CN108478398A - 人工导盲系统及导盲方法 - Google Patents

Abstract

本发明公开了一种人工导盲系统及导盲方法，该导盲系统包括用网络进行通信连接的人工坐席、管理服务器和具有图像采集功能的导盲装置，导盲装置用于不断获取盲人用户行进过程中的图像信息；管理服务器用于建立导盲装置和人工坐席之间的视频连接，以及整个系统的运营管理；人工坐席，通过管理服务器接收导盲装置的信息，通过语音与盲人沟通，为盲人提供导盲服务。本发明能实现盲人用户实时获取当前位置信息，通过人工坐席规划路径并及时提醒盲人用户，避免盲人用户出行迷路和碰撞的情况发生，提高出行的安全性。

Description

人工导盲系统及导盲方法

技术领域

本发明涉及导盲技术领域，特别是涉及一种人工导盲系统及导盲方法。

背景技术

视力障碍是一种对人类生活质量影响很严重的疾病。我国目前约有1800万盲人占全世界盲人总数的20％，而且每年还以45万新生盲人的数量递增，这意味着几乎每分钟就会出现一位新的盲人。由于视力缺乏，出行问题一直是困扰盲人或视力障碍人士的重要问题之一。如何能够提供一种有效的导盲方法或导盲系统，为盲人出行提供精确、具体的指引，一直以来是社会中关注的焦点，也是研究人员研究的重点。

传统的导盲方法中，盲人的出行需要旁人或者导盲犬的指引；或者沿着盲道或者固定行迹找到熟悉的位置。这种传统的导盲方法具有较大的局限性，在盲人需要去一个陌生的地方时，无法提供有效的导引，另外增设一个辅助的人，会占用他人时间，不能自由支配出行，或者使用导盲犬但使用费用也较高。

为解决传统导盲方法的缺陷，近年来也有一些基于现代信息技术的导盲方法或系统出现。如基于导盲手杖来实现盲人的室外导盲行走，但是这种导盲手杖需要盲人无时无刻利用手杖对前方障碍物进行探测，安全性不高，并且无法实时播报盲人当前地理位置信息和路况信息，尤其是在交叉路口时无法对交通信号进行识别，因此，即使借助导盲拐杖，盲人在出行中仍避免不了磕磕绊绊，甚至时常会出现生命危险。

也有基于智能图像识别功能的智能眼镜，眼镜基于图形图像的分析算法，计算得到盲人前方障碍物情况，并自动规划路径提醒盲人，但问题是分析算法复杂又要求较高实时性，使得系统必须使用高速处理器，就必然会带来功耗和成本的上升，与此同时，智能算法无法保证可靠的计算结果，障碍物的识别率仍然无法做到100％，盲人出行仍然会出现碰撞的情况。

发明内容

本发明的目的在于提供一种导盲方法及系统，旨在解决现有技术中的导盲拐杖需要盲人无时无刻利用手杖对前方障碍物进行探测，安全性不高，并且无法实时播报盲人当前地理位置信息和路况信息，尤其是交通信号灯、公交车的识别问题。

本发明是通过下述技术方案来解决上述技术问题的：一种人工导盲系统，其包括：通过网络进行通信连接的人工坐席、管理服务器和具有图像采集功能的导盲装置，其中，

导盲装置用于不断地获取盲人用户行进路过程中的图像信息，通过网络将信息传递至管理服务器；

管理服务器用于导盲装置和人工坐席的管理，接受导盲装置的呼叫请求，并指派人工坐席服务，建立导盲装置和人工坐席之间的图像和语音连接；

人工坐席，接收管理服务器传递的信息，通过观察导盲装置中的摄像头采集回来的图像信息，根据图像信息分析盲人所处的场景，通过语音与盲人沟通，为盲人提供导盲服务。

作为优选方案的，所述导盲装置包括至少一个摄像头、送话器、受话器、电路控制单元、射频单元、天线及处理器，所述处理器分别与摄像头、送话器、受话器及射频单元连接，所述天线与射频单元连接，其中，

摄像头，用于不断获取盲人用户行进路面上的图像信息；

送话器及受话器，用于采集盲人用户的语音信号，播放人工坐席的语音；

电路控制单元，用于为整个导盲装置提供电源及对各个部件电路进行管理；

射频单元，用于调制和发射、接收无线信号；

天线，用于向管理服务器发射盲人周围环境状况的信息和接收人工坐席发送的无线射频语音信号；

处理器，用于接收并处理所述摄像头采集的图像，控制所述射频单元、送话器及受话器之间的连接关系，并将图象信息通过射频单元及天线上传至所述管理服务器，人工坐席和盲人之间通过语音进行沟通(与电话是类似的)；

作为优选方案的，所述摄像头水平方向上探测的覆盖角不小于90度，垂直方向上探测的覆盖角不小于80度。

作为优选方案的，所述导盲装置中还设有定位模块(可以是GPS、或北斗、或伽利略、或格洛纳斯卫星，也可以是基站定位，或者多种定位方式融合)。

所述人工坐席还可以访问街景信息的地图，用于和导盲装置采集到的图像信息进行对比，以帮助提高导盲的效率。

所述导盲装置本身可直接处理摄像头图像信息，并将结果直接用语音的方式通知盲人用户或在服务器内设置智能算法代替人工坐席来通知导盲用户。

一种利用人工导盲系统的导盲方法，包括如下步骤：

步骤一，盲人用户出行前或者需要帮助时，佩戴好导盲装置；

步骤二，盲人用户通过导盲装置连线呼叫人工坐席；

步骤三，导盲装置通过网络连接到管理服务器；

步骤四，管理服务器自动分配空闲的人工坐席给盲人用户；

步骤五，盲人用户与人工坐席呼叫接通；

步骤六，人工坐席实时观察导盲装置摄像头拍摄的盲人用户行进方向上的图像信息，并用语音的方式与盲人直接进行沟通；

步骤七，根据人工坐席的不断提示，辅助盲人用户行走，期间盲人也可以向人工坐席提问，人工坐席来解答；

步骤八，辅助盲人用户行走完成后，人工坐席主动断开连线或者盲人自行操作断开连线。

与现有技术相比，本发明的有益效果：

(1)利用人工坐席时刻提醒盲人用户行进路面的实时状况，指导其安全出行，能够提供与志愿者现场陪伴出行相接近的导盲效果，而且成本低，降低了盲人提出导盲需求的门槛(不限制时间、地点和服务时长)；

(2)导盲装置本身可以直接处理摄像头图像信息，并将结果直接用语音的方式通知盲人，也可以在服务器一侧通过智能算法代替人工坐席来提示，进一步降低了整个系统的运行成本；

(3)在导盲装置中安装卫星定位模块，从而当盲人使用本导盲装置出行时，其他人，如家人，可以在任何地方通过网络确定盲人的位置，以防盲人迷路走丢，可进一步确保盲人安全。而且人工坐席服务时，该人工坐席客户端也可以直接访问带有街景信息的地图(如百度地图)，根据位置信息，对比参考街景信息和摄像头图像，更加精准的提供导盲提示。

附图说明

图1为本发明导盲系统中导盲装置的系统框架图。

图2为本发明导盲方法的流程图。

图3为本发明摄像头视角的俯视图。

图4为本发明摄像头视角的侧视图。

图5为本发明三个摄像头结构示意图。

图6为本发明人工坐席为一个的导盲系统图。

图7为本发明简化版的导盲装置。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

如图1所示，本发明的人工导盲系统包括通过网络进行通信连接的人工坐席、管理服务器和具有图像采集功能的导盲装置，导盲装置用于不断的获取盲人用户行进路面上的图像信息，并通过网络将信息传递至管理服务器；所需提供的网络可以是Wi-Fi、3G、4G或其他网络形式。

管理服务器用于接收导盲装置的消息，并进行数据存储、随机分配人工坐席、建立盲人用户和人工坐席之间的语音连接、实现导盲装置和人工坐席之间的视频连接；该服务器可以是云平台或其他的PC终端设备。管理服务器中包含数据存储、计算单元、网络连接。数据存储用于平台运营所需要信息的存储，包含算法软件、用户信息、人工坐席信息等；计算单元，主要用于算法软件执行，建立盲人和人工坐席之间的语音和视频连接。

人工坐席，使用联网的PC或者是其他终端接收管理服务器传递的信息，通过屏幕观察导盲装置中的摄像头采集回来的图像信息，根据图像信息分析盲人所处的场景，通过语音与盲人沟通，为盲人提供导盲服务。本发明中人工坐席类似于呼叫中心的人工客服，人工坐席的数量应根据服务的时长、次数、盲人用户数量等来确定，一般按照同时使用的人数为总人数的1～5％来设置坐席数量，例如用户是1000人，需要配备约10～50个客服人员，这样设定可以确保使用高峰时段满足绝大多数盲人的需求。另外人工坐席的设定，还需要考虑服务时长因素，例如服务时长为7*24小时服务，就需要增加值夜班的人工坐席，一般按照人工坐席总人数的0.1％～0.5％来设置夜班人工坐席。个别时段可能会有服务高峰出现，如上下班高峰期等，可以根据业务呼入的情况适当增加人工坐席的数量。

人工坐席，需要考虑盲人所处区域的方言问题，如粤语、四川话等，可以要求客服人员具有一定的方言能力，同时要求客服人员的视觉能力足以支撑服务盲人用户的需求(如需人工坐席提供过马路看红绿灯的服务，客服人员不可以是红绿色盲)，言语和听力能力正常，可以完成与盲人之间的对话，人工坐席的人员必须是视力及听力较好的人员，其他方面稍有缺陷的人员也可以在该岗位工作。

如图1所示，所述导盲装置包括至少一个摄像头、送话器、受话器、电路控制单元、射频单元、天线及处理器，所述处理器分别与摄像头、送话器、受话器及射频单元连接，所述天线与射频单元连接，其中，

摄像头，用于不断获取盲人用户行进路面上的图像信息，探测周围环境状况、并形成被测物体的位置信息；摄像头型号优选200万像素、F1.8光圈、90度水平视角、80度垂直视角的摄像头，优选带夜视功能(可佩带红外补光灯)，即也可以满足盲人用户晚上出行的使用，进一步的可以选择双目摄像头进一步提供景深识别能力。如图3(盲人佩戴导盲装置后的俯视图)，其中，9代表摄像头，11代表人的头部，10代表人的身体，摄像头9此时佩戴在人的身上，摄像头探测平面的覆盖角(俯视角)2A不小于90度(且与人的中线对称)，如图4(盲人佩戴导盲装置后的侧视图)所示，摄像头侧视角度B不小于80度，且图像的边缘应能采集到人的脚部位置，这样设计有利于保护盲人用户脚不受到损伤。

本发明中摄像头也可以选择其他实施例，为方便人工坐席观察盲人周围景物情况，为了增大视角可以增加摄像头，如水平方向上每个摄像头120度，3个摄像头可以全视角拍摄，摄像头的个数根据导盲用户需求增设，如图5(盲人佩戴多摄像头的俯视图)所示，9代表摄像头，11代表人的头部，10代表人的身体，这种全视角摄像头可以将人的身体10周围环境进行360角度的扫视。

送话器及受话器，用于盲人用户与人工坐席建立语音联系；受话器及送话器，优选骨传导耳机和MIC，也可以选择普通的喇叭和MIC，或者是有线耳机，或者是无线蓝牙耳机，具体情况根据盲人用户需求设定。

电路控制单元，用于为整个导盲装置提供电源及对各个部件电路进行管理；由于电池容量直接决定设备的使用时间，可以根据导盲装置整机耗电情况来选择，优选的方案电池容量1500mAh可提供约6小时的不间断使用时间和24小时的待机时间，具体的，电池的优选方案可以根据导盲装置结构空间、重量的要求选择较大或较小容量型号的电池，甚至可以是可更换的电池如5号、7号电池等。

射频单元，用于调制和发射、接收无线信号；

天线，用于向管理服务器发射盲人周围环境状况的信息和接收人工坐席发送的无线射频语音信号，本发明中天线优选LDS天线，可以缩小结构尺寸，也可以选择成本较低的PCB天线。

处理器，用于接收并处理所述摄像头采集图像信息，控制所述射频单元、送话器及受话器之间的连接关系，并将图象信息通过射频单元及天线上传至所述管理服务器，接收人工坐席反射回来的语音提示信号并在导盲装置上通过受话器形成提示指令，处理器主要用于实现导盲装置内各个模块的控制及信号处理(音视频的编解码压缩、无线射频信号的数字处理)，用于和服务器建立数据通道实现导盲功能。

本发明的技术方案中处理器优选美国高通公司骁龙210型号的处理器，该处理器提供四核CPU，具有全网通网络通讯能力，支持Wi-Fi和蓝牙，支持卫星定位和基站定位。

导盲装置可以有多种表现形态，从安装的位置上区分，优选头部位置，如帽子或者眼镜，也可以是装在胸口或者是肩章；从形态上区分，优选可穿戴类，如帽子或者眼镜，也可以是通过卡扣将设备安装于身上某部位；甚至可以是手机形态。

最为优选实施方案的，导盲装置上还可设置有定位模块(如GPS、北斗等卫星定位模块，也可以使用基站或者WLAN、蓝牙等定位信息)，从而当盲人使用本发明提供的一种导盲系统出行时，其他人，如家人，可以在任何地方通过网络确定盲人的位置，以防盲人迷路走丢，可进一步确保盲人安全。另外，在接通人工坐席后，人工坐席也可以通过这个位置信息提供更精准的导盲服务。

如图2所示，一种利用人工导盲系统的导盲方法，包括步骤1-8步，具体如下：

步骤一，盲人用户出行前或者需要帮助时，佩戴好导盲装置；

步骤二，盲人用户通过导盲装置连线呼叫人工坐席，可以通过语音命令或者按钮的方式接通人工坐席；

步骤三，导盲装置通过无线网络连接到管理服务器；

步骤四，管理服务器自动分配空闲的人工坐席给盲人用户；

步骤五，盲人用户与人工坐席呼叫接通；

步骤六，人工坐席实时观察导盲装置中摄像头拍摄的盲人用户行进方向上的图像信息，并用语音的方式与盲人直接进行沟通，辅助盲人行走；

步骤七，根据人工坐席的不断提示，辅助盲人用户行走，通过如乘坐指定线路的公交车、红绿灯、躲避障碍物等；

步骤八，辅助盲人用户行走完成后，人工坐席主动断开连线或者盲人自行操作断开连线。

本发明的技术方案相较于现有导盲方案，能够提供与人工辅助出行相接近的高精度的导盲系统，由于本发明导盲系统仅由管理服务器、人工坐席、导盲装置三部分组成，结构简单，成本低，但辅助盲人用户效率高。导盲装置的设备足够简单只需要处理视频编码和音频，同时管理服务器资源和导盲人员都是共享的，降低了盲人提出导盲需求的门槛(不限制时间、地点和服务时长)，提供了最优的盲人出行辅助方案。

以上的实施方案是最优的，通过平台化的运营，能极大的优化用户体验。但在实际使用中，也可以不使用平台化的运营中心，人工坐席由可提供导盲帮助的家人、朋友或者志愿者替代。当盲人有导盲需求时，导盲终端直接与家人进行连接(如通过IP地址直接建立网络连接)，家人使用可以联网的PC机或者是手机，在屏幕上直接观察导盲终端摄取到的图像信息，通过语音进行提示帮助盲人出行。服务器与人工坐席的功能合并在一起，区别是服务器只有一个人工坐席(不能进行随机分配)，同时这个坐席不为其他的盲人服务。

如图6所示，亲人或者朋友充当人工坐席的角色使用一台PC机(也可以是手机终端)，PC机内装有一个简易的服务器软件(同时具有查看视频和传输音频的功能)，当需要盲人需要导盲辅助时候，通过导盲装置直接用IP地址与PC机建立连接，亲人或朋友通过服务器软件直接提供导盲服务。

作为优选实施方案，前述导盲装置是一个穿戴设备，安装于盲人头部(帽子或者眼镜)或者肩膀处(肩章)或其他位置，它本身是一个独立可以运行的单元，独立成为系统。

另外，导盲装置的配置也可以进一步简化，只保留摄像头、和处理器，其他部分用现有终端替代，共同够成为导盲装置。如图7所示，简化版导盲装置：摄像头连接至处理器，并通过USB接口连接只手机，通过在手机上安装软件，手机就可以获取到摄像头的图像数据，使用手机的受话器和送话器传送语音，即仅由摄像头、处理器和手机三者共同组成了导盲装置。

更进一步，只用手机，用手机的摄像头也可以完成所有的导盲装置的功能。只是在用户体验上，相比于专用导盲装置导盲效果要差些。

以下几点是发明的核心：

1.在盲人侧佩戴摄像头，远程用人来观察图像，并通过语音方式建立双方交流的通道，实现导盲。

2.为了更好的实现运营，通过云平台的方式进行运营，盲人呼叫统一接入号码(或一键呼入)，系统随机指定对应人员实现导盲。

3.导盲装置的核心是带网络连接的摄像头和为了通话的语音通道，这个装置可以借用现有技术，如手机+外置摄像头，Wi-Fi监控摄像头等,穿戴式的一体的装置是用户体验最佳的方式(头戴或腰戴等其他方式)。

4.人工坐席，需要一个终端设备(一般使用PC机)，带有屏幕、耳机麦克和网络连接，坐席人员通过网络和导盲装置连接，通过屏幕可以看导盲装置上摄像头的图像，通过语音实现与盲人的双向交流沟通。

上述技术方案仅体现了本发明技术方案的优选技术方案，本技术领域的技术人员对其中某些部分所可能做出的一些变动均体现了本发明的原理，属于本发明的保护范围之内。

Claims (7)

1.一种人工导盲系统，其包括：通过网络进行通信连接的人工坐席、管理服务器和具有图像采集功能的导盲装置，其特征在于，

导盲装置用于不断地获取盲人用户行进路过程中的图像信息，通过网络将信息传递至管理服务器；

管理服务器用于导盲装置和人工坐席的管理，接受导盲装置的呼叫请求，并指派人工坐席服务，建立导盲装置和人工坐席之间的图像和语音连接；

人工坐席，接收管理服务器传递的信息，通过观察导盲装置中摄像头采集的图像信息，根据图像信息分析盲人所处的场景，通过语音与盲人沟通，为盲人提供导盲服务。

2.如权利要求1所述的人工导盲系统，其特征在于，所述导盲装置包括至少一个摄像头、送话器、受话器、电路控制单元、射频单元、天线及处理器，所述处理器分别与摄像头、送话器、受话器及射频单元连接，所述天线与射频单元连接，其中，

摄像头，用于不断获取盲人用户行进路面上的图像信息；

送话器及受话器，用于盲人用户与人工坐席建立语音联系；

电路控制单元，用于为整个导盲装置提供电源及对各个部件电路进行管理；

射频单元，用于调制和发射、接收无线信号；

天线，用于向管理服务器发射盲人周围环境状况的信息和接收人工坐席发送的无线射频语音信号；

处理器，用于接收并处理所述摄像头采集的图像信息，控制所述射频单元、送话器及受话器之间的连接关系，并将处理好的图象信息通过射频单元及天线上传至所述管理服务器，控制送话器和受话器建立盲人和人工坐席的语音联系；

3.如权利要求2所述的人工导盲系统，其特征在于，所述摄像头水平方向上探测的覆盖角不小于90度，垂直方向上探测的覆盖角不小于80度。

4.如权利要求1所述的人工导盲系统，其特征在于，所述导盲装置中还设有卫星定位模块(GPS或北斗或伽利略或格洛纳斯)或基站定位模块，或者混合定位。

5.如权利要求1所述的人工导盲系统，其特征在于，所述人工坐席还可以访问设有街景信息的地图系统。

6.如权利要求1所述的人工导盲系统，其特征在于，所述导盲装置本身可直接处理摄像头图像信息，并将结果直接用语音的方式通知盲人用户或在服务器内设置智能算法代替人工坐席来通知导盲用户。

7.如权利要求1至6任意一项权利要求所述的人工导盲系统的导盲方法，其特征在于，包括如下步骤：

步骤一，盲人用户出行前或者需要帮助时，佩戴好导盲装置；

步骤二，盲人用户通过导盲装置连线呼叫人工坐席；

步骤三，导盲装置通过网络连接到管理服务器；

步骤四，管理服务器自动分配空闲的人工坐席给盲人用户；

步骤五，盲人用户与人工坐席呼叫接通；

步骤六，人工坐席实时观察导盲装置中摄像头拍摄的盲人用户行进方向上的图像信息，并用语音的方式与盲人直接进行沟通；

步骤七，根据人工坐席的不断提示，辅助盲人用户行走；

步骤八，辅助盲人用户行走完成后，人工坐席主动断开连线或者盲人自行操作断开连线。