CN104287946A - 盲人避障提示装置及方法 - Google Patents

Abstract

本发明提供一种盲人避障提示装置。该装置包括深度传感器、图像传感器、声音采集器、障碍物检测部件和交互反馈部件。障碍物检测部件基于各传感器采集的信息来检测在盲人行进前方是否存在障碍物或可通行，并根据检测结果向交互反馈部件发送控制信号。该装置融合多传感器的信息，改善了障碍物的检测鲁棒性和识别精度。

Description

盲人避障提示装置及方法

技术领域

本发明涉及盲人辅助行走技术，尤其涉及盲人避障提示装置。

背景技术

人类对外界环境信息的获取很大一部分来自视觉系统，视觉缺失和视力残疾给盲人和视障患者在生活上带来极大的困难，尤其是对安全行走极具挑战性。为了帮助盲人行走，近年来，国内外研究者利用超声波、红外、激光、摄像头等传感器研发了多种盲人辅助行走系统。超声波、激光、红外等只能检测一定方向/高度上障碍物，而通过双摄像头采集图像以获取物体与摄像头距离的方法计算复杂度高，资源消耗量大，难以实时地提供准确的提示。理想的盲人避障系统应该具有：实时性、准确性、低成本、低功耗、便携性等特点。但现有系统在功能和性能上还远没有达到满足盲人安全行走的实际需求。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种盲人避障提示装置。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种盲人避障提示装置，包括：

深度传感器，用于采集盲人行进前方的场景的深度图；

图像传感器，用于采集盲人行进前方的场景的彩色图像；

声音采集器，用于向盲人行进前方发送特定波段的声波并采集该波段的声波反射信息；

障碍物检测部件，用于基于所采集的场景的深度图和彩色图像以及声波反射信息来检测在盲人行进前方是存在障碍物还是可通行；

交互反馈部件，用于根据所述障碍物检测部件的检测结果向盲人提示其行走前方的障碍物或可通行区域的情况。

上述装置中，所述障碍物检测部件可识别所述深度图中的地面区域，并判断该深度图中除地面区域之外是否还存在其他深度数据，如果存在，则判定为检测到障碍物。

上述装置中，所述障碍物检测部件在检测到障碍物后，还可检测所述深度图中障碍物左方的或右方的区域是否为地面区域，并将检测结果提供给交互反馈部件。

上述装置中，所述障碍物检测部件还可检测所述地面区域中是否存在深度缺失区域，如果存在，则判断所述彩色图像中与该深度缺失区域对应的部分的颜色是否为深色；如果是深色并且采集到的声波反射信息不均匀，则判定为检测到障碍物。

上述装置中，所述障碍物检测部件还可保存最近一段时间的障碍物检测结果。所述障碍物检测部件还可在相邻帧之间对障碍物进行跟踪，如果在除去相邻两帧数据之间的位移的基础上，相邻帧检测到的障碍物的距离、位置和/或尺寸特征的差异小于设定的阈值，则判定为检测到同一障碍物。

上述装置中，所述障碍物检测部件还可保存最近一次或几次检测到障碍物时采集的彩色图像；以及在当前没有采集到深度图时，将当前采集的彩色图像的RGB颜色信息和之前保存的彩色图像的RGB颜色信息进行匹配；如果能匹配上，则基于当前采集的声波反射信息获取与障碍物距离，如果该距离小于设定的距离阈值，则判定为检测到障碍物并立即指示交互反馈组件对盲人进行提示。

上述装置中，所述交互反馈部件在障碍物检测部件检测到障碍物时，根据当前位置与障碍物的距离来对盲人进行不同的提示，如果该距离小于设定的距离阈值则提示盲人近处有障碍物，如果距离大于设定的距离阈值则提示盲人远处有障碍物，请慢行。所述交互反馈部件在障碍物检测部件没有检测到障碍物时，提示盲人前方可安全行走。所述交互反馈部件还可以在检测结果为近处有障碍物时，可提示盲人通过左移或右移绕过障碍物。

又一方面，本发明提供了一种盲人避障提示方法，包括：

步骤1,经由深度传感器采集盲人行进前方的场景的深度图、经由图像传感器采集盲人行进前方的场景的彩色图像、以及经由声音采集器向盲人行进前方发送特定波段的声波并采集该波段的声波反射信息；

步骤2，基于所采集的场景的深度图和彩色图像以及声波反射信息来检测在盲人行进前方是存在障碍物还是可通行；

步骤3，根据所述检测的结果向盲人提示其行走前方的障碍物或可通行区域的情况。

上述方法中，所述步骤2可包括识别所述深度图中的地面区域，并判断该深度图中除地面区域之外是否还存在其他深度数据，如果存在，则判定为检测到障碍物。

上述方法中，所述步骤2还可包括在检测到障碍物后，检测所述深度图中障碍物左方的或右方的区域是否为地面区域，并将检测结果提供给交互反馈部件。

上述方法中，所述步骤2还可包括检测所述地面区域中是否存在深度缺失区域，如果存在，则判断所述彩色图像中与该深度缺失区域对应的部分的颜色是否为深色；如果是深色并且采集到的声波反射信息不均匀，则判定为检测到障碍物。

上述方法中，所述步骤2还可包括保存最近一段时间的障碍物检测结果。所述障碍物检测部件还可在相邻帧之间对障碍物进行跟踪，如果在除去相邻两帧数据之间的位移的基础上，相邻帧检测到的障碍物的距离、位置和/或尺寸特征的差异小于设定的阈值，则判定为检测到同一障碍物。

上述方法中，所述步骤2还可包括保存最近一次或几次检测到障碍物时采集的彩色图像；以及在当前没有采集到深度图时，将当前采集的彩色图像的RGB颜色信息和之前保存的彩色图像的RGB颜色信息进行匹配；如果能匹配上，则基于当前采集的声波反射信息获取与障碍物距离，如果该距离小于设定的距离阈值，则判定为检测到障碍物并立即指示交互反馈组件对盲人进行提示。

与现有技术相比，本发明的优点在于：

该装置融合多种传感器的信息，在快速检测障碍物的同时尽量避免障碍物的漏报和误报，可有效改善障碍物的检测鲁棒性，同时满足了盲人避障的实时性需求。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明一个实施例的盲人避障提示装置的结构示意图；

图2为根据本发明又一个实施例的盲人避障提示装置的结构示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1给出了根据本发明一个实施例的盲人避障装置100的结构示意图。如图1所示，盲人避障装置100包括深度传感器101、图像传感器102、声音采集器103，障碍物检测部件104以及交互反馈部件105。

其中深度传感器101用于采集盲人行进前方的场景的深度图(DepthImage)。深度图中每个像素值表示场景中物体上的某一点与摄像机之间的距离信息。图像传感器102用于采集盲人行进前方的场景的彩色图像。所采集的彩色图像中每个像素对应一个RGB值。可以选择现有的任何类型的深度传感器和图像传感器来采集盲人行进前方的场景的深度图和彩色图像。在本发明的实施例中对于深度传感器和图像传感器的型号和数量不进行限制。

声音采集器103用于向盲人行进前方发送特定波段的声波并采集声波反射信息。在一个实施例中，采用现有的各种超声波采集器作为声音采集器。在又一个实施例中，声音采集器包括声波发生器和声音传感器。其中声波发生器可以采用现有的各种嵌入式或内置的超声波发生器。或者声波发生器也可以由微型小音响和音频转换线组成，音频转换线将微型小音响(例如，Angell出品的JH-MD06小音响)与控制部件连接在一起，由控制部件来控制微型小音响播放特定波段的声波。所述控制部件可以是诸如手机、平板电脑等便携的终端设备或在其上运行的软件播放器，也可以是与深度传感器、图像传感器、障碍物检测部件中的任一个或多个集成在一个单片机上的电路。声音传感器可以采用如微型麦克风、外置或内置麦克风等，用来采集特定波段的声波反射信息。通常地面区域反射的声波信息比较均匀，而如果地面上由障碍物，那么所采集到的声波反射信息不均匀。此外，还可以利用声波反射信息来获取声音采集器到障碍物之间的距离。

障碍物检测部件104用于基于所采集场景的深度图和彩色图像以及声波反射信息来检测在盲人行进前方是否存在障碍物或可通行，并根据检测结果向交互反馈部件105发送控制信号。

更具体地，障碍物检测部件104首先从所采集场景的深度图中识别出地面区域，即可通行区域，然后在地面区域之上的物体都可视为潜在的障碍物。而地面是一种平面结构，在深度数据特征上具有一致性，因此利用深度信息进行平面提取，不会受平面上不同颜色和纹理的干扰，比如地面上的花砖或花色地毯等。障碍物检测部件104在从深度图中识别出地面区域之后，继续判定该深度图中除地面区域之外是否还存在其他深度数据，如果有，则向交互反馈部件105发出控制信号，以指示向盲人给出障碍物提示。控制信号中还可以包括关于当前位置与障碍物的距离信息。严格来说高于地面且在盲人行进前方的物体都是潜在的障碍物。在以上地面区域检测基础上，如果行进前方一定宽度的直行区域内还有具有一定深度的物体存在则该物体识别为障碍物。在一个实施例中，在检测到障碍物后，障碍物检测部件104还可以分析深度图中障碍物左右区域是否有地面区域，即可通行区域，如果有，则可以向交互反馈部件105发出控制信号，该控制信号还包括关于障碍物左右方的可通行区域的信息，从而使得交互反馈部件105能给盲人提供更具体的提示，例如左移或右移。

在一个实施例中，可以采用现有的平面提取算法来从深度图中识别地面。但由于现有的平面提取算法是在像素级别处理，处理的数据量大，会在一定程度上影响实时性。在又一个实施例中，障碍物检测部件104通过下面的方式来从深度传感器采集到的深度图中识别地面区域：

首先，提取深度图中的所有平面区域。先将所采集的深度图转化为3D点云并对3D云空间划分成多个立方块构成的网格，建立每个立方块与代表该立方块的数据点之间的映射关系，从而实现对3D云空间的稀疏采样。例如在3D点云空间建立一定边长的立方块体素网格，针对每个体素，利用最小二乘法拟合一个平面，求出平面的法向量。然后利用体素的法线夹角余弦，进行基于区域生长的体素聚类，进而分割出平面区域。遍历体素网格，对未被聚类的体素中的每个点进行精确判断。求该点到所属体素邻域内平面的最小距离，如果该距离小于某阈值，那么将该点标记为距离最近的平面上的点，否则记为非平面点。平面分割后，按照法向量夹角接近零，对空间上相邻的平面进行合并。

经过以上平面提取步骤，得到了场景的平面结构，这些平面可能包含水平面，比如地面、桌面等，垂直面，比如墙面、柜面等，或者斜面。需要进一步识别出地面区域。由于采集设备通常佩戴在盲人胸前、肩部或头部，虽然摄像头近似水平拍摄，但拍摄角度以及摄像头在行进过程中会水平和上下移动，因此不能直接用摄像头坐标系的竖直轴作为水平面的法线方向，摄像头坐标下的水平面往往在真实世界不一定水平。

为了得到真实的水平面，首先，计算每个分块的法线与摄像头坐标系竖直轴的夹角，根据角度值将所有的法线分为近似竖直和近似水平两种。其次，通过对所有的近似水平法线计算平均水平法线，作为真实的水平面法线。最后根据该法线方向将采集到的3D点云进行一定角度的旋转，让采集到平面在3D点云中调整到水平状态。并根据摄像头的佩戴高度，结合检测出的最低点处的平面，从而识别出地面区域。

在一个实施例中，障碍物检测部件104还可以对以上障碍物检测结果和可通行情况进行存贮。例如，障碍物检测部件104可以存储近期或最近一次检测到障碍物时的深度图和彩色图像信息以及其中障碍物的距离、位置及尺寸等信息。由于盲人行进过程中，同一障碍物会被反复检测到，多次提醒会干扰盲人利用自身听觉系统感知周围场景，增加盲人的接收负担。同样，由于采集噪声，可能某一障碍物在某帧中漏检。为了解决以上问题，在一个优选的实施例中，障碍物检测部件104还会在深度图的相邻帧对障碍物进行跟踪匹配。首先计算出相邻两帧数据之间的位移，例如可以利用视觉测程算法来计算出相邻两个图像帧之间的位移。然后在除去相邻帧间的位移的基础上比较相邻帧检测到的障碍物的距离、位置和/或尺寸，如果相邻帧中障碍物的距离、位置和/或尺寸相差小于设定的阈值范围，说明是同一障碍物，此时由于之前刚给出提示，因此，可以暂时不触发提示，以免增加盲人的负担。如果相邻帧中障碍物的距离、位置和/或尺寸相差远大于设定的阈值范围，例如，上一帧检测到障碍物而当前帧没有检测到障碍物，可以暂时不提示盲人可通行，而是继续比较下一帧图像来判定是否已经不存在障碍物了。可见，在实际应用中对多帧中匹配成功的障碍物进行存贮，可大大减少了障碍物的漏报和误报现象。

在一个优选的实施例中，考虑到大多数深度传感器技术多采用红外光技术，对于场景中的深色物体(特别是黑色物体)往往采集不到深度数据。障碍物检测部件104还会结合图像传感器采集的场景的彩色图像和声波反射信息来对场景的深度图中地面区域内出现的深度缺失区域进行分析，判断是否是由深色物体引起的，以免发生漏报。例如，可以对彩色图像中与该深度缺失区域对应的部分的RGB颜色信息进行分析，判断其颜色是否是深色或黑色。例如将RGB像素值转换成灰度像素值，如果灰度像素值接近0，则说明是深色或黑色。如果是这部分的颜色偏向深色或黑色，则进一步分析经由声音采集器采集到的声波反射信息判断是否存在障碍物，如果存在，则判定为有障碍物。例如深度缺失区域对应的彩色图像部分偏向深色并且采集到的声波反射信息不均匀，则判定前方有深色或黑色障碍物，向交互反馈部件105发出控制信号，以指示向盲人给出障碍物提示，从而避免了漏检或漏报的情况，提高了障碍物检测精度。

目前深度传感器有采集距离的限制，一般能采集到0.8米到3.5米之间的物体信息，而对于离传感器太近的物体采集不到深度信息。例如，如果盲人逐步靠近墙体等情况，由于障碍物太近，深度摄像头采集不到深度数据。因此，在一个优选的实施例中，如果没有采集到盲人行进前方场景的深度图，则障碍物检测部件104会融合图像传感器采集到的场景的彩色图像以及声音传感器采集的声波反射信息来检测障碍物，以便提升障碍物检测的鲁棒性。首先，障碍物检测部件104会保存之前较短时间段内图像传感器采集的彩色图像信息，例如保存最近一次检测到障碍物时的彩色图像。在缺少深度图数据的情况下，障碍物检测部件104将当前采集的彩色图像的RGB颜色信息和所保存的历史图像的颜色信息进行匹配，如果能匹配上，说明前方可能有障碍物，并且根据声波反射信息提供的障碍物距离信息，进一步判断是否是由于离得太近而没有深度数据造成的漏报。如果是，则向交互反馈部件给出存在障碍物的指示。这样，通过这种多传感器的融合，进一步改善了障碍物检测性能和鲁棒性。

应理解，障碍物检测部件104可以软件的形式运行在诸如手机、平板电脑等便携的终端设备上。也可以以现场可编程门阵列(FPGA)、专用集成电路(ASIC)的硬件形式来实现。实际上，障碍物检测部件可作为产品或在产品中实现的计算机可读程序而被提供。此处使用的术语“产品”包括从计算机可读的装置、固件、可编程逻辑、存储器装置、集成电路芯片、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等、电子装置、计算机可读的非易失存储单元(例如，CD-ROM、软盘、硬盘等)可访问的或嵌入其中的代码或硬件逻辑。

继续参考图1，交互反馈部件105用于根据来自障碍物检测部件104的控制信号，以任何适当的输出方式，例如声音或触觉方式，向盲人提示其行走前方的障碍物或可通行区域的情况。例如，交互反馈部件105可根据所接收的控制信号中的信息提示盲人前方是否有障碍物或可通行、当前位置到障碍物的距离；如果远处有障碍物，可用语音或提示音提示请慢行；如果继续前行，近处有障碍物，可用语音提示前方有障碍物；在有障碍物的情况下，提示哪里有可通行区域，或提示可以通过左移或右移绕过障碍物。如果前方没有障碍物，交互反馈部件105可用语音或提示音提示前方可通行；提示音量会根据场景噪声自动调节，也可以手动调节。在有障碍物的情况下，盲人也可以通过旋转身体，根据所述盲人避障装置的语音反馈，判断哪里有可通行区域，从而避开障碍物。此外，交互反馈部件105还可包括输入接口(例如，按钮、话筒等)，盲人可通过该输入接口来根据需求触发主动提示、或者设置给出提示的方式、提示出现的频率，提示的音量或振动幅度、打开或关闭提示等，以给盲人提供更好的体验。

在一些实施例中，上述的深度传感器、图像传感器和声音采集器可以集成在同一单片机(MCU，Microcontroller Unit)或其他嵌入式硬件平台上，作为一个整体的信息采集部件；而障碍物检测部件和交互反馈部件集成在另一嵌入式硬件平台或者运行在诸如手机、平板电脑、笔记本上。如图2给出的盲人避障提示装置的结构示意图。其中采集信息的部件采用了微软公司的产品Kinect和一个声波发生器来组成。Kinect由一个彩色微型摄像头、一个微型深度传感器、四个微型麦克风阵列、一个微型处理芯片、一个通用接口组成，上述组件集成在一起；而障碍物检测部件和交互反馈部件集成在另一MCU。这样，信息采集部件可以佩戴在盲人胸前，例如可安置在盲人背包的肩带上，集成障碍物检测部件和交互反馈部件的硬件平台可以装在背包中，信息采集部件可以与该硬件平台以有线或无线的方式进行通信，以将各个传感器采集的数据传递给障碍物检测部件。在其他实施例中，上述的深度传感器、图像传感器、声音采集器、障碍物检测部件和交互反馈部件可以集成在同一单片机或其他嵌入式硬件平台上。

在根据本发明的又一个实施例中，还提供了一种盲人避障提示方法，该方法包括：

步骤1,经由深度传感器采集盲人行进前方的场景的深度图、经由图像传感器采集盲人行进前方的场景的彩色图像、以及经由声音采集器向盲人行进前方发送特定波段的声波并采集该波段的声波反射信息；

步骤2，基于所采集的场景的深度图和彩色图像以及声波反射信息来检测在盲人行进前方是存在障碍物还是可通行；

步骤3，根据所述检测的结果向盲人提示其行走前方的障碍物或可通行区域的情况。

其中，在所述步骤2，识别所述深度图中的地面区域，并判断该深度图中除地面区域之外是否还存在其他深度数据，如果存在，则判定为检测到障碍物。在一个实施例中，在检测到障碍物后，还可以检测所述深度图中障碍物左方的或右方的区域是否为地面区域，并将检测结果提供给交互反馈部件。在又一个实施例中，所述步骤2还可包括检测所述地面区域中是否存在深度缺失区域，如果存在，则判断所述彩色图像中与该深度缺失区域对应的部分的颜色是否为深色；如果是深色，则根据采集到的声波反射信息判断是否存在障碍物，如果存在障碍物，则判定为检测到障碍物。在又一个实施例中，所述步骤2还包括保存最近一段时间的障碍物检测结果。在步骤2还包括在相邻帧之间对障碍物进行跟踪，如果在除去相邻两帧数据之间的位移的基础上，相邻帧检测到的障碍物的距离、位置和/或尺寸特征的差异小于设定的阈值，则判定为检测到同一障碍物。在又一个实施例中，所述步骤2还包括保存最近一次或几次检测到障碍物时采集的彩色图像；以及在当前没有采集到深度图时，将当前采集的彩色图像的RGB颜色信息和之前保存的彩色图像的RGB颜色信息进行匹配；如果能匹配上，则基于当前采集的声波反射信息获取与障碍物距离，如果该距离小于设定的距离阈值，则判定为检测到障碍物并立即指示交互反馈组件对盲人进行提示。

发明人在采用上述的Kinect进行信息收集以及采用目前普通的笔记本配置下，比如CPU为Intel Core i7 2.0GHz，内存为4G的硬件环境作为计算平台的情况下，整个信息采集、障碍物检测和语音反馈过程能达到每秒10到15帧的处理速度，满足了盲人避障的实时性和鲁棒性需求。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (11)

1.一种盲人避障提示装置，所述装置包括：

深度传感器，用于采集盲人行进前方的场景的深度图；

图像传感器，用于采集盲人行进前方的场景的彩色图像；

声音采集器，用于向盲人行进前方发送特定波段的声波并采集该波段的声波反射信息；

障碍物检测部件，用于基于所采集的场景的深度图和彩色图像以及声波反射信息来检测在盲人行进前方是存在障碍物还是可通行；

交互反馈部件，用于根据所述障碍物检测部件的检测结果向盲人提示其行走前方的障碍物或可通行区域的情况。

2.根据权利要求1所述的装置，其中所述障碍物检测部件识别所述深度图中的地面区域，并判断该深度图中除地面区域之外是否还存在其他深度数据，如果存在，则判定为检测到障碍物。

3.根据权利要求2所述的装置，其中所述障碍物检测部件在检测到障碍物后，还检测所述深度图中障碍物左方的或右方的区域是否为地面区域，并将检测结果提供给交互反馈部件。

4.根据权利要求2所述的装置，其中所述障碍物检测部件还检测所述地面区域中是否存在深度缺失区域，如果存在，则判断所述彩色图像中与该深度缺失区域对应的部分的颜色是否为深色；如果是深色并且采集到的声波反射信息不均匀，则判定为检测到障碍物。

5.根据权利要求上述权利要求之一所述的装置，所述障碍物检测部件还保存最近一段时间的障碍物检测结果。

6.根据权利要求5所述的装置，所述障碍物检测部件还在相邻帧之间对障碍物进行跟踪，如果在除去相邻两帧数据之间的位移的基础上，相邻帧检测到的障碍物的距离、位置和/或尺寸特征的差异小于设定的阈值，则判定为检测到同一障碍物。

7.根据权利要求5所述的装置，所述障碍物检测部件还保存最近一次或几次检测到障碍物时采集的彩色图像；以及

在当前没有采集到深度图时，将当前采集的彩色图像的RGB颜色信息和之前保存的彩色图像的RGB颜色信息进行匹配；如果能匹配上，则基于当前采集的声波反射信息获取与障碍物距离，如果该距离小于设定的距离阈值，则判定为检测到障碍物并立即指示交互反馈组件对盲人进行提示。

8.一种盲人避障提示方法，所述方法包括：

步骤1,经由深度传感器采集盲人行进前方的场景的深度图、经由图像传感器采集盲人行进前方的场景的彩色图像、以及经由声音采集器向盲人行进前方发送特定波段的声波并采集该波段的声波反射信息；

步骤2，基于所采集的场景的深度图和彩色图像以及声波反射信息来检测在盲人行进前方是存在障碍物还是可通行；

步骤3，根据所述检测的结果向盲人提示其行走前方的障碍物或可通行区域的情况。

9.根据权利要求8所述的方法，所述步骤2包括识别所述深度图中的地面区域，并判断该深度图中除地面区域之外是否还存在其他深度数据，如果存在，则判定为检测到障碍物。

10.根据权利要求9所述的方法，所述步骤2还包括在检测到障碍物后，检测所述深度图中障碍物左方的或右方的区域是否为地面区域，并将检测结果提供给交互反馈部件。

11.根据权利要求9所述的方法，所述步骤2还包括检测所述地面区域中是否存在深度缺失区域，如果存在，则判断所述彩色图像中与该深度缺失区域对应的部分的颜色是否为深色；如果是深色并且采集到的声波反射信息不均匀，则判定为检测到障碍物。