CN104574365A - 障碍物检测装置及方法 - Google Patents

Abstract

本发明提供一种基于图样投影的障碍物检测装置。该装置包括图样发生器、图像传感器、障碍物检测部件。图样发生器用于将图样投射到路面上，图像传感器采集带有图样的路面图像信息，障碍物检测部件通过分析采集的图像中图样变化情况来判别路面上是否存在障碍物。该装置在检测障碍物时采用了投射图样的方式，极大地简化了障碍物分析检测的复杂度，降低了成本，改善了障碍物检测的鲁棒性，提高了检测速度和精度。

Description

障碍物检测装置及方法

技术领域

本发明涉及障碍物检测技术，尤其涉及用于检测障碍物的装置及方法。

背景技术

人类对外界环境信息的获取很大一部分来自视觉系统，视觉缺失和视力残疾给盲人和视障患者在生活上带来极大的困难，尤其是对安全行走极具挑战性。为了帮助盲人行走，近年来，国内外研究者利用超声波、红外、摄像头等传感器研发了多种盲人辅助行走系统，其中障碍物检测是核心技术。超声波、红外等只能检测一定方向/高度上障碍物，而通过双摄像头采集图像以获取物体与摄像头距离的方法计算复杂度高，资源消耗量大。理想的障碍物检测系统应该具有：实时性、准确性、低成本、低功耗、便携性等特点。但现有系统在功能和性能上还远没有达到满足盲人安全行走过程中的障碍物检测实际需求。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种新的障碍物检测装置及方法。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种障碍物检测装置，包括：

一个或多个图样发生器，用于将图样投影到地面；

图像传感器，用于采集关于地面状况的图像，所采集的图像中包含投影到地面的图样；

障碍物检测部件，用于根据采集的图像中图样的变化来检测地面是否存在障碍物。

上述装置中，所述一个或多个图样发生器中的每一个各自对应不同的颜色。

上述装置中，所述障碍物检测部件可以从所采集的图像中选择其对应的颜色与当前地面颜色反差最大的图样来检测障碍物。

上述装置中，所述障碍物检测部件可分别基于所采集的图像中每个颜色的图样检测是否存在障碍物，如果其中一个检测结果为存在障碍物，则判定当前地面存在障碍物。

上述装置中，所述图样可以为格栅图案。

上述装置中，所述图样发生器包括点光源和带有图样的镜头或透明薄片/膜。

又一方面，本发明提供了一种障碍物检测方法，包括：

步骤1，将图样投影到地面；

步骤2，采集关于地面状况的图像，所采集的图像中包含投影到地面的图样；

步骤3，根据采集的图像中图样的变化来检测地面是否存在障碍物。

上述方法中，所述步骤1包括将不同颜色的图样投射到地面。

上述方法中，所述步骤3可包括从采集的图像中选择其颜色与当前地面颜色反差最大的图样来检测障碍物。

上述方法中，所述步骤3可包括分别基于采集的图像中每个颜色的图样检测是否存在障碍物，如果其中一个检测结果为存在障碍物，则判定当前地面存在障碍物。

上述方法中，所述图样可以为格栅图案。所述步骤3可包括：

从当前采集的图像中识别所包含的格栅信息，所述格栅信息包括与格栅图案中线条和/或交叉点相关的信息；

判断当前采集的图像中的格栅信息与上次采集的图像中的格栅信息或参考格栅信息相比，是否发生了变化；如果发生变化，则确定地面上存在障碍物。

与现有技术相比，本发明的优点在于：

根据投影到地面的图样的变化来检测障碍物，极大地简化了分析处理的复杂度，降低了成本，改善了障碍物的检测鲁棒性，提高了检测速度和精度，满足了盲人避障的实时性需求。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明一个实施例的障碍物检测装置的结构示意图；

图2为根据本发明又一个实施例的障碍物检测装置的结构示意图；

图3为根据本发明一个实施例的障碍物检测方法的流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1给出了根据本发明一个实施例的障碍物检测装置100的结构示意图。该障碍物检测装置100包括图样发生器101、图像传感器102和障碍物检测部件103。图样发生器101用于将图样投影到行进前方的地面；图像传感器102用于采集关于行进前方的地面状况的图像，所采集的图像中包含被投影到地面的图样；障碍物检测部件103用于根据采集的图像中图样的变化来检测在行进前方的地面是否存在障碍物。

参考图1，在一个实施例中，图样发生器101包括点光源和带有图样的镜头或透明薄片/膜。通过点光源照射带有图样的镜头或透明薄片/膜，可将图样投射到盲人行进的前方路面，从而在路面上呈现被投影的图样。在一个实施例中，图样可以是格栅图案。格栅图案例如可以是由在水平和垂直方向上平行且等距的线条交叉形成正方形格栅。在又一个示例中，格栅图案可以是在其他互相垂直的两个方向上平行且等距的线条交叉形成的正方形格栅。在又一个示例中，格栅图案是由在互相垂直的两个方向上平行的线条交叉形成的格栅。在其他实施例中，图样可以是任何便于从图像中识别的规则或不规则图案构成的图像。在一个实施例中，可采用市场上常见的激光笔或激光手电(例如SDLaser303)作为图样发生器中的点光源，并在前端安装一片带有诸如格栅图案之类的图样的镜头或透明薄片。为了适合在阳光下使用，激光笔或激光手电的功率可以设置在1000mw以上。应理解，以上仅是举例说明，在本发明的实施例中，对于图样发生器的具体构成部件不进行任何限制，本领域技术人员也可以通过其他可替代部件来将例如格栅之类的图样投影到地面。

图像传感器102用于采集关于行进前方地面状况的图像信息，这些信息中包含了通过图样发生器投射到地面的图样。可采用市场上常见的摄像头作为图像传感器，例如，谷客H15高清摄像头，其像素为500万，每秒采集30帧且具有USB2.0接口。在本发明的实施例中，对于图像传感器的型号和性能等不进行限制。

继续参考图1，障碍物检测部件103用于通过分析图像传感器102所采集图像，判断其中包含的图样是否发生了变化来检测在行进前方的地面是否存在障碍物，并将检测结果反馈给使用者。为方便描述，下文将以格栅为例来说明如何根据采集的图像中图样的变化来检测在行进前方的地面是否存在障碍物。本领域技术人员应理解，以格栅作为所采用的图样仅是举例说明的目的，而非进行限制，在其他实施例中也可以使用任何便于从图像中识别的图案以及偏于判定其形状变化的图案作为图样并将其投影到地面。其中，可以将在地面平整的正常情况下所采集的图像中的格栅图案设置为参考图案，或者也可以不断地将未遇到障碍物时最新采集的图像中的格栅图案设置为参考图案。当地面出现不平整时，相比参考图案，投影到地面上的格栅的线条就会发生变形，而且变形越大则代表地面越不平整。根据投影原理，离发射点越远，图像就越大，反之就越小。例如，与参考图案相比，当两条平行的格栅线条投射到地面上时，如果检测到这两条格栅线条之间的间距变窄了，则说明地面凸起，反之代表凹陷。又例如，相比参考图案，如果检测到投影到地面的格栅中某个区域的格子的面积均变大，则说明这部分区域的地面上有凹陷，反之，如果检测到某个区域的格子的面积均变小，则说明这部分区域的地面上有凸起。又例如，相比参考图案，如果检测到投影到地面的格栅中各个线条的斜率发生变化，变化越大说明存在障碍物的可能性越大。又例如，相比参考图案，如果检测到投影到地面的格栅中各个角点(即格栅线条的交叉点)的在图中的位置发生变化，变化越大说明存在障碍物的可能性越大。

在一个优选的实施例中，考虑到阳光以及地面颜色等不同情况，为改善图样颜色与地面的反差，可以采用多个不同颜色的图样发生器。如图2所示，可以采用两个颜色的格栅发生器，例如，其包含2支SDLaser303激光手电，其中1支是绿色的，另外1支是红色的，它们的功率为10000MW，并可以分别采用带有相同或不同的格栅图案的镜头。通过这两个格栅发生器同时向行进前方的地面投射红色和蓝色的格栅。障碍物检测部件从所采集的路面图像中选择其对应的颜色与当前地面颜色反差最大的格栅来检测障碍物。在又一个实施例中，障碍物检测部件可以同时使用多种颜色的格栅来检测障碍物。例如，障碍物检测部件分别基于所采集的路面图像中各个颜色的格栅检测是否存在障碍物，如果其中一个检测结果为存在障碍物，则判定行进前方地面存在障碍物。这样可以防止由于环境光线以及路面颜色导致格栅识别不清楚的情况，可提高障碍物检测的鲁棒性和准确性。

应理解，障碍物检测部件可以软件的形式运行在诸如手机、平板电脑等便携的终端设备上。也可以以现场可编程门阵列(FPGA)、专用集成电路(ASIC)的硬件形式来实现。实际上，障碍物检测部件可作为产品或在产品中实现的计算机可读程序而被提供。此处使用的术语“产品”包括从计算机可读的装置、固件、可编程逻辑、存储器装置、集成电路芯片、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等、电子装置、计算机可读的非易失存储单元(例如，CD-ROM、软盘、硬盘等)可访问的或嵌入其中的代码或硬件逻辑。

在本发明的又一个实施例中，还提供了一种障碍物检测方法。该方法首先将图样投影到行进前方的地面，接着采集关于行进前方的地面状况的图像，该路径图像中包含在行进前方的地面投影的图样；然后根据采集的图像中图样的变化来检测在行进前方的地面是否存在障碍物。如上文所讨论的，可以利用很多种方法来将图样投影到行进前方的地面以及采集行进前方的带有被投影的图样的地面图像。为方便描述，下文将以格栅为例来说明如何根据采集的图像中图样的变化来检测在行进前方的地面是否存在障碍物。本领域技术人员应理解，以格栅作为所采用的图样仅是举例说明的目的，而非进行限制。

在采集到图像后，可以采用现有的图像识别技术来从所采集的图像中识别与格栅图案中线条和/或交叉点相关的信息，例如，各个线条的起始点、斜率以及各个交叉点的位置等等。然后，将这些所识别的格栅信息与参考的格栅图案相比，可以判定所采集的图像中的格栅是否发生了形变，从而确定是否检查到障碍物。其中，可以将在地面平整的正常情况下所采集的图像中的格栅图案设置为参考图案。或者也可以不断地将未遇到障碍物时最新采集的图像中的格栅图案设置为参考图案，也就是将当前采集的图像中的格栅与上一次采集的图像中的格栅进行对比。

在一个实施例中，根据从图像中识别的与格栅中线条相关的信息来判定当前图像中的格栅与参考图案相比是否发生了形变。例如，可以根据从图像中识别的格栅图案中相邻两个平行线条之间的间距与参考图案相比是否发生了变化。如果检测到这两条格栅线条之间的间距变窄了，则说明地面凸起，反之代表凹陷。这样就可以确定格栅发生了形变，行进前方存在障碍物。在又一个示例中，根据从图像中识别的格栅中线条的数量或斜率来判定当前图像中的格栅与参考图案相比是否发生了形变。例如，相比参考图案，如果投影到地面的格栅中各个线条的斜率发生变化，变化越大说明存在障碍物的可能性越大。又例如，假设采用3条横向和3条纵向相互交叉组成的格栅图案，首先可以根据投射的格栅的颜色值，对采集到的彩色图像进行逐像素分析和判断，将像素颜色值和格栅颜色值之间的差异大于一定阈值的像素值设置为黑色。接着，再去除一些孤立的噪声点，对图像进行二值化，得到仅保留格栅像素的图像。然后利用图像处理中的哈夫(Hough)变换提取图像中的直线，获得直线的数目，每条直线的起始点，以及每条直线的斜率等信息。在没有障碍物的情况下，应该仅仅得到横向的3条直线，以及纵向的3条直线。对采集的图像中检测到的直线信息进行分析，如果检测到的直线是6条，且是3条横向线和3条纵向线，说明带判断图像中没有障碍物。其他的情况都说明有障碍物存在。比如检测得到的直线数目不为6条，说明存在障碍物。这或者是由于地面上存在凸起或者凹陷的障碍物，使得投射出去的直线遇到障碍物产生形变，从而导致原本一条直线的斜率在中间发生变化，分解为两条甚至多条斜率不同的直线，或者由于不规则物体导致直线断裂为前后两条直线，或者由于极端的凹陷导致某些直线消失等情况。

在一个实施例中，根据从图像中识别的与格栅中交叉点相关的信息来判定当前图像中的格栅与参考图案相比是否发生了形变。在一个示例中，可以根据从图像中识别的格栅的各个交叉点的位置来计算每个格子的面积，如果检测到投影到地面的格栅中某个区域的格子的面积均变大，则说明这部分区域的地面上有凹陷，反之，如果检测到某个区域的格子的面积均变小，则说明这部分区域的地面上有凸起。在又一个示例中，可以将从当前采集的图像中识别的格栅的各个交叉点的位置与参考图案中各个交叉点的位置进行比较，如果检测到当前图像中格栅的各个交叉点的位置发生变化，则代表可能存在障碍物，变化越大说明存在障碍物的可能性越大。

在又一个实施例中，可以将对新采集的图像中的角点信息和参考图案中交叉点信息进行比对来检测是否存在障碍物。这里可以将没有障碍物时交叉点的位置信息以及交叉点之间的距离信息进行存储，作为无障碍物时的基准。然后从当前采集的图像中提取角点信息并将其与基准的交叉点信息进行比较。更具体地，假设将由3条水平线和3条垂直线相交叉的格栅图案投射到前方地面，横向直线可以和水平线有一定的角度偏差。由于摄像头采集到的场景图像是前方场景和格栅图案叠加在一起的图像，首先需要对采集到的颜色图像进行预处理，仅保留格栅线条颜色部分，其他位置的像素值可以设置为黑色。例如可以根据投射的格栅的颜色值，对采集到的彩色图像进行逐像素分析和判断，将像素颜色值和格栅颜色值之间的差异大于一定阈值的像素值设置为黑色。接着，再去除一些孤立的噪声点，对图像进行二值化，得到仅保留格栅像素的图像。然后利用角点检测程序，比如Harris角点检测算法，提取图像中的角点。角点是指图像中梯度值和梯度方向的变化速率较大的点，或者是目标轮廓上曲率的局部极大点。通过以上操作能检测出新采集的图像中的所有角点，其中包括格栅图案中格栅的交叉点以及栅格线条上梯度变化大的点，也就是由于格栅线条变形带来的角点或拐点。这样，将新采集图像中的角点个数和参考图案中基准交叉点的个数进行比对，如果新采集的图像中的角点个数大于基准交叉点个数，说明多出的角点是由栅格线条变形引起的，这种情况说明有障碍物存在。当角点个数一致，而且角点信息和交叉点信息如果偏差不大时，特别是交叉点之间的距离特征，说明场景中没有障碍物。

为了避免偶发情况或者识别误差的影响，对于上述判定格栅是否发生形变的方法可设定参考阈值。又例如，当格栅的交叉点的位置变化、格子面积变化、线条斜率变化、平行线条的间距变化等超过设定的参考阈值时，才确定格栅发生了形变，提示当前行进前方存在障碍物。例如，当格栅的交叉点的位置变化超过5厘米时，则判定检测到障碍物。

在又一个实施例中，该方法还包括将不同颜色的格栅投射到路面，从采集的图像中选择其颜色与当前地面颜色反差最大的格栅来检测障碍物。或者，也可以分别基于所采集的图像中各个颜色的格栅检测是否存在障碍物，如果其中一个检测结果为存在障碍物，则判定行进前方地面存在障碍物。这样可以尽可能避免由于环境光线以及路面颜色导致格栅识别不清楚的情况，从而提高了障碍物检测的鲁棒性和准确性。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。

Claims (12)

1.一种障碍物检测装置，所述装置包括：

一个或多个图样发生器，用于将图样投影到地面；

图像传感器，用于采集关于地面状况的图像，所采集的图像中包含投影到地面的图样；

障碍物检测部件，用于根据采集的图像中图样的变化来检测地面是否存在障碍物。

2.根据权利要求1所述的装置，其中所述一个或多个图样发生器中的每一个各自对应不同的颜色。

3.根据权利要求2所述的装置，所述障碍物检测部件从所采集的图像中选择其对应的颜色与当前地面颜色反差最大的图样来检测障碍物。

4.根据权利要求2所述的装置，所述障碍物检测部件分别基于所采集的图像中每个颜色的图样检测是否存在障碍物，如果其中一个检测结果为存在障碍物，则判定当前地面存在障碍物。

5.根据上述任一权利要求所述的装置，其中所述图样为格栅图案。

6.根据上述任一权利要求所述的装置，其中所述图样发生器包括点光源和带有图样的镜头或透明薄片/膜。

7.一种障碍物检测方法，所述方法包括：

步骤1，将图样投影到地面；

步骤2，采集关于地面状况的图像，所采集的图像中包含投影到地面的图样；

步骤3，根据采集的图像中图样的变化来检测地面是否存在障碍物。

8.根据权利要求7所述的方法，所述步骤1包括将不同颜色的图样投射到地面。

9.根据权利要求8所述的方法，所述步骤3包括从采集的图像中选择其颜色与当前地面颜色反差最大的图样来检测障碍物。

10.根据权利要求8所述的方法，所述步骤3包括分别基于采集的图像中每个颜色的图样检测是否存在障碍物，如果其中一个检测结果为存在障碍物，则判定当前地面存在障碍物。

11.根据权利要求7-10中任一权利要求所述的方法，其中所述图样为格栅图案。

12.根据权利要求11所述的方法，所述步骤3包括：

从当前采集的图像中识别所包含的格栅信息，所述格栅信息包括与格栅图案中线条和/或交叉点相关的信息；

判断当前采集的图像中的格栅信息与上次采集的图像中的格栅信息或参考格栅信息相比，是否发生了变化；如果发生变化，则确定地面上存在障碍物。