CN113917452B - 一种视觉与雷达结合的盲道检测装置和方法 - Google Patents

Abstract

本发明公开了一种视觉与雷达结合的盲道检测装置、方法和非暂态计算机可读存储介质，盲道检测装置包括：盲道信息获取单元，其用于获取前方道路路面的视觉图像，通过雷达扫描获取得到的所述前方道路路面的点云；图像判断单元，其用于根据所述视觉图像，判断所述前方道路路面是否为盲道；点云判断单元，其用于在所示图像判断单元判定时刻t所述前方道路路面为盲道，而当视觉判定时刻t+1所述前方道路路面为非盲道或所述视觉图像失效的情形下，根据时刻t的所述点云P^t、以及时刻t+1的所述点云P^t+1，判断P^t与P^t+1是否相似，若是，则判定所述点云P^t+1对应的所述前方道路路面为盲道，反之，则判定所述点云P^t+1对应的所述前方道路路面为非盲道。本发明可以有效解决盲道识别的问题。

Description

一种视觉与雷达结合的盲道检测装置和方法

技术领域

本发明涉及盲道识别技术领域，特别是关于一种视觉与雷达结合的盲道检测装置和方法。

背景技术

盲人的出行一直是当前社会存在的民生问题之一。导盲犬在一定程度上可以为盲人的出行提供较好的帮助。但目前我国导盲犬的数量严重不足，并且导盲犬训练成本较高，在许多公共场合也存在不太明确的规定，导盲犬是否可以进入是一个争议话题。

随着科技的进步与发展，尤其是人工智能以及自动驾驶的技术发展，出现了一些电子导盲产品(例如导盲车，导盲手杖)，可以通过识别盲道，有效的帮助盲人出行，为盲人提供可靠的引导服务。

现有盲道识别技术主要通过计算机视觉技术，利用摄像头对盲道进行识别。其主要的手段是通过图像检测，利用盲道的颜色特征、纹理特征等信息，实现对盲道的识别。现有技术中，通过计算机视觉方法识别盲道非常容易受环境影响，成像质量会极大影响识别的准确性。

发明内容

本发明的目的在于提供一种视觉与雷达结合的盲道检测装置和方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种视觉与雷达结合的盲道检测装置，盲道检测装置包括：

盲道信息获取单元，其用于获取前方道路路面的视觉图像，通过雷达扫描获取得到的所述前方道路路面的点云；

图像判断单元，其用于根据所述视觉图像，判断所述前方道路路面是否为盲道；

点云判断单元，其用于在所示图像判断单元判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道或所述视觉图像失效的情形下，根据时刻t的所述点云P^t、以及时刻t+1的所述点云P^t+1，判断P^t与P^t+1是否相似，若是，则判定所述点云P^t+1对应的所述前方道路路面为盲道，反之，则判定所述点云P^t+1对应的所述前方道路路面为非盲道。

进一步地，所述点云P^t中的点表示为

i＝1……m，m为t时刻的所述点云的总数量，所述点云P^t+1中的点表示为

j＝1……n，n为t+1时刻的所述点云的总数量，Y方向为垂直地路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向；

所述盲道检测装置还包括：

归一化单元，其用于将所述盲道信息获取单元获得的所述点云沿垂直地面方向Y方向的值进行归一化处理。

进一步地，所述点云判断单元具体包括：

计算子单元，其用于计算矩阵M_ij，其行和列的元素的值通过式(1)计算得到：

其中，

为

中的Y方向分量，

为

中的Y方向分量；

路径筛选子单元，其用于寻找从M₀₀到M_mn或M_nm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；

比较子单元，其用于判断H和S的比值

是否不大于设定阈值T，若是，则判定P^t与P^{t +1}相似，反之，则判定P^t与P^t+1不相似。

本发明还提供一种视觉与雷达结合的盲道检测方法，所述盲道检测方法包括：

步骤1，获取前方道路路面的视觉图像，通过雷达扫描获取所述前方道路路面的点云；

步骤2，根据所述视觉图像，判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道，则进入步骤4；

步骤3，所述视觉图像失效的情形下，进入步骤4；

步骤4，根据时刻t的所述点云P^t、以及时刻t+1的所述点云P^t+1，判断P^t与P^t+1是否相似，若是，则判定所述点云P^t+1对应的所述前方道路路面为盲道，反之，则判定所述点云P^t+1对应的所述前方道路路面为非盲道。

进一步地，所述点云P^t中的点表示为

i＝1......m，m为t时刻的所述点云的总数量，所述点云P^t+1中的点表示为

j＝1……n，n为t+1时刻的所述点云的总数量，Y方向为垂直地路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向；

步骤2之前还包括：

将所述步骤1获得的所述点云沿垂直地面方向Y方向的值进行归一化处理。

进一步地，所述步骤4中，判断P^t与P^t+1是否相似的方法具体包括：

步骤41，计算矩阵M_ij，其行和列的元素的值通过式(1)计算得到：

其中，

为

中的Y方向分量，

为

中的Y方向分量；

步骤42，寻找从M₀₀到M_mn或M_nm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；

步骤43，判断H和S的比值

是否不大于设定阈值T，若是，则判定P^t与P^t+1相似，反之，则判定P^t与P^t+1不相似。

本发明还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如上所述的视觉与雷达结合的盲道检测方法。

本发明由于通过视觉与雷达结合，通过雷达对盲道的进一步检测，有效解决由于光线、阴影等问题导致的图像识别盲道不准确的问题。本发明通过视觉与雷达结合的方法，实现对盲道的检测。通过雷达点云的匹配，有效解决纯视觉检测中，图像易受到光影、颜色、纹理的影响，导致视觉检测不准确的问题。通过本方法可以更加稳定检测盲道是否存在的情况，为盲人的辅助出行设备带来更加可靠的性能。

附图说明

图1为前视摄像头在图像成像质量较好时提取出的盲道区域示意图。

图2为前视摄像头在图像成像受环境影响提取出的盲道区域示意图。

图3为盲道的侧视图。

图4为盲道的俯视图。

图5为点云与盲道上的突起的对应关系示意图。

图6为使用本发明方法使用过程中的不同时刻对应的视觉图像和点云示意图。

图7为本发明实施例提供的一种电子设备的结构框图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

本发明实施例提供的视觉与雷达结合的盲道检测装置包括盲道信息获取单元、图像判断单元和点云判断单元，其中：

盲道信息获取单元用于获取前方道路路面的视觉图像，通过雷达扫描获取得到的所述前方道路路面的点云。其中，视觉图像可以通过搭载前视摄像头获取得到，首先，通过前视摄像头采集到的图像，利用图像处理技术，根据图像颜色、纹理、边缘的特征，提取出盲道区域。在图像成像质量较好的情况下，可以较为完整准确的提取出盲道区域，如下图1所示。

如图2所示，当图像质量由于拍摄环境的光照、阴影等情况的影响，单纯使用纯视觉的方案，容易出现下图所示情况，视觉检测系统会误判前方盲道丢失不连续。此时，需要单线激光雷达辅助，帮助判断前方是否依旧存在盲道。雷达主要通过扫描地面测距来进行判断。通常的盲道环境如图3和4所示。雷达可以使用但不限于单线雷达。使用单线机激光雷达进行扫描时候，由于地砖、缝隙、盲道突起、测量噪声的影响，在前方存在盲道的情况下，可能的点云分布如下图5所示。

将摄像头与单线激光雷达安置与适当位置并调整好角度，确保能采集到合适的盲道的图像与扫描到合适的点云数据。如何安置不是本发明的重点，故不过多论述。

图像判断单元用于根据所述视觉图像，判断所述前方道路路面是否为盲道。

点云判断单元用于在所示图像判断单元判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道或视觉图像失效的情形下，根据时刻t的所述点云P^t、以及时刻t+1的所述点云P^t+1，判断P^t与P^t+1是否相似，若是，则判定所述点云P^t+1对应的所述前方道路路面为盲道，反之，则判定所述点云P^t+1对应的所述前方道路路面为非盲道。

如图1所示，点云P^t中的点表示为

i＝1......m，m为t时刻的所述点云的总数量，例如：i＝1时，

为

i＝m时，

为

所述点云P^t+1中的点表示为

j＝1......n，n为t+1时刻的所述点云的总数量，例如：j＝1时，

为

j＝n时，

为

其中，Y方向为垂直地路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向。

其中，视觉图像失效的情形可以是图2所示的情况，由于阴影的影响，采用纯图像对盲道进行识别的情况下，会导致识别失败。视觉图像失效的情形还可以包括：例如盲道区域有脏东西(例如油漆泼洒、不干净油污之类的造成盲道区域颜色出现了差别)、盲道因长期未护理所导致的掉色、或是盲道本身选取的颜色可能与附近的人行道颜色比较相近而无法辨识。

本实施例通过视觉与激光雷达相结合，在视觉图像检测不确定或者失败的情况下，雷达通过扫描路面获取的点云，并将点云信息与视觉检测正常时候扫描到的点云信息进行相似度匹配，能够实现更好进行盲道识别，可应用于自动导盲车等产品中。

在一个实施例中，所述盲道检测装置还包括归一化单元，所示归一化单元用于将所述盲道信息获取单元获得的所述点云沿垂直地面方向Y方向的值进行归一化处理。

在一个实施例中，所述点云判断单元具体包括计算子单元、路径筛选子单元和比较子单元：

计算子单元用于计算矩阵M_ij，其行和列的元素的值通过式(1)计算得到：

其中，

为

中的Y方向分量，

为

中的Y方向分量。

路径筛选子单元用于寻找从M₀₀到M_mn或M_nm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S。

比较子单元用于判断H和S的比值

是否不大于设定阈值T，若是，则判定P^t与P^t+1相似，反之，则判定P^t与P^t+1不相似。

本发明实施例提供的视觉与雷达结合的盲道检测方法包括：

步骤1，获取前方道路路面的视觉图像，通过雷达扫描获取所述前方道路路面的点云。

步骤2，根据所述视觉图像，判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道，则进入步骤4。

步骤3，所述视觉图像失效的情形下，进入步骤4。

步骤4，根据时刻t的所述点云P^t、以及时刻t+1的所述点云P^t+1，判断P^t与P^t+1是否相似，若是，则判定所述点云P^t+1对应的所述前方道路路面为盲道，反之，则判定所述点云P^t+1对应的所述前方道路路面为非盲道。

步骤2之前还包括：

将所述步骤1获得的所述点云沿垂直地面方向Y方向的值进行归一化处理。

在一个实施例中，步骤4中，判断P^t与P^t+1是否相似的方法具体包括：

步骤41，计算矩阵M_ij，其行和列的元素的值通过式(1)计算得到：

其中，

为

中的Y方向分量，

为

中的Y方向分量。

步骤42，寻找从M₀₀到M_mn或M_nm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S。

步骤43，判断H和S的比值

是否不大于设定阈值T，若是，则判定P^t与P^t+1相似，反之，则判定P^t与P^t+1不相似。

下面用一组实施例来说明本方法的效果，为了便于理解，对雷达扫描的数据量进行了简化，但不影响本发明的效果。

如图6所示，整个过程中，设T＝0.02，扫描到的点云数据在y方向已经经过归一化处理。假设t0时刻，导盲车正常行驶，此时视觉系统能正确的辨识到盲道，导盲车依靠视觉检测的盲道正常在盲道行驶，此时雷达扫描的点云为

作为最后一次检测到有盲道的点云。在t1时刻，导盲车依然可以通过视觉系统正常检测到盲道，此时雷达扫描的点云为

替换

作为最后一次检测到有盲道的点云。

到达t2时刻，由于树荫的影响，视觉检测出现了不确定的问题，无法肯定判断前方是否存在盲道。此时雷达扫描的点云为

利用本发明的方法对

和

进行判断。若

此时计算的矩阵M_ij为：

则有：

H＝0+0.03+0+0+0+0+0.01+0.03+0.02+0.04＝0.13

S＝10

因此有：

于是可以认为此时前方仍然是盲道，可以继续向前。

到达t3时刻，由于前方没有盲道了，因此视觉系统无法检测到盲道存在。此时需要判断

与

的相似度来确认是真的不存在盲道，还是只是视觉系统由于其它原因导致无法检测。

若

则矩阵M_ij如下：

则有：

H＝0+0.01+0+0+0.01+0+0.03+0.01+0.18+0.17+0.18+0.02+0.04＝0.73

S＝13

因此有：

于是确认前方确实不是盲道区域，判断结束。

请参照图7，图7为本申请实施例提供的一种电子设备的结构框图，该电子设备包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线。其中，通信总线用于实现这些组件直接的连接通信，通信接口用于与其他节点设备进行信令或数据的通信，存储器存储有处理器可执行的机器可读指令。当电子设备运行时，处理器与存储器之间通过通信总线通信，机器可读指令被处理器调用时执行上述视觉与雷达结合的盲道检测方法。

处理器可以是一种集成电路芯片，具有信号处理能力。上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processot，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Flectric Erasable Programmable Read-Only Memory，EEPROM)等。

可以理解，图7所示的结构仅为示意，电子设备还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。于本申请实施例中，远程即使方法中的车辆端、远程驾驶端以及管理端可以采用图7示出的电子设备实现。

本申请实施例还提供一种计算机程序产品，包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述实施例中视觉与雷达结合的盲道检测方法的步骤。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种视觉与雷达结合的盲道检测装置，其特征在于，包括：

盲道信息获取单元，其用于获取前方道路路面的视觉图像，通过雷达扫描获取得到的所述前方道路路面的点云；

图像判断单元，其用于根据所述视觉图像，判断所述前方道路路面是否为盲道；

点云判断单元，其用于在所示图像判断单元判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道或所述视觉图像失效的情形下，根据时刻t的所述点云P^t、以及时刻t+1的所述点云P^t+1，判断P^t与P^t+1是否相似，若是，则判定所述点云P^t+1对应的所述前方道路路面为盲道，反之，则判定所述点云P^t+1对应的所述前方道路路面为非盲道；

所述点云判断单元具体包括：

计算子单元，其用于计算矩阵M_ij，其行和列的元素的值通过式(1)计算得到：

其中，

为所述点云P^t中的点

中的Y方向分量，

为所述点云P^{t +1}中的点

中的Y方向分量；i＝1……m，m为t时刻的所述点云的总数量，j＝1……n，n为t+1时刻的所述点云的总数量，Y方向为垂直路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向；

路径筛选子单元，其用于寻找从M₀₀到M_mn或M_nm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；

比较子单元，其用于判断H和S的比值

是否不大于设定阈值T，若是，则判定P^t与P^t+1相似，反之，则判定P^t与P^t+1不相似。

2.如权利要求1所述的视觉与雷达结合的盲道检测装置，其特征在于，

所述盲道检测装置还包括：

归一化单元，其用于将所述盲道信息获取单元获得的所述点云沿垂直地面方向Y方向的值进行归一化处理。

3.一种视觉与雷达结合的盲道检测方法，其特征在于，包括：

步骤1，获取前方道路路面的视觉图像，通过雷达扫描获取所述前方道路路面的点云；

步骤2，根据所述视觉图像，判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道，则进入步骤4；

步骤3，所述视觉图像失效的情形下，进入步骤4；

步骤4，根据时刻t的所述点云P^t、以及时刻t+1的所述点云P^t+1，判断P^t与P^t+1是否相似，若是，则判定所述点云P^t+1对应的所述前方道路路面为盲道，反之，则判定所述点云P^t+1对应的所述前方道路路面为非盲道；

所述步骤4中，判断P^t与P^t+1是否相似的方法具体包括：

步骤41，计算矩阵M_ij，其行和列的元素的值通过式(1)计算得到：

其中，

为所述点云P^t中的点

中的Y方向分量，

为所述点云P^{t +1}中的点

中的Y方向分量；i＝1……m，m为t时刻的所述点云的总数量，j＝1……n，n为t+1时刻的所述点云的总数量，Y方向为垂直路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向；

步骤42，寻找从M₀₀到M_mn或M_nm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；

步骤43，判断H和S的比值

是否不大于设定阈值T，若是，则判定P^t与P^t+1相似，反之，则判定P^t与P^t+1不相似。

4.如权利要求3所述的视觉与雷达结合的盲道检测方法，其特征在于，

步骤2之前还包括：

将所述步骤1获得的所述点云沿垂直地面方向Y方向的值进行归一化处理。

5.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求3-4任一项所述的视觉与雷达结合的盲道检测方法。

Images