CN113908023B - 一种导盲车和人车协同的导盲车控制方法 - Google Patents

Abstract

本发明实施例公开了一种导盲车和人车协同的导盲车控制方法，该方法包括：通过拉力计测量盲人对导盲车的拉力，根据拉力值控制导盲车的速度；通过后置摄像头拍摄盲道和盲人的图像，根据盲人与盲道的位置关系播放纠偏提示音，该纠偏提示音用于指示盲人的行走，以保持盲人与导盲车之间的位置关系。通过采用本发明实施例提供的导盲车和导盲车控制方法，保证导盲车与盲人的速度匹配且保持在盲道上的行走，优化盲人的出行体验，使导盲车更好地服务于盲人的生活。

Description

一种导盲车和人车协同的导盲车控制方法

技术领域

本发明涉及导盲车技术领域，特别是关于一种导盲车和人车协同的导盲车控制方法。

背景技术

目前，导盲犬由于训练成本较为高昂，且国内数量稀少，导致很难普遍应用于盲人的生活中。因此，各式各样的智能导盲车便应运而生，其价格低廉、稳定可靠且支持语音交互等特点，使其得到越来越广泛的应用。

然而，几乎所有智能导盲车的开发设计都过于关注其自身功能的完善，如盲道检测、盲道保持、语音交互以及障碍物检测和躲避等，缺乏对盲人行走的人文关怀，如以下2个场景：

若智能导盲车的车速与盲人行走的速度不匹配，无法自动调整车速以适应盲人的步行节奏；

若盲人偏离盲道，智能导盲车无法检测到，自然也就无法指导盲人回归到盲道上，盲人只能靠导盲杖自行探测盲道并进行纠偏。

因此，亟待提供一种人车协同的导盲车控制方案。

发明内容

本发明实施例的目的在于提供一种导盲车和人车协同的导盲车控制方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明实施例提供一种导盲车，包括绳索、拉力计、语音播放器件、后置摄像头和车身，所述车身内置控制器，其中，所述绳索的一端连接所述拉力计，另一端用于与盲人连接；所述拉力计与所述控制器电性连接，用于将测量的拉力传输到所述控制器；所述后置摄像头与所述控制器电性连接，用于拍摄盲道和使用所述导盲车的盲人的图像，将所述图像传输到所述控制器；所述控制器用于：接收所述拉力计测量的拉力值，根据所述拉力值控制所述导盲车的速度；接收所述后置摄像头拍摄的图像，根据盲人与所述盲道的位置关系向所述语音播放器件发送语音播放指令；所述语音播放器件用于：根据所述控制器发送的语音播放指令播放纠偏提示音，所述纠偏提示音用于指示盲人的行走，以保持盲人与所述导盲车之间的位置关系。

优选的，所述控制器用于：根据下式控制所述导盲车的速度：

其中，a表示所述导盲车的加速度，F表示所述拉力计测量到的拉力值，F₀、F′₀和F₁为预设的拉力阈值，k₁和k₂为预设的大于0的比例系数，a_max为预设的大于0的加速度值，F′₀≥F₀。

在一种实施方式中，

其中，a₀为预设的恒定加速度，F_s为预设的拉力阈值，F₀≥F_s。

优选的，所述导盲车的速度满足：0≤v≤v_max。

在一种实施方式中，所述控制器用于：根据下式播放纠偏提示音：

其中，L为所述图像中盲人当前位置距离盲道中心线的像素距离，W为所述图像中的盲道像素宽度，T_th为预设阈值。

在一种实施方式中，该导盲车还包括：前置摄像头和雷达；其中，所述前置摄像头用于采集导盲车前方的图像，所述雷达用于扫描得到导盲车前方的点云分布；所述控制器还用于：根据所述前置摄像头采集的导盲车前方的图像判断前方是否存在盲道；当判断结果为否时，比较所述雷达扫描得到的导盲车前方的上一时刻的点云分布和当前时刻的点云分布，如果上一时刻的点云分布和当前时刻的点云分布的相似度满足阈值，则确定前方仍然存在盲道，否则确定前方不存在盲道。

本发明实施例还提供一种人车协同的导盲车控制方法，应用于上述导盲车，包括：通过所述拉力计测量盲人对所述导盲车的拉力，根据所述拉力值控制所述导盲车的速度；通过所述后置摄像头拍摄盲道和盲人的图像，根据盲人与所述盲道的位置关系播放纠偏提示音，所述纠偏提示音用于指示盲人的行走，以保持盲人与所述导盲车之间的位置关系。

其中，优选的，根据所述拉力值控制所述导盲车的速度包括：

根据下式控制所述导盲车的速度：

其中，a表示所述导盲车的加速度，F表示所述拉力计测量到的拉力值，F₀、F′₀和F₁为预设的拉力阈值，k₁和k₂为预设的大于0的比例系数，a_max为预设的大于0的加速度值，F′₀≥F₀。

在一种实施方式中，

其中，a₀为预设的恒定加速度，F_s为预设的拉力阈值，F₀≥F_s。

优选的，所述导盲车的速度满足：0≤v≤v_max。

在一种实施方式中，所述控制器用于：根据下式播放纠偏提示音：

其中，L为所述图像中盲人当前位置距离盲道中心线的像素距离，W为所述图像中的盲道像素宽度，T_th为预设阈值。

本发明由于采取以上技术方案，其具有以下优点：。

利用拉力计感知导盲车与盲人的相对速度，并将该值用于车速控制，以适应盲人的步行速度；通过后置摄像头检测盲人与盲道，利用检测到的二者的位置关系，通过语音提示盲人向左或向右移动，以指导盲人不会偏离盲道；从而保证导盲车与盲人的速度匹配且保持在盲道上的行走，优化盲人的出行体验，使导盲车更好地服务于盲人的生活。

附图说明

图1为本发明实施例提供的导盲车的结构示意图。

图2示出本发明实施例提供的导盲车指导盲人盲道保持示意图。

图3和图4示出相机与盲人距离不同时所检测到的盲人与盲道位置关系。

图5示出本发明实施例提供的人车协同的导盲车控制方法的流程示意图。

图6示出本发明实施例提供的人车协同的导盲车控制方法的另一流程示意图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“项”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

在不冲突的情况下，本发明各实施例及各实施方式中的技术特征可以相互组合，并不局限于该技术特征所在的实施例或实施方式中。

下面结合附图以及具体实施例对本发明做进一步的说明，需要指出的是，下面仅以一种最优化的技术方案对本发明的技术方案以及设计原理进行详细阐述，但本发明的保护范围并不仅限于此。

本发明实施例提供一种导盲车，图1示出该导盲车的结构示意图，包括绳索1、拉力计2、语音播放器件3、后置摄像头4和车身8，所述车身8内置控制器，其中：

所述绳索1的一端连接所述拉力计2，另一端用于与盲人连接；

所述拉力计2与所述控制器电性连接，用于将测量的拉力传输到所述控制器；

所述后置摄像头4与所述控制器电性连接，用于拍摄盲道和使用所述导盲车的盲人的图像，将所述图像传输到所述控制器；

所述控制器用于：接收所述拉力计测量的拉力值，根据所述拉力值控制所述导盲车的速度；接收所述后置摄像头拍摄的图像，根据盲人与所述盲道的位置关系向所述语音播放器件发送语音播放指令；

所述语音播放器件3用于：根据所述控制器发送的语音播放指令播放纠偏提示音，所述纠偏提示音用于指示盲人的行走，以保持盲人与所述导盲车之间的位置关系。

在一种实施方式中，该导盲车还可以包括前置摄像头6、雷达7等构造，车身8还可以包括底盘、电源、定位器件等部分。本发明实施例对此不做限制。其中，前置摄像头6用于采集导盲车前方的图像，所述控制器可以利用图像处理技术，根据图像颜色、纹理、边缘的特征，提取出盲道区域。由于图像质量容易受到拍摄环境的光照、阴影等情况的影响，单纯利用图像处理技术提取盲道可能产生误判，在一种实施方式中，还通过雷达7(例如激光雷达)辅助判断前方是否依旧存在盲道。雷达可以使用但不限于单线雷达。通过雷达7扫描得到导盲车前方的点云分布。如果通过前置摄像头6采集的图像判断前方不存在盲道，则比较通过雷达7扫描得到的导盲车前方的当前时刻的点云分布与上一时刻的点云分布，若两者的相似度满足阈值，则确定前方仍然存在盲道，否则判断前方不存在盲道。

在一个实施例中，上一时刻t的点云分布P^t表示为

当前时刻t+1的点云分布P^t+1表示为

其中，y方向为垂直地路面的方向，x方向为同时垂直于所述y方向和车辆向前行驶方向的方向，m、n分别为对应时刻的点云数量。在一个实施例中，判断P^t与P^t+1是否相似的方法具体包括：

将P^t和P^t+1中的一所述点云y方向的各元素作为预设矩阵M_ij第一行的行向量，将P^t和P^t+1中的另一所述点云y方向的各元素作为预设矩阵M_ij第一列的列向量，其中，i≠0，j≠0；

将预设矩阵M_ij的第一行和第一列的各元素彼此之间的绝对值

作为其对应所在行和列的元素的值；

寻找从M₀₀到M_mn或M_nm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；

判断H和S的比值

是否不大于设定阈值T，若是，则判定P^t与P^t+1的相似度满足预设条件。

在一个示例中，设图像和雷达扫描间隔均为T＝0.02，雷达扫描到的点云数据在y方向已经经过归一化处理。假设t0时刻，导盲车正常行驶，此时视觉系统能正确的辨识到盲道，导盲车依靠视觉检测的盲道正常在盲道行驶，此时雷达扫描的点云为

作为最后一次检测到有盲道的点云。在t1时刻，导盲车依然可以通过视觉系统正常检测到盲道，此时雷达扫描的点云为

替换

作为最后一次检测到有盲道的点云。

到达t2时刻，由于树荫的影响，视觉检测出现了不确定的问题，无法肯定判断前方是否存在盲道。此时雷达扫描的点云为

利用本发明的方法对

和

进行判断。若

此时计算的预设矩阵M_ij为：

则有：

H＝0+0.03+0+0+0+0+0.01+0.03+0.02+0.04＝0.13

S＝10

因此有：

于是可以认为此时前方仍然是盲道，可以继续向前。

到达t3时刻，由于前方没有盲道了，因此视觉系统无法检测到盲道存在。此时需要判断

与

的相似度来确认是真的不存在盲道，还是只是视觉系统由于其它原因导致无法检测。

若

则预设矩阵M_ij如下：

则有：H＝0+0.01+0+0+0.01+0+0.03+0.01+0.18+0.17+0.18+0.02+0.04＝0.73

S＝13

因此有：

于是确认前方确实不是盲道区域，判断结束。

在一种实施方式中，该导盲车还可以包括蓝牙通信器件5，与语音播放器件3连接，用于通过蓝牙通信技术与盲人携带的蓝牙耳机通信。

在一种实施方式中，所述控制器用于：根据下式控制所述导盲车的速度：

其中，a表示所述导盲车的加速度，F表示所述拉力计测量到的拉力值，F₀、F′₀和F₁为预设的拉力阈值，k₁和k₂为预设的大于0的比例系数，a_max为预设的大于0的加速度值，F′₀≥F₀。

在一种实施方式中，所述导盲车的速度满足：0≤v≤v_max。

上式将拉力F设置为四段：

对于第一段，当拉力F小于第一阈值F₀时，说明导盲车速度慢于盲人行走速度，导盲车此时以加速度k₁(F₀-F)加速；其中，加速度与第一阈值F₀和当前拉力值的差值成正比，这是因为拉力差值越大，说明导盲车与盲人的相对速度就越大，加速也需要更快一些；

对于第二段，当拉力F超过第一阈值F₀且未超过第二阈值F′₀时，说明导盲车速度适合盲人行走速度，导盲车此时只需要保持其行驶速度，加速度为0；其中，F′₀与F₀的差值范围可以根据实际需要设置，在特殊情形下两者可以相等，以实时调整导盲车的车速；

对于第三段，当拉力F超过第二阈值F′₀且未超过第三阈值F₁时，说明导盲车速度快于盲人行走速度，导盲车此时需减速，加速度与当前拉力值和最低阈值F0的差值成正比，这是因为拉力差值越大，说明导盲车与盲人的相对速度就越大，减速也需要更快一些；

对于第四段，当拉力F大于第三阈值F₁时，说明导盲车速度已经远快于盲人行走速度，导盲车此时以最大加速度a_max减速。

在一种实施方式中，还可以对上述第一段进行细分：

其中，a₀为预设的恒定加速度，F_s为预设的拉力阈值，F₀≥F_s。在这种情形下，初始阶段，导盲车以恒定加速度a₀加速，避免加速过快，待F超过最低阈值F_s后，说明车速已接近盲人行走速度，可以按照加速度k₁(F₀-F)加速，平缓地达到理想车速。

在特殊情形下，即当F_s＝F₀时，a＝a₀，加速阶段直接使用恒定加速度值a₀加速，不需要调整a的取值。优选的，该恒定加速度值a₀的值可以为a_max。

在其它实施方式中，拉力F也可以被设置成其它分段。例如：初始阶段导盲车根据拉力F与阈值F₀的差确定加速度的值，然后以恒定加速度加速。

在其它实施方式中，减速阶段也可以设置恒定加速度值，本文对此不做限制。

在一种实施方式中，所述控制器用于：根据下式播放纠偏提示音：

其中，L为所述图像中盲人当前位置距离盲道中心线的像素距离，W为所述图像中的盲道像素宽度，T_th为预设阈值。

图2示出导盲车指导盲人盲道保持示意图。其中，实线箭头代表导盲车前进方向，图2中盲人已经偏离盲道，并处于前进方向左侧。导盲车后置摄像头采集后方图像并传输给控制器，控制器通过图像处理算法识别出盲人在盲道左侧，控制器通过语音模块发出语音提示，提醒盲人向右侧向移动，反之亦然。

由于图像检测算法在检测盲人和盲道时，不可能做到100％准确，总是会存在一定的偏差，另外实际指导盲人进行盲道保持时，盲人也不可能做到沿盲道中心线行走。因此，控制器在判断盲人是否偏离盲道时，需设定一个阈值T_th，否则控制器会频繁发出纠偏语音指导。

图3和图4示出相机与盲人距离不同时所检测到的盲人与盲道位置关系。图3为相机距离盲人较近时的情况，图4为相机距离盲人较远时的情况。图3中盲人当前位置距离盲道中心线的像素距离和盲道像素宽度都更大，这是由相机的透视成像原理决定的。因此，可取二者的比值以消除相机透视成像的影响。

图5示出本发明实施例提供的人车协同的导盲车控制方法的流程示意图，应用于上述任一实施方式所述的导盲车，该方法包括：

步骤510，通过所述拉力计测量盲人对所述导盲车的拉力，根据所述拉力值控制所述导盲车的速度；

步骤520，通过所述后置摄像头拍摄盲道和盲人的图像，根据盲人与所述盲道的位置关系播放纠偏提示音，所述纠偏提示音用于指示盲人的行走，以保持盲人与所述导盲车之间的位置关系。

在一种实施方式中，根据所述拉力值控制所述导盲车的速度包括：

根据下式控制所述导盲车的速度：

其中，a表示所述导盲车的加速度，F表示所述拉力计测量到的拉力值，F₀、F′₀和F₁为预设的拉力阈值，k₁和k₂为预设的大于0的比例系数，a_max为预设的大于0的加速度值，F′₀≥F₀。

在一种实施方式中，

其中，a₀为预设的恒定加速度，F_s为预设的拉力阈值，F₀≥F_s。

在一种实施方式中，所述导盲车的速度满足：0≤v≤v_max。

在一种实施方式中，通过所述后置摄像头拍摄盲道和盲人的图像，根据盲人与所述盲道的位置关系播放纠偏提示音包括：

根据下式播放纠偏提示音：

其中，L为所述图像中盲人当前位置距离盲道中心线的像素距离，W为所述图像中的盲道像素宽度，T_th为预设阈值。

图6示出本发明实施例提供的人车协同的导盲车控制方法的另一流程示意图，包括：

步骤610，初始状态，导盲车和盲人都位于盲道上，拉力计数值为0，即盲人与导盲车之间的绳索处于松弛状态，盲人等待导盲车启动。

步骤620，导盲车启动后，根据其导航系统沿盲道向前行走，同时绳索越来越紧，盲人感受到拉力后便向前步行。

步骤630，拉力计周期性检测拉力值，控制器根据该拉力值调整导航车的速度。

步骤640，后置摄像头周期性采集导盲车后面盲人和盲道的图像，控制器识别出盲人和盲道的位置后，指导盲人保持在盲道上行走。

步骤650，当盲人中途停止步行，例如需要休息时，与导盲车有较大的相对速度，拉力计会检测到较大的拉力值，超过最大阈值后则以最大的加速度减速，直到停车。

步骤660，盲人继续步行后，控制器恢复根据拉力值调整导航车的速度。

步骤670，当导盲车接近到达目的地时，导盲车根据预设策略逐渐减速，直至停车。其中，导盲车也可以通过语音提示盲人已经达到目的地。

基于本发明实施例提供的方案，利用拉力计感知导盲车与盲人的相对速度，并将该值用于车速控制，以适应盲人的步行速度；通过后置摄像头检测盲人与盲道，利用检测到的二者的位置关系，通过语音提示盲人向左或向右移动，以指导盲人不会偏离盲道；从而保证导盲车与盲人的速度匹配且保持在盲道上的行走，优化盲人的出行体验，使导盲车更好地服务于盲人的生。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种导盲车，其特征在于，包括绳索、拉力计、语音播放器件、后置摄像头和车身，所述车身内置控制器，其中，

所述绳索的一端连接所述拉力计，另一端用于与盲人连接；

所述拉力计与所述控制器电性连接，用于将测量的拉力传输到所述控制器；

所述后置摄像头与所述控制器电性连接，用于拍摄盲道和使用所述导盲车的盲人的图像，将所述图像传输到所述控制器；

所述控制器用于：接收所述拉力计测量的拉力值，根据所述拉力值控制所述导盲车的速度；接收所述后置摄像头拍摄的图像，根据盲人与所述盲道的位置关系向所述语音播放器件发送语音播放指令；

所述语音播放器件用于：根据所述控制器发送的语音播放指令播放纠偏提示音，所述纠偏提示音用于指示盲人的行走，以保持盲人与所述导盲车之间的位置关系；

前置摄像头和雷达；

其中，所述前置摄像头用于采集导盲车前方的图像，所述雷达用于扫描得到导盲车前方的点云分布；

所述控制器还用于：根据所述前置摄像头采集的导盲车前方的图像判断前方是否存在盲道；当判断结果为否时，比较所述雷达扫描得到的导盲车前方的上一时刻t的点云分布P^t表示为

以及当前时刻t+1的点云分布P^t+1表示为

如果上一时刻的点云分布P^t和当前时刻的点云分布P^t+1的相似度满足预设条件，则确定前方仍然存在盲道，否则确定前方不存在盲道；其中，y方向为垂直地路面的方向，x方向为同时垂直于所述y方向和车辆向前行驶方向的方向，m、n分别为对应时刻的点云数量；

判断P^t与P^t+1是否相似的方法具体包括：

将P^t和P^t+1中的一所述点云y方向的各元素作为预设矩阵M_ij第一行的行向量，将P^t和P^t+1中的另一所述点云y方向的各元素作为预设矩阵M_ij第一列的列向量，其中，i≠0，j≠0；

将预设矩阵M_ij的第一行和第一列的各元素彼此之间的绝对值M_ij＝

作为其对应所在行和列的元素的值；

寻找从M₀₀到M_mn或M_nm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；

判断H和S的比值

是否不大于设定阈值T，若是，则判定P^t与P^t+1的相似度满足预设条件。

2.如权利要求1所述的导盲车，其特征在于，所述控制器用于：根据下式控制所述导盲车的速度：

其中，a表示所述导盲车的加速度，F表示所述拉力计测量到的拉力值，F₀、F′₀和F₁为预设的拉力阈值，k₁和k₂为预设的大于0的比例系数，a_max为预设的大于0的加速度值，F′₀≥F₀。

3.如权利要求2所述的导盲车，其特征在于，

其中，a₀为预设的恒定加速度，F_s为预设的拉力阈值，F₀≥F_s。

4.如权利要求2所述的导盲车，其特征在于，所述导盲车的速度满足：0≤v≤v_max。

5.如权利要求1所述的导盲车，其特征在于，所述控制器用于：根据下式播放纠偏提示音：

其中，L为所述图像中盲人当前位置距离盲道中心线的像素距离，W为所述图像中的盲道像素宽度，T_th为预设阈值。

6.一种人车协同的导盲车控制方法，应用于如权利要求1所述的导盲车，其特征在于，包括：

通过所述拉力计测量盲人对所述导盲车的拉力，根据所述拉力值控制所述导盲车的速度；

通过所述后置摄像头拍摄盲道和盲人的图像，根据盲人与所述盲道的位置关系播放纠偏提示音，所述纠偏提示音用于指示盲人的行走，以保持盲人与所述导盲车之间的位置关系。

7.如权利要求6所述的方法，其特征在于，根据所述拉力值控制所述导盲车的速度包括：

根据下式控制所述导盲车的速度：

其中，a表示所述导盲车的加速度，F表示所述拉力计测量到的拉力值，F₀、F′₀和F₁为预设的拉力阈值，k₁和k₂为预设的大于0的比例系数，a_max为预设的大于0的加速度值，F′₀≥F₀。

8.如权利要求7所述的方法，其特征在于，

其中，a₀为预设的恒定加速度，F_s为预设的拉力阈值，F₀≥F_s。

9.如权利要求6所述的方法，其特征在于，通过所述后置摄像头拍摄盲道和盲人的图像，根据盲人与所述盲道的位置关系播放纠偏提示音包括：

根据下式播放纠偏提示音：

其中，L为所述图像中盲人当前位置距离盲道中心线的像素距离，W为所述图像中的盲道像素宽度，T_th为预设阈值。

Images