CN113813146A - 一种基于导航与盲道循迹结合的室外导盲方法和系统 - Google Patents

一种基于导航与盲道循迹结合的室外导盲方法和系统 Download PDF

Info

Publication number
CN113813146A
CN113813146A CN202111160632.0A CN202111160632A CN113813146A CN 113813146 A CN113813146 A CN 113813146A CN 202111160632 A CN202111160632 A CN 202111160632A CN 113813146 A CN113813146 A CN 113813146A
Authority
CN
China
Prior art keywords
blind
road
vehicle
judging
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111160632.0A
Other languages
English (en)
Other versions
CN113813146B (zh
Inventor
蒲虹旭
王映焓
贾立东
王雷
王毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziqing Zhixing Technology Beijing Co ltd
Original Assignee
Ziqing Zhixing Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziqing Zhixing Technology Beijing Co ltd filed Critical Ziqing Zhixing Technology Beijing Co ltd
Priority to CN202111160632.0A priority Critical patent/CN113813146B/zh
Publication of CN113813146A publication Critical patent/CN113813146A/zh
Application granted granted Critical
Publication of CN113813146B publication Critical patent/CN113813146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/066—Installations on the floor, e.g. special surfaces, to guide blind persons

Abstract

本发明公开了一种基于导航与盲道循迹结合的室外导盲方法和系统，该方法包括：步骤1，获取初步导航路径、导盲车相关信息以及导盲车的前方道路信息；步骤2，根据所述前方道路路面信息，辨识所述前方道路所属的路段，所述路段分为人行道、马路和其它路段；辨识为所述人行道，则进入步骤3；辨识为所述马路，则进入步骤4；辨识为所述其它路段，则进入靠路侧行走的逻辑，并进入步骤5；步骤3，检测所述人行道上的盲道，并循迹所述盲道，并进入步骤5；步骤4，检测所述马路上的人行道，并根据检测到所述人行道，进入步骤3；步骤5，判断所述前方道路是否有障碍物，如果是，则进入步骤6，反之，则返回所述步骤2；步骤6，停车或通过改变局部路径进行绕道，直到判断没有障碍物，返回所述步骤2。

Description

一种基于导航与盲道循迹结合的室外导盲方法和系统
技术领域
本发明涉及导盲车技术领域，特别是关于一种基于导航与盲道循迹结合的室外导盲方法和系统。
背景技术
盲人出行一直是当前社会存在的民生问题之一。人们的认知中，盲道是能够在一定程度上帮助盲人出行，但是，由于室外情况复杂，比如：路况过于复杂，盲道建设不规范，各种盲道的占用，没有人行道的路口，红绿灯也缺少语音提示等原因，盲人出行依旧十分困难。经过训练后的导盲犬也可以指导视障人士外出，还可以引导主人及时躲避障碍物以免发生危险。但导盲犬的数量稀少，而且只能记住固定路线，且要和主人生活在一起，也需要共同训练，进行长期的磨合。
发明内容
本发明的目的在于提供一种基于导航与盲道循迹结合的室外导盲方法和系统来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种基于导航与盲道循迹结合的室外导盲方法，该方法包括：
步骤1，获取初步导航路径、导盲车相关信息以及导盲车的前方道路信息；其中，所述导盲车相关信息包括位置、轮速和所述导盲车对使用者所施加的向前拉力信息；
步骤2，根据所述前方道路路面信息，辨识所述前方道路所属的路段，所述路段分为人行道、马路和其它路段；其中：
辨识为所述人行道，则进入步骤3；
辨识为所述马路，则进入步骤4；
辨识为所述其它路段，则进入靠路侧行走的逻辑，并进入步骤5；
步骤3，检测所述人行道上的盲道，并循迹所述盲道，并进入步骤5；
步骤4，检测所述马路上的人行道，并根据检测到所述人行道，进入步骤3；
步骤5，判断所述前方道路是否有障碍物，如果是，则进入步骤6，反之，则返回所述步骤2；
步骤6，停车或通过改变局部路径进行绕道，直到判断没有障碍物，返回所述步骤2。
进一步地，所述步骤5还包括：
根据所述导盲车的位置和轮速，利用所述导盲车对使用者所施加的向前拉力信息，判断使用者是否在设定的位置和速度范围内；
比较所述步行速度和所述轮速，若所述步行速度是否远小于所述行驶速度，则降低所述行驶速度；若所述步行速度是否远大于所述行驶速度，则语音提示所述使用者减速。
进一步地，所述步骤1中，所述前方道路信息包括前方道路路面的视觉图像和通过雷达扫描获取所述前方道路路面的点云；
所述步骤3中，所述检测所述人行道上的盲道的方法具体包括：
步骤a，根据所述视觉图像，判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道，则进入步骤c；
步骤b，所述视觉图像失效的情形下，进入步骤c；
步骤c，根据时刻t的所述点云Pt、以及时刻t+1的所述点云Pt+1，判断Pt与Pt+1是否相似，若是，则判定所述点云Pt+1对应的所述前方道路路面为盲道，反之，则判定所述点云Pt+1对应的所述前方道路路面为非盲道。
进一步地，所述点云Pt中的点表示为
Figure BDA0003290066750000021
i＝1……m，m为t时刻的所述点云的总数量，所述点云Pt+1中的点表示为
Figure BDA0003290066750000022
j＝1……n，n为t+1时刻的所述点云的总数量，Y方向为垂直地路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向；
所述步骤c中，判断Pt与Pt+1是否相似的方法具体包括：
步骤c1，计算矩阵Mij，其行和列的元素的值通过式(1)计算得到：
Figure BDA0003290066750000023
其中，
Figure BDA0003290066750000024
为
Figure BDA0003290066750000025
中的Y方向分量，
Figure BDA0003290066750000026
为
Figure BDA0003290066750000027
中的Y方向分量；
步骤c2，寻找从M00到Mmn或Mnm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；
步骤c3，判断H和S的比值
Figure BDA0003290066750000031
是否不大于设定阈值T，若是，则判定Pt与Pt+1相似，反之，则判定Pt与Pt+1不相似。
本发明还提供一种基于导航与盲道循迹结合的室外导盲系统，所述室外导盲系统还包括：
地图模块，其用于获取初步导航路径；
感知定位模块，其用于获取导盲车相关信息以及导盲车的前方道路信息，辨识所述前方道路所属的路段所述路段分为人行道、马路和其它路段，其中，所述导盲车相关信息包括位置、轮速和所述导盲车对使用者所施加的向前拉力信息；
决策模块，其用于在辨识为所述人行道的情形下，检测所述人行道上的盲道，并循迹所述盲道；在辨识为所述马路的情形下，检测所述马路上的人行道，并根据检测到所述人行道，继续检测所述人行道上的盲道，并循迹所述盲道；在辨识为所述其它路段的情形下，则进入靠路侧行走的逻辑；以及还用于在循迹所述盲道或进入靠路侧行走的逻辑的情形下，判断所述前方道路是否有障碍物，如果是，则进入停车或通过改变局部路径进行绕道，反之，则辨识所述前方道路所属的路段。
进一步地，所述决策模块根据所述导盲车的位置和轮速，利用所述导盲车对使用者所施加的向前拉力信息和后置感知数据，判断使用者是否在设定的位置和速度范围内，并比较所述步行速度和所述轮速，并输出调整轮速和方向指令：若所述步行速度是否远小于所述行驶速度，则降低所述行驶速度；若所述步行速度是否远大于所述行驶速度，则语音提示所述使用者减速；
所述室外导盲系统还包括：
控制模块，其用于根据所述轮速和方向指令，生成马达的PWM控制信号，；
语音交互模块，其用于接收所述使用者的语音指令、以及通过语音方式向所述使用者输出指令、聊天和提示，与所述使用者进行通信。
进一步地，所述前方道路信息包括前方道路路面的视觉图像和通过雷达扫描获取所述前方道路路面的点云；
所述感知定位模块具体还包括：
图像判断单元，其用于根据所述视觉图像，判断所述前方道路路面是否为盲道；
点云判断单元，其用于在所示图像判断单元判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道或所述视觉图像失效的情形下，根据时刻t的所述点云Pt、以及时刻t+1的所述点云Pt+1，判断Pt与Pt+1是否相似，若是，则判定所述点云Pt+1对应的所述前方道路路面为盲道，反之，则判定所述点云Pt+1对应的所述前方道路路面为非盲道。
进一步地，所述点云Pt中的点表示为
Figure BDA0003290066750000041
i＝1……m，m为t时刻的所述点云的总数量，所述点云Pt+1中的点表示为
Figure BDA0003290066750000042
j＝1……n，n为t+1时刻的所述点云的总数量，Y方向为垂直地路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向；
所述点云判断单元具体包括：
计算子单元，其用于计算矩阵Mij，其行和列的元素的值通过式(1)计算得到：
Figure BDA0003290066750000043
其中，
Figure BDA0003290066750000044
为
Figure BDA0003290066750000045
中的Y方向分量，
Figure BDA0003290066750000046
为
Figure BDA0003290066750000047
中的Y方向分量；
路径筛选子单元，其用于寻找从M00到Mmn或Mnm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；
比较子单元，其用于判断H和S的比值
Figure BDA0003290066750000048
是否不大于设定阈值T，若是，则判定Pt与Pt +1相似，反之，则判定Pt与Pt+1不相似。
进一步地，所述导盲车包括滚动式车体和设于所述车体的板载计算机，所述车体的后部通过拉力计连接供所述使用者手拉的引导杆或绳，所述车体上部设有感知定位设备，所述地图模块、感知定位模块和融合模块设置在所述板载计算机内，所述感知定位设备和拉力计的信号输出端连接所述感知定位模块的信号输入端；
还包括与所述语音交互模块进行语音交互的语音设备。
进一步地，所述室外导盲系统还包括主控板，所述主控板通过电池充电，并为所述板载计算机、拉力计、感知定位设备、车体驱动马达、和Arduino板供电，所述控制模块设置在所述Arduino板内；所述语音设备通过无线通信模块与所述语音交互模块信息交互，所述融合模块的信号输出端连接所述决策模块的信号输入端连接，所述决策模块与语音交互模块信息交互，所述无线通信模块、语音交互模块和决策模块设置在所述板载计算机内。
本发明由于通过多传感器感知，利用导航和盲道识别，实现室外复杂场景下的辅助使用者通行；通过完备的语音交互系统，实现使用者对该装置的便捷操控，及装置对使用者的精准路线引导；灵活地解决循迹盲道的过程中突发障碍，盲道缺失，路口盲道切换等问题，确保使用者通行任务的行进安全。
附图说明
图1为本发明实施例提供的导盲车的结构示意图。
图2为本发明实施例提供的基于导航与盲道循迹结合的室外导盲系统的供电和信号连接关系说明示意图。
图3为本发明实施例提供的基于导航与盲道循迹结合的室外导盲系统的框架原理图。
图4为本发明实施例提供的基于导航与盲道循迹结合的室外导盲方法的示意图.
图5为前视摄像头在图像成像质量较好时提取出的盲道区域示意图。
图6为前视摄像头在图像成像受环境影响提取出的盲道区域示意图。
图7为盲道的侧视图。
图8为盲道的俯视图。
图9为点云与盲道上的突起的对应关系示意图。
图10为使用本发明方法使用过程中的不同时刻对应的视觉图像和点云示意图。
具体实施方式
在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
如图1至图3所示，本实施例提供的基于导航与盲道循迹结合的室外导盲系统包括导盲车，导盲车包括滚动式车体1，车体1的后部连接供使用者手拉的引导杆或绳4，使用者可以手扶引导杆或绳4，在导盲车的导航指引下，跟随其行走。
车体1上，与引导杆或绳4直接连接的是拉力计3。也可以理解为，车体1的后部通过拉力计3连接供所述使用者手拉的引导杆或绳4。通过拉力计3，可以感知导盲车对使用者所施加的向前拉力信息，比如大小和方向。
在车体1上部，设有感知定位设备。该感知定位设备可以包括雷达11和摄像设备12、轮速计(图中未示出)和GPS定位仪(图中未示出)。
雷达11最好布置在车体1的顶部中部，当然，顶部其它位置也是可以的。雷达11可以选用但不限于激光雷达，用于扫描获取导盲车周围障碍物的点云信息。
摄像设备12可以采用体积小巧的摄像头，便于布置在体积较小的车体1上，例如，车体1的前、后部各设一个用于采集导盲车前、后方道路路面的视觉图像。
轮速计用于采集导盲车的轮速信息，可以设在车轮马达上。由于本实施例中车体1具有四个车轮，且由各自的马达提供动力，因此，为了提高精确性，可以在每一个车轮马达上设置一个轮速计。GPS定位仪用于采集导盲车的位置信息。
拉力计3、雷达11、摄像设备12和GPS定位仪的信号输出端均连接板载计算机2的信号输入端，轮速计的信号输出端连接主控板6的信号输入端，而主控板6与板载计算机2连接，可实现彼此之间信息交互，因此，板载计算机2可以获取到拉力信息、点云信息、视觉图像信息和导盲车的速度和位置信息。
板载计算机2内设置有地图模块、感知定位模块、融合模块、决策模块、无线通信模块、和语音交互模块。其中，地图模块和感知定位模块的信号输出端连接融合模块的信号输入端。所述融合模块的信号输出端连接所述决策模块的信号输入端连接，所述决策模块与语音交互模块信息交互。
地图模块用于提供地图信息，并根据语音交互设置出发点和目的地与导航，获取初步导航路径。
感知定位模块，其用于获取导盲车相关信息以及导盲车的前方道路信息，辨识所述前方道路所属的路段所述路段分为人行道、马路和其它路段，其中，所述导盲车相关信息包括位置、轮速和所述导盲车对使用者所施加的向前拉力信息
融合模块，基于地图模块和感知定位模块，找到自车当前所处地图中的位置，周围障碍物的位置。包括各个传感器，定位设备坐标系与地图的融合。在各个坐标系下感知到的物体的融合。
语音交互模块用于接收所述使用者的语音指令、以及通过语音方式向所述使用者输出指令、聊天和提示。其中，指令包括启动关闭指令，设置导航相关指令(起始点，目的点)，控制车速相关指令。聊天部分包括基本聊天逻辑。提示部分包括对使用者行进过程中的提示(如提示使用者及时止步)，以及各种操作提示(如装置状态的提示)。
决策模块，其用于在辨识为所述人行道的情形下，检测所述人行道上的盲道，并循迹所述盲道；在辨识为所述马路的情形下，检测所述马路上的人行道，并根据检测到所述人行道，继续检测所述人行道上的盲道，并循迹所述盲道；在辨识为所述其它路段的情形下，则进入靠路侧行走的逻辑；以及还用于在循迹所述盲道或进入靠路侧行走的逻辑的情形下，判断所述前方道路是否有障碍物，如果是，则进入停车或通过改变局部路径进行绕道，反之，则辨识所述前方道路所属的路段。
所述决策模块还用于根据所述导盲车的位置和轮速，利用所述导盲车对使用者所施加的向前拉力信息和后置感知数据，判断使用者是否在设定的位置和速度范围内，并比较所述步行速度和所述轮速，并输出调整轮速和方向指令：若所述步行速度是否远小于所述行驶速度，则降低所述行驶速度；若所述步行速度是否远大于所述行驶速度，则语音提示所述使用者减速。当然，也可以根据语音交互的指令，或者感知融合得到的数据，得到小车的决策轮速和方向指令，并向所述控制模块下发所述调整轮速和方向指令，还向所述语音交互模块所述导盲车相关信息，以及根据预设的监测条件，触发所述语音指令。
为了在车体1有限的空间内，保证各种信息感知准确性和信息传输的高效性，本实施例将摄像设备12、GPS定位仪与和板载计算机2设置在同一层基板上，作为第一层，置于在车体1的顶部外表面。雷达11被设置在第一层的上方或上表面，作为第二层。
在车体1的内部，也就是车体空腔中用于容置主控板6，主控板6通过电池(充电模块)7充电，并为板载计算机2、拉力计3、感知定位设备、车体驱动马达、和Arduino板8供电。Arduino板8内设置有控制模块，该控制模块用于根据所述决策模块输出的所述轮速和方向指令，结合当前的车速和方向，计算出各车轮马达的转速，生成马达的PWM控制信号，并通过主控板和驱动板下发至相应的马达，以及与所述使用者的耳机进行通信。使用时，Arduino板8中的所述控制模块生成的所述马达的PWM控制信号通过主控板6输送给所述马达驱动板，响应于所述马达的PWM控制信号，所述马达驱动板产生相应电流通过发回给主控板6，再经由排线输送给四个车轮马达。
考虑空间布置的紧凑要求，例如：主控板6可以通过排线驱动连接所述车体驱动马达中的马达驱动板、车轮马达和码盘相连通信。主控板6和Arduino板8通过数字接口直插的方式连接，同时主控板6和Arduino板8分别通过USB接口与板载计算机2相连并进行通信，拉力计驱动板9则通过CAN接口与板载计算机2进行通信，所述感知定位设备通过USB接口与板载计算机2相连。
本实施例提供的基于导航与盲道循迹结合的室外导盲系统还包括与导航车行语音交互的语音设备，比如带麦克风的蓝牙耳机，供使用者使用。语音设备通过无线通信模块(比如蓝牙模块)与所述语音交互模块信息交互，这样，使用者可以与导盲车实现语音交互功能。
本实施例具备完整的导航功能，能够灵活地解决各种突发情况(障碍，盲道缺失，路口等)，自适应盲人行速，保证盲人安全，以及具备完备的语音交互功能，便于使用者操作。
那么，如图4所示，基于导航与盲道循迹结合的室外导盲系统，其提供的方法包括：
步骤1，获取初步导航路径、导盲车相关信息以及导盲车的前方道路信息；其中，所述导盲车相关信息包括位置、轮速和所述导盲车对使用者所施加的向前拉力信息；
步骤2，根据所述前方道路路面信息，根据视觉图像辨识所述前方道路所属的路段，所述路段分为人行道、马路和其它路段；其中：
辨识为所述人行道，则进入步骤3；
辨识为所述马路，则进入步骤4；
辨识为所述其它路段，则进入靠路侧行走的逻辑，并进入步骤5；
步骤3，检测所述人行道上的盲道，并循迹所述盲道，并进入步骤5；
步骤4，检测所述马路上的人行道，并根据检测到所述人行道，进入步骤3；
步骤5，判断所述前方道路是否有障碍物，如果是，则进入步骤6，反之，则返回所述步骤2；
步骤6，停车或通过改变局部路径进行绕道，直到判断没有障碍物，返回所述步骤2。
在一个实施例中，所述步骤5还包括：
根据所述导盲车的位置和轮速，利用所述导盲车对使用者所施加的向前拉力信息，判断使用者是否在设定的位置和速度范围内。其中，设定的位置范围可以理解为使用者的脚尖与导盲车之间的距离，比如0.5m-1m。设定的速度范围可以是行人的步行速度左右，比如：0.5m/s-0.7m/s。
比较所述步行速度和所述轮速，若所述步行速度是否远小于所述行驶速度，则降低所述行驶速度；若所述步行速度是否远大于所述行驶速度，则语音提示所述使用者减速。例如：引导杆或绳4的长度约为1-1.5米，则导盲车与使用者脚部位置距离大概在0.8m左右。如果探测到导盲车与使用者距离1m以上，则说明行驶速度过快，应降低行驶速度；如果导盲车与使用者距离小于0.5m，说明使用者速度大于行驶速度，语音提示其减速。
在一个实施例中，步骤3具体包括：
步骤31，判定所述人行道有盲道的情形下，则进入步骤33；
步骤32，判定所述人行道无盲道的情形下，则进入步骤34；
步骤33，根据所述使用者的位置信息，通过视觉图像判断所述使用者是否处于所述盲道上，如果是，则确定所述盲道在所述初步导航路径中的位置，并利用视觉图像循迹所述盲道；反之，则可以通过先验知识和图像识别，规划所述人行道中到所述盲道最近点的路径。其中，先验知识为已知盲道在人行道上的大致位置，再利用图像识别精确确定到盲道的位置。
步骤34，根据所述使用者的当前位置信息和目标点，规划在人行道的路径。
所述步骤3中的所述检测所述人行道上的盲道的方法具体包括：
步骤a，根据所述视觉图像，判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道，则进入步骤c；
步骤b，所述视觉图像失效的情形下，进入步骤c；
步骤c，根据时刻t的所述点云Pt、以及时刻t+1的所述点云Pt+1，判断Pt与Pt+1是否相似，若是，则判定所述点云Pt+1对应的所述前方道路路面为盲道，反之，则判定所述点云Pt+1对应的所述前方道路路面为非盲道。
进一步地，所述点云Pt中的点表示为
Figure BDA0003290066750000091
i＝1……m，m为t时刻的所述点云的总数量，所述点云Pt+1中的点表示为
Figure BDA0003290066750000092
j＝1……n，n为t+1时刻的所述点云的总数量，Y方向为垂直地路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向；
所述步骤c中，判断Pt与Pt+1是否相似的方法具体包括：
步骤c1，计算矩阵Mij，其行和列的元素的值通过式(1)计算得到：
Figure BDA0003290066750000101
其中，
Figure BDA0003290066750000102
为
Figure BDA0003290066750000103
中的Y方向分量，
Figure BDA0003290066750000104
为
Figure BDA0003290066750000105
中的Y方向分量；
步骤c2，寻找从M00到Mmn或Mnm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；
步骤c3，判断H和S的比值
Figure BDA0003290066750000106
是否不大于设定阈值T，若是，则判定Pt与Pt+1相似，反之，则判定Pt与Pt+1不相似。
在一个实施例中，步骤6中的“改变局部路径”的方法具体包括：
步骤61，根据已知当前位置和该局部路径的目标点，将所述初步导航路径划分为若干区域，比如按照每等时间周期T进行当前段局部路径规划避障。
步骤62，对实时所在区域进行路径规划避障。
所述步骤5中的所述前方道路为前方的所述路径规划避障区域。
在一个实施例中，所述前方道路信息包括前方道路路面的视觉图像和通过雷达扫描获取所述前方道路路面的点云。
视觉图像可以通过搭载前视摄像头获取得到，首先，通过前视摄像头采集到的图像，利用图像处理技术，根据图像颜色、纹理、边缘的特征，提取出盲道区域。在图像成像质量较好的情况下，可以较为完整准确的提取出盲道区域，如下图5所示。如图6所示，当图像质量由于拍摄环境的光照、阴影等情况的影响，单纯使用纯视觉的方案，容易出现下图所示情况，视觉检测系统会误判前方盲道丢失不连续。此时，需要单线雷达辅助，帮助判断前方是否依旧存在盲道。雷达主要通过扫描地面测距来进行判断。通常的盲道环境如图7和8所示。雷达可以使用但不限于单线雷达。使用单线机雷达进行扫描时候，由于地砖、缝隙、盲道突起、测量噪声的影响，在前方存在盲道的情况下，可能的点云分布如下图9所示。
所述感知定位模块具体包括图像判断单元和点云判断单元。
其中，图像判断单元用于根据所述视觉图像，判断所述前方道路路面是否为盲道。
点云判断单元用于在所示图像判断单元判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道或视觉图像失效的情形下，根据时刻t的所述点云Pt、以及时刻t+1的所述点云Pt+1，判断Pt与Pt+1是否相似，若是，则判定所述点云Pt+1对应的所述前方道路路面为盲道，反之，则判定所述点云Pt+1对应的所述前方道路路面为非盲道。
如图1所示，点云Pt中的点表示为
Figure BDA0003290066750000111
i＝1……m，m为t时刻的所述点云的总数量，例如：i＝1时，
Figure BDA0003290066750000112
为
Figure BDA0003290066750000113
i＝m时，
Figure BDA0003290066750000114
为
Figure BDA0003290066750000115
所述点云Pt+1中的点表示为
Figure BDA0003290066750000116
j＝1……n，n为t+1时刻的所述点云的总数量，例如：j＝1时，
Figure BDA0003290066750000117
为
Figure BDA0003290066750000118
j＝n时，
Figure BDA0003290066750000119
为
Figure BDA00032900667500001110
其中，Y方向为垂直地路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向。
其中，视觉图像失效的情形可以是图2所示的情况，由于阴影的影响，采用纯图像对盲道进行识别的情况下，会导致识别失败。视觉图像失效的情形还可以包括：例如盲道区域有脏东西(例如油漆泼洒、不干净油污之类的造成盲道区域颜色出现了差别)、盲道因长期未护理所导致的掉色、或是盲道本身选取的颜色可能与附近的人行道颜色比较相近而无法辨识。
本实施例通过视觉与雷达相结合，在视觉图像检测不确定或者失败的情况下，雷达通过扫描路面获取的点云，在无需获知当前盲道和之前的盲道的点云数据的关系的情形下，仅需要确定当前是否存在盲道，便能够实现更好进行盲道识别，可应用于自动导盲车等产品中。
进一步地，所述点云判断单元具体包括归一化子单元、计算子单元、路径筛选子单元和比较子单元。
其中，所述归一化单元用于将所述盲道信息获取单元获得的所述点云沿垂直地面方向y方向的值进行归一化处理。
计算子单元用于计算矩阵Mij，其行和列的元素的值通过式(1)计算得到：
Figure BDA00032900667500001111
其中，
Figure BDA00032900667500001112
为
Figure BDA00032900667500001113
中的Y方向分量，
Figure BDA00032900667500001114
为
Figure BDA00032900667500001115
中的Y方向分量。
路径筛选子单元用于寻找从M00到Mmn或Mnm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S。
比较子单元用于判断H和S的比值
Figure BDA00032900667500001116
是否不大于设定阈值T，若是，则判定Pt与Pt+1相似，反之，则判定Pt与Pt+1不相似。
下面用一组实施例来说明本方法的效果，为了便于理解，对雷达扫描的数据量进行了简化，但不影响本发明的效果。
如图6所示，整个过程中，设T＝0.02，扫描到的点云数据在y方向已经经过归一化处理。假设t0时刻，导盲车正常行驶，此时视觉系统能正确的辨识到盲道，导盲车依靠视觉检测的盲道正常在盲道行驶，此时雷达扫描的点云为
Figure BDA0003290066750000121
作为最后一次检测到有盲道的点云。在t1时刻，导盲车依然可以通过视觉系统正常检测到盲道，此时雷达扫描的点云为
Figure BDA0003290066750000122
替换
Figure BDA0003290066750000123
作为最后一次检测到有盲道的点云。
到达t2时刻，由于树荫的影响，视觉检测出现了不确定的问题，无法肯定判断前方是否存在盲道。此时雷达扫描的点云为
Figure BDA0003290066750000124
利用本发明的方法对
Figure BDA0003290066750000125
和
Figure BDA0003290066750000126
进行判断。若
Figure BDA0003290066750000127
Figure BDA0003290066750000128
此时计算的矩阵Mij为：
Figure BDA0003290066750000129
则有：
H＝0+0.03+0+0+0+0+0.01+0.03+0.02+0.04＝0.13
S＝10
因此有：
Figure BDA00032900667500001210
于是可以认为此时前方仍然是盲道，可以继续向前。
到达t3时刻，由于前方没有盲道了，因此视觉系统无法检测到盲道存在。此时需要判断
Figure BDA00032900667500001211
与
Figure BDA00032900667500001212
的相似度来确认是真的不存在盲道，还是只是视觉系统由于其它原因导致无法检测。
若
Figure BDA0003290066750000131
则矩阵Mij如下：
Figure BDA0003290066750000132
则有：
H＝0+0.01+0+0+0.01+0+0.03+0.01+0.18+0.17+0.18+0.02+0.04＝0.73
S＝13
因此有：
Figure BDA0003290066750000133
于是确认前方确实不是盲道区域，判断结束。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于导航与盲道循迹结合的室外导盲方法，其特征在于，包括：
步骤1，获取初步导航路径、导盲车相关信息以及导盲车的前方道路信息；其中，所述导盲车相关信息包括位置、轮速和所述导盲车对使用者所施加的向前拉力信息；
步骤2，根据所述前方道路路面信息，辨识所述前方道路所属的路段，所述路段分为人行道、马路和其它路段；其中：
辨识为所述人行道，则进入步骤3；
辨识为所述马路，则进入步骤4；
辨识为所述其它路段，则进入靠路侧行走的逻辑，并进入步骤5；
步骤3，检测所述人行道上的盲道，并循迹所述盲道，并进入步骤5；
步骤4，检测所述马路上的人行道，并根据检测到所述人行道，进入步骤3；
步骤5，判断所述前方道路是否有障碍物，如果是，则进入步骤6，反之，则返回所述步骤2；
步骤6，停车或通过改变局部路径进行绕道，直到判断没有障碍物，返回所述步骤2。
2.如权利要求1所述的基于导航与盲道循迹结合的室外导盲方法，其特征在于，所述步骤5还包括：
根据所述导盲车的位置和轮速，利用所述导盲车对使用者所施加的向前拉力信息，判断使用者是否在设定的位置和速度范围内；
比较所述步行速度和所述轮速，若所述步行速度是否远小于所述行驶速度，则降低所述行驶速度；若所述步行速度是否远大于所述行驶速度，则语音提示所述使用者减速。
3.如权利要求1或2所述的基于导航与盲道循迹结合的室外导盲方法，其特征在于，所述步骤1中，所述前方道路信息包括前方道路路面的视觉图像和通过雷达扫描获取所述前方道路路面的点云；
所述步骤3中，所述检测所述人行道上的盲道的方法具体包括：
步骤a，根据所述视觉图像，判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道，则进入步骤c；
步骤b，所述视觉图像失效的情形下，进入步骤c；
步骤c，根据时刻t的所述点云Pt、以及时刻t+1的所述点云Pt+1，判断Pt与Pt+1是否相似，若是，则判定所述点云Pt+1对应的所述前方道路路面为盲道，反之，则判定所述点云Pt+1对应的所述前方道路路面为非盲道。
4.如权利要求3所述的基于导航与盲道循迹结合的室外导盲方法，其特征在于，所述点云Pt中的点表示为
Figure FDA0003290066740000021
i＝1......m，m为t时刻的所述点云的总数量，所述点云Pt+1中的点表示为
Figure FDA0003290066740000022
j＝1......n，n为t+1时刻的所述点云的总数量，Y方向为垂直地路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向；
所述步骤c中，判断Pt与Pt+1是否相似的方法具体包括：
步骤c1，计算矩阵Mij，其行和列的元素的值通过式(1)计算得到：
Figure FDA0003290066740000023
其中，
Figure FDA0003290066740000024
为
Figure FDA0003290066740000025
中的Y方向分量，
Figure FDA0003290066740000026
为
Figure FDA0003290066740000027
中的Y方向分量；
步骤c2，寻找从M00到Mmn或Mnm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；
步骤c3，判断H和S的比值
Figure FDA0003290066740000028
是否不大于设定阈值T，若是，则判定Pt与Pt+1相似，反之，则判定Pt与Pt+1不相似。
5.一种基于导航与盲道循迹结合的室外导盲系统，其特征在于，包括：
地图模块，其用于获取初步导航路径；
感知定位模块，其用于获取导盲车相关信息以及导盲车的前方道路信息，辨识所述前方道路所属的路段所述路段分为人行道、马路和其它路段，其中，所述导盲车相关信息包括位置、轮速和所述导盲车对使用者所施加的向前拉力信息；
决策模块，其用于在辨识为所述人行道的情形下，检测所述人行道上的盲道，并循迹所述盲道；在辨识为所述马路的情形下，检测所述马路上的人行道，并根据检测到所述人行道，继续检测所述人行道上的盲道，并循迹所述盲道；在辨识为所述其它路段的情形下，则进入靠路侧行走的逻辑；以及还用于在循迹所述盲道或进入靠路侧行走的逻辑的情形下，判断所述前方道路是否有障碍物，如果是，则进入停车或通过改变局部路径进行绕道，反之，则辨识所述前方道路所属的路段。
6.如权利要求5所述的基于导航与盲道循迹结合的室外导盲系统，其特征在于，所述决策模块根据所述导盲车的位置和轮速，利用所述导盲车对使用者所施加的向前拉力信息和后置感知数据，判断使用者是否在设定的位置和速度范围内，并比较所述步行速度和所述轮速，并输出调整轮速和方向指令：若所述步行速度是否远小于所述行驶速度，则降低所述行驶速度；若所述步行速度是否远大于所述行驶速度，则语音提示所述使用者减速；
所述室外导盲系统还包括：
控制模块，其用于根据所述轮速和方向指令，生成马达的PWM控制信号，；
语音交互模块，其用于接收所述使用者的语音指令、以及通过语音方式向所述使用者输出指令、聊天和提示，与所述使用者进行通信。
7.如权利要求5或6所述的基于导航与盲道循迹结合的室外导盲系统，其特征在于，所述前方道路信息包括前方道路路面的视觉图像和通过雷达扫描获取所述前方道路路面的点云；
所述感知定位模块具体还包括：
图像判断单元，其用于根据所述视觉图像，判断所述前方道路路面是否为盲道；
点云判断单元，其用于在所示图像判断单元判定时刻t所述前方道路路面为盲道，而判定时刻t+1所述前方道路路面为非盲道或所述视觉图像失效的情形下，根据时刻t的所述点云Pt、以及时刻t+1的所述点云Pt+1，判断Pt与Pt+1是否相似，若是，则判定所述点云Pt+1对应的所述前方道路路面为盲道，反之，则判定所述点云Pt+1对应的所述前方道路路面为非盲道。
8.如权利要求7所述的基于导航与盲道循迹结合的室外导盲系统，其特征在于，所述点云Pt中的点表示为
Figure FDA0003290066740000031
i＝1......m，m为t时刻的所述点云的总数量，所述点云Pt+1中的点表示为
Figure FDA0003290066740000041
j＝1......n，n为t+1时刻的所述点云的总数量，Y方向为垂直地路面的方向，X方向为同时垂直于Y方向和车辆向前行驶方向的方向，即车辆的横向方向；
所述点云判断单元具体包括：
计算子单元，其用于计算矩阵Mij，其行和列的元素的值通过式(1)计算得到：
Figure FDA0003290066740000042
其中，
Figure FDA0003290066740000043
为
Figure FDA0003290066740000044
中的Y方向分量，
Figure FDA0003290066740000045
为
Figure FDA0003290066740000046
中的Y方向分量；
路径筛选子单元，其用于寻找从M00到Mmn或Mnm的联通路径上所有元素值之和H最小所对应的路径，该路径联通的元素个数为S；
比较子单元，其用于判断H和S的比值
Figure FDA0003290066740000047
是否不大于设定阈值T，若是，则判定Pt与Pt+1相似，反之，则判定Pt与Pt+1不相似。
9.如权利要求6至8中任一项所述的基于导航与盲道循迹结合的室外导盲系统，其特征在于，所述导盲车包括滚动式车体(1)和设于所述车体(1)的板载计算机(2)，所述车体(1)的后部通过拉力计(3)连接供所述使用者手拉的引导杆或绳(4)，所述车体(1)上部设有感知定位设备，所述地图模块、感知定位模块和融合模块设置在所述板载计算机(2)内，所述感知定位设备和拉力计(3)的信号输出端连接所述感知定位模块的信号输入端；
所述导盲系统还包括与所述语音交互模块进行语音交互的语音设备。
10.如权利要求9所述的基于导航与盲道循迹结合的室外导盲系统，其特征在于，还包括主控板(6)，所述主控板(6)通过电池(7)充电，并为所述板载计算机(2)、拉力计(3)、感知定位设备、车体驱动马达、和Arduino板(8)供电，所述控制模块设置在所述Arduino板(8)内；所述语音设备通过无线通信模块与所述语音交互模块信息交互，所述融合模块的信号输出端连接所述决策模块的信号输入端连接，所述决策模块与语音交互模块信息交互，所述无线通信模块、语音交互模块和决策模块设置在所述板载计算机(2)内。
CN202111160632.0A 2021-09-30 2021-09-30 一种基于导航与盲道循迹结合的室外导盲方法和系统 Active CN113813146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111160632.0A CN113813146B (zh) 2021-09-30 2021-09-30 一种基于导航与盲道循迹结合的室外导盲方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111160632.0A CN113813146B (zh) 2021-09-30 2021-09-30 一种基于导航与盲道循迹结合的室外导盲方法和系统

Publications (2)

Publication Number Publication Date
CN113813146A true CN113813146A (zh) 2021-12-21
CN113813146B CN113813146B (zh) 2022-05-24

Family

ID=78916039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111160632.0A Active CN113813146B (zh) 2021-09-30 2021-09-30 一种基于导航与盲道循迹结合的室外导盲方法和系统

Country Status (1)

Country Link
CN (1) CN113813146B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115993829A (zh) * 2023-03-21 2023-04-21 安徽大学 一种基于盲道识别的机器狗导盲运动控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103395398A (zh) * 2013-07-01 2013-11-20 洛阳理工学院 盲人代步车
CN107390703A (zh) * 2017-09-12 2017-11-24 北京创享高科科技有限公司 一种智能化导盲机器人及其导盲方法
WO2018119588A1 (zh) * 2016-12-26 2018-07-05 深圳前海达闼云端智能科技有限公司 一种盲人安全出行实现方法、系统以及可穿戴设备
CN108670746A (zh) * 2018-06-29 2018-10-19 合肥信亚达智能科技有限公司 一种高识别度路径优化智能监控导盲方法及系统
CN109662872A (zh) * 2019-01-14 2019-04-23 内蒙古工业大学 基于视听互动景观设计的感知导盲系统以及感知导盲方法
CN110368275A (zh) * 2019-08-12 2019-10-25 广州大学 一种导盲机器人及导盲系统、导盲方法
WO2021048485A1 (fr) * 2019-09-11 2021-03-18 Artha France Système d'aide à l'orientation
CN112683288A (zh) * 2020-11-30 2021-04-20 北方工业大学 一种交叉口环境下辅助盲人过街的智能引导机器人系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103395398A (zh) * 2013-07-01 2013-11-20 洛阳理工学院 盲人代步车
WO2018119588A1 (zh) * 2016-12-26 2018-07-05 深圳前海达闼云端智能科技有限公司 一种盲人安全出行实现方法、系统以及可穿戴设备
CN107390703A (zh) * 2017-09-12 2017-11-24 北京创享高科科技有限公司 一种智能化导盲机器人及其导盲方法
CN108670746A (zh) * 2018-06-29 2018-10-19 合肥信亚达智能科技有限公司 一种高识别度路径优化智能监控导盲方法及系统
CN109662872A (zh) * 2019-01-14 2019-04-23 内蒙古工业大学 基于视听互动景观设计的感知导盲系统以及感知导盲方法
CN110368275A (zh) * 2019-08-12 2019-10-25 广州大学 一种导盲机器人及导盲系统、导盲方法
WO2021048485A1 (fr) * 2019-09-11 2021-03-18 Artha France Système d'aide à l'orientation
CN112683288A (zh) * 2020-11-30 2021-04-20 北方工业大学 一种交叉口环境下辅助盲人过街的智能引导机器人系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115993829A (zh) * 2023-03-21 2023-04-21 安徽大学 一种基于盲道识别的机器狗导盲运动控制方法

Also Published As

Publication number Publication date
CN113813146B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US20220169245A1 (en) Information processing apparatus, information processing method, computer program, and mobile body device
JPH11212640A (ja) 自律走行車両及び自律走行車両を制御する方法
JP6780625B2 (ja) 自動運転車両の配車システム、及び自動運転車両
US20200086764A1 (en) Vehicle control system, vehicle control method, and vehicle control program
CN110471415A (zh) 具有自动驾驶模式的车辆及其控制方法和系统
CN109841088A (zh) 车辆驾驶辅助系统及方法
KR101421172B1 (ko) 셔틀로봇 플랫폼을 이용한 무인운송차량
US20210027486A1 (en) Controller, control method, and program
CN114442101B (zh) 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
KR20190126024A (ko) 교통 사고 처리 장치 및 교통 사고 처리 방법
CN109804419A (zh) 用于运行半自主或自主的机动车的方法和机动车
CN103608217A (zh) 用于泊车引导的加装组件
CN111986505A (zh) 控制装置、上下车设施、控制方法及存储介质
CN113813146B (zh) 一种基于导航与盲道循迹结合的室外导盲方法和系统
JP2020131787A (ja) 管制装置及び車両制御装置
CN110271546A (zh) 车辆控制装置、车辆控制方法及存储介质
KR20200072581A (ko) 자율주행차량의 운전자 응급상황발생판단에 기반한 주행예측 및 안전주행시스템
KR101510745B1 (ko) 차량의 무인 자율주행 시스템
CN115223115A (zh) 信息处理装置及其控制方法、移动体的控制装置和控制方法以及记录介质
CN115298073B (zh) 车辆的行驶辅助方法及行驶辅助装置
CN116129641A (zh) 一种基于多端协同辨识的车辆安全态势计算方法及系统
US20230242158A1 (en) Incorporating position estimation degradation into trajectory planning for autonomous vehicles in certain situations
US20220258737A1 (en) Map generation apparatus and vehicle control apparatus
CN115959144A (zh) 车辆控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant