CN113377097A - 一种用于视障人士导盲的路径规划与避障方法 - Google Patents

一种用于视障人士导盲的路径规划与避障方法 Download PDF

Info

Publication number
CN113377097A
CN113377097A CN202110099005.4A CN202110099005A CN113377097A CN 113377097 A CN113377097 A CN 113377097A CN 202110099005 A CN202110099005 A CN 202110099005A CN 113377097 A CN113377097 A CN 113377097A
Authority
CN
China
Prior art keywords
area
target
grid
effective
valid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110099005.4A
Other languages
English (en)
Other versions
CN113377097B (zh
Inventor
刘宇红
李伟斌
付建伟
张荣芬
胡国军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixiangyou Intelligent Technology Co ltd
Original Assignee
Hangzhou Yixiangyou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixiangyou Intelligent Technology Co ltd filed Critical Hangzhou Yixiangyou Intelligent Technology Co ltd
Priority to CN202110099005.4A priority Critical patent/CN113377097B/zh
Publication of CN113377097A publication Critical patent/CN113377097A/zh
Application granted granted Critical
Publication of CN113377097B publication Critical patent/CN113377097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种用于视障人士导盲的路径规划与避障方法，运用机器视觉和人工智能技术对环境进行3D建模，对环境中的静态和动态障碍物进行检测和识别，获取障碍物所在区域，并计算出相对视障人士的距离和方位，采用九方格地图进行有效行走路径规划，通过语音播报前方路况信息，提示视障人士行走与避障；本发明能在动态环境下，感知环境中障碍物的空间位置，规划出供视障人士行走的路线，为视障人士的出行提供方便。

Description

一种用于视障人士导盲的路径规划与避障方法
技术领域
本发明涉及导盲技术领域，尤其涉及一种用于视障人士导盲的路 径规划与避障方法。
背景技术
盲人作为社会群体中的特殊人群，他们终生生活在无边的黑暗 中，因此常常会遇到各种难题，目前市场上的一些导盲产品大多结构 简单而功能单一(只能简单提示前方有障碍物)，虽然有些产品使用 方便，但辅助效果并不明显，而且，视障朋友在使用时会碰到诸多问 题，比如路况不好，坑洼不平，前方有悬挂的障碍物等等，普通的导 盲产品无法准确的探明。现有导盲产品的障碍物探测功能，仅仅局限 于对障碍物的距离进行探测，不能对障碍物所在方位进行精确定位， 并且只能对单一障碍物进行探测，如在多运动障碍物的探测中，仅仅 能够探测到离使用者距离最近的障碍物，因此使得产品的导盲功能实 用性大幅度降低。
关于智能导盲设备如导盲眼镜，在国际和国内都有团队和公司进 行过研究，但由于性能以及使用体验不理想等原因始终停留在性能检 测与小批量试产阶段，至今并未形成规模化市场。尤其是在国内，对 视障人士辅助导盲设备的研发更是处于起步阶段，距大规模产品化、 商业化还有很长的一段距离，而且就目前而言，我国针对导盲设备的 市场空间还远没有达到发展普及阶段，因此，解决上述问题显得尤为 重要。
发明内容
针对上述问题，本发明提供了一种用于视障人士导盲的路径规划 与避障方法，运用机器视觉和人工智能技术对环境进行3D建模，对 环境中的静态和动态障碍物进行检测和识别，获取障碍物所在区域， 并计算出相对视障人士的距离和方位，采用九方格地图进行有效行走 路径规划，通过语音播报前方路况信息，提示视障人士行走与避障。
为了实现上述技术方案，本发明提供了一种用于视障人士导盲的 路径规划与避障方法,包括以下步骤：
步骤一：将双目摄像头安装到穿戴式终端上；
步骤二：运用机器视觉和人工智能技术对环境进行3D建模，所 述3D建模的模型地图为包括有九个有效区域的九方格地图，将九方 格地图中的底部中间位置处的有效区域方格作为用户落脚点的起始 方格，每一个有效区域的方格的边长设置为0.5m，视障人士下一步 的行走路径以起始方格为基准，以左方、右方、左前方、正前方或右 前方的方格为即将行走的规划路线，路径规划的结果根据当前前方有 效区域内的障碍物分布来确定；
步骤三：路径规划，依据目标检测算法和双目测距算法得到有效 区域内障碍物所在位置、大小及与视障人士的距离，然后根据每个障 碍物所在位置规划出下一步的行走路线；
步骤四：通过语音播报前方路况信息，提示视障人士行走与避障， 然后重新规划路径。
进一步改进在于：在所述步骤三中，所述路径规划算法的实现步 骤为：
步骤一：找出有效区域内距离视障人士最近的一个和多个目标， 将其映射到九方格所在区域内；
步骤二：标出每个目标在九方格地图上的位置和覆盖区域，目标 的位置以检测到的目标框为基准，目标的覆盖区域就是检测框检测到 的区域；
步骤三：方格有效性检测，方格有效性由覆盖每个方格的目标的 区域和大小确定，具体针对每个格子所在位置的不同有不同的计算方 法；
步骤四：规划有效行走路径，对于标记为无效的方格均为不可通 行区域，路径规划时均认为是非通行区；有效路径的规划是以起始方 格S32为出发点，沿左方、右方、左前方、正前方和右前方5个方向 查找是否存在可通行区域，可通行区域必须是有效方格所在区域，如 果找到可以通行的区域，就将其标识为可通行路径，如果存在多条可 通行路径就依次按正前方、左前方、右前方、左方、右方的优先级顺 序选择最优路线。
进一步改进在于：在所述步骤三中，检测算法流程为：
S1、检测第一行，也就是九方格最上面一行的方格，首先检测中 间格子S12，如果S12没有被目标覆盖，则将其标记为S12＝11有效；如 果S12的左半部分或右半部分有大于格子1/3面积被覆盖，则将其标 记为S12＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3， 则标记为有效，其中左半部分覆盖的标记为S12＝01右有效，右半部分 覆盖的标记为S12＝10左有效，如果S12的中心部分有目标覆盖，则标 记为S12＝00无效；
其次检测右格子S13，如果S13没有被目标覆盖，则将其标记为 S13＝11有效；如果S13的左半部分或右半部分有大于格子1/3面积被覆 盖，则将其标为S13＝00无效，反之如果目标覆盖面积小于等于方格面 积的1/3，则标记为有效，其中左半部分覆盖的标记为S13＝01右有效， 右半部分覆盖的标记为S13＝10左有效；如果S13的中心部分有目标覆 盖，则标记为S13＝00无效；同理，对左格子S11进行相同的处理；
所述覆盖面积的计算是根据目标检测框宽度覆盖所在格子的区 间长度乘以方格边长来计算的；
S2、检测第二行，也就是九方格中间一行的方格，首先检测中间 格子S22，如果S22没有被目标覆盖，则将中间格子标记为S22＝11有效； 如果S22的左半部分或右半部分有大于格子1/3面积被覆盖，则将中 间格子标记为S22＝00无效，反之如果目标覆盖面积小于等于方格面积 的1/3，则标记为有效，其中左半部分覆盖的标记为S22＝01右有效， 右半部分覆盖的标记为S22＝10左有效；如果S22的中心部分有目标覆 盖，则标记为S22＝00无效；
其次检测第二行的右格子S23，如果S23没有被目标覆盖，则将其 标记为S23＝11有效；如果S23的左半部分或右半部分有大于格子1/3 面积被覆盖，则将其标记为S23＝00无效，反之如果目标覆盖面积小于 等于方格面积的1/3，则标记为有效，其中左半部分覆盖的标记为 S23＝01右有效，右半部分覆盖的标记为S23＝10左有效；如果S23的中心 部分有目标覆盖，则标记为S23＝00无效；同理，对左格子S21进行相 同的处理。
S3、检测第三行，也就是九方格最下面一行的左右两个方格，如 果左格子S31没有被目标覆盖，则将其标记为S31＝11有效；如果S31的 左半部分有大于格子1/3面积被覆盖，则将其标记为S31＝00无效，反 之如果目标覆盖面积小于等于方格面积的1/3，则标记为S31＝11有效； 如果左格子的中心部分及右面有目标覆盖，则标记为S31＝00无效；
如果右格子S33没有目标覆盖，则将其标记为S33＝11有效；如果 右格子的右半部分有大于格子1/3面积被覆盖，则将其标记为S33＝00 无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为 S33＝11有效；如果右格子的中心部分及左面有目标覆盖，则标记为 S33＝00无效。
本发明的有益效果是：
1、本发明运用机器视觉和人工智能技术对环境进行3D建模，对 环境中的静态和动态障碍物进行检测和识别，获取障碍物所在区域， 并计算出相对视障人士的距离和方位，采用九方格地图进行有效行走 路径规划，通过语音播报前方路况信息，提示视障人士行走与避障。 本发明能在动态环境下，感知环境中障碍物的空间位置，规划出供视 障人士行走的路线，为视障人士的出行提供方便。
2、本发明是针对视障人士日常生活中的出行问题而专门设计的 一套辅助工具，使用者只需要穿上和佩戴上集成了本系统的智能腰包 等“穿戴式智能设备”系列终端，就可以实现视障人士出行中的自主 避障与路径规划、语音+音频的障碍物与方位提醒以及行走方向的语 音提示等功能。
3、本发明充分考虑了同类产品的各种性能缺陷，并在同类设备 的基础上，将各方面性能做了进一步的创新与提高。本发明运用先进 的深度学习算法并在此基础上改进优化设计了一种高性能障碍物探 测网络，提出了基于九方格地图的路径规划算法与避障策略，将双目 摄像头获取的视差图转换为深度图，并与障碍物探测网络相结合，准 确获取障碍物的位置与距离，同时，系统采用了语音提示与音频相结 合的方式对障碍物的位置与距离信息进行提示。
附图说明
图1为本发明的程序流程图。
图2为本发明的九方格地图。
图3为本发明的检测S22有效性的过程。
图4为本发明的检测S12有效性的过程。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明做进一步 详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限 定。
本实施例提供了一种用于视障人士导盲的路径规划与避障方法, 包括以下步骤：
步骤一：将双目摄像头安装到穿戴式终端上；
步骤二：运用机器视觉和人工智能技术对环境进行3D建模，所 述3D建模的模型地图为包括有九个有效区域的九方格地图，将九方 格地图中的底部中间位置处的有效区域方格作为用户落脚点的起始 方格，每一个有效区域的方格的边长设置为0.5m，视障人士下一步 的行走路径以起始方格为基准，以左方、右方、左前方、正前方或右 前方的方格为即将行走的规划路线，路径规划的结果根据当前前方有 效区域内的障碍物分布来确定；
步骤三：路径规划，依据目标检测算法和双目测距算法得到有效 区域内障碍物所在位置、大小及与视障人士的距离，然后根据每个障 碍物所在位置规划出下一步的行走路线；
步骤四：通过语音播报前方路况信息，提示视障人士行走与避障， 然后重新规划路径。
所述路径规划算法的实现步骤为：
步骤一：找出有效区域内距离视障人士最近的一个和多个目标， 将其映射到九方格所在区域内；
步骤二：标出每个目标在九方格地图上的位置和覆盖区域，目标 的位置以检测到的目标框为基准，目标的覆盖区域就是检测框检测到 的区域；
步骤三：方格有效性检测，方格有效性由覆盖每个方格的目标的 区域和大小确定，具体针对每个格子所在位置的不同有不同的计算方 法；
步骤四：规划有效行走路径，对于标记为无效的方格均为不可通 行区域，路径规划时均认为是非通行区；有效路径的规划是以起始方 格S32为出发点，沿左方、右方、左前方、正前方和右前方5个方向 查找是否存在可通行区域，可通行区域必须是有效方格所在区域，如 果找到可以通行的区域，就将其标识为可通行路径，如果存在多条可 通行路径就依次按正前方、左前方、右前方、左方、右方的优先级顺 序选择最优路线。
如图2所示，在本实施例中，视障人士行走以步子为基本单位， 每步的步幅大约是0.2m到0.6m之间，由于视障人士行走缓慢，在行 走过程中对视障人士的行走构成威胁的应该是距离其前方1.5m内大 约60°角扇面范围内的障碍物，这个区域我们称为有效区域，图中 (b)～(f)分别表示5种行走路线。
检测算法流程为：
S1、检测第一行，也就是九方格最上面一行的方格，首先检测中 间格子S12，如果S12没有被目标覆盖，则将其标记为S12＝11有效；如 果S12的左半部分或右半部分有大于格子1/3面积被覆盖，则将其标 记为S12＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3， 则标记为有效，其中左半部分覆盖的标记为S12＝01右有效，右半部分 覆盖的标记为S12＝10左有效，如果S12的中心部分有目标覆盖，则标 记为S12＝00无效；
其次检测右格子S13，如果S13没有被目标覆盖，则将其标记为 S13＝11有效；如果S13的左半部分或右半部分有大于格子1/3面积被覆 盖，则将其标为S13＝00无效，反之如果目标覆盖面积小于等于方格面 积的1/3，则标记为有效，其中左半部分覆盖的标记为S13＝01右有效， 右半部分覆盖的标记为S13＝10左有效；如果S13的中心部分有目标覆 盖，则标记为S13＝00无效；同理，对左格子S11进行相同的处理；
所述覆盖面积的计算是根据目标检测框宽度覆盖所在格子的区 间长度乘以方格边长来计算的；
S2、检测第二行，也就是九方格中间一行的方格，首先检测中间 格子S22，如果S22没有被目标覆盖，则将中间格子标记为S22＝11有效； 如果S22的左半部分或右半部分有大于格子1/3面积被覆盖，则将中 间格子标记为S22＝00无效，反之如果目标覆盖面积小于等于方格面积 的1/3，则标记为有效，其中左半部分覆盖的标记为S22＝01右有效， 右半部分覆盖的标记为S22＝10左有效；如果S22的中心部分有目标覆 盖，则标记为S22＝00无效；
其次检测第二行的右格子S23，如果S23没有被目标覆盖，则将其 标记为S23＝11有效；如果S23的左半部分或右半部分有大于格子1/3 面积被覆盖，则将其标记为S23＝00无效，反之如果目标覆盖面积小于 等于方格面积的1/3，则标记为有效，其中左半部分覆盖的标记为 S23＝01右有效，右半部分覆盖的标记为S23＝10左有效；如果S23的中心 部分有目标覆盖，则标记为S23＝00无效；同理，对左格子S21进行相 同的处理。
S3、检测第三行，也就是九方格最下面一行的左右两个方格，如 果左格子S31没有被目标覆盖，则将其标记为S31＝11有效；如果S31的 左半部分有大于格子1/3面积被覆盖，则将其标记为S31＝00无效，反 之如果目标覆盖面积小于等于方格面积的1/3，则标记为S31＝11有效； 如果左格子的中心部分及右面有目标覆盖，则标记为S31＝00无效；
如果右格子S33没有目标覆盖，则将其标记为S33＝11有效；如果 右格子的右半部分有大于格子1/3面积被覆盖，则将其标记为S33＝00 无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为 S33＝11有效；如果右格子的中心部分及左面有目标覆盖，则标记为 S33＝00无效。
路径规划算法流程如下：
步骤一：首先检测第二行的中间格子S22有效性(取值11、01、 10均为有效)。
1)如果S22为无效，并且S23和S33为有效，则有效路径为：S32—> S33(右方行走)；
2)如果S22为无效，并且S21和S31为有效，则有效路径为：S32—> S31(左方行走)；
3)如果S22为无效，而S31和S33均为有效，则有效路径为：S32—> S33(右方行走)；
4)如果S22为无效，而S31有效S33为无效，则有效路径为：S32—> S31(左方行走)；
5)如果S22为无效，而S33有效S31为无效，则有效路径为：S32—> S33(右方行走)；
6)如果S22为无效，而S31和S33均为无效，则停止行走，后退一 步，并报警提示，重新进行路径规划；
图3所示，图中(a)～(f)分别表示上述1)～6)的过程， 图中深色网状表示障碍物区域(无效)，浅蓝色表示任意区域，白色 表示可通行区域(有效)。
步骤二：检测第一行的中间格子S12有效性
1)如果S12为有效，并且S22也有效，则有效路径为：S32—>S22 (正前方行走)；
2)如果S12为无效，并且S22和S13和S23为有效，则有效路径为： S32—>S23(右前方行走)；
3)如果S12为无效，并且S22和S11和S21为有效，则有效路径为： S32—>S21(左前方行走)；
4)如果S12为无效，并且S23也无效而S21和S22为有效，则有效路 径为：S32—>S21(左前方行走)；
5)如果S12为无效，并且S21也无效而S22和S23为有效，则有效路 径为：S32—>S23(右前方行走)；
6)如果S12为无效，并且S21和S23均为无效，则停止行走，后退 一步，并报警提示，重新进行路径规划；
如图4所示中的(a)～(f)分别表示上述1)～6)的过程， 图中深色网状表示障碍物区域(无效)，浅蓝色表示任意区域，白色 表示可通行区域(有效)。
将选定的通行线路做为下一步的行走路线，到达新的位置，将新 的位置做为下一个九方格的起始方格S32，重复(1)～(4)步骤， 寻找新的路径，直到到达目的地停止。
盲人佩戴或穿上集成了智能感知系统的穿戴式终端后，在出行的 过程可以通过本系统自动感知前方一定距离内的障碍物，并检测识别 出障碍物的距离和方位，规划出有效的行走线路，通过语音提醒盲人 下一步的行走方向。假设盲人每步行走的步距在0.5m内，每次播报 的障碍物是以盲人为基准点，前方大约1.5m*1.5m有效区域范围内距 离盲人最近的一个目标，播报的行走方向有5种可能的路线：左方、 右方、左前方、正前方和右前方，如何行走取决于路径规划的结果， 而路径规划又要根据当前前方有效区域内的障碍物分布确定。如果遇 到左、中、右都有障碍物不能通行，系统会让盲人停止行走，后退一 步，并报警提示，然后重新规划路径。
如图1所示，本实施例中采用的服务器主要用于训练障碍物识别 模型、加载检测网络及双目测距算法。
服务器上搭载的软件环境为：Ubuntu14.04,Python2.7.12, gcc5.4.0,g++5.4.0,OpenCV3.3.1。安装完系统所需环境后，开始 部署Darknet框架，具体步骤如下：
(1)根据服务器的GPU型号安装所需平台及加速库，本文安装 的显卡驱动版本为418.56、CUDA版本为8.0、cudnn版本为7.1.4；
(2)移植修改过的Darknet源码，Makefile文件的设置使用CUDA 和OpenCV编译Darknet。
搭建好Darknet框架后，调用Darknet的Python接口编写障碍 物检测程序，由于识别程序需要与双目测距算法进行耦合，故将C++ 编写的双目测距算法封装成动态链接库libstereo.so。封装的时候， 在头文件及源文件中添加extern“C”{}以C语言的方式编译测距程序。首先，程序加载Darknet的动态链接库libdarknet.so和双 目测距的动态链接库libstereo.so，然后调用Darknet封装的 load_net()和load_meta()函数加载网络配置文件及训练好的模型， 通过load_image()函数加载待识别图像，再由detect()函数计算类别、置信度及坐标，此时返回的坐标为(b.x,b.y,b.w,b.h)，分别 表示检测框的中心坐标及宽高。调用libstereo.so的ranging()函 数提取检测框的中心坐标，通过stereo_match()函数进行立体匹配 并生成视差图，再使用coordinate()根据拟合的公式计算坐标点距离。由于本文模型能对识别到的所有目标进行检测和识别，考虑到视 障人士行进中的实际情况，故设定一个范围阈值，只输出4米内障碍 物的类别及距离信息。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业 的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和 说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围 的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要 求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及 其等效物界定。

Claims (3)

1.一种用于视障人士导盲的路径规划与避障方法,其特征在于，包括以下步骤：
步骤一：将双目摄像头安装到穿戴式终端上，对环境中的静态和动态障碍物进行检测和识别，获取障碍物所在区域；
步骤二：运用机器视觉和人工智能技术对环境进行3D建模，所述3D建模的模型地图为包括有九个有效区域的九方格地图，将九方格地图中的底部中间位置处的有效区域方格作为用户落脚点的起始方格，每一个有效区域的方格的边长设置为0.5m，视障人士下一步的行走路径以起始方格为基准，以左方、右方、左前方、正前方或右前方的方格为即将行走的规划路线，路径规划的结果根据当前前方有效区域内的障碍物分布来确定；
步骤三：路径规划，依据目标检测算法和双目测距算法得到有效区域内障碍物所在位置、大小及与视障人士的距离，然后根据每个障碍物所在位置规划出下一步的行走路线；
步骤四：通过语音播报前方路况信息，提示视障人士行走与避障，然后重新规划路径。
2.根据权利要求1所述的一种用于视障人士导盲的路径规划与避障方法，其特征在于：在所述步骤三中，所述路径规划算法的实现步骤为：
步骤一：找出有效区域内距离视障人士最近的一个和多个目标，将其映射到九方格所在区域内；
步骤二：标出每个目标在九方格地图上的位置和覆盖区域，目标的位置以检测到的目标框为基准，目标的覆盖区域就是检测框检测到的区域；
步骤三：方格有效性检测，方格有效性由覆盖每个方格的目标的区域和大小确定，具体针对每个格子所在位置的不同有不同的计算方法；
步骤四：规划有效行走路径，对于标记为无效的方格均为不可通行区域，路径规划时均认为是非通行区；有效路径的规划是以起始方格S32为出发点，沿左方、右方、左前方、正前方和右前方5个方向查找是否存在可通行区域，可通行区域必须是有效方格所在区域，如果找到可以通行的区域，就将其标识为可通行路径，如果存在多条可通行路径就依次按正前方、左前方、右前方、左方、右方的优先级顺序选择最优路线。
3.根据权利要求2所述的一种用于视障人士导盲的路径规划与避障方法，其特征在于：在所述步骤三中，检测算法流程为：
S1、检测第一行，也就是九方格最上面一行的方格，首先检测中间格子S12，如果S12没有被目标覆盖，则将其标记为S12＝11有效；如果S12的左半部分或右半部分有大于格子1/3面积被覆盖，则将其标记为S12＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为有效，其中左半部分覆盖的标记为S12＝01右有效，右半部分覆盖的标记为S12＝10左有效，如果S12的中心部分有目标覆盖，则标记为S12＝00无效；
其次检测右格子S13，如果S13没有被目标覆盖，则将其标记为S13＝11有效；如果S13的左半部分或右半部分有大于格子1/3面积被覆盖，则将其标为S13＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为有效，其中左半部分覆盖的标记为S13＝01右有效，右半部分覆盖的标记为S13＝10左有效；如果S13的中心部分有目标覆盖，则标记为S13＝00无效；同理，对左格子S11进行相同的处理；
所述覆盖面积的计算是根据目标检测框宽度覆盖所在格子的区间长度乘以方格边长来计算的；
S2、检测第二行，也就是九方格中间一行的方格，首先检测中间格子S22，如果S22没有被目标覆盖，则将中间格子标记为S22＝11有效；如果S22的左半部分或右半部分有大于格子1/3面积被覆盖，则将中间格子标记为S22＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为有效，其中左半部分覆盖的标记为S22＝01右有效，右半部分覆盖的标记为S22＝10左有效；如果S22的中心部分有目标覆盖，则标记为S22＝00无效；
其次检测第二行的右格子S23，如果S23没有被目标覆盖，则将其标记为S23＝11有效；如果S23的左半部分或右半部分有大于格子1/3面积被覆盖，则将其标记为S23＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为有效，其中左半部分覆盖的标记为S23＝01右有效，右半部分覆盖的标记为S23＝10左有效；如果S23的中心部分有目标覆盖，则标记为S23＝00无效；同理，对左格子S21进行相同的处理；
S3、检测第三行，也就是九方格最下面一行的左右两个方格，如果左格子S31没有被目标覆盖，则将其标记为S31＝11有效；如果S31的左半部分有大于格子1/3面积被覆盖，则将其标记为S31＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为S31＝11有效；如果左格子的中心部分及右面有目标覆盖，则标记为S31＝00无效；
如果右格子S33没有目标覆盖，则将其标记为S33＝11有效；如果右格子的右半部分有大于格子1/3面积被覆盖，则将其标记为S33＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为S33＝11有效；如果右格子的中心部分及左面有目标覆盖，则标记为S33＝00无效。
CN202110099005.4A 2021-01-25 2021-01-25 一种用于视障人士导盲的路径规划与避障方法 Active CN113377097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110099005.4A CN113377097B (zh) 2021-01-25 2021-01-25 一种用于视障人士导盲的路径规划与避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110099005.4A CN113377097B (zh) 2021-01-25 2021-01-25 一种用于视障人士导盲的路径规划与避障方法

Publications (2)

Publication Number Publication Date
CN113377097A true CN113377097A (zh) 2021-09-10
CN113377097B CN113377097B (zh) 2023-05-05

Family

ID=77569622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110099005.4A Active CN113377097B (zh) 2021-01-25 2021-01-25 一种用于视障人士导盲的路径规划与避障方法

Country Status (1)

Country Link
CN (1) CN113377097B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117001715A (zh) * 2023-08-30 2023-11-07 哈尔滨工业大学 一种面向视觉功能障碍者的智能辅助系统及方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN102506887A (zh) * 2011-11-10 2012-06-20 厦门雅迅网络股份有限公司 一种地理导航方法
CN102854880A (zh) * 2012-10-08 2013-01-02 中国矿业大学 面向混合地形区域不确定环境的机器人全局路径规划方法
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105116902A (zh) * 2015-09-09 2015-12-02 北京进化者机器人科技有限公司 一种移动机器人避障导航的方法和系统
WO2016086441A1 (zh) * 2014-12-04 2016-06-09 上海交通大学 针对全盲人群的室内定位系统
CN105718751A (zh) * 2016-02-03 2016-06-29 西北农林科技大学 一种基于面积格点覆盖的深松作业面积计算方法
US20160284235A1 (en) * 2015-03-23 2016-09-29 Boe Technology Group Co., Ltd. Wearable Blind Guiding Apparatus
CN106227212A (zh) * 2016-08-12 2016-12-14 天津大学 基于栅格地图和动态校准的精度可控室内导航系统及方法
CN106389078A (zh) * 2016-11-24 2017-02-15 贵州大学 一种智能导盲眼镜系统及其导盲方法
CN107046655A (zh) * 2017-04-25 2017-08-15 苏州大学 一种移动群智感知方法及系统
CN107806877A (zh) * 2017-10-11 2018-03-16 湖北工业大学 一种基于蚁群算法的四旋翼无人机的航迹规划优化方法
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航
CN108663681A (zh) * 2018-05-16 2018-10-16 华南理工大学 基于双目摄像头与二维激光雷达的移动机器人导航方法
CN108917769A (zh) * 2018-07-13 2018-11-30 北京工业大学 一种基于九叉树的机器人自适应栅格地图创建方法
CN109633662A (zh) * 2018-12-28 2019-04-16 百度在线网络技术（北京）有限公司 障碍物定位方法、装置和终端
CN109683619A (zh) * 2019-02-11 2019-04-26 山东省科学院海洋仪器仪表研究所 一种基于图形参数化的机器人路径规划方法及系统
CN110068329A (zh) * 2018-01-23 2019-07-30 北京联合大学 一种室内无线导航方向生成方法
CN111638713A (zh) * 2020-05-26 2020-09-08 珠海市一微半导体有限公司 可通行区域的框定方法、面积计算方法、芯片及机器人
AU2020103056A4 (en) * 2020-10-28 2020-12-24 M. Hemalatha Voice based outdoor navigation and location announcement guidance system for blind
CN112120898A (zh) * 2020-08-24 2020-12-25 北京机械设备研究所 一种双目视觉的智能导盲系统

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067557A (zh) * 2007-07-03 2007-11-07 北京控制工程研究所 适用于自主移动车辆的环境感知的单目视觉导航方法
CN102506887A (zh) * 2011-11-10 2012-06-20 厦门雅迅网络股份有限公司 一种地理导航方法
CN102854880A (zh) * 2012-10-08 2013-01-02 中国矿业大学 面向混合地形区域不确定环境的机器人全局路径规划方法
WO2016086441A1 (zh) * 2014-12-04 2016-06-09 上海交通大学 针对全盲人群的室内定位系统
US20160284235A1 (en) * 2015-03-23 2016-09-29 Boe Technology Group Co., Ltd. Wearable Blind Guiding Apparatus
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105116902A (zh) * 2015-09-09 2015-12-02 北京进化者机器人科技有限公司 一种移动机器人避障导航的方法和系统
CN105718751A (zh) * 2016-02-03 2016-06-29 西北农林科技大学 一种基于面积格点覆盖的深松作业面积计算方法
CN106227212A (zh) * 2016-08-12 2016-12-14 天津大学 基于栅格地图和动态校准的精度可控室内导航系统及方法
CN107967473A (zh) * 2016-10-20 2018-04-27 南京万云信息技术有限公司 基于图文识别和语义的机器人自主定位和导航
CN106389078A (zh) * 2016-11-24 2017-02-15 贵州大学 一种智能导盲眼镜系统及其导盲方法
CN107046655A (zh) * 2017-04-25 2017-08-15 苏州大学 一种移动群智感知方法及系统
CN107806877A (zh) * 2017-10-11 2018-03-16 湖北工业大学 一种基于蚁群算法的四旋翼无人机的航迹规划优化方法
CN110068329A (zh) * 2018-01-23 2019-07-30 北京联合大学 一种室内无线导航方向生成方法
CN108663681A (zh) * 2018-05-16 2018-10-16 华南理工大学 基于双目摄像头与二维激光雷达的移动机器人导航方法
CN108917769A (zh) * 2018-07-13 2018-11-30 北京工业大学 一种基于九叉树的机器人自适应栅格地图创建方法
CN109633662A (zh) * 2018-12-28 2019-04-16 百度在线网络技术（北京）有限公司 障碍物定位方法、装置和终端
CN109683619A (zh) * 2019-02-11 2019-04-26 山东省科学院海洋仪器仪表研究所 一种基于图形参数化的机器人路径规划方法及系统
CN111638713A (zh) * 2020-05-26 2020-09-08 珠海市一微半导体有限公司 可通行区域的框定方法、面积计算方法、芯片及机器人
CN112120898A (zh) * 2020-08-24 2020-12-25 北京机械设备研究所 一种双目视觉的智能导盲系统
AU2020103056A4 (en) * 2020-10-28 2020-12-24 M. Hemalatha Voice based outdoor navigation and location announcement guidance system for blind

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵静;陈一民;: "基于双目视觉移动机器人的路径规划和避障研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117001715A (zh) * 2023-08-30 2023-11-07 哈尔滨工业大学 一种面向视觉功能障碍者的智能辅助系统及方法

Also Published As

Publication number Publication date
CN113377097B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
US10534366B2 (en) Moving and searching method of mobile robot for following human
CN106842231B (zh) 一种道路边界检测及跟踪方法
US9062980B2 (en) Autonomous mobile system
CN107092252A (zh) 一种基于机器视觉的机器人主动避障方法及其装置
CN101619984B (zh) 一种基于颜色路标的移动机器人视觉导航方法
CN109144072A (zh) 一种基于三维激光的机器人智能避障方法
Kurata et al. Indoor-outdoor navigation system for visually-impaired pedestrians: Preliminary evaluation of position measurement and obstacle display
Balado et al. Point clouds for direct pedestrian pathfinding in urban environments
CN102324041B (zh) 像素归类方法、关节体姿态识别方法及鼠标指令生成方法
CN109558831A (zh) 一种融合时空模型的跨摄像头行人定位方法
CN109528089A (zh) 一种被困清洁机器人的继续行走方法、装置及芯片
US20230244239A1 (en) Method for Detecting Physical Forbidden Zone and Global Relocating of Service Robot
CN105844224A (zh) 一种车载LiDAR 道路点云快速有序化方法
CN107179082A (zh) 基于拓扑地图和度量地图融合的自主探索方法和导航方法
CN113377097A (zh) 一种用于视障人士导盲的路径规划与避障方法
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
CN105911553B (zh) 一种道路可行域确定方法及系统
Khalilullah et al. Road area detection method based on DBNN for robot navigation using single camera in outdoor environments
Fang et al. Extraction 3D road boundaries from mobile laser scanning point clouds
CN117109555A (zh) 一种适应于树林环境下的树干喷涂机器人的控制方法
Ballardini et al. Ego-lane estimation by modeling lanes and sensor failures
CN109376212A (zh) 一种计算行人出现概率的地图的生成方法及系统
Sujiwo et al. Robust and accurate monocular vision-based localization in outdoor environments of real-world robot challenge
Khan et al. Real-time traffic light detection from videos with inertial sensor fusion
Uzawa et al. Dataset Generation for Deep Visual Navigation in Unstructured Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant