CN110448436A - 一种具有盲道检测定位功能的智能导盲杖及导盲方法 - Google Patents

一种具有盲道检测定位功能的智能导盲杖及导盲方法 Download PDF

Info

Publication number
CN110448436A
CN110448436A CN201910688266.2A CN201910688266A CN110448436A CN 110448436 A CN110448436 A CN 110448436A CN 201910688266 A CN201910688266 A CN 201910688266A CN 110448436 A CN110448436 A CN 110448436A
Authority
CN
China
Prior art keywords
blind
blind way
way
picture
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910688266.2A
Other languages
English (en)
Inventor
张涛
董岩
黄松睿
韩虎生
林嘉成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910688266.2A priority Critical patent/CN110448436A/zh
Publication of CN110448436A publication Critical patent/CN110448436A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/068Sticks for blind persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种具有盲道检测定位功能的智能导盲杖及导盲方法。智能导盲杖包括杖体、摄像头、处理器和语音输出模块四个部分,摄像头和处理器装设在杖体上;摄像头用于采集图片;处理器用于对图片进行盲道检测,得到视觉检测结果;语音输出模块用于播报检测结果,以提示使用者盲道的具体位置。导盲方法包括获取摄像头拍摄的图片;对图片中的盲道进行检测和定位,得到视觉检测结果,检测结果包括盲道的相对位置;将检测结果通过语音输出模块进行播报,以提示使用者盲道的具体位置。本发明实施例通过导盲杖采集图片进行分析处理,对图片中的盲道进行检测定位,得到盲道的相对位置信息,引导盲人快速行至盲道,提高了盲道定位的准确性和便捷性。

Description

一种具有盲道检测定位功能的智能导盲杖及导盲方法
技术领域
本发明涉及导盲技术领域,尤其涉及一种具有盲道检测定位功能的智能导盲杖及导盲方法。
背景技术
据国际卫生组织(WHO)在2017年的估计,全世界约有13亿视力受损人士,其中约3600万人患有盲症。视障人士在生活中遇到许许多多的不便,其中之一便是无法实现自主出行。上世纪30年代,导盲杖问世。由于导盲杖能够探测周围环境,扩展了盲人的触觉范围,成为许多盲人出行的主要工具。同时盲杖也成为视障人士的象征,对周围的人有一定的提醒警示作用。
近年来,许多国外研究人员致力于为传统盲杖增加新的功能,以使其更加方便盲人使用。马来西亚研究人员通过在盲杖安装超声波进行障碍物检测,并通过声音和震动提示使用者;美国宾夕法尼亚大学研究人员在检测地面障碍物的同时,检测人头顶高度的障碍物,避免盲人发生磕碰;日本研究人员采用RFID技术,通过装有RFID探测装置的盲杖探测贴有RFID标签的地面引导盲人行走;除此之外,墨西哥研究人员发明了一款基于智能手机的虚拟盲杖,西班牙研究人员甚至将雷达安装到导盲杖上进行障碍物的探测与预警。
国内也有许多涉及智能导盲杖或盲人辅助系统的研究。其中有基于CNN/LSTM的盲人辅助视觉系统,通过大量带有标注的图片进行训练深度神经网络,获取当前场景环境信息;还有通过仿射变换模型,训练分类器进行盲道与人行横道的检测与处理;还有采用双目摄像机采集图像进行路面场景的理解,还有利用智能手机开发了一套移动导航系统,包括基础导航、综合图像处理、语音辅助等功能;还有提供了一种利用视觉图像信息和位置信息综合进行精确导航的智能导盲系统,能够语音提示帮助用户避开障碍目标。
然而以上发明研究均在一定程度上存在问题:(1)简单的障碍物检测与避障功能无法引导盲人的前进方向;(2)脱离传统盲杖结构,不方便盲人使用习惯;(3)依附于其他智能设备,增加了盲人使用难度的同时提高了生产成本。以上共性的问题均是无法帮助盲人指引盲道,有效引导盲人前进。
因此,需要提出一种能有效帮助盲人指引盲道的导盲杖。
发明内容
本发明实施例提供一种具有盲道检测定位功能的智能导盲杖及导盲方法,用以解决现有技术中导盲杖不具备帮助盲人指引盲道的具体位置的问题。
第一方面,本发明实施例提供一种具有盲道检测定位功能的智能导盲杖,包括:
杖体、摄像头、处理器和语音输出模块;
其中,所述摄像头和所述处理器装设在所述杖体上;
所述摄像头用于采集图片;
所述处理器用于对所述图片进行盲道检测,得到视觉检测结果,所述检测结果包括盲道的相对位置;
所述语音输出模块用于播报所述检测结果,以提示使用者盲道的具体位置。
优选的,所述智能导盲杖还包括功能按键和/或陀螺仪;
所述功能按键安装在所述杖体的手柄处,所述功能按键用于触发盲道检测定位;
所述陀螺仪用于输出角度检测数据,以供所述处理器根据所述角度检测数据来判断所述杖体是否垂直于地面。
第二方面,本发明实施例提供一种具有盲道检测定位功能的导盲方法,包括:
获取所述摄像头拍摄的图片;
对所述图片中的盲道进行检测和定位,得到视觉检测结果,所述视觉检测结果包括盲道的相对位置;
将所述视觉检测结果通过所述语音输出模块进行播报,以提示使用者盲道的相对位置。
优选的,所述方法之前包括:
进行初始化操作;
若接收到功能按键发来的指令,则获取所述陀螺仪的角度检测数据;
根据所述角度检测数据判断所述杖体与地面垂直线间夹角是否小于等于预设角度,若是,则触发所述摄像头进行图片拍摄。
优选的,所述方法还包括:
否则,发送控制数据至所述语音输出模块,触发所述语音输出模块发出语音提示,要求所述使用者调整所述杖体角度。
优选的,对所述图片中的盲道进行检测和定位,得到视觉检测结果,所述检测结果包括盲道的相对位置,具体包括:
将所述图片进行颜色阈值分割,得到所述图片的二值化图像结果;
对所述二值化图像结果计算最大连通区域的面积,若所述面积大于预设阈值,则认为所述面积为所述盲道区域;
对所述盲道区域进行轮廓提取,获取盲道区域轮廓;
在所述盲道区域轮廓中进行盲道中轴线的提取;
计算所述使用者到所述盲道中轴线的垂线段的距离,以及所述使用者前进方向与所述垂线段的夹角,得到所述视觉检测结果。
优选的,所述对所述盲道区域进行轮廓提取,获取盲道区域轮廓,具体包括:
若所述盲道区域中的任一像素点周围8个像素点既存在前景像素点,又存在背景像素点,则判断该像素点为轮廓像素点。
优选的,所述在所述盲道区域轮廓中进行盲道中轴线的提取,具体包括:
对所述盲道区域轮廓进行轮廓近似计算,得到四边形轮廓区域;
提取所述四边形轮廓区域的四个顶点;
分别计算所述四个顶点中任意两个顶点的欧氏距离,取其中所述欧氏距离最短的两个顶点连线,记为第一距离,其次距离最短的两个顶点连线记为第二距离;
在所述第一距离和所述第二距离上取中点,记为第一中点和第二中点;
将所述第一中点和所述第二中点进行连接,得到所述盲道中轴线。
优选的,所述计算所述使用者到所述盲道中轴线的垂线段的距离,以及所述使用者前进方向与所述垂线段的夹角,得到所述视觉检测结果,具体包括:
定义所述图片左上角为图像坐标系坐标原点,所述杖体所在位置为地面坐标系坐标原点;
获取所述第一中点和所述第二中点对应的图像坐标点,通过仿射变换,分别得到所述第一中点和所述第二中点对应的地面坐标点;
由所述第一中点和所述第二中点对应的地面坐标点得到地面坐标系中的所述盲道中轴线对应的直线方程;
通过点到直线的距离公式,得到所述使用者到所述盲道中轴线的垂直距离;
获取所述垂直距离对应垂线段与所述盲道中轴线的垂足,并获取所述垂足地面坐标点;
由所述垂足地面坐标点计算所述使用者与所述垂足位置的夹角。
优选的,还包括:
若未检测到盲道,则触发所述语音输出模块提示所述使用者未检测到盲道。
本发明实施例提供的一种具有盲道检测定位功能的智能导盲杖及导盲方法,通过导盲杖采集图片进行分析处理,对图片中的盲道进行检测定位,得到盲道的相对位置信息,并语音传递给盲人关于盲道的方向与距离,引导盲人快速行至盲道,提高了盲道定位的准确性和便捷性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种具有盲道检测定位功能的智能导盲杖结构图;
图2为本发明实施例提供的智能导盲杖各模块连接关系示意图;
图3为本发明实施例提供的一种具有盲道检测定位功能的导盲方法流程图;
图4为本发明实施例提供的导盲方法示意图;
图5为本发明实施例提供的盲道检测和定位方法流程图;
图6为本发明实施例提供的盲道位置描述示意图;
图7为本发明实施例提供的经阈值分割后的二值化图像结果示意图;
图8为本发明实施例提供的盲道中轴线提取算法流程图;
图9为本发明实施例提供的轮廓阈值调整算法示意图;
图10为本发明实施例提供的盲道中轴线的四点定位示意图;
图11为本发明实施例提供的检测结果算法流程图;
图12为本发明实施例提供的盲道坐标系示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种具有盲道检测定位功能的智能导盲杖结构图,如图1所示,包括:
杖体、摄像头、处理器和语音输出模块;
其中,所述摄像头和所述处理器装设在所述杖体上;
所述摄像头用于采集图片;
所述处理器用于对所述图片进行盲道检测,得到视觉检测结果,所述检测结果包括盲道的相对位置;
所述语音输出模块用于播报所述检测结果,以提示使用者盲道的具体位置。具体地,智能导盲杖主要组成部分为杖体1、摄像头2、处理器3和语音输出模块4。其中摄像头2安装在杖体1上,一般为中间位置,并与杖体1呈一定角度安装,优选的,设置为45°夹角,便于拍摄前方5米范围内的图像;处理器2装设在杖体上,位于摄像头2上方,用于处理获取的图片,并进行分析计算,得到盲道的视觉检测结果,即盲道对于使用者的相对位置,一般包括盲道到使用者的距离,以及盲道和使用者前进方向的角度等信息;语音输出模块4则负责向使用者播报检测的结果,以供使用者对周围的盲道情况做出合适的判断。
本发明实施例通过导盲杖采集图片进行分析处理,对图片中的盲道进行检测定位,得到盲道的相对位置信息,并语音传递给盲人关于盲道的方向与距离,引导盲人快速行至盲道,提高了盲道定位的准确性和便捷性。
在上述实施例的基础上,所述智能导盲杖还包括功能按键和/或陀螺仪;
所述功能按键安装在所述杖体的手柄处,所述功能按键用于触发盲道检测定位;
所述陀螺仪用于输出角度检测数据,以供所述处理器根据所述角度检测数据来判断所述杖体是否垂直于地面。
具体地,智能导盲杖还安装有功能按键和/或陀螺仪,功能按键设置在手柄处,由使用者触发功能按键,从而触发处理器进行后续的处理操作流程;为了更精确地检测杖体与地面的垂直角度,杖体上还设置了陀螺仪,用于向处理器输出角度检测数据,再由处理器根据角度检测数据判断杖体是否垂直于地面。
和处理器、陀螺仪以及语音输出模块设置在一起的还有锂电池,锂电池为处理器、摄像头与语音输出模块供电,功能按键以及陀螺仪则由处理器直接供电。处理器接收摄像头、陀螺仪以及功能按键数据,并传递数据至语音输出模块。图2为本发明实施例提供的智能导盲杖各模块连接关系示意图,如图2所示,实线箭头表示供电方向,虚线箭头表示数据流动方向。
本发明实施例通过导盲杖在导盲杖上增设功能按键和陀螺仪,能更好的实现使用者对导盲杖的控制,以及实现导盲杖对角度的精准测试,提升了导盲杖对盲道定位的精准性。
图3为本发明实施例提供的一种具有盲道检测定位功能的导盲方法流程图,如图3所示,包括:
S1,获取所述摄像头拍摄的图片;
S2,对所述图片中的盲道进行检测和定位,得到视觉检测结果,所述视觉检测结果包括盲道的相对位置;
S3,将所述视觉检测结果通过所述语音输出模块进行播报,以提示使用者盲道的相对位置。
具体地,处理器获取到摄像头拍摄的图片,对该图片进行检测计算,提取其中包含的盲道区域,并对盲道区域进行定位,计算出盲道相对于使用者的相对位置,即得到视觉检测结果,然后将该视觉检测结果通过语音输出模块播报给使用者,提示使用者盲道的相对位置,便于使用者做出合适的判断。
本发明实施例通过导盲杖采集图片进行分析处理,对图片中的盲道进行检测定位,得到盲道的相对位置信息,并语音传递给盲人关于盲道的方向与距离,引导盲人快速行至盲道,提高了盲道定位的准确性和便捷性。
在上述实施例基础上,所述方法之前包括:
进行初始化操作;
若接收到功能按键发来的指令,则获取所述陀螺仪的角度检测数据;
根据所述角度检测数据判断所述杖体与地面垂直线间夹角是否小于等于预设角度,若是,则触发所述摄像头进行图片拍摄;
所述方法还包括:
否则,发送控制数据至所述语音输出模块,触发所述语音输出模块发出语音提示,要求所述使用者调整所述杖体角度。
具体地,在处理器获取摄像头拍摄的图片之前,智能导盲杖开始进行初始化,进入待操作的状态,待使用者按下功能按键,触发处理器开始读取陀螺仪的角度检测数据,然后根据该角度检测数据进行判断,若杖体与地面垂线之间的夹角小于等于预设角度,可认为杖体基本垂直于地面,可进行盲道检测,然后触发摄像头开始进行图片拍摄,在本实施例中,预设角度设置为5°。
反之,若处理器根据角度检测数据判断得知杖体与地面垂线之间的夹角大于预设角度,认为杖体倾斜程度较大,则处理器向语音输出模块发送控制信息,语音输出模块发出语音提示,要求使用者调整盲杖角度。
图4为本发明实施例提供的导盲方法示意图,如图4所示,完整地说明了智能导盲杖从初始化到后续的判断处理流程,一直到完成检测,输出视觉检测结果。
本发明实施例通过导盲杖采集图片进行分析处理,对图片中的盲道进行检测定位,得到盲道的相对位置信息,并语音传递给盲人关于盲道的方向与距离,引导盲人快速行至盲道,提高了盲道定位的准确性和便捷性。
在上述实施例的基础上,如图5所示,该方法中,步骤S2具体包括:
101,将所述图片进行颜色阈值分割,得到所述图片的二值化图像结果;
102,对所述二值化图像结果计算最大连通区域的面积,若所述面积大于预设阈值,则认为所述面积为所述盲道区域;
103,对所述盲道区域进行轮廓提取,获取盲道区域轮廓;
104,在所述盲道区域轮廓中进行盲道中轴线的提取;
105,计算所述使用者到所述盲道中轴线的垂线段的距离,以及所述使用者前进方向与所述垂线段的夹角,得到所述视觉检测结果。
具体地,由于盲人能够大致感知方向并判断行走的大致距离,所以本发明实施例中的智能导盲杖将盲道的方向和距离信息通过语音的方式传递给盲人。首先对盲道位置设置一种具体的描述方法,图6为本发明实施例提供的盲道位置描述示意图,如图6所示,图中斜矩形区域为盲道区域,该区域中虚线表示盲道中轴线,五角星表示盲人所站位置,右侧箭头表示盲人朝向,图中黑色实心线段为盲人所在位置到盲道中轴线的垂线段。定义盲道相对于盲人的方向为垂线方向与盲人朝向夹角(图中θ,左侧为正,右侧为负),定义盲道相对于盲人的距离为图中垂线段距离。
在描述盲道方向时,精确的角度对于盲人来说并没有太大意义,盲人只需得知大致方向即可。所以进行方向描述时,采用大致方向描述而非具体精确的角度。考虑到摄像机拍摄只能够拍摄盲杖前方,故θ角度在-90°~+90°之间。精确角度与大致方向的对应关系如表1所示:
表1
角度 -90~-50 -50~-20 -20~20 20-50 50~90
方向 右侧 右前方 前方 左前方 左侧
最终盲道的位置通过大致方向与具体距离进行描述,通过语音输出模块传递给盲人。语音输出内容为:“盲道位于您AAA(方向)BBB(距离)米处。”其中AAA为“右侧”“右前方”“前方”“左前方”“左侧”中的一个,BBB为具体计算得出的距离。
在步骤101中,由于盲道大多设计成与周围环境对比鲜明的黄色,所以在阈值分割时采用颜色阈值分割的方法。HSV模型是一种颜色表示方法,其中H表示颜色的色相,S表示饱和度,V表示亮度。色相可以更好的表示颜色,而不受亮度等其他因素影响,所以在盲道分割时采用HSV空间进行阈值分割。在HSV颜色空间中,黄色位于色相(H)的60°位置,所以设定30°~90°之间为图像前景,剩下为背景部分。
经过阈值分割后的结果如图7所示,图7中,盲道被划分为前景区域(白色区域)。
在步骤102中,将进行判断图像中是否存在盲道。由于在大多数实际环境下,不会存在大面积的黄色区域,即认定盲道区域为最大的黄色区域。在二值化图像中,最大的连通区域为潜在的盲道区域。实验表明,当前方存在盲道时,拍摄的图像中盲道所占面积一般超过图像尺寸的一定比例,本发明实施例设定阈值,该阈值设为10%。计算最大连通区域的面积,如果这个面积小于10%的图像尺寸,则认为视野中不存在盲道,相反,大于10%则认为有盲道存在。
在接下来的步骤103中,对步骤102中检测出的盲道区域进行轮廓提取,即将全部的轮廓像素点提取出来即可。
步骤104中,将提取盲道的中轴线。由于盲道是条状区域,所以中轴线定义经过盲道中心,沿盲道方向的直线,在获取盲道区域的轮廓之后,进行轮廓近似提取,获取近似的四边形轮廓后,再提取盲道的中轴线。
步骤105中,基于提取出的盲道中轴线,计算使用者到盲道中轴线的垂线段的距离,以及使用者的前进方向与所述垂线段的夹角,得到所述视觉检测结果,该检测结果由语音输出模块进行播报。
在上述实施例的基础上,该方法中,步骤103具体包括:
若所述盲道区域中的任一像素点周围8个像素点既存在前景像素点,又存在背景像素点,则判断该像素点为轮廓像素点。
具体地,判断图像中一个像素点是否为轮廓的方法极其简单,只需判断该像素点周围8个像素点是否既存在前景像素(白色像素点)和背景像素(黑色像素点)即可,从而获得全部连通区域的轮廓。由于盲道具有最大的前景区域,故仅保留最大前景区域所对应的轮廓。
在上述实施例的基础上,图8为本发明实施例提供的盲道中轴线提取算法流程图,如图8所示,该方法中,步骤104具体包括:
104.1,对所述盲道区域轮廓进行轮廓近似计算,得到四边形轮廓区域;
104.2,提取所述四边形轮廓区域的四个顶点;
104.3,分别计算所述四个顶点中任意两个顶点的欧氏距离,取其中所述欧氏距离最短的两个顶点连线,记为第一距离,其次距离最短的两个顶点连线记为第二距离;
104.4,在所述第一距离和所述第二距离上取中点,记为第一中点和第二中点;
104.5,将所述第一中点和所述第二中点进行连接,得到所述盲道中轴线。
具体地,在步骤104.1中,获取盲道区域的轮廓之后,首先进行轮廓近似。由于盲道受到光照、缺损等影响,连通区域轮廓是杂乱的多边形,本实施例中采用道格拉斯-普克多边形逼近算法对多边形进行近似,最终得到一个四边形。在采用逼近算法时,需要设定阈值进行近似,本发明实施例采用动态调整阈值的方法进行逼近,以确保最终逼近结果为四边形,其中阈值调整方法如图9所示。
步骤104.2中,由于盲道在图像中具有条带状特性,故四边形四个顶点中两个位于盲道一端,两个位于另一端,按照该原则进行四个顶点的提取;
步骤104.3中,根据两端顶点距离较近这一特性,分别计算四个顶点中任意两个顶点在图像中的欧氏距离,欧氏距离最小的一对顶点位于盲道一端,剩余两个顶点位于另一端,分别将这两个距离提取出来,记为第一距离和第二距离;
步骤104.4中,在上述步骤中提取的第一距离和第二距离上取中点,记为第一中点和第二中点。
步骤104.5中,将上述第一中点和第二中点连接,得到盲道的中轴线。
图10为本发明实施例提供的盲道中轴线的四点定位示意图,如图10所示,图中ABCD四个点表示近似轮廓四边形的顶点,分别计算任意两点之间的距离,得到其中最短的两个定点距离为其次距离最短的两个顶点距离为即对应第一距离和第二距离,然后找到的中点M和N,即对应第一中点和第二中点,由MN连线构成盲道区域轮廓的中轴线。
在上述实施例的基础上,图11为本发明实施例提供的检测结果算法流程图,如图11所示,该方法中,步骤105具体包括:
105.1,定义所述图片左上角为图像坐标系坐标原点,所述杖体所在位置为地面坐标系坐标原点;
105.2,获取所述第一中点和所述第二中点对应的图像坐标点,通过仿射变换,分别得到所述第一中点和所述第二中点对应的地面坐标点;
105.3,由所述第一中点和所述第二中点对应的地面坐标点得到地面坐标系中的所述盲道中轴线对应的直线方程;
105.4,通过点到直线的距离公式,得到所述使用者到所述盲道中轴线的垂直距离;
105.5,获取所述垂直距离对应垂线段与所述盲道中轴线的垂足,并获取所述垂足地面坐标点;
105.6,由所述垂足地面坐标点计算所述使用者与所述垂足位置的夹角。
具体地,步骤105.1中,在进行盲道定位时,需要保证盲杖末端触碰地面,并且竖直放置在盲人前方,指向盲人前进方向。由于盲人能够很轻易保证杖体末端接触地面以及朝向前方,但不能保证杖体垂直于地面放置,所以杖体上安装三轴陀螺仪检测杖体是否垂直于地面。安装时陀螺仪的xyz三轴方向确定,分别是:x轴正方向指向杖体前方,z轴正方向沿杖体向上,y轴正方向由右手定则确定。在这种安装方式下,xyz轴方向的角度依次对应杖体的横滚角、俯仰角和偏航角。由于杖体指向盲人前进方向,所以偏航角不存在实际意义,而横滚角与俯仰角展示了杖体的倾斜程度。当杖体完全垂直与地面时,横滚角与俯仰角均为0°。当横滚角与俯仰角角度在±5°之内时,可以认为杖体基本垂直于地面。当倾角大于±5°时,杖体不进行盲道定位。图12为本发明实施例提供的盲道坐标系示意图,如图12所示,通过图像中盲道位置计算盲道实际位置时,需要对坐标进行规定。图像坐标系原点为图片左上角,x与y轴正方向分别为水平向右由于竖直向下,定义图像中一个点为p′(x′,y′)。盲道在地面中采用地面坐标系描述,地面坐标系坐标原点定义为盲杖所在位置,x与y轴方向分别为盲人朝向与盲人左手方向,地面坐标系中一个点的位置定义为p(x,y)。
步骤105.2中,由于相机拍摄到的地面图像为地面的一个仿射变换,坐标点之间具有如下数学关系:
其中H为单应性矩阵,尺寸为3×3。
在导盲杖与地面接触且垂直时,由于盲杖长度与摄像头安装不变,所以式(1)中的单应性矩阵是固定不变的,可以提前测得,从而在计算出图片中一个点坐标后可以应用公式(1)立即计算出实际地面坐标,当计算出图片中盲道中轴线两端点后,即第一中点和第二中点,便可以计算出两端点在地面坐标系中的坐标,记做p1(x1,y1),p2(x2,y2)。
步骤105.3中,得到p1(x1,y1),p2(x2,y2)后,地面坐标系中盲道中轴线的直线方程为:
(y2-y1)x+(x1-x2)y+(x2y1-x1y2)=0 (2)
步骤105.4中,由于人所在位置为世界坐标系的坐标原点,采用点到直线的距离公式,求得人到盲道中轴线的距离D为:
步骤105.5中,定义原点到盲道中轴线的垂线段的垂足为PH(xH,yH),则有:
步骤105.6中,计算出前进方向与盲道垂足位置夹角为:
然后将精确角度转为大致方向,再通过语音方式告知盲人。
由于实际使用时,盲杖不能保证与地面完全垂直,而是可能有一定倾角,采用恒定的单应性矩阵计算将会产生一定的误差。但这个倾角被陀螺仪限制在±5°之内。本实施例共进行了4组测试,分别测试盲道位于盲杖前方与左侧0.5米和1米处,每组拍摄100张图片,分析实际计算的距离结果,得到表2:
表2
位置 左侧0.5m 左侧1m 前方0.5m 前方1m
测量最大值(m) 0.518 1.049 0.595 1.043
测量最小值(m) 0.471 0.903 0.442 0.977
测量标准差σ 0.014 0.045 0.019 0.015
标准差百分比γ 2.7% 4.5% 3.8% 1.5%
表中标准差百分比γ为标准差(σ)与实际距离的比值。可以看出比值在5%以下,表明虽然采用恒定单应性矩阵计算距离具有误差,这个误差较小,可以接受。
在上述实施例的基础上,该方法还包括:
若未检测到盲道,则触发所述语音输出模块提示所述使用者未检测到盲道。
综合该方法前述实施例的语音输出方案,智能导盲杖最终通过语音输出模块引导盲人寻找盲道。语音输出模块将在每次功能按键按下、处理器执行完相应计算后进行播报。播报内容共有3种类型,分别为:I.提示盲人盲杖倾斜角度过大,要求调整盲杖倾角;II.提示盲人视野范围内不存在盲道;III.告知盲人盲道所在的具体位置。三种语音输出的触发条件与具体内容详见表3:
表3
本发明实施例通过导盲杖采集图片进行分析处理,不同于以往的专利发明进行障碍检测与避障、或通过感知环境告知盲人环境元素、或通过其它平台实现盲人自身定位于导航,而是通过定位盲道相对于盲人的位置,语音传递给盲人关于盲道的方向与距离,引导盲人快速行至盲道,提高了盲道定位的准确性和便捷性。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种具有盲道检测定位功能的智能导盲杖,其特征在于,包括:杖体、摄像头、处理器和语音输出模块;
其中,所述摄像头和所述处理器装设在所述杖体上;
所述摄像头用于采集图片;
所述处理器用于对所述图片进行盲道检测,得到视觉检测结果,所述检测结果包括盲道的相对位置;
所述语音输出模块用于播报所述检测结果,以提示使用者盲道的具体位置。
2.根据权利要求1所述的一种具有盲道检测定位功能的智能导盲杖,其特征在于,还包括功能按键和/或陀螺仪;
所述功能按键安装在所述杖体的手柄处,所述功能按键用于触发盲道检测定位;
所述陀螺仪用于输出角度检测数据,以供所述处理器根据所述角度检测数据来判断所述杖体是否垂直于地面。
3.一种基于权利要求1或2所述的具有盲道检测定位功能的智能导盲杖的导盲方法,其特征在于,包括:
获取所述摄像头拍摄的图片;
对所述图片中的盲道进行检测和定位,得到视觉检测结果,所述视觉检测结果包括盲道的相对位置;
将所述视觉检测结果通过所述语音输出模块进行播报,以提示使用者盲道的相对位置。
4.根据权利要求3所述的一种具有盲道检测定位功能的导盲方法,其特征在于,所述方法之前包括:
进行初始化操作;
若接收到功能按键发来的指令,则获取所述陀螺仪的角度检测数据;
根据所述角度检测数据判断所述杖体与地面垂直线间夹角是否小于等于预设角度,若是,则触发所述摄像头进行图片拍摄。
5.根据权利要求4所述的一种具有盲道检测定位功能的导盲方法,其特征在于,所述方法还包括:
否则,发送控制数据至所述语音输出模块,触发所述语音输出模块发出语音提示,要求所述使用者调整所述杖体角度。
6.根据权利要求3所述的一种具有盲道检测定位功能的导盲方法,其特征在于,对所述图片中的盲道进行检测和定位,得到视觉检测结果,所述视觉检测结果包括盲道的相对位置,具体包括:
将所述图片进行颜色阈值分割,得到所述图片的二值化图像结果;
对所述二值化图像结果计算最大连通区域的面积,若所述面积大于预设阈值,则认为所述面积为所述盲道区域;
对所述盲道区域进行轮廓提取,获取盲道区域轮廓;
在所述盲道区域轮廓中进行盲道中轴线的提取;
计算所述使用者到所述盲道中轴线的垂线段的距离,以及所述使用者前进方向与所述垂线段的夹角,得到所述视觉检测结果。
7.根据权利要求6所述的一种具有盲道检测定位功能的导盲方法,其特征在于,所述对所述盲道区域进行轮廓提取,获取盲道区域轮廓,具体包括:
若所述盲道区域中的任一像素点周围8个像素点既存在前景像素点,又存在背景像素点,则判断该像素点为轮廓像素点。
8.根据权利要求6所述的一种具有盲道检测定位功能的导盲方法,其特征在于,所述在所述盲道区域轮廓中进行盲道中轴线的提取,具体包括:
对所述盲道区域轮廓进行轮廓近似计算,得到四边形轮廓区域;
提取所述四边形轮廓区域的四个顶点;
分别计算所述四个顶点中任意两个顶点的欧氏距离,取其中所述欧氏距离最短的两个顶点连线,记为第一距离,其次距离最短的两个顶点连线记为第二距离;
在所述第一距离和所述第二距离上取中点,记为第一中点和第二中点;
将所述第一中点和所述第二中点进行连接,得到所述盲道中轴线。
9.根据权利要求8所述的一种具有盲道检测定位功能的导盲方法,其特征在于,所述计算所述使用者到所述盲道中轴线的垂线段的距离,以及所述使用者前进方向与所述垂线段的夹角,得到所述视觉检测结果,具体包括:
定义所述图片左上角为图像坐标系坐标原点,所述杖体所在位置为地面坐标系坐标原点;
获取所述第一中点和所述第二中点对应的图像坐标点,通过仿射变换,分别得到所述第一中点和所述第二中点对应的地面坐标点;
由所述第一中点和所述第二中点对应的地面坐标点得到地面坐标系中的所述盲道中轴线对应的直线方程;
通过点到直线的距离公式,得到所述使用者到所述盲道中轴线的垂直距离;
获取所述垂直距离对应垂线段与所述盲道中轴线的垂足,并获取所述垂足地面坐标点;
由所述垂足地面坐标点计算所述使用者与所述垂足位置的夹角。
10.根据权利要求3所述的一种具有盲道检测定位功能的导盲方法,其特征在于,还包括:
若未检测到盲道,则触发所述语音输出模块提示所述使用者未检测到盲道。
CN201910688266.2A 2019-07-29 2019-07-29 一种具有盲道检测定位功能的智能导盲杖及导盲方法 Pending CN110448436A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910688266.2A CN110448436A (zh) 2019-07-29 2019-07-29 一种具有盲道检测定位功能的智能导盲杖及导盲方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910688266.2A CN110448436A (zh) 2019-07-29 2019-07-29 一种具有盲道检测定位功能的智能导盲杖及导盲方法

Publications (1)

Publication Number Publication Date
CN110448436A true CN110448436A (zh) 2019-11-15

Family

ID=68483761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910688266.2A Pending CN110448436A (zh) 2019-07-29 2019-07-29 一种具有盲道检测定位功能的智能导盲杖及导盲方法

Country Status (1)

Country Link
CN (1) CN110448436A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113908023A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种导盲车和人车协同的导盲车控制方法
CN115993829A (zh) * 2023-03-21 2023-04-21 安徽大学 一种基于盲道识别的机器狗导盲运动控制方法
CN116392369A (zh) * 2023-06-08 2023-07-07 中国电建集团昆明勘测设计研究院有限公司 一种基于盲道的识别感应方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201676137U (zh) * 2009-12-24 2010-12-22 黄萧槐 一种导盲拐杖
CN104573655A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于视频的盲道方向检测方法
CN204814723U (zh) * 2015-07-16 2015-12-02 深圳前海达闼科技有限公司 一种导盲系统
CN106038182A (zh) * 2016-06-13 2016-10-26 金英子 一种导航系统
CN106074096A (zh) * 2016-05-27 2016-11-09 苏州铭冠软件科技有限公司 一种基于计算机视觉的盲人便携导航仪
CN106074099A (zh) * 2016-06-13 2016-11-09 李彤轩 盲人专用智能引导系统
CN106821694A (zh) * 2017-01-18 2017-06-13 西南大学 一种基于智能手机的移动导盲系统
CN108524209A (zh) * 2018-03-30 2018-09-14 江西科技师范大学 导盲方法、系统、可读存储介质及移动终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201676137U (zh) * 2009-12-24 2010-12-22 黄萧槐 一种导盲拐杖
CN104573655A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于视频的盲道方向检测方法
CN204814723U (zh) * 2015-07-16 2015-12-02 深圳前海达闼科技有限公司 一种导盲系统
CN106074096A (zh) * 2016-05-27 2016-11-09 苏州铭冠软件科技有限公司 一种基于计算机视觉的盲人便携导航仪
CN106038182A (zh) * 2016-06-13 2016-10-26 金英子 一种导航系统
CN106074099A (zh) * 2016-06-13 2016-11-09 李彤轩 盲人专用智能引导系统
CN106821694A (zh) * 2017-01-18 2017-06-13 西南大学 一种基于智能手机的移动导盲系统
CN108524209A (zh) * 2018-03-30 2018-09-14 江西科技师范大学 导盲方法、系统、可读存储介质及移动终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113908023A (zh) * 2021-09-30 2022-01-11 北京理工大学 一种导盲车和人车协同的导盲车控制方法
CN113908023B (zh) * 2021-09-30 2022-07-08 北京理工大学 一种导盲车和人车协同的导盲车控制方法
CN115993829A (zh) * 2023-03-21 2023-04-21 安徽大学 一种基于盲道识别的机器狗导盲运动控制方法
CN116392369A (zh) * 2023-06-08 2023-07-07 中国电建集团昆明勘测设计研究院有限公司 一种基于盲道的识别感应方法、装置、设备及存储介质
CN116392369B (zh) * 2023-06-08 2023-09-08 中国电建集团昆明勘测设计研究院有限公司 一种基于盲道的识别感应方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US9245171B2 (en) Gaze point detection device and gaze point detection method
Zhou et al. LIDAR and vision-based real-time traffic sign detection and recognition algorithm for intelligent vehicle
CN110448436A (zh) 一种具有盲道检测定位功能的智能导盲杖及导盲方法
CN106291278B (zh) 一种基于多视觉系统的开关柜局部放电自动检测方法
US9898651B2 (en) Upper-body skeleton extraction from depth maps
CN101847206B (zh) 基于交通监控设施的行人流量统计方法与系统
CN105260705B (zh) 一种适用于多姿态下的驾驶人员接打电话行为检测方法
KR101830249B1 (ko) 이동체의 위치 인식 장치 및 방법
US20150204687A1 (en) Apparatus and method of guiding lane change based on augmented reality
CN107580199A (zh) 重叠视域多摄像机协同的目标定位与跟踪系统
CN111079589B (zh) 基于深度摄像和身高阈值像素标定的自动身高检测方法
CN102435174A (zh) 基于混合式双目视觉的障碍物检测方法及装置
US20140064602A1 (en) Method and apparatus for object positioning by using depth images
CN103971087B (zh) 一种实时搜索及识别交通标志的方法及装置
EP2629241A1 (en) Control of a wearable device
CN103810491A (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN113450597B (zh) 基于深度学习的船舶辅助航行方法及系统
CN106295583A (zh) 一种提醒用户驾驶方式的方法及装置
CN106599873A (zh) 基于三维姿态信息的人物身份识别方法
CN101539989A (zh) 基于人脸检测的错误阅读姿势检测方法
CN104504675A (zh) 一种主动视觉定位方法
CN101178769A (zh) 健康保护装置及其实现方法
CN110674698B (zh) 一种密集子区域切割的遥感图像旋转舰船目标检测方法
CN105447431B (zh) 一种基于机器视觉的入坞飞机跟踪定位方法及系统
Anezaki et al. Development of a human-tracking robot using qr code recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191115