CN102389361A - 一种基于计算机视觉的盲人户外支援系统 - Google Patents

一种基于计算机视觉的盲人户外支援系统 Download PDF

Info

Publication number
CN102389361A
CN102389361A CN2011102005970A CN201110200597A CN102389361A CN 102389361 A CN102389361 A CN 102389361A CN 2011102005970 A CN2011102005970 A CN 2011102005970A CN 201110200597 A CN201110200597 A CN 201110200597A CN 102389361 A CN102389361 A CN 102389361A
Authority
CN
China
Prior art keywords
image
software
blind person
speech conversion
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102005970A
Other languages
English (en)
Other versions
CN102389361B (zh
Inventor
尚文勤
姜伟
褚健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201110200597.0A priority Critical patent/CN102389361B/zh
Publication of CN102389361A publication Critical patent/CN102389361A/zh
Application granted granted Critical
Publication of CN102389361B publication Critical patent/CN102389361B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于计算机视觉的盲人户外支援系统,包括:图像采集单元、语音输出单元、与图像采集单元和语音输出单元分别相连的图像-语音转换单元;图像-语音转换单元包括图像-语音转换硬件单元和图像-语音转换软件单元;图像-语音转换软件单元包括相机参数计算软件、平面检测软件、障碍物检测分析软件和图像信息-语音转换软件。本发明利用双目相机采集图像,借助嵌入式图像处理器中的软件算法,提取图像中对应于物理空间的可行走区域和障碍物及其属性,通过语音接口将信息反馈给盲人,可辅助盲人对路面场景进行更好的理解,做出更全面的判断,扩大了盲人的感知范围,避免危险,设备体积小,成本低廉,携带方便,便于盲人的户外活动。

Description

一种基于计算机视觉的盲人户外支援系统
技术领域
本发明属于导盲技术领域,具体涉及一种基于计算机视觉的盲人户外支援系统。
背景技术
随着社会的发展,人们越来越关注社会中特殊人群,盲人、聋哑人、残疾人等等。希望借助最新技术来为他们的生活添加一份便利,因此导盲系统一直是社会关注的热点。根据中国残疾人联合会的统计,中国有近900万盲人,约占世界的五分之一,开发视觉障碍者户外行走支援系统,帮助他们更舒适,便捷的独立行走是我国《残疾人事业发展十一五规划纲要》的一项重要内容。
手杖是最原始、最简单的盲人户外支援设备,但是手杖无法对周围的环境做出较全面的探测,对于两米以外的地面区域,悬空物等更无能为力;而基于电子设备的辅助导盲设备在过去也有了一定的发展,出现了很多融合了雷达、声纳、超声等多传感器的智能化导盲支援系统。
现有的智能导盲设备主要分为以下三类:
(1)引导式手杖,其为带有传感器的小型电子设备,将传感器的侦测结果以盲人可以接受的方式传递给盲人,帮助盲人在环境中具有比较安全快速的行动能力;如带有超声波或红外传感器并通过手柄振动传递信息的导盲手杖,但是这类产品只注重局部的躲避障碍物而未考虑全面导航。
(2)移动式机器人,其具备多种传感器,配备控制计算机,结合智能算法,可在比较复杂的环境中进行自主导航,计算机借助人机接口与盲人交互获取周围环境信息。但移动机器人技术本身还在研究中,该类系统还需要一定的技术积累和完善,可靠性不高。
(3)导盲器,申请号为200510110741.6的中国专利公开了一种计算机控制的导盲器,其借助超声波、摄像头、角度传感器等外围设备获取周围的信息,借助计算机软件来对周围的环境描述,完善“域”和“物件”数据库。该导盲器主要体现在于“物件”特征的识别,而在当前的研究中,机器学习软件还远远不能达到可用的阶段,无法提供准确实时的物体识别结果,同时也不能满足导盲器的基本作用,寻找安全的行走区域,其软件的学习算法限定了盲人只能在熟悉的环境中行动,限制了盲人的活动范围,无法满足盲人的户外活动。
以上三类现有的盲人户外支援系统仍然存在一些问题:(1)对于悬空障碍物无法提前警示,致使盲人受伤;(2)缺乏对于路面场景的理解,对于可行走区域,障碍物的方位和类型,静止与移动属性均无法做出全面的判断;(3)无法协助盲人理解周围环境,如帮助盲人定位,获取十字路口信息,判断当前是否可通过;(4)无法识别自己周围的人,可靠性低,户外使用具有局限性。
发明内容
针对现有技术所存在的上述技术缺陷,本发明提供了一种基于计算机视觉的盲人户外支援系统,使得盲人在户外行走时能够更好的理解自己所处的环境,对可行走区域和障碍物(尤其是悬空障碍物)作出识别和规避,为他们独立行走提供帮助。
一种基于计算机视觉的盲人户外支援系统,包括:用于采集图像的图像采集单元、用于对图像进行处理分析并输出关于引导警示的音频信息的图像-语音转换单元、用于将音频信息转换为语音的语音输出单元。
所述的图像-语音转换单元包括图像-语音转换硬件单元和与之相连的图像-语音转换软件单元;所述的图像-语音转换软件单元包括:
相机参数计算软件,用于通过图像-语音转换硬件单元接收图像采集单元采集的图像,并从图像中提取计算出图像采集单元的内参数和外参数;
平面检测软件,用于通过图像-语音转换硬件单元接收图像采集单元采集的图像,并根据所述的内参数和外参数,提取图像中对应于物理空间的可行走区域;
障碍物检测分析软件,用于通过图像-语音转换硬件单元接收图像采集单元采集的图像,并根据所述的内参数和外参数,提取图像中对应于物理空间的障碍物及其属性;
图像信息-语音转换软件,用于根据所述的内参数和外参数对图像中对应于物理空间的可行走区域和障碍物及其属性进行处理、分析、判断,并通过图像-语音转换硬件单元输出关于引导警示的音频信息。
所述的障碍物的属性包括障碍物的动静态、距离、速度、方向的属性。
优选的技术方案中,所述的图像采集单元通过USB数据传输线与所述的图像-语音转换单元相连;图像信息传输速率快,插接方便。
优选的技术方案中,所述的图像采集单元为双目相机,所述的双目相机通过支架固定在盲人肩膀上;设备体积小,成本低廉,携带方便,便于盲人的户外活动。
优选的技术方案中,所述的图像-语音转换单元为嵌入式图像处理器,所述的嵌入式图像处理器存放于盲人背包中;设备体积小,成本低廉,携带方便,便于盲人的户外活动。
优选的技术方案中,所述的语音输出单元为耳机;设备体积小,成本低廉,携带方便,便于盲人的户外活动。
本发明的有益技术效果:
(1)本发明利用双目相机采集图像,借助嵌入式图像处理器中的软件算法,提取图像中对应于物理空间的可行走区域和障碍物及其属性,通过语音接口将信息反馈给盲人,可辅助盲人对路面场景进行更好的理解,做出更全面的判断,扩大了盲人的感知范围,避免危险。
(2)本发明中的双目相机通过支架固定在盲人肩膀上,图像处理器存放于盲人背包里,利用耳机实时播报当前路面场景的信息,设备体积小,成本低廉,携带方便,便于盲人的户外活动。
(3)本发明通过分辨道路中可安全行走的区域,区分前进道路中动静态障碍物,并预警障碍物的方位,移动的速度和方向,提示盲人及时规避,适应用于各种路面场景,对各种障碍物都能作出提前警示,配合手杖一起使用,可扩展盲人的活动范围,可靠性高。
附图说明
图1为本发明的结构示意图。
图2为本发明中平面检测软件的软件操作流程图。
图3为本发明中障碍物检测分析软件的软件操作流程图。
图4为本发明中图像信息-语音转换软件的软件操作流程图。
具体实施方式
为了更为具体地描述本发明,下面结合附图及具体实施方式对本发明的技术方案及其相关原理进行详细说明。
如图1所示,一种基于计算机视觉的盲人户外支援系统,包括:
双目相机,由左相机和右相机构成,通过支架固定在盲人的肩膀上,单位时间段内左右相机同步摄取若干帧图像,并通过USB数据传输线将图像传送给嵌入式图像处理器;
耳机,将音频信息转换为语音传递给盲人的听觉器官。
嵌入式图像处理器,由图像-语音转换硬件单元和图像-语音转换软件单元组成,存放于盲人背包中;图像-语音转换软件单元包括相机参数计算软件、平面检测软件、障碍物检测分析软件和图像信息-语音转换软件,其中:
相机参数计算软件,通过图像-语音转换硬件单元接收双目相机采集的图像,并从图像中提取计算出双目相机的内参数和外参数;
相机标定的意义在于它是相机测量和真实的物理世界的联系的桥梁。通过相机标定,可以将相机的自然单位-像素和物理世界的单位-米之间的关系用于三维场景的重建。在准备相机标定工作之前,需要建立一个模型,将世界坐标系中的三位空间点投影到二维图像中,这个模型包括相机、镜头和图像采集卡。如果镜头采用的是普通镜头,世界坐标系到图像坐标系的投影就是透视投影,这种相机和普通镜头组合的模式称为针孔成像模型。
世界坐标系中的一个点Pw投影到二维成像平面上的点p过程如下:
首先,需要将点从世界坐标系(WCS)转化到相机坐标系(CCS),这种变换属于刚性变换,也就是旋转和平移变换。假设相机坐标系的轴和轴分别平行于图像的轴和轴,轴垂直于成像平面并且轴的方向确保相机前面的所有点的坐标都是正值。世界坐标系中的Pw=(xw,yw,zw)T在相机坐标系为Pc=(xc,yc,zc)T,它们直接满足如下关系:Pc=RPw+T
其中:T=(tx,ty,tz)是一个平移向量,而R=(α,β,γ)是一个旋转矩阵,该矩阵由三个旋转角度决定,指世界坐标系绕相机坐标系x轴旋转α角度,绕相机坐标系y轴旋转β角度,绕相机坐标系z轴旋转γ角度。旋转矩阵R和平移矩阵T中的六个参数(tx,ty,tz,α,β,γ)就是相机的外参数。
投影的下一步就是将三维空间点从相机坐标系统转化为相机成像平面坐标系统。透视投影变换可以表示为:
u v = f z c x c y c
其中:f是相机的焦距,u,v分别为成像平面的坐标。在投影到成像平面的时候,镜头的畸变导致坐标发生变化,这种畸变(一般可近似为径向畸变)可以利用特征的模型较准确的祛除镜头畸变。
投影的最后一步是将点(u,v)T从成像平面坐标系转化为图像坐标系:
r c = u s y + c y v s x + c x
其中:Sx,Sy是缩放比例因子,点(cx,cy)T是图像的主点,在针孔成像模型中,该点是投影中心在成像平面上的垂直投影,而(f,sx,sy,cx,cy)组成相机的内参数。
平面检测软件,通过图像-语音转换硬件单元接收图像采集单元采集的图像,并根据内参数和外参数,提取图像中对应于物理空间的可行走区域。
如图2所示,平面检测软件接收到硬件单元传递进来的图像后,借助相机参数计算软件提取得到的双目相机的内参和外参对图像对做校正,祛除图像畸变;提取左右图像中的特征点,利用特征匹配算法得到左右视图中的匹配点,根据匹配点对计算出左右视图之间的单应性矩阵,按照单应性矩阵将其中一幅视图做影射变换,变换后的视图与原来相对的视图做比较,相同的区域被标记为平面区域,平面区域也就是道路区域,对于盲人来说,就是可行走区域。
自然道路的识别可以归结为从当前视野中提取出可行走区域,也就是平面抽取。平面抽取,就是从图像中分离出平面区域部分。应用在盲人户外行走支援系统时,还需要将这种平面区域信息,如平面区域形状、区域边界距离盲人现在所在位置的距离等等信息转化为盲人可以接受的信号,如语音提示、可变化的触摸板等等,反馈给盲人,以帮助其对周围的环境做出较全面的判断;平面抽取的重点工作在于准确估计单应性矩阵。
处理多幅图像的时候,在不同的视角观察下,相同的物体会略有不同。因此,不同视角下的实际变换会与该视角有一定的关系,而通常情况下,仿射变换通常用单应性来建模。在计算机视觉中,平面的单应性就是从一个平面到另外一个平面的投影关系。其中二维平面上的点集到摄像机成像仪上的映射就是简单的单应性变换的例子。如果世界坐标系的中的点Q到成像仪上的点q的映射用齐次坐标表示,可以将单应性矩阵H表示为:q=sHQ其中:Q=[X,Y,Z,1]T,q=[x,y,1]T。这种映射关系既表征了物体平面和图像平面的相对位置物理变换,也包含摄像机的投影矩阵。物理变换部分包括物体平面和图像平面之间的旋转矩阵R和平移矩阵T。
综合之后,将摄像的内参数和外参数综合在一起,得出:q=sKHQ
其中: K = f x 0 c x 0 f y c y 0 0 1 为摄像机的内参数,W=[R,t]为摄像机外参数集合。由于关注的不是空间中的所有点,而只是需要寻找的平面的坐标Q,那么Z=0,旋转向量的最后一项就不需要了,单应性矩阵转化为3×3的矩阵。
单应性矩阵既可以表征物理平面到图像平面之间的映射关系,同时也可以表征相同的物理平面的不同视角的图像平面的映射关系。在计算机视觉中,单应性通常指在两幅图上点之间的映射,这些点与现实世界的平面物体的位置是相对的,由上面的讨论,这样的映射可以用一个3×3的正交阵表示。
在立体视觉中,物理平面中的点M分别成像左右视图平面中,对应点依次为ml,mr。ml和mr之间满足单应性映射关系:mr=Hml
其中:如ml,mr用齐次坐标表示ml=(xl,yl,1),mr=(xr,yr,1)。单应性矩阵H是一个3×3的矩阵, H = h 1 h 2 h 3 h 4 h 5 h 6 h 7 h 8 1 , 将H归一化,使得H33=1,单应性矩阵只有8个独立参数。每一组对应点ml,mr可以贡献两个齐次方程,因此至少需要四组对应点便可以得到两个视图之间的单应性变换阵。得到左右视图之间的单应性阵后,如果将左视图变换到右视图的视角,物理平面所对应的两个视图平面便完全重合,变换后的左视图和原来的右视图的相同区域就是物理平面。
单应性阵表征的是源图像特征点与目标图像特征点之间的映射关系,因此,平面抽取的首要任务是确定选取何种图像特征之间的对应,且这种特征信息不会因为视角的变换而消失。
图像的局部特征信息主要有点,线,轮廓。线是最基本的一维特征,如物体的边缘,由物体的边缘扩展出来的轮廓信息也是很好的局部特征。点是一种典型的二维特征信息。在计算机视觉,理想选择的特征应该是独一无二的,或者说接近于独一无二,并且可以与另一张图像的其他特征信息进行参数化的比较。如果一个点在两个正交方向上都有明显的导数,该点更倾向于独一无二,这种比较常用的特征信息是角点。角点的定义最初由Harris给出,基于图像灰度强度的二阶导数
Figure BDA0000076426960000071
矩阵。首先利用Sobel算子得到图像的二阶导数图像后,定义每一点周围小窗口的二阶导数图像的自相关矩阵。Harris定义的角点对应于图像二阶导数的自相关矩阵的连个最大特征值的地方,也就是说若以该点为中心,周围存在至少两个不同方向的纹理(边缘),实际的角点是由至少两个边缘相交产生的。局部特征角点在移动过程中,对旋转和平移都会保持不变。
单应性矩阵所表征的是两个对应的特征信息之间的映射,在得到局部特征信息后,接下来的主要工作是完成局部特征信息之间的匹配,找到左右两个视图中对应点集合。
较常用的相似度量方法是计算模板与图像之间差值的绝对值的和或者所有差值的平方和,分别称为SAD和SSD。如果模板和图像一样的话,得到的相似度量近似为0,若不同,相似度量将远远大于0。在光照情况保持不变的情况下,SAD和SSD匹配算法相似度量的结果非常好;但是如果光照发生变化,往往会得到非常多错误的位置;而本实施方式使用的是另外一种相似度量方法:归一化互相关系数(NCC,Normalized Cross-Correlation)不会随着光照变化而变化,NCC定义如下:
NCC ( r , c ) = 1 n Σ ( u , v ) ∈ T ( t ( u , v ) - m t s t 2 · f ( r + u , c + v ) - m f ( r , c ) s f 2 ( r , c ) )
其中:mt是模板的平均灰度值,st 2是模板的所有灰度值的方差,而mf(r,c),sf 2(r,c)是平移到图像当前位置的模板ROI区域中所有点的平均灰度值和方差。
NCC算法通过直接减去灰度平均值来消减加法对于图像的影响,通过灰度值的标准方差来消除乘法对于图像的影响,使得线性光照变化不会影响它的结果。NCC(r,c)=±1时,模板和图像完全匹配,实际情况中,使用阈值来找到模板在另一幅图中的实例。
得到匹配角点集后,只要从中选取4组对应点,便可以计算单应性阵。然而,现实情况中,不能保证匹配角点集是完全准确的,因此需要对从匹配点集找出精准匹配点集合。本实施方式采用RANSAC算法,RANSAC算法的基本原理是使用点的随机子集来多次的求解问题,然后选出最接近的平均或者中间的结果;基于正确解集,构造齐次方程组可解得单应性阵。
借助得到的单应阵对左视图做密集透视变换,理论上讲,变换后的左视图与原右视图在平面区域完全重合,只要将两幅视图相“减”就可以得到平面区域。实际中,由于光照等外围环境的影响,两视图相对应位置上的灰度值相减,平面区域的灰度值不可能变为零。本实施例中,采用绝对累计误差(SAD,sumof absolute)的小窗口来查找两幅图像中的相同区域,也就是强匹配点。在灰度图像中,灰度为零的点显示为黑色。因此差值图像中的黑色区域就是所要寻找的平面区域-道路(即可行走区域)。
障碍物检测分析软件,通过图像-语音转换硬件单元接收图像采集单元采集的图像,并根据内参数和外参数,提取图像中对应于物理空间的障碍物及其属性;
如图3所示,障碍物检测分析软件接收双目相机的图像,估计平面的参数信息,计算出图像中平面区域之外的物体,如栏杆、行人、自行车、固定物体等三维坐标位置,基于物体的三维坐标来定位障碍物的位置,连续采集图像信息,计算出动态障碍物移动的方向和速度。如果盲人靠近静态障碍物,如三米以内,语音提示盲人“前方有障碍物,慢行,可以稍向左转”,如果是动态障碍物,且向盲人方向前进,速度较快,语音提示盲人“有移动的障碍物,请向左移动”,左右移动方向依照平面检测结果给出。
平面的参数信息是指平面在空间中的位置,关键的指标是平面的法向量和实际平面到左相机(或者右相机)的距离。当从计算机标定中获得了左右相机的内参数和外参数,从平面检测中估计出当前的图像对之间的单应性矩阵,可以通过下面的公式估计出当前平面的法向量n和距离d。
H = k A l [ R + ( tn t / d ] A r - 1
其中:H是左右相机视图之间的单应性矩阵,Al,Ar分别是左右相机的内部参数,R,t分别是左右相机的旋转矩阵和平移矩阵,k是尺度系数。
通常来讲,障碍物总是不在平面区域内。首先需要计算非平面区域的点的空间坐标。通过立体视觉,匹配左右视图中的特征点,对于纹理特征较弱的区域,提取区域的边缘,匹配边缘的特征点对。基于平面单应阵和平面检测结果得到的平面参数信息,去除掉平面区域信息,得到障碍物所在区域。
通过双目相机的立体视觉,可以得到图像中的点在相机坐标系中的位置,在实际处理中,路面上的纹理信息和悬空物给障碍物分离造成一定的困难,需要把点集的坐标从相机坐标系转化到道路坐标系。
障碍物,特别是道路两侧,汽车,行人,路标等都是垂直于路平面的,并且在水平方向上都有一定的高度。把所有的非平面区域的点都投影到垂直于平面的方向上,通过投票网格技术,图像分割算法检测障碍物,计算出障碍物的当前位置。
对于动态的障碍物,需要计算动态障碍物的移动属性,即他们的移动方向和移动速度。物体跟踪算法可以找到物体的某些属性在连续图像序列中的位置,将相同物体在不同视图中的位置转化到同一的参考坐标系,得到物体的位置差。
定位了障碍物的所属区域和位置,以及位置的变换量,计算出障碍物的移动矢量,将移动矢量关系转化到世界坐标系,得到障碍物的实际移动方向和移动速度。
图像信息-语音转换软件,根据内参数和外参数对图像中对应于物理空间的可行走区域和障碍物及其属性以及进行处理、分析、判断,并通过图像-语音转换硬件单元输出关于引导警示的音频信息;图像信息-语音转换部分在平面检测和障碍物检测之后执行,需要提取出扼要的环境信息,以便下一步的危险评估。环境信息包括安全的可行走区域范围,前方的行人,车辆等障碍物的信息。
如图4所示,平面检测软件已经将图像中的安全行走区域提取了出来,将不规则的平面区域转化为较规则的平面图形。为了反映道路区域的实际信息,需要把平面区域从图像平面坐标系中转化到世界坐标系中,也就是相机标定的逆过程,将像素坐标转化为物理空间的位置坐标,估计平面在实际环境中的范围,计算出可行走区域的两个信息:距离盲人当前位置的最远距离、道路的宽度。
障碍物检测软件已经将非平面区域的重要障碍物信息区分出来,需要把障碍物在图像平面的位置坐标转化为物理空间的世界坐标,图像平面和世界坐标系空间之间涉及到相机的内外参数,内参包括x,y方向的焦距和像素的大小;外参主要是旋转矩阵和平移矩阵。障碍物信息转化到世界坐标系后,提取出距离盲人一定距离范围(五米)里的障碍物的属性:障碍物与盲人的距离,动态障碍物的移动速度的方向。
提取出周围环境的关键信息后,有一个预警判断环节,判断的参数有:平面区域距离盲人当前位置的最远距离、道路的宽度、障碍物距离盲人的距离、动态障碍物的移动速度和移动方向。
满足下面条件的需要预警盲人危险信息:
(1)安全行走区域的最远距离小于两米时;
(2)道路的宽度小于一米时;
(3)障碍物距离盲人的距离小于两米时;
(4)动态障碍物的移动方向在一定范围内,以盲人为观测中心,在一定角度内。
语音预警时分两步:
(1)预警铃声
当满足预警条件是,首先发出预警信息,采用滴-滴-滴-提示声,并预警盲人“请放缓脚步慢行”。
(2)播报危险状态
当盲人放慢脚步或者停止前进时,按照不同的危险情况报告危险状态并提示可能的行走策略:
如果安全行走区域的最远距离小于两米时,提示盲人:“前方道路快到头,请注意哦。”
如果道路的宽度小于一米时,提示盲人:“道路较窄,注意慢行。”
如果障碍物距离盲人的小于两米时,提示盲人:“前方被挡,慢行。”
如果动态障碍物朝盲人运动,提示盲人:“物体逼近,慢行,左避让。”

Claims (6)

1.一种基于计算机视觉的盲人户外支援系统,包括:用于采集图像的图像采集单元、用于对图像进行处理分析并输出关于引导警示的音频信息的图像-语音转换单元、用于将音频信息转换为语音的语音输出单元;其特征在于:
所述的图像-语音转换单元包括图像-语音转换硬件单元和与之相连的图像-语音转换软件单元;所述的图像-语音转换软件单元包括:
相机参数计算软件,用于通过图像-语音转换硬件单元接收图像采集单元采集的图像,并从图像中提取计算出图像采集单元的内参数和外参数;
平面检测软件,用于通过图像-语音转换硬件单元接收图像采集单元采集的图像,并根据所述的内参数和外参数,提取图像中对应于物理空间的可行走区域;
障碍物检测分析软件,用于通过图像-语音转换硬件单元接收图像采集单元采集的图像,并根据所述的内参数和外参数,提取图像中对应于物理空间的障碍物及其属性;
图像信息-语音转换软件,用于根据所述的内参数和外参数对图像中对应于物理空间的可行走区域和障碍物及其属性进行处理、分析、判断,并通过图像-语音转换硬件单元输出关于引导警示的音频信息。
2.根据权利要求1所述的基于计算机视觉的盲人户外支援系统,其特征在于:所述的障碍物的属性包括障碍物的动静态、距离、速度、方向的属性。
3.根据权利要求1所述的基于计算机视觉的盲人户外支援系统,其特征在于:所述的图像采集单元通过USB数据传输线与所述的图像-语音转换单元相连。
4.根据权利要求1所述的基于计算机视觉的盲人户外支援系统,其特征在于:所述的图像采集单元为双目相机,所述的双目相机通过支架固定在盲人肩膀上。
5.根据权利要求1所述的基于计算机视觉的盲人户外支援系统,其特征在于:所述的图像-语音转换单元为嵌入式图像处理器,所述的嵌入式图像处理器存放于盲人背包中。
6.根据权利要求1所述的基于计算机视觉的盲人户外支援系统,其特征在于:所述的语音输出单元为耳机。
CN201110200597.0A 2011-07-18 2011-07-18 一种基于计算机视觉的盲人户外支援系统 Expired - Fee Related CN102389361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110200597.0A CN102389361B (zh) 2011-07-18 2011-07-18 一种基于计算机视觉的盲人户外支援系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110200597.0A CN102389361B (zh) 2011-07-18 2011-07-18 一种基于计算机视觉的盲人户外支援系统

Publications (2)

Publication Number Publication Date
CN102389361A true CN102389361A (zh) 2012-03-28
CN102389361B CN102389361B (zh) 2014-06-25

Family

ID=45856831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110200597.0A Expired - Fee Related CN102389361B (zh) 2011-07-18 2011-07-18 一种基于计算机视觉的盲人户外支援系统

Country Status (1)

Country Link
CN (1) CN102389361B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102973395A (zh) * 2012-11-30 2013-03-20 中国舰船研究设计中心 一种多功能智能导盲方法、处理器及其装置
CN103584980A (zh) * 2013-07-12 2014-02-19 宁波大红鹰学院 一种导盲棒
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105096327A (zh) * 2015-08-12 2015-11-25 北京航空航天大学 一种基于计算机双目视觉及单应性矩阵的盲道定位方法
CN105105992A (zh) * 2015-09-11 2015-12-02 广州杰赛科技股份有限公司 一种障碍物检测方法、装置及智能手表
CN105167967A (zh) * 2015-09-14 2015-12-23 深圳市冠旭电子有限公司 一种导盲方法及系统
CN105362048A (zh) * 2015-10-15 2016-03-02 广东欧珀移动通信有限公司 基于移动设备的障碍物信息提示方法、装置及移动设备
CN105407288A (zh) * 2015-12-07 2016-03-16 哈尔滨工业大学深圳研究生院 一种适用于导盲杖系统的图像采集方法
CN105761235A (zh) * 2014-12-19 2016-07-13 天津市巨海机电设备安装有限公司 一种将视觉信息转换成听觉信息的视觉辅助方法
CN106156751A (zh) * 2016-07-25 2016-11-23 上海肇观电子科技有限公司 一种向目标对象播放音频信息的方法及装置
CN106203419A (zh) * 2016-07-25 2016-12-07 上海肇观电子科技有限公司 一种确定包络面的方法和装置
CN106859929A (zh) * 2017-01-25 2017-06-20 上海集成电路研发中心有限公司 一种基于双目视觉的多功能导盲仪
CN107049717A (zh) * 2016-11-23 2017-08-18 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士斑马线检测系统及方法
CN107066784A (zh) * 2016-11-17 2017-08-18 乐视控股(北京)有限公司 户外活动管理方法、户外活动管理装置和户外活动管理系统
CN107334609A (zh) * 2016-07-25 2017-11-10 上海肇观电子科技有限公司 一种向目标对象播放音频信息的系统和方法
CN107402018A (zh) * 2017-09-21 2017-11-28 北京航空航天大学 一种基于连续帧的导盲仪组合路径规划方法
CN107590444A (zh) * 2017-08-23 2018-01-16 深圳市易成自动驾驶技术有限公司 静态障碍物的检测方法、装置及存储介质
CN107807632A (zh) * 2016-09-08 2018-03-16 福特全球技术公司 从融合的传感器数据感知道路状况
CN109431685A (zh) * 2018-09-17 2019-03-08 薛世清 一种导盲可视眼镜
CN111060074A (zh) * 2019-12-25 2020-04-24 深圳壹账通智能科技有限公司 基于计算机视觉的导航方法、装置、计算机设备及介质
CN111247523A (zh) * 2017-09-21 2020-06-05 亚马逊科技公司 用于航空载具的物体检测和躲避
CN111449841A (zh) * 2020-04-02 2020-07-28 上海海洋大学 一种假体视觉下障碍物语音提示仿真装置
CN112344855A (zh) * 2020-10-27 2021-02-09 北京百度网讯科技有限公司 障碍物的检测方法、装置、存储介质和路测设备
CN112731688A (zh) * 2020-12-31 2021-04-30 星微科技(天津)有限公司 一种适用于视觉障碍人士的智能眼镜系统
CN113687810A (zh) * 2021-05-25 2021-11-23 青岛海尔科技有限公司 语音导航方法和装置、存储介质及电子设备
CN113899382A (zh) * 2021-09-30 2022-01-07 紫清智行科技(北京)有限公司 一种基于导航系统的导盲车辆路径生成方法和装置
CN114404239A (zh) * 2022-01-21 2022-04-29 池浩 助盲器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040145496A1 (en) * 1996-09-25 2004-07-29 Ellis Christ G. Intelligent vehicle apparatus and method for using the apparatus
CN1754526A (zh) * 2004-09-29 2006-04-05 浙江工业大学 视觉障碍者行走支援装置
CN101853399A (zh) * 2010-05-11 2010-10-06 北京航空航天大学 利用计算机视觉技术进行盲道和人行横道实时检测的方法
KR20110004064A (ko) * 2009-07-07 2011-01-13 숭실대학교산학협력단 시각장애인 보행 안내 방법 및 그 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040145496A1 (en) * 1996-09-25 2004-07-29 Ellis Christ G. Intelligent vehicle apparatus and method for using the apparatus
CN1754526A (zh) * 2004-09-29 2006-04-05 浙江工业大学 视觉障碍者行走支援装置
KR20110004064A (ko) * 2009-07-07 2011-01-13 숭실대학교산학협력단 시각장애인 보행 안내 방법 및 그 시스템
CN101853399A (zh) * 2010-05-11 2010-10-06 北京航空航天大学 利用计算机视觉技术进行盲道和人行横道实时检测的方法

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102973395B (zh) * 2012-11-30 2015-04-08 中国舰船研究设计中心 一种多功能智能导盲方法、处理器及其装置
CN102973395A (zh) * 2012-11-30 2013-03-20 中国舰船研究设计中心 一种多功能智能导盲方法、处理器及其装置
CN103584980A (zh) * 2013-07-12 2014-02-19 宁波大红鹰学院 一种导盲棒
CN105761235A (zh) * 2014-12-19 2016-07-13 天津市巨海机电设备安装有限公司 一种将视觉信息转换成听觉信息的视觉辅助方法
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105096327A (zh) * 2015-08-12 2015-11-25 北京航空航天大学 一种基于计算机双目视觉及单应性矩阵的盲道定位方法
CN105005999B (zh) * 2015-08-12 2018-08-10 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105096327B (zh) * 2015-08-12 2017-12-12 北京航空航天大学 一种基于计算机双目视觉及单应性矩阵的盲道定位方法
CN105105992A (zh) * 2015-09-11 2015-12-02 广州杰赛科技股份有限公司 一种障碍物检测方法、装置及智能手表
CN105167967A (zh) * 2015-09-14 2015-12-23 深圳市冠旭电子有限公司 一种导盲方法及系统
CN105167967B (zh) * 2015-09-14 2018-04-03 深圳市冠旭电子股份有限公司 一种导盲方法及系统
CN105362048A (zh) * 2015-10-15 2016-03-02 广东欧珀移动通信有限公司 基于移动设备的障碍物信息提示方法、装置及移动设备
CN105362048B (zh) * 2015-10-15 2018-01-19 广东欧珀移动通信有限公司 基于移动设备的障碍物信息提示方法、装置及移动设备
CN105407288A (zh) * 2015-12-07 2016-03-16 哈尔滨工业大学深圳研究生院 一种适用于导盲杖系统的图像采集方法
CN106203419A (zh) * 2016-07-25 2016-12-07 上海肇观电子科技有限公司 一种确定包络面的方法和装置
CN106156751B (zh) * 2016-07-25 2019-05-07 上海肇观电子科技有限公司 一种向目标对象播放音频信息的方法及装置
CN107334609A (zh) * 2016-07-25 2017-11-10 上海肇观电子科技有限公司 一种向目标对象播放音频信息的系统和方法
CN107334609B (zh) * 2016-07-25 2019-08-27 上海肇观电子科技有限公司 一种向目标对象播放音频信息的系统和方法
CN106156751A (zh) * 2016-07-25 2016-11-23 上海肇观电子科技有限公司 一种向目标对象播放音频信息的方法及装置
CN106203419B (zh) * 2016-07-25 2019-05-07 上海肇观电子科技有限公司 一种确定包络面的方法和装置
CN107807632B (zh) * 2016-09-08 2022-05-31 福特全球技术公司 从融合的传感器数据感知道路状况
CN107807632A (zh) * 2016-09-08 2018-03-16 福特全球技术公司 从融合的传感器数据感知道路状况
CN107066784A (zh) * 2016-11-17 2017-08-18 乐视控股(北京)有限公司 户外活动管理方法、户外活动管理装置和户外活动管理系统
CN107049717A (zh) * 2016-11-23 2017-08-18 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士斑马线检测系统及方法
CN107049717B (zh) * 2016-11-23 2019-03-01 杭州视氪科技有限公司 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法
CN106859929B (zh) * 2017-01-25 2019-11-22 上海集成电路研发中心有限公司 一种基于双目视觉的多功能导盲仪
CN106859929A (zh) * 2017-01-25 2017-06-20 上海集成电路研发中心有限公司 一种基于双目视觉的多功能导盲仪
CN107590444A (zh) * 2017-08-23 2018-01-16 深圳市易成自动驾驶技术有限公司 静态障碍物的检测方法、装置及存储介质
CN107590444B (zh) * 2017-08-23 2020-05-22 深圳市易成自动驾驶技术有限公司 静态障碍物的检测方法、装置及存储介质
US11195011B2 (en) 2017-09-21 2021-12-07 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles
CN107402018B (zh) * 2017-09-21 2019-09-17 北京航空航天大学 一种基于连续帧的导盲仪组合路径规划方法
CN111247523A (zh) * 2017-09-21 2020-06-05 亚马逊科技公司 用于航空载具的物体检测和躲避
CN107402018A (zh) * 2017-09-21 2017-11-28 北京航空航天大学 一种基于连续帧的导盲仪组合路径规划方法
CN111247523B (zh) * 2017-09-21 2022-05-10 亚马逊科技公司 用于航空载具的物体检测和躲避
CN109431685A (zh) * 2018-09-17 2019-03-08 薛世清 一种导盲可视眼镜
CN111060074A (zh) * 2019-12-25 2020-04-24 深圳壹账通智能科技有限公司 基于计算机视觉的导航方法、装置、计算机设备及介质
CN111449841A (zh) * 2020-04-02 2020-07-28 上海海洋大学 一种假体视觉下障碍物语音提示仿真装置
CN112344855A (zh) * 2020-10-27 2021-02-09 北京百度网讯科技有限公司 障碍物的检测方法、装置、存储介质和路测设备
CN112731688A (zh) * 2020-12-31 2021-04-30 星微科技(天津)有限公司 一种适用于视觉障碍人士的智能眼镜系统
CN113687810A (zh) * 2021-05-25 2021-11-23 青岛海尔科技有限公司 语音导航方法和装置、存储介质及电子设备
CN113899382A (zh) * 2021-09-30 2022-01-07 紫清智行科技(北京)有限公司 一种基于导航系统的导盲车辆路径生成方法和装置
CN113899382B (zh) * 2021-09-30 2022-05-24 紫清智行科技(北京)有限公司 一种基于导航系统的导盲车辆路径生成方法和装置
CN114404239A (zh) * 2022-01-21 2022-04-29 池浩 助盲器
CN114404239B (zh) * 2022-01-21 2023-12-15 池浩 助盲器

Also Published As

Publication number Publication date
CN102389361B (zh) 2014-06-25

Similar Documents

Publication Publication Date Title
CN102389361B (zh) 一种基于计算机视觉的盲人户外支援系统
CN101999972B (zh) 一种基于立体视觉的盲人辅助行走装置及其辅助方法
EP2769239B1 (en) Methods and systems for creating maps with radar-optical imaging fusion
CN103400392B (zh) 基于变电站巡检机器人的双目视觉导航系统及方法
CN101336856B (zh) 辅助视觉系统的信息获取与传递方法
CN104091369B (zh) 一种无人机遥感影像建筑物三维损毁检测方法
CN102467821B (zh) 基于视频图像的路面距离检测方法及装置
WO2006016663A1 (ja) 物体検出装置
WO2006016661A1 (ja) 移動体周辺監視装置
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
Abuhadrous et al. Digitizing and 3D modeling of urban environments and roads using vehicle-borne laser scanner system
CN105286871A (zh) 一种基于视频处理的人体身高测量方法
CN105989586A (zh) 一种基于语义光束平差法的slam方法
CN107397658B (zh) 一种多尺度全卷积网络及视觉导盲方法和装置
CN104287946A (zh) 盲人避障提示装置及方法
CN104021538A (zh) 物体定位方法和装置
CN101368828A (zh) 基于计算机视觉的盲人导航方法及系统
CN107430774A (zh) 行驶道路识别装置和使用其的行驶辅助系统
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
Tao et al. Automated processing of mobile mapping image sequences
CN201870808U (zh) 基于立体视觉的导盲装置
Douret et al. A multi-cameras 3d volumetric method for outdoor scenes: a road traffic monitoring application
CN116358622A (zh) 基于视觉技术的人桥互馈位移监测预警系统及方法
Skulimowski et al. Door detection in images of 3d scenes in an electronic travel aid for the blind
US20170169576A1 (en) Crowd intelligence on flow velocity measurement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140625

Termination date: 20160718