CN107049717B - 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法 - Google Patents

一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法 Download PDF

Info

Publication number
CN107049717B
CN107049717B CN201611048097.9A CN201611048097A CN107049717B CN 107049717 B CN107049717 B CN 107049717B CN 201611048097 A CN201611048097 A CN 201611048097A CN 107049717 B CN107049717 B CN 107049717B
Authority
CN
China
Prior art keywords
zebra stripes
camera
rgb
depth
visually impaired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611048097.9A
Other languages
English (en)
Other versions
CN107049717A (zh
Inventor
于红雷
杨恺伦
程瑞琦
赵向东
汪凯巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Vision Krypton Technology Co Ltd
Original Assignee
Hangzhou Vision Krypton Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Vision Krypton Technology Co Ltd filed Critical Hangzhou Vision Krypton Technology Co Ltd
Priority to CN201611048097.9A priority Critical patent/CN107049717B/zh
Publication of CN107049717A publication Critical patent/CN107049717A/zh
Application granted granted Critical
Publication of CN107049717B publication Critical patent/CN107049717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means

Landscapes

  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于RGB‑D相机和立体声的视障人士斑马线检测系统及方法。该方法利用RGB‑D相机采集彩色图像和深度图像，利用姿态角传感器获取相机的姿态角信息。小型处理器根据深度信息和姿态角信息，计算获取场景的三维坐标。小型处理器对三维信息进行处理，去除彩色图像中空中物体对斑马线检测的干扰。小型处理器对彩色图像分块，并计算每一块的双极系数，筛选出可能为斑马线的区块，利用连通域分析检出斑马线区域。本方法最终通过骨传导耳机传递斑马线的距离和方向给视障人士进行辅助，可以很好地满足视障人士预知斑马线的需求。

Description

一种基于RGB-D相机和立体声的视障人士斑马线检测系统及 方法
技术领域
本发明属于视障人士辅助技术、三维环境感知技术、斑马线检测技术、立体声交互技术领域。本发明包含一种基于RGB-D相机和立体声的视障人士斑马线检测方法，涉及一种利用RGB-D相机采集彩色图像和深度图像，利用姿态角传感器获取相机的姿态角信息。小型处理器利用深度信息和姿态角信息，计算获取场景的三维坐标。小型处理器对三维信息进行处理，去除彩色图像中空中物体对斑马线检测的干扰。小型处理器对彩色图像分块，并计算每一块的双极系数，筛选出可能为斑马线的区块，利用连通域分析检出斑马线区域，最终通过骨传导耳机传递斑马线的距离和方向给视障人士进行辅助的斑马线检测方法。
背景技术
根据世界健康组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状、距离、运动的理解都很困难，他们的生活在起居、出行等方面都受到了巨大的影响。尤其是路口的通行，寻找斑马线区域，安全地过马路是视障人士的一大痛点。
传统的视障人士过马路辅助方法，通过听路口处红绿灯的变化的声音，以及听路口车辆通过的声音来猜测斑马线区域，这种判断是极其不准确的，而且很多路口的红绿灯声音播报系统损坏，无法给视障人士提供帮助。
导盲犬可以为视障人士过马路提供帮助，但导盲犬在过马路时比较迅速，难以照顾到视障人士精确定位斑马线区域的需求。导盲犬的养护、训练费用高昂，普通家庭难以承担。另外很多城市的导盲犬培训是不合格的，对视障人士的帮助有限。
基于彩色相机的斑马线检测，有很大概率被空中物体等所干扰，斑马线检测的准确性有限，而且也不能获知斑马线区域的精确距离和方位，对视障人士的帮助有限。
传统视障人士辅助的交互方式主要有语音提示、触觉震动。语义提示通常播报简短的信息，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量少。触觉震动通过震动腰带或者震动背心为硬件，以震动来提示一些方位信息，可以解决延迟的问题，但给视障人士带来负担，不同人的穿戴感受不同。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于RGB-D相机和立体声的视障人士斑马线检测系统及方法。
本发明的目的是通过以下技术方案实现的：一种基于RGB-D相机和立体声的视障人士斑马线检测系统，所述系统包含一个RGB-D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。RGB-D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连。RGB-D相机实时地采集三维场景的彩色图像和深度图像。姿态角传感器实时获取RGB-D相机的姿态角。小型处理器对RGB-D相机采集的彩色图像和深度图像，姿态角传感器采集的姿态角信息进行分析，检测出三维场景的斑马线区域，并计算出斑马线区域和方向，并将处理结果转化为立体声信号，传到骨传导耳机模块。骨传导耳机模块将立体声信号转化为骨传导震动信号，传到两个骨传导震动模块。最终骨传导震动模块通过震动传输立体声信号给视障用户，告知视障用户当前场景中斑马线区域的区域和方向。
上述系统的斑马线检测方法如下：
(1)对RGB-D相机进行一次相机标定，获取RGB-D相机的焦距f，主点位置(cx,cy)。
(2)RGB-D相机采集三维场景的深度图像Depth和彩色图像Color。
(3)姿态角传感器采集RGB-D相机X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ。
(4)USB集线器将深度图像Depth，彩色图像Color，三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器。
(5)小型处理器根据深度图像Depth，RGB-D相机的焦距f，主点位置(cx,cy)，可计算出每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)。深度图像Depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(Xc,Yc,Zc)可由公式(1)计算出：
(6)根据深度图像中每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)，以及姿态角传感器三轴方向的转角分布为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)：
(7)三维场景中的每一点到RGB-D相机所在水平面的高度值H可由该点世界坐标系下的三维坐标的分量Yw表示。
(8)通过深度图像Depth中所有点的分量Yw对各个点进行识别,Yw在(H0-Δh,H0+Δh)内则表示该点为地面上的点,否则为非地面点；其中，H0为RGB-D相机到水平面的竖直高度，Δh一般为0.1米；将彩色图像Color中的非地面点的颜色置为透明色，获得只留下地平面上的点的彩色图像ColorG，即去除空中物体对斑马线检测的干扰。
(9)对只留下地平面上的点的彩色图像ColorG均分成大小为M×N的小块，且M、N均大于斑马线的宽度。
(10)对每个小块进行自适应灰度二值化处理，得到该小块图像的二值化阈值，将小块的所有像素分成两部分。第一部分的像素灰度低于阈值，这些像素的平均灰度为μ1，占所有像素的比例为α，第二部分的像素灰度大于等于阈值，这些像素的平均灰度为μ2，占所有像素的比例为1-α。小块中所有像素的灰度方差为从而可定义一个双极系数γ，表示小块的黑白分明的程度，双极系数γ可由公式(3)计算：
双极系数γ的变化范围为0～1，双极系数γ越大，越接近黑白分明的斑马线图案。
(11)对每每个小块，如果双极系数γ大于阈值threshold(该阈值的取值范围通常为0.85～0.95)，则这一小图像块为斑马线的候选区域。
(12)对所有斑马线的候选区域进行连通域分析，去除一些零碎的小块(即不与其他候选区域连通的小块)，连通的小块形成一整块斑马线区域。
(13)根据该斑马线区域中每一点的三维坐标(Xw,Yw,Zw)，可获得斑马线区域到视障用户的距离为(由斑马线区域中所有点的平均深度表示)，斑马线区域的方向角θ(由斑马线区域中点的平均水平坐标与平均深度之商的反正切表示，即)。
(14)用一种特定音色的乐器来表示斑马线区域，斑马线区域的距离越大，则该乐器的响度Volume越大。该乐器的发声为立体声，立体声方向与斑马线区域的方向角θ相对应。乐器可选钢琴、小提琴、锣、小号、木琴等有特别音色并悦耳的。
(15)小型处理器将立体声信号传给骨传导耳机模块。
(16)骨传导耳机模块将立体声信号转为骨传导震动信号。
(17)骨传导震动模块将骨传导信号传递给视障用户。
本方法相比以往的视障人士辅助方法的优势主要在于：
1、可以检测出斑马线区域的距离与方向。由于采用RGB-D相机进行斑马线区域的检测，可以获知三维信息，因此可以检出斑马线区域到视障用户的距离，以及在视障用户的什么方位，这为视障人士在路口等室外场景的通行提供了极大的便利和帮助。
2、可以去除空中物体等其他不是地面区域的物体对斑马线检测的干扰。由于采用RGB-D相机与姿态角传感器，可获得场景中物体的真实的高度值，因此可以只对地平面附近的高度范围的图像进行检测，不会将空中物体误检测为斑马线，这极大了提高了斑马线检测的准确性和可靠性，有助于视障人士在路口准确地判断并通行。
3、处理速度快。由于本方法利用三维信息去除了彩色图像中的很多干扰，省去了对这些区域的处理，并且在检测斑马线的过程中只需计算分块图像的双极系数等简单操作，因此计算量小，处理速度快，能够及时的输出结果，并反馈给视障人士从而进行辅助。
4、斑马线区域上有人或有车也可以及时响应。由于斑马线区域上有人或者车经过时，这些不在地平面高度范围的点将被去除，因此在检出结果会产生变化，传递给视障人士的立体声信号也会发生变化，视障人士从而可以判断出斑马线区域被人或车占据，预警斑马线上行人、车辆的碰撞。
5、可自然地帮助视障人士过马路。因为视障人士离斑马线区域的距离越远，立体声的响度越大，斑马线区域的距离越近，立体声的响度越小。因此视障人士在远离斑马线区域就能听出斑马线区域的方位，并且此时声音响度大，视障人士能对方位区分很精确。而当视障人士在靠近斑马线区域时，声音响度小，只是提示视障人士在正确的行进路线上，不会对视障人士的双耳造成较大的干扰。声音响度的大小的过度变化，可以很自然地辅助视障人士过马路。
6、不占用双耳。本方法采用骨传导耳机传递信号给视障人士，不妨碍视障人士在路况通行时听取外界的声音。比如视障人士会通过车流的声音判断两侧有没有汽车靠近。
7、不占用双手。本方法使用RGB-D相机、姿态角传感器和小型处理器，都是便携和可穿戴的，不会给视障用户带来很大的负担，也无需视障人士用手拿辅助工具。
附图说明
图1为视障人士斑马线检测系统的模块连接示意图；
图2为视障人士斑马线检测系统的结构示意图；
图3为斑马线区域检测效果灰度图；
图4为斑马线区域检测效果灰度图；
图5为斑马线区域检测效果灰度图。
具体实施方式
如图1所示，一种基于RGB-D相机和立体声的视障人士斑马线检测系统，所述系统包含一个RGB-D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。RGB-D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连。RGB-D相机实时地采集三维场景的彩色图像和深度图像。姿态角传感器实时获取RGB-D相机的姿态角。小型处理器对RGB-D相机采集的彩色图像和深度图像，姿态角传感器采集的姿态角信息进行分析，检测出三维场景的斑马线区域，并计算出斑马线区域和方向，并将处理结果转化为立体声信号，传到骨传导耳机模块。骨传导耳机模块将立体声信号转化为骨传导震动信号，传到两个骨传导震动模块。最终骨传导震动模块通过震动传输立体声信号给视障用户，告知视障用户当前场景中斑马线区域的区域和方向。该系统可以设计成类似于图2所述的眼镜，以达到美观效果。
上述系统的斑马线检测方法如下：
(1)对RGB-D相机进行一次相机标定，获取RGB-D相机的焦距f，主点位置(cx,cy)。
(2)RGB-D相机采集三维场景的深度图像Depth和彩色图像Color。
(3)姿态角传感器采集RGB-D相机X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ。
(4)USB集线器将深度图像Depth，彩色图像Color，三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器。
(5)小型处理器根据深度图像Depth，RGB-D相机的焦距f，主点位置(cx,cy)，可计算出每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)。深度图像Depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(Xc,Yc,Zc)可由公式(1)计算出：
(6)根据深度图像中每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)，以及姿态角传感器三轴方向的转角分布为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)：
(7)三维场景中的每一点到RGB-D相机所在水平面的高度值H可由该点世界坐标系下的三维坐标的分量Yw表示。
(8)通过深度图像Depth中所有点的分量Yw对各个点进行识别,Yw在(H0-Δh,H0+Δh)内则表示该点为地面上的点,否则为非地面点；其中，H0为RGB-D相机到水平面的竖直高度，Δh一般为0.1米；将彩色图像Color中的非地面点的颜色置为透明色，获得只留下地平面上的点的彩色图像ColorG，即去除空中物体对斑马线检测的干扰。
(9)对只留下地平面上的点的彩色图像ColorG均分成大小为M×N的小块，且M、N均大于斑马线的宽度。
(10)对每个小块进行自适应灰度二值化处理，得到该小块图像的二值化阈值，将小块的所有像素分成两部分。第一部分的像素灰度低于阈值，这些像素的平均灰度为μ1，占所有像素的比例为α，第二部分的像素灰度大于等于阈值，这些像素的平均灰度为μ2，占所有像素的比例为1-α。小块中所有像素的灰度方差为从而可定义一个双极系数γ，表示小块的黑白分明的程度，双极系数γ可由公式(3)计算：
双极系数γ的变化范围为0～1，双极系数γ越大，越接近黑白分明的斑马线图案。
(11)对每每个小块，如果双极系数γ大于阈值threshold(该阈值的取值范围通常为0.85～0.95)，则这一小图像块为斑马线的候选区域。
(12)对所有斑马线的候选区域进行连通域分析，去除一些零碎的小块(即不与其他候选区域连通的小块)，连通的小块形成一整块斑马线区域。
(13)根据该斑马线区域中每一点的三维坐标(Xw,Yw,Zw)，可获得斑马线区域到视障用户的距离为(由斑马线区域中所有点的平均深度表示)，斑马线区域的方向角θ(由斑马线区域中点的平均水平坐标与平均深度之商的反正切表示，即)。
(14)用一种特定音色的乐器来表示斑马线区域，斑马线区域的距离越大，则该乐器的响度Volume越大。该乐器的发声为立体声，立体声方向与斑马线区域的方向角θ相对应。乐器可选钢琴、小提琴、锣、小号、木琴等有特别音色并悦耳的。
(15)小型处理器将立体声信号传给骨传导耳机模块。
(16)骨传导耳机模块将立体声信号转为骨传导震动信号。
(17)骨传导震动模块将骨传导信号传递给视障用户。

Claims (1)

1.一种基于RGB-D相机和立体声的视障人士斑马线检测系统，所述系统包含一个RGB-D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块；RGB-D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连；RGB-D相机实时地采集三维场景的彩色图像和深度图像；姿态角传感器实时获取RGB-D相机的姿态角；小型处理器对RGB-D相机采集的彩色图像和深度图像，姿态角传感器采集的姿态角信息进行分析，检测出三维场景的斑马线区域，并计算出斑马线区域和方向，并将处理结果转化为立体声信号，传到骨传导耳机模块；骨传导耳机模块将立体声信号转化为骨传导震动信号，传到两个骨传导震动模块；最终骨传导震动模块通过震动传输立体声信号给视障用户，告知视障用户当前场景中斑马线区域的区域和方向，步骤如下：
(1)对RGB-D相机进行一次相机标定，获取RGB-D相机的焦距f，主点位置(cx,cy)；
(2)RGB-D相机采集三维场景的深度图像Depth和彩色图像Color；
(3)姿态角传感器采集RGB-D相机X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ；
(4)USB集线器将深度图像Depth，彩色图像Color，三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器；
(5)小型处理器根据深度图像Depth，RGB-D相机的焦距f，主点位置(cx,cy)，可计算出每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)；深度图像Depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(Xc,Yc,Zc)可由公式(1)计算出：
(6)根据深度图像中每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)，以及姿态角传感器三轴方向的转角分布为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)：
(7)三维场景中的每一点到RGB-D相机所在水平面的高度值H可由该点世界坐标系下的三维坐标的分量Yw表示；
(8)通过深度图像Depth中所有点的分量Yw对各个点进行识别,Yw在(H0-Δh,H0+Δh)内则表示该点为地面上的点,否则为非地面点；其中，H0为RGB-D相机到水平面的竖直高度，Δh为0.1米；将彩色图像Color中的非地面点的颜色置为透明色，获得只留下地平面上的点的彩色图像ColorG，即去除空中物体对斑马线检测的干扰；
(9)对只留下地平面上的点的彩色图像ColorG均分成大小为M×N的小块，且M、N均大于斑马线的宽度；
(10)对每个小块进行自适应灰度二值化处理，得到该小块图像的二值化阈值，将小块的所有像素分成两部分；第一部分的像素灰度低于阈值，这些像素的平均灰度为μ1，占所有像素的比例为α，第二部分的像素灰度大于等于阈值，这些像素的平均灰度为μ2，占所有像素的比例为1-α；小块中所有像素的灰度方差为从而可定义一个双极系数γ，表示小块的黑白分明的程度，双极系数γ可由公式(3)计算：
双极系数γ的变化范围为0～1，双极系数γ越大，越接近黑白分明的斑马线图案；
(11)对每个小块，如果双极系数γ大于阈值threshold，则这一小图像块为斑马线的候选区域；
(12)对所有斑马线的候选区域进行连通域分析，去除一些零碎的小块，连通的小块形成一整块斑马线区域；
(13)根据该斑马线区域中每一点的三维坐标(Xw,Yw,Zw)，可获得斑马线区域到视障用户的距离为斑马线区域的方向角θ；其中，由斑马线区域中所有点的平均深度来表示，由斑马线区域中点的平均水平坐标与平均深度之商的反正切来表示。
(14)用一种特定音色的乐器来表示斑马线区域，斑马线区域的距离越大，则该乐器的响度Volume越大；该乐器的发声为立体声，立体声方向与斑马线区域的方向角θ相对应；
(15)小型处理器将立体声信号传给骨传导耳机模块；
(16)骨传导耳机模块将立体声信号转为骨传导震动信号；
(17)骨传导震动模块将骨传导信号传递给视障用户。
CN201611048097.9A 2016-11-23 2016-11-23 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法 Active CN107049717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611048097.9A CN107049717B (zh) 2016-11-23 2016-11-23 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611048097.9A CN107049717B (zh) 2016-11-23 2016-11-23 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法

Publications (2)

Publication Number Publication Date
CN107049717A CN107049717A (zh) 2017-08-18
CN107049717B true CN107049717B (zh) 2019-03-01

Family

ID=59618870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611048097.9A Active CN107049717B (zh) 2016-11-23 2016-11-23 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法

Country Status (1)

Country Link
CN (1) CN107049717B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399807B (zh) * 2019-07-04 2021-07-16 达闼机器人有限公司 检测地面障碍物的方法、装置、可读存储介质及电子设备
CN111031468B (zh) * 2019-11-13 2021-02-05 电子科技大学 一种基于个体化hrtf立体声的视觉辅助方法与设备
CN111329736B (zh) * 2020-02-25 2021-06-29 何兴 借助振动反馈感知环境图像的系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332071A (ja) * 2004-05-18 2005-12-02 Sumitomo Electric Ind Ltd 視覚障害者追跡システム及び視覚障害者検出方法
CN101419667A (zh) * 2008-12-15 2009-04-29 东软集团股份有限公司 识别图像中障碍物的方法和装置
CN102164344A (zh) * 2011-02-21 2011-08-24 中国华录集团有限公司 盲人导航手机
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援系统
CN102782725A (zh) * 2010-03-15 2012-11-14 爱信精机株式会社 人行横道检测装置、人行横道检测方法及程序
CN103413308A (zh) * 2013-08-01 2013-11-27 东软集团股份有限公司 一种障碍物检测方法和装置
CN104680171A (zh) * 2013-11-27 2015-06-03 富士通株式会社 图像中斑马线的检测装置、方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005332071A (ja) * 2004-05-18 2005-12-02 Sumitomo Electric Ind Ltd 視覚障害者追跡システム及び視覚障害者検出方法
CN101419667A (zh) * 2008-12-15 2009-04-29 东软集团股份有限公司 识别图像中障碍物的方法和装置
CN102782725A (zh) * 2010-03-15 2012-11-14 爱信精机株式会社 人行横道检测装置、人行横道检测方法及程序
CN102164344A (zh) * 2011-02-21 2011-08-24 中国华录集团有限公司 盲人导航手机
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援系统
CN103413308A (zh) * 2013-08-01 2013-11-27 东软集团股份有限公司 一种障碍物检测方法和装置
CN104680171A (zh) * 2013-11-27 2015-06-03 富士通株式会社 图像中斑马线的检测装置、方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法

Also Published As

Publication number Publication date
CN107049717A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN106651873B (zh) 一种基于rgb-d相机和立体声的视障人士斑马线检测眼镜
CN106203390B (zh) 一种智能盲人辅助系统
WO2018153304A1 (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN106265004A (zh) 多传感器智能盲人指路方法与装置
CN106214437B (zh) 一种智能盲人辅助眼镜
JP2020064068A (ja) 視覚強化ナビゲーション
CN102389361B (zh) 一种基于计算机视觉的盲人户外支援系统
CN106597690B (zh) 一种基于rgb-d相机和立体声的视障人士通路预知眼镜
CN107049717B (zh) 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法
CN107341789B (zh) 一种基于rgb-d相机和立体声的视障人士通路预知系统和方法
CN108545019A (zh) 一种基于图像识别技术的安全辅助驾驶系统和方法
CN106821692B (zh) 一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法
WO2022041869A1 (zh) 路况提示方法、装置、电子设备、存储介质及程序产品
CN106846350B (zh) 一种基于rgb-d相机和立体声的视障人士障碍物预警系统及方法
CN102973395A (zh) 一种多功能智能导盲方法、处理器及其装置
CN101234601A (zh) 基于单目视觉的汽车巡航控制方法及其实现系统
CN109730910A (zh) 出行的视觉辅助系统及其辅助设备、方法、可读存储介质
JP2006251596A (ja) 視覚障害者支援装置
CN101178769B (zh) 健康保护装置及其实现方法
CN105686936A (zh) 一种基于rgb-ir相机的声音编码交互系统
CN108973859A (zh) 一种鬼探头交通事故预警系统及方法
CN106817577A (zh) 一种基于rgb‑d相机和立体声的视障人士障碍物预警眼镜
TW201927610A (zh) 安全確認評價裝置、車載裝置、具備這些裝置之安全確認評價系統、安全確認評價方法以及安全確認評價程式
CN105701811A (zh) 一种基于rgb-ir相机的声音编码交互方法
Jin et al. CycleGuard: A Smartphone-based Assistive Tool for Cyclist Safety Using Acoustic Ranging.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant