CN106821692B - 一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法 - Google Patents

一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法 Download PDF

Info

Publication number
CN106821692B
CN106821692B CN201611048256.5A CN201611048256A CN106821692B CN 106821692 B CN106821692 B CN 106821692B CN 201611048256 A CN201611048256 A CN 201611048256A CN 106821692 B CN106821692 B CN 106821692B
Authority
CN
China
Prior art keywords
stair
camera
depth
plane
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611048256.5A
Other languages
English (en)
Other versions
CN106821692A (zh
Inventor
于红雷
杨恺伦
林书妃
陈天雪
汪凯巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Vision Krypton Technology Co Ltd
Original Assignee
Hangzhou Vision Krypton Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Vision Krypton Technology Co Ltd filed Critical Hangzhou Vision Krypton Technology Co Ltd
Priority to CN201611048256.5A priority Critical patent/CN106821692B/zh
Publication of CN106821692A publication Critical patent/CN106821692A/zh
Application granted granted Critical
Publication of CN106821692B publication Critical patent/CN106821692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means

Landscapes

  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑D相机和立体声的视障人士楼梯检测系统及方法。该方法利用RGB‑D相机采集深度图像，利用姿态角传感器获取相机的姿态角信息。小型处理器利用深度信息和姿态角信息，计算获取三维坐标和表面法向量信息，利用表面法向量信息对三维场景中的平面进行提取，判别当前场景中是否存在楼梯，如果存在楼梯，则计算每一级楼梯的距离与方向，最后利用骨传导耳机传递给视障人士进行辅助，可以很好地满足视障人士预知楼梯的需求。

Description

一种基于RGB-D相机和立体声的视障人士楼梯检测系统及 方法
技术领域
本发明属于视障人士辅助技术、三维环境感知技术、楼梯检测技术、立体声交互技术领域，涉及一种基于RGB-D相机和立体声的视障人士楼梯检测系统及方法。
背景技术
根据世界健康组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状、距离、运动的理解都很困难，他们的生活在起居、出行等方面都受到了巨大的影响。
传统的视障人士辅助工具比如盲人手杖，视障人士需要反复移动手杖，才仅仅能获知脚边的情况，在上下楼梯时，盲人手杖的使用也不方便。
导盲犬可以为视障人士提供帮助，但导盲犬在上下楼梯时比较迅速，难以照顾到视障人士精确定位每一级楼梯的需求。导盲犬的养护、训练费用高昂，普通家庭难以承担。
仿生眼可以帮助视障人士恢复部分视觉，但仿生眼只能帮助视障人士看到低分辨率的灰度图像，难以区分楼梯与其他场景。仿生眼只适用于视网膜色素变性导致失明的盲人。
超声波技术、激光测距技术等可以提供测距和障碍物预警的功能，但无法反映场景的信息，无法区分楼梯与其他障碍物或路况，且容易受环境干扰，耗电量大。
传统视障人士辅助的交互方式主要有语音提示、触觉震动。语义提示通常播报简短的信息，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量少。触觉震动通过震动腰带或者震动背心为硬件，以震动来提示一些方位信息，可以解决延迟的问题，但给视障人士带来负担，不同人的穿戴感受不同。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于RGB-D相机和立体声的视障人士楼梯检测系统及方法。
本发明的目的是通过以下技术方案实现的：一种基于RGB-D相机和立体声的视障人士楼梯检测系统，所述系统包含一个RGB-D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。RGB-D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连。RGB-D相机实时地采集三维场景的深度图像。姿态角传感器实时获取RGB-D相机的姿态角。USB集线器将一幅深度图像和姿态角信息传给小型处理器。小型处理器对深度图像和姿态角信息进行处理，获取三维场景中每一点的三维坐标，并计算每一点的局部表面法向量，利用法向量信息分割出三维场景中的平行于水平面的平面，并对平面的高度进行聚类处理，最终获取每一级楼梯的距离与方向，转为立体声信号，并传给骨传导耳机模块。骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块，骨传导震动模块传递骨传导震动信号给视障用户。
上述系统检测楼梯的方法如下：
(1)对RGB-D相机进行一次相机标定，获取深度相机的焦距f，深度相机的主点位置(cx,cy)。
(2)RGB-D相机采集三维场景的深度图像Depth。
(3)姿态角传感器采集RGB-D相机的X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ。
(4)USB集线器将深度图像Depth，三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器。
(5)小型处理器根据深度图像Depth，深度相机的焦距f，深度相机的主点位置(cx,cy)，可计算出每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)。深度图像Depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(Xc,Yc,Zc)可由公式(1)计算出：
(6)根据深度图像中每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)，以及姿态角传感器三轴方向的转角分别为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)：
(7)根据深度图像中每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)，可计算每一点的局部表面法向量(nx,ny,nz)。具体为：对每一点P，取离它最近的K个点Pi，i∈{1,2,...,K}。根据这K个点的三维坐标，用最小二乘法拟合出一个局部平面，对该平面的法向量进行归一化处理，即获取点P的局部表面法向量(nx,ny,nz)。
(8)三维场景中每一点的局部表面法向量分量ny可表征了该点的局部平面是否平行于水平面，剔除表面法向量分量ny的绝对值|ny|小于阈值thresholdn的点(thresholdn通常为0.85～0.95)，获取三维场景中在平行于水平面的平面上的点。
(9)三维场景中平行于水平面的平面上的点到RGB-D相机所在水平面的高度值为H可由该点世界坐标系下的三维坐标分量Yw表示。对平行于水平面的平面上的点的高度值H进行聚类处理，得到多个平行水平面的平面，计算每个平面的平均高度聚类处理的方法可为K-Means聚类算法、层次聚类算法、SOM聚类算法、FCM聚类算法。
(10)提取出高度以Δh依次递增或递减的N个平面，即为每一级楼梯的上平面(一共N级)。如果N大于1，说明当前场景中存在楼梯。Δh为楼梯高度，一般为0.2～0.3米。
(11)每一级楼梯的距离D可由每一级楼梯的上平面上的点的平均深度表示，每一级楼梯的方向角θ可由每一级楼梯的上平面上的点的平均水平坐标与平均深度之商的反正切表示，即
(12)用N种不同音色的乐器的合奏来表示N级楼梯，不同乐器的发声表示不同级楼梯。当一级楼梯的距离D越小，则对应这一级楼梯的乐器的响度Volume越大。每一种乐器的发声都为立体声，立体声的方向和对应的一级楼梯的方向角θ相对应。乐器可选钢琴、小提琴、锣、小号、木琴等有特别音色并悦耳的。
(13)小型处理器将立体声信号传给骨传导耳机模块。
(14)骨传导耳机模块将立体声信号转为骨传导震动信号。
(15)骨传导震动模块将骨传导信号传递给视障用户。
本方法相比以往的视障人士辅助方法的优势主要在于：
1、可检测出上楼梯与下楼梯。由于采用提取每一级楼梯的平行于水平面的平面的方法，因此场景中有上楼梯或者下楼梯都可检测到；
2、可判断有多少级楼梯。由于采用聚类并提取一系列高度差相近的平面的方法，可判断一共有多少级楼梯，视障人士也可以通过听乐器判断，获知一共有多少级楼梯；
3、反馈充分的信息量。相比语义式的语音播报，立体声的交互反馈利用不同响度、不同音色的乐器表示不同级楼梯，可以同时地、充分地传递场景不同级楼梯的距离和方向；
4、及时的反馈。相比语义式的语音播报，立体声的交互反馈是及时的，没有延迟。视障人士可以及时的判断并上下楼梯，保证了该方法的安全性；
5、楼梯上有人经过时也可以检出。由于采用提取每一级楼梯的平行于水平面的平面的方法，不特殊要求平面的连续性，因此楼梯上有人经过也不会造成干扰，依然可以检测出楼梯的存在和获取每一级楼梯的位置；
6、可自然地帮助视障用户上下楼梯。由于每次表示最近一级楼梯的乐器的响度最大，因此视障用户会对最近一级楼梯的感知最敏感和最精确，从而自然地、一级一级地上下楼梯。
7、不占用双耳。本方法采用骨传导耳机传递信号给视障用户，不妨碍用户听取外界的声音。
不占用双手。本方法使用RGB-D相机、姿态角传感器和小型处理器，都是便携和可穿戴的，不会给视障用户带来很大的负担，也无需视障人士用手拿辅助工具。
附图说明
图1为视障人士楼梯检测系统的模块连接示意图；
图2为视障人士楼梯检测系统的结构示意图；
图3为灰度处理后的楼梯检测图，表示楼梯上有人经过也可以很好地检测出楼梯；
图4为灰度处理后的上楼梯检测图，图中标注出最近两级楼梯；
图5为灰度处理后的下楼梯检测图，图中标注出最近两级楼梯。
具体实施方式
如图1所示，一种基于RGB-D相机和立体声的视障人士楼梯检测系统，所述系统包含一个RGB-D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。RGB-D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连。RGB-D相机实时地采集三维场景的深度图像。姿态角传感器实时获取RGB-D相机的姿态角。USB集线器将一幅深度图像和姿态角信息传给小型处理器。小型处理器对深度图像和姿态角信息进行处理，获取三维场景中每一点的三维坐标，并计算每一点的局部表面法向量，利用法向量信息分割出三维场景中的平行于水平面的平面，并对平面的高度进行聚类处理，最终获取每一级楼梯的距离与方向，转为立体声信号，并传给骨传导耳机模块。骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块，骨传导震动模块传递骨传导震动信号给视障用户。该系统可以设计成类似于图2所述的眼镜，以达到美观效果。
上述系统检测楼梯的方法如下：
(1)对RGB-D相机进行一次相机标定，获取深度相机的焦距f，深度相机的主点位置(cx,cy)。
(2)RGB-D相机采集三维场景的深度图像Depth。
(3)姿态角传感器采集RGB-D相机的X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ。
(4)USB集线器将深度图像Depth，三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器。
(5)小型处理器根据深度图像Depth，深度相机的焦距f，深度相机的主点位置(cx,cy)，可计算出每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)。深度图像Depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(Xc,Yc,Zc)可由公式(1)计算出：
(6)根据深度图像中每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)，以及姿态角传感器三轴方向的转角分别为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)：
(7)根据深度图像中每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)，可计算每一点的局部表面法向量(nx,ny,nz)。具体为：对每一点P，取离它最近的K个点Pi，i∈{1,2,...,K}。根据这K个点的三维坐标，用最小二乘法拟合出一个局部平面，对该平面的法向量进行归一化处理，即获取点P的局部表面法向量(nx,ny,nz)。
(8)三维场景中每一点的局部表面法向量分量ny可表征了该点的局部平面是否平行于水平面，剔除表面法向量分量ny的绝对值|ny|小于阈值thresholdn的点(thresholdn通常为0.85～0.95)，获取三维场景中在平行于水平面的平面上的点。
(9)三维场景中平行于水平面的平面上的点到RGB-D相机所在水平面的高度值为H可由该点世界坐标系下的三维坐标分量Yw表示。对平行于水平面的平面上的点的高度值H进行聚类处理，得到多个平行水平面的平面，计算每个平面的平均高度聚类处理的方法可为K-Means聚类算法、层次聚类算法、SOM聚类算法、FCM聚类算法。
(10)提取出高度以Δh依次递增或递减的N个平面，即为每一级楼梯的上平面(一共N级)。如果N大于1，说明当前场景中存在楼梯。Δh为楼梯高度，一般为0.25～0.35米。
(11)每一级楼梯的距离D可由每一级楼梯的上平面上的点的平均深度表示，每一级楼梯的方向角θ可由每一级楼梯的上平面上的点的平均水平坐标与平均深度之商的反正切表示，即
(12)用N种不同音色的乐器的合奏来表示N级楼梯，不同乐器的发声表示不同级楼梯。当一级楼梯的距离D越小，则对应这一级楼梯的乐器的响度Volume越大。每一种乐器的发声都为立体声，立体声的方向和对应的一级楼梯的方向角θ相对应。乐器可选钢琴、小提琴、锣、小号、木琴等有特别音色并悦耳的。
(13)小型处理器将立体声信号传给骨传导耳机模块。
(14)骨传导耳机模块将立体声信号转为骨传导震动信号。
(15)骨传导震动模块将骨传导信号传递给视障用户。

Claims (1)

1.一种基于RGB-D相机和立体声的视障人士楼梯检测系统，所述系统包含一个RGB-D相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块；RGB-D相机与姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连；RGB-D相机实时地采集三维场景的深度图像；姿态角传感器实时获取RGB-D相机的姿态角；USB集线器将一幅深度图像和姿态角信息传给小型处理器；小型处理器对深度图像和姿态角信息进行处理，获取三维场景中每一点的三维坐标，并计算每一点的局部表面法向量，利用法向量信息分割出三维场景中的平行于水平面的平面，并对平面的高度进行聚类处理，最终获取每一级楼梯的距离与方向，转为立体声信号，并传给骨传导耳机模块；骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块，骨传导震动模块传递骨传导震动信号给视障用户，通过以下步骤实现楼梯检测：
对RGB-D相机进行一次相机标定，获取深度相机的焦距f，深度相机的主点位置(cx,cy)；
(1)RGB-D相机采集三维场景的深度图像Depth；
(2)姿态角传感器采集RGB-D相机的X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ；
(3)USB集线器将深度图像Depth，三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器；
(4)小型处理器根据深度图像Depth，深度相机的焦距f，深度相机的主点位置(cx,cy)，可计算出每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)；深度图像Depth中一点坐标为(u,v)，其深度值为depth，则相机坐标系下三维坐标(Xc,Yc,Zc)可由公式(1)计算出：
(5)根据深度图像中每一点在相机坐标系下的三维坐标(Xc,Yc,Zc)，以及姿态角传感器三轴方向的转角分别为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)：
(6)根据深度图像中每一点在世界坐标系下的三维坐标(Xw,Yw,Zw)，可计算每一点的局部表面法向量(nx,ny,nz)；具体为：对每一点P，取离它最近的K个点Pi，i∈{1,2,...,K}；根据这K个点的三维坐标，用最小二乘法拟合出一个局部平面，对该平面的法向量进行归一化处理，即获取点P的局部表面法向量(nx,ny,nz)；
(7)三维场景中每一点的局部表面法向量分量ny可表征了该点的局部平面是否平行于水平面，剔除表面法向量分量ny的绝对值|ny|小于阈值thresholdn的点，thresholdn为0.85～0.95，获取三维场景中在平行于水平面的平面上的点；
(8)三维场景中平行于水平面的平面上的点到RGB-D相机所在水平面的高度值为H可由该点世界坐标系下的三维坐标分量Yw表示；对平行于水平面的平面上的点的高度值H进行聚类处理，得到多个平行水平面的平面，计算每个平面的平均高度聚类处理的方法可为K-Means聚类算法、层次聚类算法、SOM聚类算法、FCM聚类算法；
(9)提取出高度以Δh依次递增或递减的N个平面，即为每一级楼梯的上平面，一共N级；如果N大于1，说明当前场景中存在楼梯；Δh为楼梯高度，一般为0.2～0.3米；
(10)每一级楼梯的距离D可由每一级楼梯的上平面上的点的平均深度表示，每一级楼梯的方向角θ可由每一级楼梯的上平面上的点的平均水平坐标与平均深度之商的反正切表示，即
(11)用N种不同音色的乐器的合奏来表示N级楼梯，不同乐器的发声表示不同级楼梯；当一级楼梯的距离D越小，则对应这一级楼梯的乐器的响度Volume越大；每一种乐器的发声都为立体声，立体声的方向和对应的一级楼梯的方向角θ相对应；
(12)小型处理器将立体声信号传给骨传导耳机模块；
(13)骨传导耳机模块将立体声信号转为骨传导震动信号；
(14)骨传导震动模块将骨传导信号传递给视障用户。
CN201611048256.5A 2016-11-23 2016-11-23 一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法 Active CN106821692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611048256.5A CN106821692B (zh) 2016-11-23 2016-11-23 一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611048256.5A CN106821692B (zh) 2016-11-23 2016-11-23 一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法

Publications (2)

Publication Number Publication Date
CN106821692A CN106821692A (zh) 2017-06-13
CN106821692B true CN106821692B (zh) 2019-02-12

Family

ID=59145842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611048256.5A Active CN106821692B (zh) 2016-11-23 2016-11-23 一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法

Country Status (1)

Country Link
CN (1) CN106821692B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215044B (zh) * 2017-06-30 2020-12-15 京东方科技集团股份有限公司 图像处理方法和系统、存储介质和移动系统
CN108230320A (zh) * 2018-01-18 2018-06-29 上海爱优威软件开发有限公司 楼梯数量统计方法及系统
CN108876799B (zh) * 2018-06-12 2021-07-02 杭州视氪科技有限公司 一种基于双目相机的实时台阶检测方法
CN110399807B (zh) * 2019-07-04 2021-07-16 达闼机器人有限公司 检测地面障碍物的方法、装置、可读存储介质及电子设备
CN111031468B (zh) * 2019-11-13 2021-02-05 电子科技大学 一种基于个体化hrtf立体声的视觉辅助方法与设备
CN112017229B (zh) * 2020-09-06 2023-06-27 桂林电子科技大学 一种相机相对位姿求解方法
CN112529963A (zh) * 2020-12-11 2021-03-19 深圳一清创新科技有限公司 一种楼梯检测方法、装置及移动机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103919663A (zh) * 2014-03-31 2014-07-16 浙江大学 盲人户外环境感知方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN104983553A (zh) * 2015-07-27 2015-10-21 芒果物联网科技（常州）有限公司 盲人探路设备
US9251417B1 (en) * 2014-10-15 2016-02-02 Hrl Laboratories, Llc Fast open doorway detection for autonomous robot exploration
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
CN105910604A (zh) * 2016-05-25 2016-08-31 武汉卓拔科技有限公司 一种基于多传感器的自主避障导航系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103919663A (zh) * 2014-03-31 2014-07-16 浙江大学 盲人户外环境感知方法
US9251417B1 (en) * 2014-10-15 2016-02-02 Hrl Laboratories, Llc Fast open doorway detection for autonomous robot exploration
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN104983553A (zh) * 2015-07-27 2015-10-21 芒果物联网科技（常州）有限公司 盲人探路设备
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
CN105910604A (zh) * 2016-05-25 2016-08-31 武汉卓拔科技有限公司 一种基于多传感器的自主避障导航系统

Also Published As

Publication number Publication date
CN106821692A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106821692B (zh) 一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法
CN106203390B (zh) 一种智能盲人辅助系统
CN106597690B (zh) 一种基于rgb-d相机和立体声的视障人士通路预知眼镜
CN106846350B (zh) 一种基于rgb-d相机和立体声的视障人士障碍物预警系统及方法
CN205494329U (zh) 智能自救导盲拐杖
CN107341789B (zh) 一种基于rgb-d相机和立体声的视障人士通路预知系统和方法
CN106214437B (zh) 一种智能盲人辅助眼镜
CN106651873B (zh) 一种基于rgb-d相机和立体声的视障人士斑马线检测眼镜
US20140184384A1 (en) Wearable navigation assistance for the vision-impaired
CN107357292A (zh) 一种儿童室内智能看护系统及其看护方法
Liu et al. Electronic travel aids for the blind based on sensory substitution
US20160321955A1 (en) Wearable navigation assistance for the vision-impaired
CN205094948U (zh) 智能视觉导盲手杖
CN108693532A (zh) 基于增强型双目相机与3d毫米波雷达的可穿戴避障方法及装置
CN105686936A (zh) 一种基于rgb-ir相机的声音编码交互系统
CN106821693B (zh) 一种基于rgb-d相机和立体声的视障人士楼梯检测眼镜
Kaur et al. A scene perception system for visually impaired based on object detection and classification using multi-modal DCNN
CN109255314A (zh) 信息提示方法、装置、智能眼镜及存储介质
CN105701811A (zh) 一种基于rgb-ir相机的声音编码交互方法
CN107049717B (zh) 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法
CN208355727U (zh) 一种基于双超声波的导盲杖
TW202007383A (zh) 視障者智慧輔具系統
Davies et al. Using ecological interface design to develop an auditory interface for visually impaired travellers
Kandoth et al. Dhrishti: a visual aiding system for outdoor environment
CN205163570U (zh) 人工互联网导盲系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 9, 181, 310000, Wuchang Road, Wuchang Street, Yuhang District, Zhejiang, Hangzhou, 202-7

Applicant after: Hangzhou vision krypton Technology Co., Ltd.

Address before: Room 589, C building, No. 525 Xixi Road, Xihu District, Zhejiang, Hangzhou 310012, China

Applicant before: Hangzhou vision krypton Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant