CN106937910B - 一种障碍物和坡道检测系统及方法 - Google Patents

一种障碍物和坡道检测系统及方法 Download PDF

Info

Publication number
CN106937910B
CN106937910B CN201710166957.7A CN201710166957A CN106937910B CN 106937910 B CN106937910 B CN 106937910B CN 201710166957 A CN201710166957 A CN 201710166957A CN 106937910 B CN106937910 B CN 106937910B
Authority
CN
China
Prior art keywords
point
depth
value
image
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710166957.7A
Other languages
English (en)
Other versions
CN106937910A (zh
Inventor
于红雷
杨恺伦
孙俊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Vision Krypton Technology Co Ltd
Original Assignee
Hangzhou Vision Krypton Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Vision Krypton Technology Co Ltd filed Critical Hangzhou Vision Krypton Technology Co Ltd
Priority to CN201710166957.7A priority Critical patent/CN106937910B/zh
Publication of CN106937910A publication Critical patent/CN106937910A/zh
Application granted granted Critical
Publication of CN106937910B publication Critical patent/CN106937910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled

Abstract

一种基于RGB‑D相机和姿态角传感器的细小、低矮障碍物、坡道检测方法/系统。该系统利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机采集图像，利用姿态角传感器获得相机的姿态角信息，对图像中的深度信息和姿态角信息进行处理，检测出前方三维场景中的坡道和地面障碍物的方位、高度和距离，最后将检测结果转换成语义声音，通过骨传导耳机传递给盲人进行辅助。

Description

一种障碍物和坡道检测系统及方法
技术领域
本发明属于盲人辅助技术、双目视觉技术、三维环境感知技术、声音编码技术领域。本发明包含一种新型地面障碍物检测系统，涉及一种利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机采集图像，利用姿态角传感器获取相机的姿态角信息，小型处理器对图像中的深度信息和姿态角信息进行处理，检测出图像中的地面较小的障碍物和上、下坡面，最后将检测结果转化为语义内容，通过骨传导耳机传递给盲人进行辅助的系统。
背景技术
盲人缺少正常人所拥有的视觉，这对他们的日常生活和出行造成了极大地不便。盲人需要知道前方环境中的物体方位信息才能够有效的避开障碍物。传统的盲人辅助工具有盲杖、导盲犬等。使用盲杖时需要不停地移动盲杖来探测前面环境信息，只使用盲杖一方面探测的信息不全面，对前方物体的探测有遗漏，另一方面盲杖只能探测面前一米以内的障碍物信息，对于一米以外的障碍物和上下坡面则无法检测出来。导盲犬也可以帮助盲人出行，但导盲犬不管是费用还是养护费用都花费很高，成本太高，不能普及。在一些特殊场合，比如导盲犬可以通过的孔洞，导盲犬可以进入而人不可以，所以导盲犬的辅助也有很强的局限性。仿生眼可以帮助盲人恢复部分视觉，但仿生眼的植入需要进行手术，费用高昂。而且仿生眼只适用于视网膜色素变性或老年性黄斑变性导致失明的盲人。视觉神经损坏的盲人无法通过植入仿生眼恢复部分视觉。
发明内容
本发明的目的是针对背景技术的不足之处，提供一种障碍物和坡道的检测系统及方法。
本发明的目的是通过以下技术方案实现的:一种障碍物和坡道检测系统，包括一个红外投射器，两个红外相机，一个串口转USB模块，一个USB集线器，一个骨传导耳机，两个骨传导震动模块，一个小型处理器，一块电池；两个红外相机的视场角为Φ1(Φ1的值通常在50-70°)，两个红外相机的光轴向下倾斜，与水平面夹角为Φ2，Φ2为10-20°。小型处理器控制着红外投射器投射不可见的近红外静态散斑到前方的三维场景中，两个红外相机实时采集前方三维场景的红外图像。姿态角传感器实时获得相机的姿态角，姿态角数据经串口转USB模块转换成USB数据。USB集线器将USB数据和图像数据传递给小型处理器。小型处理器对红外图像和姿态角数据进行处理，得出前方三维场景中的细小低矮的障碍物的分布信息以及是否为坡面，然后将障碍物信息转换成语义声音，并传递给骨传导耳机，骨传导耳机将语义信息转换成骨传导震动信息，两个骨传导震动模块将骨传导震动信息传递给盲人用户。
一种障碍物和坡道检测方法，包括以下步骤：
(1)系统初始化：姿态角传感器获取初始状态下的两个相机的初始姿态角数据，以其中一个相机的光心为原点，建立世界坐标系，并保存于小型处理器中，同时将红外相机的佩戴高度H录入到小型处理器中。
(2)两个红外相机采集前方的三维场景的红外图像，同时姿态角传感器获得此时相机的姿态角数据，并通过串口转USB模块将姿态角数据转换成USB数据，然后USB集线器将姿态角数据和图像数据传给小型处理器。
(3)小型处理器根据姿态角数据，获得相机坐标系，进一步计算相机坐标系的坐标轴与世界坐标系中对用的坐标轴之间的夹角(αβγ)；
(4)小型处理器将两个红外图像转换为一幅深度图像Pdepth，创建m*n大小的矩阵A，其中m和深度图Pdepth的高相等，n和深度图Pdepth的宽相等；
(5)遍历深度图像Pdepth的每一个像素点，得到图像坐标系下每一点P(u,v,z)，z为该点的深度值。u为图像坐标系中，像素点的横坐标，v为图像坐标系中，像素点的纵坐标；
(6)判断P(u,v,z)的z值是否为零，如果非零，通过坐标转换将图像坐标系下的点转换到相机坐标系的点Q(X,Y,Z)，其中Z＝z。u0为相机光轴与成像平面交点的横坐标，v0为相机光轴与成像平面交点的纵坐标；进一步将相机坐标系的点Q(X,Y,Z)转换到世界坐标系下，得到世界坐标系下对应的点P(Xw,Yw,Zw)，转换方式为：
其中Yw为该点的高度值，Zw为该点和相机的距离。并求得每个点P(Xw,Yw,Zw)对应的偏角
(7)判断点P(Xw,Yw,Zw)中Yw是否大于H1,H1的范围一般为30cm到50cm。如果Yw>H1，将该点的Zw值置0，如果Yw<H1，Zw的坐标值不变，获得P(Xw,Yw,Z'w)，其中Z'w为0或Zw。
(8)判断偏角θ是否在[-α，α]范围内，α一般取值为15°到20°，若是，则将P(Xw,Yw,Z'w)存入到矩阵A中，深度图像Pdepth中，与P(Xw,Yw,Z'w)对应的像素点是P(u,v,z)，则点P(Xw,Yw,Z'w)在矩阵A中的行和列分别为u,v；
(9)创建集合E1和E2，遍历矩阵A中每一个元素，判断m行n列元素Aij的Zw分量是否为零，若Zw＝0，将元素Aij存入集合E1中，若Zw≠0，将元素Aij存入集合E2中，集合E1称为无效点集合，集合E2称为有效点集合。
(10)从集合E2中随机选取K个点，组成集合E，对集合E中的点进行最小二乘法平面拟合得到平面的一般方程AX+BY+CZ＝D,得到平面的法向量取世界坐标系中垂直方向上的单位向量求出法向量和单位向量的夹角的余弦值
(11)比较cosθ和Ccos的大小关系，其中Ccos为角度是的余弦值，如果cosθ<Ccos，则判断前方区域为非地面，对原始的深度图像Pdepth进行分块，分成M*N块，M一般为10到15块，N一般为15到20块，求出每一块的平均高度值存入到矩阵B中，对矩阵B的每一行进行处理，矩阵B中的元素对应每一块的高度平均值
(12)求出每一行的所有的异常值Bnm，得到所有异常值Bnm的位置col(n,m)，即第n行m列，异常值Bnm在第n行中是具有显著性差异的值(P<0.05)，同时满足两个条件，第一：n行的第m个元素表示的高度距离地面超过H异，H异的值为5-10cm，也就是|Bnm-H人|>H异，第二：n行的第m(m<N)个元素和第m+1个元素所表示的高度差超过H差，H差的值为5cm，也就是|Bnm-Bn(m+1)|>H差；
(13)同理，求出每一列的所有异常值，得到异常值位置row(n,m)。
(14)比较col(n,m)和row(n,m)的坐标值是否相同，如果col＝row，则深度图像Pheight对应的第n*m块对应的高度值相比其它块有明显的变化，则说明第n*m块位置有障碍物，这时返回标志位mark＝1。
(15)若每一行和每一列都没有找到异常值，说明深度图像Pdepth中的值是均匀变化的，没有明显的突变趋势，则说明整幅图像Pdepth代表的是坡面的深度图，这时返回标志位mark＝2。
(16)标志位mark＝1时小型处理器向骨传导耳机发送播放命令，播放内容为“小心障碍物”，当标志位mark＝2时小型处理器向骨传导耳机发送播放命令，播放内容为“小心坡道”。
该方法/系统相比于以往的盲人辅助方法优势在于：
1提前预警，该方法/系统的检测距离在1.5米以外，检测距离较远，可以提前提醒盲人前方的道路信息，达到提前预警的功能；
2深度图分块，将深度图分为M*N块，求每一块的平均高度值，可以避免较小的障碍物淹没在环境中，从而突出障碍物的位置；
3小型障碍物检测，对于地面上的小型障碍物，比如地面上的砖块，砖块所在的区域的高度相比其它区域，也就是地面有明显的变化，该系统能够提前告知盲人前方的障碍物信息，让盲人早做预防；
4该方法/系统只对正前方宽度为1到1.5米范围检测，避免在正前方能够通行的情况下，将两边的物体、墙壁等当做障碍物提醒给盲人，影响盲人行走。
附图说明
图1为该系统的世界坐标系；
图2为前方有障碍物的三维场景图；
图3为两个红外相机采集到的两幅深度图像，经过小型处理器处理后得到的一幅深度图像；
图4为深度图像中某一点的坐标说明；
图5为相机光轴与成像平面的交点示意图；
图6为深度图分成M*N块后的深度图；
图7为分块后的深度图中前方障碍物所在位置示意图；
具体实施方式：
一种障碍物和坡道检测系统，包括一个红外投射器，两个红外相机，一个串口转USB模块，一个USB集线器，一个骨传导耳机，两个骨传导震动模块，一个小型处理器，一块电池；两个红外相机的视场角为Φ1(本实施例中,Φ1为50)，两个红外相机的光轴向下倾斜，与水平面夹角为Φ2，本实施例中,Φ2为10。小型处理器控制着红外投射器投射不可见的近红外静态散斑到前方的三维场景中，两个红外相机实时采集前方三维场景的红外图像。姿态角传感器实时获得相机的姿态角，姿态角数据经串口转USB模块转换成USB数据。USB集线器将USB数据和图像数据传递给小型处理器。小型处理器对红外图像和姿态角数据进行处理，得出前方三维场景中的细小低矮的障碍物的分布信息以及是否为坡面，然后将障碍物信息转换成语义声音，并传递给骨传导耳机，骨传导耳机将语义信息转换成骨传导震动信息，两个骨传导震动模块将骨传导震动信息传递给盲人用户。
具体检测方法如下：
(1)系统初始化：姿态角传感器获取初始状态下的两个相机的初始姿态角数据，以其中一个相机的光心为原点，建立世界坐标系，如图1，并保存于小型处理器中，同时将红外相机的佩戴高度H录入到小型处理器中。
(2)两个红外相机采集前方的三维场景(如图2)的红外图像，同时姿态角传感器获得此时相机的姿态角数据，并通过串口转USB模块将姿态角数据转换成USB数据，然后USB集线器将姿态角数据和图像数据传给小型处理器。
(3)小型处理器根据姿态角数据，获得相机坐标系，进一步计算相机坐标系的坐标轴与世界坐标系中对用的坐标轴之间的夹角(αβγ)；
(4)小型处理器将两个红外图像转换为一幅深度图像Pdepth，如图3，创建m*n大小的矩阵A，其中m和深度图Pdepth的高相等，n和深度图Pdepth的宽相等；
(5)遍历深度图像Pdepth的每一个像素点，得到图像坐标系下每一点P(u,v,z)，z为该点的深度值。u为图像坐标系中，像素点的横坐标，v为图像坐标系中，像素点的纵坐标，如图4；
(6)判断P(u,v,z)的z值是否为零，如果非零，通过坐标转换将图像坐标系下的点转换到相机坐标系的点Q(X,Y,Z)，其中Z＝z。u0为相机光轴与成像平面交点的横坐标，v0为相机光轴与成像平面交点的纵坐标，如图5，；进一步将相机坐标系的点Q(X,Y,Z)转换到世界坐标系下，得到世界坐标系下对应的点P(Xw,Yw,Zw)，转换方式为：
其中Yw为该点的高度值，Zw为该点和相机的距离。并求得每个点P(Xw,Yw,Zw)对应的偏角
(7)判断点P(Xw,Yw,Zw)中Yw是否大于H1,本实施例中,H1为30cm。如果Yw>H1，将该点的Zw值置0，如果Yw<H1，Zw的坐标值不变，获得P(Xw,Yw,Z'w)，其中Z'w为0或Zw。
(8)判断偏角θ是否在[-α，α]范围内，本实施例中,α为15°，若是，则将P(Xw,Yw,Z'w)存入到矩阵A中，深度图像Pdepth中，与P(Xw,Yw,Z'w)对应的像素点是P(u,v,z)，则点P(Xw,Yw,Z'w)在矩阵A中的行和列分别为u,v；
(9)创建集合E1和E2，遍历矩阵A中每一个元素，判断m行n列元素Aij的Zw分量是否为零，若Zw＝0，将元素Aij存入集合E1中，若Zw≠0，将元素Aij存入集合E2中，集合E1称为无效点集合，集合E2称为有效点集合。
(10)从集合E2中随机选取K个点，组成集合E，对集合E中的点进行最小二乘法平面拟合得到平面的一般方程AX+BY+CZ＝D,得到平面的法向量取世界坐标系中垂直方向上的单位向量求出法向量和单位向量的夹角的余弦值
(11)比较cosθ和Ccos的大小关系，其中Ccos为角度是的余弦值，如果cosθ<Ccos，则判断前方区域为非地面，对原始的深度图像Pdepth进行分块，分成10*13块，如图6；求出每一块的平均高度值存入到矩阵B中，对矩阵B的每一行进行处理，矩阵B中的元素对应每一块的高度平均值
(12)求出每一行的所有的异常值Bnm，如图7，得到所有异常值Bnm的位置col(n,m)，即第n行m列，异常值Bnm在第n行中是具有显著性差异的值(P<0.05)，同时满足两个条件，第一：n行的第m个元素表示的高度距离地面超过H异，H异的值为5-10cm，也就是|Bnm-H人|>H异，第二：n行的第m(m<N)个元素和第m+1个元素所表示的高度差超过H差，H差的值为5cm，也就是|Bnm-Bn(m+1)|>H差；
(13)同理，求出每一列的所有异常值，得到异常值位置row(n,m)。
(14)比较col(n,m)和row(n,m)的坐标值是否相同，如果col＝row，则深度图像Pheight对应的第n*m块对应的高度值相比其它块有明显的变化，则说明第n*m块位置有障碍物，这时返回标志位mark＝1。
(15)若每一行和每一列都没有找到异常值，说明深度图像Pdepth中的值是均匀变化的，没有明显的突变趋势，则说明整幅图像Pdepth代表的是坡面的深度图，这时返回标志位mark＝2。
(16)标志位mark＝1时小型处理器向骨传导耳机发送播放命令，播放内容为“小心障碍物”，当标志位mark＝2时小型处理器向骨传导耳机发送播放命令，播放内容为“小心坡道”。

Claims (2)

1.一种障碍物和坡道检测方法，其特征在于，包括以下步骤：
(1)系统初始化：姿态角传感器获取初始状态下的两个相机的初始姿态角数据，以其中一个相机的光心为原点，建立世界坐标系，并保存于小型处理器中，同时将红外相机的佩戴高度H录入到小型处理器中；
(2)两个红外相机采集前方的三维场景的红外图像，同时姿态角传感器获得此时相机的姿态角数据，并通过串口转USB模块将姿态角数据转换成USB数据，然后USB集线器将姿态角数据和图像数据传给小型处理器；
(3)小型处理器根据姿态角数据，获得相机坐标系，进一步计算相机坐标系的坐标轴与世界坐标系中对用的坐标轴之间的夹角(αβγ)；
(4)小型处理器将两个红外图像转换为一幅深度图像Pdepth，创建m*n大小的矩阵A，其中m和深度图Pdepth的高相等，n和深度图Pdepth的宽相等；
(5)遍历深度图像Pdepth的每一个像素点，得到图像坐标系下每一点P(u,v,z)，z为该点的深度值；u为图像坐标系中，像素点的横坐标，v为图像坐标系中，像素点的纵坐标；
(6)判断P(u,v,z)的z值是否为零，如果非零，通过坐标转换将图像坐标系下的点转换到相机坐标系的点Q(X,Y,Z)，其中Z＝z；u0为相机光轴与成像平面交点的横坐标，v0为相机光轴与成像平面交点的纵坐标，；进一步将相机坐标系的点Q(X,Y,Z)转换到世界坐标系下，得到世界坐标系下对应的点P(Xw,Yw,Zw)，转换方式为：
其中Yw为该点的高度值，Zw为该点和相机的距离；并求得每个点P(Xw,Yw,Zw)对应的偏角
(7)判断点P(Xw,Yw,Zw)中Yw是否大于H1；H1取30～50cm之间,如果Yw>H1，将该点的Zw值置0，如果Yw<H1，Zw的坐标值不变，获得P(Xw,Yw,Z'w)，其中Z'w为0或Zw；
(8)判断偏角θ是否在[-α，α]范围内，若是，则将P(Xw,Yw,Z'w)存入到矩阵A中，深度图像Pdepth中，与P(Xw,Yw,Z'w)对应的像素点是P(u,v,z)，则点P(Xw,Yw,Z'w)在矩阵A中的行和列分别为u,v；
(9)创建集合E1和E2，遍历矩阵A中每一个元素，判断m行n列元素Aij的Zw分量是否为零，若Zw＝0，将元素Aij存入集合E1中，若Zw≠0，将元素Aij存入集合E2中，集合E1称为无效点集合，集合E2称为有效点集合；
(10)从集合E2中随机选取K个点，组成集合E，对集合E中的点进行最小二乘法平面拟合得到平面的一般方程AX+BY+CZ＝D,得到平面的法向量取世界坐标系中垂直方向上的单位向量求出法向量和单位向量的夹角的余弦值
(11)比较cosθ和Ccos的大小关系，其中Ccos为角度是的余弦值，如果cosθ<Ccos，则判断前方区域为非地面，对原始的深度图像Pdepth进行分块，分成M*N块，求出每一块的平均高度值存入到矩阵B中，对矩阵B的每一行进行处理，矩阵B中的元素对应每一块的高度平均值
(12)求出每一行的所有的异常值Bnm，得到所有异常值Bnm的位置col(n,m)，即第n行m列，异常值Bnm在第n行中是具有显著性差异的值(P<0.05)，同时满足两个条件，第一：n行的第m个元素表示的高度距离地面超过H异，也就是|Bnm-H人|>H异，第二：n行的第m(m<N)个元素和第m+1个元素所表示的高度差超过H差，H差的值为5cm，也就是|Bnm-Bn(m+1)|>H差；
(13)同理，求出每一列的所有异常值，得到异常值位置row(n,m)；
(14)比较col(n,m)和row(n,m)的坐标值是否相同，如果col＝row，则深度图像Pheight对应的第n*m块对应的高度值相比其它块有明显的变化，则说明第n*m块位置有障碍物，这时返回标志位mark＝1；
(15)若每一行和每一列都没有找到异常值，说明深度图像Pdepth中的值是均匀变化的，没有明显的突变趋势，则说明整幅图像Pdepth代表的是坡面的深度图，这时返回标志位mark＝2；
(16)标志位mark＝1时小型处理器向骨传导耳机发送播放命令，播放内容为“小心障碍物”，当标志位mark＝2时小型处理器向骨传导耳机发送播放命令，播放内容为“小心坡道”。
2.一种基于权利要求1所述方法的障碍物和坡道检测系统，其特征在于，包括一个红外投射器，两个红外相机，一个串口转USB模块，一个USB集线器，一个骨传导耳机，两个骨传导震动模块，一个小型处理器，一块电池；两个红外相机的视场角为Φ1，两个红外相机的光轴向下倾斜，与水平面夹角为Φ2；小型处理器控制着红外投射器投射不可见的近红外静态散斑到前方的三维场景中，两个红外相机实时采集前方三维场景的红外图像；姿态角传感器实时获得相机的姿态角，姿态角数据经串口转USB模块转换成USB数据；USB集线器将USB数据和图像数据传递给小型处理器；小型处理器按照权利要求1所述的检测方法，对红外图像和姿态角数据进行处理，得出前方三维场景中的细小低矮的障碍物的分布信息以及是否为坡面，然后将障碍物信息转换成语义声音，并传递给骨传导耳机，骨传导耳机将语义信息转换成骨传导震动信息，两个骨传导震动模块将骨传导震动信息传递给盲人用户。
CN201710166957.7A 2017-03-20 2017-03-20 一种障碍物和坡道检测系统及方法 Active CN106937910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710166957.7A CN106937910B (zh) 2017-03-20 2017-03-20 一种障碍物和坡道检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710166957.7A CN106937910B (zh) 2017-03-20 2017-03-20 一种障碍物和坡道检测系统及方法

Publications (2)

Publication Number Publication Date
CN106937910A CN106937910A (zh) 2017-07-11
CN106937910B true CN106937910B (zh) 2019-07-02

Family

ID=59463308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710166957.7A Active CN106937910B (zh) 2017-03-20 2017-03-20 一种障碍物和坡道检测系统及方法

Country Status (1)

Country Link
CN (1) CN106937910B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107888896B (zh) * 2017-10-20 2020-01-03 宁波天坦智慧电子科技股份有限公司 一种用于导盲眼镜的障碍判断与提醒方法及一种导盲眼镜
CN108280401B (zh) * 2017-12-27 2020-04-07 达闼科技（北京）有限公司 一种路面检测方法、装置、云端服务器及计算机程序产品
CN108876798B (zh) * 2018-06-12 2022-03-18 杭州视氪科技有限公司 一种楼梯检测系统及方法
CN109448058A (zh) * 2018-11-12 2019-03-08 北京拓疆者智能科技有限公司 装载位置三维坐标获取方法、系统及图像识别设备
CN111208533A (zh) * 2020-01-09 2020-05-29 上海工程技术大学 一种基于激光雷达的实时地面检测方法
CN111524176A (zh) * 2020-04-16 2020-08-11 深圳市沃特沃德股份有限公司 视距测量定位的方法、装置和计算机设备
CN111685980A (zh) * 2020-05-07 2020-09-22 天津大学 一种基于触觉反馈的穿戴式盲人助行系统
CN112188059B (zh) * 2020-09-30 2022-07-15 深圳市商汤科技有限公司 可穿戴设备、智能引导方法及装置、引导系统
CN113822260B (zh) * 2021-11-24 2022-03-22 杭州蓝芯科技有限公司 基于深度图像的障碍物检测方法及装置、电子设备、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1394761A2 (en) * 2002-08-28 2004-03-03 Kabushiki Kaisha Toshiba Obstacle detection device and method therefor
CN102163331A (zh) * 2010-02-12 2011-08-24 王炳立 采用标定方法的图像辅助系统
CN106203390A (zh) * 2016-07-22 2016-12-07 杭州视氪科技有限公司 一种智能盲人辅助系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9155675B2 (en) * 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
KR20160028891A (ko) * 2014-09-04 2016-03-14 김경연 깊이 카메라와 방향 센서를 이용한 시각 장애인을 위한 장애물 인식 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1394761A2 (en) * 2002-08-28 2004-03-03 Kabushiki Kaisha Toshiba Obstacle detection device and method therefor
CN102163331A (zh) * 2010-02-12 2011-08-24 王炳立 采用标定方法的图像辅助系统
CN106203390A (zh) * 2016-07-22 2016-12-07 杭州视氪科技有限公司 一种智能盲人辅助系统

Also Published As

Publication number Publication date
CN106937910A (zh) 2017-07-11

Similar Documents

Publication Publication Date Title
CN106937910B (zh) 一种障碍物和坡道检测系统及方法
CN106203390B (zh) 一种智能盲人辅助系统
CN106125730B (zh) 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
US9370459B2 (en) System and method for alerting visually impaired users of nearby objects
CN101336856B (zh) 辅助视觉系统的信息获取与传递方法
Meers et al. A substitute vision system for providing 3D perception and GPS navigation via electro-tactile stimulation
US20070098250A1 (en) Man-machine interface based on 3-D positions of the human body
JP6218209B2 (ja) 障害物検出装置
CN106214437A (zh) 一种智能盲人辅助眼镜
Sáez et al. Aerial obstacle detection with 3-D mobile devices
Rodríguez et al. Obstacle avoidance system for assisting visually impaired people
CN106597690B (zh) 一种基于rgb-d相机和立体声的视障人士通路预知眼镜
CN106846350B (zh) 一种基于rgb-d相机和立体声的视障人士障碍物预警系统及方法
Pradeep et al. A wearable system for the visually impaired
CN107341789A (zh) 一种基于rgb‑d相机和立体声的视障人士通路预知系统和方法
Ali et al. Blind navigation system for visually impaired using windowing-based mean on Microsoft Kinect camera
Pradeep et al. Piecewise planar modeling for step detection using stereo vision
CN113050074A (zh) 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN107610152A (zh) 一种用于躲避水面与障碍物的通路检测方法
Zhao et al. Environmental perception and sensor data fusion for unmanned ground vehicle
Orita et al. Obstacle detection by the Kinect cane system for the visually impaired
Junejo et al. Autoconfiguration of a dynamic nonoverlapping camera network
AU2021303477A1 (en) Method and system of detecting obstacle elements with a visual aid device
Nagarajan et al. Role of object identification in sonification system for visually impaired
CN108876798A (zh) 一种楼梯检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 9, 181, 310000, Wuchang Road, Wuchang Street, Yuhang District, Zhejiang, Hangzhou, 202-7

Applicant after: Hangzhou vision krypton Technology Co., Ltd.

Address before: Room 589, C building, No. 525 Xixi Road, Xihu District, Zhejiang, Hangzhou 310013, China

Applicant before: Hangzhou vision krypton Technology Co., Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant