CN106203390B - 一种智能盲人辅助系统 - Google Patents

一种智能盲人辅助系统 Download PDF

Info

Publication number
CN106203390B
CN106203390B CN201610584217.0A CN201610584217A CN106203390B CN 106203390 B CN106203390 B CN 106203390B CN 201610584217 A CN201610584217 A CN 201610584217A CN 106203390 B CN106203390 B CN 106203390B
Authority
CN
China
Prior art keywords
color
image
depth
infrared
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610584217.0A
Other languages
English (en)
Other versions
CN106203390A (zh
Inventor
于红雷
杨恺伦
吴国伟
孙庆锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Vision Krypton Technology Co Ltd
Original Assignee
Hangzhou Vision Krypton Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Vision Krypton Technology Co Ltd filed Critical Hangzhou Vision Krypton Technology Co Ltd
Priority to CN201610584217.0A priority Critical patent/CN106203390B/zh
Publication of CN106203390A publication Critical patent/CN106203390A/zh
Application granted granted Critical
Publication of CN106203390B publication Critical patent/CN106203390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0157—Constructive details portable
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0173—Means for preventing injuries
    • A61H2201/0184—Means for preventing injuries by raising an alarm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1604—Head
    • A61H2201/1607—Holding means therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5092—Optical sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Rehabilitation Therapy (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种新型智能盲人辅助系统，该系统利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机和一个彩色相机采集图像，利用姿态角传感器获取相机的姿态角信息，对图像中的深度信息和颜色信息、姿态角信息进行处理，检测出图像中的地面和障碍物，最后将检测结果转化为非语义的声音编码，通过骨传导耳机传递给盲人进行辅助，可以很好地满足盲人辅助的要求。

Description

一种智能盲人辅助系统
技术领域
本发明属于盲人辅助技术、双目视觉技术、三维环境感知技术、声音编码技术领域。本发明包含一种新型智能盲人辅助系统，涉及一种利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机和一个彩色相机采集图像，利用姿态角传感器获取相机的姿态角信息，对图像中的深度信息和颜色信息、姿态角信息进行处理，检测出图像中的地面和障碍物，最后将检测结果转化为非语义的声音编码，通过骨传导耳机传递给盲人进行辅助的系统。
背景技术
根据世界健康组织统计，全世界有四千万盲人。盲人损失了正常的视觉，对颜色、形状、距离、运动的理解都很困难，他们的生活在起居、出行等方面都受到了巨大的影响。
传统的盲人辅助工具比如盲人手杖，盲人需要反复移动手杖，才能获知面前的情况，既费时也费力。盲人手杖的探测距离有限，只能检测脚边的障碍物，也无法反映远处和空中的状况。导盲犬可以为盲人提供帮助，但是导盲犬的训练和养护费用是高昂的，普通家庭难以承担。有些场合，导盲犬不能陪同盲人进入，比如公交车和火车站，因此导盲犬的辅助是有局限性的。仿生眼可以帮助盲人恢复部分视觉，但仿生眼的植入需要进行手术，费用高昂。仿生眼只适用于视网膜色素变性或老年性黄斑变性导致失明的盲人。视觉神经损坏的盲人无法通过植入仿生眼恢复部分视觉。
电子式的视障辅助工具主要使用超声波技术、激光测距技术、双目视觉技术、激光散斑编码技术、激光雷达技术、毫米波雷达技术、热成像技术、全球定位系统(GPS)。基于超声波技术和激光测距技术的测距范围有限，只能实现单点测距，获取的信息量太少，且耗电多，设备笨重，只能实现报警功能，容易受环境干扰。基于双目视觉技术的辅助依赖于环境中特征点和纹理的丰富程度，对于一些纹理单一的场景失效，如室内的白墙，光滑地面等。双目视觉技术会受镜面反射等特殊情形的欺骗，从而造成漏判或者误判。基于激光散斑编码技术的辅助在室外失效，因为主动投射的结构光被阳光淹没，从而无法识别编码的散斑。激光散斑编码技术由于受到功率限制，存在最远距离，超过最远距离的物体无法对其测距。基于激光雷达技术的辅助成本高，通常采样率低，对灰尘、雾霾、雨水敏感，而且无法获取颜色和纹理信息。基于毫米波雷达的辅助分辨率低，信号处理过程难。基于热成像技术的辅助分辨率低，标定过程复杂，且只能检测人和动物等发热物体。基于GPS的辅助精度低，会有信号损失，不能在室内使用，而且无法获取局部动态的障碍物信息。
传统盲人辅助的交互方法主要有语音提示、触觉震动的方法。语义提示通常播报障碍物的距离和方向，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量小。触觉震动通过以震动腰带或者震动背心为硬件，以震动来提示障碍物的方位，震动装置可以解决延迟的问题，但给盲人带来负担，不同人的穿戴感受不同。
发明内容
本发明的目的是针对现有技术的不足，提供一种智能盲人辅助系统。
本发明是目的是通过以下技术方案实现的：一种智能盲人辅助系统，所述系统包含一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。三个相机的姿态角一致，且通过姿态角传感器实时地获取。姿态角传感器与串口转USB模块相连，红外投射器、两个红外相机、彩色相机、串口转USB模块分别通过USB集线器与小型处理器相连，电池模块与小型处理器相连。小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的红外图像。彩色相机实时地采集三维场景的彩色图像。姿态角传感器实时采集三个相机的姿态角，串口转USB模块将姿态角传感器输出的串口数据(姿态角)转为USB数据。USB集线器将相机获取的图像和姿态角传感器获取的数据，传给小型处理器。小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理，检测出场景中的地面和障碍物信息，并将检测结果转为非语义的声音编码信号，并传给骨传导耳机模块。骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号，传给两个骨传导震动模块。两个骨传导震动模块，传递骨传导震动信号给盲人用户。
进一步地，所述系统通过以下方法对盲人进行智能辅助：
(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距fIR，左红外相机的主点位置(cIR-x,cIR-y)，两个红外相机的基线距离BIR-IR。
(2)对彩色相机进行一次相机标定，获取彩色相机的焦距fcolor，主点位置(cCOLOR-x,cCOLOR-y)。
(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离BIR-COLOR。
(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中。
(5)两个红外相机采集三维场景的两张红外图像IRleft和IRright。
(6)彩色相机采集三维场景的彩色图像Color。
(7)姿态角传感器采集三个相机的X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ。
(8)串口转USB模块将姿态角传感器获取的串口数据转为USB数据。
(9)USB集线器将两张红外图像IRleft和IRright，彩色图像Color，X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器。
(10)小型处理器对两张红外图像IRleft和IRright提取Sobel边缘，获取两张Sobel边缘图像Sobelleft和Sobelright。
(11)以左Sobel边缘图像Sobelleft为基准，对两张Sobel边缘图像Sobelleft和Sobelright进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e1,e2,e3,...,eM}。在左Sobel边缘图像Sobelleft中，每一个有效点为e＝(u,v,d)T，u为横坐标像素值，v为纵坐标像素值，d为视差值。
(12)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝aiu+biv+ci，其中ai，bi，ci为第i个视差平面的系数。
(13)在这些视差平面的基础上，将未匹配的像素点(u',v',d')T转换为匹配的有效点(u,v,d)T；具体为：该像素点(u',v',d')T到第i视差平面的距离为设能量函数为其中ε，σ为常数。对该像素点，遍历视差搜索范围所有的视差值d'＝{d'min,...,d'max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d。另外，u＝u'，v＝v'。
(14)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparityleft。
(15)根据两个红外相机的焦距fIR和基线距离BIR-IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depthleft中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depthleft。
(16)根据深度图像Depthleft，两个红外相机的焦距fIR和左红外相机的主点位置(cIR-x,cIR-y)，可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)。深度图像Depthleft中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：
Z＝depth
(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(Xw,Yw,Zw)：
(18)对于深度图像中所有的三维点，随机选取3个点，这3个点可以形成一个平面，平面方程为AXw+BYw+CZw+D＝0。如果(nth为阈值，取0.85～0.95)，说明该平面和水平面夹角较小，可作为地面的候选，否则跳出进行下一次随机取点。对可作为地面候选的平面，计算出每一点(Xi,Yi,Zi)到该平面的距离如果DPSi＜T，(T为阈值，取20mm～100mm)，则内点Inliers增加1，所述内点为满足DPSi＜T的点。一般近似为该平面内的点。随机取点20～30次，并重复上述处理，取20～30次结果中内点Inliers最多的平面作为初始地面检测结果OriginalTraversableArea。
(19)利用深度图像Depthleft和彩色图像Color，两个红外相机的焦距fIR，左红外相机的主点位置(cIR-x,cIR-y)，彩色相机的焦距fcolor，彩色相机的主点位置(cCOLOR-x,cCOLOR-y)，以及左红外相机和彩色相机的基线距离BIR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depthcolor。
(20)对彩色图像进行颜色空间变换，获取在HSV颜色空间中的彩色图HSV。对彩色图像提取Canny边缘，获取彩色图像的边缘图像Canny。
(21)初始地面检测的地面结果中的像素点，其中四邻域不全是地面的像素点设为种子点。将种子点都压入种子点堆栈。
(22)设定种子点可向四邻域生长的条件：①这个种子点没有遍历过；②这个种子点不属于边缘图像Canny的有效点。
(23)从种子点堆栈中取出一个种子点，如果该种子点满足可向四邻域生长的条件，进行以下处理。对种子点G，该点的色调值为h，它的其中一个四邻域像素点Gi，该点的色调值为hi，如Gi不属于边缘图像Canny的有效点，Gi没有被遍历过，且|h-hi|＜δ，其中δ是阈值(取2～5)，则Gi也视为可通行的地面，压入种子点堆栈。当遍历堆栈中所有种子点后，种子区域生长结束。初始地面检测结果OriginalTraversableArea经过种子区域生长，被扩展到了距离更长，范围更广的扩展地面检测结果ExpandedTraversableArea。
将扩展地面检测结果ExpandedTraversableArea分为K个方向，根据ExpandedTraversableArea中每个点的世界坐标系下的三维坐标，得到K个方向上地面的长度和K个方向上地面的宽度。
(24)用不同音色的人的合唱来表示扩展地面检测结果。不同方向的地面用不同音色的人声表示，不同方向地面的长度Length与声音的响度Volume成正比，不同方向地面的宽度Width与声音的频率Pitch成正比。每个方向的人声都为立体声。
(25)将深度图像Depthcolor的地面区域的像素点的深度置为0，获得除去地面区域的无地面深度图像DepthWithoutGround，以表示障碍物信息；将无地面深度图像DepthWithoutGround分为J个方向，用不同音色的乐器的合奏来表示无地面深度图像DepthWithoutGround。不同方向的图像用不同音色的乐器表示，不同方向的平均深度Depth与这个方向乐器声音的响度Volume成反比。平均深度Depth为零则不发声。每个方向的乐器声都为立体声。
(26)小型处理器将非语义的声音编码信号通过无线传给骨传导耳机模块。
(27)骨传导耳机将非语义的声音编码信号转为骨传导震动信号。
(28)骨传导震动模块将骨传导震动信号传递给盲人用户。
本方法相比以往的盲人辅助方法的优势主要在于：
1、环境适用性。由于使用红外投射器和两个红外传感器，该方法在室内室外都可以使用。在室内时，红外投射器投射的静态近红外光斑给三维场景增加了纹理，有利于获取稠密的深度图像。在室外时，阳光的近红外部分和三维场景结合，有利于获取稠密的深度图像。稠密的深度图像可以保证地面检测的鲁棒性和辅助交互的体验效果。
2、稳定的检测结果。相比传统的仅利用深度图像检测地面的方法，利用姿态角信息和深度图像产生的三维坐标用于检测地面，有利于消除大部分采样误差，提高地面检测的鲁棒性和稳定性。
3、兼顾反映近处远处的情况。去除地面部分的深度图像经过非语义的声音编码，可以很好的反馈近处的信息，有利于障碍物的预警。利用深度图像和彩色图像扩展的地面检测结果经过非语义的声音编码，可以很好的表示更远和更宽广的可通行区域，有利于盲人提前规划路径和提升盲人在开阔地带漫步的体验。
4、可检测空中的障碍物。传统的盲人手杖只能探测脚边的路况，不能照顾前方空中的情况，新型智能盲人辅助系统，可以预警空中的障碍物，从而防止盲人用户碰撞空中的树枝或门梁等物体。
5、不占用双耳。新型智能盲人辅助系统，采用骨传导耳机传递信号给盲人用户，不妨碍用户听取外界的声音。
6、不占用双手。新型智能盲人辅助系统可穿戴，便携的小型处理器可以放在口袋或者小包里，既不会给盲人带来很大的负担，也无需盲人用手拿辅助工具。
7、反馈充分的信息量。相比语义式的语音播报，非语义的声音编码利用人声的不同音色、不同频率、不同响度以及立体声效果表示地面检测结果，利用乐器的不同音色、不同响度以及立体声效果表示去除地面的深度图像，可以充分传递前方的路况和障碍物信息。
附图说明
图1为新型智能盲人辅助眼镜模块图；
图2为新型智能盲人辅助眼镜结构图；
图3为新型智能盲人辅助眼镜结构图；
图4为新型智能盲人辅助眼镜穿戴效果图；
图5为新型智能盲人辅助眼镜穿戴效果图；
图6为新型智能盲人辅助眼镜穿戴效果图；
图7为新型智能盲人辅助眼镜穿戴效果图；
图8为姿态角传感器的X、Y、Z三轴方向示意图。
具体实现方式
新型智能盲人辅助系统的组成部分：
新型智能盲人辅助系统包含一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一块电池模块。
新型智能盲人辅助系统各组成部分的功能：
红外投射器向三维场景中投射不可见的静态近红外散斑。
两个红外相机实时地采集三维场景的两幅红外图像。
彩色相机实时地采集三维场景的一幅彩色图像。
姿态角传感器实时地获取相机三个方向的姿态角。
串口转USB模块将姿态角传感器输出的串口数据转为USB数据。
USB集线器和红外投射器、两个红外相机、彩色相机、串口转USB模块相连。USB集线器将相机获取的图像和姿态角传感器获取的数据，传给小型处理器。
小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理，检测出场景中的地面和障碍物信息，并将检测结果转为非语义的声音编码信号，通过蓝牙传给骨传导耳机模块。小型的处理器可以是便携的笔记本电脑、平板电脑或者计算棒。
骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号，传给两个骨传导震动模块。
两个骨传导震动模块，传递骨传导震动信号给盲人用户。
电池模块给系统供电。
新型智能盲人系统的各组成部分的位置关系：
为便于穿戴，本发明的各个部件可架构于镜架上，两个相同的红外相机位于眼镜前方两侧，彩色相机和红外投射器位于两个红外相机之间。三个相机的姿态角相同，两个红外相机、一个彩色相机的光轴彼此平行，朝向前。
两个骨传导震动模块位于两个镜脚中间偏后处，贴合盲人耳朵前方的颅骨处。
姿态角传感器和串口转USB模块位于右镜脚，骨传导耳机模块、USB集线器和电池模块位于左镜脚。姿态角传感器的X、Y、Z三轴方向如图8所示，其中X轴、Y轴均与两个红外相机、一个彩色相机的光轴方向垂直。
新型智能盲人辅助系统辅助方法的流程：
新型智能盲人辅助系统的辅助方法的流程可分为以下几步。
1-3为相机标定，在新型智能盲人辅助系统出厂之前完成，只需执行一次，即可获取相机的参数和相对位置关系。
1、对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距fIR，左红外相机的主点位置(cIR-x,cIR-y)，两个红外相机的基线距离BIR-IR。
2、对彩色进行一次相机标定，获取彩色相机的焦距fcolor，主点位置(cCOLOR-x,cCOLOR-y)。
3、对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离BIR-COLOR。
4-28在使用过程中，每一帧都执行一次。
4-15为根据两幅红外图像获取深度图像。
4、红外投射器实时地投射不可见的静态近红外散斑到三维场景中。
5、两个红外相机采集三维场景的两张红外图像IRleft和IRright。
6、彩色相机采集三维场景的彩色图像Color。
7、姿态角传感器采集X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ。
8、串口转USB模块将姿态角传感器获取的串口数据转为USB数据。
9、USB集线器将两张红外图像IRleft和IRright，彩色图像Color，X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器。
10、小型处理器对两张红外图像IRleft和IRright提取Sobel边缘，获取两张Sobel边缘图像Sobelleft和Sobelright。
11、以左Sobel边缘图像Sobelleft为基准，对两张Sobel边缘图像Sobelleft和Sobelright进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e1,e2,e3,...,eM}。在左Sobel边缘图像Sobelleft中，每一个有效点为em＝(um,vm,dm)T，um为横坐标像素值，vm为纵坐标像素值，dm为视差值。
12、以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为dn＝aiun+bivn+ci，其中ai，bi，ci为第i个视差平面的系数。
13、在这些视差平面的基础上，获取未匹配的像素点的视差值。每个未匹配的像素点，其待求的视差值为dx。因此该像素点为(ux,vx,dx)T，到第i视差平面的距离为设能量函数为其中ε，σ为常数。对该像素点，遍历视差搜索范围所有的视差值dx＝{dmin,...,dmax}，求出使得能量函数Energy(dx)最小的视差值dmin-energy，当成该像素点的视差值。
14、遍历所有未匹配的像素点，获取每个点的视差值，得到以左红外相机为基准的视差图像Disparityleft。
15、根据两个红外相机的焦距fIR和基线距离BIR-IR，将视差图像Disparityleft转为左红外相机为基准的深度图像Depthleft。遍历视差图像中的每一点(um,vm,dm)，其深度值为因此深度图像Depthleft中每一点对应为(um,vm,depthm)。
16-17为根据深度图像和姿态角信息，获取深度图像中每一点的三维坐标。
16、根据深度图像Depthleft，两个红外相机的焦距fIR和左红外相机的主点位置(cIR-x,cIR-y)，可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)。深度图像Depthleft中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：
Z＝depth
17、根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(Xw,Yw,Zw)：
18为利用深度图像中的三维点坐标，获取初始地面检测结果。
18、对于深度图像中所有的三维点，随机选取3个点，这3个点可以形成一个平面，平面方程为AXw+BYw+CZw+D＝0。如果(nth＝0.85～0.95)，说明该平面和水平面夹角较小，可作为地面的候选，否则跳出进行下一次随机取点。对可作为地面候选的平面，计算出每一点到该平面的距离如果DPSi＜T，(T＝20mm～100mm)，则内点Inliers增加1。随机取点m次，并重复上述处理，取m次结果中内点Inliers最多的平面作为初始地面检测结果OriginalTraversableArea。
19-23为利用深度图像、彩色图像和初始地面检测结果，利用种子区域生长扩展地面检测结果。
19、利用深度图像Depthleft和彩色图像Color，两个红外相机的焦距fIR，左红外相机的主点位置(cIR-x,cIR-y)，彩色相机的焦距fcolor，主点位置(cCOLOR-x,cCOLOR-y)，以及左红外相机和彩色相机的基线距离BIR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depthcolor。
20、对彩色图像进行颜色空间变换，获取在HSV颜色空间中的彩色图HSV。对彩色图像提取Canny边缘，获取彩色图像的边缘图像Canny。
21、初始地面检测的地面结果中的像素点，其中四邻域不全是地面的像素点设为种子点。将种子点都压入种子点堆栈。
22、种子点可向四邻域生长的条件包括：①这个种子点没有遍历过；②这个种子点不属于边缘图像Canny的有效点。
23、从种子点堆栈中取出一个种子点，如果该种子点满足可向四邻域生长的条件，进行以下处理。对种子点G，该点的色调值为h，它的其中一个四邻域像素点Gi，该点的色调值为hi，如Gi不属于边缘图像Canny的有效点，Gi没有被遍历过，且｜h-hi｜＜δ，其中δ＝2～5，则Gi也视为可通行的地面，压入种子点堆栈。当种子点堆栈为空堆栈时，种子区域生长结束。初始地面检测结果OriginalTraversableArea经过种子区域生长，被扩展到了距离更长，范围更广的扩展地面检测结果ExpandedTraversableArea。
24-26为将扩展地面检测结果和非地面区域转为非语义的声音编码信号。
24、将扩展地面检测结果ExpandedTraversableArea分为K个方向，用不同音色的人的合唱来表示扩展地面检测结果。不同方向的地面用不同音色的人声表示，不同方向地面的长度Length与声音的响度Volume成正比，不同方向地面的宽度Width与声音的频率Pitch成正比。每个方向的人声都为立体声。
25、将深度图像的地面区域的像素点的深度置为0，获得除去地面区域的无地面深度图像DepthWithoutGround，也就是障碍物信息分为K个方向，用不同音色的乐器的合奏来表示无地面深度图像DepthWithoutGround。不同方向的图像用不同音色的乐器表示，不同方向的平均深度Depth与这个方向乐器声音的响度Volume成反比。平均深度Depth为零则不发声。每个方向的乐器声都为立体声。
26、小型处理器通过蓝牙模块将非语义的声音编码信号传给骨传导耳机模块。
27-28为骨传导耳机传递非语义的声音编码信号给盲人用户。
27、骨传导耳机将非语义的声音编码信号转为骨传导震动信号。
28、骨传导震动模块将骨传导震动信号传递给盲人用户。

Claims (1)

1.一种智能盲人辅助系统，所述系统包含一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个串口转USB模块，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块；三个相机的姿态角一致，且通过姿态角传感器实时地获取；姿态角传感器与串口转USB模块相连，红外投射器、两个红外相机、彩色相机、串口转USB模块分别通过USB集线器与小型处理器相连，电池模块与小型处理器相连；小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的红外图像；彩色相机实时地采集三维场景的彩色图像；姿态角传感器实时采集三个相机的姿态角，串口转USB模块将姿态角传感器输出的姿态角数据转为USB数据；USB集线器将相机获取的图像和姿态角传感器获取的数据，传给小型处理器；小型处理器对获取的两幅红外图像、一幅彩色图像、姿态角数据进行处理，检测出场景中的地面和障碍物信息，并将检测结果转为非语义的声音编码信号，并传给骨传导耳机模块；骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号，传给两个骨传导震动模块；两个骨传导震动模块，传递骨传导震动信号给盲人用户；
所述系统通过以下方法对盲人进行智能辅助：
(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距fIR，左红外相机的主点位置(cIR-x,cIR-y)，两个红外相机的基线距离BIR-IR；
(2)对彩色相机进行一次相机标定，获取彩色相机的焦距fcolor，主点位置(cCOLOR-x,cCOLOR-y)；
(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离BIR-COLOR；
(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中；
(5)两个红外相机采集三维场景的两张红外图像IRleft和IRright；
(6)彩色相机采集三维场景的彩色图像Color；
(7)姿态角传感器采集三个相机的X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ；
(8)串口转USB模块将姿态角传感器获取的串口数据转为USB数据；
(9)USB集线器将两张红外图像IRleft和IRright，彩色图像Color，X，Y，Z三轴方向的转角AngleX，AngleY，AngleZ传给小型处理器；
(10)小型处理器对两张红外图像IRleft和IRright提取Sobel边缘，获取两张Sobel边缘图像Sobelleft和Sobelright；
(11)以左Sobel边缘图像Sobelleft为基准，对两张Sobel边缘图像Sobelleft和Sobelright进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e1,e2,e3,...,eM}；在左Sobel边缘图像Sobelleft中，每一个有效点为e＝(u,v,d)T，u为横坐标像素值，v为纵坐标像素值，d为视差值；
(12)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝aiu+biv+ci，其中ai，bi，ci为第i个视差平面的系数；
(13)在这些视差平面的基础上，将未匹配的像素点(u',v',d')T转换为匹配的有效点(u,v,d)T；具体为：该像素点(u',v',d')T到第i视差平面的距离为设能量函数为其中ε，σ为常数；对该像素点，遍历视差搜索范围所有的视差值d'＝{d'min,...,d'max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d；另外，u＝u'，v＝v'；
(14)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparityleft；
(15)根据两个红外相机的焦距fIR和基线距离BIR-IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depthleft中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depthleft；
(16)根据深度图像Depthleft，两个红外相机的焦距fIR和左红外相机的主点位置(cIR-x,cIR-y)，可计算出每一点在相机坐标系下的三维坐标(X,Y,Z)；深度图像Depthleft中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：
Z＝depth
(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为AngleX＝α，AngleY＝β，AngleZ＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(Xw,Yw,Zw)：
(18)对于深度图像中所有的三维点，随机选取3个点，这3个点可以形成一个平面，平面方程为AXw+BYw+CZw+D＝0；如果nth为阈值，说明该平面和水平面夹角较小，可作为地面的候选，否则跳出进行下一次随机取点；对可作为地面候选的平面，计算出每一点(Xi,Yi,Zi)到该平面的距离如果DPSi<T，T为阈值，则内点Inliers增加1，所述内点为满足DPSi<T的点；随机取点20～30次，并重复上述处理，取20～30次结果中内点Inliers最多的平面作为初始地面检测结果OriginalTraversableArea；
(19)利用深度图像Depthleft和彩色图像Color，两个红外相机的焦距fIR，左红外相机的主点位置(cIR-x,cIR-y)，彩色相机的焦距fcolor，彩色相机的主点位置(cCOLOR-x,cCOLOR-y)，以及左红外相机和彩色相机的基线距离BIR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depthcolor；
(20)对彩色图像进行颜色空间变换，获取在HSV颜色空间中的彩色图HSV；对彩色图像提取Canny边缘，获取彩色图像的边缘图像Canny；
(21)初始地面检测的地面结果中的像素点，其中四邻域不全是地面的像素点设为种子点；将种子点都压入种子点堆栈；
(22)设定种子点可向四邻域生长的条件：①这个种子点没有遍历过；②这个种子点不属于边缘图像Canny的有效点；
(23)从种子点堆栈中取出一个种子点，如果该种子点满足可向四邻域生长的条件，进行以下处理；对种子点G，该点的色调值为h，它的其中一个四邻域像素点Gi，该点的色调值为hi，如Gi不属于边缘图像Canny的有效点，Gi没有被遍历过，且|h-hi|<δ，其中δ是阈值，则Gi也视为可通行的地面，压入种子点堆栈；当遍历堆栈中所有种子点后，种子区域生长结束；初始地面检测结果OriginalTraversableArea经过种子区域生长，被扩展到了距离更长，范围更广的扩展地面检测结果ExpandedTraversableArea；
将扩展地面检测结果ExpandedTraversableArea分为K个方向，根据ExpandedTraversableArea中每个点的世界坐标系下的三维坐标，得到K个方向上地面的长度和K个方向上地面的宽度；
(24)用不同音色的人的合唱来表示扩展地面检测结果；不同方向的地面用不同音色的人声表示，不同方向地面的长度Length与声音的响度Volume成正比，不同方向地面的宽度Width与声音的频率Pitch成正比；每个方向的人声都为立体声；
(25)将深度图像Depthcolor的地面区域的像素点的深度置为0，获得除去地面区域的无地面深度图像DepthWithoutGround，以表示障碍物信息；将无地面深度图像DepthWithoutGround分为J个方向，用不同音色的乐器的合奏来表示无地面深度图像DepthWithoutGround；不同方向的图像用不同音色的乐器表示，不同方向的平均深度Depth与这个方向乐器声音的响度Volume成反比；平均深度Depth为零则不发声；每个方向的乐器声都为立体声；
(26)小型处理器将非语义的声音编码信号通过无线传给骨传导耳机模块；
(27)骨传导耳机模块将非语义的声音编码信号转为骨传导震动信号；
(28)骨传导震动模块将骨传导震动信号传递给盲人用户。
CN201610584217.0A 2016-07-22 2016-07-22 一种智能盲人辅助系统 Active CN106203390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610584217.0A CN106203390B (zh) 2016-07-22 2016-07-22 一种智能盲人辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610584217.0A CN106203390B (zh) 2016-07-22 2016-07-22 一种智能盲人辅助系统

Publications (2)

Publication Number Publication Date
CN106203390A CN106203390A (zh) 2016-12-07
CN106203390B true CN106203390B (zh) 2019-09-24

Family

ID=57491516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610584217.0A Active CN106203390B (zh) 2016-07-22 2016-07-22 一种智能盲人辅助系统

Country Status (1)

Country Link
CN (1) CN106203390B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106726378A (zh) * 2016-12-08 2017-05-31 上海电力学院 基于立体视觉和电致触觉阵列的盲人导路器
CN110169056B (zh) * 2016-12-12 2020-09-04 华为技术有限公司 一种动态三维图像获取的方法和设备
CN106600640B (zh) * 2016-12-12 2020-03-20 杭州视氪科技有限公司 一种基于rgb-d相机的人脸识别辅助眼镜
CN108269238B (zh) * 2017-01-04 2021-07-13 浙江舜宇智能光学技术有限公司 深度图像采集装置和深度图像采集系统及其图像处理方法
CN106874945B (zh) * 2017-01-25 2020-05-12 杭州视氪科技有限公司 一种用于视障人士的人行道交通灯检测系统和方法
CN106937910B (zh) * 2017-03-20 2019-07-02 杭州视氪科技有限公司 一种障碍物和坡道检测系统及方法
CN107320296A (zh) * 2017-06-23 2017-11-07 重庆锦上医疗器械有限公司 视觉信号的空间三维声音表达系统及方法
CN109215044B (zh) * 2017-06-30 2020-12-15 京东方科技集团股份有限公司 图像处理方法和系统、存储介质和移动系统
CN107397658B (zh) * 2017-07-26 2020-06-19 成都快眼科技有限公司 一种多尺度全卷积网络及视觉导盲方法和装置
CN107610152B (zh) * 2017-08-31 2020-02-28 杭州视氪科技有限公司 一种用于躲避水面与障碍物的通路检测方法
CN107917701A (zh) * 2017-12-28 2018-04-17 人加智能机器人技术（北京）有限公司 基于主动式双目立体视觉的测量方法及rgbd相机系统
CN108347685A (zh) * 2018-02-05 2018-07-31 四川东鼎里智信息技术有限责任公司 一种视觉识别转化为骨传导的精密算法
CN108898055A (zh) * 2018-05-24 2018-11-27 长安大学 一种检测信息融合的移动机器人障碍物检测方法
CN109490926B (zh) * 2018-09-28 2021-01-26 浙江大学 一种基于双目相机和gnss的路径规划方法
CN110399807B (zh) * 2019-07-04 2021-07-16 达闼机器人有限公司 检测地面障碍物的方法、装置、可读存储介质及电子设备
CN111121749B (zh) * 2019-12-26 2023-05-23 韩可 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法
CN113126028B (zh) * 2021-04-13 2022-09-02 上海盈蓓德智能科技有限公司 一种基于多个麦克风阵列的噪声源定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126989A (zh) * 2014-07-30 2014-11-05 福州大学 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法
CN204766392U (zh) * 2015-05-14 2015-11-18 广州龙天软件科技有限公司 一种导盲信息处理装置
CN105701811A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117274B2 (en) * 2011-08-01 2015-08-25 Fuji Xerox Co., Ltd. System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104126989A (zh) * 2014-07-30 2014-11-05 福州大学 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法
CN204766392U (zh) * 2015-05-14 2015-11-18 广州龙天软件科技有限公司 一种导盲信息处理装置
CN105701811A (zh) * 2016-01-12 2016-06-22 浙江大学 一种基于rgb-ir相机的声音编码交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《A Ground and Obstacle Detection Algorithm for the Visually Impaired》;Ruiqi Cheng 等;《ICBISP 2015》;20151119;摘要，第2-3,6节 *

Also Published As

Publication number Publication date
CN106203390A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106203390B (zh) 一种智能盲人辅助系统
CN106214437A (zh) 一种智能盲人辅助眼镜
CN106597690B (zh) 一种基于rgb-d相机和立体声的视障人士通路预知眼镜
Zhu et al. The multivehicle stereo event camera dataset: An event camera dataset for 3D perception
CN106846350B (zh) 一种基于rgb-d相机和立体声的视障人士障碍物预警系统及方法
US10838206B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
JP5188507B2 (ja) ３次元画像取得を伴う視覚補助具
US9370459B2 (en) System and method for alerting visually impaired users of nearby objects
CN106817577B (zh) 一种基于rgb-d相机和立体声的视障人士障碍物预警眼镜
CN107341789B (zh) 一种基于rgb-d相机和立体声的视障人士通路预知系统和方法
CN110032278A (zh) 一种人眼感兴趣物体的位姿识别方法、装置及系统
CN107209950A (zh) 从现实世界材料自动生成虚拟材料
CN108245385B (zh) 一种帮助视障人士出行的装置
CN106859929A (zh) 一种基于双目视觉的多功能导盲仪
CN106651873B (zh) 一种基于rgb-d相机和立体声的视障人士斑马线检测眼镜
WO2003107039A2 (en) Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
CN101999972A (zh) 一种基于立体视觉的盲人辅助行走装置及其辅助方法
CN106821692B (zh) 一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法
US20180181195A1 (en) Head-Mounted Sensor System
CN108693532A (zh) 基于增强型双目相机与3d毫米波雷达的可穿戴避障方法及装置
CN106840112A (zh) 一种利用自由空间视线凝视点测量的空间几何量测量方法
CN109730910A (zh) 出行的视觉辅助系统及其辅助设备、方法、可读存储介质
US10089784B2 (en) Head-mounted mapping methods
CN105701811B (zh) 一种基于rgb‐ir相机的声音编码交互方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 9, 181, 310000, Wuchang Road, Wuchang Street, Yuhang District, Zhejiang, Hangzhou, 202-7

Applicant after: Hangzhou vision krypton Technology Co., Ltd.

Address before: Room 589, C building, No. 525 Xixi Road, Xihu District, Zhejiang, Hangzhou 310013, China

Applicant before: Hangzhou vision krypton Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant