CN106597690B - 一种基于rgb-d相机和立体声的视障人士通路预知眼镜 - Google Patents

Abstract

本发明公开了一种基于RGB‑D相机和立体声的视障人士通路预知眼镜。该眼镜利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机和一个RGB彩色相机采集图像，小型处理器对采集的图像进行处理，计算获得深度图像。该方法利用姿态角传感器获取相机的姿态角信息。小型处理器利用深度信息和姿态角信息，计算获取高度图像，并对高度图像进行分块，将分块获得的深度信息，转化为立体声信号，最后利用骨传导耳机传递给视障人士进行辅助，可以很好地满足视障人士通路预知的要求。

Description

一种基于RGB-D相机和立体声的视障人士通路预知眼镜

技术领域

本发明属于视障人士辅助技术、双目视觉技术、三维环境感知技术、立体声交互技术领域。尤其涉及一种基于RGB-D相机和立体声的视障人士通路预知眼镜，利用利用红外投射器投射不可见的近红外静态散斑，利用两个红外相机和一个RGB相机采集图像，小型处理器对采集的图像进行处理，计算获取深度图像。进一步利用深度信息和姿态角信息，计算获取高度图像，并对高度图像进行分块，将将分块获得的深度信息，转化为立体声信号，最后利用骨传导耳机传递给视障人士进行辅助。

背景技术

根据世界健康组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状、距离、运动的理解都很困难，他们的生活在起居、出行等方面都受到了巨大的影响。

传统的视障人士辅助工具比如盲人手杖，视障人士需要反复移动手杖，才能获知面前的情况，既费时也费力。盲人手杖的探测距离有限，只能检测脚边的障碍物，也无法反映远处和空中的状况。导盲犬可以为视障人士提供帮助，但是导盲犬的训练和养护费用是高昂的，普通家庭难以承担。有些场合，导盲犬不能陪同盲人进入，比如公交车和火车站，因此导盲犬的辅助是有局限性的。仿生眼可以帮助视障人士恢复部分视觉，但仿生眼的植入需要手术，费用高昂。仿生眼只适用于视网膜色素变性或老年性黄斑变性导致失明的盲人。视觉神经损坏的视障人士无法通过植入仿生眼来恢复部分视觉。

电子式的视障辅助工具主要运用超声波技术、激光测距技术、双目视觉技术、激光散斑编码技术、激光雷达技术、毫米波雷达技术、热成像技术、全球定位系统(GPS)。基于超声波技术和激光测距技术的测距范围有限，只能实现单点测距，获取的信息量太少，且耗电多，设备笨重，只能实现报警功能，容易受环境干扰。基于双目视觉技术的辅助依赖于环境中特征点和纹理的丰富程度，对于一些纹理单一的场景失效，如室内的白墙，光滑地面等。双目视觉技术会受镜面反射等特殊情形的欺骗，从而造成漏判或者误判。基于激光散斑编码技术的辅助在室外失效，因为主动投射的结构光被阳光淹没，从而无法识别编码的散斑。激光散斑编码技术由于受到功率限制，存在最远距离，超过最远距离的物体无法对其测距。基于激光雷达技术的辅助成本高，通常采样率低，对灰尘、雾霾、雨水敏感，而且无法获取颜色和纹理信息。基于毫米波雷达的辅助分辨率低，信号处理过程难。基于热成像技术的辅助分辨率低，标定过程复杂，且只能检测人和动物等发热物体。基于GPS的辅助精度低，会有信号损失，不能在室内使用，而且无法获取局部动态的障碍物信息。

传统视障人士辅助的交互方式主要有语音提示、触觉震动。语义提示通常播报障碍物的距离和方向，需要一定的时间播放，造成延迟和事故风险，而且可传递的信息量少。触觉震动通过震动腰带或者震动背心为硬件，以震动来提示障碍物的方位，震动装置可以解决延迟的问题，但给视障人士带来负担，不同人的穿戴感受不同。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于RGB-D相机和立体声的视障人士通路预知眼镜。

本发明的目的是通过以下技术方案实现的：眼镜，所述眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。所述一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块均固定在眼镜本体上；其中两个相同的红外相机，一个彩色相机的光轴彼此平行，两个相同的红外相机分别固定在两个镜片的正上方，彩色相机和红外投射器均安装在两个红外相机之间；两个骨传导震动模位于两个镜脚中间偏后处，贴合盲人耳朵前方颅骨处；USB集线器、姿态角传感器和小型处理器嵌于一个镜脚内；骨传导耳机模块和电池模块嵌于另一个镜脚内；红外投射器、两个红外相机、彩色相机、姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连；两个骨传导震动模块均通过骨传导耳机模块与小型处理器相连。两个红外相机、彩色相机的光轴彼此平行、姿态角一致，且通过姿态角传感器实时地获取。小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的两幅红外图像。彩色相机实时地采集三维场景的彩色图像。USB集线器将两幅红外图像、一幅彩色图像、姿态角信息传给小型处理器。小型处理器对获取的两幅红外图像、一幅彩色图像进行处理，获取三维场景的深度图像。小型处理器对深度信息和姿态角信息进行处理，获取三维场景的高度图像。小型处理器对高度图像进行分块，并将分块后的深度信息转化为立体声信号，并传给骨传导耳机模块。骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块。两个骨传导震动模块，传递骨传导震动信号给视障用户。

上述眼镜的通路预知方法如下:

(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，两个红外相机的基线距离B_IR-IR。

(2)对彩色相机进行一次相机标定，获取彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)。

(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离B_IR-COLOR。

(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中。

(5)两个红外相机采集三维场景的两张红外图像IR_left和IR_right。

(6)彩色相机三维场景的彩色图像Color。

(7)姿态角传感器采集三个相机的X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z。

(8)USB集线器将两张红外图像IR_left和IR_right，彩色图像Color，X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z传给小型处理器。

(9)小型处理器对两张红外图像IR_left和IR_right提取Sobel边缘，获取两张Sobel边缘图像Sobel_left和Sobel_right。

(10)以左Sobel边缘图像Sobel_left为基准，对两张Sobel边缘图像Sobel_left和Sobel_right进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e₁,e₂,e₃,...,e_M}。在左Sobel边缘图像Sobel_left中，每一个有效点为e＝(u,v,d)^T，u为横坐标像素值，v为纵坐标像素值，d为视差值。

(11)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝a_iu+b_iv+c_i，其中a_i，b_i，c_i为第i个视差平面的系数。

(12)在这些视差平面的基础上，将未匹配的像素点(u',v',d')^T转换为匹配的有效点(u,v,d)^T；具体为：该像素点(u',v',d')^T到第i视差平面的距离为设能量函数为其中ε，σ为常数。对该像素点，遍历视差搜索范围所有的视差值d'＝{d'_min,...,d'_max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d。另外，u＝u'，v＝v'。

(13)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparity_left。

(14)根据两个红外相机的焦距f_IR和基线距离B_IR-IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depth_left中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depth_left。

(15)利用深度图像Depth_left和彩色图像Color，两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)，以及左红外相机和彩色相机的基线距离B_IR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depth_color。

(16)根据深度图像Depth_color，彩色相机的焦距f_color和彩色相机的主点位置(c_COLOR-x,c_COLOR-y)，可计算出每一点在彩色相机坐标系下的三维坐标(X,Y,Z)。深度图像Depth_color中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：

(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(X_w,Y_w,Z_w)：

(18)根据每一点在世界坐标系下的坐标Y_w，即每一点到彩色相机佩戴位置的竖直高度，可获取高度图像Height。

(19)将高度图像Height从左到右分成K，计算每一块高度图像Height_K的平均高度height_K。(K的取值一般在2至10之间)

(20)用K种不同音色的乐器的合奏来表示K块高度图像Height_K:各块分别用不同音色的乐器的发声来表示。给定视障用户的身高为H，不同块的高度图像的平均高度height_K与H之差和乐器响度Volume成反比，即：平均高度height_K与H越接近，说明该块图像内的实物离地面越近,路况越适合通行，响度Volume越大；平均高度height_K与H越远离，说明该块图像内的实物离地面越远,路况越不适合通行，响度Volume越小。每个方向的乐器声都为立体声。乐器可选钢琴、小提琴、锣、小号、木琴等有特别音色并悦耳的。

(21)小型处理器将立体声信号传给骨传导耳机模块。

(22)骨传导耳机模块将立体声信号转为骨传导震动信号。

(23)骨传导震动模块将骨传导信号传递给视障用户。

本方法相比以往的视障人士辅助方法的优势主要在于：

1、环境适用性。由于使用红外投射器和两个红外相机，该方法在室内、室外环境都可以兼容使用。在室内时，红外投射器投射的静态近红外光斑给三维场景增加了纹理，有利于获取稠密的深度图像。在室外时，阳光的近红外部分和三维场景结合，有利于获取稠密的深度图像。稠密的深度图像可以保证分块高度的准确性和辅助交互的体验效果。

2、白天黑夜适用性。由于使用红外投射器和两个红外相机，该方法在白天、黑夜都可以兼容使用。在白天时，红外投射器投射的静态近红外光斑和日光中的近红外成分都可以给三维场景增加纹理，有利于稠密的深度图像。在黑夜时，红外投射器投射的静态近红外光斑给近处三维场景增加纹理，也可以获取近处三维场景的深度图像。该方法在白天黑夜都可以获取可靠的深度图像，从而保证分块高度的准确性和辅助交互的体验效果。

3、可判别楼梯、斜坡等路况，由于采用立体声交互，立体声信号表示了前方各方向的高度值，因此表示楼梯、斜坡等路况的声音和表示可通行平整路面的声音，听起来是不一样的，声音信号不仅可以预知可通行区域，也可以预知楼梯、斜坡等路况。

4、可判别路坑等情况，由于采用立体声交互，立体声信号表示了前方各方向的高度值，由于路坑的高度和正常路况不一样，因此表示路坑等情况的声音和表示可通行平整路面的声音，听起来是不一样的，声音信号不仅可以预知可通行区域，也可以预知路坑等情况。

5、不占用双耳。本方法采用骨传导耳机传递信号给视障用户，不妨碍用户听取外界的声音。视障人士大多都依赖外界的声音来进行一些判读，如根据车流声音判断马路的朝向等。

6、不占用双手。本方法的辅助装置可穿戴，小型处理器便携，可以放在口袋或者小包里，既不会给视障带来很大的负担，也无需视障人士用手拿辅助工具。

7、不会烦扰用户。本方法的立体声交互方式，使用悦耳的乐器发声，不会给视障用户造成烦扰，让视障用户在使用时听着悦耳的音乐就能避障通行。

8、反馈充分的信息量。相比语义式的语音播报，立体声的交互反馈利用不同响度，不同音色的乐器表示路况的可通行性，可以同时地、充分地传递前方不同方向的路况，预知可通行区域的方位。

9、易学性和易理解性。相比复杂形式的声音编码，本发明中立体声的交互基于高度的分块，分块处理后的高度信息不会非常冗杂，视障用户可以迅速学习并理解立体声信号的含义，并根据立体声信号选择行走方向。

10、及时的反馈。相比语义式的语音播报，立体声的交互反馈是及时的，没有延迟。从而视障人士可以及时的选择正确的可通行路径，保证了该方法的安全性。

附图说明

图1为视障人士通路预知系统的模块连接示意图；

图2为视障人士通路预知眼镜的结构示意图；

图3为两张红外图像IR_left和IR_right；

图4为灰度化处理后的深度图像Depth_left(原深度图像中,用伪彩色表示，越红越近，越蓝越远)。

图5为灰度化处理后的彩色图像，(原彩色图像中,用绿色标记为通路区域，即地平面到RGB-D佩戴处的竖直高度与视障用户的高度相近)。

图6为乐器立体声表示通路的示意图。

具体实施方式

如图2所示，一种基于RGB-D相机和立体声的视障人士通路预知眼镜，所述眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块。所述一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块均固定在眼镜本体上；其中两个相同的红外相机，一个彩色相机的光轴彼此平行，两个相同的红外相机分别固定在两个镜片的正上方，彩色相机和红外投射器均安装在两个红外相机之间；两个骨传导震动模位于两个镜脚中间偏后处，贴合盲人耳朵前方颅骨处；USB集线器、姿态角传感器和小型处理器嵌于一个镜脚内；骨传导耳机模块和电池模块嵌于另一个镜脚内；

如图1所示，红外投射器、两个红外相机、彩色相机、姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连；两个骨传导震动模块均通过骨传导耳机模块与小型处理器相连。两个红外相机、彩色相机的光轴彼此平行、姿态角一致，且通过姿态角传感器实时地获取。小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的两幅红外图像。彩色相机实时地采集三维场景的彩色图像。USB集线器将两幅红外图像、一幅彩色图像、姿态角信息传给小型处理器。小型处理器对获取的两幅红外图像、一幅彩色图像进行处理，获取三维场景的深度图像。小型处理器对深度信息和姿态角信息进行处理，获取三维场景的高度图像。小型处理器对高度图像进行分块，并将分块后的深度信息转化为立体声信号，并传给骨传导耳机模块。骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块。两个骨传导震动模块，传递骨传导震动信号给视障用户。

该眼镜的通路预知方法包括以下步骤:

(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，两个红外相机的基线距离B_IR-IR。

(2)对彩色相机进行一次相机标定，获取彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)。

(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离B_IR-COLOR。

(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中。

(5)两个红外相机采集三维场景的两张红外图像IR_left和IR_right。

(6)彩色相机三维场景的彩色图像Color。

(7)姿态角传感器采集三个相机的X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z。

(8)USB集线器将两张红外图像IR_left和IR_right，彩色图像Color，X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z传给小型处理器。

(9)小型处理器对两张红外图像IR_left和IR_right提取Sobel边缘，获取两张Sobel边缘图像Sobel_left和Sobel_right。

(10)以左Sobel边缘图像Sobel_left为基准，对两张Sobel边缘图像Sobel_left和Sobel_right进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e₁,e₂,e₃,...,e_M}。在左Sobel边缘图像Sobel_left中，每一个有效点为e＝(u,v,d)^T，u为横坐标像素值，v为纵坐标像素值，d为视差值。

(11)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝a_iu+b_iv+c_i，其中a_i，b_i，c_i为第i个视差平面的系数。

(12)在这些视差平面的基础上，将未匹配的像素点(u',v',d')^T转换为匹配的有效点(u,v,d)^T；具体为：该像素点(u',v',d')^T到第i视差平面的距离为设能量函数为其中ε，σ为常数。对该像素点，遍历视差搜索范围所有的视差值d'＝{d'_min,...,d'_max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d。另外，u＝u'，v＝v'。

(13)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparity_left。

(14)根据两个红外相机的焦距f_IR和基线距离B_IR-IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depth_left中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depth_left。

(15)利用深度图像Depth_left和彩色图像Color，两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)，以及左红外相机和彩色相机的基线距离B_IR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depth_color。

(16)根据深度图像Depth_color，彩色相机的焦距f_color和彩色相机的主点位置(c_COLOR-x,c_COLOR-y)，可计算出每一点在彩色相机坐标系下的三维坐标(X,Y,Z)。深度图像Depth_color中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：

(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(X_w,Y_w,Z_w)：

(18)根据每一点在世界坐标系下的坐标Y_w，即每一点到彩色相机佩戴位置的竖直高度，可获取高度图像Height。

(19)将高度图像Height从左到右分成K，计算每一块高度图像Height_K的平均高度height_K。(K的取值一般在2至10之间)

(20)用K种不同音色的乐器的合奏来表示K块高度图像Height_K:各块分别用不同音色的乐器的发声来表示。给定视障用户的身高为H，不同块的高度图像的平均高度height_K与H之差和乐器响度Volume成反比，即：平均高度height_K与H越接近，说明该块图像内的实物离地面越近,路况越适合通行，响度Volume越大；平均高度height_K与H越远离，说明该块图像内的实物离地面越远,路况越不适合通行，响度Volume越小。每个方向的乐器声都为立体声。乐器可选钢琴、小提琴、锣、小号、木琴等有特别音色并悦耳的。

(21)小型处理器将立体声信号传给骨传导耳机模块。

(22)骨传导耳机模块将立体声信号转为骨传导震动信号。

(23)骨传导震动模块将骨传导信号传递给视障用户。

Claims (2)

1.一种基于RGB-D相机和立体声的视障人士通路预知眼镜，所述眼镜包含眼镜本体、一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块；所述一个红外投射器，两个相同的红外相机，一个彩色相机，一个姿态角传感器，一个USB集线器，一个小型处理器，一个骨传导耳机模块，两个骨传导震动模块，一个电池模块均固定在眼镜本体上；其中两个相同的红外相机，一个彩色相机的光轴彼此平行，两个相同的红外相机分别固定在两个镜片的正上方，彩色相机和红外投射器均安装在两个红外相机之间；两个骨传导震动模块位于两个镜脚中间偏后处，贴合视障人士耳朵前方颅骨处；USB集线器、姿态角传感器和小型处理器嵌于一个镜脚内；骨传导耳机模块和电池模块嵌于另一个镜脚内；红外投射器、两个红外相机、彩色相机、姿态角传感器通过USB集线器与小型处理器相连，电池模块与小型处理器相连；两个骨传导震动模块均通过骨传导耳机模块与小型处理器相连；两个红外相机、彩色相机的光轴彼此平行、姿态角一致，且通过姿态角传感器实时地获取；小型处理器控制红外投射器向前方三维场景投射不可见的静态近红外散斑，两个红外相机实时地采集经投射后的三维场景的两幅红外图像；彩色相机实时地采集三维场景的彩色图像；USB集线器将两幅红外图像、一幅彩色图像、姿态角信息传给小型处理器；小型处理器对获取的两幅红外图像、一幅彩色图像进行处理，获取三维场景的深度图像；小型处理器对深度信息和姿态角信息进行处理，获取三维场景的高度图像；小型处理器对高度图像进行分块，并将分块后的深度信息转化为立体声信号，并传给骨传导耳机模块；骨传导耳机模块将立体声信号转为骨传导震动信号，传给两个骨传导震动模块；两个骨传导震动模块，传递骨传导震动信号给视障用户。

2.根据权利要求1所述的通路预知眼镜，其特征在于，通过以下方法实通路预知:

(1)对两个红外相机进行一次双目相机标定，获取两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，两个红外相机的基线距离B_IR-IR；

(2)对彩色相机进行一次相机标定，获取彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)；

(3)对彩色相机和左侧的红外相机进行一次双目相机标定，获取左红外相机与彩色相机的基线距离B_IR-COLOR；

(4)红外投射器实时地投射不可见的静态近红外散斑到三维场景中；

(5)两个红外相机采集三维场景的两张红外图像IR_left和IR_right；

(6)采集彩色相机三维场景的彩色图像Color；

(7)姿态角传感器采集三个相机的X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z；

(8)USB集线器将两张红外图像IR_left和IR_right，彩色图像Color，X，Y，Z三轴方向的转角Angle_X，Angle_Y，Angle_Z传给小型处理器；

(9)小型处理器对两张红外图像IR_left和IR_right提取Sobel边缘，获取两张Sobel边缘图像Sobel_left和Sobel_right；

(10)以左Sobel边缘图像Sobel_left为基准，对两张Sobel边缘图像Sobel_left和Sobel_right进行基于图像块的图像匹配，获取一系列匹配好的有效点E＝{e₁,e₂,e₃,...,e_M}；在左Sobel边缘图像Sobel_left中，每一个有效点为e＝(u,v,d)^T，u为横坐标像素值，v为纵坐标像素值，d为视差值；

(11)以匹配好的有效点E为基准，每三个有效点可构成一个视差平面，第i个视差平面的方程为d＝a_iu+b_iv+c_i，其中a_i，b_i，c_i为第i个视差平面的系数；

(12)在这些视差平面的基础上，将未匹配的像素点(u',v',d')^T转换为匹配的有效点(u,v,d)^T；具体为：该像素点(u',v',d')^T到第i视差平面的距离为设能量函数为其中ε，σ为常数；对该像素点，遍历视差搜索范围所有的视差值d'＝{d'_min,...,d'_max}，求出使得能量函数Energy(d')最小的视差值，当成该像素点的视差值d；另外，u＝u'，v＝v'；

(13)遍历所有未匹配的像素点，获取每个未匹配的像素点的视差值，得到以左红外相机为基准的视差图像Disparity_left；

(14)根据两个红外相机的焦距f_IR和基线距离B_IR-IR，遍历视差图像中的每一点(u,v,d)，其深度值为因此深度图像Depth_left中每一点对应为(u,v,depth)，从而获得左红外相机为基准的深度图像Depth_left；

(15)利用深度图像Depth_left和彩色图像Color，两个红外相机的焦距f_IR，左红外相机的主点位置(c_IR-x,c_IR-y)，彩色相机的焦距f_color，主点位置(c_COLOR-x,c_COLOR-y)，以及左红外相机和彩色相机的基线距离B_IR-COLOR，可对深度图像和彩色图像进行对齐，获取彩色相机视场的深度图像Depth_color；

(16)根据深度图像Depth_color，彩色相机的焦距f_color和彩色相机的主点位置(c_COLOR-x,c_COLOR-y)，可计算出每一点在彩色相机坐标系下的三维坐标(X,Y,Z)；深度图像Depth_color中一点坐标为(u,v)，其深度值为depth，则三维坐标(X,Y,Z)可由公式(1)计算出：

(17)根据深度图像中每一点在相机坐标系下的三维坐标(X,Y,Z)，以及姿态角传感器三轴方向的转角分别为Angle_X＝α，Angle_Y＝β，Angle_Z＝γ，则可由公式(2)计算出每一点在世界坐标系下的坐标(X_w,Y_w,Z_w)：

(18)根据每一点在世界坐标系下的坐标Y_w，即每一点到彩色相机佩戴位置的竖直高度，可获取高度图像Height；

(19)将高度图像Height从左到右分成K块，计算每一块高度图像Height_K的平均高度height_K；

(20)用K种不同音色的乐器的合奏来表示K块高度图像Height_K:各块分别用不同音色的乐器的发声来表示；给定视障用户的身高为H，不同块的高度图像的平均高度height_K与H之差和乐器响度Volume成反比，即：平均高度height_K与H越接近，说明该块图像内的实物离地面越近,路况越适合通行，响度Volume越大；平均高度height_K与H越远离，说明该块图像内的实物离地面越远,路况越不适合通行，响度Volume越小；每个方向的乐器声都为立体声；

(21)小型处理器将立体声信号传给骨传导耳机模块；

(22)骨传导耳机模块将立体声信号转为骨传导震动信号；

(23)骨传导震动模块将骨传导信号传递给视障人士。