CN102175251A - 双目智能导航系统 - Google Patents

Abstract

本发明公开了一种双目智能导航系统，包括使用者佩带的双目视觉眼镜，该双目视觉眼镜上设置一组CCD摄相机，该组CCD摄相机将采集到的图像信号传输给嵌入式系统处理设备，所述嵌入式系统处理设备将图像信号处理后生产指令信息，该指令信息反馈给双目视觉眼镜，该双目视觉眼镜以振动或者语音提示的方式将所述指令信息告知使用者。本发明同时采用一组CCD摄相机进行图像采集和三维视觉标定，有利于得到环境地图并进行路径规划。

Description

双目智能导航系统

技术领域

本发明涉及导盲技术，具体涉及导盲眼镜和导盲系统。

背景技术

导盲设备及导盲系统对盲人独自行动的意义是显而易见的，现有技术中，导盲主要依靠一些具有探测功能的外部设施，如导盲眼镜、导盲手杖、甚至是导盲犬等。这些探测涉世的功能比较单一，主要为障碍物探测，即只能简单的判断盲人周围可能影响其行动的障碍物，无法提供具体的、概念化的信息，对盲人自主行动所能提供的帮助有限。有些导盲犬可以起到自主引路的功能，但依赖于导盲犬本身的特性，不具有普遍意义。

发明内容

针对现有技术存在的上述不足，申请人提供了一套双目智能导航系统，能提供具体的、概念化的信息。

为了解决上述技术问题，本发明采用如下技术方案：

双目智能导航系统，其特征在于：包括使用者佩带的双目视觉眼镜，该双目视觉眼镜上设置一组CCD摄相机，所述一组CCD摄相机将采集到的图像信号传输给嵌入式系统处理设备，所述嵌入式系统处理设备将图像信号处理后生产指令信息，该指令信息反馈给双目视觉眼镜，该双目视觉眼镜以振动或者语音提示的方式将所述指令信息告知使用者。

进一步地，所述嵌入式系统处理设备将一组CCD摄相机采集到的信号进行立体视觉处理，所述立体视觉处理包括如下步骤：

1）图像获取：通过CCD摄像头和视频采集卡获取图像信息；

2）相机标定：确定空间坐标系到图像坐标系的变换矩阵。

本发明公开了一种双目视觉眼镜，包括镜架和壳体，壳体上安装一组CCD摄相机，壳体上设置布进电机，步进电机通过锥齿轮传动连接主传动杆，主传动杆的左、右两侧分别通过锥齿轮传动连接左、右传动杆，左、右传动杆分别通过直齿轮传动连接所述一组CCD摄相机。

本发明同时采用一组CCD摄相机进行图像采集和三维视觉标定，有利于得到环境地图并进行路径规划。

附图说明

图1为本双目视觉眼镜的立体结构示意图。

图2为图1反方向的示意图。

图3为图2中A处的放大示意图。

图4为图2中B处的放大示意图。

具体实施方式

本发明公开了一种双目导航系统，其包括三部分组成：双目立体导盲眼镜，嵌入式系统（数据处理运算中心），语音或震动提示器。该系统是利用机器人视觉导航技术。通过安装在眼镜上的双目立体CCD摄相机采集动态环境的图像信息，送至嵌入式系统进行一系列的数据处理，再经分析结果及路径信息转化为语音信号或震动信号送至盲人佩戴的耳机或振动仪上来提示盲人的行进路线。

首先是前述双目视觉眼镜，见图1、图2，本发明公开了一种双目视觉眼镜，其包括壳体1和镜架2，壳体1上设置类似于普通眼镜的镜框，壳体1上分别安装CCD摄相机4和CCD摄相机5，相当于在镜框上安装两个镜片。见图2，CCD摄相机4和CCD摄相机5之间安装步进电机15，,步进电机15通过锥齿轮8和锥齿轮9连接主传动杆6，主传动杆6的左、右两侧分别通过锥齿轮传动连接左、右传动杆。见图3，以左部传动结构为例，主传动杆6通过锥齿轮10和锥齿轮11连接左传动杆12，左传动杆12下部连接直齿轮14，直齿轮14与设置在CCD摄相机5上的直齿轮13啮合；CCD摄相机4同样通过各锥齿轮、传动杆7等上述结构与步进电机15传动连接。双目视觉眼镜在使用时，步进电机15上述各锥齿轮、传动杆以及直齿轮带动CCD摄相机4和CCD摄相机5水平转动。

其次便是处理芯片设备和电源，该部分有ARM微处理器嵌入系统完成对图像信息的处理，以及对环境信息分析得到合适的导航路径。然后通过蓝牙设备传输至信号发生装置。嵌入式信息处理系统主要由三部分组成，分别为搭载ARM系列微处理器的线路板，信号发射与接收装置以及电源。这部分功能主要是完成系统的自定位，以及对图像信息的分析提取，对摄相机完成标定，根据图像分析结果规划出合理的行走路线，完成原始图像信息的接收和指令信息的发射。尺寸可以做成类似于普通手机大小，可以跨在腰间，放入衣服口袋中，携带方便。

第三部分是有语音和震动功能的信号发生装置，配有蓝牙接收功能，对处理器设备发来的信号转变为语音或振动来提供给盲人行走的路线。信号发生装置主要有四部分组成，分别为安装在双目视觉眼镜上的语音耳机3，主要功能是将电子信号转换为人声音信号，从而完成导航任务。本发明还可以在双目视觉眼镜上安装左右两个振动信号发生器，专门为听力障碍的人所设计，可根据实时的指令来改变振动强度，来表示行走路线和行走速度。

上述所提到的部分元器件选型如下：

摄相机：深圳凯目锐电子有限公司的超广角微型CCD相机KM-3130CP1。

步进电机：常州宝来电器有限公司的精密减速步进电机型号42BY48BJ25。

嵌入式系统处理器：采用搭载ARM9系列处理器的开发板进一步组装。

本发明使用时，工作模式可根据环境的复杂程度分为两种：一种是内部自主工作模式，二是网络求助模式。一般在系统自生可以识别并进行处理的环境下，处于内部自主工作模式，该系统可以自主完成一些列导航任务；但是当遇到突发状况时，例如用户跌倒或环境光线很复杂的情况时，系统自己跳至网络求助模式，通过借助外部大型处理器或远方亲友的指引来完成该阶段的导航任务。

内部自主工作模式是在一般应用环境中时该系统的工作模式，该部分可以由系统自身完成导航，工作简单，实时性好，导航及时有效。大致可分为四个步骤：视觉相机标定阶段；图像采与识别阶段；路径规划阶段；发出导航指令阶段。

1）视觉相机标定阶段：该阶段是指系统开机开始工作时进行一系列的标定工作，包括通过标定模板校对相机内外参数，对系统本身进行自定位。也就是完成自身在环境中位置的初始化，是视觉导航的基础步骤，为进一步的路径规划做准备。该部分主要应用的机器视觉理论是立体视觉摄相机标定技术。此阶段的工作只有在系统开机时完成一次，以后在行进过程中就可以靠内部运算实时更新自身位置来对系统完成定位。

2）图像采集与识别阶段：该阶段是导航的重要阶段，该部分由双目相机实时的对环境进行扫描得到前方环境的平面图像，图像信息传输至嵌入式系统处理器进行图像处理、识别，从而得到当前的环境地图。该部分的处理速度，结果精度都直接影响到导航的实时性和准确度。

双目视觉眼镜同时利用两台CCD摄相机采集图像信息，其优势在于可以从图像中恢复出物体的三维信息，要做到这一点，必须确定已知空间坐标系中的物体点同它在图像平面上像点之间的对应关系，而这个对应关系是由摄相机的位置、属性参数和成像模型所决定的。确定这些摄相机参数的过程就称为摄相机标定。

本设计采用的摄相机标定算法为改进的张氏平面标定法，本算法灵活有效，简单实用它既避免了传统方法设备要求高，操作繁琐等缺点，又比自标定方法的精度高，所以很适合于本项装置。

张氏平面标定法要求摄相机在两个以上不同的方位拍摄一个平面标定模板，标定模板可以用激光打印机打印并贴在平面表面上。在标定过程中，假定不论摄相机从任何角度拍摄标定模板，摄相机的内部参数始终不变，只有外部参数发生变化。标定模板上有很多方格点，以这些方格点的角点或中心点为特征点。通过检测每幅图像中特征点的空间坐标和图像坐标可以计算出每幅图像的平面投影矩阵H，最后可确定出摄相机的内外参数。具体标定方法如下：

求解每幅图像的投影矩阵H：

将标定模板上的特征点P的三维坐标和图像坐标分别记为                                                

和

。摄相机均为小孔成像模型，在实际标定中一般假设模板平面落在世界坐标系的

平面上。设A为摄相机的内参数矩阵，R为旋转矩阵，t为平移矢量。s为任意的非零尺度因子，由此特征点P的三维坐标与其图像坐标之间的投影关系可表示为

                     （1）

令H=

，λ为一常数因子则上式表示为：

                                    （2）

这样在模板特征点P的三维坐标和图像坐标之间就建立了一个变换矩阵H，如果特征点的三维坐标和图像坐标可以测定，那么投影矩阵H就可以求解。

投影矩阵H的计算其实是使实际图像坐标

与根据式（1）计算出的图像坐标

之间参差最小的过程，目标函数为：

求解摄相机内外参数：

在求取了投影矩阵H后，还要进一步求出摄相机的内参数矩阵A和外参数矩阵R、t。由R的正交性可以得到关于摄相机内参数的两个基本约束方程：

令

由于B是对称矩阵，由6维矢量表示为

H的第i个列向量表示为，由此得：

其中

由此基本约束条件可以写成b的两个齐次方程：

则摄相机各个内参数为：

由此得出各视角下的外部参数：

在通常情况下，摄相机镜头都是有畸变的。因此，以上述获得的参数作为初值，结合量子粒子群优化的方法，从而计算出所有摄相机参数的最优解值。

3）路径规划阶段：首先对上一阶段得到的环境地图进行分析得到前进过程中障碍物的坐标位置，然后综合前进方向和障碍物的位置信息来对行进路径进行一系列的规划，从而得到简单有效地前进方案。该部分相关的动态路径规划算法已趋于成熟，有很多优秀的规划方法。

由双目视觉识别得到的环境信息应用与导盲系统中就需要智能导航算法，这里应用的是动态路径规划。动态路径规划是指在动态环境下对行进路径的规划以避开障碍物抵达目标点，动态环境中不单包括有已知的静态障碍物，还包括有运动轨迹已知的动态障碍物和随机障碍物。

本设计采用的是我们实验室所研究的基于量子粒子群算法的人工势场法路径规划，人工势场法的基本思想是在移动机器人的工作环境中构造一个人工势场，使得在该势场中移动的机器人受到其目标位置引力场和障碍物周围斥力场的共同作用。鉴于人工势场算法易出现局部最小值的缺点引入量子粒子群优化算法，使其可以获得平滑的实时动态路径。

利用量子粒子群优化的人工势场法进行路径规划的方法如下：

一、对于本文所研究的路径规划是直接在环境地图中建立模型。

二、设定初始化条件，量子粒子群算法中需要设定的参数有：群体的规模数，粒子维数和取值范围。这里随机产生n个m维初始粒子，开始路径规划的循环迭代。

三、判断障碍物是否对机器人存在斥力场作用，求斥力场和引力场的合力。计算每个粒子的初始适应度值并比较值的大小，找出和

，为后面的运算打下基础。

四、开始粒子的循环迭代，根据上面初始粒子的

和

算出Mbest，然后按更新公式更新粒子的每一维元素，并计算粒子适应度值。

五、比较新得到全部粒子的适应度值与初始值，取优更新；全局最佳适应度值的处理与前面相同。

六、判断粒子数是否满足条件，否的话对粒子数加1，返回第3步。

七、判断粒子的迭代次数是否满足，否的话迭代次数加1，返回第3步。

八、判断迭代终止条件是否满足，否，直接返回第3步；是，得到下一点的新位置，路径规划循环迭代次数加1，返回第3步。

九、判断路径规划循环迭代终止条件是否满足，否，直接返回第3步；是，得到本算法的规划路径，循环结束。

4）发出导航指令阶段：将上面得到的有效方案转述为语言信号发送至语音发声装置，同时带动相应的震动器作出指示。该部分完全可选择GPS导航的语音系统即可胜任。至此该工作模式就可以完成一个工作循环，指引用户前行。

2．网络求助模式是指在突发性事件或环境恶劣的情况下，系统无法依靠自己的算法完成导航，这时就靠网络求助的方式来完成进一步的导航任务。该方法可分为向网络服务器求助，向亲友求助两种。

1）向网络服务器求助，是指在网络上我们架设一台主机，通过物联网技术得到用户周围的环境信息，服务器进行一些列的分析运算得到下一步的行进方案传输至我们的终端设备上，然后有本系统根据服务器的指令指引用户进行前进。

2）向亲友求助的方式，是指该系统直接连接至用户亲友的手机上，将当前环境的图像信息传输至亲友手机中，由亲友指引该用户的下一步行进方案。

Claims (3)

1.双目智能导航系统，其特征在于：包括使用者佩带的双目视觉眼镜，该双目视觉眼镜上设置一组CCD摄相机，所述一组CCD摄相机将采集到的图像信号传输给嵌入式系统处理设备，所述嵌入式系统处理设备将图像信号处理后生产指令信息，该指令信息反馈给双目视觉眼镜，该双目视觉眼镜以振动或者语音提示的方式将所述指令信息告知使用者。

2.根据权利要求1所述的双目智能导航系统，其特征在于所述嵌入式系统处理设备将一组CCD摄相机采集到的信号进行立体视觉处理，所述立体视觉处理包括如下步骤：

1）图像获取：通过CCD摄像头和视频采集卡获取图像信息；

2）相机标定：确定空间坐标系到图像坐标系的变换矩阵。

3.双目视觉眼镜，包括镜架和壳体，其特征在于所述壳体上安装一组CCD摄相机，所述壳体上设置步进电机，所述步进电机通过锥齿轮传动连接主传动杆，所述主传动杆的左、右两侧分别通过锥齿轮传动连接左、右传动杆，所述左、右传动杆分别通过直齿轮传动连接所述一组CCD摄相机。

Images