CN106859929A - 一种基于双目视觉的多功能导盲仪 - Google Patents

Abstract

一种基于双目视觉的多功能导盲仪，该基于双目视觉的多功能导盲仪由第一摄像头模块、第二摄像头模块、超声波检测模块、具有地图信息的GPS+无线传输模块、影像处理模块、语音提示模块、语音识别模块和电源模块组成。因此，本发明顺应了穿戴式多功能导盲仪的主流设计方向，集成了周围环境识别、障碍物识别、定位、障碍物运行速度和距离识别、红绿灯识别、GPS定位、路线规划、人性化的语音提示等功能，同时，该导盲仪还整合进去了帮助及救助功能。

Description

一种基于双目视觉的多功能导盲仪

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于双目视觉的多功能导盲仪。

背景技术

人类获得信息中90％源于视觉系统，因此，视力的丧失会严重影响生存质量。盲人由于眼睛看不见，日常生活有很大障碍，尤其是出行困难。

目前有很多种方法进行导盲，例如盲杖、红外线探测、超声波探测等非视觉探测方法。然而这些方法都存在一定的缺陷：

①、使用盲杖探测，探测范围过小，盲人通过敲触大地或者周围的物体来断定行走方向，以及需要停下与否；这类拐杖的弊端很多，特别是它难以发现很远的物体和悬在半空中的物体；

②、使用红外线、超声波等探测方式，只能探测体积较大的障碍物，不能获取障碍物轮廓、高度等完整信息，因此安全性较差。例如，国内外带语音提示的导盲器是由超声波探测器获取数据，经单片机处理后将数据发送给语音提醒器，然后驱动语音芯片提醒。

然而，这种导盲器是通过不同音量、音调、节奏的提示音或者是误差较大的分段式语音提示对盲人进行提醒，只能使盲人对障碍物的距离有个大概的判断，并且，消耗了盲人的大量精力，容易造成错误判断。

因此，穿戴式多功能导盲仪成为目前的主流设计方向。

发明内容

为了实现上述目标，本发明提供了一种基于双目视觉的多功能导盲仪，本发明的技术方案如下：

一种基于双目视觉的多功能导盲仪；其包括：

第一摄像头模块和第二摄像头模块，设于穿戴式头套上，且分别位于人眼的前方两侧；所述第一摄像头模块和第二摄像头模块的性能参数相同且平行放置，即平行于z轴的所述第一摄像头模块和第二摄像头模块的两光轴互相平行且与x轴共线；

影像处理模块，其接收所述第一摄像头模块和第二摄像头模块采集到的图像数据，利用所述第一摄像头模块和第二摄像头模块拍摄同一目标物体的图像数据特征，通过影像处理算法进行目标物体种类的识别，同时从两个不同视点获取同一景物的多幅图像，获得多组立体图像对，通过测量景物在每一组所述立体图像对中的视差，再利用双目视觉成像原理，计算出目标物体到所述第一摄像头模块和第二摄像头模块的距离，以及所述目标物体相对于所述第一摄像头模块和第二摄像头模块的运动速度；

语音提示模块，用于接收所述影像处理模块识别出目标物体种类、距离和运动速度信息时，采用语音的方式给出盲人停止或者行走方向的建议。

优选地，所述的图像数据特征包括目标物体的种类特征、测距特征、测速特征和红绿灯判断特征；所述目标物体种类识别分为障碍物识别、红绿灯识别和移动物体识别；所述目标物体的距离包括障碍物距离、红绿灯距离和移动物体距离，所述目标物体的运动速度包括移动物体的运动速度。

优选地，所述的基于双目视觉的多功能导盲仪，其特征在于，还包括超声波检测模块，具体包括：

超声波测距子模块，其通过超声波的发射和接收，计算发射和接收超声波的时差，判断出前方障碍物、红绿灯和/或移动物体的距离，并将所述判断结果传送给所述影像处理模块；

超声波测速子模块，其通过多次发射超声波，计算发射和接收超声波的时差，计算出运动物体的移动速度，并将所述计算结果传送给所述影像处理模块；其中，所述影像处理模块结合所述第一摄像头模块和第二摄像头模块以及所述超声波测距子模块得到的判断结果，确定前方障碍物、红绿灯和/或移动物体到所述第一摄像头模块和第二摄像头模块的距离；所述影像处理模块结合所述第一摄像头模块和第二摄像头模块以及所述超声波测距子模块得到的计算结果，得到运动物体的移动速度。

优选地，所述的基于双目视觉的多功能导盲仪还包括具有地图信息的GPS+无线传输模块，与所述影像处理模块相连，所述影像处理模块还包括规划子模块和导航子模块；所述规划子模块根据所述地图信息进行出行前的线路规划及线路距离的确定，并通过语音的方式告知盲人；所述导航子模块用于得到盲人的定位信息以及预判出行时前方是否拥堵的结果，并通过语音的方式与盲人交流是否需要进行出行线路的更改。

优选地，所述的基于双目视觉的多功能导盲仪还包括语音识别模块，其通过所述无线传输模块发送求助语音信息。

优选地，所述无线传输模块采用4G网络传输，通过4G网络与云端软件平台进行互动，将盲人的定位信息及语音求助信息传输到云端软件平台；同时，云端软件平台将路线规划等信息通过4G网络传输模块传送到所述影像处理模块，方便盲人进行避开拥堵。

优选地，所述的基于双目视觉的多功能导盲仪还包括电源模块，用于给所述第一摄像头模块、第二摄像头模块、所述影像处理模块、超声波检测模块供电；其中，所述电源模块包含供电子模块及低功耗控制子模块。

从上述技术方案可以看出，本专利提供了基于双目视觉的多功能导盲仪，主要功能包括：周围环境识别，障碍物识别、定位，障碍物运行速度和距离识别，红绿灯识别，GPS定位，路线规划，人性化的语音提示等功能，且该导盲仪还集成了帮助及救助系统。

附图说明

图1为本发明基于双目视觉的多功能导盲仪的方法系统框架示意图

图2所示为本发明实施例中平行双目视觉模块示意图

具体实施方式

体现本发明特征与优点的实施例将在后段的说明中详细叙述。应理解的是本发明能够在不同的示例上具有各种的变化，其皆不脱离本发明的范围，且其中的说明及图示在本质上当做说明之用，而非用以限制本发明。

以下结合附图1，通过具体实施例对本发明的基于实时系统的热处理设备温度控制及方法、实现该方法的装置作进一步详细说明。需说明的是，附图均采用非常简化的形式、使用非精准的比例，且仅用以方便、明晰地达到辅助说明本发明实施例的目的。

需要说明的是，本发明采用两个摄像头模块，组成双目视觉，模拟人眼功能，再利用后端影像处理模块的处理能力，将图像处理技术、超声波检测技术、语音播报技术、GPS和无线传输技术结合在一起，组合成了一个多功能化的导盲仪。

请参阅图1，图1为本发明基于双目视觉的多功能导盲仪的系统框架示意图。如图1所示，该基于双目视觉的多功能导盲仪由第一摄像头模块、第二摄像头模块、超声波检测模块、具有地图信息的GPS+无线传输模块、影像处理模块、语音提示模块、语音识别模块和电源模块组成。语音提示模块和语音识别模块分别包含语音输入和语音输出两部分，这一部分对于盲人而言非常重要。人性化的设计和语音播报是该部分的核心。

在本发明的实施例中，第一摄像头模块和第二摄像头模块，可以设于穿戴式头套上，且分别位于人眼的前方两侧，组成双目视觉，模拟人眼功能。请参阅图2，图2为本发明实施例中平行双目视觉模块示意图。

如图2所示，第一摄像头模块和第二摄像头模块的性能参数相同且平行放置，第一摄像头模块和第二摄像头模块在同一个平面中，即平行于z轴，实现第一摄像头模块和第二摄像头模块的两光轴互相平行且与x轴共线。

在使用时，由上述第一摄像头模块和第二摄像头模块分别采集图像数据，并将采集到的图像数据传输给影像处理模块(即Image Signal Processor)，影像处理模块利用第一摄像头模块和第二摄像头模块拍摄同一目标物体的图像数据特征，可以识别出周围环境，主要是障碍物、红绿灯和移动物体等。

图像数据特征可以包括目标物体的种类特征、测距特征、测速特征和红绿灯判断特征；目标物体种类识别分为障碍物识别、红绿灯识别和移动物体识别；目标物体的距离包括障碍物距离、红绿灯距离和移动物体距离，目标物体的运动速度包括移动物体的运动速度。

通过影像处理算法进行目标物体种类的识别，同时从两个不同视点获取同一景物的多幅图像，获得多组立体图像对，通过测量景物在每一组立体图像对中的视差，再利用双目视觉成像原理，计算出目标物体到第一摄像头模块和第二摄像头模块的距离，以及目标物体相对于第一摄像头模块和第二摄像头模块的运动速度。

具体地，由影像处理模块提取第一摄像头模块和第二摄像头模块的两幅图像的特征，可以完成如下功能：

测距：通过比较两幅图像数据的特征，测试出前方障碍物的距离；

测速：通过比较同一个摄像头的多幅图像，提取特征值，计算出前方移动物体的运行轨迹及运行速度；

红绿灯判断：通过识别出前方红绿灯，由影像处理模块可以分析出红绿灯的颜色，且还可以识别出前方红绿灯离第一摄像头模块和第二摄像头模块的距离。

周围环境识别：通过拍摄周围的环境图像，由影像处理模块提取图像中目标物体(主要物体)的特征，可以识别出周围环境，主要是障碍物，如房屋、汽车、行人等物体特征，通过特征比对，可以识别出周围环境，避开障碍物。通过图像进行特征红绿灯颜色的判断和周围环境中目标物体判断可以采用现有技术中的任何一种技术，在此不再赘述。

影像处理模块识别出目标物体种类、距离和运动速度信息时，语音提示模块采用语音的方式给出盲人停止或者行走方向的建议。

在本发明的较佳实施例中，还可以包括超声波检测模块，该模块的主要功能是，通过超声波的发射和接收，判断出前方障碍物的距离。该模块跟第一摄像头模块和第二摄像头模块配合，可以更加准确的定位前方障碍物的距离。该超声波检测模块可以具体包括超声波测距子模块和超声波测速子模块；超声波测距子模块通过超声波的发射和接收，计算发射和接收超声波的时差，判断出前方障碍物、红绿灯和/或移动物体的距离，并将判断结果传送给影像处理模块；超声波测速子模块通过多次发射超声波，计算发射和接收超声波的时差，计算出运动物体的移动速度，并将计算结果传送给影像处理模块。

进一步地，影像处理模块结合第一摄像头模块和第二摄像头模块以及超声波测距子模块得到的判断结果，确定前方障碍物、红绿灯和/或移动物体到所述第一摄像头模块和第二摄像头模块的距离。也就是说，第一摄像头模块和第二摄像头模块辅以超声波检测模块，得出的测速和测距数据会更加准确。

在本发明的实施例中，还可以包括与影像处理模块相连具有地图信息的GPS+无线传输模块，GPS模块主要用做定位用，配合百度地图及无线传输模块等，可以准确定位及进行路线规划，无线传输模块采用4G网络传输，通过4G网络与云端软件平台进行互动，将盲人的定位信息及通过语音识别模块转换的语音求助信息传输到云端软件平台；同时，云端软件平台将路线规划等信息通过4G网络传输模块传送到影像处理模块，由语音提示模块提示盲人，方便盲人避开拥堵。

具体地，此时影像处理模块还需包括规划子模块和导航子模块；规划子模块根据地图信息进行出行前的线路规划及线路距离的确定，并通过语音的方式告知盲人；导航子模块用于得到盲人的定位信息以及预判出行时前方是否拥堵的结果，并通过语音的方式与盲人交流是否需要进行出行线路的更改。

在本发明的实施例中，影像处理模块是一个核心模块，主要完成功能：

①、提出图像中感兴趣部分的目标物体特征；

②、根据双目视觉两幅图像提取出的物体特征，判断出前方障碍物的距离；

③、通过提取前方移动物体的连续的图像特征，判断出前方移动物体的运行速度和轨迹；

④、红绿灯状态识别；

⑤、控制语音识别及语音播放；

⑥、外围控制：如无线传输控制、GPS模块控制等。

在本发明的实施例中，由于基于双目视觉的多功能导盲仪设于穿戴式头套上，用于给第一摄像头模块、第二摄像头模块、影像处理模块、超声波检测模块供电的电源模块供电需要考虑整个系统的功耗。较佳地，该电源模块可以包含供电子模块及低功耗控制子模块，当工作在正常状态时，供电子模块正常供电，当工作休眠等工作状态时，低功耗控制子模块控制供电子模块工作在待机的低功耗状态，以降低可穿戴设备的功率消耗。

以上所述的仅为本发明的实施例，所述实施例并非用以限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (7)

1.一种基于双目视觉的多功能导盲仪，其特征在于，包括：

第一摄像头模块和第二摄像头模块，设于穿戴式头套上，且分别位于人眼的前方两侧；所述第一摄像头模块和第二摄像头模块的性能参数相同且平行放置，即平行于z轴的所述第一摄像头模块和第二摄像头模块的两光轴互相平行且与x轴共线；

影像处理模块，其接收所述第一摄像头模块和第二摄像头模块采集到的图像数据，利用所述第一摄像头模块和第二摄像头模块拍摄同一目标物体的图像数据特征，通过影像处理算法进行目标物体种类的识别，同时从两个不同视点获取同一景物的多幅图像，获得多组立体图像对，通过测量景物在每一组所述立体图像对中的视差，再利用双目视觉成像原理，计算出目标物体到所述第一摄像头模块和第二摄像头模块的距离，以及所述目标物体相对于所述第一摄像头模块和第二摄像头模块的运动速度；

语音提示模块，用于接收所述影像处理模块识别出目标物体种类、距离和运动速度信息时，采用语音的方式给出盲人停止或者行走方向的建议。

2.根据权利要求1所述的基于双目视觉的多功能导盲仪，其特征在于，所述的图像数据特征包括目标物体种类的特征、测距特征、测速特征和红绿灯判断特征；所述目标物体种类识别分为障碍物识别、红绿灯识别和移动物体识别；所述目标物体的距离包括障碍物距离、红绿灯距离和移动物体距离，所述目标物体的运动速度包括移动物体的运动速度。

3.根据权利要求1或2所述的基于双目视觉的多功能导盲仪，其特征在于，还包括超声波检测模块，具体包括：

超声波测距子模块，其通过超声波的发射和接收，计算发射和接收超声波的时差，判断出前方障碍物、红绿灯和/或移动物体的距离，并将所述判断结果传送给所述影像处理模块；

超声波测速子模块，其通过多次发射超声波，计算发射和接收超声波的时差，计算出运动物体的移动速度，并将所述计算结果传送给所述影像处理模块；其中，所述影像处理模块结合所述第一摄像头模块和第二摄像头模块以及所述超声波测距子模块得到的判断结果，确定前方障碍物、红绿灯和/或移动物体到所述第一摄像头模块和第二摄像头模块的距离；所述影像处理模块结合所述第一摄像头模块和第二摄像头模块以及所述超声波测距子模块得到的计算结果，得到运动物体的移动速度。

4.根据权利要求1或2所述的基于双目视觉的多功能导盲仪，其特征在于，还包括具有地图信息的GPS+无线传输模块，与所述影像处理模块相连，所述影像处理模块还包括规划子模块和导航子模块；所述规划子模块根据所述地图信息进行出行前的线路规划及线路距离的确定，并通过语音的方式告知盲人；所述导航子模块用于得到盲人的定位信息以及预判出行时前方是否拥堵的结果，并通过语音的方式与盲人交流是否需要进行出行线路的更改。

5.根据权利要求4所述的基于双目视觉的多功能导盲仪，其特征在于，还包括语音识别模块，其通过所述无线传输模块发送求助语音信息。

6.根据权利要求4所述的基于双目视觉的多功能导盲仪，其特征在于，所述无线传输模块采用4G网络传输，通过4G网络与云端软件平台进行互动，将盲人的定位信息及语音求助信息传输到云端软件平台；同时，云端软件平台将路线规划等信息通过4G网络传输模块传送到所述影像处理模块，方便盲人进行避开拥堵。

7.根据权利要求1所述的基于双目视觉的多功能导盲仪，其特征在于，还包括电源模块，用于给所述第一摄像头模块、第二摄像头模块、所述影像处理模块、超声波检测模块供电；其中，所述电源模块包含供电子模块及低功耗控制子模块。