CN106446758A - 一种基于图像识别技术的障碍预警装置 - Google Patents
一种基于图像识别技术的障碍预警装置 Download PDFInfo
- Publication number
- CN106446758A CN106446758A CN201610347193.7A CN201610347193A CN106446758A CN 106446758 A CN106446758 A CN 106446758A CN 201610347193 A CN201610347193 A CN 201610347193A CN 106446758 A CN106446758 A CN 106446758A
- Authority
- CN
- China
- Prior art keywords
- pin
- module
- image
- signal
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于图像识别技术的障碍预警装置,所述的基于图像识别技术的障碍预警装置包括投影灯、带通滤光镜头、图像传感模块。所述投影灯的输入端和主控模块的第一输出端相连,图像传感模块的输入端也和主控模块的第一输出端相连,图像传感模块的输出端与信号处理模块的第一输入端相连,信号处理模块的第二输入端与主控模块的第二输出端相连,信号处理模块的输出端与障碍预警信号输出装置的输入端相连,模式选择模块的输出端与主控模块的输入端相连,带通滤光镜头固定于图像传感模块的前端,供电模块为上述各模块供电。本发明主要利用图像处理技术获得道路状况数据,可以在最大程度上获得障碍的参数,应用范围更广泛,局限更小。
Description
技术领域
本发明属于图像识别和导航领域,特别是一种基于图像识别技术的障碍预警装置。
背景技术
作为人体重要的感知能力之一,视力在人们的生活中扮演者重要的角色,人们极其依赖视力这一感知能力。一旦丧失了视力,人们将生活在一片黑暗中,生活将会陷入混乱。以衣食住行中的行为例,道路上行走的人们通过视力来辨识道路上的障碍,从而进行避让,避免出现危险。
可是如果现实条件的限制,常会出现以下的情况:先天或者后天的失明、视力使用限制还有视力使用解放。先天或者后天的失明的情况主要是因为我国是盲人最多的国家,而且盲人群体已成为当今社会不可忽视的一个群体;视力使用限制的情况主要是因为一些生活领域不可避免地存在视觉盲区,如汽车盲区;还有视力使用解放则主要是因为人体的生理结构,眼睛需要适当的休息无法始终保持高度警惕状态。当上述情况出现时,人们该怎样做才能保持正常的生活节奏?该如何才能识别道路上的障碍,并进行避让呢?
人们一直在为减轻人们对视力的依赖性进行努力,并尝试设计道路障碍预警装置。专利号为201220229662.2的中国专利公开了一种汽车远近灯自动变换及障碍预警系统,本系统由光敏检测模块、激光检测模块、控制模块、蜂鸣器组成。本系统能够实现当夜间行车两车相距小于150米时或检测到前方有障碍物时自动将车灯由远光变为近光,并且有障碍物时蜂鸣器自动报警。专利号为200910143695.8的中国专利公开了一种车载虚拟全景电子系统,这套系统主要包括分布式安装的专用摄像头,中央处理部件,显示与人机界面,其中,这套系统的核心部分是中央处理部件,包括视频采集单元,视频防抖单元视频合成单元,投影与映射单元,目标检测单元,GIS单元。本发明通过视频合成单元,将分布式安装的专用摄像头采集的视频图像以地平面为基准进行无缝拼接,从而提供给车辆驾驶操作人员一个全方位的虚拟全景实时视频,与综合的障碍预警,导航信息。专利号为94215131.3的中国专利公开了一种汽车障碍预警装置,该装置由无线电波发射器和接收器构成。在发射器电路设置可表达不同障碍情况的调制讯号振荡电路单元,包括其中的开关器件,也在接收器电路中以模数转换芯片,一组译码器和语音芯片为主,接收发射器所播发的各种载波信号。专利号为201520467343.9的中国专利公开了一种新型导盲杖由超声波探头、语音报警器、红外线收发模块、拐杖体和控制电路组成,主要利用红外线收发模块和超声波探头实现障碍的探测。专利号为201520486787.7的中国专利公开了一种可伸缩推轮式智能导盲杖采用可收缩推轮式结构,同时集成多个超声波传感器,完成导盲功能。专利号为201520626407.5的中国专利公开了一种自主导航的导盲杖则利用摄像机、电机和万向轮实现导盲的功能。
但是专利号为201220229662.2的汽车远近灯自动变换及障碍预警系统只适用于夜间检测。专利号为200910143695.8的车载虚拟全景电子系统复杂、成本高昂、实现困难、只适用于白天检测且增加驾驶员的视觉负担。专利号为201520467343.9的新型导盲杖、专利号为201520486787.7发明的一种可伸缩推轮式智能导盲杖、专利号为201520626407.5发明的一种自主导航的导盲杖则均采用接触式探测,即导盲杖需要贴到地面才能实现导盲或进行障碍探测,不便于携带;同时,这些导盲杖利用超声波传感器或红外传感器进行障碍探测,不仅对他人的健康造成危害,也增加了导盲杖的设计成本。
由上可知,上述这些障碍预警装置还存在一个更大的缺陷就是探测功能单一,只能实现障碍的探测,却无法进行识别,在道路状况较差时,无法使用。
发明内容
本发明所解决的技术问题在于提供一种基于图像识别技术的障碍预警装置,可以完成非接触式的障碍预警,实现障碍预警功能。
实现本发明目的的技术解决方案为:一种基于图像识别技术的障碍预警装置,包括投影灯、带通滤光镜头、图像传感模块、信号处理模块、主控模块、障碍预警信号输出装置、模式选择模块和供电模块。
所述投影灯的输入端和主控模块的第一输出端相连,图像传感模块的输入端也和主控模块的第一输出端相连,该主控模块同时与模式选择模块的输出端相连,主控模块接收模式选择模块发出的模式选择信号,控制图像传感模块和投影灯的工作模式;所述信号处理模块的第一输入端和图像传感模块的输出端相连,信号处理模块的第二输入端和主控模块的第二输出端相连,信号处理模块的输出端和障碍预警信号输出装置的输入端相连,信号处理模块接收图像传感模块输出的图像信号和主控模块输出的控制信号,根据接收的控制信号完成对图像信号的处理,并将识别结果输出到障碍预警信号输出装置;所述带通滤光镜头固定于图像传感模块的前端;所述供电模块为上述各模块供电。
在所述的基于图像识别技术的障碍预警装置中,投影灯完成发射网格状有色射线的功能,并在地面上投射出有色射线的网格状图案,根据主控模块输出信号的不同,还可以投射出不同的网格状图案;图像传感模块完成对地面上的网格状图案进行拍照的功能,从而可以及时采集到道路状况的数据,并根据主控模块输出信号的不同,实现不同的拍照模式;信号处理模块完成图像数据的处理功能,通过图像处理技术,可获得的网格状图案的畸变和衰减,再根据几何学,获得道路障碍的信息;主控模块根据模式选择模块的输出信号,完成对投影灯、图像传感模块和信号处理模块的工作模式控制;模式选择模块完成高速模式、低速模式和弯道模式的模式选择;障碍预警信号输出装置根据信号处理模块的输出信号,完成道路障碍信号的输出,实现障碍预警功能;供电模块完成整个装置的供电功能。
整个装置开始工作时,首先通过所述模式选择模块对整个装置的工作模式进行选择,确定整个装置工作在高速、低速还是全景模式,所述模式选择模块输出端与所述主控模块输入端相连,将所述模式选择信号传输到主控模块,所述主控模块根据接收到的信号,产生相应的控制信号,所述主控模块的第一输出端同时与所述图像传感模块和所述投影灯的输入端相连,控制所述图像传感模块和所述投影灯以高速、低速还是全景模式工作,所述图像传感模块的输出端与所述信号处理模块的第一输入端相连,将所述图像传感模块的图像数据传输到所述信号处理模块,在所述信号处理模块中完成图像数据的处理,获得网格状图像的畸变和衰减参数,经过后续分析和处理,得到道路状况数据,所述信号处理模块的输出端与障碍预警信号输出装置的输入端相连,将所述信号处理模块中获得的道路状况数据及时通过所述障碍预警信号输出装置传输给使用者,实现障碍预警功能。
本发明与现有技术相比,其显著优点为:1)本发明主要利用图像处理技术获得道路状况数据,可以在最大程度上获得障碍的参数,无论是高地,是底坑,是平地,还是积水,即使道路状况较差,都可以及时反映路面的不同路况,不会因为路况太差,无法使用,从而可以为使用者提供是否选择该路段的机会,应用范围更广泛,局限更小;2)本发明中的图像传感模块、信号处理模块和主控模块均集成在一个微型的盒体中,不仅系统结构简单,而且满足便携型、微型化的设计理念;3)本发明使用LED投影灯完成对道路状况的可视化转变,同时利用图像传感模块对网格状图像进行采集,最终通过所述信号处理模块获得道路障碍信号,并将该信号输出,整个工作过程不仅未对使用者的视觉造成负担,而且均未发生接触式探测,完成了非接触式探测功能;4)本发明利用LED投影灯发射的有色射线完成道路障碍探测,而不是利用超声波或红外射线进行探测,不会对人的健康造成严重危害,而且无论是白天还是黑夜,特殊的有色射线都可以提醒人们及时发现使用者,进行避让,从而提供帮助和便利;5)本发明使用简单的微控制器即可实现整个装置的控制功能,所以设计成本较低,可进行批量生产。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明基于图像识别技术的障碍预警装置的总体结构框图。
图2为本发明图像传感模块的电路图。
图3为本发明信号处理模块的电路图。
图4为本发明投影灯低速模式的工作效果图。
图5为本发明投影灯高速模式的工作效果图。
图6为本发明投影灯全景模式的工作效果图。
图7为本发明探测到高地的可视效果图(低速模式为例),其中图(a)为平地效果图;图(b)为高地障碍效果图。
图8为本发明探测到底坑的可视效果图(低速模式为例),其中图(a)为平地效果图;图(b)为地坑障碍效果图。
图9为本发明探测到积水的可视效果图(低速模式为例),其中图(a)为平地效果图;图(b)为积水障碍效果图。
图10为本发明探测到弯道的可视效果图(弯道模式为例),其中图(a)为无弯道效果图;图(b)为右弯道效果图。
图11为实施例1基于图像识别技术的便携式手持障碍预警导盲装置的结构图。
图12为实施例2基于图像识别技术的障碍预警导航自动驾驶车的结构图,其中图(a)为前进导航时的自动驾驶车结构图;图(b)为倒车导航时的自动驾驶车结构图。
具体实施方式
本发明的一种基于图像识别技术的障碍预警装置,包括
投影灯,在主控模块的控制下工作,用于将网格状有色射线投影到地面上;
图像传感模块,在主控模块的控制下工作,用于采集地面上的网格状图像,并将采集的图像传输给信号处理模块;所述图像传感模块包括OV7620 CMOS图像传感器,该图像传感器的45脚和46脚作为输入端,连接到主控模块的输出端;该图像传感器的34脚、35脚、36脚、37脚、38脚、39脚、40脚和41脚作为图像信号输出端,连接到信号处理模块的图像信号输入端;3脚、16脚、17脚、18脚、33脚和42脚则作为时钟同步信号输出端,连接到信号处理模块的同步时钟信号输入端。
带通滤光镜头,设置在图像传感模块前端,用于滤除干扰信号;
信号处理模块,在主控模块的控制下工作,对接收到的图像进行处理,用于检测出图像中的障碍;
模式选择模块,用于向主控模块输出模式选择信号;所述模式选择模块输出的模式包括快速模式、低速模式和全景模式,快速模式和低速模式的拍照和处理频率根据应用领域不同,可以进行调整。全景模式能以120°的视角完成低速模式下的全景图像采集和处理。
主控模块,接收模式选择模块输出的模式选择信号,并控制图像传感模块和投影灯的工作模式,该模块同时控制信号处理模块工作;
障碍预警信号输出装置,接收信号处理模块的识别结果,并根据识别结果发出预警信号;
供电模块,为上述模块供电。
所述信号处理模块包括DSP芯片TMS320VC5407,所述DSP信号处理芯片的131脚、132脚、133脚、134脚、136脚、137脚、138脚、139脚作为图像信号输入端,分别和所述图像传感器的图像输出端:34脚、35脚、36脚、37脚、38脚、39脚、40脚和41脚相连;DSP信号处理芯片的58脚、69脚、81脚、95脚、120脚、124脚作为时钟同步信号输入端,分别和所述图像传感器的同步时钟信号输出端:3脚、16脚、17脚、18脚、33脚和42脚相连;DSP信号处理芯片的99脚、100脚、101脚、102脚、103脚、104脚作为控制信号输入端,和主控模块的控制信号输出端相连;DSP信号处理芯片的113脚、114脚、115脚、116脚、117脚、118脚作为识别结果信号输出端,和障碍预警信号输出装置的输入端相连。
所述投影灯为网格状LED投影灯。所述的带通滤光镜头为635nm波段红光带通滤光片。
一种基于上述基于图像识别技术的障碍预警装置的导盲杖,包括投影灯、带通滤光镜头、图像传感模块、信号处理模块、主控模块、障碍预警信号输出装置、模式选择模块、供电模块和导盲杖杖体,上述模块均采用低功耗的微型模块,并固定于手持导盲杖的杖体上;其中,投影灯固定于导盲杖的前端,带通滤光镜头固定于图像传感模块的前端,图像传感模块、主控模块、信号处理模块和供电模块集中固定于导盲杖的中部,导盲杖的手柄处则固定模式选择模块和障碍预警信号输出装置,所述的障碍预警信号输出装置采用音频输出装置。
一种基于上述基于图像识别技术的障碍预警导航装置的自动驾驶车,包括车体和设置于车体上的投影灯、带通滤光镜头、图像传感模块、信号处理模块、主控模块、障碍预警信号输出装置、模式选择模块、供电模块,所述投影灯固定于车体的前端板上,固定于图像传感模块前的带通滤光镜头也固定于车体的前端板上,图像传感模块、主控模块、信号处理模块则固定于车体的发动机舱内,利用车载电瓶为整个系统供电,模式选择模块和障碍预警信号输出装置固定在驾驶室内。
一种基于上述基于图像识别技术的障碍预警导航装置的自动驾驶车,包括车体和设置于车体上的投影灯、带通滤光镜头、图像传感模块、信号处理模块、主控模块、障碍预警信号输出装置、模式选择模块、供电模块,所述投影灯固定于车体的后端板上,固定于图像传感模块感应端前方的带通滤光镜头也固定于车体的后端板上,图像传感模块、主控模块、信号处理模块则固定于车体的后备箱内,利用车载电瓶为整个系统供电,模式选择模块和障碍预警信号输出装置固定在驾驶室内。
下面进行更详细的描述。
本发明所设计的基于图像识别技术的障碍预警装置可以通过向地面发射有色射线的网格状图案,并利用图像传感模块捕捉到该图案的实时图像,通过图像处理技术,获得网格状图案的衰减和畸变,从而分析出道路状况和道路障碍的参数,最后完成道路障碍预警功能。
结合图1,本发明所设计的基于图像识别技术的障碍预警装置包括投影灯、带通滤光镜头、图像传感模块、信号处理模块、主控模块、障碍预警信号输出装置、模式选择模块和供电模块。
在所述的基于图像识别技术的障碍预警装置中,所述投影灯的输入端和主控模块的第一输出端相连,图像传感模块的输入端也和主控模块的第一输出端相连,该主控模块同时与模式选择模块的输出端相连,主控模块接收模式选择模块发出的模式选择信号,控制图像传感模块和投影灯的工作模式;所述信号处理模块的第一输入端和图像传感模块的输出端相连,信号处理模块的第二输入端和主控模块的第二输出端相连,信号处理模块的输出端和障碍预警信号输出装置的输入端相连,信号处理模块接收图像传感模块输出的图像信号和主控模块输出的控制信号,根据接收的控制信号完成对图像信号的处理,并将识别结果输出到障碍预警信号输出装置;所述带通滤光镜头固定于图像传感模块的前端;所述供电模块为上述各模块供电。
在所述的基于图像识别技术的障碍预警装置中,投影灯完成发射网格状有色射线的功能,并在地面上投射出有色射线的网格状图案,根据主控模块输出信号的不同,还可以投射出不同的网格状图案;图像传感模块完成对地面上的网格状图案进行拍照的功能,从而可以及时采集到道路状况的数据,并根据主控模块输出信号的不同,实现不同的拍照模式;信号处理模块完成图像数据的处理功能,通过图像处理技术,可获得的网格状图案的畸变和衰减,再根据几何学,获得道路障碍的信息;主控模块根据模式选择模块的输出信号,完成对投影灯、图像传感模块和信号处理模块的工作模式控制;模式选择模块完成高速模式、低速模式和弯道模式的模式选择;障碍预警信号输出装置根据信号处理模块的输出信号,完成道路障碍信号的输出,实现障碍预警功能;供电模块完成整个装置的供电功能。
结合图2,本发明所设计的基于图像识别技术的障碍预警装置采用的图像传感模块包括OV7620 CMOS图像传感器,图像传感器的45脚和46脚作为输入端,连接到主控模块的输出端;34脚、35脚、36脚、37脚、38脚、39脚、40脚和41脚作为图像信号输出端,连接到信号处理模块的图像信号输入端;3脚、16脚、17脚、18脚、33脚和42脚则作为时钟同步信号输出端,连接到信号处理模块的同步时钟信号输入端;
所述的图像传感模块可根据主控模块输出信号的不同,实现不同的拍照模式,包括快速拍照、低速拍照和全景拍照。
结合图3,本发明所设计的基于图像识别技术的障碍预警装置采用的信号处理模块包括DSP芯片TMS320VC5407,所述DSP信号处理芯片的131脚、132脚、133脚、134脚、136脚、137脚、138脚、139脚作为图像信号输入端,分别和所述图像传感器的图像输出端:34脚、35脚、36脚、37脚、38脚、39脚、40脚和41脚相连;58脚、69脚、81脚、95脚、120脚、124脚作为时钟同步信号输入端,分别和所述图像传感器的同步时钟信号输出端:3脚、16脚、17脚、18脚、33脚和42脚相连;99脚、100脚、101脚、102脚、103脚、104脚作为控制信号输入端,和主控模块的控制信号输出端相连;113脚、114脚、115脚、116脚、117脚、118脚作为识别结果信号输出端,和障碍预警信号输出装置的输入端相连。
本发明所设计的基于图像识别技术的障碍预警装置采用的投影灯为网格状LED投影灯。中国四川大学研究人员设计的LED网格投影灯Lumigrids,可让单车骑士察觉前方的坑洞和障碍物,预防交通意外和跌倒。这款产品面向喜好夜间骑自行车的骑士设计。具有安装简单和实用的特性,可以提高单车骑士夜间的安全性。这款LED灯装设在自行车车把上,朝前方地面投射出激光方形网格。透过变型和断裂的网格,自行车骑士即可轻易察觉前方的坑洞和障碍物,预防交通意外和跌倒。但是本发明只适用于夜间的骑行,在应用于障碍预警装置时,需进行相应的改进。
本发明采用的网格状LED投影灯以中国四川大学研究人员设计的LED网格投影灯Lumigrids为基础,通过更改射线类型以及网格状LED投射图案来实现。本发明的LED有色射线采用可以顺利透过带通滤光镜头的635nm波段的红光射线。该波段的红光不仅生成简单,可由一个电池做能源的二极管产生,也可由产生该波长的二极管产生,而且方向性好,不易受到干扰。采用红光作为投影射线不仅可以及时反映出道路上的障碍,而且无论是白天还是黑夜,特殊的有色射线都可以让人们及时发现盲人使用者,并进行避让,更大程度地保证了盲人使用者的安全和便利。针对高速、低速和全景三种工作模式,采用的LED投射网格分为30*30型、30*60型和60*30型,其中每个网格单元的尺寸可设为4cm*4cm(或10cm*10cm)。当导盲装置工作于低速模式时,LED投射网格为30*30型,如图4所示,忽略LED投影网格的轻微形变,投影的尺寸为120cm*120cm(或300cm*300cm),该尺寸可以适应不同的前进速度,可以在障碍预警后给予使用者足够的反应时间;当导盲装置工作于高速模式时,考虑到前进速度的提高,LED投射网格为30*60型,如图5所示,忽略LED投影网格的轻微形变,投影的尺寸为120cm*240cm(或300cm*600cm),该尺寸可以提前发现道路前方的障碍,并提前输出障碍预警信号,仍可以在障碍预警后给予使用者足够的反应时间;当导盲装置工作于全景模式时,LED投射网格为60*30型,如图6所示,忽略LED投影网格的轻微形变,投影的尺寸为120cm*240cm(或600cm*300cm),该尺寸可以实现拓宽视角的作用,及时发现路口弯道处,起到导航和预警的作用。
结合图7,本发明所设计的基于图像识别技术的障碍预警装置探测到平地时和高地时进行对比。假设装置此时的工作为低速模式,当所设计的基于图像识别技术的障碍预警装置探测到平地时,则如图7中的a图所示,网格状LED投影图案的边界规则,均为正常的直线,不存在明显的畸变和衰减;当所设计的基于图像识别技术的障碍预警装置探测到高地时,则如图7中的b图所示,网格状LED投影图案中的(13,27)、(13,30)、(17,27)、(17,30)坐标点包围的区域内部出现边界畸变,畸变边界指向与(0,0)和(0,30)坐标轴负指向一致,由图形识别技术中的边缘检测技术可轻易识别出畸变边界的畸变趋势,由光成像和几何学可知,此种畸变趋势由高地障碍导致。这时信号处理模块将识别结果输出到障碍预警信号输出装置,完成高低障碍预警。
结合图8,本发明所设计的基于图像识别技术的障碍预警装置探测到平地时和底坑时进行对比。假设装置此时的工作为低速模式,当所设计的基于图像识别技术的障碍预警装置探测到平地时,则如图8中的a图所示,网格状LED投影图案的边界规则,均为正常的直线,不存在明显的畸变和衰减;当所设计的基于图像识别技术的障碍预警装置探测到底坑时,则如图8中的b图所示,网格状LED投影图案中的(13,27)、(13,30)、(17,27)、(17,30)坐标点包围的区域内部出现边界畸变,畸变边界指向与(0,0)和(0,30)坐标轴正指向一致,由图形识别技术中的边缘检测技术可轻易识别出畸变边界的畸变趋势,由光成像和几何学可知,此种畸变趋势由底坑障碍导致。这时信号处理模块将识别结果输出到障碍预警信号输出装置,完成底坑障碍预警。
结合图9,本发明所设计的基于图像识别技术的障碍预警装置探测到平地时和积水时进行对比。假设装置此时的工作为低速模式,当所设计的基于图像识别技术的障碍预警装置探测到平地时,则如图9中的a图所示,网格状LED投影图案的边界规则,均为正常的直线,不存在明显的畸变和衰减;当所设计的基于图像识别技术的障碍预警装置探测到积水时,则如图9中的b图所示,网格状LED投影图案中的(13,27)、(13,30)、(23,27)、(23,30)坐标点包围的区域内部出现边界衰减,衰减边界几乎消失,由图形识别技术中的边缘检测技术可轻易识别出衰减边界,由光成像和几何学可知,此种衰减趋势由水面的镜面反射导致,也就是由积水障碍导致。这时信号处理模块将识别结果输出到障碍预警信号输出装置,完成积水障碍预警。
结合图10,本发明所设计的基于图像识别技术的障碍预警装置探测到弯道时和无弯道进行对比。假设装置此时的工作为弯道模式,当所设计的基于图像识别技术的障碍预警装置探测到无弯道时,则如图10中的a图所示,网格状LED投影图案的左右边界均出现规则的几何畸变,原来的方形网格变成平行四边形网格,由图形识别技术中的边缘检测技术可轻易识别出畸变边界,由光成像和几何学可知,此种畸变趋势由左右侧的墙体障碍导致,也就是此时无弯道。这时信号处理模块将无弯道的识别结果输出到障碍预警信号输出装置,此时无语音提示输出。当出现弯道时(右弯道为例),如图10中的b图所示,网格状LED投影图案的左边界仍会出现规则的几何畸变,原来的方形网格变成平行四边形网格,但右侧边界的几何畸变将会消失,投影图案恢复成原来的方形网格,将该时刻的图像与前一时刻的图像进行对比,通过图像识别技术可以检测出几何边界的改变,由光成像和几何学可知,这种畸变趋势由右侧弯道导致,也就是此时存在右弯道,这时信号处理模块将识别结果输出到障碍预警信号输出装置,完成右弯道障碍预警。
本发明所设计的基于图像识别技术的障碍预警装置采用的带通滤光镜头选择635nm波段红光带通滤光片,所述滤光片接收到的是全波段的光信号,可以正常透过所述滤光片的光信号则只有位于635nm波段的网格状LED投影灯的在地面投影出的光信号,从而滤除其他波段的光信号,极大地降低了其他光信号的干扰,提高了网格状图案的图像质量。
本发明所设计的基于图像识别技术的障碍预警装置中的信号处理模块通过图像处理技术,可获得网格状图案的畸变和衰减,再根据几何学,获得道路障碍的信息。在高速模式和低速模式下,图像处理的过程主要是以图4和图5中的网格状图案边沿分布来判别是否存在障碍,以及存在的障碍为高地、底坑还是积水。在全景模式下,图像处理的过程主要是对采集到的多个网格状图案进行对比,根据图案的变化过程来判别是否存在弯道,以及存在的弯道为左弯道还是右弯道。
整个装置开始工作时,投影灯向使用者前方的道路投射网状有色射线,网状有色射线在地面形成规则网状图,针对使用者前进速度的快慢,主控模块根据模式选择模块的输出信号对投影灯的投影图像进行适当调节(30*30低速、30*60快速、60*30弯道),也可以针对使用领域的不同,对网格的尺寸进行调整(4cm*4cm或10cm*10cm),同时图像传感模块透过带通滤光镜头对地面进行高速或低速的拍照来获得地面上的网状图的实时图像,并将图像数据传输到信号处理模块进行快速图像处理,信号处理模块将处理结果输出到道路障碍预警信号输出装置,从而可以及时通知使用者,对出现的道路障碍做出应急处理,最终实现障碍预警功能。本装置的供电模块则完成对该装置的供电功能。
下面结合实施例对本发明做进一步详细的描述。
实施例1
基于图像识别技术的便携式手持障碍预警导盲装置
一、基于图像识别技术的障碍预警装置的导盲装置是由导盲杖体和障碍预警装置构成,其中障碍预警装置包括投影灯1、带通滤光镜头2、图像传感模块3、信号处理模块4、主控模块5、障碍预警信号输出装置6、模式选择模块7以及供电模块8。
二、障碍预警装置中各模块均采用低功耗的微型模块,并固定于手持导盲装置上。其中,投影灯固定于导盲装置的前端,带通滤光镜头固定于图像传感模块的前端,图像传感模块、主控模块、信号处理模块和供电模块集中固定于导盲装置的中部,导盲装置的手柄处则固定模式选择模块和障碍预警信号输出装置。所述的障碍预警信号输出装置采用音频输出装置。
根据不同的障碍类型,可输出“高地”、“底坑”、“积水”、“左(右)弯道”等语音提示,当道路前方无障碍时,也可输出“嘀~”进行语音提示。
三、针对三种工作模式,快速模式可完成6次/s的拍照和处理频率,低速模式可完成3次/s的拍照和处理频率,全景模式能以120°的视角完成3次/s拍照和处理频率。各种模式下采用的LED投射网格分别为30*30型、30*60型和60*30型,其中每个网格单元的尺寸为4cm*4cm。当导盲装置工作于低速模式时,LED投射网格为30*30型,如图4所示,忽略LED投影网格的轻微形变,投影的尺寸为120cm*120cm,该尺寸可以适应行人正常行走时的步幅大小,可以在障碍预警后给予行人足够的反应时间;当导盲装置工作于高速模式时,考虑到行人速度的提高,LED投射网格为30*60型,如图5所示,忽略LED投影网格的轻微形变,投影的尺寸为120cm*240cm,该尺寸可以提前发现道路前方的障碍,并提前输出障碍预警信号,仍可以在障碍预警后给予行人足够的反应时间;当导盲装置工作于全景模式时,LED投射网格为60*30型,如图6所示,忽略LED投影网格的轻微形变,投影的尺寸为120cm*240cm,该尺寸可以实现拓宽视角的作用,及时发现路口转弯处,起到导盲和预警的作用。
整个装置开始工作时,投影灯向盲人使用者前方的道路投射网状有色射线,网状有色射线首先在地面形成规则网状图,针对盲人使用者行走速度的快慢,主控模块根据模式选择模块的输出信号对投影灯的投影图像进行适当调节(30*30低速、30*60快速、60*30弯道),同时图像传感模块透过带通滤光镜头对地面进行高速或低速的拍照来获得地面上的网状图的实时图像,并将图像数据传输到信号处理模块进行快速图像处理,信号处理模块将处理结果输出到道路障碍预警信号输出装置,从而可以及时通知行人,对出现的道路障碍做出应急处理,最终实现导盲功能。
本装置使用特殊的有色射线还可以让人们及时发现盲人使用者,并进行避让,更大程度地保证了盲人使用者的安全和便利。
实施例2
基于图像识别技术的障碍预警导航自动驾驶车
一、基于图像识别技术的障碍预警导航自动驾驶车也是主要由车体和障碍预警装置构成,其中障碍预警装置包括投影灯1、带通滤光镜头2、图像传感模块3、信号处理模块4、主控模块5、障碍预警信号输出装置6、模式选择模块7以及供电模块8。
二、该自动驾驶车可以探测到前向障碍或着后向障碍,从而自动调整车体运动,并向驾驶员发出警报信号。
当进行前进导航时,投影灯固定于车体的前端板上,固定于图像传感模块前的带通滤光镜头也固定于车体的前端板上,图像传感模块、主控模块、信号处理模块则固定于车体的发动机舱内,利用车载电瓶为整个系统供电,模式选择模块和障碍预警信号输出装置则固定在驾驶室内,其中障碍预警信号输出模块一方面输出编码控制信号到车体中心控制器,另一方面输出可视化的障碍图像信号,提醒驾驶员注意规避前方障碍。
当进行倒车导航时,投影灯固定于车体的后保险杠上,固定于图像传感模块前的带通滤光镜头也固定于车体的后保险杠上,图像传感模块、主控模块、信号处理模块则固定于车体的行李箱内,利用车载电瓶为整个系统供电,模式选择模块和障碍预警信号输出装置则固定在驾驶室内,其中障碍预警信号输出模块一方面输出编码控制信号到车体中心控制器,另一方面输出可视化的障碍图像信号,提醒驾驶员注意规避后方障碍。
三、针对三种工作模式,快速模式可完成40次/s的拍照和处理频率,低速模式可完成20次/s的拍照和处理频率,全景模式能以120°的视角完成10次/s的拍照和处理频率。各种模式下采用的LED投射网格分别为30*30型、30*60型和60*30型,其中每个网格单元的尺寸为10cm*10cm。当导航装置工作于低速模式时,LED投射网格为30*30型,忽略LED投影网格的轻微形变,投影的尺寸为300cm*300cm,该尺寸可以满足车体正常低速行驶的要求,可以在障碍预警后给予驾驶员足够的反应时间;当导航装置工作于高速模式时,考虑到车体速度的提高,LED投射网格为30*60型,忽略LED投影网格的轻微形变,投影的尺寸为300cm*600cm,该尺寸可以提前发现道路前方的障碍,并提前输出障碍预警信号,仍可以在障碍预警后给予驾驶员足够的反应时间;当导航装置工作于全景模式时,LED投射网格为60*30型,忽略LED投影网格的轻微形变,投影的尺寸为600cm*300cm,该尺寸可以实现拓宽视角的作用,及时发现路口转弯处,起到车辆导航和障碍预警的作用。
导航装置开始前进导航时,投影灯向车体前方的道路投射网状有色射线,网状有色射线首先在地面形成规则网状图,针对车体速度的快慢,主控模块根据模式选择模块的输出信号对投影灯的投影图像进行适当调节(30*30低速、30*60快速、60*30弯道),同时图像传感模块透过带通滤光镜头对地面进行高速或低速的拍照来获得地面上的网状图的实时图像,并将图像数据传输到信号处理模块进行快速图像处理,信号处理模块将处理结果输出到道路障碍预警信号输出装置,障碍预警信号输出模块一方面输出编码控制信号到车体中心控制器,及时对车体的运动进行调整,另一方面输出可视化的障碍图像信号,提醒驾驶员注意规避前方障碍。
导航装置开始倒车导航时,投影灯向车体后方的道路投射网状有色射线,网状有色射线首先在地面形成规则网状图,针对倒车速度,障碍预警装置统一工作于全景模式,同时图像传感模块透过带通滤光镜头对地面进行全景模式的拍照来获得地面上的网状图的实时图像,并将图像数据传输到信号处理模块进行快速图像处理,信号处理模块将处理结果输出到道路障碍预警信号输出装置,障碍预警信号输出模块一方面输出编码控制信号到车体中心控制器,及时对车体的倒车运动进行调整,另一方面输出可视化的障碍图像信号,提醒驾驶员注意规避后方障碍。
Claims (8)
1.一种基于图像识别技术的障碍预警装置,其特征在于,包括
投影灯,在主控模块的控制下工作,用于将网格状有色射线投影到地面上;
图像传感模块,在主控模块的控制下工作,用于采集地面上的网格状图像,并将采集的图像传输给信号处理模块;
带通滤光镜头,设置在图像传感模块前端,用于滤除干扰信号;
信号处理模块,在主控模块的控制下工作,对接收到的图像进行处理,用于检测出图像中的障碍;
模式选择模块,用于向主控模块输出模式选择信号;
主控模块,接收模式选择模块输出的模式选择信号,并控制图像传感模块和投影灯的工作模式,该模块同时控制信号处理模块工作;
障碍预警信号输出装置,接收信号处理模块的识别结果,并根据识别结果发出预警信号;
供电模块,为上述模块供电。
2.根据权利要求1所述的基于图像识别技术的障碍预警装置,其特征在于,所述图像传感模块包括OV7620 CMOS图像传感器,该图像传感器的45脚和46脚作为输入端,连接到主控模块的输出端;该图像传感器的34脚、35脚、36脚、37脚、38脚、39脚、40脚和41脚作为图像信号输出端,连接到信号处理模块的图像信号输入端;3脚、16脚、17脚、18脚、33脚和42脚则作为时钟同步信号输出端,连接到信号处理模块的同步时钟信号输入端。
3.根据权利要求1所述的基于图像识别技术的障碍预警装置,其特征在于,所述信号处理模块包括DSP芯片TMS320VC5407,所述DSP信号处理芯片的131脚、132脚、133脚、134脚、136脚、137脚、138脚、139脚作为图像信号输入端,分别和所述图像传感器的图像输出端:34脚、35脚、36脚、37脚、38脚、39脚、40脚和41脚相连;DSP信号处理芯片的58脚、69脚、81脚、95脚、120脚、124脚作为时钟同步信号输入端,分别和所述图像传感器的同步时钟信号输出端:3脚、16脚、17脚、18脚、33脚和42脚相连;DSP信号处理芯片的99脚、100脚、101脚、102脚、103脚、104脚作为控制信号输入端,和主控模块的控制信号输出端相连;DSP信号处理芯片的113脚、114脚、115脚、116脚、117脚、118脚作为识别结果信号输出端,和障碍预警信号输出装置的输入端相连。
4.根据权利要求1所述的基于图像识别技术的障碍预警装置,其特征在于,所述投影灯为网格状LED投影灯。
5.根据权利要求1所述的基于图像识别技术的障碍预警装置,其特征在于,所述的带通滤光镜头为635nm波段红光带通滤光片。
6.一种基于权利要求1所述基于图像识别技术的障碍预警装置的导盲杖,其特征在于,包括投影灯、带通滤光镜头、图像传感模块、信号处理模块、主控模块、障碍预警信号输出装置、模式选择模块、供电模块和导盲杖杖体,上述模块均采用低功耗的微型模块,并固定于手持导盲杖的杖体上;其中,投影灯固定于导盲杖的前端,带通滤光镜头固定于图像传感模块的前端,图像传感模块、主控模块、信号处理模块和供电模块集中固定于导盲杖的中部,导盲杖的手柄处则固定模式选择模块和障碍预警信号输出装置,所述的障碍预警信号输出装置采用音频输出装置。
7.一种基于权利要求1所述基于图像识别技术的障碍预警导航装置的自动驾驶车,其特征在于,包括车体和设置于车体上的投影灯、带通滤光镜头、图像传感模块、信号处理模块、主控模块、障碍预警信号输出装置、模式选择模块、供电模块,所述投影灯固定于车体的前端板上,固定于图像传感模块前的带通滤光镜头也固定于车体的前端板上,图像传感模块、主控模块、信号处理模块则固定于车体的发动机舱内,利用车载电瓶为整个系统供电,模式选择模块和障碍预警信号输出装置固定在驾驶室内。
8.一种基于权利要求1所述基于图像识别技术的障碍预警导航装置的自动驾驶车,其特征在于,包括车体和设置于车体上的投影灯、带通滤光镜头、图像传感模块、信号处理模块、主控模块、障碍预警信号输出装置、模式选择模块、供电模块,所述投影灯固定于车体的后端板上,固定于图像传感模块感应端前方的带通滤光镜头也固定于车体的后端板上,图像传感模块、主控模块、信号处理模块则固定于车体的后备箱内,利用车载电瓶为整个系统供电,模式选择模块和障碍预警信号输出装置固定在驾驶室内。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610347193.7A CN106446758A (zh) | 2016-05-24 | 2016-05-24 | 一种基于图像识别技术的障碍预警装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610347193.7A CN106446758A (zh) | 2016-05-24 | 2016-05-24 | 一种基于图像识别技术的障碍预警装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106446758A true CN106446758A (zh) | 2017-02-22 |
Family
ID=58183214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610347193.7A Pending CN106446758A (zh) | 2016-05-24 | 2016-05-24 | 一种基于图像识别技术的障碍预警装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106446758A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175570A (zh) * | 2019-05-28 | 2019-08-27 | 联想(北京)有限公司 | 一种信息指示方法及系统 |
CN111033943A (zh) * | 2017-10-19 | 2020-04-17 | 株式会社Ihi | 线圈装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101852609A (zh) * | 2010-06-02 | 2010-10-06 | 北京理工大学 | 一种基于机器人双目立体视觉的地面障碍物检测方法 |
CN103020948A (zh) * | 2011-09-28 | 2013-04-03 | 中国航天科工集团第二研究院二○七所 | 智能车载防撞预警系统中的夜间图像特征提取方法 |
CN204031349U (zh) * | 2014-08-27 | 2014-12-17 | 莱阳市科盾通信设备有限责任公司 | 一种车辆辅助驾驶系统 |
CN104527520A (zh) * | 2014-12-12 | 2015-04-22 | 武汉理工大学 | 一种基于led灯组的障碍物车载预警显示方法 |
CN104574365A (zh) * | 2014-12-18 | 2015-04-29 | 中国科学院计算技术研究所 | 障碍物检测装置及方法 |
CN104658316A (zh) * | 2013-11-21 | 2015-05-27 | 鸿富锦精密工业(深圳)有限公司 | 行车预警系统及预警方法 |
-
2016
- 2016-05-24 CN CN201610347193.7A patent/CN106446758A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101852609A (zh) * | 2010-06-02 | 2010-10-06 | 北京理工大学 | 一种基于机器人双目立体视觉的地面障碍物检测方法 |
CN103020948A (zh) * | 2011-09-28 | 2013-04-03 | 中国航天科工集团第二研究院二○七所 | 智能车载防撞预警系统中的夜间图像特征提取方法 |
CN104658316A (zh) * | 2013-11-21 | 2015-05-27 | 鸿富锦精密工业(深圳)有限公司 | 行车预警系统及预警方法 |
CN204031349U (zh) * | 2014-08-27 | 2014-12-17 | 莱阳市科盾通信设备有限责任公司 | 一种车辆辅助驾驶系统 |
CN104527520A (zh) * | 2014-12-12 | 2015-04-22 | 武汉理工大学 | 一种基于led灯组的障碍物车载预警显示方法 |
CN104574365A (zh) * | 2014-12-18 | 2015-04-29 | 中国科学院计算技术研究所 | 障碍物检测装置及方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111033943A (zh) * | 2017-10-19 | 2020-04-17 | 株式会社Ihi | 线圈装置 |
CN111033943B (zh) * | 2017-10-19 | 2023-11-17 | 株式会社Ihi | 线圈装置 |
CN110175570A (zh) * | 2019-05-28 | 2019-08-27 | 联想(北京)有限公司 | 一种信息指示方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN207370256U (zh) | 自动行走的行李箱、智能设备及系统 | |
JP4235386B2 (ja) | 物体存在検出装置 | |
CN106542029B (zh) | 一种老年智能代步车 | |
CN107521493A (zh) | 一种自动泊车系统 | |
KR101708832B1 (ko) | 카메라 모듈 및 광센서를 통합하는 시각 보조방법 및 장치 | |
CN106344357B (zh) | 一种电子导盲推车及导盲方法 | |
CN110651313A (zh) | 控制装置和控制方法 | |
CN106143308B (zh) | 基于智能后视镜的车道偏离预警系统 | |
CN107408339A (zh) | 汽车中的接近体警报装置 | |
CN101318491A (zh) | 嵌入式集成视觉辅助行车安全系统 | |
CN107524103B (zh) | 一种基于无人机的智能道路警示系统及其方法 | |
KR101744282B1 (ko) | 보행 안전용 사각지대 투영 안내시스템 | |
CN105599682A (zh) | 基于盲区检测和环视影像监控的汽车辅助驾驶系统和方法 | |
CN107705578A (zh) | 一种基于车道引导技术的电子交通黄线系统 | |
CN107713230A (zh) | 一种智能跟随代步箱包及其控制方法 | |
CN112201049A (zh) | 路与人的交互方法、斑马线系统、与斑马线系统的交互方法 | |
CN110575371A (zh) | 一种智能导盲手杖及控制方法 | |
CN101393013B (zh) | 物体的计测装置 | |
CN107705634A (zh) | 基于行车记录仪的交叉口紧急情况处理系统及方法 | |
CN107344696A (zh) | 基于实时视频图像识别的轮胎吊防碰撞预警系统及其方法 | |
CN106412394A (zh) | 一种适合马路低头族的安全出行装置 | |
TW202022812A (zh) | 安全輔助預警系統與方法 | |
CN106446758A (zh) | 一种基于图像识别技术的障碍预警装置 | |
CN106993158A (zh) | 一种基于图像复原的主动红外夜视辅助驾驶系统 | |
CN109998873A (zh) | 一种可穿戴的盲人智能定位与导盲系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |
|
RJ01 | Rejection of invention patent application after publication |