CN203134149U - 基于不同波段成像融合图像处理的车辆辅助驾驶系统 - Google Patents
基于不同波段成像融合图像处理的车辆辅助驾驶系统 Download PDFInfo
- Publication number
- CN203134149U CN203134149U CN 201220750636 CN201220750636U CN203134149U CN 203134149 U CN203134149 U CN 203134149U CN 201220750636 CN201220750636 CN 201220750636 CN 201220750636 U CN201220750636 U CN 201220750636U CN 203134149 U CN203134149 U CN 203134149U
- Authority
- CN
- China
- Prior art keywords
- vehicle
- video camera
- display device
- processing module
- different wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本实用新型涉及一种基于不同波段成像融合图像处理的车辆辅助驾驶系统，本实用新型基于两台或两台以上不同波段的摄像机对同一道路场景同时拍摄信息，并对该拍摄的信息进行综合计算及融合处理，形成一幅新的多光谱融合图像，同时根据融合图像获取障碍物信息，并预测周边环境中的车辆、行人、危险物与本行驶车辆距离以及可能碰撞上的危险级别，并将周边环境图像及危险信息通过车载显示装置来告知驾驶员，所述的辅助驾驶系统包括两台或两台以上不同波段的摄像机、综合智能处理模块、车载显示装置，两台两台以上不同波段的摄像机、车载显示装置分别安装在车辆上，并与安装在车辆上的综合智能处理模块相连。
Description
技术领域
本实用新型属于数字信号处理应用领域，具体涉及一种基于不同波段成像融合图像处理的车辆辅助驾驶系统。
背景技术
公路交通的飞速发展为人们的生活提供了极大的便利，但是也导致了一系列的环境问题和社会问题。随着汽车的不断增多，交通事故频频发生，交通拥堵也日益加剧，严重困扰着人们的日常生活，同时夜间发生严重道路事故的机率是白天的两倍。造成此现象的一个重要原因就是能见度降低而发生各种危险情况，例如突然出现的障碍物，通常不能被及时注意到。随着当代计算视觉的不断发展，车辆辅助驾驶系统因其丰富的信息资源逐渐成为首选辅助驾驶工具。辅助驾驶系统主要通过检测车辆本身的位置和障碍物来给车辆行驶提供辅助信息，避免因为驾驶员的短暂疏忽而造成严重的交通事故。
目前的图像智能处理都是基于可见光摄像机系统或者主动红外系统，这些系统基于正常光照或者辅助光源进行成像处理、一旦图像中出现大片的耀斑，将会使得这些系统中的智能图像处理方法失效，同时因受光线影响夜视距离较近。被动红外成像系统基于远红外热成像，利用物体与环境温度的差异，显示热成像信息，但道路标志、车道线或较冷物体、与环境温度相近的物体都很难看到、显示的图像与实际场景不完全相符。
发明内容
本实用新型的目的是为了克服上述现有技术存在的问题，提供一种基于不同波段摄像机融合图像处理的车辆辅助驾驶系统，该车辆辅助驾驶系统为基于不同波段的摄像机同时对同一道路场景拍摄信息，并对该拍摄的信息进行综合计算及融合处理。本实用新型利用多波段多光谱成像解决单一波段单一光谱成像受限的缺点、通过多波段多光谱成像装置之间互补的特点，既能清晰显示道路标识、又能突出危险目标，提出了一种全新的车辆辅助驾驶系统，同时本实用新型引入综合智能处理模块，一为车辆提供多种不同波段图像融合显示，提供含有道路实时场景信息的融合图像，并突出道路上关键目标；二是根据图像信息，采用智能图像处理，根据本车与前方目标（车辆、行人或障碍物）之间的距离变化、预测车辆即将碰撞上目标的危险等级并进行报警提示，辅助驾驶员安全行驶。
本实用新型的技术方案为：
基于不同波段成像融合图像处理的车辆辅助驾驶系统，包括两台或两台以上不同波段的摄像机、综合智能处理模块、车载显示装置，其特征在于：两台或两台以上不同波段的摄像机、车载显示装置分别安装在车辆上，并与安装在车辆上的综合智能处理模块相连，由综合智能处理模块对这两台或两台以上不同波段摄像机拍摄的同一场景图像进行处理、形成新的一副融合图像和得到相关信息。
所述的不同波段的摄像机包括可见光摄像机、微光摄像机、近红外摄像机、中波红外热像仪或/和长波红外热像仪。
综合智能处理模块与不同波段的摄像机相连，处理多种不同波段成像的图像信息，并输出融合处理后的视频给车载显示装置进行显示。
综合智能处理模块安装相应软件可实现以下功能：
(1)完成对不同波段摄像机视频信息的采集、根据光线强度与环境温度特定预置状态启动融合算法，通过图像匹配算法对不同波段的图像数据进行融合处理，例如利用可见视觉图像数据描绘识别目标的细节信息，如车道、路标与场景等，例如利用红外视觉图像数据突出识别目标的位置信息，如行人、车辆、动物与障碍物等，形成一种新型包括不同波段特征的现实道路场景的融合图像，并输出给车载显示装置。
(2)利用多种不同波段摄像机图像信息完成对行驶道路上出现的障碍物进行识别，通过对常见危险目标进行的大量的采集、训练和建模，采用统计模式识别的方法获取目标的检测结果、并根据视频图像序列中目标大小尺寸缩放变化，得到目标与车辆之间距离变化，然后根据目标相对于车辆距离变化及运动趋势，推测出目标与车辆发生碰撞的危险等级。
(3)当出现危险目标时根据危险等级不同，综合智能处理模块利用内部决策报警模块控制车载显示装置显示不同报警提示信息或控制扬声器进行不同等级的报警。
本实用新型的优点：采用不同波段成像系统相结合的方式、克服了常用可见视觉在无光源以及强光时图像智能方法失效的问题，同时克服了红外成像与实际场景不完全相符，不能显示道路标识信息的问题，形成一种新的多光谱道路信息融合图像，并加入了智能图像技术对道路上出现的障碍物、前方车辆、行人等危险目标进行自动识别并报警，最大限度的避免恶劣天气、夜晚等情况下车辆行驶过程中可能发生的交通事故。
附图说明
图１为本实用新型的连接示意图。
图2为本实用新型第一实施例附图。
图3为本实用新型第二实施例附图。
图4为本实用新型第三实施例附图。
图5为本实用新型第四实施例附图。
图6为本实用新型第五实施例附图。
图7为综合智能处理模块工作流程图。
图8为决策报警模块流程图。
图9为多通道融合策略流程图。
具体实施方式
结合附图对本实用新型作进一步描述。
如图１所示，本实用新型由两台或者两台以上不同波段的摄像机、综合智能处理模块、车载显示装置组成，两台或者两台以上不同波段的摄像机、车载显示装置分别安装在车辆上，且分别与安装在车辆上的综合智能处理模块相连。
图2为本实用新型第一实施例，本实例由一台可见光摄像机、一台长波红外热像仪、综合智能处理模块、车载显示装置组成，可见光摄像机、长波红外热像仪、车载显示装置分别安装在车辆上，且分别与安装在车辆上的综合智能处理模块相连。
本实用新型亦可采用两台或两台以上可见光摄像机、两台或两台以上长波红外热像仪，所述可见光摄像机、长波红外热像仪直接与综合智能处理模块相连。
图3为本实用新型第二实施例，本实例由一台近红外摄像机、一台长波红外热像仪综合智能处理模块、车载显示装置组成，近红外摄像机、长波红外热像仪、车载显示装置分别安装在车辆上，且分别与安装在车辆上的综合智能处理模块相连。
本实用新型亦可采用两台或两台以上近红外摄像机、两台或两台以上长波红外热像仪，所述近红外摄像机、长波红外热像仪直接与综合智能处理模块相连。
图4为本实用新型第三实施例，本实例由一台微光摄像机、一台长波红外热像仪、综合智能处理模块、车载显示装置组成，微光摄像机、长波红外热像仪、车载显示装置分别安装在车辆上，且分别与安装在车辆上的综合智能处理模块相连。
本实用新型亦可采用两台或两台以上微光摄像机、两台或两台以上长波红外热像仪，所述微光摄像机、长波红外热像仪直接与综合智能处理模块相连。
图5为本实用新型第四实施例，本实例由一台微光摄像机、一台可见光摄像机、综合智能处理模块、车载显示装置组成，微光摄像机、可见光摄像机、车载显示装置分别安装在车辆上，且分别与安装在车辆上的综合智能处理模块相连。
本实用新型亦可采用两台或两台以上微光摄像机、两台或两台以上可见光摄像机，所述微光摄像机、可见光摄像机直接与综合智能处理模块相连。
图6为本实用新型第五实施例，本实例由一台近红外摄像机、一台中波红外热像仪、综合智能处理模块、车载显示装置组成，近红外摄像机、中波红外热像仪、车载显示装置分别安装在车辆上，且分别与安装在车辆上的综合智能处理模块相连。
本实用新型亦可采用两台或两台以上近红外摄像机、两台或两台以上中波红外热像仪，所述近红外摄像机、中波红外热像仪直接与综合智能处理模块相连。
本实用新型不限于以上实施例，亦可用长波红外热像仪与中波红外热像仪及微光摄像机、近红外摄像机与微光摄像机及中波红外热像仪、可见光摄象机与微光摄像机及长波红外热像仪实现，所述的成像设备直接与综合智能处理模块相连。
在以上实施例中，综合智能处理模块安装相应软件可实现以下功能：
(1)完成对多种不同波段摄像机视频信息的采集、根据光线强度与环境温度特定预置状态启动融合算法，通过图像匹配算法对不同波段的图像数据进行融合处理，例如利用可见视觉图像数据描绘识别目标的细节信息，如车道、路标与场景等，利用红外视觉图像数据突出识别目标的位置信息，如行人、车辆、动物与障碍物等，形成一种包括不同波段特征的现实道路场景的融合图像，并输出给车载显示装置。如图7 、图9所示。
(2)利用不同波段的摄像机的图像信息，对行驶道路上出现的障碍物进行识别，通过对常见危险目标进行的大量的采集、训练和建模，采用统计模式识别的方法获取目标的检测结果、并根据视频图像序列中目标大小尺寸缩放变化，得到目标与车辆之间距离变化，然后根据目标相对于车辆距离变化及运动趋势，推测出目标与车辆碰撞的危险等级。
(3) 当出现危险目标时根据危险等级不同，综合智能处理模块利用内部决策报警模块控制车载显示装置显示不同报警提示信息或控制扬声器进行不同等级的报警。如图8所示。
Claims (2)
1.基于不同波段成像融合图像处理的车辆辅助驾驶系统，包括两台或两台以上不同波段的摄像机、综合智能处理模块、车载显示装置，综合智能处理模块对这两台或两台以上不同波段摄像机拍摄的同一场景图像进行处理，由车载显示装置显示新形成的融合图像，其特征在于：两台或两台以上不同波段的摄像机、车载显示装置分别安装在车辆上，并与安装在车辆上的综合智能处理模块相连。
2.根据权利要求1所述的基于不同波段成像融合图像处理的车辆辅助驾驶系统，其特征在于：所述的不同波段的摄像机包括可见光摄像机、微光摄像机、近红外摄像机、中波红外热像仪或/和长波红外热像仪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201220750636 CN203134149U (zh) | 2012-12-11 | 2012-12-31 | 基于不同波段成像融合图像处理的车辆辅助驾驶系统 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201220682479.8 | 2012-12-11 | ||
| CN201220682479 | 2012-12-11 | ||
| CN 201220750636 CN203134149U (zh) | 2012-12-11 | 2012-12-31 | 基于不同波段成像融合图像处理的车辆辅助驾驶系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN203134149U true CN203134149U (zh) | 2013-08-14 |
Family
ID=48942101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201220750636 Expired - Lifetime CN203134149U (zh) | 2012-12-11 | 2012-12-31 | 基于不同波段成像融合图像处理的车辆辅助驾驶系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN203134149U (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104290662A (zh) * | 2014-09-30 | 2015-01-21 | 成都市晶林科技有限公司 | 一种辅助驾驶系统及方法 |
| CN104318761A (zh) * | 2014-08-29 | 2015-01-28 | 华南理工大学 | 基于高速公路场景的检测及车辆检测跟踪优化的方法 |
| CN106056566A (zh) * | 2016-06-02 | 2016-10-26 | 中国民航大学 | 一种机载视觉增强综合光电信息采集及处理系统 |
| WO2017036270A1 (zh) * | 2015-08-28 | 2017-03-09 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
| CN106803940A (zh) * | 2017-03-06 | 2017-06-06 | 广州英卓电子科技有限公司 | 一种远红外智能监控系统 |
| CN109727188A (zh) * | 2017-10-31 | 2019-05-07 | 比亚迪股份有限公司 | 图像处理方法及其装置、安全驾驶方法及其装置 |
| CN110874921A (zh) * | 2018-08-31 | 2020-03-10 | 百度在线网络技术（北京）有限公司 | 智能路侧单元及其信息处理方法 |
| WO2020052465A1 (zh) * | 2018-09-14 | 2020-03-19 | 阿里巴巴集团控股有限公司 | 路况信息处理系统及其信息处理方法及装置 |
| CN111753741A (zh) * | 2020-06-28 | 2020-10-09 | 北京小眼探索科技有限公司 | 基于深度学习的特种车辆辅助驾驶方法、装置及存储介质 |
| CN113570894A (zh) * | 2015-03-24 | 2021-10-29 | 日本先锋公司 | 自动驾驶辅助装置、控制方法及存储介质 |
| CN113609942A (zh) * | 2021-07-27 | 2021-11-05 | 数量级(上海)信息技术有限公司 | 一种基于多目多光谱融合的道路智能监控系统 |
| CN115131980A (zh) * | 2022-04-20 | 2022-09-30 | 汉得利（常州）电子股份有限公司 | 一种用于智能汽车道路行驶的目标识别系统及方法 |
| CN115623295A (zh) * | 2022-10-09 | 2023-01-17 | 云科智控(武汉)科技有限公司 | 一种车辆辅助驾驶系统 |
| CN116456201A (zh) * | 2023-06-16 | 2023-07-18 | 四川三思德科技有限公司 | 一种结合红外摄像的微光图像中热源干扰去除方法及系统 |
-
2012
- 2012-12-31 CN CN 201220750636 patent/CN203134149U/zh not_active Expired - Lifetime
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104318761A (zh) * | 2014-08-29 | 2015-01-28 | 华南理工大学 | 基于高速公路场景的检测及车辆检测跟踪优化的方法 |
| CN104290662A (zh) * | 2014-09-30 | 2015-01-21 | 成都市晶林科技有限公司 | 一种辅助驾驶系统及方法 |
| CN113570894B (zh) * | 2015-03-24 | 2023-09-01 | 日本先锋公司 | 自动驾驶辅助装置、控制方法及存储介质 |
| CN113570894A (zh) * | 2015-03-24 | 2021-10-29 | 日本先锋公司 | 自动驾驶辅助装置、控制方法及存储介质 |
| US10979654B2 (en) | 2015-08-28 | 2021-04-13 | Hangzhou Hikvision Digital Technology Co., Ltd. | Image signal processing method and system |
| WO2017036270A1 (zh) * | 2015-08-28 | 2017-03-09 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
| CN106056566A (zh) * | 2016-06-02 | 2016-10-26 | 中国民航大学 | 一种机载视觉增强综合光电信息采集及处理系统 |
| CN106803940A (zh) * | 2017-03-06 | 2017-06-06 | 广州英卓电子科技有限公司 | 一种远红外智能监控系统 |
| CN109727188A (zh) * | 2017-10-31 | 2019-05-07 | 比亚迪股份有限公司 | 图像处理方法及其装置、安全驾驶方法及其装置 |
| US11217091B2 (en) | 2018-08-31 | 2022-01-04 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Smart roadside unit and method for processing information by smart roadside unit |
| CN110874921A (zh) * | 2018-08-31 | 2020-03-10 | 百度在线网络技术（北京）有限公司 | 智能路侧单元及其信息处理方法 |
| WO2020052465A1 (zh) * | 2018-09-14 | 2020-03-19 | 阿里巴巴集团控股有限公司 | 路况信息处理系统及其信息处理方法及装置 |
| CN111753741A (zh) * | 2020-06-28 | 2020-10-09 | 北京小眼探索科技有限公司 | 基于深度学习的特种车辆辅助驾驶方法、装置及存储介质 |
| CN111753741B (zh) * | 2020-06-28 | 2024-03-15 | 北京小眼探索科技有限公司 | 基于深度学习的特种车辆辅助驾驶方法、装置及存储介质 |
| CN113609942A (zh) * | 2021-07-27 | 2021-11-05 | 数量级(上海)信息技术有限公司 | 一种基于多目多光谱融合的道路智能监控系统 |
| CN113609942B (zh) * | 2021-07-27 | 2022-11-22 | 数量级(上海)信息技术有限公司 | 一种基于多目多光谱融合的道路智能监控系统 |
| CN115131980A (zh) * | 2022-04-20 | 2022-09-30 | 汉得利（常州）电子股份有限公司 | 一种用于智能汽车道路行驶的目标识别系统及方法 |
| CN115623295A (zh) * | 2022-10-09 | 2023-01-17 | 云科智控(武汉)科技有限公司 | 一种车辆辅助驾驶系统 |
| CN115623295B (zh) * | 2022-10-09 | 2024-05-24 | 云科智控(武汉)科技有限公司 | 一种车辆辅助驾驶系统 |
| CN116456201A (zh) * | 2023-06-16 | 2023-07-18 | 四川三思德科技有限公司 | 一种结合红外摄像的微光图像中热源干扰去除方法及系统 |
| CN116456201B (zh) * | 2023-06-16 | 2023-10-17 | 四川三思德科技有限公司 | 一种结合红外摄像的微光图像中热源干扰去除方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN203134149U (zh) | 基于不同波段成像融合图像处理的车辆辅助驾驶系统 | |
| US11196916B2 (en) | Identification of an object based on identifying portions of the object captured by multiple image sensors having different luminance levels | |
| AU2020100946A4 (en) | Multi-source traffic information sensing roadside device for smart highway | |
| CN107336669B (zh) | 车辆安全防护系统及其方法 | |
| CN100437660C (zh) | 基于全方位视觉传感器的违章车辆监控装置 | |
| CN201325462Y (zh) | 基于被动红外热成像仪的列车智能交通监控系统 | |
| CN202071799U (zh) | 智能化汽车安全警示装置 | |
| CN109479124A (zh) | 用于检测自身车辆的周围环境区域的摄像装置及方法 | |
| CN105313773A (zh) | 高清全景泊车及辅助驾驶系统 | |
| CN103692993A (zh) | 一种双目远红外智能辅助安全驾驶系统 | |
| CN107798306A (zh) | 一种智能驾驶和远程可视化智能定损系统及方法 | |
| CN109544936A (zh) | 基于雷达摄像机的机动车斑马线不礼让行人预警抓拍系统 | |
| CN112140995A (zh) | 一种基于网络云端的智能汽车安全驾驶系统 | |
| CN104899858A (zh) | 基于双摄像机图像融合的车道线识别方法 | |
| US8325233B2 (en) | Video radar display system | |
| CN205039930U (zh) | 三维行车影像提醒装置 | |
| CN201325373Y (zh) | 一种基于图像智能处理的被动红外视觉车辆辅助驾驶系统 | |
| CN105679090A (zh) | 基于智能手机的夜间司机驾驶辅助系统及驾驶辅助方法 | |
| CN102314603B (zh) | 智能化汽车安全警示装置 | |
| CN117372991A (zh) | 基于多视角多模态融合的自动驾驶方法及系统 | |
| CN107292818B (zh) | 一种基于环视相机的捕线器自动定位系统及方法 | |
| CN115240152A (zh) | 一种基于视频深度学习技术的公路路产路权车载识别系统 | |
| CN108608944A (zh) | 一种智能夜视控制方法和系统 | |
| CN113421426A (zh) | 预防鬼探头式过马路的方法及系统 | |
| Xu et al. | A machine learning approach for detecting cell phone usage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Assignee: XUANYUAN IDRIVE TECHNOLOGY (SHENZHEN) CO.,LTD. Assignor: WUHAN GUIDE INFRARED Co.,Ltd. Contract record no.: 2016420000032 Denomination of utility model: Vehicle auxiliary driving system based on different wave band imaging fusion image processing Granted publication date: 20130814 License type: Exclusive License Record date: 20161102 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| CX01 | Expiry of patent term |
Granted publication date: 20130814 |
|
| CX01 | Expiry of patent term |