CN106454216A

CN106454216A - 基于非制冷红外与微光融合的夜间驾驶系统

Info

Publication number: CN106454216A
Application number: CN201610562391.5A
Authority: CN
Inventors: 富容国; 罗浩; 王贵圆; 韦方; 韦一方
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2016-11-02
Filing date: 2016-11-02
Publication date: 2017-02-22

Abstract

本发明公开了一种基于非制冷红外与微光融合的夜间驾驶系统，该系统是一种可以满足车辆驾驶人员对周围环境动态观察的智能视频监控系统，可对周围环境进行探测、跟踪以及对象分析；该系统由五部分组成：视频采集模块、视频预处理模块、视频控制模块、视频融合模块和视频显示模块。本发明采用了图像处理技术，提升了图像质量；采用了基于YC_bC_r彩色空间的自适应伪彩色融合算法，加入了融合模式切换功能，融合后的图像色彩真实，有利于人眼的目标识别；采用随动伺服控制系统使得车辆驾驶人员能快速对周围环境进行不同角度的观察，提高对环境目标的识别能力和观察效果，为车辆的安全性能提供了有力的保障。

Description

基于非制冷红外与微光融合的夜间驾驶系统

技术领域

本发明属于驾驶辅助系统，特别是一种基于非制冷红外与微光融合的夜间驾驶辅助系统。

背景技术

随着现代信息技术的发展，人们对车辆驾驶的安全性提出了更高的要求。在夜间和复杂气象条件下，仅仅依靠驾驶人员直接目视往往无法有效的获取车辆周围情况，车辆行驶的安全性受到很大威胁。另一方面，随着光电技术的发展，通过现代夜视成像和信息处理技术，可以清晰获取车辆前方道路的画面，并将其传递给驾驶人员，有效的提高夜间驾驶的安全性。目前的夜视图像主要有红外图像和微光图像。红外成像系统探测距离远，但对比度较低，动态范围大，物体外观不自然，不符合人眼视觉习惯。微光图像对比度很低，直方图表现灰度范围集中，尤其强光输入时会导致局部出现光晕，严重影响驾驶员视野。因此使用任一种单一图像作为辅助驾驶系统均无法达到理想效果，鉴于红外与微光图像的良好互补性，将红外和微光图像进行融合显示已成为夜间驾驶员视觉增强的一种有效手段，能够为驾驶人员提供更全面的目标背景信息，增强观察效果。

针对这一问题，设计了一种有利于视觉增强的基于非制冷红外与微光融合的夜间驾驶辅助系统。在夜间驾驶视觉增强技术和图像融合技术这方面，国内外很多学者、科研机构做出了很多努力。其中有：四川大学，电子信息学院的宋敏，张蓉竹，孙年春发表的《基于红外与微光融合图像的夜视仪设计》。此文在FPGA系统上设计了帧同步、图像分割、动目标检测、图像融合子模块，实现了恒虚警检测、目标染色、图像融合等功能，虽然算法简单易于在硬件实现但融合效果不好，存在较大的噪声。华中科技大学模式识别与人工智能研究所的龚俊斌、马佳义、田金文发表的《一种车载的红外与微光图像融合系统设计》。此文使用红外热像仪与微光相机平行光路设计，信息处理分为图像采集、图像融合、颜色迁移与图像显示五个模块，在DSP中实现了小波彩色图像融合算法。此算法颇为复杂，虽然融合图像有更好的质量，但在硬件上实现无法保证处理的实时性，还需要后续的算法优化及硬件的进一步设计。

以上所提到的技术存在以下缺点：算法简单但融合效果不理想、算法复杂却不具备实时性，而且这些系统功能单一，人机交互能力不强。这些缺点都不利于驾驶人员对车辆周围目标背景的观察，影响判断和操作，降低了安全性。

发明内容

本发明的目的在于提供一种基于非制冷红外与微光融合的夜间驾驶系统。该系统能够很好的将周围背景的红外与微观融合图像实时地提供给驾驶人员，能够为驾驶人员提供更全面的目标背景信息，增强观察效果并提高车辆安全性能。

实现本发明目的的技术解决方案为：一种基于非制冷红外与微光融合的夜间驾驶系统，包括视频采集模块、视频预处理模块、视频控制模块、视频融合模块、视频显示模块；其中：

视频采集模块与视频预处理模块相连用以获取视频信号，将采集到的微弱的自然光图像和热对比度图像转换为模拟视频信号，并将视频信号传输至视频预处理模块；

视频预处理模块与视频控制模块相连，视频预处理模块主要将采集到的视频信号进行增强，方便后续的图像处理计算，采用时域滤波与空域滤波相结合、分区域处理的方法对微光视频信号降噪，对红外图像采取对比度拉伸增强的方法，并将预处理后的视频数据传输至视频控制模块；

视频控制模块模块与视频融合模块相连，显示模式切换功能用于对图像进行实时显示控制，可实时切换图像融合模式、控制显示屏显示时间和GPS定位信息等；随动伺服控制模块用于控制前端摄像机与后端OLED眼镜保持同步转动；

视频融合模块与视频显示模块相连，用于对两路视频信号采用基于YC_bC_r彩色空间的自适应伪彩色融合算法进行伪彩色融合，并将融合后的视频信号传输到视频显示模块；

视频显示模块与视频融合模块相连，OLED眼镜可以接收视频融合模块无线传输的视频信号来实时显示，显示器可直接显示有线传输的视频信号。

本发明与现有技术相比，其显著优点：（1）在DSP TMS320C6678上实现了YC_bC_r彩色空间的直方图规定化色彩自适应传递算法，实现对融合图像的自动色彩传递，图像色彩较真实，纹理清晰，将有利于人眼的目标识别。（2）通过设计实时控制模块，可实时控制DSP切换图像融合模式，显示实时时间和GPS定位信息等。（3）设计了基于TMS320C6678的随动伺服控制系统，使得红外与微光镜头能够与观测人员的头部实现同步转动，提高对周围环境目标的识别能力和观察效果，为车辆的安全性能提供了有力的保障。

附图说明

图1是本发明基于非制冷红外与微光图像融合的夜间驾驶系统原理图。

图2是FPGA实时降噪增强的原理图。

图3是图像显示控制系统原理图。

图4是随动伺服系统原理图。

具体实施方式

本发明基于非制冷红外与微光融合的夜间驾驶系统由五部分组成，包括视频采集模块、视频预处理模块、视频控制模块、视频融合模块、视频显示模块。

所述视频采集模块包括微光夜视仪、红外热像仪以及传输线路。主要用于将采集到的微弱的自然光图像和热对比度图像转换为模拟视频信号，微光夜视仪的分辨率为720×576，红外热像仪的分辨率为320×240，帧频均为25帧/秒。

所述视频预处理模块采用了微光降噪与红外图像增强技术。通过FPGA处理电路，采用时域滤波与空域滤波相结合、分区域处理的方法，可对微光图像进行时空滤波和图像降噪增强、对红外图像进行对比度拉伸变换并通过基于简单的阈值分割技术等分离出运动目标。

所述视频控制模块包括显示模式切换模块、随动伺服控制模块。显示模式切换模块用于实时切换图像融合模式、控制显示屏显示时间和GPS定位信息，随动伺服控制模块用于控制前端摄像机镜头与后端OLED眼镜保持同步转动。

所述视频融合模块包括图像融合模块和信号传输模块。基于DSP TMS320C6678上的视频融合模块对两路视频信号采用基于YCbCr彩色空间的自适应伪彩色融合算法进行伪彩色融合，具体算法实现步骤如下：

（1）环境数据的提取：对所有参考图像用转换公式

（1）

得到亮度信号Y及Cb、Cr的两个色差信号特征值，对YCbCr彩色空间的图像的三个通道亮度Y、色差信号Cb、Cr计算它们的灰度直方图和累计灰度直方图，分别建立数据表保存。

（2）选取YCbCr彩色空间的图像亮度信号Y的起始值k2，结束值k3，然后计算出k1=丨k3-k2丨，对应参考图像数据的存储地址(Z1，Z2)，Z1和Z2分别是灰度直方图数据和累计灰度直方图数据，建立如下格式的特征数据值表，以备查询使用。

M₁(Z₁，Z₂)——M₁(k₁，k₂)

……

M_n(Z₁，Z₂)——M_n(k₁，k₂)

（3）

（2）

上式中，YIR与YLL分别是红外图像和微光图像在YCbCr色彩空间下的Y分量，按照此式同步处理上一帧图像的灰度直方图、累计灰度直方图，在模型中的Y通道灰度直方图数据中，查找主要灰度范围值，找出最接近的M1(k1，k2),确定M1(Z1，Z2)对应的特征数据表。

（4）采用灰度直方图规定化算法由表中查出相应的Y、Cb、Cr值，对模型中的三个数值进行替换。

伪彩色融合完毕后将融合后的视频信号传输到视频传输模块，视频传输模块将融合后的视频信号通过无线传输和有线传输方式传送给视频显示模块。

所述视频显示模块包括OLED眼镜显示模块和显示器显示模块。其中：OLED眼镜显示模块与视频传输模块相连，可显示融合后的视频图像信号，显示器显示模块与视频传输模块相连，可与OLED眼镜同步显示融合后的视频图像信号。

以下结合附图对本发明的系统进一步描述：

如图1所示。整个系统分为视频采集模块、视频预处理模块、视频控制模块、视频融合模块、视频显示模块。

所述视频采集模块用于获取模拟视频信号，前端主要采用微光夜视仪、非制冷红外热像仪视频采集器件。对微光镜头和红外镜头需要选择不同的焦距，使得在2~200m观察距离内视场放大率保持1:1，能初步进行配准。

所述视频预处理模块如图2所示，将微光夜视仪和红外热像仪经视频解码电路后提供的BT656数字视频信号送入FPGA，对灰度信号进行时空滤波及图像增强，并利用视频参考信号产生各种控制信号；最后，利用视频合成芯片将同步、消隐信号和经过处理的灰度信号转换成标准的PAL制模拟视频或BT656数字视频信号后输出。由于红外图像分辨率与微光图像的分辨率不同，因此需要对红外图像进行相应的拉伸变换，同时采用阈值分割算法分离出微光视频中的运动目标。

所述的视频控制模块如图3所示，在基于DSP TMS320C6678的系统架构上通过上位机软件以及按键硬件控制使得DSP接收相应的控制信号从而使得图像融合后的输出视频信号能添加文字显示、GPS信息显示及融合模式实时切换。如图4所示，随动控制系统部分分为方位向和高低向，由于随动系统在方位向和高低向釆用类似的结构，在这里就只对方位向进行分析。每一方向的方位传感器都接收来自观测人员的头部位置信息和指令数据，同时利用方位传感器对镜头的架位信息进行实时检测，在各自的随动控制器中作相应偏差计算，输出模拟控制量给电机驱动器，控制伺服电机以相应的转速转动，电机轴经由减速机构减速，驱动方位向负载转动。本随动伺服控制系统是以红外与微光镜头整体作为被控对象，当观测人员的头部不断发生空间位置的变化时，输入与输出量间会产生误差，经过增量式控制或者平方根控制算法的计算，通过数模转换控制器转换为电压量，电压量经过高低机、方向机的位置环、速度环、电流环和功率放大器后，传给直流伺服电机，电机将驱动红外与微光镜头转动，实现镜头与头部的一致转动。

所述的视频融合模块，采用了基于YCbCr彩色空间的自适应伪彩色融合算法，把多个特殊场景的图像直方图数据制成相应的数据表格，在实时系统中通过查表进行直方图规定化变换，达到由参考图像到目标图像传递色彩的目的。当融合处理功能完成后，需要经视频信号输出到显示屏和头戴式眼镜上实时显示，因此通过传输模块，实现输出视频图像能在显示屏和头戴式眼镜上同步实时显示。

所述视频显示模块包括OLED眼镜显示模块和显示器显示模块。OLED眼镜与显示器可同步显示融合后的视频图像信号。

本发明通过设计一种基于非制冷红外与微光融合的夜间驾驶辅助系统，该系统能够很好的将周围背景的红外与微观融合图像实时地提供给驾驶人员，能够为驾驶人员提供更全面的目标背景信息，通过采用基于YCbCr彩色空间的自适应伪彩色融合算法以及随动伺服控制系统，使得驾驶人员能更好的来观察周围情况，并能够很好的保证实时性。该系统有几部分都是独立添加设计，可以根据特定的需求，适当添加和删除，如模式切换，时间和GPS信息显示等。该系统很好的弥补了现有的夜间驾驶系统在行为识别和环境检测时正确率低，速度慢，实时性差的缺陷，具有良好的发展前景。

Claims

1.一种基于非制冷红外与微光融合的夜间驾驶系统，其特征在于：包括视频采集模块、视频预处理模块、视频控制模块、视频融合模块和视频显示模块；其中：

视频采集模块与视频预处理模块相连，用以获取视频信号，将采集到的微弱的自然光图像和热对比度图像转换为模拟视频信号，并将视频信号传输至视频预处理模块；

视频预处理模块与视频控制模块相连，将采集到的视频信号进行增强，采用时域滤波与空域滤波相结合、分区域处理的方法对微光视频信号降噪，对红外图像采取对比度拉伸增强的方法，并将预处理后的视频数据传输至视频控制模块；

视频控制模块与视频融合模块相连，显示模式切换用于对图像进行实时显示控制，可实时切换图像融合模式、控制显示屏显示时间和GPS定位信息；随动伺服控制用于控制前端摄像机与后端OLED眼镜保持同步转动；

视频融合模块与视频显示模块相连，对两路视频信号采用基于YC_bC_r彩色空间的自适应伪彩色融合算法进行伪彩色融合，并将融合后的视频信号传输到视频显示模块；

视频显示模块与视频融合模块相连，OLED眼镜接收视频融合模块无线传输的视频信号来实时显示，显示器可直接显示有线传输的视频信号。

2.根据权利要求1所述的基于非制冷红外与微光融合的夜间驾驶系统，其特征在于：所述视频采集模块包括微光夜视仪、红外热像仪以及传输线路；其中：前端微光夜视仪与视频预处理模块相连，用于采集微光模拟视频信号，通过传输线路再传输到视频预处理模块，红外热像仪与视频预处理模块相连，用于采集热对比度模拟视频信号，通过传输线路再传输到视频预处理模块。

3.根据权利要求1所述的基于非制冷红外与微光融合的夜间驾驶系统，其特征在于：所述视频预处理模块包括存储器、微光降噪模块与红外图像增强模块；其中：存储器与视频采集模块相连，用于存储待处理的数字视频信号，微光降噪模块与视频控制模块相连，用于对微光图像进行时空滤波和图像降噪增强，红外图像增强系统与视频控制模块相连，用于对红外图像进行拉伸变换以实现对比度增强。

4.根据权利要求1所述的基于非制冷红外与微光融合的夜间驾驶系统，其特征在于：所述视频控制模块包括显示模式切换模块和随动伺服控制模块；其中：显示模式切换模块与随动伺服控制模块相连，用于实时切换图像融合模式、控制显示屏显示时间和GPS定位信息，随动伺服控制模块和图像融合模块相连，驾驶员头部传感器将头部眼镜的左右和高低转动速度参数传递给DSP，DSP将此参数与获取到的摄像机镜头速度反馈值相减得到伺服电机的速度误差值，接着通过电压驱动器产生伺服电机速度的控制模拟信号以对摄像头进行转动控制，从而实现对摄像机镜头的实时伺服控制。

5.根据权利要求1或4所述的基于非制冷红外与微光融合的夜间驾驶系统，其特征在于：所述视频融合模块包括图像融合模块和视频传输模块；其中：图像融合模块和视频传输模块相连，用于对两路视频信号采用基于YC_bC_r彩色空间的自适应伪彩色融合算法进行伪彩色融合，并将融合后的视频信号传输到视频传输模块，视频传输模块和视频显示模块相连，视频传输模块用于将融合后的视频信号通过无线传输和有线传输方式传送给视频显示模块。

6.根据权利要求1所述的基于非制冷红外与微光融合的夜间驾驶仪，其特征在于：所述视频显示模块包括OLED眼镜显示模块和显示器显示模块；其中：OLED眼镜显示模块与视频融合模块相连，显示融合后的视频图像信号，显示器显示模块与视频融合模块相连，与OLED眼镜同步显示融合后的视频图像信号。