CN103279938A - 红外/微光图像融合夜视系统 - Google Patents

Abstract

本发明所述的红外/微光图像融合夜视系统，由微光物镜组、微光像增强器、红外物镜组、非制冷长波红外探测器、图像处理电路模块、电信号传输线，OLED微型显示器、合光棱镜和目镜系统组成； 该夜视系统以微光图像为背景，光学投影上伪彩色红外目标的方式实现微光通道和红外通道的图像融合。为获得良好图像融合效果，微光和红外都要满足一倍的放大率，并对红外图像进行去噪、增强的预处理和目标提取及图像的电子配准，然后对灰度图像进行伪彩色处理，再输出到OLED微型显示器上进行彩色显示。融合后的图像微光背景清晰，红外目标突出。夜视系统体积小，重量轻，能长时间工作，特别适合夜晚车辆驾驶和单人便携观察使用。

Description

红外/微光图像融合夜视系统

技术领域

本发明属于光学成像技术领域，具体涉及一种基于红外目标提取和伪彩色技术的红外/微光图像融合便携式夜视系统。 

技术背景

夜视装备主要有微光和红外两种，各有优缺点。微光的优点是视觉感受接近可见光，能很好的识别对于可见光反射率不一样的物体，缺点是对于温度不敏感，难以探测到隐蔽的目标；红外的优点是对于温度很敏感，能很好的探测到温差目标，且探测距离远，有穿透烟雾等能力，缺点是对于温度很接近的场景目标难以识别。把两种传感器的图像进行融合显示，使信息得到互补，让人在夜晚能更好的观察。目前大部分的微光和红外图像融合系统采取双通道数字融合，通过微光CCD通道和红外热像仪通道的图像，进行数字融合；也有采取简单的对灰度图像进行光学叠加的方式进行融合；光学设计上有采取共光轴的设计，也有采取分离式双光路的方式。人眼对经过伪彩色处理后的图像信息有更好的分辨能力，所以对灰度图像进行伪彩色变换后显示是必要的。 

双通道数字融合方式的缺点是数据量大、算法复杂、功耗高、体积大且成本高。简单的对灰度图像进行光学叠加的方式不能保证很好的融合效果，如果配准不好会导致图像模糊，如果光学设计的放大率不是匹配的一倍放大率的设计，会导致观察者判断失误和产生不舒适感。 

发明内容

针对双通道数字图像融合系统数据量大，简单光学叠加融合效果不佳的缺点，本发明提供一种基于红外目标提取和伪彩色技术的微光/红外图像融合夜视系统。 

本发明所述的红外/微光图像融合夜视系统，其特征为由微光物镜组、微光像增强器、红外物镜组、非制冷长波红外探测器、图像处理电路模块、电信号传输线，OLED微型显示器、合光棱镜和目镜系统组成；其中，外部景物的光线通过微光物镜组由微光像增强器接收并进行光子能量放大后经合光棱镜投影在目镜系统上；外部同一景物的红外光线通过红外物镜组由非制冷长波红外探测器接收，生成8位的数字灰度图像（256个灰阶），通过电信号传输线输入到图像处理电路模块进行去噪、增强的预处理和目标提取及图像的电子配准，然后对灰度图像进行伪彩色处理，再输出到OLED微型显示器上进行彩色显示，OLED微型显示器显示的图像，经过合光棱镜投影在目镜系统上；微光通道和红外通道的图像经过光学投影，实现图像的融合。即以微光图像为背景,光学投影上伪彩色红外目标图像，实现微光图像和红外图像的融合。 

上述的结构中，微光和红外的光路要匹配，且微光和红外都要满足一倍的放大率，保证微光和红外图像的初步配准。微光物镜组、红外物镜组和目镜系统的焦距满足以下关系： 

$\mathrm{\Γ}{=1}^{\×}=\frac{f_1^{\′}}{f_2^{\′}}=\frac{f_2^{\′}}{f_3^{\′}}\×\frac{d_6}{d_5}$

其中，f₁',f₂',f₃'分别为微光物镜组、红外物镜组和目镜系统的焦距；d₅,d₆分别为非制冷长波探测器和OLED微型显示器的对角尺寸。 

上述的目标提取，即根据景物的温度所对应的灰度值进行阈值分割，实现剔除背景，保留目标信息的目的。将常见场景的温度所对应的灰度值设为默认阈值，大于或等于默认阈值时，灰度值不变，小于默认阈值时，灰度值等于0。 

上述的图像的电子配准，即对红外图像的电子放大、旋转、平移变换和OLED微型显示器的显示控制。对红外图像的显示进行精确控制，实现红外图像与微光图像一个像素内的图像配准。 

上述的伪彩色处理，即应用灰度级—彩色变换法，由已知的灰度信号得到相应的R，G，B三基色的亮度信号，把得到的三基色的亮度值输入监视器，得到彩色的图像。 

本发明的应用证明：融合后的图像微光背景清晰，红外目标突出；夜视系统体积小，重量轻，能长时间工作，特别适合夜晚车辆驾驶和单人便携观察使用。 

附图说明

图1为本发明夜视系统融合过程流程示意图； 

图2为本发明夜视系统光学系统示意图； 

图3为本发明夜视系统光学系统的微光物镜组示意图； 

图4为本发明夜视系统光学系统的红外物镜组示意图； 

图5为本发明夜视系统光学系统的合光棱镜与目镜系统示意图； 

图6为3×3模板的中值滤波示意图； 

图7为图像对比度拉伸示意图； 

图8为双线性插值示意图； 

图9为未经平移或旋转的红外图像； 

图10为图9所示的整幅图像水平向左平移一个像素的示意图； 

图11为图9所示的整幅图像垂直向上平移一个像素的示意图； 

图12为图9所示的整幅图像围绕图像中心像素逆时针旋转45°的示意图； 

图13为本发明夜视系统中OLED微型显示器寄存器03H的地址，控制OLED微型显示器在垂直方向的显示区域； 

图14为本发明夜视系统中OLED微型显示器寄存器04H的地址，控制OLED微型显示器在水平方向的显示区域； 

图15为本发明夜视系统中OLED微型显示器对应的显示区域示意图； 

图16为本发明夜视系统中应用的灰度级—彩色变换对应折线图。 

图中，1是微光物镜组，10是微光物镜前组第一透镜，11是微光物镜前组第二透镜，12是微光物镜前组第三透镜，13是微光物镜后组第一透镜，14是微光物镜后组第二透镜，15是微光物镜后组第三透镜，16是微光物镜后组第四透镜；2是红外物镜组，21是红外物镜前组，22是红外物镜后组；3是目镜系统，31是目镜第一透镜，32是目镜第二透镜，33是目镜第三透镜；4是微光像增强器；5是非制冷长波红外探测器；6是OLED微型显示器；7是合光棱镜；8是 图像处理电路模块；9是电信号传输线。 

具体实施方式

以下结合附图，通过实施例对本发明作进一步的详细说明。 

如图1和2所示，本发明所述的红外/微光图像融合夜视系统，其特征在于由微光物镜组1、微光像增强器4、红外物镜组2、非制冷长波红外探测器5、图像处理电路模块8、电信号传输线9，OLED微型显示器6、合光棱镜7和目镜系统3组成；其中，外部景物的光线通过微光物镜组1由微光像增强器4接收并进行光子能量放大，光子能量放大后的微光图像经合光棱镜7投影在目镜系统3上；外部同一景物的红外光线通过红外物镜组2由非制冷长波红外探测器5接收，生成8位256个灰阶的数字灰度图像，通过电信号传输线9输入到图像处理电路模块8进行去噪、增强的预处理和目标提取及图像的电子配准，然后对灰度图像进行伪彩色处理，再输出到OLED微型显示器6上进行伪彩色显示，OLED微型显示器显示的伪彩色红外目标图像，经过合光棱镜7投影在目镜系统3上；微光通道和红外通道的图像最终都投影在目镜系统3上，通过光学叠加，实现微光图像和红外图像的融合。 

如图2所示，为保证微光直视系统和红外观察系统的视放大率相等，即同时满足一倍的视放大率关系，微光物镜组1、红外物镜组2和目镜系统3的焦距满足以下关系： 

$\mathrm{\Γ}{=1}^{\×}=\frac{f_1^{\′}}{f_2^{\′}}=\frac{f_2^{\′}}{f_3^{\′}}\×\frac{d_6}{d_5}$

其中，f₁',f₂',f₃'分别为微光物镜组1、红外物镜组2和目镜系统3的焦距；d₅,d₆分别为非制冷长波探测器5和OLED微型显示器6的对角尺寸。 

如图3所示，微光物镜组1为一个大孔径（F/1.6）、大视场(2w=40°)的大像差物镜系统，需要校正七种像差（垂轴色差、慧差、畸变、轴向球差、象散、场曲和轴向色差），故采用对称的高斯型式，提供二十六种变量，以校正以上七种像差。微光物镜组1由微光物镜前组和微光物镜后组组成，微光物镜前组与微光物镜后组组成对称的结构型式。微光物镜前组由微光物镜前组第一透镜10，微光物镜前组第二透镜11，微光物镜前组第三透镜12组成。微光物镜前组第一透镜10材料选自LaF5，微光物镜前组第二透镜11材料选自BaK6，微光物镜前组第三透镜12材料选自ZF6。微光物镜后组由微光物镜后组第一透镜13，微光物镜后组第二透镜14，微光物镜后组第三透镜15，微光物镜后组第四透镜16组成。微光物镜后组第一透镜13材料选自QF6，微光物镜后组第二透镜14材料选自LaF3，微光物镜后组第三透镜15材料选自LaF3，微光物镜后组第四透镜16材料选自ZF6。微光物镜组1采用对称结构型式，用于使垂轴色差、慧差和畸变相互抵消，校正轴向像差，即轴向球差、象散、场曲和轴向色差。表面1、表面2分别为微光物镜前组第一透镜10的前后表面；表面3、表面4分别为微光物镜前组第二透镜11的前后表面；表面4、表面5分别为微光物镜前组第三透镜12的前后表面；微光物镜前组第二透镜11与微光物镜前组第三透镜12进行胶合，共用表面4；STOP面为光阑 面，处于微光物镜前组与微光物镜后组之间；表面7、表面8分别为微光物镜后组第一透镜13的前后表面；表面8、表面9分别为微光物镜后组第二透镜14的前后表面；微光物镜后组第一透镜13与微光物镜后组第二透镜14进行胶合，共用表面8；表面10、表面11分别为微光物镜后组第三透镜15的前后表面；表面12、表面13分别为微光物镜后组第四透镜16的前后表面；表面14为微光像增强器4保护玻璃的前表面；表面IMAG为微光像增强器4保护玻璃的后表面，也为微光物镜组1的像面位置。 

表1微光物镜组1光学结构参数 

表面	曲率半径	厚度	材料	有效孔径
					1	23.39	3.6	LaF5	Ф17.6
2	1312.2	0.1		Ф16.6
					3	11.588	4.7	BaK6	Ф14.0
4	-42.36	1.3	ZF6	Ф12.0
					5	8.872	2		Ф9.8
Stop	∞	1.3		Ф9.6
					7	-15.136	1.3	QF6	Ф10.0
8	10.3059	5	LaF3	Ф12.6
					9	-24.21	0.1		Ф13.2
10	27.704	4.3	LaF3	Ф13.4
					11	-25.902	2		Ф13.4

[0038] 

12	-12.134	1.3	ZF6	Ф12.8
					13	-39.63	4		Ф13.6
14	∞	5.6	FK2	Ф16.0
					IMAG	∞	0		Ф18.0

如图4所示，红外物镜组2为一个大孔径（F/1.8）、大视场(2w=33.4°)的大像差系统，需要校正七种像差（垂轴色差、慧差、畸变、轴向球差、象散、场曲和轴向色差），采用对称的高斯型式。红外物镜组2由红外物镜前组21和红外物镜后组22组成,材料都选用Ge；红外物镜组2采用对称结构形式，用于使垂轴色差、慧差和畸变相互抵消，校正轴向像差，即轴向球差、象散、场曲和轴向色差；红外物镜前组21的前表面采用偶次非球面，此偶次非球面的线性方程式为 $Z=\frac{{\mathrm{cr}}^2}{1+\sqrt{1-(1+k){\mathrm{cr}}^2}}+{\mathrm{Ar}}^4+{\mathrm{Br}}^6+{\mathrm{Cr}}^9+{\mathrm{Dr}}^{10}+\·\·\·\·\·\·,$ 其中： $C=\frac{1}{R};$ 红外物镜后组22的后表面采用偶次非球面，此偶次非球面的线性方程式为 $Z=\frac{{\mathrm{cr}}^2}{1+\sqrt{1-(1+k){\mathrm{cr}}^2}}+{\mathrm{Ar}}^4+{\mathrm{Br}}^6+{\mathrm{Cr}}^9+{\mathrm{Dr}}^{10}+\·\·\·\·\·\·,$ 其中： $C=\frac{1}{R};$ 表面15、表面16分别为红外物镜前组21的前后表面；STOP面为光阑面，处于红外物镜前组21和红外物镜后组22之间；表面18、表面19分别为红外物镜后组22的前后表面；表面20、表面21分别为非制冷长波红外探测器5的前后表面；IMAG面为红外物镜组2的像面。 

表2红外物镜组2光学结构参数 

表面

曲率半径

厚度

材料

有效孔径

[0042] 

15	偶次非球面	3.9	Ge	Ф17.8
					16	16.98	5.4		Ф14.6
Stop	∞	5.3		Ф10.6
					18	-709.6	4.5	Ge	Ф13.2
19	偶次非球面	10		Ф13.6
					20	∞	0.7	Ge	Ф9.6
21	∞	4.826		Ф10.0
					IMAG	∞	0		Ф15.2

表面15偶次非球面系数为： 

R=17.80829 

k=0.95525 

A=-2.50695E-5 

B=-6.92821E-8 

C=-7.13524E-10 

D=-4.49778E-12 

表面19偶次非球面系数为： 

R=-83.78067 

k=0 

A=6.34154E-6 

B=-7.20176E-8 

C=4.63649E-9 

D=-5.27999E-11 

如图5所示，合光棱镜7材料选自QK3；目镜系统3为一个小孔径（D=5mm）、大视场(2w=44°)、远出瞳距离（l_Z'=16.14mm）的目镜系统。目镜系统3由目镜第一透镜31，目镜第二透镜32，目镜第三透镜33所组成。目镜第一透镜31材料选自ZK1，目镜第二透镜32材料选自LaK3，目镜第三透镜33材料选自ZF5，用于校正像散、垂轴色差和慧差。初级慧差与光束孔径的平方成正比，由于目镜系统的出瞳直径比较小，慧差不会太大，在这三种像差中，它居于次要地位。目镜系统着重校正像散和垂轴色差两种像差。其中STOP面为目镜系统的光阑面；表面23、表面24分别为目镜第三透镜33的前后表面；表面24、表面25分别为目镜第二透镜32的前后表面；目镜第二透镜32与目镜第三透镜33进行胶合，共用表面24；表面26、表面27分别为目镜第一透镜31的前后表面；表面28、表面29分别为合光棱镜7的前后表面；IMAG面为目镜系统的像面。 

表3目镜系统和合光棱镜光学结构参数 

表面曲率半径	厚度	材料	有效孔径
				Stop∞	16.14		Ф5.0
23-149.19	1.3	ZF5	Ф12.8
				2416.827	4.7	LaK3	Ф13.8
25-26.3	1		Ф14.6
				2634.36	6	ZK1	Ф15.6
27653.1	5.526		Ф15.8

[0060] 

28	∞	18.4	QK3	Ф16.1
					29	∞	2.8		Ф17.0
IMAG	∞	0		Ф17.0

如图1所示，图1中的虚线箭头表示光路，实线箭头表示电信号的传输。红外通道的图像处理电路模块8对由非制冷长波红外探测器5生成的8位、256个灰阶的数字灰度图像进行去噪、增强的预处理、目标提取、图像的电子配准和对灰度图像进行伪彩色处理。图像处理电路模块8采用Xilinx公司的芯片Spartan6。 

一、对数字灰度图像进行去噪、增强的预处理。 

1.去噪声处理。应用3×3的模板进行中值滤波处理，如图6所示： 

滤波后，f(i,j)滤波后的灰度值f'(i,j)如下式（1）： 

$\begin{array}{c}{f}^{\′}(i,j)=\mathrm{midian}\{f(i-1,j-1),f(i-1,j),f(i-1,j+1),f(i,j-1),f(i,j),\\ f(i,j+1),f(i+1,j-1),f(i+1,j),f(i+1,j+1)\}\end{array}---\left(1\right)$

即取9个像素中灰度值大小为中间值的像素灰度值为滤波后f'(i,j)的灰度值。 

2.图像增强处理。应用对比度拉伸来进行图像增强。 

如图7所示，在低灰度值区域进行灰度值压缩，在高灰度值区域也进行灰度值压缩，在中间区域进行灰度值拉伸，具体的算术表达式为下式（2）所示。 

$g(x,y)=\left\{\begin{array}{cc}\frac{1}{2}[f(x,y)-170]+213& 170\&le;f(x,y)\&le;255\\ 2[f(x,y)-84]+42& 84<f(x,y)<170\\ \frac{1}{2}f(x,y)& 0\&le;f(x,y)\&le;84\end{array}\right.---\left(2\right)$

g(x,y)为f(x,y)经过对比度拉伸后的灰度值。 

二、数字灰度图像的目标提取。将常见场景的温度所对应的灰度值阈值125设为默认阈值，大于或等于默认阈值125时，灰度值不变，小于默认阈值125时，灰度值等于0。通过按键调整程序中的阈值来进行调整，保留了根据现场情况进行阈值调整的能力。 

三、图像的电子配准。如图2、图8、图9、图10、图11、图12、图13、图14和图15所示，要保证微光和红外两图像在一个像素以内的配准，必须进行红外图像的电子学处理，进行插值、平移变换、旋转和OLED微型显示器6的显示区域控制。采取以下方法实现： 

1.通过插值的方式实现红外图像的放大。本实施例采用双线性插值的方式进行插值来对红外图像进行放大。 

如图8所示，Q₁₁，Q₁₂，Q₂₁，Q₂₂为已有像素，像素灰度值分别为f(Q₁₁)，f(Q₁₂)，f(Q₂₁)，f(Q₂₂)，插入新像素P，求解过程如式（3）、（4）、（5），最后可得式（6），f(x,y)为像素P的灰度值。 

$\begin{array}{c}f\left(R_1\right)\&ap;\frac{x_2-x}{x_2-x_1}f\left(Q_{11}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{21}\right)\end{array},R_1=(x,y_1)---\left(3\right)$

$\begin{array}{c}f\left(R_2\right)\&ap;\frac{x_1-x}{x_2-x_1}f\left(Q_{12}\right)+\frac{x-x_1}{x_2-x_1}f\left(Q_{22}\right)\end{array},R_2=(x,y_2)---\left(4\right)$

$f\left(P\right)\&ap;\frac{y_2-y}{y_2-y_1}f\left(R_1\right)+\frac{y-y_1}{y_2-y_1}f\left(R_2\right)---\left(5\right)$

$\begin{array}{c}f(x,y)\&ap;\frac{(x_2-x)(y_2-y)}{(x_2-x_1)(y_2-y_1)}f\left(Q_{11}\right)+\frac{(x-x_1)(y_2-y)}{(x_2-x_1)(y_2-y_1)}f\left(Q_{21}\right)\\ +\frac{(x_2-x)(y-y_1)}{(x_2-x_1)(y_2-y_1)}f\left(Q_{12}\right)+\frac{(x-x_1)(y-y_1)}{(x_2-x_1)(y_2-y_1)}f\left(Q_{22}\right)\end{array}---\left(6\right)$

2.以微光图像为基准，对红外图像进行平移和旋转： 

⑴如图9、图10和图11所示，更改图像处理电路模块8内FPGA中的影射表，来进行平移。 

图10为图9所示的整幅图像水平向左平移一个像素，同理也可向右平移。 

图11为图9所示的整幅图像垂直向上平移一个像素，同理也可以垂直向下移动。 

⑵如图9和图12所示，更改图像处理电路模块8内FPGA中的影射表，来进行旋转。 

图像中心像素（图9和图12中的F）不变，其他像素围绕中心进行相应的移动，完成旋转，图12是图9逆时针旋转45°的结果，同理也可以进行顺时针旋转。 

3．如图13、图14和图15所示，设置OLED微型显示器6的寄存器，控制OLED微型显示器的显示区域，这样就可以弥补机械和光学结构不精确导致的显示区域误差，实现两幅图像完整区域的配准。 

⑴如图13所示，修改寄存器03H的数值，控制OLED微型显示器在垂直方向的显示区域。 

⑵如图14所示，修改寄存器04H的数值，控制OLED微型显示器在水平方向的显示区域。 

图15是OLED微型显示器的显示区域示意图。 

四、对灰度图像进行伪彩色处理。本实施例应用灰度级—彩色变 换法，由已知的灰度信号得到相应的R，G，B三基色的亮度信号，然后把得到的三基色的亮度值输入监视器，得到彩色的图像。采取以下方法实现： 

1.设定R(x,y)、G(x,y)、B(x,y)分别代表(x,y)的灰度值所对应的红、绿、蓝三色的亮度值。 

2.图16所示为本实施例的灰度级—彩色变换折线图，满足公式（7），对应灰度图像的灰度值，得出R，G，B三基色的亮度值。此伪彩色编码低于常温的目标偏绿色，和微光图像衔接自然，而高于常温的目标偏暖色。经过实验验证，主观评价的结果很好。 

$\left\{\begin{array}{c}R(x,y)=f(x,y),0\&le;f(x,y)\&le;255\\ G(x,y)=255-f(x,y),0\&le;f(x,y)\&le;255\\ B(x,y)=\left\{\begin{array}{c}2f(x,y),0\&le;f(x,y)\&le;127\\ 254-2f(x,y),128\&le;f(x,y)\&le;255\end{array}\right.\end{array}\right.---\left(7\right)$ 。

Claims (6)

1.红外/微光图像融合夜视系统，其特征在于由微光物镜组⑴、微光像增强器⑷、红外物镜组⑵、非制冷长波红外探测器⑸、图像处理电路模块⑻、电信号传输线⑼，OLED微型显示器⑹、合光棱镜⑺和目镜系统⑶组成；外部景物的光线通过微光物镜组由微光像增强器接收并进行光子能量放大后经合光棱镜投影在目镜系统上；外部同一景物的红外光线通过红外物镜组由非制冷长波红外探测器接收，生成8位、256个灰阶的数字灰度图像，通过电信号传输线输入到图像处理电路模块进行去噪、增强的预处理和目标提取及图像的电子配准，然后对灰度图像进行伪彩色处理后，输出到OLED微型显示器上进行彩色显示，OLED微型显示器显示的图像，经过合光棱镜投影在目镜系统上；微光通道和红外通道的图像经过光学投影，实现图像的融合。

2.按照权利要求1所述的红外/微光图像融合夜视系统，其特征在于以微光图像为背景,光学投影上伪彩色红外目标图像，实现微光图像和红外图像的融合。

3.按照权利要求1所述的红外/微光图像融合夜视系统，其特征在于微光和红外的光路要匹配，且微光和红外都要满足一倍的放大率，保证微光和红外图像的初步配准。

4.按照权利要求2所述的红外/微光图像融合夜视系统，其特征在于对红外数字灰度图像进行去噪、增强的预处理。

5.按照权利要求2所述的红外/微光图像融合夜视系统，其特征在于对红外数字灰度图像的目标提取。

6.按照权利要求2所述的红外/微光图像融合夜视系统，其特征在于进行红外图像的插值、平移变换、旋转和OLED微型显示器⑹的显示区域控制，弥补光学和机械结构带来的误差，实现红外图像与微光图像一个像素内的整幅图像配准。

Images