CN104361595B - 夜视方法 - Google Patents

Abstract

本发明提供了一种夜视方法。该夜视方法基于一距离选通成像模块实现，该距离选通成像模块利用所述脉冲激光器作为照明光源，利用所述选通成像器件作为图像传感器，通过控制脉冲激光器产生的激光脉冲和选通成像器件产生的选通脉冲间的选通延时实现空间切片成像，信息处理模块基于相邻的两空间切片通过距离选通超分辨率三维成像算法重建，获得目标三维图像。本发明同时兼具距离选通成像和破雾雨雪成像的特点，可有效解决现有夜视技术不能实现远距离三维视频监控的难题。

Description

夜视方法

技术领域

本发明涉及光学技术领域，尤其涉及一种远距离六维夜视方法。

背景技术

当前，夜视成像技术主要有微光成像、红外热成像、激光成像。其中，微光成像和红外热成像属于被动成像技术，激光成像属于主动成像技术。微光夜视需要借助夜天光(如星光、月光等)才可对目标探测成像，在全黑的情况的无法工作；热成像主要是靠目标与背景环境的热辐射差异来实现目标探测的，但图像分辨率低，缺乏目标细节信息，且无法穿透玻璃成像；激光成像则主要是采用激光作为照明光源，实现夜间目标的有效探测，图像分辨率高，但是易受雾雨雪等天气的影响，无法实现远距离成像。此外，现有夜视成像技术还共同具有以下问题：

(1)无法实现三维视频监控

现有夜视技术往往只具有二维成像的功能，不能实现三维视频监控。若能实现三维监控，获取目标三维空间信息，将有助于增强态势感知、提高目标检测能力和目标识别概率，尤其是解决小、暗目标的探测问题：通过目标的空间位置信息可实现复杂场景或环境下多目标或低对比度目标的高效检测，通过目标的特征尺寸信息(如人的身高、肩宽、步幅等软生物特征)可提高远距离目标身份识别及分类能力。目前用于三维监控的技术主要有双目立体视觉成像和TOF成像，但是两者均存在作用距离近的问题，且前者匹配算法复杂，后者像素数低，无法满足远距离重要目标监控的应用需求，特别是夜间或雾雨雪等恶劣天气情况。

(2)低对比度目标探测难

当目标具有与背景相一致的光谱反射特征和热红外辐射特征时，目标为低对比度目标，利用常规的二维光学成像与红外成像很难发现，给目标的识别带来很大困难，特别是夜间以及雾/雨/雪/烟等低照度、复杂背景条件下。

(3)无法获取彩色图像

传统夜视图像大多为单色图像，如灰度图，不利于目标的观察，而人眼能分辨的彩色等级是灰度等级的几百倍。如可实现类似日间彩色图像的自然感彩色夜视，充分利用人眼视觉特征，可增强场景深度感知能力、提高对目标的反应速度以及对场景态势的感知能力，并可增强观察者对场景的记忆能力，利于长时间观察。

发明内容

(一)要解决的技术问题

鉴于上述技术问题，本发明提供了一种远距离六维夜视方法，以实现夜间远距离三维视频监控。

(二)技术方案

根据本发明的一个方面，提供了一种夜视方法。

该夜视方法基于一距离选通成像模块实现，该距离选通成像模块包括：脉冲激光器和选通成像器件，其利用所述脉冲激光器作为照明光源，利用所述选通成像器件作为图像传感器，通过控制脉冲激光器产生的激光脉冲和选通成像器件产生的选通脉冲间的选通延时实现空间切片成像。

该夜视方法包括：步骤A：搜寻目标，发现目标后获取目标的距离信息；步骤B：根据三维重建所需的两幅选通切片图像满足的时域匹配关系，由所述距离信息获得所述选通成像器件的选通门宽t_g、第一选通延时值τ₁和第二选通延时值τ₂；步骤C：根据距离选通三维成像算法所需的选通门宽和激光脉宽的匹配关系，获得选通成像模块中脉冲激光器的激光脉宽t_L，同时获得脉冲激光器的重复频率f_L；步骤D：依据所述选通成像器件的选通门宽t_g、脉冲激光器的重复频率f_L和激光脉宽t_L、第一选通延时值τ₁和第二选通延时值τ₂产生时序控制信号，并把该时序控制信号发送至距离选通成像模块；步骤E：距离选通成像模块对准目标，依据上述时序控制信号工作，获取与第一选通延时τ₁对应的τ₁型选通切片图像，与第二选通延时τ₂对应的和τ₂型选通切片图像；步骤F：由相邻的τ₁型选通切片图像和τ₂型选通切片图像通过距离选通超分辨率三维成像算法重建，获得目标三维图像。

(三)有益效果

从上述技术方案可以看出，本发明远距离六维夜视方法具有以下有益效果：

(1)由于可根据目标距离信息实现感兴趣目标的距离选通成像，进而采用距离选通超分辨率三维成像可实现远距离目标的实时三维成像，同时兼具距离选通成像和破雾雨雪成像的特点，所以，本发明可有效解决现有夜视技术不能实现远距离三维视频监控的难题；

(2)由于通过目标的红外热图像、近红外强度图像和微光图像彩色融合可实现彩色夜视，相比传统的激光成像，距离选通成像输出的近红外强度图像具有对比度高的特点，甚至在雾雨雪等天气条件下仍可获得高质量的近红外强度图像，保障了彩色夜视的成像质量，所以，本发明可实现高质量的彩色夜视，在雾雨雪等天气条件下仍可有效工作；

(3)由于六维夜视输出六个维度的空间信息，包括三维空间信息、红外热辐射信息、强度信息、以及彩色信息，其中，利用三维空间信息可将目标与背景通过空间差异加以区分，利用彩色信息可增强环境感知能力从而利于目标识别，利用红外热辐射信息可利于热源目标的发现，利用强度信息可辨析目标的纹理细节信息，所以，本发明可有效解决低对比目标探测难的问题，通过三维图像和自然感彩色图像辅以红外热图像和近红外强度图像有效探测目标。

附图说明

图1为根据本发明实施例远距离六维夜视装置的结构示意图；

图2为根据本发明实施例远距离六维夜视方法的流程图；

图3利用图2所示远距离六维夜视方法获取的六维夜视效果图，其中：(a)红外热图像，(b)近红外强度图像，(c)自然感彩色图像，(d)三维图像。

【主要元件符号说明主要元件】

1-显示控制模块； 2-通信模块； 3-信息处理模块；

4-激光测距模块； 5-红外热成像模块； 6-距离选通成像模块；

7-电源模块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。

本发明公开了一种远距离六维夜视方法，解决当前夜视技术低对比度目标探测难、无法实现三维视频监控以及无法获取彩色图像的问题。

在本发明的一个示例性实施例中，提供了一种远距离六维夜视方法。为了更好的理解该方法，首先将实现该方法的装置进行说明。图1为实现本发明远距离六维夜视方法的装置的结构示意图。请参照图1，该装置包括：显示控制模块1、通信模块2、信息处理模块3、激光测距模块4、红外热成像模块5、距离选通成像模块6和电源模块7。

显示控制模块1基于触摸屏显示器实现，具有两个功能：一是设置装置中各个部分的工作参数，将含工作参数信息的控制命令经通信模块2传输给信息处理模块3；二是显示信息处理模块3回传的图像信息。

通信模块2则可以基于微控制器实现，具有两个功能：一是实现显示控制模块1向信息处理模块3的传递控制命令；二是将信息处理模块3处理后的图像信息回传给显示控制模块1，显示图像。

信息处理模块3具有两个功能：一是处理激光测距模块4、红外热成像模块5和距离选通成像模块6回传的信息，包括激光测距模块4回传的距离信息、红外热成像模块5回传的红外热图像、距离选通成像模块6回传的距离选通切片图像和微光图像；二是将显示控制模块1经通信模块2输入的控制命令转换为激光测距模块4、红外热成像模块5和距离选通成像模块6所需的控制信号，控制激光测距模块4、红外热成像模块5和距离选通成像模块6工作。硬件上，信息处理模块3可基于工控机和FPGA实现。

红外热成像模块5利用红外热成像工作视场大的特点，实现目标搜寻，尤其是感兴趣的人和车辆等热源目标。

距离选通成像模块6包含脉冲激光器和选通成像器件，具有两个功能：一是实现距离选通成像，二是实现微光夜视。在进行工作时，该距离选通成像模块6是利用脉冲激光器作为照明光源，利用选通成像器件作为图像传感器，通过控制脉冲激光器产生的激光脉冲和选通成像器件产生的选通脉冲间的选通延时实现空间切片成像。

实现距离选通成像时，距离选通成像模块6接收信息处理模块3产生的触发该模块工作的控制信号，主要是时序控制信号，控制脉冲激光器和选通成像器件同步工作，包括触发脉冲激光器工作的TTL信号和触发选通成像器件工作的TTL信号，该时序控制信号中，触发脉冲激光器工作的TTL信号与触发选通成像器件工作的TTL信号一一对应，即TTL信号触发下产生的激光脉冲与选通脉冲一一对应，且两者间的延时为上述参考目标距离信息计算的选通延时。

实现微光夜视时，距离选通成像模块6中的脉冲激光器关闭，由于所使用的选通成像器件具有像增强器功能，当脉冲激光器关闭时，将选通成像器件设置为常开状态，便可实现被动微光夜视，输出微光图像，该微光图像与距离选通成像获得的两幅选通切片图像具有相同的工作视场。

硬件上，选通成像器件可选用ICCD(配有选通像增强器的CCD)或ICMOS(配有选通像增强器的CMOS)。

距离选通成像模块6工作中可通过时分复用的方式工作。用户可设置三维成像和自然感彩色夜视的优先顺序。例如，将三维成像设为优先，那么本装置工作中，三维成像处于实时成像状态，当欲获取自然感彩色图像时，用户可通过显示控制模块1控制距离选通成像模块6切换成微光夜视状态，获取一帧微光图像，该微光图像与切换为微光夜视状态前输出的近红外强度图像和红外热图像融合，输出一帧自然感彩色图像。再例如，将自然感彩色夜视设为优先，那么本装置工作过程中，距离选通成像模块6在连续获取τ₁型选通切片图像和τ₂型选通切片图像后，再获取一帧微光夜视图像，即实现τ₁型选通切片图像-τ₂型选通切片图像-微光图-τ₁型选通切片图像-τ₂型选通切片图像-微光图像…的交替循环。

红外热成像模块5和距离选通成像模块6中均含工作视场调节单元，即通过显示控制模块1可实现红外热成像、距离选通成像和微光成像工作视场的调节。

电源模块7主要是将外部供电转换成激光测距模块4、红外热成像模块5、距离选通成像模块6、信息处理模块3、通信模块2以及显示控制模块1所需的电流电压信号，实现所述装置中各模块的供电。

基于上述装置，本发明还提供了一种远距离六维夜视方法，图2为根据本发明实施例远距离六维夜视方法的流程图。如图2所示，本实施例远距离六维夜视方法包括：

步骤A：红外热成像模块5搜寻目标，发现目标后，获取目标的红外热图像，由激光测距模块4获取目标的距离信息，并将该距离信息传输给信息处理模块3；

通过红外热成像模块5进行大视场目标搜寻时，用户可通过显示控制模块1中的显示器实时观察输出的红外热图像，发现感兴趣目标(如人、车辆等热源目标)后，通过调节装置的成像方向将感兴趣目标移至红外热图像工作视场中心，然后可利用激光测距模块4进行测距。

激光测距模块4的测量点与红外热图像的中心位置重合，因此，激光测距模块4可获取位于红外热图像中心位置的目标的距离信息，该距离信息被实时传输至信息处理模块3。

步骤B：信息处理模块3接收来自激光测距模块4的距离信息后，由该距离信息根据三维重建所需的两幅选通切片图像满足的时域匹配关系，获得第一选通延时值τ₁和第二选通延时值τ₂；

首先，可根据用户感兴趣区间景深d选择三维成像景深D，满足关系

D>d (1)

一般该三维成像景深取为用户感兴趣区间景深的1.5倍。根据三维成像景深可获得选通成像器件的选通门宽t_g为：

其中，c为光速。

第一选通延时值τ₁和第二选通延时值τ₂，均为脉冲激光器产生的激光脉冲和选通成像器件产生的选通脉冲间的延时。利用该第一选通延时值τ₁和第二选通延时值τ₂，可以分别获得相应的一幅选通切片图像。该第一选通延时值τ₁和第二选通延时值τ₂满足如下时域匹配关系：

根据激光测距获取的目标距离信息R，选通延时τ₁为

进而根据第一选通延时值τ₁和选通门宽t_g可获得第二选通延时值为

τ₂＝τ₁+t_g (4)

公式(3)中c为光在空气中的传播速度，公式(2)中t_g为选通成像器件的选通门宽。

步骤C：信息处理模块3根据距离选通超分辨率三维成像算法所需的选通门宽和激光脉宽的匹配关系获得脉冲激光器的激光脉宽；

根据确定选通门宽，用户可进一步设置激光脉宽。

距离选通超分辨率三维成像算法主要是通过建立具有梯形或三角形距离能量包络的空间交叠的τ₁型选通切片图像和τ₂型选通切片图像的像素灰度比与距离能量比的映射关系实现场景的三维成像。

当需要利用梯形距离能量包络选通切片图像进行三维成像时，脉冲激光器激光脉宽t_L满足：

当需要利用三角形距离能量包络选通切片图像进行三维重构时，脉冲激光器激光脉宽t_L满足：

t_L＝t_g (6)

需要说明的是，利用梯形距离能量包络或三角形距离能量包络选通切片图像进行三维成像的相关算法已于本领域技术人员所熟知，本发明的创新之处并不在于这些内容，且这些内容均记载于相关的教科书中，故此不再赘述。

步骤D：信息处理模块3依据上述的选通成像器件的选通门宽t_g、脉冲激光器的重复频率f_L和激光脉宽t_L、第一选通延时值τ₁和第二选通延时值τ₂产生时序控制信号，并把该时序控制信号发送至距离选通成像模块6；

对于脉冲激光器的重复频率f_L由用户自由设定，设定时序满足关系

信息处理模块3产生针对距离选通成像模块6的时序控制信号，包括控制脉冲激光器的重复频率和激光脉宽t_L，以及控制选通成像器件的选通门宽t_g、选通脉冲相对于激光脉冲的第一选通延时值τ₁和第二选通延时值τ₂。

步骤E：距离选通成像模块6对准目标依据上述时序控制信号工作，获取与第一选通延时值τ₁对应的τ₁型选通切片图像，与第二选通延时值τ₂对应的和τ₂型选通切片图像，以及关闭距离选通成像模块6中脉冲激光器后获得的微光图像；

在距离选通成像模块6工作过程中，选通延时τ₁和τ₂分别对应选通成像器件不同的图像帧，从而形成τ₁型选通切片图像和τ₂型选通切片图像，且τ₁型选通切片图像和τ₂型选通切片图像循环交替出现，从而输出τ₁型选通切片图像、τ₂型选通切片图像、τ₁型选通切片图像、τ₂型选通切片图像……循环交替的选通切片图像序列，形成选通切片图像视频流。

步骤F：信息处理模块由相邻的τ₁型选通切片图像和τ₂型选通切片图像通过距离选通超分辨率三维成像算法重建，获得目标三维图像；

三维图像由距离选通成像模块6获取的相邻的τ₁型选通切片图像和τ₂型选通切片图像通过距离选通超分辨率三维成像算法重建目标所在三维场景，实现三维图像获取。由于距离选通图像输出的选通切片图像序列中τ₁型选通切片图像和τ₂型选通切片图像循环交替出现，相邻帧必然为τ₁型选通切片图像和τ₂型选通切片图像，在三维成像过程中可利用当前帧和上一帧通过动态三维反演实现实时三维成像。

步骤G：信息处理模块根据目标的红外热图像、选通切片图像以及微光图像，进行近红外强度图像的叠加以及自然感彩色图像的融合，输出红外热图像、近红外强度图像以及自然感彩色图像；

其中，红外热图像由红外热成像模块5发现目标后获取。

近红外强度图像由距离选通成像模块6输出的选通切片图像的当前帧与上一帧的强度叠加获得的，由于距离选通成像输出的选通图像序列中τ₁型选通切片图像和τ₂型选通切片图像循环交替出现，因此，当前帧和上一帧中必然含τ₁型选通切片图像和τ₂型选通切片图像，即当前帧和上一帧图像叠加实现了τ₁型选通切片图像和τ₂型选通切片图像的叠加，输出稳定的二维强度图像。

自然感彩色图像由距离选通成像模块6获得的近红外强度图像和微光图像以及红外热成像模块5获得的红外热图像分别映射到RGB颜色空间，并通过彩色融合获取。在彩色融合过程中，将近红外强度图像、微光图像以及红外热图像映射到RGB颜色空间实现彩色融合。彩色融合的工作视场与近红外强度图像和微光图像的工作视场一致，是红外热图像工作视场的局部，彩色融合中选取与近红外强度图像工作视场对应的红外热图像的局部用于彩色融合。其中，彩色融合中的映射关系通过与标准色板比对建立，即采用标准色板作为目标，分别获取标准色板的近红外强度图像、微光图像以及红外热图像，然后将近红外强度图像、微光图像以及红外热图像按不同的排列组合方式分别映射到R通道、G通道和B通道，选取与标准色板的可见光彩色图像最为接近的排列组合方式作为近红外强度图像、微光图像以及红外热图像映射到RGB颜色空间的映射关系。

步骤H：由显示控制模块1显示红外热图像、近红外强度图像、三维图像以及自然感彩色图像，实现六维夜视。

本实施例可以得到含感兴趣目标场景的三维图像、红外热图像、近红外强度图像、以及自然感彩色图像，包含六个维度的信息，分别为三维空间信息、红外热辐射信息、强度信息、以及彩色信息，实现六维夜视。其中，观察者可利用三维空间信息提供的目标与背景的空间差异辨别出目标，并可获得目标的距离、尺寸、高度等几何空间信息；可利用彩色信息感知环境信息，利于目标的识别；红外热辐射信息和强度信息，则可方便发现热源目标以及目标的纹理细节信息。

为了更清楚说明本发明的有益效果，图3给出了本发明六维夜视的效果示意图。图3中(a)为红外热图像，图3中(b)是近红外强度图像，图3中(c)是自然感彩色图像，图3中(d)是三维图像。在图3的(a)中，虚线窗口内为感兴趣目标，该窗口对应的局部工作视场与图3的(b)、(c)和(d)一致，红外热成像的视场大于距离选通成像和微光夜视的视场，该特点适宜于目标搜寻。其中自然感彩色图像利于发现目标，感知周围环境态势；三维图像利于通过空间差异区分目标和背景；红外热图像利于目标搜寻，辅助宏观上感知目标及场景；近红外强度图像可展示目标纹理等细节信息。

至此，已经结合附图对本实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明远距离夜视的方法有了清楚的认识。

此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

综上所述，本发明提供一种远距离六维夜视方法，以达到实现夜间远距离三维视频监控及自然感彩色夜视的目的，具有适应性好，灵活性强的优点。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种夜视方法，其特征在于：

该夜视方法基于一距离选通成像模块实现，该距离选通成像模块包括：脉冲激光器和选通成像器件，其利用所述脉冲激光器作为照明光源，利用所述选通成像器件作为图像传感器，通过控制脉冲激光器产生的激光脉冲和选通成像器件产生的选通脉冲间的选通延时实现空间切片成像；

该夜视方法包括：

步骤A：由红外热成像模块搜寻目标，发现目标后获取目标的距离信息，并获得红外热图像；

步骤B：根据三维重建所需的两幅选通切片图像满足的时域匹配关系，由所述距离信息获得所述选通成像器件的选通门宽t_g、第一选通延时值τ₁和第二选通延时值τ₂；

步骤C：根据距离选通三维成像算法所需的选通门宽和激光脉宽的匹配关系，获得选通成像模块中脉冲激光器的激光脉宽t_L，同时获得脉冲激光器的重复频率f_L；

步骤D：依据所述选通成像器件的选通门宽t_g、脉冲激光器的重复频率f_L和激光脉宽t_L、第一选通延时值τ₁和第二选通延时值τ₂产生时序控制信号，并把该时序控制信号发送至距离选通成像模块；

步骤E：距离选通成像模块对准目标，依据上述时序控制信号工作，获取与第一选通延时τ₁对应的τ₁型选通切片图像，与第二选通延时τ₂对应的τ₂型选通切片图像，所述距离选通成像模块获取关闭脉冲激光器后的微光图像；以及

步骤F：由相邻的τ₁型选通切片图像和τ₂型选通切片图像通过距离选通超分辨率三维成像算法重建，获得目标三维图像；

所述步骤E之后还包括：由选通切片图像的当前帧与上一帧的强度叠加获得近红外强度图像；将红外热图像、近红外强度图像和微光图像分别映射到RGB颜色空间，并通过彩色融合获取自然感彩色图像。

2.根据权利要求1所述的夜视方法，其特征在于，所述步骤C中：

当需要利用梯形距离能量包络选通切片图像进行三维重构时，脉冲激光器激光脉宽满足：或

当需要利用三角形距离能量包络选通切片图像进行三维重构时，脉冲激光器激光脉宽满足：t_L＝t_g。

3.根据权利要求1所述的夜视方法，其特征在于，还包括：

步骤H：显示红外热图像、近红外强度图像、自然感彩色图像以及三维目标图像，实现六维夜视。

4.根据权利要求1至3中任一项所述的夜视方法，其特征在于，所述步骤B中，所述选通成像器件的选通门宽t_g、第一选通延时值τ₁和第二选通延时值τ₂满足：

D>d

τ₂＝τ₁+t_g

其中，d为用户感兴趣区景深，D为三维成像的景深，c为光速，t_g为选通成像器件的选通门宽，R为目标距离。

5.根据权利要求1至3中任一项所述的夜视方法，其特征在于，所述步骤C中，脉冲激光器的重复频率f_L满足：

$f_L>\frac{1}{{\mathrm{\τ}}_2+t_g}.$

6.根据权利要求1至3中任一项所述的夜视方法，其特征在于，所述选通成像器件采用ICCD或ICMOS器件。

7.根据权利要求1至3中任一项所述的夜视方法，其特征在于，由工控机或FPGA实现由相邻的τ₁型选通切片图像和τ₂型选通切片图像通过距离选通超分辨率三维成像算法重建，获得目标三维图像。