CN111028187A - 一种光线自适应的机载双光图像侦察装置及方法 - Google Patents

Abstract

本发明涉及无人机机载双光侦察技术领域，提供了一种光线自适应的机载双光图像侦察装置及方法，该方法在侦察的不同阶段根据实际场景选用侦察模式、融合模式、可见光模式或红外光模式之一进行目标侦察判断；侦察模式将红外图像与可见光图像进行叠加或将增强处理后的红外图像与可见光图像进行叠加；融合模式采用调节曝光后的可见光图像与增强后的红外图像进行融合；可见光模式仅采用可见光图像；红外光模式仅采用红外光图像。本发明装置包括可见光图像传感器及镜头、红外图像传感器及镜头、平行光轴固定装置、图像处理模块和云台。本发明能够提高侦察效率和性能，并且保障机载端低功耗，尤其适用于带伪装的人员、装备以及低照度下目标的侦察。

Description

一种光线自适应的机载双光图像侦察装置及方法

技术领域

本发明涉及无人机机载双光侦察技术领域，特别涉及一种光线自适应的机载双光图像侦察装置及方法。

背景技术

随着红外相机成本的降低和技术的成熟，多图像融合技术逐渐被推崇。当前无人机机载双光载荷广泛应用于电力线巡检、无人机侦察、森林消防等领域。其中，在无人机侦察领域仅仅做到了图像的传输及画中画显示，并没有充分发挥出双光载荷的优势，尤其是对含有伪装地区及低照度前提下人员、装备的侦察；而在电力设备巡检中热源明显且相对单一，便于处理和诊断。

随着人工智能的发展，双光融合也越来越成熟，深度学习也得到广泛应用。但是双光融合计算量偏大、实时性偏差，增加了机载的功耗；而且双光融合向高还原、多特征方向发展，其尽可能的保留可见光和红外的特征，使得画面更为繁杂，不利于人员长时间观察。

发明内容

本发明的目的是克服现有技术的不足，提供了一种光线自适应的机载双光图像侦察装置及方法，能够提高侦察效率和性能，并且保障机载端低功耗，尤其适用于带伪装的人员、装备以及低照度下目标的侦察。

本发明采用如下技术方案：

一种光线自适应的机载双光图像侦察方法，所述双光为可见光和红外光，所述方法在侦察的不同阶段根据实际场景选用侦察模式、融合模式、可见光模式或红外光模式之一进行目标侦察判断；

所述侦察模式，将红外图像与可见光图像进行叠加；或对光线进行自适应，将增强处理后的红外图像与可见光图像进行叠加，此模式适合初步侦察，在减少人员工作量并保障效率的前提下，达到高实时性、低功耗的效果；

所述融合模式，采用调节曝光后的可见光图像与红外图像进行融合，用以减少光照的影响，此模式适合光照较差、有烟雾或阴影内人员和装备的细致侦察；

所述可见光模式，仅采用可见光图像，此模式适合光线较好但人员和装备附近温差较小环境下细致侦察，比如水泥或石子路上人员和装备；

所述红外光模式，仅采用红外光图像，此模式适合侦察有伪装的人员或装备。

进一步的，所述侦察的不同阶段，包括未发现疑似目标的初始侦察阶段，及处于疑似目标区域或发现疑似目标后的细致侦察阶段；

在所述初始侦察阶段，采用所述侦察模式；

在所述细致侦察阶段，根据具体场景选用融合模式、可见光模式或红外光模式之一。

进一步的，在所述侦察模式下，对光线进行自适应，将红外图像进行增强处理的方法如下：

S1、提取可见光图像的亮度信息，对其亮度信息进行直方图归一化，求取前后两幅可见光图像亮度信息的差别S_k；

S2、求取同时刻的可见光图像亮度与红外图像灰度信息的差别T_k；

S3、根据步骤S1求得的S_k，及步骤S2求得的T_k，得到可见光图像与红外图像的差异F_k；

S4如果步骤S3中所得到的F_k超过设定阈值，得到差异最大区域(max(β(α_iY_ki- α_iY_k-1i)+γ(α_iY_ki-α_iG_ki))的灰度级，进行红外图像增强，将红外特征叠加于可见光图像之上，并依此对下一帧可见光图像基于该区域亮度级进行ISP调节，以凸显疑似目标区域。

进一步的，步骤S1中，前后两幅可见光图像亮度信息的差别为：

S_k＝Y_k-Y_k-1；

式中S_k表示第k幅图像与k-1幅图像的亮度差，Y_k表示第k幅图像亮度信息；

Y_k＝∑α_iY_ki；

式中Y_ki表示第k幅图像第i区域的亮度信息，α_i表示第k幅图像中第i区域的权重；

式中l为亮度级，l_max为图像中亮度级的最大值，l_min为图像中亮度级的最小值；n_l表示第i区域亮度级为l的像素数，n表示第i区域中像素总数。

进一步的，步骤S2中，同时刻可见光亮度与红外灰度信息的差别；

T_k＝Y_k-G_k；

式中T_k表示第k幅亮度图像与红外灰度信息的差，G_k表示第k幅图像灰度信息；

G_k＝∑α_iG_ki；

式中G_ki表示第k幅图像第i区域的灰度信息，α_i表示第k幅图像中第i区域的权重；

式中g为灰度级，g_max为该图像中灰度级的最大值，g_min为该图像中灰度级的最小值；m_g表示第i区域灰度级为g的像素数，m表示第i区域中像素总数；

步骤S3中，可见光图像与红外图像的差异F_k为：

F_k＝β·S_k+γ·T_k；

式中β、γ代表权重。

进一步的，当发现可疑目标或进入可疑目标区域时，从所述初始侦察阶段进入所述细致侦察阶段，相应的，从所述侦察模式调整为融合模式、可见光模式或红外光模式之一；

若处于可疑区域可见光模式，则对可疑区域进行测光及曝光调节，进行可见光图像侦察；

若处于可疑区域红外光模式，则对可疑区域进行红外图像增强，进行红外图像侦察；

若处于可疑区域融合模式，则对可疑区域测光及曝光调节后图像与增强后的红外图像进行融合，进行融合后目标侦察。

进一步的，在所述融合模式、可见光模式或红外光模式之下，对处理后的图像进行压缩编码后输出或发送给机载数据链路；

若处于可见光模式，则将可见光图像输出；

若处于红外光模式，则将红外图像输出；

若处于融合模式，则将融合后图像输出。

本发明还一种光线自适应的机载双光图像侦察装置，包括可见光图像传感器及镜头、红外图像传感器及镜头、平行光轴固定装置、图像处理模块和云台；

所述可见光图像传感器、红外图像传感器及镜头均固定于平行光轴固定装置上，保证可见光传感器和红外传感器的同轴度；所述平行光轴固定装置固定于所述云台上；

所述图像处理模块采集可见光图像传感器和红外图像传感器的图像数据，并进行调节处理、编码压缩及数据传输；

所述装置在侦察的不同阶段根据实际场景选用侦察模式、融合模式、可见光模式或红外光模式之一进行目标侦察判断。

进一步的，所述云台包括云台框架、减震机构、云台电机、云台电机驱动器、惯性器件，用以控制云台的角度和消抖。

进一步的，所述图像压缩处理模块采集可见光、红外图像传感器的数据，并进行ISP调节、预处理、图像的畸变校正，以及图像的标校匹配；

在所述装置的工作距离范围内，在不同距离对所述装置进行匹配标校，并形成相应的映射函数存储在所述图像压缩处理模块上；当工作时，所述装置获取云台的角度以及飞行器的姿态角度，计算出镜头到目标的距离L：

式中，H为飞行器距地面高度，θ为云台的俯仰角度，δ为飞行器平台的俯仰角度；

获得距离L后，查询存储的映射函数对可见光图像和红外图像进行匹配。

本发明的有益效果为：

(1)设计了一套装置系统，针对红外、可见光感光器件及镜头对不同探测距离外目标进行标定，确保侦察模式下图像的叠加和融合模式下图像融合更准确；

(2)设计了包含侦察模式、融合模式、可见光模式、红外模式的多种工作模式，并明确了不同工作模式的适用场景，确保能够在不同情形下全面的侦察目标；

(3)设计了一套侦察流程，正常侦察时处于侦察模式，通过叠加在可见光或调节后可见光图像上的红外特征图像对目标区域进行侦察，发现可疑目标后通过切换工作模式对可疑区域进行仔细侦察；

(4)侦察模式时将红外图像与可见光图像进行叠加或者处理后的红外图像及可见光图像叠加；

(5)融合模式采用调节曝光后的可见光图像与红外图像进行融合，减少了光照的影响，使特征更加鲜明；

(6)侦察模式时只对红外图像进行特征提取及重叠部分可见光图像进行处理、融合模式时只对可疑区域进行融合，减小了运算量、调高了实时性、降低了功耗。

附图说明

图1所示为本发明实施例一种光线自适应的机载双光图像侦察装置的组成示意图。

图2所示为本发明实施例一种光线自适应的机载双光图像侦察装置的结构示意图。

图3所示为实施例中机载双光图像侦察装置的工作模式示意图。

图4所示为实施例一种光线自适应的机载双光图像侦察方法的工作流程示意图。

具体实施方式

下文将结合具体附图详细描述本发明具体实施例。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。

参见图1-2所示，本发明实施例一种光线自适应的机载双光图像侦察装置，包括可见光图像传感器及镜头、红外图像传感器及镜头、平行光轴固定装置、图像处理模块和云台；其中，可见光图像传感器、红外图像传感器及镜头固定于平行光轴固定装置上，保证可见光和红外传感器的同轴度，并一同固定于云台上；云台包括云台框架、减震机构、云台电机、云台电机驱动器、惯性器件，控制云台的角度和消抖。图像图像处理模块采集可见光和红外图像传感器的图像数据，并进行调节处理、编码压缩及数据传输。

参见图3，本发明实施例方法在侦察的不同阶段根据实际场景选用侦察模式、融合模式、可见光模式或红外光模式之一进行目标侦察判断；所述侦察模式，将红外图像与可见光图像进行叠加；或对光线进行自适应，将增强处理后的红外图像与可见光图像进行叠加；所述融合模式，采用调节曝光后的可见光图像与红外图像进行融合，用以减少光照的影响；所述可见光模式，仅采用可见光图像；所述红外光模式，仅采用红外光图像。

在下述实施例中，具体工作过程如下：

1)工作模式选取

正常初始工作时选择侦察模式，以便对目标区域进行侦察。

2)图像采集及处理

图像压缩处理模块采集可见光、红外图像传感器的数据，并进行ISP调节、预处理、图像的畸变校正，以及图像的标校匹配(同轴度、偏移量、同步、分辨率尺度变换等)。

在典型工作距离范围内，在不同距离对侦察装置进行匹配标校，并形成相应的映射函数存储在图像压缩处理模块上。当工作时，侦察装置获取平台的角度以及飞行器的姿态角度。

式中，L为镜头到目标的距离，H为飞行器距地面高度，θ为云台的俯仰角度，δ为飞行器平台的俯仰角度。

获得距离后查询存储的映射函数对可见光图像和红外图像进行匹配。

3)判断工作模式及处理

若处于侦察模式，既可以直接提取红外图像特征，叠加于相应位置的可见光图像之上，以便更好的发现可疑目标；又可以进行光线自适应，对场景中疑似目标区域进行调整，采用处理后红外图像特征叠加于相应位置的可见光图像之上；

光线自适应的方法为：

S1、提取可见光图像的亮度信息，对其亮度信息进行直方图归一化，求取前后两幅图像亮度信息的差别；

S_k＝Y_k-Y_k-1

式中S_k表示第k幅图像与k-1幅图像的亮度差，Y_k表示第k幅图像亮度信息；

Y_k＝∑α_iY_ki

式中Y_ki表示第k幅图像第i区域的亮度信息，α_i表示第k幅图像中第i区域的权重；

式中l为亮度级，n_l表示第i区域亮度级为l的像素数，n表示第i区域中像素总数；

S2、求取同时刻可见光亮度与红外灰度信息的差别；

T_k＝Y_k-G_k

式中T_k表示第k幅可将光亮度图像与红外灰度图像信息的差，G_k表示第k幅图像灰度信息；

G_k＝∑α_iG_ki

式中G_ki表示第k幅图像第i区域的灰度信息，α_i表示第k幅图像中第i区域的权重；

式中g标识灰度级，m_g表示第i区域灰度级为g的像素数，m表示第i区域中像素总数；

S3、可见光图像与红外图像的差异F_k：

F_k＝β·S_k+γ·T_k

式中β、γ代表权重，当F_k超过设定阈值时，得到差异最大区域的亮度级，进行图像增强，将红外特征叠加于可见光图像之上，并依此对下一帧图像进行ISP调节，以凸显疑似目标区域。

若处于可见光模式，则将可见光图像输出；

若处于红外模式，则将红外图像输出；

4)发现可疑区域进行仔细侦察

若处于可疑区域可见光模式，则对可疑区域进行测光及曝光调节，进行可见光图像侦察；

若处于可疑区域红外模式，则对可疑区域进行红外图像增强，进行红外图像侦察；

若处于融合模式，则对可疑区域测光及曝光调节后图像与增强后的红外图像进行融合，进行融合后目标侦察；

5)图像压缩编码及传输

对处理后的图像进行压缩编码后输出或发送给机载数据链路。

本发明实施例方法的工作流程图如图4所示。

本文虽然已经给出了本发明的几个实施例，但是本领域的技术人员应当理解，在不脱离本发明精神的情况下，可以对本文的实施例进行改变。上述实施例只是示例性的，不应以本文的实施例作为本发明权利范围的限定。

Claims (10)

1.一种光线自适应的机载双光图像侦察方法，其特征在于，所述双光为可见光和红外光，所述方法在侦察的不同阶段根据实际场景选用侦察模式、融合模式、可见光模式或红外光模式之一进行目标侦察判断；

所述侦察模式，将红外图像与可见光图像进行叠加；或对光线进行自适应，将增强处理后的红外图像与可见光图像进行叠加；

所述融合模式，采用调节曝光后的可见光图像与增强后的红外图像进行融合，用以减少光照的影响；

所述可见光模式，仅采用可见光图像；

所述红外光模式，仅采用红外光图像。

2.如权利要求1所述的光线自适应的机载双光图像侦察方法，其特征在于，所述侦察的不同阶段，包括未发现疑似目标的初始侦察阶段，及处于疑似目标区域或发现疑似目标后的细致侦察阶段；

在所述初始侦察阶段，采用所述侦察模式；

在所述细致侦察阶段，根据具体场景选用融合模式、可见光模式或红外光模式之一。

3.如权利要求1或2所述的光线自适应的机载双光图像侦察方法，其特征在于，在所述侦察模式下，对光线进行自适应，将红外图像进行增强处理的方法如下：

S1、提取可见光图像的亮度信息，对其亮度信息进行直方图归一化，求取前后两幅可见光图像亮度信息的差别S_k；

S2、求取同时刻的可见光图像亮度与红外图像灰度信息的差别T_k；

S3、根据步骤S1求得的S_k，及步骤S2求得的T_k，得到可见光图像与红外图像的差异F_k；

S4、如果步骤S3中所得到的F_k超过设定阈值，得到差异最大区域的灰度级，进行红外图像增强，将红外特征叠加于可见光图像之上，并依此对下一帧可见光图像基于区域亮度级进行ISP调节，以凸显疑似目标区域。

4.如权利要求3所述的光线自适应的机载双光图像侦察方法，其特征在于，步骤S1中，前后两幅可见光图像亮度信息的差别为：

S_k＝Y_k-Y_k-1；

式中S_k表示第k幅图像与k-1幅图像的亮度差，Y_k表示第k幅图像亮度信息；

Y_k＝∑α_iY_ki；

式中Y_ki表示第k幅图像第i区域的亮度信息，α_i表示第k幅图像中第i区域的权重；

式中l为亮度级，n_l表示第i区域亮度级为l的像素数，n表示第i区域中像素总数。

5.如权利要求4所述的光线自适应的机载双光图像侦察方法，其特征在于，

步骤S2中，同时刻可见光亮度与红外灰度信息的差别；

T_k＝Y_k-G_k；

式中T_k表示第k幅可见光图像亮度信息与红外图像灰度信息的差，G_k表示第k幅图像灰度信息；

G_k＝∑α_iG_ki；

式中G_ki表示第k幅图像第i区域的灰度信息，α_i表示第k幅图像中第i区域的权重；

式中g为灰度级，m_g表示第i区域灰度级为g的像素数，m表示第i区域中像素总数；

步骤S3中，可见光图像与红外图像的差异F_k为：

F_k＝β·S_k+γ·T_k；

式中β、γ代表权重。

6.如权利要求2所述的光线自适应的机载双光图像侦察方法，其特征在于，

当发现可疑目标或进入可疑目标区域时，从所述初始侦察阶段进入所述细致侦察阶段，相应的，从所述侦察模式调整为融合模式、可见光模式或红外光模式之一；

若处于可疑区域可见光模式，则对可疑区域进行测光及曝光调节，进行可见光图像侦察；

若处于可疑区域红外光模式，则对可疑区域进行红外图像增强，进行红外图像侦察；

若处于可疑区域融合模式，则对可疑区域测光及曝光调节后图像与增强后的红外图像进行融合，进行融合后目标侦察。

7.如权利要求6所述的光线自适应的机载双光图像侦察方法，其特征在于，

在所述融合模式、可见光模式或红外光模式之下，对处理后的图像进行压缩编码后输出或发送给机载数据链路；

若处于可见光模式，则将可见光图像输出；

若处于红外光模式，则将红外图像输出；

若处于融合模式，则将融合后图像输出。

8.一种光线自适应的机载双光图像侦察装置，其特征在于，包括可见光图像传感器及镜头、红外图像传感器及镜头、平行光轴固定装置、图像处理模块和云台；

所述可见光图像传感器、红外图像传感器及镜头均固定于平行光轴固定装置上，保证可见光传感器和红外传感器的同轴度；所述平行光轴固定装置固定于所述云台上；

所述图像处理模块采集可见光图像传感器和红外图像传感器的图像数据，并进行调节处理、编码压缩及数据传输；

所述装置在侦察的不同阶段根据实际场景选用侦察模式、融合模式、可见光模式或红外光模式之一进行目标侦察判断。

9.如权利要求8所述的光线自适应的机载双光图像侦察装置，其特征在于，所述云台包括云台框架、减震机构、云台电机、云台电机驱动器、惯性器件，用以控制云台的角度和消抖。

10.如权利要求8所述的光线自适应的机载双光图像侦察装置，其特征在于，所述图像压缩处理模块采集可见光、红外图像传感器的数据，并进行ISP调节、预处理、图像的畸变校正，以及图像的标校匹配；

在所述装置的工作距离范围内，在不同距离对所述装置进行匹配标校，并形成相应的映射函数存储在所述图像压缩处理模块上；当工作时，所述装置获取云台的角度以及飞行器的姿态角度，计算出镜头到目标的距离L：

式中，H为飞行器距地面高度，θ为云台的俯仰角度，δ为飞行器平台的俯仰角度；

获得距离L后，查询存储的映射函数对可见光图像和红外图像进行匹配。

Images