CN112053313B - 异源图像融合的夜视抗晕光视频处理方法 - Google Patents

Abstract

本发明公开了一种异源图像融合的夜视抗晕光视频处理方法。该方法通过研究两帧图像特征向量余弦夹角θ、非线性相关信息熵NCIE与去帧率之间的相关性，确定视频内容连续的最佳余弦夹角阈值，舍弃视频序列中的冗余帧，仅对保留帧进行抗晕光融合处理，可极大地提高算法的处理效率，解决了夜视抗晕光视频融合方法在信息融合过程中导致的数据膨胀问题；通过保留提取帧的原始帧号作为时间标记，确定各提取帧之间的待插帧数，恢复了去帧后的视频帧率；利用帧间内容差异计算物体的运动矢量，通过对基准运动矢量赋予不同的自适应权重，得到待插帧与参考帧之间的运动矢量，从而构建出与原视频同步的待插帧图像，解决了插帧后视频与原视频的内容不同步的问题。

Description

异源图像融合的夜视抗晕光视频处理方法

技术领域

本发明属于夜视抗晕光技术领域，尤其涉及一种异源抗晕光融合视频的帧提取与补偿插帧方法，具体涉及一种异源图像融合的夜视抗晕光视频处理方法。

背景技术

通过红外与可见光图像融合技术可消除夜视图像中的晕光，提高图像的色彩、细节信息，改善夜视图像的成像质量，其发展经历了两个阶段，早期采用色彩空间、空间多分辨率等单一变换的融合方法，具有算法简单、处理速度快等优点，但融合图像存在晕光消除不彻底、边缘轮廓信息模糊等问题；后续发展的色彩空间与多分辨率、多尺度变换相结合的融合方法效果显著，能够完全消除晕光，且融合图像细节清晰、色彩丰富，但因为算法复杂度较高、处理效率低，适用于单帧图像的处理，应用于视频融合易造成视频播放卡顿、不连续等问题，难以达到人眼观察要求的视觉效果。

发明内容

本发明针对夜视抗晕光融合方法在处理视频图像时存在播放卡顿、不连续，难以达到人眼观察要求的视觉效果的问题，设计了一种异源图像融合的夜视抗晕光视频处理方法，用于提高夜视抗晕光视频图像融合效率，改善夜视抗晕光融合视频的视觉效果。

为了达到上述目的，本发明的技术方案是：

一种异源抗晕光融合视频的帧提取与补偿插帧方法，包括基于视频帧间内容相关性的帧提取步骤和具有时间标记的自适应补偿插帧步骤两个部分：

基于视频帧间内容相关性的帧提取步骤，包括以下具体步骤：

步骤1、获取可见光晕光图像的RGB直方图；

步骤2、构建4灰度分区的RGB直方图特征向量，将RGB三维向量映射为一维特征向量；

步骤3、计算参考帧和当前帧的特征向量余弦夹角θ_(r,c)；

步骤4、将参考帧特征向量R和当前帧特征向量C之间的余弦夹角θ_(r,c)、参考帧特征向量R和当前帧C的上一帧特征向量之间的余弦夹角θ_(r,c-1)，分别与设定阈值τ进行比较，阈值τ取值为1.5～2.2，判定当前帧C的上一帧是冗余帧还是保留帧；

步骤5、若当前帧C的上一帧为舍弃帧，则参考帧R不变，将当前帧C的下一帧设为新的当前帧；若当前帧C的上一帧为保留帧S，则当前帧C不变，将当前帧C的上一帧设为新的参考帧；再返回到步骤1，按照计算规则，依次迭代并确定整个视频序列的所有保留帧S及其相应的帧号。

具有时间标记的自适应补偿插帧步骤，包括以下具体步骤：

步骤1、对步骤一得到的保留帧序列，由两相邻保留帧的序号之差确定二者之间的待插帧数，实现两保留帧中间的插帧数与原视频帧数相同；

步骤2、根据下式，确定参考帧和各待插帧(inserted frames)之间的运动矢量MV_ri，构建出与原视频内容同步的各待插帧图像

MV_ri＝λMV_rs

式中，下标r表示参考帧，为两相邻保留帧的第1帧；下标s表示保留帧，为两相邻保留帧的第2帧；下标i表示第i个待插帧；λ为自适应权重，随帧间内容差异变化自动调节；MV_rs为参考帧与保留帧间的运动矢量。

自适应权重λ由下式确定：

式中，θ_ri为当前的参考帧与待插帧特征向量之间的余弦夹角；θ_rs为当前的参考帧与保留帧特征向量之间的余弦夹角；1/θ_rs为权重的自适应调节系数，在整个插帧过程中随参考帧和保留帧的更新而自动调整。

上述步骤一的具体步骤4中，阈值τ取1.8。位于NCIE平稳区的中间位置，距离NCIE突变的拐点较远且去帧率也较高，能保证在视频序列连续的前提下最大限度的安全去帧，即视频内容连续时的最低传输帧数，有效地减少了帧间冗余且满足人眼视觉特性。

上述第一部分的步骤2，包括以下的具体处理步骤：

步骤2.1根据下式，将每一个RGB像素值映射为一个整数；

index_i＝[B_i/64]×4²+[G_i/64]×4¹+[R_i/64]×4⁰,1≤i≤N

式中，index_i为第i个像素点3个像素值的映射值，取值范围为[0,63]中的整数，R_i、G_i、B_i为图像中第i个像素点的像素值，N为总像素点。([R_i mod 64],[G_i mod 64],[B_i mod64])是从低到高共三位的四进制数，有(0,1,2,3)四个颜色分区。

步骤2.2统计整幅图像中每种映射值的数量，64种映射值的数量就构成了一维特征向量X，记为X＝(Num₀,Num₁,…,Num₆₃)。

上述第一部分的步骤3，特征向量余弦夹角θ_(r,c)由下述公式计算得到：

式中，参考帧的特征向量R＝[r₀,r₁,...,r₆₃]，当前帧的特征向量C＝[c₀,c₁,...,c₆₃]。θ_(r,c)越接近0，表示两帧图像差异越小；反之两帧差异越大。

本发明首先提供了一种帧提取方法，可大大减少了夜视抗晕光处理的运算量，使去帧后的视频内容连续，但去帧后视频帧率低于原视频的帧率，视频播放的视觉效果不满足实际要求。本发明在帧提取步骤之后又提供了自适应补偿插帧步骤，用于恢复去帧后的视频帧率。

与现有技术相比，本发明的有益效果如下：

1.本发明提供的异源夜视抗晕光融合视频的帧提取步骤中，去除了视频序列中的冗余帧，大大缩减了夜视抗晕光融合方法的运算量，解决了夜视抗晕光融合方法在信息融合过程中造成的数据膨胀问题，有效提高了夜视抗晕光融合方法的处理效率。为进一步的处理奠定了基础。

2.本发明提供的异源夜视抗晕光融合视频的自适应补偿插帧步骤，通过保留视频帧号作为时间标记，避免了传统插帧方法存在的插帧数过少或者过多而导致的视频画面加速或者减速以及静止等现象，保证了插帧后视频的帧数、时长与原采集视频保持一致，恢复了去帧后的视频帧率；根据帧间内容差异自动调节待插帧的运动矢量，解决了插帧后视频与原采集视频内容不同步的问题，有效提高了夜视抗晕光融合后视频的视觉效果。

3、本发明的方法处理效率高，可有效改善视频播放的视觉效果，本发明结合了红外图像无晕光、可见光图像色彩细节信息丰富的优点，为解决夜间行车的晕光问题提供了一种新途径，有很好的应用前景。

附图说明

图1是视频帧提取流程图；

图2是红外慢速运动视频序列第1帧图像；

图3是红外慢速运动视频序列第4帧图像；

图4是红外慢速运动视频序列第6帧图像；

图5是红外慢速运动视频序列第12帧图像；

图6是红外快速运动视频序列第1帧图像；

图7是红外快速运动视频序列第3帧图像；

图8是红外快速运动视频序列第4帧图像；

图9是红外快速运动视频序列第7帧图像；

图10是参考帧34和保留帧38之间舍弃的原序列第35帧图像；

图11是参考帧34和保留帧38之间舍弃的原序列第36帧图像；

图12是参考帧34和保留帧38之间舍弃的原序列第37帧图像；

图13是参考帧34和保留帧38之间传统运动补偿插帧恢复的第1帧图像；

图14是参考帧34和保留帧38之间传统运动补偿插帧恢复的第2帧图像；

图15是参考帧34和保留帧38之间传统运动补偿插帧恢复的第3帧图像；

图16是参考帧34和保留帧38之间优化运动补偿插帧恢复的第35帧图像；

图17是参考帧34和保留帧38之间优化运动补偿插帧恢复的第36帧图像；

图18是参考帧34和保留帧38之间优化运动补偿插帧恢复的第37帧图像；

图19是市内某段道路视频序列的插帧图像与原图像间的余弦夹角。

具体实施方式

为了解决夜视抗晕光融合方法处理视频图像时效率低、播放卡顿不连续的问题，本发明设计了一种基于视频帧间内容相关性的帧提取策略和具有时间标记的自适应补偿插帧方法。该方法通过研究两帧图像特征向量余弦夹角θ、非线性相关信息熵NCIE与去帧率之间的相关性，确定视频内容连续的最佳余弦夹角阈值，舍弃视频序列中的冗余帧，仅对保留帧进行抗晕光融合处理，可有效减少夜视抗晕光融合方法处理视频图像的运算量，极大地提高算法的处理效率，解决了夜视抗晕光视频融合方法在信息融合过程中导致的数据膨胀问题；通过保留提取帧的原始帧号作为时间标记，确定各提取帧之间的待插帧数，解决了插帧后视频与原视频的帧数不一致的问题，恢复了去帧后的视频帧率；利用帧间内容差异计算物体的运动矢量，通过对基准运动矢量赋予不同的自适应权重，得到待插帧与参考帧之间的运动矢量，从而构建出与原视频同步的待插帧图像，解决了插帧后视频与原视频的内容不同步的问题。经处理后的视频满足人眼对夜视抗晕光融合视频播放流畅性和内容同步性的视觉要求。本发明适用于夜视抗晕光技术领域。

本发明提供了一种异源抗晕光融合视频的帧提取与补偿插帧方法，包括基于视频帧间内容相关性的帧提取步骤和具有时间标记的自适应补偿插帧步骤两个部分：

一、基于视频帧间内容相关性的帧提取步骤，包括以下具体步骤：

步骤1、获取可见光晕光图像的RGB直方图；

步骤2、构建4灰度分区的RGB直方图特征向量，将RGB三维向量映射为一维特征向量；包括有如下处理步骤：

步骤2.1根据下式，将每一个RGB像素值映射为一个整数；

index_i＝[B_i/64]×4²+[G_i/64]×4¹+[R_i/64]×4⁰,1≤i≤N (1)

式中，index_i为第i个像素点3个像素值的映射值，取值范围为[0,63]中的整数，R_i、G_i、B_i为图像中第i个像素点的像素值，N为总像素点。([R_i mod 64],[G_i mod 64],[B_i mod64])是从低到高共三位的四进制数，有(0,1,2,3)四个颜色分区。

步骤2.2统计整幅图像中每种映射值的数量，64种映射值的数量就构成了一维特征向量X，记为X＝(Num₀,Num₁,…,Num₆₃)，既保留了整幅图像每个颜色通道的特征，又避免了直接使用RGB直方图计算量庞大的问题；

步骤3、根据下式，计算参考帧和当前帧的特征向量余弦夹角θ_(r,c)；

式中，参考帧特征向量R＝[r₀,r₁,...,r₆₃]，当前帧特征向量C＝[c₀,c₁,...,c₆₃]。θ_(r,c)越接近0，表示两帧图像差异越小；反之两帧差异越大。

步骤4、根据下式，将参考帧特征向量R和当前帧特征向量C之间的余弦夹角θ_(r,c)、参考帧特征向量R和当前帧C的上一帧特征向量之间的余弦夹角θ_(r,c-1)，分别与设定阈值τ进行比较，判定当前帧C的上一帧是冗余帧还是保留帧；

所说的阈值τ的确定，具体实现方法如下：

若特征向量余弦夹角阈值τ设置过大，去帧过多导致观察到的视频内容不连续，若阈值设置过小，去帧过少导致帧间内容仍存在冗余。因此，要保证在视频序列连续的前提下最大限度的安全去帧，关键在于确定视频序列的去帧量和去帧后的视觉效果的最优平衡点。通过研究特征向量余弦夹角阈值τ与去帧量、去帧效果的关系，确定最佳阈值τ的取值。其中，去帧量用去帧率来衡量，去帧后的视觉效果根据人眼视觉特性和视频序列的整体相关性指标从主客观两方面进行评判。

在人眼视觉特性方面，保持去帧前后视频序列播放时长一致的前提下，在实际播放时若人眼几乎感觉不出去帧前后两个视频序列的区别，则视频内容仍连续，中间舍弃的为冗余帧；反之舍弃帧中包含了有效帧。

在客观指标上，以非线性相关信息熵NCIE度量去帧后视频序列的整体相关性。K个视频帧间非线性相关定量度量的非线性相关信息熵

为：

其中，非线性相关矩阵R^N公式为(5)，非线性联合熵

公式为(6)：

式中，NCC_ij表示第i帧图像和第j帧图像之间的非线性相关系数，式中，

(i＝1,2,…,K)是非线性相关矩阵的特征值。

通过对不同夜视晕光场景下视频运动快慢不同的序列视频进行实验，在特征向量余弦夹角阈值τ逐渐增大的情况下计算去帧率，并通过计算NCIE值来判定去帧后视频序列的整体相关性，根据其变化趋势来确定阈值τ。

由研究结果知，随着特征向量余弦夹角阈值τ取值的增大去帧率也在递增，视频对象运动缓慢的序列去帧率较高，在τ＝2时不同视频的去帧率在62％～76％之间；视频对象运动较快的序列，相对去帧率较低低，在τ＝2时，去帧率在30％～38％之间。

随着τ的增大NCIE从整体变化趋势一直在减小。当τ≤2时，NCIE值变化相对稳定，整个序列的NCIE与未去帧序列的NCIE相当接近，实际播放时人眼感觉不出两个序列的区别；当2＜τ＜2.5时，NCIE开始出现大幅下降并与未去帧的NCIE值差距较大，实际播放时人眼能感觉出两个序列的区别；当τ≥2.5时，NCIE值震荡变化，但整体低于τ≤2时的NCIE值，说明在1.5＜τ≤2.5内存在拐点，使NCIE发生突变，视频序列的整体相关性减弱，视频内容开始出现不连续现象。

综上，特征向量余弦夹角阈值τ的取值，要满足NCIE处于平稳区且去帧率较高。从研究结果知，在τ＝2.2时NCIE值发生突变，同时要兼顾去帧率较高的要求，特征向量余弦夹角阈值τ的取值在[1.5,2.2]之间较为合理。

进一步优选，取阈值τ＝1.8，位于NCIE平稳区的中间位置，距离NCIE突变的拐点较远且去帧率也较高，能保证在视频序列连续的前提下最大限度的安全去帧，即视频内容连续时的最低传输帧数，有效地减少了帧间冗余且满足人眼视觉特性。

步骤5、若当前帧C的上一帧为舍弃帧，则参考帧R不变，将当前帧C的下一帧设为新的当前帧；若当前帧C的上一帧为保留帧S，则当前帧C不变，将当前帧C的上一帧设为新的参考帧，即：仅保留不超过阈值τ的最大帧号对应的当前帧。再返回到步骤1，按照计算规则，依次迭代并确定整个视频序列的所有保留帧S及其相应的原始帧号。

本发明的步骤一大大减少了夜视抗晕光处理的运算量，去帧后的视频内容连续，但去帧后视频帧率低于原视频的帧率，视频播放的视觉效果不满足实际要求。因此，本发明在帧提取步骤之后设计了一种自适应补偿插帧方法，用于恢复去帧后的视频帧率，该步骤二具体包括以下步骤：

步骤1、对通过步骤一得到的保留帧序列，由两相邻保留帧的序号之差确定二者之间的待插帧数，实现两保留帧中间的插帧数与原视频帧数相同，避免插帧数过少或者过多而导致的视频画面加速或者减速以及静止等现象，保证了插帧后视频与原采集视频的时长一致，同时也实现了保留帧在整个视频序列中所处的时刻与原视频保持一致。

步骤2、确定参考帧和各待插帧(inserted frames)之间的运动矢量MV_ri，构建出与原视频同步的各待插帧图像。以参考帧(reference frames)与保留帧(saved frames)之间的运动矢量为基准，在二者中间插帧时，通过对基准运动矢量赋予不同的自适应权重，就得到参考帧与待插帧(inserted frames)之间的运动矢量，表示为：

MV_ri＝λMV_rs (7)

式中，下标r表示参考帧，为两相邻保留帧的第1帧；下标s表示保留帧，为两相邻保留帧的第2帧；下标i表示第i个待插帧；λ为自适应权重，随帧间内容差异变化自动调节；MV_rs为参考帧与保留帧间的运动矢量。

各待插帧对应的自适应权重λ，以参考帧与保留帧之间的内容差异值为基准，为参考帧与待插帧之间的内容差异值在基准值内所占的比重。自适应权重由下式确定：

式中，θ_ri为当前的参考帧与待插帧特征向量之间的余弦夹角；θ_rs为当前的参考帧与保留帧特征向量之间的余弦夹角；1/θ_rs为权重的自适应调节系数，在整个插帧过程中随参考帧和保留帧的更新而自动调整。

该步骤二通过保留原始帧号作为时间标记，确定参考帧与保留帧之间的待插帧号和待插帧数，由任一待插帧与参考帧之间的余弦夹角θ_ri，就可得到该待插帧对应的自适应权重λ，然后计算得到参考帧与待插帧之间的运动矢量MV_ri，在参考帧和保留帧之间进行补偿插值时，利用MV_ri就能重构出像素点位移不同的待插帧图像，从而确定各待插帧之间的内容差异，实现了插帧后视频内容与原采集视频内容的同步，极大地改善了夜视抗晕光融合视频的视觉效果。

通过计算插帧图像和原图像的向量余弦夹角α，检验插帧图像与原图像之间内容的一致性，可验证异源抗晕光视频融合的自适应补偿插帧方法的有效性。当α＜1时两帧图像差异很小，实际播放时人眼感觉不出两个序列的区别，视为内容同步，当α≥1时则视为内容不同步。

实施例：

本实施例搭建环境说明：采用可见光相机Basler acA1280-60gc、远红外相机Gobi-640-GigE同时采集夜间晕光场景下的可见光和红外视频，分辨率为640*480，通过千兆网口将图像数据传至图像处理平台。处理平台采用便携式电脑，电脑处理器为Intel(R)Core(TM)i7-7700HQ CPU@2.80GHz，显卡为NVIDIA GeForce GTX1050，使用Windows10 64位操作系统。处理软件为MATLAB2018、Visual Studio 2017并结合OpenCV3.4.1库。

主要内容：采用特征向量余弦夹角衡量两帧间的相关性，通过余弦夹角阈值与非线性相关信息熵NCIE及去帧率之间的关系，确定视频内容连续的最佳余弦角阈值，实现对任意视频进行有效的去帧；通过保留原始帧号作为时间标记，确定两相邻保留帧之间的待插帧数，实现两保留帧中间的插帧数与原视频帧数相等，保证了提取帧在整个视频序列中所处的时刻与原视频一样；为了实现插帧后视频与原采集视频同一时刻对应帧的内容一致，设计了自适应补偿插帧方法，利用帧间内容差异来计算物体真实的运动轨迹，构建出与原视频同步的待插帧图像，避免了插帧数过少或者过多而导致的视频画面加速或者减速以及静止等现象。具体的步骤如下：

一、基于视频帧间内容相关性的帧提取步骤，包括以下具体步骤：

1.用imhist函数获取采集图像的RGB直方图分布信息；

2.构建RGB直方图特征向量，根据公式(1)计算视频帧的一维特征向量；

3.根据公式(2)计算出两帧特征向量的余弦夹角θ；

4.根据公式(4)、(5)、(6)确定最佳特征向量余弦角阈值τ，保证在视频序列连续的前提下最大限度的安全去帧；

5.根据公式(3)将计算结果与设定阈值τ进行比较来判定当前帧C的上一帧是冗余帧还是保留帧，若当前帧C的上一帧为冗余帧，则参考帧R不变，将当前帧C的下一帧设为新的当前帧；若当前帧C的上一帧为保留帧S，则将当前帧C的上一帧设为新的参考帧，当前帧的下一帧设为新的当前帧再返回到步骤1，依次迭代并确定整个视频序列的所有保留帧S及其相应的原始帧号。

随机选取夜视晕光场景下的两组视频序列进行实验，其中，Slow video为慢速运动序列，Fast video为快速运动序列，原视频帧率为25帧/s。Slow video、Fast video播放时长分别为14.84s、15s。根据视频帧提取流程(见图1)，Slow video和Fast video视频序列由原始371、375帧分别降为86、231帧。再此列出去帧后视频序列的前4帧，分别对应原视频Slow vedio1的第1、4、6、12帧(见图2到5)，原视频Fast video1的第1、3、4、7帧(见图6-9)。

从去帧结果可看出，余弦夹角为1.8度时的保留帧之间存在微小差异，在实际视频播放时，人眼观察仍是连续的，内容与原视频几乎无差异，整个视频帧数分别降为原视频的28％、65％，慢速运动的视频去帧率相对更高，因为相同时间内整体位移少，帧间差异小，表明本发明提出的去帧方法能满足夜视抗晕光融合视频的视觉要求并减少了帧间冗余，降低了图像处理的运算量，达到了提高夜视抗晕光融合效率的目的，在目标运动速度不同的场景中去帧效果良好。

二、具有时间标记的自适应补偿插帧步骤，包括以下具体步骤：

1.根据两相邻保留帧的序号之差，确定两保留帧之间的待插帧数；

2.利用块匹配算法得到物体参考帧和保留帧之间的运动矢量MV_rs；

3.通过公式(8)对基准运动矢量赋予不同的自适应权重系数，根据公式(7)得到参考帧与待插帧之间的运动矢量，重构出像素点位移不同的各待插值，得到与原视频同步的待插帧图像。

以拍摄的Slow video视频为例，对其夜视抗晕光融合视频提取帧后，分别采用传统补偿插帧方法和本发明的自适应补偿插帧方法进行插帧处理，实验结果如下表1所示：

表1传统与本发明的补偿插帧方法插值结果

从表1数据可知，采用传统的运动补偿插帧方法，帧率恢复为25帧/s，在参考帧和保留帧之间都插进固定的4帧，帧数由帧提取后的86升为430，比原视频的371帧多了59帧，播放时长为17.2s比原视频的14.84s多了2.36s。而采用自适应补偿插帧方法进行插帧，帧率恢复为25帧/s，帧数和播放时长都与原视频一致，且保留帧在整个视频序列中所处的时刻与原视频保持一致。

传统插帧方法对86帧的插帧结果中有46帧的插帧数与原视频帧数一致，有40帧后的插帧数与原视频帧数有差异。其中，传统插帧方法的插帧数与原序列帧数有差异的部分如表2所示。

表2传统插帧方法的插帧数与原视频帧数有差异的部分

由表2可看出，传统插帧方法的插帧结果中有21帧多于原视频的插帧数，有19帧少于原视频的插帧数。其中，在第38-39、57-58、60-61和133-134帧之间不需要插帧，但传统方法仍在中间插进4帧图像，使实际插帧数多于应插帧数，导致视频内容出现减速或者画面静止的现象；在第168-187、72-87之间分别需要插18帧、14帧，在第15-27、134-146帧之间需要插11帧，但传统方法只插了4帧，远少于应插帧数，导致序列内容变化太大，出现视频加速或者不连续现象，表明传统插帧方法的插帧数明显不合理，并且插帧图像与原图像在同一时刻对应的的内容差异较大。两种插帧方法的实验结果分析对比，表明本发明的自适应补偿插帧方法的效果更好。

为了进一步阐述本发明提出的自适应补偿插帧方法的有效性，从视频流畅性、同步性两方面对传统插帧方法、本发明插帧方法的插帧数与原视频帧数相等的插帧结果进行分析。具体实施步骤如下：

1.分别计算传统补偿插帧视频、本发明补偿插帧视频与原视频序列中相同帧号图像的空间差异，来反映插帧内容与原视频内容是否同步；

2.以特征向量余弦夹角衡量插帧图像与原图像内容的同步性。当序列帧号对应的视频补偿帧与原视频帧之间的余弦夹角α＜1时视为内容同步，α≥1时视为不同步；

3.以特征向量余弦夹角阈值τ＝1.8来判定视频内容是否连续，当α＜1.8时视频内容连续，α≥1.8时视频内容不连续。

以拍摄的市内某段道路汽车夜间开远光驾驶视频为例，在参考帧34和保留帧38之间舍弃的原序列第35-37帧图像(见图10-12)，在第34和38帧之间采用传统补偿插帧方法恢复出来的中间帧图像(见图13-15)，在第34和38帧之间采用本发明补偿插帧方法恢复出来的中间帧图像(见图16-18)。

从插帧结果可看出，传统方法第1帧插帧图像(见图13)中最左边的汽车位置相对原序列的第35帧更为靠后，第2帧插帧图像(见图14)中最左边的汽车位置相对原序列的第36帧更为靠前，说明传统方法的插帧内容在第1帧处略微滞后，在第2帧处略微超前，插帧效果较差。而本发明的插帧结果与原视频帧在同一时刻所对应的内容同步，在视觉上几乎无差别。通过实验发现，采用传统插帧方法的视频播放时长与原视频存在近4s的差异，而采用本发明插帧方法的播放时长与原视频一致。

对视频序列的前50帧计算两种方法的视频补偿帧与原视频帧之间的特征向量余弦夹角。从序列帧号对应的视频补偿帧与原视频帧之间的特征向量余弦夹角α值(见图19)可看出，传统补偿插帧图像与原图像间的α均值为0.86，α值在第13～16帧和第35～36帧波动较大且都大于1，说明内容与原视频不同步，在第14、35帧的α值分别为1.88和1.81，均大于1.8，说明视频内容不连续。本发明的补偿插帧图像与原图像间的α均值为0.54，整个序列上的α值在发生微小波动后又趋于固定值，较传统插帧图像与原图像间的α值更小且均小于1，说明视频内容同步且连续。在传统插帧图像与原图像间的α值较大且波动较大时，本发明的补偿插帧图像与原图像间的α值反而很小，而且在一定帧段内处于稳定值，说明本发明方法的插帧效果显著，可有效改善传统补偿插帧方法的视频不连续和内容不同步的现象。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (3)

1.异源抗晕光融合视频的帧提取与补偿插帧方法，其特征在于：包括基于视频帧间内容相关性的帧提取步骤和具有时间标记的自适应补偿插帧步骤，所述基于视频帧间内容相关性的帧提取步骤包括以下具体步骤：

步骤1、获取可见光晕光图像的RGB直方图；

步骤2、构建4灰度分区的RGB直方图特征向量，将RGB三维向量映射为一维特征向量；

步骤3、计算参考帧和当前帧的特征向量余弦夹角θ_(r,c)，

特征向量余弦夹角θ_(r,c)由下述公式计算得到：

式中，参考帧的特征向量R＝[r₀,r₁,...,r₆₃]，当前帧的特征向量C＝[c₀,c₁,...,c₆₃]；θ_(r,c)越接近0，表示两帧图像差异越小；反之两帧差异越大；

步骤4、将参考帧特征向量R和当前帧特征向量C之间的余弦夹角θ_(r,c)、参考帧特征向量R和当前帧C的上一帧特征向量之间的余弦夹角θ_(r,c-1)，分别与设定阈值τ进行比较，阈值τ取值为1.5～2.2，判定当前帧C的上一帧是冗余帧还是保留帧；

步骤5、若当前帧C的上一帧为舍弃帧，则参考帧R不变，将当前帧C的下一帧设为新的当前帧；若当前帧C的上一帧为保留帧S，则当前帧C不变，将当前帧C的上一帧设为新的参考帧；再返回到步骤1，按照计算规则，依次迭代并确定整个视频序列的所有保留帧S及其相应的帧号；

所述具有时间标记的自适应补偿插帧步骤包括以下具体步骤：

步骤1、对步骤一得到的保留帧序列，由两相邻保留帧的序号之差确定二者之间的待插帧数，实现两保留帧中间的插帧数与原视频帧数相同；

步骤2、根据下式，确定参考帧和各待插帧之间的运动矢量MV_ri，构建出与原视频内容同步的各待插帧图像

MV_ri＝λMV_rs

式中，下标r表示参考帧，为两相邻保留帧的第1帧；下标s表示保留帧，为两相邻保留帧的第2帧；下标i表示第i个待插帧；λ为自适应权重，随帧间内容差异变化自动调节；MV_rs为参考帧与保留帧间的运动矢量；

自适应权重λ由下式确定：

式中，θ_ri为当前的参考帧与待插帧特征向量之间的余弦夹角；θ_rs为当前的参考帧与保留帧特征向量之间的余弦夹角；1/θ_rs为权重的自适应调节系数，在整个插帧过程中随参考帧和保留帧的更新而自动调整。

2.根据权利要求1所述异源抗晕光融合视频的帧提取与补偿插帧方法，其特征在于：在所述基于视频帧间内容相关性的帧提取步骤中，步骤4中，阈值τ取1.8。

3.根据权利要求1所述异源抗晕光融合视频的帧提取与补偿插帧方法，其特征在于：在所述基于视频帧间内容相关性的帧提取步骤中，步骤2中，包括以下的具体处理步骤：

步骤2.1根据下式，将每一个RGB像素值映射为一个整数；

index_i＝[B_i/64]×4²+[G_i/64]×4¹+[R_i/64]×4⁰,1≤i≤N

式中，index_i为第i个像素点3个像素值的映射值，取值范围为[0,63]中的整数，R_i、G_i、B_i为图像中第i个像素点的像素值，N为总像素点；([R_i mod 64],[G_i mod 64],[B_i mod 64])是从低到高共三位的四进制数，有(0,1,2,3)四个颜色分区；

步骤2.2统计整幅图像中每种映射值的数量，64种映射值的数量就构成了一维特征向量X，记为X＝(Num₀,Num₁,…,Num₆₃)。

Images