CN107657217A - 基于运动目标检测的红外与可见光视频的融合方法 - Google Patents
基于运动目标检测的红外与可见光视频的融合方法 Download PDFInfo
- Publication number
- CN107657217A CN107657217A CN201710816316.1A CN201710816316A CN107657217A CN 107657217 A CN107657217 A CN 107657217A CN 201710816316 A CN201710816316 A CN 201710816316A CN 107657217 A CN107657217 A CN 107657217A
- Authority
- CN
- China
- Prior art keywords
- mrow
- infrared
- planes
- video
- row
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Abstract
一种基于运动目标检测的红外与可见光视频的融合方法，属于视频融合技术领域。本发明通过低秩稀疏表示进行运动目标的检测，分别利用沿X‑T和Y‑T两平面的时间切片的低秩性和稀疏性来提取目标，并利用空间信息来保证检测目标的完整性，有效提高了检测的鲁棒性和准确性；其次，使用融合效果较好的非下采样剪切波变换，可更加有效地描述图像的结构信息，具有计算效率高、滤波方向无限、平移不变性等优点，有效提升了融合的效果；另外，本发明低频子带系数采用稀疏表示规则实现融合，高频子带系数采用目标显著性图作为加权因子的加权规则实现融合，融合效果更优。因此，本发明提出的基于运动目标检测的红外与可见光视频的融合方法，其鲁棒性与融合效果均较好。
Description
技术领域
本发明属于视频融合技术领域，涉及红外与可见光视频的融合，具体涉及一种基于运动目标检测的红外与可见光视频的融合方法。
背景技术
可见光图像对比度相对较高，目标包含一定的细节信息，但在黑暗背景下具有不易观察的隐蔽性。红外图像不依赖于外部的光线而利用场景内物体本身各个部分热辐射的差异获取物体图像的细节，具有信噪比低、无彩色信息、缺少层次感等缺点，且目标图像与背景对比度低、边缘模糊。而可见光图像与红外图像的融合可以综合红外图像较好的目标指示特性和可见光图像的清晰场景信息。近年来，随着传感器成本的降低与普及，基于多传感器的融合技术受到广泛重视与应用，如遥感、计算机视觉、医学成像等领域。
红外与可见光的视频融合在视频监控、目标跟踪、精确制导、遥感监测等领域发挥着巨大的作用。但视频有别于静态图像，其不仅具有空间特性，而且具有时间特性，因而在融合过程中必须考虑时间稳定性与一致性。最初，人们通过利用静态图像融合算法对输入视频的每一帧图像单独进行融合来实现视频融合的目的；然而这类视频融合算法只能较好地满足视频融合在空间性能上的要求，而时间稳定性和时间一致性这两方面的性能很差。时间稳定性和时间一致性是视频融合中的关键性难题。
经过科技的不断发展，目前已经提出了很多视频融合的方法。传统的图像融合方法主要有空域、频域变换，典型的处理方法包括：多尺度(Multi-scale Transform，MST)，稀疏表示(Sparse Representation,SR)，压缩感知(Compressive Sensing,CS)，全局熵(Global Entropy,GE)以及梯度约束(Gradient Constraint,GC)等。近年来，在此基础上针对视频融合提出的常用方法有：基于时空显著性，基于关键帧提取，基于超现实亮度对比度传递，基于三维多尺度变换和基于低秩稀疏等视频融合的方法。但是，基于稀疏表示的方法采用压缩测量和背景恢复的方法，在字典的选择或者学习方面比较耗费精力，效率低；而前几种方法都是基于运动目标检测，再将目标和背景分别采用不同的规则进行融合，虽然考虑了时空相关性，但其鲁棒性、灵活性、计算效率、融合效果等方面仍然需要进一步地提升。
发明内容
本发明针对背景技术中视频融合质量差的问题，提出了一种基于运动目标检测的红外与可见光视频的融合方法。本发明方法有效提高了视频融合的鲁棒性和计算效果，比传统的视频融合方法适用性更广，融合的效果也更符合人类视觉。
本发明的技术方案如下：
一种基于运动目标检测的红外与可见光视频的融合方法，包括以下步骤：
步骤1：针对同一场景进行拍摄得到红外视频{I1}和可见光视频{I2}，由于两组视频是针对同一场景拍摄的，目标在视频中的同一位置处且红外视频中目标更为突出，因此只需对红外视频{I1}采用低秩稀疏的方法进行运动目标检测，针对红外视频中的第t帧图像I1(x,y,t)将运动目标区域从背景中分离得到最终的目标显著性图S″(x,y,t)；
步骤2：分别对红外视频和可见光视频中的第t帧图像{I1(x,y,t),I2(x,y,t)}进行非下采样剪切波变换(NSST)，分别得到的高、低频子带系数为：红外视频的高低频子带系数和可见光视频的高低频子带系数
步骤3:对低频子带系数采用稀疏表示的融合规则，高频子带系数采用由目标显著性图S″(x,y,t)所指导的加权的规则进行融合，得到融合后的高、低频子带系数
步骤4：对步骤3得到的融合的高、低频子带系数进行反变换(INSST)，得出第t帧的融合图像IF(x,y,t)；
步骤5：针对红外视频和可见光视频中的所有帧重复步骤2至步骤4的过程，得到所有帧的融合图像后，按照设定的帧率排列并保存得到最终的融合视频{IF}，即完成红外和可见光视频的融合。
一种基于运动目标检测的红外与可见光视频的融合方法，具体包括以下步骤：
步骤1：针对同一场景进行拍摄得到红外视频{I1}和可见光视频{I2}，由于两组视频是针对同一场景拍摄的，目标在视频中的同一位置处且红外视频中目标更为突出，因此只需对红外视频{I1}采用低秩稀疏的方法进行运动目标检测，具体为：
1.1假设红外视频的第t帧对应的图像为I1(x,y,t)，t＝1,2,….M，其中，M为视频的总帧数，(x,y)为像素点的位置，每帧图像的尺寸大小为：m*n；
(1)将红外视频中第1帧图像的第1行作为沿X-T平面的第一个时间切片矩阵Sx1的第1列，第2帧图像的第1行作为沿X-T平面的第一个时间切片矩阵Sx1的第2列，按照上述规律依次将第1,2,….M帧图像中的第1行分别作为Sx1的第1,2,….M列，得到红外视频沿X-T平面的第一个时间切片矩阵Sx1，Sx1共有M列，其大小为：n*M；Sx1代表红外视频沿X-T平面的第一个时间切片矩阵，包含所有帧的第1行信息，X-T平面是为了表示x轴的信息和时间t轴的信息引入的一种表达方式；
(2)将红外视频中的第1,2,….M帧图像中的第a行分别作为Sxa的第1,2,….M列，得到红外视频沿X-T平面的第a个时间切片矩阵Sxa，其中，a＝1,2,…m，即可得到m个沿X-T平面的时间切片矩阵；
(3)将红外视频中第1帧图像的第1列作为沿Y-T平面的第一个时间切片矩阵Sy1的第1列，第2帧图像的第1列作为沿Y-T平面的第一个时间切片矩阵Sy1的第2列，按照上述规律依次将第1,2,….M帧图像中的第1列分别作为Sy1的第1,2,….M列，得到红外视频沿Y-T平面的第一个时间切片矩阵Sy1，Sy1共有M列，其大小为：m*M；Sy1代表红外视频沿Y-T平面的第一个时间切片矩阵，包含所有帧的第1列信息，Y-T平面是为了表示y轴的信息和时间t轴的信息引入的一种表达方式；
(4)将红外视频中的第1,2,….M帧图像中的第b列分别作为Syb的第1,2,….M列，得到红外视频沿Y-T平面的第b个时间切片矩阵Syb，其中，b＝1,2,…n，即可得到n个沿Y-T平面的时间切片矩阵；
经上述步骤，可得到m个红外视频沿X-T平面的时间切片矩阵和n个红外视频沿Y-T平面的时间切片矩阵，共得到m+n个时间切片矩阵；
1.2对步骤1.1得到的m+n个时间切片矩阵中的每一个时间切片矩阵Si,i＝1,2,…m+n进行分解，采用基于鲁棒的主成分分析(RPCA)优化后表示为：
min||Ai||*+λ||Di||1，s.t.Si＝Ai+Di
其中，Ai和Di分别代表低秩矩阵与稀疏矩阵，‖*‖*和‖*‖1分别表示矩阵的核范数与范数，λ表示稀疏矩阵的权重系数，低秩矩阵代表背景信息，稀疏矩阵代表目标信息；
通过优化可以求解得到每一个时间切片矩阵Si对应的低秩矩阵Ai与稀疏矩阵Di；
1.3红外视频中第t帧图像I1(x,y,t)的初始目标显著性图S(x,y,t)的计算；
(1)假设沿X-T平面的切片矩阵Sxa求解得到的稀疏矩阵表示为Dxa(a＝1,2,…m)，每个大小为n*M，然后将第一个稀疏矩阵Dx1的第1列作为第1帧图像沿X-T平面的目标显著性图SXT1的第1行，第二个稀疏矩阵Dx2的第1列作为第1帧图像沿X-T平面的目标显著性图SXT1的第2行，按照上述规律依次将第1，2，…，m个稀疏矩阵(Dx1到Dxm)的第1列作为SXT1的第1,2,…m行，即可得到第1帧红外图像沿X-T平面的目标显著性图SXT1，SXT1的大小为m*n；
(2)将第1，2，…，m个稀疏矩阵(Dx1到Dxm)的第t列作为SXTt的第1,2,…m行，得到第t帧图像沿X-T平面的目标显著性图SXTt，其中，t＝1,2,….M，进而可得到M帧图像沿X-T平面的目标显著性图；
(3)假设沿Y-T平面的切片矩阵Syb求解得到的稀疏矩阵表示为Dyb(b＝1,2,…n)，每个大小为m*M，然后将第一个稀疏矩阵Dy1的第1列作为第1帧图像沿Y-T平面的目标显著性图SYT1的第1列，第二个稀疏矩阵Dy2的第1列作为第1帧图像沿Y-T平面的目标显著性图SYT1的第2列，按照上述规律依次将第1，2，…，n个稀疏矩阵(Dy1到Dyn)的第1列作为SYT1的第1,2,…n列，即可得到第1帧红外图像沿Y-T平面的目标显著性图SYT1，SYT1的大小为m*n；
(4)将第1，2，…，n个稀疏矩阵(Dy1到Dyn)的第t列作为SYTt的第1,2,…n列，即可得到第t帧红外图像沿Y-T平面的目标显著性图SYTt，其中，t＝1,2,….M，进而可得到M帧图像沿Y-T平面的目标显著性图；
(5)将第t帧红外图像沿X-T平面的目标显著性图SXTt和第t帧红外图像沿Y-T平面的目标显著性图SYTt进行归一化处理(即：norm(SXTt.*SYTt))，即可得到红外视频中第t帧图像I1(x,y,t)的初始的目标显著性图S(x,y,t)；
1.4在上述考虑时间信息的基础上进一步考虑空间信息，以减少目标区域丢失像素的影响，改善检测的效果，保持图像完整性；由于运动目标内像素的局部相干性，像素可能丢失，因此，引入高斯函数来填充可能丢失的像素点，得到新的目标显著性图S′(x,y,t)：
其中，r是以像素点px,y为中心的小领域的半径，pi,j为该小领域内的像素点，(x,y)和(i,j)分别为两个像素点的位置,S(i,j,t)代表第t帧红外图像的初始的目标显著性图在位置(i,j)处目标显著性取值,‖*‖2是矩阵的范数，g是高斯函数：θ代表标准差，高斯函数的x代表自变量，此处为像素点；
1.5为了消除步骤1.2中RPCA优化过程中可能引入的噪声，采用自适应阈值分割法：假设步骤1.4得到的新的目标显著性图S′(x,y,t)服从高斯分布(μ,θ)，μ,θ分别为高斯分布的均值和标准差，采用Sg＝μ+θ为阈值得到最终的目标显著性图S″(x,y,t)：
步骤2：针对红外视频和可见光视频中的相应的第t帧图像进行融合，得到第t帧的融合图像IF(x,y,t)；
2.1对红外视频的第t帧图像I1(x,y,t)进行非下采样剪切波变换(NSST)，得到1个低频子带系数和个高频子带系数然后对可见光视频的第t帧图像I2(x,y,t)进行非下采样剪切波变换(NSST)，得到1个低频子带系数和个高频子带系数j表示图像分解级数，l表示分解方向数，lj为j级尺度下的方向分解数；
2.2对步骤2.1得到的高频子带系数采用步骤1得到的目标显著性图S″(x,y,t)指导的加权规则融合，得到融合的高频子带系数
2.3对步骤2.1得到的低频子带系数采用稀疏表示的规则进行融合，得到融合的低频子带系数具体过程为：
a.将步骤2.1得到的红外低频子带系数和可见光低频子带系数均以一定步长、滑动窗口大小为从左上角到右下角的顺序分解为N个图像块，针对第i个图像块，i＝1,2,…,N，将其依次排列为列向量ci，并归一化为其中，为矢量的均值，1是全为1的N*1的向量；
b.使用正交匹配追踪算法(OMP)求解最稀疏的系数解αi，具体为：
其中，D是训练得到的字典，ε为设定的误差；
c.对步骤b得到的红外低频子带系数和可见光低频子带系数对应的稀疏系数采用“取大”的规则进行融合，得到融合的低频稀疏系数然后，通过重构得到融合图像的低频子带系数其中，1是全为1的N*1的向量，为融合的向量均值；
d.针对N个图像块，重复上述步骤a至c的过程，得到N个融合的低频子带系数然后针对同一位置的融合的低频子带系数进行累加并除以累加的次数，得到融合后的低频子带系数
2.4对步骤2.2得到的融合高频子带系数和步骤2.3得到的融合的低频子带系数进行反剪切波变换，得出第t帧的融合图像IF(x,y,t)；
步骤3：针对红外视频和可见光视频中的每一帧重复步骤2的过程，得到每一帧的融合图像后按照设定的帧率排列得到最终的融合视频{IF}。
进一步地，步骤2.1中分解级数J＝4，j＝1,2,3,4。
进一步地，步骤2.1中j级尺度下的方向分解数lj：1≤lj≤4。
进一步地，步骤2.3中所述设定的误差ε＝0.1。
本发明的有益效果为：
本发明通过低秩稀疏表示进行运动目标的检测，分别利用沿X-T和Y-T两平面的时间切片的低秩性和稀疏性来提取目标，并利用空间信息来保证检测目标的完整性，有效提高了检测的鲁棒性和准确性；其次，使用融合效果较好的非下采样剪切波变换(NSST)，可更加有效地描述图像的结构信息，剪切波的逆变换是剪切滤波器的简单合成，具有计算效率高、滤波方向无限、平移不变性等优点，有效提升了融合效果；另外，本发明中低频子带系数采用稀疏表示规则实现融合，高频子带系数采用目标显著性图作为加权因子的加权规则实现融合，融合效果更优。因此，本发明提出的基于运动目标检测的红外与可见光视频的融合方法，其鲁棒性与融合效果均较好。
附图说明
图1为本发明提供的基于运动目标检测的红外与可见光视频的融合方法的流程示意图；
图2为本发明步骤1运动目标检测的结果示意图；
图3为本发明视频融合方法的融合结果示意图。
具体实施方式
下面结合附图和实施例，详述本发明的技术方案。
一种基于运动目标检测的红外与可见光视频的融合方法，具体包括以下步骤：
步骤1：针对同一场景进行拍摄得到红外视频{I1}和可见光视频{I2}，视频中的每帧源图像都已经过配准，红外视频和可见光视频的帧数选取连续的32帧，即M＝32，每一帧图像的大小为270×360；由于红外视频和可见光视频是针对同一场景拍摄的，目标在视频中的同一位置处且红外视频中目标更为突出，因此只需对红外视频{I1}采用低秩稀疏的方法进行运动目标检测，检测的结果也代表了可见光视频中相应的目标；具体为：
1.1假设红外视频的第t帧对应的图像为I1(x,y,t)，t＝1,2,….M，其中，M为视频的总帧数，(x,y)为像素点的位置，每帧图像的尺寸大小为：m*n；
(1)将红外视频中第1帧图像的第1行作为沿X-T平面的第一个时间切片矩阵Sx1的第1列，第2帧图像的第1行作为沿X-T平面的第一个时间切片矩阵Sx1的第2列，按照上述规律依次将第1,2,….M帧图像中的第1行分别作为Sx1的第1,2,….M列，得到红外视频沿X-T平面的第一个时间切片矩阵Sx1，Sx1共有M列，其大小为：n*M；Sx1代表红外视频沿X-T平面的第一个时间切片矩阵，包含所有帧的第1行信息，X-T平面是为了表示x轴的信息和时间t轴的信息引入的一种表达方式；
(2)将红外视频中的第1,2,….M帧图像中的第a行分别作为Sxa的第1,2,….M列，得到红外视频沿X-T平面的第a个时间切片矩阵Sxa，其中，a＝1,2,…m，即可得到m个沿X-T平面的时间切片矩阵(m＝270)；
(3)将红外视频中第1帧图像的第1列作为沿Y-T平面的第一个时间切片矩阵Sy1的第1列，第2帧图像的第1列作为沿Y-T平面的第一个时间切片矩阵Sy1的第2列，按照上述规律依次将第1,2,….M帧图像中的第1列分别作为Sy1的第1,2,….M列，得到红外视频沿Y-T平面的第一个时间切片矩阵Sy1，Sy1共有M列，其大小为：m*M；Sy1代表红外视频沿Y-T平面的第一个时间切片矩阵，包含所有帧的第1列信息，Y-T平面是为了表示y轴的信息和时间t轴的信息引入的一种表达方式；
(4)将红外视频中的第1,2,….M帧图像中的第b列分别作为Syb的第1,2,….M列，得到红外视频沿Y-T平面的第b个时间切片矩阵Syb，其中，b＝1,2,…n，即可得到n个沿Y-T平面的时间切片矩阵(n＝360)；
经上述步骤，可得到m个红外视频沿X-T平面的时间切片矩阵和n个红外视频沿Y-T平面的时间切片矩阵，共得到m+n个时间切片矩阵；
1.2对步骤1.1得到的m+n个时间切片矩阵中的每一个时间切片矩阵Si(i＝1,2,…,m+n)进行分解，采用基于鲁棒的主成分分析(RPCA)优化后表示为：
min||Ai||*+λ||Di||1，s.t.Si＝Ai+Di
其中，Ai和Di分别代表低秩矩阵与稀疏矩阵，‖*‖*和‖*‖1分别表示矩阵的核范数与范数，λ表示稀疏矩阵的权重系数，λ＝0.2，低秩矩阵代表背景信息，稀疏矩阵代表目标信息；
通过优化可以求解得到每一个时间切片矩阵Si对应的低秩矩阵Ai与稀疏矩阵Di；
1.3红外视频中第t帧图像I1(x,y,t)的初始目标显著性图S(x,y,t)的计算；
(1)假设沿X-T平面的切片矩阵Sxa求解得到的稀疏矩阵表示为Dxa(a＝1,2,…m)，每个大小为n*M，然后将第一个稀疏矩阵Dx1的第1列作为第1帧图像沿X-T平面的目标显著性图SXT1的第1行，第二个稀疏矩阵Dx2的第1列作为第1帧图像沿X-T平面的目标显著性图SXT1的第2行，按照上述规律依次将第1，2，…，m个稀疏矩阵(Dx1到Dxm)的第1列作为SXT1的第1,2,…m行，即可得到第1帧红外图像沿X-T平面的目标显著性图SXT1，SXT1的大小为m*n；
(2)将第1，2，…，m个稀疏矩阵(Dx1到Dxm)的第t列作为SXTt的第1,2,…m行，得到第t帧图像沿X-T平面的目标显著性图SXTt，其中，t＝1,2,….M，进而可得到M帧图像沿X-T平面的目标显著性图；
(3)假设沿Y-T平面的切片矩阵Syb求解得到的稀疏矩阵表示为Dyb(b＝1,2,…n)，每个大小为m*M，然后将第一个稀疏矩阵Dy1的第1列作为第1帧图像沿Y-T平面的目标显著性图SYT1的第1列，第二个稀疏矩阵Dy2的第1列作为第1帧图像沿Y-T平面的目标显著性图SYT1的第2列，按照上述规律依次将第1，2，…，n个稀疏矩阵(Dy1到Dyn)的第1列作为SYT1的第1,2,…n列，即可得到第1帧红外图像沿Y-T平面的目标显著性图SYT1，SYT1的大小为m*n；
(4)将第1，2，…，n个稀疏矩阵(Dy1到Dyn)的第t列作为SYTt的第1,2,…n列，即可得到第t帧红外图像沿Y-T平面的目标显著性图SYTt，其中，t＝1,2,….M，进而可得到M帧图像沿Y-T平面的目标显著性图；
(5)将第t帧红外图像沿X-T平面的目标显著性图SXTt和第t帧红外图像沿Y-T平面的目标显著性图SYTt进行归一化处理(即：norm(SXTt.*SYTt))，即可得到红外视频中第t帧图像I1(x,y,t)的初始的目标显著性图S(x,y,t)；
1.4在上述考虑时间信息的基础上进一步考虑空间信息，以减少目标区域丢失像素的影响，改善检测的效果，保持图像完整性；由于运动目标内像素的局部相干性，像素可能丢失，因此，引入高斯函数来填充可能丢失的像素点，得到新的目标显著性图S′(x,y,t)：
其中，r是以像素点px,y为中心的小领域的半径，pi,j为该小领域内的像素点，(x,y)和(i,j)分别为两个像素点的位置,S(i,j,t)代表第t帧红外图像的初始的目标显著性图在位置(i,j)处目标显著性取值,‖*‖2是矩阵的范数，g是高斯函数：θ代表标准差，θ＝1，高斯函数的x代表自变量，此处为像素点；
1.5为了消除步骤1.2中RPCA优化过程中可能引入的噪声，采用自适应阈值分割法：假设步骤1.4得到的新的目标显著性图S′(x,y,t)服从高斯分布(μ,θ)，μ,θ分别为高斯分布的均值和标准差，采用Sg＝μ+θ为阈值得到最终的目标显著性图S″(x,y,t)：
步骤2：采用基于非下采样剪切波变换(NSST)对红外视频和可见光视频中的相应的第t帧图像进行融合，得到第t帧的融合图像IF(x,y,t)；NSST是一种最优逼近，它是在各个方向和各个尺度上对图像的“真正”的稀疏表示，NSST对图像进行多尺度分解时不会进行下采样操作，具有平移不变性，在对图像进行重构时可克服伪吉布斯效应；
2.1对红外视频的第t帧图像I1(x,y,t)进行非下采样剪切波变换(由基于非下采样金字塔NSP滤波器组和基于剪切波的滤波器组SF组成)，得到1个低频子带系数和个高频子带系数然后对可见光视频的第t帧图像I2(x,y,t)进行非下采样剪切波变换(NSST)，得到1个低频子带系数和个高频子带系数j表示图像分解级数，l表示分解方向数，lj为j级尺度下的方向分解数，表示第j级、l方向的红外图像的高频子带系数，表示第j级、l方向的可见光图像的高频子带系数；
2.2对步骤2.1得到的高频子带系数采用步骤1得到的目标显著性图S″(x,y,t)指导的加权规则融合，得到融合的高频子带系数
2.3对步骤2.1得到的低频子带系数采用稀疏表示(SR)的规则进行融合，得到融合的低频子带系数具体过程为：
a.将步骤2.1得到的红外低频子带系数和可见光低频子带系数对应的低频图像使用“滑动窗技术”对低频子带系数遍历，步长为2，滑动窗口大小为具体为：将红外图像的低频子带系数按照从左上角到右下角的顺序分解为N个图像块可见光图像的低频子带系数按照从左上角到右下角的顺序分解为N个图像块N为分得的图像总块数；
b.将步骤a得到的图像块和分别排列为N*1的列向量并归一化为具体过程为：
其中，为矢量的均值，1是全为1的N*1的向量；
c.使用正交匹配追踪(OMP)算法求解最稀疏系数解具体为：
其中，D是使用K-SVD算法训练得到的字典，ε为设定的误差，取0.1，为红外图像的最稀疏系数解，为可见光图像的最稀疏系数解；
d.对步骤c得到的红外低频子带系数和可见光低频子带系数对应的最稀疏系数解采用“取大”的规则进行融合，得到融合的低频稀疏系数
然后，通过重构得到融合图像的低频子带系数为：
其中，1是全1的N*1的向量，为融合的向量均值：
e.针对N个图像块，重复上述步骤a至d的过程，得到N个融合的低频子带系数然后针对同一位置的融合的低频子带系数进行累加并除以累加的次数，得到融合后的低频子带系数
2.4对步骤2.2得到的融合高频子带系数和步骤2.3得到的融合的低频子带系数进行反剪切波变换(INSST)，得到第t帧红外图像与第t帧可见光图像的融合图像IF(x,y,t)；
步骤3：针对红外视频和可见光视频中的每一帧重复步骤2并结合步骤1得到的相应帧的红外目标显著性图，得到每一帧的融合图像后按照设定的帧率排列得到最终的融合视频{IF}。
以上即为本发明的具体实现方法，本发明方法通过将低秩稀疏的运动目标检测与NSST的多尺度变换相结合，在红外与可见光测试序列上取得了较好的融合质量。从图3的融合结果可以看出，每帧的融合图像既包含了可见光图像的背景信息(如：栅栏和树等)，又包含了红外图像的目标信息(如：运动的人等)，表明本发明方法的融合效果较好。
表1评价指标对比
| 指标\算法 | LPT | DWT | NSCT | SR | 本文方法 |
| 熵(EN) | 6.68 | 6.66 | 6.59 | 6.67 | 6.73 |
| 互信息(MI) | 1.6491 | 1.5821 | 1.6135 | 2.1655 | 1.9183 |
| 视觉信息保留度 | 0.4370 | 0.3641 | 0.4365 | 0.1952 | 0.4470 |
| 结构相似度 | 0.5972 | 0.5034 | 0.6134 | 0.4447 | 0.6277 |
表1为本发明方法与拉普拉斯金字塔变换(Laplacian Pyramid Transform，LPT)、离散小波变换(Discrete Wavelet Transform，DWT)、非下采样轮廓波变换(Non-subsampled Contourlet Transform，NSCT)、稀疏表示(Spares Representation，SR)的4种评价指标对比。其中，熵(EN)反映融合图像包含信息量的多少，从表中可以看出，本发明方法的熵最大，融合效果最好；互信息反映融合图像与原图的关联的程度，即从原图中获取的信息量多少，其值越大表示融合图像从原图中获取的信息越丰富；结构相似度表征融合图像与原图在亮度、对比度、结构等特征的相似情况；视觉信息保留度反映融合图像的视觉特征从原图中保留的程度，也是一种表征融合图像与原图的相似情况的指标。从表1可以看出，本发明的大部分指标处于最优效果，互信息也实现了较好的效果，相较于其他4种方法，本发明方法的融合效果更好。
Claims (4)
1.一种基于运动目标检测的红外与可见光视频的融合方法，包括以下步骤：
步骤1：针对同一场景进行拍摄得到红外视频{I1}和可见光视频{I2}，然后对红外视频{I1}采用低秩稀疏的方法进行运动目标检测，对红外视频中的第t帧图像I1(x,y,t)将运动目标区域从背景中分离得到最终的目标显著性图S″(x,y,t)；
步骤2：分别对红外视频和可见光视频中的第t帧图像{I1(x,y,t),I2(x,y,t)}进行非下采样剪切波变换，得到各自的高、低频子带系数：红外视频的高低频子带系数和可见光视频的高低频子带系数
步骤3:对低频子带系数采用稀疏表示的融合规则，高频子带系数采用由目标显著性图S″(x,y,t)所指导的加权的规则进行融合，得到融合后的高、低频子带系数
步骤4：对步骤3得到的融合后的高、低频子带系数进行反变换，得出第t帧的融合图像IF(x,y,t)；
步骤5：针对红外视频和可见光视频中的所有帧重复步骤2至步骤4的过程，得到所有帧的融合图像后，按照设定的帧率排列并保存得到最终的融合视频{IF}，即完成红外和可见光视频的融合。
2.一种基于运动目标检测的红外与可见光视频的融合方法，具体包括以下步骤：
步骤1：针对同一场景进行拍摄得到红外视频{I1}和可见光视频{I2}，然后对红外视频{I1}采用低秩稀疏的方法进行运动目标检测，具体为：
1.1假设红外视频的第t帧对应的图像为I1(x,y,t)，t＝1,2,....M，其中，M为视频的总帧数，(x,y)为像素点的位置，每帧图像的尺寸大小为：m*n；
(1)将红外视频中第1帧图像的第1行作为沿X-T平面的第一个时间切片矩阵Sx1的第1列，第2帧图像的第1行作为沿X-T平面的第一个时间切片矩阵Sx1的第2列，按照上述规律依次将第1,2,....M帧图像中的第1行分别作为Sx1的第1,2,....M列，得到红外视频沿X-T平面的第一个时间切片矩阵Sx1，Sx1大小为：n*M；
(2)将红外视频中的第1,2,....M帧图像中的第a行分别作为Sxa的第1,2,....M列，得到红外视频沿X-T平面的第a个时间切片矩阵Sxa，其中，a＝1,2,…m，即可得到m个沿X-T平面的时间切片矩阵；
(3)将红外视频中第1帧图像的第1列作为沿Y-T平面的第一个时间切片矩阵Sy1的第1列，第2帧图像的第1列作为沿Y-T平面的第一个时间切片矩阵Sy1的第2列，按照上述规律依次将第1,2,....M帧图像中的第1列分别作为Sy1的第1,2,....M列，得到红外视频沿Y-T平面的第一个时间切片矩阵Sy1，Sy1大小为：m*M；
(4)将红外视频中的第1,2,....M帧图像中的第b列分别作为Syb的第1,2,....M列，得到红外视频沿Y-T平面的第b个时间切片矩阵Syb，其中，b＝1,2,…n，即可得到n个沿Y-T平面的时间切片矩阵；
经上述步骤，可得到m个红外视频沿X-T平面的时间切片矩阵和n个红外视频沿Y-T平面的时间切片矩阵，共得到m+n个时间切片矩阵；
1.2对步骤1.1得到的m+n个时间切片矩阵中的每一个时间切片矩阵Si,i＝1,2,…m+n进行分解，采用基于鲁棒的主成分分析优化后表示为：
min‖Ai‖*+λ‖Di‖1，s.t.Si＝Ai+Di
其中，Ai和Di分别代表低秩矩阵与稀疏矩阵，‖*‖*和‖*‖1分别表示矩阵的核范数与l1范数，λ表示稀疏矩阵的权重系数；
通过优化可以求解得到每一个时间切片矩阵Si对应的低秩矩阵Ai与稀疏矩阵Di；
1.3红外视频中第t帧图像I1(x,y,t)的初始目标显著性图S(x,y,t)的计算；
(1)假设沿X-T平面的切片矩阵Sxa求解得到的稀疏矩阵表示为Dxa，然后将第一个稀疏矩阵Dx1的第1列作为第1帧图像沿X-T平面的目标显著性图SXT1的第1行，第二个稀疏矩阵Dx2的第1列作为第1帧图像沿X-T平面的目标显著性图SXT1的第2行，按照上述规律依次将第1，2，…，m个稀疏矩阵的第1列作为SXT1的第1,2,…m行，即可得到第1帧红外图像沿X-T平面的目标显著性图SXT1；
(2)将沿X-T平面的切片矩阵Sxa求解得到的第1，2，…，m个稀疏矩阵的第t列作为SXTt的第1,2,…m行，得到第t帧图像沿X-T平面的目标显著性图SXTt；
(3)假设沿Y-T平面的切片矩阵Syb求解得到的稀疏矩阵表示为Dyb，然后将第一个稀疏矩阵Dy1的第1列作为第1帧图像沿Y-T平面的目标显著性图SYT1的第1列，第二个稀疏矩阵Dy2的第1列作为第1帧图像沿Y-T平面的目标显著性图SYT1的第2列，按照上述规律依次将第1，2，…，n个稀疏矩阵的第1列作为SYT1的第1,2,…n列，即可得到第1帧红外图像沿Y-T平面的目标显著性图SYT1；
(4)将沿Y-T平面的切片矩阵Syb求解得到的第1，2，…，n个稀疏矩阵的第t列作为SYTt的第1,2,…n列，即可得到第t帧红外图像沿Y-T平面的目标显著性图SYTt；
(5)将红外视频的第t帧沿X-T平面的目标显著性图SXTt和红外视频的第t帧沿Y-T平面的目标显著性图SYTt进行归一化处理，即可得到红外视频中第t帧图像I1(x,y,t)的初始的目标显著性图S(x,y,t)；
1.4在上述考虑时间信息的基础上进一步考虑空间信息，得到新的目标显著性图S′(x,y,t)：
<mrow>
<msup>
<mi>S</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
<mo><</mo>
<mi>r</mi>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<mi>S</mi>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mo>)</mo>
<mo>*</mo>
<mi>g</mi>
<mo>(</mo>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中，r是以像素点px,y为中心的小领域的半径，pi,j为该小领域内的像素点，(x,y)和(i,j)分别为两个像素点的位置,S(i,j,t)代表第t帧红外图像的初始的目标显著性图在位置(i,j)处目标显著性取值，g是高斯函数；
1.5假设步骤1.4得到的新的目标显著性图S′(x,y,t)服从高斯分布(μ,θ)，μ,θ分别为高斯分布的均值和标准差，采用Sg＝μ+θ为阈值得到最终的目标显著性图S′′(x,y,t)：
<mrow>
<msup>
<mi>S</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<mi>S</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<msub>
<mi>S</mi>
<mi>g</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
步骤2：针对红外视频和可见光视频中的相应的第t帧图像进行融合，得到第t帧的融合图像IF(x,y,t)；
2.1对红外视频的第t帧图像I1(x,y,t)进行非下采样剪切波变换，得到1个低频子带系数和个高频子带系数然后对可见光视频的第t帧图像I2(x,y,t)进行非下采样剪切波变换，得到1个低频子带系数和个高频子带系数j表示图像分解级数，l表示分解方向数，lj为j级尺度下的方向分解数；
2.2对步骤2.1得到的高频子带系数采用步骤1得到的目标显著性图S″(x,y,t)指导的加权规则融合，得到融合的高频子带系数
<mrow>
<msubsup>
<mi>C</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
<mi>F</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>C</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
<mn>1</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>.</mo>
<mo>*</mo>
<msup>
<mi>S</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>C</mi>
<mrow>
<mi>j</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>.</mo>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msup>
<mi>S</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>t</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
2.3对步骤2.1得到的低频子带系数采用稀疏表示的规则进行融合，得到融合的低频子带系数具体过程为：
a.将步骤2.1得到的红外低频子带系数和可见光低频子带系数均以滑动窗口大小为从左上角到右下角的顺序分解为N个图像块，针对第i个图像块，i＝1,2,…,N，将其依次排列为列向量ci，并归一化为其中，为矢量的均值，1是全为1的N*1的向量；
b.使用正交匹配追踪算法求解最稀疏的系数解αi，具体为：
<mrow>
<msup>
<mi>&alpha;</mi>
<mi>i</mi>
</msup>
<mo>=</mo>
<mi>argmin</mi>
<mo>|</mo>
<mo>|</mo>
<mi>&alpha;</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
<mo>|</mo>
<mo>|</mo>
<msup>
<mover>
<mi>c</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msup>
<mo>-</mo>
<mi>D</mi>
<mi>&alpha;</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
<mo><</mo>
<mi>&epsiv;</mi>
</mrow>
其中，D是训练得到的字典，ε为设定的误差；
c.对步骤b得到的红外低频子带系数与可见光低频子带系数对应的稀疏系数采用“取大”的规则进行融合，得到融合的低频稀疏系数然后，通过重构得到融合图像的低频子带系数其中，1是全为1的N*1的向量，为融合的向量均值；
d.针对N个图像块，重复上述步骤a至c的过程，得到N个融合的低频子带系数然后对同一位置的融合的低频子带系数进行累加并除以累加的次数，得到融合后的低频子带系数
2.4对步骤2.2得到的融合高频子带系数和步骤2.3得到的融合的低频子带系数进行反剪切波变换，得出第t帧的融合图像IF(x,y,t)；
步骤3：针对红外视频和可见光视频中的每一帧重复步骤2的过程，得到每一帧的融合图像后按照设定的帧率排列得到最终的融合视频{IF}。
3.根据权利要求2所述的基于运动目标检测的红外与可见光视频的融合方法，其特征在于，步骤2.1中分解级数J＝4，j＝1,2,3,4。
4.根据权利要求2所述的基于运动目标检测的红外与可见光视频的融合方法，其特征在于，步骤2.1中j级尺度下的方向分解数lj：1≤lj≤4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710816316.1A CN107657217B (zh) | 2017-09-12 | 2017-09-12 | 基于运动目标检测的红外与可见光视频的融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710816316.1A CN107657217B (zh) | 2017-09-12 | 2017-09-12 | 基于运动目标检测的红外与可见光视频的融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107657217A true CN107657217A (zh) | 2018-02-02 |
| CN107657217B CN107657217B (zh) | 2021-04-30 |
Family
ID=61129543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710816316.1A Active CN107657217B (zh) | 2017-09-12 | 2017-09-12 | 基于运动目标检测的红外与可见光视频的融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107657217B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492321A (zh) * | 2018-03-26 | 2018-09-04 | 安徽大学 | 一种多模态目标跟踪方法及装置 |
| CN108805082A (zh) * | 2018-06-13 | 2018-11-13 | 广东工业大学 | 一种视频融合方法、装置、设备及计算机可读存储介质 |
| CN108961154A (zh) * | 2018-07-13 | 2018-12-07 | 福州大学 | 基于改进非下采样轮廓波变换的太阳电池热斑检测方法 |
| CN109447909A (zh) * | 2018-09-30 | 2019-03-08 | 安徽四创电子股份有限公司 | 基于视觉显著性的红外与可见光图像融合方法及系统 |
| CN109447933A (zh) * | 2018-11-14 | 2019-03-08 | 西北工业大学 | 基于特有信息同步分解的红外与可见光图像融合方法 |
| CN109581410A (zh) * | 2019-01-08 | 2019-04-05 | 北京理工大学 | 一种新型的基于压缩感知的条纹管激光成像系统 |
| CN109584303A (zh) * | 2018-12-03 | 2019-04-05 | 电子科技大学 | 一种基于Lp范数和核范数的红外弱小目标检测方法 |
| CN109886908A (zh) * | 2019-02-14 | 2019-06-14 | 西安理工大学 | 红外图像与可见光图像融合方法 |
| CN111369469A (zh) * | 2020-03-10 | 2020-07-03 | 北京爱笔科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111429392A (zh) * | 2020-04-13 | 2020-07-17 | 四川警察学院 | 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 |
| CN111680592A (zh) * | 2020-05-28 | 2020-09-18 | 东风柳州汽车有限公司 | 车内生物检测方法、装置、设备及存储介质 |
| CN112487947A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图像融合与目标检测网络的低照度图像目标检测方法 |
| CN113177462A (zh) * | 2021-04-26 | 2021-07-27 | 四川大学 | 适用于法庭庭审监控的目标检测方法 |
| CN113554112A (zh) * | 2021-07-30 | 2021-10-26 | 西安交通大学 | 一种遥感图像融合方法、系统、设备及介质 |
| CN114677316A (zh) * | 2022-05-27 | 2022-06-28 | 深圳顶匠科技有限公司 | 可实时的可见光图像与红外图像多通道融合方法及装置 |
| CN117746513A (zh) * | 2024-02-19 | 2024-03-22 | 成都体育学院 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
| CN117746513B (zh) * | 2024-02-19 | 2024-04-30 | 成都体育学院 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101873440A (zh) * | 2010-05-14 | 2010-10-27 | 西安电子科技大学 | 基于Surfacelet变换的红外与可见光视频图像融合方法 |
| CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
| CN104504673A (zh) * | 2014-12-30 | 2015-04-08 | 武汉大学 | 基于nsst的可见光与红外图像融合方法及系统 |
| CN105976346A (zh) * | 2016-04-28 | 2016-09-28 | 电子科技大学 | 基于鲁棒主成分稀疏分解的红外与可见光图像融合方法 |
-
2017
- 2017-09-12 CN CN201710816316.1A patent/CN107657217B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101873440A (zh) * | 2010-05-14 | 2010-10-27 | 西安电子科技大学 | 基于Surfacelet变换的红外与可见光视频图像融合方法 |
| CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
| CN104504673A (zh) * | 2014-12-30 | 2015-04-08 | 武汉大学 | 基于nsst的可见光与红外图像融合方法及系统 |
| CN105976346A (zh) * | 2016-04-28 | 2016-09-28 | 电子科技大学 | 基于鲁棒主成分稀疏分解的红外与可见光图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| YAWEN XUE等: "MOTION SALIENCY DETECTION USING LOW-RANK AND SPARSE DECOMPOSITION", 《2012 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING 》 * |
| 王雪: "红外与可见光图像融合中的关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 郑伟等: "Shearlet 变换和稀疏表示相结合的甲状腺图像融合", 《光电工程》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492321A (zh) * | 2018-03-26 | 2018-09-04 | 安徽大学 | 一种多模态目标跟踪方法及装置 |
| CN108492321B (zh) * | 2018-03-26 | 2021-10-01 | 安徽大学 | 一种多模态目标跟踪方法及装置 |
| CN108805082A (zh) * | 2018-06-13 | 2018-11-13 | 广东工业大学 | 一种视频融合方法、装置、设备及计算机可读存储介质 |
| CN108805082B (zh) * | 2018-06-13 | 2021-08-13 | 广东工业大学 | 一种视频融合方法、装置、设备及计算机可读存储介质 |
| CN108961154A (zh) * | 2018-07-13 | 2018-12-07 | 福州大学 | 基于改进非下采样轮廓波变换的太阳电池热斑检测方法 |
| CN108961154B (zh) * | 2018-07-13 | 2022-12-23 | 福州大学 | 基于改进非下采样轮廓波变换的太阳电池热斑检测方法 |
| CN109447909A (zh) * | 2018-09-30 | 2019-03-08 | 安徽四创电子股份有限公司 | 基于视觉显著性的红外与可见光图像融合方法及系统 |
| CN109447933A (zh) * | 2018-11-14 | 2019-03-08 | 西北工业大学 | 基于特有信息同步分解的红外与可见光图像融合方法 |
| CN109584303A (zh) * | 2018-12-03 | 2019-04-05 | 电子科技大学 | 一种基于Lp范数和核范数的红外弱小目标检测方法 |
| CN109584303B (zh) * | 2018-12-03 | 2023-04-14 | 电子科技大学 | 一种基于Lp范数和核范数的红外弱小目标检测方法 |
| CN109581410A (zh) * | 2019-01-08 | 2019-04-05 | 北京理工大学 | 一种新型的基于压缩感知的条纹管激光成像系统 |
| CN109581410B (zh) * | 2019-01-08 | 2022-10-21 | 北京理工大学 | 一种基于压缩感知的条纹管激光成像系统 |
| CN109886908A (zh) * | 2019-02-14 | 2019-06-14 | 西安理工大学 | 红外图像与可见光图像融合方法 |
| CN109886908B (zh) * | 2019-02-14 | 2022-02-11 | 西安理工大学 | 红外图像与可见光图像融合方法 |
| CN111369469A (zh) * | 2020-03-10 | 2020-07-03 | 北京爱笔科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111369469B (zh) * | 2020-03-10 | 2024-01-12 | 北京爱笔科技有限公司 | 图像处理方法、装置及电子设备 |
| CN111429392A (zh) * | 2020-04-13 | 2020-07-17 | 四川警察学院 | 基于多尺度变换和卷积稀疏表示的多聚焦图像融合方法 |
| CN111680592A (zh) * | 2020-05-28 | 2020-09-18 | 东风柳州汽车有限公司 | 车内生物检测方法、装置、设备及存储介质 |
| CN112487947A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图像融合与目标检测网络的低照度图像目标检测方法 |
| CN113177462A (zh) * | 2021-04-26 | 2021-07-27 | 四川大学 | 适用于法庭庭审监控的目标检测方法 |
| CN113177462B (zh) * | 2021-04-26 | 2022-04-15 | 四川大学 | 适用于法庭庭审监控的目标检测方法 |
| CN113554112B (zh) * | 2021-07-30 | 2023-09-19 | 西安交通大学 | 一种遥感图像融合方法、系统、设备及介质 |
| CN113554112A (zh) * | 2021-07-30 | 2021-10-26 | 西安交通大学 | 一种遥感图像融合方法、系统、设备及介质 |
| CN114677316A (zh) * | 2022-05-27 | 2022-06-28 | 深圳顶匠科技有限公司 | 可实时的可见光图像与红外图像多通道融合方法及装置 |
| CN117746513A (zh) * | 2024-02-19 | 2024-03-22 | 成都体育学院 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
| CN117746513B (zh) * | 2024-02-19 | 2024-04-30 | 成都体育学院 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107657217B (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107657217A (zh) | 基于运动目标检测的红外与可见光视频的融合方法 | |
| Jin et al. | A survey of infrared and visual image fusion methods | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| Chen et al. | Denoising hyperspectral image with non-iid noise structure | |
| CN105740799B (zh) | 基于三维Gabor特征选择的高光谱遥感图像分类方法及系统 | |
| CN102592136B (zh) | 基于几何图像中中频信息的三维人脸识别方法 | |
| CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| Mobahi et al. | Holistic 3D reconstruction of urban structures from low-rank textures | |
| CN101231748A (zh) | 基于奇异值分解的图像融合方法 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN109658351B (zh) | 一种结合l0梯度约束和局部低秩矩阵恢复的高光谱图像去噪方法 | |
| CN103873743A (zh) | 一种基于结构张量和卡尔曼滤波的视频去噪方法 | |
| CN103902989B (zh) | 基于非负矩阵分解的人体动作视频识别方法 | |
| CN110097617B (zh) | 基于卷积神经网络与显著性权重的图像融合方法 | |
| CN1932882A (zh) | 基于目标检测的红外与可见光序列图像特征级融合方法 | |
| CN107563411A (zh) | 基于深度学习的在线sar目标检测方法 | |
| Bulbul et al. | Human action recognition based on dmms, hogs and contourlet transform | |
| CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
| CN102509104A (zh) | 基于置信度图的增强现实场景虚拟对象判别和检测方法 | |
| Xiao et al. | Image Fusion | |
| CN103095996A (zh) | 基于时空显著性检测的多传感器视频融合方法 | |
| CN107767358A (zh) | 一种图像中物体模糊度确定方法和装置 | |
| Gao et al. | Multiscale curvelet scattering network | |
| CN103632372A (zh) | 一种视频显著图提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |