CN110689554B - 用于红外图像序列的背景运动估计方法、装置及存储介质 - Google Patents

用于红外图像序列的背景运动估计方法、装置及存储介质 Download PDF

Info

Publication number
CN110689554B
CN110689554B CN201910910191.8A CN201910910191A CN110689554B CN 110689554 B CN110689554 B CN 110689554B CN 201910910191 A CN201910910191 A CN 201910910191A CN 110689554 B CN110689554 B CN 110689554B
Authority
CN
China
Prior art keywords
sub
window
displacement
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910910191.8A
Other languages
English (en)
Other versions
CN110689554A (zh
Inventor
裴继红
廖凯文
谢维信
杨烜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910910191.8A priority Critical patent/CN110689554B/zh
Publication of CN110689554A publication Critical patent/CN110689554A/zh
Priority to US17/278,972 priority patent/US11669978B2/en
Priority to PCT/CN2020/113690 priority patent/WO2021057455A1/zh
Application granted granted Critical
Publication of CN110689554B publication Critical patent/CN110689554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于红外图像序列的背景运动估计方法、装置及存储介质，方法包括：根据背景运动中相邻两帧图像的最大位移量确定待匹配区域，将待匹配区域划分成T个子区域，在这些子区域中用随机方法生成M个子窗口集合，用同步互信息匹配方法计算出这些子窗口集合对应的背景运动位移量，再根据这些子窗口集合对应的背景运动位移量使用势函数投票法计算出相邻两帧图像之间的背景运动位移量。本发明方法基于图像块匹配，不依赖于特征点的提取，因此对具有特征点较少的情况，以及受噪声干扰的红外图像序列的背景运动估计具有较高的鲁棒性。

Description

用于红外图像序列的背景运动估计方法、装置及存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及用于红外图像序列的背景运动估计方法、装置及存储介质。
背景技术
红外目标检测技术在红外预警、自动导航等技术领域有很重要的应用，特别是在红外图像弱小目标检测中，由于红外成像系统成像距离较远，成像的分辨率较低，目标常常表现为几个到十几个像素的亮点，且没有明显的纹理特征，同时还有大量的噪声干扰，这给红外弱小目标检测带来了极大的困难。因此，在背景相对静止的情况下，常采用背景减除法对目标进行检测，但在相机追踪目标而导致背景发生运动时，则需要进行背景运动估计，以进行相应的运动补偿，使背景保持相对静止。因此，在进行复杂背景的红外弱小目标的检测中，背景运动估计是其中较为重要的一环，对目标检测的准确性有较大的影响。
在红外远距离场景下，由红外相机镜头追踪目标的移动或抖动而导致背景发生运动时，相邻两帧图像的背景之间的运动可以近似看成是平移变换。对于这种情况，目前的背景运动估计主要分为基于图像块匹配的运动估计方法、基于特征点匹配的运动估计方法、光流法三类。
基于图像块匹配的背景运动估计方法是在当前帧图像的固定位置上选取一个子图作为匹配模板，然后将这些模板所在的窗口放到图像序列的下一帧图像中搜索滑动，通过相似性度量函数，计算模板与对应模板窗口覆盖下的子图之间的相似性关系，找到模板图像在下一帧图像中的最佳匹配位置，并以此计算出背景运动的位移量。通常情况下，这种方法可以取得较好的背景运动估计效果。但是，当匹配模板图像选择在图像中灰度分布较为均匀的区域时，由于该区域中的图像块与模板图像均具有较高的相似度，将大大降低对背景运动估计的精度。对此，有人通过每次选取一个图像模板进行运动估计，然后用不同区域的模板估计N次，用N次的某种统计平均作为最终背景运动估计结果，但是由于背景的不可预知性，当这种方法选择的N个模板图像块多数处在灰度平坦区域时，估计的结果就会不准确。此外，在图像中存在运动目标的情况下，由于目标运动的不可预性，在选取的模板子图中，若其中包含有目标区域，模板图像在下一帧图像中的匹配位置会受到目标运动的影响，使得对背景运动估计的准确性下降。
综上，对于图像分辨率较低、存在较多灰度平坦区域、且受噪声干扰影响较大的红外图像序列的背景运动估计问题，目前已有的方法中，基于块匹配的背景运动估计方法在模板图像选在灰度平坦区域中，或模板图像中包含有运动目标时，会导致背景运动估计结果不精确。
发明内容
本发明提供一种用于红外图像序列的背景运动估计方法，用以解决现有技术中基于图像块匹配的背景运动估计方法在模板图像处于灰度平坦区域以及模板图像块中包含运动目标区域而导致背景估计结果不准确的技术问题。
本发明第一方面提供一种用于红外图像序列的背景运动估计方法，所述方法包括：
获取相机在所处场景中的运动特性；
根据所述运动特性估算所述相机拍摄的所述红外图像序列的相邻两帧图像中相机视场可能发生的最大位移量；
利用所述最大位移量确定所述相邻两帧图像的待匹配区域，所述待匹配区域为所述相邻两帧图像中的相同背景区域；
将所述待匹配区域划分为T个形状及尺寸相同的子区域，用随机方法在所述待匹配区域的T个子区域中生成M组形状相同的子窗口集合，其中，每一组子窗口集合均由K个子窗口组成，所述T、K、M均为正整数，且K大于T；每一个子窗口完整地位于一个子区域中且每个子区域至少含有一个子窗口；
根据所述M组子窗口集合，用随机采样多窗口同步互信息匹配方法计算出所述相邻两帧图像的M个背景运动位移量；
根据所述M个背景运动位移量，用势函数投票法确定图像序列中所述相邻两帧图像之间的背景运动位移量。
优选地，所述子区域形状为带状或矩形，所述子窗口形状为带状或矩形。
优选地，所述用随机方法在所述待匹配区域的T个子区域中生成M组子窗口集合包括：
获取每个子区域的参数，所述子区域的参数包括所述子区域左上角的点坐标以及所述子区域的高度及宽度值；所述子区域左上角的点坐标是基于以所述待匹配区域左上角为原点，向下方向为x轴，向右方向为y轴建立的二维直角坐标系确定的；
获取每个子窗口集合中子窗口的高度及宽度值；
根据每个子窗口的高度及宽度值以及所述子窗口所处子区域的参数使用随机生成公式计算得到每个子窗口的左上角坐标；
根据每个子窗口的左上角坐标及子窗口的高度及宽度值得到所述M组子窗口集合。
优选地，所述随机生成公式表示为：
xmk＝Round(xt+Uniform(0,1)*(Hx-hx))
ymk＝Round(yt+Uniform(0,1)*(Hy-hy))
式中xmk为第m组子窗口集合中第k个子窗口在x轴上的坐标，ymk为第m组子窗口集合中第k个子窗口在y轴上的坐标，Uniform(0,1)是随机生成区间[0,1]中均匀分布随机数的函数，Round(.)是取整函数，xt为第t个子区域的左上角在x轴方向的坐标，yt为第t个子区域的左上角在y轴方向的坐标，Hx为子区域的高度值，Hy为子区域的宽度值，hx为子窗口的高度值，hy为子窗口的宽度值。
优选地，所述根据所述M组子窗口集合，用随机采样多窗口同步互信息匹配方法计算出M个可能的相邻两帧图像背景运动位移量，包括以下步骤：
S1：获取所述相邻两帧图像在已建立的二维直角坐标系的x轴与y轴方向上位移量的矩形邻域；
S2：提取指定子窗口集合中所有子窗口在所述相邻两帧图像中前一帧图像上覆盖的图像块，将所述图像块按预设顺序连接生成第一图像；
S3：随机取所述位移量的矩形邻域中的一位移量，按照所述位移量移动所述指定子窗口集合，得到移动后的子窗口集合；
S4：提取所述移动后的子窗口集合中所有子窗口在所述相邻两帧图像中后一帧图像上覆盖的图像块，将提取的图像块按所述预设顺序连接生成第二图像；
S5：计算所述第一图像和所述第二图像的互信息；
S6：按步骤S2至S5计算所述指定子窗口集合在所述位移量矩形邻域内所有位移量对应的互信息，取互信息最大时对应的位移量为所述指定子窗口集合对应的背景运动位移量；
S7：按步骤S2至S6计算所有子窗口集合对应的背景运动位移量，得到所述M个相邻两帧图像背景运动位移量。
优选地，所述计算所述第一图像和所述第二图像的互信息的计算公式为：
MI(Am,Bm(dx,dy))＝H(Am)+H(Bm(dx,dy))-H(Am,Bm(dx,dy))
式中Am为所述第一图像，Bm(dx,dy)为第一图像Am按位移量(dx,dy)移动后得到的所述第二图像，MI(Am,Bm(dx,dy))为所述第一图像和所述第二图像的互信息，H(.)为图像熵函数，H(.,.)为图像联合熵函数。
优选地，所述根据所述M个背景运动位移量，用势函数投票法确定图像序列中所述相邻两帧图像之间的背景运动位移量，包括：
选取一个径向基函数作为核函数，计算所述M个相邻两帧图像背景运动位移量中每个位移量的势函数值；所述每个位移量的势函数值中最大的势函数值对应的位移量即为所述相邻两帧图像之间的背景运动位移量。
优选地，所述势函数值的计算公式为：
Figure BDA0002214475140000041
式中(dxm,dym)为第m个子窗口集合对应的位移量，总计M个子窗口集合，m＝1,2,…,M；P(dxm,dym)为第m个子窗口集合对应的位移量的势函数值，dxi为第i个子窗口集合对应的位移量在x轴方向的位移量，dyi为第i个子窗口集合对应的位移量在y轴方向的位移量，σ为所述核函数的核宽参数，σ＝1。
本发明第二方面提供一种用于红外图像序列的背景运动估计装置，所述装置包括：
运动特性获取模块，用于获取相机在所处场景中的运动特性；
最大位移量估算模块，用于根据所述运动特性估算所述相机拍摄的所述红外图像序列的相邻两帧图像中相机视场可能发生的最大位移量；
待匹配区域确定模块，用于利用所述最大位移量为依据确定一个所述相邻两帧图像的待匹配区域，所述待匹配区域为所述相邻两帧图像中的相同背景区域；
子窗口集合生成模块，用于将所述待匹配区域划分为T个子区域并用随机方法在所述待匹配区域的T个子区域中生成M组形状相同的子窗口集合，其中，每一组子窗口集合均由K个子窗口组成，所述T、K、M均为正整数，且K大于T；每一个子窗口完整地位于一个子区域中且每个子区域至少含有一个子窗口；
子窗口集合位移量计算模块，用于根据所述M组子窗口集合，用随机采样多窗口同步互信息匹配方法计算出所述M个可能的相邻两帧图像背景运动位移量；
背景运动位移量计算模块，用于根据所述M个背景运动位移量，用势函数投票法确定图像序列中所述相邻两帧图像之间的背景运动位移量。
本发明第三方面还提供一种可读存储介质，其上存有计算机程序，其特征在于，所述计算机程序被执行时，执行第一方面中所述的各个步骤。
从上述本发明实施例可知，本发明中的针对红外远距离成像场景下，由红外相机转动或抖动导致红外成像中背景在图像中发生移动的运动估计问题，本发明提供了一种红外图像序列的背景运动估计方法，本方法通过根据背景运动中相邻两帧图像的最大位移量确定待匹配区域，将待匹配区域划分成一定数量个子区域，在这些子区域中用随机方法生成一定数量个子窗口集合，用同步互信息匹配方法计算出这些子窗口集合对应的背景运动位移量，再根据这些子窗口集合对应的背景运动位移量使用势函数投票法计算出相邻两帧图像之间的背景运动位移量。本发明方法基于图像块匹配，不依赖于特征点的提取，因此对具有特征点较少的情况，以及受噪声干扰的红外图像序列的背景运动估计具有较高的鲁棒性，能有效克服在块匹配算法中选择的模板图像在平坦区域内造成背景估计结果匹配结果不可靠的问题，以及模板图像块中包含运动目标区域时导致背景运动的估计结果受运动目标干扰的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种用于红外图像序列的背景运动估计方法的流程示意图；
图2为本申请实施例提供的用随机采样多窗口同步互信息匹配方法计算出M个可能的相邻两帧图像背景运动位移量的流程示意图；
图3为本申请实施例提供的相邻两帧图像的待匹配区域的示意图；
图4为本申请实施例提供的将待匹配区域划分为T个子区域的几种划分示例；
图5为本申请实施例提供的二维直角坐标系的示意图；
图6为本申请实施例提供的一种用于红外图像序列的背景运动估计装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例第一方面提供了一种用于红外图像序列的背景运动估计方法，如图1所示，为本申请实施例提供的用于红外图像序列的背景运动估计方法的流程示意图，方法包括：
步骤101，获取相机在所处场景中的运动特性；
在本申请实施例中，在红外远距离成像场景下，红外相机转动或抖动导致成像中背景图像发生移动，需对此场景下的成像背景图像的移动量进行一个可靠的估计。本申请实施例提供的估计方法，首先获取相机在实际拍摄时所处的场景的运动特性。这里的运动特性是指相机在单位时间内在所处场景中发生位移量的各种可能情况。或者从另一方面理解，运动特性包括相机在所处的场景中可能的运动方向及运动速度。
步骤102，根据运动特性估算相机拍摄的红外图像序列的相邻两帧图像中相机视场可能发生的最大位移量；
在本申请实施例中，根据步骤101中获取到的相机在所处环境中的运动特性，估算相机拍摄的红外图像序列的相邻两帧图像中相机视场可能发生的最大位移量。假定两帧图像分别为F0和F1，其中F0为前一帧图像，F1为后一帧图像。
步骤103，利用最大位移量确定相邻两帧图像的待匹配区域，待匹配区域为相邻两帧图像中的相同背景区域；
在本申请实施例中，根据步骤102中估算的最大位移量，确定F0和F1这两帧图像的待匹配区域R0，如图3所示，为本申请实施例提供的相邻两帧图像的待匹配区域的示意图，图中F0为前一帧图像，F1为后一帧图像，R0为F0与F1这两帧相邻图像根据最大位移量确定的一待匹配区域。
步骤104，将待匹配区域划分为T个形状及尺寸相同的子区域，用随机方法在待匹配区域的T个子区域中生成M组形状相同的子窗口集合，其中，每一组子窗口集合均由K个子窗口组成，T、K、M均为正整数，且K大于T；每个子窗口完整地位于一个子区域中且每个子区域至少含有一个子窗口；
在本申请实施例中，将步骤103中确定的待匹配区域R0划分为T个子区域，此处划分为均匀划分，该T个子区域的形状及尺寸相同。如图4所示，为本申请实施例提供的几种将待匹配区域划分为T个子区域的几种划分示例。按图4示例将待匹配区域均匀地划分为3个子区域R1、R2、R3。采用随机方法在这T个子区域中生成M组子窗口集合。每个子窗口集合由K个形状相同的子窗口组成，每个子窗口均完整地位于一个子区域中，而且每个子区域中至少含有一个子窗口。此处的T、K、M均为正整数且K大于T。
步骤105，根据M组子窗口集合，用随机采样多窗口同步互信息匹配方法计算出相邻两帧图像的M个背景运动位移量；
在本申请实施例中，根据随机生成的M组子窗口集合，采用随机采样多窗口同步互信息匹配方法计算出每个子窗口集合对应的背景运动位移量，得到M个背景运动位移量。
步骤106，根据M个背景运动位移量，用势函数投票法确定图像序列中相邻两帧图像之间的背景运动位移量。
在本申请实施例中，根据求得的M个背景运动位移量，用势函数投票法求解每个位移量对应的势函数值，根据势函数值的大小确定图像序列中相邻两帧图像之间的背景运动位移量。
本发明通过根据背景运动中相邻两帧图像的最大位移量确定待匹配区域，将待匹配区域划分成一定数量个子区域，在这些子区域中用随机方法生成一定数量个子窗口集合，用同步互信息匹配方法计算出这些子窗口集合对应的背景运动位移量，再根据这些子窗口集合对应的背景运动位移量使用势函数投票法计算出相邻两帧图像之间的背景运动位移量。本发明方法基于图像块匹配，不依赖于特征点的提取，因此对具有特征点较少的情况，以及受噪声干扰的红外图像序列的背景运动估计具有较高的鲁棒性，能有效克服在块匹配算法中选择的模板图像在平坦区域内造成背景估计结果匹配结果不可靠的问题，以及模板图像块中包含运动目标区域时导致背景运动的估计结果受运动目标干扰的问题。
优选地，图1中所指的T个子区域的形状为带状或矩形。
在本申请实施例中，T个子区域的形状为带状或者矩形形状，这些子区域具有相同的宽和高。随机生成的子窗口集合中的子窗口也为带状或矩形，这些子窗口也具有相同的宽和高。
进一步地，用随机方法在待匹配区域的T个子区域中生成M组子窗口集合包括：
获取每个子区域的参数，子区域的参数包括子区域左上角的点坐标以及子区域的高度及宽度值；子区域左上角的点坐标是基于以待匹配区域左上角为原点，向下方向为x轴，向右方向为y轴建立的二维直角坐标系确定的；
获取每个子窗口集合中子窗口的高度及宽度值；
获取每个子区域中子窗口的个数，并确定每个子窗口所在的子区域；
根据每个子窗口的高度及宽度值以及子窗口所处子区域的参数使用随机生成公式计算得到每个子窗口的左上角坐标；
根据每个子窗口的左上角坐标及子窗口的高度及宽度值得到M组子窗口集合。
在本申请实施例中，以待匹配区域左上角为原点，向下方向为x轴，向右方向为y轴建立二维直角坐标系。如图5所示，为本申请实施例提供的二维直角坐标系的示意图。图中Rt为任一子区域，Wmk为任一子窗口，(xt，yt)为子区域Rt左上角的坐标，(Hx，Hy)为子区域Rt的高和宽。(xmk,ymk)为子窗口Wmk左上角的坐标，(hx,hy)为子窗口Wmk高和宽。计待匹配区域R0被划分成高和宽分别为Hx和Hy，大小相同的T个子区域：R1、R2、…Rt、…、RT，每个子区域由四个参数决定：
Rt：(xt,yt,Hx,Hy),t＝1,2,…,T,k＝1,2,…,K
其中，(xt，yt)为子区域Rt左上角的坐标，(Hx，Hy)为子区域Rt的高和宽。
随机生成的M组子窗口集合：W1、W2、...Wm、...、WM中的任一集合Wm由K个高和宽分别为hx、hy的大小相等的子窗口组成：
Wm＝{Wm1、Wm2、...Wmk、...、WmK},m＝1,2,…,M
每个子窗口由四个参数决定：
Wmk：(xmk,ymk,hx,hy),m＝1,2,…,M,k＝1,2,…,K
其中，(xmk,ymk)为子窗口Wmk左上角的坐标，(hx,hy)为子窗口Wmk高和宽，且:
hx<Hx,hy<Hy
因此，确定子区域的参数、子窗口集合的个数、子窗口的高度及宽度值、每个子区域中子窗口的个数，并确定每个子窗口所在的子区域，即可通过随机生成公式计算得到每个子窗口的左上角坐标，从而得到M组子窗口集合中所有子窗口的参数，即得到M组子窗口集合。
进一步地，随机生成公式表示为：
xmk＝Round(xt+Uniform(0,1)*(Hx-hx))
ymk＝Round(yt+Uniform(0,1)*(Hy-hy))
式中xmk为第m组子窗口集合中第k个子窗口在x轴方向的坐标，ymk为第m组子窗口集合中第k个子窗口在y轴方向上的坐标，Uniform(0,1)是随机生成区间[0,1]中均匀分布随机数的函数，Round(.)是取整函数，xt为第t个子区域的左上角在x轴方向的坐标，yt为第t个子区域的左上角在y轴方向的坐标，Hx为子区域的高度值，Hy为子区域的宽度值，hx为子窗口的高度值，hy为子窗口的宽度值。
进一步地，用随机采样多窗口同步互信息匹配方法计算出M个可能的相邻两帧图像背景运动位移量，如图2所示，为本申请实施例提供的用随机采样多窗口同步互信息匹配方法计算出M个可能的相邻两帧图像背景运动位移量的流程示意图，包括以下步骤：
步骤201，获取相邻两帧图像在x轴与y轴方向上位移量的矩形邻域；
在本申请实施例中，计(dx,dy)为图像背景运动的位移量，获取位移量的矩形邻域：-Dx≤dx≤Dx，-Dy≤dy≤Dy。其中Dx与Dy为表示邻域大小的两个整数常数。
步骤202，提取指定子窗口集合中所有子窗口在相邻两帧图像中前一帧图像上覆盖的图像块，将图像块按特定顺序连接生成第一图像；
在本申请实施例中，选取子窗口集合Wm＝{Wm1,...Wmk,...,WmK}，在前帧图像F0中，Wm提取的K个子图像块分别为：Am1,...Amk,...,AmK，其中Amk是子窗口Wmk在图像F0中覆盖的图像块，将这些覆盖的图像块按照一定顺序连接生成一幅图像Am＝Am1...Amk...AmK。
步骤203，随机取位移量的矩形邻域中的一位移量，按照该位移量移动指定子窗口集合，得到移动后的子窗口集合；
在本申请实施例中，取步骤201中的矩形邻域中任意位移量(dx,dy)，按照该位移量同步移动步骤202中选取的移动子窗口集合Wm中的每一个子窗口。Wm(dx,dy)为Wm移动后的子窗口集合：
Wm(dx,dy)：{Wm1(dx,dy),...Wmk(dx,dy),...,WmK(dx,dy)}
则Wmk(dx,dy)的参数表示为(xmk+dx,ymk+dy,hx,hy)
步骤204，提取移动后的子窗口集合中所有子窗口在相邻两帧图像中后一帧图像上覆盖的图像块，将提取的图像块按特定顺序连接生成第二图像；
在本申请实施例中，对移动后的子窗口集合Wm(dx,dy)中的每个子窗口在后一帧图像F1中覆盖的图像块进行提取，计提取的图像块为Bm1(dx,dy),...Bmk(dx,dy),...,BmK(dx,dy)，其中Bmk(dx,dy)是子窗口Wmk(dx,dy)在图像F1中覆盖的图像块。将这些提取的图像块按与步骤202相同的顺序连接生成一幅图像Bm(dx,dy)＝Bm1(dx,dy)...Bmk(dx,dy)...BmK(dx,dy)。
步骤205，计算第一图像和第二图像的互信息；
在本申请实施例中，计算图像Am和图像Bm(dx,dy)的互信息MI(Am,Bm(dx,dy))：
MI(Am,Bm(dx,dy))＝H(Am)+H(Bm(dx,dy))-H(Am,Bm(dx,dy))
其中，式中Am为第一图像，Bm(dx,dy)为第一图像Am按位移量(dx,dy)移动后得到的第二图像，MI(Am,Bm(dx,dy))为第一图像和第二图像的互信息，H(.)为图像熵函数，H(.,.)为图像联合熵函数。
步骤206，计算指定子窗口集合在位移量矩形邻域内所有位移量对应的互信息，取互信息最大时对应的位移量为指定子窗口集合对应的背景运动位移量；
在本申请实施例中，按照步骤201至步骤205中详述的方法，计算指定子窗口集合在位移量矩形邻域内所有的位移量对应的提取的两幅图像的互信息，确定互信息值最大时对应的位移量为该子窗口集合对应的背景运动位移量。
步骤207，计算所有子窗口集合对应的背景运动位移量，得到M个相邻两帧图像背景运动位移量。
在本申请实施例中，按照步骤201至步骤206中详述的方法分别计算每组子窗口集合在位移量矩形邻域内所有位移量对应提取的两幅图像的互信息值，分别得到每组子窗口集合对应最大互信息值时对应的位移量，得到M个相邻两帧图像背景运动位移量，记为(dx1,dy1),…,(dxm,dym),…,(dxM,dyM)。
进一步地，根据M个背景运动位移量，用势函数投票法确定图像序列中相邻两帧图像之间的背景运动位移量，包括：
选取一个径向基函数作为核函数，计算M个相邻两帧图像背景运动位移量中每个位移量的势函数值；每个位移量的势函数值中最大的势函数值对应的位移量即为相邻两帧图像之间的背景运动位移量。
优选地，势函数值的计算公式为：
Figure BDA0002214475140000121
式中(dxm,dym)为第m个子窗口集合对应的位移量，总计M个子窗口集合，m＝1,2,…,M；P(dxm,dym)为第m个子窗口集合对应的位移量的势函数值，dxi为第i个子窗口集合对应的位移量在x轴方向的位移量，dyi为第i个子窗口集合对应的位移量在y轴方向的位移量，σ为核函数的核宽参数，σ＝1。
在本申请实施例中，根据步骤207中得到的M个背景运动位移量(dx1,dy1),…,(dxm,dym),…,(dxM,dyM)，用势函数投票法确定图像序列中F1相对于F0的背景运动位移量。选取一个径向基函数作为核函数。一般可选高斯型的核函数：
Figure BDA0002214475140000122
其中||.||2是欧氏范数运算,σ是核函数的核宽参数，通常可取σ＝1。计算每一对位移量(dxm,dym)的势函数值：
Figure BDA0002214475140000123
式中(dxm,dym)为第m个子窗口集合对应的位移量，总计M个子窗口集合，m＝1,2,…,M；P(dxm,dym)为第m个子窗口集合对应的位移量的势函数值，dxi为第i个子窗口集合对应的位移量在x轴方向的位移量，dyi为第i个子窗口集合对应的位移量在y轴方向的位移量，σ为核函数的核宽参数，σ＝1。
以上计算得到的势函数最大值对应的位移量就是红外图像序列的下一帧图像F1对于当前帧图像F0的背景运动位移量(dxop,dyop)：
Figure BDA0002214475140000131
式中(dxop,dyop)为红外图像序列的下一帧图像F1对于当前帧图像F0的背景运动位移量，
Figure BDA0002214475140000132
为势函数P(dxm,dym)最大时对应的位移量(dxm,dym)。
本发明通过根据背景运动中相邻两帧图像的最大位移量确定待匹配区域，将待匹配区域划分成一定数量个子区域，在这些子区域中用随机方法生成一定数量个子窗口集合，用同步互信息匹配方法计算出这些子窗口集合对应的背景运动位移量，再根据这些子窗口集合对应的背景运动位移量使用势函数投票法计算出相邻两帧图像之间的背景运动位移量。本发明方法基于图像块匹配，不依赖于特征点的提取，因此对具有特征点较少的情况，以及受噪声干扰的红外图像序列的背景运动估计具有较高的鲁棒性。
本发明第二方面提供一种用于红外图像序列的背景运动估计装置，如图6所示，为本申请实施例提供的一种用于红外图像序列的背景运动估计装置，装置包括：
运动特性获取模块601，用于获取相机在所处场景中的运动特性；
最大位移量估算模块602，用于根据运动特性估算相机拍摄的红外图像序列的相邻两帧图像中相机视场可能发生的最大位移量；
待匹配区域确定模块603，用于利用最大位移量为依据确定一个相邻两帧图像的待匹配区域，待匹配区域为相邻两帧图像中的相同背景区域；
子窗口集合生成模块604，用于将待匹配区域划分为T个子区域并用随机方法在待匹配区域的T个子区域中生成M组形状相同的子窗口集合，其中，每一组子窗口集合均由K个子窗口组成，T、K、M均为正整数，且K大于T；每一个子窗口完整地位于一个子区域中且每个子区域至少含有一个子窗口；
子窗口集合位移量计算模块605，用于根据M组子窗口集合，用随机采样多窗口同步互信息匹配方法计算出M个可能的相邻两帧图像背景运动位移量；
背景运动位移量计算模块606，用于根据M个背景运动位移量，用势函数投票法确定图像序列中相邻两帧图像之间的背景运动位移量。
在本申请实施例中，可以理解的是，图6装置的各个模块的实现过程与图1中的各个步骤相同，此处不再赘述。
本申请实施例提供的一种用于红外图像序列的背景运动估计装置，通过将待匹配区域划分成一定数量个子区域，在这些子区域中用随机方法生成一定数量个子窗口集合，用同步互信息匹配方法计算出这些子窗口集合对应的背景运动位移量，再根据这些子窗口集合对应的背景运动位移量使用势函数投票法计算出相邻两帧图像之间的背景运动位移量。本发明方法基于图像块匹配，不依赖于特征点的提取，因此对具有特征点较少的情况，以及受噪声干扰的红外图像序列的背景运动估计具有较高的鲁棒性。
本发明第三方面还提供一种可读存储介质，其上存有计算机程序，其特征在于，计算机程序被执行时，执行图1中的各个步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的技术方案的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用于红外图像序列的背景运动估计方法，其特征在于，所述方法包括：
获取相机在所处场景中的运动特性；
根据所述运动特性估算所述相机拍摄的所述红外图像序列的相邻两帧图像中相机视场可能发生的最大位移量；
利用所述最大位移量确定所述相邻两帧图像的待匹配区域，所述待匹配区域为所述相邻两帧图像中的相同背景区域；
将所述待匹配区域划分为T个形状及尺寸相同的子区域，用随机方法在所述待匹配区域的T个子区域中生成M组子窗口集合，其中，每一组子窗口集合均由K个形状相同的子窗口组成，所述T、K、M均为正整数，且K大于T；每一个子窗口完整地位于一个子区域中且每个子区域至少含有一个子窗口；
根据所述M组子窗口集合，用基于互信息的图像匹配方法计算出相邻两帧图像的M个背景运动位移量；
根据所述相邻两帧图像的M个背景运动位移量，用势函数投票法确定图像序列中相邻两帧图像之间最终的背景运动位移量。
2.根据权利要求1所述的用于红外图像序列的背景运动估计方法，其特征在于，所述子区域形状为带状或矩形，所述子窗口形状为带状或矩形。
3.根据权利要求2所述的用于红外图像序列的背景运动估计方法，其特征在于，所述用随机方法在所述待匹配区域的T个子区域中生成M组子窗口集合包括：
获取每个子区域的参数，所述子区域的参数包括所述子区域左上角的点坐标以及所述子区域的高度及宽度值；所述子区域左上角的点坐标是基于以所述待匹配区域左上角为原点，向下方向为x轴，向右方向为y轴建立的二维直角坐标系确定的；
获取每个子窗口集合中子窗口的高度及宽度值；
根据每个子窗口的高度及宽度值以及所述子窗口所处子区域的参数使用随机生成公式计算得到每个子窗口的左上角坐标；
根据每个子窗口的左上角坐标及子窗口的高度及宽度值得到所述M组子窗口集合。
4.根据权利要求3所述的用于红外图像序列的背景运动估计方法，其特征在于，所述随机生成公式表示为：
xmk＝Round(xt+Uniform(0,1)*(Hx-hx))
ymk＝Round(yt+Uniform(0,1)*(Hy-hy))
式中xmk为第m组子窗口集合中第k个子窗口在x轴上的坐标，ymk为第m组子窗口集合中第k个子窗口在y轴上的坐标，Uniform(0,1)是随机生成区间[0,1]中均匀分布随机数的函数，Round(.)是取整函数，xt为第t个子区域的左上角在x轴方向的坐标，yt为第t个子区域的左上角在y轴方向的坐标，Hx为子区域的高度值，Hy为子区域的宽度值，hx为子窗口的高度值，hy为子窗口的宽度值。
5.根据权利要求1所述的用于红外图像序列的背景运动估计方法，其特征在于，所述根据所述M组子窗口集合，用基于互信息的图像匹配方法计算出相邻两帧图像的M个背景运动位移量，包括以下步骤：
S1：获取所述相邻两帧图像在已建立的二维直角坐标系的x轴与y轴方向上位移量的矩形邻域；
S2：提取指定子窗口集合中所有子窗口在所述相邻两帧图像中前一帧图像上覆盖的图像块，将所述图像块按预设顺序连接生成第一图像；
S3：随机取所述位移量的矩形邻域中的一位移量，按照所述位移量移动所述指定子窗口集合，得到移动后的子窗口集合；
S4：提取所述移动后的子窗口集合中所有子窗口在所述相邻两帧图像中后一帧图像上覆盖的图像块，将提取的图像块按所述预设顺序连接生成第二图像；
S5：计算所述第一图像和所述第二图像的互信息；
S6：按步骤S2至S5计算所述指定子窗口集合在所述位移量的矩形邻域内所有位移量对应的互信息，取互信息最大时对应的位移量为所述指定子窗口集合对应的背景运动位移量；
S7：按步骤S2至S6计算所有子窗口集合对应的背景运动位移量，得到所述相邻两帧图像的M个背景运动位移量。
6.根据权利要求5所述的用于红外图像序列的背景运动估计方法，其特征在于，所述计算所述第一图像和所述第二图像的互信息的计算公式为：
MI(Am,Bm(dx,dy))＝H(Am)+H(Bm(dx,dy))-H(Am,Bm(dx,dy))
式中Am为所述第一图像，Bm(dx,dy)为第一图像Am按位移量(dx,dy)移动后得到的所述第二图像，MI(Am,Bm(dx,dy))为所述第一图像和所述第二图像的互信息，H(.)为图像熵函数，H(.,.)为图像联合熵函数。
7.根据权利要求5所述的用于红外图像序列的背景运动估计方法，其特征在于，所述根据所述M个相邻两帧图像的背景运动位移量，用势函数投票法确定图像序列中相邻两帧图像之间最终的背景运动位移量，包括：
选取一个径向基函数作为核函数，计算所述M个相邻两帧图像背景运动位移量中每个位移量的势函数值；所述每个位移量的势函数值中最大的势函数值对应的位移量即为所述相邻两帧图像之间的背景运动位移量。
8.根据权利要求7所述的用于红外图像序列的背景运动估计方法，其特征在于，所述势函数值的计算公式为：
Figure FDA0003516838370000031
式中(dxm,dym)为第m个子窗口集合对应的背景运动位移量，总计M个子窗口集合，m＝1,2,…,M；P(dxm,dym)为第m个子窗口集合对应的位移量的势函数值，dxi为第i个子窗口集合对应的位移量在x轴方向的位移量，dyi为第i个子窗口集合对应的位移量在y轴方向的位移量，σ为所述核函数的核宽参数，σ＝1。
9.一种用于红外图像序列的背景运动估计装置，其特征在于，所述装置包括：
运动特性获取模块，用于获取相机在所处场景中的运动特性；
最大位移量估算模块，用于根据所述运动特性估算所述相机拍摄的所述红外图像序列的相邻两帧图像中相机视场可能发生的最大位移量；
待匹配区域确定模块，用于利用所述最大位移量为依据确定一个所述相邻两帧图像的待匹配区域，所述待匹配区域为所述相邻两帧图像中的相同背景区域；
子窗口集合生成模块，用于将所述待匹配区域划分为T个子区域并用随机方法在所述待匹配区域的T个子区域中生成M组子窗口集合，其中，每一组子窗口集合均由K个形状相同的子窗口组成，所述T、K、M均为正整数，且K大于T；每一个子窗口完整地位于一个子区域中且每个子区域至少含有一个子窗口；
子窗口集合位移量计算模块，用于根据所述M组子窗口集合，用基于互信息的图像匹配方法计算出相邻两帧图像的M个背景运动位移量；
背景运动位移量计算模块，用于根据所述相邻两帧图像的M个背景运动位移量，用势函数投票法确定相邻两帧图像之间最终的背景运动位移量。
10.一种可读存储介质，其上存有计算机程序，其特征在于，所述计算机程序被执行时，执行权利要求1中所述的各个步骤。
CN201910910191.8A 2019-09-25 2019-09-25 用于红外图像序列的背景运动估计方法、装置及存储介质 Active CN110689554B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910910191.8A CN110689554B (zh) 2019-09-25 2019-09-25 用于红外图像序列的背景运动估计方法、装置及存储介质
US17/278,972 US11669978B2 (en) 2019-09-25 2020-09-07 Method and device for estimating background motion of infrared image sequences and storage medium
PCT/CN2020/113690 WO2021057455A1 (zh) 2019-09-25 2020-09-07 用于红外图像序列的背景运动估计方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910910191.8A CN110689554B (zh) 2019-09-25 2019-09-25 用于红外图像序列的背景运动估计方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110689554A CN110689554A (zh) 2020-01-14
CN110689554B true CN110689554B (zh) 2022-04-12

Family

ID=69110570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910910191.8A Active CN110689554B (zh) 2019-09-25 2019-09-25 用于红外图像序列的背景运动估计方法、装置及存储介质

Country Status (3)

Country Link
US (1) US11669978B2 (zh)
CN (1) CN110689554B (zh)
WO (1) WO2021057455A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689554B (zh) * 2019-09-25 2022-04-12 深圳大学 用于红外图像序列的背景运动估计方法、装置及存储介质
CN112613568B (zh) * 2020-12-29 2022-08-05 清华大学 基于可见光及红外多光谱图像序列的目标识别方法和装置
CN114519753A (zh) * 2022-02-14 2022-05-20 上海闻泰信息技术有限公司 图像生成方法、系统、电子设备、存储介质和产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014092550A2 (en) * 2012-12-10 2014-06-19 Mimos Berhad Method for camera motion estimation with presence of moving object
CN104200461A (zh) * 2014-08-04 2014-12-10 西安电子科技大学 基于互信息图像选块和sift特征的遥感图像配准方法
CN104463911A (zh) * 2014-12-09 2015-03-25 上海新跃仪表厂 基于复杂背景估计的红外运动小目标检测方法
CN106447704A (zh) * 2016-10-13 2017-02-22 西北工业大学 基于显著区域特征和边缘度的可见光‑红外图像配准方法
CN110246153A (zh) * 2019-04-30 2019-09-17 安徽四创电子股份有限公司 一种基于视频监控的运动目标实时检测跟踪方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277580B2 (en) * 2001-12-12 2007-10-02 Sony Corporation Multiple thresholding for video frame segmentation
JP4340968B2 (ja) * 2004-05-07 2009-10-07 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN106157329B (zh) * 2015-04-20 2021-08-17 中兴通讯股份有限公司 一种自适应目标跟踪方法及装置
CN106875419B (zh) * 2016-12-29 2020-03-17 北京理工雷科电子信息技术有限公司 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法
CN107146239B (zh) * 2017-04-21 2020-01-07 武汉大学 卫星视频运动目标检测方法及系统
CN110689554B (zh) * 2019-09-25 2022-04-12 深圳大学 用于红外图像序列的背景运动估计方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014092550A2 (en) * 2012-12-10 2014-06-19 Mimos Berhad Method for camera motion estimation with presence of moving object
CN104200461A (zh) * 2014-08-04 2014-12-10 西安电子科技大学 基于互信息图像选块和sift特征的遥感图像配准方法
CN104463911A (zh) * 2014-12-09 2015-03-25 上海新跃仪表厂 基于复杂背景估计的红外运动小目标检测方法
CN106447704A (zh) * 2016-10-13 2017-02-22 西北工业大学 基于显著区域特征和边缘度的可见光‑红外图像配准方法
CN110246153A (zh) * 2019-04-30 2019-09-17 安徽四创电子股份有限公司 一种基于视频监控的运动目标实时检测跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Feature Point Matching Based on Spatial Order Constraints Bilateral-Neighbor Vote;Fanyang Meng et al.;《IEEE》;20151130;第4160-4171页 *
基于块特征分类的运动估计算法;裴琴 等;《中国图象图形学报》;20110630;第16卷(第6期);第933-937页 *

Also Published As

Publication number Publication date
CN110689554A (zh) 2020-01-14
US11669978B2 (en) 2023-06-06
US20210358133A1 (en) 2021-11-18
WO2021057455A1 (zh) 2021-04-01

Similar Documents

Publication Publication Date Title
CN107452015B (zh) 一种具有重检测机制的目标跟踪系统
EP2858008B1 (en) Target detecting method and system
CN110689554B (zh) 用于红外图像序列的背景运动估计方法、装置及存储介质
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
US11093778B2 (en) Method and system for selecting image region that facilitates blur kernel estimation
WO2010024479A1 (en) Apparatus and method for converting 2d image signals into 3d image signals
CN106097383A (zh) 一种针对遮挡问题的目标跟踪方法及设备
CN106991650A (zh) 一种图像去模糊的方法和装置
US20150130953A1 (en) Method for Video Background Subtraction Using Factorized Matrix Completion
CN105894521A (zh) 基于高斯拟合的亚像素边缘检测方法
CN109598744A (zh) 一种视频跟踪的方法、装置、设备和存储介质
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
CN105934757A (zh) 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置
CN103500454A (zh) 一种抖动视频运动目标提取方法
CN116740126A (zh) 目标跟踪方法、高速相机及存储介质
CN105809664A (zh) 生成三维图像的方法和装置
CN113409334B (zh) 一种基于质心的结构光角点检测方法
CN115830064B (zh) 一种基于红外脉冲信号的弱小目标跟踪方法及装置
CN106651932B (zh) 基于多尺度梯度差值的单幅图像散焦模糊估计算法
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
CN111798506B (zh) 一种图像处理方法、终端及计算机可读存储介质
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质
CN104616320A (zh) 低空航拍视频中基于梯度抑制和极线约束的车辆检测方法
CN110428452B (zh) 非静态场景点的检测方法、装置、电子设备及存储介质
CN108369731B (zh) 模板优化方法、装置、电子设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant