CN107911697A - 基于感兴趣区域分层的无人机图像运动目标检测方法 - Google Patents
基于感兴趣区域分层的无人机图像运动目标检测方法 Download PDFInfo
- Publication number
- CN107911697A CN107911697A CN201711035599.2A CN201711035599A CN107911697A CN 107911697 A CN107911697 A CN 107911697A CN 201711035599 A CN201711035599 A CN 201711035599A CN 107911697 A CN107911697 A CN 107911697A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- msub
- target
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于感兴趣区域分层的无人机图像运动目标检测方法，属于遥感图像处理技术领域。本发明首先将感兴趣区域分为图像背景层、图像过渡层和图像目标层三层，然后在图像背景层基于遥测参数进行全局运动估计；在图像过渡层基于图像压缩矢量进行局部运动估计；在图像目标层，基于仿射不变特征进行运动目标检测。本发明把感兴趣区域分层的思路引入到图像目标检测中，从图像的背景层、过渡层、目标层逐渐精确的进行目标检测，能够保证目标检测的正确率和精度；充分挖掘了机载传感器现有信息的价值，将传感器信息与图像信息综合应用，既合理地扩大了目标检测有用信息，又有效地减低了目标检测时间消耗。
Description
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于感兴趣区域分层的无人机图像运 动目标检测方法。
背景技术
图像运动目标检测是一个系统工程问题，它跨越了计算机科学、光学、数学以及认知科 学等。虽然二十世纪六十年代初就得到了学术界和应用部门的高度重视，但是直到最近几十 年随着对人类视觉系统认识的不断深入以及各种复杂算法、微处理器技术、超大规模集成电 路技术的高速发展，才使得对运动目标检测研究从理论探索走向实际应用。
运动目标检测技术的应用相当广泛，其中最为重要的应用之一是银行、停车场和海岸等 对安全要求敏感场合的安全监控。美国自从“911”恐怖袭击之后，在全国范围内安装了视频 监测系统，以达到预先报警及时处理的目的。特别当某处出现恐怖袭击时，可以从无人机和 地面等多个视频平台对恐怖袭击者和车辆进行实时检测识别跟踪，为采取进一步措施提供了 有利保障。此外，在各发达国家未来军事技术发展规划中，目标检测与跟踪的地位十分引人 注目。美国、法国等已经开始研究在武器上安装高分辨率电视摄像机、微光电视和红外摄像 机，以提高检测和跟踪目标的概率。因此运动目标检测与跟踪技术具有极其重要的战略意义。
发明内容
针对无人机图像运动目标检测的问题，本发明提出了一种基于感兴趣区域分层的无人机 图像运动目标检测方法。
本发明中所述的感兴趣区域可以分为三层，包括：图像背景层、图像过渡层和图像目标 层。在此基础上，目标检测方法可以分为以下步骤：
第一步：在图像背景层，基于遥测参数进行全局运动估计。
首先，利用机载传感器参数对图像背景层进行全局运动估计；然后，利用图像子块间的 相关理论对全局运动进行修正。
第二步：在图像过渡层，基于图像压缩矢量进行局部运动估计。
首先，是图像局部运动估计。然后，确定图像目标过渡区域。
第三步：在图像目标层，基于仿射不变特征进行运动目标检测。
首先，由二阶和三阶中心距构成的仿射矩不变量建立目标特征描述向量。在相邻图像帧 间，以图像过渡层为作用区域，计算目标特征描述向量。然后定义向量匹配函数，在相邻图 像帧间对目标进行检测。
本发明的优点为：
(1)把感兴趣区域分层的思路引入到图像目标检测中，从图像的背景层、过渡层、目标 层逐渐精确的进行目标检测，能够保证目标检测的正确率和精度。
(2)充分挖掘了机载传感器现有信息的价值，将传感器信息与图像信息综合应用，既合 理地扩大了目标检测有用信息，又有效地减低了目标检测时间消耗。
(3)本发明提出的图像目标检测方法，考虑全局运动和局部运动，在处理技术上，更加 符合机载图像运动目标检测的特点。
附图说明
图1是本发明中感兴趣区域分层的示意图。
图2是本发明基于感兴趣区域分层的无人机图像运动目标检测方法总体流程图。
图3是运动速度估算中的摄像头和运动目标的位置关系简图。
具体实施方式
下面结合附图，对本发明的具体实施方法进行详细说明。
本发明提出的一种基于感兴趣区域分层的无人机图像运动目标检测方法，所述方法认为 运动目标所在的感兴趣区域可以分为三层，包括：图像背景层、图像过渡层和图像目标层。 其中，图像目标层是指包含目标的图像子块及其相邻图像子块组成的目标区域；图像过渡层 是指由图像目标层向外扩散一定范围而得到的不包含图像目标层的图像子块集合，是目标之 前所在的区域和之后可能到达的区域；图像背景层是指在图像中远离目标层的所有图像子块 的集合，它不会提供与目标相关的任何信息，分层示意图如图1。
基于上述感兴趣区域分层描述方法，无人机图像目标检测方法可以分为三步，依次在图 像背景层、图像过渡层和图像目标层展开。
本发明的的一种基于感兴趣区域分层的无人机图像运动目标检测方法，具体实施步骤如 下：
第一步：在图像背景层，基于遥测参数进行全局运动估计。
(1)首先，利用机载传感器参数对图像背景层进行全局运动估计。
从空速表、高度表、陀螺仪、摄像头云台控制系统等机载设备上提取飞行参数和云台运 动参数，组成多元集P：
其中Vuav,Huav分别为飞机的飞行速度与高度；αuav,βuav分别为飞机的方位角与俯仰角； Vcam为云台相对于飞机运动的速度；γcam,λcam分别为摄像机的转动角与俯仰角；为摄像头视 场角；I(w,h)为所获视频流的每帧图像，宽w，高h，以像素为单位；fr为视频流的帧率。
根据所述的多元集P计算：
侦察区域Sc:
两连续图像帧间背景位移l为:l＝Vuav/fr (2)
背景位移l沿地面参照物水平分量为:lh＝l×cosαuav (3)
背景位移l沿地面参照物垂直分量为:lv＝l×sinαuav (4)
所获全局运动为:
水平方向分量:i0＝lh/Sc×w (5)
竖直方向分量:j0＝lv/Sc×w (6)
故全局运动矢量
其中，w表示图像宽，h为图像高；i0,j0为全局运动矢量在水平和竖直方向的分量。
由于机载传感器安装存在一定误差，数据复用也会引起误差累积，所以根据上面的方法 得到的全局运动矢量只能作为一个初步的估计。即便如此，它也为后续的目标定位提供了重 要的信息。
(2)然后，利用图像子块间的相关理论对上面的全局运动矢量进行修正。
为了得到更加准确的全局运动矢量，本发明设计了利用分块相位相关进行二次补偿的方 法。为便于对图像分块的表示，将第t帧图像的某一个大小为N×N的图像子块的时域表达 ft(x,y)转化为二维离散傅立叶变换Ft(u,v)：
其中x＝0,1,2...N-1；y＝0,1,2...N-1，Ft(u,v)表示离散傅立叶变换。在图像子块的相同位 置，下一帧相对于当前帧有平移运动，位移大小为(x0,y0)。即下一帧的时域表达为：
ft+1(x,y)＝ft(x-x0,y-y0) (9)
首先，通过理论推导来证明分块相位相关的可行性。根据傅立叶变换的平移性，可得：
右式中u＝0,1,2...N-1；v＝0,1,2...N-1。根据相位相关思想，两个大小为N×N图像子块 的互功率谱为：
由二维离散傅立叶变换对可知：其中，x＝0,1,2...N-1， y＝0,1,2...N-1，δ(x-x0,y-y0)表示在x＝x0,y＝y0处互功率谱最大，即两个图像子块的相 关性最强；Ft(u,v)，Ft+1(u,v)分别表示第t帧图像子块和第t+1帧对应的图像子块的傅立 叶变换，表示Ft(u,v)的共轭矩阵。可见，分块相位相关可以用于平移检测。
第二步：在图像过渡层，基于图像压缩矢量进行局部运动估计。
图像过渡层的局部运动估计是基于图像压缩矢量信息得到的。下面基于运动估计原理， 通过分析H.264标准中的运动矢量信息，建立H.264标准的编码流中运动矢量与场景中物体 运动状态的对应关系，实现运动目标与背景的分离，确定图像过渡层。
(1)首先是图像局部运动估计。
由于无人机侦察视频一般都是高空拍摄。在不考虑景深影响的情况下二阶参数建模适用 于摄像机旋转、平移等场景状态。对应像素区域运动状态的二阶方程建模如公式(12)所示:
vx，vy为水平和竖直方向的像素区域运动矢量，a1，a2，a3，a4，a5，a6，a7，a8为所述二阶方程参数。
对于两图像帧间摄像头旋转等情况，所述二阶方程中的8个系数(a1，a2，a3，a4，a5，a6，a7，a8)能够很好地表征平面变化。而对于两图像帧间图像微变的情况，将二阶方程降 为一阶，仍能很好地估算像素区域位移。事实上H.264标准中帧间编码的运动估计正是基于这一原理。H.264标准中采用了7种分块模式，将图像分割为最小至4×4的像素块。考虑 到硬件实现，H.264标准中使用绝对值差匹配准则，如公式(13)所示:
其中，ft(m,n)和ft-1(m+i,n+j)分别为t时刻和t-1时刻图像帧内(m，n)位置像素点的亮 度值；(i，j)为偏移量；M和N为像素块的水平和垂直像素数；μ为残差块的绝对值。当式(13)中左边最小平均绝对值误差MAD(i,j)取值最小时，表示两个像素块匹配，此时的偏移量(i，j)被认为是该像素块的位移值也即运动矢量。
H.264标准中，帧间编码过程中计算所得的运动矢量实际上反应了场景中各部分相对于 摄像头的运动状态，这些内容正好对应于图像中的过渡层。对于远距离或可平面化的场景环 境，运动矢量包含了各像素块相对于背景的运动与摄像头相对于背景的运动两部分运动信息， 而场景中的运动目标有不同于背景的运动规律，如果能检测出构成运动目标的各个像素块， 就能实现图像中的局部运动。公式(14)引入运动矢量统计信息，实现了运动目标像素块与背 景像素块的分离，第n个像素块的相对运动矢量M(n)为:
M(n)＝d(n)-dm (14)
其中，n为第n个像素块；d(n)为该第n个像素块运动矢量；dm为像素帧内所有像素块 运动矢量平均值。dm引入了运动矢量的统计信息，它包含了背景相对于摄像头的运动信息。 因此dm可用全局运动矢量代替。这样通过与各像素块做矢量差，实现了像素块由相对摄像 头运动到相对背景运动的转化，排除了摄像头的运动干扰。所有像素块经过上述运算得到的 相对运动矢量按阈值分割，最终得到的不为0的连续小区域即为存在局部运动的图像区域。
(2)接下来确定图像目标过渡层。
在景深可忽略的环境下，知道了摄像头与目标的距离、可视角、以及运动目标的运动矢 量，就可以对目标运动速度进行粗略估算，摄像头与目标的位置关系可简化如图3所示。
假设dm为该帧所有像素块运动矢量平均值，目前的运动目标运动矢量为d(n)，摄像头 帧率为Fr(如25帧/秒)，θ为摄像头宽度方向的可视角，H为摄像头与目标的距离，W为实 际背景宽度，Sw为摄像头当前图像格式下的水平分辨率(如CIF格式下为352)，S(n)为当前 目标估算位移，V(n)为当前目标估计速度，则由公式(14)可得到M(n)。有下面等式：
得到目标估计速度V(n)后，就可以计算出一段时间内目标的潜在区域，得到图像目标过 渡层。
第三步：在图像目标层，基于仿射不变特征进行运动目标检测。
受无人机成像系统性所限，侦察图像帧间普遍存在仿射变换关系。因此需要建立目标仿 射不变特征来描述兴趣目标。
仿射矩不变量是由代数不变量定理推导而来的，仿射矩不变量在仿射变换下具有不变性。 仿射变换即：
其中，b0,b1,b2,b3,b4,b5,b6为常数系数。
将其分解为6个单参数变换：
其中，c、e、w、δ、l、m分别表示单参数变换的常数系数。
对应任意函数F，如果能够在这6中变换下保持不变，那么函数F具有仿射不变性。
我们利用由二阶和三阶中心距构成的仿射矩不变量建立目标特征描述向量F：
其中，
I1＝(μ20μ02-μ11 2)/μ00 4，
I2＝(μ30 2μ03 2-6μ30μ21μ12μ03+4μ30μ12 3+4μ21 3μ03-3μ21 2μ12 2)/μ00 10，
I3＝(μ20(μ21μ03-μ12 2)-μ11(μ30μ03-μ21μ12)+μ02(μ30μ12-μ21 2))/μ00 7。
其中，f(x,y)为图像，R为图像范围，μpq＝∫∫R(x-xc)p(y-yc)qf(x,y)dxdy， mpq＝∫∫Rxpyqf(x,y)dxdy，xc＝m1,0/m0,0，yc＝m0,1/m0,0为图像重心。p＝0,1,2,3；q＝0,1,2,3。
由于目标特征描述向量F是由仿射不变矩I1、I2、I3构成的，因此在侦察图像的帧间变换 中，目标特征描述向量F能够始终代表目标的特征。在相邻帧间，以图像过渡层为作用区域， 计算目标的特征描述向量。然后进行匹配运算对目标进行检测。
为了加速目标定位的过程，将相邻图像帧间的特征匹配运算按下面的方法进行。
定义公式(18)作为特征向量匹配的函数：
其中D(t-1,t)代表图像过渡层内某位置上t-1时刻与t时刻目标特征向量的距离，α，β，γ 为满足α+β+γ＝1的任意数，表示t时刻目标的2阶矩。基于目标特征描述向量F和特征 向量匹配的函数D可以进行目标检测。
Claims (5)
1.基于感兴趣区域分层的无人机图像运动目标检测方法，其特征在于：所述的感兴趣区域分为三层，包括：图像背景层、图像过渡层和图像目标层，在此基础上，所述的目标检测方法分为以下步骤：
第一步：在图像背景层，基于遥测参数进行全局运动估计；
首先，利用机载传感器参数对图像背景层进行全局运动估计；然后，利用图像子块间的相关理论对全局运动进行修正；
第二步：在图像过渡层，基于图像压缩矢量进行局部运动估计；
首先，是图像局部运动估计；然后，确定图像目标过渡区域；
第三步：在图像目标层，基于仿射不变特征进行运动目标检测；
首先，由二阶和三阶中心距构成的仿射矩不变量建立目标特征描述向量；在相邻图像帧间，以图像过渡层为作用区域，计算目标特征描述向量；然后定义向量匹配函数，在相邻图像帧间对目标进行检测。
2.根据权利要求1所述的基于感兴趣区域分层的无人机图像运动目标检测方法，其特征在于：所述的图像目标层是指包含目标的图像子块及其相邻图像子块组成的目标区域；图像过渡层是指由图像目标层向外扩散一定范围而得到的不包含图像目标层的图像子块集合，是目标之前所在的区域和之后可能到达的区域；图像背景层是指在图像中远离目标层的所有图像子块的集合，不提供与目标相关的任何信息。
3.根据权利要求1所述的基于感兴趣区域分层的无人机图像运动目标检测方法，其特征在于：所述的第一步具体实现如下：
(1)首先，利用机载传感器参数对图像背景层进行全局运动估计；
从空速表、高度表、陀螺仪、摄像头云台控制系统上提取飞行参数和云台运动参数，组成多元集P：
其中Vuav,Huav分别为飞机的飞行速度与高度；αuav,βuav分别为飞机的方位角与俯仰角；Vcam为云台相对于飞机运动的速度；γcam,λcam分别为摄像机的转动角与俯仰角；为摄像头视场角；I(w,h)为所获视频流的每帧图像，宽w，高h，以像素为单位；fr为视频流的帧率；
根据所述的多元集P计算：
侦察区域Sc:
两连续图像帧间背景位移l为:l＝Vuav/fr (2)
背景位移l沿地面参照物水平分量为:lh＝l×cosαuav (3)
背景位移l沿地面参照物垂直分量为:lv＝l×sinαuav (4)
所获全局运动为:
水平方向分量:i0＝lh/Sc×w (5)
竖直方向分量:j0＝lv/Sc×w (6)
故全局运动矢量
其中，w表示图像宽，h为图像高；i0,j0为全局运动矢量在水平和竖直方向的分量；
(2)然后，利用图像子块间的相关理论对上面的全局运动矢量进行修正；
利用分块相位相关进行二次补偿的方法，将第t帧图像的某一个大小为N×N的图像子块的时域表达ft(x,y)转化为二维离散傅立叶变换Ft(u,v)：
<mrow>
<msub>
<mi>F</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>v</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msub>
<mi>f</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>j</mi>
<mn>2</mn>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mi>x</mi>
<mo>+</mo>
<mi>v</mi>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>N</mi>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中x＝0,1,2...N-1；y＝0,1,2...N-1，Ft(u,v)表示离散傅立叶变换；在图像子块的相同位置，下一帧相对于当前帧有平移运动，位移大小为(x0,y0)；即下一帧的时域表达为：
ft+1(x,y)＝ft(x-x0,y-y0) (9)
根据傅立叶变换的平移性，得：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>,</mo>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>&DoubleLeftRightArrow;</mo>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>j</mi>
<mn>2</mn>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>ux</mi>
<mn>0</mn>
</msub>
<mo>+</mo>
<msub>
<mi>vy</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>N</mi>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
右式中u＝0,1,2...N-1；v＝0,1,2...N-1；根据相位相关思想，两个大小为N×N图像子块的互功率谱为：
<mrow>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>F</mi>
<mi>t</mi>
<mo>*</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>F</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>|</mo>
<msubsup>
<mi>F</mi>
<mi>t</mi>
<mo>*</mo>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>F</mi>
<mrow>
<mi>t</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mfrac>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mi>j</mi>
<mn>2</mn>
<mi>&pi;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>ux</mi>
<mn>0</mn>
</msub>
<mo>+</mo>
<msub>
<mi>vy</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>N</mi>
</mrow>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
由二维离散傅立叶变换对知：其中，x＝0,1,2...N-1，y＝0,1,2...N-1，δ(x-x0,y-y0)表示在x＝x0,y＝y0处互功率谱最大，即两个图像子块的相关性最强；Ft(u,v)，Ft+1(u,v)分别表示第t帧图像子块和第t+1帧对应的图像子块的傅立叶变换，Ft *(u,v)表示Ft(u,v)的共轭矩阵。
4.根据权利要求1所述的基于感兴趣区域分层的无人机图像运动目标检测方法，其特征在于：所述的第二步具体实现如下：
基于运动估计原理，通过分析H.264标准中的运动矢量信息，建立H.264标准的编码流中运动矢量与场景中物体运动状态的对应关系，实现运动目标与背景的分离，确定图像过渡层；
(1)首先是图像局部运动估计；
对应像素区域运动状态的二阶方程建模如公式(12)所示:
<mrow>
<mfenced open = "" close = "}">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<msub>
<mi>a</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>2</mn>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>3</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>7</mn>
</msub>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>8</mn>
</msub>
<mi>x</mi>
<mi>y</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<msub>
<mi>a</mi>
<mn>4</mn>
</msub>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>5</mn>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>6</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>7</mn>
</msub>
<mi>x</mi>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>8</mn>
</msub>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>12</mn>
<mo>)</mo>
</mrow>
</mrow>
vx，vy为水平和竖直方向的像素区域运动矢量，a1，a2，a3，a4，a5，a6，a7，a8为所述二阶方程参数；
H.264标准中采用了7种分块模式，将图像分割为最小至4×4的像素块；考虑到硬件实现，H.264标准中使用绝对值差匹配准则，如公式(13)所示:
<mrow>
<mi>M</mi>
<mi>A</mi>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>m</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<msub>
<mi>f</mi>
<mi>t</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>f</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
<mo>+</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&mu;</mi>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>13</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，ft(m,n)和ft-1(m+i,n+j)分别为t时刻和t-1时刻图像帧内(m，n)位置像素点的亮度值；(i，j)为偏移量；M和N为像素块的水平和垂直像素数；μ为残差块的绝对值；当式(13)中左边最小平均绝对值误差MAD(i,j)取值最小时，表示两个像素块匹配，此时的偏移量(i，j)被认为是该像素块的位移值也即运动矢量；
公式(14)引入运动矢量统计信息，实现了运动目标像素块与背景像素块的分离，第n个像素块的相对运动矢量M(n)为:
M(n)＝d(n)-dm (14)
其中，n为第n个像素块；d(n)为该第n个像素块运动矢量；dm为像素帧内所有像素块运动矢量平均值；所有像素块经过上述运算得到的相对运动矢量按阈值分割，最终得到的不为0的连续小区域即为存在局部运动的图像区域；
(2)接下来确定图像过渡层；
假设dm为该帧所有像素块运动矢量平均值，目前的运动目标运动矢量为d(n)，摄像头帧率为Fr，θ为摄像头宽度方向的可视角，H为摄像头与目标的距离，W为实际背景宽度，Sw为摄像头当前图像格式下的水平分辨率，S(n)为当前目标估算位移，V(n)为当前目标估计速度，则由公式(14)得到M(n)，有下面等式：
<mrow>
<mfenced open = "" close = "}">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>W</mi>
<mo>=</mo>
<mn>2</mn>
<mi>H</mi>
<mo>&CenterDot;</mo>
<mi>tan</mi>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>/</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>W</mi>
<mo>/</mo>
<msub>
<mi>S</mi>
<mi>w</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>V</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<msub>
<mi>F</mi>
<mi>r</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>15</mn>
<mo>)</mo>
</mrow>
</mrow>
得到目标估计速度V(n)后，计算出一段时间内目标的潜在区域，得到图像目标过渡层。
5.根据权利要求1所述的基于感兴趣区域分层的无人机图像运动目标检测方法，其特征在于：所述的第三步具体实现如下：
利用由二阶和三阶中心距构成的仿射矩不变量建立目标特征描述向量F：
其中，
I1＝(μ20μ02-μ11 2)/μ00 4，
I2＝(μ30 2μ03 2-6μ30μ21μ12μ03+4μ30μ12 3+4μ21 3μ03-3μ21 2μ12 2)/μ00 10，
I3＝(μ20(μ21μ03-μ12 2)-μ11(μ30μ03-μ21μ12)+μ02(μ30μ12-μ21 2))/μ00 7；
其中，f(x,y)为图像，R为图像范围，μpq＝∫∫R(x-xc)p(y-yc)qf(x,y)dxdy，mpq＝∫∫Rxpyqf(x,y)dxdy，xc＝m1,0/m0,0，yc＝m0,1/m0,0为图像重心；p＝0,1,2,3；q＝0,1,2,3；
由于目标特征描述向量F是由仿射不变矩I1、I2、I3构成的，因此在侦察图像的帧间变换中，目标特征描述向量F能够始终代表目标的特征；在相邻帧间，以图像过渡层为作用区域，计算目标的特征描述向量；然后进行匹配运算对目标进行检测；
为了加速目标定位的过程，将相邻图像帧间的特征匹配运算，定义公式(18)作为特征向量匹配的函数：
<mrow>
<mi>D</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>&alpha;</mi>
<mo>|</mo>
<mrow>
<msubsup>
<mi>I</mi>
<mi>t</mi>
<mn>1</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>1</mn>
</msubsup>
</mrow>
<mo>|</mo>
<mo>+</mo>
<mi>&beta;</mi>
<mo>|</mo>
<mrow>
<msubsup>
<mi>I</mi>
<mi>t</mi>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>2</mn>
</msubsup>
</mrow>
<mo>|</mo>
<mo>+</mo>
<mi>&gamma;</mi>
<mo>|</mo>
<mrow>
<msubsup>
<mi>I</mi>
<mi>t</mi>
<mn>3</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mn>3</mn>
</msubsup>
</mrow>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>&alpha;</mi>
<mo>+</mo>
<mi>&beta;</mi>
<mo>+</mo>
<mi>&gamma;</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>18</mn>
<mo>)</mo>
</mrow>
</mrow>
其中D(t-1,t)代表图像过渡层内某位置上t-1时刻与t时刻目标特征向量的距离，α，β，γ为满足α+β+γ＝1的任意数，表示t时刻目标的2阶矩；
基于目标特征描述向量F和特征向量匹配的函数D进行目标检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711035599.2A CN107911697B (zh) | 2017-10-30 | 2017-10-30 | 基于感兴趣区域分层的无人机图像运动目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711035599.2A CN107911697B (zh) | 2017-10-30 | 2017-10-30 | 基于感兴趣区域分层的无人机图像运动目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107911697A true CN107911697A (zh) | 2018-04-13 |
| CN107911697B CN107911697B (zh) | 2020-02-07 |
Family
ID=61842092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711035599.2A Active CN107911697B (zh) | 2017-10-30 | 2017-10-30 | 基于感兴趣区域分层的无人机图像运动目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107911697B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210324A (zh) * | 2019-05-08 | 2019-09-06 | 华中科技大学 | 一种道路目标快速检测预警方法和系统 |
| CN110244771A (zh) * | 2019-05-22 | 2019-09-17 | 安徽翔翼智能科技有限公司 | 一种无人机任务载荷实训自适应跟踪控制方法 |
| CN112104808A (zh) * | 2019-06-18 | 2020-12-18 | 长城汽车股份有限公司 | 图像采集装置和具有其的视觉处理系统、无人驾驶车辆 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101511022A (zh) * | 2009-03-20 | 2009-08-19 | 北京航空航天大学 | 一种机载视频压缩与目标跟踪联合实现方法 |
| CN101847258A (zh) * | 2009-03-26 | 2010-09-29 | 陈贤巧 | 一种光学遥感图像配准方法 |
| CN102123234A (zh) * | 2011-03-15 | 2011-07-13 | 北京航空航天大学 | 无人机侦察视频分级运动补偿方法 |
| CN103796011A (zh) * | 2014-01-20 | 2014-05-14 | 北京航空航天大学 | 基于jpeg2000和帧间补偿的无人机侦察图像通用压缩方法 |
| CN106327528A (zh) * | 2016-08-23 | 2017-01-11 | 常州轻工职业技术学院 | 无人机运动目标跟踪方法及无人机的工作方法 |
| JP2017092631A (ja) * | 2015-11-06 | 2017-05-25 | 株式会社Ｊｖｃケンウッド | 動体検知装置、動体検知方法及び動体検知プログラム |
-
2017
- 2017-10-30 CN CN201711035599.2A patent/CN107911697B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101511022A (zh) * | 2009-03-20 | 2009-08-19 | 北京航空航天大学 | 一种机载视频压缩与目标跟踪联合实现方法 |
| CN101847258A (zh) * | 2009-03-26 | 2010-09-29 | 陈贤巧 | 一种光学遥感图像配准方法 |
| CN102123234A (zh) * | 2011-03-15 | 2011-07-13 | 北京航空航天大学 | 无人机侦察视频分级运动补偿方法 |
| CN103796011A (zh) * | 2014-01-20 | 2014-05-14 | 北京航空航天大学 | 基于jpeg2000和帧间补偿的无人机侦察图像通用压缩方法 |
| JP2017092631A (ja) * | 2015-11-06 | 2017-05-25 | 株式会社Ｊｖｃケンウッド | 動体検知装置、動体検知方法及び動体検知プログラム |
| CN106327528A (zh) * | 2016-08-23 | 2017-01-11 | 常州轻工职业技术学院 | 无人机运动目标跟踪方法及无人机的工作方法 |
Non-Patent Citations (2)
| Title |
|---|
| 丁文锐: "利用H.264中运动矢量实现运动目标检测", 《北京航空航天大学学报》 * |
| 曾接贤: "特征点和不变矩结合的遥感图像飞机目标识别", 《中国图像图形学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210324A (zh) * | 2019-05-08 | 2019-09-06 | 华中科技大学 | 一种道路目标快速检测预警方法和系统 |
| CN110210324B (zh) * | 2019-05-08 | 2021-01-19 | 华中科技大学 | 一种道路目标快速检测预警方法和系统 |
| CN110244771A (zh) * | 2019-05-22 | 2019-09-17 | 安徽翔翼智能科技有限公司 | 一种无人机任务载荷实训自适应跟踪控制方法 |
| CN112104808A (zh) * | 2019-06-18 | 2020-12-18 | 长城汽车股份有限公司 | 图像采集装置和具有其的视觉处理系统、无人驾驶车辆 |
| CN112104808B (zh) * | 2019-06-18 | 2022-06-21 | 长城汽车股份有限公司 | 图像采集装置和具有其的视觉处理系统、无人驾驶车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107911697B (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103024350B (zh) | 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统 | |
| CN103761737B (zh) | 基于稠密光流的机器人运动估计方法 | |
| CN101511022B (zh) | 一种机载视频压缩与目标跟踪联合实现方法 | |
| CN110415278B (zh) | 直线移动ptz相机辅助双目ptz视觉系统的主从跟踪方法 | |
| CN112215074A (zh) | 基于无人机视觉的实时目标识别与检测追踪系统及方法 | |
| CN107911697A (zh) | 基于感兴趣区域分层的无人机图像运动目标检测方法 | |
| CN101521740A (zh) | 基于多尺度不变特征的实时运动估计方法 | |
| CN103796011B (zh) | 基于jpeg2000和帧间补偿的无人机侦察图像通用压缩方法 | |
| CN106887010B (zh) | 基于高层场景信息的地面运动目标检测方法 | |
| CN105913459B (zh) | 基于高分辨率连拍图像的运动目标检测方法 | |
| CN103440499A (zh) | 基于信息融合的交通波实时检测与跟踪方法 | |
| CN111626987A (zh) | 一种基于无人机及无锚框网络的车辆检测方法 | |
| CN106600624A (zh) | 基于粒子群的粒子滤波视频目标跟踪方法 | |
| CN110555423B (zh) | 基于多维运动摄像机的航拍视频的交通参数提取方法 | |
| EP2850454B1 (en) | Motion detection through stereo rectification | |
| CN114648557A (zh) | 一种基于高空视角与地面视角的多目标协同跟踪方法 | |
| Kornprobst et al. | Tracking segmented objects using tensor voting | |
| CN102123234B (zh) | 无人机侦察视频分级运动补偿方法 | |
| CN116151320A (zh) | 一种抗动态目标干扰的视觉里程计方法及视觉里程计装置 | |
| Tzanidou et al. | Telemetry assisted frame registration and background subtraction in low-altitude UAV videos | |
| CN105469421A (zh) | 一种基于周视系统实现地面运动目标监测的方法 | |
| CN114120236A (zh) | 对低空目标进行识别定位的方法 | |
| CN111291609A (zh) | 一种机场围界巡检机器人动态背景目标检测方法 | |
| CN114119763A (zh) | 一种用于自动驾驶车辆的Lidar标定方法及装置 | |
| Jing et al. | Video Image Stabilization Algorithm for Remote Control Driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180413 Assignee: Beijing northern sky long hawk UAV Technology Co.,Ltd. Assignor: BEIHANG University Contract record no.: X2021990000039 Denomination of invention: Moving object detection method of UAV image based on region of interest layering Granted publication date: 20200207 License type: Exclusive License Record date: 20210119 |