CN102457724B - 一种图像运动检测系统及方法 - Google Patents

Abstract

本发明提供一种图像运动检测方法，包括：A.对多媒体视频数据进行解码，获取视频图像的原始图像数据；B.依次获取一帧图像的YUV颜色编码数据以提取轮廊生成轮廓参考帧；C.获取下一帧图像的YUV颜色编码数据并根据轮廓参考帧获得矩形区域数据，生成轮廓运动帧；D.将轮廓运动帧与轮廓参考帧进行轮廓相似性比对，判断是否相似，相似则进入步骤E，否则返回步骤B；E.根据轮廊参考帧与轮廊运动帧获取运动检测参数，然后返回步骤B或以轮廊运动帧作为轮廊参考帧并返回步骤C。本发明以轮廓线为处理对象，减少了运算量，并根据轮廓的前后参考关系，取需要的图像区域进行处理，提高多媒体视频图像运动检测的效率。

Description

一种图像运动检测系统及方法

技术领域

本发明涉及图像处理技术，尤其涉及一种图像运动检测系统及方法。

背景技术

图像处理(image processing)是用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理技术的主要内容包括图像压缩，图像增强和复原，图像匹配、描述和识别等三大部分。

常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等，图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。虽然某些处理也可以用光学方法或模拟技术实现，但它们远不及数字图像处理那样灵活和方便，因而数字图像处理成为图像处理的主要方面。

在多媒体应用领域，图像识别的技术应用更加广泛，在处理多媒体视频图像的优化、特征提取、二次处理等涉及较多交叉学科技术内容，特别是在将2D影片转换为3D影片的图像处理中，图像的运动检测算法就显得更加重要，算法必须高效且有针对性，才能保证多媒体影片在(25帧/秒)播放过程中的实时图像处理需求，但是目前大部分图像处理算法复杂，处理速度慢，往往无法满足多媒体影片的实时图像处理需求，这是由于大部分图像处理算法是基于一帧图像处理的思路而设计，而忽略了多媒体图像的实时性图像处理需求，因此，有必要提供一种运动图像处理算法，通过获取相同场景下的一组图像的图像轮廓运动信息，提高图像处理速度，并为其它多媒体技术的后续应用(例如2D转3D)提供参数。

发明内容

本发明方法提供一种图像运动检测系统和方法，能够在多媒体视频播放过程中快速的检测图像运动，并跟踪图像轮廊给出运动位置坐标信息作为其它多媒体技术的参数。

本发明的技术方案如下：

一种图像运动检测方法，包括以下步骤：

A.对多媒体视频数据进行解码，获取视频图像的原始图像数据；

B.依次获取一帧图像的YUV颜色编码数据以提取轮廊生成轮廓参考帧；

C.获取下一帧图像的YUV颜色编码数据并根据轮廓参考帧的水平和竖直坐标值，提取上一帧轮廓位置附近亮度数据为Y值的矩形区域，根据所述矩形区域提取亮度数据Y值后，通过轮廓计算获取轮廓数据将该轮廓数据记录为轮廓运动帧；

D.将轮廓运动帧与轮廓参考帧进行轮廓比对，判断轮廓运动帧中的数据是否为轮廓参考帧运动后的轮廓数据，是则进入步骤E，不是则返回步骤B；

E.根据轮廊参考帧与轮廊运动帧获取运动检测参数。

所述的图像运动检测方法，在步骤E中，若所述视频图像还需运动检测，则返回步骤B或以所述轮廊运动帧作为新的轮廊参考帧后返回步骤C。

所述的图像运动检测方法，其中，所述获取一帧图像的YUV颜色编码数据或获取下一帧图像的YUV颜色编码数据，包括步骤：

B1.对原始图像数据进行检查判断数据类型，是YUV颜色编码数据则进入步骤B3，是其它类型数据则进入步骤B2；

B2.将原始图像数据转换为YUV颜色编码数据后进入步骤B3；

B3.获取一帧图像的YUV颜色编码数据。

所述的图像轮廓运动检测方法，其中，所述生成轮廊参考帧，包括步骤：

D1.通过直方图变换统计法获得轮廓相差阀值和轮廓运动帧中的数据是轮廓参考帧运动后的轮廓数据的阀值；

D2.通过三点均差法获得满足条件的点阵集合；

D3.从点阵集合中拟合出轮廓曲线；

D4.滤除干扰后获得轮廓参考帧。

所述的图像运动检测方法，其中，所述根据轮廓参考帧获得矩形区域数据，生成轮廓运动帧，包括：根据轮廓参考帧记录的轮廓水平和竖直坐标信息建立矩形区域，取当前帧在这个矩形区域内的亮度数据Y值进行轮廓计算，生成轮廓运动帧。

所述的图像运动检测方法，其中，在所述步骤D中，提取水平和竖直坐标区域中的轮廓参考帧与轮廓运动帧的具体轮廓数据，将两者的轮廓数据在水平和竖直方向上进行长度对比，若轮廓运动帧长度值在设定的阈值范围内，判定轮廓运动帧中的数据是轮廓参考帧运动后的轮廓数据，反之则判定轮廓不是。

所述的图像运动检测方法，其中，在所述步骤E中，所述运动检测参数包括运动距离参数和运动方向参数，通过计算运动轮廓帧与轮廓参考帧的水平和竖直坐标的绝对差值获得运动距离参数，根据轮廓运动帧相对于轮廓参考帧的位置移动方位获得运动方向参数。

所述的图像运动检测方法，其中，在所述步骤C中，首先根据轮廓参考帧记录的轮廓水平和竖直坐标信息建立矩形区域，并找到该矩形区域的中心点，再以该点为中心，将水平坐标的横向长度和竖直坐标纵向长度各自增加一倍形成一个新的矩形区域，最后当前帧在取这个新的矩形区域内的亮度数据Y值进行轮廓计算，生成运动轮廓帧。

一种运动图像检测系统，包括：图像轮廓参考帧处理模块、图像轮廓运动帧处理模块、图像轮廓相似性对比模块以及图像轮廓运动检测处理模块，所述图像轮廓参考帧处理模块用于以多媒体视频数据中一帧图像的亮度数据Y值为基础进行轮廓计算获取轮廓参考帧，所述图像轮廓运动帧处理模块用于以多媒体视频数据中下一帧图像的亮度数据Y值为基础进行轮廓计算获取轮廓参考帧，所述图像轮廓相似性对比模块用于对轮廓运动帧与轮廓参考帧进行比对判断轮廓运动帧中的数据是否为轮廓参考帧运动后的轮廓数据，在比对结果为是时通过图像轮廓运动检测处理模块提取轮廓参考帧和轮廓运动帧数据中的水平和竖直坐标值并计算出轮廓的运动检测参数，当比对结果为不是时以该轮廓运动帧作为新的轮廓参考帧，再由图像轮廓运动帧处理模块继续对再下一帧图像进行处理。

所述的图像运动检测系统，其还包括颜色编码数据处理模块，所述颜色编码数据处理模块用于将图像帧的其他类型的原始数据转换为YUV颜色编码数据。

所述的图像运动检测系统，其中，所述运动检测参数包括运动距离参数和运动方向参数。

本发明通过对轮廓的判定，以轮廓线为处理对象，解决了普通图像处理中以数据点为算法对象的复杂度，极大了减少了运算量，并结合轮廓的前后参考关系，取需要的图像区域进行处理，减少了对于整个图像遍历计算的算法开销，从而提高多媒体视频图像轮廓运动检测的效率。

附图说明

图1为本发明图像轮廓运动检测方法较佳实施方式的流程图；

图2为图1中生成轮廓帧的流程图；

图3为本发明图像轮廓运动检测系统较佳实施方式的框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了解决现有的多媒体视频图像算法无法满足实时图像处理需求的情况，本发明所采用的技术方案是：在多媒体视频帧通过解码转换为原始图像数据后，将原始图像数据转换为YUV颜色编码数据；提取第1帧图像的YUV数据中的亮度数据Y值作为图像轮廓运动分析的基础数据元素，该亮度数据Y值每个点的值域为0～255，并设定其边缘亮度差阈值、轮廓亮度相似阈值、轮廓长度值；通过轮廓计算获取第1帧图像轮廓数据的水平和竖直坐标值(以下简称X、Y坐标值)，将该轮廓数据记录为轮廓参考帧；然后获取第2帧图像的亮度数据Y值，此时使用上一帧轮廓参考帧的X、Y坐标值为参考，只提取上一帧轮廓位置附近的矩形区域的亮度数据Y值，在提取出矩形区域亮度数据Y值后，通过轮廓计算获取第2帧图像轮廓数据X、Y坐标值，将该轮廓数据记录为轮廓运动帧；然后通过对轮廓参考帧和轮廓运动帧的相似性比对，判断轮廓运动帧中的数据是否为原轮廓(轮廓参考帧)运动后的轮廓数据；如判断为相似，则通过轮廓参考帧和轮廓运动帧中的X、Y坐标值计算出轮廓的运动距离，运动方向等图像运动检测信息；如判断为不相似，则表示多媒体视频图像的场景变化较大，需要重新计算轮廓参考帧；依此类推，计算出视频图像中所有图像帧的轮廓运动信息。

参考图1，为本发明图像轮廓运动检测方法较佳实施方式的流程图，包括步骤：

S1、对多媒体视频数据进行解码，获取视频图像的原始图像数据；

S2、对原始图像数据进行检查判断数据类型，是YUV颜色编码数据则进入步骤S4，是其它类型数据例如RGB数据，则进入步骤S3；

S3、将原始图像数据(如RGB数据)转换为YUV颜色编码数据后进入步骤S4；

S4、依次序获取一帧图像的YUV颜色编码数据；

S5、判断是否已有轮廓参考帧，有轮廓参考帧则进行步骤S7，没有轮廓参考帧则进行步骤S6；

S6、根据当前帧的YUV颜色编码数据生成轮廓参考帧；

S7、根据轮廓参考帧获得矩形区域数据，由轮廓参考帧的下一帧生成轮廓运动帧；

S8、对轮廓欲动帧与轮廓参考帧进行轮廓相似性比对，判断是否相似，相似则进入步骤S9，不相似则返回步骤S6；

S9、根据比对结果获取轮廓运动的相关参数。

具体的，在上述步骤S3中，由于多媒体视频数据通过解码计算后，一般生成RGB或YUV等能够进行DA(数模)转换的视频颜色编码数据，如解码为YUV值，则直接使用，如解码为RGB值，则需要通过公式：Y＝0.299R+0.587G+0.114B，U＝-0.147R-0.289G+0.436B，V＝0.615R-0.515G-0.100B，将RGB值转换为YUV值；

在上述步骤S6中，需要设定边缘亮度差阈值、轮廓亮度相似阈值以及轮廓长度值，轮廓计算通过遍历当前图像帧的所有亮度数据Y值，得到若干个满足设定值要求的X、Y坐标信息数据集合，形成一个轮廓参考帧，其中，亮度值域为0～255，由位于X坐标上相邻两个亮度点的绝对差值大于边缘亮度差阈值时，以相邻两点中值大者为轮廓点；边缘点相邻X、Y坐标上的亮度点，与其亮度绝对差值小于轮廓亮度相似阈值时，为相似轮廓点；所述轮廓长度值是在连续的相似轮廓点在X、Y轴方向上的距离最小值；所述轮廓计算具体包括：通过边缘亮度差阈值、轮廓亮度相似阈值获取连续的相似轮廓点，当连续的相似轮廓点在X、Y轴方向上的距离大于或等于轮廓长度值时，记录为轮廓数据；

在上述步骤S7中，是根据轮廓参考帧记录的轮廓X、Y坐标信息为基础，取轮廓参考帧中X坐标的横向长度和Y坐标纵向长度，形成一个矩形区域，并找到该矩形区域的中心点，再以该点为中心，将X坐标的横向长度和Y坐标纵向长度各自增加一倍，形成一个新矩形区域，取这个新矩形区域内的Y值度数据对当前帧进行轮廓计算，生成轮廓运动帧，这样就避免了在整个图像数据区域中进行遍历的轮廓计算，提高了计算效率；

在上述步骤S8中，提取相似X、Y坐标区域中的轮廓参考帧与轮廓运动帧的具体轮廓数据，将两者的轮廓数据在X、Y方向上进行长度对比，当轮廓运动帧长度值在设定的阈值范围内，判定轮廓相似进入步骤S9，反之则判定轮廓不相似，视频场景已经较大变化，需要重新生成轮廓参考帧，返回步骤S6；

在上述步骤S9中，在当前轮廊运动帧被判定与轮廓参考帧具有相似的轮廓后，获得轮廓运动帧相对轮廓参考帧的运动距离和运动方向参数，其中，计算出各自轮廓X、Y坐标的绝对差值即为运动距离，根据轮廓运动帧相对于轮廓参考帧的位置，获取当前轮廓的横、纵向移动的方位即可获得运动方向。若所述视频图像还需运动检测，可以返回步骤S6，或以所述轮廊运动帧作为新的轮廊参考帧后返回步骤S7。以轮廊运动帧作为新的轮廊参考帧可以节省生成轮廊参考帧所要的计算量，从而进一步提高图像运动检测效率。

本发明实施例对轮廓的判定，是以轮廓线为主要算法对象，解决了普通图像处理中以数据点为算法对象的复杂度，极大了减少了运算量，并结合和轮廓前后参考关系，取需要的图像区域进行轮廊计算获得轮廊运动帧，减少了对于整个图像遍历计算的算法开销，从而提高多媒体视频图像运动轮廓检测的效率。

继续参考图2，为本发明实施例中生成轮廓参考帧的方法，包括步骤：

S61、通过直方图变换统计法获得轮廓相差阀值和轮廓相似阀值；

S62、通过三点均差法获得满足条件的点阵集合；

S63、通过洪泛法从点阵集合中拟合出轮廓曲线；

S64、滤除干扰后获得轮廓参考帧。

具体的，在上述步骤S61中，在初始化帧内，按照直方图的思想，根据影片场景具体设置灰度区间：

$H\left(D\right)=\underset{\mathrm{\ΔD}\→0}{\lim }\left(\frac{A\left(D\right)-A(D+\mathrm{\ΔD})}{\mathrm{\ΔD}}\right)$

这里我们主要是取得轮廓相差阈值C_d，所以我们需要通过直方图，发现该帧的离散性，所以根据具体影片场景设置ΔD值，就能通过公式：H(D)＝A(D)-A(D+ΔD)获取灰度直方图。

获取灰度最大值、最小值以及灰度区间：灰度最大值＝MAX(D)，灰度最小值＝MIN(D)，灰度区间＝灰度最大值-灰度最小值。

以灰度区间的中点为划分，将灰度分为：左区间＝F(灰度最小值，灰度中点)，右区间＝F(灰度最大值，灰度中点)，分别找到左区间、右区间中对应H(D)的最大值，左区间最大值灰度＝G(左区间，H(D))，右区间最大值灰度＝G(右区间，H(D))。

因此，轮廓相差阈值C_d＝右区间最大值灰度-左区间最大值灰度，而轮廓相似阈值C_s由影片具体场景设定。

在上述步骤S62中，取位于X坐标上相邻三个亮度点，分别为A0、A1、A2，设A_MSE为三点均方平均值，J为点A1和A_MSE的绝对差值，S为点A0和A2的绝对差值，则满足以下公式：

$A_{\mathrm{MSE}}=\frac{\sqrt{{A0}^2+{A1}^2+{A2}^2}}{3}$

J＝|A1-A_MSE|

S＝|A0-A2|

因此，当J小于轮廓相似阈值C_s，S大于轮廓相差阈值C_d时，可以将A1作为轮廓边缘点，这样，通过上述计算即可获取轮廓点集合LK(D)，其中

但是这些点处于离散状态，因此必须通过步骤S63进行曲线拟合得到图像处理需要的连续轮廓曲线，再通过步骤S64滤除干扰中不满足要求的曲线，获得需要的曲线作为轮廓参考帧。

图3示出了本发明较佳实施例提供的图像轮廓运动检测系统的框图，所述系统包括：YUV颜色编码数据处理模块11、图像轮廓参考帧处理模块13、图像轮廓运动帧处理模块15、图像轮廓相似性对比模块17以及图像轮廓运动检测处理模块19。

其中，在多媒体视频通过解码转换为原始数据后，通过YUV颜色编码数据处理模块11将原始图像数据转换为YUV颜色编码数据，提取Y值的亮度数据作为图像轮廓运动分析的基础数据元素；图像轮廓参考帧处理模块13通过轮廓计算，获取第1帧轮廓数据X、Y坐标值，并将该轮廓数据记录为轮廓参考帧；图像轮廓运动帧处理模块15以轮廓参考帧为基础，在提取出矩形区域中Y值亮度数据计算轮廓，获取第2帧轮廓数据X、Y坐标值，并将该轮廓数据记录为轮廓运动帧；将轮廓参考帧和轮廓运动帧数据，送入图像轮廓相似性对比模块17中，通对轮廓X、Y坐标在横、纵向的长度值进行相似性比对，判断轮廓运动帧中的数据，是否为轮廓参考帧运动后的轮廓数据；如判断为相似，则通过图像轮廓运动检测处理模块19提取轮廓参考帧和轮廓运动帧数据中的X、Y坐标值，计算出轮廓的运动距离和运动方向等轮廓运动检测参数；如图像轮廓相似性对比模块17判断为不相似，则表示多媒体视频图像的场景变化较大，需要重新获取轮廓参考帧，将该轮廓运动帧作为新的轮廓参考帧，再由图像轮廓运动帧处理模块15继续对第3帧图像进行处理；依次类推。具体如上所述。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种图像轮廓运动检测方法，包括以下步骤：

A.对多媒体视频数据进行解码，获取视频图像的原始图像数据；

B.依次获取一帧图像的YUV颜色编码数据以提取轮廊生成轮廓参考帧；

C.获取下一帧图像的YUV颜色编码数据并根据轮廓参考帧的水平和竖直坐标值，提取上一帧轮廓位置附近亮度数据为Y值的矩形区域，根据所述矩形区域提取亮度数据Y值后，通过轮廓计算获取轮廓数据将该轮廓数据记录为轮廓运动帧；

D.将轮廓运动帧与轮廓参考帧进行轮廓比对，判断轮廓运动帧中的数据是否为轮廓参考帧运动后的轮廓数据，是则进入步骤E，不是则返回步骤B；

E.根据轮廊参考帧与轮廊运动帧获取运动检测参数。

2.根据权利要求1所述的图像运动检测方法，其特征在于：在所述步骤E中，若所述视频图像还需运动检测，则返回步骤B或以所述轮廊运动帧作为新的轮廊参考帧后返回步骤C。

3.根据权利要求1或2所述的图像运动检测方法，其特征在于：所述获取一帧图像的YUV颜色编码数据或获取下一帧图像的YUV颜色编码数据，包括步骤：

B1.对原始图像数据进行检查判断数据类型，是YUV颜色编码数据则进入步骤B3，是其它类型数据则进入步骤B2；

B2.将原始图像数据转换为YUV颜色编码数据后进入步骤B3；

B3.获取一帧图像的YUV颜色编码数据。

4.根据权利要求1或2所述的图像运动检测方法，其特征在于：所述提取轮廊生成轮廊参考帧，包括步骤：

D1.通过直方图变换统计法获得轮廓相差阀值和轮廓运动帧中的数据是轮廓参考帧运动后的轮廓数据的阀值；

D2.通过三点均差法获得满足条件的点阵集合；

D3.从点阵集合中拟合出轮廓曲线；

D4.滤除干扰后获得轮廓参考帧。

5.根据权利要求1或2所述的图像运动检测方法，其特征在于：所述根据轮廓参考帧获得矩形区域数据，根据所述矩形区域生成轮廓运动帧，包括：根据轮廓参考帧记录的轮廓水平和竖直坐标信息建立矩形区域，取当前帧这个矩形区域内YUV颜色编码数据的亮度数据Y值进行轮廓计算，生成轮廓运动帧。

6.根据权利要求1或2所述的图像运动检测方法，其特征在于：在所述步骤D中，提取水平和竖直坐标区域中的轮廓参考帧与轮廓运动帧的具体轮廓数据，将两者的轮廓数据在水平和竖直方向上进行长度对比，若轮廓运动帧长度值在设定的阈值范围内，判定轮廓运动帧中的数据是轮廓参考帧运动后的轮廓数据，反之则判定轮廓不是。

7.根据权利要求1或2所述的图像运动检测方法，其特征在于：在所述步骤C中，首先根据轮廓参考帧记录的轮廓水平和竖直坐标信息建立矩形区域，并找到该矩形区域的中心点，再以该点为中心，将水平坐标的横向长度和竖直坐标纵向长度各自增加一倍形成一个新的矩形区域，最后取当前帧在这个新的矩形区域内的亮度数据Y值进行轮廓计算，生成轮廓运动帧。

8.一种运动图像检测系统，包括：图像轮廓参考帧处理模块、图像轮廓运动帧处理模块、图像轮廓相似性对比模块以及图像轮廓运动检测处理模块，所述图像轮廓参考帧处理模块用于以多媒体视频数据中一帧图像的亮度数据Y值为基础进行轮廓计算获取轮廓参考帧，所述图像轮廓运动帧处理模块用于以多媒体视频数据中下一帧图像的亮度数据Y值为基础进行轮廓计算获取轮廓运动帧，所述图像轮廓相似性对比模块用于对轮廓运动帧与轮廓参考帧进行比对判断轮廓运动帧中的数据是否为轮廓参考帧运动后的轮廓数据，在比对结果为是时通过所述图像轮廓运动检测处理模块提取轮廓参考帧和轮廓运动帧数据中的水平和竖直坐标值并计算出轮廓的运动检测参数，当比对结果为不是时以该轮廓运动帧作为新的轮廓参考帧，再由图像轮廓运动帧处理模块继续对再下一帧图像进行处理。

9.根据权利要求8所述的图像运动检测系统，其还包括颜色编码数据处理模块，所述颜色编码数据处理模块用于将图像帧的其他类型的原始数据转换为YUV颜色编码数据。

10.根据权利要求8所述的图像运动检测系统，其特征在于：所述运动检测参数包括运动距离参数和运动方向参数。

Images