CN100571333C

CN100571333C - 一种视频图像处理的方法及其装置

Info

Publication number: CN100571333C
Application number: CNB2007100274073A
Authority: CN
Inventors: 林晗
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2007-04-04
Filing date: 2007-04-04
Publication date: 2009-12-16
Anticipated expiration: 2027-04-04
Also published as: CN101031029A

Abstract

本发明公开了视频图像处理方法，包括：检测视频图像中任一像素与其相邻行的像素的值的大小关系，根据检测结果，判断视频图像是静止还是运动；若检测到视频图像是运动的，则启动边缘检测对所述像素及其相邻行和相邻列的像素的值进行检测，以选取差值最小的像素对；根据边缘检测所选取的差值最小的像素对，对运动的视频图像进行场内插值计算，获得新像素的值。本发明还公开了视频图像处理装置。采用本发明，具有简化视频图像处理电路，提高视频图像质量的优点。

Description

一种视频图像处理的方法及其装置

技术领域

本发明涉及信号处理技术，尤其涉及一种视频图像处理方法及其装置。

背景技术

在数字电视中，如果编码端是场编码，则视频解码器解出的图像是由顶场(Top Field)图像和底场(BottomField)图像交叉叠加形成的帧图(FramePicture)。标准清晰度电视(以下简称标清电视)，轮流显示顶场图像和底场图像。如果显示尺寸和图像的原始尺寸相同，标清电视的扫描线(Scan Line)会在底场时候扫描底场图像，在顶场时候扫描顶场图像，因此不会破坏顶场图像和底场图像之间的时间先后关系，图像可以正常显示。但如果显示尺寸和图像的原始尺寸不相同，则需要将原始图像进行缩放处理。图像的缩放处理会使用顶场和底场的图像。因此，和原始图像相比，缩放后的图像会增加或删除或修改某些像素(pixel)的值。这些新的像素是底场图像和顶场图像通过场间插值(Interfield Interpolation)或场内插值(1ntrafield Interpolation)计算出来的。

场内插值和场间插值各有利弊，现有技术的视频图像处理的一种解决办法是将场内插值和场间插值结合起来，如果是运动图像，采用场内插值，如果是静止图像，采用场间插值。

现有的运动检测技术是将多场图像进行比较，如果对应位置的差值过大，就认为图像是运动的，否则，认为图像是静止的，如图1所示。

在选择差值的计算方法时，可以选择基于块来判断，也可以选择基于像素点来判断，当选择基于块的判断方式时，通常是计算均方值。

经过上述运动检测，若视频图像是运动的，则进行场内插值，在进行场内插值以前，必须经过边缘检测，选出合适的像素对，在现有的技术中，由于运动检测和边缘检测的算法差别很大，所以是分别处理的，具体如图2所示。

现有技术的视频图像处理方法的缺点如下：

首先采用的运动检测算法的缺点是：

当采用基于像素点的判断时，由于顶场和底场在电视屏幕上的位置是不同的，所以，即使是静止图像，也可能会出现差值过大的情况。比如，在电视屏幕上，第n行显示深红的水平线，第n+1行显示淡红的水平线，虽然图像是静止的，但从深红色和淡红色来判断，很可能会得出图像运动的结论。如果要作出准确的判断，则需要对很多场的图像进行联合检测。这样一来，需要存储多场图像，需要很多的存储空间，另外，联合检测的复杂度也随用于判断的图像场数的增加而增加；

当采用基于块的方式时，一般是8×8的块，需要读出8行数据，才能做出是否运动的判断。而且计算均方值，会使用乘法器等计算单元。计算电路的规模比较大；

其次，将运动检测和边缘检测分别处理，增加了设计的复杂度，增加了对数据存储的要求。

发明内容

本发明的实施例所要解决的技术问题在于，提供一种视频图像处理的方法和装置。可统一运动检测和边缘检测，简化检测电路。

为了解决上述技术问题，本发明的实施例提出了一种视频图像处理的方法，包括：

检测视频图像中任一像素与其相邻行的像素的值的大小关系，根据检测结果，判断视频图像是静止还是运动；

若检测到视频图像是静止的，则采用场间插值计算新像素的值；

若经检测到视频图像是运动的，则启动边缘检测对所述像素及其相邻行和相邻列的像素的值进行检测，以选取差值最小的像素对；

根据边缘检测所选取的差值最小的像素对，对运动的视频图像进行场内插值计算，获得新像素的值。

相应地，本发明的实施例还提供了一种视频图像处理装置，包括：

运动检测单元，用于检测视频图像中任一像素与其相邻行的像素的值的大小关系，根据检测结果，判断视频图像是静止还是运动；

边缘检测单元，用于在所述运动检测单元检测到视频图像是运动状态的情况下，对所述像素及其相邻行和相邻列的像素的值进行检测，以选取进行插值计算的差值最小的像素对；

插值滤波单元，包括场间插值模块和场内插值模块；所述场间插值模块，用于在所述运动检测单元检测到视频图像是静止状态的情况下，采用场间插值，计算新像素的值；所述场内插值模块，用于在运动检测单元检测到所述视频图像是运动的情况下，根据边缘检测所选取的差值最小的像素对，对运动的视频图像进行场内插值计算，获得新像素的值。

本发明实施例的视频图像处理方法，将运动检测的判断和是否需要进行边缘检测的判断统一处理，大大简化了电路。

附图说明

图1是现有技术的视频图像处理技术所用的运动检测技术示意图；

图2是现有技术的视频图像处理技术所用的运动检测和边缘检测技术示意图；

图3是本发明实施例提供的视频图像处理装置的结构示意图；

图4是本发明实施例提供的视频图像处理装置中的运动检测单元的像素选取模块所选取的像素的示意图；

图5是本发明实施例提供的视频图像处理装置中的配置单元在配置有符号数range0和range1的取值对运动检测判断范围的影响的示意图；

图6是本发明实施例提供的视频图像处理方法的流程示意图；

图7是现有技术中视频图像处理技术所用的像素选择方法出现的锯齿现象示意图；

图8是本发明实施例提供的视频图像处理方法中像素选择方法的示意图。

具体实施方式

在本发明实施例中，利用视频图像的相邻场相邻行的特性，构建出新的运动检测算法，减少对存储空间的要求，并且将运动检测和边缘检测统一进行，简化电路，提高视频图像处理效果。

参见图3，是本发明实施例提供的视频图像处理装置的结构示意图；

在进行视频图像处理过程中，通常要将视频图像进行缩放处理，图像的缩放处理会使用顶场和底场的图像，因此，和原始的图像相比，缩放后的图像会增加或删除或修改某些像素的值，这些新的像素是底场图像和顶场图像通过场间插值或场内插值计算出来的。

视频图像处理，要将场内插值和场间插值结合起来，如果是运动图像，则采用场内插值，如果是静止图像，则采用场间插值。

考虑到顶场和底场图像之间有以下的特点：

顶场和底场图像之间有时间先后关系，图像的变化通常是逐渐变化的，并且顶场图像和底场图像是交错在一起的。

以上的特点表明，当图像不运动或者运动比较缓慢，则相邻场的相邻行之间的变化一般是连续的，也即帧图的第N行、第N+1行、第N+2行之间的变化是连续的；相邻场和相邻行之间不连续的情况一般多发生在图像的边缘，因此，如果出现了不连续的情况，既可以做出图像运动的判断，也可以同时做出需要进行边缘检测的判断。

因此，本发明实施例提供了一种视频图像处理装置，包括：

运动检测单元1，用于检测视频图像中任一像素与其相邻行的像素的值的大小关系，根据检测结果，判断视频图像是静止还是运动；

具体地，运动检测单元1包括：

像素选取模块10，参见图4，像素选取模块10，用于选取进行视频图像中的第y行上第x个点所在的像素(x，y)，以及为像素(x，y)做边缘检测时的备选像素对{(x-1，y-1)，(x+1，y+1)}、{(x，y-1)，(x，y+1)}和{(x+1，y-1)，(x-1，y+1)}；

判定模块11，用于根据运动检测准则判定视频图像是静止还是运动；所述运动检测准则为：

若min{f(x，y-1)，f(x，y+1)}+range0≤f(x，y)≤max{f(x，y-1)，f(x，y+1)}+range1，则判断视频图像是静止的；

若max{f(x，y-1)，f(x，y+1)}+range1＜f(x，y)或min{f(x，y-1)，f(x，y+1)}+range0＞f(x，y)，则判断视频图像是运动的；

其中，min{f(x，y-1)，f(x，y+1)}是取f(x，y-1)，f(x，y+1)中的最小值，max{f(x，y-1)，f(x，y+1)}是取f(x，y-1)，f(x，y+1)中的最大值，其他以此类推；

f(x，y)是(x，y)处像素的某种属性值；

range0和range1是可配置的有符号数。

本发明实施例所提供的视频图像处理装置还包括以下单元：

配置单元2，用于配置所述用于调节运动检测范围的有符号数range0和range1。具体实现的时候，配置单元2可以是通过软件配置range0和range1也可以通过电路的自适应调节，或者通过读取内部或外部存储器得到range0和range1的值。

需要说明的是，range0和range1配置不同的数，会对运动检测的判断范围产生不同的影响，如错误！未找到引用源。图5所示。

图5中，各个子图左边的方框表示是没有range0和range1时候的判断范围，右边的方框表示是有range0和range1时候的判断范围。

如果range0＜0，range1＞0，扩大运动检测的判断范围，如图5中A所示；

如果range0＞0，range1＜0，缩小运动检测的判断范围，如图5中B所示；

如果range0＞0，range1＞0，运动检测的判断范围上移，如图5中C所示；

如果range0＜0，range1＜0，运动检测的判断范围下移，如图5中D所示。

在运动检测中，可以根据图像的特点，选择不同的range0和range1的值，对图像的运动状态作出最合适的判断，避免因判断不当造成图像显示质量下降。

边缘检测单元3，用于在所述运动检测单元1检测到视频图像是运动状态的情况下，对所述像素及其相邻行和相邻列的像素的值进行检测，以选取进行插值计算的差值最小的像素对。

边缘检测单元3具体包括：

像素对选择模块31，将所述差值计算模块的计算结果两两进行比较，选择最小差值的像素对。

像素对选择模块31进行边缘像素选择的准则为：选择差值最小的像素对，即：

如果|f(x-1，y-1)-f(x+1，y+1)|＜|f(x，y-1)-f(x，y+1)|并且|f(x-1，y-1)-f(x+1，y+1)|＜|f(x+1，y-1)-f(x-1，y+1)|，选择像素对{(x-1，y-1)，(x+1，y+1)}；

如果|f(x+1，y-1)-f(x-1，y+1)|＜|f(x，y-1)-f(x，y+1)|并且|f(x+1，y-1)-f(x-1，y+1)|＜|f(x-1，y-1)-f(x+1，y+1)|，选择像素对{(x+1，y-1)，(x-1，y+1)}；

如果以上均不满足，选择像素对{(x，y-1)，(x，y+1)}。

插值滤波单元4，用于根据所述运动检测单元的检测结果进行相应的插值计算处理。

插值滤波单元4具体包括：

场间插值模块40，用于在运动检测单元检测到所述视频图像是静止的情况下，采用场间插值，计算新像素的值；

场内插值模块41，用于在运动检测单元检测到所述视频图像是运动的情况下，根据边缘检测所选取的差值最小的像素对，进行场内插值，计算新像素的值。

参见图6，为本发明实施例提供的视频图像处理方法的流程示意图。

首先，在步骤S100，如图4所示，选取进行视频图像中的第y行上第x个点所在的像素(x，y)，以及为像素(x，y)做边缘检测时的备选像素对{(x-1，y-1)，(x+1，y+1)}、{(x，y-1)，(x，y+1)}和{(x+1，y-1)，(x-1，y+1)}；

在步骤S101，检测视频图像中任一像素与其相邻行的像素的值的大小关系；根据边缘检测所选取的差值最小的像素对，对运动的视频图像进行场内插值计算，获得新像素的值

在步骤S102，根据检测结果，判断视频图像是静止还是运动；若判断结果为是，则转入步骤S103，若判断结果为否，则转入步骤S104；

其中所述的运动检测准则如下：

f(x，y)是(x，y)处像素的某种属性值；

如果没有range0和range1，运动检测的判断准则为：

这时，对图像是否运动的判断完全由f(x，y-1)、f(x，y)、f(x，y+1)决定。当f(x，y-1)为最大值，f(x，y+1)为最小值时，不管f(x，y)的值是多少，都会作出图像是静止的判断。因此，range0和range1是影响判断准则的切入点。可以利用图像的特点，将range0和range1配置为不同的数，从而对图像是否运动作出更恰当的判断。

需要说明的是，在检测到视频图像时运动的情况下，需要进行场内插值，但是如果场内插值只用同一垂直方向的像素，也就是说，新像素的值只和它正上方和正下方的像素相关，在处理如图7A所示的斜线时，会出现如图7B所示的锯齿现象。

要解决图7B中出现的锯齿现象，就不能用正上方和正下方的像素进行插值，而要用左上方和右下方的像素进行插值。为了选择出正确的像素，有必要对图像进行边缘检测。根据边缘检测的结果，决定采用哪一对像素进行场内插值。边缘检测后，可选择的像素对有很多，如图8A所示。为了简化运算，实际中可选的像素对只用左上方-右下方、正上方-正下方、右上方-左下方，如图8B所示。

因此，在步骤S103，若经检测到视频图像是运动的，则启动边缘检测对所述像素及其相邻行和相邻列的像素的值进行检测，以选取差值最小的像素对；

选择合适的像素对的准则即选择差值最小的像素对，算法如下：

如果以上均不满足，选择像素对{(x，y-1)，(x，y+1)}。

在步骤S104，根据运动检测的结果，判断得出视频图像是静止的情况下，对视频图像进行场间插值处理，计算得出新像素的值；

在步骤S105，根据边缘检测所选择的差值最小的像素对，对视频图像进行场内插值，计算得出新像素的值；

实施本发明的实施例，可以减少视频图像处理时进行运动检测的复杂度，从而减少了运动检测电路的规模，并且降低了运动检测对存储空间的要求，仅仅需要存储两场数据的值就可以完成运动检测，并且根据图像的特点，选择不同的range0和range1，对图像的运动状态作出最适合的判断，避免因为判断不当造成的图像显示质量下降；本发明的实施例还将视频图像处理中的运动检测和边缘检测统一处理，简化了电路，从而提高了视频图像处理效率和质量。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims

1、一种视频图像处理的方法，其特征在于，包括以下步骤：

若检测到视频图像是运动的，则启动边缘检测对所述像素及其相邻行和相邻列的像素的值进行检测，以选取差值最小的像素对；

2、如权利要求1所述的一种视频图像处理的方法，其特征在于，所述检测视频图像中任一像素与其相邻行的像素的值的大小关系，根据检测结果，判断视频图像是静止还是运动包括：

选取视频图像中的第y行上第x个点所在的像素(x，y)，以及备选像素对{(x，y-1)，(x，y+1)}；

所述f(x，y)是(x，y)处像素的属性值，所述range0和range1是可配置的有符号数。

3、如权利要求1或2所述的一种视频图像处理的方法，其特征在于，所述选取差值最小的像素对的步骤如下：

选取视频图像中的第y行上第x个点所在的像素(x，y)，以及备选像素对{(x-1，y-1)，(x+1，y+1)}、{(x，y-1)，(x，y+1)}和{(x+1，y-1)，(x-1，y+1)}；

将所述差值计算模块的计算结果两两进行比较，选择最小差值的像素对。

4、如权利要求3所述的一种视频图像处理的方法，所述差值最小像素对选择准则如下：

若|f(x-1，y-1)-f(x+1，y+1)|＜|f(x，y-1)-f(x，y+1)|并且|f(x-1，y-1)-f(x+1，y+1)|＜|f(x+1，y-1)-f(x-1，y+1)|，则选择像素对{(x-1，y-1)，(x+1，y+1)}；

若|f(x+1，y-1)-f(x-1，y+1)|＜|f(x，y-1)-f(x，y+1)|并且|f(x+1，y-1)-f(x-1，y+1)|＜|f(x-1，y-1)-f(x+1，y+1)|，则选择像素对{(x+1，y-1)，(x-1，y+1)}；

若以上均不满足，选择像素对{(x，y-1)，(x，y+1)}；

所述f(x，y)是(x，y)处像素的属性值，所述运算|·|为取绝对值计算。

5、一种视频图像处理装置，其特征在于，包括：

边缘检测单元，用于在所述运动检测单元检测到视频图像是运动状态的情况下，对所述像素及其相邻行和相邻列的像素的值进行检测，以选取进行插值计算的像素对；

6、如权利要求5所述的一种视频图像处理装置，其特征在于，所述运动检测单元包括：

像素选取模块，用于选取进行视频图像中的第y行上第x个点所在的像素(x，y)，以及备选像素对{(x-1，y-1)，(x+1，y+1)}、{(x，y-1)，(x，y+1)}和{(x+1，y-1)，(x-1，y+1)}；

判定模块，用于根据运动检测准则判定视频图像是静止还是运动；所述运动检测准则为：

7、如权利要求6所述的一种视频图像处理装置，其特征在于，所述视频图像处理装置还包括：

配置单元，用于配置用于调节运动检测范围的有符号数range0和range1。

8、如权利要求7所述的一种视频图像处理装置，其特征在于，所述边缘检测单元包括：

像素对选择模块，将所述差值计算模块的计算结果两两进行比较，选择最小差值的像素对。