CN101232570A - 自运动适应图像处理的装置和方法 - Google Patents

Abstract

一种序列图像中的图像转换处理方法，包括将图像的像素与对于每个像素指示图像间运动程度的相关运动值相关联；基于基本集中于每个相关像素的第一预定尺寸的第一区域内发现的第二像素的运动值调整每个像素的运动值，所述第二像素是与其相关联的运动值指示第一区域中任意像素的最大运动的像素；基于位于基本集中于每个相关像素的第二预定尺寸的第二区域的第二像素的运动值调整每个像素的运动值，所述第二像素是与其相关联的运动值指示第二区域中任意像素的最小运动的像素；根据每个像素关联的运动值将每个像素分类为静态像素或是运动像素，然后根据像素分类为静态像素还是运动像素来为其选择第一转换过程或第二过转换程。

Description

自运动适应图像处理的装置和方法

技术领域

本发明涉及运动自适应图像处理。

背景技术

视频图像捕获表现为空间和时间的采样过程。被捕获的图像作为一组以列或行排列的像素。连续图像在时间上间隔的瞬间被捕获。

复杂化是通常使用了隔行视频获取和处理。在隔行视频信号中，每个图像被处理为两组或场交替行的像素。例如，奇数行可以被包含在一场中，而偶数行能够被包含在下一场中。对于在视频信号带宽中的非实质增加，隔行技术的优点是其给出明显的双倍图像速率，从而减小闪烁效应。

如果尝试获取或处理具有对于各自的采样速率而言太高的空间或时间频率的视频资料，所有这些方面的采样能够引起混叠效应。但是在隔行到逐行扫描视频转换的区域中，特定的混叠问题将在此描述。

如果需要在隔行视频和逐行扫描(非隔行)视频间转换，那么对于非运动图像仅仅需要插入两个连续场来重建具有当前所有像素行的非隔行帧。然而，如果存在任何有效的场间运动，该途径可以不工作。在这种环境中在场中丢失的像素行从相同场的其他像素中能被适当的导出。换句话说，场内内插处理被应用。

实际上，视频源可以包含图像序列，在其中一些区域表现为运动图像而另一些区域不表现为动态图像。例如，当新闻广播员对固定摄像机讲话，新闻广播员的嘴、脸和头可以显著地运动，同时他们的躯干、桌子和他们后面的墙不显著地运动。

因此，上述记录的不同转换策略在同一图像的不同区域中可以是合适的。因此对于给出的像素决定应用哪个策略是重要的。

对于非活动部分内插通常会给出比隔行坏的结果，然而对于活动部分隔行通常会给出比内插坏的结果。因此，更加合适的技术的选择是非常重要的。

值得注意的，视频信号中噪声的存在能够在连续场之间导致可以被错误地解释为运动的明显分歧，但是真正的是由于运动噪声也能抵消真正的变化，导致在像素或像素区域中错误地呈现静态。这种噪声诱导的静态误分类导致不同的内插策略被采用以致在转换图像中给出不同的输出结果，从而增剧在图像中噪声的影响。

因此期望减小作为表示运动图像区域的像素的噪声诱导的误分类的影响。

本发明的目的是为了减少上述问题。

发明内容

本发明的一方面，用于序列图像中的图像转换的图像处理方法包括步骤：将图像或是图像的一部分中的各个像素与表示该像素在图像内运动程度的各个运动值关联起来；基于充分集中于每个所述各个像素的第一预定尺寸的第一区域内发现的第二像素的运动值调整每个相应像素的运动值，所述第二像素是与其相关联的运动值指示第一区域中任意像素的最大运动的像素；然后基于位于充分集中于每个所述各个像素的第二预定尺寸的第二区域的第二像素的运动值调整每个相应像素的运动值，所述第二像素是与其相关联运动值指示第二区域中任意像素的最小运动的像素；然后根据每个各个像素分别关联的调整的运动值选择来自第一转换过程和/或第二转换过程的贡献。

本发明的另一方面，用于序列图像中的图像转换的图像处理装置包括：运动检测器，其将图像或是图像的一部分中的每个各个像素与表示该像素在图像内运动程度的各个运动值关联起来；第一运动值调整器，其基于充分集中于每个所述各个像素的第一预定尺寸的第一区域内发现的第二像素的运动值可操作地调整每个相应像素的运动值，所述第二像素是与其相关联的运动值指示第一区域中任意像素的最大运动的像素；第二运动值调整器，其基于位于充分集中于每个所述各个像素的第二预定尺寸的第二区域的第二像素的运动值可操作地调整每个各个像素的运动值，所述第二像素是与其相关联的运动值指示第二区域中任意像素的最小运动的像素；以及转换选择器，其根据每个各个像素分别关联的调整运动值选择来自第一转换过程和/或第二转换过程的贡献。

有利地，上面两个方面因此具有首先将运动区域扩大为第一范围，然后将静态区域扩大为第二典型的更小的范围(相当于收缩运动区域)的效果。然而，半径小于第一预定距离的孤立静态区域通过运动扩大被全部移除，并且在接下来的静态扩大中不能恢复。与此同时，其他静态区域恢复到接近他们的原始状态。最终结果是小的孤立的静态区域被移除同时其他静态区域完全不改变。

本发明进一步的表现方面和特征被定义在从属权利要求中。

附图说明

本发明的上述和其他对象、特征和优点将从以下结合下述附图被理解的具体实施方式的详细描述中体现。

图1图解说明了平面屏幕显示配置；

图2图解说明了在演播室环境中的视频混合操作；

图3图解说明了隔行到逐行转换器；

图4a到4c图解说明了梯度检测；

图5和6a到6e图解说明了空间块匹配操作；

图7a到7b图解说明了混叠情形；

图8a到8d图解说明了混叠检测技术；

图9a图解说明了运动自适应内插；

图9b图解说明了在连续视频场中的运动检测；

图10图解说明了高频校验操作；

图11图示了像素属性调整；

图12图示了调整的像素属性；

图13A-B图示了调整的像素属性；

图14是图示说明了转换误差的例图；

图15图示了像素属性调整；

图16A-C图示了调整的像素属性；

图17为图像处理方法的流程图。

具体实施方式

图1图解说明了平面屏幕显示配置10，包括隔行视频资料源20、隔行到逐行扫描转换器30和如液晶(LCD)或等离子体显示器的显示面板40。其图解说明了隔行到逐行扫描转换的典型应用，由于许多广播信号是隔行格式而许多平板显示器是以逐行格式为最成功的操作。因此在图1中，由隔行视频资料源20接收的广播信号被用来生成隔行信号以显示。其经过隔行到逐行扫描转换器30以便从隔行扫描信号中生成逐行扫描信号。传送给显示器40的是逐行扫描信号。

可以理解，隔行视频资料源20可以不需要是广播接收器，但是可以为视频重现装置如DVD播放器、网络连接如因特网连接等等。

图2图解说明了在演播室环境中的视频混合操作，为了给出隔行到逐行扫描转换应用的另一个例子。在此，提供了隔行资料源50和逐行扫描资料源60。这些源可以为摄像机、视频重现装置如视频磁带记录器或硬盘记录器，广播接收器或类似的。

隔行资料源50的隔行输出被提供给隔行到逐行扫描转换器70以生成逐行扫描信号。该逐行扫描信号连同来自源60的逐行扫描资料一起由视频混合器80处理以生成处理后的逐行扫描输出。当然，如果需要的话视频混合器80的逐行扫描输出能被转换回到隔行格式，例如，对于并后续的广播或记录。从中可以理解到，视频混合器80只是视频处理装置的一个例子；可代替的，数字视频效应单元例如能被用在图2中的这个位置。

图3图解说明了隔行到逐行转换器。概括讲，转换器包括场内内插器如空间内插器100，运动自适应内插器110和一组三场存储器120。

图3中的转换器以与输入隔行场相同的重复频率生成输出逐行扫描帧。因此，对转换器最主要的需求是在每个隔行场生成“丢失”像素以将隔行场转变为逐行扫描帧。其能通过两种方法之一达到。一方面，空间内插器100通过空间内插在相关场中生成“丢失”像素。换句话说，这是场内操作。另一方面，运动自适应内插器通过从相对极性的邻接场插入像素以生成丢失像素。其仅当在场之间不存在图像运动时有效，因此图3的基本结构为当运动自适应内插器110的输出被用在图像运动没有被检测到的像素位置时，空间内插器100的输出被用在图像运动被检测到的图像位置。对于简单的操作，空间内插器在每个像素位置进行操作，且运动自适应内插器选择空间内插器的输出或选择从相对极性的另一个场中选择像素用于输出，或混合上述两个。

运动自适应内插器将在以下被更加详细的描述。首先，空间内插器将被简单描述。

空间内插器包括1∶2水平像素缩放器130，空间块匹配器140，最小化误差选择器150，对角线内插器160，圆点噪声消减器170，和凯尔系数校正器180。这些的每个操作总结如下。

缩放器130在输入隔行场的每两个像素之间利用水平线性内插来生成一个附加的像素值(也就是1∶2缩放操作)。因此，水平分辨率(至少按照有效像素值的数目)被加倍，但是在此阶段对于垂直分辨率而言没有不同。

空间块匹配器140和对角线内插器160的所有操作被用来检测与在新的像素被内插的像素位置相关的图像特征的定向，然后沿着图像特征方向来应用内插。因此如果当前像素位置将被内插位于例如与水平成45°上的对角线图像特征(行、边缘等)，新像素的内插会沿着该45°的方向发生。这趋向给出一个比限制水平或垂直内插更好的输出结果。该处理的关键部分明显的是在每个像素位置检测图像特征的方向。

现参看图4A-4C，该检测利用块匹配处理来被执行。图4A图解说明了围绕在未知像素220(内部具有问号标记的圈)的位置上的两个像素块200、210之间的成功的块匹配。真正地，在当前图中使用的符号是指示一个已知像素的正方形，然而圆圈指示一个将由对角线内插器160来内插的像素。图4A-4C中的阴影是示意性的图像特征的表示。

因此，参看图4A，围绕在未知像素位置220上的块200、210之间的成功的块匹配被获得，指示1/2的图像特征的梯度。

现在转向图4C，图像特征是垂直的并且这又是在重叠块230、240之间的成功的块匹配。

然而，在图4B中，图像特征具有1/1的梯度。在完整的像素位置的块上不可能获得成功的块匹配。在块250、260之间的成功的匹配出现在半个完整的像素位置上。从而，为了检测这种特性的梯度(实际上比1/2更尖锐的任何梯度)，需要在子像素精确度上操作。在当前情形中，通过使用来自1∶2缩放器中的像素，半像素的精确度被采用。如果仍需使用更高精确度(例如四分之一像素精确度)，那么检测到依然接近于垂直的梯度。

图5和图6A-6E图解说明了空间块匹配操作。

如上所记录的，空间块匹配在子像素精确度上被执行，在这种情况中为半像素精确度。

块尺寸的范围被使用，具有相应的检索范围(相关于在测试下的像素位置的最大位移)。考虑1∶2缩放操作，块尺寸的例子和检索范围被下表所给出：

块尺寸(在缩放像素中)	检索范围(在缩放像素中)
		3v×5h	0h
3v×5h	±1h

3v×7h	±2h
		...	...
3v×41h	±19h

图5图解说明了围绕在未知像素位置320上的3v(垂直)乘7h(水平)像素300、310的两个块之间的块匹配操作。变量d表示为块的水平中心距离测试下的像素位置的水平位移。应用于块匹配的条件是这些块必须总是重叠在测试下的像素位置上。同样，块被示出在实际像素位移中移位的整数数目(因此m的位移对应于2m内插像素的位移)。从而，在图5中示出的特定的块尺寸允许九个可能的测试包括-2像素(图6A)-1像素(图6B)0像素(图6C)，+1像素(图6D)，和+2像素(图6E)的位移。

注意所述位移表示距离中心的位移。这两个块在相对的方向上移动相等的数量。对称位移被使用是因为另外匹配块可以检测与测试下的像素不相关的行或边缘。

每个匹配块的绝对差的和(SAD)被计算。其被加下定义：

$\mathrm{SAD}(x,y,d,n)=\underset{\mathrm{dx}=-n}{\overset{n}{\mathrm{\Σ}}}\underset{\mathrm{dy}=-3,-\mathrm{1,1}}{\mathrm{\Σ}}\underset{\mathrm{RGB}/\mathrm{YCbCr}}{\mathrm{\Σ}}|p(x-d+\mathrm{dx},y+\mathrm{dy})-p(x+d+\mathrm{dx},y+\mathrm{dy}+2)|$

其中x，y表示当前像素的坐标(y是帧行数目)，d是所测试的位移，以及n是所述块的“半径”(块的宽度等于n’＝2n+1)。

概括讲，SAD值为三个颜色元素(红，绿和蓝)组合而成，以及最小标准化SAD值决定内插梯度。各种检查用于避免如下所述的低质内插。

测量被用于避免混叠情形所引起的问题。图7A和7B图解说明了一种可能的混叠情形。

参看图7A，块340和350之间的匹配块提示未知像素330应该是暗灰色。这里，匹配块是100％成功并因此SAD值是0(注意这是一个示意性的例子)。

然而，在图7B中，块360和370之间的匹配块也是100％成功，又一次给出为0的SAD值。图7B的匹配块提示未知像素330应该是亮灰色。

匹配块结果的冲突是图7A和7B中所示的图像部分中对角线上密集的图像特征之间的混叠产物。当它首先表示每个对角线都是同等有效时(例如，从左上到右下的陡对角线或是一从右上到左下的更平缓的对角线)，处理规则被设立以允许进行适当的选择。

规则的基础是块匹配过程被限制以使得仅有被认为“行片断”的区域被检测。也就是说，块匹配中的每个块都应该包含行片断。

数字化的行片断被认为具有两种特性。首先，正被讨论的块的行沿着中心扫描线无变化，以及其次是在正被讨论的块中的扫描线之间具有垂直转变。这些特性被测试的方式通过图8A-8D被描述。

在图8A中，一源场包括多个对角线。图8B示意性说明了图8A中图像中的一行像素。图8C和8D图解说明了图8B中所示对角线的两个边缘。从中可见，这些边缘中的每个都具有亮度上单调变化的像素的一部分。再回头参看图8A，从中可见这些片断在相邻像素行之间显现为垂直转变。

那么，回到图7A和7B，根据上述规则图7A的块匹配被拒绝进行图7B中的块匹配。这是因为图7B中两个块的像素的中心线表现为在亮度上单调变化，而图7A的块340，350的像素的中心线不是。

关于每个颜色分量(如，R，G和B)的测试被分别执行。所有三个测试必须分别通过。可选择的是，例如为节约硬件，少于三个测试被执行。例如，只有亮度，或是只有一个颜色分量被测试。当然，可选择的，YCbCr或YPbPr表示可以被测试。

对角线内插器160是一个简单的像素平均器；给一个方向其可以拾取该方向上在线下的像素和该方向上在线上的像素并且对它们进行平均。

圆点噪声消减器170进行应用于对角线内插器160输出的处理。一个测试被应用于检测内插像素是否在四个相邻的垂直和水平像素的最大和最小值内，例如，该内插像素正上，正下，正左和正右的像素。注意内插像素上边和下边的像素是实像素，而左边和右边的像素是内插像素本身。

如果内插像素不在这个范围内，则；

使v作为所考虑像素的初始值，并使v’为v，被夹紧为所述4个局部相邻像素的范围内。

使新像素值为kDNRv’+(1-kDNR)v，其中kDNR是可编程的常数。

现在描述凯尔系数校正器180的操作。

在目前的讨论中，参照凯尔系数可以简单地帮助解释示范性的系统的这部分的操作。滤波器的实际使用是简化了对于源图像没有使用对其可获得的全带宽的知识，无论是由于扫描假象或是低通滤波处理所造成的。

该凯尔系数是表示逐行扫描和隔行图像特性的数量。为了表现被扫描的信息，通常认为可能垂直带宽中仅有70％(凯尔系数)被(应该被)表现。因此当执行隔行向逐行扫描转换时，尝试产生全垂直带宽图像是具有潜在危险的。可替代的是，使用补偿来解决凯尔系数小于1。

一种补偿凯尔系数的方法是在任何隔行到逐行的扫描算法的输出帧上使用70％带宽滤波器，然而，帧中的一个场是“真实”数据-例如，其被正确采样，则来自该场的内容通过定义一定完美的。因而使用只滤波内插行的方法。

图9a示意性说明了运动自适应内插器110的操作。内插器110包括场间块匹配器600，高频检测器610和混合器620。

场间块匹配器600使用来自当前输入场和三场存储器120的数据以执行场间运动比较。这包括将当前场(图9b中的F_N)的像素块与同类型在前场(F_N-2)中对应的定位块比较以及同样地比较同类型的在前场(F_N-1)和在前场(F_N-3)。这些比较结果被用来检测图像中的运动程度。

特别是，绝对差的加权和(SWAD)如下产生。

4个匹配块被执行以产生2个SWAD，SWAD_AREA和SWAD_LOCAL。这些匹配块是：

·在场F_N和F_N-2中的5h×4v加权块匹配。

·在场F_N-1和F_N-3中的5h×3v加权块匹配。

·在场F_N-1和F_N-3中的1h×1v加权块匹配。

·在场F_N和F_N-2中的1h×2v加权块匹配。

加权块匹配对重合像素之间的加权绝对差求和，SWAD。

$\mathrm{SWAD}=\underset{\mathrm{dx}=-2}{\overset{2}{\mathrm{\Σ}}}\underset{\mathrm{dy}=-\mathrm{2,0,2}}{\mathrm{\Σ}}\underset{\mathrm{RGB}/\mathrm{YCbCr}}{\mathrm{\Σ}}w(\mathrm{dx},\mathrm{dy})|F_{N-1}(\mathrm{dx},\mathrm{dy})-F_{N-3}(\mathrm{dx},\mathrm{dy})|$

其中F_N-1(dx，dy)是在当前像素的帧相关位置dx，dy的值。典型加权值为：

5h×4v块[12/1024 23/1024 28/1024 23/1024 12/1024

         32/1024 62/1024 77/1024 62/1024 32/1024

         32/1024 62/1024 77/1024 62/1024 32/1024

         12/1024 23/1024 28/1024 23/1024 12/1024]

5h×3v块[20/1024 39/1024 48/1024 39/1024 20/1024

         48/1024 94/1024 117/1024 94/1024 48/1024

         20/1024 39/1024 48/1024 39/1024 20/1024]

1h×2v块[128/256

         128/256]

1h×1v块[255/256]-实际无加权

对第一两个SWAD求和给出了基于区域的匹配块，SWAD_AREA

对后者两个SWAD求和给出了局部匹配块，SWAD_LOCAL

所有三个颜色元素以相同的方式对SWAD起作用。系统需要只维持每个像素的三元素的SAD，然后它们被加权和合并来自块中其他像素的值。这意味着处理的这方面仅需要大约10bpp(每像素比特)的5行存储器。

可选择的是，高频率检测器610被安排检测输入场中的高频率。算法是基于下面的原理。如果交错两个源场产生很多高频率能量，则设法确定输入是适度静止的。只有静止视频可以产生可靠的高频率；高度混叠运动可以产生高频率，但是这不是场间内插所需要的情形。如果运动出现，则会产生高频率，其中场被不正确交错。

参看图10，高频率检测器使用来自当前场F_N的当前内插像素之上和之下的行和来自对应于丢失行的在前场F_N-1的行。HFC可以被认为是5×3相邻像素检测。

HFC_thresh1和HFC_thresh2是两个可编程的常数，其中前者大于后者。

设置标记：exceededHighEnergy＝false

每个分量(或是它们的子集)(RGB/YPbPr)-YPbPr表示在高清晰系统中的色空间，在标准清晰系统中都以同样方法用于YCbCr：

设置energy＝0

对于具有水平位置x＝-2，-1，0，1，2(相对于当前像素)的像素，使隔行(F_N-1)场值为v₀，以及当前场的上一行和下一行的值为v_-1和v₁，则：

如果v₀＜min(v₁，v_-1)，设置diff＝min(v₁，v_-1)-v₀

或如果v₀＞min(v₁，v_-1)，设置diff＝v₀-max(v₁，v_-1)

或设置diff＝0

如果(diff＞HFC_thresh1)，设置energy＝energy+(HFC_thresh1-HFC_thresh2)*weighting[x]

或如果(diff＞HFC_thresh2)，设置energy＝energy+(diff-HFC_thresh2)*weighting[x]

如果energy＞HFC_allowance设置标记exceededHighEnergy＝true

这结束运行于每个分量上的处理。

随后，如果exceededHighEnergy＝true，给SWAD_AREA增加可编程的常数值，HFC_pennlty。

SWAD_AREA的增加将趋向于反对在那输出位置的运动自适应像素的使用。

混合器620依据标准SWAD_AREA和SWAD_LOCAL和不同的阀值thresh_1，2，etc运行

如果SWAD_LOCAL＞thresh₁，仅使用空间内插场F_N’

否则如果SWAD_AREA＞thresh₂，仅使用空间内插场F_N’

否则如果SWAD_AREA＜thresh₃，仅使用场F_N-1

否则混合场F_N-1和F_N’

使α＝(thresh₂-SWAD_AREA)/(thresh₂-thresh₃)

所得像素值＝αF_N-1+(1-α)F_N’。换句话说，α表示像素活动并决定来自场内和场间内插器的贡献。

同时仅有F_N-1和F_N’在上述等式中混合，从中可以意识到，在其中的附加图像场或部分在给定的像素位置与F_N-1和F_N’混合，例如如果根本没有运动，可以是用于图像的交替行的F_N的未滤波行，或是更早的图像场F_N-3。

可知在视频输入的连续场中噪声的存在可以产生‘运动噪声’，即是，附加噪声引发的改变所引起的像素上的明显运动。

然而，转换也是可行的；也就是附加噪声可以折衷像素值中真正的变化，导致当像素实际上应分类为运动时而外观上保持充分静态。

当噪声影响的像素值非常靠近于分类阀值时这样的假静态像素也会出现。

清楚的是，如果场F_N中的像素被识别为静态而实际上为运动的，则高值α(与静态像素相关)联导致来自先前场F_N-1的实际误匹配数据在混合处理像素中占主导，如上面所公开的等式中所看到的一样。这可以模糊被处理的图像或是产生可视假象。

现参看图11，与每个像素相关联的α值在混合以得到测试区域中所发现的最小α值(也就是该值表示最强图像内运动)之前变化，加上取决于当前像素以及与最小α值相关联的像素之间的距离的可变偏移。

特别地，

${\mathrm{\α}}^{\′}(x,y)=\underset{\mathrm{dy}=-1}{\overset{1}{\min }}\left(\underset{\mathrm{dx}=-7}{\overset{7}{\min }}(\mathrm{\α}(x+\mathrm{dx},y+\mathrm{dy})+p\·\left(\right|\mathrm{dx}|+|\mathrm{dy}\left|\right))\right)$

±7h和±1v像素集中在将被被改变像素的典型测试区域。p值控制可变偏移的大小。该过程在下文中被称为第一处理。该p值当然可以为0。

参看图12，对于被运动像素420包围的一个或多个静态像素410所在的小区域，第一处理的效果是运动区域420(由低α值表示)扩展以将在其里面和围绕它的静态小区域移除，覆盖静态区域的α值以形成新的运动区域420’。

然而，现参看图13A和13B，在该效果阻碍了噪声引起的静态区域410的同时，其加剧了噪声引发的运动区域420的存在，如同他们被扩大为占主导的静态区域410一样。图13A展示了围绕运动噪声像素的α值和α’值，其中运动像素区域420’扩大为覆盖周围的一些静态像素α值，同时图13B类似地展示了与运动区域420相邻的静态区域410的α值和α’值，其中运动区域420’以类似的方式扩大以侵占静态区域410。

执行隔行到逐行扫描的转换的运动噪声扩大区域502的例子可以在图14中看到。在该图中，附加到轮廓区域502的中心像素上的噪声导致其被分类为运动，并且接下来如上面所描述的扩大以形成尺寸足够大的区域，这使得在模糊步骤中效果(也就是使用内插而不是隔行)是可视的。

现参看图15，在本发明的第二实施例中，一个相反的或者第二过程被应用以减轻更小像素区域的边缘效果；也就是，对选择的像素应用：在测试区域(如.最多静态值，或具有最小像素内运动)中应用最高保持的阿尔法值减去基于距离的偏移。

特别地，

${\mathrm{\α}}^{\′\′}(x,y)=\underset{\mathrm{dx}=-4}{\overset{4}{\max }}({\mathrm{\α}}^{\′}(x+\mathrm{dx},y+\mathrm{dy})-q\·\left(\right|\mathrm{dx}|+|\mathrm{dy}\left|\right))$

±4h像素集中在将被被改变像素的典型测试区域。q值控制可变偏移的大小。

参看图16A至16C，α，α’和α”值连续展示。在图16A中，运动区域(如，一个像素，由于噪声)420A显示在静态区域410A内，并且可以看到运动区域遵循第一过程扩大为420A’(α到α’)，但是遵循静态区域410A’扩大还原的第二过程收缩为420A”(α’到α”)。同样地在图16B中，当运动区域420B与静态区域410B相邻时，运动区域的边缘遵循第一过程扩大为420B’(α到α’)，但是遵循静态区域410B’扩大还原的第二过程收缩为420B”(α’到α”)。然而，在图16C中，小静态区域410C被运动区域420C围绕，当运动区域遵循第一过程扩大为420C’并完全移除静态像素的小区域410C(α到α’)，运动区域在应用第二过程时(α’到α”)时不收缩，这是因为没有静态像素保持高阿尔法值，在第二过程中从高阿尔法值该增加α”值。

因此第一和第二过程的合并效果参照图17的流程图，可以总结如下：

在第一步骤s1中，运动区域被扩大为第一范围；

在第二步骤s2中，静态区域被扩大为第二范围(等同于收缩运动区域)；

第一范围是在运动区域内的小静态区域通过运动扩大被完全移除并且在接下来的静态扩大中不能恢复，同时其他静态区域恢复到接近它们的最初状态。

因此出现在孤立或小区域的静态像素引发的大多数噪声被消除，同时在别处不会太大影响基于α的运动分类。

接着，在第三步骤s3中，其可以对静态像素交错图像场，同时对运动像素使用空间内插。

可选择的是，第二范围在大小上比第一范围更小。

在本发明的一个实施例中，当被应用时，当寻找最小或最大的邻近α值时，先前帧得来的α值被用于第一和第二过程。

这减少了固有的处理延迟，例如，确定图像(+1v)中下一行的α值。

可以理解，上面描述的技术可以应用于整个图像或是其中一部分，图像中所选择像素的相邻或不相邻的一部分。

本领域技术人员可以意识到对于场F_N和F_N-1混合的基准是适于图像序列中的隔行图像的几个可能混合选择中的一个。归纳F_N’到F_Sx和F_N-1到F_M’内插模式选择定义如下：

模式1：0个场系统延迟(如说明书中)-

F_Sx＝与场F_N相关的内插场

F_M＝场F_N-1

模式2：1个场系统延迟，向后混合-

F_Sx＝与场F_N-1相关的内插场

F_M＝场F_N-2

模式3：1个场系统延迟，向前混合-

F_Sx＝与场F_N-1相关的内插场

F_M＝场F_N

因此，例如，混合像素值将等于αF_M+(1-α)F_SX。

图9a中所示的运动自适应内插器110适合执行上面描述的不同实施例的方法。

通常来说，可以意识到本发明可以在适当软件控制下的可编程或是半可编程的硬件设备中执行。硬件设备可以是通常目的的计算机或是例如ASIC(专用集成电路)或FPGA(现场可编程门阵列)或是运动自适应内插器110的装置。软件可以是由数据载体或是存储媒体例如盘或是固态存储器，或是通过传送媒体例如网络或因特网连接，或是通过它们的组合来提供。

虽然本发明的具体实施方式在此参照附图被详细阐述，可以理解本发明并不局限于这些实施方式，并且在不脱离由附加权利要求所定义的本发明的范围和精神内本领域技术人员可以实现其不同的变化和修改。

参数的一些例子

	YPbPr设置	RGB设置
			HFC加权	[24542]	[24542]
HFCthresh1	40	40
			HFCthresh2	8	8
HFCallowance	218	128
			HFCpenalty	10	25
thresh1	60	120
			thresh2	20	50
thresh3	25	60
			p	24/256	24/256
q	8/256	8/256

Claims (10)

1.一种用于序列图像中的图像转换的图像处理方法，包括步骤：

将图像或是图像的一部分中的每个相关像素与表示该像素的图像内运动程度的相应运动值相关联；

基于基本集中于每个所述相关像素的第一预定尺寸的第一区域内发现的第二像素的运动值，调整每个相关像素的运动值，所述第二像素是与其相关联的运动值指示第一区域中任意像素的最大运动的像素；和然后

基于位于基本集中于每个所述相应像素的第二预定尺寸的第二区域中的第二像素的运动值，调整每个相应像素的运动值，所述第二像素是与其相关联的运动值指示第二区域中任意像素的最小运动的像素；和然后

根据每个相关像素的分别关联的经调整的运动值，对于该每个相关像素选择来自第一转换过程和/或第二转换过程的贡献。

2.如权利要求1所述的方法，其中调整集中于第一区域的所述相应像素的运动值包括步骤：

出于通过检测第一区域内的最大运动来选择第二像素的目的，通过基于集中于第一区域的所述相应像素与第一区域内的每个其他像素之间的实际距离的另外值，来调整第一区域内的像素的运动值；以及

将关于所选择的第二像素的调整值用作所述集中于第一区域的相应像素的新运动值。

3.如权利要求1所述的方法，其中调整所述集中于第二区域的相应像素的运动值包括以下步骤：

出于通过检测第一区域内的最小运动来选择第二像素的目的，通过基于集中于第二区域的所述相应像素与第二区域内的每个其他像素之间的实际距离的另外值，来调整第二区域内的像素的运动值；以及

将关于所选择的第二像素的调整值用作所述集中于第二区域的相应像素的新运动值。

4.如权利要求1所述的方法，其中第一预定尺寸的第一区域大于第二预定尺寸的第二区域。

5.一种用于序列图像中图像转换的图像处理装置，所述装置包括：

运动检测器，其将图像或是图像的一部分中的每个相关像素与表示该像素的图像内运动程度的相关运动值相关联；

第一运动值调整器，其基于基本集中于每个所述相应像素的第一预定尺寸的第一区域内发现的第二像素的运动值，调整每个相关像素的运动值，所述第二像素是与其相关联的运动值指示第一区域中任意像素的最大运动的像素；

第二运动值调整器，其基于位于基本集中于每个所述相关像素的第二预定尺寸的第二区域的第二像素的运动值，调整每个相应像素的运动值，所述第二像素是与其相关联的运动值指示第二区域中任意像素的最小运动的像素；以及

转换选择器，其根据每个相关像素的分别关联的经调整的运动值，对于该每个相关像素选择来自第一转换过程和/或第二转换过程的贡献。

6.如权利要求5所述的图像处理装置，其中静态图像重贴标签装置用于：

出于通过检测第一区域内的最大运动来选择第二像素的目的，通过基于集中于第一区域的所述相应像素与第一区域内的每个其他像素之间的实际距离的另外值，来调整第一区域内的像素的运动值；以及

将关于所选择的第二像素的调整值用作所述集中于第一区域的相应像素的新运动值。

7.如权利要求5所述的图像处理装置，其中运动值调整器用于：

出于通过检测第一区域内的最大运动来选择第二像素的目的，通过基于集中于第一区域的所述相应像素与第一区域内的每个其他像素之间的实际距离的另外值，来调整第一区域内的像素的运动值；以及

将关于所选择的第二像素的调整值用作所述集中于第一区域的相应像素的新运动值。

8.如权利要求5所述的图像处理装置，其中第一预定尺寸的第一区域大于第二预定尺寸的第二区域。

9.一种数据载体，包括计算机可读指令，当计算机执行该指令时，使该计算机执行权利要求1所述的方法。

10.一种数据载体，包括计算机可读指令，当计算机执行该指令时，致使该计算机操作如权利要求5的图像处理装置。

Images