CN101202829B - 自运动适应图像处理的装置和方法 - Google Patents

Abstract

用于图像转换的图像处理设备包括以第一级别灵敏度检测运动的第一运动检测装置；以第二级别灵敏度检测运动的第二运动检测装置；第二级别灵敏度是比第一级别灵敏度更高的灵敏度，因此第二运动检测装置能够比第一运动检测装置检测更小量的运动；转换选择装置根据在图像中给出的点是否检测到运动来为那个点选择第一转换处理或第二转换处理，如果在图像或其一部分中被第一运动检测装置检测到的运动程度超出了阈值量，则转换选择装置独立于第二运动检测装置操作。

Description

自运动适应图像处理的装置和方法

技术领域

本发明涉及运动自适应图像处理。

背景技术

视频图像捕获表现为空间和时间的采样过程。被捕获的图像作为一组以列或行排列的像素。连续图像在时间上间隔的瞬间被捕获。

复杂化是通常使用了隔行视频获取和处理。在隔行视频信号中，每个图像被处理为两组或场交替行的像素。例如，奇数行可以被包含在一场中，而偶数行能够被包含在下一场中。对于在视频信号带宽中的非实质增加，隔行技术的优点是其给出明显的双倍图像速率，从而减小闪烁效应。

如果尝试获取或处理具有对于各自的采样速率而言太高的空间或时间频率的视频资料，所有这些方面的采样能够引起混叠效应。但是在隔行到逐行扫描视频转换的区域中，特定的混叠问题将在此描述。

如果需要在隔行视频和逐行扫描(非隔行)视频间转换，那么对于非运动图像仅仅需要插入两个连续场来重建具有当前所有像素行的非隔行帧。然而，如果存在任何有效的场间运动，该途径可以不工作。在这种环境中在场中丢失的像素行从相同场的其他像素中能被适当的导出。换句话说，场内内插处理被应用。

实际上，视频源可以包含图像序列，在其中一些区域表现为运动图像而另一些区域不表现为动态图像。例如，当新闻广播员对固定摄像机讲话，新闻广播员的嘴、脸和头可以显著地运动，同时他们的躯干、桌子和他们后面的墙不显著地运动。

因此，上述记录的不同转换策略在同一图像的不同区域中可以是合适的。因此对于给出的像素决定应用哪个策略是重要的。

对于非活动部分内插通常会给出比隔行坏的结果，然而对于活动部分隔行通常会给出比内插坏的结果。因此，更加合适的技术的选择是非常重要的。

值得注意的，视频信号中噪声的存在能够在连续场中导致可以被错误地解释为运动的分歧，依次导致不同的内插策略被采用以致在逐行图像中给出不同的输出结果，从而增剧噪声。这种“运动噪声”的例子在内插策略中导致的中断能够在附图12中所示的内插图像的一些阶梯中看到。

因此期望减小作为表示活动图像区域的像素的噪声诱导的误分类的影响。

本发明的目的是为了减少上述问题。

发明内容

在本发明的一个方面，用于图像转换的图像处理装置，其中图像转换是从隔行图像到逐行扫描图像，所述设备包括以第一级别灵敏度检测运动的第一运动检测装置，以第二级别灵敏度检测运动的第二运动检测装置，其中第二级别灵敏度是比第一级别灵敏度更高的灵敏度，因此第二运动检测装置能够比第一运动检测装置检测到更小量的运动，转换选择装置根据在图像中给定点处是否检测到运动来为所述给定点选择使用第一转换处理或第二转换处理，其中仅当包括所述给定点的图像或其一部分中被第一运动检测装置检测的运动程度超出了阈值量时，所述转换选择装置才使用第二运动检测装置。

在本发明的另一个方面，用于图像转换的图像处理方法，其中图像转换是从隔行图像到逐行扫描图像，所述方法包括步骤：在图像判断中以第一级别灵敏度检测运动，仅当在图像片断中使用第一运动检测器检测的运动程度超过阈值时，才在所述图像片断中以第二级别灵敏度检测运动，根据在图像片断中的给定点处是否检测到运动来所述给定点选择使用第一转换处理或第二转换处理。

优选的，上述方面允许图像通过更灵敏的检测方法的条件使用被处理。因此，详细的运动检测能因而被应用在活动区域边界直到更精确的确定其范围，同时在通常的静态区域缓和运动噪声的影响。该调节提高了例如隔行到逐行扫描转换中的所有图像质量。

本发明进一步的表现方面和特征被定义在从属权利要求中。如果独立权利要求像在权利要求中的明确设置一样合适和更唯一，从属权利要求中的特征可以与特征结合。

附图说明

本发明的上述和其他对象、特征和优点将从以下结合下述附图被理解的具体实施方式的详细描述中体现。

图1图解说明了平面屏幕显示配置；

图2图解说明了在演播室环境中的视频混合操作；

图3图解说明了隔行到逐行转换器；

图4a到4c图解说明了梯度监测；

图5和6a到6e图解说明了空间块匹配操作；

图7a到7b图解说明了混叠情形；

图8a到8d图解说明了混叠检测技术；

图9a图解说明了运动自适应内插；

图9b图解说明了在连续视频场中的运动检测；

图10图解说明了高频校验操作；

图11a&11b图解说明了滤波器配置；

图12阐明了运动噪声效应；

图13图解说明了图像场的片段；

图14一个说明图像处理方法的流程图。

具体实施方式

图1图解说明了平面屏幕显示配置10，包括隔行视频资料源20、隔行到逐行扫描转换器30和如液晶(LCD)或等离子体显示器的显示面板40。其图解说明了隔行到逐行扫描转换的典型应用，由于许多广播信号是隔行格式而许多平板显示器是以逐行格式为最成功的操作。因此在图1中，由隔行视频资料源20接收的广播信号被用来生成隔行信号以显示。其经过隔行到逐行扫描转换器30以便从隔行扫描信号中生成逐行扫描信号。传送给显示器40的是逐行扫描信号。

可以理解，隔行视频资料源20可以不需要是广播接收器，但是可以为视频重现装置如DVD播放器、网络连接如因特网连接等等。

图2图解说明了在演播室环境中的视频混合操作，为了给出隔行到逐行扫描转换应用的另一个例子。在此，提供了隔行资料源50和逐行扫描资料源60。这些源可以为摄像机、视频重现装置如视频磁带记录器或硬盘记录器，广播接收器或类似的。

隔行资料源50的隔行输出被提供给隔行到逐行扫描转换器70以生成逐行扫描信号。该逐行扫描信号连同来自源60的逐行扫描资料一起由视频混合器80处理以生成处理后的逐行扫描输出。当然，如果需要的话视频混合器80的逐行扫描输出能被转换回到隔行格式，例如，对于并后续的广播或记录。从中可以理解到，视频混合器80只是视频处理装置的一个例子；可代替的，数字视频效应单元例如能被用在图2中的这个位置。

图3图解说明了隔行到逐行转换器。概括讲，转换器包括场内内插器如空间内插器100，运动自适应内插器110和一组三场存储器120。

图3中的转换器以与输入隔行场相同的重复频率生成输出逐行扫描帧。因此，对转换器最主要的需求是在每个隔行场生成“丢失”像素以将隔行场转变为逐行扫描帧。其能通过两种方法之一达到。一方面，空间内插器100通过空间内插在相关场中生成“丢失”像素。换句话说，这是场内操作。另一方面，运动自适应内插器通过从相对极性的邻接场插入像素以生成丢失像素。其仅当在场之间不存在图像运动时有效，因此图3的基本结构为当运动自适应内插器110的输出被用在图像运动没有被检测到的像素位置时，空间内插器100的输出被用在图像运动被检测到的图像位置。对于简单的操作，空间内插器在每个像素位置进行操作，且运动自适应内插器选择空间内插器的输出或选择从相对极性的另一个场中选择像素用于输出，或混合上述两个。

运动自适应内插器将在以下被更加详细的描述。首先，空间内插器将被简单描述。

空间内插器包括1∶2水平像素缩放器130，空间块匹配器140，最小化误差选择器150，对角线内插器160，圆点噪声消减器170，和凯尔系数校正器180。这些的每个操作总结如下。

缩放器130在输入隔行场的每两个像素之间利用水平线性内插来生成一个附加的像素值(也就是1∶2缩放操作)。因此，水平分辨率(至少按照有效像素值的数目)被加倍，但是在此阶段对于垂直分辨率而言没有不同。

空间块匹配器140和对角线内插器160的所有操作被用来检测与在新的像素被内插的像素位置相关的图像特征的定向，然后沿着图像特征方向来应用内插。因此如果当前像素位置将被内插位于例如与水平成45°上的对角线图像特征(行、边缘等)，新像素的内插会沿着该45°的方向发生。这趋向给出一个比限制水平或垂直内插更好的输出结果。该处理的关键部分明显的是在每个像素位置检测图像特征的方向。

现参看图4A-4C，该检测利用块匹配处理来被执行。图4A图解说明了围绕在未知像素220(内部具有问号标记的圈)的位置上的两个像素块200、210之间的成功的块匹配。真正地，在当前图中使用的符号是指示一个已知像素的正方形，然而圆圈指示一个将由对角线内插器160来内插的像素。图4A-4C中的阴影是示意性的图像特征的表示。

因此，参看图4A，围绕在未知像素位置220上的块200、210之间的成功的块匹配被获得，指示1/2的图像特征的梯度。

现在转向图4C，图像特征是垂直的并且这又是在重叠块230、240之间的成功的块匹配。

然而，在图4B中，图像特征具有1/1的梯度。在完整的像素位置的块上不可能获得成功的块匹配。在块250、260之间的成功的匹配出现在半个完整的像素位置上。从而，为了检测这种特性的梯度(实际上比1/2更尖锐的任何梯度)，需要在子像素精确度上操作。在当前情形中，通过使用来自1∶2缩放器中的像素，半像素的精确度被采用。如果仍需使用更高精确度(例如四分之一像素精确度)，那么检测到依然接近于垂直的梯度。

图5和图6A-6E图解说明了空间块匹配操作。

如上所记录的，空间块匹配在子像素精确度上被执行，在这种情况中为半像素精确度。

块尺寸的范围被使用，具有相应的检索范围(相关于在测试下的像素位置的最大位移)。考虑1∶2缩放操作，块尺寸的例子和检索范围被下表所给出：

块尺寸(在缩放像素中)	检索范围(在缩放像素中)
		3v×5h	0h
3v×5h	±1h
		3v×7h	±2h
		3v×41h	±19h

图5图解说明了围绕在未知像素位置320上的3v(垂直)乘7h(水平)像素300、310的两个块之间的块匹配操作。变量d表示为块的水平中心距离测试下的像素位置的水平位移。应用于块匹配的条件是这些块必须总是重叠在测试下的像素位置上。同样，块被示出在实际像素位移中移位的整数数目(因此m的位移对应于2m内插像素的位移)。从而，在图5中示出的特定的块尺寸允许九个可能的测试包括-2像素(图6A)-1像素(图6B)0像素(图6C)，+1像素(图6D)，和+2像素(图6E)的位移。

注意所述位移表示距离中心的位移。这两个块在相对的方向上移动相等的数量。对称位移被使用是因为另外匹配块可以检测与测试下的像素不相关的行或边缘。

每个匹配块的绝对差的和(SAD)被计算。其被如下定义：

$\mathrm{SAD}(x,y,d,n)=\underset{\mathrm{dx}=-n}{\overset{2}{\mathrm{\Σ}}}\underset{\mathrm{dy}=-3,-\mathrm{1,1}}{\mathrm{\Σ}}\underset{\mathrm{RGB}/\mathrm{YCbCr}}{\mathrm{\Σ}}|p(x-d+\mathrm{dx},y+\mathrm{dy})-p(x+d+\mathrm{dx},y+\mathrm{dy}+2)|$

其中x，y表示当前像素的坐标(y是帧行数目)，d是所测试的位移，以及n是所述块的“半径”(块的宽度等于n’＝2n+1)。

概括讲，SAD值为三个颜色元素(红，绿和蓝)组合而成，以及最小标准化SAD值决定内插梯度。各种检查用于避免如下所述的低质内插。

测量被用于避免混叠情形所引起的问题。图7A和7B图解说明了一种可能的混叠情形。

参看图7A，块340和350之间的匹配块提示未知像素330应该是暗灰色。这里，匹配块是100％成功并因此SAD值是0(注意这是一个示意性的例子)。

然而，在图7B中，块360和370之间的匹配块也是100％成功，又一次给出为0的SAD值。图7B的匹配块提示未知像素330应该是亮灰色。

匹配块结果的冲突是图7A和7B中所示的图像部分中对角线上密集的图像特征之间的混叠产物。当它首先表示每个对角线都是同等有效时(例如，从左上到右下的陡对角线或是一从右上到左下的更平缓的对角线)，处理规则被设立以允许进行适当的选择。

规则的基础是块匹配过程被限制以使得仅有被认为“行片断”的区域被检测。也就是说，块匹配中的每个块都应该包含行片断。

数字化的行片断被认为具有两种特性。首先，正被讨论的块的行沿着中心扫描线无变化，以及其次是在正被讨论的块中的扫描线之间具有垂直转变。这些特性被测试的方式通过图8A-8D被描述。

在图8A中，一源场包括多个对角线。图8B示意性说明了图8A中图像中的一行像素。图8C和8D图解说明了图8B中所示对角线的两个边缘。从中可见，这些边缘中的每个都具有亮度上单调变化的像素的一部分。再回头参看图8A，从中可见这些片断在相邻像素行之间显现为垂直转变。

那么，回到图7A和7B，根据上述规则图7A的块匹配被拒绝进行图7B中的块匹配。这是因为图7B中两个块的像素的中心线表现为在亮度上单调变化，而图7A的块340，350的像素的中心线不是。

关于每个颜色分量(如，R，G和B)的测试被分别执行。所有三个测试必须分别通过。可选择的是，例如为节约硬件，少于三个测试被执行。例如，只有亮度，或是只有一个颜色分量被测试。当然，可选择的，YCbCr或YPbPr表示可以被测试。

对角线内插器160是一个简单的像素平均器；给一个方向其可以拾取该方向上在线下的像素和该方向上在线上的像素并且对它们进行平均。

圆点噪声消减器170进行应用于对角线内插器160输出的处理。一个测试被应用于检测内插像素是否在四个相邻的垂直和水平像素的最大和最小值内，例如，该内插像素正上，正下，正左和正右的像素。注意内插像素上边和下边的像素是实像素，而左边和右边的像素是内插像素本身。

如果内插像素不在这个范围内，则；

使v作为所考虑像素的初始值，并使v’为v，被夹紧为所述4个局部相邻像素的范围内。

使新像素值为kDNRv’+(1-kDNR)v，其中kDNR是可编程的常数。

现在描述凯尔系数校正器180的操作。

在目前的讨论中，参照凯尔系数可以简单地帮助解释示范性的系统的这部分的操作。滤波器的实际使用是简化了对于源图像没有使用对其可获得的全带宽的知识，无论是由于扫描假象或是低通滤波处理所造成的。

该凯尔系数是表示逐行扫描和隔行图像特性的数量。为了表现被扫描的信息，通常认为可能垂直带宽中仅有70％(凯尔系数)被(应该被)表现。因此当执行隔行向逐行扫描转换时，尝试产生全垂直带宽图像是具有潜在危险的。可替代的是，使用补偿来解决凯尔系数小于1。

一种补偿凯尔系数的方法是在任何隔行到逐行的扫描算法的输出帧上使用70％带宽滤波器，然而，帧中的一个场是“真实”数据-例如，其被正确采样，则来自该场的内容通过定义一定完美的。因而使用只滤波内插行的方法。

图9a示意性说明了运动自适应内插器110的操作。内插器110包括场间块匹配器600，高频检测器610和混合器620。

场间块匹配器600使用来自当前输入场和三场存储器120的数据以执行场间运动比较。这包括将当前场(图9b中的F_N)的像素块与同类型在前场(F_N-2)中对应的定位块比较以及同样地比较同类型的在前场(F_N-1)和在前场(F_N-3)。这些比较结果被用来检测图像中的运动程度。

特别是，绝对差的加权和(SWAD)如下产生。

4个匹配块被执行以产生2个SWAD，SWAD_AREA和SWAD_LOCAL。这些匹配块是：

·在场F_N和F_N-2中的5h×4v加权块匹配。

·在场F_N-1和F_N-3中的5h×3v加权块匹配。

·在场F_N-1和F_N-3中的1h×1v加权块匹配。

·在场F_N和F_N-2中的1h×2v加权块匹配。

加权块匹配对重合像素之间的加权绝对差求和，SWAD。

$\mathrm{SWAD}=\underset{\mathrm{dx}=-2}{\overset{2}{\mathrm{\Σ}}}\underset{\mathrm{dy}=-\mathrm{2,0,2}}{\mathrm{\Σ}}\underset{\mathrm{RGB}/\mathrm{YCbCr}}{\mathrm{\Σ}}w(\mathrm{dx},\mathrm{dy})|F_{N-1}(\mathrm{dx},\mathrm{dy})-F_{N-3}(\mathrm{dx},\mathrm{dy})|$

其中F_N-1(dx，dy)是在当前像素的帧相关位置dx，dy的值。

典型加权值为：

5h×4v块[12/1024 23/1024 28/1024 23/1024 12/1024

32/1024 62/1024 77/1024 62/1024 32/1024

32/1024 62/1024 77/1024 62/1024 32/1024

12/1024 23/1024 28/1024 23/1024 12/1024]

5h×3v块[20/1024 39/1024 48/1024 39/1024 20/1024

48/1024 94/1024 117/1024 94/1024 48/1024

20/1024 39/1024 48/1024 39/1024 20/1024]

1h×2v块[128/256

128/256]

1h×1v块[255/256]-实际无加权

对第一两个SWAD求和给出了基于区域的匹配块，SWAD_AREA

对后者两个SWAD求和给出了局部匹配块，SWAD_LOCAL

所有三个颜色元素以相同的方式对SWAD起作用。系统需要只维持每个像素的三元素的SAD，然后它们被加权和合并来自块中其他像素的值。这意味着处理的这方面仅需要大约10bpp(每像素比特)的5行存储器。

可选择的是，高频率检测器610被安排检测输入场中的高频率。算法是基于下面的原理。如果交错两个源场产生很多高频率能量，则设法确定输入是适度静止的。只有静止视频可以产生可靠的高频率；高度混叠运动可以产生高频率，但是这不是场间内插所需要的情形。如果运动出现，则会产生高频率，其中场被不正确交错。

参看图10，高频率检测器使用来自当前场F_N的当前内插像素之上和之下的行和来自对应于丢失行的在前场F_N-1的行。HFC可以被认为是5×3相邻像素检测。

HFC_thresh1和HFC_thresh2是两个可编程的常数，其中前者大于后者。

设置标记：exceededHighEnergy＝false

每个分量(或是它们的子集)(RGB/YPbPr)-YPbPr表示在高清晰系统中的色空间，在标准清晰系统中都以同样方法用于YCbCr：

设置energy＝0

对于具有水平位置x＝-2，-1，0，1，2(相对于当前像素)的像素，使隔行(F_N-1)场值为v₀，以及当前场的上一行和下一行的值为v_-1和v₁，则：

如果v₀＜min(v₁，v_-1)，设置diff＝min(v₁，v_-1)-v₀

或如果v₀＞min(v₁，v_-1)，设置diff＝v₀-max(v₁，v_-1)

或设置diff＝0

如果(diff＞HFC_thresh1)，设置energy＝energy+(HFC_thresh1-HFC_thresh2)*weighting[x]

或如果(diff＞HFC_thresh2)，设置energy＝energy+(diff-HFC_thresh2)*weighting[x]

如果energy＞HFC_allowance，设置标记exceededHighEnergy＝true

这结束运行于每个分量上的处理。

随后，如果exceededHighEnergy＝true，给SWAD_AREA增加可编程的常数值，HFC_pennlty。

SWAD_AREA的增加将趋向于反对在那输出位置的运动自适应像素的使用。

混合器620依据标准SWAD_AREA和SWAD_LOCAL和不同的阀值thresh_1，2，etc运行

如果SWAD_LOCAL＞thresh₁，仅使用空间内插场F_N’

否则如果SWAD_AREA＞thresh₂，仅使用空间内插场F_N’

否则如果SWADA_AREA＜thresh₃，仅使用场F_N-1

否则混合场F_N-1和F_N’

使α＝(thresh₂-SWAD_AREA)/(thresh₂-thresh₃)

所得像素值＝αF_N-1+(1-α)F_N’。换句话说，α表示像素活动并决定来自场内和场间内插器的贡献。

同时仅有F_N-1和F_N′在上述等式中混合，从中可以意识到，在其中的附加图像场或部分在给定的像素位置与F_N-1和F_N′混合，例如如果根本没有运动，可以是用于图像的交替行的F_N的未滤波行，或是更早的图像场F_N-3。

在视频输入的连续场的当前噪声能够导致明显的可检测到的运动，然而实际上在那里没有运动。这种噪声能够影响SWAD差计算以及也能够类似于高频假象，影响高频检验。

用于运动检测(但不是用于输出帧的最终产生)的水平滤波输入场数据的高斯滤波器能够帮助减小噪声和因此减小伪运动检测。滤波器越长，噪声被消除就更多，因此更小的运动被检测到。然而，如果滤波器变得非常大，那么有效运动的检测能够被折衷。实际上，7抽头滤波器(7h×3v)提供了良好的折衷。

然而，HFC和SWAD的计算在它们对于噪声的灵敏度方面是不同的。参见图11a和11b，被如上描述并且显示在图11a中的普通输入高斯滤波器401被图11b的新配置代替，在图11b中两个不同的滤波器402、403被采用，分别计算对HFC和SWAD的输入。SWAD计算滤波器保留相似的7抽头滤波器(7h×3v)402，同时HFC计算滤波器被减少为5抽头滤波器(5h×1v)403。从而HFC计算滤波器整体提高了其对高的空间频率特征的灵敏度(也就是，与SWAD灵敏度相比对更小尺寸的特征的灵敏度)。具体的，移除垂直滤波器(通过从3v移动至1v)，其对在图像中如头发的细水平线中的垂直运动的检测施加影响，提高灵敏度。

然而重要的，SWAD_AREA和SWAD_LOCAL自身计算是基于不同的块尺寸。(这使得SWAD_LOCAL被用来细微调整运动被检测到的区域边缘)。因此，这些计算为此也具有对噪声不同的灵敏度。具体的，SWAD_LOCAL显示了在输入数据中相比于SWAD_AREA对噪声更加灵敏，潜在地导致伪运动的检测。原则上，仍然进一步分开滤波器的操作，使得对SWAD_LOCAL计算的输入经受比用在SWAD_AREA中可用的更长的滤波器。然而，这是作为存储先前场N-1、N-2和N-3两份拷贝的不太期望的解决方案，每个以两个不同方式被过滤，在存储和处理方面将是代价高的。此外，使用长滤波器太多地平滑输入数据会影响SWAD_LOCAL提供对运动区域边缘的细微调整的能力。

如上所述，当SWAD_LOCAL的值大于阈值thresh₁时，在局部区域中运动被检测。如果在局部区域中运动被检测，那么仅应用空间内插。然而由于SWAD_LOCAL对噪声相当灵敏，它能宣告噪声假象以表示运动，导致空间内插局域化区域的使用集中于这些噪声假象。从而‘运动噪声’能导致在另外的均匀图像区域中内插策略的矛盾应用，导致变为内插的中断，和不必要的空间内插的使用。对运动噪声的灵敏度的结果可以例示于图12A。在该图中，通过从连续场中交错像素来成功内插台阶，除了标识区域501以外，在其中由于噪声造成的明显运动的检测通过SWAD_LOCAL触发围绕噪声源的空间内插的不必要的应用。

从而，在标识区域中，场内内插(在这种情况中，空间内插)导致在作为像素上方和噪声区域下方的台阶之间的模糊对于台阶中间部分不是正确颜色。采用场内内插的结果表明不如在确定的静态区域中的场间内插好。

为了解决该问题，在本发明的实施例中SWA_LOCAL被有条件的使用。特别是，如果在图像场的相同片段中SWAD_AREA检测到足够的运动则仅SWA_LOCAL被使用。这使用在实际视频图像中的观测，对于一个或两个像素在围绕的片段内的不存在运动而表现为运动是不可能的。

因此SWAD_LOCAL的使用依赖于是否在运动中检测到的像素与运动中未检测到的像素的比率-但对于其运动检测实际上是可信赖的-超过阈值。该比率的确定详述如下。

在本发明的一个实施例中，像素被分为三类之一：

复杂的-来自相邻像素中的被用作为来自这些像素的运动信息的运动信息被认为不可靠

中度复杂的-来自这些像素中的运动信息被认为可靠的

简单的-来自这些像素的运动信息被认为不确定

如果是个‘简单的’的区域，那么不可能断定运动是否存在。如果是个‘复杂的’的区域，那么原则上是静态的(即使可能是由于混叠运动)，并且不会认为是运动信息的可靠源。在运动与静态的中度复杂像素的比率的基础上确定SWAD_LOCAL的使用。

中度复杂像素被定义为不复杂或不简单的任何像素。

对于像素位置x，y，以及色彩通道c(例如红，绿和蓝)，如果对于任何通道c，像素是复杂的，

|F_N(x，y，c)-F_N-2(x，y，c)|+sd＜|F_Sx(x，y，c)-F_N-1(x，y，c)|和|F_N-1(x，y，c)-F_N-3(x，y，c)|+sd＜|F_Sx(x，y，c)-F_N-1(x，y，c)|

其中sd为当前片断中像素的标准偏差，其在场N-1中被计算，F_N(x，y，c)为当前输入场，F_N-1(x，y，c)，F_N-2(x，y，c)和F_N-3(x，y，c)为先前输入场，F_SX(x，y，c)为当前输入场的空间内插形式。可选择地，该标准偏差能被夹紧为预定最大值。可以理解，对诸如绝对差的和的标准偏差的选择能以适当地缩放方式被使用。

在上述不等式对的每个情况中，左手侧为值显示为怎样静态的测量，而右手侧为空间和隔行图像是如何不同的测量。

在该情况中对全部保持N-3场而言存储空间不足，基于三种色彩通道的和∑_{c＝red，green，blue}|F_N-1(x，y，c)-F_N-3(x，y，c)|的形式通过第二不等式可被代替使用。

同样地，对于像素位置x，y，以及色彩通道c(例如红，绿和蓝)，如果对于全部通道c，像素是简单的，

|F_Sx(x，y，c)-F_N-1(x，y，c)|＜sd和|F_N(x，y，c)-F_N-1(x，y，c)|＜sd，

其中各项定义如上。

根据上述不等式的测试，因此中度复杂像素是为没有被确定为复杂或简单的任何像素。

可以理解，涉及‘任何’或‘全部’色彩通道包括了具有诸如亮度通道的单一色彩通道的系统。

通过颠倒上述四个不等式，如通过将‘＜’变换为‘＞＝’以及将‘和’变换为‘或’，这些不等式一起成为对于中度复杂像素的肯定测试。当中度复杂像素被确定时，片断统计‘计数中度复杂的’(CMC)被递增。如果SWAD_AREA也大于阈值，片断统计‘计数运动中度复杂的’(CMMC)也被递增。

现参看图13，这些被生成的统计上的片断通过将场分割为32个像素×16个场行尺寸的多个片断来创建。在场边缘，片断被做成更大以适合剩余的边缘像素，而不是具有被统计不可靠的更小边缘片断。在图13中所示的1920×1080高清晰图像场的情况中，存在精确的水平适合而不是精确的垂直适合，因此在所示图像底部需要垂直的更大的片断。

那么SWAD_LOCAL仅当CMMC∶CMC的比率超过阈值时使用。典型的，其表示为CMMC＞CMC*Constant₁，其中Constant₁确定期望的阈值。可选择地，CMMC＞Constant₂的附加需求(也就是指示运动的中度复杂像素的最小数目)能被利用。此外，阈值能依据片断的变化来设置。例如，可以根据变化级别来选择四个预定阈值中的一个。

通过实施上述SWAD_LOCAL的有条件使用，因此依然围绕在运动区域的边缘应用细微运动检测，同时在一般的静态区域中减轻运动噪声的影响。这在隔行到逐行扫描转换时提高了整个图像质量。

因此，总之，在本发明实施例中，SWAD_AREA和SWAD_LOCAL在当前和先前场的不同领域上提供各自的运动测试。在静态和基于运动的内插到逐行扫描转换的方法之间切换的决定取决于这些测试是否找到了运动。然而，由于SWAD_LOCAL对噪声更敏感，本发明的实施例将SWAD_LOCAL的使用限制在运动的阈值程度通过SWAD_AREA的应用被确定的时候。本发明的实施例中，运动的阈值程度是基于在测试片断内被识别为对于静态或运动判断是可靠基础的那些像素。

对于转换隔行图像到逐行扫描图像的图像处理的相应方法，将参考图14来描述，其包括在用于处理的当前输入图像中选择片断的步骤(S1)；利用具有第一级别灵敏度的第一运动检测器检测片断中的运动的步骤(S2)；如果利用第一运动检测器检测到片断中的运动程度超过阈值(S3)，利用具有第二级别灵敏度的第二运动检测器检测片断中的运动的步骤(S4)，；以及对于在片断中给出的点根据在该点是否检测到运动来分别选择空间内插或图像场交错(S5)。

本领域技术人员在上述方法上进行的与在此公开的装置的不同操作相对应的变化被认为在本发明的范围内，包括：

一第一运动检测器在大于第二运动检测器在图像之间执行绝对差的加权和的相应区域的区域上在图像之间执行绝对差的加权和，

-通过使用第一运动检测器确定的运动的阈值度仅基于被分类为对运动确定提供可靠基础的图像片断的这些像素，以及

-‘可靠像素’被分类为在此公开的‘中度复杂’像素。

本领域技术人员将意识到场F_N’和F_N-1的混合是适合于图像序列中的隔行图像的多个潜在混合有效选择之一。归纳F_N’到F_SX和F_N-1到F_M，内插模式的选择可定义如下：

Mode 1:0个场系统延迟(如说明书中)

F_sx＝和场F_N相关的内插场

F_M＝场F_N-1

Mode 2:1个场系统延迟，向后混合

F_sx＝和场F_N-1相关的内插场

F_M＝场F_N-2

Mode 3:1个场系统延迟，向前混合

F_sx＝和场F_N-1相关的内插场

F_M＝场FN

从而，确定复杂像素的等式将对应于

|F_N(x，y，c)-F_N-2(x，y，c)|+sd＜|F_Sx(x，y，c)-F_M(x，y，c)|和

|F_N-1(x，y，c)-F_N-3(x，y，c)|+sd＜|FSx(x，y，c)-F_M(x，y，c)|；

确定简单像素的等式将对应于

|F_SX(x，y，c)-F_M(x，y，c)|＜sd和

|F_N(x，y，c)-F_N-1(x，y，c)|＜sd，

混合像素值将对应于αF_M+(1-α)F_SX

在适当的软件控制下本发明能以可编程的或半编程的硬件操作来实现。其可以是通常目的的计算机或如ASIC(专用集成电路)或FPGA(现场可编程门阵列)的配置。该软件可以被提供在数据承载或诸如磁盘或固态存储器的存储媒介上，或经由诸如网络或因特网连接的传输媒介，或经由上述的组合。

虽然本发明的具体实施方式在此参照附图被详细阐述，可以理解本发明并不局限于这些实施方式，并且在不脱离由附加权利要求所定义的本发明的范围和精神内本领域技术人员可以实现其不同的变化和修改。

参数的一些例子

	YPbPr设置	RGB设置
			HFC加权	[24542]	[24542]
HFCthresh1	40	40
			HFCthresh2	8	8
HFCallowance	218	128
			HFCpenalty	10	25
thresh1	60	120
			thresh2	20	50
thresh3	25	60
			Constant1	32/256	32/256
Constant2	32	32

Claims (15)

1.一种用于图像转换的图像处理设备，其中图像转换是从隔行图像到逐行扫描图像，所述设备包括：

以第一级别空间频率灵敏度检测运动的第一运动检测器；

以第二级别空间频率灵敏度检测运动的第二运动检测器；

第二级别灵敏度是比第一级别灵敏度更高的灵敏度，使得第二运动检测器能够比第一运动检测器检测更小量的运动；

转换选择器，根据在图像中给定点处是否检测到运动来为所述给定点选择使用第一转换处理和/或第二转换处理，其中

仅当包括所述给定点的图像或其一部分中被第一运动检测器检测的运动程度超过阈值量时，所述转换选择器才使用第二运动检测器。

2.根据权利要求1的图像处理设备，其中灵敏度级别与图像特征的尺寸相关，使得更高级别的灵敏度相应于相对更高空间频率特征的灵敏度。

3.根据权利要求1的图像处理设备，其中第一和第二运动检测器是被配置为分别在第一级别灵敏度和第二级别灵敏度操作的单一运动检测器。

4.根据权利要求1的图像处理设备，包括：

场内内插器，用于在单一图像的一部分或全部中执行空间内插；以及

交错器，用于交错多个图像中的一部分或全部；

其中第一转换处理是被场内内插器实现的场内内插，以及第二转换处理是由交错器实现的图像交错。

5.根据权利要求1的图像处理设备，其中第一和第二运动检测器的每个都执行图像之间的绝对差的加权和以检测关于图像位置的图像运动。

6.根据权利要求5的图像处理设备，其中为了检测关于图像位置的运动，第一运动检测器在其内执行图像之间的绝对差的加权和的比较区域大于第二运动检测器在其内执行图像之间的绝对差的加权和的相应的比较区域。

7.根据权利要求1的图像处理设备，其中由第一运动检测器检测到的运动程度是仅基于被分类为对运动检测提供可靠基础的图像片断的那些像素，

其中如果对于任何色彩通道在相应于当前图像或前一个图像的图像场极性相同的成对隔行图像之间的绝对差加上在图像片断中的像素的标准偏差大于或等于在那个像素位置的当前图像的场内内插形式和直接前一图像场之间的绝对差，并且如果对于全部色彩通道，在当前图像的空间内插形式和直接前一图像场之间或者当前图像和直接前一图像场之间的绝对差大于图像片断中在那个像素位置的像素的标准偏差，像素被分类为对于运动确定提供可靠基础。

8.根据权利要求7的图像处理设备，其中像素被分类为对运动确定提供可靠基础，如果对于像素应置x，y，以及任何色彩通道c，

F_SX(x，y，c)-F_M(x，y，c)|＞＝sd或

|F_N(x，y，c)-F_N-1(x，y，c)|＞＝sd

以及

对于像素位置x，y，和所有色彩通道c，

|F_N(x，y，c)-F_N-2(x，y，c)|+sd＞＝|F_SX(x，y，c)-F_M(xy，c)|或

|F_N-1(x，y，c)-F_N-3(x，y，c)|+sd＞＝|F_SX(x，y，c)-F_M(x，y，c)|

其中sd是在先前图像场F_N-1中被计算的图像片断中像素的标准偏差，F_N(x，y，c)为当前输入图像场，F_N-1(x，y，c)，F_N-2(x，y，c)和F_N-3(x，y，c)为先前输入场，F_SX(x，y，c)为输入图像场F_N或F_N-1的空间内插形式且F_M(x，y，c)为F_SX(x，y，c)的前一或后一有效输入图像场。

9.一种用于图像转换的图像处理方法，其中图像转换是从隔行图像到逐行扫描图像，所述方法包括步骤：

在图像片断中以第一级别灵敏度检测运动；

仅当在图像片断中使用第一运动检测器检测的运动程度超过阈值时，才在该图像片断中以第二级别灵敏度检测运动；

根据在图像片段中的给定点处是否检测到运动来为所述给定点选择使用第一转换处理和/或第二转换处理。

10.根据权利要求9的方法，其中灵敏度级别与图像特征的尺寸相关，使得更高级别的灵敏度相应于相对更高空间频率特征的灵敏度。

11.根据权利要求9的方法，其中第一转换处理是场内内插，以及第二转换处理是图像交错。

12.根据权利要求9的方法，其中在图像片断中以第一级别灵敏度检测运动的步骤和在图像片断中以第二级别灵敏度检测运动的步骤的每一个都包括步骤：

在图像之间执行绝对差的加权和以检测关于图像位置的图像运动。

13.根据权利要求12的方法，其中在图像之间执行绝对差的加权和以便以第一级别灵敏度检测在图像片断中的运动的步骤是基于大于用来在图像之间执行绝对差的加权和以便以第二级别灵敏度检测在图像片断中的运动的步骤的相应比较区域的比较区域。

14.根据权利要求9的方法，其中检测到的运动程度是仅基于被分类为对运动检测提供可靠基础的图像片断的那些像素，所述方法包括步骤：

如果对于全部色彩通道在相应于当前图像或前一个图像的图像场极性相同的成对隔行图像之间的绝对差和在图像片断中的像素的标准偏差一起是大于或等于在那个像素位置的当前图像的空间内插形式和直接前一图像场之间的绝对差，并且如果对于任何色彩通道，在当前图像的场内内插形式和直接前一图像场之间或者当前图像和直接前一图像场之间的绝对差大于图像片断中在那个像素位置的像素的标准偏差，将像素分类为在图像片断中对于运动确定提供了可靠基础。

15.根据权利要求14的方法，包括步骤：

将在图像块中的像素分类为对于运动确定提供可靠基础，如果对于像素位置x，y，以及任何色彩通道c，

|F_SX(x，y，c)-F_M(x，y，c)|＞＝sd或

|F_N(x，y，c)-F_N-1(x，y，c )|＞＝sd

以及

对于像素位置x，y，和所有色彩通道c，

|F_N(x，y，c)-F_N-2(x，y，c)|+sd＞＝|F_SX(x，y，c)-F_M(x，y，c)|或

|F_N-1(x，y，c)-F_N-3(x，y，c)|+sd＞＝|F_SX(x，y，c)-F_M(x，y，c)|

其中sd是在先前图像场F_N-1中被计算的测试区域中像素的标准偏差，F_N(x，y，c)为当前输入图像场，F_N-1(x，y，c)，F_N-2(x，y，c)和F_N-3(x，y，c)为先前输入场，F_SX(x，y，c)为输入图像场F_N或F_N-1的空间内插形式且F_M(x，y，c)为F_SX(x，y，c)的前一或后一有效输入图像场。

Images