CN101106685A - 一种基于运动检测的去隔行方法和装置 - Google Patents
一种基于运动检测的去隔行方法和装置 Download PDFInfo
- Publication number
- CN101106685A CN101106685A CN 200710145745 CN200710145745A CN101106685A CN 101106685 A CN101106685 A CN 101106685A CN 200710145745 CN200710145745 CN 200710145745 CN 200710145745 A CN200710145745 A CN 200710145745A CN 101106685 A CN101106685 A CN 101106685A
- Authority
- CN
- China
- Prior art keywords
- pixel
- motion
- motion detection
- difference
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
本发明提供了一种基于运动检测的去隔行方法,包括:计算场间差值,按照预先设置的检测阈值与所述场间差值的对比关系,确定静止区域和运动区域,对于参考场,将其原始数据作为输出数据,对于非参考场,对静止区域输出其原始数据,对运动区域采用分级边沿自适应滤波方法进行插值,输出插值结果,将所述参考场和非参考场的输出拼接成逐行输出的图像,输出逐行图像信息。通过本发明所述的方法,可以兼顾计算复杂度、计算延迟、内存占用、以及去隔行效果。能够提供高质量画质,且内存访问频率低、内存占用小,并便于在数据信号处理器上实现。本发明还提供了一种基于运动检测的去隔行装置。
Description
技术领域
本发明涉及计算机图像处理领域,特别是涉及一种基于运动检测的去隔行方法和装置。
背景技术
目前,最常用的广播电视制式包括525隔行/60Hz场频的NTSC制式,所述制式主要用于北美和日本;625逐行/25Hz帧频的PAL制式,所述制式主要用于欧洲和中国;以及625逐行/25Hz帧频的SECAM制式,所述制式主要用于法国、东欧和中东等地区。多种制式的存在对于简便互换国内外节目和现场直播、转播体育赛事造成了很大的障碍。因此,制式之间的相互转换成为广播电视领域的重要研究课题。并且,随着应用逐行扫描格式的高清晰度电视、PC机视频、背投电视、等离子电视等高清晰度大屏幕显示器的出现;以及由于传统隔行扫描技术的固有特性而无法消除的损坏图像质量,如边缘闪烁、图像垂直清晰度降低以及爬行等现象,所以隔行扫描已不能满足目前的需要。在目前隔行、逐行扫描技术并存的过渡阶段,在不同设备之间传输视频信号进行视频格式转换就显得十分必要。故不可避免地要进行隔行到逐行的转换,即去隔行技术。
近20年来,已经提出了许多种去隔行方法,其采用的插值方法从简单的线性过渡到非线性自适应、以及运动补偿,其采用的场参考信息也由简单的单帧到多帧。(《加权自适应的去隔行方法》,上海交通大学学报,2003年3月)公开的基于运动补偿与时空中值滤波的加权自适应方法,将运动补偿技术与基于方向的时空滤波方法相结合,去隔行插值结果是运动补偿时间插值和基于方向的时空中值滤波方法的加权和,在运动矢量估计不准确的情况下,利用权值的自适应使基于方向的时空中值滤波占主导地位,有效保持图像中的运动边界,并减小运动补偿的插值误差。但所述去隔行技术伴随着庞大的计算量,所要处理的数据量大,对硬件要求高。(《一种新型基于运动补偿的自适应去隔行方法》,微电子学与计算机,2002年9月)公开的基于运动补偿的自适应方法,其包括双向块匹配运动估计,消除块效应和自适应插值三个处理模块,虽然性能优良,但其方法中的双向块匹配运动估计处理模块无法避免帧等待延时与大量数据计算。在实际应用中,快速获得准确、可靠的运动矢量是较为困难的,这一问题的解决唯有求助于复杂且规模庞大的运动估计电路,即增加系统成本。因此,迫切需要一种快速有效的、兼顾计算复杂度、计算延迟、内存占用、以及去隔行效果等各个方面的去隔行技术。
发明内容
本发明所要解决的技术问题是提供一种基于运动检测的去隔行方法和装置,从而提供一种能提供高质量画质、低成本、且内存访问率低和内存占用小、便于在DSP上实现的快速去隔行方法。
为了解决上述问题,本发明公开了一种基于运动检测的去隔行方法,包括:
计算场间差值;
按照预先设置的检测阈值与所述场间差值的对比关系,确定静止区域和运动区域;
对于参考场,将其原始数据作为输出数据,对于非参考场,对静止区域输出其原始数据,对运动区域采用分级边沿自适应滤波方法进行插值,输出插值结果;
将所述参考场和非参考场的输出拼接成逐行输出的图像,输出逐行图像信息。
优选的,计算场间差值的具体方式为:
根据图像的当前帧及前一帧的四场数据进行同场间的差值运算。
优选的,按以下公式进行差值计算:
dif0=abs(f(x,y,n-2)-f(x,y,n))
dif1=abs(f(x,y,n-1)-f(x,y,n+1))
其中:x,y表示当前像素在场内的坐标,f(x,y,n)表示第n场内坐标为(x,y)的像素值。
优选的,按照以下步骤确定单个像素是运动还是静止:
判断所述两个场间差值是否都小于检测阈值,如所述场间差值都小于所述检测阈值则为静止像素,否则为运动像素。
优选的,确定运动像素和静止像素的步骤具体包括:
对单个像素的运动检测结果进行十字邻域相或,即在同一场内,如果当前像素与当前像素的上、下、左、右的四个像素中存在一个运动像素,则当前像素为运动像素。
优选的,确定运动像素与静止像素的步骤具体包括:
将当前场进行块区域划分,每个块区域与其他块区域不重叠,如果一个块区域内存在一个运动的像素,则所述块区域内的所有像素都是运动的。
优选的,所述对运动区域采用分级边沿自适应滤波方法进行插值的具体过程包括:
根据运动检测确定的运动像素的位置,利用当前帧的参考场数据对该点进行插值。
优选的,所述对运动区域采用分级边沿自适应滤波方法进行插值的具体过程包括:
输入各方向差值DIF(i);
计算各方向的相关性,确定所述差值中的最小差值minD;
判断所述最小差值minD与预设阈值的关系,如果所述minD大于所述预设阈值,则输出最邻近的上一点或下一点的数据信息,否则:
按方向相关性给予各DIF(i)不同的逻辑权重,即如果相邻上下两点之间的DIF小于所述预设阈值,则输出所述两点的平均值,不必再判断其他两点之间的相关性;否则依次类推,由最相邻点到最远离点。
优选的,对运动区域采用边沿自适应滤波方法进行插值,输出插值结果。
本发明还公开了一种基于运动检测的去隔行装置,包括:
场间差值计算单元,用于计算场间差值;
运动检测单元,按照预先设置的检测阈值与所述场间差值的对比关系,确定静止区域和运动区域;
输出单元,对于参考场,将其原始数据作为输出数据,对于非参考场,对静止区域输出其原始数据,对运动区域采用分级边沿自适应滤波方法进行插值,输出插值结果;
帧合成单元,将所述参考场和非参考场的输出拼接成逐行输出的图像,输出逐行图像信息。
与现有技术相比,本发明具有以下优点:
本发明通过运动检测,确定动态区域和静态区域,对动态区域和静态区域采用不同的处理方法,静态区域保留原始信息,动态区域采用分级边沿自适应滤波方法。兼顾计算复杂度、计算延迟、内存占用、以及去隔行效果。能够提供高质量画质,且内存访问频率低、内存占用小,并便于在数据信号处理器(digital singal processor,DSP)上实现。
以往的非线性滤波方法,大多是基于一种加权的思想,存在太多的不稳定性因素。本发明所述的分级边沿自适应滤波方法,是对边沿自适应滤波方法的改进,根据人眼的主观特性与客观的概率分布特性而提出,对于运动区域的图像细节与边缘提供很好的恢复,因而提供了更好的效果。
进一步,以往的运动检测,是基于两场或者相邻三场数据的运动检测,运动检测的结果往往无法覆盖实际运动区域。基于4场数据的运动检测满足了绝大多数物体运动情况,其检测结果覆盖了所有运动区域。
附图说明
图1是本发明一种基于运动检测的去隔行方法的流程图;
图2是本发明用于方向相关性计算的像素点的示意图;
图3是边沿自适应滤波方法的流程图;
图4是边沿自适应滤波方法的流程示意图;
图5是本发明分级边沿自适应方法的流程图;
图6是本发明分级边沿自适应方法的流程示意图;
图7是本发明一种基于运动检测的去隔行装置的结构框图。
具体实施方式
为了更好的说明本发明,首先将各方法详细介绍如下:
线性滤波方法
最早出现在上世纪70年代,具有简单易实现的优点,仍在计算机图形显示领域内被广泛应用,其基本思路是,各场中需要补齐的像素点等于它的若干相邻点的加权和,线性滤波的相邻点包括两类,即同一场上的相邻相素(空间相邻点)以及相邻场上的像素(时间相邻点)。对于相邻点的分类就引出了三种不同的滤波器类型;空间滤波(spatial filtering),时间滤波(temporal filtering),以及时-空滤波(spatial-temporal filtering)。
所谓空间滤波,就是在求取未知点的时候只使用同一场内相邻点的信息。最简单的空间滤波就是扫描线重复,即一场中未知的像素点直接取它上面相邻点的值,空间滤波有一个共同的特点,即它们在时间频率方向上是全通的,这说明使用空间滤波器不会造成视频运动信息上的损失。但是,由于其频谱在垂直方向上的低通开关,使得视频信号在垂直方向上的一些高频分量被抑制,从而降低了图像在垂直方向上的清晰度。
时间滤波与空间滤波正好相反,时间滤波器就是使用所有相邻场内的点求取当前场的未知像素。最简单的时间滤波就是场重复,即一场中未知的像素点用上一场对应的已知像素值来代替。时间滤波器在垂直方向上是全通的,因此不会造成图像垂直清晰度上的损失,但其在时间频率上的频谱的衰降,会造成视频运动信息的损失。
时空滤波,就是在计算像素点的值的时候综合考虑空间邻点与时间邻点。从理论上说,如果视频信号满足采样定理,即其频谱没有混叠的话,那么使用时空滤波器就能完美地从隔行信号恢复出逐行信号。
非线性方法
根据前面的描述,可以得知,在没有运动的情况下,时间滤波器的性能最好。而在有运动,但没有过多的垂直细节的情况下,空间滤波的效果最好。所述非线性方法就是将两者结合起来,根据情况有选择地使用时间滤波或空间滤波。
运动自适应方法
运动自适应方法就是根据上述思想发展起来的。顾名思义,运动自适应方法需要一个检测图像中是否存在运动的模块,称为运动检测模块。其输入就是视频信号的一个固定区域,而其输出则是一个概率值,表明该区域存在运动的可能性大小。当然,它的输出也可以简化为一个二进制的结果,即有无运动。运动检测的方法有许多,在这里只是给出运动检测方法生效所必需满足的条件:(1)相对信号来说,噪声必须足够小;(2)信号中的低频部分的能量必有在于噪声与频率混叠部分;(3)视频中的物体大小必须大于像素点的大小。
最理想的去隔行方法是使用基于多帧参考的运动补偿技术,因为它沿运动轨迹进行插值,能够提供最好的图像分辨率,但是其计算量代价太大。在实时视频应用中,图像的延时性与有限内存是必须要考虑的因素,多帧信息参考则意味较大的数据等待延时以及内存占用与访问量。相对于运动补偿技术,空间非线形插值滤波同样可以避免沿时间轴的虚像产生,如边沿自适应滤波方法(edge line average,ELA),利用的是相邻行的像素的方向相关性进行插值的方法。最初,邻域的选择范围仅定为当前插值点正上方与正下方的6个点,即仅考虑垂直、垂直偏左45度与垂直偏右45度共3个方向。出于更好的保护图像的边沿的目的,在大多数的ELA应用中,其邻域选取当前插值点正上方的5个点和正下方的5个点,方向相关的角度增加到5个。
基于运动自适应方法,都暗含着对物体运动与否的自适应特征。中值滤波器是这些方法中应用最广泛的一中。中值滤波的实现是在当前处理像素点周围,根据图像的空间相关性和时间上的相关性,选择出有效的像素对,进行比较和运算,确定中值。因为采用中值滤波方法是用适当的原始或其他运算产生像素值的畸变。其中最简单的是三点时空中值滤波器。
基于运动检测非线性插值的去隔行方法在隔行视频信号的插补过程中,为了在图像的运动和静止两个区域都能获得较好的插补效果,需要对视频信号进行运动检测,根据相邻图像的帧间差估算出图像的运动信息,在场间和场内插补之间进行切换或者将之线性组合。
传统的边沿自适应滤波方法中,边沿检测的方法并不具有必然性,一对相邻像素的亮度之差最小并不意味着在该空间方向上的亮度信号就是最相关的。噪声的影响很可能导致检测到错误的边沿定位。在方向相关性计算时赋予其各相邻点相等的比较等级,因而当数据窗口为5,图像细节小于5的区域都可能出现插值错误。
基于运动自适应的方法,其去隔行效果取决于纹理特征是否符合插值方法。例如中值滤波器,其主要缺点是会降低垂直清晰度,引起图像模糊。基于运动补偿的去隔行方法,无法避免帧等待延时和大量的数据计算。较精确地将场图像还原为帧的前提是,其估算出来的运动矢量必须准确可靠。一旦运动矢量错误,还原出来的图像质量就会变得很恶劣。
沿着最大相关性的方向进行插值,效果较好,且计算量小。运动自适应去隔行方法,对动态和静态图像分别采用不同的滤波方法:动态图像用边沿自适应滤波,静态图像用三点中间滤波。基于边沿自适应滤波与三点中间滤波的运动自适应性,没有提及一种具体的合理的运动检测方式。而实际上,传统的边沿自适应滤波方法有时在边缘部分会产生虚像,并且在信号的高频部分会产生严重的插值误差;另一方面,三点中间滤波在处理类似于电影字幕的多细节的静态区域,容易造成小像素宽度的细节缺失。为了克服这些缺点,本发明优选采用基于运动检测的分级边沿自适应方法。该方法通过相邻4场检测图像运动信息,对动态和静态图像采用不同的处理方法,静态图像保留原始信息,动态图像用分级边沿自适应滤波。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明一种基于运动检测的去隔行方法的流程图,包括以下步骤:
步骤101、计算场间差值。
活动电视图像是由一幅一幅连续的且内容变化不大的静止图像组成的。其中一幅静止的图像在电视技术上称为一帧,为了保证收看图像时不闪烁,根据人眼的视觉暂留特点(先前出现在人眼的图像在图像消失后会保留一段时间),要求每秒传送的连续图像达到25帧。在电视传输技术中,为了进一步提高传输质量,又将一帧图像分成两场进行传输,所以一帧由两场构成。
所述计算场间差值的计算公式为:
dif0=abs(f(x,y,n-2)-f(x,y,n))
dif1=abs(f(x,y,n-1)-f(x,y,n+1))
其中:x,y表示当前像素在场内的坐标,f(x,y,n)表示第n场内坐标为(x,y)的像素值。
步骤102、进行运动检测,确定静止区域和运动区域。
按照预先设置的检测阈值与所述场间差值的对比关系,确定静止区域和运动区域。所述区域由像素构成,一个区域可以由多个像素构成,也可以只由一个像素构成,在本发明中,区域可以代表一个像素,也可以代表几个像素组成的区域。
运动检测可以选择2场、3场、4场或更多场的数据作为检测对象。考虑到大量数据的存储与计算量,因此参与运动检测的数据量一般不多于4场的数据。判断一个区域是否为运动区域,是通过检测场间差值是否超过一个检测阈值来确定的。
基于相邻的2场数据的运动检测,当细节变化剧烈区域处于静止状态时,由于上下两场的不对称性,根据场间差值判断运动区域,会发生静止区域误为运动区域的现象。对于用帧内插值无法完全恢复的区域,如电影中多帧静止的字幕,这种误判会导致明显的瑕疵。
基于相间隔的2场数据的运动检测,当物体运动剧烈时,前后2场中运动物体相隔较远,其场间差值不能将插值重建场相对于当前场的运动区域全部覆盖,从而导致运动区域漏判。对于帧间运动剧烈区域,如做反复运动的小物体,这种漏判会导致明显的梳状现象。
基于3场数据的运动检测,即同时采用基于相邻的2场数据的运动检测与基于相间隔的2场数据的运动检测。基于前面的描述,可以看出,两种运动检测并不能互相弥补对方的缺点,因此基于3场数据的运动检测容易产生误判和漏判。
基于4场数据的运动检测,当一物体在4场中处于持续静止时,运动检测判断其处于静止区域;当一物体在4场中出现一次运动时,运动检测判断其处于运动区域。显而易见,最终检测出来的运动区域将插值重建场相对于当前场的运动区域完全覆盖,静止区域也得到了很好的保护。实验表明,虽然基于4场数据的运动检测获得的运动区域虽然略大于插值重建场相对于当前场的运动区域,但是通过本发明的分级边沿自适应滤波(RELA)方法插值重建,对各种隔行图像都取得了很好效果。因此,本发明优选采用的是基于4场数据的运动检测。基于4场的运动检测是根据当前帧以及前一帧的4场数据进行同场间的差值运算,将两个场间差值与检测阈值进行比较得出单个像素的运动检测结果。
运动检测是依据检测阈值与场间差值的比较,来判断运动区域与静止区域。如果某区域所有场间差值小于检测阈值,即人眼对此区域的运动变化不敏感,则判定此区域为静止;否则,则判定此区域为运动。因此,检测阈值是依据人眼的敏感度设定的。本发明在运动检测时优选采用固定检测阈值15,实验证明,此检测阈值适用于大多数图像,当然,所述阈值也可以采用0-255中任何一个值,本发明并不对此进行限定。
运动检测是根据相同场的相同位置的像素进行差值运算的结果来进行判断的。由于物体运动的复杂性,如果当前像素是运动的,仅仅依据于单个像素的检测结果来判断当前像素的运动状态,可能出现漏判,对运动像素的漏判会对图像造成明显的瑕疵。
基于以上考虑,本发明提供了两种模式,基于像素的邻域模式,以及基于块的模式。
基于像素的邻域模式,其最后输出的运动检测结果是对单个像素的运动检测结果进行十字形邻域相或。即,在同一场内,如果在当前像素与当前像素的上、下、左、右的像素中存在任何一个被检测为运动的像素,则当前像素也定为运动。经过大量的视频序列测试,基于十字形邻域相或的运动检测结果能够提供满意的运动检测结果。
基于块的模式,是针对方法在DSP上的实现。为了便于并行运算,采用基于块区域的运动检测。例如,采用2×4的块区域进行判断,即将当前场按照2×4的块区域进行划分,每个块区域与其他块区域不重叠,如果在一个块区域内存在任何一个运动的像素,则认为当前块区域的所有像素都是运动的。选择基于块的模式,主要是为了提高并行运算能力,其性能与基于像素的邻域模式基本接近,但是其占用的运算时间减少了许多,因而更适用于实时应用。
步骤103、根据运动检测的结果输出原始数据或进行插值,输出插值结果。
由于帧是由两场组成的,选择其中的一场为参考场,则另一场为非参考场。对于参考场,将其原始数据作为输出数据,对于非参考场,对静止区域输出其原始数据,对运动区域采用分级边沿自适应滤波方法进行插值,输出插值结果。对运动区域采用分级边沿自适应滤波方法进行插值将在后面进行详细描述。
步骤104、将所述参考场和非参考场的输出拼接成逐行输出的图像,输出逐行图像信息。
对于参考场,将其原始数据作为其输出数据。对于非参考场,属于静止像素的位置输出其原始数据,属于运动像素的位置输出其分级边沿自适应插值结果。将参考场与非参考场的输出数据隔行输出,拼接构成逐行的图像。
下面对步骤103中采用的分级边沿自适应滤波方法(RELA)进行详细介绍。分级边沿自适应滤波方法是本发明在传统的边沿自适应滤波方法的基础上进行的改进。为了更好的描述本发明所述的分级边沿自适应滤波方法,先对传统的边沿自适应滤波方法进行介绍。
边沿自适应方法是利用相邻行的像素的方向相关性进行插值的方法,参照图2,示出了用于方向相关性计算像素点的示意图。
参照图3、图4,示出了边沿自适应滤波方法的流程图,包括:
步骤301、输入各方向差值DIF(i)。
步骤302、计算各方向的相关性。
确定差值DIF(i)(i=1-5)变化最小(即最大相关性)的方向作为主方向,DIF(1)=|a-j|,DIF(2)=|b-i|,DIF(3)=|c-h|,DIF(4)=|d-g|,DIF(5)=|e-f|。
步骤303、选取最大相关方向的上下两点,取所述两点的平均值。
采用此种方法,在数据窗口为5,图像细节小于5的区域可能会出现插值错误。举例进行说明:(1)假设a,b,c,d,g,h,i,j八个点处于同一亮度渐变的物体区域,而e,f两点处于与物体区域亮度对比较大的且亮度平坦的背景区域。e,f两点间的DIF小于其余八个点之间的DIF,导致插值结果为(e+f)/2。这样,经过插值后的物体区域出现一个由一个或几个背景亮度点形成的“虫洞”,不能达到很好的效果。(2)假设a,b,c,d,e处于边缘过渡区域的上沿,而f,g,h,i,j处于处于边缘过渡区域的下沿,则插值结果为上沿亮度与下沿亮度的平均值。这样,经过插值后的边缘区域就会出现虚像。
通过以上的描述可知,传统的边沿自适应滤波方法在边缘部分存在虚像,并且在信号的高频部分会产生严重的插值误差。
为了克服这种不足,本发明提出了分级边沿自适应滤波方法,所述分级边沿自适应滤波方法是在边沿自适应方法上的改进。分级边沿自适应滤波RELA(Rank ELA)方法,是依据人眼的主观特性与客观的概率分布特性而提出的,建立在如下基础之上:如果上下间隔两行之间存在多种可能相连通的纹理,那么在偏离垂直方向越小的连通方向,其可能性最大,且其主观效果出现瑕疵的可能性越小。
参照图5、图6,示出了本发明分级边沿自适应滤波方法的流程图,包括:
步骤501、输入各方向差值DIF(i);
步骤502、计算各方向的相关性,确定所述DIF(i)(i=1-5)中的最小值minD;
步骤503、判断所述最小差值minD与预设阈值的关系。
根据minD是否大于预设阈值,判断是否出现超出2*5窗口判断能力的边缘细节或剧烈变化区域。如果大于,则依据最相邻点相关的可能性最大这一原则选取最邻近的上一点或下一点;反之,则意味可以在窗口得到合理的插值结果,进入步骤504。
步骤504、按方向相关性给予各DIF(i)不同的逻辑权重,输出合理的插值结果。
依据最相邻点相关的可能性最大这一原则,给予各DIF(i)不同的逻辑权重,即如果相邻上下两点c,h之间的DIF小于阈值,则认为可以根据c,h得到合理的插值结果,所述插值结果为该两点的平均值,不必再判断其它点之间的相关性;依次类推,由最相邻点到最远离点。参照图6所述流程图即可准确理解本发明所述的分级边沿自适应滤波方法。在此不再详细描述。
由于人眼对灰色区域的变化最敏感,过亮过暗时敏感度都会降低。对于以8位表示灰度的图像,255和0分别表示白色和黑色。实验表明,当像素值为255或0时,人眼对亮度变化不敏感,此时的敏感度为20;当像素值未127时,人眼对亮度的变化最敏感,此时的敏感度为10。阈值随敏感度线性变化。为了减少计算量,本发明优选采用一个固定的预设阈值。实验表明,选取15作为固定敏感度,即预设阈值为2*15=30,可以取得很好的效果。显而易见,本发明也并不对采用其他的预设阈值进行限定。
由以上描述可以看出,分级边沿自适应滤波方法可以很好的克服传统的边沿自适应滤波方法的缺点。
下面通过几种不同的去隔行方法(包括行平均、边沿自适应滤波、运动补偿以及本发明所述的基于运动检测的分级边沿自适应去隔行方法)的比较,对本发明所述的基于运动检测的分级边沿自适应去隔行方法的优点进行更清楚的论述。参照下表:
复杂度 | 内存访问 | 内存占用(比特) | ||
读 | 写 | |||
行平均 | O(n) | 1n | 1n | 1 |
沿自适应 | O(n) | 2n | 1n | 10 |
运动补偿 | O(n2*SR2) | >10n | 1n | 528 |
本文推荐 | O(n) | 5n | 1n | 16 |
在表中,“n”表示须处理的像素的个数,“SR”表示运动补偿中的搜索范围。行平均与边沿自适应的复杂度是O(n),因为它们都是一种FIR滤波器。边沿自适应比行平均仅多了一个边缘检测,对复杂度影响不大。运动补偿的去隔行方法必须采用全搜索的运动估计方法,因此其复杂度主要在运动估计上,其它可以忽略。而本发明所述的基于运动检测的分级边沿自适应去隔行方法,其插值方法的复杂度近似于边沿自适应,增加的4场运动检测的复杂度为O(n),因此总体的复杂度依然是O(n)。
显而易见,基于运动补偿的去隔行方法是一种复杂度最高、最耗时的方法,相比之下,本发明所述的方法在内存访问与内存占用上小于基于运动补偿的去隔行方法,在计算复杂度上与帧内去隔行方法(行平均、边沿自适应)接近,远小于基于运动补偿的去隔行方法。本发明所述的方法能够提供高质量画质,且内存访问频率低、内存占用小并便于在DSP上实现。
参照图7,示出了本发明一种基于运动检测的去隔行装置的结构框图,包括:
场间差值计算单元701,用于计算场间差值。
活动电视图像是由一幅一幅连续的且内容变化不大的静止图像组成的。其中一幅静止的图像在电视技术上称为一帧,为了保证收看图像时不闪烁,根据人眼的视觉暂留特点(先前出现在人眼的图像在图像消失后会保留一段时间),要求每秒传送的连续图像达到25帧。在电视传输技术中,为了进一步提高传输质量,又将一帧图像分成两场进行传输,所以一帧由两场构成。
所述计算场间差值的计算公式为:
dif0=abs(f(x,y,n-2)-f(x,y,n))
dif1=abs(f(x,y,n-1)-f(x,y,n+1))
其中:x,y表示当前像素在场内的坐标,f(x,y,n)表示第n场内坐标为(x,y)的像素值。
运动检测单元702,按照预先设置的检测阈值与所述场间差值的对比关系,确定静止区域和运动区域。
运动检测可以选择2场、3场、4场或更多场的数据作为检测对象。考虑到大量数据的存储与计算量,因此参与运动检测的数据量一般不多于4场的数据。判断一个区域是否为运动区域,是通过检测场间差值是否超过一个检测阈值来确定的。
本发明优选采用的是基于4场数据的运动检测。基于4场的运动检测是根据当前帧以及前一帧的4场数据进行同场间的差值运算,将两个场间差值与检测阈值进行比较得出单个像素的运动检测结果。本发明在运动检测时优选采用固定检测阈值15,实验证明,此检测阈值适用于大多数图像,当然,所述阈值也可以采用0-255中任何一个值,本发明并不对此进行限定。
运动检测是基于相同场的相同位置的像素进行差值运算的结果来进行判断的。由于物体运动的复杂性,如果当前像素是运动的,仅仅依据于单个像素的检测结果来判断当前像素的运动状态,可能出现漏判,对运动像素的漏判会对图像造成明显的瑕疵。
基于以上考虑,本发明提供了两种模式,基于像素的邻域模式,以及基于块的模式。
基于像素的邻域模式,其最后输出的运动检测结果是对单个像素的运动检测结果进行十字形邻域相或。即,在同一场内,如果在当前像素与当前像素的上、下、左、右的像素中存在任何一个检测为运动的像素,则当前像素也定为运动。经过大量的视频序列测试,基于十字形邻域相或的运动检测结果能够提供满意的运动检测结果。
基于块的模式,是针对方法在DSP上的实现。为了便于并行运算,可以考虑采用基于块区域的运动检测。例如,采用2×4的块区域进行判断,即将当前场按照2×4的块区域进行划分,每个块区域与其他块区域不重叠,如果在一个块区域内存在任何一个运动的像素,则认为当前块区域的所有像素都是运动的。选择基于块的模式,主要是为了提高并行运算能力,其性能与基于像素的领域模式基本接近,但是其占用的运算时间减少了许多,因而更适用于实时应用。
输出单元703,对于参考场,将其原始数据作为输出数据,对于非参考场,对静止区域输出其原始数据,对运动区域采用分级边沿自适应滤波方法进行插值,输出插值结果。
由于帧是由两场组成的,确定其中的一场为参考场,则另一场为非参考场。对于参考场,将其原始数据作为输出数据,对于非参考场,对静止区域输出其原始数据,对运动区域采用分级边沿自适应滤波方法进行插值,输出插值结果。对运动区域采用分级边沿自适应滤波方法进行插值已经在前面进行了详细描述,为了篇幅考虑,在此不再介绍。
帧合成单元704,将所述参考场和非参考场的输出拼接成逐行输出的图像,输出逐行图像信息。
对于参考场,将其原始数据作为其输出数据。对于非参考场,属于静止像素的位置输出其原始数据,属于运动像素的位置输出其分级边沿自适应插值结果。将参考场与非参考场的输出数据隔行输出,拼接构成逐行的图像。
由于本发明所述装置是本发明所述方法的对应,因此图7所示装置未详细描述的部分请参考前面方法部分的描述。
以上对本发明所提供的一种基于运动检测的去隔行方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于运动检测的去隔行方法,其特征在于,包括:
计算场间差值;
按照预先设置的检测阈值与所述场间差值的对比关系,确定静止区域和运动区域;
对于参考场,将其原始数据作为输出数据,对于非参考场,对静止区域输出其原始数据,对运动区域采用分级边沿自适应滤波方法进行插值,输出插值结果;
将所述参考场和非参考场的输出拼接成逐行输出的图像,输出逐行图像信息。
2.如权利要求1所述的基于运动检测的去隔行方法,其特征在于,计算场间差值的具体方式为:
根据图像的当前帧及前一帧的四场数据进行同场间的差值运算。
3.如权利要求2所述的基于运动检测的去隔行方法,其特征在于,按以下公式进行差值计算:
dif0=abs(f(x,y,n-2)-f(x,y,n))
dif1=abs(f(x,y,n-1)-f(x,y,n+1))
其中:x,y表示当前像素在场内的坐标,f(x,y,n)表示第n场内坐标为(x,y)的像素值。
4.如权利要求2所述的基于运动检测的去隔行方法,其特征在于,按照以下步骤确定单个像素是运动还是静止:
判断所述两个场间差值是否都小于检测阈值,如所述场间差值都小于所述检测阈值则为静止像素,否则为运动像素。
5.如权利要求4所述的基于运动检测的去隔行方法,其特征在于,确定运动像素和静止像素的步骤具体包括:
对单个像素的运动检测结果进行十字邻域相或,即在同一场内,如果当前像素与当前像素的上、下、左、右的四个像素中存在一个运动像素,则当前像素为运动像素。
6.如权利要求4所述的基于运动检测的去隔行方法,其特征在于,确定运动像素与静止像素的步骤具体包括:
将当前场进行块区域划分,每个块区域与其他块区域不重叠,如果一个块区域内存在一个运动的像素,则所述块区域内的所有像素都是运动的。
7.如权利要求1所述的基于运动检测的去隔行方法,其特征在于,所述对运动区域采用分级边沿自适应滤波方法进行插值的具体过程包括:
根据运动检测确定的运动像素的位置,利用当前帧的参考场数据对该点进行插值。
8.如权利要求7所述的基于运动检测的去隔行方法,其特征在于,所述对运动区域采用分级边沿自适应滤波方法进行插值的具体过程包括:
输入各方向差值DIF(i);
计算各方向的相关性,确定所述差值中的最小差值minD;
判断所述最小差值minD与预设阈值的关系,如果所述minD大于所述预设阈值,则输出最邻近的上一点或下一点的数据信息,否则:
按方向相关性给予各DIF(i)不同的逻辑权重,即如果相邻上下两点之间的DIF小于所述预设阈值,则输出所述两点的平均值,不必再判断其他两点之间的相关性;否则依次类推,由最相邻点到最远离点。
9.如权利要求1所述的一种基于运动检测的去隔行方法,其特征在于;
对运动区域采用边沿自适应滤波方法进行插值,输出插值结果。
10.一种基于运动检测的去隔行装置,其特征在于,包括:
场间差值计算单元,用于计算场间差值;
运动检测单元,按照预先设置的检测阈值与所述场间差值的对比关系,确定静止区域和运动区域;
输出单元,对于参考场,将其原始数据作为输出数据,对于非参考场,对静止区域输出其原始数据,对运动区域采用分级边沿自适应滤波方法进行插值,输出插值结果;
帧合成单元,将所述参考场和非参考场的输出拼接成逐行输出的图像,输出逐行图像信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200710145745 CN101106685B (zh) | 2007-08-31 | 2007-08-31 | 一种基于运动检测的去隔行方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200710145745 CN101106685B (zh) | 2007-08-31 | 2007-08-31 | 一种基于运动检测的去隔行方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101106685A true CN101106685A (zh) | 2008-01-16 |
CN101106685B CN101106685B (zh) | 2010-06-02 |
Family
ID=39000327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710145745 Expired - Fee Related CN101106685B (zh) | 2007-08-31 | 2007-08-31 | 一种基于运动检测的去隔行方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101106685B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101895674A (zh) * | 2010-07-02 | 2010-11-24 | 浙江红苹果电子有限公司 | 一种针对监控视频的去隔行的方法及其装置 |
CN102025960A (zh) * | 2010-12-07 | 2011-04-20 | 浙江大学 | 一种基于自适应插值的运动补偿去隔行方法 |
CN102148953A (zh) * | 2011-04-20 | 2011-08-10 | 广东威创视讯科技股份有限公司 | 去隔行处理的三场运动检测方法、装置以及去隔行系统 |
CN102497492A (zh) * | 2011-12-05 | 2012-06-13 | 四川虹微技术有限公司 | 屏幕中字幕运动的检测方法 |
CN101600061B (zh) * | 2009-07-09 | 2012-07-25 | 杭州士兰微电子股份有限公司 | 视频运动自适应去隔行的方法及装置 |
CN101867736B (zh) * | 2009-04-17 | 2012-08-29 | 联咏科技股份有限公司 | 解交错装置及方法及动态字幕补偿器 |
CN103024331A (zh) * | 2012-12-26 | 2013-04-03 | 电子科技大学 | 一种基于边缘检测的视频去隔行方法 |
CN103369208A (zh) * | 2013-07-15 | 2013-10-23 | 青岛海信信芯科技有限公司 | 自适应去隔行方法及装置 |
CN103533286A (zh) * | 2012-06-29 | 2014-01-22 | 英特尔公司 | 用于带静态区域排除的时间帧内插的方法和系统 |
CN103763501A (zh) * | 2014-01-14 | 2014-04-30 | 合一网络技术(北京)有限公司 | 一种自适应视频反交错算法及其装置 |
CN105025241A (zh) * | 2014-04-30 | 2015-11-04 | 深圳市中兴微电子技术有限公司 | 一种图像去隔行装置及方法 |
CN105898179A (zh) * | 2015-12-14 | 2016-08-24 | 乐视云计算有限公司 | 一种隔行视频的去隔行方法及装置 |
CN106027943A (zh) * | 2016-07-11 | 2016-10-12 | 北京大学 | 一种视频去隔行方法 |
CN106031145A (zh) * | 2014-02-26 | 2016-10-12 | 松下知识产权经营株式会社 | 图像处理装置和图像处理方法 |
CN106303338A (zh) * | 2016-08-19 | 2017-01-04 | 天津大学 | 一种基于双边滤波多方向插值的场内去隔行方法 |
TWI614724B (zh) * | 2017-08-01 | 2018-02-11 | 東駒股份有限公司 | 基於人類視覺暫留特性以去除影像中動態物件的方法 |
CN109873953A (zh) * | 2019-03-06 | 2019-06-11 | 深圳市道通智能航空技术有限公司 | 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机 |
CN111294544A (zh) * | 2018-12-10 | 2020-06-16 | 深圳市中兴微电子技术有限公司 | 一种去隔行处理方法及装置、计算机可读存储介质 |
WO2020142916A1 (zh) * | 2019-01-09 | 2020-07-16 | 西安诺瓦电子科技有限公司 | 去隔行插值方法、装置及系统、视频处理方法和存储介质 |
CN116434348A (zh) * | 2023-06-14 | 2023-07-14 | 武汉纺织大学 | 一种基于柔性应变传感器的人体动作实时识别方法及系统 |
-
2007
- 2007-08-31 CN CN 200710145745 patent/CN101106685B/zh not_active Expired - Fee Related
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101867736B (zh) * | 2009-04-17 | 2012-08-29 | 联咏科技股份有限公司 | 解交错装置及方法及动态字幕补偿器 |
CN101600061B (zh) * | 2009-07-09 | 2012-07-25 | 杭州士兰微电子股份有限公司 | 视频运动自适应去隔行的方法及装置 |
CN101895674B (zh) * | 2010-07-02 | 2011-11-09 | 浙江红苹果电子有限公司 | 一种针对监控视频的去隔行的方法及其装置 |
CN101895674A (zh) * | 2010-07-02 | 2010-11-24 | 浙江红苹果电子有限公司 | 一种针对监控视频的去隔行的方法及其装置 |
CN102025960A (zh) * | 2010-12-07 | 2011-04-20 | 浙江大学 | 一种基于自适应插值的运动补偿去隔行方法 |
CN102148953A (zh) * | 2011-04-20 | 2011-08-10 | 广东威创视讯科技股份有限公司 | 去隔行处理的三场运动检测方法、装置以及去隔行系统 |
CN102148953B (zh) * | 2011-04-20 | 2013-02-13 | 广东威创视讯科技股份有限公司 | 去隔行处理的三场运动检测方法、装置以及去隔行系统 |
CN102497492A (zh) * | 2011-12-05 | 2012-06-13 | 四川虹微技术有限公司 | 屏幕中字幕运动的检测方法 |
CN103533286A (zh) * | 2012-06-29 | 2014-01-22 | 英特尔公司 | 用于带静态区域排除的时间帧内插的方法和系统 |
CN103024331A (zh) * | 2012-12-26 | 2013-04-03 | 电子科技大学 | 一种基于边缘检测的视频去隔行方法 |
CN103024331B (zh) * | 2012-12-26 | 2015-04-15 | 电子科技大学 | 一种基于边缘检测的视频去隔行方法 |
CN103369208A (zh) * | 2013-07-15 | 2013-10-23 | 青岛海信信芯科技有限公司 | 自适应去隔行方法及装置 |
CN103369208B (zh) * | 2013-07-15 | 2016-12-28 | 青岛海信电器股份有限公司 | 自适应去隔行方法及装置 |
CN103763501A (zh) * | 2014-01-14 | 2014-04-30 | 合一网络技术(北京)有限公司 | 一种自适应视频反交错算法及其装置 |
CN106031145B (zh) * | 2014-02-26 | 2019-05-14 | 松下知识产权经营株式会社 | 图像处理装置和图像处理方法 |
CN106031145A (zh) * | 2014-02-26 | 2016-10-12 | 松下知识产权经营株式会社 | 图像处理装置和图像处理方法 |
CN105025241A (zh) * | 2014-04-30 | 2015-11-04 | 深圳市中兴微电子技术有限公司 | 一种图像去隔行装置及方法 |
CN105025241B (zh) * | 2014-04-30 | 2018-08-24 | 深圳市中兴微电子技术有限公司 | 一种图像去隔行装置及方法 |
CN105898179A (zh) * | 2015-12-14 | 2016-08-24 | 乐视云计算有限公司 | 一种隔行视频的去隔行方法及装置 |
CN106027943B (zh) * | 2016-07-11 | 2019-01-15 | 北京大学 | 一种视频去隔行方法 |
CN106027943A (zh) * | 2016-07-11 | 2016-10-12 | 北京大学 | 一种视频去隔行方法 |
CN106303338A (zh) * | 2016-08-19 | 2017-01-04 | 天津大学 | 一种基于双边滤波多方向插值的场内去隔行方法 |
CN106303338B (zh) * | 2016-08-19 | 2019-03-22 | 天津大学 | 一种基于双边滤波多方向插值的场内去隔行方法 |
TWI614724B (zh) * | 2017-08-01 | 2018-02-11 | 東駒股份有限公司 | 基於人類視覺暫留特性以去除影像中動態物件的方法 |
CN111294544A (zh) * | 2018-12-10 | 2020-06-16 | 深圳市中兴微电子技术有限公司 | 一种去隔行处理方法及装置、计算机可读存储介质 |
CN111294544B (zh) * | 2018-12-10 | 2023-08-08 | 深圳市中兴微电子技术有限公司 | 一种去隔行处理方法及装置、计算机可读存储介质 |
WO2020142916A1 (zh) * | 2019-01-09 | 2020-07-16 | 西安诺瓦电子科技有限公司 | 去隔行插值方法、装置及系统、视频处理方法和存储介质 |
CN109873953A (zh) * | 2019-03-06 | 2019-06-11 | 深圳市道通智能航空技术有限公司 | 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机 |
CN116434348A (zh) * | 2023-06-14 | 2023-07-14 | 武汉纺织大学 | 一种基于柔性应变传感器的人体动作实时识别方法及系统 |
CN116434348B (zh) * | 2023-06-14 | 2023-09-01 | 武汉纺织大学 | 一种基于柔性应变传感器的人体动作实时识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN101106685B (zh) | 2010-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101106685B (zh) | 一种基于运动检测的去隔行方法和装置 | |
US8446964B2 (en) | Method and system for noise reduction with a motion compensated temporal filter | |
KR100902315B1 (ko) | 디인터레이싱장치 및 방법 | |
US6473460B1 (en) | Method and apparatus for calculating motion vectors | |
CN100518243C (zh) | 采用运动检测和自适应加权滤波的去隔行装置 | |
CN100479495C (zh) | 采用运动检测和自适应加权滤波的去隔行方法 | |
KR100973429B1 (ko) | 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체 | |
US20080151106A1 (en) | Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images | |
WO2000011863A1 (en) | Problem area location in an image signal | |
JP2000134585A (ja) | 動きベクトル決定方法、画像信号のフレーム数変換方法および回路 | |
JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
JP4119092B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
JP4092773B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
GB2405047A (en) | De-interlacing algorithm responsive to edge pattern | |
JP3619542B2 (ja) | 動き補正ビデオ信号処理装置及び方法 | |
CN100518288C (zh) | 自适应垂直/时态滤波的解交错方法 | |
JP3189292B2 (ja) | 走査線補間装置 | |
KR100827214B1 (ko) | 비디오 스캔 레이트 전환을 위한 움직임 보상 업컨버전 | |
Lee et al. | A motion-adaptive deinterlacer via hybrid motion detection and edge-pattern recognition | |
Chang et al. | Four field local motion compensated de-interlacing | |
Fan et al. | Motion compensated deinterlacing with efficient artifact detection for digital television displays | |
Lee et al. | Motion detection and motion adaptive pro-scan conversion | |
Pelagotti et al. | ‘High Quality Picture Rate Up-Conversion for Video on TV and PC | |
KR100252943B1 (ko) | 스캔컨버터회로 | |
JP4269573B2 (ja) | 動きベクトル検出装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100602 Termination date: 20130831 |