CN1620131A - 图像处理装置和图像处理方法 - Google Patents
图像处理装置和图像处理方法 Download PDFInfo
- Publication number
- CN1620131A CN1620131A CNA2004101038464A CN200410103846A CN1620131A CN 1620131 A CN1620131 A CN 1620131A CN A2004101038464 A CNA2004101038464 A CN A2004101038464A CN 200410103846 A CN200410103846 A CN 200410103846A CN 1620131 A CN1620131 A CN 1620131A
- Authority
- CN
- China
- Prior art keywords
- signal
- pixel
- concerned
- interpolation
- ghost image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0147—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
Abstract
一种图像处理装置,其可以将通过3-1或2-2下拉处理生成的隔行扫描信号转换成逐行扫描信号,而不降低隔行扫描信号表示的图像的品质,即使该隔行扫描信号包含普通的60场/秒的信号。该装置具有逐行转换单元11。逐行转换单元11生成场内内插信号和运动自适应内插信号,以将通过3-2或2-2下拉处理生成的包括普通的60场/秒的信号的隔行扫描信号转换成逐行扫描信号。然后对于每个像素,逐行转换单元11确定场内内插信号是否包含重影误差。如果检测到重影误差,则对于每个像素,逐行转换单元11用运动自适应内插信号替换场内内插信号。
Description
技术领域
本发明涉及图像处理装置和图像处理方法,它们被设计成把信号转换成逐行扫描(progressive)信号,这个信号由通过3-2下拉处理(pull-down process)或2-2下拉处理生成的隔行扫描(interlaced)信号和以例如60场/秒的速率隔行扫描的普通信号组成。
本申请要求申请日是2003年9月3日提交的日本专利申请第2003-311627号的优先权,在此引入其全部内容作为参考。
背景技术
标准的电视信号,例如NTSC信号和高清晰度信号,都是隔行扫描信号。图1A表示隔行扫描信号的扫描行,图1B表示逐行扫描信号的扫描行,图1C表示通过扫描行内插来转换隔行扫描信号而获得的逐行扫描信号。在图1A、1B和1C中,“o”代表扫描行,而“x”代表内插的扫描行。
在图1A、1B和1C中,箭头V代表垂直方向,而箭头t代表时间轴。如图1A所示,隔行扫描信号的每一帧由在时间轴和垂直方向上相互错位的2个场组成。相反,从图1B中可以看出,逐行扫描信号没有帧错位。如果该隔行扫描信号具有在图像的垂直方向上显著(prominent)的频率分量,那么隔行扫描信号可能有隔行干扰,例如行闪烁。而逐行扫描信号则无隔行干扰。
有一种消除隔行干扰的方法。在这种方法中,由周围扫描行内插隔行扫描过程中提取的任何扫描行,如图1C所示。这种方法被称为“逐行扫描转换”或“双密度转换”。
逐行扫描转换中执行的扫描行内插是运动自适应内插。即,如图2所示,执行场间内插,而生成新的扫描行。更准确地讲,对于静止图片(picture),获得代表水平方向上相邻的两个场像素的信号PA和PB的平均值,从而生成代表新像素x的信号PQ。另一方面,对于运动图片,执行场内内插,而生成新的扫描行。获得代表垂直方向上相邻的两个场像素的信号PC和PD的平均值,从而生成代表新像素x的信号PQ。如果图像是静止图片,则逐行扫描转换能够提供具有较少叠像(folding)失真和高分辨率的图像。然而,如果图像是运动图片,则逐行扫描转换导致具有明显的叠像失真和非常低的分辨率的图像。
假设将进行逐行扫描转换的输入信号是通过3-2下拉处理或2-2下拉处理生成的隔行扫描信号。那么,可以使用不同于运动自适应内插的方法。在此情况下,即使在图像运动时,逐行扫描转换也可以提供高品质的图像。应注意的是,3-2下拉处理是图3给出的帧频转换。使用这个下拉处理作为将逐行扫描信号A、B、C...,例如24帧/秒的电影数据,转换成NTSC制式60场/秒的隔行扫描信号a、a’、a、b’、b、c’、c、c’...的方法。在图3中,撇号(’)表示这个信号属于偶数场还是属于奇数场。同时,应当注意的是,2-2下拉处理是图4示出的这样的帧频转换。采用2-2下拉处理作为将逐行扫描信号A、B、C...,例如,30帧/秒的电影数据,转换成NTSC制式60场/秒的隔行扫描信号a、a’、b、b’、c、c’...的方法。
如图3所示,在3-2下拉处理中,原始图像,即1帧图像,被分成2个场或3个场。从图4可以理解,在2-2下拉处理中,原始图像,即1帧图像,被分成2个场。因而,如果通过3-2或2-2下拉处理获得的输入信号的3-2或2-2模式已知,则通过只对从1帧和相同帧生成的相邻的场执行场内内插,就可以在3-2或2-2下拉处理中将输入信号转换为逐行扫描信号。不论图像是静止图片还是运动图片,这一点都能实现。场内内插是不同于图2所示的场间内插的过程。虽然如此,相类似的是,使用先前场的信号PA或随后场的信号PB作为代表新像素的信号PQ,从而生成新的扫描行。因此,场内内插可以提供具有较少叠像失真和高分辨率的图像。
可以通过编辑将普通的60场/秒的信号插入到通过3-2下拉处理或2-2下拉处理生成的隔行扫描信号中。这样的将60场/秒信号纳入(contain)逐行扫描信号的隔行扫描信号不可能通过场内内插而转换成最佳的逐行扫描信号。这是必然的,因为在普通的60场/秒的信号中,从一个图像生成的两个相邻场之间不存在从同一图像生成的场,特别是当普通的60场/秒的图像表示运动图片时。因而,这个隔行扫描信号只代表低品质的图像。假定通过2-2下拉处理而获得并且包括代表圆形对象的60场/秒的信号的隔行扫描信号被转换成逐行扫描信号,如图5所示。同时假定在2-2下拉处理中已经执行了场内内插。那么,所得图像将包括圆形对象的两个相同图像,其彼此重叠,这只不过是因为普通的60场/秒的信号代表圆形对象的移动图像。显然,这个图像的品质明显降低了。
这个问题已经被公开号为2000-78535日本专利申请公开的技术特征所解决。该技术在不降低图像的品质的情况下,把信号转换为期望的逐行扫描信号,即使这个信号包含通过3-2或2-2下拉处理而获得的隔行扫描信号和普通的60场/秒的信号。在该技术中,从三个信号中选择具有最小绝对值的一个信号,并使用该信号作为运动信号K。这三个信号是:(i)随后的场内内插信号,其是与时间在所关心的场之后的场的内插扫描行相同的扫描行信号;(ii)先前的场内内插信号,其是与时间在所关心的场之前的场的内插扫描行相同的扫描行信号;以及(iii)帧间匹配信号,其代表随后的场内内插信号与先前的场内内插信号之差的绝对值。应用运动信号K来获得最佳信号。特别地是,场内内插信号和所关心的场的场内内插信号之间的混合比根据运动信号K而改变。“场内内插信号”由随后的场内内插信号和先前的场内内插信号组成。“所关心的场的场内内插信号”是通过将两条扫描行分别添加在所关心的场的内插扫描行的上面和下面而生成的。
公开号为2000-78535的日本专利申请所公开的技术中,比较不同场的像素数据项,即在不同时间获取的像素数据项。因此,属于被插入的运动图像的任何像素数据项随时间而改变其值。所以,场内内插占优势。因此,除了可以在不降低图像品质的情况下转换为理想的逐行扫描信号的插入图像部分之外的任何图像部分的品质必然降低。
发明内容
本发明是考虑到上面问题而做出的。本发明的目的是提供一种图像处理装置和一种图像处理方法,其可以将通过3-2下拉处理、2-2下拉处理等生成的隔行扫描信号转换成逐行扫描信号,而不降低隔行扫描信号表示的图像的品质,即使该隔行扫描信号包括普通的60场/秒的信号。换句话说,该装置和方法可以将60场/秒的信号和内插信号的其余部分都转换成逐行扫描信号,而不降低图像的品质。值得注意的是,通过以指定顺序重新排列原始图像的帧(例如,电影的帧),对隔行扫描信号的帧频进行了调整。
为了达到这个目的,根据本发明的图像处理装置被设计成将隔行扫描信号转换成为逐行扫描信号,该隔行扫描信号包含被转换成具有与由以指定顺序排列的原始图像帧组成的图像信号相同的帧频的信号。该装置包括:信号生成单元,用于执行场内内插,以从时间上跟随当前场并且与当前场的内插扫描行位于相同位置的扫描行,或者从时间上先于当前场并且与当前场的内插扫描行位于相同位置的扫描行,生成逐行扫描场内内插信号;重影检测单元,用于对每一个像素,确定场内内插信号中包含的所关心的像素是否构成场内内插信号的重影部分的一个像素。
在该图像处理装置中,当重影检测单元确定所关心的像素构成重影部分时,用对应于所关心的像素的预先确定的转换过的信号来替换由信号生成单元生成的对应于所关心的像素的场内内插信号。
该图像处理装置还可以包括内插信号生成单元,用于执行场内内插,以从位于当前场中的内插扫描行的上面和下面的扫描行生成逐行扫描内插信号,或者用于执行场间内插,以从时间上跟随当前场并且与当前场的内插扫描行位于相同位置的扫描行、和时间上先于当前场并且与当前场的内插扫描行位于相同位置的扫描行,生成该信号。在这种情况下,当重影检测单元确定所关心的像素构成重影部分时,用内插信号中占据与所关心的像素有相同位置的像素替换场内内插信号中包含的所关心的像素。
为了达到上述目的,根据本发明的图像处理方法被设计为将隔行扫描信号转换成逐行扫描信号,该隔行扫描信号包含被转换成具有与由以指定顺序排列的原始图像帧组成的图像信号相同的帧频的信号。该方法包括:执行场内内插,以从时间上跟随当前场并且与当前场的内插扫描行位于相同位置的扫描行,或者从时间上先于当前场并且与当前场的内插扫描行位于相同位置的扫描行,生成逐行扫描场内内插信号的步骤;以及重影检测步骤,对每一个像素,确定场内内插信号中包含的所关心的像素是否构成场内内插信号的重影部分的一个像素。
在该图像处理方法中,当在重影检测步骤中确定所关心的像素构成重影部分时,可以用对应于所关心的像素的预先确定的转换过的信号来替换执行场内内插的步骤中生成的对应于所关心的像素的场内内插信号。
该图像处理方法还可以包括通过执行场内内插而从位于当前场中的内插扫描行的上面和下面的扫描行,或者通过执行场间内插而从时间上跟随当前场并且与当前场的内插扫描行位于相同位置的扫描行、和时间上先于当前场并且与当前场的内插扫描行位于相同位置的扫描行,生成逐行扫描内插信号的步骤。在这种情况下,当在重影检测步骤中确定所关心的像素构成重影部分时,用内插信号中包含的占据与所关心的像素相同位置的像素来替换场内内插信号中包含的所关心的像素。
在上述描述的图像处理装置和方法中,对每个像素都检测场内内插信号中存在的重影,如果有的话,以便借助场内内插,将通过3-2下拉处理、2-2下拉处理等生成并包含普通的60场/秒的隔行扫描信号转换为逐行扫描场内内插信号。如果检测到重影,则用通过例如运动自适应内插生成的另一个信号中包含的对应像素来替换构成重影的像素。
根据本发明的图像处理装置和方法可以执行场内内插,从而将包括通过3-2下拉处理、2-2下拉处理等生成的隔行扫描信号和普通的60场/秒的信号的混合信号转换成逐行扫描场内内插信号。该装置和方法可以针对每个像素可靠地将隔行扫描信号和普通的60场/秒彼此区分开。如果场内内插信号包含重影部分,则用通过例如运动自适应内插生成的另一个信号中包含的对应像素来替换构成重影部分的像素。从而,隔行扫描信号和普通的60场/秒的隔行扫描信号都可以转换成逐行扫描信号,而不降低图像的品质。
附图说明
通过下面参照附图对优选实施例的描述,本发明的这些及其他目的和特点将变得清楚。
图1A是表示隔行扫描信号的扫描行的图示;
图1B是表示逐行扫描信号的扫描行的图示;
图1C是表示通过对隔行扫描信号执行扫描行内插而获得的逐行扫描信号的扫描行的图示;
图2是解释场间内插和场内内插的图示;
图3是说明3-2下拉处理的图示;
图4是说明2-2下拉处理的图示;
图5是解释将输入信号转换成逐行扫描信号的过程中存在问题的图示,该问题在输入信号是通过2-2下拉处理而生成并且包括60场/秒的图像的隔行扫描信号时产生;
图6是表示根据本发明的图像处理装置的示意结构的方框图;
图7是说明图6所示的图像处理装置中包含的逐行转换单元的内部结构的方框图;
图8是描述图7所示的逐行转换单元中提供的下拉误差检测单元的内部结构的方框图;
图9是表示各种行延迟信号的位置的图示;
图10是描述可以在图7所示的逐行转换单元中提供的下拉误差检测单元的内部结构的方框图;以及
图11是说明五个行的二进制值模式的图示。
具体实施方式
参照附图详细描述本发明的实施例。该实施例是图像处理装置和图像处理方法。该装置和方法可以将隔行扫描信号转换成逐行扫描信号而不降低图像的品质,即使隔行扫描信号是通过3-2下拉处理或2-2下拉处理而生成的,并且包括普通的60场/秒的信号。换句话说,该装置和方法能够将60场/秒的信号和其余的隔行扫描信号都转换为理想的逐行扫描信号。
根据这一实施例的图像处理装置100如图6所示配置。如图6所示,图像处理装置100包括前端(front)图像处理单元10、逐行转换单元11、显示驱动电路12和显示器13。
前端图像处理单元10从各种信号源接收图像信号。该图像信号是,例如,NTSC信号、PAL信号、来自BS数字调谐器的HDTV信号等等。按照信号格式,该图像信号是隔行扫描信号,例如,525i(525行)信号,625i信号或1125i信号。
逐行转换单元11设计为将525i信号转换为525p信号(即525行逐行扫描信号)、将625i信号转换为625p信号、将1125i信号转换为1125p信号。逐行转换单元11可以将隔行扫描信号转换为逐行扫描信号而不降低图像的品质,即使隔行扫描信号是通过3-2下拉处理或2-2下拉处理而生成的,并且包括普通的60场/秒的信号。也就是说,逐行转换单元11可以将60场/秒的信号和其余的隔行扫描信号都进行转换,而不引起图像品质的下降。逐行转换单元11将如此获得的逐行扫描信号提供给显示驱动电路12。
显示驱动电路12驱动显示器13。通过显示驱动电路12的驱动,显示器13显示从逐行转换单元11提供的逐行扫描信号表示的图像。显示器13可以从各种类型的显示器件中选择,例如,阴极射线管、液晶显示器和等离子体显示器。
显示驱动电路12可以包括分辨率转换电路,该分辨率转换电路将标准或低分辨率图像转换为包含标准或低分辨率图像中并不包含的高频带分量的高分辨率的图像。这样的高分辨率转换电路已在例如公开号为7-193789和11-55630的日本专利申请公开中披露。
逐行转换单元11可具有如图7所示的结构。如图7所示,将从前端图像处理单元10提供的隔行扫描信号作为当前信号输入到逐行转换单元11的一些组件中。逐行转换单元11具有场延迟装置20和21。场延迟装置20将当前信号延迟一场的时间,从而把当前信号转换成past-1(过去-1)信号。将该past-1信号提供给场延迟装置21中。场延迟装置21将past-1信号延迟一场的时间,而生成past-2信号。
逐行转换单元11还包括运动检测单元22、存储器23、运动自适应类型的内插信号生成单元24、下拉检测单元25、内插信号选择单元26、倍速转换单元27和下拉误差检测单元28。运动检测单元22比较past-1信号和past-2信号,检测运动(如果存在运动的话)。也就是说,运动检测单元22利用存储器23中存储的表示所关心的像素是否进行了运动的运动历史。运动检测单元22将运动检测的结果提供给内插信号生成单元24。根据运动检测的结果,内插信号生成单元24执行场间内插或场内内插,产生逐行扫描且运动自适应的内插信号。更具体地说,如果图像保持静止而根本不运动,则内插信号生成单元24执行场间内插,其中,从任何两个水平方向上相邻的像素的平均值生成新像素,从而生成新的扫描行。如果图像存在运动,则内插信号生成单元24执行场内内插,其中,从任何两个垂直方向上相邻的像素的平均值生成新像素,从而生成新的扫描行。因此,内插信号生成单元24生成运动自适应内插信号,将该内插信号提供给内插信号选择单元26和下拉误差检测单元28。
下拉检测单元25从当前信号、past-1信号和past-2信号中检测3-2是下拉处理还是2-2下拉处理。更准确地说,如果输入信号是通过3-2下拉处理或2-2下拉处理而隔行扫描的信号,则与任何场相邻的场一定是从同一帧图像生成的场。因此,通过确定这些场是否有相互移动,下拉检测单元25可以检测是3-2下拉处理还是2-2下拉处理。也就是说,下拉检测单元25使这些场相关联,从而检测场的顺序。通过3-2或2-2下拉处理而隔行扫描的信号可能包含普通的信号。只有确定了该信号是否具有等于或大于预置阈值的值,从而确定了这些场是否相关联,才能使用这样的隔行扫描信号。下拉检测单元25产生下拉检测信号,下拉检测信号代表检测下拉处理的结果。将这个信号提供给内插信号选择单元26和下拉误差检测单元28。
内插信号选择单元26从运动自适应内插信号、当前信号、past-2信号和下拉检测信号中确定应该向倍速转换单元27提供哪种内插信号。输入信号可以是通过3-2下拉处理或2-2下拉处理而隔行扫描的信号。在这种情况下,一定有从同一帧图像生成的相邻场。因此,内插信号选择单元26选择代表这个相邻场的信号(即当前信号或past-2信号)作为内插信号,并将其提供到倍速转换单元27中。输入可能不是通过3-2下拉处理或2-2下拉处理而隔行扫描的信号。如果是这种情况,则内插信号选择单元26选择代表内插信号生成单元24的输出信号的信号作为内插信号,并将其提供到倍速转换单元27中。倍速转换单元27以读取输入信号的速率的两倍速率来交替地读取内插信号和past-1信号,从而生成逐行扫描的场内内插信号。将这个逐行扫描的场内内插信号提供给下拉误差检测单元28。
应注意到,传统逐行转换单元向显示驱动电路提供场内内插信号,而对场内内插信号根本不进行处理。输入到传统逐行转换单元的图像信号可以是通过3-2下拉处理或2-2下拉处理而生成并包含60场/秒的信号的隔行扫描信号。如果这样的话,该60场/秒的信号不可避免地代表了彼此重叠的两个图像,这将降低图像的品质。
为了避免这种情况,图7所示的逐行转换单元11具有下拉误差检测单元28,该下拉误差检测单元28连接到倍速转换单元27的输出端。下拉误差检测单元28估算(evaluate)输入其中的逐行扫描场内内插信号。如果下拉误差检测单元28检测到了重影(double image)误差,则该下拉误差检测单元28用运动自适应内插信号替换场内内插信号。下拉误差检测单元28对每个像素估算场内内插信号,以便检测在下拉处理中产生的误差。因此,一旦检测到重影误差,下拉误差检测单元28以像素为单位用运动自适应内插信号替换场内内插信号。如果下拉检测单元25确定输入信号是通过3-2下拉处理或2-2下拉处理而隔行扫描的信号,并且如果内插信号选择单元26使用当前信号或past-2信号作为要内插的像素,则检测到重影。
下拉误差检测单元28可以如图8所示配置。下拉误差检测单元28接收从倍速转换单元27提供的场内插信号。在下拉误差检测单元28中,行延迟装置30场内插信号延迟一行的时间。通过另外三个行延迟装置31、32和33进一步延迟场内插信号,并且每个行延迟装置都将其延迟一行的时间。结果,从行延迟装置33、32、31和30分别输出信号A、B、C和D。从倍速转换单元27提供的信号称为信号E。这些信号A到E具有图9所示的位置关系。如图9所示,虚线表示通过场内内插生成的扫描行,而实线表示输入到下拉误差单元28的信号的扫描行。
对于通过3-2下拉处理或2-2下拉处理生成的任何隔行扫描信号,在水平方向上彼此相邻的行属于同一帧图像。因此这些行是高度相关的。对于任何60场/秒的信号,在垂直方向上彼此相邻的行(即属于逐行扫描场内插信号的行)一定是非常相关的。利用这个事实,下拉误差检测单元28(如图8所示)区分通过3-2或2-2下拉处理而隔行扫描的信号和60场/秒的信号。
如图8所示,下拉误差检测单元28具有绝对差值计算单元34至37、单行绝对差值平均计算单元38、触发器(FF)电路39至42、平均像素值计算单元43和重影检测单元53。每个绝对差值计算单元34至37配置成求两条相邻行中的像素数据之间的绝对差值。更确切地,绝对差值计算单元34计算信号A和B之间的绝对差值。绝对差值计算单元35计算信号B和C之间的绝对差值。绝对差值计算单元36计算信号C和D之间的绝对差值。绝对差值计算单元37计算信号D和E之间的绝对差值。单行绝对差值平均计算单元38求绝对差值计算单元34至37所计算出的绝对差值的平均值。将单行绝对差值平均计算单元38求出的平均值提供到FF电路39中。FF电路39至42把5个相邻像素的绝对差值的平均值提供给平均像素值计算单元43。平均像素值计算单元43求出5个像素的平均值。将平均像素值计算单元43计算出的平均值提供到重影检测单元53。
如图8所示,下拉误差检测单元28还具有绝对差值计算单元44至46、双行绝对差值平均计算单元47、触发器(FF)电路48至51、平均像素值计算单元52。每个绝对差值计算单元44至46配置为求一行的像素数据项和其下一行之后那一行的像素数据项之间的绝对差值。更确切地,绝对差值计算单元44计算信号A和C之间的绝对差值。绝对差值计算单元45计算信号B和D之间的绝对差值。绝对差值计算单元46计算信号C和E之间的绝对差值。双行绝对差值平均计算单元47求绝对差值计算单元44至46所计算出的绝对差值的平均值。将双行绝对差值平均计算单元47求出的平均值提供给FF电路48中。FF电路48至51把5个相邻像素的绝对差值的平均值提供给平均像素值计算单元52。单元52求出5个相邻像素的平均值。将单元52计算出的平均值提供给重影检测单元53。
重影检测单元53比较从平均像素值计算单元43提供的平均值与从平均像素值计算单元52提供的平均值。从平均像素值计算单元52提供的平均值可能比平均像素值计算单元3所提供的平均值小。这意味着,任何一行和其下一行之后那一行之间的相关性比任何两个相邻行的相关性都更显著。在这种情况下,重影检测单元53确定已生成两个互相重叠的相同的图像。重影检测单元53生成指示这一结论的重影信号。将重影信号提供给并入下拉误差检测单元28中的输出选择单元55。
下拉误差检测单元28还包括两行延迟装置54。两行延迟装置54从内插信号生成单元24接收运动自适应内插信号,并且将这个信号延迟两行的时间。因此,将由两行延迟装置54延迟了两行时间的运动自适应内插信号提供给输出选择单元55。输出选择单元55不但接收运动自适应内插信号,而且还接收来自重影检测单元53的重影信号、来自下拉检测单元25的下拉检测信号和来自行延迟装置31的信号C。当输出选择单元55接收来自重影检测单元53的重影信号时,该装置用运动自适应内插信号所表示的位于相同位置的像素来替换信号C(场内内插信号)所表示的像素,从而防止产生重影误差。
参考图10,描述可以在图7中逐行转换单元11中提供以替换图8所示电路的下拉误差检测单元28。如图8所示的检测单元一样,行延迟装置60将从倍速转换单元27提供的场内内插信号延迟一行的时间。经过如此延迟的信号在行延迟装置61、62和63中进一步延迟,在每个行延迟装置中都延迟一行的时间。从而,获得了信号A、B、C、D和E。
如图10所述,下拉误差检测单元28包括平均值计算单元64、二进制数据生成单元65、重影检测单元66、触发器电路67至70、集成重影检测单元71、两行延迟装置72和输出选择单元73。平均值计算单元64求信号A、B、C、D和E的平均值,二进制数据生成单元65将信号A、B、C、D和E分别转换为二进制信号A’、B’、C’、D’和E’。更准确地说,如果像素数据比信号A、B、C、D和E的平均值大,则二进制数据生成单元65产生“1”,而如果像素数据比信号A、B、C、D和E的平均值小,则二进制数据生成单元65产生“0”。如果五行的二进制值模式与规定模式相同,则重影检测单元66确定产生了重影误差。
如图11示出五行的二进制值模式。图11二进制值模式可以是“1,0,1,0,1”也可是“0,1,0,1,0”。这意味着,任何一行和其下一行之后那一行比任何两个相邻行更相关。在这种情况下,重影检测单元66确定发生了重影误差。所以,重影检测单元66将确定的结果提供给触发器(FF)电路67,也提供给集成重影检测单元71。触发器(FF)电路67至70将相邻像素的4个确定结果信号提供给集成重影检测单元71中。从而,5个相邻像素的5个确定结果被提供给集成重影检测单元71中。集成重影检测单元71根据5个确定结果信号确定是否确实产生了重影误差。如果,例如,5个相邻像素的二进制值模式与上面提及的重影的模式相同,则集成重影检测单元71确定产生了重影误差。
将由两行延迟装置72延迟了两行的时间的运动自适应内插信号提供给输出选择单元73中。输出选择单元73不但接收运动自适应内插信号,还接收来自集成重影检测单元71的重影信号、来自下拉检测单元25的下拉检测信号和来自行延迟装置31的信号C。当输出选择单元73接收来自集成重影检测单元71的重影信号时,该装置用运动自适应内插信号所表示的位于相同位置的像素来替换信号C(场内内插信号)所表示的像素,从而防止产生重影误差。
如上所述,本实施例的逐行转换单元11将输入信号,即通过3-2或2-2下拉处理而生成的含有普通的60场/秒的信号的隔行扫描信号,转换成逐行扫描信号。为了把输入信号转换成逐行扫描信号,逐行转换单元11生成场内内插信号和运动自适应内插信号,并确定场内内插信号是否具有以像素为单位的重影误差。如果检测到重影误差,则针对每个像素,用运动自适应内插信号替换场内内插信号。从而,逐行转换单元11消除了严重降低图像品质的重影误差。因此,逐行转换单元11可以将普通的60场/秒的信号和输入信号的其余部分都转换成逐行扫描信号,而不降低图像品质。
本发明并不只局限于上面描述的实施例。在不脱离本发明的范围和精神的情况下,可以作出各种转换和修改。
上面描述的实施例中使用了关于5个相邻的扫描行的数据和关于5个水平方向上相邻的像素的数据,来检测到重影误差。作为替换,可以使用关于任何其他数目个相邻扫描行的数据和关于任何其它数目个水平方向上相邻的像素的数据,来达到相同的目的。
在上面描述的实施例,帧频是60场每秒。然而,本发明也可以适用于任何其它模式的信号,例如帧频为50场每秒的PAL信号。
此外,本发明不但可以适用于通过3-2下拉处理和2-2下拉处理生成的信号,而且可以适用于通过以指定顺序排列原始信号的多个帧来改变其帧频的信号。
如上所述,当下拉检测单元25检测到重影误差时,用运动自适应内插信号替换场内内插信号。作为替换,在发明中,可以用任何其它模式的信号来替换场内内插信号。例如,可以用另一个场内内插信号来替换该场内内插信号。
根据上面的描述,在本发明中,可以为每个像素选择场内内插信号或运动自适应内插信号。这使得有可能在不降低图像品质的情况下,将通过3-2或2-2下拉处理而生成并包括例如普通的60场/秒的信号的隔行扫描信号转换成逐行扫描信号。也就是说,本发明可以将60场/秒的信号和内插信号的其余部分都转换成逐行扫描信号,而不降低图像品质。
尽管参照为了说明的目的而选择的特定实施例描述了本发明,但是很显然,在不脱离本发明的基本思想和范围的情况下,本领域的技术人员可以对其进行多种修改。
Claims (23)
1.一种图像处理装置,用于将隔行扫描信号转换成逐行扫描信号,该隔行扫描信号包含被转换成具有与由以指定顺序排列的原始图像帧组成的图像信号相同的帧频的信号,该装置包括:
信号生成单元,用于执行场内内插,以从时间上跟随当前场并且与当前场的内插扫描行位于相同位置的扫描行,或者从时间上先于当前场并且与当前场的内插扫描行位于相同位置的扫描行,生成逐行扫描场内内插信号;
重影检测单元,用于对每一个像素,确定场内内插信号中包含的所关心的像素是否构成场内内插信号的重影部分的一个像素。
2.如权利要求1所述的图像处理装置,其中,隔行扫描信号中包含的信号已通过3-2下拉处理或2-2下拉处理转换为隔行扫描信号。
3.如权利要求1所述的图像处理装置,其中,当重影检测单元确定所关心的像素构成重影部分时,用对应于所关心的像素的预先确定的转换过的信号来替换由信号生成单元生成的对应于所关心的像素的场内内插信号。
4.如权利要求3所述的图像处理装置,还包括:内插信号生成单元,用于执行场内内插,以从位于当前场中的内插扫描行的上面和下面的扫描行生成逐行扫描内插信号,或者用于执行场间内插,以从时间上跟随当前场并且与当前场的内插扫描行位于相同位置的扫描行、和时间上先于当前场并且与当前场的内插扫描行位于相同位置的扫描行,生成该信号,
其中,当重影检测单元确定所关心的像素构成重影部分时,用对应于所关心的像素的内插信号来替换对应于所关心的像素的场内内插信号。
5.如权利要求4所述的图像处理装置,其中,内插信号生成单元具有用于检测当前场的运动的运动检测单元,当运动检测单元检测到当前场的运动时,执行场内内插,从而生成内插信号;当运动检测单元没有检测到当前场的运动时,执行场间内插,从而生成内插信号。
6.如权利要求5所述的图像处理装置,还包括:
转换信号检测单元,用于确定图像信号与转换过的信号是否几乎相同;
以及
重影检测/替换单元,配置为接收由信号生成单元生成的场内内插信号以及由内插信号生成单元生成并用作内插信号的内插信号,并且在转换信号检测单元确定图像信号与转换过的信号几乎相同时,检测场内内插信号中的重影部分,并根据重影检测单元的确定结果,用内插信号替换重影部分。
7.如权利要求1所述的图像处理装置,其中,重影检测单元基于与一条包括所关心的像素的相邻扫描行相交的直线上预定的一些像素的相关性,来确定场内内插信号中包含的所关心的像素是否构成重影部分,所述相邻扫描行包括存在所关心的像素的扫描行。
8.如权利要求7所述的图像处理装置,其中,当任何行和其下一行之后那一行上的像素比任何两个相邻行上的像素更相关时,重影检测单元确定所关心的像素构成重影部分。
9.如权利要求7所述的图像处理装置,其中,重影检测单元检测同一扫描行上所关心的像素和其他像素之间的相关程度,从而确定所关心的像素是否构成重影部分。
10.如权利要求1所述的图像处理装置,其中,重影检测单元获得与一条包括所关心的像素的相邻扫描行交叉的直线上一些像素的二进制值模式,并且基于该二进制值模式,确定场内内插信号中包含的所关心的像素是否构成了重影部分,所述相邻扫描行包括存在所关心的像素的扫描行。
11.如权利要求10所述的图像处理装置,其中,重影检测单元将与一条存在所关心的像素的扫描行相交的直线上存在的每个像素,根据该像素的值大于还是小于该直线中存在的像素的平均值,而转换成二进制值,从而获得二进制值模式。
12.如权利要求10所述的图像处理装置,其中,重影检测单元获得包括所关心的像素的扫描行上相邻像素的二进制值模式,从而确定所关心的像素是否构成重影部分。
13.一种图像处理方法,用于将隔行扫描信号转换成逐行扫描信号,该隔行扫描信号包含被转换成具有与由以指定顺序排列的原始图像帧组成的图像信号相同的帧频的信号,该方法包括:
执行场内内插,以从时间上跟随当前场并且与当前场的内插扫描行位于相同位置的扫描行,或者从时间上先于当前场并且与当前场的内插扫描行位于相同位置的扫描行,生成逐行扫描场内内插信号的步骤;以及
重影检测步骤,对每一个像素,确定场内内插信号中包含的所关心的像素是否构成场内内插信号的重影部分的一个像素。
14.如权利要求13所述的图像处理方法,其中,隔行扫描信号中包含的信号已通过3-2下拉处理或2-2下拉处理转换为隔行扫描信号。
15.如权利要求13所述的图像处理方法,还包括当在重影检测步骤中确定所关心的像素构成重影部分时,用对应于所关心的像素的预先确定的转换过的信号来替换执行场内内插的步骤中生成的对应于所关心的像素的场内内插信号的步骤。
16.如权利要求15所述的图像处理方法,还包括:通过执行场内内插而从位于当前场中的内插扫描行的上面和下面的扫描行,或者通过执行场间内插而从时间上跟随当前场并且与当前场的内插扫描行位于相同位置的扫描行、和时间上先于当前场并且与当前场的内插扫描行位于相同位置的扫描行,生成逐行扫描内插信号的步骤,
其中,当在重影检测步骤中确定所关心的像素构成重影部分时,在替换场内内插信号的步骤中,用在产生内插信号的步骤中产生的对应于所关心的像素的内插信号来替换场内内插信号中包含的所关心的像素。
17.如权利要求16所述的图像处理方法,其中,产生内插信号的步骤包括检测当前场的运动的步骤,当在检测运动的步骤中检测到当前场的运动时,执行场内内插,从而生成内插信号;当在检测运动的步骤中没有检测到当前场的运动时,执行场间内插,从而生成内插信号。
18.如权利要求13所述的图像处理步骤,其中,在重影检测步骤中,基于与一条包括所关心的像素的相邻扫描行相交的直线上预定的一些像素的相关性,来确定场内内插信号中包含的所关心的像素是否构成重影部分,所述相邻扫描行包括存在所关心的像素的扫描行。
19.如权利要求18所述的图像处理方法,其中,在重影检测步骤中,当任何行和其下一行之后那一行上的像素比任何两个相邻行上的像素更相关时,确定所关心的像素构成重影部分。
20.如权利要求18所述的图像处理方法,其中,在重影检测步骤中,检测同一扫描行上所关心的像素和其他像素之间的相关程度,从而确定所关心的像素是否构成重影部分。
21.如权利要求13所述的图像处理方法,其中,在重影检测步骤中,获得与一条包括所关心的像素的相邻扫描行交叉的直线上一些像素的二进制值模式,然后基于该二进制值模式,确定场内内插信号中包含的所关心的像素是否构成了重影部分,所述相邻扫描行包括存在所关心的像素的扫描行。
22.如权利要求21所述的图像处理方法,其中,在重影检测步骤中,将与一条存在所关心的像素的扫描行相交的直线上存在的每个像素,根据该像素的值大于还是小于该直线中存在的像素的平均值,而转换成二进制值,从而获得二进制值模式。
23.如权利要求21所述的图像处理方法,其中,在重影检测步骤中,获得包括所关心的像素的扫描行上相邻像素的二进制值模式,从而确定所关心的像素是否构成重影部分。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003311627 | 2003-09-03 | ||
JP311627/2003 | 2003-09-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1620131A true CN1620131A (zh) | 2005-05-25 |
Family
ID=34779813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2004101038464A Pending CN1620131A (zh) | 2003-09-03 | 2004-09-03 | 图像处理装置和图像处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7432979B2 (zh) |
KR (1) | KR101026298B1 (zh) |
CN (1) | CN1620131A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101729841B (zh) * | 2008-10-27 | 2011-11-23 | 富士通株式会社 | 梳状赝像检测装置和梳状赝像检测方法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI275300B (en) * | 2004-04-02 | 2007-03-01 | Mstar Semiconductor Inc | Method of processing fields of images |
US7349029B1 (en) * | 2005-01-19 | 2008-03-25 | Kolorific, Inc. | Method and apparatus for de-interlacing interlaced video fields originating from a progressive video source |
JP4207009B2 (ja) * | 2005-03-09 | 2009-01-14 | ソニー株式会社 | 画像処理装置及び方法 |
KR100732683B1 (ko) | 2005-05-06 | 2007-06-27 | 삼성전자주식회사 | 움직임 보상을 수행하는 영상변환장치 및 움직임 보상방법 |
US7868948B2 (en) * | 2005-09-12 | 2011-01-11 | Sony Corporation | Mage signal processing apparatus, image signal processing method and program for converting an interlaced signal into a progressive signal |
US7697073B2 (en) * | 2005-12-06 | 2010-04-13 | Raytheon Company | Image processing system with horizontal line registration for improved imaging with scene motion |
JP4791854B2 (ja) * | 2006-02-28 | 2011-10-12 | 株式会社東芝 | 映像処理回路及び映像処理方法 |
JP4786602B2 (ja) * | 2007-06-26 | 2011-10-05 | 株式会社東芝 | 情報処理装置およびプログラム |
CN101483726B (zh) * | 2008-01-07 | 2011-05-04 | 华晶科技股份有限公司 | 交错式扫描影像处理方法 |
US8760574B2 (en) * | 2008-04-30 | 2014-06-24 | Broadcom Corporation | Image processing methods and systems for frame rate conversion |
KR101873728B1 (ko) | 2009-02-06 | 2018-07-04 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 표시 장치 구동 방법 |
JP5566048B2 (ja) * | 2009-04-28 | 2014-08-06 | キヤノン株式会社 | 表示装置及びその制御方法 |
US20150296101A1 (en) * | 2014-04-09 | 2015-10-15 | Tao Han | Universal Film mode detection for interlaced video stream |
US11303847B2 (en) | 2019-07-17 | 2022-04-12 | Home Box Office, Inc. | Video frame pulldown based on frame analysis |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6870884B1 (en) * | 1992-01-29 | 2005-03-22 | Mitsubishi Denki Kabushiki Kaisha | High-efficiency encoder and video information recording/reproducing apparatus |
JPH0730861A (ja) * | 1993-07-13 | 1995-01-31 | Oki Electric Ind Co Ltd | 映像信号変換装置、映像信号内挿装置及び飛越し走査変換装置 |
US5642170A (en) * | 1993-10-11 | 1997-06-24 | Thomson Consumer Electronics, S.A. | Method and apparatus for motion compensated interpolation of intermediate fields or frames |
US5828786A (en) * | 1993-12-02 | 1998-10-27 | General Instrument Corporation | Analyzer and methods for detecting and processing video data types in a video data stream |
DE69510851T2 (de) | 1994-03-30 | 1999-12-02 | Thomson Multimedia, Boulogne | Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten |
US5661525A (en) * | 1995-03-27 | 1997-08-26 | Lucent Technologies Inc. | Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence |
KR0176568B1 (ko) * | 1996-01-27 | 1999-05-01 | 김광호 | 모션과 공간적인 상관도를 이용한 비월순차 변환장치 및 그 방법 |
US6122017A (en) * | 1998-01-22 | 2000-09-19 | Hewlett-Packard Company | Method for providing motion-compensated multi-field enhancement of still images from video |
DE60040786D1 (de) * | 1999-08-05 | 2008-12-24 | Sanyo Electric Co | Bildinterpolationsverfahren |
CA2279797C (en) * | 1999-08-06 | 2010-01-05 | Demin Wang | A method for temporal interpolation of an image sequence using object-based image analysis |
JP3614324B2 (ja) * | 1999-08-31 | 2005-01-26 | シャープ株式会社 | 画像の補間システムおよび画像の補間方法 |
US6754371B1 (en) * | 1999-12-07 | 2004-06-22 | Sony Corporation | Method and apparatus for past and future motion classification |
AU781541B2 (en) * | 2000-01-28 | 2005-05-26 | Canon Kabushiki Kaisha | Scanning conversion circuit |
US6563550B1 (en) * | 2000-03-06 | 2003-05-13 | Teranex, Inc. | Detection of progressive frames in a video field sequence |
US6731799B1 (en) * | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
JP2002016944A (ja) * | 2000-06-29 | 2002-01-18 | Sony Corp | 信号処理装置及び信号処理方法 |
CA2344615A1 (en) * | 2000-09-08 | 2002-03-08 | Jaldi Semiconductor Corp. | A method and apparatus for motion adaptive deinterlacing |
JP2003101970A (ja) | 2001-09-19 | 2003-04-04 | Kenwood Corp | 動画像走査変換装置 |
KR100563866B1 (ko) * | 2003-05-19 | 2006-03-23 | 매크로영상기술(주) | 영상 신호의 디인터레이스 방법 및 장치 |
US7129989B2 (en) * | 2003-08-11 | 2006-10-31 | Avermedia Technologies, Inc. | Four-field motion adaptive de-interlacing |
-
2004
- 2004-09-02 US US10/932,622 patent/US7432979B2/en not_active Expired - Fee Related
- 2004-09-03 KR KR1020040070516A patent/KR101026298B1/ko not_active IP Right Cessation
- 2004-09-03 CN CNA2004101038464A patent/CN1620131A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101729841B (zh) * | 2008-10-27 | 2011-11-23 | 富士通株式会社 | 梳状赝像检测装置和梳状赝像检测方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20050025086A (ko) | 2005-03-11 |
US7432979B2 (en) | 2008-10-07 |
US20050195325A1 (en) | 2005-09-08 |
KR101026298B1 (ko) | 2011-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100348035C (zh) | 计算运动矢量的方法与设备 | |
CN1620131A (zh) | 图像处理装置和图像处理方法 | |
US6891571B2 (en) | Method and apparatus for improving video quality | |
CN1484914A (zh) | 界面连续视频信号转换方法与装置 | |
US7612827B2 (en) | Image processing apparatus and method | |
CN1694497A (zh) | 块模式自适应运动补偿 | |
CN1460368A (zh) | 视频图像分辨率的可伸缩提高 | |
CN1652569A (zh) | 自适应显示控制器 | |
CN1360436A (zh) | 检测交错视频序列中运动的方法和运动检测的装置 | |
CN1694498A (zh) | 在静止区域的影片模式纠正 | |
US6295091B1 (en) | Method and apparatus for de-interlacing video fields for superior edge preservation | |
CN1666515A (zh) | 高清晰度去隔行和倍帧电路及方法 | |
CN1694500A (zh) | 视频序列中的文字收报机处理 | |
CN1265634C (zh) | 图像格式转换装置及其方法 | |
CN100477775C (zh) | 图像状态信息校正 | |
CN1293756C (zh) | 视频信号处理装置,视频信号处理方法以及视频源判定方法 | |
CN1500347A (zh) | 扫描变换装置 | |
CN101060640A (zh) | 用于处理视频信号的设备和方法 | |
US7688388B2 (en) | Image processing method and device thereof | |
JP4433949B2 (ja) | 画像処理装置及び方法 | |
EP1560427B1 (en) | Method and system for minimizing both on-chip memory size and peak dram bandwitch requirements for multifield deinterlacers | |
CN1662036A (zh) | 逐行扫描和隔行信号之间的检测和选择 | |
Lim et al. | HDTV transmission formats and migration path | |
KR100987770B1 (ko) | 비월 주사 영상 신호의 필드간 장면 전환시의 화면 깨짐현상을 최소화한 ipc 시스템 | |
JP4175863B2 (ja) | 飛び越し走査の動き検出回路及び映像信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20050525 |