CN1933584A - 图像信号处理装置、图像信号处理方法和程序 - Google Patents

图像信号处理装置、图像信号处理方法和程序 Download PDF

Info

Publication number
CN1933584A
CN1933584A CN200610127533.1A CN200610127533A CN1933584A CN 1933584 A CN1933584 A CN 1933584A CN 200610127533 A CN200610127533 A CN 200610127533A CN 1933584 A CN1933584 A CN 1933584A
Authority
CN
China
Prior art keywords
field picture
signal
conversion
interlace
progressive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200610127533.1A
Other languages
English (en)
Other versions
CN100539676C (zh
Inventor
田中铁朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1933584A publication Critical patent/CN1933584A/zh
Application granted granted Critical
Publication of CN100539676C publication Critical patent/CN100539676C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00Television
    • Y10S348/911Line doubler adapted for reproducing program originally from film, e.g. 24 frame per second

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明披露了一种图像信号处理装置,用于将隔行信号转换成逐行信号,该装置包括:第一转换单元;第二转换单元;判定单元;和选择单元。

Description

图像信号处理装置、 图像信号处理方法和程序
相关申请的交叉参考
本发明包含于2005年9月12日向日本专利局提交的日本专利申请JP2005-263302的主题,其全部内容结合于此作为参考。
技术领域
本发明涉及一种图像信号处理装置、图像信号处理方法和程序,更特别地,本发明涉及一种适合于将隔行信号转换成逐行信号的图像信号处理装置、图像信号处理方法和程序。
背景技术
为提高在电视接收机等的显示单元上显示的图像的画面质量(通过去除行闪烁等等),采用了IP转换处理。IP转换处理将隔行型的图像信号(这种类型的信号后文中称为隔行信号,interlacedsignal)转换成另一种逐行型的图像信号(这种类型的信号后文中称为逐行信号,progressive signal)。对于诸如液晶显示单元或等离子体显示单元的固定像素显示单元来说,IP转换处理已成为一种很普及的技术。下文中,所描述的电视系统采用NTSC(国家电视系统委员会)系统作为例子。
IP转换处理可根据进行IP转换之前隔行信号的类型,通过各种方法来实施,包括2·3下拉(pull-down)逆转换、2·2下拉逆转换、运动自适应(motion adaptive)IP转换和运动补偿IP转换。
为了转换电影素材(film material)的隔行信号,可应用2·3下拉逆转换或2·2下拉逆转换。此处电影素材是将用于拍摄电影的电影摄影机每秒拍摄24或30幅图像所生成的素材,利用电视电影装置通过3·2下拉电视电影转换或2·2下拉电视电影转换而转换成每秒60幅图像的隔行信号而获得的。通过2·3下拉逆转换或2·2下拉逆转换进行的IP转换的结果将得到逐行信号,包括在电视电影转换之前电影素材的再生原始图像,并且当将其再生时不会导致行闪烁(line flickering)的产生。
另一方面,为了对视频素材的隔行信号进行IP转换,可适当应用运动自适应IP转换或运动补偿IP转换。视频素材是通过使用摄像机,根据隔行方式摄取图像而获得的。
在运动自适应IP转换中,当处于将被插入到每个奇数(偶数)场中的每个偶数(奇数)行中的像素不涉及任何运动(任何时间变化)时,使用那些存在于位于奇数(偶数)场之前和之后的一对偶数(奇数)场的偶数(奇数)行中的像素来执行插入。另一方面,当处于将被插入到每个奇数(偶数)场中的每个偶数(奇数)行中的像素涉及一些运动(一些时间变化)时,则使用那些存在于奇数(偶数)场中的奇数(偶数)行中的像素执行插入。
通过运动自适应IP转换,可以从不包括任何运动的静止图像中除去行闪烁,而即使对于包括运动的图像来说,与应用适合于电影素材的IP转换的替代情况相比较,也能够减少行闪烁。
因此,流行采取如下所述的对策。具体来说,首先判定在执行IP转换之前的隔行信号是电影素材的还是视频素材的。然后,基于判定结果,输出被应用了用于电影素材的IP转换的逐行信号或被应用了用于视频素材的IP转换的另一逐行信号。该对策在例如日本专利公开第2004-96223中披露。
发明内容
顺便指出,普通摄像机输出的是视频素材的隔行信号。然而,一些较廉价的摄像机输出的是具有电影素材特征的隔行信号(细节在稍后指述)。
例如,普通摄像机具有约480行的垂直分辨率,其中的一半被分给奇数场,而另一半被分给偶数场。然而,一些较廉价摄像机具有大约240行的垂直分辨率,它们共同用于奇数场和偶数场。
从刚刚描述的这种较廉价摄像机输出的隔行信号被判定具有电影素材的特征。然而,如果将适合于电影素材的IP转换应用于该隔行信号,则与将运动自适应IP转换应用于该隔行信号的情况相比较,画面质量将下降。
因此,必需辨别从如上所述的这种较廉价摄像机输出的并具有电影素材特征的隔行信号,然后将适合于视频素材的IP转换应用于辨别出的隔行信号。
因而,希望提供一种能够响应于隔行信号选择适合的IP转换的图像信号处理装置、图像信号处理方法和程序。
根据本发明的实施例,提供了一种用于将隔行信号转换成逐行信号的图像信号处理装置,包括:第一转换单元,用于通过2·2下拉逆转换将隔行信号转换成逐行信号;第二转换单元,用于通过运动自适应IP转换将隔行信号转换成逐行信号;判定单元,用于算术运算隔行信号的两个连续场图像的相关值S,并基于该相关值S判定这两个连续场图像是否来源于单个帧图像,在该单个帧图像中,垂直方向上的像素数与场图像在垂直方向上的像素数相等;以及选择单元,用于根据判定单元的判定结果,来选择第一转换单元的转换结果或第二转换单元的转换结果。
判定单元可以根据以下表达式来算术运算相关值S
p=∑|f1(x,y)-f2(x,y-1)|
q=∑|f1(x,y)-f2(x,y+1)|
S=p/q,p>q时
S=q/p,q≥p时
其中,x是像素的水平坐标,y是像素的垂直坐标,y-1是紧接在垂直坐标y的行之下的另一行的垂直坐标,y+1是紧接在垂直坐标y的行之上的另一行的垂直坐标,f1是一个场图像的以括号中的坐标表示的像素值,f2是另一场图像的以括号中的坐标表示的像素值,∑是总值,S是相关值S。
判定单元可以将相关值S与预定的阈值进行比较,以判定两个连续场图像是否来源于垂直方向的像素数与场图像在垂直方向上的像素数相等的单个帧图像。
第二转换单元可以不使用运动自适应IP转换,而采用基于图像之间的运动向量来插入像素的运动补偿IP转换,来将隔行信号转换为逐行信号。
根据本发明的另一实施例,提供了一种将隔行信号转换为逐行信号的图像信号处理装置所用的图像信号处理方法,包括以下步骤:通过2·2下拉逆转换将隔行信号转换为逐行信号;通过运动自适应IP转换将隔行信号转换为逐行信号;算术运算隔行信号的两个连续场图像的相关值S,并基于相关值S判定这两个连续的场图像是否来源于垂直方向的像素数与场图像在垂直方向上的像素数相等的单个帧图像;以及根据判定结果,选择第一转换的结果或第二转换的结果。
根据本发明进一步的实施例,提供了一种用于将隔行信号转换成逐行信号的程序,该程序使计算机能够执行包括以下步骤的处理,其中:通过2·2下拉逆转换将隔行信号转换为逐行信号;通过运动自适应IP转换将隔行信号转换为逐行信号;算术运算隔行信号的两个连续场图像的相关值S,并基于相关值S判定这两个连续的场图像是否来源于垂直方向的像素数与场图像在垂直方向上的像素数相等的单个帧图像;以及根据判定结果,选择第一转换的结果或第二转换的结果。
在本发明的图像信号处理装置和方法及程序中,隔行信号通过2·2下拉逆转换转换成逐行信号。隔行信号还通过运动自适应IP转换转换成另一逐行信号。然后,通过算术运算得出隔行信号的两个连续场图像之间的相关值S。此后,根据相关值S来判定这两个连续的场图像是否来源于垂直方向的像素数与场图像在垂直方向上的像素数相等的单个帧图像。最后,根据判定结果选择第一转换结果或第二转换结果。
这样,通过使用本发明的图像信号处理装置和方法及程序,能够根据隔行信号来选择适当的IP转换。
从以下结合附图的描述和附加权利要求可以显而易见本发明的以上和其他目的、特征和优点,在附图中,相同的参考符号表示相同的部件或元件。
附图说明
图1是示出应用了本发明的图像信号处理装置的配置实例的框图;
图2是示出图1中所示的IP转换部的配置实例的框图;
图3A到图3C是示出了3·2下拉电视电影转换或2·2下拉逆转换的示意图;
图4A、图4B、图4C和图5是示出了运动自适应IP转换的示意图;
图6是示出了图2中所示的原始图像240P检测部的配置实例的框图;
图7和图8是示出了原始图像240P检测部的动作的示图;
图9是示出了IP转换部的动作的流程图。
具体实施方式
在详细描述本发明的优选实施例之前,描述了在所附权利要求中列出的若干特征与以下描述的优选实施例的具体部件之间的对应关系。然而,该描述仅仅是为了确认在本发明的实施例的描述中披露了权利要求中所述的支持本发明的具体元件。因此,即使在实施例描述中所列出的某一具体元件没有被列出作为以下描述中的一个特征,并不意味着该具体元件不对应该特征。相反,即使将某一具体元件作为对应于一个特征的元件而列出,也并不意味着除此之外,该元件就不对应于任何其他特征。
根据本发明实施例的图像信号处理装置(例如,图1的IP转换部12)包括:第一转换单元(例如,图2的2·2下拉逆转换部22),用于通过2·2下拉逆转换将隔行信号转换成逐行信号;第二转换单元(例如,图2的运动自适应IP转换部23),用于通过运动自适应IP转换将隔行信号转换成逐行信号;判定单元(例如,图2的原始图像240P检测部26),用于算术运算隔行信号的两个连续场图像的相关值S,并基于该相关值S来判定这两个连续场图像是否来源于垂直方向的像素数与场图像在垂直方向上的像素数相等的单个帧图像;和选择单元(例如,图2的逐行信号选择部27),用于响应于判定单元的判定结果来选择第一转换单元的转换结果或第二转换单元的转换结果。
图像信号处理方法或程序包括以下步骤:通过2·2下拉逆转换将隔行信号转换成逐行信号(例如,图9中的步骤S2);通过运动自适应IP转换将隔行信号转换成逐行信号(例如,图9中的步骤S3);算术运算隔行信号的两个连续场图像的相关值S,并基于该相关值S来判定这两个连续场图像是否来源于垂直方向的像素数与场图像在垂直方向上的像素数相等的单个帧图像(例如,图9中的步骤S6);以及响应于判定单元的判定结果来选择第一转换单元的转换结果或第二转换单元的转换结果(例如,图9中的步骤S10)。
下文中,参考附图详细描述应用了本发明的具体实施例。
首先参看图1,示出了应用本发明的图像信号处理装置的配置实例。该图像信号处理装置1通常被内置在电视接收机中,用于将隔行信号转换成逐行信号并显示逐行信号。下文中,将隔行信号的图像称为场图像,而将逐行信号的图像称为帧图像。
图像信号处理装置1包括前图像信号处理部11、IP转换部12、显示驱动部13和显示单元14。
前图像信号处理部11对输入其中的隔行型图像信号执行AD(模数)转换处理、色度解码处理和其他生成隔行信号所必需的处理。前图像信号处理部11将隔行信号输出到IP转换部12。IP转换部12将输入其中的隔行信号转换为逐行信号,并将逐行信号输出到显示驱动部13。显示驱动部13包括被称为计数器(scaler)的像素数转换电路、面板驱动器和其他必需的部件,并执行适合于显示单元14的处理,用于将逐行信号从IP转换部12输入其中。显示驱动部13将合成逐行信号输出到显示单元14。显示单元14显示与显示驱动部13的输出相对应的图像。
图2示出了IP转换部12的配置的实例。
参看图2,所示的IP转换部12包括:2·3下拉逆转换部21、2·2下拉逆转换部22和运动自适应IP转换部23。IP转换部12还包括3·2顺序(sequence)检测部24、2·2顺序检测部25、原始图像240P检测部26和逐行信号选择部27。
基于来自3·2顺序检测部24的通知,2·3下拉逆转换部21通过2·3下拉逆转换将从前级输入到IP转换部12的隔行信号转换为逐行信号。2·3下拉逆转换部21将逐行信号输出到逐行信号选择部27。2·3下拉逆转换是最适合于通过3·2下拉电视电影转换从电影素材的原始图像所生成的隔行信号的IP转换。
基于来自2·2顺序检测部25的通知,2·2下拉逆转换部22通过2·2下拉逆转换将从前级输入到IP转换部12的隔行信号转换为逐行信号。2·2下拉逆转换部22将逐行信号输出到逐行信号选择部27。2·2下拉逆转换是最适合于通过2·2下拉电视电影转换从电影素材的原始图像所生成的隔行信号的IP转换。
具体来说,如图3B和图3C中所示,基于连续场图像A1和A2产生两个连续的帧图像A。同样,基于连续场图像B1和B2产生两个连续的帧图像B,以及基于连续的场图像C1和C2产生两个连续的帧图像C。应注意到,两个连续场图像的组合服从来自2·2顺序检测部25的通知。
回到图2,运动自适应IP转换部23通过运动自适应IP转换将从前级输入的隔行信号转换为逐行信号。运动自适应IP转换部23将逐行信号输出到逐行信号选择部27。运动自适应IP转换是最适合于视频素材的隔行信号的IP转换。
具体来说,参看图4A到图4C,运动自适应IP转换部23基于随着时间连续出现的隔行场图像E、F和G来产生帧图像F′。同样,运动自适应IP转换部23基于随时间连续出现的隔行场图像F、G和H来产生帧图像G′。更具体的,参看图5,如果所产生的帧图像(例如,F′)的像素P不表现出任何的运动,就是说,不随时间有任何变化,则存在于随时间连续出现的场图像中的像素,这种情况下为场图像E的像素P 1和场图像G的像素P2,被用于执行插入。另一方面,如果像素P表现出一些运动,就是说,随时间有一些变化,则存在于对应场图像中的像素,这种情形下是场图像F的像素P3和P4,被用于执行插入。
回到图2,3·2顺序检测部24判定从前级输入的隔行信号是否具有通过3·2下拉电视电影转换从原始图像所生成的隔行信号的特征。如果3·2顺序检测部24判定隔行信号具有该特征,那它就将3·2顺序检测信号输出到逐行信号选择部27。另外,3·2顺序检测部24通知2·3下拉逆转换部21,应该组合对应于所输入的隔行信号的哪一个连续场图像,以产生帧图像。
2·2顺序检测部25判定从前级输入的隔行信号是否具有通过2·2下拉电视电影转换从原始图像所生成的隔行信号的特征。如果2·2顺序检测部25判定隔行信号具有该特征,那它就将2·2顺序检测信号输出到逐行信号选择部27。另外,2·2顺序检测部25通知2·2下拉逆转换部22和原始图像240P检测部26,应该组合与输入隔行信号相对应的哪两个连续场图像,以产生帧图像。
此处,将描述通过2·2顺序检测部25来判定从前级输入的隔行信号是否具有上述特征的判定方法的实例。
通过2.2下拉电视电影转换,例如,基于图3A中所示以每秒30帧的速率拍摄的原始图像A来产生图3B中所示的场图像A1和A2。同样,基于原始图像B产生场图像B1和B2,以及基于原始图像C产生场图像C1和C2。因此,如果算术运算并相互比较两个相邻场图像之间的差(difference),则场图像B1和B2之间的差和场图像C1和C2之间的差很小。然而,场图像A2和B1之间的差和场图像B2和C1之间的差却很大。
当两个相邻场图像之间的差的幅度像这样在大和小之间交替变化时,2·2顺序检测部25判定从前级输入的隔行信号具有通过2·2下拉电视电影转换从以每秒30帧的速率拍摄的原始图像而产生的隔行信号的特征。因而,2·2顺序检测部25将2·2顺序检测信号输出到逐行信号选择部27。
再次回到图2,原始图像240P检测部26判定从前级输入的隔行信号是否具有从垂直分辨率为240行的单个原始图像产生两个场图像的隔行信号的特征。后文中,将刚才所述的这种原始图像称为240P原始图像。如果原始图像240P检测部26判定隔行信号具有该特征,那它就将原始240P检测信号输出到逐行信号选择部27。
基于3·2顺序检测信号、2·2顺序检测信号或原始图像240P检测信号,逐行信号选择部27将来自2·3下拉逆转换部21的逐行信号、来自2·2下拉逆转换部22的另一逐行信号或来自运动自适应IP转换部23的又一逐行信号输出到后级。
具体来说,如果输入3·2顺序检测信号,则逐行信号选择部27将来自2·3下拉逆转换部21的逐行信号输出到后级。如果输入2·2顺序检测信号而不输入原始图像240P检测信号,则逐行信号选择部27就输出来自2·2下拉逆转换部22的逐行信号。如果3·2顺序检测信号和2·2顺序检测信号都不输入或者2·2顺序检测信号和原始图像240P检测信号都输入,则逐行信号选择部27就将来自运动自适应IP转换部23的逐行信号输出到后级。
图6示出了原始图像240P检测部26的配置的实例。向原始图像240P检测部26输入隔行信号,它包括由奇数场和偶数场构成的一个帧的所有行中,奇数场中的奇数行和偶数场中的偶数行中的信号。原始图像240P检测部26包括场存储器31和32,每一个均将所输入的隔行信号延迟一场的周期。原始图像240P检测部26还包括场差a算术运算部33和场差b算术运算部34,用于算术运算出从场存储器31输出的场图像(下文中称为当前场图像)和从场存储器32输出的另一场图像(下文中称为先前场图像)之间的差。原始图像240P检测部26还包括场差c算术运算部35和场差b算术运算部36,用于算术运算出从前级输入到原始图像240P检测部26的场图像(下文中称为之后场图像)和当前场图像之间的差。
每次从相应前级输入一个场图像的隔行信号时,场存储器31和32中的每个均保留从前级输入的一个场的隔行信号,并将迄今为止一直保留于其中的一个场的隔行信号输出到相应的后级。
根据当前场图像是奇数场图像还是偶数场图像,场差a算术运算部33~场差d算术运算部36以不同的方式进行操作。
参看图7,如果当前场图像是奇数场图像,则场差a算术运算部33算术运算出在先前场图像的垂直方向中第2m(m=0,1,2,...)行具有相同水平坐标的像素和当前场图像的第(2m+1)行中具有相同水平坐标的像素之间的差的绝对值的总和a。场差a算术运算部33将以此方式算术运算得出的绝对值总和a输出到判定部37。此处将被求和的绝对值数目对应于保留在场存储器31或场存储器32中的场中水平方向和垂直方向像素的总数。场差b算术运算部34算术运算出在先前场图像的垂直方向中第2n(n=0,1,2,...)行具有相同水平坐标的像素和当前场图像的第(2n-1)行中具有相同水平坐标的像素之间的差的绝对值的总和b。场差b算术运算部34将以此方式算术运算得出的绝对值总和b输出到判定部37。场差c算术运算部35算术运算出在之后场图像的垂直方向第2m行中具有相同水平坐标的像素和当前场图像第(2m+1)行中具有相同水平坐标的像素之间的差的绝对值的总和c。场差c算术运算部35将以此方式算术运算得出的绝对值的总和c输出到判定部37。场差d算术运算部36算术运算出在之后场图像的垂直方向第2n行中具有相同水平坐标的和当前场图像第(2n-1)行中具有相同水平坐标的像素之间的差的绝对值的总和d。场差d算术运算部36将以此方式算术运算得出的总和d输出到判定部37。
现在参看图8,如果当前场图像是偶数场图像,则场差a算术运算部33算术运算出在先前场图像的垂直方向第(2m+1)(m=0,1,2,...)行中具有相同水平坐标的像素和当前场图像的第2m行中具有相同水平坐标的像素之间的差的绝对值的总和a。场差a算术运算部33将以此方式算术运算得出的绝对值总和a输出到判定部37。场差b算术运算部34算术运算出在先前场图像的垂直方向第(2n-1)(n=0,1,2,...)行中具有相同水平坐标的像素和当前场图像的第2n行中具有相同水平坐标的像素之间的差的绝对值的总和b。场差b算术运算部34将以此方式算术运算得出的绝对值总和b输出到判定部37。场差c算术运算部35算术运算出在之后场图像的垂直方向第(2m+1)行中具有相同水平坐标的像素和当前场第2m行中具有相同水平坐标之间的差的绝对值的总和c。场差c算术运算部35将以此方式算术运算得出的绝对值的总和c输出到判定部37。场差d算术运算部36算术运算出在之后场图像的垂直方向第(2n-1)行中具有相同水平坐标的像素和当前场图像的第2n行中具有相同水平坐标的像素之间的差的绝对值的总和d。场差d算术运算部36将以此方式算术运算得出的总和d输出到判定部37。
回到图6,判定部37从2·2顺序检测部25接收表示应该组合哪两个帧图像来产生一个帧图像的通知。如果来自2·2顺序检测部25的通知指示组合先前场图像和当前场图像,则判定部37就基于场差a算术运算部33和场差b算术运算部34的算术运算结果a和b来判定,从前级输入的隔行信号是否具有从单个240P原始图像产生两个场图像所获得的隔行信号的特征。
另一方面,如果来自2·2顺序检测部25的通知指示组合当前场图像和之后场图像,则判定部37就基于场差c算术运算部35和场差d算术运算部36的算术运算结果c和d来判定,从前级输入的隔行信号是否具有从单个240P原始图像产生两个场图像所获得的隔行信号的特征。
具体来说,判定部37是基于以下考虑来作决定的。如果输入到原始图像240P检测部26的隔行信号是从单个240P原始图像产生两个场图像所获得的隔行信号,那就应该已从单个240P原始图像产生了先前场图像和当前场图像的组合或当前场图像和之后场图像的另一个组合。
接下来,从单个240P原始图像所产生的两个连续场图像具有这一关系,即,在一个场图像的偶数2X行中沿水平方向具有相同坐标的像素和在另一奇数(第2X+1或2X-1)行中沿水平方向具有相同坐标的像素具有相等的值。因此,经过算术运算得出的两个不同的差的绝对值总和中的一个具有非常小的值,并且,如果在从同一个240P原始图像产生两个场图像的过程中不产生任何噪音,则显示出值0。因此,当差的绝对值的两个总和中较大的一个除以两个总和中较小的一个时,商显然会大于“1”。
另一方面,已确认,如果对不是从单个240P原始图像产生的两个连续场图像算术运算出两个不同的差的绝对值总和,则会获得基本上彼此相等的值。因此,当差的绝对值的两个总和中较大的一个除以两个总和中较小的一个时,商接近“1”。
因此,如果来自2·2顺序检测部25的通知指示组合先前场图像和当前场图像,则将算术运算结果a和b彼此进行比较,并算术运算出当差的绝对值的两个总和中较大的一个除以两个总和中较小的一个时的商。然后,如果商等于或大于比“1”大的预定临限值α(例如,α=2.5、5.0等),则判定从前级输入的隔行信号具有从单个240P原始图像产生两个场图像所获得的隔行信号的特征。
另一方面,如果来自2·2顺序检测部25的通知指示组合当前场图像和之后场图像,则将算术运算结果c和d彼此进行比较,并算术运算出当差的绝对值的两个总和中较大的一个除以两个总和中较小的一个时的商。然后,如果商等于或大于比“1”大的预定临限值α,则判定从前级输入的隔行信号具有从单个240P原始图像产生两个场图像所获得的隔行信号的特征。
应注意,如上所述的商也可以用于判定从前级输入的隔行信号是来源于视频素材还是电影素材。因此,该商也可以用于判定从前级输入的隔行信号是从视频素材转换成电影素材,还是从电影素材转换成视频素材。
总之,图6中的原始图像240P检测部26的判定部37根据以下表达式来算术运算隔行信号的两个连续场图像的相关值S:
p=∑|f1(x,y)-f2(x,y-1)|
q=∑|f1(x,y)-f2(x,y+1)|
S=p/q,p>q时
S=q/p,q≥p时
其中,x是像素的水平坐标,y是像素的垂直坐标,y-1是紧接在垂直坐标y的行之下的另一行的垂直坐标,y+1是紧接在垂直坐标y的行之上的另一行的垂直坐标,f1是在一个场图像的像素值,f2是在另一个场图像的像素值,∑是总值。由值p和q构成的对在本实施例中,对应于总值a和b构成的对、或者总值c和d构成的对。
现在,参考图9的流程图描述IP转换部12的动作。隔行信号从前级输入到IP转换部12,然后被提供给IP转换部12中从2·3下拉逆转换部21到原始图像240P检测部26的各个部件。然后,彼此平行地执行以下描述的步骤S1到S6的处理。
具体来说,参看图9,在步骤S1中,2·3下拉逆转换部21将从前级输入其中的隔行信号转换成逐行信号,然后将该逐行信号输出到逐行信号选择部27。在步骤S2中,2·2下拉逆转换部22将从前级输入的隔行信号转换成逐行信号,然后将该逐行信号输出到逐行信号选择部27。在步骤S3中,运动自适应IP转换部23将从前级输入的隔行信号转换成逐行信号,然后将该逐行信号输出到逐行信号选择部27。
在步骤S4中,3·2顺序检测部24判定从前级输入的隔行信号是否具有通过3·2下拉电视电影转换所产生的隔行信号的特征。然后,如果3·2顺序检测部24判定所输入的隔行信号具有该特征,那么它就将3·2顺序检测信号输出到逐行信号选择部27。在步骤S5中,2·2顺序检测部25判定所输入的隔行信号是否具有通过2·2下拉电视电影转换所产生的隔行信号的特征。然后,如果2·2顺序检测部25判定所输入的隔行信号具有该特征,就将2·2顺序检测信号输出到逐行信号选择部27。在步骤S6中,原始图像240P检测部26判定从前级输入的隔行信号是否具有从240P原始图像产生两个场图像所获得的隔行信号的特征。然后,如果原始图像240P检测部26判定所输入的隔行信号具有该特征,就将原始图像240P检测信号输出到逐行信号选择部27。
在步骤S7中,逐行信号选择部27判定3·2顺序检测信号是否被输入其中。如果逐行信号选择部27判定3·2顺序检测信号已被输入,则处理前进至步骤S8,在该步骤中,逐行信号选择部27将从2·3下拉逆转换部21输入其中的逐行信号输出到后级。如果在步骤S7判定没有输入3·2顺序检测信号,则处理前进至步骤S9。
在步骤S9中,逐行信号选择部27判定2·2顺序检测信号是否被输入其中。如果逐行信号选择部27判定2·2顺序检测信号已被输入,则处理前进至步骤S10,在该步骤中,逐行信号选择部27判定原始图像240P检测信号是否已被输入其中。然后,如果判定输入了原始图像240P检测信号,则处理前进至步骤S11,在该步骤中,逐行信号选择部27将从2·2下拉逆转换部22输入其中的逐行信号输出到后级。
应注意,如果在步骤S9中判定没有输入2·2顺序检测信号,或者如果在步骤S10中判定没有输入原始图像240P检测信号,则处理前进至步骤S12。在该步骤中,逐行信号选择部27将从运动自适应IP转换部23输入其中的逐行信号输出到后级。IP转换部12以如上所述的方式运作。
如上所述,在IP转换部12中,当输入由240P原始图像产生的隔行信号时,生成2·2顺序检测信号,并且还生成原始图像240P检测信号。因此,输出到后级的不是从2·2下拉逆转换部22输入并具有较低画面质量的逐行信号,而是通过运动自适应IP转换所产生的其他逐行信号。
应注意,可以在原始图像240P检测信号作为步骤S6的处理结果输出时,停止2·3下拉逆转换部21和2·2下拉逆转换部22的动作。
另外,虽然在上述实施例中,本发明被应用于480I分辨率的NTSC系统中,但本发明也可应用于576I分辨率的PAL系统和1080I分辨率的高分辨率电视系统中。
预计本发明可以在多数播放通过2·2下拉电视电影转换所产生的电影素材的隔行信号的欧洲达到相对高的影响下拉。在欧洲,原始图像采用的不是30帧/秒而是25帧/秒的信号。
应注意,运动自适应IP转换部23可以用运动补偿(也称为向量检测)I P转换部来代替,运动补偿IP转换部基于运动向量来检测图像和插入像素之间的运动向量。在使用刚才所说的这种运动补偿IP转换部的情况下,与使用运动自适应IP转换部23的情况相比较,可以产生响应于图像的运动而被更加适当插入的逐行信号。
应注意,在本说明书中,以程序为基础所执行的步骤可以但并不必一定按照如上所述顺序的时间序列来处理,而是可以包括在不以时间为序列进行处理的条件下并行或分别执行的处理。
虽然已使用特定术语描述了本发明的优选实施例,但是该描述仅起到例示性的作用,应该理解,可在不脱离附加权利要求的精神或范围内作出各种改变和修改。

Claims (6)

1.一种用于将隔行信号转换成逐行信号的图像信号处理装置,包括:
第一转换单元,用于通过2·2下拉逆转换将所述隔行信号转换成逐行信号;
第二转换单元,用于通过运动自适应IP转换将所述隔行信号转换成逐行信号;
判定单元,用于算术运算所述隔行信号的两个连续场图像的相关值,并基于所述相关值判定所述两个连续场图像是否来源于垂直方向上的像素数与所述场图像在垂直方向上的像素数相等的单个帧图像;以及
选择单元,用于根据所述判定单元的判定结果,选择所述第一转换单元的转换结果或所述第二转换单元的转换结果。
2.根据权利要求1所述的图像信号处理装置,其中,所述判定单元根据以下表达式来算术运算所述相关值:
p=∑|f1(x,y)-f2(x,y-1)|
q=∑|f1(x,y)-f2(x,y+1)|
S=p/q  p>q时
S=q/p  q≥p时
其中,x是像素的水平坐标;y是所述像素的垂直坐标;y-1是紧接在所述垂直坐标y的行之下的另一行的垂直坐标;y+1是紧接在所述垂直坐标y的行之上的另一行的垂直坐标;f1是在一个所述场图像的以括号中的坐标表示的像素值;f2是在另一个所述场图像的以括号中的坐标表示的像素值;∑是总值;以及,S是所述相关值。
3.根据权利要求2所述的图像信号处理装置,其中,所述判定单元将所述相关值与预定的阈值进行比较,以判定所述两个连续场图像是否来源于垂直方向上的像素数与所述场图像在垂直方向上的像素数相等的单个帧图像。
4.根据权利要求1所述的图像信号处理装置,其中,所述第二转换单元不使用所述运动自适应IP转换,而是使用运动补偿IP转换,其中,基于图像之间的运动向量来插入像素,以将所述隔行信号转换成逐行信号。
5.一种用于图像信号处理装置的图像信号处理方法,所述图像信号处理装置用于将隔行信号转换成逐行信号,所述方法包括以下步骤:
通过2·2下拉逆转换将所述隔行信号转换为逐行信号;
通过运动自适应IP转换将所述隔行信号转换为逐行信号;
算术运算所述隔行信号的两个连续场图像的相关值,并基于所述相关值判定所述两个连续场图像是否来源于垂直方向上的像素数与所述场图像在垂直方向上的像素数相等的单个帧图像;以及
根据判定结果,选择所述第一转换的结果或所述第二转换的结果。
6.一种用于将隔行信号转换成逐行信号的程序,所述程序使计算机执行包括以下步骤的处理:
通过2·2下拉逆转换将所述隔行信号转换为逐行信号;
通过运动自适应IP转换将所述隔行信号转换为逐行信号;
算术运算所述隔行信号的两个连续场图像的相关值,并基于所述相关值判定所述两个连续场图像是否来源于垂直方向上的像素数与所述场图像在垂直方向上的像素数相等的单个帧图像;以及
根据判定结果,选择所述第一转换的结果或所述第二转换的结果。
CN200610127533.1A 2005-09-12 2006-09-12 图像信号处理装置和图像信号处理方法 Expired - Fee Related CN100539676C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005263302 2005-09-12
JP2005263302 2005-09-12

Publications (2)

Publication Number Publication Date
CN1933584A true CN1933584A (zh) 2007-03-21
CN100539676C CN100539676C (zh) 2009-09-09

Family

ID=37879168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610127533.1A Expired - Fee Related CN100539676C (zh) 2005-09-12 2006-09-12 图像信号处理装置和图像信号处理方法

Country Status (2)

Country Link
US (1) US7868948B2 (zh)
CN (1) CN100539676C (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182476A (ja) * 2007-01-24 2008-08-07 Canon Inc 変化予測値算出装置及びip変換処理装置
US20080291323A1 (en) * 2007-05-22 2008-11-27 Seiko Epson Corporation Image processing device, data recording device, and method of controlling image processing device
JP4518111B2 (ja) * 2007-07-13 2010-08-04 ソニー株式会社 映像処理装置、映像処理方法、及びプログラム
JP4517311B2 (ja) * 2008-04-08 2010-08-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8760574B2 (en) * 2008-04-30 2014-06-24 Broadcom Corporation Image processing methods and systems for frame rate conversion
CN103518369A (zh) * 2011-04-01 2014-01-15 松下电器产业株式会社 视频信号的帧频变换装置及其方法、采用该帧频变换的视频处理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2344615A1 (en) * 2000-09-08 2002-03-08 Jaldi Semiconductor Corp. A method and apparatus for motion adaptive deinterlacing
US7202907B2 (en) * 2002-04-09 2007-04-10 Zoran Corporation 2:2 and 3:2 pull-down detection techniques
JP2005072863A (ja) * 2003-08-22 2005-03-17 Toshiba Corp テレシネ方式識別装置
US7432979B2 (en) * 2003-09-03 2008-10-07 Sony Corporation Interlaced to progressive scan image conversion

Also Published As

Publication number Publication date
CN100539676C (zh) 2009-09-09
US20070103589A1 (en) 2007-05-10
US7868948B2 (en) 2011-01-11

Similar Documents

Publication Publication Date Title
CN1229983C (zh) 用于处理视频信号的方法和视频处理单元
CN1214631C (zh) 运动及边缘自适应去隔行扫描
CN101043609A (zh) 字幕检测设备、字幕检测方法、及降频信号检测设备
CN101064817A (zh) 视频信号的转换装置及转换方法
CN1933584A (zh) 图像信号处理装置、图像信号处理方法和程序
CN1992789A (zh) 运动估计器和运动估计方法
CN101031042A (zh) 具有帧率转换的图像显示设备及其方法
CN1512774A (zh) 用于隔行至渐进式变换的高级边缘自适应插值方法和系统
CN1694500A (zh) 视频序列中的文字收报机处理
CN1225918C (zh) 图像信号处理装置以及方法
CN1601914A (zh) 解交错装置及其方法
CN101079246A (zh) 图像处理装置
CN1905664A (zh) 视频处理设备和方法
CN1717920A (zh) 运动序列模式的检测
CN1694498A (zh) 在静止区域的影片模式纠正
CN1310513C (zh) 图像处理装置和方法、视频显示装置及记录信息重现装置
CN1893547A (zh) 显示装置及其控制方法
WO2006072059A2 (en) Spatio-temporal adaptive video de-interlacing
CN1832564A (zh) 图像处理装置和方法
CN1237782C (zh) 去隔行扫描装置和方法
CN1758743A (zh) 使用抖动映射的图像处理设备及其方法
CN1620109A (zh) 具有噪音降低/消除装置的解隔行设备
CN1914913A (zh) 具有电影模式适应性的运动补偿去交错
CN1859553A (zh) 执行运动补偿的图像转换设备及其方法
CN1941886A (zh) 自适应垂直/时态滤波的解交错方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090909

Termination date: 20130912