CN101959048B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN101959048B
CN101959048B CN201010224722.7A CN201010224722A CN101959048B CN 101959048 B CN101959048 B CN 101959048B CN 201010224722 A CN201010224722 A CN 201010224722A CN 101959048 B CN101959048 B CN 101959048B
Authority
CN
China
Prior art keywords
pixel
output
conversion material
view data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010224722.7A
Other languages
English (en)
Other versions
CN101959048A (zh
Inventor
藤田和英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101959048A publication Critical patent/CN101959048A/zh
Application granted granted Critical
Publication of CN101959048B publication Critical patent/CN101959048B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern

Abstract

提供了一种图像处理装置和图像处理方法,所述图像处理装置包括:隔行扫描/逐行扫描转换器,其将隔行扫描的输入图像数据转换为逐行扫描的图像数据;上转换素材检测器,其检测隔行扫描的输入图像数据的低质量上转换素材的可能性;以及图像处理器,其基于上转换素材检测器的检测信号,通过对逐行扫描的图像数据进行处理来获得输出图像数据;其中,上转换素材检测器基于场间像素值差的和与场内像素值差的和之间的比率,来检测低质量上转换素材的可能性,预定区域中的像素是在每个场中使用连续的第一场和第二场的图像数据作为顺序的所注意的像素而获得的。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及一种图像处理装置和图像处理方法,更具体地,涉及一种能够对其中出现水平条(horizontal strip)的低质量上转换素材(up-convertmaterial)有利地执行图像质量改进的图像处理装置等。
背景技术
近来,随着数字广播的开始,从广播台等传送HD(高清晰度)分辨率的图像数据。然而,不是所有从广播台等传送的图像数据都是HD分辨率的图像数据并且可能包括通过将在相关技术的模拟广播中使用的SD(标准清晰度)分辨率的图像数据上转换为HD分辨率而获得的伪HD分辨率的图像数据。
伪HD分辨率的图像数据包括通过在SD分辨率的隔行扫描的(interlaced)图像数据中使用场内(in-field)线性内插来对该隔行扫描的图像数据进行上转换而准备的素材(下文中也被称作“低质量上转换素材”)。例如,存在通过对480i的图像数据或者576i的图像数据进行上转换而获得的1080i的图像数据。
此外,上转换之前的SD分辨率的隔行扫描的图像数据还包括通过使用2-3下拉(pull down)方案或2-2下拉方案转换每秒具有24帧或30帧的逐行扫描图像数据(帧素材)而准备的图像数据。
在上述低质量上转换素材的情形下,当使用场内插来将隔行扫描方案转换为逐行扫描方案以进行图像显示时,存在以下缺点:具有垂直方向上的亮度差的部分处出现水平条。这是因为当在SD分辨率的隔行扫描的图像数据中使用场内线性内插来上转换该隔行扫描的图像数据时,出现了在某个场与其相邻场之间在垂直方向上像素邻域(proximity)和像素值邻域不匹配的状态。
例如,日本未审查专利申请公开第2008-85993号描述了通过检测具有多个频带的信号并且基于每个频带的信号幅度来确定图像数据是否上转换素材。此外,例如,日本未审查专利申请公开第2004-289753号描述了通过具有HD分辨率的图像数据的侧板(side panel)的存在来确定图像数据是否上转换素材。
发明内容
在日本未审查专利申请公开第2008-85993号描述的技术中,当将低质量上转换素材从隔行扫描方案转换为逐行扫描方案时出现的水平条被认为是高频分量,使得存在对低质量上转换素材被错误地检测为正常的HD分辨率的图像数据的担忧。此外,在日本未审查专利申请公开第2004-289753号描述的技术中,由于不是所有的上转换素材都具有附在其上的侧板,因此不可能检测到不具有侧板的上转换素材。此外,在日本未审查专利申请公开第289753号中,不可能在其中出现水平条的低质量上转换素材和正常的上转换素材之间进行区分。
期望精确地检测低质量上转换素材,从而有利地增强图像质量。
根据本发明的实施例,提供了一种图像处理装置,其包括:隔行扫描/逐行扫描转换器,其将隔行扫描的输入图像数据转换为逐行扫描的图像数据;上转换素材检测器,其检测隔行扫描的输入图像数据的低质量上转换素材的可能性;以及图像处理器,其基于上转换素材检测器的检测信号,通过对在隔行扫描/逐行扫描转换器中通过转换而获得的逐行扫描的图像数据进行处理来获得输出图像数据,其中,上转换素材检测器基于第一场的所注意的像素的像素数据与在垂直方向上与该所注意的像素邻近的、第二场的像素的像素数据的场间像素值差的和与第一场的该所注意的像素的像素数据与在垂直方向上与该所注意的像素邻近的、第一场中的像素的像素数据的场内像素值差的和之间的比率,来检测低质量上转换素材的可能性,预定区域中的像素是在每个场中使用连续的第一场和第二场的图像数据作为顺序的所注意的像素而获得的。
根据本发明的实施例,通过隔行扫描/逐行扫描转换器将隔行扫描的输入图像数据转换为逐行扫描的图像数据。当隔行扫描的输入图像数据是如上所述的低质量上转换素材时,在隔行扫描/逐行扫描转换器中通过转换而获得的逐行扫描的图像数据在具有垂直方向上的亮度差的部分处生成水平条。
通过上转换素材检测器来检测隔行扫描的图像数据的低质量上转换素材的可能性。在如上所述的低质量上转换素材的情形下,存在其中在某个场及其邻近场之间在垂直方向上像素邻域和像素值邻域不匹配的状态(在下文中,合适地称作“水平条生成状态”)。在该上转换素材检测器中,确定该状态是否存在。
在该上转换素材检测器中,使用彼此连续的第一场和第二场的图像数据对每个场执行检测。首先,在某个区域中的像素变为顺序的所注意的像素,并且获得场间像素值差的和以及场内像素值差的和。在此,通过第一场的所注意的像素的像素数据和在垂直方向上与该所注意的像素邻近的、第二场的像素的像素数据来获得场间像素值差。此外,通过第一场的所注意的像素的像素数据和在垂直方向上与该所注意的像素邻近的、第一场的像素的像素数据来获得场内像素值差。
当隔行扫描的输入图像数据是低质量上转换素材从而存在水平条生成状态时,场间像素值差的和大于场内像素值差的和。在上转换素材检测器中,基于场间像素值差的和与场内像素值差的和的比率,来检测低质量上转换素材的可能性。例如,当该比率超过大于1的预定的阈值时,低质量上转换素材的可能性变为高。
基于上转换素材检测器的检测信号,通过图像处理器来处理在隔行扫描/逐行扫描转换器中通过转换而获得的逐行扫描的图像数据,从而获得输出图像数据。例如,以与上转换素材检测器的检测信号对应的比率,来混合在隔行扫描/逐行扫描转换器中通过转换而获得的逐行扫描的图像数据和通过在垂直方向上对逐行扫描的图像数据执行低通滤波处理而获得的图像数据,以成为输出图像数据。
当低质量上转换素材的可能性高时,通过执行低通滤波处理而获得的图像数据的混合比率高。相应地,抑制了水平条指示。此外,当低质量上转换素材的可能性低时,在低通滤波处理中通过转换而获得的图像数据的混合比率变为低。相应地,防止了由于不必要地使用通过执行低通滤波处理来获得图像数据的事实造成的垂直分辨率降低。
这样,根据本发明的实施例,基于用于指示水平条生成状态的存在性的场间像素值差的和与场内像素值差的和的比率,检测隔行扫描的输入图像数据的低质量上转换素材的可能性,并且基于该检测信号来处理在隔行扫描/逐行扫描转换器中通过转换而获得的逐行扫描的图像数据。相应地,以高精度来执行对低质量上转换素材的检测并且有利地改进了图像质量。
根据本发明的另一实施例,例如,上转换素材检测器可以包括:上转换素材确定器,其在第一和与第二和的比率超过预定的阈值时输出第一确定输出,而在所述比率等于或小于所述预定的阈值时输出第二确定输出,所述第一和是场间像素值差的和,而所述第二和是场内像素值差的和;检测信号输出单元,其输出用于指示低质量上转换素材的可能性的检测信号;以及确定稳定器,其对于每个场确定上转换素材确定器对最近的预定数目的场的确定输出是否包括预定数目的或者更多的第一确定输出,并且在所述确定输出包括预定数目的或者更多的第一确定输出时,控制检测信号输出单元以便升高检测信号值,而在所述确定输出不包括预定数目的或者更多的第一确定输出时,降低检测信号值。
在该情形下,即使上转换素材确定器的确定输出从第一确定输出改变为第二确定输出或者从第二确定输出改变为第一确定输出,从检测信号输出单元输出的用于指示低质量上转换素材可能性的检测信号也不会急剧地改变。相应地,例如,在图像处理器中,防止了通过执行低通滤波处理而获得的图像数据的混合比率急剧地改变,以及图像处理的显著的改变。
此外,根据本发明的另一实施例,例如,上转换素材检测器还可以包括有效性确定器,其对每个场确定上转换素材确定器的确定输出是否有效;并且其中确定稳定器对于在有效性确定器中被确定为有效的场使用从上转换素材确定器输出的确定输出,并且对于在有效性确定器中被确定为不是有效的场使用第二确定输出。这样,当上转换素材确定器的确定输出被确定为不是有效时,可以通过不使用该确定输出来提高从检测信号输出单元输出的用于指示低质量上转换素材可能性的检测信号的精度。
例如,当隔行扫描的输入图像数据是通过使用2-3下拉方案或者2-2下拉方案转换每秒具有24帧或30帧的逐行扫描的图像数据而准备的隔行扫描的图像数据,并且没有从相同帧的图像数据来准备第一场和第二场时,即使隔行扫描的输入图像数据可能没有成为低质量上转换素材,场间像素值差的和也大于场内像素值差的和。
相应地,当隔行扫描的输入图像数据是通过使用2-3下拉方案或者2-2下拉方案转换每秒具有24帧或30帧的逐行扫描的图像数据而准备的隔行扫描的图像数据时,有效性确定器对于从相同帧的图像数据而准备的场确定第一场和第二场是有效的。
此外,例如,在移动图像的情形下,即使隔行扫描的输入图像数据不是低质量上转换素材,场间像素值差的和也可能大于场内像素值差的和。相应地,例如,当隔行扫描的输入图像数据不是通过使用2-3下拉方案或者2-2下拉方案转换每秒具有24帧或30帧的逐行扫描的图像数据而准备的隔行扫描的图像数据时,有效性确定器确定每个场是否静止的场并且确定静止的场是有效的。
此外,例如,根据本发明的又一实施例,上转换检测器还可以包括场景改变确定器,其基于隔行扫描的输入图像数据确定是否出现场景改变,并且当场景改变确定器确定出现场景改变时,检测信号输出单元可以将检测信号重置为最小值。在存在场景改变的情形下,存在素材被改变的可能性。通过在确定为场景改变时将检测信号重置为最小值,当改变到不是低质量上转换素材的素材时,例如,图像处理器可以立即停止对通过执行低通滤波处理获得的图像数据的混合,并且防止垂直分辨率被不必要地劣化。
根据本发明的实施例,基于场间像素值差的和与场内像素值差的和之间的比率来检测隔行扫描的输入图像数据的低质量上转换素材的可能性,该比率指示水平条生成状态的存在性,对通过在隔行扫描的输入图像数据的低质量上转换素材可能性中转换而获得的逐行扫描的图像数据进行处理,由此以高精度来检测低质量上转换素材并且有利地执行对图像质量的改进。
附图说明
图1是图示作为实施例的图像处理装置的结构示例的框图;
图2是图示使用当前的(接着的)图像数据、1个场之前的(目前的)图像数据以及2个场之前(过去的)图像数据来执行I/P转换处理的图;
图3是图示I/P转换器的帧素材的检测方案(通过2-3下拉方案的转换)的图;
图4是在隔行扫描的输入图像数据是帧素材的情形下、I/P转换方案的图;
图5A至5B-2是图示在隔行扫描的输入图像数据是视频素材的情形下、I/P转换方案的图;
图6是图示I/P转换器中静止像素确定的示例的条件1的图;
图7是图示I/P转换器的静止像素确定的示例的条件2的图;
图8是图示当获得场间(inter-field)像素值差和场内像素值差时使用的像素的图;
图9是图示在针对每个场在整个屏幕中被确定为是静止的像素数目(静止像素数目)的改变的示例的图;
图10是图示通过确定稳定器(determination stabilizer)(M=4,N=2)输出的控制信号的示例的图;
图11是图示从图像处理强度确定器输出的检测信号的改变示例的图;
图12是图示关于本发明的检测信号的改变示例的比较示例的图;以及
图13是图示在图像处理装置中1帧部分的过程的流程图;
具体实施方式
下文中,将描述体现本发明的特征(下文中,被称作“实施例”)。
1.各实施例
2.修改的各实施例
1.各实施例
图像处理装置的结构
图1是图像处理装置100的结构性示例。图像处理装置100包括I/P转换器110、图像处理器120、以及上转换素材检测器130。I/P转换器110将隔行扫描的输入图像数据Vin转换为逐行扫描的图像数据Vo1。在此,输入图像数据Vin是1080i格式的图像数据而转换后的图像数据变为1080p格式的图像数据。
如图2所图示的,I/P转换器110使用三个场部分的图像数据(当前的(接着的)、1个场之前的(目前的)以及2个场之前(过去的))来执行转换。在未示出的场存储器中保存在I/P转换器110中输入的当前(接着的)场的图像数据,并且其作为过去的场的图像数据而被使用。
I/P转换器110取决于输入图像数据Vin是视频素材还是电影素材来改变I/P转换方法。视频素材不具有作为原始图像的逐行扫描的图像。然而,电影素材具有作为原始图像的逐行扫描的图像。I/P转换器110检测输入图像数据Vin是否电影素材。当数据Vin是电影素材时,I/P转换器110执行针对电影素材的I/P转换处理,而当数据Vin不是电影素材时,其执行针对视频素材的I/P转换处理。
参照图3来解释I/P转换器110中的电影素材检测方法。图3解释了电影素材检测方法,其中,原始图像是每秒具有24张图像的逐行扫描的图像(24p),并且使用2-3下拉方法将该原始图像转换为每秒具有60张图像的隔行扫描的图像(60i)。
为了将每秒24具有张的图像转换为每秒60张的图像,交替地以2或3次来选取原始图像的逐行扫描的图像的仅奇数行(o)和仅偶数行(e)。例如,从逐行扫描图像(24p)的帧A生成隔行扫描图像(60i)的奇数场Ao和偶数场Ae。此外,从与逐行扫描图像(24p)的帧A连续的帧B来生成隔行扫描的图像(60i)的奇数场Bo、偶数场Be和奇数场Bo。
当组合从诸如原始图像的逐行扫描的图像之类的帧选取的奇数行和偶数行时而不是通过执行场内内插时,这样的电影素材具有更好的图像质量。相应地,必须检测所谓的电影素材。一种检测输入图像数据Vin是否电影素材的方法包括用于对当前(接着的)场和2个场之前的(过去的)场之间的亮度差的绝对值的场差之和的时段计数的方法。
在图3所图示的电影素材中,如图中所图示的,每5个场,帧差变为小,并且检测到作为电影素材的事物。也就是说,每5个场,被用于获得帧差的当前(接着的)场和2个场之前的(过去的)场变为从原始图像的逐行扫描的图像的相同帧来生成,并且帧差变为小。
图4图示从电影素材(逐行扫描的图像(24p))转换隔行扫描的图像(60i)的I/P转换方法。当输入图像数据Vin是如上所述的电影素材时,当前的(接着的)和2个场之前的(过去的)中的一个构成参照1个场之前(目前的)的配对。也就是说,1个场之前(目前的)场的图像数据以及当前(接着的)与2个场之前的(过去的)中的一个场的图像数据变为从原始图像的逐行扫描的图像的相同帧中选取。
I/P转换器110执行下拉逆转换以便生成帧图像数据,该下拉逆转换在执行电影素材的I/P转换时组合构成目前态(current tense)的场的配对的2个场的奇数行和偶数行。I/P转换器110使用在1个场之前(目前的)场和当前(接着的)场之间的亮度差的绝对值的场差之和来确定当前(接着的)和2个场之前(过去的)中的哪一个构成配对。
在这种情形下,当场差大时,I/P转换器110确定2个场之前(过去的)场是配对,而当场差小时,确定当前(接着的)场是配对。当输入图像数据Vin是电影素材时,对于每个场,I/P转换器110将配对确定信息PI传送给上转换素材检测器130。
例如,参照图4,当目前态是Ae场时,该Ae场与1个场之前的(目前的)Ao场构成配对。在这种情形下,通过Ao场和Ae场的每一行的组合来生成构成逐行扫描图像(60p)的A帧的图像数据。此外,例如,参照图4,当目前态是Fo场时,该Fo场与作为当前的(接着的)场的Fe场构成配对。在这种情形下,通过Fo场和Fe场的每一行的组合来生成构成逐行扫描图像(60p)的F帧的图像数据。
解释视频素材的I/P转换的方法。I/P转换器110通过场间的内插或场内的内插来准备目前态的内插像素数据。在场间的内插中,使用当前(接着的)和2个场之前的(过去的)场的实际的像素数据。在场内的内插中,使用1个场之前的(目前的)实际像素数据。I/P转换器110将目前态的内插像素数据行与目前态的实际像素数据行进行组合,以便生成逐行扫描的图像数据。
I/P转换器110检测与1个场之前(目前的)场的内插位置对应的图像的运动。在这种情形下,图像的运动是通过以下方式检测的:使用当前(接着的)场和2个场之前(过去的)场的实际像素数据,或者进一步使用它们邻近的实际像素数据来将帧之间的亮度差的绝对值或者它们的和与阈值进行比较。
在I/P转换器110确定所述差的绝对值或者它们的和小于阈值并且图像是静止时,使用线性算术操作来执行场间的内插。在这种情形下,如图5A所图示,使用对应于内插位置的当前的(接着的)场和2个场之前的(过去的)场的实际像素数据。同时,如图5B-1中所图示的,在I/P转换器110确定所述差的绝对值或者它们的和大于阈值并且图像是移动的时,其使用内插位置之上和之下或者邻近内插位置的像素的线性算术操作来执行场内的内插。
此外,在如图5B-2所图示的,在正确获得当前的(接着的)和2个场之前的(过去的)场之间的运动(运动向量)时,即使在运动的情形下,I/P转换器110有时也通过从该运动的方向和大小来估计它而执行场间的内插。图5B-1中图示的方法被称作运动自适应类型I/P转换,而图5B-2中所图示的方法被称作运动补偿类型I/P转换。当低质量上转换素材处于如图5A所图示的静止的I/P转换下时,该低质量上转换素材具有问题。
此处,将参照图6和图7来解释在I/P转换器110中的静止像素确定的示例。静止像素确定是确定内插方法的素材,并且仅仅使用其结果而不确定执行场间的内插。通过2个条件来执行静止像素确定。
如下解释第一条件。如图6所图示,计算与1个场之前的(目前的)场的静止像素确定的像素位置和更高的2行以及更低的2行的像素位置对应的5个亮度差绝对值abs(N-P)。该亮度差绝对值abs(N-P)是当前(接着的)与2个场之前的(过去的)场之间的绝对值。当所有的5个值都小于阈值Th1时,条件1有效。当任何1个值达到阈值Th1时,条件1不是有效的。
如下解释第二条件。如图7所图示的,在处于1个场之前(目前的)场的静止像素确定的像素位置的左边和右边的5×5个像素中,计算在当前的(接着的)和2个场之前的(过去的)场之间的亮度差绝对值的每个之和。参考该图,左侧的亮度差绝对值的之和是∑(abs(Nl-Pl))而右侧的亮度差绝对值的之和是∑(abs(Nr-Pr))。当两个该差绝对值之和都小于阈值Th2(可以与条件1中使用的阈值Th1不同地设置)时,条件2有效。
当条件1和条件2两者有效时,I/P转换器110确定要被确定是否静止的1个场之前的(目前的)场的像素是静止的。I/P转换器110在该1个场之前的(目前的)场的所有内插像素位置处重复地执行相同的处理。当输入图像数据Vin是视频素材时,I/P转换器110获得每个场在整个屏幕上被确定为静止的像素的数目并且将该数目信息MI发送给上转换素材检测器130。
再参照图1,上转换素材检测器130检测隔行扫描的输入图像数据Vin的低质量上转换素材可能性。上转换素材检测器130包括上转换素材确定器(上转换确定器)131、有效性确定器132、“与”电路133、确定稳定器134以及图像处理强度确定器135。
对于每个场,上转换素材确定器131确定隔行扫描的输入图像数据Vin是否低质量上转换素材。上转换素材确定器131使用2个场(即,当前的(接着的)场和1个场之前的(目前的)场)的图像数据来进行确定。
基于通过使得屏幕中的预定区域的像素作为顺序的所注意的(notable)像素而获得的场间像素值差之和与场内像素值差之和的比率,上转换素材确定器131确定输入图像数据Vin是否低质量上转换素材。例如,屏幕中的预定区域被设置为免除在其上可以覆盖文本信息的较下的区域等。可以在上转换之后覆盖文本信息。在这种情形下,由于在覆盖了文本信息的区域上原始地覆盖HD分辨率的图像数据,所以存在如果不免除文本信息的覆盖区域则错误地做出对隔行扫描的输入图像数据Vin是否低质量上转换素材的确定的担忧。
通过使用以下数据的等式(1)来获得场间像素值差Vcn,在该等式(1)中使用如图8所图示的当前的(接着的)场的所注意的像素C和在垂直方向上邻近所注意的像素C的1个场之前的(目前的)场的像素B和D的数据。此外,在等式(1)中,B、C和D分别指示像素B、C和D的像素值(像素数据)。
Vcn=abs(B+D-2C)            ...(1)
此外,通过使用以下数据的等式(2)来获得场内像素值差Vn,在该等式(2)中使用如图8所图示的当前的(接着的)场的所注意的像素C和在垂直方向上邻近所注意的像素C的当前的(接着的)场的像素A和E的数据。此外,在等式(2)中,A、C和E分别指示像素A、C和E的像素值(像素数据)。
Vc=abs(A+E-2C)             ...(2)
上转换素材确定器131将∑Vcn(场间像素值差之和)与∑Vn(场内像素值差之和)的比率∑Vcn/∑Vn与阈值Tha进行比较。此外,上转换素材确定器131基于比较结果确定隔行扫描的输入图像数据Vin是否低质量上转换素材。在低质量上转换素材的情形下,存在某个场和其邻近场之间在垂直方向上像素邻域和像素值邻域不匹配的水平条生成状态。
当如上所述,存在水平条时,场间像素值差之和∑Vcn大于场内像素值差之和∑Vn。相应地,比率∑Vcn/∑Vn大于1。阈值Tha被设置为大于1的预定值。当比率∑Vcn/∑Vn超过阈值Tha时,上转换素材确定器131确定隔行扫描的输入图像数据Vin是低质量上转换素材,并且输出高电平信号“1”。此外,当比率∑Vcn/∑Vn等于或者小于阈值Tha时,上转换素材确定器131确定隔行扫描的输入图像数据Vin不是低质量上转换素材,并且输出低电平信号“0”。
上转换素材确定器131可以以其自身来执行场间像素值差之和∑Vcn的算术操作和场内像素值差之和∑Vn的算术操作。然而,在实施例中,在I/P转换器110中执行场间像素值差之和∑Vcn的算术操作和场内像素值差之和∑Vn的算术操作。上转换素材确定器131从I/P转换器110获得所述和∑Vcn与∑Vn,计算比率∑Vcn/∑Vn,并且如上所述通过将该比率与阈值Tha进行比较来执行确定。
对于每个场,有效性确定器132确定上转换素材确定器131的确定输出的有效性。例如,当输入图像数据Vin是如上所述的电影素材时,即使输入图像数据Vin不是低质量上转换素材,场间像素值差之和∑Vcn也可能大于场内像素值差之和∑Vn。
如上所述,使用当前的(接着的)和1个场之前的(目前的)的2个场的图像数据来计算所述和∑Vcn与∑Vn。当所述2个场不构成配对时(参照图4中的目前态是Ae场的情形),即使输入图像数据Vin不是低质量上转换素材,也存在∑Vcn>∑Vn的情形。
当输入图像数据Vin是电影素材时,对于每个场,从I/P转换器110向有效性确定器132传送配对确定信息PI。该配对信息PI指示目前的(接着的)场和2个场之前的(过去的)场中的哪一个和1个场之前的(目前的)场构成配对。
相应地,当输入图像数据Vin是电影素材时,基于针对每个场的配对确定信息PI,有效性确定器132确定如上所述的上转换素材确定器131的确定输出的有效性。在该情形下,有效性确定器132确定在当前的(接着的)的场构成配对时是有效的,并且输出高电平信号“1”作为确定结果。此外,在2个场之前的(过去的)场构成配对时,有效性确定器132不执行确定输出。
此外,例如,当输入图像数据Vin是如上所述的视频素材时,即使输入图像数据Vin不是低质量上转换素材,也存在场间像素值差之和∑Vcn大于场内像素值差之和∑Vn的情形。如上所述,使用当前的(接着的)和1个场之前的(目前的)的2个场的图像数据来计算所述和∑Vcn与∑Vn。在每个场的图像中存在运动时的移动时的情形中,即使输入图像数据Vin不是低质量上转换素材,也存在∑Vcn>∑Vn的情形。
当输入图像数据Vin是视频素材时,如上所述,对于每个场,从I/P转换器110向有效性确定器132传送数目信息MI,该数目信息MI指示整个屏幕中被确定为静止的像素的数目。相应地,当输入图像数据Vin是视频素材时,基于如上所述的数目信息MI,对于每个场,有效性确定器132确定上转换素材确定器131的确定输出的有效性。在该情形下,当在整个屏幕中被确定为静止的像素的数目超过预定阈值Thb时,有效性确定器132确定该确定输出是有效的并且输出高电平信号“1”作为确定输出。此外,当在整个屏幕中被确定为静止的像素的数目等于或者小于预定阈值Thb时,有效性确定器132确定该确定输出不是有效的并且输出低电平信号“0”作为确定输出。
此外,例如,阈值Thb被设置为整个屏幕中的像素数目的大约80%。图9图示对每个场的整个屏幕中被确定为静止的像素的数目(静止像素的数目)的修改的示例。此外,参照图9,Thb=52650,并且在其中静止像素的数目超过52650的场中获得有效性的确定。
“与”电路133取得如上所述的上转换的素材确定器131的确定输出和如上所述的有效性确定器132的确定输出的逻辑积。也就是说,上转换素材确定器131和有效性确定器132的确定输出被输入到“与”电路133。“与”电路133在有效性确定器132中被确定为有效的场中原样输出上转换素材确定器131的确定输出,这是由于所述确定输出变为高电平信号“1”的事实。此外,在有效性确定器132中被确定为无效的场中,“与”电路133输出低电平信号“0”,而不依赖于上转换素材确定器131的确定输出,这是由于所述确定输出变为低电平信号“0”的事实。
图像处理强度确定器135输出用于指示隔行扫描的输入图像数据Vin的低质量上转换素材可能性的检测信号Sdet。在实施例中,检测信号Sdet在范围0~16中改变,并且随着值变得越大则低质量上转换素材可能性变得越高。图像处理强度确定器135构成检测信号检测器。
图像处理强度确定器135根据从确定稳定器134提供的控制信号SC对每个场改变检测信号Sdet的值。也就是说,当从确定稳定器134向图像处理强度确定器135提供控制信号SC进行控制以便升高检测信号Sdet的值时,其将检测信号Sdet的值仅仅增加1级(step)。在这种情形下,当检测信号Sdet的值是最大值“16”时,该值被保持。此外,当来自确定稳定器134的控制信号SC进行控制以便使检测信号Sdet降低时,图像处理强度确定器135将检测信号Sdet的值仅仅减低一级。在该情形中,当检测信号Sdet的值是最小值“0”时,该值被保持。
基于“与”电路133的输出,每当“与”电路133的输出被确定时,也就是说,在输入图像数据Vin是电影素材时对于其中当前的(接着的)场构成配对的每个场,以及当输入图像数据Vin是视频素材时对于每个场,确定稳定器134输出控制信号SC来控制图像处理强度确定器135的检测信号Sdet的值。
确定稳定器134对于每个场确定“与”电路133对最近的预定数目M个场的输出是否包括其数目等于或大于预定数目N的高电平信号“1”。此外,当高电平信号“1”的数目等于或大于预定数目N时,确定稳定器134输出控制信号SC进行控制以便升高检测信号Sdet的值。此外,当高电平信号“1”的数目小于预定数目N时,确定稳定器134输出控制信号SC进行控制以便减小检测信号Sdet的值。
图10图示了例如在输入图像数据Vin是视频素材并且设置M=4和N=2时,从确定稳定器134输出的控制信号SC的示例。例如,对于场(i-4),在最近的4个场中包括3个高电平信号“1”。相应地,确定稳定器134输出控制信号SC进行控制以便升高检测信号Sdet的值。此外,例如,对于场i,在最近的4个场中包括1个高电平信号“1”。相应地,确定稳定器134输出控制信号SC进行控制以便减小检测信号Sdet的值。
图11图示了从图像处理强度确定器135输出的检测信号Sdet的修改的示例。如上所述,由于通过来自确定稳定器134的控制信号SC来控制检测信号Sdet的值,因此该值不会急剧地改变。图12图示了具有与图11的示例相同的“与”电路133的比较示例。该示例是其中当“与”电路133的输出为高电平信号“1”时检测信号Sdet是最大值“16”和当该输出为低电平信号“0”时,检测信号Sdet是最小值的示例。在该示例的情形下,检测信号Sdet的值从“0”急剧地改变到“16”,或者从16急剧地改变到“0”。
尽管未在上面进行描述,但I/P转换器110具有场景改变确定器111。场景改变确定器111基于每个场的隔行扫描的输入图像数据Vin来确定是否出现场景改变。例如,场景改变确定器111使用当前(接着的)场和2个场之前的(过去的)场的2个场的图像数据来进行确定。在当前(接着的)场与2个场之前的(过去的)场之间的亮度差绝对值之和超过预定的阈值时,场景改变确定器111确定场景改变。
场景改变确定器111的确定输出CI被传送到上转换素材检测器130的图像处理强度确定器135。当出现场景改变时,图像处理强度确定器135基于确定输出CI而将检测信号Sdet重置为“0”。这是因为存在素材改变的可能性,也就是说,当存在场景改变时,素材可能从低质量上转换素材改变为与其不同的素材。
图像处理器120基于上转换素材检测器130的检测信号Sdet,对在I/P转换器110中转换并获得的逐行扫描的图像数据Vo1(1080p)执行处理并且获得输出图像数据Vout(1080p)。图像处理器120具有低通滤波器121、α混合单元122,以及增强单元123。
低通滤波器121对在I/P转换器110中转换并获得的逐行扫描的图像数据Vb1执行垂直方向上的低通滤波处理。α混合单元122按照根据检测信号Sdet的比率将通过I/P转换器110中的转换获得的逐行扫描的图像数据Vo1和在低通滤波器121中经过滤波处理的逐行扫描的图像数据Vo2进行混和。也就是说,当输出图像数据是Vo3时,α混合单元122基于等式(3)执行α混合处理。在等式(3)中,α=Sdet/16。
Vo3=(1-α)*Vo1+α*Vo2           ...(3)
在该情形下,当隔行扫描的输入图像数据Vin的低质量上转换素材可能性高时,检测信号Sdet的值变大。相应地,在垂直方向上对其执行了低通滤波处理的图像数据Vo2与输出图像数据Vo3的混合比率变高,并且抑制了水平条显示。同时,当隔行扫描的输入图像数据Vin的低质量上转换素材可能性低时,检测信号Sdet的值变小。相应地,在垂直方向上对其执行了低通滤波处理的图像数据Vo2与输出图像数据Vo3的混合比率变低,并且抑制了垂直分辨率的减少。
增强单元123对从α混合单元122输出的逐行扫描的图像数据Vo3执行高频分量的加强(emphasis)处理,并且输出逐行扫描的输出图像数据Vout(1080p)。增强单元123使得加强量随着上转换素材检测器130的检测信号Sdet的值变得越大而越小。这是因为当隔行扫描的输入图像数据Vin的低质量上转换素材的可能性高时,存在对仅仅加强了诸如水平条显示分量之类的噪声分量而没有在图像数据中加强高频分量的担心。
[图像处理装置的操作]
描述图1中图示的图像处理装置100的操作。隔行扫描的输入图像数据Vin(1080i)被输入到I/P转换器110。在I/P转换器110中,隔行扫描的输入图像数据Vin(1080i)被转换为逐行扫描的图像数据Vo1(1080p)。I/P转换器110检测输入图像数据Vin是否电影素材,并且依赖于输入图像数据Vin是电影素材还是视频素材而使用不同的方法执行I/P转换。
当输入图像数据Vin是电影素材时,I/P转换器110执行下拉逆转换并获得帧图像数据,在所述下拉逆转换中在每个目前态的场中组合构成配对的2个场的奇数行和偶数行。I/P转换器110使用1个场之前的(目前的)和当前的(接着的)场之间的亮度差绝对值(场差)之和,并且确定当前的(接着的)和2个场之前的(过去的)场中的哪一个构成配对。
在该情形下,当场差大时,I/P转换器110确定2个场之前的(过去的)场是配对,而当场差小时,其确定当前的(接着的)场是配对。当隔行扫描的输入图像数据Vin是电影素材时,对于每个场,从I/P转换器110将配对确定信息PI传送到上转换素材检测器130。
此外,当隔行扫描的输入图像数据Vin(1080i)是视频素材时,I/P转换器110通过场间内插或者场内内插来准备目前态的内插像素数据。I/P转换器110通过组合目前态的内插像素数据行和目前态的实际像素数据行来生成帧图像数据。
I/P转换器110检测与1个场之前的(目前的)场的内插位置对应的图像的运动。此外,当确定图像静止时,通过场间内插来准备目前态的内插像素数据。同时,当确定图像是移动的时,通过例如场内内插来准备目前态的内插像素数据。
当输入图像数据Vin是视频素材时,对于每个场,从I/P转换器110将用于指示在整个屏幕上被确定为静止的像素的数目(静止像素数目)的数目信息MI传送给上转换素材检测器130。
上转换素材检测器130的上转换素材确定器131对于每个场确定隔行扫描的输入图像数据Vin是否低质量上转换素材。从I/P转换器110向上转换素材检测器130提供场间像素值差之和∑Vcn,以及场内像素值差之和∑Vn。上转换素材确定器131将所述和∑Vcn、∑Vn的比率∑Vcn/∑Vn与阈值Tha进行比较,并且基于比较结果来确定隔行扫描的输入图像数据Vin是否低质量上转换素材。
当隔行扫描的输入图像数据Vin是低质量上转换素材并且生成水平条显示状态时,场间像素值差之和∑Vcn大于场内像素值差之和∑Vn。当比率∑Vcn/∑Vn超过阈值Tha(>1)时,上转换素材确定器131确定隔行扫描的输入图像数据Vin是低质量上转换素材,并且输出高电平信号“1”。此外,当比率∑Vcn/∑Vn小于阈值Tha时,上转换素材确定器131确定隔行扫描的输入图像数据Vin不是低质量上转换素材,并且输出低电平信号“0”。
有效性确定器132对每个场确定如上所述的上转换素材确定器131的确定输出的有效性。使用当前的(接着的)和1个场之前的(目前的)2个场图像数据来产生上述和∑Vcn、∑Vn。当输入图像数据Vin是上述的电影素材时,即使输入图像数据Vin不是低质量上转换素材,在2个场不构成配对的情形下,也可以产生∑Vcn>∑Vn。
当输入图像数据Vin是上述的电影素材时,对于每个场,从I/P转换器110向有效性确定器132传送配对确定信息PI。有效性确定器132基于配对确定信息PI来确定如上所述的上转换素材确定器131的确定输出的有效性。此外,在当前的(接着的)的场构成配对时,有效性确定器132确定是有效的并且输出作为确定结果的高电平信号“1”。此外,在2个场之前的(过去的)场构成配对时,有效性确定器132不输出确定输出。
此外,如上所述,使用当前的(接着的)和1个场之前的(目前的)2个场的图像数据来产生上述的所述和∑Vcn、∑Vn。当输入图像数据Vin是上述的视频素材时,即使输入图像数据Vin不是低质量上转换素材,在每个场的图像中存在运动的情形下,也可以产生∑Vcn>∑Vn。
当输入图像数据Vin是视频素材时,如上所述,对于每个场,从I/P转换器110向有效性确定器132传送数目信息MI,该数目信息MI指示整个屏幕中被确定为静止的像素的数目。有效性确定器132基于数目信息MI确定如上所述的上转换素材确定器131的确定输出的有效性。此外,当在整个屏幕中被确定为静止的像素的数目超过预定阈值Thb时,有效性确定器132确定是有效的并且输出作为确定输出的高电平信号“1”。此外,当在整个屏幕中被确定为静止的像素的数目等于或者小于预定阈值Thb时,有效性确定器132确定是无效的并且输出作为确定输出的低电平信号“0”。
上转换素材确定器131的确定输出和有效性确定器132的确定输出被提供给“与”电路133。可以在“与”电路133中获得两个确定输出的逻辑积。由于在有效性确定器132中在被确定为有效的场中确定输出变为高电平信号“1”的事实,在“与”电路133中原样输出上转换素材确定器131的确定输出。此外,由于在有效性确定器132中在被确定为无效的场中确定输出变为低电平信号“0”的事实,不依赖于上转换素材确定器131的确定输出,在“与”电路133中输出低电平信号“0”。“与”电路133的输出被提供给确定稳定器134。
在确定稳定器134中,在每次“与”电路133的输出被确定时,也就是说,在输入图像数据Vin是电影素材时对于当前的(接着的)场构成配对的每个场,以及在输入图像数据Vin是视频素材时对于每个场,基于“与”电路133的输出,来获得控制用于图像处理强度确定器135的检测信号Sdet的值的控制信号SC。
对于每个场,确定稳定器134确定“与”电路133的预定数目M个最近的场的输出中的高电平信号“1”的数目是否等于或大于预定数目N。此外,当高电平信号“1”的数目等于或大于某个数目N时,确定稳定器134输出控制信号SC进行控制以便升高检测信号Sdet的值。此外,当高电平信号“1”的数目小于某个数目N时,确定稳定器134输出控制信号SC进行控制以便降低检测信号Sdet的值。
如上所述,从确定稳定器134输出的控制信号SC被提供给图像处理强度确定器135。图像处理强度确定器135根据控制信号SC来调整检测信号Sdet的值。也就是说,当提供进行控制以便升高检测信号Sdet的值的控制信号SC时,图像处理强度确定器135将检测信号Sdet的值升高1级。此外,当提供进行控制以便降低检测信号Sdet的值的控制信号SC时,图像处理强度确定器135将检测信号Sdet的值降低1级。这样,即使“与”电路133的输出频繁地在“1”和“0”之间改变,检测信号Sdet也不被急剧地改变,这是由于在“与”电路133和图像强度信号确定器135之间插入了确定稳定器134的事实。
此外,I/P转换器110的场景改变确定器111基于隔行扫描的输入图像数据Vin来在每个场确定是否出现场景改变。场景改变确定器111的确定输出CI被传送给图像处理强度确定器135。图像处理强度确定器135基于在场景改变的情形下的确定输出CI而将检测信号Sdet的值重置为“0”。这是因为存在素材改变的可能性,也就是说,在存在场景改变的情形下,低质量上转换素材可能被改变为具有不同属性的素材。
图像处理器120基于上转换素材检测器130的检测信号Sdet,对I/P转换器110中转换的逐行扫描的图像数据Vo1(1080p)执行处理,并且然后获得输出图像数据Vout(1080p)。也就是说,从I/P转换器110输出的输出图像Vo1被直接提供给α混合单元122。此外,从I/P转换器110输出的输出图像Vo1被提供给低通滤波器121。此外,通过在低通滤波器121中执行垂直低通滤波处理而获得的图像数据Vo2被提供给α混合单元122。
向α混合单元122提供上转换素材检测器130的检测信号Sdet。按照根据检测信号Sdet的比率在α混合单元122中混合图像数据Vo1和数据Vo,从而获得输出图像数据Vo3(参见等式(3))。在该情形下,当输入图像数据Vin的低质量上转换素材的可能性高时,检测信号Sdet变大。相应地,其中在垂直方向上执行低通滤波处理的图像数据Vo2与输出图像数据Vo3的混合比率变高,并且抑制了水平条显示。同时,当隔行扫描的输入图像数据Vin的低质量上转换素材的可能性低时,检测信号Sdet的值变小。相应地,其中在垂直方向上执行低通滤波处理的图像数据Vo2与输出图像数据Vo3的混合比率变低,并且抑制了垂直分辨率的减少。
α混合单元122的输出数据Vo3被提供给增强单元123。向增强单元123提供上转换素材检测器130的检测信号Sdet。在增强单元123中,对从α混合单元122输出的逐行扫描的图像数据Vo3执行高频分量的加强处理,从而获得逐行扫描的图像数据Vout。在增强单元123中,加强量随着检测信号Sdet的值变得越大而变得越小。这是因为当隔行扫描的输入图像数据Vin的低质量上转换素材的可能性高时,仅仅可以加强诸如水平条显示分量之类的噪声分量,而不在图像数据中加强高频分量。
图13中的流程图示意性地图示了图1中所图示的图像处理装置100中的1个场的处理过程。
图像处理装置100在步骤ST1处开始处理,并且然后前进到步骤ST2。在步骤ST2处,图像处理装置100使用I/P转换器110将隔行扫描的输入图像数据Vin(1080i)转换为逐行扫描的图像数据Vo1(1080p)。
接着,图像处理装置100在步骤ST3处通过上转换素材确定器131确定隔行扫描的输入图像数据Vin是否低质量上转换素材。此外,图像处理装置100在步骤ST4处通过有效性确定器132确定步骤ST3的确定的有效性。
接着,图像处理装置100在步骤ST5处确定步骤ST4的有效性确定结果是有效还是无效。当确定有效性确定结果为有效时,图像处理装置100在步骤ST6处按照原样使用步骤ST3的确定结果,通过确定稳定器134来执行确定稳定处理。同时,当有效性确定结果被确定为无效时,图像处理装置100在步骤ST7处作出确定结果“0”并且然后在步骤ST6通过确定稳定器134执行确定稳定处理。
接着,图像处理装置100在步骤ST8处确定是否存在场景改变。当不存在场景改变时,图像处理装置100在步骤ST9处使用确定稳定处理的结果,通过图像处理强度确定器135决定用于指示图像处理强度(也就是,低质量上转换素材的可能性)的检测信号Sdet。同时,当存在场景改变时,图像处理装置100在步骤ST10作出图像处理强度0(Sdet=0)。
接着,图像处理装置100在步骤ST11处根据图像处理强度(检测信号Sdet),通过图像处理器120来执行诸如水平条抑制处理和增强处理之类的处理。此外,图像处理装置100在步骤ST11的处理之后,在步骤ST12处结束处理。
在图1图示的图像信号处理装置100中,上转换素材检测器130基于场间像素值差之和∑Vcn与场内像素值的差之和∑Vn的比率,检测输入图像数据Vin的低质量上转换素材的可能性。此外,在图像处理器120中,基于在上转换素材检测器130中获得的检测信号Sdet,对在I/P转换器110中转换并获得的逐行扫描图像数据Vo1进行处理,从而获得输出图像数据。相应地,可以以高精度来执行对低质量上转换素材的检测并且有利地改进图像质量。
此外,在图1图示的图像处理装置100中,上转换素材检测器130包括在“与”电路133和图像处理强度确定器135之间插入的确定稳定器134。相应地,即使“与”电路133的输出从“1”改变为“0”或者从“0”改变为“1”,从图像处理强度确定器135输出的用于指示低质量上转换素材的可能性的检测信号Sdet也不急剧地改变。相应地,例如,在图像处理器120中,可以防止通过执行低通滤波处理获得的图像数据Vo2的混合比率急剧地改变并且防止图像处理的改变太显著。
此外,在图1图示的图像处理装置100中,上转换素材检测器130通过有效性确定器132来确定上转换素材确定器131的有效性。此外,对于在有效性确定器132中未被确定为有效的场,无论上转换素材确定器131的确定输出是“1”还是“0”,确定稳定器134都使用“0”。相应地,可以使从图像处理强度确定器135输出的用于指示低质量上转换素材可能性的检测信号Sdet的精度提高。
此外,在图1图示的图像处理装置100中,在图像处理器120中,当出现场景改变时,在上转换素材检测器130的图像处理强度确定器135中将检测信号Sdet重置为最小值。相应地,例如,当已经出现向低质量上转换素材之外的素材的改变时,可以立即停止在图像处理器120中通过执行低通滤波处理而获得的图像数据Vo2的混合,并且防止垂直分辨率不必要的恶化。
此外,在图1图示的图像处理装置100中,按照根据上转换素材检测器130的检测信号Sdet的比率混合I/P转换器110的输出图像数据Vo1和对其执行了滤波处理的图像数据Vo2。相应地,当低质量上转换素材可能性高时,图像数据Vo2的混合比率变高,并且可以有利地抑制水平条显示。此外,当低质量上转换素材可能性低时,图像数据Vo2的混合比率变低,并且可以防止垂直分辨率的恶化。
<2.修改的示例>
此外,在上述的实施例中,使用图8中图示的每个像素的数据来获得场间像素值差Vcn和场内像素值差Vn。也就是说,通过当前(接着的)场的所注意的像素C的数据和在垂直方向上与所注意的像素C邻近的、1个场之前的(目前的)场的像素B和D的数据来获得场间像素值差Vcn。此外,通过当前(接着的)场的所注意的像素C的数据和在垂直方向上与所注意的像素C邻近的像素A、E的数据来获得场内像素值差Vn。然而,通过反转(reversing)当前的(接着的)场和1个场之前的(目前的)场的每个像素来获得场间像素值差Vcn和场内像素值差Vn是可取的。
此外,在上述的实施例中,使用2-3下拉方法,通过对每秒具有24帧的逐行扫描的图像数据进行转换来准备电影素材。然而,毫无疑问可以将本发明的优点应用于使用2-2下拉方法的、通过对每秒具有30帧的逐行扫描的图像数据进行转换而准备的电影素材。
此外,在本发明的实施例中,在图像处理器120中使用α混合来执行水平条控制处理和增强处理。然而,基于来自上转换素材检测器130的低质量上转换素材的可能性的检测信号Sdet所执行的处理不限于该实施例。
本申请包含在2009年7月14日在日本专利局提交的日本优先权专利申请JP2009-165195中所公开的主题相关的主题,在此通过引用并入其全部内容。
本领域的技术人员应理解的是,取决于设计需求和其他因素,可以出现各种修改、组合、子组合以及变更,只要它们在所附的权利要求或其等效物的范围内。

Claims (8)

1.一种图像处理装置,包括:
隔行扫描/逐行扫描转换器,其将隔行扫描的输入图像数据转换为逐行扫描的图像数据;
上转换素材检测器,其检测隔行扫描的输入图像数据的低质量上转换素材的可能性;以及
图像处理器,其基于上转换素材检测器的检测信号,通过对在隔行扫描/逐行扫描转换器中通过转换而获得的逐行扫描的图像数据进行处理来获得输出图像数据;
其中,上转换素材检测器基于第一场的所注意的像素的像素数据与在垂直方向上与该所注意的像素邻近的、第二场的像素的像素数据的场间像素值差的和与第一场的该所注意的像素的像素数据和在垂直方向上与该所注意的像素邻近的、第一场的像素的像素数据的场内像素值差的和之间的比率,来检测低质量上转换素材的可能性,预定区域中的像素是在每个场中使用连续的第一场和第二场的图像数据作为顺序的所注意的像素而获得的。
2.根据权利要求1的图像处理装置,其中上转换素材检测器包括:
上转换素材确定器,其在第一和与第二和的比率超过预定阈值时输出第一确定输出,而在所述比率等于或小于预定阈值时,输出第二确定输出,所述第一和是场间像素值差的和,而所述第二和是场内像素值差的和;
检测信号输出单元,其输出用于指示低质量上转换素材的可能性的检测信号;以及
确定稳定器,其对于每个场确定上转换素材确定器对最近的预定数目的场的确定输出是否包括预定数目的或者更多的第一确定输出,并且在所述确定输出包括预定数目的或者更多的第一确定输出时,控制检测信号输出单元以便升高检测信号值,而在所述确定输出不包括预定数目的或者更多的第一确定输出时,降低检测信号值。
3.根据权利要求2的图像处理装置,
其中上转换素材检测器还包括有效性确定器,其对每个场确定上转换素材确定器的确定输出是否有效;以及
其中确定稳定器对于在有效性确定器中被确定为有效的场使用从上转换素材确定器输出的确定输出,并且对于在有效性确定器中被确定为不是有效的场使用低电平信号“0”。
4.根据权利要求3的图像处理装置,其中当隔行扫描的输入图像数据是通过使用2-3下拉方案或者2-2下拉方案转换每秒具有24帧或30帧的逐行扫描的图像数据而准备的隔行扫描的图像数据时,有效性确定器将其中第一场和第二场是从图像数据的相同的帧准备的场确定为是有效的。
5.根据权利要求3的图像处理装置,其中当隔行扫描的输入图像数据不是通过使用2-3下拉方案或者2-2下拉方案转换每秒具有24帧或30帧的逐行扫描的图像数据而准备的隔行扫描的图像数据时,有效性确定器确定每个场是否静止的场并且确定静止的场是有效的。
6.根据权利要求2的图像处理装置,还包括场景改变确定器,其基于隔行扫描的输入图像数据确定是否出现场景改变,
其中当场景改变确定器确定出现场景改变时,检测信号输出单元将检测信号重置为最小值。
7.根据权利要求1的图像处理装置,其中图像处理器以响应于上转换素材检测器的检测信号的比率,来混合在隔行扫描/逐行扫描转换器中通过转换而获得的逐行扫描的图像数据和通过在垂直方向上对所述图像数据执行低通滤波处理而获得的图像数据,并且获得输出图像数据。
8.一种图像处理方法,包括以下步骤:
将隔行扫描的输入图像数据转换为逐行扫描的图像数据;
检测隔行扫描的图像数据的低质量上转换素材的可能性;以及
基于上转换素材检测步骤的检测信号,通过对在隔行扫描/逐行扫描转换步骤中通过转换而获得的逐行扫描的图像数据进行处理以便获得输出图像数据;
其中,在上转换素材检测步骤中,基于第一场的所注意的像素的像素数据与在垂直方向上与该所注意的像素邻近的、第二场的像素的像素数据的场间像素值差的和与第一场的该所注意的像素的像素数据和在垂直方向上与该所注意的像素邻近的、第一场中的像素的像素数据的场内像素值差的和之间的比率,来检测低质量上转换素材的可能性,预定区域中的像素是在每个场中使用连续的第一场和第二场的图像数据作为顺序的所注意的像素而获得的。
CN201010224722.7A 2009-07-14 2010-07-07 图像处理装置和图像处理方法 Expired - Fee Related CN101959048B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009165195A JP2011023843A (ja) 2009-07-14 2009-07-14 画像処理装置および画像処理方法
JP165195/09 2009-07-14

Publications (2)

Publication Number Publication Date
CN101959048A CN101959048A (zh) 2011-01-26
CN101959048B true CN101959048B (zh) 2013-03-27

Family

ID=43465029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010224722.7A Expired - Fee Related CN101959048B (zh) 2009-07-14 2010-07-07 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US8264604B2 (zh)
JP (1) JP2011023843A (zh)
CN (1) CN101959048B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106902457B (zh) * 2011-01-28 2022-10-21 斯蒂维科技公司 神经刺激器系统
WO2012133277A1 (ja) * 2011-03-31 2012-10-04 シャープ株式会社 信号処理装置、制御プログラム、および集積回路
CN105118458B (zh) 2015-09-15 2018-06-29 深圳市华星光电技术有限公司 驱动装置以及液晶显示器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100971859B1 (ko) * 2002-09-23 2010-07-22 실리콘 이미지, 인크.(델라웨어주 법인) Mpeg-2 크로마 업컨버전 아티팩트의 검출 및 정정
KR100506086B1 (ko) * 2002-12-26 2005-08-03 삼성전자주식회사 영상의 재현 품질 향상 장치 및 그 방법
JP2004289753A (ja) 2003-03-25 2004-10-14 Matsushita Electric Ind Co Ltd アップコンバート映像検出装置
KR100563866B1 (ko) * 2003-05-19 2006-03-23 매크로영상기술(주) 영상 신호의 디인터레이스 방법 및 장치
EP1592247A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Block mode adaptive motion compensation
JP2007311963A (ja) * 2006-05-17 2007-11-29 Sony Corp 画像表示装置、信号処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP5056242B2 (ja) 2006-08-29 2012-10-24 ソニー株式会社 画像判定装置、画像判定方法、およびプログラム
US20080304568A1 (en) * 2007-06-11 2008-12-11 Himax Technologies Limited Method for motion-compensated frame rate up-conversion
EP2012532A3 (en) * 2007-07-05 2012-02-15 Hitachi Ltd. Video displaying apparatus, video signal processing apparatus and video signal processing method
JP4564565B2 (ja) * 2009-01-27 2010-10-20 株式会社東芝 再生装置および再生装置の制御方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2004-289753A 2004.10.14
JP特开2008-85993A 2008.04.10

Also Published As

Publication number Publication date
US20110013080A1 (en) 2011-01-20
JP2011023843A (ja) 2011-02-03
US8264604B2 (en) 2012-09-11
CN101959048A (zh) 2011-01-26

Similar Documents

Publication Publication Date Title
EP1223748B1 (en) Motion detection in an interlaced video signal
KR100303728B1 (ko) 격행주사 영상의 디인터레이싱 방법
US7057665B2 (en) Deinterlacing apparatus and method
US6614484B1 (en) Deinterlacing method for video signals based on edge-directional interpolation
US6414719B1 (en) Motion adaptive median filter for interlace to progressive scan conversion
US8497937B2 (en) Converting device and converting method of video signals
CN100417188C (zh) 块模式自适应运动补偿
EP2151996B1 (en) Image signal processing unit and method of processing image signal
US8115867B2 (en) Image processing device
KR101026298B1 (ko) 화상 처리 장치 및 화상 처리 방법
US7952644B2 (en) Adaptive de-interlacer and method thereof
CN101959048B (zh) 图像处理装置和图像处理方法
US8471962B2 (en) Apparatus and method for local video detector for mixed cadence sequence
CN101309355A (zh) 加倍影像信号的帧率的方法
JP3903703B2 (ja) 順次走査変換回路
JP4339237B2 (ja) 順次走査変換装置
JP4374047B2 (ja) 映像信号処理装置および映像信号処理方法
KR100827214B1 (ko) 비디오 스캔 레이트 전환을 위한 움직임 보상 업컨버전
JP4226939B2 (ja) 順次走査変換装置及び順次走査変換方法
JP2005102191A (ja) 画像処理装置及び方法
US20100103313A1 (en) Signal processor and signal processing method
JP2000228762A (ja) 走査変換回路
Fan Deinterlacing system and technology overview and discussion
US20100277642A1 (en) Text Protection Device and Related Motion Adaptive De-interlacing Device
Chiang et al. Novel artifact detection for motion compensated deinterlacing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130327

Termination date: 20130707