CN101437136A - 图像处理设备 - Google Patents

图像处理设备 Download PDF

Info

Publication number
CN101437136A
CN101437136A CNA2008101753949A CN200810175394A CN101437136A CN 101437136 A CN101437136 A CN 101437136A CN A2008101753949 A CNA2008101753949 A CN A2008101753949A CN 200810175394 A CN200810175394 A CN 200810175394A CN 101437136 A CN101437136 A CN 101437136A
Authority
CN
China
Prior art keywords
pixels
location
correlation
field
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101753949A
Other languages
English (en)
Other versions
CN101437136B (zh
Inventor
邵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Electronics Corp
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN101437136A publication Critical patent/CN101437136A/zh
Application granted granted Critical
Publication of CN101437136B publication Critical patent/CN101437136B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像处理设备。对于具有相同属性的两个相邻场形成的场对,场对相关性获取部件为在时间序列中连续的六个或更多个场取得相关性。第一确定部件基于下述确定条件,将输入图像确定为2:2下拉图像,所述确定条件为:其中一种属性的每一场对的相关性随时间方向而变化的模式,与其中另一属性的每一场对的相关性随时间方向而变化的模式相匹配。

Description

图像处理设备
技术领域
本发明涉及一种图像处理技术,更具体地说,涉及一种确定输入图像是否为2:2下拉(pull-down)图像的技术。
背景技术
一般而言,诸如电影的胶片源,包含每秒24个逐行扫描帧(progressive frame)。例如,对于国家电视系统委员会(NTSC)电视信号,每个信号包含每秒60个隔行扫描场。例如,对于逐行倒相(PAL)电视信号,每个信号包含每秒50个隔行扫描场。相应地,为了将胶片源广播至电视机,每秒24个逐行扫描帧需要转换成每秒60个或50个隔行扫描场。在将信号转换成NTSC电视信号中所使用的是3:2下拉方案,并且在将信号转换成PAL电视信号中所使用的是2:2下拉方案。
原始生成的并且被认为是诸如动画或电脑图形(CG)的逐行扫描图像包含每秒30帧。在这种情形下,当该信号也被转换成NTSC电视信号时,也使用2:2下拉方案。
在下文中,由隔行扫描场形成的图像,称为隔行扫描图像;通过基于逐行扫描图像的3:2下拉方案而获得的隔行扫描图像,称为3:2下拉图像;并且通过基于逐行扫描图像的2:2下拉方案而获得的隔行扫描图像,称为2:2下拉图像。
当隔行扫描图像由诸如液晶电视的逐行扫描方案的输出设备重放时,需要在重放侧执行隔行扫描至逐行扫描转换(IPC)。在这种情形下,可能通过确定隔行扫描图像是原始的隔行扫描图像或隔行扫描图像是由下拉方案而获得的隔行扫描图像,以高品质重放通过下拉方案所获得的隔行扫描图像。
例如,3:2下拉方案将两个24Hz帧转换成五个60Hz场。更具体地说,一个帧被重复,以从胶片源的两个连续帧的第一帧中形成三个场,同时,从第二帧形成两个场。3:2下拉方案从第一帧抽取具有奇数行的顶场和具有偶数行的底场,然后,再抽取顶场。此后,3:2下拉方案从第二帧抽取另一个底场和另一个顶场。
当通过逐行扫描方案重放诸如NTSC方案的60Hz场图像时,如果重放侧识别出输入图像为3:2下拉图像,通过组合隔行扫描场的两个场,在3:2下拉转换之前,重放侧获得完整的逐行扫描帧。相应地,重放侧能够获得具有与下拉转换之前的图像相同的高品质的原始图像(日本未审查专利申请公开No.2004-40815)。
2:2下拉方案为从一个帧抽取两个场的方案。更具体地说,如图18所示,2:2下拉方案首先从逐行扫描图像的每一帧抽取具有奇数行的顶场,然后抽取具有偶数行的底场。在图18中,阴影部分为在抽取操作中被省略的部分。
当隔行扫描图像通过逐行扫描方案重放时,如果重放侧识别出输入图像为2:2下拉图像,通过组合顶场和底场,如图18中的下部所示,重放侧能够获得与原始逐行扫描图像相同的图像。相应地,重放品质能够得到提高。
已经提出了用于确定输入图像是否为2:2下拉图像的各种方案。
例如,在不是2:2下拉图像的PAL电视图像的情形下,场之间具有20毫秒的时间差。因此,如图19中所示,彼此相邻的两个场之间基于时间的相关性较低。另一方面,在图20中,彼此相邻的场之间基于时间的相关性的获得,是基于这样的事实,即由一个帧产生的两个场(顶场和底场)之间的相关性,高于这两个场与由不同帧产生的场之间的相关性,从而将其中相关模式“高、低、高、低……”重复的输入图像,确定为2:2下拉图像。
此外,日本未审查专利申请公开No.2007-129400公开了一种检测2:2下拉图像的技术,该技术是通过将场分成多个块,并执行移动补偿,以检测在每个块中的连续两个相同属性场之间的最可靠移动矢量,并且比较连续的奇数场和偶数场的移动矢量。术语“属性”指示场是顶场或是底场;奇数场具有相同的属性,并且偶数场具有相同的属性。
发明内容
通过计算彼此相邻场的基于时间的相关性的模式,来确定输入图像是否为2:2下拉图像的技术,是基于这种事实,即由一个帧产生的两个场之间的相关性,高于这两个场与由不同帧产生的场之间的相关性。然而,本发明者已经发现了一个问题,即由于顶场由奇数行形成,底场由偶数行形成,即使对于由一个帧所产生的两个场,该相关性并非总是较高的。尤其是当图像包含其中在垂直方向上具有变化的图片,或者图像在其边缘部分具有移动时,由一个帧所产生的两个场之间的相关性就变低。例如,在图18中所示的字符“A”的帧所产生的两个场中,仅底场包括字符“A”的水平线;因此,该两个场之间的相关性变低。在这种情形下,2:2下拉图像的检出率变低。
还有一种情形,其中,在逐行扫描图像的一帧中不同部分进行不同的移动。另一方面,在日本未审查专利申请公开No.2007-129400中所公开的技术是基于作为帧的一部分的块的移动矢量的。因此,当在帧中包含多个进行彼此不同移动的块时,确定2:2下拉图像是困难的。此外,这种技术要求移动补偿;因此,需要进行复杂的计算。
本发明的实施例的第一示例性方面为确定输入图像是否为2:2下拉图像的图像处理设备。该图像处理设备包含场对(field pair)相关性获取部件和第一确定部件。
对于由具有相同属性的相邻的两个场形成的每一场对Pj(j=t至“t-m+2”),场对相关性获取部件取得场组Gt的相关性,所述场组Gt由输入图像中在时刻t的场Ft和与场Ft在时间序列中连续的五个或更多场F(t-i)(i=1至m,m≥5)形成。
第一确定部件根据确定条件,确定输入图像为2:2下拉图像,该确定条件为,同一属性的每一个场对的相关性随时间方向而变化的模式,与其他属性的每一个场对的相关性随时间方向而变化的模式相匹配。
即使当将上述设备被用方法或系统来替换,或被用作为上述设备来操作电脑的程序来代替时,其仍在本发明的范围内。
根据本发明的技术,准确地确定输入图像是否为2:2下拉图像是可能的。
附图说明
从下面结合附图的对所选取的某些示例性实施例的描述,本发明的上述及其他示例性方面、优势及特征将更为明显,其中:
图1是用于描述根据本发明的技术的图像处理设备的示意图;
图2是用于描述图1中所示的图像处理设备的原理的图;
图3是用于描述图1中所示的图像处理设备的原理的另一图;
图4是用于描述根据本发明的技术的另一图像处理设备的示意图;
图5是用于描述图4中所示的图像处理设备的原理的图;
图6是用于描述图4中所示的图像处理设备的原理的另一图;
图7是用于描述图4中所示的图像处理设备的原理的另一图;
图8是示出了像素位置特征与相关性值的排列模式之间关系的图;
图9是示出了根据本发明的示例性实施例的图像处理设备的图;
图10是示出了图9中所示的图像处理设备中的场对相关性获取部件的图;
图11是示出了图9中所示的图像处理设备中的日志缓冲器的图;
图12是示出了在图11中所示的日志缓冲器中的顶场日志缓冲器中存储的数据方面的图;
图13是示出了在图11中所示的日志缓冲器中的底场日志缓冲器中存储的数据方面的图;
图14是示出了图9中所示的图像处理设备中的日志处理部件的图;
图15是示出了从图14中所示的日志处理部件输出的日志排列的图;
图16是用于描述图9中所示的图像处理设备中的第一确定部件的处理的图;
图17是用于描述图9中所示的图像处理设备中的第二确定部件的处理的另一图;
图18是用于描述检测2:2下拉图像的必要性的图;
图19是用于描述相关技术的图;以及
图20是用于描述相关技术的另一图。
具体实施方式
在描述本发明的示例性实施例之前,将描述根据本发明的技术的原理。
图1是根据本发明的技术的图像处理设备100的示意图。图像处理设备100包含场对相关性获取部件110以及第一确定部件120。
对于由具有相同属性的两个相邻场形成的每个场对,场对相关性获取部件110取得作为隔行扫描图像的输入图像的六个或更多连续场的相关性。
隔行扫描图像的场具有顶场和底场两种属性,并且两种属性的场被交替输入。因此,时刻t的场Ft与在场Ft两个场以前的场F(t-2),以及场Ft与在场Ft两个场之后的场F(t+2),为具有相同属性的两个相邻场。在下文描述中,术语“场对”用于表示“具有相同属性的两个相邻场”,并且形成场对的两个场的属性,为该场对的属性。
图2示出了在2:2下拉图像中连续六个场F1-F6。在图2中,围绕其中目标从屏幕左边移动至右边的场景边缘的区域被放大。如图2中所示,在2:2下拉图像中的顶场F1与底场F2分别由原始逐行扫描图像的一帧的奇数行和偶数行形成,并且对于顶场F3与底场F4,以及顶场F5与底场F6可做同样的解释。
在图2中所示的六个场中,有F1与F3、F2与F4、F3与F5、F4与F6的四个场对P3至P6。P3和P5为由顶场形成的顶场对,并且P4和P6为底场形成的底场对。
场对相关性获取部件110获得形成场对的两个场之间的相关性,从而为四个场对P3至P6的每一个场对获得相关性。
如图2中所示,场F1和F2分别由一帧中的奇数行和偶数行形成。场F3和F4分别由下一帧中的奇数行和偶数行形成。因此,由于目标移动而导致的从场F1至场F3的变化,与从场F2至场F4的变化相匹配。以同样方式,从场F3至场F5的变化,与从场F4至场F6的变化相匹配。
总之,场F1—F3—F5的变化模式,与场F2—F4—F6的变化模式相匹配。
场F1—F3—F5的变化模式,可以用场对P3与P5的相关性变化模式来表示,并且,场F2—F4—F6的变化模式,可以用场对P4与P6的相关性变化模式来表示。因此,在2:2下拉图像的情形下,其中具有两种属性的场对属性之一的场对的相关性随时间方向而变化的模式,与其中具有另一属性的场对的相关性随时间方向而变化的模式相匹配。
现在将描述诸如PAL方案的作为不是2:2下拉图像的隔行扫描图像(下文称之为非2:2下拉图像)的情形。为了较易于比较,将图2中所示的场景作为示例。
图3所示的是示出了图2的场景的非2:2下拉图像的六个连续场F1至F6。如图3所示,在这种情形下,由于目标的移动所导致的从场F1至场F3的变化,与从场F2至F4的变化无关。类似地,从场F3至F5的变化,与从场F4至F6的变化无关。
因此,在非2:2下拉图像的情形下,其中具有两种属性的场对属性之一的场对的相关性随时间方向而变化的模式,与其中另一属性的场对的相关性随时间方向而变化的模式之间没有关系。
基于上述原则,当根据由场对相关性获取部件110为每一场对获得相关性,顶场对(图2和3中的场对P3和P5)相关性的变化模式与底场对(图2和图3中的场对P4和P6)相关性的变化模式相匹配时,在图像处理设备100中的第一确定部件120确定输入图像为2:2下拉图像。
尽管已经通过将连续六个场作为示例进行了解释,但可以使用任意数目的场(六个或更多)。确定的准确度随着场数量的增多而变高。
图像处理设备100获得具有相同属性的相邻场对之间的相关性,以比较不同属性之间的场对的相关性的变化模式。因此,可能检测2:2下拉图像,甚至是具有带有垂直行的图片的2:2下拉图像。此外,由于相关性在整个场中取得,即使在场中包含显示出不同移动的部分时,也可能检测2:2下拉图像。
本发明者改善了上述技术,以根据上述技术,改善检测2:2下拉图像的准确性,上述技术使用了2:2下拉图像的特征,在该特征中顶场的场对相关性变化模式,与底场的场对相关性变化模式相匹配。
图4是通过改善图1中所示的图像处理设备100的性能而获得的图像处理设备200的示意图。图像处理设备200包含场对相关性获取部件210、第一确定部件220、计数器230、以及第二确定部件240。
场对相关性获取部件210获取相关性信息,该信息表示,对于每一场对,输入图像的六个或更多个连续场的每一像素位置的有无相关性。
在图5中,示出了相关性信息D3至D6,其指示在示出了与图2中所示的示例相同的场景的2:2下拉图像的连续六个场F1至F6中,为四个场对P3至P6中的每一个的每一像素位置所计算的像素位置中有无相关性。例如,相关性信息D3指示,对于每一像素位置,形成场对P3的两个场F1和F3之间有无相关性,并且相关性信息D4指示,对于每一像素位置,形成场对P4的两个场F2和F4之间有无相关性。
现在,对于在X方向上的同一像素位置,比较从场对P3所获得的相关性信息D3中行3的每一像素位置的相关性信息LD3(行3)、从场对P4所获得的相关性信息D3中行3的上一行的每一像素位置的相关性信息LD4(行2)、从场对P5所获得的相关性信息D5中所关注的行3(行3(图5中的行3))的每一像素位置的相关性信息LD5(行3)、以及从场对P6所获得的相关性信息D6中行3的上一行的每一像素位置的相关性信息LD6(行2)。
当相关性信息“无相关性”和“相关”分别用相关性值“1”和“0”指示时,对于在X方向上的一个像素位置,用于LD3(行3)、LD4(行2)、LD5(行3)和LD6(行2)相关性值的排列模式包含“0000”、“1100”和“0011”三种模式。此外,尽管未在图中示出,在快速移动像素位置中,排列模式可以是“1111”。应注意的是,排列模式“0000”指示在该像素位置中没有移动。
当关注下述像素位置时,其中在所述像素位置中,在X方向上的位置相同并且为所有场对获取的相关性值为除了“0000”或“1111”相同值之外的值,LD3(行3)与LD4(行2)的相关性值对于在X方向上的同一像素位置是相同的,并且LD5(行3)与LD6(行2)的相关性值对于在X方向上的同一像素位置是相同的。这基本上意味着,对于在X方向上的一个像素位置,LD6(行2)和LD4(行2)的相关性值的排列模式,与LD5(行3)和LD3(行3)的相关性值的排列模式是相匹配的。
这些结果对于LD3(行3)、LD4(行4)、LD5(行3)及LD6(行4)也是相同的。
在图6中,增加了当目标连续右向移动时,作为底场F6的下一场的场F7。对于在X方向上的同一像素位置,将比较从场对P4获得的相关性信息D4中的行2的每个像素位置的相关性信息LD4(行2)、从场对P5获得的相关性信息D5中的行1的相关性信息LD5(行1)、从场对P6获得的相关性信息D6中的行2的相关性信息LD6(行2)、以及从场P7获得的相关性信息D7中的行1的相关性信息LD7(行1)。
如将从图6所看到的,在这种情形下,对于X方向的同一像素位置,用于LD4(行2)、LD5(行1)、LD6(行2)、LD7(行1)的相关性值的排列模式变成“0000”、“1000”、“0110”、“0001”,并且,不存在“0011”或“1100”的排列模式。
当关注的像素位置不是其中排列模式变成“0000”或“1111”的像素位置时,对于在X方向上的同一像素位置,LD4(行2)和LD5(行1)具有不同相关性值,而且,对于在X方向上的同一像素位置,LD6(行2)和LD7(行1)具有不同相关性值。这基本上意味着,对于在X方向上的同一像素位置,LD7(行1)和LD5(行1)的相关性值的排列模式,与LD6(行2)和LD4(行2)的相关性值的排列模式不匹配。
这些结果对于LD4(行2)、LD5(行3)、LD6(行2)、LD7(行3)是相同的。
对于非2:2下拉图像,也获取了相关性值的排列模式。图7示出了对于非2:2下拉图像的六个连续场F1至F6中的四个场对P3至P6的每一个的每一像素位置而获得的相关性信息D3至D6,非2:2下拉图像示出了与图5中相同的场景。作为通过使用这些相关性信息而获得的针对在X方向上的同一像素位置的用于LD3(行3)、LD4(行2)、LD5(行3)、LD6(行2)的相关性值排列模式的结果,应当理解的是,除了指示静止图像的“0000”以及指示快速移动的图像“1111”(未示出)以外,还有各种排列模式,诸如,“1000”、“1100”、“0110”、“0011”。
当关注下述像素位置时,其中在所述像素位置中在X方向上的位置相同并且排列模式不是“0000”或“1111”,具有相同相关性值的像素位置和具有不同相关性值的像素位置,随机地存在于LD3(行3)和LD4(行2)之间,以及LD5(行3)和LD6(行2)之间。
这些结果对于LD3(行3)、LD4(行4)、LD5(行3)、LD6(行4)是相同的。
此外,当增加了场F7(顶场)时,在LD4(行2)、LD5(行1)、LD6(行2)、LD7(行1)中这些结果是相同的,场F7是当目标以右向连续移动时,底场F6的下一场。
根据上述排列模式,将像素位置的类型分类,如图8中所示。更具体地说,其中排列模式为“0000”的像素位置被归入“静止”像素位置一类,因为其在像素位置中为非移动的,并且,其中排列模式为“1111”的像素位置被归入“快速移动”像素位置一类,因为其在像素位置中为快速移动的。而且,其中排列模式为“1100”或“0011”的像素位置被归入特征位置一类,该位置包含“2:2下拉图像特征”。此外,除“0000”、“1111”、“0011”和“1100”外的其他排列模式的像素位置被归入“其他”像素位置一类,其不对应于上述任何三种类型。
当关注的像素位置为除了快速移动像素位置和静止像素位置外的像素位置时,特征位置变成该所关注的像素位置,其中,形成排列模式的四个相关性值(A、B、C和D)中的A与B具有相同值,并且C与D具有相同值。应注意的是,“A与B具有相同值,并且C与D具有相同值”基本上意味着,排列“A,C”与排列“B,D”相匹配。
现在,连续六个场(F6,F5,…F1)为场组G6,并且将为场组G6所获取的特征位置的总数目(特征位置的总数目)S6,与为作为场组G6的下一组的场组G7(F7,F6,…F2)所获取的特征位置的总数目S7相比较。在2:2下拉图像的情形下,特征总数目S6大于S7,并且S6与S7之间存在较大差异;另一方面,在非2:2下拉图像的情形下,特征总数目S6和S7基本相同。
当将在场组G7(F7,F6,…F2)中的特征位置总数目S7与在场组G8(F8,F7,…F3)中的特征位置总数目S8相比较时,在2:2下拉图像的情形下,特征总数目S7小于S8,并且S7与S8之间差异较大;另一方面,在非2:2下拉图像的情形下,特征总数目S7与S8基本相同。
总之,当仅使用连续两个场组时,例如,场组G6和G7,或场组G7和G8,当为这两个场组所获得的特征位置的总数目之间的差的绝对值,或这两个特征位置的总数目之间的比率等于或大于预定阈值时,输入图像可以被确定为2:2下拉图像。应注意的是,阈值可以通过模拟等来确定,以便能够反映2:2下拉图像和非下拉图像之间的差异;或者可以根据图像的移动来动态地控制。下文将这一确定方案称为方案A。
此外,当对于为诸如场组G6、G7、G8的三个或更多个连续场组Gj(j=t至“t+n”,n≥2)所获取的特征位置的n个总数目Sj,Sj和S(j+1)之间的量级关系,以及S(j+1)和S(j+2)之间的量级关系是相反的时,输入图像可以被确定为2:2下拉图像。当输入图像为非2:2下拉图像时,不存在这样的规则。下文将这种确定方案成为方案B。
在方案B中,需要用于确定的场组的数目大于方案A的数目;但是不需要设定阈值。因此,不存在当阈值设定不恰当时,可能导致确定准确性降低的问题。
尽管在本示例性实施例中,一个场组由连续六个场形成,但是,包含在场组中的场的数目可以是六或更多的任意数字。随着场组数目的增加,确定的准确性也能够提高。
参考前面的图4,现将对图像处理设备200做出描述。
第一确定部件220使用场对相关性获取部件210所获得的每一场对的相关性信息,为每一场组,确定每一像素位置是否为“静止”像素位置、“快速移动”像素位置、“特征位置”或“其他”像素位置,图8中所示。
计数器230为每一场组,计算被第一确定部件220确定为“特征位置”的像素位置的总数目,以将计算的总数目输出至第二确定部件240,作为特征位置的总数目。
第二确定部件240比较多个连续场组的特征位置的总数目的量级关系,以确定输入图像是否为2:2下拉图像。应注意的是,在该确定中使用上述的方案A或方案B之一。
通过改善图像处理设备100的性能,获得图像处理设备200。图像处理设备100的每一效果,也可以通过图像处理设备200来获得。
图像处理设备200为每一像素位置,取得场对之间的相关性信息;因此,排除静止像素位置或快速移动像素位置是可能的。即使当包含静止和精细背景时,以高准确性执行该确定是可能的。
此外,图像处理设备200不需要日本未审查专利申请公开No.2007-129400的技术中所使用的移动补偿,并且可以以简单的操作进行计算。
需要注意的是,任何已知方案可以用作根据本发明的技术中的获取每一像素位置的相关性信息的技术。例如,可以为每一场对的每一像素位置检测移动,以获得指示有无移动的移动参数,作为像素位置的相关性信息。
此外,任何已知方法可以用于检测移动。例如,为每一场对,可取得形成该场对的两个场之间的差,并且,通过将其中差的绝对值等于或大于预定阈值的像素位置确定为“移动”,以及将其中差的绝对值小于阈值的像素位置确定为“非移动”,可以取得每个像素位置的移动参数。
基于上面描述,现将解释其中上述原则得以实施的具体示例性实施例。
图9是根据本发明的本示例性实施例的图像处理设备300。该图像处理设备300包含场延迟部件310、场延迟部件320、场对相关性获取部件330、日志处理部件340、日志缓冲器350、第一确定部件380、计数器382以及第二确定部件384。
将隔行扫描图像的每一场连续输入至场延迟部件310以及场对相关性获取部件330。图像处理设备300还包括未示出的控制器,并且,该控制器将表示该被输入的场是否为顶场或底场的场属性信息,输入至日志缓冲器350。
场延迟部件310以一个场间隔,延迟输入场,以将所延迟的场输入至场延迟部件320。
场延迟部件320以一个场间隔,延迟来自场延迟部件310的场,以将所延迟的场输入至场对相关性获取部件330。
更具体地说,在时刻t,将场Ft和场Ft两个场以前的场F(t-2)输入至场对相关性获取部件330。这两个场具有相同属性;二者均为顶场或底场。下文将场Ft和F(t-2)称之为场对Pt,并且由顶场形成的场对以及底场形成的场对,分别称之为“顶场对”和“底场对”。
场对相关性获取部件330对于每一输入场对Pt的每一像素位置取得指示有无相关性的相关性信息。图10示出了场对相关性获取部件330。
如图10所示,场对相关性获取部件330包括减法器332、绝对值获取部件334、以及移动确定部件336。
减法器332为场Ft和场F(t-2)的每一像素位置计算差,以将差输出至绝对值获取部件334。
绝对值获取部件334为每一像素位置计算来自减法器332的差的绝对值,以将该绝对值输出至移动确定部件336。
移动确定部件336将来自绝对值获取部件334的每一差的绝对值,与用于确定有无移动的阈值相比较。当差的绝对值等于或大于阈值时,确定在像素位置中“移动”;当差的绝对值小于阈值,确定在像素位置中“非移动”。“移动”或“非移动”中的每一个,由像素位置的移动参数D来指示。
移动确定部件336将移动参数Dt作为相关性信息,输出至日志处理部件340,该参数Dt是为场对Pt的每一像素位置而计算的。
在描述日志处理部件340之前,将首先描述日志缓冲器350。如图11中所示,日志缓冲器350包括选择器352、顶场日志缓冲器354、底场日志缓冲器356、选择器362、选择器364、反相器360,其将场属性信息反相用以将该反相信息输入至选择器362、行延迟部件366、以及同步处理部件368。
当描述日志处理部件340时,后面将详细描述选择器352以及从日志处理部件340至选择器352的更新日志输入。
顶场日志缓冲器354存储先前三个顶场对的移动参数D。图12示出了存储在顶场日志缓冲器354中的数据的示例。作为示例,奇数场被认为是顶场。相应地,奇数场对的移动参数存储在顶场日志缓冲器354中。
在顶场中,仅奇数行具有像素;因此,顶场日志缓冲器354存储用于每一顶场对的奇数行移动参数。在下面的描述中,对于同一行的沿着移动参数时间方向的排列,被称为行日志。如图12中所示,顶场日志缓冲器354存储顶场对的奇数行的行日志(LD(行1)、LD(行3)、LD(行5)……)。
图13示出了存储在底场日志缓冲器356中的数据的示例。如图13中所示,底场日志缓冲器356存储先前四个底场对的偶数行的行日志(LD(行2)、LD(行4)、LD(行6)……)。
将参考前面图11进行描述。当将场Ft的行(n)输入至图像处理设备300时,选择器364根据来自未示出的控制器的指示场Ft是顶场还是底场的场属性信息,从顶场日志缓冲器3 54或底场日志缓冲器356,选择先前移动参数中行(n)的行日志,以将所选择的行日志输出至同步处理部件368。更具体地说,当场Ft为顶场时,行(n)为奇数行,然后,选择器364将顶场日志缓冲器354中的行日志LD(行(n)),输出至同步处理部件368。另一方面,当场Ft为底场时,行(n)为偶数行,选择器364将底场日志缓冲器中356中的行日志(行(n)),输出至同步处理部件368。
在通过反相器360反相之后,将场Ft的属性信息输入至选择器362。相应地,当场Ft为顶场时,选择器将行日志从底场日志缓冲器356,输出至同步处理部件368及行延迟部件366;当场Ft为底场时,选择器将行日志从顶场日志缓冲器354,输出至同步处理部件368及行延迟部件366。在输出行日志之前,输出作为行(n)的下一行的行(n+1)的行日志。
行延迟部件366延迟来自选择器362的行日志,以将所延迟的行日志输出至同步处理部件368。
更具体地说,当将场Ft的行(n)输入至图像处理设备300时,三个行日志被输入至日志缓冲器350的同步处理部件368。这三个行日志为行日志LD(行(n)),其由从具有与场Ft相同属性的先前场对所获得的行(n)的每一像素位置的移动参数形成;以及行日志LD(行(n-1))和LD(行(n+1)),其是从具有与场Ft不同属性的先前场对所获得的行(n)的上一行和下一行。
同步处理部件368同步三个行日志,用以将所同步的数据输出至日志处理部件340,作为日志历史。
现在将描述日志处理部件340。如图14中所示,日志处理部件340包括分离部件342、更新部件344以及同步处理部件346。
分离部件342将来自日志缓冲器350的日志历史,分离成三个行日志,并将行日志LD(行(n))输出至更新部件344,而且将日志LD(行(n-1))和LD(行(n+1))输出至同步处理部件346。
更新部件344结合场Ft的行(n)的移动参数和行日志LD(行(n)),以获得新行日志或新行日志LD(行(n)),从而将新行日志LD(行(n))输出至同步处理部件346和日志缓冲器350。
同步处理部件346将从更新部件344的新行日志LD(行(n))与从分离部件342的两个行日志同步,以将所同步的数据输出至第一确定部件380,作为日志排列。
此外,在日志缓冲器350中的选择部件352将新行日志LD(行(n)),存储在具有与场Ft相同属性的顶场日志缓冲器354和底场日志缓冲器356中的一个上,以更新行(n)的行日志。
图15示出了从日志处理部件340输出至第一确定部件380的日志排列。如图15中所示,将从具有与场Ft相同属性的场对所取得的行(n)的移动参数Dt、D(t-2)、D(t-4)、D(t-6);从具有与场Ft不同属性的场对所获得的,作为行(n)上一行的行(n-1)的移动参数D(t-1)、D(t-3)、D(t-5);以及从具有与场Ft不同属性的场对所获得的,作为行(n)下一行的行(n+1)的移动参数D’(t-1)、D’(t-3)、D’(t-5)输入至第一确定部件380。
第一确定部件380确定是否有2:2下拉图像的特征,或者像素位置对于每一场组在每一像素位置中是否为特征位置。在本示例性实施例中,第一确定部件380为由八个连续场形成的每个场组执行这种确定。
第一确定部件380首先执行关于由场F(t-1)至F(t-8)所形成的场组G(t-1)的确定。在此时,如图16中所示,使用来自日志处理部件340的日志排列中除移动参数Dt以外的移动参数。
第一确定部件380聚焦在除了所有移动参数为“0”的“静止”像素位置和所有移动参数为“1”的“快速移动”像素位置之外的像素位置上,并确定该所关注的像素位置为特征位置,其中,图16中所示的移动参数D(t-1)、D(t-3)、D(t-5)的排列模式;移动参数D(t-2)、D(t-4)、D(t-6)的排列模式;以及移动参数D’(t-1)、D’(t-3)、D’(t-5)的排列模式是互相匹配的。第一确定部件380对场组G(t-1)中的所有所关注的像素位置执行确定,用来在每次取得指示所关注的像素位置为特征位置的确定结果时,将指示该所关注的像素位置为特征位置的信号输出至计数器382。当已经完成对场组G(t-1)中所有所关注的图片元素的确定时,第一确定部件380将完成信号输出至计数器382。
计数器382计算特征位置的数目。然后,在从第一确定部件380接收到完成信号时,计数器将作为特征位置总数目的计算数目,输出至第二确定部件394,并且重置该计算数目。
在对场组G(t-1)的确定完成后,第一确定部件380为下一场组Gt(F(t)至F(t-7))执行确定。在此时,如图17中所示,使用来自日志处理部件340的日志排列中除移动参数D(t-6)以外的移动参数。
第一确定部件380确定所关注的像素位置为特征位置,其中,图17中所示的移动参数D(t-1)、D(t-3)、D(t-5)的排列模式;移动参数Dt、D(t-2)、D(t-4)的排列模式;以及移动参数D’(t-1)、D’(t-3)、D’(t-5)的排列模式是互相匹配的。其他处理与对场组G(t-1)的处理是相同的;因此,其描述在此省略。
第一确定部件380对场组G(t+1)、G(T+2)……也执行同样的处理。
当对于为这些连续场组所取得的所有特征位置总数目Sj,Sj与S(j+1)之间的量级关系以及S(j+1)与S(j+2)之间的量级关系彼此相反时,第二确定部件394将输入图像确定为2:2下拉图像。例如,当“场组G(t-1)与Gt的特征位置总数目S(t-1)和St之间的量级关系”、“场组Gt与G(t+1)的特征位置总数目St和S(t+1)之间的量级关系”、“S(t+1)和S(t+2)之间的量级关系”以及“S(t+2)和S(t+3)之间的量级关系”,为“大、小”、“小、大”、“大、小”以及“小、大”,或者“小、大”、“大、小”、“小、大”以及“大、小”时,将输入图像确定为2:2下拉图像。
另一方面,当为连续场组计算的所有特征位置的总数目Sj几乎为相同值时,将输入图像确定为正常隔行扫描图像,其不是2:2下拉图像。
上面已经对本发明的具体示例性实施例作了描述。上述的示例性实施例仅是一个示例,可以在不脱离本发明的精神的条件下作出各种修改和变更。本领域的技术人员应当理解,即使在这种情形下,改变的示例可能仍在本发明范围内。
例如,如图16和17所示,在该示例性实施例中,如图像处理设备300中的第一确定部件380使用三行的行日志。然而,可以仅使用从具有与场Ft相同属性的场对所计算的行(n)的移动参数Dt、D(t-2)、D(t-4)、D(t-6)以及从具有与场Ft不同属性的场对取得的,作为行(n)的上一行的行(n-1)的移动参数D(t-1)、D(t-3)、D(t-5),或者,可选择地,仅使用从移动参数Dt、D(t-2)、D(t-4)、D(t-6)以及具有与场Ft不同属性的场对所取得的行(n)下一行的行(n+1)的移动参数D’(t-1)、D’(t-3)、D’(t-5)。
尽管已经以几个示例性实施例的方式对本发明作了描述,本领域的技术人员应当承认,本发明可以在随附的权利要求的精神和范围内,以各种修改方式进行实施,并且本发明不限于上述的示例。
此外,权利要求的范围不受上述示例性实施例的限制。
此外,应注意的是,本申请人的目的是包含所有权利要求要素的等价物,即使在以后的审查中作了修改。

Claims (13)

1.一种图像处理设备,包括:
场对相关性获取部件,其对于由具有相同属性的两个相邻场形成的每一场对Pj,取得场组Gt的相关性,所述场组Gt由输入图像中的时刻t的场Ft和与场Ft在时间序列中连续的五个或更多场F(t-i)形成,其中i=1至m,j=t至“t-m+2”,m≥5;以及
第一确定部件,其根据确定条件,确定所述输入图像为2:2下拉图像,所述确定条件为:其中一个属性的每一所述场对的所述相关性随时间方向而变化的模式,与其中另一属性的每一所述场对的所述相关性随时间方向而变化的模式相匹配。
2.根据权利要求1所述的图像处理设备,其中,
所述场对相关性获取部件对于每一场对的每一像素位置取得指示有无相关性的相关性信息,并且
所述第一确定部件基于确定条件,确定关注的像素位置为具有所述2:2下拉图像的特征的特征位置,所述关注的像素位置为:除了其中为在所述场组Gt中包含的所有所述场对获取的相关性信息具有相同值的像素位置之外的每一像素位置,所述确定条件为:具有与所述场对Pt相同属性的每一场对的所述关注的像素位置的所述相关性信息随时间方向的排列模式,和具有与所述场对Pt不同属性的每一场对的所述关注的像素位置的上一个和/或下一个的所述像素位置的所述相关性信息随时间方向的排列模式相匹配,所述图像处理设备还包括:
计数器,其对于所述场组Gt计算确定为所述特征位置的关注的像素位置的总数目,作为特征位置的总数目St;以及
第二确定部件,其确定下述输入图像为所述2:2下拉图像,其中在所述输入图像中,为两个连续场组Gt获取的特征位置的所述两个总数目St的差或比率等于或大于预定阈值,其中t=“m+1”至“m+2”。
3.根据权利要求2所述的图像处理设备,其中,所述第二确定部件确定下述输入图像为所述2:2下拉图像,其中在所述输入图像中,对于为三个或更多个连续场组Gt获取的特征位置的n个总数目St,St和S(t+1)之间的大小关系以及S(t+1)和S(t+2)之间的大小关系是彼此相反的,其中t=“m+1”至“m+n”,n≥3。
4.根据权利要求2所述的图像处理设备,其中,所述第一确定部件确定下述关注的像素位置为满足所述确定条件的所述特征位置,其中在所述关注的像素位置中,所述场组Gt的场对Pk和P(k-1)的相关性信息彼此相同,其中k=t-“2×L”,L为从0开始的整数。
5.根据权利要求3所述的图像处理设备,其中,所述第一确定部件确定下述关注的像素位置为满足所述确定条件的所述特征位置,其中在所述关注的像素位置中,所述场组Gt的场对Pk和P(k-1)的相关性信息彼此相同,其中k=t-“2×L”,L为从0开始的整数。
6.根据权利要求2所述的图像处理设备,其中,所述场对相关性获取部件对于每一所述场对Pj的每一像素位置检测移动,以获取指示有无所述移动的移动参数,作为所述像素位置的所述相关性信息。
7.根据权利要求3所述的图像处理设备,其中,所述场对相关性获取部件对于每一所述场对Pj的每一像素位置检测移动,以获取指示有无所述移动的移动参数,作为所述像素位置的所述相关性信息。
8.根据权利要求4所述的图像处理设备,其中,所述场对相关性获取部件对于每一所述场对Pj的每一像素位置检测移动,以获取指示有无所述移动的移动参数,作为所述像素位置的所述相关性信息。
9.根据权利要求5所述的图像处理设备,其中,所述场对相关性获取部件对于每一所述场对Pj的每一像素位置检测移动,以获取指示有无所述移动的移动参数,作为所述像素位置的所述相关性信息。
10.根据权利要求6所述的图像处理设备,其中,所述场对相关性获取部件包括:
差计算器,其对于每一所述场对Pj计算形成所述场对Pj的两个场之间的差;以及
移动确定部件,其通过将其中由所述差计算器计算的所述差的绝对值等于或大于预定阈值的所述像素位置确定为“移动”,以及将其中所述差的所述绝对值小于所述阈值的所述像素位置确定为“不移动”,来取得每一像素位置的所述移动参数。
11.根据权利要求7所述的图像处理设备,其中,所述场对相关性获取部件包括:
差计算器,其对于每一所述场对Pj计算形成所述场对Pj的两个场之间的差;以及
移动确定部件,其通过将其中由所述差计算器计算的所述差的绝对值等于或大于预定阈值的所述像素位置确定为“移动”,以及将其中所述差的所述绝对值小于所述阈值的所述像素位置确定为“不移动”,来取得每一像素位置的所述移动参数。
12.根据权利要求8所述的图像处理设备,其中,所述场对相关性获取部件包括:
差计算器,其对于每一所述场对Pj计算形成所述场对Pj的两个场之间的差;以及
移动确定部件,其通过将其中由所述差计算器计算的所述差的绝对值等于或大于预定阈值的所述像素位置确定为“移动”,以及将其中所述差的所述绝对值小于所述阈值的所述像素位置确定为“不移动”,来取得每一像素位置的所述移动参数。
13.根据权利要求9所述的图像处理设备,其中,所述场对相关性获取部件包括:
差计算器,其对于每一所述场对Pj计算形成所述场对Pj的两个场之间的差;以及
移动确定部件,其通过将其中由所述差计算器计算的所述差的绝对值等于或大于预定阈值的所述像素位置确定为“移动”,以及将其中所述差的所述绝对值小于所述阈值的所述像素位置确定为“不移动”,来取得每一像素位置的所述移动参数。
CN2008101753949A 2007-11-12 2008-11-12 图像处理设备 Expired - Fee Related CN101437136B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-293535 2007-11-12
JP2007293535A JP5123643B2 (ja) 2007-11-12 2007-11-12 映像処理装置
JP2007293535 2007-11-12

Publications (2)

Publication Number Publication Date
CN101437136A true CN101437136A (zh) 2009-05-20
CN101437136B CN101437136B (zh) 2011-10-05

Family

ID=40139673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101753949A Expired - Fee Related CN101437136B (zh) 2007-11-12 2008-11-12 图像处理设备

Country Status (6)

Country Link
US (1) US8405767B2 (zh)
JP (1) JP5123643B2 (zh)
KR (1) KR101012621B1 (zh)
CN (1) CN101437136B (zh)
GB (1) GB2454595B (zh)
TW (1) TW200926808A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205807A (zh) * 2012-03-30 2014-12-10 索尼公司 图像处理设备、方法以及程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124193A (ja) * 2008-11-19 2010-06-03 Nec Electronics Corp 映像信号処理装置及び映像信号処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202907B2 (en) * 2002-04-09 2007-04-10 Zoran Corporation 2:2 and 3:2 pull-down detection techniques
KR100854091B1 (ko) 2002-07-13 2008-08-25 삼성전자주식회사 영상신호의 필름 모드 검출장치 및 방법
KR20050011067A (ko) * 2003-07-21 2005-01-29 삼성전자주식회사 2:2 풀다운 시퀀스 판별장치 및 그 방법
US7557861B2 (en) * 2004-01-30 2009-07-07 Broadcom Corporation Reverse pull-down video using corrective techniques
US7349029B1 (en) * 2005-01-19 2008-03-25 Kolorific, Inc. Method and apparatus for de-interlacing interlaced video fields originating from a progressive video source
KR20060088690A (ko) 2005-02-02 2006-08-07 엘지전자 주식회사 필름 모드 검출 방법의 2:2 풀다운 방법
CN100592780C (zh) * 2005-02-22 2010-02-24 恩益禧电子股份有限公司 下变换检测装置和下变换检测方法
JP4732068B2 (ja) * 2005-02-22 2011-07-27 ルネサスエレクトロニクス株式会社 プルダウン検出装置及びプルダウン検出方法
JP4703267B2 (ja) * 2005-05-31 2011-06-15 株式会社東芝 プルダウン信号検出装置、プルダウン信号検出方法、及び順次走査変換装置
JP4074306B2 (ja) * 2005-08-19 2008-04-09 株式会社東芝 2−2プルダウン信号検出装置及び2−2プルダウン信号検出方法
JP2007129400A (ja) * 2005-11-02 2007-05-24 Sharp Corp フィルムモード検出装置及び映像表示装置
JP2008035436A (ja) * 2006-07-31 2008-02-14 Fujitsu Ltd プルダウンシーケンス検出装置およびプルダウンシーケンス検出方法
JP4936857B2 (ja) * 2006-10-31 2012-05-23 株式会社東芝 プルダウン信号検出装置、プルダウン信号検出方法及び順次走査変換装置
US8115866B2 (en) * 2006-12-29 2012-02-14 Texas Instruments Incorporated Method for detecting film pulldown cadences

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205807A (zh) * 2012-03-30 2014-12-10 索尼公司 图像处理设备、方法以及程序
CN104205807B (zh) * 2012-03-30 2017-06-06 索尼公司 图像处理设备、方法以及程序

Also Published As

Publication number Publication date
US8405767B2 (en) 2013-03-26
KR20090049034A (ko) 2009-05-15
CN101437136B (zh) 2011-10-05
GB0820546D0 (en) 2008-12-17
JP2009124261A (ja) 2009-06-04
US20090122187A1 (en) 2009-05-14
KR101012621B1 (ko) 2011-02-09
TW200926808A (en) 2009-06-16
JP5123643B2 (ja) 2013-01-23
GB2454595A (en) 2009-05-13
GB2454595B (en) 2010-01-06

Similar Documents

Publication Publication Date Title
CN109803175B (zh) 视频处理方法及装置、设备、存储介质
CN101212593B (zh) 影像处理装置和包括该影像处理装置的影像显示装置
CN102461150B (zh) 用于视频图像序列中的运动估计的方法和设备
US7667778B2 (en) Image processing apparatus and method, and recording medium and program used therewith
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
CN102088589B (zh) 基于双向的局部和全局运动估计的帧率转换
CN101237553B (zh) 确定插值方法的程序、装置及方法
US20030098907A1 (en) Method and device for generating 3d images
CN103428460A (zh) 针对影像撷取模组记录输出视讯序列的录影方法以及录影装置
CN101572076B (zh) 帧速率变换设备和帧速率变换方法
US20060126942A1 (en) Method of and apparatus for retrieving movie image
CN101674448B (zh) 视频信号处理装置和视频信号处理方法
KR20060133764A (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
CN102123283B (zh) 视频帧率转换中的插值帧获取方法及其装置
CN103369208A (zh) 自适应去隔行方法及装置
Cetin et al. An adaptive true motion estimation algorithm for frame rate conversion of high definition video and its hardware implementations
CN101437136B (zh) 图像处理设备
US20120274845A1 (en) Image processing device and method, and program
WO2008081386A1 (en) Film cadence detection
CN101399950A (zh) 一种基于图像轮廓匹配的帧频加倍的方法
CN103279973A (zh) 基于混合并行的立体图像匹配系统
CN100407764C (zh) 图像场处理方法及相关图像场相似度检测装置
CN102811332B (zh) 影像信号处理装置以及方法
US9113140B2 (en) Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
JP2009124261A5 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111005

Termination date: 20131112