CN101860660A - 帧速率转换装置及帧速率转换方法 - Google Patents

帧速率转换装置及帧速率转换方法 Download PDF

Info

Publication number
CN101860660A
CN101860660A CN201010141949.5A CN201010141949A CN101860660A CN 101860660 A CN101860660 A CN 101860660A CN 201010141949 A CN201010141949 A CN 201010141949A CN 101860660 A CN101860660 A CN 101860660A
Authority
CN
China
Prior art keywords
frame
rate conversion
unit
motion
subframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010141949.5A
Other languages
English (en)
Other versions
CN101860660B (zh
Inventor
河井爱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101860660A publication Critical patent/CN101860660A/zh
Application granted granted Critical
Publication of CN101860660B publication Critical patent/CN101860660B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0266Reduction of sub-frame artefacts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/106Determination of movement vectors or equivalent parameters within the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本发明提供一种帧速率转换装置及帧速率转换方法。在将输入帧划分为多个子帧并执行帧速率转换时,帧速率转换装置检测所述输入帧中的由一个或更多个像素构成的各区域的运动度,并根据检测到的所述区域的运动度,确定所述多个子帧中的各区域的空间频率。然后,所述转换装置将所述多个子帧中的各区域转换为预定的空间频率,并将所述输入帧划分为区域已经被转换的子帧,并输出所述子帧。

Description

帧速率转换装置及帧速率转换方法
技术领域
本发明涉及用于对输入图像进行帧速率转换的帧速率转换装置及帧速率转换方法。
背景技术
按照显示设备的显示特性,显示设备大致分为两类,即脉冲型和保持型。这里所指的脉冲型显示设备是在单帧中具有短的光发射时间的显示设备,如图1A所示。另一方面,保持型显示设备是在单帧中保持几乎恒定的显示的、诸如液晶面板的显示设备,如图1B所示。
脉冲型显示设备的示例包括CRT(阴极射线管)显示器和场发射型显示器。脉冲型具有因为像素反复闪烁而易于引起诸如画面出现闪烁的闪变(flicker)的特性。由于在较高亮度(luminance)的情况下或者在较大画面区域中更容易检测到闪变,因此随着近来显示画面大小的增加,需要进一步改善脉冲型显示设备存在的闪变问题。
保持型显示设备的一个示例为LCD(液晶显示器)。因为像素照射时间长,所以保持型存在运动图像由于保持型的特性而产生运动模糊的问题。换言之,需要改善的问题在于降低的运动图像的视觉分辨率。
作为改善这种运动模糊的方法,提出了如下方法:向液晶面板添加光阀(optical shutter)机构,以限制显示光的持续时间,由此带来更接近于脉冲型显示设备的显示特性(例如参见日本特开平9-325715号公报)。
然而,上述方法(日本特开平9-325715号公报)存在因为显示特性更接近于像素反复闪烁的脉冲型,所以发生闪变的问题。
用于减少这种闪变的方法的一个示例为:通过利用任意因素将输入帧划分为多个子帧而增加显示的帧速率的方法。例如,将图2A所示的输入图像划分为图2B所示的两个子帧,使得显示的帧速率变为两倍,这提高了显示的时间频率,结果,使得更不可能检测到闪变。
然而,在观看这种显示时,如图3所示,在单帧时间期间,时间上在后的子帧偏离了视线跟踪,从而出现依赖视觉特性的伪轮廓。
为了减少这种伪轮廓,已知在帧速率转换时增加或减少划分的子帧的空间频率分量的技术(例如参见日本特开2002-351382号公报)。利用这种技术,降低时间上在后的子帧的高频分量,察觉的伪轮廓因此得以改善。
然而,利用上述技术(日本特开2002-351382号公报),存在边缘附近的边缘对比度(contrast)降低导致的浮动黑水平(floating black level)的问题,以及明显的运动边缘拖尾的问题。在上述技术(日本特开2002-351382号公报)中,当利用空间频率分离图像时,由低通滤波器或高通滤波器的滤波因数来确定分离频率。
图4A和图4B是例示低通滤波器的滤波因数与低通滤波器的输出之间的关系的图。图4A代表低通滤波器的滤波因数高的情况下的空间权重,图4B代表滤波因数低的情况下的空间权重。可以看出,在较高的滤波因数的情况下,距离处理的像素位置越远的像素值权重越大。
图5A至图5C是例示针对低通滤波器的滤波因数高的情况以及滤波因数低的情况、关于输入的输出的图。图5A代表输入。可以看出,与图5C所示的低滤波因数相比,图5B所示的高滤波因数导致更低的空间频率。
图6A和图6B是例示在应用上述技术(日本特开2002-351382号公报)的情况下显示输出的概要与在视觉上捕获的显示输出的外观之间的关系的图。参照图6A,发现在高边缘对比度区域中,图中的黑色填充区域的亮度增加,并且该区域显现浮动黑水平。问题在于,随着滤波因数的增大,这种浮动黑水平区域(例如图像劣化区域)的面积也增大。
另一方面,参照图6B,发现在运动区域的边缘部分出现边缘崩溃(breakup)。这种崩溃随着滤波因数的减小而扩大。
发明内容
本发明提供一种保持减少闪变、运动模糊、伪轮廓以及图像崩溃的效果的装置及方法。
根据本发明的一个方面,提供一种帧速率转换装置,其将输入帧划分为多个子帧并执行帧速率转换,该帧速率转换装置包括:检测单元,用于检测所述输入帧的运动度;生成单元,用于根据由所述检测单元检测到的所述运动度,生成在进行滤波时使用的滤波因数;滤波单元,用于基于由所述生成单元生成的所述滤波因数,对所述输入帧进行滤波;以及输出单元,用于将作为所述滤波单元进行滤波的结果而获得的帧划分为多个子帧,并输出所述子帧。
根据本发明的另一方面,提供一种帧速率转换装置,其将输入帧划分为多个子帧并执行帧速率转换,该帧速率转换装置包括:检测单元,用于检测所述输入帧的运动度;滤波单元,用于基于预定的不同的滤波因数,分别对所述输入帧进行滤波;计算单元,用于根据由所述检测单元检测到的所述运动度,计算针对由所述滤波单元使用所述不同的滤波因数分别进行了滤波的多个帧的合成比率;合成单元,用于基于由所述计算单元计算的所述合成比率,对所述滤波单元分别进行了滤波的所述多个帧进行合成;以及输出单元,用于将作为由所述合成单元进行合成的结果而获得的帧划分为多个子帧,并输出所述子帧。
根据本发明的又一方面,提供一种由帧速率转换装置执行的帧速率转换方法,所述帧速率转换装置将输入帧划分为多个子帧并执行帧速率转换,所述帧速率转换方法包括:检测步骤,检测所述输入帧的运动度;生成步骤,根据在所述检测步骤中检测到的所述运动度,生成滤波因数;滤波步骤,基于在所述生成步骤中生成的所述滤波因数,对所述输入帧进行滤波;以及输出步骤,将作为在所述滤波步骤中进行滤波的结果而获得的帧划分为多个子帧,并输出所述子帧。
根据本发明的又一方面,提供一种由帧速率转换装置执行的帧速率转换方法,所述帧速率转换装置将输入帧划分为多个子帧并执行帧速率转换,所述帧速率转换方法包括:检测步骤,检测所述输入帧的运动度;滤波步骤,基于预定的不同的滤波因数,分别对所述输入帧进行滤波;计算步骤,根据在所述检测步骤中检测到的所述运动度,计算针对在所述滤波步骤中分别进行了滤波的多个帧的合成比率;合成步骤,基于在所述计算步骤中计算的所述合成比率,对在所述滤波步骤中分别进行了滤波的所述多个帧进行合成;以及输出步骤,将作为在所述合成步骤中进行合成的结果而获得的帧划分为多个子帧,并输出所述子帧。
通过以下对示例性实施例的描述(参照附图),本发明的其他特征将变得清楚。
附图说明
图1A是例示脉冲型显示设备的显示特性的图,图1B是例示保持型显示设备的显示特性的图。
图2A是例示脉冲型的输入帧的图,图2B是例示将输入帧划分为两个子帧的情况的图。
图3是例示由于视觉特性而产生伪轮廓的示例的图。
图4A和图4B是例示低通滤波器的滤波因数与低通滤波器的输出之间的关系的图。
图5A至图5C是例示针对低通滤波器的滤波因数高的情况以及滤波因数低的情况、关于输入的输出的图。
图6A和图6B是例示在应用日本特开2002-351382号公报的技术的情况下显示输出的概要与在视觉上捕获的显示输出的外观之间的关系的图。
图7是例示根据第一实施例的帧速率转换装置的结构的示例的示意性框图。
图8是示出由运动区域检测单元703执行的处理的示例的流程图。
图9是例示帧间差分值D与运动度M之间的关系的示例的图。
图10是示出由滤波因数生成单元704执行的处理的示例的流程图。
图11是说明生成滤波因数映射的处理的图。
图12是例示滤波因数在子帧中的运动区域的端部改变的示例的图。
图13A和图13B是例示在静止区域与运动区域之间的边界发生图像崩溃的示例的图。
图14A和图14B是例示根据第一实施例的、针对滤波因数F改变的情况的输出的图。
图15是示出根据第一实施例的帧速率转换处理的流程图。
图16是示出根据变型例的、由运动区域检测单元执行的处理的流程图。
图17是例示运动度M为二值以外的情况的示例的图。
图18是示出运动区域检测单元对多个帧执行的处理的流程图。
图19是例示根据第二实施例的帧速率转换装置的结构的示例的示意性框图。
图20是示出根据第二实施例的帧速率转换处理的流程图。
图21是例示根据本发明的实施例的帧速率转换装置的硬件结构的图。
具体实施方式
下文中,参照附图详细说明本发明的优选实施例。
第一实施例
图7是例示根据第一实施例的帧速率转换装置的结构的示例的示意性框图。帧速率转换装置将输入图像(下文称作“输入帧”)划分为多个子帧,从而使输出帧速率倍增。通过根据帧间差分检测输入帧中的各区域的运动,然后将检测结果反映到子帧中的各区域的空间频率分量中,来划分输入帧。
注意,使用例如通过帧速率转换来使输入帧速率变为两倍的示例来描述本实施例。
帧速率转换装置对输入帧执行帧速率转换,从而减少闪变和运动模糊,进一步减少帧速率转换后的视频显示的崩溃。这里,闪变发生的频率与划分的子帧之间的对比度相关。类似地,运动模糊发生的频率与对比度相关。
具体地,闪变的发生取决于图7所示的子帧s704与s705之间的对比度。即,随着这些子帧之间的亮度差的增加,更可能发生闪变,而随着亮度差的减小,更不可能发生闪变。
注意,子帧s704在单帧时间期间的输出时间在后,而子帧s705在单帧时间期间的输出时间在前。
帧速率转换装置控制子帧s704和s705的各区域的空间频率。基于在帧之间检测到的各区域的运动与图像劣化之间的关系来执行该控制。
帧速率转换装置包括以下部件作为功能部件:帧存储器702、运动区域检测单元703、滤波因数生成单元704、低通滤波处理单元705、划分处理单元706、差分处理单元707以及切换单元708。
帧存储器702依次保持一个或更多个输入帧。运动区域检测单元703将存储在帧存储器702中的帧s701与输入帧s700进行比较,计算帧s701中的各区域的运动度M,并输出作为结果的运动映射Mmap作为s702。
图8是示出运动区域检测单元703执行的处理的示例的流程图。首先,运动区域检测单元703输入包括输入帧的多个帧(S801)。然后,针对各像素计算输入帧与在输入帧之前(例如紧接之前)输入的帧之间的差分(S802)。然后,根据差分值计算运动度M(S803)。然后,将作为结果的各区域的运动度M作为映射状(二维)数据Mmap输出(S804)。
注意,虽然本实施例描述了各区域代表单个像素的情况,但是各区域也可以是预定范围的多个像素(N×N个像素)。在各区域代表多个像素的情况下,可以将多个像素的平均值例如作为该区域的值来处理,从而以与各区域代表单个像素的情况相同的方式来对各区域进行处理。
图9是例示帧间差分值D与运动度M之间的关系的示例的图。如图9所示,随着帧间差分值D的增加,检测到的运动度M趋于增加。虽然本实施例描述了运动度M代表运动度的情况,但是其当然可以是相反的,例如是静止度。
运动区域检测单元703执行施加相对低的处理负荷的阈值处理,以计算从帧存储器702输出的帧s701中的各区域的运动度。具体地,如果帧间差分值比(预定)阈值d1低,则输出运动度m1,而如果帧间差分值不低于阈值d1,则输出运动度m2。对针对各区域计算的各帧间差分值执行该阈值处理,并且输出作为结果的映射状数据Mmap作为运动度。这里,假定运动度m2高于运动度m1。
然后,滤波因数生成单元704对输入的运动度映射Mmap执行滤波,并且将作为结果的s703作为滤波因数映射Fmap输出到低通滤波处理单元705。
图10是示出由滤波因数生成单元704执行的处理的示例的流程图。首先,滤波因数生成单元704输入运动度映射Mmap(S1001)。在运动度映射Mmap(图11中的11a所示)上,对被确定为静止区域的区域(具有低于d1的运动度M的区域)赋予运动度m1。此外,对被确定为运动区域的区域(具有高于d1的运动度M的区域)赋予运动度m2。水平轴表示像素位置。
然后,滤波因数生成单元704对运动度映射Mmap执行比较增加滤波(S1002)。在本示例中,将关注区域的运动度M的值与周边区域(预定范围的区域)的运动度M的值进行比较,以增加关注区域的运动度M的值。这是例如利用滤波范围内的最大值替换特定值的处理。结果,如图11中的11b所示,运动度映射Mmap上的运动度M的部分值增加。
然后,滤波因数生成单元704对比较增加滤波的结果执行平滑滤波,如图11中的11c所示,以使结果正规化(normalize)为在低通滤波处理单元705中使用的低通滤波因数(S1003)。然后,将正规化的滤波因数作为滤波因数映射Fmap输出到低通滤波处理单元705(S1004)。
输出的滤波因数映射Fmap给出通过低通滤波处理去除高频分量信号、然后将空间平滑的值正规化而获得的值,如图11中的11d所示。如果静止区域与运动区域邻接,则在静止区域中的直到静止区域与运动区域邻接的位置处的预定范围内,连续增加分配校正因数R的值,如图11中的11c所示。
以这种方式,根据本实施例的滤波因数生成单元704改变输入帧中的各区域的滤波因数映射Fmap。在进行该改变时,通过平滑滤波来平滑运动度映射Mmap,以在空间上平滑地改变分配校正因数R。
注意,在平滑滤波之前执行比较增加滤波的理由是:如果在不执行比较增加滤波的情况下生成滤波因数映射Fmap,则滤波因数将在子帧中的运动区域的端部改变,如图12所示。此外,在静止区域与运动区域之间的边界处将发生图像崩溃,如图13A所示。因此期望,如图13B所示,仅在静止区域内执行滤波因数为R的平滑处理,而不在运动区域中执行。
通过上述处理,将与适合各区域的低通滤波权重相对应的滤波因数作为Fmap输出到低通滤波处理单元705。
然后,低通滤波处理单元705基于从滤波因数生成单元704接收的滤波因数映射Fmap对输入帧s701执行低通滤波。在本示例中,通过与滤波因数映射Fmap相对应地、适当地改变低通滤波权重,来对各区域进行滤波,如图4A和图4B所示。
然后,划分处理单元706转换从低通滤波处理单元705获得的输出帧值,并输出子帧s704作为第一子帧。
然后,差分处理单元707基于存储在帧存储器702中的帧s701,生成并输出子帧s705作为第二子帧。例如,将帧s701与子帧s705之间的差分作为处理结果输出。在此情况下,输出子帧的和与帧s701一致。
在脉冲型显示设备的情况下,如果在任意时间内显示的信号的和保持相同,则由于视亮度(apparent luminance)看起来相当,因此能够在帧速率转换之前以及之后保持相同的亮度。
切换单元708交替地切换并输出子帧s704和子帧s705作为输出帧s706。
图14A和图14B是例示根据本实施例的滤波因数F改变的情况下的输出的图。例如,如上所述,将小运动区域的滤波因数F设置为低。因此,在单帧时间期间输出时间在后的子帧s704中,该区域的空间频率高。在此情况下,各子帧中的该区域的亮度由图14A中的波形表示。由于不太可能在这种小运动区域中生成伪轮廓,因此不需要降低空间频率。另外,可以看出:与图6A所示的情况相比,这种高空间频率削减了在低亮度边缘侧亮度增加的区域。
另一方面,如上所述,将大运动区域的滤波因数F设置为高。因此,在单帧时间期间输出时间在后的子帧s704中,该区域的空间频率低。在此情况下,各子帧中的该区域的亮度由图14B中的波形表示。可以看出:与图6B所示的情况相比,在时间上在后的子帧中的这种低空间频率减少了明显的图像崩溃。
如上所述,在脉冲型显示设备的情况下,由于子帧s705与s704之间的对比度而发生闪变。在保持型显示设备的情况下,如果对比度低,则在保持低对比度的同时控制空间频率。
因此,能够在保持减少闪变的效果的同时,减少伪轮廓以及诸如浮动黑水平的图像崩溃。
接着,参照图15来描述由图7所示的帧速率转换装置执行的处理。
图15是示出根据本实施例的帧速率转换处理的流程图。首先,在接收到输入帧s700(S1501)时,帧速率转换装置将该帧存储到帧存储器702中(S1502)。在存储该帧之后,帧速率转换装置利用运动区域检测单元703将输入帧s700与已经存储在帧存储器702中的帧进行比较。然后,帧速率转换装置计算已经存储在帧存储器702中的帧s701中的各区域的运动度M,并输出运动度映射Mmap(S1503)。
之后,帧速率转换装置利用滤波因数生成单元704,对在S1503中计算的运动度映射Mmap进行处理,并计算结果作为滤波因数映射Fmap(S1504)。在计算滤波因数映射Fmap之后,帧速率转换装置利用低通滤波处理单元705对存储在帧存储器702中的帧s701进行处理(S1505)。
然后,帧速率转换装置利用划分处理单元706,转换由低通滤波处理单元705处理的值,并生成子帧s704(S1506)。在生成子帧s704之后,帧速率转换装置利用差分处理单元707,根据帧s704与已经存储在帧存储器702中的帧s701之间的差分生成子帧s705。之后,帧速率转换装置利用切换单元708,交替地切换并输出子帧s704和子帧s705。在这之后,在每次将输入帧输入时,重复上述处理。
如上所述,根据本实施例,针对输入帧s700的图像中的各区域检测运动度,并依据检测结果来确定子帧(s704和s705)中的各区域的空间频率。这使得在保持减少闪变的效果的同时,减少伪轮廓和图像崩溃。
第二实施例
接着,描述第二实施例。在第一实施例中,针对输入帧中的各区域以多个水平改变低通滤波器的滤波因数。在第二实施例中,在几个水平(例如两个水平)之间切换滤波因数,通过对输入帧中的区域之间的边界处的那些结果进行线性组合来平滑地构成图像。
图19是例示根据第二实施例的帧速率转换装置的结构的示意性框图。与在第一实施例中相同,运动区域检测单元703针对输入的多个帧中的各像素计算帧间差分,并随着运动度M的增加设置更高的输出值。在滤波因数具有两个水平的情况下,输入与输出之间的关系可以如图9所示。在本实施例的情况下,将m1和m2设置为0到1的值。
合成比率生成单元1909对输入了0到1的值的运动度映射Mmap执行图10的流程图所示的处理。结果,在空间上加宽运动区域,并计算平滑后的合成比率因数映射Rmap。该映射Rmap与第一实施例中描述的映射Fmap不同,因为Rmap的输入值在0到1的范围内。
接着,描述第一低通滤波处理单元1910和第二低通滤波处理单元1911。这两个处理单元被构造为一个单元具有比另一个单元的滤波因数高的滤波因数。在此情况下,以二维表示的第一低通滤波处理单元1910的滤波因数如图4A所示,第二低通滤波处理单元1911的滤波因数如图4B所示。它们的输出结果分别如图5B和图5C所示。
根据合成比率因数映射Rmap,合成单元1912利用下面的等式1对来自第一低通滤波处理单元1910及第二低通滤波处理单元1911的输出执行计算,其中Dout是合成单元的输出,DL1是第一低通滤波处理单元的输出,DL2是第二低通滤波处理单元的输出,以及x是像素位置:
Dout=Rmap(x)×DL1(x)+Rmap(x)×DL2(x)
划分处理单元706、差分处理单元707以及切换单元708的操作与第一实施例描述的相同。
合成比率生成单元1909和合成单元1912使得能够生成具有依照运动区域而改变的滤波因数的子帧,并且这些子帧产生在空间上平滑的低通图像。
图20是示出根据第二实施例的帧速率转换处理的流程图。首先,在将输入帧s700输入(S2002)时,帧速率转换装置将该帧存储到帧存储器702中(S2003)。在存储该帧之后,帧速率转换装置利用运动区域检测单元703,将输入帧s700与已经存储在帧存储器702中的帧进行比较。然后,帧速率转换装置计算已经存储在帧存储器702中的帧s701中的各区域的运动度M,并输出运动度映射Mmap(S2004)。
之后,帧速率转换装置利用合成比率生成单元1909,对在S2004中计算的运动度映射Mmap进行处理,并计算处理结果作为合成比率因数映射Rmap(S2005)。在计算合成比率因数映射Rmap之后,帧速率转换装置利用第一低通滤波处理单元1910,对存储在帧存储器702中的帧s701进行处理(S2006)。帧速率转换装置还利用第二低通滤波处理单元1911,对存储在帧存储器702中的帧s701进行处理(S2007)。
然后,合成单元1912根据合成比率生成单元1909获得的结果S1903对来自第一低通滤波处理单元1910和第二低通滤波处理单元1911的作为结果的值进行合成(S2008)。然后,划分处理单元706利用等式1计算由合成单元1912获得的处理值,以生成子帧s704(S2009)。在生成子帧s704后,帧速率转换装置利用差分处理单元707,根据子帧s704与已经存储在帧存储器702中的帧s701之间的差分生成子帧s705。之后,帧速率转换装置利用切换单元708,交替地切换并输出子帧s704和子帧s705(S2011)。之后,在每次将输入帧输入时,重复上述处理。
根据本实施例,针对输入帧s700的图像中的各区域检测运动度,并且根据检测结果确定子帧(s704和s705)中的各区域的空间频率。这使得在保持减少闪变的效果的同时,减少伪轮廓和图像崩溃。
以上描述了本发明的代表性实施例的示例,但是本发明并不限于以上描述的并在图中示出的实施例,本发明可以在不背离其主旨的情况下适当地进行修改。
其他实施例
虽然使用获得帧间差分、并根据差分值与阈值之间的关系来计算输入帧的图像中的各区域的运动度M的示例,描述了根据本发明的实施例,但是本发明不限于此。例如,可以计算各区域的帧间向量,并且可以根据该向量的幅值来计算运动度M。
这里,参照图16对运动区域检测单元703执行的、计算各区域的帧间向量并根据该向量的幅值计算运动度M的处理进行描述。
图16是示出根据变型例的运动区域检测单元703执行的处理的流程图。首先,运动区域检测单元703输入包括输入帧的多个帧(S1601)。然后,根据输入帧以及在输入帧之前(例如紧接之前)输入的帧来计算帧间运动向量(S1602)。然后,根据运动向量计算运动度M(S 1603),并输出运动度M(S1604)。
注意,可以基于运动向量的幅值,以与参照图9描述的相同方式进行运动度M的计算。运动向量的使用提高了输入帧中的各区域的运动度的识别精度。
另外,虽然利用运动度M为二值(m1、m2)的示例对根据本发明的实施例进行了描述,但是本发明不限于此。例如,如图17所示,如果帧间差分D不低于阈值d2,则可以输出m2作为运动度M,而如果帧间差分D低于阈值d2,则可以输出m1到m2的值作为运动度M。这里,如果帧间差分D处于0到d2的范围内,则运动度M的输出值随着差分值的增加而单调地改变(增加)。这反映了运动幅值的连续性。这种方法当然可以在根据前述运动向量获得运动度M的情况下采用。
作为选择,在运动区域检测单元703根据输入的多个帧之间的差分值计算运动度M的情况下,可以根据通过对多个帧执行低通滤波而获得的低空间频率图像之间的差分值来计算运动度M。
图18是示出运动区域检测单元对多个帧执行的处理的流程图。首先,输入包括输入帧的多个帧(S1801),并且对多个帧执行低通滤波(S1802)。然后,计算低空间频率图像之间的差分值(S1803),根据差分值来计算运动度M(S1804),并输出运动度M(S1805)。
这反映了显示经历过在空间频率分离系统中执行的帧速率转换的子帧时的拖尾程度。
图21是例示根据本发明的实施例的帧速率转换装置的硬件结构的图。在本示例中,CPU 1901、ROM 1902、RAM 1903、硬盘1904、输入单元1905、输出单元1906以及通信I/F 1907连接到总线1909。CPU 1901根据存储在ROM 1902中的程序执行上述处理。RAM 1903是包括各种表以及CPU 1901执行处理使用的工作区的存储器。输入单元1905是诸如输入图像的照相机的设备。输出单元1906是诸如输出图像的显示设备的设备。通信I/F 1907控制与网络1908的数据通信。
还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备),来实现本发明的各方面;并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法,来实现本发明的各方面。为此,例如经由网络或从用作存储设备的各种类型的记录介质(例如计算机可读介质)将程序提供给计算机。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释,以使其涵盖所有这种变型、等同结构和功能。

Claims (8)

1.一种帧速率转换装置,其将输入帧划分为多个子帧并执行帧速率转换,该帧速率转换装置包括:
检测单元,用于检测所述输入帧的运动度;
生成单元,用于根据由所述检测单元检测到的所述运动度,生成在进行滤波时使用的滤波因数;
滤波单元,用于基于由所述生成单元生成的所述滤波因数,对所述输入帧进行滤波;以及
输出单元,用于将作为所述滤波单元进行滤波的结果而获得的帧划分为多个子帧,并输出所述子帧。
2.根据权利要求1所述的帧速率转换装置,其中,所述检测单元基于根据所述输入帧和在所述输入帧之前输入的帧计算的帧间差分值,检测所述输入帧的所述运动度。
3.根据权利要求1所述的帧速率转换装置,其中,所述生成单元根据所述输入帧的所述运动度,生成在控制所划分的子帧的空间频率过程中使用的滤波因数。
4.根据权利要求1所述的帧速率转换装置,其中,所述滤波单元是从所述输入帧中去除高频分量的低通滤波器。
5.根据权利要求1所述的帧速率转换装置,其中,所述输出单元包括:
划分处理单元,用于将作为所述滤波单元进行所述滤波的结果而获得的所述帧划分为第一子帧;
差分处理单元,用于根据所述第一子帧与所述输入帧之间的差分生成第二子帧;以及
切换单元,用于在所述第一子帧与所述第二子帧之间进行切换,并在单帧时间期间输出所述第一子帧与所述第二子帧中的一个。
6.一种帧速率转换装置,其将输入帧划分为多个子帧并执行帧速率转换,该帧速率转换装置包括:
检测单元,用于检测所述输入帧的运动度;
滤波单元,用于基于预定的不同的滤波因数,分别对所述输入帧进行滤波;
计算单元,用于根据由所述检测单元检测到的所述运动度,计算针对由所述滤波单元使用所述不同的滤波因数分别进行了滤波的多个帧的合成比率;
合成单元,用于基于由所述计算单元计算的所述合成比率,对所述滤波单元分别进行了滤波的所述多个帧进行合成;以及
输出单元,用于将作为由所述合成单元进行合成的结果而获得的帧划分为多个子帧,并输出所述子帧。
7.一种由帧速率转换装置执行的帧速率转换方法,所述帧速率转换装置将输入帧划分为多个子帧并执行帧速率转换,所述帧速率转换方法包括:
检测步骤,检测所述输入帧的运动度;
生成步骤,根据在所述检测步骤中检测到的所述运动度,生成滤波因数;
滤波步骤,基于在所述生成步骤中生成的所述滤波因数,对所述输入帧进行滤波;以及
输出步骤,将作为在所述滤波步骤中进行滤波的结果而获得的帧划分为多个子帧,并输出所述子帧。
8.一种由帧速率转换装置执行的帧速率转换方法,所述帧速率转换装置将输入帧划分为多个子帧并执行帧速率转换,所述帧速率转换方法包括:
检测步骤,检测所述输入帧的运动度;
滤波步骤,基于预定的不同的滤波因数,分别对所述输入帧进行滤波;
计算步骤,根据在所述检测步骤中检测到的所述运动度,计算针对在所述滤波步骤中分别进行了滤波的多个帧的合成比率;
合成步骤,基于在所述计算步骤中计算的所述合成比率,对在所述滤波步骤中分别进行了滤波的所述多个帧进行合成;以及
输出步骤,将作为在所述合成步骤中进行合成的结果而获得的帧划分为多个子帧,并输出所述子帧。
CN201010141949.5A 2009-04-09 2010-04-06 帧速率转换装置及帧速率转换方法 Expired - Fee Related CN101860660B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-095163 2009-04-09
JP2009095163A JP5319372B2 (ja) 2009-04-09 2009-04-09 フレームレート変換装置及びフレームレート変換方法

Publications (2)

Publication Number Publication Date
CN101860660A true CN101860660A (zh) 2010-10-13
CN101860660B CN101860660B (zh) 2012-07-18

Family

ID=42934086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010141949.5A Expired - Fee Related CN101860660B (zh) 2009-04-09 2010-04-06 帧速率转换装置及帧速率转换方法

Country Status (4)

Country Link
US (1) US8462267B2 (zh)
JP (1) JP5319372B2 (zh)
KR (1) KR101258473B1 (zh)
CN (1) CN101860660B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554353A (zh) * 2022-02-24 2022-05-27 北京小米移动软件有限公司 音频处理方法、装置、设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5473373B2 (ja) * 2009-04-01 2014-04-16 キヤノン株式会社 画像処理装置、画像処理方法
JP5324391B2 (ja) * 2009-10-22 2013-10-23 キヤノン株式会社 画像処理装置およびその制御方法
US8643776B2 (en) * 2009-11-30 2014-02-04 Mediatek Inc. Video processing method capable of performing predetermined data processing operation upon output of frame rate conversion with reduced storage device bandwidth usage and related video processing apparatus thereof
DE102012219627A1 (de) 2012-10-26 2014-04-30 Robert Bosch Gmbh Verfahren und Anordnung zum Anpassen einer Zeilenfrequenz eines Digitalsignals einer Projektoreinrichtung
KR20150054195A (ko) * 2013-11-11 2015-05-20 삼성전자주식회사 영상신호의 노이즈 제거 방법과 이를 이용한 영상표시장치
JP6218575B2 (ja) * 2013-11-27 2017-10-25 キヤノン株式会社 画像処理装置及びその制御方法
JP6541326B2 (ja) * 2014-10-20 2019-07-10 キヤノン株式会社 画像処理装置及びその制御方法、画像表示装置、コンピュータプログラム
TWI562127B (en) * 2015-11-30 2016-12-11 Au Optronics Corp Displaying method and displaying device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631706A (en) * 1995-06-07 1997-05-20 Mitsubishi Consumer Electronics America, Inc. Converter and method for converting video signals of interlace format to video signals of progressive format
JP2002351382A (ja) * 2001-03-22 2002-12-06 Victor Co Of Japan Ltd ディスプレイ装置
CN1656528A (zh) * 2002-05-28 2005-08-17 皇家飞利浦电子股份有限公司 在变化的占空度中减少运动模糊
CN101365054A (zh) * 2007-08-08 2009-02-11 佳能株式会社 图像处理设备及其控制方法
CN101365053A (zh) * 2007-08-08 2009-02-11 佳能株式会社 图像处理设备及控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3314556B2 (ja) * 1994-10-28 2002-08-12 松下電器産業株式会社 画像表示装置
JPH09325715A (ja) 1996-06-06 1997-12-16 Nippon Hoso Kyokai <Nhk> 画像ディスプレイ
KR100726322B1 (ko) * 1999-04-12 2007-06-11 마츠시타 덴끼 산교 가부시키가이샤 영상 표시장치
KR100716340B1 (ko) * 2002-04-24 2007-05-11 마츠시타 덴끼 산교 가부시키가이샤 화상 표시 장치
JP4765261B2 (ja) * 2004-04-22 2011-09-07 パナソニック株式会社 画像表示方法および画像表示装置
KR100769195B1 (ko) * 2006-02-09 2007-10-23 엘지.필립스 엘시디 주식회사 액정 표시장치의 구동장치 및 구동방법
JP2008261984A (ja) * 2007-04-11 2008-10-30 Hitachi Ltd 画像処理方法及びこれを用いた画像表示装置
JP4231539B2 (ja) * 2007-12-13 2009-03-04 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP5306061B2 (ja) * 2009-06-01 2013-10-02 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631706A (en) * 1995-06-07 1997-05-20 Mitsubishi Consumer Electronics America, Inc. Converter and method for converting video signals of interlace format to video signals of progressive format
JP2002351382A (ja) * 2001-03-22 2002-12-06 Victor Co Of Japan Ltd ディスプレイ装置
CN1656528A (zh) * 2002-05-28 2005-08-17 皇家飞利浦电子股份有限公司 在变化的占空度中减少运动模糊
CN101365054A (zh) * 2007-08-08 2009-02-11 佳能株式会社 图像处理设备及其控制方法
CN101365053A (zh) * 2007-08-08 2009-02-11 佳能株式会社 图像处理设备及控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114554353A (zh) * 2022-02-24 2022-05-27 北京小米移动软件有限公司 音频处理方法、装置、设备及存储介质
CN114554353B (zh) * 2022-02-24 2024-01-16 北京小米移动软件有限公司 音频处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP5319372B2 (ja) 2013-10-16
KR20100112526A (ko) 2010-10-19
US8462267B2 (en) 2013-06-11
CN101860660B (zh) 2012-07-18
KR101258473B1 (ko) 2013-04-26
US20100259675A1 (en) 2010-10-14
JP2010246035A (ja) 2010-10-28

Similar Documents

Publication Publication Date Title
CN101860660B (zh) 帧速率转换装置及帧速率转换方法
US7728909B2 (en) Method and system for estimating motion and compensating for perceived motion blur in digital video
CN101803363B (zh) 用于视频图像数据中的基于行的运动估计的方法和装置
CN101589614B (zh) 图像显示装置及方法、图像处理装置及方法
CN101663885B (zh) 图像处理装置及方法、图像显示装置及方法
US8213504B2 (en) Image display apparatus, video signal processor, and video signal processing method
US7561621B2 (en) Method of searching for motion vector, method of generating frame interpolation image and display system
US8941778B2 (en) Video display apparatus
US20050129306A1 (en) Method and apparatus for image deinterlacing using neural networks
JP2006133752A (ja) ディスプレイ装置
US20120081419A1 (en) Image display apparatus and control method thereof
KR20050065298A (ko) 움직임 보상된 프레임 비율 전환
KR20050065297A (ko) 일시적 움직임 벡터 필터링
WO2008038419A1 (fr) Périphérique et procédé d&#39;affichage et de traitement d&#39;image
CN101600061A (zh) 视频运动自适应去隔行的方法及装置
EP2503539B1 (en) Liquid crystal display apparatus
CN101536508A (zh) 图像显示装置及方法、图像处理装置及方法
US8704843B2 (en) Image processing apparatus and image processing method
CN103227889B (zh) 图像信号处理装置、图像信号处理方法、图像显示装置、电视接收机、电子设备
EP1766970A1 (en) Method and apparatus for deinterlacing interleaved video
CN103369208A (zh) 自适应去隔行方法及装置
US9552623B1 (en) Variable frame rate interpolation
CN101572076A (zh) 帧速率变换设备和帧速率变换方法
US20080239144A1 (en) Frame rate conversion device and image display apparatus
CN104202555A (zh) 去隔行方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120718

Termination date: 20210406

CF01 Termination of patent right due to non-payment of annual fee