CN109982021B - 帧速率检测方法和帧速率转换方法 - Google Patents

帧速率检测方法和帧速率转换方法 Download PDF

Info

Publication number
CN109982021B
CN109982021B CN201811494081.XA CN201811494081A CN109982021B CN 109982021 B CN109982021 B CN 109982021B CN 201811494081 A CN201811494081 A CN 201811494081A CN 109982021 B CN109982021 B CN 109982021B
Authority
CN
China
Prior art keywords
frame rate
frames
frame
source
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811494081.XA
Other languages
English (en)
Other versions
CN109982021A (zh
Inventor
李在宪
金大显
金兑珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anapass Inc
Original Assignee
Anapass Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170180662A external-priority patent/KR101893204B1/ko
Priority claimed from KR1020170180665A external-priority patent/KR101852967B1/ko
Application filed by Anapass Inc filed Critical Anapass Inc
Priority to CN202011246853.5A priority Critical patent/CN112437241B/zh
Publication of CN109982021A publication Critical patent/CN109982021A/zh
Application granted granted Critical
Publication of CN109982021B publication Critical patent/CN109982021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

根据本实施方式的检测源的帧速率的方法包括以下步骤:(a)对具有预定长度的窗口中的初始帧的数目进行计数,其中源的帧以输入帧速率重复和输入;以及(b)使用预定长度与数目之间的比值计算输入帧速率。

Description

帧速率检测方法和帧速率转换方法
相关申请的交叉引用
本申请要求于2017年12月27日提交的第2017-0180662号韩国专利申请和于2017年12月27日提交的第2017-0180665号韩国专利申请的优先权和权益,该韩国专利申请的公开内容通过引用以其整体并入本文。
技术领域
本发明涉及帧速率检测方法和帧速率转换方法。
背景技术
帧速率转换(FRC)或运动补偿帧插值(MCFI)是目前包括数字TV的显示装置的重要功能,并且具有消除运动模糊和运动抖动的目的。运动模糊是由低源帧速度或液晶显示器(LCD)的采样和保持特性引起的,并可通过执行MCFI并增加刷新帧速率来消除。运动抖动是由将影片等的源帧速率转换成显示装置的帧速率的过程引起的,并可通过检测源帧速率、执行MCFI等来消除。
随着内容消费模式逐渐扩展并从TV广播变成流式传输,图像质量的范围和源的格式也被极大地多样化。从帧速率转换(FRC)的角度来看,存在具有50Hz、30Hz、24Hz、12Hz、8Hz等以及60Hz的各种帧速率的内容。为了输出具有预定帧速率(例如,60Hz)的内容,必须以预定帧速率转换源内容。
作为示例,重复执行这样一种模式以使得具有24Hz的帧速率的源以60Hz的帧速率进行转换:在该模式中,在源的两个相邻帧之间重复插入初始帧两次并在其中重复插入第二帧。然而,由于在转换过程期间没有以等距间隔重复设置最初以等距间隔设置在源中的帧,因而,在所转换的帧在没有改变的情况下被显示时出现运动不平滑的抖动。
显示装置检测源的帧速率并消除重复插入的帧以消除抖动。然后,显示装置使用未被重复的帧执行运动估计(ME)和运动补偿(MC),以执行MCFI。
发明内容
在现有技术中,通过检测输入帧中的重复模式并在预定义模式中搜索最佳匹配模式来识别源的帧速率。作为示例,当重复任一帧重复三次而下一帧重复两次的模式时,源的帧速率被识别为24Hz。在重复模式与预定义模式不匹配的情况下,源帧速率被指定为60Hz。在识别出源的帧速率之后,硬件被控制成与所识别的源帧速率对应,以在多个帧速率转换场景中执行运动补偿帧插值(MCFI)。
根据现有的源帧速率检测方法,当一个源中的帧速率相互转换成各种帧速率时,输出帧速率突然被改变。另外,当输入帧中存在数字噪声或编辑不良时,即使没有改变帧速率也可能发生突然改变。在这种情况下,由于没有匹配的模式,帧速率被改变为60Hz(60Hz是作为搜索结果的默认值),由于错误的或粗略的运动估计(ME)、运动补偿(MC)和MCFI,抖动可能仍存在于屏幕上,或者可能变得更糟。
另外,根据现有技术的帧速率转换方法通过在根据源帧速率预先确定的ME、MC和MCFI场景中选择与检测到的帧速率对应的场景来执行。相应地,在现有技术中,由于必须准备与现存的源内容的帧速率对应的所有场景且必须转换帧速率,因而会在硬件和软件方面产生负荷。
本发明主要涉及减少根据现有技术的帧速率检测方法和帧速率转换方法的缺点。
本发明的第一方面提供了检测源的帧速率的方法,包括以下步骤: (a)对具有预定长度的窗口中的初始帧的数目进行计数,其中源的帧以输入帧速率重复和输入;以及(b)使用预定长度与数目之间的比值计算输入帧速率。
本发明的第二方面提供了检测源的帧速率的方法,包括以下步骤: (a)接收以输入帧速率(T)提供的源的帧;(b)将帧提供给具有预定长度(k)的窗口,以检测被包括在长度(k)内的初始帧的数目n,以及(c)将除以长度的输入帧速率(T/k)与初始帧的数目(n)相乘。
附图说明
通过参考附图详细描述本发明的示例性实施方式,本发明的以上和其它目的、特征和有益效果将对本领域普通技术人员变得更加显而易见,在附图中:
图1是示出了根据本实施方式的检测源的帧速率的方法的概述的流程图;
图2是用于描述本实施方式的在以60Hz的输入帧速率接收帧速率为24Hz的源的情况下的操作的视图;
图3是示出了在以60Hz的输入帧速率提供帧速率为30Hz的源的情况下,使用具有五帧长度的窗口获取源的帧速率的过程的视图;
图4和图5是示出了对噪声具有鲁棒性的帧速率计算方法的概述的框图;
图6是示出了本实施方式在以60Hz的输入帧速率提供源帧速率为24Hz的帧的情况下的操作的概述的视图;
图7是示出了根据本实施方式的帧速率转换方法的概述的流程图;
图8是具体地示出了从添加了输入时间戳的初始帧形成输出帧的操作的流程图;
图9是用于描述从母帧形成输出帧的操作的示意图;
图10是用于描述根据本实施方式的帧速率转换方法的示意图;
图11是用于描述执行运动补偿以形成新帧的过程的视图;
图12和图13是用于描述根据本实施方式的帧速率转换方法的另一示例的示意图,在该示例中,将帧速率为24Hz的源以60Hz的帧速率向上转换;
图14a 至图14l 是示出了经由根据本实施方式的帧检测方法检测源的帧速率并经由根据本实施方式的帧速率转换方法将帧速率转换成目标帧速率的实验结果的曲线图;以及
图15是示出了噪声等引起的误差干预将帧速率为60Hz的源以 24Hz的帧速率进行转换的过程的情况的结果的曲线图。
具体实施方式
然而,这些具体实施方式是作为本发明的示例性示例而被提供,并且在任何方面均不对本发明的范围进行限制。虽然本发明允许具有多种修改和代替形式,但是本发明的具体实施方式通过示例的方式在附图中示出并将在本文中对其进行详细描述。然而,应理解的是,这并不旨在将本发明限制于所公开的特定形式,而是相反地,本发明将覆盖落入本发明的精神和范围内的所有修改、等同和替代。
同时,说明书中描述的措辞应理解如下。
本文中使用的术语仅出于描述特定实施方式的目的,而不旨在限制本发明。如本文中所使用的,除非上下文明确地另有说明,否则单数形式“一(a)”、“一(a)”和“该(the)”旨在也包括复数形式。还将理解的是,当在本文中使用措辞“包含”、“包含有”、“包括”和/或“包括有”时,表示所陈述的特征、整体、步骤、操作、元件、部件和/或其组合的存在,但不排除一个或多个其它特征、整体、步骤、操作、元件、部件和/或其组合的存在或添加。
除非上下文明确指示为特定顺序,否则可以通过与所描述的顺序不同的顺序来执行操作。即,可以以所描述的顺序、大致同时地或以与所描述的顺序相反的顺序来执行操作。
为了便于描述和易于理解,附图中所示出的在本发明所描述的实施方式中涉及的部件的尺寸、高度、厚度等被有意夸大,并且不是成比例地放大或缩小。另外,附图中示出的某些部件可以有意以放大的方式示出,以及其它部件可以有意以缩小的方式示出。
除非另外限定,否则本文中使用的所有措辞具有与本发明所属领域的技术人员的通常理解相同的含义。还将理解的是,诸如在常用词典中定义的那些措辞的措辞应被解释为具有与其在相关领域的上下文中的含义一致的含义,并且不应以理想化或过度正式的含义进行解释,除非本文明确如此定义。
在本实施方式的描述中的帧表示从隔行扫描的图像(interlaced image)进行去隔行的图像帧或逐行图像帧。另外,在附图中,添加到帧的诸如A、B等的字符是帧的描述符,并且用于描述帧的重复模式。
帧速率检测方法
在下文中,将参考附图描述根据本实施方式的检测源的帧速率的方法。图1是示出了根据本实施方式的检测源的帧速率的方法的概述的流程图。参考图1,根据本实施方式的帧速率检测方法通过以下步骤检测源的帧速率:(a)当以输入帧速率重复输入源的帧时,对具有预定长度的窗口中的初始帧的数目(NOF)进行计数(S100);以及(b) 使用窗口的长度k与NOF之间的比值计算输入帧速率(S200)。
图2是用于描述本实施方式在以60Hz的输入帧速率接收帧速率为24Hz的源的情况下的操作的视图。参考图2,针对顺序输入的帧形成帧差序列(FDS)。在一个实施方式中,当后续输入帧与紧接在前的帧不同时,将其指定为1,并且当后续输入帧与紧接在前的帧相同时,将其指定为0,以形成FDS。
帧A因与紧接在前的帧不同而可被表示为1,并且接下来的两帧因与帧A相同而可被表示为0。下一帧B因与紧接在前的帧不同而可被表示为1。下一帧因与紧接在前的帧相同而可被表示为0。在一个实施方式中,在FDS中表示为1的帧可被存储在缓冲器中。
检查具有预定长度k的窗口w中的NOF(S100)。由于与FDS中 1被指定给与紧接在前的帧不同的当前帧,而0被指定给与紧接在前的帧相同的当前帧,因此可通过对在窗口w中指定为1的帧的数目进行计数来确定窗口w中所包括的NOF。如图2中所示,在窗口w移位时确定窗口中所包括的NOF。
在一个实施方式中,可从FDS确定初始帧在其中重复的单元。根据图2中示出的实施方式,可表明[10010]周期性地重复,这意味着两个初始帧被重复以使得一个重复三次而另一个重复两次,并且五个帧的重复单元周期性地重复。
根据所检测的NOF和窗口的长度计算帧速率。在图2中示出的实施方式中,窗口长度k是五帧,且窗口w包括两个初始帧。在这种情况下,可通过使用下列式1使用窗口长度k与NOF之间的比值计算输入帧速率来获取源帧速率F。
[式1]
k:n=T:F
(k:窗口长度,n:NOF,T:输入帧速率,F:源的帧速率)
在式2中关于源的帧速率F重新排列式1,式2如下。
[式2]
Figure BDA0001896411950000061
(k:窗口长度,n:NOF,T:输入帧速率,F:源的帧速率)
即,可通过使用式1使用窗口长度与窗口中的NOF之间的比值计算输入帧速率,或者如式2中所示通过输入帧速率T除以窗口长度并将除法结果乘以NOF来获取源的帧速率F。
在计算时,源的帧速率F是24Hz,并在窗口w移位时计算源的帧速率以收敛至相同的值。所计算的源的帧速率与所提供的源的帧速率相同。
图3是示出了在以60Hz的输入帧速率提供帧速率为30Hz的源的情况下,使用长度为五帧的窗口来获取源的帧速率的过程的视图。参考图3,针对顺序提供的帧形成FDS。在示出的实施方式中,[10]在 FDS中重复,并且重复单元包括两个帧。当重复单元较短时,可能错误地确定重复单元。相应地,在这种情况下可将重复单元确定为四帧,以防止重复单元出错。
使用长度为五帧的窗口来获取窗口w中的NOF n。在图3中示出的实施方式中,随着窗口w的移位,窗口w中的NOF n在3与2之间振荡。
当NOF为3时,使用式2将源的帧速率计算为F=3*(60/5)=36。另外,当窗口移位使得NOF为2时,源的帧速率计算为F=2*(60/5) =24。当窗口w移位时,所计算的源的帧速率在36与24之间振荡。然而,当选择振荡值的平均值作为帧速率时,帧速率计算为30Hz,并与所提供的源的帧速率相同。
在一个实施方式中,可使用与帧的重复单位的整数倍对应的帧的数目来执行平均值的计算。作为另一实施方式,可使用顺序提供的帧的预定数目来执行平均值的计算。当用于计算算术平均的帧的数目是重复单位的整数倍或帧的数目增加时,所计算的帧速率的准确性增加。另外,随着帧的数目的增加,实现了抗噪声的鲁棒性。
图4和图5是示出了对噪声具有鲁棒性的帧速率计算方法的概述的框图。参考图4,使用窗口长度为i、j、k、l、m和n的窗口从FDS 获取窗口中计数器i的NOF、计数器j的NOF、计数器k的NOF、计数器l的NOF、计数器m的NOF以及计数器n的NOF。
在一个实施方式中,可确定窗口长度以与当前使用的帧转换方案对应。表1示出了当前使用的帧重复方案的一部分。参考下表1,当前使用的帧转换方案根据相应的重复模式插入帧速率为8Hz、12Hz、 24Hz、25Hz、30Hz、50Hz等的源以转换成输入帧速率(60Hz)。根据重复方案的帧的重复单元为4、5、6、10、12和15帧。在一个实施方式中,用于计算帧速率的窗口长度i、j、k、l、m和n可被确定成与重复单元对应。
[表1]
源帧速率 重复模式 重复单元(帧)
8Hz AAAAAAAABBBBBBB 15
12Hz AAAAAABBBB 10
12Hz AAAAABBBBB 10
24Hz AABBCCDDDD 10
24Hz AABBBCCCDD 10
24Hz AAABB 5
25Hz AAABBCCCDDEE 12
30Hz AABB 4
50Hz ABCDEE 6
窗口中的NOF乘以与窗口长度对应的值。当窗口长度为i且输入帧速率为T Hz时,NOF如式2中所示乘以T/i。作为示例,当窗口长度为4且输入帧速率为60Hz时,15(=60/4)乘以窗口中的NOF,以计算帧速率(参见式2)。在具有不同长度的窗口中所计算的帧速率 FRi、FRj、FRk、FR1、FRm和FRn相加以计算算术平均值。当根据所示实施方式使用具有不同长度的多个窗口计算帧速率FR1时,由于可减少因噪声导致的误算的影响,因而可降低帧速率计算中的噪声敏感性。
参考图5,对使用多个长度i、j、k、l、m和n在前一阶段处计算的帧速率FR1执行时间平均值计算AVGi、AVGj、AVGk、AVG1、AVGm和AVGn。长度表示用于时间平均值计算的帧速率FR1的数目,并且当长度为6时,对最新已顺序提供的六个帧速率FR1执行时间平均值计算。
作为示例,时间平均值计算的长度可以与用于对NOF进行计数的窗口的长度相同。作为另一示例,时间平均值计算的长度可与用于对 NOF进行计数的窗口的长度的整数倍对应。
对在先前阶段处提供的帧速率FR1执行时间平均值计算,其计算结果乘以权重wi、wj、wk、wl、wm和wn,并将计算结果相加以计算加权平均。在一个实施方式中,权重可以是整数,并且当帧速率FR1 的时间平均值收敛时,权重可以增加1直到权重达到时间平均值计算的长度。另外,当帧速率FR1的时间平均值不收敛时,权重可以减小 1直到权重达到0。在一个实施方式中,当时间平均值计算的长度是5 时,权重可处于0至5的范围内。当计算的时间平均值收敛到预定值时,权重可以增加,而当计算的时间平均值振荡或发散时,权重可以减小。
图6是示出了本实施方式在以60Hz的输入帧速率提供源帧速率为24Hz的帧的情况下的操作的概述的视图。示出的实施方式使用长度为4、5、6、10、12和15的窗口以及具有相同长度的平均值计算器来执行计算。参考图6,从顺序提供的帧获取FDS。由于在FDS中重复[10010],因而重复单元为5帧,并且如以粗体示出的,可以看出从具有与5的倍数对应的长度的窗口获得的NOF收敛。
将NOF乘以与窗口的长度对应的值,并将其相加以计算算术平均值。当窗口长度为4且输入帧速率为60Hz时,窗口中的NOF乘以 15(=60/4),当窗口长度为5时NOF乘以20(=60/5),当窗口长度为 6时NOF乘以10(=60/6),当窗口长度为10时NOF乘以6(=60/10),当窗口长度为12时NOF乘以5(=60/12),以及当窗口长度为5时NOF 乘以4(=60/15,参见式2)。将计算的值相加以计算帧速率的算术平均值FR1。
使用不同长度对帧速率算术平均值FR1执行时间平均值计算,并且将计算结果乘以权重wi、wj、wk、wl、wm和wn的计算值相加以计算加权平均值。
当时间平均值发散或振荡时,权重减小1,并且其最小值为0。另外,当时间平均值收敛时权重增加1,并且其最大值为通过其来计算时间平均值的长度。当计算的结果收敛时,相应的计算结果以较高的权重参与帧速率计算,并且防止不收敛的值以较高的权重参与帧速率计算。
如图6中所示,可以看出,经由第二阶段计算的帧速率FR2随着时间流逝收敛到24Hz,该24Hz为源的帧速率。
帧速率转换方法
在下文中,将参考附图对根据本实施方式的帧速率转换方法进行描述。图7是示出了根据本实施方式的帧速率转换方法的概述的流程图。参考图7,根据本实施方式的帧速率转换方法包括:检测作为输入提供的源帧的源帧速率(S150);将与检测到的帧速率对应的时间戳附加至作为输入提供的帧中的初始帧并存储所检测到的具有附加的时间戳的帧速率(S250);在时间戳处形成输出帧,该输出帧必须从附加有时间戳且被存储的初始帧输出(S350)。
时间戳表示设置帧时的时间刻度。在一个实施方式中,当用时间戳表示从0秒到1秒的间隔时,时间戳可用0秒处的L表示,并且在 1秒之后,时间戳可再次用0秒处的L表示(时间戳的周期为L)。作为示例,当源帧速率是60Hz时,任何两个相邻帧可设置在0秒和1/60秒处,并且这两个相邻帧可由0和L/60的时间戳表示。
在一个实施方式中,时间戳可以是诸如8Hz、12Hz、24Hz、30Hz、 50Hz、60Hz和120Hz的通常使用的帧速率的公倍数,并可用目前使用或将在不久的将来使用的帧速率(为整数)来表示源帧之间的间隔。
在另一实施方式中,可具有随机数量的帧,并且这些帧可以不通过诸如8Hz、12Hz、24Hz、30Hz、50Hz、60Hz或120Hz的通常使用的帧速率进行划分。在帧未通过帧速率划分的情况下,可通过执行舍入计算(round-up calculation)来获取定位这些帧时的时间戳。
在一个实施方式中,下一时间戳的周期L可以是90,000,9000为通常使用的帧速率的公倍数。在另一实施方式中,与从0秒至1秒的间隔对应的时间戳可以是0至90,000的整数倍,并且下一时间戳再次从0开始。然而,这是为了便于数学计算而不是为了限制本发明的范围。
[表2]
源的帧速率 时间戳间隔
8Hz 11250
12Hz 7500
24Hz 3750
25Hz 3600
30Hz 3000
50Hz 1800
60Hz 1500
120Hz 750
表2示出了与所示帧速率对应的帧的时间戳间隔。如表2中所示,具有预定帧速率的帧以整数表示的时间戳间隔隔开。作为示例,帧速率为60Hz的帧以1/60秒隔开。当帧速率为60Hz的帧用时间戳间隔表示时,帧可表示为以1500的时间戳隔开。作为另一示例,帧速率为 24Hz的帧以1/24秒的间隔隔开。当帧速率为24Hz的帧用时间戳间隔表示时,帧可以表示为以3750的时间戳隔开。在一个实施方式中,附加至输入帧的输入时间戳和附加至待输出的输出帧的输出时间戳可通过下列式3计算。
[式3]
Figure BDA0001896411950000111
Figure BDA0001896411950000112
(fn:检测到的源的帧速率,fo:输出帧速率,L:时间戳周期, its:输入时间戳,ots:输出时间戳)
根据上述实施方式来检测顺序输入的帧的帧速率。为了消除重复提供的帧,利用与检测到的源的帧速率对应的时间戳将在FDS中表示为1的帧存储在缓冲器中(S250)。
图8是示出了操作(S350)的更详细的流程图,在该操作(S350) 中,从添加有输入时间戳的初始帧形成输出帧。图9是用于描述从母帧Fk和Fk+1形成输出帧的操作的示意图。参考图8和图9,选择用于形成内插的输出帧的母帧Fk和Fk+1(S352)。在一个实施方式中,可将存储于缓冲器中的帧之中的输出帧中的、具有插入其间的时间戳的两个相邻帧选择为母帧Fk和Fk+1。作为示例,母帧Fk和Fk+1是在FDS 中表示为1的帧的具有插入其间的输出时间戳的相邻帧。
从母帧Fk和Fk+1获取运动矢量(MV),并使用时间戳获取运动补偿率α(S354)。可通过对母帧Fk和Fk+1中的运动对象O执行运动估计(ME)来获取MV。可使用时间戳通过下列式4获取运动补偿比。
[式4]
Figure BDA0001896411950000113
使用通过执行ME和运动补偿获取的MV和运动补偿率在输出时间戳处形成内插帧(FMC)(S356)。在一个实施方式中,母帧的输出时间戳和内插帧的输出时间戳可以相同。作为示例,在源帧速率是 30Hz并且输出帧速率是60Hz的情况下,母帧的输出时间戳和内插帧的输出时间戳可以相同,并且在在这种情况下,可在输出时间戳处输出母帧。作为另一示例,运动补偿率α可以是0,这种情况也与母帧的输出时间戳和输出帧的输出时间戳相同的情况相同,并且在这种情况下,母帧也可在输出时间戳处输出。
在下文中,将参考附图描述根据本实施方式的帧速率转换方法的示例。图10是用于描述根据本实施方式的帧速率转换方法的示意图。在图10中所示的示例中,帧速率为30Hz的源以60Hz的帧速率向上转换。这里,利用输入时间戳存储源,在输出时间戳处形成输出,但是在下文中,为了便于简单描述和易于理解,将源和输出设置在相同的时间戳处。
参考图10,由于30Hz的相邻源帧以3000的时间戳间隔隔开,且输出具有60Hz的帧速率,因此相邻的输出帧必须以1500的时间戳间隔隔开。此外,可通过形成源的相邻母帧F1和F2(用实线示出)和通过在1500的目标时间戳处对相邻的输入帧执行运动补偿帧插值而获取的一个FMC,来形成具有相应的输出帧速率的输出帧。
图11是用于描述执行运动补偿以形成新帧的过程的视图。参考图 11,假设对象O在两个相邻的母帧F1和F2中移动。选择用于形成输出FMC的母帧F1和F2(S352)。如所描述的,可将缓冲器中存储的帧之中的具有1500的时间戳的相邻的帧选择为母帧F1和F2,该1500的时间戳插入所述相邻的帧之间且在该处形成输出FMC
从母帧F1和F2获取MV和运动补偿率α(S354)。即使在对象O 加速的情况下,对象O也可近似以恒定速度移动与帧之间的间隔对应的短时间段。
根据这种近似,对移动的对象执行ME以获取MV,并执行MC 以获取运动补偿率α。可使用时间戳如下计算运动补偿率α。
[式5]
Figure BDA0001896411950000121
FMC使用通过运动补偿率α补偿的MVαMV而形成,并且FMC设置在与输出帧速率对应的1500的时间戳处以执行帧速率转换 (S356)。另外,由于母帧F1和F2的输出时间戳与输入时间戳相同,因此母帧F1和F2可以用作输出帧。
图12和图13是用于描述根据本实施方式的帧速率转换方法的另一示例的示意图,在该示例中,将帧速率为24Hz的源以60Hz的帧速率向上转换。图12和图13是用于描述使用母帧F1和F2在3000的时间戳处形成的内插帧的示意图。参考图12和图13,选择具有插入其间且与输出帧速率对应的3000的时间戳的相邻帧作为母帧F1和F2 (S352)。如上所述,可将存储于缓冲器中的帧之中的具有3000的时间戳的相邻帧选择为母帧F1和F2,该3000的时间戳插入所述相邻帧之间并且在该处形成输出FMC
在一个实施方式中,通过执行MC从相邻的母帧F1和F2形成新的帧,但是母帧中的任何一个可以不被包括在输出中并可被移除。由于母帧F1的输入时间戳和输出时间戳相同(或者,运动补偿率为0),因而将母帧F1作为输出帧输出。
对两个相邻的源帧F1和F2中的移动的对象O执行ME以获得 MV,并且执行MC以获得运动补偿率α(S352)。相应地,可使用时间戳td1和td2通过式3来计算对象O的运动补偿率α。作为示例,使用下列式6在将要新形成的FMC2处计算运动补偿率α。
[式6]
Figure BDA0001896411950000131
可使用通过利用时间戳获取的运动补偿率α补偿的MVαMV来形成FMC,并可将FMC设置在与输出帧速率对应的3000的时间戳处以执行帧速率转换(S356)。
实验结果
图14a 至图14l 是示出了经由根据本实施方式的帧检测方法检测源的帧速率并经由根据本实施方式的帧速率转换方法将帧速率转换成目标帧速率的实验结果的曲线图。
图14a 是示出了将帧速率为60Hz的源以8Hz、12Hz、24Hz、25Hz、 30Hz或50Hz的帧速率进行转换的情况的视图,并且图14b 是示出了将帧速率为8Hz、12Hz、24Hz、25Hz、30Hz或50Hz的源以60Hz的帧速率进行转换的情况的视图。图14c 是示出了将帧速率为24Hz的源以8Hz、12Hz、25Hz、30Hz、50Hz或60Hz的帧速率进行转换的情况的视图,以及图14d 是示出了与图14c 的情况相反的情况的视图。图14e 是示出了将帧速率为30Hz的源以8Hz、12Hz、25Hz、24Hz、 50Hz或60Hz的帧速率进行转换的情况的视图,图14f 是示出了与图14e 的情况相反的情况的视图。图14g 是示出了将帧速率为12Hz的源以8Hz、30Hz、25Hz、24Hz、50Hz或60Hz的帧速率进行转换的情况的视图,以及图14h 是示出了与图14g 的情况相反的情况的视图。图14i 是示出了将帧速率为8Hz的源以12Hz、30Hz、25Hz、24Hz、 50Hz或60Hz的帧速率进行转换的情况的视图,以及图14j 是示出了与图14i 的情况相反的情况的视图。图14k是示出了将帧速率为50Hz 的源以12Hz、30Hz、25Hz、24Hz、8Hz或60Hz的帧速率进行转换的情况的视图,以及图14l 是示出了与图14k 的情况相反的情况的视图。
参考图14,可以看出,在将具有任何一个帧速率的源以另一帧速率进行转换的过程中,由于帧速率转换在大约12帧到22帧内完成,因而该转换快速地完成。另外,即使在帧速率突然改变的情况下,也不会出现毛刺(glitch),从而平滑地完成帧速率转换。因此,有益效果在于可以提供更自然并且更平滑的ME和MC。
图15是示出了噪声等引起的误差干预将帧速率为60Hz的源以 24Hz的帧速率进行转换的过程的情况的结果的曲线图。参考图15,即使在多个误差干预该过程的情况下,也可以看出,当与没有误差(0 误差)的情况相比时,帧速率转换相对快速地完成。相应地,可以看出,本实施方式对噪声具有鲁棒性。
如上所述,有益效果在于根据本实施方式的帧速率检测方法相对噪声和不正确的编辑具有鲁棒性,并且可以检测正确的帧速率。另外,有益效果在于,即使在突然执行帧速率转换时,也可减少执行帧速率转换方法所消耗的资源并可执行帧速率的平滑转换,原因在于,根据本实施方式的基于时间戳的帧速率转换方法并非基于场景 (scenario-based)的方法。
虽然已经参考用于促进对本发明进行理解的附图中所示的实施方式描述了本发明,但实施方式仅应被认为是描述性的,并且应理解的是,本领域技术人员可作出各种变型和等同的其它实施方式。因此,本发明的范围由所附权利要求进行限定。
[附图标记]
S100至S300:根据本实施方式的帧速率检测方法的操作
S150至S350:根据本实施方式的帧速率转换方法的操作

Claims (7)

1.检测源的帧速率的方法,包括以下步骤:
步骤(a):对具有预定长度的窗口中的初始帧的数目进行计数,其中所述源的帧以输入帧速率重复地输入,并且所述窗口的所述预定长度与输入帧的数目对应,且所述初始帧的数目是在所述长度的窗口内基于所述输入帧中相邻两帧彼此不同的次数计数的;
步骤(b):使用所述初始帧的数目与所述窗口的预定长度之间的比值乘以所述输入帧速率来获取第一帧速率;其中,对具有不同长度的多个窗口中的每个均执行所述步骤(a)和所述步骤(b),
步骤(c):计算从具有不同长度的所述多个窗口获取的多个第一帧速率的算术平均值作为第二帧速率;
步骤(d):计算多个所述第二帧速率的时间平均值,其中,使用不同数目的第二帧速率计算出多个时间平均值;以及
步骤(e):计算在所述步骤(d)中计算的多个时间平均值的加权平均值作为所述源的帧速率,
其中,步骤(d)中计算时间平均值时使用的第二帧速率的数目与步骤(a)中的窗口的长度对应。
2.根据权利要求1所述的方法,其中,在具有所述预定长度的窗口沿着顺序提供的帧移位时,对所述初始帧的数目进行计数。
3.根据权利要求1所述的方法,其中,在所述步骤(e)中,所述加权平均值的权重随着在所述步骤(d)中计算的所述时间平均值收敛而增加。
4.根据权利要求1所述的方法,其中,在所述步骤(e)中,所述加权平均值的权重随着在所述步骤(d)中计算的所述时间平均值不收敛而减小。
5.检测源的帧速率的方法,包括以下步骤:
步骤(a):接收以输入帧速率(T)提供的源的帧;
步骤(b):将所接收的所述帧提供给具有预定长度(k)的窗口,以检测包括于具有所述长度(k)的所述窗口内的初始帧的数目(n),并且所述窗口的所述预定长度(k)与输入帧的数目对应,且所述初始帧的数目(n)是在所述预定长度(k)的窗口内基于所述输入帧中相邻两帧彼此不同的次数计数的;
步骤(c):将所述输入帧速率(T)除以所述预定长度(k)并且乘以所述初始帧的数目(n)以获取第一帧速率;
步骤(d):计算从具有不同长度的多个窗口获取的多个第一帧速率的算术平均值作为第二帧速率;
步骤(e):计算多个所述第二帧速率的时间平均值,其中,使用不同数目的第二帧速率计算出多个时间平均值;以及
步骤(f):计算在所述步骤(e)中计算的多个时间平均值的加权平均值作为所述源的帧速率,
其中,对具有不同长度的所述多个窗口中的每个执行步骤(b),
其中,步骤(e)中计算时间平均值时使用的第二帧速率的数目与步骤(b)中的窗口的长度对应。
6.根据权利要求5所述的方法,其中,在所述步骤(f)中,所述加权平均值的权重随着在所述步骤(e)中计算的所述时间平均值收敛而增加。
7.根据权利要求5所述的方法,其中,在所述步骤(f)中,所述加权平均值的权重随着在所述步骤(e)中计算的所述时间平均值不收敛而减小。
CN201811494081.XA 2017-12-27 2018-12-07 帧速率检测方法和帧速率转换方法 Active CN109982021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011246853.5A CN112437241B (zh) 2017-12-27 2018-12-07 帧速率检测方法和帧速率转换方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0180662 2017-12-27
KR10-2017-0180665 2017-12-27
KR1020170180662A KR101893204B1 (ko) 2017-12-27 2017-12-27 프레임 율 검출 방법 및 프레임 율 변환 방법
KR1020170180665A KR101852967B1 (ko) 2017-12-27 2017-12-27 프레임 율 검출 방법 및 프레임 율 변환 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011246853.5A Division CN112437241B (zh) 2017-12-27 2018-12-07 帧速率检测方法和帧速率转换方法

Publications (2)

Publication Number Publication Date
CN109982021A CN109982021A (zh) 2019-07-05
CN109982021B true CN109982021B (zh) 2021-11-19

Family

ID=66950877

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011246853.5A Active CN112437241B (zh) 2017-12-27 2018-12-07 帧速率检测方法和帧速率转换方法
CN201811494081.XA Active CN109982021B (zh) 2017-12-27 2018-12-07 帧速率检测方法和帧速率转换方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011246853.5A Active CN112437241B (zh) 2017-12-27 2018-12-07 帧速率检测方法和帧速率转换方法

Country Status (2)

Country Link
US (1) US10382718B2 (zh)
CN (2) CN112437241B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210066619A (ko) 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 그 제어 방법
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606345A (zh) * 2003-06-10 2005-04-13 三星电子株式会社 进行反向电视电影处理的装置与方法
EP1863283A1 (en) * 2006-05-31 2007-12-05 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for frame interpolation
KR20090068502A (ko) * 2007-12-24 2009-06-29 엘지디스플레이 주식회사 움직임 보상 방법, 움직임 보상 장치, 이를 구비한액정표시장치 및 그 구동 방법
KR20100027408A (ko) * 2008-09-02 2010-03-11 주식회사 코아로직 가변 비트레이트의 파일의 평균 비트레이트 계산 방법 및 장치, 및 상기 장치를 포함하는 오디오 장치
KR20110062914A (ko) * 2009-12-04 2011-06-10 한국전자통신연구원 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법
KR20120033296A (ko) * 2009-05-27 2012-04-06 소니 주식회사 정보 처리 장치 및 방법
KR20130119328A (ko) * 2010-07-30 2013-10-31 도이체 텔레콤 악티엔 게젤샤프트 비디오 신호의 인코딩 또는 압축 중에 비디오 신호의 품질을 평가하는 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
WO2002039737A1 (fr) * 2000-11-07 2002-05-16 Matsushita Electric Industrial Co., Ltd. Systeme de production d'un signal video avec dispositif d'enregistrement/reproduction de signal video integre
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
JP2006310985A (ja) * 2005-04-26 2006-11-09 Hitachi Ltd フレームレート変換装置及び表示装置
JP4981275B2 (ja) * 2005-08-02 2012-07-18 キヤノン株式会社 画像記録装置
US20080174694A1 (en) * 2007-01-22 2008-07-24 Horizon Semiconductors Ltd. Method and apparatus for video pixel interpolation
US20090161011A1 (en) * 2007-12-21 2009-06-25 Barak Hurwitz Frame rate conversion method based on global motion estimation
EP2293554A1 (en) * 2009-07-27 2011-03-09 Trident Microsystems (Far East) Ltd. Frame-rate conversion
US8724022B2 (en) * 2009-11-09 2014-05-13 Intel Corporation Frame rate conversion using motion estimation and compensation
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
CN101888513B (zh) * 2010-06-29 2012-09-05 深圳市融创天下科技股份有限公司 一种视频帧率转换方法
US20140056354A1 (en) * 2012-08-21 2014-02-27 Mediatek Inc. Video processing apparatus and method
JP6368727B2 (ja) * 2016-02-17 2018-08-01 サターン ライセンシング エルエルシーSaturn Licensing LLC 表示装置および表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606345A (zh) * 2003-06-10 2005-04-13 三星电子株式会社 进行反向电视电影处理的装置与方法
EP1863283A1 (en) * 2006-05-31 2007-12-05 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for frame interpolation
KR20090068502A (ko) * 2007-12-24 2009-06-29 엘지디스플레이 주식회사 움직임 보상 방법, 움직임 보상 장치, 이를 구비한액정표시장치 및 그 구동 방법
KR20100027408A (ko) * 2008-09-02 2010-03-11 주식회사 코아로직 가변 비트레이트의 파일의 평균 비트레이트 계산 방법 및 장치, 및 상기 장치를 포함하는 오디오 장치
KR20120033296A (ko) * 2009-05-27 2012-04-06 소니 주식회사 정보 처리 장치 및 방법
KR20110062914A (ko) * 2009-12-04 2011-06-10 한국전자통신연구원 비순차 프레임 순서를 가지는 비디오 서비스를 위한 타임 스탬프 할당 방법
KR20130119328A (ko) * 2010-07-30 2013-10-31 도이체 텔레콤 악티엔 게젤샤프트 비디오 신호의 인코딩 또는 압축 중에 비디오 신호의 품질을 평가하는 방법 및 장치

Also Published As

Publication number Publication date
CN112437241B (zh) 2023-05-23
US20190199961A1 (en) 2019-06-27
US10382718B2 (en) 2019-08-13
CN109982021A (zh) 2019-07-05
CN112437241A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN109982021B (zh) 帧速率检测方法和帧速率转换方法
US7343044B2 (en) Interpolation image generating method and apparatus
US8111332B2 (en) Noise suppression method, noise suppression method program, recording medium recording noise suppression method program, and noise suppression apparatus
NO20052764L (no) Metode og apparat for mellomliggende bildetidtakningsspesifikasjon med variable noyaktighet for digital videokoding med redusen behov for delingsoperasjoner
US7760001B2 (en) Signal processing apparatus
KR101852967B1 (ko) 프레임 율 검출 방법 및 프레임 율 변환 방법
US8730392B2 (en) Frame rate conversion method and image processing apparatus thereof
EP2040222A1 (en) Motion prediction apparatus and motion prediction method
US10748292B2 (en) Image signal detection device
JP2013098961A (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
US8948333B2 (en) Clock frequency error detecting device
US8531600B2 (en) Video signal processing apparatus and method
CN106993108A (zh) 一种确定视频图像在运动估计中的随机量的方法和装置
US20080165276A1 (en) Image processing apparatus, image processing method, and computer readable medium having image processing program
JP2014187690A (ja) 映像信号処理装置及び方法
US8294820B2 (en) Video signal synchronization signal generating apparatus and video signal synchronization signal generation method
JP2008098938A (ja) プルダウンシーケンス検出プログラムおよびプルダウンシーケンス検出装置
JP7346124B2 (ja) 映像処理装置及び映像処理プログラム
CN101895672A (zh) 侦测移动图像的电路与方法
CN102970509A (zh) 图帧速率转换的方法及影像处理装置
EP2924879B1 (en) Sampling rate conversion device
JP2011176664A (ja) プルダウン検出装置
JP2016021655A (ja) 画像判断装置、画像判断方法、及び、プログラム
US20110298973A1 (en) Image processing device and method, and image display device and method
US8368816B2 (en) Circuit and method for detecting motion pictures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant