CN113542809B - 帧插补方法及其视频处理器 - Google Patents

帧插补方法及其视频处理器 Download PDF

Info

Publication number
CN113542809B
CN113542809B CN202010297314.8A CN202010297314A CN113542809B CN 113542809 B CN113542809 B CN 113542809B CN 202010297314 A CN202010297314 A CN 202010297314A CN 113542809 B CN113542809 B CN 113542809B
Authority
CN
China
Prior art keywords
frame
input
group
frames
long
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010297314.8A
Other languages
English (en)
Other versions
CN113542809A (zh
Inventor
葛姝婷
林义峰
刘海波
李晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to CN202010297314.8A priority Critical patent/CN113542809B/zh
Priority to US15/930,417 priority patent/US11032511B1/en
Publication of CN113542809A publication Critical patent/CN113542809A/zh
Application granted granted Critical
Publication of CN113542809B publication Critical patent/CN113542809B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0147—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation using an indication of film mode or an indication of a specific pattern, e.g. 3:2 pull-down pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种帧插补方法及其视频处理器。所述帧插补方法可用于视频处理器，其包括下列步骤：判断一第一输入帧的接收是否遵循一长期规律；当该第一输入帧的接收遵循该长期规律时，利用对应于该长期规律的一正常相位表中的相位系数来产生插补帧；以及当该第一输入帧的接收非遵循该长期规律时，利用对应于一错误编辑规律的一错误编辑相位表中的相位系数来产生插补帧。

Description

帧插补方法及其视频处理器
技术领域
本发明涉及一种帧插补方法及其视频处理器，尤其涉及一种可由帧率转换器执行的插补图像帧产生方法。
背景技术
运动估计和运动补偿(Motion Estimation and Motion Compensation，MEMC)是一种用于帧插补(frame interpolation)的技术，可让一系列图像帧在不同帧率(framerate)之下进行显示。举例来说，若30赫兹(Hz)的视频源(例如电影影片)需要以60赫兹的频率显示，则视频源的每两个连续图像帧之间需加入一插补帧，从而实现两倍的帧率。
目前业界已发展出各种产生插补帧的方法，然而，若输入图像不稳定时，现有的方法可能采用到错误的来源帧来产生插补帧，导致输出视频上发生图像抖动(imagejitter)，即所谓的错误编辑(bad edit)问题。当错误编辑发生时，传统的方式可在帧插补和转换的过程当中丢弃错误的图像帧以处理错误编辑问题，其可能造成部分必要的图像信息流失。另一种方法则在维持图像信息的情况下处理错误编辑问题，然而，此方法存在输入帧到输出帧之间延迟过长的问题。鉴于此，现有技术实有改进的必要。
发明内容
因此，本发明的主要目的即在于提供一种可用于帧率转换器(frame rateconverter)的新式插补帧产生方法，此帧插补(frame interpolation)方法可在维持图像信息不流失同时避免过大帧延迟的情况下降低图像抖动(image jitter)。
本发明的一实施例公开了一种帧插补方法，用于一视频处理器。该帧插补方法包括下列步骤：判断一第一输入帧的接收是否遵循一长期规律；当该第一输入帧的接收遵循该长期规律时，利用对应于该长期规律的一正常相位表中的相位系数来产生插补帧；以及当该第一输入帧的接收非遵循该长期规律时，利用对应于一错误编辑规律的一错误编辑相位表中的相位系数来产生插补帧。
本发明的另一实施例公开了一种视频处理器，该视频处理器包括一插补电路。该插补电路耦接于一帧缓冲器及一视频源提供单元，该插补电路可用来执行以下步骤以产生插补帧：判断一第一输入帧的接收是否遵循一长期规律；当该第一输入帧的接收遵循该长期规律时，利用对应于该长期规律的一正常相位表中的相位系数来产生插补帧；以及当该第一输入帧的接收非遵循该长期规律时，利用对应于一错误编辑规律的一错误编辑相位表中的相位系数来产生插补帧。
附图说明
图1示出了由30赫兹的视频源转换为60赫兹以进行显示的帧率转换的一种示例性实施方式。
图2示出了由24赫兹的视频源转换为60赫兹以进行显示的帧率转换的另一种示例性实施方式。
图3为规律侦测和判断的示意图。
图4为输入视频中发生错误编辑的示意图。
图5为本发明实施例处理错误编辑问题的一帧插补流程的流程图。
图6为本发明实施例在错误编辑问题之下进行帧插补的示意图。
图7为本发明实施例一显示系统的示意图。
图8为本发明另一实施例在错误编辑问题之下进行帧插补的示意图。
图9为本发明又一实施例在错误编辑问题之下进行帧插补的示意图。
其中，附图标记说明如下：
50 帧插补流程
500～512 步骤
70 显示系统
702 视频源提供单元
704 帧率转换器
706 显示驱动电路
708 显示器
710 帧缓冲器
712 插补电路
具体实施方式
图1示出了由30赫兹(Hz)的视频源转换为60赫兹以进行显示的帧率(frame rate)转换的一种示例性实施方式。如图1所示，视频源包括三个图像帧，其具有从左向右移动的一物件。通过在视频源的两个连续图像帧之间插补一相似帧，可产生60赫兹的输入视频，其产生一系列图像帧A、A、B、B、C、C等，并以此类推，其中，2个图像帧A彼此相似，2个图像帧B彼此相似，而2个图像帧C彼此相似。在执行帧转换之后，第二个图像帧A被转换为包括图像帧A及B结合的图像内容，系数(1/2)A+(1/2)B表示图像内容中一半信息由图像帧A决定而另一半信息由图像帧B决定，以上帧转换机制使得视频的显示更为流畅。视频源的图像帧可视为帧率转换器(frame rate converter)的输入帧。
图2示出了由24赫兹的视频源转换为60赫兹以进行显示的帧率转换的另一种示例性实施方式。在此例中，视频源中的2个连续帧进行插补而产生5个输入帧，即3个输入帧A和2个输入帧B，其中，3个输入帧A彼此相似，而2个输入帧B彼此相似。在执行帧转换之后，第二个输入帧及第三个输入帧被转换为包括输入帧A及B以不同系数结合的图像内容，即(3/5)A+(2/5)B和(1/5)A+(4/5)B。系数3/5及2/5表示图像内容中3/5的信息由输入帧A决定而另外2/5的信息由输入帧B决定。系数1/5及4/5表示图像内容中1/5的信息由输入帧A决定而另外4/5的信息由输入帧B决定。第四个输入帧及第五个输入帧被转换为包括输入帧B及C以不同系数结合的图像内容，即(4/5)B+(1/5)C和(2/5)B+(3/5)C，这些插补参数与前述定义方式相似，可用来决定帧插补(frame interpolation)转换之后的图像内容。
在帧率转换中，可根据输入视频在特定帧率之下播放的一系列输入帧来决定其规律(cadence)，通过长期侦测，可根据输入视频中两个连续输入帧之间的比较所产生的帧差值来找出规律。若两个连续输入帧彼此相似或者两个连续输入帧之间的差异小于一临界值，则帧差值为0；若两个连续输入帧存在某种程度的不同或者两个连续输入帧之间的差异大于临界值，则帧差值为1。举例来说，在图1的示例中，输入视频中关于输入帧A、A、B、B、C的帧差值为0、1、0、1…，代表规律为连续接收两两相似的输入帧(其可视为一帧组)，此规律指示一种影片模式(film mode)，以下称之为影片模式22。如图2所示的情况，输入视频中关于输入帧A、A、A、B、B、C、C…的帧差值为0、0、1、0、1…，代表规律为连续接收三个相似的输入帧之后接着接收两个相似的输入帧，其中，三个相似的输入帧为一帧组而两个相似的输入帧为另一帧组，此规律指示另一种影片模式，以下称之为影片模式32。关于规律侦测和判断的详细结果示于图3。
根据长期规律(或称为影片模式)，帧率转换器可采用适合的系数来执行帧插补。然而，若规律不稳定时，可能因为输入帧的遗失或增加了多余的输入帧而导致帧插补过程中选到错误的输入帧。也就是说，当实际的规律不稳定但仍采用对应于长期规律的插补系数时，易造成输出视频上的图像抖动(image jitter)。在此情况下，可采用运动估计和运动补偿(Motion Estimation and Motion Compensation，MEMC)的错误编辑(bad edit)处理来降低或消除因输入帧规律的不稳定而在输出视频上造成的影响，错误编辑代表造成长期规律中断的错误输入帧。
请参考图4，图4为输入视频中发生错误编辑的示意图。在此示例中，理想的规律为影片模式32，其对应的输入帧包括A、A、A、B、B、C、C、C、D、D，并以此类推。然而，真实的输入帧(即实际接收的输入帧)显示第三个输入帧C遗失，并直接接收到第一个输入帧D。也就是说，真实的规律变成影片模式22(原先是影片模式32)。在此情况下，若帧插补仍依据指示影片模式32的理想规律来执行，则原先预期根据第三个输入帧C来产生的插补帧改为根据第一个输入帧D来产生，播放此插补帧将导致图像抖动的发生。
为处理上述错误编辑问题，一种解决方式为，在帧插补和转换时丢弃可能的错误帧，然此作法将导致部分的图像信息遗失。需注意的是，输入视频中相似的输入帧(如3个输入帧C)可能存在些许差异并携带不同信息，而这些输入帧C的帧差值不大于一临界值。若这3个输入帧C的其中之一被丢弃时，可能造成部分图像信息遗失，从而导致图像的不连续。
请参考图5，图5为本发明实施例处理错误编辑问题的一帧插补流程50的流程图。通过帧插补流程50，从接收输入帧到根据输入帧来产生插补帧之间的帧延迟将减小，也不会造成任何图像信息遗失。帧插补流程50可用于视频处理器的帧率转换器，以采用一帧插补机制来根据输入帧而产生输出视频。如图5所示，帧插补流程50包括以下步骤：
步骤500：开始。
步骤502：接收一系列输入帧。
步骤504：根据该系列输入帧，产生一帧差序列。
步骤506：根据帧差序列，判断一长期规律。
步骤508：判断第一输入帧的接收是否遵循长期规律。若是，则执行步骤510；若否，则执行步骤512。
步骤510：利用对应于长期规律的一正常相位表中的相位系数来产生插补帧。接着回到步骤508。
步骤512：利用对应于一错误编辑规律的一错误编辑相位表中的相位系数来产生插补帧。接着回到步骤508。
根据帧插补流程50，当接收一系列输入帧并判断这些输入帧符合一长期规律所指示的影片模式时，即可决定长期规律。举例来说，若一系列输入帧包括W、W、W、X、X、Y、Y、Y、Z、Z(其中相同符号代表相似帧)，则可判断其规律为每接收具有三个连续输入帧的一帧组之后接收具有两个连续输入帧的一帧组，其代表影片模式32。因此，帧插补操作可采用一正常相位表，其包括对应于长期规律的相位信息(以相位系数表示)。换句话说，若错误编辑未发生时，可采用正常相位表的相位系数来进行帧插补操作，此相位系数可根据由长期规律决定的影片模式以及输入/输出帧率来产生。在此情况下，相位步阶(phase step)可通过以下方式决定：
phase_step＝diff_count/total_count×in_rate/out_rate；
其中，phase_step代表相位步阶，diff_count代表一周期中相异帧组的数量，total_count代表一周期中所有输入帧的数量，in_rate为输入帧率，而out_rate为输出帧率。
图6为本发明实施例在错误编辑问题之下进行帧插补的示意图。由于规律指示影片模式32，其代表一周期内包括两个帧组(即帧组A及B)且共有5个帧(即帧A、A、A、B、B)。输入帧率等于输出帧率，因此相位步阶为2/5，使得相位系数依序为0、2/5、4/5、1/5、3/5，如图6所示。需注意的是，插补帧是通过将一目前帧及一先前帧乘上各别相位系数之后结合而产生，而图6所示的相位系数代表用于目前帧的相位系数，另外用于先前帧的相位系数则是由1减去用于目前帧的相位系数来取得。
根据预先判断的长期规律，帧率转换器可根据目前接收的每一输入帧(如步骤508的第一输入帧)来判断是否发生错误编辑的情况。若第一输入帧的接收非遵循长期规律时(意即，当第一输入帧已被接收并且帧率转换器判断第一输入帧不是遵循长期规律被接收时)，代表发生错误编辑。在一实施例中，可使用一换组标志或一帧差值来判断是否存在错误编辑，而换组标志可针对每一个接收的输入帧产生。如上所述，在输入视频中，相似的输入帧可分类为一帧组，例如3个输入帧A分类为一帧组而2个输入帧B分类为另一帧组。换组标志可由一连串输入帧之间的帧差值序列来表示，以指示每一输入帧是否相似于其前一输入帧，因而属于相同帧组。举例来说，若一输入帧相似于其前一输入帧时(例如两个连续输入帧之间的差异小于一临界值)，则换组标志为0；若一输入帧不同于其前一输入帧时(例如两个连续输入帧之间的差异大于临界值)，则换组标志为1。当长期规律指示影片模式32时，正确输入帧的换组标志序列应是0010100101…，其包括多组重复的00101。
因此，当目前接收的输入帧所对应的换组标志指示一系列连续接收的输入帧非遵循长期规律时(其中目前接收的输入帧为最新的输入帧)，帧率转换器可判断输入帧存在错误编辑。如图6所示，当帧率转换器在一段期间接收到第一个输入帧D但依据影片模式32所对应的长期规律该段期间的正确输入帧为第三个输入帧C时，即代表错误编辑被侦测到。在此情况下，可根据一错误编辑规律，采用错误编辑相位表来产生插补帧。在此例中，错误编辑规律可根据该输入帧之前接收的一系列输入帧且该输入帧的接收非遵循长期规律的情况来进行判断。
在此例中，每一插补帧可根据一目前帧及一先前帧来产生，其中，目前帧是从第一输入帧所属的一第一帧组当中选出的一输入帧，或是基于第一帧组中的至少两个输入帧所产生的一重制帧，而先前帧是从在第一帧组之前接收的一第二帧组当中选出的一输入帧，第一帧组及第二帧组为两个连续的帧组。
根据图6的示例，基于输入帧B、B、C、C可判断错误编辑规律为指示影片模式22的规律，因此，根据对应于指示影片模式22的规律的错误编辑相位表，可决定用于帧插补中的目前帧(其可从输入帧D中选出或基于输入帧D来重制)所对应的相位系数为0及1/2。在图6的示例中，当帧率转换器在一段期间接收到第一个输入帧E但当遵循长期规律该段期间的正确输入帧为第二个输入帧D时，即侦测到另一错误编辑。在此情况下，由于第一个输入帧E之前接收的一系列输入帧C、C、D、D指示影片模式22，因此，也可根据指示影片模式22的错误编辑规律中的错误编辑相位表来产生插补帧。如此一来，根据对应于指示影片模式22的规律的错误编辑相位表，可决定用于帧插补中的目前帧所对应的相位系数(其可从输入帧E中选出或基于输入帧E来重制)为0及1/2。接着，帧率转换器侦测到输入帧的规律恢复为长期规律，并采用正常相位表来结合输入帧E、F以及后续的输入帧，直到侦测到下一个错误编辑为止。需注意的是，正常相位表或错误编辑相位表的使用可根据输入帧的规律来决定，正常相位表可在未发生错误编辑的情况下使用，而当发生错误编辑时，则根据错误编辑的情况相应的规律，改为使用错误编辑相位表。
值得注意的是，错误编辑的处理须对应输入帧及输出帧的时序关系进行调整。举例来说，错误编辑规律可根据四个连续的输入帧B、B、C、C来判断，然而，用于帧插补的错误编辑相位表实际上是根据输入帧C及输入帧D来产生两个插补帧。
本发明提供了一种帧插补方法，可在产生较小帧延迟的情况下处理错误编辑的问题。在本发明中，即使在一帧组未完整接收的情况下，仍可根据预先决定的长期规律，利用正常相位表来执行帧插补。若接收到的一输入帧指示错误编辑发生时，可采用相应的错误编辑相位表来取代正常相位表，从而在较小帧延迟之下处理错误编辑问题。
请参考图7，图7为本发明实施例一显示系统70的示意图。如图7所示，显示系统70包括一视频源提供单元702、一帧率转换器704、一显示驱动电路706及一显示器708。视频源提供单元702可产生欲显示于显示器708上的视频源，此视频源可包括多个输入帧。显示驱动电路706可提供显示器708所需的必要信息，使得视频可顺利进行显示。显示驱动电路706可包括一时序控制器、一源极驱动装置、一栅极驱动装置及/或任何其它可用来驱动显示器708播放视频的装置。
如上所述，视频源的帧率往往不同于欲在显示器708上显示的帧率，因此，帧率转换器704可用来转换视频的帧率。帧率转换器704可以是与视频源提供单元702分离的单独设置的集成电路(Integrated Circuit，IC)，其可以是视频处理集成电路，或者，帧率转换器704可实现于视频处理集成电路中。帧率转换器704可包括一帧缓冲器710(如图7所示)，用来存储一或多个输入帧。或者，帧缓冲器710也可独立于帧率转换器704设置。帧率转换器704中的一插补电路712可用来从视频源提供单元702接收原始的视频源(可视为帧率转换器704的输入帧)，同时接收存储在帧缓冲器710的一先前帧。插补电路712可根据从帧缓冲器710接收的先前帧作为参考帧以及从视频源提供单元702接收的输入帧(即目前帧)来产生每一插补帧，从而产生具有符合显示器708输出格式的帧率的插补帧。举例来说，若视频源的帧率为30赫兹而显示器708进行显示的帧率为60赫兹时，帧率转换器704可在每两相邻输入帧之间插入一插补帧。帧率转换器704可实现为处理装置中的软件程序及/或可执行特定功能的硬件电路。
在一实施例中，帧率转换器704可用来执行本发明的帧插补流程50的步骤，从而在接收到正确输入图像的情况下根据正常相位表来产生插补帧，或者在发生错误编辑的情况下根据错误编辑相位表来产生插补帧。
值得注意的是，一相位表(如正常相位表或错误编辑相位表)不仅可提供用来结合输入帧以产生插补帧的相位信息，还可提供用来指示须选择哪一输入帧作为如图6的先前帧和目前帧的信息。表1示出了图6的相位表，其除了包括相位信息以外还包括了部分可用于插补的输入帧选择信息
表1
如表1所示，参数Grp_chg_flag、Grp_diff_p、Grp_diff_c及Table_start可用来判断须选择哪一输入帧来结合以产生插补帧，这些参数使得帧率转换器704可找出正确的输入帧以进行结合。更明确来说，参数Grp_chg_flag代表上述换组标志，换组标志可用来指示帧组的改变，其中，Grp_chg_flag的数值为1代表此输入帧与其前一输入帧属于不同帧组。参数Table_start指示所选帧的改变，其可根据相位来决定。一般来说，在正常相位表或错误编辑相位表中，对于接收的每一帧而言，相位从0到1增加且依次上升一个相位步阶。一旦相位欲增加至超过1且到达另一相位周期时，参数Table_start变为1，且先前帧和目前帧改为选自下一帧组。举例来说，表1所示的索引7至14是帧序索引，在表1所示的索引7和8之间，相位从4/5增加至6/5(即成为另一相位周期的1/5)，此时所选择的帧改变，且索引8中的参数Table_start被设定为1。换句话说，参数Table_start可用来对输出帧进行分组。在此例中，相位系数0、2/5及4/5(参见索引5～7)可视为一组，其中输入帧A及B相结合以产生插补帧，而相位系数1/5及3/5(参见索引8～9)可视为一组，其中输入帧B及C相结合以产生插补帧。
除此之外，组差参数Grp_diff_p及Grp_diff_c代表第二输入帧(先前帧)所属的帧组和第一输入帧(目前帧)所属的帧组之间的差。以表1为例，在索引5中，用于先前帧的组差参数为1(Grp_diff_p＝1)且第一输入帧为B，使得先前帧可选自包括输入帧A的帧组；而用于目前帧的组差参数为0(Grp_diff_c＝0)且第一输入帧为B，使得目前帧可选自包括输入帧B的帧组。组差参数Grp_diff_p及Grp_diff_c使得帧率转换器704可选择目标帧来进行插补。更明确来说，组差参数Grp_diff_p及Grp_diff_c可通过以下方式计算：
Grp_diff_p[n]＝Grp_diff_p[n-1]+Grp_chg_flag[n]-Table_start[n]；
Grp_diff_c[n]＝Grp_diff_c[n-1]+Grp_chg_flag[n]-Table_start[n]；
其中，n代表这些参数的相对应帧序索引。由此可知，换组标志可根据输入帧之间的差异对输入帧进行分组，而组差参数可决定目标组中的帧被选择。需注意的是，插补所使用的先前帧及目前帧选自于两个连续帧组，因此组差参数Grp_diff_p及Grp_diff_c具有以下对应关系：
Grp_diff_c[n]＝Grp_diff_p[n]-1。
根据换组标志及组差参数，即使在输入视频发生错误编辑的情况下(其可能是多一个输入帧或少一个输入帧)，都能够从正确的帧组中选出正确的输入帧来进行插补，这是因为插补的输入帧选择是基于特定帧组而不是基于特定输入帧。错误编辑可能造成一输入帧的遗失，但不可能造成一帧组中的所有输入帧遗失。
一相位表(如正常相位表或错误编辑相位表)包括相关于相位系数的信息以及在插补中用来选择输入帧(如插补所使用的目前帧及先前帧)的信息。在一实施例中，如换组标志、组差参数、及表开始参数等帧选择信息也可以不包含在相位表中，而是用来判断哪些输入帧可被选择并存储在相位表。在另一实施例中，相位系数、所选的输入帧、及帧选择信息可包含在例如表1所示的相位表。
如上所述，一帧组中的相似输入帧也可能存在些许差异并包括不同信息。在一实施例中，相位表还可包括用来指示一帧组中的哪一(些)输入帧被选为先前帧或目前帧的信息。以选择输入帧B所属的帧组作为示例，在索引4及5中接收的输入帧B可包括略为不同的信息，此处分别以输入帧B1及B2表示。在索引5所对应的时间上，根据上述帧选择规则，可判断目前帧应选自于包括输入帧B的帧组，其中，目前帧应是输入帧B1，这是因为此时尚未完成输入帧B2的接收。在索引6所对应的时间上，输入帧B1及B2都已完整接收，因此，目前帧B可选自于输入帧B1、B2或两者的结合。若选择输入帧B1及B2的结合作为索引6中的目前帧的情况下，应选择输入帧B1及B2的结合或仅选择输入帧B2作为索引7中的目前帧。若仅选择输入帧B2作为索引7中的目前帧的情况下，应选择输入帧B2本身作为索引8中的先前帧。一般来说，先前帧及目前帧的选择顺序应和一组输入帧的接收顺序一致，以避免后像(afterimage)问题。优选地，插补帧的选择应能够使输出视频流畅地显示，后像问题的产生是因为较后的输入帧在较前的输入帧之前被选择用于产生插补帧，其可能造成输出视频的不连续。
值得注意的是，本发明的目的在于提供一种可通过对输入帧进行分组来处理错误编辑的帧插补方法。本领域技术人员当可据此进行修饰或变化，而不限于此。举例来说，在上述实施例中，以上输入帧率、输出帧率及其长期规律仅作为用以说明本发明详细实施方式的示例。本领域技术人员应理解，本发明的实施例也可采用具有不同帧率转换的其它规律。在另一实施例中，错误编辑问题也可能来自于多余的输入帧。
请参考图8，图8为本发明另一实施例在错误编辑问题之下进行帧插补的示意图。如图8所示，具有相位系数的正常相位表以及对应于指示影片模式32的长期规律的帧选择方式被采用，直到发生错误编辑。错误编辑发生在接收到第三个输入帧D但根据长期规律应只有两个输入帧D的情况。因此，输入帧CCCDDD被判断为遵循一错误编辑规律，在此情形下，可根据对应于错误编辑规律的相位系数来决定结合输入帧D及E所使用的相位，即0、1/3及2/3。接着，输入帧D及E遵循指示影片模式32的长期规律，因此帧率转换器704恢复使用正常相位表来结合输入帧E及F。
一般来说，当错误编辑发生在输入视频中的一帧组X时(例如图6所示的输入帧C所属的帧组，其中第三个输入帧C遗失；或图8所示的输入帧D所属的帧组，其包括多余的输入帧D)，即可根据错误编辑相位表中的相位系数，通过结合帧组X的帧及其下一帧组(X+1)的帧来执行帧插补，其中，错误编辑相位表是根据由帧组X及其前一帧组(X-1)的帧数量取得的错误编辑规律来决定。
请参考图9，图9为本发明又一实施例在错误编辑问题之下进行帧插补的示意图。图9示出了输出帧率为输入帧率的两倍的情况，在此例中，相位步阶也可依据相同的公式计算：
phase_step＝diff_count/total_count×in_rate/out_rate。
在此例中，因为输出帧率为输入帧率的两倍，使得相位步阶等于1/5，且当相位欲超过1而到达另一相位周期时，所选择的先前帧及目前帧改变。通过类似的方式，帧插补可根据输入帧BBCC来决定指示影片模式22的错误编辑规律，以利用相应的错误编辑相位表在输入帧C及D之间产生插补帧；以及根据输入帧CCDD来决定指示影片模式22的错误编辑规律，以利用相应的错误编辑相位表在输入帧D及E之间产生插补帧。
如上所述，帧插补可根据相位表指示的相位系数执行。举例来说，相位2/5代表2/5的图像内容信息由目前帧决定而另外3/5的图像内容信息由先前帧决定。详细来说，一图像可分割为多个区域，可判断各区域在先前帧和目前帧上的相似性。位于不同位置的相似区域可视为视频的移动物件，此移动物件的移动距离可根据运动估计和运动补偿技术取得。因此，移动物件可出现在根据相位表中的相位系数所决定的位置。举例来说，若相位为1/2时，输出图像中移动物件的位置可以是其在先前帧的位置及其在目前帧的位置的中间点。最后，消除各区域边界上的不连续之后即可取得插补输出帧。
综上所述，本发明提供了一种帧插补方法，其可对输入帧进行分组来处理错误编辑问题。在本发明的实施例中，可预先判断一长期规律并基于长期规律而采用一正常相位表。当错误编辑发生时，可采用基于错误编辑规律的一错误编辑相位表，从而使用错误编辑相位表中的相位系数来处理错误编辑问题。在例如正常相位表或错误编辑相位表等相位表中，可找出输入帧的正确帧组以选择用于插补的输入帧，并根据相位系数来结合所选的输入帧。本发明的帧插补方法可以不造成图像信息遗失同时具备较小帧延迟的优点。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种帧插补方法，用于一视频处理器，该帧插补方法包括：
接收一系列输入帧；
根据该系列输入帧，产生一帧差序列；
根据该帧差序列，判断一长期规律；
判断一第一输入帧的接收是否遵循该长期规律；
当该第一输入帧的接收遵循该长期规律时，利用对应于该长期规律的一正常相位表中的相位系数来产生插补帧；以及
当该第一输入帧的接收非遵循该长期规律时，利用对应于一错误编辑规律的一错误编辑相位表中的相位系数来产生插补帧。
2.如权利要求1所述的帧插补方法，其特征在于，该长期规律指示该系列输入帧所符合的一影片模式。
3.如权利要求1所述的帧插补方法，其特征在于，还包括：
根据在该第一输入帧之前接收的一系列输入帧来判断该错误编辑规律，以因应该第一输入帧的接收非遵循该长期规律的情况。
4.如权利要求1所述的帧插补方法，其特征在于，判断该第一输入帧的接收是否遵循该长期规律的步骤包括：
利用一换组标志来判断该第一输入帧的接收是否遵循该长期规律，该换组标志指示该第一输入帧以及在该第一输入帧之前接收的一先前输入帧是否属于同一帧组。
5.如权利要求1所述的帧插补方法，其特征在于，利用该正常相位表或该错误编辑相位表中的该相位系数来产生该插补帧的步骤包括：
将一目前帧及一先前帧乘上各别的相位系数后结合，以产生该插补帧中的每一插补帧，其中，该目前帧是从该第一输入帧所属的一第一帧组当中选出的一输入帧，或是基于该第一帧组中的至少两个输入帧所产生的一重制帧，而该先前帧是从在该第一帧组之前接收的一第二帧组当中选出的一输入帧，其中，该第一帧组及该第二帧组为两个连续的帧组。
6.如权利要求5所述的帧插补方法，其特征在于，还包括：
针对该插补帧中的每一插补帧，计算用来指示选择该第一帧组的一第一帧组差参数，并计算用来指示选择该第二帧组的一第二帧组差参数。
7.一种视频处理器，包括：
一插补电路，耦接于一帧缓冲器及一视频源提供单元，用来执行以下步骤以产生插补帧：
接收一系列输入帧；
根据该系列输入帧，产生一帧差序列；
根据该帧差序列，判断一长期规律；
判断一第一输入帧的接收是否遵循该长期规律；
当该第一输入帧的接收遵循该长期规律时，利用对应于该长期规律的一正常相位表中的相位系数来产生插补帧；以及
当该第一输入帧的接收非遵循该长期规律时，利用对应于一错误编辑规律的一错误编辑相位表中的相位系数来产生插补帧。
8.如权利要求7所述的视频处理器，其特征在于，该长期规律指示该系列输入帧所符合的一影片模式。
9.如权利要求7所述的视频处理器，其特征在于，该插补电路还用来执行以下步骤：
根据在该第一输入帧之前接收的一系列输入帧来判断该错误编辑规律，以因应该第一输入帧的接收非遵循该长期规律的情况。
10.如权利要求7所述的视频处理器，其特征在于，该插补电路用来执行以下步骤以判断该第一输入帧的接收是否遵循该长期规律：
利用一换组标志来判断该第一输入帧的接收是否遵循该长期规律，该换组标志指示该第一输入帧以及在该第一输入帧之前接收的一先前输入帧是否属于同一帧组。
11.如权利要求7所述的视频处理器，其特征在于，该插补电路用来执行以下步骤以利用该正常相位表或该错误编辑相位表中的该相位系数来产生该插补帧：
将一目前帧及一先前帧乘上各别的相位系数后结合，以产生该插补帧中的每一插补帧，其中，该目前帧是从该第一输入帧所属的一第一帧组当中选出的一输入帧，或是基于该第一帧组中的至少两个输入帧所产生的一重制帧，而该先前帧是从在该第一帧组之前接收的一第二帧组当中选出的一输入帧，其中，该第一帧组及该第二帧组为两个连续的帧组。
12.如权利要求11所述的视频处理器，其特征在于，该插补电路还用来执行以下步骤：
针对该插补帧中的每一插补帧，计算用来指示选择该第一帧组的一第一帧组差参数，并计算用来指示选择该第二帧组的一第二帧组差参数。
13.如权利要求7所述的视频处理器，其特征在于，该视频处理器是一帧率转换器集成电路。
CN202010297314.8A 2020-04-15 2020-04-15 帧插补方法及其视频处理器 Active CN113542809B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010297314.8A CN113542809B (zh) 2020-04-15 2020-04-15 帧插补方法及其视频处理器
US15/930,417 US11032511B1 (en) 2020-04-15 2020-05-12 Frame interpolation method and related video processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010297314.8A CN113542809B (zh) 2020-04-15 2020-04-15 帧插补方法及其视频处理器

Publications (2)

Publication Number Publication Date
CN113542809A CN113542809A (zh) 2021-10-22
CN113542809B true CN113542809B (zh) 2023-08-04

Family

ID=76213206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010297314.8A Active CN113542809B (zh) 2020-04-15 2020-04-15 帧插补方法及其视频处理器

Country Status (2)

Country Link
US (1) US11032511B1 (zh)
CN (1) CN113542809B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871146B1 (en) * 2022-08-16 2024-01-09 Novatek Microelectronics Corp. Video processor for handling irregular input
CN117061825B (zh) * 2023-10-12 2024-01-26 深圳云天畅想信息科技有限公司 流媒体视频坏帧检测方法、装置及计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457206B2 (en) * 2008-11-03 2013-06-04 Broadcom Corporation Method and system for adaptive temporal interpolation filtering for motion compensation
TWI384865B (zh) * 2009-03-18 2013-02-01 Mstar Semiconductor Inc 影像處理之方法及電路
EP2293554A1 (en) * 2009-07-27 2011-03-09 Trident Microsystems (Far East) Ltd. Frame-rate conversion
US9491398B1 (en) 2010-12-21 2016-11-08 Pixelworks, Inc. System and method for processing assorted video signals
US8471962B2 (en) * 2011-06-30 2013-06-25 Stmicroelectronics Asia Pacific Pte Ltd. Apparatus and method for local video detector for mixed cadence sequence
CN106063242B (zh) * 2014-02-27 2019-07-09 杜比实验室特许公司 用于控制颤抖可见性的系统和方法
WO2016204490A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置

Also Published As

Publication number Publication date
US11032511B1 (en) 2021-06-08
CN113542809A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN113542809B (zh) 帧插补方法及其视频处理器
JP2004297719A (ja) フレーム補間方法及びこれを用いた画像表示システム
US6236806B1 (en) Field detection apparatus and method, image coding apparatus and method, recording medium, recording method and transmission method
US20150078449A1 (en) Generating an output frame for inclusion in a video sequence
US20100066914A1 (en) Frame interpolation device and method, and storage medium
JP2008167102A (ja) 映像処理装置及びそれを備えた映像表示装置
JP2006129181A (ja) 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置
US20080122973A1 (en) Detection method of generation sequence of interlace picture and interlace/progressive conversion method and device
JP2005318622A (ja) 逆フィルムモード外挿方法
US20090310679A1 (en) Video processing apparatus and methods
US20120274845A1 (en) Image processing device and method, and program
US7321320B2 (en) DSV control apparatus and DSV control method
JP2010041315A (ja) 映像信号処理装置及び方法、プログラム
TWI812483B (zh) 運動估計與運動補償方法及其視訊處理器
CN102035996A (zh) 图像处理设备及其控制方法
JP4746909B2 (ja) ビデオシーケンスの補助データ処理
JP5372721B2 (ja) 映像信号処理装置、方法及びプログラム
US20120308137A1 (en) Image processing apparatus, image processing method, and program
US7324743B2 (en) Time code calculating method and time code calculating apparatus
JP2011130128A (ja) 画像処理装置及びその制御方法、プログラム
US8405767B2 (en) Image processing device
JP3668509B2 (ja) 動き補正出力映像発生方式
JP2004072788A (ja) ステレオ動画像符号化方法および装置と、ステレオ動画像符号化処理用プログラムおよびそのプログラムの記録媒体
JP5145887B2 (ja) フレーム補間装置および方法
EP2667351A1 (en) Image processing device and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant