CN113949930A - 选取参考帧的方法、电子设备和存储介质 - Google Patents

选取参考帧的方法、电子设备和存储介质 Download PDF

Info

Publication number
CN113949930A
CN113949930A CN202010693440.5A CN202010693440A CN113949930A CN 113949930 A CN113949930 A CN 113949930A CN 202010693440 A CN202010693440 A CN 202010693440A CN 113949930 A CN113949930 A CN 113949930A
Authority
CN
China
Prior art keywords
frame
video
current
phase
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010693440.5A
Other languages
English (en)
Other versions
CN113949930B (zh
Inventor
刘艳玲
嵇涛
汪淳
王东建
陈旭昀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amlogic Shanghai Co Ltd
Original Assignee
Amlogic Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amlogic Shanghai Co Ltd filed Critical Amlogic Shanghai Co Ltd
Priority to CN202010693440.5A priority Critical patent/CN113949930B/zh
Priority to EP21185881.6A priority patent/EP3941036A1/en
Priority to US17/305,872 priority patent/US11490049B2/en
Publication of CN113949930A publication Critical patent/CN113949930A/zh
Application granted granted Critical
Publication of CN113949930B publication Critical patent/CN113949930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明公开了一种选取参考帧的方法、电子设备和存储介质，所述选取参考帧的方法，用于FRC插帧处理，所述方法包括：获取视频中的帧图像；计算当前视频帧与上一视频帧中每个对应像素位置的像素亮度差的绝对值之和，根据像素亮度差的绝对值之和确定当前视频帧的帧属性，其中，帧属性包括原始帧和重复帧；统计当前视频帧之前M个历史视频帧中原始帧的数量，根据M个历史视频帧中原始帧的数量获得当前插帧步长；根据当前插帧相位和当前插帧步长获得下一个待插帧相位；根据下一个待插帧相位确定插帧参考帧。该方法可以避免因视频掉帧或多帧选取到重复帧作为参考帧，降低出现画面抖动或画面模糊的问题，提高视频显示品质。

Description

选取参考帧的方法、电子设备和存储介质
技术领域
本发明涉及视频处理技术领域，尤其是涉及一种选取参考帧的方法、以及一种非临时性计算机存储介质和电子设备。
背景技术
目前的手机、电脑屏幕、电视等主流消费级显示设备的刷新频率都在60HZ以上，但由于各种历史技术原因，现在主流的电影帧率仍为24fps(frame per second，每秒传输帧数)，国内电视视频信号帧率一般为25fps。假设用一个刷新率为60HZ的电视取播放24fps的视频源，由于60并不是24的整数倍，所以一般采用3：2的方式进行画面帧间断性重复播放，即第一个视频帧重复播放2次，然后第二个视频帧重复播放3次，如此循环，即这种电影模式的视频定义为“32模式”或“23模式”，每个视频循环周期序列定义为“1，0，1，0，0”，其中“1”表示原始视频帧，“0”表示与时间轴前一帧相同的重复帧。如表1所示，其中，“1”(A1,B1,C1)表示原始视频帧，“0”(A2,B2,B3,C2)表示与时间轴前一帧相同的重复帧。
相关技术中，通常是按照特定电影模式下画面帧排序规律选取非重复帧作为参考帧，用于计算时间域和空间域的各种图像特征和相关信息。但是，在现实复杂环境下，各种电影模式下视频源的情况并不完美，由于视频剪辑和拼接、机顶盒解码能力不足导致丢掉部分视频帧或帧重复、电影模式检测错误等各种复杂情况均会导致一段在某一电影模式下的视频流，实际的连续视频帧并非按理想规律排列。如果按照特定电影模式下画面帧排序规律选取参考帧，容易选取到非原始帧即选取到重复帧作为参考帧，因而会导致运动矢量计算错误使得画面抖动或者画面模糊，降低视频显示品质。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种选取参考帧的方法，该方法可以实现FRC计算过程准确选择参考帧的目的，避免因视频掉帧或多帧选取到重复帧作为参考帧，降低出现画面抖动或画面模糊的问题，提高视频显示品质。
本发明的目的之二在于提出一种非临时性计算机存储介质。
本发明的目的之三在于提出一种电子设备。
为了解决上述问题，本发明第一方面实施例提供的选取参考帧的方法，用于FRC插帧处理，所述方法包括：获取视频中的帧图像；计算当前视频帧与上一视频帧中每个对应像素位置的像素亮度差的绝对值之和，根据所述像素亮度差的绝对值之和确定所述当前视频帧的帧属性，其中，帧属性包括原始帧和重复帧；统计所述当前视频帧之前M个历史视频帧中原始帧的数量，根据M个历史视频帧中原始帧的数量获得当前插帧步长；根据当前插帧相位和所述当前插帧步长获得下一个待插帧相位；根据所述下一个待插帧相位确定插帧参考帧。
根据本发明实施例的选取参考帧的方法，通过根据M个历史视频帧中原始帧的数量获得当前插帧步长，自适应调整当前插帧步长，并根据当前插帧相位和当前插帧步长获得下一个待插帧相位，根据下一个待插帧相位确定插帧参考帧，即采用计算实际输入视频流每一视频帧的信息和历史视频帧的信息对比的决策，动态地改变当前插帧相位和当前插帧步长，以自适应调整选取参考帧，从而可以在视频掉帧或其他错误情况时，可以矫正视频帧相位，避免出现画面抖动或画面模糊的问题，使得运动画面保持平滑自然，提高画面呈现品质。
在一些实施例中，根据所述像素亮度差的绝对值之和确定所述当前视频帧的帧属性，包括：所述像素亮度差的绝对值之和大于第二亮度阈值，确定所述当前视频帧为原始帧，其中，所述第二亮度阈值为所述当前视频帧之前M个历史视频帧的像素亮度差的绝对值之和的平均值；或者，所述像素亮度差的绝对值之和不大于所述第二亮度阈值，确定所述当前视频帧为重复帧。
在一些实施例中，根据M个历史视频帧中原始帧的数量获得当前插帧步长，包括：计算M个历史视频帧中原始帧的数量与M的比例，所述比例作为所述当前插帧步长。
在一些实施例中，根据当前插帧相位和所述当前插帧步长获得下一个待插帧相位，包括：计算所述当前插帧相位与所述当前插帧步长的和值，所述和值作为所述下一个待插帧相位。
在一些实施例中，根据所述下一个待插帧相位确定插帧参考帧，包括：所述下一个待插帧相位大于相位归一化阈值，跳帧至当前参考帧的下一个原始帧以作为插帧参考帧；或者，所述下一个待插帧相位小于等于相位归一化阈值，以当前参考帧为所述插帧参考帧。
在一些实施例中，所述方法还包括：所述下一个待插帧相位大于相位归一化阈值，计算所述下一个待插帧相位与所述相位归一化阈值的相位差值以作为新的下一个待插帧相位。
在一些实施例中，所述方法还包括：计算当前视频帧与上一视频帧每个对应像素位置的像素亮度差的绝对值，根据所述像素亮度差的绝对值获得所述当前视频帧之前N个历史视频帧的帧属性统计信息，根据所述帧属性统计信息确定所述视频流的电影模式。
在一些实施例中，根据所述像素亮度差的绝对值获得所述当前视频帧之前N个历史视频帧的帧属性统计信息，根据所述帧属性统计信息确定视频流的电影模式，包括：统计所述当前视频帧中所述像素亮度差的绝对值大于第一亮度阈值的像素数量；所述像素数量大于第一数量阈值，确定所述当前视频帧为原始帧，或者，所述像素数量不大于所述第一数量阈值，确定所述当前视频帧为重复帧；统计所述当前视频帧之前N个历史视频帧中每个历史视频帧的帧属性，获得N个历史视频帧的帧属性序列；根据所述N个历史视频帧的帧属性序列确定所述当前视频帧所属的电影模式。
本发明第二方面实施例提供一种非临时性计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的选取参考帧的方法。
本发明第三方面实施例提供一种电子设备，包括：处理器；与所述处理器通信连接的存储器；所述存储器中存储有可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例所述的选取参考帧的方法。
根据本发明实施例的电子设备，通过处理器执行上述实施例提供的选取参考帧的方法，可以避免因视频掉帧或其他错误情况导致画面抖动或画面模糊的问题，使得运动画面保持平滑自然，提高画面动态清晰度。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的选取参考帧方法的流程图；
图2是根据本发明一个实施例的计算视频帧间像素亮度差的示意图；
图3是根据本发明另一个实施例的选取参考帧方法的流程图；
图4是根据本发明一个实施例的电子设备的结构框图。
附图标记：
电子设备1；处理器2；存储器3。
具体实施方式
下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。
在对视频图像进行FRC(帧率转换器，frame rate converter)处理时，为了保证良好的FRC视频处理效果，最重要的是基于对前景运动物体的运动矢量准确估计，而用于计算运动矢量的视频参考帧的选取，取了决定性的作用，如果选取错误的参考帧用于计算预测画面中运动物体的轨迹，可能会导致运动矢量无法正确收敛，得到的估计运动矢量与物体实际运动轨迹有较大的误差，运动补偿后画面会引起视频抖动、画面撕裂等多种副作用，降低了视频显示品质。
为了解决上述问题，下面参考附图描述根据本发明第一方面实施例提供的选取参考帧的方法，该方法可以实现FRC计算过程准确选择参考帧的目的，避免因视频掉帧或多帧选取到重复帧作为参考帧，降低出现画面抖动或画面模糊的问题，提高视频显示品质。
本发明实施例的选取参考帧的方法的基本思路为，通过计算实际输入视频流每一视频帧的信息和历史视频帧的信息对比的决策，动态地改变当前插帧相位和当前插帧步长，以自适应调整选取参考帧，使得在出现视频掉帧或其他错误情况仍可以准确选取参考帧，确保运动画面保持平滑自然，提高画面动态清晰度。
图1为本发明第一方面实施例提供的选取参考帧的方法，用于FRC插帧处理，如图1所示，本发明实施例的选取参考帧的方法至少包括步骤S1-S5。
步骤S1，获取视频中的帧图像。
在实施例中，视频源包括一序列的帧图像，例如按照时间排序的具有一定序列的图像。
步骤S2，计算当前视频帧与上一视频帧中每个对应像素位置的像素亮度差的绝对值之和，根据像素亮度差的绝对值之和确定当前视频帧的帧属性。
其中，帧属性包括原始帧和重复帧。例如，表1所示为32模式下帧图像排布情况，视频源为一组序列帧图像以理论flag即序列的“1”“0”来表示，其中，“1”表示原始帧，“0”表示与时间轴前一帧相同的重复帧。
在实施例中，对于视频中每一时刻的每一帧图像，计算当前视频帧与时间轴往前的上一视频帧里每一个像素位置的像素亮度值之差的绝对值之和，以实时判定输入视频流中每一帧图像是原始帧或是重复帧。
表1
视频源 A1 A2 B1 B2 B3 C1 C2 D1 D2 D3
理论flag 1 0 1 0 0 1 0 1 0 0
举例说明，可以采用每帧图像的亮度Y通道数值来计算视频帧间像素亮度，以获取像素亮度差的绝对值之和。如图2所示，根据A1帧和A2帧中获得的每个像素对应位置的像素亮度，计算每一个像素位置的像素亮度值之差的绝对值之和，计算结果赋值给difsum[A1，A2]＝|5-4|+|0-0|+|8-9|+|0-0|+|6-6|+|0-0|+|1-1|+|2-3|+|3-3|＝3。
步骤S3，统计当前视频帧之前M个历史视频帧中原始帧的数量，根据M个历史视频帧中原始帧的数量获得当前插帧步长。
在实施例中，统计一定时间段的原始帧，即统计当前视频帧之前M个历史视频帧中原始帧的数量，根据统计信息数据自适应动态调整当前插帧步长的大小，也就是，根据步骤S2，得知时间轴往前M个帧图像是否为原始帧和重复帧的信息，根据统计数据计算当前插帧步长，以用于预测下一个待插帧相位。
步骤S4，根据当前插帧相位和当前插帧步长获得下一个待插帧相位。
步骤S5，根据下一个待插帧相位确定插帧参考帧。
在实施例中，根据当前插帧步长计算下一个待插帧相位，结合实际输入源的帧图像信息以获得当前插帧相位，即对于输入视频流的每一帧图像，将帧图像信息和历史视频帧信息进行对比决策，动态改变当前插帧相位和当前插帧步长，以在输入源中自适应选取合适的插帧参考帧，从而可以在视频掉帧或其他错误情况时，仍然可以准确选出参考帧，来矫正视频帧相位，使视频流的插帧相位和插帧步长恢复正常，从而确保FRC处理后画面保持平滑自然，实现FRC计算过程准确选择参考帧的目的，避免出现画面抖动或画面模糊的问题，提高画面动态清晰度。
根据本发明实施例的选取参考帧的方法，通过根据M个历史视频帧中原始帧的数量获得当前插帧步长，自适应调整当前插帧步长，并根据当前插帧相位和当前插帧步长获得下一个待插帧相位，根据下一个待插帧相位确定插帧参考帧，即采用计算实际输入视频流每一视频帧的信息和历史视频帧的信息对比的决策，动态地改变当前插帧相位和当前插帧步长，以自适应调整选取参考帧，从而可以在视频掉帧或其他错误情况时，可以矫正视频帧相位，避免出现画面抖动或画面模糊的问题，使得运动画面保持平滑自然，提高画面呈现品质。
在一些实施例中，本发明实施例的方法中，对于根据像素亮度差的绝对值之和确定当前视频帧的帧属性，可以包括，当像素亮度差的绝对值之和大于第二亮度阈值时，则确定当前视频帧为原始帧，其中，第二亮度阈值为当前视频帧之前M个历史视频帧的像素亮度差的绝对值之和的平均值，或者，当像素亮度差的绝对值之和不大于第二亮度阈值时，则确定当前视频帧为重复帧。
其中，对于第二亮度阈值可以根据输入视频流进行自适应变化，对此不作限制。
举例说明，如图2所示，根据A1帧和A2帧中获得的每个像素对应位置的像素亮度，计算每一个像素位置的像素亮度值之差的绝对值之和，计算结果赋值给dif_sum[M-1]，其中，dif_sum表示长度为M的数组，用于存储时间轴往前M个帧图像的绝对值之和信息，M为大于0的整数。第二亮度阈值为数组dif_sum的平均值，即当前视频帧之前M个历史视频帧的像素亮度差的绝对值之和的平均值。当dif_sum[0]大于第二亮度阈值，则认为当前时视频帧为原始帧，即flag2[M-1]等于1，否则认为该画面为重复帧，即flag2[M-1]等于0，其中，flag2表示长度为M的数组，用于存储时间轴往前M个视频帧的信息。
表2
视频源 a b c d e f g h i j k l m n …
flag 1 0 1 0 0 1 0 1 0 0 1 …
表3
Figure BDA0002590191930000061
在一些实施例中，本发明实施例的方法中，对于根据M个历史视频帧中原始帧的数量获得当前插帧步长，可以包括，计算M个历史视频帧中原始帧的数量与M的比例，将该比例作为当前插帧步长。也就是，统计M个历史视频帧如flag2数组中数值为“1”的个数，结果赋值给变量cnt2,则当前插帧步长为step＝cnt2/M。例如，当M＝10，若没有出现异常，如表2所示，32模式下cnt2的值为4，则当前插帧步长为0.4；若丢掉一个原始帧，如表3所示，则cnt2为3，则当前插帧步长为0.3。
在一些实施例中，本发明实施例的方法中，对于根据当前插帧相位和当前插帧步长获得下一个待插帧相位，可以包括，计算当前插帧相位与当前插帧步长的和值，将该和值作为下一个待插帧相位。
在一些实施例中，本发明实施例的方法中，对于根据下一个待插帧相位确定插帧参考帧，可以包括，当下一个待插帧相位大于相位归一化阈值时，跳帧至当前参考帧的下一个原始帧以作为插帧参考帧，或者，当下一个待插帧相位小于等于相位归一化阈值时，以当前参考帧为插帧参考帧。
在一些实施例中，本发明实施例的方法还包括，当下一个待插帧相位大于相位归一化阈值时，计算下一个待插帧相位与相位归一化阈值的相位差值以作为新的下一个待插帧相位。也就是，在计算下一个待插帧相位时，若计算结果大于或着等于1，则新的下一个待插帧相位＝下一个待插帧相位-1,即只取小数部分。
在一些实施例中，本发明实施例的方法基于输入视频源处于某一特定电影模式，不轻易改变或切换视频源电影模式，以对特定电影模式下对“丢帧”或“多帧”的情况做处理，因此本发明实施例的方法还包括，计算当前视频帧与上一视频帧每个对应像素位置的像素亮度差的绝对值，根据像素亮度差的绝对值获得当前视频帧之前N个历史视频帧的帧属性统计信息，以根据帧属性统计信息确定视频流的电影模式。
在一些实施例中，本发明实施例的方法中，对于根据像素亮度差的绝对值获得当前视频帧之前N个历史视频帧的帧属性统计信息，根据帧属性统计信息确定视频流的电影模式，可以包括，统计当前视频帧中像素亮度差的绝对值大于第一亮度阈值的像素数量，若像素数量大于第一数量阈值，则确定当前视频帧为原始帧，或者，若像素数量不大于第一数量阈值，则确定当前视频帧为重复帧，进而，统计当前视频帧之前N个历史视频帧中每个历史视频帧的帧属性，获得N个历史视频帧的帧属性序列，从而根据N个历史视频帧的帧属性序列确定当前视频帧所属的电影模式。
举例说明，由于视频源复杂多样，在FRC处理前需要对每一个输入端的视频流做视频模式检测。对于视频中每一时刻的每一视频帧，计算当前视频帧与时间轴往前的上一视频帧里每一个像素位置的亮度值之差的绝对值，统计整个画面中像素亮度值之差的绝对值大于第一亮度阈值的像素个数，统计结果赋值给cnt1。当cnt1大于第一数量阈值时，则认为当前视频帧为原始帧，即flag1[N-1]等于1，否则认为当前视频帧为重复帧，即flag1[N-1]等于0。其中，flag表示长度为N的数组，用于存储时间轴往前N个视频帧的信息，N为大于0的整数。
在实施例中，第一亮度阈值和第一数量阈值可以根据实际情况进行设置,对此不作限制。
进而，基于当前处理帧，统计时间轴往前N个视频帧的flag1信息，判定视频源的电影模式，其中，在未检测出视频源的电影模式之前，默认为每一个画面帧都为原始帧。例如，当N＝10时，如表2所示，当前正在计算第k帧，统计时间轴往前N帧的flag1[0]-flag1[N-1]信息为“1，0，1，0，0，1，0，1，0，0,，符合32模式的视频序列规律，则判定该视频源从k帧开始为32模式的视频流。
下面结合表3和表4对本发明实施例的选取参考帧的方法进行举例说明，其中，以电影模式为32模式，及M＝10为例。
对于表3所示的“多帧”情况，在E1帧之前多重复了一个D1帧，即D4帧。在处理E1的输入帧时，统计时间轴往前M个历史帧flag2信息，原始帧的数量cnt2的实际值比理论少了1个“1”,此时cnt2＝3，当前插帧步长为step＝cnt2/M＝0.3，所以下一个待插帧相位phase_next＝0.2+0.3＝0.5，即下一待插帧E1的相位为B.5。同理，下一待插帧相位E2为B.9。
其中，按照32模式固定的插帧步长和插帧相位调整策略，在处理F3输入帧时，输出帧的相位为0，未加本发明实施例的方法进行处理之前，会由于没有对输入源每一帧重建检测，从而错误选择了D1和D4作为参考帧。因此，根据本发明实施例的方法采用当前插帧相位和当前插帧步长相结合矫正以自适应调整的方式，在B.9插帧位置处，参考帧继续保持选择B1帧和C1帧，以此往复动态调整插帧步长的数值，即可在H2帧往后，将插帧步长和插帧相位矫正过来，使连续视频帧恢复正常。
如表4所示为“丢帧”情况，在E1帧之前丢失一个重复帧D3，所以在处理E2的输入帧时，统计时间轴往前M个历史帧flag2信息，原始帧的数量cnt2的实际值比理论值多出1个“1”,此时cnt2＝5，当前插帧步长为step＝cnt2/M＝0.5，所以下一个待插帧相位phase_next＝0.2+0.5＝0.7，即下一待插帧F1的相位为B.7。同理，下一待插帧相位F2为C.1，从而，以此往复动态调整插帧步长的数值，即可在H2帧往后，将插帧步长和插帧相位矫正过来，使连续视频帧恢复正常。
在实施例中，以上举例说明中默认使用原始帧作为插帧参考帧，可以理解的是，也可以采用重复帧作为插帧参考帧，对此不作限制。
表4
Figure BDA0002590191930000091
下面结合附图3对本发明实施例的选取参考帧的方法作进一步举例说明，步骤如下。
步骤S6，计算帧间亮度误差绝对值并全局统计，即计算当前视频帧与上一视频帧中每个对应像素位置的像素亮度差的绝对值。
步骤S7，判断输入源Flim模式，即根据像素亮度差的绝对值获取当前视频帧之前N个历史视频帧的帧属性统计信息，以根据帧属性统计信息确定视频流的电影模式。
步骤S8，计算帧间亮度误差和，判定flag2，即根据像素亮度差的绝对值之和确定当前视频帧的帧属性。若为原始帧，则flag2等于1；若为重复帧，则flag2等于0。
步骤S9，根据flag2计算步长，即计算M个历史视频帧中原始帧的数量与M的比例，将该比例作为当前插帧步长。
步骤S10，根据步长调整相位，即以当前插帧相位与当前插帧步长的和值作为下一个待插帧相位，动态选取参考帧。
因此，根据本发明实施例的方法以此往复动态调整插帧步长的数值，由于插帧步长的自适应调整，可以对新的插帧参考帧选取有准确的调控，从而避免因视频掉帧或其他错误情况导致画面抖动或画面模糊的问题，使得FRC处理后的运动画面保持流畅自然。
本发明第二方面实施例提供一种非临时性计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述实施例提供的选取参考帧的方法。
本发明第三方面实施例提供一种电子设备，如图4所示，本发明实施例的电子设备1包括处理器2以及与处理器2通信连接的存储器3。在实施例中，电子设备1可以包括电视机、电脑等视频显示设备，或者其他进行FRC图像处理的设备。
其中，存储器3中存储有可被处理器2执行的计算机程序，处理器2执行计算机程序时实现上述实施例提供的选取参考帧的方法。例如，处理器2进行FRC插针处理时，根据上面实施例的选取参考帧的方法获得参考帧，并以此参考帧对输入帧进行插针补偿，避免出现因参考帧选取不当造成的画面抖动或模糊等问题，其中，选取参考帧的方法可以参照上面实施例的具体描述。
根据本发明实施例的电子设备1，通过处理器3执行上述实施例提供的选取参考帧的方法，可以避免因视频掉帧或其他错误情况导致画面抖动或画面模糊的问题，使得运动画面保持平滑自然，提高画面动态清晰度。
在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种选取参考帧的方法，用于FRC插帧处理，其特征在于，所述方法包括：
获取视频中的帧图像；
计算当前视频帧与上一视频帧中每个对应像素位置的像素亮度差的绝对值之和，根据所述像素亮度差的绝对值之和确定所述当前视频帧的帧属性，其中，帧属性包括原始帧和重复帧；
统计所述当前视频帧之前M个历史视频帧中原始帧的数量，根据M个历史视频帧中原始帧的数量获得当前插帧步长；
根据当前插帧相位和所述当前插帧步长获得下一个待插帧相位；
根据所述下一个待插帧相位确定插帧参考帧。
2.根据权利要求1所述的选取参考帧的方法，其特征在于，根据所述像素亮度差的绝对值之和确定所述当前视频帧的帧属性，包括：
所述像素亮度差的绝对值之和大于第二亮度阈值，确定所述当前视频帧为原始帧，其中，所述第二亮度阈值为所述当前视频帧之前M个历史视频帧的像素亮度差的绝对值之和的平均值；
或者，所述像素亮度差的绝对值之和不大于所述第二亮度阈值，确定所述当前视频帧为重复帧。
3.根据权利要求1所述的选取参考帧的方法，其特征在于，根据M个历史视频帧中原始帧的数量获得当前插帧步长，包括：
计算M个历史视频帧中原始帧的数量与M的比例，所述比例作为所述当前插帧步长。
4.根据权利要求1所述的选取参考帧的方法，其特征在于，根据当前插帧相位和所述当前插帧步长获得下一个待插帧相位，包括：
计算所述当前插帧相位与所述当前插帧步长的和值，所述和值作为所述下一个待插帧相位。
5.根据权利要求1所述的选取参考帧的方法，其特征在于，根据所述下一个待插帧相位确定插帧参考帧，包括：
所述下一个待插帧相位大于相位归一化阈值，跳帧至当前参考帧的下一个原始帧以作为插帧参考帧；
或者，所述下一个待插帧相位小于等于相位归一化阈值，以当前参考帧为所述插帧参考帧。
6.根据权利要求5所述的选取参考帧的方法，其特征在于，所述方法还包括：
所述下一个待插帧相位大于相位归一化阈值，计算所述下一个待插帧相位与所述相位归一化阈值的相位差值以作为新的下一个待插帧相位。
7.根据权利要求1所述的选取参考帧的方法，其特征在于，所述方法还包括：
计算当前视频帧与上一视频帧每个对应像素位置的像素亮度差的绝对值，根据所述像素亮度差的绝对值获得所述当前视频帧之前N个历史视频帧的帧属性统计信息，根据所述帧属性统计信息确定所述视频流的电影模式。
8.根据权利要求7所述的选取参考帧的方法，其特征在于，根据所述像素亮度差的绝对值获得所述当前视频帧之前N个历史视频帧的帧属性统计信息，根据所述帧属性统计信息确定视频流的电影模式，包括：
统计所述当前视频帧中所述像素亮度差的绝对值大于第一亮度阈值的像素数量；
所述像素数量大于第一数量阈值，确定所述当前视频帧为原始帧，或者，所述像素数量不大于所述第一数量阈值，确定所述当前视频帧为重复帧；
统计所述当前视频帧之前N个历史视频帧中每个历史视频帧的帧属性，获得N个历史视频帧的帧属性序列；
根据所述N个历史视频帧的帧属性序列确定所述当前视频帧所属的电影模式。
9.一种非临时性计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的选取参考帧的方法。
10.一种电子设备，其特征在于，包括：
处理器；
与所述处理器通信连接的存储器和显示屏；
其中，所述存储器中存储有可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述的选取参考帧的方法，所述处理器还用于基于选取的参考帧对视频流进行处理，并控制所述显示屏显示处理后的视频图像。
CN202010693440.5A 2020-07-17 2020-07-17 选取参考帧的方法、电子设备和存储介质 Active CN113949930B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010693440.5A CN113949930B (zh) 2020-07-17 2020-07-17 选取参考帧的方法、电子设备和存储介质
EP21185881.6A EP3941036A1 (en) 2020-07-17 2021-07-15 Method, electronic device, and storage medium for selecting reference frame
US17/305,872 US11490049B2 (en) 2020-07-17 2021-07-16 Method for selecting reference frame, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010693440.5A CN113949930B (zh) 2020-07-17 2020-07-17 选取参考帧的方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113949930A true CN113949930A (zh) 2022-01-18
CN113949930B CN113949930B (zh) 2024-03-12

Family

ID=77264890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010693440.5A Active CN113949930B (zh) 2020-07-17 2020-07-17 选取参考帧的方法、电子设备和存储介质

Country Status (3)

Country Link
US (1) US11490049B2 (zh)
EP (1) EP3941036A1 (zh)
CN (1) CN113949930B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115776601B (zh) * 2022-11-15 2024-08-23 深圳艾灵网络有限公司 视频流传输信息评估方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304568A1 (en) * 2007-06-11 2008-12-11 Himax Technologies Limited Method for motion-compensated frame rate up-conversion
US20090147854A1 (en) * 2007-12-10 2009-06-11 Qualcomm Incorporated Selective display of interpolated or extrapolaed video units
US20090296820A1 (en) * 2008-05-27 2009-12-03 Sanyo Electric Co., Ltd. Signal Processing Apparatus And Projection Display Apparatus
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
US20100253838A1 (en) * 2009-04-01 2010-10-07 Sanjay Garg Cadence detection in progressive video
US20110019083A1 (en) * 2009-07-27 2011-01-27 Claus Nico Cordes Frame-Rate Conversion
JP2012111320A (ja) * 2010-11-24 2012-06-14 Daimler Ag オートクルーズ制御装置
US20150063717A1 (en) * 2013-09-05 2015-03-05 Arecont Vision, Llc. System and method for spatio temporal video image enhancement
CN105306866A (zh) * 2015-10-27 2016-02-03 青岛海信电器股份有限公司 帧率转换方法及装置
CN105517671A (zh) * 2015-05-25 2016-04-20 北京大学深圳研究生院 一种基于光流法的视频插帧方法及系统
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统
CN110060213A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111083481A (zh) * 2019-11-15 2020-04-28 西安万像电子科技有限公司 图像编码方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013020867A2 (pt) * 2011-02-16 2016-09-27 Panasonic Corp codificador de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de reprodução de vídeo, método de reprodução de vídeo, e programa de reprodução de vídeo
CN113870302A (zh) * 2020-06-30 2021-12-31 晶晨半导体(上海)股份有限公司 运动估计方法、芯片、电子设备以及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304568A1 (en) * 2007-06-11 2008-12-11 Himax Technologies Limited Method for motion-compensated frame rate up-conversion
US20090147854A1 (en) * 2007-12-10 2009-06-11 Qualcomm Incorporated Selective display of interpolated or extrapolaed video units
US20090296820A1 (en) * 2008-05-27 2009-12-03 Sanyo Electric Co., Ltd. Signal Processing Apparatus And Projection Display Apparatus
US20100253838A1 (en) * 2009-04-01 2010-10-07 Sanjay Garg Cadence detection in progressive video
CN101616279A (zh) * 2009-07-16 2009-12-30 宝利微电子系统控股公司 一种视频帧率上变换的方法和装置
US20110019083A1 (en) * 2009-07-27 2011-01-27 Claus Nico Cordes Frame-Rate Conversion
JP2012111320A (ja) * 2010-11-24 2012-06-14 Daimler Ag オートクルーズ制御装置
US20150063717A1 (en) * 2013-09-05 2015-03-05 Arecont Vision, Llc. System and method for spatio temporal video image enhancement
CN105517671A (zh) * 2015-05-25 2016-04-20 北京大学深圳研究生院 一种基于光流法的视频插帧方法及系统
CN105306866A (zh) * 2015-10-27 2016-02-03 青岛海信电器股份有限公司 帧率转换方法及装置
CN106210767A (zh) * 2016-08-11 2016-12-07 上海交通大学 一种智能提升运动流畅性的视频帧率上变换方法及系统
CN110060213A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111083481A (zh) * 2019-11-15 2020-04-28 西安万像电子科技有限公司 图像编码方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张兆林;史浩山;万帅;: "基于线性回归分析的视频质量评估方法", 西北工业大学学报, no. 03, 15 June 2012 (2012-06-15) *

Also Published As

Publication number Publication date
US11490049B2 (en) 2022-11-01
CN113949930B (zh) 2024-03-12
US20220021841A1 (en) 2022-01-20
EP3941036A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
CN101809617B (zh) 提高图像动态范围
US8077258B2 (en) Image display apparatus, signal processing apparatus, image processing method, and computer program product
US8013888B2 (en) Method and system for implementing film grain insertion
US8462989B2 (en) Scaling an image based on a motion vector
US7773099B2 (en) Context aware image conversion method and playback system
US8508659B2 (en) System and method for frame rate conversion using multi-resolution temporal interpolation
KR100914619B1 (ko) 디인터레이싱 방법, 장치 및 시스템
KR20030007817A (ko) 비디오 화상의 스케일링가능한 해상도 개선
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
WO2008018882A1 (en) Accurate motion portrayal for display and digital projectors
JP5490236B2 (ja) 画像処理装置および方法、画像表示装置および方法
JPH0837648A (ja) 動ベクトル処理装置
WO2010026838A1 (ja) フレームレート変換装置、並びに、その対応点推定装置、対応点推定方法及び対応点推定プログラム
US9350963B2 (en) Method for adjusting color values of pixels
CN113949930B (zh) 选取参考帧的方法、电子设备和存储介质
US20100290702A1 (en) Image processing device and image correction device
KR20050059251A (ko) 이미지 변환을 위한 유닛 및 방법
CN113099132B (zh) 视频处理方法、装置、电子设备、存储介质及程序产品
US9275468B2 (en) Fallback detection in motion estimation
US9870598B2 (en) Low complexity adaptive filtering for mobile captures
US20040189867A1 (en) Method and system for displaying a video frame
CN114630090B (zh) 图像处理装置以及图像处理方法
JP6650232B2 (ja) フレームレート拡大装置及びプログラム
US20100066901A1 (en) Apparatus and method for processing video data
EP1547378A1 (en) A unit for and method of image conversion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant