CN111277895B - 一种视频插帧方法和装置 - Google Patents

一种视频插帧方法和装置 Download PDF

Info

Publication number
CN111277895B
CN111277895B CN201811482755.4A CN201811482755A CN111277895B CN 111277895 B CN111277895 B CN 111277895B CN 201811482755 A CN201811482755 A CN 201811482755A CN 111277895 B CN111277895 B CN 111277895B
Authority
CN
China
Prior art keywords
frame
video
segment
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811482755.4A
Other languages
English (en)
Other versions
CN111277895A (zh
Inventor
肖宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811482755.4A priority Critical patent/CN111277895B/zh
Publication of CN111277895A publication Critical patent/CN111277895A/zh
Application granted granted Critical
Publication of CN111277895B publication Critical patent/CN111277895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Abstract

本公开涉及一种视频插帧方法和装置。该方法包括：在目标视频中确定多个插帧片段，其中，同一插帧片段中包含的视频帧对应相同的视频场景；确定任一插帧片段对应的目标插帧方法；针对任一插帧片段中包含的视频帧，采用与所述插帧片段对应的目标插帧方法进行视频插帧。本公开既可以有效提高视频插帧效率，也可以有效提升插帧之后得到的高帧率视频的用户观看体验。

Description

一种视频插帧方法和装置
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频插帧方法和装置
背景技术
视频帧率提升是一种将低帧率视频转换为高帧率视频的视频后处理方法，在相邻两视频帧之间插入内插视频帧，以达到增加帧率的目的。例如，将视频帧率从30fps(Framesper Second，帧每秒)提升至60fps。为了使得视频插帧之后得到的高帧率视频能够给用户带来较好的观看体验，亟需一种有效的视频插帧方法。
发明内容
有鉴于此，本公开提出了一种视频插帧方法和装置，从而既可以有效提高视频插帧效率，也可以有效提升插帧之后得到的高帧率视频的用户观看体验。
根据本公开的第一方面，提供了一种视频插帧方法，包括：在目标视频中确定多个插帧片段，其中，同一插帧片段中包含的视频帧对应相同的视频场景；确定任一插帧片段对应的目标插帧方法；针对任一插帧片段中包含的视频帧，采用与所述插帧片段对应的目标插帧方法进行视频插帧。
在一种可能的实现方式中，所述目标视频为离线视频；在目标视频中确定多个插帧片段，包括：通过对所述目标视频进行场景切换检测，确定所述多个插帧片段，其中，不同插帧片段中包含的视频帧对应不同的视频场景。
在一种可能的实现方式中，所述目标视频为在线视频；在目标视频中确定多个插帧片段，包括：缓存任一插帧片段，其中，所述插帧片段中包含的视频帧的数目小于等于第一阈值。
在一种可能的实现方式中，缓存任一插帧片段，包括：缓存第i个插帧片段；确定所述第i个插帧片段对应的目标插帧方法；从所述第i个插帧片段之后的目标视频帧开始，缓存第i+1个插帧片段，其中，所述目标视频帧为所述第i个插帧片段之后未发生场景切换，且对应的插帧方法与所述第i个插帧片段对应的目标插帧方法不相同的首个视频帧。
在一种可能的实现方式中，确定任一插帧片段对应的目标插帧方法，包括：针对任一插帧片段，确定所述插帧片段中任一视频帧对应的插帧方法，其中，所述插帧方法用于在所述视频帧之后插入内插视频帧；确定所述插帧片段中不同插帧方法对应的视频帧的数目；将对应的视频帧的数目最多的插帧方法确定为与所述插帧片段对应的目标插帧方法。
在一种可能的实现方式中，所述目标视频为在线视频，所述方法还包括：当第j-1个插帧片段、第j个插帧片段和第j+1个插帧片段分别对应不同的视频场景，且所述第j个插帧片段中包含的视频帧的数目小于第二阈值时，将所述第j-1个插帧片段对应的目标插帧方法确定为所述第j个插帧片段对应的目标插帧方法。
在一种可能的实现方式中，所述插帧方法包括下述至少一种：第一插帧方法和第二插帧方法，其中，所述第一插帧方法为相邻帧融合法或重复拷贝法，所述第二插帧方法为光流插帧法。
根据本公开的第二方面，提供了一种视频插帧装置，包括：第一确定模块，用于在目标视频中确定多个插帧片段，其中，同一插帧片段中包含的视频帧对应相同的视频场景；第二确定模块，用于确定任一插帧片段对应的目标插帧方法；插帧模块，用于针对任一插帧片段中包含的视频帧，采用与所述插帧片段对应的目标插帧方法进行视频插帧。
在一种可能的实现方式中，所述目标视频为离线视频；所述第一确定模块包括：第一确定子模块，用于通过对所述目标视频进行场景切换检测，确定所述多个插帧片段，其中，不同插帧片段中包含的视频帧对应不同的视频场景。
在一种可能的实现方式中，所述目标视频为在线视频；所述第一确定模块包括：缓存子模块，用于缓存任一插帧片段，其中，所述插帧片段中包含的视频帧的数目小于等于第一阈值。
在一种可能的实现方式中，所述缓存子模块包括：缓存单元，用于缓存第i个插帧片段；确定单元，用于确定所述第i个插帧片段对应的目标插帧方法；所述缓存单元，还用于从所述第i个插帧片段之后的目标视频帧开始，缓存第i+1个插帧片段，其中，所述目标视频帧为所述第i个插帧片段之后未发生场景切换，且对应的插帧方法与所述第i个插帧片段对应的目标插帧方法不相同的首个视频帧。
在一种可能的实现方式中，所述第二确定模块包括：第二确定子模块，用于针对任一插帧片段，确定所述插帧片段中任一视频帧对应的插帧方法，其中，所述插帧方法用于在所述视频帧之后插入内插视频帧；第三确定子模块，用于确定所述插帧片段中不同插帧方法对应的视频帧的数目；第四确定子模块，用于将对应的视频帧的数目最多的插帧方法确定为与所述插帧片段对应的目标插帧方法。
在一种可能的实现方式中，所述目标视频为在线视频，所述装置还包括：第三确定模块，用于当第j-1个插帧片段、第j个插帧片段和第j+1个插帧片段分别对应不同的视频场景，且所述第j个插帧片段中包含的视频帧的数目小于第二阈值时，将所述第j-1个插帧片段对应的目标插帧方法确定为所述第j个插帧片段对应的目标插帧方法。
在一种可能的实现方式中，所述插帧方法包括下述至少一种：第一插帧方法和第二插帧方法，其中，所述第一插帧方法为相邻帧融合法或重复拷贝法，所述第二插帧方法为光流插帧法。
根据本公开的第三方面，提供了一种视频插帧装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第一方面所述的视频插帧方法。
根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第一方面所述的视频插帧方法。
在目标视频中确定多个插帧片段，其中，同一插帧片段中包含的视频帧对应相同的视频场景，通过确定任一插帧片段对应的目标插帧方法，进而针对任一插帧片段中包含的视频帧，采用与该插帧片段对应的目标插帧方法进行视频插帧。通过在目标视频中确定插帧片段，以及对应相同视频场景的同一插帧片段中包含的视频帧采用相同的插帧方法进行插帧，降低了插帧复杂度，以及确保了插帧之后得到的高帧率视频在时域的平滑性，从而既可以有效提高视频插帧效率，也可以有效提升插帧之后得到的高帧率视频的用户观看体验。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出本公开一实施例的视频插帧方法的流程示意图；
图2示出本公开一实施例的在线视频确定多个插帧片段的示意图；
图3示出本公开一实施例的确定第k个插帧片段对应的目标插帧方法的示意图；
图4示出本公开一实施例的视频插帧装置的结构示意图；
图5示出本公开一实施例的电子设备的结构示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出本公开一实施例的视频插帧方法的流程示意图。如图1所示，该方法可以包括：
步骤S11，在目标视频中确定多个插帧片段，其中，同一插帧片段中包含的视频帧对应相同的视频场景。
步骤S12，确定任一插帧片段对应的目标插帧方法。
步骤S13，针对任一插帧片段中包含的视频帧，采用与该插帧片段对应的目标插帧方法进行视频插帧。
针对需要进行视频插帧操作的目标视频，在目标视频中确定多个插帧片段，确定每个插帧片段对应的目标插帧方法，进而以插帧片段为最小插帧单位，对对应相同视频场景的同一插帧片段中包含的视频帧，均采用与该插帧片段对应的目标插帧方法进行视频插帧，以提高插帧效率，并确保插帧之后的高帧率视频在时域上的平滑性。
下面分别以目标视频为离线视频和在线视频为例，详细介绍在目标视频中确定多个插帧片段的方式。
第一种：
在一种可能的实现方式中，目标视频为离线视频；在目标视频中确定多个插帧片段，包括：通过对目标视频进行场景切换检测，确定多个插帧片段，其中，不同插帧片段中包含的视频帧对应不同的视频场景。
当目标视频为离线视频时，可以通过对离线视频进行场景切换检测，将对应相同的视频场景的连续视频帧确定为同一个插帧片段。
例如，目标视频中包括1000帧视频帧，通过对目标视频进行场景切换检测，确定第201帧、第401帧、第601帧、第801帧开始发生场景切换，因此，可以将第1-200帧视频帧确定为第1个插帧片段，将第201-400帧视频帧确定为第2个插帧片段，将第401-600帧视频帧确定为第3个插帧片段，将第601-800帧视频帧确定为第4个插帧片段，将第801-1000帧视频帧确定为第5个插帧片段。
在一示例中，可以通过确定目标视频中相邻两视频帧之间的帧间差(对应像素点的像素差之和)来进行场景切换检测。
例如，当第x帧视频帧和第x+1帧视频帧之间的帧间差大于第三阈值时，表示第x+1帧视频帧开始发生了场景切换。本公开第第三阈值的具体取值不作限定。
通过场景切换检测对作为目标视频的离线视频进行划分，确定多个插帧片段，同一插帧片段中包含的视频帧对应相同的视频场景，不同插帧片段中包含的视频帧对应不同的视频场景，进而以插帧片段为单位，对目标视频进行视频插帧，既可以提高插帧效率，又可以确保同一视频场景插帧之后得到的高帧率视频在时域上的平滑性。
第二种：
在一种可能的实现方式中，目标视频为在线视频；在目标视频中确定多个插帧片段，包括：缓存任一插帧片段，其中，该插帧片段中包含的视频帧的数目小于等于第一阈值。
当目标视频为在线视频时，可以通过设置第一阈值来缓存任一插帧片段。在缓存任一插帧片段过程中，通过场景切换检测判断是否发生场景切换，若未发生场景切换，则缓存得到的该插帧片段中包含的视频帧的数目等于第一阈值；若发生场景切换，则在场景切换之前停止缓存，即缓存得到的该插帧片段中包含的视频帧的数目小于第一阈值。本公开对第一阈值的具体取值不作限定。
例如，设置第一阈值为50帧。缓存第1个插帧片段时，若第1-50帧视频帧对应相同的视频场景，即第1-50帧视频帧中未发生场景切换，则第1个插帧片段中包含第1-50帧视频帧；若第31帧视频帧开始发生了场景切换，则在缓存完第30帧视频帧之后停止对第1个插帧片段的缓存，即第1个插帧片段中包含第1-30帧视频帧。
在一种可能的实现方式中，缓存任一插帧片段，包括：缓存第i个插帧片段；确定第i个插帧片段对应的目标插帧方法；从第i个插帧片段之后的目标视频帧开始，缓存第i+1个插帧片段，其中，目标视频帧为第i个插帧片段之后未发生场景切换，且对应的插帧方法与第i个插帧片段对应的目标插帧方法不相同的首个视频帧。
图2示出本公开一实施例的在线视频确定多个插帧片段的示意图。
如图2所示，步骤S21，缓存第i个插帧片段。
步骤S22，确定第i个插帧片段对应的目标插帧方法。
步骤S23，读入一帧新的视频帧，判断该新的视频帧是否发生了场景切换。若是，则将该新的视频帧确定为目标视频帧，并跳转执行步骤S25；若否，则跳转执行步骤S24。
步骤S24，判断该新的视频帧对应的插帧方法与第i个插帧片段对应的目标插帧方法是否相同。若相同，则保持该新的视频帧对应的插帧方法不变，并跳转执行步骤S23；若不同，则将该新的视频帧确定为目标视频帧，并跳转执行步骤S25。
步骤S25，从目标视频帧开始，缓存第i+1个插帧片段。
通过设置第一阈值并缓存任一插帧片段，在作为目标视频的在线视频中确定多个插帧片段，进而以插帧片段为单位，对目标视频进行视频插帧，既可以提高插帧效率，又可以确保同一插帧片段插帧之后得到的高帧率视频在时域上的平滑性。
在一种可能的实现方式中，目标视频为在线视频，还包括：当第j-1个插帧片段、第j个插帧片段和第j+1个插帧片段分别对应不同的视频场景，且第j个插帧片段中包含的视频帧的数目小于第二阈值时，将第j-1个插帧片段对应的目标插帧方法确定为第j个插帧片段对应的目标插帧方法。
当视频场景切换较快的情况下，可能导致出现包含的视频帧的数目较少的插帧片段，此时，将包含的视频帧的数目小于第二阈值的插帧片段对应的目标插帧方法，确定为与该插帧片段之前相邻的插帧片段对应的目标插帧方法相同，以避免很短的插帧片段采用与前后插帧片段不相同的插帧方法导致的播放卡顿问题。
在一种可能的实现方式中，确定任一插帧片段对应的目标插帧方法，包括：针对任一插帧片段，确定该插帧片段中任一视频帧对应的插帧方法，其中，插帧方法用于在视频帧之后插入内插视频帧；确定该插帧片段中不同插帧方法对应的视频帧的数目；将对应的视频帧的数目最多的插帧方法确定为与该插帧片段对应的目标插帧方法。
在一种可能的实现方式中，插帧方法包括下述至少一种：第一插帧方法和第二插帧方法，其中，第一插帧方法为相邻帧融合法或重复拷贝法，第二插帧方法为光流插帧法。
当相邻两视频帧之间的画面变化较小时，可以采用第一插帧方法(相邻帧融合法或重复拷贝法)在该相邻两视频帧之间插入内插视频帧，以提高插帧效率；当相邻两视频帧之间的画面变化较大时，可以采用第二插帧方法(光流插帧法)在该相邻两视频帧之间插入内插视频帧，以确保插帧质量。
针对任一插帧片段，可以确定该插帧片段中包含的相邻两视频帧之间的帧间差，帧间差越大，表示画面变化越大，进而根据相邻两视频帧之间的帧间差，确定该插帧片段中任一视频帧对应的插帧方法。
例如，当第y帧视频帧和第y+1帧视频帧之间的帧间差大于第四阈值时，表示第y帧视频帧和第y+1帧视频帧之间的画面变化较大，则将第y帧视频帧对应的插帧方法确定为第二插帧方法(光流插帧法)；当第y帧视频帧和第y+1帧视频帧之间的帧间差小于等于第四阈值时，表示第y帧视频帧和第y+1帧视频帧之间的画面变化较小，则将第y帧视频帧对应的插帧方法确定为第一插帧方法(相邻帧融合法或重复拷贝法)。本公开对第四阈值的具体取值不作限定。
针对任一插帧片段，在确定该插帧片段中任一视频帧对应的插帧方法之后，根据该插帧片段中任一视频帧对应的插帧方法，确定该插帧片段对应的目标插帧方法。
图3示出本公开一实施例的确定第k个插帧片段对应的目标插帧方法的示意图。
如图3所示，N表示第一插帧方法，Y表示第二插帧方法，第k个插帧片段中包含10帧视频帧，第一插帧方法对应的视频帧的数目为4，第二插帧方法对应的视频帧的数目为6，则将第二插帧方法确定为第k个插帧片段对应的目标插帧方法。也即，针对第k个插帧片段中的任一视频帧，采用光流插帧法在该视频帧之后插入内插视频帧。
在目标视频中确定多个插帧片段，其中，同一插帧片段中包含的视频帧对应相同的视频场景，通过确定任一插帧片段对应的目标插帧方法，进而针对任一插帧片段中包含的视频帧，采用与该插帧片段对应的目标插帧方法进行视频插帧。通过在目标视频中确定插帧片段，以及对应相同视频场景的同一插帧片段中包含的视频帧采用相同的插帧方法进行插帧，降低了插帧复杂度，以及确保了插帧之后得到的高帧率视频在时域的平滑性，从而既可以有效提高视频插帧效率，也可以有效提升插帧之后得到的高帧率视频的用户观看体验。
图4为本公开一实施例的视频插帧装置的结构示意图。图4所示的装置40可以用于执行上述图1所示方法实施例的步骤，装置40包括：
第一确定模块41，用于在目标视频中确定多个插帧片段，其中，同一插帧片段中包含的视频帧对应相同的视频场景；
第二确定模块42，用于确定任一插帧片段对应的目标插帧方法；
插帧模块43，用于针对任一插帧片段中包含的视频帧，采用与该插帧片段对应的目标插帧方法进行视频插帧。
在一种可能的实现方式中，目标视频为离线视频；
第一确定模块41包括：
第一确定子模块，用于通过对目标视频进行场景切换检测，确定多个插帧片段，其中，不同插帧片段中包含的视频帧对应不同的视频场景。
在一种可能的实现方式中，目标视频为在线视频；
第一确定模块41包括：
缓存子模块，用于缓存任一插帧片段，其中，该插帧片段中包含的视频帧的数目小于等于第一阈值。
在一种可能的实现方式中，缓存子模块包括：
缓存单元，用于缓存第i个插帧片段；
确定单元，用于确定第i个插帧片段对应的目标插帧方法；
缓存单元，还用于从第i个插帧片段之后的目标视频帧开始，缓存第i+1个插帧片段，其中，目标视频帧为第i个插帧片段之后对应的插帧方法与目标插帧方法不相同的首个视频帧。
在一种可能的实现方式中，第二确定模块42包括：
第二确定子模块，用于针对任一插帧片段，确定该插帧片段中任一视频帧对应的插帧方法，其中，插帧方法用于在视频帧之后插入内插视频帧；
第三确定子模块，用于确定插帧片段中不同插帧方法对应的视频帧的数目；
第四确定子模块，用于将对应的视频帧的数目最多的插帧方法确定为与该插帧片段对应的目标插帧方法。
在一种可能的实现方式中，目标视频为在线视频，装置40还包括：
第三确定模块，用于当第i-1个插帧片段、第i个插帧片段和第i+1个插帧片段分别对应不同的视频场景，且第i个插帧片段中包含的视频帧的数目小于第二阈值时，将第i-1个插帧片段对应的目标插帧方法确定为所述第i个插帧片段对应的目标插帧方法。
在一种可能的实现方式中，插帧方法包括下述至少一种：第一插帧方法和第二插帧方法，其中，第一插帧方法为相邻帧融合法或重复拷贝法，第二插帧方法为光流插帧法。
本公开提供的装置40能够实现图1所示方法实施例中的各个步骤，并达到相同的技术效果，为避免重复，这里不再赘述。
图5示出本公开一实施例的电子设备的结构示意图。如图5所示，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成视频插帧装置。处理器，执行存储器所存放的程序，并具体执行图1所示方法实施例的步骤。
上述如图1所示方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备可执行图1所示方法实施例执行的方法，并实现上述图1所示方法实施例的功能，本说明书实施例在此不再赘述。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中的视频插帧方法，并具体执行图1所示方法实施例的步骤。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种视频插帧方法，其特征在于，包括：
在目标视频中确定多个插帧片段，其中，同一插帧片段中包含的视频帧对应相同的视频场景，其中，所述插帧片段中任一视频帧存在对应的插帧方法，所述插帧方法用于在所述视频帧之后插入内插视频帧；
确定任一插帧片段对应的目标插帧方法；
针对任一插帧片段中包含的视频帧，采用与所述插帧片段对应的目标插帧方法进行视频插帧。
2.根据权利要求1所述的方法，其特征在于，所述目标视频为离线视频；
在目标视频中确定多个插帧片段，包括：
通过对所述目标视频进行场景切换检测，确定所述多个插帧片段，其中，不同插帧片段中包含的视频帧对应不同的视频场景。
3.根据权利要求1所述的方法，其特征在于，所述目标视频为在线视频；
在目标视频中确定多个插帧片段，包括：
缓存任一插帧片段，其中，所述插帧片段中包含的视频帧的数目小于等于第一阈值。
4.根据权利要求3所述的方法，其特征在于，缓存任一插帧片段，包括：
缓存第i个插帧片段；
确定所述第i个插帧片段对应的目标插帧方法；
从所述第i个插帧片段之后的目标视频帧开始，缓存第i+1个插帧片段，其中，所述目标视频帧为所述第i个插帧片段之后未发生场景切换，且对应的插帧方法与所述第i个插帧片段对应的目标插帧方法不相同的首个视频帧。
5.根据权利要求2-4任一项所述的方法，其特征在于，确定任一插帧片段对应的目标插帧方法，包括：
针对任一插帧片段，确定所述插帧片段中任一视频帧对应的插帧方法；
确定所述插帧片段中不同插帧方法对应的视频帧的数目；
将对应的视频帧的数目最多的插帧方法确定为与所述插帧片段对应的目标插帧方法。
6.根据权利要求5所述的方法，其特征在于，所述目标视频为在线视频，所述方法还包括：
当第j-1个插帧片段、第j个插帧片段和第j+1个插帧片段分别对应不同的视频场景，且所述第j个插帧片段中包含的视频帧的数目小于第二阈值时，将所述第j-1个插帧片段对应的目标插帧方法确定为所述第j个插帧片段对应的目标插帧方法。
7.根据权利要求5所述的方法，其特征在于，所述插帧方法包括下述至少一种：第一插帧方法和第二插帧方法，其中，所述第一插帧方法为相邻帧融合法或重复拷贝法，所述第二插帧方法为光流插帧法。
8.一种视频插帧装置，其特征在于，包括：
第一确定模块，用于在目标视频中确定多个插帧片段，其中，同一插帧片段中包含的视频帧对应相同的视频场景，其中，所述插帧片段中任一视频帧存在对应的插帧方法，所述插帧方法用于在所述视频帧之后插入内插视频帧；
第二确定模块，用于确定任一插帧片段对应的目标插帧方法；
插帧模块，用于针对任一插帧片段中包含的视频帧，采用与所述插帧片段对应的目标插帧方法进行视频插帧。
9.根据权利要求8所述的装置，其特征在于，所述目标视频为离线视频；
所述第一确定模块包括：
第一确定子模块，用于通过对所述目标视频进行场景切换检测，确定所述多个插帧片段，其中，不同插帧片段中包含的视频帧对应不同的视频场景。
10.根据权利要求8所述的装置，其特征在于，所述目标视频为在线视频；
所述第一确定模块包括：
缓存子模块，用于缓存任一插帧片段，其中，所述插帧片段中包含的视频帧的数目小于等于第一阈值。
11.根据权利要求10所述的装置，其特征在于，所述缓存子模块包括：
缓存单元，用于缓存第i个插帧片段；
确定单元，用于确定所述第i个插帧片段对应的目标插帧方法；
所述缓存单元，还用于从所述第i个插帧片段之后的目标视频帧开始，缓存第i+1个插帧片段，其中，所述目标视频帧为所述第i个插帧片段之后未发生场景切换，且对应的插帧方法与所述第i个插帧片段对应的目标插帧方法不相同的首个视频帧。
12.根据权利要求9-11任一项所述的装置，其特征在于，所述第二确定模块包括：
第二确定子模块，用于针对任一插帧片段，确定所述插帧片段中任一视频帧对应的插帧方法；
第三确定子模块，用于确定所述插帧片段中不同插帧方法对应的视频帧的数目；
第四确定子模块，用于将对应的视频帧的数目最多的插帧方法确定为与所述插帧片段对应的目标插帧方法。
13.根据权利要求12所述的装置，其特征在于，所述目标视频为在线视频，所述装置还包括：
第三确定模块，用于当第j-1个插帧片段、第j个插帧片段和第j+1个插帧片段分别对应不同的视频场景，且所述第j个插帧片段中包含的视频帧的数目小于第二阈值时，将所述第j-1个插帧片段对应的目标插帧方法确定为所述第j个插帧片段对应的目标插帧方法。
14.根据权利要求12所述的装置，其特征在于，所述插帧方法包括下述至少一种：第一插帧方法和第二插帧方法，其中，所述第一插帧方法为相邻帧融合法或重复拷贝法，所述第二插帧方法为光流插帧法。
15.一种视频插帧装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置执行权利要求1-7任一项所述的视频插帧方法。
16.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-7任一项所述的视频插帧方法。
CN201811482755.4A 2018-12-05 2018-12-05 一种视频插帧方法和装置 Active CN111277895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811482755.4A CN111277895B (zh) 2018-12-05 2018-12-05 一种视频插帧方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811482755.4A CN111277895B (zh) 2018-12-05 2018-12-05 一种视频插帧方法和装置

Publications (2)

Publication Number Publication Date
CN111277895A CN111277895A (zh) 2020-06-12
CN111277895B true CN111277895B (zh) 2022-09-27

Family

ID=71001414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811482755.4A Active CN111277895B (zh) 2018-12-05 2018-12-05 一种视频插帧方法和装置

Country Status (1)

Country Link
CN (1) CN111277895B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111741266B (zh) * 2020-06-24 2022-03-15 北京梧桐车联科技有限责任公司 图像显示方法、装置、车载设备及存储介质
CN112073595A (zh) * 2020-09-10 2020-12-11 Tcl通讯（宁波）有限公司 图像处理方法、装置、存储介质及移动终端
CN114363700A (zh) * 2020-10-12 2022-04-15 阿里巴巴集团控股有限公司 数据处理方法、装置、存储介质及计算机设备
CN112866612B (zh) * 2021-03-10 2023-02-21 北京小米移动软件有限公司 插帧方法、装置、终端及计算机可读存储介质
CN113691758A (zh) * 2021-08-23 2021-11-23 深圳市慧鲤科技有限公司 插帧方法和装置、设备、介质
CN113837136B (zh) * 2021-09-29 2022-12-23 深圳市慧鲤科技有限公司 视频插帧方法及装置、电子设备和存储介质
CN114095754B (zh) * 2021-11-17 2024-04-19 维沃移动通信有限公司 视频处理方法、装置及电子设备
CN114554285A (zh) * 2022-02-25 2022-05-27 京东方科技集团股份有限公司 视频插帧处理方法、视频插帧处理装置和可读存储介质
CN115460436B (zh) * 2022-08-03 2023-10-20 北京优酷科技有限公司 视频处理方法、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867759A (zh) * 2010-05-19 2010-10-20 西安交通大学 基于场景检测的自适应运动补偿帧频提升方法
CN102665061A (zh) * 2012-04-27 2012-09-12 中山大学 一种基于运动矢量处理的帧率上转换方法及其装置
CN103702059A (zh) * 2013-12-06 2014-04-02 乐视致新电子科技（天津）有限公司 一种帧率转换控制方法及装置
CN105578207A (zh) * 2015-12-18 2016-05-11 无锡天脉聚源传媒科技有限公司 一种视频帧率转换方法及装置
CN105991955A (zh) * 2015-03-20 2016-10-05 联发科技股份有限公司 内容自适应帧率转换方法以及相关装置
CN107707916A (zh) * 2017-09-30 2018-02-16 河海大学 一种基于场景切变检测的帧率转换算法
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242850B2 (en) * 2001-02-23 2007-07-10 Eastman Kodak Company Frame-interpolated variable-rate motion imaging system
AU2005267171A1 (en) * 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
JP5245783B2 (ja) * 2008-12-09 2013-07-24 富士通株式会社 フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置
US10224055B2 (en) * 2015-02-10 2019-03-05 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image processing method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867759A (zh) * 2010-05-19 2010-10-20 西安交通大学 基于场景检测的自适应运动补偿帧频提升方法
CN102665061A (zh) * 2012-04-27 2012-09-12 中山大学 一种基于运动矢量处理的帧率上转换方法及其装置
CN103702059A (zh) * 2013-12-06 2014-04-02 乐视致新电子科技（天津）有限公司 一种帧率转换控制方法及装置
CN105991955A (zh) * 2015-03-20 2016-10-05 联发科技股份有限公司 内容自适应帧率转换方法以及相关装置
CN105578207A (zh) * 2015-12-18 2016-05-11 无锡天脉聚源传媒科技有限公司 一种视频帧率转换方法及装置
CN107707916A (zh) * 2017-09-30 2018-02-16 河海大学 一种基于场景切变检测的帧率转换算法
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Frame Rate Conversion Based on Scene Change Detection";Di Zhang等;《2017 International Conference on Computer Technology, Electronics and Communication (ICCTEC)》;20171221;全文 *
"适用于高清视频的帧率上变换算法研究与实现";韩睿;《中国博士学位论文全文数据库》;20150415;全文 *

Also Published As

Publication number Publication date
CN111277895A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111277895B (zh) 一种视频插帧方法和装置
CN108495164B (zh) 音视频同步处理方法及装置、计算机装置及存储介质
CN110213479B (zh) 一种视频拍摄防抖方法和装置
EP3509305A1 (en) Intra-prediction video coding method and device
CN111225171B (zh) 一种视频录制方法、装置、终端设备及计算机存储介质
CN111277780B (zh) 一种改善插帧效果的方法和装置
US9998513B2 (en) Selecting bitrate to stream encoded media based on tagging of important media segments
CN111415371B (zh) 一种稀疏光流确定方法和装置
CN108924574B (zh) 录播系统中的丢包处理方法、装置、设备及存储介质
CN110996171A (zh) 视频类任务的训练数据生成方法、装置及服务器
CN113099272A (zh) 视频处理方法及装置、电子设备和存储介质
JP2021122123A (ja) 画像コーディング装置、画像デコーディング装置、及び画像処理機器
CN112929728A (zh) 一种视频渲染方法、装置、系统、电子设备及存储介质
CN111277863B (zh) 一种光流插帧方法和装置
US10771733B2 (en) Method and apparatus for processing video playing
US10674188B2 (en) Playback apparatus, method of controlling playback apparatus, playback method and server apparatus
CN111277815A (zh) 一种插帧质量评估方法和装置
CN112822552B (zh) 多媒体资源加载方法、装置、设备及计算机存储介质
CN110855645B (zh) 流媒体数据播放方法、装置
US20160241770A1 (en) Ip camera and video playback method thereof
CN111314777B (zh) 视频生成方法及装置、计算机存储介质、电子设备
US11463493B2 (en) Method and apparatus for playing media file
CN111954068B (zh) 用于视频清晰度切换的方法、设备及电子设备
CN111669539A (zh) 一种视频播放方法、装置及电子设备
CN111083413B (zh) 一种图像显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant