CN113015007A - 视频插帧方法、装置及电子设备 - Google Patents

视频插帧方法、装置及电子设备 Download PDF

Info

Publication number
CN113015007A
CN113015007A CN202110121129.8A CN202110121129A CN113015007A CN 113015007 A CN113015007 A CN 113015007A CN 202110121129 A CN202110121129 A CN 202110121129A CN 113015007 A CN113015007 A CN 113015007A
Authority
CN
China
Prior art keywords
video
frame
sub
frames
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110121129.8A
Other languages
English (en)
Other versions
CN113015007B (zh
Inventor
李亚毓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110121129.8A priority Critical patent/CN113015007B/zh
Publication of CN113015007A publication Critical patent/CN113015007A/zh
Priority to EP22745155.6A priority patent/EP4287633A4/en
Priority to PCT/CN2022/073205 priority patent/WO2022161280A1/zh
Application granted granted Critical
Publication of CN113015007B publication Critical patent/CN113015007B/zh
Priority to US18/355,358 priority patent/US20230362328A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

本申请公开了一种视频插帧方法、装置及电子设备，属于通信技术领域，能够解决如何实现对高分辨率视频插帧的问题。该方法包括：在第一视频的分辨率大于预设分辨率的情况下，按照目标规则处理该第一视频的每个视频帧，得到第二视频，该第二视频的分辨率小于或等于预设分辨率；对该第二视频进行插帧处理，得到第三视频；根据该目标规则和该第三视频，生成第四视频，该第四视频与该第一视频的分辨率相等，该第四视频与该第三视频的帧数相同。该方法应用于对高分辨率视频插入视频帧的场景中。

Description

视频插帧方法、装置及电子设备
技术领域
本申请属于通信技术领域，具体涉及一种视频插帧方法、装置及电子设备。
背景技术
通常，可以采用插帧技术在相邻视频帧之间插入一个或多个中间帧，将视频从低帧率转换为高帧率，从而使得视频图像观看起来更加平滑，进而提高了视频图像的视觉效果。
目前，芯片平台商会提供基于硬件的视频插帧算法，但是考虑到硬件功耗和硬件性能等多种因素，可能会导致视频插帧算法无法支持高分辨率的视频。因此，如何实现对高分辨率视频的插帧成为亟待解决的技术问题。
发明内容
本申请实施例的目的是提供一种视频插帧方法、装置及电子设备，能够解决如何实现对高分辨率视频插帧的问题。
为了解决上述技术问题，本申请实施例是这样实现的：
第一方面，本申请实施例提供了一种视频插帧方法。该方法包括：在第一视频的分辨率大于预设分辨率的情况下，按照目标规则处理该第一视频的每个视频帧，得到第二视频，该第二视频的分辨率小于或等于预设分辨率；对该第二视频进行插帧处理，得到第三视频；根据该目标规则和该第三视频，生成第四视频，该第四视频与该第一视频的分辨率相等，该第四视频与该第三视频的帧数相同。
第二方面，本申请实施例提供了一种视频插帧装置。该视频插帧装置包括确定模块和处理模块。处理模块，用于在确定模块确定第一视频的分辨率大于预设分辨率的情况下，按照目标规则处理该第一视频的每个视频帧，得到第二视频，该第二视频的分辨率小于或等于预设分辨率；并对该第二视频进行插帧处理，得到第三视频；以及根据该目标规则和该第三视频，生成第四视频，该第四视频与该第一视频的分辨率相等，该第四视频与该第三视频的帧数相同。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令，该程序或指令被该处理器执行时实现如第一方面提供的视频插帧方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面提供的视频插帧方法的步骤。
第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面提供的视频插帧方法。
在本申请实施例中，在确定第一视频的分辨率大于预设分辨率的情况下，可以按照目标规则处理该第一视频的每个视频帧，得到小于或等于预设分辨率的第二视频；并对该第二视频进行插帧处理，得到第三视频；以及根据该目标规则和该第三视频，生成与该第一视频的分辨率相等、与该第三视频的帧数相同的第四视频。通过该方案，对于分辨率较高的原始视频，通过按照目标规则降低原始视频的分辨率，可以实现对视频的插帧处理；然后，可以再次参照目标规则，将低分辨率的插帧视频还原为高分率的插帧视频，从而实现了对高分辨率视频的插帧。
附图说明
图1为本申请实施例提供的一种视频插帧方法的示意图之一；
图2为本申请实施例提供的几种视频帧的示意图之一；
图3为本申请实施例提供的一种视频插帧方法的示意图之二；
图4为本申请实施例提供的对视频帧切割处理的示意图；
图5为本申请实施例提供的对高分辨率视频插帧的示意图之一；
图6为本申请实施例提供的对高分辨率视频插帧的示意图之二；
图7为本申请实施例提供的一种视频插帧方法的示意图之三；
图8为本申请实施例提供的对视频帧压缩处理的示意图；
图9为本申请实施例提供的对高分辨率视频插帧的示意图之三；
图10为本申请实施例提供的视频插帧装置的结构示意图；
图11为本申请实施例提供的电子设备的硬件示意图之一；
图12为本申请实施例提供的电子设备的硬件示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
目前，现有技术提供了基于两种视频插帧算法：
一种是芯片平台商会提供基于硬件的视频插帧算法，但是考虑到硬件功耗和硬件性能等多种因素，可能导致无法支持高分辨率的视频。
另一种是视频平台商会提供基于软件的视频插帧算法，但是为了适配更多的芯片平台，可能会按照较性能低的芯片平台去设计视频插帧算法，从而导致无法合理使用硬件资源，进而使得视频插帧效果较差。
假设芯片平台商或视频平台商提供的视频插帧算法限制于预设分辨率内，当用户想要插帧的第一视频超过了该预设分辨率时，现有技术的视频插帧算法无法实现对第一视频的插帧。为了解决上述问题，本申请实施例提供一种视频插帧方法，在确定第一视频的分辨率大于预设分辨率的情况下，可以按照目标规则处理该第一视频的每个视频帧，得到小于或等于预设分辨率的第二视频；并采用现有技术提供的视频插帧算法，对该第二视频进行插帧处理，得到第三视频；以及根据该目标规则和该第三视频，生成与该第一视频的分辨率相等、与该第三视频的帧数相同的第四视频。通过该方案，对于分辨率较高的原始视频，通过按照目标规则降低原始视频的分辨率，可以实现对视频的插帧处理；然后，可以再次参照目标规则，将低分辨率的插帧视频还原为高分率的插帧视频，从而实现了对高分辨率视频的插帧。
下面结合各个附图，通过具体的实施例及其应用场景对本申请实施例提供的视频插帧方法、装置及电子设备进行详细地说明。
如图1所示，本申请实施例提供一种视频插帧方法。该方法可以包括下述的S101至S103。下面以执行主体为电子设备为例对该方法进行示例性说明。
S101、在第一视频的分辨率大于预设分辨率的情况下，电子设备按照目标规则处理该第一视频的每个视频帧，得到第二视频，该第二视频的分辨率小于或等于预设分辨率。
需要说明的是，上述预设分辨率可以为芯片平台商或视频平台商提供的视频插帧算法所支持最大分辨率。可以理解的是，对于不同的芯片平台或视频平台，其提供的视频插帧算法所支持最大分辨率可能有所不同，相应地，预设分辨率也可能会有所不同。可以根据实际使用需求确定，本申请实施例不作限定。
在用户想要在电子设备中保存与第一视频对应的插帧视频的情况下，用户可以点击与第一视频对应的插帧控件，从而电子设备可以先确定第一视频的分辨率是否大于预设分辨率，即，判断第一视频的分辨率是否为超过芯片平台商或视频平台商限制的高分辨视频。若确定第一视频的分辨率大于预设分辨率，则可以采用本申请实施例提供的视频插帧方法对第一视频插帧，即执行S101至S103；若确定第一视频的分辨率小于或等于预设分辨率，则可以采用现有技术的视频插帧算法对第一视频插帧，此处不予赘述。
可选地，第一视频可以为以下任一项：从服务器下载的视频，其他设备分享至电子设备的视频，电子设备本地存储的视频，电子设备采集的视频或其他任意可能的视频等，本申请实施例不作限定。
可选地，上述预设分辨率可以包括预设水平像素和预设垂直像素。在通常情况下，第一视频的各个视频帧的水平像素相等，第一视频的各个视频帧的垂直像素相等，因此，上述“第一视频的分辨率大于预设分辨率”可以包括以下至少一项：
第一视频的每个视频帧的水平像素大于预设水平像素；
第一视频的每个视频帧的垂直像素大于预设垂直像素。
具体地，第一视频的分辨率大于预设分辨率分为下述3种情况：
情况1、第一视频的每个视频帧的水平像素大于预设水平像素、第一视频的每个视频帧的垂直像素小于预设垂直像素。
情况2、第一视频的每个视频帧的水平像素小于预设水平像素、第一视频的每个视频帧的垂直像素大于预设垂直像素。
情况3、第一视频的每个视频帧的水平像素大于预设水平像素、第一视频的每个视频帧的垂直像素大于预设垂直像素。
示例性地，假设预设水平像素为540p，预设垂直像素为720p。
如图2中的(a)所示，视频帧1的水平像素为540p，视频帧1的垂直像素为1080p，由于视频帧1的水平像素等于预设水平像素，且视频帧1的垂直像素大于预设垂直像素，因此，可以确定视频帧1的分辨率大于预设分辨率。
如图2中的(b)所示，视频帧2的水平像素为720p，视频帧2的垂直像素为540p，由于视频帧2的水平像素大于预设水平像素，且视频帧2的垂直像素小于预设垂直像素，因此，可以确定视频帧2的分辨率大于预设分辨率。
如图2中的(c)所示，视频帧3的水平像素为720p，视频帧3的垂直像素为1080p，由于视频帧3的水平像素大于预设水平像素，且视频帧3的垂直像素大于预设垂直像素，因此，可以确定视频帧3的分辨率大于预设分辨率。
需要说明的是，本申请实施例中，预设水平像素和预设垂直像素可以相等；或者，预设水平像素大于预设垂直像素；或者，预设水平像素小于预设垂直像素。可以根据实际使用需求确定，本申请实施例不作限定。
可选地，上述目标规则可以包括以下至少一项：
a、视频帧切割规则，指将一个视频帧切割为多个子帧时的切割规则。
b、视频帧冗余块压缩规则，指对一个视频帧中的冗余块进行压缩的规则。
对于这两种规则可以参照下述实施例中的具体描述，此处不予赘述。
可以理解的是，通过按照目标规则处理第一视频的每个视频帧，可以降低每个视频帧的分辨率，从而得到小于或等于预设分辨率的第二视频，因此，第二视频的分辨率小于第一视频的分辨率。
S102、电子设备对该第二视频进行插帧处理，得到第三视频。
由于第二视频的分辨率小于或等于预设分辨率，即第二视频的分辨率小于芯片平台商或视频平台商提供的视频插帧算法所支持最大分辨率。因此可以现有技术提供的视频插帧算法对该第二视频进行插帧处理，从而得到第三视频。
需要说明的是，第三视频与第二视频的分辨率相等。第三视频的帧数等于第二视频的帧数和插入的视频帧的帧数；在对第二视频插帧处理过程中，在相邻的两帧视频之间插入的视频帧数可以是一帧或多帧，可以根据实际使用需求确定，本申请实施例不作限定。
S103、电子设备根据该目标规则和该第三视频，生成第四视频，该第四视频与该第一视频的分辨率相等，该第四视频与该第三视频的帧数相同。
一种可能的实现方式为，若目标规则为视频帧切割规则，则第二视频被切换为多个第二子视频；在对多个第二子视频插帧处理之后，得到多个第三子视频；之后，可以按照视频帧切割规则，对多个第三子视频逐帧拼接处理，将第三视频还原为高分辨率的第四视频。
另一种可能的实现方式为，若目标规则为视频帧冗余块压缩规则，则第一视频的每个视频帧被压缩处理，得到一个低分辨率的第二视频；在对第二视频插帧处理得到第三视频之后，可以根据对第二视频的插帧处理方式，对高分辨的第一视频中的相邻视频帧中的冗余块进行插帧处理，从而得到高分辨率的第四视频。
对于这两种可能的实现方式可以参照下述实施例中的具体描述，此处不予赘述。
本申请实施例提供一种视频插帧方法，在确定第一视频的分辨率大于预设分辨率的情况下，可以按照目标规则处理该第一视频的每个视频帧，得到小于或等于预设分辨率的第二视频；并对该第二视频进行插帧处理，得到第三视频；以及根据该目标规则和该第三视频，生成与该第一视频的分辨率相等、与该第三视频的帧数相同的第四视频。通过该方案，对于分辨率较高的原始视频，通过按照目标规则降低原始视频的分辨率，可以实现对视频的插帧处理；然后，可以再次参照目标规则，将低分辨率的插帧视频还原为高分率的插帧视频，从而实现了对高分辨率视频的插帧。
为了更清楚地示意本申请实施例，下面将通过下述的实施例一和实施例二对本申请提供的视频插帧方法进行示例性地说明。
实施例一
在目标规则为视频帧切割规则的情况下，第二视频可以包括M个第二子视频，即，第二视频可以被切割为M个子视频；相应地，第三视频可以包括M个第三子视频。其中，M为大于或等于2的整数。
结合图1，如图3所示，上述S101可以通过下述的S101a和S101b实现；上述S102可以通过下述的S102a实现；上述S103可以通过下述的S103a实现。
S101a、在第一视频的分辨率大于预设分辨率的情况下，电子设备按照视频帧切割规则，将第一视频的每个视频帧切割为M个子帧。
本申请实施例中，M个子帧中的每个子帧的水平像素小于或等于预设水平像素，M个子帧中的每个子帧的垂直像素小于或等于预设垂直像素。
示例性地，假设预设水平像素为540p，预设垂直像素为720p。
如图4中的(a)所示，视频帧1的水平像素为540p，视频帧1的垂直像素为1080p，由于视频帧1的水平像素等于预设水平像素，视频帧1的垂直像素大于预设垂直像素，因此，需要对视频帧1横向切割。
图4中的(b)提供了一种视频帧切割方式。如图4中的(b)所示，以垂直像素的中点为分割点，将视频帧1横切为两个大小相同的子帧，子帧a和子帧b的水平像素均为540p，子帧a和子帧b的垂直像素均为540p。
图4中的(c)提供了另一种视频帧切割方式。如图4中的(c)所示，以预设垂直像素为分割点，将视频帧1横切为子帧c和子帧d。其中，子帧c的水平像素为540p，子帧c的垂直像素为360p；子帧d的水平像素为540p，子帧d的垂直像素为720p。
S101b、电子设备按播放顺序将与第一视频的每个视频帧对应的第i个子帧组合，得到第i个第二子视频。
其中，i依次取值为1至M。
S102a、电子设备对第i个第二子视频进行插帧处理，得到第i个第三子视频。
S103a、电子设备根据视频帧切割规则，将与M个第三子视频对应的M个第j个视频帧依次拼接，作为第四视频的第j个视频帧；并依次组合第四视频的所有视频帧，得到第四视频。
其中，j等于第一视频的帧数与插入的中间视频帧的帧数之和。
下面以预设水平像素为540p，预设垂直像素为720p进行示例性说明。
如图5中的(a)所示，第一视频包括视频帧1至视频帧N，这N个视频帧的每个视频帧被横切为两个大小相同的子帧，每个子帧的水平像素为540p，每个子帧的垂直像素均为540p。
如图5中的(b)所示，电子设备可以按照视频的播放顺序，将子帧a1至子帧aN组合为第一个子视频，并将子帧b1至子帧bN组合为第二个子视频，即，第一视频被切割为两个帧数相同、播放时长相同的子视频。然后，对于每个子视频，电子设备可以在每相邻的两个子帧之间插入至少一个中间帧，从而得到一个第三子视频。
如图5中的(c)所示，电子设备可以视频帧切割规则，将第一子视频的子帧a1和第二子视频的子帧b1拼接为视频帧1，将第一子视频的中间子帧c1和第二子视频的子帧d1拼接为中间视频帧1，将第一子视频的子帧a2和第二子视频的子帧b2拼接为视频帧2，将第一子视频的中间子帧c2和第二子视频的子帧d2拼接为中间视频帧2……直至将第一子视频的子帧aN和第二子视频的子帧bN拼接为视频帧N。之后，电子设备组合视频帧1、中间视频帧1、视频帧2、中间视频帧2、……视频帧N，从而得到与第一视频分辨率相同、与每个第三子视频的帧数相同的第四视频。
本申请实施例提供的视频插帧方法，通过采用“视频切割预处理-插帧算法-视频拼接后处理”的思路，可以先将高分辨率视频切割成低分辨率视频，再将低分辨率视频送进插帧算法保存，最后将插帧保存的多个视频逐帧处理拼接成一个高分辨率视频，绕开现有视频插帧算法对视频分辨率的限制，从而解决高分辨率视频不能插帧保存的问题。
可选地，如果视频帧被直接切割为多个子帧后再对子帧拼接，有可能会使得切割处的画面会显得很尖锐，因此可以考虑多切割一份跨越切割线的低分辨率的视频，并在后处理拼接时利用多切割的视频做平滑处理。
假设与第一视频的每个视频帧对应的M个子帧可以包括N个第一子帧和M-N个第二子帧，即第一视频的每个视频帧被切割为N个第一子帧和M-N个第二子帧。其中，该N个第一子帧的拼接图像为第一视频的一个视频帧，一个第二子帧与两个相邻的第一子帧中的每个第一子帧均存在图像重叠区域。在这种情况下，上述S101a可以通过下述的S101a1实现；上述S103可以通过下述的S103a1和S103a2实现。
S101a1、在第一视频的分辨率大于预设分辨率的情况下，电子设备按照视频帧切割规则，将第一视频的每个视频帧切割为N个第一子帧和M-N个第二子帧。
对于将第一视频的每个视频帧切割为N个第一子帧和M-N个第二子帧的具体实施方式，可以参照实施例中对切割子帧的相关描述，此处不再赘述。
本申请实施例中，M-N小于N。
可选的，M-N＝N-1，即第二子帧的数量比第一子帧的数量少一个。
下面以第一视频包括视频帧1和视频帧2，N＝2，M-N＝1为例进行说明。示例性地，如图6中的(a)所示，电子设备可以按照预设的视频帧切割规则，将视频帧1切割为子帧a1、子帧b1和子帧c1，将视频帧2切割为子帧a2、子帧b2和子帧c3。其中，子帧a1和子帧b1的拼接图像为视频帧1，子帧a2和子帧b2的拼接图像为视频帧2，子帧c1跨越子帧a1和子帧b1的分割线、且与子帧a1和子帧b1分别存在重叠图像，子帧c2跨越子帧a2和子帧b2的分割线、且与子帧a2和子帧b2分别存在重叠图像。
S101b、电子设备按播放顺序将与第一视频的每个视频帧对应的第i个子帧组合，得到第i个第二子视频。
S102a、电子设备对第i个第二子视频插帧处理，得到第i个第三子视频。
在按照如图6中的(a)所示的方案，将第一视频的每个视频帧切割为2个第一子帧和1个第二子帧之后，电子设备可以将子帧a1和子帧a2组合为第1个第二子视频，将子帧b1和子帧b2组合为第2个第二子视频，将子帧c1和子帧c2组合为第3个第二子视频。然后，如图6中的(b)所示，电子设备可以在子帧a1和子帧a2之间插入中间帧，在子帧b1和子帧b2之间插入中间帧，在子帧c1和子帧c2之间插入中间帧。
S103a1、电子设备根据视频帧切割规则，将与N个第三子视频对应的N个第j个视频帧依次拼接，得到第j个初始拼接帧，该N个第三子视频为对该N个第一子帧插帧处理后得到的视频帧。
在按照如图6中的(b)所示的方案，对3个第二子视频进行插帧处理之后，如图6中的(c)所示，对第1个第二子视频和第2个第二子视频中的子帧进行拼接，例如，将子帧a1和子帧b1拼接得到第1个初始拼接帧，将子帧c1和子帧d1拼接得到第2个初始拼接帧，将子帧a2和子帧b2拼接得到第3个初始拼接帧。
S103a2、电子设备采用与M-N个第三子视频对应的M-N个第j个视频帧，对该第j个初始拼接帧中的图像重叠区域进行平滑处理，得到第四视频的第j个视频帧，并依次组合第四视频的所有视频帧，得到第四视频。该M-N个第三子视频为对M-N个第二子帧插帧处理后得到的视频。
在按照如图6中的(c)所示的方案获取3个初始拼接帧之后，如图6中的(d)所示，电子设备可以采用子帧c1对第1个初始拼接帧中的图像重叠区域进行平滑处理，得到第四视频的第1个视频帧；采用子帧e1对第2个初始拼接帧中的图像重叠区域进行平滑处理，得到第四视频的第2个视频帧；采用子帧c2对第3个初始拼接帧中的图像重叠区域进行平滑处理，得到第四视频的第3个视频帧。之后，电子设备可以组合第1个视频帧、第2个视频帧、第3个视频帧，从而得到第四视频。如此，最终获取的第四视频与初始的第一视频的分辨率相同，因此本申请实施例实现了对高分辨率的第一视频的插帧处理，并且，利用多切割的视频做平滑处理使得最终获取的第四视频更为平滑。
实施例二
第一视频的每帧视频帧上有很多区域在一定范围内是非常接近的内容，因此，这一小部分画面可以用画面上更小的一块内容甚至一个像素点来表示。对此，本申请实施例提供了基于视频帧冗余块压缩规则的视频插帧方法。
结合图1，如图7所示，在目标规则为视频帧冗余块压缩规则的情况下，上述S101可以通过下述的S101c和S101d实现；上述S102可以通过下述的S102b实现；上述S103可以通过下述的S103b和S103c实现。
S101c、在第一视频的分辨率大于预设分辨率的情况下，电子设备按照视频帧冗余块压缩规则，对第一视频的每个视频帧中的冗余块进行图像压缩处理，得到压缩视频帧。
其中，压缩视频帧的水平像素小于或等于预设水平像素。压缩视频帧的垂直像素小于或等于预设垂直像素。
需要说明的是，冗余块是指视频帧包括相似或相同内容的区域图像。在视频帧的一个冗余块中，各个像素点的像素点的差值小于或等于预设值。
可选地，上述视频帧冗余块压缩规则包括以下至少一项：压缩前的冗余块与压缩后的冗余块的像素点的数量关系、压缩前的冗余块与压缩后的冗余块的形块关系、压缩后的冗余块与压缩前的冗余块的相对位置关系、压缩前的冗余块的像素点的像素值、压缩后的冗余块的像素点的像素值等。
示例性地，电子设备可以逐帧对第一视频的视频帧中的冗余块进行分析，以确定每个视频帧比较接近的小块。以一个原始视频帧包括如图8中的(a)所示的冗余块a1至冗余块a12为例，电子设备可以从冗余块a1中提取区域b1、从冗余块a2中提取区域b2……从冗余块a12中提取区域b12。之后，如图8中的(b)所示，将区域b1、区域b2……区域b12组合为一个压缩视频帧，该压缩视频帧的分辨率小于或等于原始视频帧的分辨率。
S101d、电子设备按照时间顺序依次组合各个压缩视频帧，得到第二视频。
在获取与第一视频的第1个视频帧对应的一个压缩视频帧之后，电子设备可以按照第一视频的视频帧的播放顺序，依次获取与第一视频的第2个视频帧对应的一个压缩视频帧……与第一视频的最后1个视频帧对应的一个压缩视频帧。按照视频帧播放顺序，依次组合这些压缩视频帧，从而得到第二视频。
S102b、电子设备在第二视频的每两个相邻的压缩视频帧之间插入中间视频帧，得到第三视频。
由于压缩视频帧的分辨率小于或等于预设分辨率，即小于芯片平台商或视频平台商提供的视频插帧算法所支持最大分辨率。因此可以现有技术提供的视频插帧算法对该第二视频进行插帧处理，从而得到第三视频。
以第一视频包括如图9中的(a)所示的视频帧1和视频帧2为例。如图9中的(b)所示，电子设备可以按照如图8提供的视频帧压缩规则，分别获取与视频帧1对应的压缩视频帧1、与视频帧2对应的压缩视频帧2。
在对压缩视频帧1和压缩视频帧2插帧处理时，可以根据压缩视频帧1的第t个压缩冗余块和压缩视频帧2的第t个压缩冗余块，确定压缩中间视频帧1的第t个子图像。例如，如图9中的(c)所示，根据压缩视频帧1的第一子图像b1和压缩视频帧2的第二子图像b1，可以确定压缩中间视频帧1的子图像b1，并将确定的子图像b1、子图像b2……子图像b12拼接为压缩中间视频帧1。之后，将压缩视频帧1、压缩中间视频帧1和压缩视频帧2合成为第三视频。
S103b、电子设备按照视频帧冗余块压缩规则和目标插入方式，根据第一视频的两个相邻的视频帧中对应的冗余块确定一个子图像，并将该一个子图像作为两个相邻的视频帧的中间视频帧的部分图像。
其中，目标插入方式为在第一压缩视频帧的第一子图像和第二压缩视频帧的第二子图像之间插入中间视频帧的部分图像的方式。第一子图像和第二子图像为对两个相邻的视频帧中对应的冗余块压缩后的图像。
S103c、在获取第一视频的每两个相邻的视频帧之间插入的中间视频帧之后，电子设备依次组合各个视频帧得到第四视频。
如图9中的(d)所示，电子设备可以按照根据压缩视频帧1的压缩冗余块b1和压缩视频帧2的压缩冗余块b1确定压缩中间视频帧1的子图像b1的插入方式，根据第一视频的视频帧1的冗余块a1和第一视频的视频帧2的冗余块a1，将确定的子图像a1作为中间视频帧1的一个子图像。获取子图像a1、子图像a2……子图像a12拼接为中间视频帧1，如此实现了在第一视频的视频帧1和视频帧2之间插入中间视频帧1。
本发明实施例中，通过将高分辨率视频进行冗余信息预处理，能够降低原始视频分辨率，并将预处理后的视频送进平台插帧算法中，得到插帧处理后的视频内容；最后软件插帧算法可以利用这些信息，对原始视频上的冗余部分进行同样的处理，从而达到原始视频的整个帧画面都能够通过平台插帧算法处理，相较于其他软件插帧算法，这种方式能够利用平台插帧算法的结果，从而能够获取到更好的插帧效果，进而达到改善软件插帧算法性能的目的。
需要说明的是，本申请实施例提供的视频插帧方法，执行主体可以为视频插帧装置，或者该视频插帧装置中的用于执行视频插帧方法的控制模块。本申请实施例中以视频插帧装置执行视频插帧方法为例，说明本申请实施例提供的视频插帧装置。
如图10所示，本申请实施例提供一种视频插帧装置200。该视频插帧装置包括确定模块201和处理模块202。
处理模块202，可以用于在确定模块201确定第一视频的分辨率大于预设分辨率的情况下，按照目标规则处理该第一视频的每个视频帧，得到第二视频，该第二视频的分辨率小于或等于预设分辨率；并对该第二视频进行插帧处理，得到第三视频；以及根据该目标规则和该第三视频，生成第四视频。该第四视频与该第一视频的分辨率相等，该第四视频与该第三视频的帧数相同。
可选地，预设分辨率包括预设水平像素和预设垂直像素。第一视频的分辨率大于预设分辨率，包括以下至少一项：
第一视频的每个视频帧的水平像素大于预设水平像素；
第一视频的每个视频帧的垂直像素大于预设垂直像素。
可选地，目标规则为视频帧切割规则，第二视频包括M个第二子视频，第三视频包括M个第三子视频，M为大于或等于2的整数。处理模块202，具体可以用于：
按照视频帧切割规则，将第一视频的每个视频帧切割为M个子帧；并按播放顺序将与该第一视频的每个视频帧对应的第i个子帧组合，得到第i个第二子视频，i依次取值为1至M；
对第i个第二子视频进行插帧处理，得到第i个第三子视频；
根据视频帧切割规则，将与M个第三子视频对应的M个第j个视频帧依次拼接，作为第四视频的第j个视频帧，并依次组合第四视频的所有视频帧得到第四视频，j为正整数；
其中，M个子帧中的每个子帧的水平像素小于或等于水平像素，M个子帧中的每个子帧的垂直像素小于或等于预设垂直像素。
可选地，与第一视频的每个视频帧对应的M个子帧包括N个第一子帧和M-N个第二子帧，该N个第一子帧的拼接图像为第一视频的一个视频帧，一个第二子帧与两个相邻的第一子帧中的每个第一子帧均存在图像重叠区域。处理模块202，具体可以用于：
根据视频帧切割规则，将与N个第三子视频对应的N个第j个视频帧依次拼接，得到第j个初始拼接帧；
采用与M-N个第三子视频对应的M-N个第j个视频帧，对第j个初始拼接帧中的图像重叠区域进行平滑处理，得到第四视频的第j个视频帧；
其中，N个第三子视频为对N个第一子帧插帧处理后得到的视频帧M-N个第三子视频为对M-N个第二子帧插帧处理后得到的视频。
可选地，目标规则为视频帧冗余块压缩规则。处理模块202，具体可以用于：
按照视频帧冗余块压缩规则，对第一视频的每个视频帧中的冗余块进行图像压缩处理，得到压缩视频帧，并按照时间顺序依次组合各个压缩视频帧，得到第二视频；其中，冗余块中的各个像素点的像素值的差值小于或等于预设值，压缩视频帧的水平像素小于或等于预设水平像素，压缩视频帧的垂直像素小于或等于预设垂直像素；
在第二视频的每两个相邻的压缩视频帧之间插入中间视频帧，得到第三视频；
按照视频帧冗余块压缩规则和目标插入方式，根据第一视频的两个相邻的视频帧中对应的冗余块确定一个子图像，并将该一个子图像作两个相邻的视频帧的中间视频帧的部分图像；
在获取第一视频的每两个相邻的视频帧之间插入的中间视频帧之后，依次组合各个视频帧得到第四视频；
其中，目标插入方式为在第一压缩视频帧的第一子图像和第二压缩视频帧的第二子图像之间插入中间视频帧的部分图像的方式，第一子图像和第二子图像为对两个相邻的视频帧中对应的冗余块压缩后的图像。
本申请实施例提供一种视频插帧装置，对于分辨率较高的原始视频，通过按照目标规则降低原始视频的分辨率，可以实现对视频的插帧处理；然后，可以再次参照目标规则，将低分辨率的插帧视频还原为高分率的插帧视频，从而实现了对高分辨率视频的插帧。
本申请实施例中的视频插帧装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性地，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(networkattached storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的视频插帧装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的视频插帧装置能够实现图1至图9的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选的，如图11所示，本申请实施例还提供一种电子设备10，包括处理器11，存储器12，存储在存储器12上并可在处理器11上运行的程序或指令，该程序或指令被处理器11执行时实现上述视频插帧方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图12为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图12中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
处理器1010，可以用于：在确定第一视频的分辨率大于预设分辨率的情况下，按照目标规则处理该第一视频的每个视频帧，得到第二视频，该第二视频的分辨率小于或等于预设分辨率；并对该第二视频进行插帧处理，得到第三视频；以及根据该目标规则和该第三视频，生成第四视频。其中，该第四视频与该第一视频的分辨率相等，该第四视频与该第三视频的帧数相同。
可选地，预设分辨率包括预设水平像素和预设垂直像素。第一视频的分辨率大于预设分辨率，包括以下至少一项：第一视频的每个视频帧的水平像素大于预设水平像素；第一视频的每个视频帧的垂直像素大于预设垂直像素。
可选地，目标规则为视频帧切割规则，第二视频包括M个第二子视频，第三视频包括M个第三子视频，M为大于或等于2的整数。
处理器1010，具体可以用于：
按照视频帧切割规则，将第一视频的每个视频帧切割为M个子帧；并按播放顺序将与该第一视频的每个视频帧对应的第i个子帧组合，得到第i个第二子视频，i依次取值为1至M；
对第i个第二子视频进行插帧处理，得到第i个第三子视频；
根据视频帧切割规则，将与M个第三子视频对应的M个第j个视频帧依次拼接，作为第四视频的第j个视频帧，并依次组合第四视频的所有视频帧得到第四视频，j为正整数；
其中，M个子帧中的每个子帧的水平像素小于或等于水平像素，M个子帧中的每个子帧的垂直像素小于或等于预设垂直像素。
可选地，与第一视频的每个视频帧对应的M个子帧包括N个第一子帧和M-N个第二子帧，该N个第一子帧的拼接图像为第一视频的一个视频帧，一个第二子帧与两个相邻的第一子帧中的每个第一子帧均存在图像重叠区域。
处理器1010，具体可以用于：
根据视频帧切割规则，将与N个第三子视频对应的N个第j个视频帧依次拼接，得到第j个初始拼接帧；
采用与M-N个第三子视频对应的M-N个第j个视频帧，对第j个初始拼接帧中的图像重叠区域进行平滑处理，得到第四视频的第j个视频帧；
其中，N个第三子视频为对N个第一子帧插帧处理后得到的视频帧M-N个第三子视频为对M-N个第二子帧插帧处理后得到的视频。
可选地，目标规则为视频帧冗余块压缩规则。处理器1010，具体可以用于：
按照视频帧冗余块压缩规则，对第一视频的每个视频帧中的冗余块进行图像压缩处理，得到压缩视频帧，并按照时间顺序依次组合各个压缩视频帧，得到第二视频；其中，冗余块中的各个像素点的像素值的差值小于或等于预设值，压缩视频帧的水平像素小于或等于预设水平像素，压缩视频帧的垂直像素小于或等于预设垂直像素；
在第二视频的每两个相邻的压缩视频帧之间插入中间视频帧，得到第三视频；
按照视频帧冗余块压缩规则和目标插入方式，根据第一视频的两个相邻的视频帧中对应的冗余块确定一个子图像，并将该一个子图像作两个相邻的视频帧的中间视频帧的部分图像；
在获取第一视频的每两个相邻的视频帧之间插入的中间视频帧之后，依次组合各个视频帧得到第四视频；
其中，目标插入方式为在第一压缩视频帧的第一子图像和第二压缩视频帧的第二子图像之间插入中间视频帧的部分图像的方式，第一子图像和第二子图像为对两个相邻的视频帧中对应的冗余块压缩后的图像。
本申请实施例提供一种电子设备，对于分辨率较高的原始视频，通过按照目标规则降低原始视频的分辨率，可以实现对视频的插帧处理；然后，可以再次参照目标规则，将低分辨率的插帧视频还原为高分率的插帧视频，从而实现了对高分辨率视频的插帧。
应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(graphicsprocessing unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质，该可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视频插帧方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-only memory，ROM)、随机存取存储器(randomaccess memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现上述视频插帧方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种视频插帧方法，其特征在于，所述方法包括：
在第一视频的分辨率大于预设分辨率的情况下，按照目标规则处理所述第一视频的每个视频帧，得到第二视频，所述第二视频的分辨率小于或等于预设分辨率；
对所述第二视频进行插帧处理，得到第三视频；
根据所述目标规则和所述第三视频，生成第四视频，所述第四视频与所述第一视频的分辨率相等，所述第四视频与所述第三视频的帧数相同。
2.根据权利要求1所述的方法，其特征在于，所述预设分辨率包括预设水平像素和预设垂直像素；
所述第一视频的分辨率大于预设分辨率，包括以下至少一项：
所述第一视频的每个视频帧的水平像素大于所述预设水平像素；
所述第一视频的每个视频帧的垂直像素大于所述预设垂直像素。
3.根据权利要求2所述的方法，其特征在于，所述目标规则为视频帧切割规则，所述第二视频包括M个第二子视频，所述第三视频包括M个第三子视频，M为大于或等于2的整数；
所述按照目标规则处理所述第一视频的每个视频帧，得到第二视频，包括：
按照所述视频帧切割规则，将所述第一视频的每个视频帧切割为M个子帧；并按播放顺序将与所述第一视频的每个视频帧对应的第i个子帧组合，得到第i个第二子视频，i依次取值为1至M；
所述对所述第二视频进行插帧处理，得到第三视频，包括：
对所述第i个第二子视频进行插帧处理，得到第i个第三子视频；
所述根据所述目标规则和所述第三视频，生成第四视频，包括：
根据所述视频帧切割规则，将与所述M个第三子视频对应的M个第j个视频帧依次拼接，作为所述第四视频的第j个视频帧，并依次组合所述第四视频的所有视频帧得到所述第四视频，j为正整数；
其中，所述M个子帧中的每个子帧的水平像素小于或等于所述预设水平像素，所述M个子帧中的每个子帧的垂直像素小于或等于所述预设垂直像素。
4.根据权利要求3所述的方法，其特征在于，与所述第一视频的每个视频帧对应的M个子帧包括N个第一子帧和M-N个第二子帧，所述N个第一子帧的拼接图像为所述第一视频的一个视频帧，一个第二子帧与两个相邻的第一子帧中的每个第一子帧均存在图像重叠区域；
所述根据所述视频帧切割规则，将与所述M个第三子视频对应的M个第j个视频帧依次拼接，作为所述第四视频的第j个视频帧，包括：
根据所述视频帧切割规则，将与N个第三子视频对应的N个第j个视频帧依次拼接，得到第j个初始拼接帧；
采用与M-N个第三子视频对应的M-N个第j个视频帧，对所述第j个初始拼接帧中的图像重叠区域进行平滑处理，得到所述第四视频的第j个视频帧；
其中，所述N个第三子视频为对N个第一子帧插帧处理后得到的视频帧所述M-N个第三子视频为对M-N个第二子帧插帧处理后得到的视频。
5.根据权利要求2所述的方法，其特征在于，所述目标规则为视频帧冗余块压缩规则；
所述按照目标规则处理所述第一视频的每个视频帧，得到第二视频，包括：
按照视频帧冗余块压缩规则，对所述第一视频的每个视频帧中的冗余块进行图像压缩处理，得到压缩视频帧，并按照时间顺序依次组合各个压缩视频帧，得到所述第二视频；其中，所述冗余块中的各个像素点的像素值的差值小于或等于预设值，所述压缩视频帧的水平像素小于或等于所述预设水平像素，所述压缩视频帧的垂直像素小于或等于所述预设垂直像素；
所述对所述第二视频进行插帧处理，得到第三视频，包括：
在所述第二视频的每两个相邻的压缩视频帧之间插入中间视频帧，得到所述第三视频；
所述根据所述目标规则和所述第三视频，生成第四视频，包括：
按照所述视频帧冗余块压缩规则和目标插入方式，根据所述第一视频的两个相邻的视频帧中对应的冗余块确定一个子图像，并将所述一个子图像作为所述两个相邻的视频帧的中间视频帧的部分图像；
在获取所述第一视频的每两个相邻的视频帧之间插入的中间视频帧之后，依次组合各个视频帧得到所述第四视频；
其中，所述目标插入方式为在第一压缩视频帧的第一子图像和第二压缩视频帧的第二子图像之间插入中间视频帧的部分图像的方式，所述第一子图像和所述第二子图像为对所述两个相邻的视频帧中对应的冗余块压缩后的图像。
6.一种视频插帧装置，其特征在于，所述视频插帧装置包括确定模块和处理模块；
所述处理模块，用于在所述确定模块确定第一视频的分辨率大于预设分辨率的情况下，按照目标规则处理所述第一视频的每个视频帧，得到第二视频，所述第二视频的分辨率小于或等于预设分辨率；并对所述第二视频进行插帧处理，得到第三视频；以及根据所述目标规则和所述第三视频，生成第四视频，所述第四视频与所述第一视频的分辨率相等，所述第四视频与所述第三视频的帧数相同。
7.根据权利要求6所述的视频插帧装置，其特征在于，所述预设分辨率包括预设水平像素和预设垂直像素；
所述第一视频的分辨率大于预设分辨率，包括以下至少一项：
所述第一视频的每个视频帧的水平像素大于所述预设水平像素；
所述第一视频的每个视频帧的垂直像素大于所述预设垂直像素。
8.根据权利要求7所述的视频插帧装置，其特征在于，所述目标规则为视频帧切割规则，所述第二视频包括M个第二子视频，所述第三视频包括M个第三子视频，M为大于或等于2的整数；
所述处理模块，具体用于：
按照所述视频帧切割规则，将所述第一视频的每个视频帧切割为M个子帧；并按播放顺序将与所述第一视频的每个视频帧对应的第i个子帧组合，得到第i个第二子视频，i依次取值为1至M；
对所述第i个第二子视频进行插帧处理，得到第i个第三子视频；
根据所述视频帧切割规则，将与所述M个第三子视频对应的M个第j个视频帧依次拼接，作为所述第四视频的第j个视频帧，并依次组合所述第四视频的所有视频帧得到所述第四视频，j为正整数；
其中，所述M个子帧中的每个子帧的水平像素小于或等于所述预设水平像素，所述M个子帧中的每个子帧的垂直像素小于或等于所述预设垂直像素。
9.根据权利要求8所述的视频插帧装置，其特征在于，与所述第一视频的每个视频帧对应的M个子帧包括N个第一子帧和M-N个第二子帧，所述N个第一子帧的拼接图像为所述第一视频的一个视频帧，一个第二子帧与两个相邻的第一子帧中的每个第一子帧均存在图像重叠区域；
所述处理模块，具体用于：
根据所述视频帧切割规则，将与N个第三子视频对应的N个第j个视频帧依次拼接，得到第j个初始拼接帧；
采用与M-N个第三子视频对应的M-N个第j个视频帧，对所述第j个初始拼接帧中的图像重叠区域进行平滑处理，得到所述第四视频的第j个视频帧；
其中，所述N个第三子视频为对N个第一子帧插帧处理后得到的视频帧所述M-N个第三子视频为对M-N个第二子帧插帧处理后得到的视频。
10.根据权利要求7所述的视频插帧装置，其特征在于，所述目标规则为视频帧冗余块压缩规则；
所述处理模块，具体用于：
按照视频帧冗余块压缩规则，对所述第一视频的每个视频帧中的冗余块进行图像压缩处理，得到压缩视频帧，并按照时间顺序依次组合各个压缩视频帧，得到所述第二视频；其中，所述冗余块中的各个像素点的像素值的差值小于或等于预设值，所述压缩视频帧的水平像素小于或等于所述预设水平像素，所述压缩视频帧的垂直像素小于或等于所述预设垂直像素；
在所述第二视频的每两个相邻的压缩视频帧之间插入中间视频帧，得到所述第三视频；
按照所述视频帧冗余块压缩规则和目标插入方式，根据所述第一视频的两个相邻的视频帧中对应的冗余块确定一个子图像，并将所述一个子图像作为所述两个相邻的视频帧的中间视频帧的部分图像；
在获取所述第一视频的每两个相邻的视频帧之间插入的中间视频帧之后，依次组合各个视频帧得到所述第四视频；
其中，所述目标插入方式为在第一压缩视频帧的第一子图像和第二压缩视频帧的第二子图像之间插入中间视频帧的部分图像的方式，所述第一子图像和所述第二子图像为对所述两个相邻的视频帧中对应的冗余块压缩后的图像。
11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的视频插帧方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述的视频插帧方法的步骤。
CN202110121129.8A 2021-01-28 2021-01-28 视频插帧方法、装置及电子设备 Active CN113015007B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110121129.8A CN113015007B (zh) 2021-01-28 2021-01-28 视频插帧方法、装置及电子设备
EP22745155.6A EP4287633A4 (en) 2021-01-28 2022-01-21 METHOD AND APPARATUS FOR VIDEO FRAME INTERPOLATION AND ELECTRONIC DEVICE
PCT/CN2022/073205 WO2022161280A1 (zh) 2021-01-28 2022-01-21 视频插帧方法、装置及电子设备
US18/355,358 US20230362328A1 (en) 2021-01-28 2023-07-19 Video frame insertion method and apparatus, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110121129.8A CN113015007B (zh) 2021-01-28 2021-01-28 视频插帧方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113015007A true CN113015007A (zh) 2021-06-22
CN113015007B CN113015007B (zh) 2023-05-26

Family

ID=76384941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110121129.8A Active CN113015007B (zh) 2021-01-28 2021-01-28 视频插帧方法、装置及电子设备

Country Status (4)

Country Link
US (1) US20230362328A1 (zh)
EP (1) EP4287633A4 (zh)
CN (1) CN113015007B (zh)
WO (1) WO2022161280A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114285958A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、图像处理方法和电子设备
WO2022161280A1 (zh) * 2021-01-28 2022-08-04 维沃移动通信有限公司 视频插帧方法、装置及电子设备
CN117315574A (zh) * 2023-09-20 2023-12-29 北京卓视智通科技有限责任公司 一种盲区轨迹补全的方法、系统、计算机设备和存储介质
CN118695030A (zh) * 2024-08-26 2024-09-24 山东云海国创云计算装备产业创新中心有限公司 视频数据处理系统、方法、设备、程序产品及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050785A1 (en) * 2004-09-09 2006-03-09 Nucore Technology Inc. Inserting a high resolution still image into a lower resolution video stream
US20100027664A1 (en) * 2008-08-04 2010-02-04 Kabushiki Kaisha Toshiba Image Processing Apparatus and Image Processing Method
JP2013120204A (ja) * 2011-12-06 2013-06-17 Canon Inc 映像処理装置およびその制御方法
CN103379351A (zh) * 2012-04-28 2013-10-30 中国移动通信集团山东有限公司 一种视频处理方法及装置
CN103597839A (zh) * 2011-05-31 2014-02-19 杜比实验室特许公司 实现分辨率权衡和优化的视频压缩
CN108063976A (zh) * 2017-11-20 2018-05-22 北京奇艺世纪科技有限公司 一种视频处理方法及装置
CN110322424A (zh) * 2019-07-10 2019-10-11 上海爱观视觉科技有限公司 高分辨率图像处理方法及装置、vr图像显示方法及vr设备
CN111225150A (zh) * 2020-01-20 2020-06-02 Oppo广东移动通信有限公司 插帧处理方法及相关产品
CN111372087A (zh) * 2020-05-26 2020-07-03 深圳看到科技有限公司 全景视频插帧方法、装置及对应的存储介质
CN111586418A (zh) * 2020-05-09 2020-08-25 北京电信易通信息技术股份有限公司 一种视频压缩方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7109981B2 (en) * 2003-07-31 2006-09-19 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames
JP4518111B2 (ja) * 2007-07-13 2010-08-04 ソニー株式会社 映像処理装置、映像処理方法、及びプログラム
TWI352317B (en) * 2007-09-20 2011-11-11 Nuvoton Technology Corp Image processing methods and systems
CN102378010A (zh) * 2011-11-15 2012-03-14 无锡港湾网络科技有限公司 一种视频数据还原的插帧方法
US10726560B2 (en) * 2014-10-31 2020-07-28 Fyusion, Inc. Real-time mobile device capture and generation of art-styled AR/VR content
CN105141876B (zh) * 2015-09-24 2019-02-22 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
US20180063551A1 (en) * 2016-08-30 2018-03-01 Gopro, Inc. Apparatus and methods for frame interpolation
CN107277462A (zh) * 2017-07-31 2017-10-20 西安中飞航空测试技术发展有限公司 高分辨率机载视频采集结构
CN110933315B (zh) * 2019-12-10 2021-09-07 Oppo广东移动通信有限公司 图像数据处理方法及相关设备
CN111405316A (zh) * 2020-03-12 2020-07-10 北京奇艺世纪科技有限公司 插帧方法、电子设备及可读存储介质
CN112055249B (zh) * 2020-09-17 2022-07-08 京东方科技集团股份有限公司 一种视频插帧方法及装置
CN113015007B (zh) * 2021-01-28 2023-05-26 维沃移动通信有限公司 视频插帧方法、装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050785A1 (en) * 2004-09-09 2006-03-09 Nucore Technology Inc. Inserting a high resolution still image into a lower resolution video stream
US20100027664A1 (en) * 2008-08-04 2010-02-04 Kabushiki Kaisha Toshiba Image Processing Apparatus and Image Processing Method
CN103597839A (zh) * 2011-05-31 2014-02-19 杜比实验室特许公司 实现分辨率权衡和优化的视频压缩
JP2013120204A (ja) * 2011-12-06 2013-06-17 Canon Inc 映像処理装置およびその制御方法
CN103379351A (zh) * 2012-04-28 2013-10-30 中国移动通信集团山东有限公司 一种视频处理方法及装置
CN108063976A (zh) * 2017-11-20 2018-05-22 北京奇艺世纪科技有限公司 一种视频处理方法及装置
CN110322424A (zh) * 2019-07-10 2019-10-11 上海爱观视觉科技有限公司 高分辨率图像处理方法及装置、vr图像显示方法及vr设备
CN111225150A (zh) * 2020-01-20 2020-06-02 Oppo广东移动通信有限公司 插帧处理方法及相关产品
CN111586418A (zh) * 2020-05-09 2020-08-25 北京电信易通信息技术股份有限公司 一种视频压缩方法及装置
CN111372087A (zh) * 2020-05-26 2020-07-03 深圳看到科技有限公司 全景视频插帧方法、装置及对应的存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREW D. BAGDANOV: "Adaptive Video Compression for Video Surveillance Applications", 《2011 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》 *
顾东豪: "基于深度学习的视频插帧技术", 《中国优秀硕士学位论文全文数据库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022161280A1 (zh) * 2021-01-28 2022-08-04 维沃移动通信有限公司 视频插帧方法、装置及电子设备
CN114285958A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、图像处理方法和电子设备
CN114285958B (zh) * 2021-12-28 2024-07-19 维沃移动通信有限公司 图像处理电路、图像处理方法和电子设备
CN117315574A (zh) * 2023-09-20 2023-12-29 北京卓视智通科技有限责任公司 一种盲区轨迹补全的方法、系统、计算机设备和存储介质
CN117315574B (zh) * 2023-09-20 2024-06-07 北京卓视智通科技有限责任公司 一种盲区轨迹补全的方法、系统、计算机设备和存储介质
CN118695030A (zh) * 2024-08-26 2024-09-24 山东云海国创云计算装备产业创新中心有限公司 视频数据处理系统、方法、设备、程序产品及存储介质

Also Published As

Publication number Publication date
WO2022161280A1 (zh) 2022-08-04
EP4287633A4 (en) 2024-07-31
US20230362328A1 (en) 2023-11-09
EP4287633A1 (en) 2023-12-06
CN113015007B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN113015007B (zh) 视频插帧方法、装置及电子设备
US8619083B2 (en) Multi-layer image composition with intermediate blending resolutions
CN113126862B (zh) 截屏方法、装置、电子设备以及可读存储介质
CN107079198B (zh) 显示装置、系统及其控制方法
CN112055244B (zh) 图像获取方法、装置、服务器和电子设备
CN113296661B (zh) 图像处理方法、装置、电子设备及可读存储介质
WO2024174971A1 (zh) 视频处理方法、装置、设备和存储介质
CN113721876A (zh) 投屏处理方法及相关设备
CN113342295B (zh) 分屏方法及分屏装置
CN113316018B (zh) 时间信息在视频画面显示的叠加方法、设备及存储介质
KR20230086770A (ko) 촬영 방법, 촬영 장치, 전자 기기 및 판독 가능한 저장매체
CN112199149A (zh) 界面渲染方法、装置及电子设备
CN104462099A (zh) 一种信息处理方法及电子设备
CN114253449B (zh) 截屏方法、装置、设备及介质
CN106131628A (zh) 一种视频图像处理方法及装置
CN115729412A (zh) 界面显示方法及其装置
CN114285956A (zh) 视频分享电路、方法、装置及电子设备
CN114302209A (zh) 视频处理方法、装置、电子设备及介质
CN114155151A (zh) 图像绘制方法、装置、设备及存储介质
CN112418942A (zh) 广告显示方法、装置及电子设备
CN113271494A (zh) 视频帧处理方法、装置和电子设备
CN114338955B (zh) 图像处理电路、图像处理方法、装置、电子设备和芯片
CN113901009A (zh) 多媒体文件的处理方法、装置、电子设备及介质
CN117319549A (zh) 多媒体数据的选择方法及选择装置
CN118885248A (zh) 渲染方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant