CN113099132A - 视频处理方法、装置、电子设备、存储介质及程序产品 - Google Patents

视频处理方法、装置、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN113099132A
CN113099132A CN202110420207.4A CN202110420207A CN113099132A CN 113099132 A CN113099132 A CN 113099132A CN 202110420207 A CN202110420207 A CN 202110420207A CN 113099132 A CN113099132 A CN 113099132A
Authority
CN
China
Prior art keywords
frame rate
video
video segment
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110420207.4A
Other languages
English (en)
Other versions
CN113099132B (zh
Inventor
张民
吕德政
崔刚
张彤
张艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Frame Color Film And Television Technology Co ltd
Original Assignee
Shenzhen Frame Color Film And Television Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Frame Color Film And Television Technology Co ltd filed Critical Shenzhen Frame Color Film And Television Technology Co ltd
Priority to CN202110420207.4A priority Critical patent/CN113099132B/zh
Publication of CN113099132A publication Critical patent/CN113099132A/zh
Application granted granted Critical
Publication of CN113099132B publication Critical patent/CN113099132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)

Abstract

本申请提供一种视频处理方法、装置、电子设备、存储介质及程序产品。本申请提供的方法包括：获取待处理的视频，以及，所述视频的目标帧率；从所述视频中获取帧率不等于所述目标帧率的视频片段；根据所述目标帧率，对所述视频片段进行帧率调整；调整帧率后的所述视频片段的帧率为所述目标帧率。本申请实现了将包括多种帧率的视频调整为仅存在一种帧率的视频。

Description

视频处理方法、装置、电子设备、存储介质及程序产品
技术领域
本申请涉及计算机视觉技术，尤其涉及一种视频处理方法、装置、电子设备、存储介质及程序产品。
背景技术
一个电影镜头指的是摄影机一次开机到停机之间拍摄的连续画面片段，是构成数字电影的基本单位。一部数字电影可以包括至少一个电影镜头。
在拍摄数字电影时，拍摄一个电影镜头采用的帧率(Frame rate)不变，但是不同电影镜头采用的帧率可能不同。也就是说，一部数字电影可能包括多个不同帧率的电影镜头。然而，目前数字电影播放设备仅支持播放各电影镜头的帧率均相同的数字电影。因此，当一部数字电影包括多个不同帧率的电影镜头时，如何将该数字电影各电影镜头的帧率调整为同一帧率，是一个亟待解决的问题。
发明内容
本申请提供一种视频处理方法、装置、电子设备、存储介质及程序产品，以实现将包括多种帧率的视频调整为仅存在一种帧率的视频。
本申请提供一种视频处理方法、装置、电子设备、存储介质及程序产品，以实现视频帧率的调整。
第一方面，本申请提供一种视频处理方法，所述方法包括：
获取待处理的视频，以及，所述视频的目标帧率；
从所述视频中获取帧率不等于所述目标帧率的视频片段；
根据所述目标帧率，对所述视频片段进行帧率调整；调整帧率后的所述视频片段的帧率为所述目标帧率。
可选的，所述根据所述目标帧率，对所述视频片段进行帧率调整，包括：
对所述视频片段中的图像进行运动估计，得到所述视频片段中的图像的运动矢量；
根据所述视频片段中的图像的运动矢量，以及，所述目标帧率，对所述视频片段进行帧率调整。
可选的，所述根据所述视频片段中的图像的运动矢量，以及，所述目标帧率，对所述视频片段进行帧率调整，包括：
根据所述视频片段中的图像的运动矢量、所述视频片段中的图像的灰度直方图，以及，所述目标帧率，对所述视频片段进行帧率调整。
可选的，所述根据所述视频片段中的图像的运动矢量，以及，所述目标帧率，对所述视频片段进行帧率调整，包括：
根据所述视频片段中的图像的运动矢量、所述视频片段中的图像的光照分布图，以及，所述目标帧率，对所述视频片段进行帧率调整。
可选的，在所述对所述视频片段进行帧率调整之后，所述方法还包括：
根据所述视频片段的抖动度，对调整帧率后的所述视频片段的各帧图像进行调整，使得所述视频片段调整帧率后的抖动度等于所述视频片段调整帧率前的抖动度。
可选的，在所述对所述视频片段进行帧率调整之后，所述方法还包括：
将调整帧率后的所述视频片段，与所述视频中除所述视频片段之外的部分进行拼接，得到目标视频；
将所述目标视频转换为数字电影包；
输出所述数字电影包。
第二方面，本申请提供一种视频处理装置，所述装置包括：
第一获取模块，用于获取待处理的视频，以及，所述视频的目标帧率；
第二获取模块，用于从所述视频中获取帧率不等于所述目标帧率的视频片段；
处理模块，用于根据所述目标帧率，对所述视频片段进行帧率调整；调整帧率后的所述视频片段的帧率为所述目标帧率。
第三方面，本申请提供一种电子设备，包括：至少一个处理器、存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行第一方面任一项所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现第一方面任一项所述的方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的方法。
本申请提供的视频处理方法、装置、电子设备、存储介质及程序产品，通过从待处理的视频中确定出不等于目标帧率的视频片段，确定了需要进行帧率调整的视频片段。其中，该视频片段的帧率可以大于目标帧率，也可以小于目标帧率。在确定了需要进行帧率调整的视频片段之后，通过对视频片段的帧率进行调整，实现了将包括多个不同帧率的视频，调整为仅包括一种帧率的视频。通过上述方法，使得采用多种帧率拍摄的视频可以在视频播放设备上播放，提高了视频拍摄的灵活性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一种数字电影播放的应用场景示意图；
图2为本申请提供的一种视频处理方法的流程示意图；
图3为本申请提供的一种根据目标帧率对视频片段进行帧率调整的方法的流程示意图；
图4为本申请提供的一种视频处理装置的结构示意图；
图5为本申请提供的一种电子设备结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为一种数字电影播放的应用场景示意图。如图1所示，电子设备可以将制作好的数字电影以数字电影包(Digital Cinema Package，DCP)等形式发送到数字电影播放设备。
然后数字电影播放设备可以对该DCP进行解码，得到上述数字电影。如图1所示，该数字电影播放设备可以与放映机连接，在播放该数字电影时，通过放映机将电影画面投射到银幕上，以供用户观看。
其中，上述所说的电子设备例如可以是服务器、或者终端等具有处理功能的电子设备。数字电影播放设备例如可以是电脑等终端设备。放映机例如可以是投影仪等设备。
目前，数字电影播放设备支持播放同一帧率的数字电影。若如果是采用不同帧率拍摄的。即制作好的数字电影包括多个帧率的数字电影片段。那么数字电影播放设备无法播放该数字电影。
在拍摄数字电影时，需要拍摄至少一个电影镜头。拍摄一个电影镜头采用的帧率不变，不同电影镜头采用的帧率可能不同。此处所说的帧率的单位为帧/秒(frames persecond，fps)。帧率越高的视频，每秒的帧数越高，每秒展示的动作也越多，清晰度也越高，且更贴合实际场景。
上述制作好的数字电影是基于至少一个电影镜头制作得到的。当上述制作好的数字电影是基于多个电影镜头制作得到的时，该多个电影镜头可以是采用同一帧率拍摄得到的。或者，该多个电影镜头也可以是采用不同帧率拍摄得到的。
以一部数字电影包括n个电影镜头为例，该部数字电影各电影镜头的帧率例如可以如下表1所示：
表1
Figure BDA0003027540820000041
Figure BDA0003027540820000051
其中，n和k均为大于或等于1的正整数，且k小于或等于n。应理解，当n等于k时，表示该数字电影各电影镜头的帧率两两不同。当k小于n且大于1时，表示该数字电影的n个电影镜头中存在帧率相同的电影镜头，也存在帧率不同的电影镜头。当k等于1时，表示该数字电影的n个电影镜头的帧率全部相同。
然而，目前数字电影播放设备在播放数字电影时，仅支持播放各电影镜头的帧率均相同的数字电影。以上述表1为例，数字电影播放设备仅能播放n个电影镜头的帧率全部相同的数字电影。对于包括多个不同帧率的电影镜头的数字电影，数字电影播放设备无法播放该数字电影。
因此，当一部数字电影包括多个不同帧率的电影镜头时，如何将该数字电影各电影镜头的帧率调整为同一帧率，是一个亟待解决的问题。
因此，本申请提出了一种视频帧率的调整方法，以实现将采用多种帧率拍摄得到的视频调整为仅包括一种帧率的视频。具体实现时，上述方法可以由电子设备执行，该电子设备例如可以是服务器、终端等具有处理功能的设备。或者，该电子设备例如还可以是前述视频播放设备等。
应理解，本申请提供的方法可以适用于任意一段视频的帧率调整，下面是以待处理的视频为数字电影为例进行的说明。具体实现时，该待处理的视频例如还可以是例如电视剧等视频。
下面结合具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请提供的一种视频处理方法的流程示意图。如图2所示，该方法包括以下步骤：
S101、获取待处理的视频，以及，视频的目标帧率。
其中，该目标帧率指的是对待处理的视频进行帧率调整后需要达到的帧率。可选的，该目标帧率可以等于待处理的视频的包括的帧率中的其中一种。或者，该目标帧率也可以不等于待处理的视频包括的帧率中的任何一种。
若该目标帧率等于待处理的视频的包括的帧率中的其中一种，电子设备例如可以根据待处理的视频中各帧率出现的时间长短，确定目标帧率。例如，电子设备可以将出现时间最长的帧率作为目标帧率，以减少对待处理的视频进行帧率调整的时间。示例性的，假设待处理的视频包括帧率1、帧率2，以及，帧率3。帧率1、帧率2，帧率3出现的时间如下表2所示：
表2
序号 帧率 帧率出现的时间
1 帧率1 30分钟
2 帧率2 10分钟
3 帧率3 1分钟
如表2所示，帧率1出现的时间最长，则电子设备可以将帧率1作为目标帧率。
若该目标帧率可以等于待处理的视频的包括的帧率中的其中一种。或者，该目标帧率也可以不等于待处理的视频包括的帧率中的任何一种。示例性的，电子设备可以接收用户输入的目标帧率。例如，电子设备例如可以通过应用程序接口(application programinterface，API)或者图形用户界面(graphical userinterface，GUI)等获取用户输入的待处理的视频，以及上述目标帧率。
或者，待处理的视频和目标帧率例如还可以是用户预先存储在该电子设备中的。在该实现方式下，电子设备可以在接收用户输入的关于对该视频进行帧率调整的指令之后，从自身存储的数据中获取上述待处理的视频和目标帧率。
当该电子设备为视频播放设备时，该电子设备例如还可以接收待处理视频对应的DCP。然后该电子设备可以通过解码该DCP，获取待处理的视频。
S102、从视频中获取帧率不等于目标帧率的视频片段。
其中，上述帧率不等于目标帧率的视频片段可以是帧率大于目标帧率的视频片段，和/或，帧率小于目标帧率的视频片段。
可选的，该帧率不等于目标帧率的视频片段可以是待处理的视频的其中一部分。或者，当整个待处理的视频的帧率均不等于目标帧率时，该不等于目标帧率的视频片段可以是整个待处理的视频。以前述表1为例，若该目标帧率为帧率1，则该帧率不等于目标帧率的视频片段为表1中电影镜头2，以及，帧率不等于帧率1的各电影镜头。
示例性的，假设上述待处理的视频的时长为10秒，视频中各时间的帧率如下表3所示：
表3
序号 视频时间 帧率
1 1-3秒 48fps
2 4-6秒 24fps
3 7-10秒 120fps
假设目标帧率为48fps，则该待处理的视频中帧率不等于目标帧率的视频片段为该视频的4-6秒，以及，7-10秒的部分。
可选的，电子设备例如可以通过读取待处理的视频的帧率，从该视频中获取帧率不等于目标帧率的视频片段。以该待处理的视频为制作好的数字电影为例，假设该数字电影包括多个电影镜头，则电子设备可以读取该数字电影中各电影镜头的帧率，并判断是否存在帧率不等于目标帧率的电影镜头。若存在，则电子设备可以将所有的帧率不等于目标帧率的电影镜头，作为帧率不等于目标帧率的视频片段。
S103、根据目标帧率，对视频片段进行帧率调整。
电子设备在获取帧率不等于目标帧率的视频片段之后，对该视频片段进行调整，得到调整帧率后的视频片段。该调整帧率后的视频片段的帧率为目标帧率。
若视频片段的帧率大于目标帧率，则电子设备需要将该视频片段的帧率调小，即需要对该视频片段进行抽帧。若视频片段的帧率小于目标帧率，则电子设备需要将该视频片段的帧率调大，即需要对该视频片段进行插帧。
可选的，电子设备例如可以获取视频片段中各帧图像的运动矢量(MotionVector，MV)。然后根据各帧图像的运动矢量，调整视频片段的帧率，使得调整帧率后的视频片段的帧率为目标帧率。
或者，电子设备还可以将上述视频片段，以及，目标帧率输入训练好的神经网络模型，通过训练好的神经网络模型，生成多帧图像以构成调整帧率后的视频片段。其中，该训练好的神经网络可以根据输入的视频片段的各帧图像，以及，目标帧率，输出满足目标帧率的视频片段。示例性的，该神经网络模型例如可以是卷积神经网络(Convolutional NeuralNetworks，CNN)，或者CNN与滤波算法(例如动态滤波器)结合得到的神经网络模型等。
再或者，以视频片段的帧率大于目标帧率为例，电子设备例如可以从该视频片段中，按照预设间隔，平均的抽取第一预设数量的图像构成调整帧率后的视频片段。其中，上述预设间隔和第一预设数量均与调整帧率前的视频片段的帧率，以及，目标帧率相关。示例性的，假设调整帧率前的视频片段的帧率为120fps，目标帧率为40fps，则电子设备可以每间隔两帧图像，抽取一帧图像作为调整帧率后的视频片段。
针对调整帧率后的视频片段中的任意一帧图像，该帧图像是基于调整帧率前的视频片段中的至少一帧图像确定的。应理解，该帧图像可以与该至少一帧图像中其中一帧图像完全相同，也可以与该至少一帧图像中的任意一帧图像都不相同。示例性的，假设电子设备可以基于调整帧率前的视频片段中的图像P和图像Q，获取调整帧率后的视频片段中的图像a，则图像a可以是图像P或者图像Q中的其中一个图像，也可以既不是图像P也不是图像Q，而是基于图像P和图像Q获取的一个图像。
在本实施例中，通过从待处理的视频中确定出不等于目标帧率的视频片段，确定了需要进行帧率调整的视频片段。其中，该视频片段的帧率可以大于目标帧率，也可以小于目标帧率。在确定了需要进行帧率调整的视频片段之后，通过对视频片段的帧率进行调整，实现了将包括多个不同帧率的视频，调整为仅包括一种帧率的视频。通过上述方法，使得采用多种帧率拍摄的视频可以在视频播放设备上播放，提高了视频拍摄的灵活性。
作为一种可能的实现方式，在对视频片段进行帧率调整之后，该电子设备还可以将调整帧率后的视频片段，与视频中除视频片段之外的部分进行拼接，以获取目标视频。其中，该目标视频的帧率等于目标帧率。
示例性的，仍然以前述表3所示的待处理的视频为例，假设该视频的第1-3秒，以及，7-10秒的部分为帧率不等于目标帧率的视频片段，电子设备对该视频片段进行帧率调整，得到调整帧率后的视频片段。然后，电子设备可以按照时间顺序将该调整帧率后的视频片段，与该视频的4-6秒的部分进行拼接，得到目标视频。
在获取目标视频之后，电子设备可以将目标视频转换为DCP，以减少目标视频占用的存储资源，以及，增强目标视频的保密性。
然后，电子设备可以输出该DCP。可选的，电子设备可以将该DCP存储到分布式存储系统等，以供用户从该分布式存储系统下载获取该DCP。和/或，该电子设备还可以将该DCP输出到视频播放设备，以供视频播放设备解码并播放该DCP中包括的视频。
下面对电子设备如何根据目标帧率，对视频片段进行帧率调整进行详细说明。图3为本申请提供的一种根据目标帧率对视频片段进行帧率调整的方法的流程示意图。如图3所示，作为一种可能的实现方式，上述步骤S103可以包括以下步骤：
S201、对视频片段中的图像进行运动估计，得到视频片段中的图像的运动矢量。
运动估计(Motion Estimation)指的是针对视频片段中的第i帧图像，将该帧图像划分成多个互不重叠的图像块。同一图像块中所有的像素点的位移量视为相同。然后，针对上述多个互不重叠的图像块中的第j个图像块，电子设备可以根据预设的匹配准则，在第i帧图像的参考帧图像中，获取与该第j个图像块最相似的图像块j1。其中，该参考帧图像用于对视频片段中的图像进行运动估计，该参考帧图像可以是视频片段中的第i-1帧图像。其中，i大于或等于2的正整数，且i小于该第i帧图像所在的电影镜头的总帧数。j为大于或等于1的正整数。
然后，电子设备可以计算上述第j个图像块到图像块j1的相对位移，以获取该第j个图像块的运动矢量。针对第i帧图像中每个图像块，参照上述方法进行运动估计，以获取该帧图像的运动矢量。其中，第i帧图像的运动矢量指的是第i帧图像相对于第i-1帧图像的运动矢量。
应理解，本申请对上述预设的匹配准则不进行限定。示例性的，可以采用LucasKanade稀疏光流算法、双边运动网络，或者，其他现有的运动估计算法作为预设的匹配准则，以获取视频片段中的图像的运动矢量。
S202、根据视频片段中的图像的运动矢量，以及，目标帧率，对视频片段进行帧率调整。
在一种可能的实现方式中，若该视频片段的帧率小于目标帧率，电子设备可以根据视频片段中的图像i到相邻帧图像i+1的运动矢量，生成第二预设数量的图像，作为图像i和图像i+1的中间帧图像插入到该两帧图像之间。其中，上述所有中间帧图像的运动矢量的和等于图像i到图像i+1的运动矢量。
在另一种可能的实现方式中，若该视频片段的帧率大于目标帧率，以电子设备可以根据视频片段中的三帧图像，合成一帧图像为例，电子设备可以根据视频片段中图像i、图像i+1，以及，图像i+2的运动矢量，生成一帧图像。该帧图像相对于第i-1帧图像的运动矢量等于图像i、图像i+1，以及，图像i+2的运动矢量的和。
在另一种可能的实现方式中，电子设备还可以根据视频片段中的图像的运动矢量、视频片段中的图像的灰度直方图，以及，目标帧率，对视频片段进行帧率调整。其中，图像的灰度直方图指的是灰度图像中各像素值出现的次数。
在该实现方式下，电子设备首先可以将视频片段中的各帧图像转换为灰度图，然后统计各帧灰度图像中各像素值出现的次数，以获取各帧图像的灰度直方图。或者，在将视频片段中的各帧图像转换为灰度图之前，电子设备还可以判断该视频片段中各帧图像是否全部为灰度图，若该视频片段中各帧图像全部为灰度图，则不需要执行上述将各帧图像转换为灰度图的步骤。
针对帧率调整后的视频片段中的任意一帧图像A，该图像A是基于帧率调整前的视频片段中的至少一帧图像获取的。在电子设备基于该至少一帧图像的运动矢量，以及，目标帧率，生成上述图像A的过程中，该图像A的灰度直方图中各像素值出现的次数需满足下述约束条件。约束条件：图像A的灰度直方图中任意一个像素值出现的次数，与，上述至少一帧图像中的任意一帧图像的灰度直方图中该像素值出现的次数的差值的绝对值，小于或等于预设阈值。
通过上述约束条件，可以约束在生成上述图像A的过程中，图像A的颜色分布更贴近上述调整前的视频片段中的至少一帧图像，使得帧率调整之后的视频呈现的视觉效果与帧率调整之前的视频呈现的视觉效果的差异更小，进而提高了对视频片段进行帧率调整的准确性。
在又一种可能的实现方式中，电子设备还可以根据视频片段中的图像的运动矢量、视频片段中的图像的光照分布图，以及，目标帧率，对视频片段进行帧率调整。其中，图像的光照分布图指的是能够反映图像中各位置光照强度的图像。通过图像的运动矢量、图像的光照分布图，以及，目标帧率生成的图像，考虑了视频拍摄过程中的光照变化对各帧图像产生的影响，提高了生成的图像的准确性，减小了帧率调整之后的视频呈现的视觉效果与帧率调整之前的视频呈现的视觉效果的差异，进一步提高了对视频片段进行帧率调整的准确性。
在该实现方式下，可选的，电子设备例如可以通过高斯滤波(Gaussianfilter)、均值滤波等方式，获取视频片段中各帧图像的光照分布图。
然后，可选的，电子设备例如可以将该视频片段中的各帧图像的运动矢量、视频片段中各帧的图像的光照分布图，以及，目标帧率，输入训练好的神经网络模型中，通过该训练好的神经网络模型，实现对该视频片段进行帧率调整。其中，该训练好的神经网络可以根据至少一帧图像的运动矢量，以及，该至少一帧图像中各图像的光照分布图，以及，目标帧率，输出满足目标帧率的视频片段，实现对视频片段进行帧率调整。
在本实施例中，通过对视频片段中的图像进行运动估计，得到视频片段中的图像的运动矢量，建立了视频片段中各帧图像之间的关联。然后根据视频片段中的图像的运动矢量，以及，目标帧率，对视频片段进行帧率调整，以获取帧率调整后的视频片段。通过图像的运动矢量来获取调整后的视频片段的各帧图像，考虑到了视频片段各帧图像之间的关联性，提高了生成的图像的连贯性，且减小了帧率调整之后的视频呈现的视觉效果与帧率调整之前的视频呈现的视觉效果的差异。
作为一种可能的实现方式，在对视频片段进行帧率调整之后，电子设备还可以根据视频片段的抖动度，对调整帧率后的视频片段的各帧图像进行调整，使得视频片段调整帧率后的抖动度等于视频片段调整帧率前的抖动度，以进一步减小帧率调整之后的视频呈现的视觉效果与帧率调整之前的视频呈现的视觉效果的差异。
其中，上述抖动度指的是视频的抖动程度。帧率越大的视频越清晰，画面的模糊程度越小，抖动度越小。帧率越小的视频的画面的模糊程度越大，抖动度越大。
可选的，针对帧率调整之后的视频片段中的任意一帧图像，电子设备例如可以根据该帧图像的运动矢量，对该帧图像进行调整。示例性的，若调整之前的视频片段的帧率大于目标帧率，说明调整之后的视频片段的帧率小于调整之前的视频片段的帧率，也就是说调整之后的视频片段的抖动度大于调整之前的视频片段的抖动度。则电子设备可以通过调整“调整之后的视频片段中各帧图像”，使得“调整之后的视频片段中各帧图像”的运动矢量减小，进而实现减小调整之后的视频片段的抖动度，并使得视频片段调整帧率后的抖动度等于视频片段调整帧率前的抖动度。
若调整之前的视频片段的帧率小于目标帧率，说明调整之后的视频片段的帧率大于调整之前的视频片段的帧率，也就是说调整之后的视频片段的抖动度小于调整之前的视频片段的抖动度。则电子设备可以通过调整“调整之后的视频片段中各帧图像”，使得“调整之后的视频片段中各帧图像”的运动矢量增大，进而实现增大调整之后的视频片段的抖动度，并使得视频片段调整帧率后的抖动度等于视频片段调整帧率前的抖动度。
图4为本申请提供的一种视频处理装置的结构示意图。如图4所示，该装置包括：第一获取模块31、第二获取模块32、处理模块33。其中，
第一获取模块31，用于获取待处理的视频，以及，所述视频的目标帧率。
第二获取模块32，用于从所述视频中获取帧率不等于所述目标帧率的视频片段。
处理模块33，用于根据所述目标帧率，对所述视频片段进行帧率调整。调整帧率后的所述视频片段的帧率为所述目标帧率。
可选的，处理模块33具体用于对所述视频片段中的图像进行运动估计，得到所述视频片段中的图像的运动矢量；根据所述视频片段中的图像的运动矢量，以及，所述目标帧率，对所述视频片段进行帧率调整。
在上述实现方式下，可选的，处理模块33具体用于根据所述视频片段中的图像的运动矢量、所述视频片段中的图像的灰度直方图，以及，所述目标帧率，对所述视频片段进行帧率调整。
在上述实现方式下，可选的，处理模块33具体用于根据所述视频片段中的图像的运动矢量、所述视频片段中的图像的光照分布图，以及，所述目标帧率，对所述视频片段进行帧率调整。可选的，在对所述视频片段进行帧率调整之后，处理模块33还用于根据所述视频片段的抖动度，对调整帧率后的所述视频片段的各帧图像进行调整，使得所述视频片段调整帧率后的抖动度等于所述视频片段调整帧率前的抖动度。
可选的，在对所述视频片段进行帧率调整之后，处理模块33还用于将调整帧率后的所述视频片段，与所述视频中除所述视频片段之外的部分进行拼接，得到目标视频；将所述目标视频转换为数字电影包。在该实现方式下，视频处理装置还包括输出模块34，用于输出所述数字电影包。
本申请提供的视频处理装置，用于执行前述视频处理方法实施例，其实现原理与技术效果类似，对此不再赘述。
图5为本申请提供的一种电子设备结构示意图。如图4所示，该电子设备400可以包括：至少一个处理器401和存储器402。
存储器402，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器402可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器401用于执行存储器402存储的计算机执行指令，以实现前述方法实施例所描述的视频处理方法。其中，处理器401可能是一个中央处理器(Central ProcessingUnit，简称为CPU)，或者是特定集成电路(ApplicationSpecific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的，该电子设备400还可以包括通信接口404。在具体实现上，如果通信接口404、存储器402和处理器401独立实现，则通信接口404、存储器402和处理器401可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口404、存储器402和处理器401集成在一块芯片上实现，则通信接口404、存储器402和处理器401可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述实施例中的方法。
本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的视频处理方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种视频处理方法，其特征在于，所述方法包括：
获取待处理的视频，以及，所述视频的目标帧率；
从所述视频中获取帧率不等于所述目标帧率的视频片段；
根据所述目标帧率，对所述视频片段进行帧率调整；调整帧率后的所述视频片段的帧率为所述目标帧率。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标帧率，对所述视频片段进行帧率调整，包括：
对所述视频片段中的图像进行运动估计，得到所述视频片段中的图像的运动矢量；
根据所述视频片段中的图像的运动矢量，以及，所述目标帧率，对所述视频片段进行帧率调整。
3.根据权利要求2所述的方法，其特征在于，所述根据所述视频片段中的图像的运动矢量，以及，所述目标帧率，对所述视频片段进行帧率调整，包括：
根据所述视频片段中的图像的运动矢量、所述视频片段中的图像的灰度直方图，以及，所述目标帧率，对所述视频片段进行帧率调整。
4.根据权利要求2所述的方法，其特征在于，所述根据所述视频片段中的图像的运动矢量，以及，所述目标帧率，对所述视频片段进行帧率调整，包括：
根据所述视频片段中的图像的运动矢量、所述视频片段中的图像的光照分布图，以及，所述目标帧率，对所述视频片段进行帧率调整。
5.根据权利要求1-4任一项所述的方法，其特征在于，在所述对所述视频片段进行帧率调整之后，所述方法还包括：
根据所述视频片段的抖动度，对调整帧率后的所述视频片段的各帧图像进行调整，使得所述视频片段调整帧率后的抖动度等于所述视频片段调整帧率前的抖动度。
6.根据权利要求1-4任一项所述的方法，其特征在于，在所述对所述视频片段进行帧率调整之后，所述方法还包括：
将调整帧率后的所述视频片段，与所述视频中除所述视频片段之外的部分进行拼接，得到目标视频；
将所述目标视频转换为数字电影包；
输出所述数字电影包。
7.一种视频处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取待处理的视频，以及，所述视频的目标帧率；
第二获取模块，用于从所述视频中获取帧率不等于所述目标帧率的视频片段；
处理模块，用于根据所述目标帧率，对所述视频片段进行帧率调整；调整帧率后的所述视频片段的帧率为所述目标帧率。
8.一种电子设备，其特征在于，包括：至少一个处理器、存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求1-6任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法。
CN202110420207.4A 2021-04-19 2021-04-19 视频处理方法、装置、电子设备、存储介质及程序产品 Active CN113099132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110420207.4A CN113099132B (zh) 2021-04-19 2021-04-19 视频处理方法、装置、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110420207.4A CN113099132B (zh) 2021-04-19 2021-04-19 视频处理方法、装置、电子设备、存储介质及程序产品

Publications (2)

Publication Number Publication Date
CN113099132A true CN113099132A (zh) 2021-07-09
CN113099132B CN113099132B (zh) 2023-03-21

Family

ID=76678591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110420207.4A Active CN113099132B (zh) 2021-04-19 2021-04-19 视频处理方法、装置、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN113099132B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520874A (zh) * 2022-01-28 2022-05-20 西安维沃软件技术有限公司 视频处理方法、装置及电子设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129862A1 (en) * 2006-12-04 2008-06-05 Koichi Hamada Frame rate conversion apparatus for video signal and display apparatus
US20080192840A1 (en) * 2007-02-09 2008-08-14 Microsoft Corporation Smart video thumbnail
CN103188548A (zh) * 2011-12-30 2013-07-03 乐金电子(中国)研究开发中心有限公司 数字电视手语配音方法及装置
CN107079079A (zh) * 2014-10-02 2017-08-18 杜比实验室特许公司 用于抖动可视性控制的双端元数据
CN107592488A (zh) * 2017-09-30 2018-01-16 联想(北京)有限公司 一种视频数据处理方法及电子设备
CN108965705A (zh) * 2018-07-19 2018-12-07 北京微播视界科技有限公司 一种视频处理方法、装置、终端设备及存储介质
US20190188479A1 (en) * 2017-12-14 2019-06-20 Google Llc Generating synthesis videos
CN110996170A (zh) * 2019-12-10 2020-04-10 Oppo广东移动通信有限公司 视频文件播放方法及相关设备
CN110996131A (zh) * 2020-03-02 2020-04-10 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
CN111182213A (zh) * 2019-12-31 2020-05-19 维沃移动通信有限公司 视频制作方法、电子设备及介质
CN111418200A (zh) * 2018-02-06 2020-07-14 谷歌有限责任公司 用于曝光校正的自适应红外照明
CN111586409A (zh) * 2020-05-14 2020-08-25 Oppo广东移动通信有限公司 插值帧的生成方法、装置、电子设备和存储介质
CN111641829A (zh) * 2020-05-16 2020-09-08 Oppo广东移动通信有限公司 视频处理方法及装置、系统、存储介质和电子设备
CN112422863A (zh) * 2019-08-22 2021-02-26 华为技术有限公司 一种智能录像方法和装置
CN112532880A (zh) * 2020-11-26 2021-03-19 展讯通信（上海）有限公司 视频处理方法、装置、终端设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129862A1 (en) * 2006-12-04 2008-06-05 Koichi Hamada Frame rate conversion apparatus for video signal and display apparatus
US20080192840A1 (en) * 2007-02-09 2008-08-14 Microsoft Corporation Smart video thumbnail
CN103188548A (zh) * 2011-12-30 2013-07-03 乐金电子(中国)研究开发中心有限公司 数字电视手语配音方法及装置
CN107079079A (zh) * 2014-10-02 2017-08-18 杜比实验室特许公司 用于抖动可视性控制的双端元数据
CN107592488A (zh) * 2017-09-30 2018-01-16 联想(北京)有限公司 一种视频数据处理方法及电子设备
US20190188479A1 (en) * 2017-12-14 2019-06-20 Google Llc Generating synthesis videos
CN111418200A (zh) * 2018-02-06 2020-07-14 谷歌有限责任公司 用于曝光校正的自适应红外照明
CN108965705A (zh) * 2018-07-19 2018-12-07 北京微播视界科技有限公司 一种视频处理方法、装置、终端设备及存储介质
CN112422863A (zh) * 2019-08-22 2021-02-26 华为技术有限公司 一种智能录像方法和装置
CN110996170A (zh) * 2019-12-10 2020-04-10 Oppo广东移动通信有限公司 视频文件播放方法及相关设备
CN111182213A (zh) * 2019-12-31 2020-05-19 维沃移动通信有限公司 视频制作方法、电子设备及介质
CN110996131A (zh) * 2020-03-02 2020-04-10 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质
CN111586409A (zh) * 2020-05-14 2020-08-25 Oppo广东移动通信有限公司 插值帧的生成方法、装置、电子设备和存储介质
CN111641829A (zh) * 2020-05-16 2020-09-08 Oppo广东移动通信有限公司 视频处理方法及装置、系统、存储介质和电子设备
CN112532880A (zh) * 2020-11-26 2021-03-19 展讯通信（上海）有限公司 视频处理方法、装置、终端设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520874A (zh) * 2022-01-28 2022-05-20 西安维沃软件技术有限公司 视频处理方法、装置及电子设备
CN114520874B (zh) * 2022-01-28 2023-11-24 西安维沃软件技术有限公司 视频处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN113099132B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN108335279B (zh) 图像融合和hdr成像
JP6742732B2 (ja) 輝度分布と動きとの間のトレードオフに基づいてシーンのｈｄｒ画像を生成する方法
US9253402B2 (en) Video anti-shaking method and video anti-shaking device
CN114584849A (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
KR20150108774A (ko) 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체
CN113114946B (zh) 视频的处理方法、装置、电子设备及存储介质
WO2023005140A1 (zh) 视频数据处理方法、装置、设备以及存储介质
Gryaditskaya et al. Motion aware exposure bracketing for HDR video
CN111385484B (zh) 信息处理方法和装置
CN112272832A (zh) 用于基于dnn的成像的方法和系统
CN113302928A (zh) 传输多视频流的系统和方法
CN113259594A (zh) 图像处理方法及装置、计算机可读存储介质、终端
CN113099132B (zh) 视频处理方法、装置、电子设备、存储介质及程序产品
Eilertsen The high dynamic range imaging pipeline
US20220182595A1 (en) Optical flow based omnidirectional stereo video processing method
JP6814849B2 (ja) 画像処理方法及び装置
CN111787300B (zh) Vr视频的处理方法、装置及电子设备
US11544830B2 (en) Enhancing image data with appearance controls
CN109308690B (zh) 一种图像亮度均衡方法及终端
US9275468B2 (en) Fallback detection in motion estimation
Schedl et al. Coded exposure HDR light‐field video recording
CN112055255B (zh) 拍摄画质优化方法、装置、智能电视和可读存储介质
EP3352133B1 (en) An efficient patch-based method for video denoising
CN115225899A (zh) 视频处理方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant