CN115243101B - 视频动静率识别方法、装置、电子设备及存储介质 - Google Patents
视频动静率识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115243101B CN115243101B CN202210700492.XA CN202210700492A CN115243101B CN 115243101 B CN115243101 B CN 115243101B CN 202210700492 A CN202210700492 A CN 202210700492A CN 115243101 B CN115243101 B CN 115243101B
- Authority
- CN
- China
- Prior art keywords
- video
- dynamic
- paragraph
- frames
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003068 static effect Effects 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 16
- 230000033764 rhythmic process Effects 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 241000168096 Glareolidae Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种视频动静率识别方法、装置、电子设备及存储介质，属于图像数据处理技术领域。其中，该方法包括：抽取视频段落中的所有关键帧；计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量；采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，其中，所述动静率用于表征所述视频段落中画面的运动速度。通过本发明，为视频提供参考参数，使视频剪辑更方便。
Description
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种视频动静率识别方法、装置、电子设备及存储介质。
背景技术
在视频混剪的场景中，通常需要将素材中的快速运动、慢速运动画面按一定规则排列，以便剪辑出具有较高质量的混剪视频，提高视频的观赏性。
然而，现有的待剪辑的素材中缺少为视频制作者提供的剪辑依据，视频剪辑通常是依靠视频制作者的人力进行剪辑，导致视频制作者剪辑视频不方便，工作量大。
发明内容
本发明实施例提供了一种视频动静率识别方法、装置、电子设备及存储介质，以解决视频制作者剪辑视频不够方便的技术问题。
根据本申请实施例的一个方面，提供了一种视频动静率识别方法，包括：抽取视频段落中的所有关键帧；计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量；采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，其中，所述动静率用于表征所述视频段落中画面的运动速度。
进一步，所述抽取视频段落中的所有关键帧包括：对所述视频段落进行编码处理，得到编码段落，其中，所述编码段落包括：I帧、P帧和B帧；在所述编码段落中定位I帧的编码位置；基于所述编码位置从所述编码段落中抽取所有的I帧；所述计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量包括：计算所述所有I帧的第一数据量，以及计算所述编码段落的第二数据量。
进一步，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率包括：通过如下公式计算所述视频段落的动静率x：x＝m/n；其中，x为所述视频段落的动静率；m为第二数据量；n为第一数据量。
进一步，所述计算所述所有关键帧的第一数据量包括：将所述所有的关键帧存入一个关键帧文件；计算所述关键帧文件的占用空间，并将所述占用空间确定为所述所有关键帧占用的第一数据量。
进一步，所述计算所述所有关键帧的第一数据量包括：统计所述所有的关键帧的帧数量；将所述帧数量确定为所述所有关键帧的第一数据量。
进一步，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率之后，所述方法还包括：在所述视频段落的属性信息中配置所述动静率；响应针对所述视频段落的编辑指令，在所述视频段落的编辑界面显示所述动静率。
进一步，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率之后，所述方法还包括：获取背景音乐的节奏参数，其中，所述节奏参数用于指示所述背景音乐的节拍快慢；判断所述节奏参数与所述动静率是否匹配；若所述节奏参数与所述动静率匹配，在所述背景音乐的编辑界面推送所述视频段落。
根据本申请实施例的另一个方面，还提供了一种视频动静率识别装置，包括：抽帧模块，用于抽取视频段落中的所有关键帧；第一计算模块，用于计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量；第二计算模块，用于采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，其中，所述动静率用于表征所述视频段落中画面的运动速度。
进一步，所述抽帧模块包括：编码模块，用于对视频段落进行编码处理，得到编码段落，其中，所述编码段落包括：I帧、P帧和B帧；定位单元，用于在所述编码段落中定位I帧的编码位置；抽帧单元，用于基于所述编码位置从所述编码段落中抽取所有的I帧；则所述第一计算模块用于计算所述所有I帧的第一数据量，以及计算所述编码段落的第二数据量。
进一步，所述第二计算模块包括：第二计算单元，用于通过如下公式计算所述视频段落的动静率x：x＝m/n；其中，x为所述视频段落的动静率；m为第二数据量；n为第一数据量。
进一步，所述第一计算模块包括：存储单元，用于将所述所有的关键帧存入一个关键帧文件；第一计算子单元，用于计算所述关键帧文件的占用空间，并将所述占用空间确定为所述所有关键帧占用的第一数据量。
进一步，所述第一计算模块还可以包括：统计单元，用于统计所述所有的关键帧的帧数量；第二计算子单元，用于将所述帧数量确定为所述所有关键帧的第一数据量。
进一步，所述装置还包括：配置模块，用于在所述视频段落的属性信息中配置所述动静率；显示模块，用于响应针对所述视频段落的编辑指令，在所述视频段落的编辑界面显示所述动静率。
进一步，所述装置还包括：获取模块，用于获取背景音乐的节奏参数，其中，所述节奏参数用于指示所述背景音乐的节拍快慢；判断模块，用于判断所述节奏参数与所述动静率是否匹配；推送模块，用于若所述节奏参数与所述动静率匹配，在所述背景音乐的编辑界面推送所述视频段落。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
本发明实施例提出的一种视频动静率识别方法、装置、电子设备及存储介质，通过抽取视频段落中的所有关键帧；计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量；采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，其中，所述动静率用于表征所述视频段落中画面的运动速度，本发明实施例为视频段落提供动静率参数，视频制作者可根据视频动静率作为视频剪辑的参考依据，更方便地进行视频剪辑。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种计算机的硬件结构框图；
图2是根据本发明实施例的一种视频动静率识别方法的流程图；
图3是根据本发明实施例的一种视频动静率识别装置的结构框图；
图4是本发明实施例的一种电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例一所提供的方法实施例可以在手机、计算机、平板或者类似的运算装置中执行。以运行在计算机上为例，图1是本发明实施例的一种计算机的硬件结构框图。如图1所示，计算机可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种视频动静率识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种视频动静率识别方法，图2是根据本发明实施例的一种视频动静率识别方法的流程图，如图2所示，该流程包括如下步骤：
S10，抽取视频段落中的所有关键帧；
视频是连续的图像序列，由连续的帧构成，一帧即为一幅图像。由于人眼的视觉暂留效应，当帧序列以一定的速率播放时，我们看到的就是动作连续的视频。
关键帧是连续的帧序列中带有关键内容的帧。关键帧对于视频非常关键，视频的关键帧存储的信息量更大，因此在视频图像处理过程中经常是对视频的关键帧进行处理。一般地，关键帧可以是视频段落中呈现出关键性动作或内容变化的帧，可选的，在一些示例中，关键帧还可以是自定义或者自选择的较为重要的指定帧。
本发明实施例中抽取视频段落中的所有关键帧的方式可以是通过使用具备提取关键帧功能的音视频处理工具来实现，通过在音视频处理工具中输入抽取关键帧的语句命令，或者在音视频处理工具的交互界面选定关键帧并执行抽取操作即可抽取视频段落中的所有关键帧。
S20，计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量；
在抽取出视频段落所有关键帧后，本实施例根据关键帧的第一数据量和视频段落的第二数据量得到视频的动静率，其中，关键帧的第一数据量可以是从视频段落中抽取的所有关键帧的帧数量，也可以是所有关键帧的物理大小，所述视频段落的第二数据量可以是该视频段落既包括关键帧也包括非关键帧所有帧的帧数量，也可以是该视频段落所有帧的大小。
S30，采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，其中，所述动静率用于表征所述视频段落中画面的运动速度。
动静率用于表征视频段落中画面的运动速度，动静率越高，则视频画面运动越快，一定时间内或者连续帧之间画面变化的内容更丰富。比如，骏马在驰骋草原的视频段落相较于在驿站休息吃食的视频段落，前者场景中帧与帧之间内容变化的幅度更大，更丰富，画面的运动速度更快，动静率更高。
本实施例中采用所述第一数据量和所述第二数据量计算得到视频段落的动静率，其中，可以是通过视频段落中所有帧的帧数量除以关键帧的帧数量来计算动静率，还可以是通过视频段落所有帧的大小除以关键帧的大小来计算动静率。
本实施例使用视频段落中所有关键帧的第一数据量，以及视频段落的第二数据量计算视频段落的动静率，用动静率表征视频段落中画面的运动速度，从而为视频段落提供画面的运动速度参考依据，方便视频剪辑。比如，在高燃混剪中，动静率不同的快速运动与慢速运动穿插剪辑，再如，根据音乐的节拍快慢选择动静率相对匹配的视频段落，从而可以合成更具观赏性的视频。
在本实施例一个实施方式中，关键帧为视频段落中的关键I帧，所述抽取视频段落中的所有关键帧，S10包括：
S101，对视频段落进行编码处理，得到编码段落，其中，所述编码段落包括：I帧、P帧和B帧；
视频是连续的图像序列，由连续的帧构成，由于连续的帧之间相似性极高，为便于储存传输，我们对原始的视频进行编码压缩，以去除空间、时间维度的冗余，视频编码就是指通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件的方式。
本实施例中对视频段落进行编码处理，处理后的编码段落包括I帧、P帧和B帧。其中，对视频段落进行编码处理的方式可以是通过使用音视频处理工具实现，比如使用快进活动图像专家组工具(fast forward moving picture expert group，简称为ffmpeg)。ffmpeg是一个可以用来记录、转换数字音频、视频，并能将其转化为流的开源免费跨平台的音视频处理工具，采用GUN宽通用公共许可证(GNU Lesser General Public License，简称GNU LGPL、LGPL)或GUN通用公共许可证(GNU General Public License，简称GPL)，集音视频采集、录制、格式转换、编解码功能于一体，提供了录制、转换以及流化音视频的完整解决方案。
S102，在所述编码段落中定位I帧的编码位置；
S103，基于所述编码位置从所述编码段落中抽取所有的I帧。
视频段落经ffmpeg编码后的编码序列中，存在三种编码帧，分别是I帧、P帧、B帧。I帧即Intra-coded picture，指帧内编码图像帧，是一种自带全部信息的独立帧，不需要参考其他图像帧，只利用本帧的信息即可进行编码；P帧即Predictive-coded Picture，指预测编码图像帧，利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码；B帧即Bidirectionally predicted picture，指双向预测编码图像帧，提供最高的压缩比，既需要之前的图像帧，I帧或P帧，也需要后来的图像帧，P帧，采用运动预测的方式进行帧间双向预测编码。I帧是一个完整的画面，而P帧和B帧记录的是相对于I帧的变化，一个I帧所占用的字节数大于一个P帧，一个P帧所占用的字节数大于一个B帧。
通过ffmpeg工具可对视频段落进行编码，并可在编码段落中定位I帧的编码位置，在ffmpeg输入抽取关键帧语句即可抽取编码段落中的所有关键I帧。
S20，所述计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量包括：
S201，计算所述所有I帧的第一数据量，以及计算所述编码段落的第二数据量。
本发明实施例对视频段落进行了编码处理，得到编码段落，因此，采用得到的编码段落中所有I帧的第一数据量，以及编码段落的第二数据量来计算动静率，比如，可以用得到的编码段落的总大小除以编码段落中I帧的大小来计算得到该视频段落的动静率。
本实施例中，关键帧为I帧，编码后的编码段落中包括I帧、P帧和B帧，通过先定位编码段落中所有I帧的编码位置，之后根据I帧所在的位置抽取出所有的I帧，根据抽取的所有I帧的数据量和编码段落的数据量计算视频段落的动静率。
在本实施例另一个实施方式中，关键帧为视频段落中的指定帧，比如可以是包含影视作品中的主角，重要道具等特定元素的视频帧，所述抽取视频段落中的所有关键帧，S10包括：
S111，在所述视频段落中定位指定帧的帧位置，其中，所述指定帧为帧画面包括特定元素的视频帧；
S112，基于所述帧位置从所述视频段落中抽取所有的指定帧。
本实施例中，视频段落的关键帧为指定帧，其中，指定帧可以为帧画面中包括诸如影视作品中的主角，重要道具等特定元素的视频帧，可以通过视频编辑界面自定义选择指定，或者通过图像识别技术识别帧画面中是否包含特定元素来确定视频段落中各指定帧，进而为各指定帧添加位置标志确定各指定帧的帧位置，之后根据帧位置抽取位置上对应的指定帧，计算抽取出来的指定帧第二数据量，根据指定帧的第二数据量和视频段落的第一数据量计算动静率，其中，第二数据量可以是该视频段落中所有指定帧的帧数量，也可以是所有指定帧占用的存储空间的大小。
在一个示例中，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，S30，包括：
S31，通过如下公式计算所述视频段落的动静率x：
x＝m/n；
其中，x为所述视频段落的动静率；m为第二数据量；n为第一数据量，m，n的单位相同。
本实施例中，动静率定义为视频中画面运动速度的比值，根据所述视频段落的第二数据量除以视频段落中所有关键帧的第一数据量的商来计算视频段落的动静率x，从而确定该段视频段落的画面运动快慢。
在一示例中，关键帧为对视频段落进行编码处理后得到的编码段落中的I帧，由于B帧及P帧以补充增量信息的方式达到视频压缩的目的，当相邻两I帧之间内容变化较大，画面运动速度较快时，则会编码更多的B帧及P帧进行补充衔接，因此，当视频的编码算法一致时，在I帧大小或者数量相等的情况下，B帧以及P帧的大小越大，数量越多，即证明画面与I帧的偏差越大，即视频中画面的运动速度越快。因此，可以通过使用视频帧率、关键帧(I帧)和视频的大小或数量等信息，计算视频动静率，以反映视频中画面的运动速度。比如，在一实施方式中，m为编码段落的总大小，n为抽取的关键I帧的总大小，单位均为bit，动静率x＝m(编码段落的总大小)/n(抽取的关键I帧的总大小)，在另一实施方式中，动静率x＝m(编码段落所有帧的总数量)/n(抽取的关键I帧的总数量)。
本实施例的一实施方式中，若关键帧的第一数据量为抽取的所有关键帧的大小，则所述计算所述所有关键帧的第一数据量包括：将所述所有的关键帧存入一个关键帧文件；计算所述关键帧文件的占用空间，并将所述占用空间确定为所述所有关键帧占用的第一数据量。
本实施例中，计算所有关键帧的大小的方式是通过将抽取的所有关键帧存入一个关键帧文件，计算该关键帧文件的占用空间，从而确定该视频段落所有关键帧的物理大小，得到第一数据量。相较于分别获得各个关键帧的大小之后再进行累加计算，本实施例直接读取关键帧文件的占用空间，不需要对每个关键帧进行统计，速度更快，效率更高。
比如，在一个示例中，通过解析视频段落，得到视频段落的大小为90bit，其中，关键帧为30帧，其他的为非关键帧，将30帧关键帧存入关键帧文件之后，计算得到关键帧文件的占用空间为30bit，通过计算，x＝90/30，得到动静率为3。
本实施例的另一个实施方式中，若关键帧的第一数据量为视频段落抽取的所有关键帧的帧数量，则所述计算所述所有关键帧的第一数据量包括：统计所述所有的关键帧的帧数量；将所述帧数量确定为所述所有关键帧的第一数据量。
本实施例中，通过统计从视频段落中抽取的所有关键帧的数量，得到关键帧的第一数据量。
比如，在一个示例中，通过解析视频段落，得到视频段落的所有帧的总数为90帧，抽取出视频段落中所有关键帧，统计得到抽取的关键帧数量为30帧，其他的为非关键帧，通过计算，x＝90/30，得到动静率为3。
在一个示例中，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率之后，所述方法还包括：在所述视频段落的属性信息中配置所述动静率；响应针对所述视频段落的编辑指令，在所述视频段落的编辑界面显示所述动静率。
本实施例中，在得到视频段落的动静率之后，将得到的动静率配置到视频段落的属性信息中，用来标记该视频段落画面运动的快慢，并且在接收到视频制作者针对该视频段落的编辑指令时，在所述视频段落的编辑界面中显示该视频段落的动静率，以使视频制作者可参考该视频段落的动静率进行剪辑视频。
在一个示例中，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率之后，所述方法还包括：获取背景音乐的节奏参数，其中，所述节奏参数用于指示所述背景音乐的节拍快慢；判断所述节奏参数与所述动静率是否匹配；若所述节奏参数与所述动静率匹配，在所述背景音乐的编辑界面推送所述视频段落。
为剪辑出具有较高质量的混剪视频，提高视频的观赏性，本实施例将与背景音乐的节奏参数匹配的视频段落进行推送。其中，获取背景音乐的节奏参数的方式可以是通过将背景音乐的音频信号输入预设的节奏模型得到该背景音乐的节奏参数，判断所述节奏参数与所述动静率是否匹配的方式可以是通过查询预设的节奏参数和动静率映射表得到，该预设映射表中定义了各节奏参数及其对应的合适的动静率，背景音乐的节拍越快，匹配的动静率越高，在根据预设模型得到背景音乐的节奏参数之后通过查询映射表，即可判断所述节奏参数与所述动静率是否匹配，若匹配，则推送该视频段落。可以理解的是，在具体实施方式中，如何得到背景音乐的节奏参数，以及如何判断背景音乐的节奏参数与视频段落的动静率是否匹配不仅限于上述所提到的方式，还可以使用其它合理有效的方式，本实施例不做具体限制。
本实施例中通过获取用于视频制作的背景音乐节拍快慢的节奏参数，并根据背景音乐的节奏参数匹配并推送合适的动静率的视频段落，为视频剪辑提供参照参数，使视频制作者可以更方便快捷地进行视频剪辑。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种视频动静率识别装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的一种视频动静率识别装置的结构框图，如图3所示，该装置包括：抽帧模块100，第一计算模块200，第二计算模块300，其中，
抽帧模块100，用于抽取视频段落中的所有关键帧；
第一计算模块200，用于计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量；
第二计算模块300，用于采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，其中，所述动静率用于表征所述视频段落中画面的运动速度。
可选地，所述抽帧模块包括：编码模块，用于对视频段落进行编码处理，得到编码段落，其中，所述编码段落包括：I帧、P帧和B帧；定位单元，用于在所述编码段落中定位I帧的编码位置；抽帧单元，用于基于所述编码位置从所述编码段落中抽取所有的I帧；则所述第一计算模块用于计算所述所有I帧的第一数据量，以及计算所述编码段落的第二数据量。
可选地，所述第二计算模块包括：第二计算单元，用于通过如下公式计算所述视频段落的动静率x：x＝m/n；其中，x为所述视频段落的动静率；m为第二数据量；n为第一数据量。
可选地，所述第一计算模块包括：存储单元，用于将所述所有的关键帧存入一个关键帧文件；第一计算子单元，用于计算所述关键帧文件的占用空间，并将所述占用空间确定为所述所有关键帧占用的第一数据量。
可选地，所述第一计算模块还可以包括：统计单元，用于统计所述所有的关键帧的帧数量；第二计算子单元，用于将所述帧数量确定为所述所有关键帧的第一数据量。
可选地，所述装置还包括：配置模块，用于在所述视频段落的属性信息中配置所述动静率；显示模块，用于响应针对所述视频段落的编辑指令，在所述视频段落的编辑界面显示所述动静率。
可选地，所述装置还包括：获取模块，用于获取背景音乐的节奏参数，其中，所述节奏参数用于指示所述背景音乐的节拍快慢；判断模块，用于判断所述节奏参数与所述动静率是否匹配；推送模块，用于若所述节奏参数与所述动静率匹配，在所述背景音乐的编辑界面推送所述视频段落。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本申请实施例还提供了一种电子设备，图4是本发明实施例的一种电子设备的结构图，如图4所示，包括处理器41、通信接口42、存储器43和通信总线44，其中，处理器41，通信接口42，存储器43通过通信总线44完成相互间的通信，存储器43，用于存放计算机程序；处理器41，用于执行存储器43上所存放的程序时，实现如下步骤：抽取视频段落中的所有关键帧；计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量；采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，其中，所述动静率用于表征所述视频段落中画面的运动速度。
进一步，所述抽取视频段落中的所有关键帧包括：对所述视频段落进行编码处理，得到编码段落，其中，所述编码段落包括：I帧、P帧和B帧；在所述编码段落中定位I帧的编码位置；基于所述编码位置从所述编码段落中抽取所有的I帧；所述计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量包括：计算所述所有I帧的第一数据量，以及计算所述编码段落的第二数据量。
进一步，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率包括：通过如下公式计算所述视频段落的动静率x：x＝m/n；其中，x为所述视频段落的动静率；m为第二数据量；n为第一数据量。
进一步，所述计算所述所有关键帧的第一数据量包括：将所述所有的关键帧存入一个关键帧文件；计算所述关键帧文件的占用空间，并将所述占用空间确定为所述所有关键帧占用的第一数据量。
进一步，所述计算所述所有关键帧的第一数据量包括：统计所述所有的关键帧的帧数量；将所述帧数量确定为所述所有关键帧的第一数据量。
进一步，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率之后，所述方法还包括：在所述视频段落的属性信息中配置所述动静率；响应针对所述视频段落的编辑指令，在所述视频段落的编辑界面显示所述动静率。
进一步，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率之后，所述方法还包括：获取背景音乐的节奏参数，其中，所述节奏参数用于指示所述背景音乐的节拍快慢；判断所述节奏参数与所述动静率是否匹配；若所述节奏参数与所述动静率匹配，在所述背景音乐的编辑界面推送所述视频段落。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频动静率识别方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频动静率识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种视频动静率识别方法，其特征在于，包括：
抽取视频段落中的所有关键帧；
计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量；
采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，其中，所述动静率用于表征所述视频段落中画面的运动速度；
所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率之后，所述方法还包括：在所述视频段落的属性信息中配置所述动静率；响应针对所述视频段落的编辑指令，在所述视频段落的编辑界面显示所述动静率；
所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率之后，所述方法还包括：获取背景音乐的节奏参数，其中，所述节奏参数用于指示所述背景音乐的节拍快慢；判断所述节奏参数与所述动静率是否匹配；若所述节奏参数与所述动静率匹配，在所述背景音乐的编辑界面推送所述视频段落；
所述关键帧包括所述视频段落中的指定帧，所述抽取视频段落中的所有关键帧包括：在所述视频段落中定位指定帧的帧位置，其中，所述指定帧为帧画面包括特定元素的视频帧；基于所述帧位置从所述视频段落中抽取所有的指定帧。
2.如权利要求1所述的视频动静率识别方法，其特征在于，所述抽取视频段落中的所有关键帧包括：
对所述视频段落进行编码处理，得到编码段落，其中，所述编码段落包括：I帧、P帧和B帧；
在所述编码段落中定位I帧的编码位置；
基于所述编码位置从所述编码段落中抽取所有的I帧；
所述计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量包括：
计算所述所有I帧的第一数据量，以及计算所述编码段落的第二数据量。
3.如权利要求1所述的视频动静率识别方法，其特征在于，所述采用所述第一数据量和所述第二数据量计算所述视频段落的动静率包括：
通过如下公式计算所述视频段落的动静率x：
x＝m/n；
其中，x为所述视频段落的动静率；m为第二数据量；n为第一数据量。
4.如权利要求1所述的视频动静率识别方法，其特征在于，所述计算所述所有关键帧的第一数据量包括：
将所述所有的关键帧存入一个关键帧文件；
计算所述关键帧文件的占用空间，并将所述占用空间确定为所述所有关键帧占用的第一数据量。
5.如权利要求1所述的视频动静率识别方法，其特征在于，所述计算所述所有关键帧的第一数据量包括：
统计所述所有的关键帧的帧数量；
将所述帧数量确定为所述所有关键帧的第一数据量。
6.一种视频动静率识别装置，其特征在于，包括：
抽帧模块，用于抽取视频段落中的所有关键帧；
第一计算模块，用于计算所述所有关键帧的第一数据量，以及计算所述视频段落的第二数据量；
第二计算模块，用于采用所述第一数据量和所述第二数据量计算所述视频段落的动静率，其中，所述动静率用于表征所述视频段落中画面的运动速度；
所述装置还包括：配置模块，用于在所述视频段落的属性信息中配置所述动静率；显示模块，用于响应针对所述视频段落的编辑指令，在所述视频段落的编辑界面显示所述动静率；
所述装置还包括：获取模块，用于获取背景音乐的节奏参数，其中，所述节奏参数用于指示所述背景音乐的节拍快慢；判断模块，用于判断所述节奏参数与所述动静率是否匹配；推送模块，用于若所述节奏参数与所述动静率匹配，在所述背景音乐的编辑界面推送所述视频段落；
其中，所述关键帧包括所述视频段落中的指定帧，所述抽取视频段落中的所有关键帧包括：在所述视频段落中定位指定帧的帧位置，其中，所述指定帧为帧画面包括特定元素的视频帧；基于所述帧位置从所述视频段落中抽取所有的指定帧。
7.一种电子设备，其特征在于，所述电子设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的视频动静率识别方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述视频动静率识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210700492.XA CN115243101B (zh) | 2022-06-20 | 2022-06-20 | 视频动静率识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210700492.XA CN115243101B (zh) | 2022-06-20 | 2022-06-20 | 视频动静率识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115243101A CN115243101A (zh) | 2022-10-25 |
| CN115243101B true CN115243101B (zh) | 2024-04-12 |
Family
ID=83669754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210700492.XA Active CN115243101B (zh) | 2022-06-20 | 2022-06-20 | 视频动静率识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115243101B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003179860A (ja) * | 2002-08-30 | 2003-06-27 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
| JP2004096617A (ja) * | 2002-09-03 | 2004-03-25 | Sharp Corp | ビデオ編集方法、ビデオ編集装置、ビデオ編集プログラム、及び、プログラム記録媒体 |
| WO2010090622A1 (en) * | 2009-02-09 | 2010-08-12 | Vitamin D, Inc. | Systems and methods for video analysis |
| CN102572502A (zh) * | 2010-12-17 | 2012-07-11 | 北京东方文骏软件科技有限责任公司 | 一种用于视频质量评价的关键帧的选取方法 |
| CN103200419A (zh) * | 2013-03-05 | 2013-07-10 | 同济大学 | 一种高速识别视频内容变化程度的方法 |
| CN105550251A (zh) * | 2015-12-08 | 2016-05-04 | 小米科技有限责任公司 | 图片播放方法和装置 |
| WO2019085941A1 (zh) * | 2017-10-31 | 2019-05-09 | 腾讯科技（深圳）有限公司 | 一种关键帧提取方法、装置和存储介质 |
| CN110278388A (zh) * | 2019-06-19 | 2019-09-24 | 北京字节跳动网络技术有限公司 | 展示视频的生成方法、装置、设备及存储介质 |
| CN111626137A (zh) * | 2020-04-29 | 2020-09-04 | 平安国际智慧城市科技股份有限公司 | 基于视频的运动评估方法、装置、计算机设备及存储介质 |
| WO2022028407A1 (zh) * | 2020-08-03 | 2022-02-10 | 影石创新科技股份有限公司 | 一种全景视频剪辑方法、装置、存储介质及设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7843512B2 (en) * | 2004-03-31 | 2010-11-30 | Honeywell International Inc. | Identifying key video frames |
| US20160373834A1 (en) * | 2015-02-06 | 2016-12-22 | Empire Technology Development Llc | Rhythm based multimedia generator |
| CN108769786B (zh) * | 2018-05-25 | 2020-12-29 | 网宿科技股份有限公司 | 一种合成音视频数据流的方法和装置 |
-
2022
- 2022-06-20 CN CN202210700492.XA patent/CN115243101B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003179860A (ja) * | 2002-08-30 | 2003-06-27 | Sony Corp | 画像処理装置および方法、並びに記録媒体 |
| JP2004096617A (ja) * | 2002-09-03 | 2004-03-25 | Sharp Corp | ビデオ編集方法、ビデオ編集装置、ビデオ編集プログラム、及び、プログラム記録媒体 |
| WO2010090622A1 (en) * | 2009-02-09 | 2010-08-12 | Vitamin D, Inc. | Systems and methods for video analysis |
| CN102572502A (zh) * | 2010-12-17 | 2012-07-11 | 北京东方文骏软件科技有限责任公司 | 一种用于视频质量评价的关键帧的选取方法 |
| CN103200419A (zh) * | 2013-03-05 | 2013-07-10 | 同济大学 | 一种高速识别视频内容变化程度的方法 |
| CN105550251A (zh) * | 2015-12-08 | 2016-05-04 | 小米科技有限责任公司 | 图片播放方法和装置 |
| WO2019085941A1 (zh) * | 2017-10-31 | 2019-05-09 | 腾讯科技（深圳）有限公司 | 一种关键帧提取方法、装置和存储介质 |
| CN110278388A (zh) * | 2019-06-19 | 2019-09-24 | 北京字节跳动网络技术有限公司 | 展示视频的生成方法、装置、设备及存储介质 |
| CN111626137A (zh) * | 2020-04-29 | 2020-09-04 | 平安国际智慧城市科技股份有限公司 | 基于视频的运动评估方法、装置、计算机设备及存储介质 |
| WO2022028407A1 (zh) * | 2020-08-03 | 2022-02-10 | 影石创新科技股份有限公司 | 一种全景视频剪辑方法、装置、存储介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 罗忠祥,庄越挺,刘丰,潘云鹤.基于视频的人体动画.计算机研究与发展.2003,(02),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115243101A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109862391B (zh) | 视频分类方法、介质、装置和计算设备 | |
| WO2021082667A1 (zh) | 视频数据编码方法、装置、设备和存储介质 | |
| CN112437345B (zh) | 视频倍速播放方法、装置、电子设备及存储介质 | |
| CN107155093B (zh) | 一种视频预览方法、装置及设备 | |
| CN103475935A (zh) | 一种视频片段的检索方法及装置 | |
| CN109511011B (zh) | 一种面向YouTube DASH加密视频的指纹数据库构建方法 | |
| US11438645B2 (en) | Media information processing method, related device, and computer storage medium | |
| CN106791875B (zh) | 视频数据解码方法、编码方法以及相关设备 | |
| CN110662084B (zh) | 一种mp4文件流直播的方法、移动终端及存储介质 | |
| CN110490845A (zh) | 一种图像特征提取方法、装置、存储介质及电子设备 | |
| CN109348309A (zh) | 一种适用于帧率上变换的分布式视频转码方法 | |
| CN113225585A (zh) | 一种视频清晰度的切换方法、装置、电子设备以及存储介质 | |
| CN110572723A (zh) | 一种缩略图生成的方法以及相关装置 | |
| CN111447451B (zh) | 图像编码、解码方法及装置 | |
| CN115243101B (zh) | 视频动静率识别方法、装置、电子设备及存储介质 | |
| CN112019878B (zh) | 一种视频解码和编辑的方法、装置、设备和存储介质 | |
| US20190200031A1 (en) | Coding of video and audio with initialization fragments | |
| CN115941972A (zh) | 图像传输方法、装置、设备及存储介质 | |
| CN113099270B (zh) | 文件存储方法及解码方法、装置、存储介质、电子装置 | |
| CN111147954A (zh) | 一种缩略图抽取方法及装置 | |
| CN116668632B (zh) | 全息视频的播放方法、装置、设备及存储介质 | |
| KR101667050B1 (ko) | 인코딩된 멀티미디어 콘텐츠의 역방향 재생을 위한 방법 및 장치와 기계로 읽을 수 있는 저장 장치 | |
| CN108023855B (zh) | 一种视频质量监控方法、视频质量监控服务器及设备 | |
| CN107734387B (zh) | 一种视频切割方法、装置、终端和存储介质 | |
| CN115842922A (zh) | 视频比特流封装、解码、访问方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |