CN114390314A - 可变帧率音视频处理方法、设备及存储介质 - Google Patents

可变帧率音视频处理方法、设备及存储介质 Download PDF

Info

Publication number
CN114390314A
CN114390314A CN202111680577.8A CN202111680577A CN114390314A CN 114390314 A CN114390314 A CN 114390314A CN 202111680577 A CN202111680577 A CN 202111680577A CN 114390314 A CN114390314 A CN 114390314A
Authority
CN
China
Prior art keywords
frame
frames
type
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111680577.8A
Other languages
English (en)
Inventor
李斐
徐嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111680577.8A priority Critical patent/CN114390314A/zh
Publication of CN114390314A publication Critical patent/CN114390314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种可变帧率音视频处理方法、设备及存储介质，所述方法包括：应用于编码端，所述可变帧率音视频处理方法包括：确定视频文件的每个预设时长中的第一类帧，所述第一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；确定所述第一类帧的帧总数；对视频文件进行编码，得到编码信息；其中，所述第一类帧中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系。本申请属于音视频处理技术领域，本申请保证可变帧率视频文件的准确还原。

Description

可变帧率音视频处理方法、设备及存储介质
技术领域
本申请涉及音视频技术领域，尤其涉及一种可变帧率音视频处理方法、 设备及存储介质。
背景技术
随着视频平台，尤其是短视频平台的快速发展，越来越多的技术应用在 音视频处理的技术领域，由此也对音视频技术提出了更高的要求。
目前，由于可变帧率的视频编码具有减少视频文件的体积的优点，因此 采用可变帧率对视频文件进行编码被广泛应用。但由于帧率可变，解码端在 解码时，难以准确还原视频文件。
发明内容
本申请的主要目的在于提供一种可变帧率音视频处理方法、设备及存储 介质，旨在解决现有技术中解码端难以准确还原采用可变帧率编码的视频文 件的技术问题。
为实现上述目的，本申请提供一种可变帧率音视频处理方法，应用于编 码端，所述可变帧率音视频处理方法包括：
确定视频文件的每个预设时长中的第一类帧，所述第一类帧中包括至少 连续的两帧，且所述第一类帧中不同帧的画面内容相同；
确定所述第一类帧的帧总数；
对视频文件进行编码，得到编码信息；其中，所述第一类帧中仅一帧进 行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中编码的帧信 息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系。
可选地，所述视频文件包括文件头，所述编码信息包括所述文件头的编 码子信息；所述编码子信息中包括所述第一类帧中编码的帧信息和所述第一 类帧中编码的帧信息与所述帧总数之间的对应关系。
可选地，所述对视频文件进行编码，得到编码信息的步骤之前，所述方 法包括：
确定每个预设时长中非第一类帧；
确定各预设时长中第一类帧和非第一类帧的显示顺序信息；
基于所述第一帧总数和所述显示顺序信息，得到每个预设时长的播放矩 阵信息。
可选地，所述编码信息中还包括所述播放矩阵信息、所述非第一类帧中 的帧信息。
本申请还提供一种可变帧率音视频处理方法，应用于解码端，所述可变 帧率音视频处理方法包括：
获取视频文件的编码信息，其中，所述编码信息中包括每个预设时长中 第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间 的对应关系；所述第一类帧中包括至少连续的两帧，且所述第一类帧中不同 帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余帧不再编码；
基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系和所述 第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类帧得到所述 视频文件。
可选地，所述编码信息中还包括每个预设时长的播放矩阵信息和非第一 类帧中的帧信息，所述播放矩阵信息由所述帧总数、第一类帧和非第一类帧 的显示顺序信息确定的；
所述基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系和 所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类帧得到 所述视频文件的步骤，包括：
基于所述所述第一类帧中编码的帧信息与所述帧总数之间的对应关系、 所述第一类帧中编码的帧信息、所述显示顺序信息、非第一类帧中的帧信息， 还原第一类帧和非第一类帧；
基于还原的第一类帧和还原的非第一类帧得到所述视频文件。
可选地，所述基于还原的第一类帧得到所述视频文件的步骤之后，还包 括：
基于所述所述帧总数和非第一类帧的总数，对所述预设时长进行时间的 划分，得到单位播放时间；
确定所述预设时长对应的起始时间戳；
基于所述起始时间戳、所述单位播放时间、所述显示顺序信息、所述帧 总数和非第一类帧的总数，确定所述第一类帧的第一播放时间戳和所述非第 一类帧的第二播放时间戳；
将所述第一播放时间戳和第二播放时间戳作为所述视频文件的视频播放 时间戳；
确定所述视频文件的采样信息，基于所述采样信息确定所述视频文件中 音频的音频播放时间戳；
将所述音频播放时间戳与所述视频播放时间戳进行误差对比，得到第一 误差；
若所述第一误差在第一预设阈值范围内，则对所述视频文件进行音视频 同步播放；
若所述第一误差在第一预设阈值范围外，则通过预设第一阻塞调节流程， 以对所述视频文件进行音视频同步播放。
可选地，所述基于所述确定所述视频文件的采样信息，基于所述采样信 息确定所述视频文件中音频的音频播放时间戳的步骤之后，所述方法还包括：
确定所述视频文件的系统播放时间戳；
将所述系统播放时间戳分别和所述音频播放时间戳进行比对，得到第二 误差；
将所述系统播放时间戳分别和所述视频播放时间戳进行比对，得到第三 误差；
若所述第二误差在第二预设阈值范围内，且所述第三误差在第三预设阈 值范围内，则对所述视频文件进行音视频同步播放；
若所述第二误差不在第二预设阈值范围内，或者所述第三误差不在第三 预设阈值范围内，则通过预设第二阻塞调节流程，以对所述视频文件进行音 视频同步播放。
本申请还提供一种可变帧率音视频处理装置，应用于编码端，所述可变 帧率音视频处理装置包括：
第一确定模块，用于确定视频文件的每个预设时长中的第一类帧，所述 第一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；
第二确定模块，用于确定所述第一类帧的帧总数；
编码模块，用于对视频文件进行编码，得到编码信息；其中，所述第一 类帧中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类 帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系。
本申请还提供一种可变帧率音视频处理装置，应用于解码端，所述可变 帧率音视频处理装置包括：
获取模块，用于获取视频文件的编码信息，其中，所述编码信息中包括 每个预设时长中第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与 所述帧总数之间的对应关系；所述第一类帧中包括至少连续的两帧，且所述 第一类帧中不同帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余 帧不再编码；
还原模块，用于基于所述第一类帧中编码的帧信息与所述帧总数之间的 对应关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第 一类帧得到所述视频文件。
本申请还提供一种可变帧率音视频处理设备，所述可变帧率音视频处理 设备包括：存储器、处理器以及存储在存储器上的用于实现所述应用于编码 端的可变帧率音视频处理方法的程序，
所述存储器用于存储实现所述应用于编码端的可变帧率音视频处理方法 的程序；
所述处理器用于执行实现所述应用于编码端的可变帧率音视频处理方法 的程序，以实现上述所述应用于编码端的可变帧率音视频处理方法的步骤。
本申请还提供一种可变帧率音视频处理设备，所述可变帧率音视频处理 设备包括：存储器、处理器以及存储在存储器上的用于实现所述应用于解码 端的可变帧率音视频处理方法的程序，
所述存储器用于存储实现所述应用于解码端的可变帧率音视频处理方法 的程序；
所述处理器用于执行实现所述应用于解码端的可变帧率音视频处理方法 的程序，以实现上述所述应用于解码端的可变帧率音视频处理方法的步骤。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一 个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器 执行以用于实现上述任一项所述的应用于编码端的可变帧率音视频处理方法 的步骤。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一 个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器 执行以用于实现上述任一项所述的应用于解码端的可变帧率音视频处理方法 的步骤。
本申请提供的一种可变帧率音视频处理方法、设备及存储介质，与现有 技术中解码端难以准确还原采用可变帧率编码的视频文件相比，在本申请中， 确定视频文件的每个预设时长中的第一类帧，所述第一类帧中包括至少连续 的两帧，且所述第一类帧中不同帧的画面内容相同；确定所述第一类帧的帧 总数；对视频文件进行编码，得到编码信息；其中，所述第一类帧中仅一帧 进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中编码的帧 信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，即在本 申请中，针对采用可变帧率编码的视频文件(视频文件中包括第一类帧，第 一类帧包括至少连续的两帧，且不同帧的画面内容相同，且第一类帧中只对 仅一帧进行编码，其余帧不再编码)，确定所述第一类帧的帧总数，确定第 一类帧中编码的帧信息，进而确定所述第一类帧中编码的帧信息与所述帧总 数之间的对应关系，并在视频文件的编码信息中保存所述第一类帧中编码的 帧信息，和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，因 而，便于基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系， 将第一类帧中编码的帧信息还原为第一类帧，进而，实现准确还原采用可变 帧率编码的视频文件。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图；
图2为为本申请可变帧率音视频处理方法第一实施例的流程示意图；
图3为本申请可变帧率音视频处理方法第三实施例的流程示意图；
图4为本申请可变帧率音视频处理方法中编码端对视频文件进行编码后， 通过解码端进行解码的场景示意图；
图5为本申请可变帧率音视频处理方法中每个预设时长不同播放矩阵信 息的示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限 定本申请。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构 示意图。
本申请实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅 读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩 标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV， 动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可 移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004， 用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现 这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入 单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、 无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立 于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路， 传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感 器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器， 其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感 器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一 种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横 竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、 敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红 外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限 定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部 件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系 统、网络通信模块、用户接口模块以及网络操作控制应用程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台 服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客 户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的网络 操作控制应用程序。
参照图2，本申请实施例提供一种可变帧率音视频处理方法，应用于编码 端，所述可变帧率音视频处理方法包括：
步骤S100，确定视频文件的每个预设时长中的第一类帧，所述第一类帧 中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；
步骤S200，确定所述第一类帧的帧总数；
步骤S300，对视频文件进行编码，得到编码信息；其中，所述第一类帧 中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中 编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关 系。
具体步骤如下：
步骤S100，确定视频文件的每个预设时长中的第一类帧，所述第一类帧 中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；
在本实施例中，需要说明的是，可变帧率音视频处理方法可以应用于编 码端，该编码端属于可变帧率音视频处理系统，该可变帧率音视频处理系统 从属于可变帧率音视频处理设备。
在本实施例中，具体的应用场景可以是：
由于可变帧率的视频编码具有减少视频文件的体积的优点，因此采用可 变帧率对视频文件进行编码被广泛应用。但由于帧率可变，解码端在解码时， 难以准确还原视频文件。
而在本申请中，对于可变帧率音视频处理系统而言，设置有编码端，该 编码端针对采用可变帧率编码的视频文件(视频文件中包括第一类帧，第一 类帧包括至少连续的两帧，且不同帧的画面内容相同，且第一类帧中只对仅 一帧进行编码，其余帧不再编码)，确定所述第一类帧的帧总数，确定第一 类帧中编码的帧信息，进而确定所述第一类帧中编码的帧信息与所述帧总数 之间的对应关系，并在视频文件的编码信息中保存所述第一类帧中编码的帧 信息，和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，因而，便于基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，将第 一类帧中编码的帧信息还原为第一类帧，进而，实现准确还原采用可变帧率 编码的视频文件。
也即，在本申请中，避免由于不明确可变帧率对应帧的播放次数，或者 预设时长，导致还原不准确。
在本实施例中，视频文件可以是WMV格式，也可以是MPEG格式，还 可以是MP4格式的视频文件，在本实施例中不做限定。
在本实施例中，首先接收视频文件，其中，编码端接收视频文件的方式 可以是：
方式一：接收客户端上传的视频文件，其中，视频文件是用户在客户端 选择的。
方式二：接收网页服务器端传输的视频文件，其中，视频文件是用户在 网页端下载的文件。
在本实施例中，第一类帧中包括至少连续的两帧，且所述第一类帧中不 同帧的画面内容相同(人视觉上看不出区别的帧，或者观感上无差别的帧)。
例如，视频文件由帧a1，b1，b2，b3，c1、c2，d1，e1，f1构成。
其中，b1，b2，b3为连续的帧，且b1，b2，b3的画面内容相同(观感上 无差别的帧)，则第一类帧为b1，b2，b3。
同样地，c1、c2为连续的帧，且c1、c2的画面内容相同(观感上无差别 的帧)，则第一类帧为c1、c2。
又例如，视频文件由帧a，b1，b2，c构成。
其中，b1，b2为连续的帧，且b1，b2的画面内容相同(观感上无差别的 帧)，则第一类帧为b1，b2。
步骤S200，确定所述第一类帧的帧总数；
具体地，若第一类帧为b1，b2，b3，则第一类帧的帧总数为3；
若第一类帧为c1、c2，则第一类帧的帧总数为2。
步骤S300，对视频文件进行编码，得到编码信息；其中，所述第一类帧 中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中 编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关 系。
需要说明的是，编码端在编码时，为节省空间提升性能，使用可变帧率 进行编码，即第一类帧中只对仅一帧进行编码，其余帧不再编码。
例如第一类帧为b1、b2、b3，则只对b1进行编码，得到第一类帧中编码 的帧信息；
或者例如第一类帧为b1、b2、b3，则只对b2进行编码，得到第一类帧中 编码的帧信息；
或者例如第一类帧为b1、b2、b3，则只对b2进行编码，得到第一类帧中 编码的帧信息。
或者例如第一类帧为c1、c2，则只对c1进行编码，得到第一类帧中编码 的帧信息；
例如第一类帧为c1、c2，则只对c2进行编码，得到第一类帧中编码的帧 信息。
在这样的情况下，若某一预设时长中未编码的帧为[a1，b1，b2，b3，c1、 c2，d1，e1，f1]，则实际只需编码的帧为：[a1，b1，c1，d1，e1，f1]进行编 码或者[a1，b2，c1，d1，e1，f1]等，而不是对全部的[a1，b1，b2，b3，c1、 c2，d1，e1，f1]进行编码，因而，可以节省内存空间，且可以加快视频传输 速度。
而若另一预设时长中帧为[a2，b2，g1，h3，i1、j2，k1，m1，n1]，则 需要对全部的[a2，b2，g1，h3，i1、j2，k1，m1，n1]进行编码。
也即，对同一预设时长中的帧，编码端是基于可变帧率进行编码的。
在本实施例中，在对视频文件进行编码后，得到编码信息。
其中，所述编码信息中包括所述第一类帧中编码的帧信息；
具体地，由于视频文件中包括第一类帧，很显然，视频文件中的第一类 帧包括第一类帧中编码的帧信息，例如，视频文件中包括第一类帧b1、b2、 b3，则编码信息中包括第一类帧中编码的帧信息，该第一类帧中编码的帧信 息可以只为B1(对b1编码后得到)，可以只为B2(对b2编码后得到)，可 以为只B3(对b3编码后得到)。
再例如，视频文件中包括第一类帧c1、c2，则编码信息中包括第一类帧 中编码的帧信息，该第一类帧中编码的帧信息可以只为C1(对c1编码后得 到)，可以只为C2(对c2编码后得到)，可以只为C3(对c3编码后得到)。
在本实施例中，所述编码信息中包括所述第一类帧中编码的帧信息与所 述帧总数之间的对应关系。
例如，第一类帧中编码的帧信息为B1，第一类帧为b1、b2、b3，则所述 第一类帧中编码的帧信息与所述帧总数之间的对应关系为：B1-3。
需要说明的是，若任一帧(一般帧)的预设时长(播放1ms)是确定的， 所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，表明在播放时 第一类帧实际上要播放3次，或者第一类帧的预设时长，是3倍于一般帧的 预设时长(播放3ms)。
例如，第一类帧中编码的帧信息为C1，第一类帧为c1、c2，则所述第一 类帧中编码的帧信息与所述帧总数之间的对应关系为：C1-2。
若任一帧的预设时长(播放1ms)是确定的，建立的第一类帧中编码的 帧信息C1和帧总数2的对应关系，表明在播放时C帧实际上要播放2次，或 者C帧的预设时长，是2倍于基础帧的预设时长(播放2ms)。
在本实施例中，由于存在多个多个不同的第一类帧，很显然，第一类帧 中编码的帧信息具有多个，所述第一类帧中编码的帧信息与所述帧总数之间 的对应关系也具有多个。
例如B1-2，C1-3都是第一类帧中编码的帧信息与所述帧总数之间的对应 关系。
在本实施例中，第一类帧中编码的帧信息与所述帧总数之间的对应关系 具体表现形式可以是矩阵形式。
具体矩阵形式如下：
第一类帧中编码的帧信息为[B1，C1]，则第一类帧中编码的帧信息与所 述帧总数之间的对应关系为[3，2]。
在本实施例中，所述编码信息中包括所述第一类帧中编码的帧信息和所 述第一类帧中编码的帧信息与所述帧总数之间的对应关系，因而，相应后续 解码端可以明确第一类帧中编码的帧信息对应的帧总数为3，明确C1对应的 对应关系为2，因而，便于将第一类帧中编码的帧信息还原为第一类帧。
例如，第一类帧中编码的帧信息为B1，第一类帧中编码的帧信息对应的 帧总数为3，则基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关 系，则可以将B1还原为[b1，b2，b3]。
整体地，例如，如图4所示，视频文件由帧[a，b1，b2，c]构成。
其中，b1，b2为连续的帧，且b1，b2的画面内容相同(观感上无差别的 帧)，则第一类帧为b1，b2。a对应的编码的帧信息为A，b1，b2对应的编 码的帧信息为B，c对应的编码的帧信息为C。
则视频文件的编码的帧信息为[A，B，C]，把视频文件的编码的帧信息为 [A，B，C]保存在编码信息中，并保存第一类帧中编码的帧信息与所述帧总数 之间的对应关系，便于后续把编码的帧信息[A，B，C]还原为视频文件[a，b1， b2，c]。
本申请提供的一种可变帧率音视频处理方法、设备及存储介质，与现有 技术中解码端难以准确还原采用可变帧率编码的视频文件相比，在本申请中， 确定视频文件的每个预设时长中的第一类帧，所述第一类帧中包括至少连续 的两帧，且所述第一类帧中不同帧的画面内容相同；确定所述第一类帧的帧 总数；对视频文件进行编码，得到编码信息；其中，所述第一类帧中仅一帧 进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中编码的帧 信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，即在本 申请中，针对采用可变帧率编码的视频文件(视频文件中包括第一类帧，第 一类帧包括至少连续的两帧，且不同帧的画面内容相同，且第一类帧中只对 仅一帧进行编码，其余帧不再编码)，确定所述第一类帧的帧总数，确定第 一类帧中编码的帧信息，进而确定所述第一类帧中编码的帧信息与所述帧总 数之间的对应关系，并在视频文件的编码信息中保存所述第一类帧中编码的 帧信息，和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，因 而，便于基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系， 将第一类帧中编码的帧信息还原为第一类帧，进而，实现准确还原采用可变 帧率编码的视频文件。
基于上述第一实施例，本申请还提供另一实施例，在该实施例中，所述 视频文件包括文件头，所述编码信息包括所述文件头的编码子信息；所述编 码子信息中包括所述第一类帧中编码的帧信息和所述第一类帧中编码的帧信 息与所述帧总数之间的对应关系。
在本实施例中，视频文件包括文件头和文件体，文件头包含视频格式、 版本等信息，文件体用于存储数据，其中包含了audio，video，scripts等元数 据，所述编码信息包括所述文件头的编码子信息；所述编码子信息中包括所 述第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之 间的对应关系。也即，在本实施例中，所述第一类帧中编码的帧信息和所述 第一类帧中编码的帧信息与所述帧总数之间的对应关系置于文件头的编码子 信息，由于文件头的编码子信息便于读取，因而，可以便于后续解码端提升 读取速度。
在本实施例中，如图3所示，所述对视频文件进行编码，得到编码信息 的步骤之前，所述方法包括：
步骤S001，确定每个预设时长中非第一类帧；
步骤S002，确定各预设时长中第一类帧和非第一类帧的显示顺序信息；
步骤S003，基于所述第一帧总数和所述显示顺序信息，得到每个预设时 长的播放矩阵信息。
在本实施例中，非第一类帧是变化的帧，该非第一类帧的帧数为1；
例如，视频文件由帧a1，b1，b2，b3，c1、c2，d1，e1，f1构成，帧a1， d1，e1，f1均为非第一类帧，也即，第一类帧外的其他帧是非第一类帧，非 第一类帧a1的帧数为1，非第一类帧d1的帧数为1，非第一类帧e1的帧数为 1，非第一类帧f1的帧数为1。
在本实施例中，直接读取第一类帧和非第一类帧的显示顺序信息，例如 某一预设时长中第一类帧和非第一类帧的显示顺序信息为[a1，b1，b2，b3， c1、c2，d1，e1，f1]，则先显示a1，然后显示b1，然后显示c1，然后显示d1， 然后显示e1，然后显示f1。
基于所述第一帧总数(b1-3，c1-2)和所述显示顺序信息(先显示a1，然 后显示b1，然后显示c1，然后显示d1，然后显示e1，然后显示f)，得到每 个预设时长的播放矩阵信息，则矩阵信息为[1，3，2，1]。
其中，所述编码信息中还包括所述播放矩阵信息(如图5所示)、所述 非第一类帧中的帧信息。
在本实施例中，所述编码信息中还包括所述播放矩阵信息、所述非第一 类帧中的帧信息，因而，便于将非第一类帧中编码的帧信息还原为非第一类 帧。
在本实施例中，通过所述对视频文件进行编码，得到编码信息的步骤之 前，所述方法包括：确定每个预设时长中非第一类帧；确定各预设时长中第 一类帧和非第一类帧的显示顺序信息；基于所述第一帧总数和所述显示顺序 信息，得到每个预设时长的播放矩阵信息。在本实施例中，将第一类帧中编 码的帧信息还原为第一类帧，将非第一类帧中编码的帧信息还原为非第一类 帧。进而，可以实现准确还原采用可变帧率编码的视频文件。
基于上述第一实施例和第二实施例，本申请还提供另一实施例，在该实 施例中，参照图3，应用于解码端，所述可变帧率音视频处理方法包括：
步骤A100，获取视频文件的编码信息，其中，所述编码信息中包括每个 预设时长中第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述 帧总数之间的对应关系；所述第一类帧中包括至少连续的两帧，且所述第一 类帧中不同帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余帧不 再编码；
步骤A200，基于所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类 帧得到所述视频文件。
在本实施例中，解码端可以是播放端。
在本实施例中，解码端接收从编码端发送的视频文件的编码信息，其中， 解码端可以通过有线或无线的方式接收从编码端发送的视频文件的编码信 息。
在本实施例中，所述编码信息中包括每个预设时长中第一类帧中编码的 帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系；所述 第一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同； 所述第一类帧中仅一帧进行编码，其余帧不再编码。
也即，视频文件是基于可变帧率进行编码的。
由于所述编码信息中包括每个预设时长中第一类帧中编码的帧信息和所 述第一类帧中编码的帧信息与所述帧总数之间的对应关系，例如，对应关系 可以是：第一类帧中编码的帧信息为B1，第一类帧为b1、b2、b3，也即，第 一类帧中编码的帧信息B1和帧总数3之间存在对应关系，解码端可以读取到 第一类帧中编码的帧信息B1和帧总数3之间存在的对应关系。
在本实施例中，解码端是从文件头的编码子信息中读取得到所述第一类 帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系的。
例如，文件头的编码子信息的第一类帧中编码的帧信息为B1、C1，其中， 对应关系为B1-3，C1-2。
则基于上述编码子信息，将第一类帧中编码的帧信息还原成第一类帧。
具体地，基于B1-3，将第一类帧中编码的帧信息还原为第一类帧为b1、 b2、b3。
具体地，基于C1-2，将第一类帧中编码的帧信息还原为第一类帧为c1、 c2。
在还原为第一类帧后，在本实施例中，基于还原的第一类帧为准确得到 所述视频文件奠定基础。
基于上述第一实施例、第二实施例和第三实施例，本申请还提供另一实 施例，在该实施例中，所述编码信息中还包括每个预设时长的播放矩阵信息 和非第一类帧中的帧信息，所述播放矩阵信息由所述帧总数、第一类帧和非 第一类帧的显示顺序信息确定的；
所述基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系和 所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类帧得到 所述视频文件的步骤，包括：
步骤A201，基于所述所述第一类帧中编码的帧信息与所述帧总数之间的 对应关系、所述第一类帧中编码的帧信息、所述显示顺序信息、非第一类帧 中的帧信息，还原第一类帧和非第一类帧；
步骤A202，基于还原的第一类帧和还原的非第一类帧得到所述视频文件。
在本实施例中，非第一类帧是除第一类帧之外的帧，该非第一类帧的帧 数为1；
例如，视频文件由帧a1，b1，b2，b3，c1、c2，d1，e1，f1构成，帧a1， d1，e1，f1均为非第一类帧，也即，第一类帧外的其他帧是非第一类帧，非 第一类帧a1的帧数为1，非第一类帧d1的帧数为1，非第一类帧e1的帧数为 1，非第一类帧f1的帧数为1。
在本实施例中，所述编码信息中还包括每个预设时长的播放矩阵信息和 非第一类帧中的帧信息，所述播放矩阵信息由所述帧总数、第一类帧和非第 一类帧的显示顺序信息确定的。
在本实施例中，对于编码端而言，直接读取所述所述第一类帧中编码的 帧信息与所述帧总数之间的对应关系、所述第一类帧中编码的帧信息、所述 显示顺序信息、非第一类帧中的帧信息，基于所述所述第一类帧中编码的帧 信息与所述帧总数之间的对应关系、所述第一类帧中编码的帧信息、所述显 示顺序信息、非第一类帧中的帧信息，还原第一类帧和非第一类帧。
具体地，例如某一预设时长中第一类帧和非第一类帧的显示顺序信息为 [a1，b1，b2，b3，c1、c2，d1，e1，f1]，则显示顺序信息为：先显示a1，然 后显示b1，然后显示c1，然后显示d1，然后显示e1，然后显示f1。
基于所述所述第一类帧中编码的帧信息(B1，C1)，第一类帧中编码的 帧信息与所述帧总数之间的对应关系(B1-3，C1-2)和所述显示顺序信息(先 显示a1，然后显示b1，然后显示c1，然后显示d1，还原第一类帧[b1，b2， b3]，以及[c1、c2]，和非第一类帧[a1]、[d1]、[e1]、[f1]、[a1]。
基于还原的第一类帧和还原的非第一类帧得到所述视频文件[a1，b1，b2， b3，c1、c2，d1，e1，f1]。
在本实施例中，实现视频文件的准确还原。
基于上述第一实施例、第二实施例、第三实施例和第四实施例，本申请 还提供另一实施例，在该实施例中，
所述基于还原的第一类帧得到所述视频文件的步骤之后，还包括：
步骤A203，基于所述所述帧总数和非第一类帧的总数，对所述预设时长 进行时间的划分，得到单位播放时间；
在本实施例中，基于所述所述帧总数和非第一类帧的总数，对所述预设 时长进行时间的划分，得到单位播放时间，其中，单位播放时间的计算公式 为：
α/β
其中α表示帧总数和非第一类帧的总数之和，β表示视频播放时实际的固 定帧率。
例如，表示帧总数和非第一类帧的总数之和为6，预设时长为1s的时间， 对所述预设时长进行时间的划分，得到单位播放时间为1/6s。
步骤A204，确定所述预设时长对应的起始时间戳；
在本实施例中，预设时长对应的起始时间戳可以为0，也可以不是0。
步骤A205，基于所述起始时间戳、所述单位播放时间、所述显示顺序信 息、所述帧总数和非第一类帧的总数，确定所述第一类帧的第一播放时间戳 和所述非第一类帧的第二播放时间戳；
步骤A206，将所述第一播放时间戳和第二播放时间戳作为所述视频文件 的视频播放时间戳；
例如，显示顺序信息为[a1，b1，b2，c1，c2，d1]，第一类帧分别为(b1， b2)和(c1，c2)，帧总数为：b1-2，以及c1-2，非第一类帧的总数为2，起 始时间戳为2分30秒，单位播放时间为1/6s，即可得到a帧时间戳为2分30 秒，d帧时间戳为2分30.83秒，即基于a帧时间戳和d帧时间戳确定非第一 类帧的第二播放时间戳；b1帧时间戳为2分30.16秒，b2帧时间戳为2分30.33 秒，c1帧时间戳为2分30.5秒，c2帧时间戳为2分30.67秒。
在本实施例中，第一帧总数和显示顺序信息，保存在每个预设时长的播放矩阵信息（二维矩阵）中，则每一帧的时间戳的计算公式为：
Figure RE-770637DEST_PATH_IMAGE001
其中t为起始时间戳，初始值可以为0，n表示从t时间起，已播放的帧数，k表示帧在播放矩阵信息（二维矩阵）中的位次，α[k]表示每个可变帧率在二维矩阵中帧率变化的具体数值（即位次的具体数）。
例如，起始时间戳为0分2秒，单位播放时间为1/7s，帧总数和非第一 类帧的总数为16(如图5所示，播放矩阵信息可以为[1，5，3，3，1，2，1])， 即β为16，k表示帧在播放矩阵信息(二维矩阵)中的位次，α[k]表示每个可 变帧率在二维矩阵中帧率变化的具体数值，若k为5(播放矩阵信息位次为5) 时，对应α[k]为1(播放矩阵信息在第二个位置处的具体数值为5)，则播放 到k位次对应帧的时候，该帧实际预设时长为12/16，即750毫秒，则该帧的 时间戳为2+750毫秒，即2.75秒。
在本实施例中，可以通过用seek(定位)操作，直接检索到每个预设时 长的第一帧，即seek到需要播放的位置。
步骤A207，确定所述视频文件的采样信息，基于所述采样信息确定所述 视频文件中音频的音频播放时间戳；
在本实施例中，获取所述视频文件中的的采样信息，采样信息包括采样 率和采样样本个数，基于采样率和采样样本个数计算音频帧播放时间戳和预 设时长。
具体地，可以根据音频的采样率，声道数，采样格式(即每次采样的大 小)，计算出音频的播放时间戳。
步骤A208，将所述音频播放时间戳与所述视频播放时间戳进行误差对比， 得到第一误差；
在本实施例中，基于视频播放时间戳，得到某一视频播放时间点，将某 一视频播放时间点与音频这一时间点的时间戳进行对比，得到第一误差。
步骤A209，若所述第一误差在第一预设阈值范围内，则对所述视频文件 进行音视频同步播放；
在本实施例中，其满足第一误差在第一预设阈值范围内的公式为：
Figure BDA0003448766700000181
其中，视频播放时间戳为Tv,持续的预设时长为Dv，读取到的音频播放 时间戳为Ta,可接受的音视频前后误差为R。
第一预设阈值范围可以是0～100毫秒，即R为0～100毫秒，第一误差在 此阈值范围内，人视觉上看不出区别的帧，或者人视觉上看到的是观感上无 差别的帧，即实现了音视频同步播放。
步骤A210，若所述第一误差在第一预设阈值范围外，则通过预设第一阻 塞调节流程，以对所述视频文件进行音视频同步播放。
在本实施例中，在第一误差大于预设阈值范围时，通过预设第一阻塞调 节流程，第一阻塞调节流程即当帧播放快于音频帧时，在帧数据播放结束不 立即返回，等到音频帧播放结束再返回；当音频帧播放快于帧时，在音频帧 数据播放结束不立即返回，等到帧播放结束再返回。
在本实施例中，以视频时间为基准进行音频调节同步，即在保证视频的 播放流畅度情况下，实现音视频的同步操作。
基于上述第一实施例、第二实施例、第三实施例、第四实施例和第五实 施例，本申请还提供另一实施例，在该实施例中，所述基于所述确定所述视 频文件的采样信息，基于所述采样信息确定所述视频文件中音频的音频播放 时间戳的步骤之后，所述方法还包括：
步骤A211，确定所述视频文件的系统播放时间戳；
在本实施例中，以系统时间为基准进行音频和视频调节同步，即根据系 统时间开始计时，实现音视频的同步操作。
步骤A212，将所述系统播放时间戳分别和所述音频播放时间戳进行比对， 得到第二误差；
步骤A213，将所述系统播放时间戳分别和所述视频播放时间戳进行比对， 得到第三误差；
步骤A214，若所述第二误差在第二预设阈值内，且所述第三误差在第三 预设阈值内，则对所述视频文件进行音视频同步播放；
在本实施例中，将所述系统播放时间戳分别和所述音频播放时间戳进行 比对，得到第二误差，将所述系统播放时间戳分别和所述视频播放时间戳进 行比对，得到第三误差，若所述第二误差在第二预设阈值内，且所述第三误 差在第三预设阈值内，则对所述视频文件进行音视频同步播放，其中，确定 第二误差在第二预设阈值范围内，且第三误差在第三预设阈值范围内的公式 如下：
Figure BDA0003448766700000191
其中，当前的系统播放时间戳为T，读取到的音频播放时间戳为Ta，视 频播放时间戳为Tv，可接受的音视频前后误差为R，已播放的时间间隔为Tr。
需要说明的是，在本实施例中，第二预设阈值范围、第三预设阈值范围 与实施例五中的第一预设阈值范围相同，在此不做赘述。
步骤A3525，若所述第二误差不在第二预设阈值范围内，或者所述第三 误差不在第三预设阈值范围内，则通过预设第二阻塞调节流程，以对所述视 频文件进行音视频同步播放。
在本实施例中，若所述第二误差不在第二预设阈值范围内，或者所述第 三误差不在第三预设阈值范围内，则通过预设第二阻塞调节流程，第二阻塞 调节流程即当帧播放快于系统时间戳时，在帧数据播放结束不立即返回，等 到系统时间结束再返回；当音频帧播放快于系统时间戳时，在音频帧数据播 放结束不立即返回，等到系统时间结束再返回。
需要说明的是，本实施例中的可变帧率音视频处理方法可以应用于可变 帧率音视频处理系统，该可变帧率音视频处理系统包括编码端和解码端，可 变帧率音视频处理系统对可变帧率音视频进行处理的过程可以是：
编码端首先确定视频文件的每个预设时长中的第一类帧，其中，所述第 一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同， 确定第一类帧后，编码端确定所述第一类帧的帧总数，然后编码端对视频文 件进行编码，得到编码信息；在编码过程中，所述第一类帧中仅一帧进行编 码，其余帧不再编码；其中，编码端还把所述第一类帧中编码的帧信息和所 述第一类帧中编码的帧信息与所述帧总数之间的对应关系置于编码信息中。 具体地，由于视频文件包括文件头，所述编码信息包括所述文件头的编码子 信息；所述编码子信息中包括所述第一类帧中编码的帧信息和所述第一类帧 中编码的帧信息与所述帧总数之间的对应关系，因而，编码端把所述第一类 帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系置于文件头的编码子信息中。其中，上述可变帧率音视频处理过程在编 码端具体实现时，还确定每个预设时长中非第一类帧，具体地，在编码端对 视频文件进行编码，得到编码信息的步骤之前，还确定每个预设时长中非第 一类帧；并确定各预设时长中第一类帧和非第一类帧的显示顺序信息；进而 基于所述第一帧总数和所述显示顺序信息，得到每个预设时长的播放矩阵信 息。将每个预设时长的播放矩阵信息置于视频文件的编码信息中，也即，所 述编码信息中还包括所述播放矩阵信息、所述非第一类帧中的帧信息。
上述可变帧率音视频处理在编码端具体实现编码后，还在解码端具体实 现解码，具体采用如下实现方案：
解码端获取视频文件的编码信息，其中，所述编码信息中包括每个预设 时长中第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总 数之间的对应关系；所述第一类帧中包括至少连续的两帧，且所述第一类帧 中不同帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余帧不再编 码；解码端基于编码信息中的所述第一类帧中编码的帧信息与所述帧总数之 间的对应关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原 的第一类帧得到所述视频文件。其中，所述编码信息中还包括每个预设时长 的播放矩阵信息和非第一类帧中的帧信息，所述播放矩阵信息由所述帧总数、 第一类帧和非第一类帧的显示顺序信息确定的；因而，解码端基于所述所述 第一类帧中编码的帧信息与所述帧总数之间的对应关系、所述第一类帧中编 码的帧信息、所述显示顺序信息、非第一类帧中的帧信息，还原第一类帧和 非第一类帧；基于还原的第一类帧和还原的非第一类帧得到所述视频文件。
其中，解码端在还原视频文件后，解码端还基于所述所述帧总数和非第 一类帧的总数，对所述预设时长进行时间的划分，得到单位播放时间；解码 端确定所述预设时长对应的起始时间戳；基于所述起始时间戳、所述单位播 放时间、所述显示顺序信息、所述帧总数和非第一类帧的总数，确定所述第 一类帧的第一播放时间戳和所述非第一类帧的第二播放时间戳；解码端将所 述第一播放时间戳和第二播放时间戳作为所述视频文件的视频播放时间戳； 确定所述视频文件的采样信息，基于所述采样信息确定所述视频文件中音频的音频播放时间戳；解码端将所述音频播放时间戳与所述视频播放时间戳进 行误差对比，得到第一误差；若所述第一误差在第一预设阈值范围内，则解 码端对所述视频文件进行音视频同步播放；若所述第一误差在第一预设阈值 范围外，则通过预设第一阻塞调节流程，以对所述视频文件进行音视频同步 播放。
在本实施例中，还可以以系统播放时间戳作为播放的基准，具体地，解 码端确定所述视频文件的系统播放时间戳；将所述系统播放时间戳分别和所 述音频播放时间戳进行比对，得到第二误差；解码端将所述系统播放时间戳 分别和所述视频播放时间戳进行比对，得到第三误差；若所述第二误差在第 二预设阈值范围内，且所述第三误差在第三预设阈值范围内，则解码端对所 述视频文件进行音视频同步播放；若所述第二误差不在第二预设阈值范围内， 或者所述第三误差不在第三预设阈值范围内，则解码端通过预设第二阻塞调 节流程，以对所述视频文件进行音视频同步播放。
本申请可变帧率音视频处理系统的具体实施方式与上述可变帧率音视频 处理方法各实施例基本相同，在此不再赘述。
本申请还提供一种可变帧率音视频处理设备，所述可变帧率音视频处理 设备包括：存储器、处理器以及存储在存储器上的用于实现所述应用于编码 端的可变帧率音视频处理方法的程序，
所述存储器用于存储实现所述应用于编码端的可变帧率音视频处理方法 的程序；
所述处理器用于执行实现所述应用于编码端的可变帧率音视频处理方法 的程序，以实现上述所述应用于编码端的可变帧率音视频处理方法的步骤。
本申请应用于编码端的可变帧率音视频处理设备具体实施方式与上述所 述应用于编码端的可变帧率音视频处理方法各实施例基本相同，在此不再赘 述。
本申请还提供一种可变帧率音视频处理设备，所述可变帧率音视频处理 设备包括：存储器、处理器以及存储在存储器上的用于实现所述应用于解码 端的可变帧率音视频处理方法的程序，
所述存储器用于存储实现所述应用于解码端的可变帧率音视频处理方法 的程序；
所述处理器用于执行实现所述应用于解码端的可变帧率音视频处理方法 的程序，以实现上述所述应用于解码端的可变帧率音视频处理方法的步骤。
本申请应用于解码端的可变帧率音视频处理设备具体实施方式与上述所 述应用于解码端的可变帧率音视频处理方法各实施例基本相同，在此不再赘 述。
本申请还提供一种可变帧率音视频处理装置，应用于编码端，所述可变 帧率音视频处理装置包括：
第一确定模块，用于确定视频文件的每个预设时长中的第一类帧，所述 第一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；
第二确定模块，用于确定所述第一类帧的帧总数；
编码模块，用于对视频文件进行编码，得到编码信息；其中，所述第一 类帧中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类 帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系。
本申请可变帧率音视频处理装置具体实施方式与上述应用于编码端的可 变帧率音视频处理方法各实施例基本相同，在此不再赘述。
本申请还提供一种可变帧率音视频处理装置，应用于解码端，所述可变 帧率音视频处理装置包括：
获取模块，用于获取视频文件的编码信息，其中，所述编码信息中包括 每个预设时长中第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与 所述帧总数之间的对应关系；所述第一类帧中包括至少连续的两帧，且所述 第一类帧中不同帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余 帧不再编码；
还原模块，用于基于所述第一类帧中编码的帧信息与所述帧总数之间的 对应关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第 一类帧得到所述视频文件。
本申请可变帧率音视频处理装置具体实施方式与上述应用于解码端可变 帧率音视频处理方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一 个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器 执行以用于实现上述任一项所述的应用于编码端的可变帧率音视频处理方法 的步骤。
本申请存储介质具体实施方式与上述应用于编码端的可变帧率音视频处 理方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一 个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器 执行以用于实现上述任一项所述的应用于解码端的可变帧率音视频处理方法 的步骤。
本申请存储介质具体实施方式与上述应用于解码端的可变帧率音视频处 理方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系 统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下， 由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物 品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、 磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机， 服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是 利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种可变帧率音视频处理方法，其特征在于，应用于编码端，所述可变帧率音视频处理方法包括：
确定视频文件的每个预设时长中的第一类帧，所述第一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；
确定所述第一类帧的帧总数；
对视频文件进行编码，得到编码信息；其中，所述第一类帧中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系。
2.如权利要求1所述的可变帧率音视频处理方法，其特征在于，所述视频文件包括文件头，所述编码信息包括所述文件头的编码子信息；所述编码子信息中包括所述第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系。
3.如权利要求1所述的可变帧率音视频处理方法，其特征在于，所述对视频文件进行编码，得到编码信息的步骤之前，所述方法包括：
确定每个预设时长中非第一类帧；
确定各预设时长中第一类帧和非第一类帧的显示顺序信息；
基于所述帧总数和所述显示顺序信息，得到每个预设时长的播放矩阵信息。
4.如权利要求3所述的可变帧率音视频处理方法，其特征在于，所述编码信息中还包括所述播放矩阵信息、所述非第一类帧中的帧信息。
5.一种可变帧率音视频处理方法，其特征在于，应用于解码端，所述可变帧率音视频处理方法包括：
获取视频文件的编码信息，其中，所述编码信息中包括每个预设时长中第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系；所述第一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余帧不再编码；
基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类帧得到所述视频文件。
6.如权利要求5所述的可变帧率音视频处理方法，其特征在于，所述编码信息中还包括每个预设时长的播放矩阵信息和非第一类帧中的帧信息，所述播放矩阵信息由所述帧总数、第一类帧和非第一类帧的显示顺序信息确定的；
所述基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类帧得到所述视频文件的步骤，包括：
基于所述所述第一类帧中编码的帧信息与所述帧总数之间的对应关系、所述第一类帧中编码的帧信息、所述显示顺序信息、非第一类帧中的帧信息，还原第一类帧和非第一类帧；
基于还原的第一类帧和还原的非第一类帧得到所述视频文件。
7.如权利要求6所述的可变帧率音视频处理方法，其特征在于，所述基于还原的第一类帧得到所述视频文件的步骤之后，还包括：
基于所述所述帧总数和非第一类帧的总数，对所述预设时长进行时间的划分，得到单位播放时间；
确定所述预设时长对应的起始时间戳；
基于所述起始时间戳、所述单位播放时间、所述显示顺序信息、所述帧总数和非第一类帧的总数，确定所述第一类帧的第一播放时间戳和所述非第一类帧的第二播放时间戳；
将所述第一播放时间戳和第二播放时间戳作为所述视频文件的视频播放时间戳；
确定所述视频文件的采样信息，基于所述采样信息确定所述视频文件中音频的音频播放时间戳；
将所述音频播放时间戳与所述视频播放时间戳进行误差对比，得到第一误差；
若所述第一误差在第一预设阈值范围内，则对所述视频文件进行音视频同步播放；
若所述第一误差在第一预设阈值范围外，则通过预设第一阻塞调节流程，以对所述视频文件进行音视频同步播放。
8.如权利要7所述的可变帧率音视频处理方法，其特征在于，所述基于所述确定所述视频文件的采样信息，基于所述采样信息确定所述视频文件中音频的音频播放时间戳的步骤之后，所述方法还包括：
确定所述视频文件的系统播放时间戳；
将所述系统播放时间戳分别和所述音频播放时间戳进行比对，得到第二误差；
将所述系统播放时间戳分别和所述视频播放时间戳进行比对，得到第三误差；
若所述第二误差在第二预设阈值范围内，且所述第三误差在第三预设阈值范围内，则对所述视频文件进行音视频同步播放；
若所述第二误差不在第二预设阈值范围内，或者所述第三误差不在第三预设阈值范围内，则通过预设第二阻塞调节流程，以对所述视频文件进行音视频同步播放。
9.一种可变帧率音视频的处理设备，其特征在于，所述可变帧率音视频的处理设备包括：存储器、处理器以及存储在存储器上并可在所述处理器上运行的可变帧率音视频处理程序，所述可变帧率音视频处理程序配置为实现如权利要求1至4中任一项所述的可变帧率音视频处理方法的步骤，或所述可变帧率音视频处理程序配置为实现如权利要求5至8中任一项所述的可变帧率音视频处理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有可变帧率音视频处理程序，所述可变帧率音视频处理程序配置为实现如权利要求1至4中任一项所述的可变帧率音视频处理方法的步骤，或所述可变帧率音视频处理程序配置为实现如权利要求5至8中任一项所述的可变帧率音视频处理方法的步骤。
CN202111680577.8A 2021-12-30 2021-12-30 可变帧率音视频处理方法、设备及存储介质 Pending CN114390314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111680577.8A CN114390314A (zh) 2021-12-30 2021-12-30 可变帧率音视频处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111680577.8A CN114390314A (zh) 2021-12-30 2021-12-30 可变帧率音视频处理方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114390314A true CN114390314A (zh) 2022-04-22

Family

ID=81199539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111680577.8A Pending CN114390314A (zh) 2021-12-30 2021-12-30 可变帧率音视频处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114390314A (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
US6058141A (en) * 1995-09-28 2000-05-02 Digital Bitcasting Corporation Varied frame rate video
CN102547482A (zh) * 2011-12-30 2012-07-04 北京锐安科技有限公司 一种多路ip音视频流同步播放方法
CN104079950A (zh) * 2014-07-04 2014-10-01 福建天晴数码有限公司 视频输出处理、视频接收处理的方法、装置和系统
CN105264892A (zh) * 2013-06-07 2016-01-20 苹果公司 针对高帧率和可变帧率捕获来调整视频压缩
WO2016138844A1 (zh) * 2015-03-03 2016-09-09 腾讯科技（深圳）有限公司 音视频文件直播方法和系统、服务器
WO2017005066A1 (zh) * 2015-07-06 2017-01-12 深圳Tcl数字技术有限公司 录制音视频同步时间戳的方法和装置
CN108495164A (zh) * 2018-04-09 2018-09-04 珠海全志科技股份有限公司 音视频同步处理方法及装置、计算机装置及存储介质
CN108632625A (zh) * 2017-03-21 2018-10-09 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
CN109005414A (zh) * 2018-09-18 2018-12-14 图普科技（广州）有限公司 视频传输方法、装置、设备以及系统
CN109120929A (zh) * 2018-10-18 2019-01-01 北京达佳互联信息技术有限公司 一种视频编码、解码方法、装置、电子设备及系统
CN110519635A (zh) * 2019-08-07 2019-11-29 河北远东通信系统工程有限公司 一种无线集群系统的音视频媒体流合流方法及系统
CN110719462A (zh) * 2018-07-11 2020-01-21 腾讯美国有限责任公司 视频解码的方法和装置
CN110784718A (zh) * 2019-10-31 2020-02-11 广州市网星信息技术有限公司 视频数据编码方法、装置、设备和存储介质
US20200128271A1 (en) * 2019-12-20 2020-04-23 Intel Corporation Method and system of multiple channel video coding with frame rate variation and cross-channel referencing
CN111327898A (zh) * 2018-12-14 2020-06-23 中国移动通信集团广西有限公司 一种视频编码的方法、装置、电子设备及存储介质
CN112019880A (zh) * 2020-10-30 2020-12-01 南斗六星系统集成有限公司 一种任意帧率视频文件拼接方法
US20210377331A1 (en) * 2020-05-26 2021-12-02 Grass Valley Canada System and method for synchronizing transmission of media content using timestamps
CN113747159A (zh) * 2021-09-06 2021-12-03 深圳软牛科技有限公司 一种生成可变帧率视频媒体文件的方法、装置及相关组件
CN113852824A (zh) * 2021-10-13 2021-12-28 网宿科技股份有限公司 视频转码方法、装置、电子设备和存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
US6058141A (en) * 1995-09-28 2000-05-02 Digital Bitcasting Corporation Varied frame rate video
CN102547482A (zh) * 2011-12-30 2012-07-04 北京锐安科技有限公司 一种多路ip音视频流同步播放方法
CN105264892A (zh) * 2013-06-07 2016-01-20 苹果公司 针对高帧率和可变帧率捕获来调整视频压缩
CN104079950A (zh) * 2014-07-04 2014-10-01 福建天晴数码有限公司 视频输出处理、视频接收处理的方法、装置和系统
WO2016138844A1 (zh) * 2015-03-03 2016-09-09 腾讯科技（深圳）有限公司 音视频文件直播方法和系统、服务器
WO2017005066A1 (zh) * 2015-07-06 2017-01-12 深圳Tcl数字技术有限公司 录制音视频同步时间戳的方法和装置
CN108632625A (zh) * 2017-03-21 2018-10-09 华为技术有限公司 一种视频编码方法、视频解码方法和相关设备
CN108495164A (zh) * 2018-04-09 2018-09-04 珠海全志科技股份有限公司 音视频同步处理方法及装置、计算机装置及存储介质
CN110719462A (zh) * 2018-07-11 2020-01-21 腾讯美国有限责任公司 视频解码的方法和装置
CN109005414A (zh) * 2018-09-18 2018-12-14 图普科技（广州）有限公司 视频传输方法、装置、设备以及系统
CN109120929A (zh) * 2018-10-18 2019-01-01 北京达佳互联信息技术有限公司 一种视频编码、解码方法、装置、电子设备及系统
CN111327898A (zh) * 2018-12-14 2020-06-23 中国移动通信集团广西有限公司 一种视频编码的方法、装置、电子设备及存储介质
CN110519635A (zh) * 2019-08-07 2019-11-29 河北远东通信系统工程有限公司 一种无线集群系统的音视频媒体流合流方法及系统
CN110784718A (zh) * 2019-10-31 2020-02-11 广州市网星信息技术有限公司 视频数据编码方法、装置、设备和存储介质
US20200128271A1 (en) * 2019-12-20 2020-04-23 Intel Corporation Method and system of multiple channel video coding with frame rate variation and cross-channel referencing
US20210377331A1 (en) * 2020-05-26 2021-12-02 Grass Valley Canada System and method for synchronizing transmission of media content using timestamps
CN112019880A (zh) * 2020-10-30 2020-12-01 南斗六星系统集成有限公司 一种任意帧率视频文件拼接方法
CN113747159A (zh) * 2021-09-06 2021-12-03 深圳软牛科技有限公司 一种生成可变帧率视频媒体文件的方法、装置及相关组件
CN113852824A (zh) * 2021-10-13 2021-12-28 网宿科技股份有限公司 视频转码方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109729420B (zh) 图片处理方法及装置、移动终端及计算机可读存储介质
CN107613357B (zh) 声画同步优化方法、装置及可读存储介质
US10659684B2 (en) Apparatus and method for providing dynamic panorama function
CN111970577B (zh) 字幕编辑方法、装置和电子设备
EP3495941A1 (en) Offline haptic conversion system
WO2019218384A1 (zh) 显示处理方法、装置、存储介质及电子终端
CN107925799B (zh) 用于生成视频内容的方法和设备
CN105612743A (zh) 编码的媒体的音频视频回放同步
KR102424296B1 (ko) 복수의 영상들을 제공하기 위한 방법, 저장 매체 및 전자 장치
CN111683266A (zh) 一种视频同声翻译配置字幕方法及终端
KR20210110852A (ko) 이미지 변형 제어 방법, 장치 및 하드웨어 장치
KR20170054868A (ko) 콘텐트를 제공하는 방법 및 이를 지원하는 전자 장치
CN112188267A (zh) 视频播放方法、装置和设备及计算机存储介质
CN108256071B (zh) 录屏文件的生成方法、装置、终端及存储介质
US20160295256A1 (en) Digital content streaming from digital tv broadcast
CN113039513B (zh) 一种输入法候选内容的推荐方法及电子设备
CN112995743B (zh) 视频播放方法及装置
JP6085067B2 (ja) ユーザデータ更新方法、装置、プログラム、及び記録媒体
CN107431752B (zh) 一种处理方法及便携式电子设备
US10936878B2 (en) Method and device for determining inter-cut time range in media item
CN107710754B (zh) 音视频数据同步方法和装置
CN114390314A (zh) 可变帧率音视频处理方法、设备及存储介质
KR20170043944A (ko) 디스플레이 장치 및 이의 제어 방법
EP3891962B1 (en) Synchronized jitter buffers to handle codec switches
CN114666622A (zh) 特效视频确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination