CN114125550A - 一种视频处理方法、装置、设备及可读存储介质 - Google Patents
一种视频处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114125550A CN114125550A CN202111406401.3A CN202111406401A CN114125550A CN 114125550 A CN114125550 A CN 114125550A CN 202111406401 A CN202111406401 A CN 202111406401A CN 114125550 A CN114125550 A CN 114125550A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- video data
- video
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000005538 encapsulation Methods 0.000 claims abstract description 27
- 238000004806 packaging method and process Methods 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 20
- 238000012856 packing Methods 0.000 abstract 2
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
Abstract
本申请公开了一种视频处理方法、装置、设备及可读存储介质。可根据待解封装的视频数据的封装格式来使用与视频数据的封装格式匹配的解封装库，对待解封装的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据；在解封装后，可识别目标音频数据的音频编码格式及目标视频数据的视频编码格式；若目标音频数据及视频数据的视频编码格式为H.265的编码格式，则将目标音频数据传递到与目标音频数据和视频数据的编码格式对应的解码器进行解码；解码后，可同步播放解码后的目标音频数据及目标视频数据。本申请可播放编码格式为H.265的视频数据，有效地解决了浏览器原生video播放视频数据的局限性。
Description
技术领域
本申请涉及互联网技术领域，更具体地说，涉及一种视频处理方法、装置、设备及可读存储介质。
背景技术
随着互联网技术的发展，直播、短视频等技术逐渐兴起，视频播放技术被广泛应用在各种网络平台，例如，PC端、移动端、小程序等都需要进行视频播放。越来越多的应用场景也需要对视频进行播放、编辑处理等操作。其中，随着用户的安保意识不断增强，视频监控领域应用系统对视频播放技术的需求剧增，并由传统的单机播放视频需求逐渐转向由Web浏览器播放视频。然而Web浏览器对视频播放的原生能力支持较差，不能支持H.265编码格式的视频。而在视频监控领域中，目前国内的大多数监控硬件厂商已经支持GB/T 28181标准规范，GB/T 28181标准规范中规定了公共安全视频监控联网系统发互联结构，传输、交换、控制的基本要求和安全性要求，以及控制、传输流程和协议接口等技术要求。GB/T28181标准规范中要求视频的编码格式采用H.265编码格式、PS封装格式，基于此，现有的浏览器视频播放所能支持的视频编码格式中均不支持这几种编码格式的视频。因此，如何解决浏览器视频播放的支持格式受限的问题是一个值得研究的问题。
发明内容
有鉴于此，本申请提供了一种视频处理方法、装置、设备及可读存储介质，用于解决浏览器不能播放H.265编码格式的视频数据的问题。
一种视频处理方法，包括：
确定待解封装的视频数据的封装格式；
使用与所述待解封装的视频数据的封装格式匹配的解封装库，对所述待解封装的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据；
识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式；
若所述目标音频数据及所述目标视频数据的编码格式为H.265的编码格式，则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码，将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据；
同步播放所述第一目标音频数据及所述第一目标视频数据。
优选地，该方法还包括：
若所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式，则将所述目标音频数据及所述目标视频数据的数据结构调整为符合MP4格式标准规范的数据结构，并将转化后的所述目标音频数据及所述目标视频数据传递给浏览器自带的解码库进行解码，得到第二目标音频数据及第二目标视频数据；
同步播放所述第二目标音频数据及所述第二目标视频数据。
优选地，所述同步播放所述目标第二音频数据及所述第二目标视频数据，包括：
调用浏览器的video标签同步播放所述第二目标音频数据及所述第二目标视频数据。
优选地，所述同步播放所述第一目标音频数据及所述第一目标视频数据，包括：
调用浏览器的AudioContext API接口播放所述第一目标音频数据，调用浏览器的canvas接口对所述第一目标视频数据进行图像绘制渲染，并控制所述第一目标音频数据与所述第一目标视频数据同步播放。
一种视频处理方法装置，包括：
封装格式确定单元，用于确定待解封装的视频数据的封装格式；
解封装单元，用于调用与所述待解封装的视频数据的封装格式匹配的解封装库，对所述待解封装的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据；
识别单元，用于识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式；
第一解码单元，用于当所述目标音频数据及所述目标视频数据的编码格式为H.265的编码格式；则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码；将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据；
第一同步播放单元，用于同步播放所述第一目标音频数据及所述第一目标视频数据。
优选地，所述视频处理装置还包括：
第二解码单元，用于当所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式时，将所述目标音频数据及所述目标视频数据的数据结构调整为符合MP4格式标准规范的数据结构，并将转化后的所述目标音频数据及所述目标视频数据传递浏览器自带的解码库进行解码，得到第二目标音频数据及第二目标视频数据；
第二同步播放单元：用于同步播放所述第二目标音频数据及所述第二目标视频数据。
优选地，所述第二同步播放单元用于调用浏览器的video标签同步播放所述第二目标音频数据及所述第二目标视频数据。
优选地，所述第一同步播放单元用于调用浏览器的AudioContext API接口播放所述第一目标音频数据，调用浏览器的canvas接口对所述第一目标视频数据进行图像绘制渲染，并控制所述第一目标音频数据与所述第一目标视频数据同步播放。
一种视频处理设备，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如前述介绍中任一项的视频处理方法的各个步骤。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前述介绍中任一项的视频处理方法的各个步骤。
从上述技术方案可以看出，本申请的视频处理方法，可以确定待解封装的视频数据的封装格式，以便根据所述封装格式来使用与所述待解封装的视频数据的封装格式匹配的解封装库，对所述待解封装的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据；在解封所述视频数据后，可以识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式；若所述目标音频数据及视频数据的视频编码格式为H.265的编码格式，则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码，并将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据；在对所述第一目标音频数据和所述第一目标视频数据进行解码后，可以同步播放所述第一目标音频数据及所述第一目标视频数据。本申请可以播放编码格式为H.265的视频数据，有效地解决了浏览器原生video播放视频数据的局限性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1-图2为本申请实施例示例的一种实现视频处理方法的流程图；
图3为本申请实施例示例的一种视频处理装置结构示意图；
图4为本申请实施例公开的一种视频处理设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
Web浏览器是互联网用户访问互联网最常见的入口。浏览器凭借其免安装和跨平台等优势，逐渐取代了很多传统应用的客户端。例如，越来越多的互联网用户不再下载特定的视频播放客户端来播放视频，而是直接在Web浏览器上播放视频。Web浏览器通过向URL发送网络请求来访问Web服务器资源，并以交互性的方式展示这些内容。常见的浏览器包括Internet Explorer、Firefox、谷歌Chrome、Safari和Opera等。这些常用的浏览器所能支持播放的视频格式非常有限，常见的浏览器一般都支持播放H.264编码格式的视频数据，但是并不支持播放H.265编码格式的视频数据。然而，目前GB/T 28181标准规范中要求视频的编码格式采用H.265编码格式、PS封装格式，常用的浏览器的播放视频功能已不能满足实际的应用需求。
本申请人经过研究后，曾尝试研发专门用来支持播放H.265编码格式的视频数据的应用，但经过调查研究后发现，这样不仅研发成本高且兼容性不好。因此，亟需一种可以实现能支持播放H.265编码格式的视频数据的方案。
为了解决这一问题，本申请人经过研究后，提供了另一种视频处理方法，该方法可以用于解决浏览器不能播放H.265编码格式的视频数据的问题。
该方法可以应用于任意一种可以实现视频处理方法的设备中，可选的，实现视频处理方法的设备可以是平板电脑、手机、数字电视等具有Web浏览器数据处理能力的终端。
下面结合图1，介绍本申请实施例给出的视频处理方法的流程，该流程可以包括以下几个步骤：
步骤S101，确定待解封装的视频数据的封装格式。
具体地，视频的本质是由多张图片组成的数据流，视频中多种图片的连续播放，每张的播放时间间隔很小。如果把一段视频中的多张图片原封不动的全部存储起来，所占用的存储空间会非常大，但是如果通过一定的算法把每一张图片压缩处理后，每张图片就变成一帧，再把每帧串联连起来行程数据流，这样就形成了视频数据流，对视频中的多张图片进行压缩存储处理，也可以称之为对视频数据的编码处理过程。因此，采用不同的算法对视频数据中的多张图片进行压缩处理，可以产生不同编码格式的视频数据。对视频数据中的多张图片进行编码处理后，为了便于保存和播放，需要将压缩后的视频数据放进不同的容器中，可以采用不同的容器来存储压缩后的视频数据，由此，采用不同的容器存储的视频数据就产生具有了不同的视频封装格式。视频封装格式是指视频保存的一种格式，对视频数据进行封装主要是为了适应储存视频的需要，人们设定了不同的视频文件格式来把视频数据和音频数据按照一定的视频格式存放在一个文件中，以方便同时回放。
例如，常见的视频文件格式如：wmv、asf、asx、rm、rmvb、mp4、3gp、mov、m4v、avi、dat、mkv、flv、vob。MP4格式的视频数据是常用的浏览器支持播放的一种视频格式，即为MPEG-4第14部分(MPEG-4Part14)，是一种标准的数字多媒体容器格式。MPEG-4第14部分的扩展名为.MP4，以存储数字音频及数字视频为主，但也可以存储字幕和静止图像。H.264又称为MPEG-4第10部分，是一种高级视频编码(MPEG-4Part 10,Advanced Video Coding，缩写为MPEG-4AVC)，H.264是一种面向块，基于运动补偿的视频编码标准，是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT，Joint VideoTeam)提出的高度压缩数字视频编解码器标准。这个标准通常也被称之为H.264/AVC(或者AVC/H.264或者H.264/MPEG-4AVC或MPEG-4/H.264AVC)。编码格式为H.264的视频数据的数据结构可以转化为编码格式的MP4的视频数据的数据结构。结合浏览器的MSE(MediaSource Extensions，缩写MSE，是一项W3C规范，它允许JavaScript将视频数据流发送至网页浏览器中支持HTML5视频的解码器)即可使用浏览器的video标签进行视频解码播放。
特别地，每一种被封装的视频数据都有对应的封装格式分析工具，每一种封装格式都有自己的标准结构和标识数据，根据对应标准和数据标识，即可以识别视频数据的封装格式。例如，Elecard Format Analyzer是一种常用的视频封装格式分析工具。每种封装分析工具对应有可用于对封装的视频数据进行解封装的解封装库。通过分析定视频数据的封装格式，可以确定视频数据的解封装分析工具以及编码格式。
因此，在对待解封装的视频数据之前，可以确定待解封装的视频数据的封装格式，以便用来确定与所述待解封装的视频数据对应的解封装库。
步骤S102，使用与所述待解封装的视频数据的封装格式匹配的解封装库，对所述待解封装的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据。
具体地，每一种被封装的视频数据是由音频数据和视频数据按照一定的封装格式进行封装的，而每一种视频数据的封装格式对应有特定的封装格式标准和标识数据，在确定所述待解封装的视频数据的封装格式后，可以使用与所述待解封装的视频数据的封装格式匹配的解封装库，对所述待解封装的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据，以便对所述目标音频数据及目标视频数据进行解码处理。
例如，可以使用利用javascript实现的解封装库来对所述待解封装的视频数据进行解封装。相比于常用的解封装库来说，本申请利用javascript实现的解封装库来对视频数据进行解封装，有更好的稳定性及兼容性。
特别地，若待解封的视频数据的封装格式为PS格式，则可以调用PS解封装器对待解封装的视频数据进行解封装处理。若待解封装的视频数据的封装格式TS格式，则可以调用TS解封装库进行解封装。
其中，PS又称MPEG program stream(或MPEG-PS)，包含MPEG-1和MPEG-2两部分。MPEG-2中定义了两种复合信息流：传送流(TS：TransporTStream)和节目流(PS：ProgramStream)。PS是一种多路复用数字音频、视频等的封装容器。目前，在国内主要将PS作为一种国标(GB/T 28181)应用在安防监控领域。采用PS格式封装的视频数据由多个PS数据包组成，每个PS数据包由PS header、PS system header、PS system Map、PES payload构成。PS header是一个PS数据包的头数据，根据ISO13818-1标准中定义的PS header标识数据，可以判断一个PS数据包的起始点。PS system header和PS system Map是当该PS数据包为关键帧类型时，PS数据包包含的数据信息，标识了各自数据的长度信息等和视频数据的stream id、stream type，可以用来判断数据是视频数据流还是音频数据流，以及数据的编码格式。PES Payload数据是经过编码的原始视频数据。
步骤S103，识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式。
具体地，在得到解封装后的目标音频数据和目标视频数据之后，可识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式。以便用来确定该如何对所述目标音频数据和所述目标视频数据进行解码。
步骤S104，若所述目标音频数据及视频数据的视频编码格式为H.265的编码格式，则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码，将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据。
具体地，在识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式后，可以判断所述目标音频数据及视频数据的视频编码格式是否为H.265的编码格式，若所述目标音频数据及视频数据的视频编码格式为H.265的编码格式，则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码，将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据。
其中，H.265是一种高效率视频编码(High Efficiency Video Coding，简称HEVC)，是一种视频压缩标准，被视为是ITU-T H.264/MPEG-4AVC标准的继任者。H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。
例如，可以将H.265编码的视频数据传递给由Emscripten编译器编译的WebAssembly方式的FFmpeg解码库中进行解码。其中，Emscripten是基于LLVM/Clang的编译器，它将C和C++源代码编译为webAssembly，主要用于在Web浏览器中执行。WebAssembly是一种新的编码方式，可以在现代的网络浏览器中运行，WebAssembly是一种低级的类汇编语言，具有紧凑的二进制格式，可以接近原生的性能运行，并为诸如C/C++等语言提供一个编译目标，以便它们可以在Web上运行。它也被设计为可以与JavaScript共存，允许两者一起工作。FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为数据流的开源计算机程序，采用LGPL或GPL许可证，FFmpeg可以提供录制、转换以及流化音频数据及视频数据的完整解决方案。
步骤S105，同步播放所述第一目标音频数据及所述第一目标视频数据。
具体地，在对所述目标音频数据和目标视频数据进行解码后，可以调用浏览器来同步播放所述第一目标音频数据及所述第一目标视频数据。
从上述技术方案可以看出，本申请在对所述待解封装的视频数据进行解封装、解码处理后，可以调用浏览器来实现同步播放解码后的音频数据和视频数据，实现了调用浏览器来播放编码格式为H.265的视频数据，有效地解决了浏览器原生video播放视频数据的局限性。
考虑到在实际应用场景中，在识别所述目标音频数据及所述目标视频数据的编码格式之后，所述目标音频数据及所述目标视频数据的编码格式有可能是H.264格式的编码格式，基于此，本申请在所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式，可以提供另一种视频处理的实现方式。
接下来结合图2，对视频处理方法的另一种实现方式进行介绍，该过程可以包括如下几个步骤：
步骤S101，确定待解封装的视频数据的封装格式。
步骤S102，使用与所述待解封装的视频数据的封装格式匹配的解封装库，对所述待解封装的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据。
步骤S103，识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式，若所述目标音频数据及视频数据的视频编码格式为H.265的编码格式，则执行步骤104-步骤S105，若所述目标音频数据及视频数据的视频编码格式为H.264的编码格式，则执行步骤106-步骤S107。
具体地，在得到解封装后的目标音频数据和目标视频数据之后，可识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式。以便用来确定该如何对所述目标音频数据和所述目标视频数据进行解码。其中，若所述目标音频数据及视频数据的视频编码格式为H.265的编码格式，则执行步骤104-步骤S105，若所述目标音频数据及视频数据的视频编码格式为H.264的编码格式，则执行步骤106-步骤S107。
步骤S104，若所述目标音频数据及所述目标视频数据的视频编码格式为H.265的编码格式，则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码，将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据。
步骤S105，同步播放所述第一目标音频数据及所述第一目标视频数据。
步骤S106，若所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式，则将所述目标音频数据及所述目标视频数据的数据结构调整为符合MP4格式标准规范的数据结构，并将转化后的所述目标音频数据及所述目标视频数据传递给浏览器自带的解码库进行解码，得到第二目标音频数据及第二目标视频数据。
具体地，在识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式后，可以判断所述目标音频数据及视频数据的视频编码格式是否为H.264的编码格式，若所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式，则将所述目标音频数据及所述目标视频数据的数据结构调整为符合MP4格式标准规范的数据结构，浏览器的MSE(Media Source Extensions，缩写MSE，是一项W3C规范)允许JavaScript将视频数据流发送至网页浏览器中支持HTML5视频的解码器进行解码，因此，可以将转化后的所述目标音频数据及所述目标视频数据传递给浏览器自带的解码库进行解码。
其中，一般来说，常用的浏览器默认支持播放视频编码格式为H.264编码格式的视频数据，针对H.264编码格式的视频数据，浏览器一般采用默认的解码库对H.264编码格式的视频数据及音频数据进行解码。因此，可以将转化后的所述目标音频数据及所述目标视频数据传递给浏览器自带的解码库进行解码，得到第二目标音频数据及第二目标视频数据。
步骤S107，同步播放所述第二目标音频数据及所述第二目标视频数据。
从上述方案可以看出，本申请实施例可在所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式时，将所述目标音频数据及所述目标视频数据的数据结构调整为符合MP4格式标准规范的数据结构，并将转化后的所述目标音频数据及所述目标视频数据传递给浏览器自带的解码库进行解码。进一步地，将编码格式为H.264格式的视频数据的数据结构转化为MP4格式的数据结构，可以充分利用浏览器可以根据H.264编码的高性能特点来调用自带的解码器对进行解码渲染播放，也有效降低了由WebAssembly解码模块进行软解码对CPU的压力。
考虑到若所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式，则对所述目标音频数据和所述目标视频数据进行解码后的播放方式有所不同，本申请实施例对当所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式时的同步播放所述目标音频数据及所述目标视频数据的过程进行介绍。该过程具体如下：
调用浏览器的video标签同步播放所述目标音频数据及目标视频数据。
具体地，一般来说，常用的浏览器默认支持播放视频编码格式为H.264编码格式的视频数据，针对H.264编码格式的视频数据，在对所述目标音频数据及所述目标视频数据进行解码得到第二目标音频数据及第二目标视频数据后，可以调用浏览器的video标签同步播放所述第二目标音频数据及所述第二目标视频数据。
从上述技术方案可以看出，当所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式时，本申请可以调用浏览器的video标签同步播放所述第二目标音频数据及所述第二目标视频数据。
考虑到若所述目标音频数据及所述目标视频数据的编码格式为H.265的编码格式，则对所述目标音频数据和所述目标视频数据进行解码后的播放方式有所不同，本申请实施例对当所述目标音频数据及所述目标视频数据的编码格式为H.265的编码格式时，实现同步播放所述第一目标音频数据及所述第一目标视频数据的过程进行介绍。该过程具体如下：
调用浏览器的AudioContext API接口播放所述第一目标音频数据，调用浏览器的canvas接口对所述第一目标视频数据进行图像绘制渲染，并控制所述第一目标音频数据与所述第一目标视频数据同步播放。
具体地，由上述实施例介绍可知，若所述目标音频数据及所述目标视频数据的编码格式为H.265的编码格式，则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码，将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据。所述目标音频数据及所述目标视频数据采用的解码器各不相同，基于此，在对所述目标音频数据及所述目标视频数据分别进行解码得到第一目标音频数据及第一目标视频数据后，可以调用浏览器的AudioContext API接口播放所述第一目标音频数据，调用浏览器的canvas接口对所述第一目标视频数据进行图像绘制渲染，并控制所述第一目标音频数据与所述第一目标视频数据同步播放。
其中，浏览器的AudioContext API接口，是常用的浏览器用来控制网络音频数据的处理或解码的一个接口。使用AudioContext API接口可以对多个不同的音频源和管道进行同时解码或播放。
canvas接口是浏览器的一个API接口，浏览器的canvas接口是一个可以使用脚本来绘制图形的HTML元素的接口，其中，常用的脚本通常为JavaScript，一种具有函数优先的轻量级，解释型或即时编译型的web编程语言。canvas接口可以用于动画、游戏画面、数据可视化、图片编辑以及实时视频处理等方面。使用浏览器的AudioContext API接口、canvas接口可以分别用来播放解码后的所述目标音频数据及所述目标视频数据。
从上述技术方案可以看出，当所述目标音频数据及所述目标视频数据的编码格式为H.265的编码格式时，本申请可以分别调用浏览器的AudioContext API接口、canvas接口来实现同步播放所述第一目标音频数据及所述第一目标视频数据。有效解决了浏览器不能播放编码格式为H.265编码格式的视频数据的局限性。
下面开始介绍本申请实施例提供的视频处理装置，下文描述的视频处理装置与上文描述的视频处理方法可相互对应参照。
参见图3，图3为本申请实施例公开的一种视频处理装置结构示意图。
如图3所示，该视频处理装置可以包括：
封装格式确定单元101，用于确定待解封装的视频数据的封装格式；
解封装单元102，用于调用与所述待解封装的视频数据的封装格式匹配的解封装库，对所述待解封装的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据；
识别单元103，用于识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式；
第一解码单元104，用于当所述目标音频数据及所述目标视频数据的编码格式为H.265的编码格式；则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码；将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据；
第一同步播放单元105，用于同步播放所述第一目标音频数据及所述第一目标视频数据。
本申请实施例的视频处理装置，在对所述待解封装的视频数据进行解封装、解码处理后，可以调用浏览器来实现同步播放解码后第一目标音频数据和第一目标视频数据，实现了调用浏览器来播放编码格式为H.265的视频数据，有效地解决了浏览器原生video播放视频数据的局限性。
进一步地，上述视频处理装置还可以包括：
第二解码单元，用于当所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式时，将所述目标音频数据及所述目标视频数据的数据结构调整为符合MP4格式标准规范的数据结构，并将转化后的所述目标音频数据及所述目标视频数据传递浏览器自带的解码库进行解码，得到第二目标音频数据及第二目标视频数据；
第二同步播放单元，用于同步播放所述第二目标音频数据及第二目标视频数据。
进一步地，上述第二同步播放单元，用于调用浏览器的video标签同步播放所述目标音频数据及所述目标视频数据。
进一步地，上述第一同步播放单元，用于调用浏览器的AudioContext API接口播放所述第一目标音频数据，调用浏览器的canvas接口对所述第一目标视频数据进行图像绘制渲染，并控制所述第一目标音频数据与所述第一目标视频数据同步播放。
其中，上述视频处理装置所包含的各个单元的具体处理流程，可以参照前文关于视频处理方法部分相关介绍，此处不再赘述。
本申请实施例提供的视频处理装置可应用于视频处理设备，如终端：手机、电脑等。可选的，图4示出了视频处理设备的硬件结构框图，参照图4，视频处理设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4。
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信。
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：实现前述终端视频处理方案中的各个处理流程。
本申请实施例还提供一种可读存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：实现前述终端在视频处理方案中的各个处理流程。
最后，还需要说明的是，在本文中，诸如目标和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。各个实施例之间可以相互组合。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种视频处理方法，其特征在于，包括：
确定待解封装的视频数据的封装格式；
使用与所述待解封装的视频数据的封装格式匹配的解封装库，对所述待解码的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据；
识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式；
若所述目标音频数据及所述目标视频数据的编码格式为H.265的编码格式，则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码，将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据；
同步播放所述第一目标音频数据及所述第一目标视频数据。
2.根据权利要求1所述的视频处理方法，其特征在于，该方法还包括：
若所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式，则将所述目标音频数据及所述目标视频数据的数据结构调整为符合MP4格式标准规范的数据结构，并将转化后的所述目标音频数据及所述目标视频数据传递给浏览器自带的解码库进行解码，得到第二目标音频数据及第二目标视频数据；
同步播放所述第二目标音频数据及所述第二目标视频数据。
3.根据权利要求2所述的视频处理方法，其特征在于，所述同步播放所述第二目标音频数据及所述第二目标视频数据，包括：
调用浏览器的video标签同步播放所述第二目标音频数据及所述第二目标视频数据。
4.根据权利要求1所述的视频处理方法，其特征在于，所述同步播放所述第一目标音频数据及所述第一目标视频数据，包括：
调用浏览器的AudioContext API接口播放所述第一目标音频数据，调用浏览器的canvas接口对所述第一目标视频数据进行图像绘制渲染，并控制所述第一目标音频数据与所述第一目标视频数据同步播放。
5.一种视频处理方法装置，其特征在于，包括：
封装格式确定单元，用于确定待解封装的视频数据的封装格式；
解封装单元，用于调用与所述待解封装的视频数据的封装格式匹配的解封装库，对所述待解封装的视频数据进行解封装，得到解封装后的目标音频数据和目标视频数据；
识别单元，用于识别所述目标音频数据的音频编码格式及所述目标视频数据的视频编码格式；
第一解码单元，用于当所述目标音频数据及所述目标视频数据的编码格式为H.265的编码格式；则将所述目标音频数据传递到与所述目标音频数据的音频编码格式对应的音频数据解码器进行解码；将所述目标视频数据传递到与所述目标视频数据的视频编码格式对应的视频数据解码器进行解码，得到第一目标音频数据及第一目标视频数据；
第一同步播放单元，用于同步播放所述第一目标音频数据及所述第一目标视频数据。
6.根据权利要求5所述的视频处理装置，其特征在于，所述视频处理装置还包括：
第二解码单元，用于当所述目标音频数据及所述目标视频数据的编码格式为H.264的编码格式时，将所述目标音频数据及所述目标视频数据的数据结构调整为符合MP4格式标准规范的数据结构，并将转化后的所述目标音频数据及所述目标视频数据传递浏览器自带的解码库进行解码，得到第二目标音频数据及第二目标视频数据；
第二同步播放单元：用于同步播放所述第二目标音频数据及所述第二目标视频数据。
7.根据权利要求6所述的视频处理装置，其特征在于，所述第二同步播放单元用于调用浏览器的video标签同步播放所述第二目标音频数据及所述第二目标视频数据。
8.根据权利要求5所述的视频处理装置，其特征在于，所述第一同步播放单元用于调用浏览器的AudioContext API接口播放所述第一目标音频数据，调用浏览器的canvas接口对所述第一目标视频数据进行图像绘制渲染，并控制所述第一目标音频数据与所述第一目标视频数据同步播放。
9.一种视频处理设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-4中任一项的视频处理方法的各个步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-4中任一项的视频处理方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111406401.3A CN114125550A (zh) | 2021-11-24 | 2021-11-24 | 一种视频处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111406401.3A CN114125550A (zh) | 2021-11-24 | 2021-11-24 | 一种视频处理方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114125550A true CN114125550A (zh) | 2022-03-01 |
Family
ID=80372141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111406401.3A Pending CN114125550A (zh) | 2021-11-24 | 2021-11-24 | 一种视频处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114125550A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180086113A (ko) * | 2017-01-20 | 2018-07-30 | 한화에어로스페이스 주식회사 | 웹 브라우저 상에서 비디오와 오디오를 동기화하여 재생하는 미디어 재생 장치 및 방법 |
| CN109088887A (zh) * | 2018-09-29 | 2018-12-25 | 北京金山云网络技术有限公司 | 一种流媒体解码的方法及装置 |
| CN110557670A (zh) * | 2019-09-17 | 2019-12-10 | 广州华多网络科技有限公司 | 在网页页面中播放视频的方法、装置、终端和存储介质 |
| CN111083167A (zh) * | 2019-12-31 | 2020-04-28 | 深圳市思博慧数据科技有限公司 | 一种跨浏览器的h.265视频播放方法 |
| CN113556612A (zh) * | 2021-07-15 | 2021-10-26 | 中国电子科技集团公司第五十二研究所 | 一种浏览器上播放h.265视频流的方法及系统 |
-
2021
- 2021-11-24 CN CN202111406401.3A patent/CN114125550A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180086113A (ko) * | 2017-01-20 | 2018-07-30 | 한화에어로스페이스 주식회사 | 웹 브라우저 상에서 비디오와 오디오를 동기화하여 재생하는 미디어 재생 장치 및 방법 |
| CN109088887A (zh) * | 2018-09-29 | 2018-12-25 | 北京金山云网络技术有限公司 | 一种流媒体解码的方法及装置 |
| CN110557670A (zh) * | 2019-09-17 | 2019-12-10 | 广州华多网络科技有限公司 | 在网页页面中播放视频的方法、装置、终端和存储介质 |
| CN111083167A (zh) * | 2019-12-31 | 2020-04-28 | 深圳市思博慧数据科技有限公司 | 一种跨浏览器的h.265视频播放方法 |
| CN113556612A (zh) * | 2021-07-15 | 2021-10-26 | 中国电子科技集团公司第五十二研究所 | 一种浏览器上播放h.265视频流的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110870321B (zh) | 用于媒体内容的按区包装，内容覆盖度，以及发信帧包装 | |
| CN110740363B (zh) | 投屏方法和系统、电子设备 | |
| US9900363B2 (en) | Network streaming of coded video data | |
| EP2589221B1 (en) | Signaling random access points for streaming video data | |
| RU2510908C2 (ru) | Описание характеристик агрегированных блоков медиаданных с обратной совместимостью | |
| RU2573257C2 (ru) | Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования сигнала изображения и программа | |
| TW201904297A (zh) | 概述視頻補充資訊之信令傳輸 | |
| CN110870282B (zh) | 使用网络内容的文件轨处理媒体数据 | |
| CN107634930B (zh) | 一种媒体数据的获取方法和装置 | |
| EP2589222B1 (en) | Signaling video samples for trick mode video representations | |
| WO2008061416A1 (fr) | Procédé et système permettant d'accepter des données media de divers formats de codage | |
| TW201304551A (zh) | 用於視訊編碼及解碼之方法及裝置 | |
| CN114339382A (zh) | 视频播放方法、装置、设备及计算机存储介质 | |
| US7555009B2 (en) | Data processing method and apparatus, and data distribution method and information processing apparatus | |
| TWI531219B (zh) | 即時影音傳輸方法及其系統 | |
| AU2018301313B2 (en) | Processing media data using an omnidirectional media format | |
| CN114125550A (zh) | 一种视频处理方法、装置、设备及可读存储介质 | |
| CN112954396B (zh) | 视频的播放方法、装置、电子设备及计算机可读存储介质 | |
| CN110832878B (zh) | 增强区域取向包封及视区独立高效视频译码媒体配置文件 | |
| Li et al. | Real-time streaming and robust streaming h. 264/avc video | |
| Iqbal et al. | MPEG-21 Based Temporal Adaptation of Live H. 264 Video | |
| Katto et al. | System architecture for synthetic/natural hybrid coding and some experiments | |
| CN116095364A (zh) | 面向编辑的视频流高效处理方法、装置、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240322 Address after: Unit 1, Building 1, China Telecom Zhejiang Innovation Park, No. 8 Xiqin Street, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Applicant after: Tianyi Shilian Technology Co.,Ltd. Country or region after: China Address before: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200040 Applicant before: Tianyi Digital Life Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right |