CN107172504B - 一种面向流式音视频数据的分布式处理方法及其装置 - Google Patents
一种面向流式音视频数据的分布式处理方法及其装置 Download PDFInfo
- Publication number
- CN107172504B CN107172504B CN201710318113.XA CN201710318113A CN107172504B CN 107172504 B CN107172504 B CN 107172504B CN 201710318113 A CN201710318113 A CN 201710318113A CN 107172504 B CN107172504 B CN 107172504B
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- distributed
- physical machine
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000006870 function Effects 0.000 claims abstract description 153
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000004806 packaging method and process Methods 0.000 claims abstract description 41
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 239000002243 precursor Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000006386 memory function Effects 0.000 claims description 4
- 230000002618 waking effect Effects 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000005538 encapsulation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开一种面向流式音视频数据的分布式处理方法及其装置，所述方法包括以下步骤：S1：将多台物理机划分为具有特定功能的不同类别，包括分布式资源管理功能、分布式数据内存化功能、分布式封装切片功能、分布式解码功能和其它音视频分布式处理功能，建立不同类别的物理机之间的映射关系；S2：将来自所有传输通道的音视频码流提取出来存入内存；S3：将内存中存储的所述音视频码流的片段直接封装为能够独立编解码的音视频短片段；S4：在不需要维护每路编解码上下文的情况下，对所述音视频短片段进行编解码；S5：对解码后的YUV数据或者经过独立编解码的所述音视频短片段进行进一步的音视频处理。
Description
技术领域
本发明涉及音视频处理领域，具体来说，涉及到一种面向流式音视频数据的分布式处理方法及其装置。
背景技术
随着移动互联网、大数据、人工智能的发展，音视频处理在直播、娱乐、通信、安防等领域的需求越来越大。如何实现音视频处理系统的高性能、高通量、高效能、易维护、易扩展、易优化，是该领域面临的新挑战。
传统的音视频处理方法一般只能支持一种或几种音视频数据的输入(例如，本地文件、RTP、RSTP、HLS)，然后对这些形式的音视频数据直接进行分布式编解码处理。因此，传统的处理方法存在着以下弊端：1.不易于通过扩展支持多种输入形式，编解码模块依赖于每路的上下文，不能独立编解码，编解码速度慢，支持的路数少，物理机利用率低。2.物理机的数量和功能是在设计阶段确定的，不能根据用户流量的变化而变化，造成物理机资源利用率低或者不足。3.物理机在音视频流量低负载时依然满负荷运转，存在着功耗大，负载不均衡等弊端。4.编解码依赖于每路编解码上下文，分布式的规模不易于做的很大，可扩展性差，不能充分发挥分布式的优势。
发明内容
本发明的目的是解决上述海量音视频流式数据处理时遇到的输入形式不易扩展、编解码效率低、支持的路数少、功耗大、物理机数量不能随着用户流量变化而变化、负载不均衡等问题。
为了达到上述目的，本发明提出一种面向流式音视频数据的分布式处理方法，包括以下步骤：
S1：将多台物理机划分为具有特定功能的不同类别，包括分布式资源管理功能、分布式数据内存化功能、分布式封装切片功能、分布式解码功能和其它音视频分布式处理功能，建立不同类别的物理机之间的映射关系；
S2：将来自所有传输通道的音视频码流提取出来存入内存；
S3：将内存中存储的所述音视频数码流的片段直接封装为能够独立编解码的音视频短片段；
S4：在不需要维护每路编解码上下文的情况下，对所述音视频短片段进行编解码；
S5：对解码后的YUV数据或者经过独立编解码的所述音视频短片段进行进一步的音视频处理。
根据本发明提出的面向流式音视频数据的分布式处理方法，所述步骤S1中将多台物理机划分为具有特定功能的不同类别的过程为：
S12：判断当前物理机的功能属性；
S13：根据物理的功能属性执行相应的功能；如果当前物理机被设置为执行资源管理功能的物理机，那么执行分布式资源管理功能；如果当前物理机被设置为执行数据内存化的物理机，那么执行数据内存化功能；如果当前物理机被设置为执行封装切片功能的物理机，那么执行封装切片功能；如果当前物理机被设置为执行解码功能的物理机，那么执行解码功能；如果当前物理机被设置为执行其他功能的物理机，那么执行其他音视频处理功能；如果当前物理机未设置功能，那么进入休眠或者低功耗模式。
根据本发明提出的面向流式音视频数据的分布式处理方法，其中，所述步骤S1还包括动态调整各个物理机之间的数据处理关系，具体为：
S101：获取当前网络中各种类型物理机的状态；
S102：按照特定功能的不同类别，分析所有功能类别中的物理机的运行状态数据，对每个功能类别中的所有物理机的运行状态按照规则排序；
S103：如果同一功能类别中的所有物理机都高于性能阈值，转至步骤S106；否则，转至步骤S104；
S104：将低负载率的物理机中的所有正在处理的音视频流重映射到高负载率的物理机上，或者不将新输入的音视频码流映射到低负载率的物理机上，使得负载将某几台物理机达到性能阈值，剩余的物理机则从该功能类中删除，进入休眠状态或者低功耗状态；转至步骤S105；
S106：检测是否有尚未分配功能的物理机；如果有，转至步骤S107；如果没有，转至步骤S110；
S107：唤醒一台尚未分配功能的物理机；
S108：赋予功能；
S109:建立与前驱功能所在物理机的映射关系，使新输入的音视频码流根据该映射表流入相应的物理机；转至步骤S105；
S110：通知系统管理员，物理机资源不足；
S105：休眠固定时间；转至步骤S101。
根据本发明提出的面向流式音视频数据的分布式处理方法，所述步骤S2包括：
S21：调用相应的协议接口获取打包的音视频数据；
S22：根据协议抽取出每路的音视频数据并存入内存。
根据本发明提出的面向流式音视频数据的分布式处理方法，所述步骤S3包括：
S31：获取音视频内存数据,自定义数据格式封装；
S32：使用多媒体视频处理工具将内存音视频片段封装为独立解码的音视频片段；
S33：根据当前物理机中下一台物理机的路由表，将独立解码的音视频片段送到指定的解码物理机或者对独立解码片段进行处理的物理机。
根据本发明提出的面向流式音视频数据的分布式处理方法，所述步骤S4包括：
S41：使用编解码库对独立解码的音视频流进行解码；
S42：根据当前物理机中下一台物理机的路由表，将解码的音视频数据送到指定的后续物理机；如果后续要对解码后的YUV/PCM数据进行处理，送入其他处理物理机。
根据本发明提出的面向流式音视频数据的分布式处理方法，步骤S5中进一步的音视频处理的实现方法包括：
将进一步的音视频处理功能设置到解码物理机上，从而减少内存拷贝和网络传输；或者
将进一步的音视频处理功能和解码功能设置到不同的物理机上，通过流水掩盖两者的传输时延。
本发明同时还提供了一种面向流式音视频数据的分布式处理装置，包括：
多台物理机，所述物理机按照功能划分为执行分布式资源管理功能的物理机和执行其它功能的物理机，所述执行其它功能的物理机又划分为分布式数据内存化功能集群、分布式封装切片功能集群、分布式解码功能集群和其它音视频分布式处理功能集群；
分布式内存化模块，用于将来自所有传输通道的音视频码流提取出来存入内存；
分布式封装切片模块，与所述分布式内存化模块相连，用于将内存中存储的所述音视频数码流的片段直接封装为能够独立编解码的音视频短片段；
分布式解码模块，与所述分布式封装切片模块相连，用于对所述能够独立编解码的音视频短片段进行编解码；
其它分布式音视频处理模块，与所述分布式解码模块相连，用于对解码后的YUV数据或者经过独立编解码的所述音视频短片段进行进一步的音视频处理；
分布式资源管理模块，与所述分布式内存化模块、所述分布式封装切片模块、所述分布式解码模块和所述其它分布式音视频处理模块均相连，用于感知音视频流量特点以及所述多台物理机的运行状况，管理所述分布式内存化模块、所述分布式封装切片模块、所述分布式解码模块和所述其它分布式音视频处理模块与所述执行其它功能的物理机之间的映射，以及建立属于不同功能集群的物理机之间的映射。
根据本发明提出的面向流式音视频数据的分布式处理装置，其中，所述分布式资源管理模块管理所述分布式内存化模块、所述分布式封装切片模块、所述分布式解码模块和所述其它分布式音视频处理模块与所述执行其它功能的物理机之间的映射的步骤包括：
S101：获取当前网络中各种类型物理机的状态；
S102：按照特定功能的不同类别，分析所有功能类别中的物理机的运行状态数据，对每个功能类别中的所有物理机的运行状态按照规则排序；
S103：如果同一功能类别中的所有物理机都高于性能阈值，转至步骤S106；否则，转至步骤S104；
S104：将低负载率的物理机中的所有正在处理的音视频流重映射到高负载率的物理机上，或者不将新输入的音视频码流映射到低负载率的物理机上，使得负载将某几台物理机达到性能阈值，剩余的物理机则从该功能类中删除，进入休眠状态或者低功耗状态；转至步骤S105；
S106：检测是否有尚未分配功能的物理机；如果有，转至步骤S107；如果没有，转至步骤S110；
S107：唤醒一台尚未分配功能的物理机；
S108：赋予功能；
S109:建立与前驱功能所在物理机的映射关系，使新输入的音视频码流根据该映射表流入相应的物理机；转至步骤S105；
S110：通知系统管理员，物理机资源不足；
S105：休眠固定时间；转至步骤S101。
根据本发明提出的面向流式音视频数据的分布式处理装置，其中，所述分布式内存化模块存储音视频码流的步骤包括：
S21：调用相应的协议接口获取打包的音视频数据；
S22：根据协议抽取出每路的音视频数据并存入内存。
根据本发明提出的面向流式音视频数据的分布式处理装置，其中，所述分布式封装切片模块进行封装的步骤包括：
S31：获取音视频内存数据,自定义数据格式封装；
S32：使用多媒体视频处理工具将内存音视频片段封装为独立解码的音视频片段；
S33：根据当前物理机中下一台物理机的路由表，将独立解码的音视频片段送到指定的解码物理机或者对独立解码片段进行处理的物理机。
根据本发明提出的面向流式音视频数据的分布式处理装置，其中，所述分布式解码模块进行编解码的步骤为：
S41：使用编解码库对独立解码的音视频流进行解码；
S42：根据当前物理机中下一台物理机的路由表，将解码的音视频数据送到指定的后续物理机；如果后续要对解码后的YUV/PCM数据进行处理，送入其他处理物理机。
与现有的发明相比，具有易于工程实现、高性能、高通量、高能效、易维护、易调式、易优化、易扩展等优点。当需要扩展支持新的流式数据来源时，只需要针对编写将该来源转换为内存流的模块，因此容易通过扩展支持新的流式数据来源。只有分布式封装切片模块需要维护音视频流每路的上下文，分布式解码模块不需要维护流式数据上下文，系统吞吐量大，抗干扰能力强。直接将流式数据封装为短视频，而不需要将流式数据组装成完整音视频文件，再进行切片，降低了对存储容量的需求，从而能够支持更多的音视频路数并发处理。分布式资源管理模块实现了各功能模块与物理机，以及各个物理机间的动态管理与映射，实现了多个并发解码单元间的负载均衡，避免单个解码单元的拥塞。音视频流量低时，可以使部分并发处理单元在低负载时进入休眠状态，降低功耗；音视频流量高时，根据资源分配映射算法，通过增加具有解码功能的物理机、具有封装功能的物理机数量来提高系统的处理能力。因此，该系统能够适应用户流量的弹性变化。其中资源分配映射算法不仅仅具有理论意义，也具有易于量化实现的特点，实际运行中不需要刻意设置物理机的性能参数，即使物理机的性能差别很大，系统运行的过程中也能够动态充分发掘各个物理机的性能指标。此外，通过资源管理物理机，该系统也易于得到整个系统的资源分配情况，进而有针对性的优化与调试。能够动态的发掘每个功能所需要的物理机的最小数量，不会造成物理机的浪费。分布式规模可以做的很大，且容易增加新的物理机。
附图说明
图1为本发明中每路音视频的生命周期；
图2为本发明实施过程中功能模块到物理机的映射示意图；
图3为本发明实施过程中物理机的物理位置示意图；
图4为本发明中物理机的运行过程示意图；
图5为本发明中资源管理功能的执行过程示意图；
图6为本发明中封装切片功能的执行过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下文中所述的物理机可以指代服务器、板卡、嵌入式设备、PC等物理运行实体。物理机间的通信方式不局限于网络，也可以是PCIE等。系统实现时音视频处理功能可以基于ffmpeg、libav、mp4v2、libmad、libresample等实现。系统支持的音视频格式包括mp4、flv、asf、avi、webm、ogv、mpeg等，编解码格式包括h.264、h.265、avs等，这些格式的种类由所采用的音视频处理库决定。
本发明提出的分布式处理方法通过内部软件模块执行。所用到的软件模块具体包括:将多种流式数据分布式内存化模块、分布式封装切片模块、分布式解码模块、分布式资源管理模块、其他分布式音视频处理模块。
所述多种流式数据分布式内存化模块，用于将来自网络、PCIE等传输通道的流式音视频转化为统一的内存流。将各种传输通道中的音视频码流数据提取出来，存入内存。
所述分布式封装切片模块，用于将内存中的音视频码流片段直接封装为能够独立编解码的音视频短片段。具体实现时可以在多台封装切片物理机上进行该过程，实现了分布式封装切片。
所述分布式解码模块，用于对独立编解码的音视频短片段进行编解码。由于短片段已经被封装为了独立编解码片段，因此不需要维护每路的编解码上下文。
所述其他分布式音视频处理模块，用于对解码后的YUV、或者独立编解码音视频片段进行进一步的音视频处理，例如播放、聚类、重采样等等。
所述分布式资源管理模块，具有如下功能:1.感知音视频流量特点，感知其他物理机的处理情况，例如CPU、内存利用率、网络带宽、音视频等待队列长度等。2.管理上述各个模块到物理机的映射，动态的将物理机映射为具有特定模块功能的物理机。将所有物理机划分为具有特定功能的功能类。3.建立不同功能类间物理机的映射。也就是说，每台物理机都是对等的，都能够被重映射为具有特定模块功能的物理机，物理机间数据处理关系也是可以动态调整的。
如图1所示，每路音视频需要经过如下模块处理:分布式资源管理模块100、将多种流式数据分布式内存化模块101、分布式封装切片模块102、分布式解码模块103、其他分布式音视频处理模块104。
如图2所示，物理机分为两大类，一类是执行分布式资源管理模块功能的物理机200，另一类是执行其他模块功能的物理机，202表示负责将各种流式音视频数据转化为内存数据的物理机集群，203表示将内存数据通过封装切片为可以独立解码短音视频的物理机集群、204表示负责对独立解码短音视频解码的物理机集群，205表示负责其他音视频操作的物理机集群。分布式资源管理物理机集群200中的某一个或多个需要运维人员手动配置生效，而执行其他模块功能的物理机则会根据系统的运行情况被分布式资源管理物理机动态设置。运行一段时间后，具有以下特点：物理机根据功能被划分为了多个类别。各个类别中的物理机间没有依赖关系，独立执行其功能；各个类别间的物理机间有映射关系，由分布式资源管理功能所在物理机动态管理。
如图3所示，图2中的各种物理机301的物理位置没有特定要求，随机放置。只需要通过互联网络将其连接。
如图4所示，单个物理机的执行分为如下步骤:
步骤1:判断当前物理机的功能属性
步骤2:根据物理的功能属性执行相应的功能。体现了物理机固化为具有特定功能的物理机。如果当前物理机被设置为执行资源管理功能的物理机，那么执行分布式资源管理功能；如果当前物理机被设置为执行数据内存化的物理机，那么执行数据内存化功能；如果当前物理机被设置为执行封装切片功能的物理机，那么执行封装切片功能；如果当前物理机被设置为执行解码功能的物理机，那么执行解码功能；如果当前物理机被设置为执行其他功能的物理机，那么执行其他音视频处理功能；如果当前物理机未设置功能，那么进入休眠或者低功耗模式。
所述分布式资源管理模块，是本专利需要保护的非常重要的一个功能。具有如下功能:1.感知音视频流量特点，感知其他物理机的处理情况，例如CPU、内存利用率、网络带宽、音视频等待队列长度等。2.管理上述各个模块到物理机的映射，动态的将物理机映射为具有特定模块功能的物理机。将所有物理机划分为具有特定功能的功能类。3.建立不同功能类间物理机的映射。也就是说，每台物理机都是对等的，都能够被重映射为具有特定模块功能的物理机，物理机间数据处理关系也是可以动态调整的。如图5所示,资源管理功能的执行分为如下步骤:
步骤S501：获取当前网络中各种类型物理机的状态。状态包括:网络带宽，CPU利用率，内存利用率，正在处理的音视频路数，音视频队列中的路数等。
步骤S502：按照功能类，分析所有功能类中的物理机的运行状态数据，对每个功能类中的所有物理机的运行状态按照某种规则进行排序。对每个功能类内的物理机进行如下操作:
步骤S503：如果所有物理机都处于性能阈值，这表明网络流量比较强，该功能类中需要增加物理机的数量。转步骤步骤S506。否则说明网络流量比较小，当前功能类中的物理机有冗余，需要减少。转步骤S504。
步骤S504：将低负载率的物理机中的所有正在处理的音视频流重映射到高负载率的物理机上，或者新来音视频流映射不要映射到低负载率的物理机上。使得负载尽可能将某几台物理机达到性能阈值，但是剩余的物理机可以从该功能类中删除，进入休眠状态或者低功耗状态。转步骤S505.
步骤S506：是否有尚未分配功能的物理机。如果有，转步骤S507.如果没有，转步骤S510.
步骤S507：唤醒一台尚未分配功能的物理机
步骤S508：赋予功能
步骤S509:建立与前驱功能所在物理机的映射关系。这样新来的音视频流根据该映射表，就会流入该物理机。转S505.
步骤S510：通知系统管理员，物理机资源不足
步骤S505：休眠固定时间。转步骤S501.
所述多种流式数据分布式内存化模块，用于将来自网络、PCIE等传输通道的流式音视频转化为统一的内存流。将各种传输通道中的音视频码流数据提取出来，存入内存。数据内存化功能的执行步骤分为如下几步：
步骤1：调用相应的协议接口，获取打包的音视频数据。例如：PCIE、RTP/RSTP/RTMP/HTTP、socket等
步骤2：根据协议，抽取出每路的音视频数据，存入内存。
步骤3：对打包出的音视频数据送入封装切片模块，封装成可以独立解码的音视频片段。实际实现的过程中，有两种方案：1.将两个功能放到同一台物理机上，这样会减少内存拷贝和网络传输。2.如果网络流大，也可以将两者放到不同的物理机上，用流水来掩盖两者的传输时延，这样更易于扩展输入操作，更易于维护，甚至有时候负责输入的物理机有特殊的使用约束。
所述分布式封装切片模块，是本专利非常重要的一个功能。本发明的特点是直接将内存中的音视频码流片段直接封装为能够独立编解码的音视频短片段，是对流式数据通过封装切片，而不是对完整的视频文件，因此占用的内存和磁盘空间极小，就像流水一样。另一个优点是实现了解码模块与其他模块的解耦和，使得解码可以分布式的进行，避免了依赖音视频参数上下文造成的影响，提高了解码效率。如图6所示，600表示第1路视频流，在等待封装切片队列里排队、601表示第1路音频流，在等待封装切片队列里排队，…。605中每个表示将600中每个内存视频流封装为可以独立解码短视频,606中每个表示将601中每个内存音频流封装为可以独立解码短音频。封装切片功能的执行步骤分为如下几步：
步骤1：获取音视频内存数据。当前物理机上的音视频流来自前驱功能类中的某台物理机，由资源管理物理机建立好了路由关系。因此内存数据可以直接从上下文中获取，可以经过自定义数据格式包装。
步骤2：利用ffmpeg库或者上面提到的其他库，实现将内存音视频片段封装为独立解码的音视频片段。如果是使用ffmpeg库，使用AVIOContext结构体循环从内存中读取音视频数据，然后使用AVStream封装成独立解码的音视频文件。实际上，某些格式的音视频数据本身就是可以独立解码的片段，比如flv、mp3等，该步骤可以简略。
步骤3：根据本机中下一台物理机的路由表，将独立解码的音视频片段送到指定的解码物理机或者对独立解码片段进行处理的物理机。
所述分布式解码模块，用于对独立编解码的音视频短片段进行编解码。由于短片段已经被封装为了独立编解码片段，因此不需要维护每路的编解码上下文。步骤如下：
步骤1：使用上文提到的编解码库，对独立解码的音视频流进行解码
步骤2：根据本机中下一台物理机的路由表，将解码的音视频数据送到指定的后续物理机。如果后续要对解码后的YUV/PCM数据进行处理，送入其他处理物理机。
所述其他分布式音视频处理模块，用于对解码后的YUV、或者独立编解码音视频片段进行进一步的音视频处理，例如播放、聚类、重采样等等。实际实现的过程中，有两种方案：1.将该功能放到解码物理机上，这样会减少内存拷贝和网络传输。2.如果网络流大，也可以将两者放到不同的物理机上，用流水来掩盖两者的传输时延，这样更易于扩展输入操作，更易于维护。
同时本发明增加新的物理机也非常容易，只需要在新的物理机上安装本发明的分布式处理方法实现的软件并建立到资源管理物理机的路由即可。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (8)
1.一种面向流式音视频数据的分布式处理方法，其特征在于，包括以下步骤：
S1：将多台物理机划分为具有特定功能的不同类别，包括分布式资源管理功能、分布式数据内存化功能、分布式封装切片功能、分布式解码功能和其它音视频分布式处理功能，建立不同类别的物理机之间的映射关系；
S2：将来自所有传输通道的音视频码流提取出来存入内存；
S3：将内存中存储的所述音视频码流的片段直接封装为能够独立编解码的音视频短片段；
S4：在不需要维护每路编解码上下文的情况下，对所述音视频短片段进行编解码；
S5：对解码后的YUV数据或者经过独立编解码的所述音视频短片段进行进一步的音视频处理；
所述步骤S1还包括动态调整各个物理机之间的数据处理映射关系，具体为：
S101：获取当前网络中各种类型物理机的状态；
S102：按照特定功能的不同类别，分析所有功能类别中的物理机的运行状态数据，对每个功能类别中的所有物理机的运行状态按照规则排序；对每个功能类的物理机进行如下操作：
S103：如果同一功能类别中的所有物理机都高于性能阈值，转至步骤S106；否则，转至步骤S104；
S104：将低负载率的物理机中的所有正在处理的音视频流重映射到高负载率的物理机上，或者不将新输入的音视频码流映射到低负载率的物理机上，使得负载将某几台物理机达到性能阈值，剩余的物理机则从该功能类中删除，进入休眠状态或者低功耗状态；转至步骤S105；
S106：检测是否有尚未分配功能的物理机；如果有，转至步骤S107；如果没有，转至步骤S110；
S107：唤醒一台尚未分配功能的物理机；
S108：赋予功能；
S109:建立与前驱功能所在物理机的映射关系，使新输入的音视频码流根据该映射关系流入相应的物理机；转至步骤S105；
S110：通知系统管理员，物理机资源不足；
S105：休眠固定时间；转至步骤S101；
所述步骤S3包括：
S31：获取音视频内存数据,当前物理机上的音视频流来自前驱功能类中的某台物理机，由资源管理物理机建立其路由关系，内存数据直接从上下文中获取，以自定义数据格式封装；
S32：使用多媒体视频处理工具将内存音视频片段封装为独立解码的音视频片段；
S33：根据当前物理机中下一台物理机的路由表，将独立解码的音视频片段送到指定的解码物理机或者对独立解码片段进行处理的物理机。
2.根据权利要求1所述的面向流式音视频数据的分布式处理方法，其特征在于，所述步骤S1中将多台物理机划分为具有特定功能的不同类别的过程为：
S12：判断当前物理机的功能属性；
S13：根据物理的功能属性执行相应的功能；如果当前物理机被设置为执行资源管理功能的物理机，那么执行分布式资源管理功能；如果当前物理机被设置为执行数据内存化的物理机，那么执行数据内存化功能；如果当前物理机被设置为执行封装切片功能的物理机，那么执行封装切片功能；如果当前物理机被设置为执行解码功能的物理机，那么执行解码功能；如果当前物理机被设置为执行其他功能的物理机，那么执行其他音视频处理功能；如果当前物理机未设置功能，那么进入休眠或者低功耗模式。
3.根据权利要求1所述的面向流式音视频数据的分布式处理方法，其特征在于，所述步骤S2包括：
S21：调用相应的协议接口获取打包的音视频数据；
S22：根据协议抽取出每路的音视频数据并存入内存。
4.根据权利要求1所述的面向流式音视频数据的分布式处理方法，其特征在于，所述步骤S4包括：
S41：使用编解码库对独立解码的音视频流进行解码；
S42：根据当前物理机中下一台物理机的路由表，将解码的音视频数据送到指定的后续物理机；如果后续要对解码后的YUV/PCM数据进行处理，送入其他处理物理机。
5.根据权利要求1所述的面向流式音视频数据的分布式处理方法，其特征在于，步骤S5中进一步的音视频处理的实现方法包括：
将进一步的音视频处理功能设置到解码物理机上，从而减少内存拷贝和网络传输；或者
将进一步的音视频处理功能和解码功能设置到不同的物理机上，通过流水掩盖两者的传输时延。
6.一种面向流式音视频数据的分布式处理装置，其特征在于，包括：
多台物理机，所述物理机按照功能划分为执行分布式资源管理功能的物理机和执行其它功能的物理机，所述执行其它功能的物理机又划分为分布式数据内存化功能集群、分布式封装切片功能集群、分布式解码功能集群和其它音视频分布式处理功能集群；
分布式内存化模块，用于将来自所有传输通道的音视频码流提取出来存入内存；
分布式封装切片模块，与所述分布式内存化模块相连，用于将内存中存储的所述音视频数码流的片段直接封装为能够独立编解码的音视频短片段；
分布式解码模块，与所述分布式封装切片模块相连，用于对所述能够独立编解码的音视频短片段进行编解码；
其它分布式音视频处理模块，与所述分布式解码模块相连，用于对解码后的YUV数据或者经过独立编解码的所述音视频短片段进行进一步的音视频处理；
分布式资源管理模块，与所述分布式内存化模块、所述分布式封装切片模块、所述分布式解码模块和所述其它分布式音视频处理模块均相连，用于感知音视频流量特点以及所述多台物理机的运行状况，管理所述分布式内存化模块、所述分布式封装切片模块、所述分布式解码模块和所述其它分布式音视频处理模块与所述执行其它功能的物理机之间的映射，以及建立属于不同功能集群的物理机之间的映射；
所述分布式资源管理模块管理所述分布式内存化模块、所述分布式封装切片模块、所述分布式解码模块和所述其它分布式音视频处理模块与所述执行其它功能的物理机之间的映射的步骤包括：
S101：获取当前网络中各种类型物理机的状态；
S102：按照特定功能的不同类别，分析所有功能类别中的物理机的运行状态数据，对每个功能类别中的所有物理机的运行状态按照规则排序；
S103：如果同一功能类别中的所有物理机都高于性能阈值，转至步骤S106；否则，转至步骤S104；
S104：将低负载率的物理机中的所有正在处理的音视频流重映射到高负载率的物理机上，或者不将新输入的音视频码流映射到低负载率的物理机上，使得负载将某几台物理机达到性能阈值，剩余的物理机则从该功能类中删除，进入休眠状态或者低功耗状态；转至步骤S105；
S106：检测是否有尚未分配功能的物理机；如果有，转至步骤S107；如果没有，转至步骤S110；
S107：唤醒一台尚未分配功能的物理机；
S108：赋予功能；
S109:建立与前驱功能所在物理机的映射关系，使新输入的音视频码流根据该映射关系流入相应的物理机；转至步骤S105；
S110：通知系统管理员，物理机资源不足；
S105：休眠固定时间；转至步骤S101；
所述分布式封装切片模块进行封装的步骤包括：
S31：获取音视频内存数据,当前物理机上的音视频流来自前驱功能类中的某台物理机，由资源管理物理机建立其路由关系，内存数据直接从上下文中获取，以自定义数据格式封装；
S32：使用多媒体视频处理工具将内存音视频片段封装为独立解码的音视频片段；
S33：根据当前物理机中下一台物理机的路由表，将独立解码的音视频片段送到指定的解码物理机或者对独立解码片段进行处理的物理机。
7.根据权利要求6所述的面向流式音视频数据的分布式处理装置，其特征在于，所述分布式内存化模块存储音视频码流的步骤包括：
S21：调用相应的协议接口获取打包的音视频数据；
S22：根据协议抽取出每路的音视频数据并存入内存。
8.根据权利要求6所述的面向流式音视频数据的分布式处理装置，其特征在于，所述分布式解码模块进行编解码的步骤为：
S41：使用编解码库对独立解码的音视频流进行解码；
S42：根据当前物理机中下一台物理机的路由表，将解码的音视频数据送到指定的后续物理机；如果后续要对解码后的YUV/PCM数据进行处理，送入其他处理物理机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710318113.XA CN107172504B (zh) | 2017-05-08 | 2017-05-08 | 一种面向流式音视频数据的分布式处理方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710318113.XA CN107172504B (zh) | 2017-05-08 | 2017-05-08 | 一种面向流式音视频数据的分布式处理方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107172504A CN107172504A (zh) | 2017-09-15 |
| CN107172504B true CN107172504B (zh) | 2020-12-22 |
Family
ID=59812830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710318113.XA Active CN107172504B (zh) | 2017-05-08 | 2017-05-08 | 一种面向流式音视频数据的分布式处理方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107172504B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110557686A (zh) * | 2019-09-27 | 2019-12-10 | 四川九州电子科技股份有限公司 | 实现移动终端播放卫星小码率直播节目的系统及方法 |
| US11436025B2 (en) * | 2020-07-09 | 2022-09-06 | Numem Inc. | Smart compute resistive memory |
| US11443802B2 (en) | 2020-07-09 | 2022-09-13 | Numem Inc. | Adaptive memory management and control circuitry |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101098483A (zh) * | 2007-07-19 | 2008-01-02 | 上海交通大学 | 以图像组结构为并行处理单元的视频集群转码系统 |
| CN101873482A (zh) * | 2010-07-02 | 2010-10-27 | 上海交通大学 | 实时流媒体集群转码系统 |
| CN102780918A (zh) * | 2012-08-15 | 2012-11-14 | 华数传媒网络有限公司 | 一种视频分布式转换编码格式方法 |
| CN103152613A (zh) * | 2011-12-06 | 2013-06-12 | 上海文广互动电视有限公司 | 基于视频图像组分割的分布式转码任务调度系统及方法 |
| CN103428102A (zh) * | 2013-08-06 | 2013-12-04 | 北京智谷睿拓技术服务有限公司 | 在分布式网络中实现动态负载平衡的方法和系统 |
| CN105007312A (zh) * | 2015-07-03 | 2015-10-28 | 叶秀兰 | 一种云计算服务器自适应负载均衡控制方法及控制系统 |
| CN105491329A (zh) * | 2015-11-24 | 2016-04-13 | 上海君是信息科技有限公司 | 一种基于流式计算的大规模监控视频流汇聚方法 |
-
2017
- 2017-05-08 CN CN201710318113.XA patent/CN107172504B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101098483A (zh) * | 2007-07-19 | 2008-01-02 | 上海交通大学 | 以图像组结构为并行处理单元的视频集群转码系统 |
| CN101873482A (zh) * | 2010-07-02 | 2010-10-27 | 上海交通大学 | 实时流媒体集群转码系统 |
| CN103152613A (zh) * | 2011-12-06 | 2013-06-12 | 上海文广互动电视有限公司 | 基于视频图像组分割的分布式转码任务调度系统及方法 |
| CN102780918A (zh) * | 2012-08-15 | 2012-11-14 | 华数传媒网络有限公司 | 一种视频分布式转换编码格式方法 |
| CN103428102A (zh) * | 2013-08-06 | 2013-12-04 | 北京智谷睿拓技术服务有限公司 | 在分布式网络中实现动态负载平衡的方法和系统 |
| CN105007312A (zh) * | 2015-07-03 | 2015-10-28 | 叶秀兰 | 一种云计算服务器自适应负载均衡控制方法及控制系统 |
| CN105491329A (zh) * | 2015-11-24 | 2016-04-13 | 上海君是信息科技有限公司 | 一种基于流式计算的大规模监控视频流汇聚方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107172504A (zh) | 2017-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103179431B (zh) | Vdi环境下音视频重定向转码分离方法 | |
| CN107172504B (zh) | 一种面向流式音视频数据的分布式处理方法及其装置 | |
| EP3096526A1 (en) | Communication apparatus, communication data generation method, and communication data processing method | |
| CN103531218B (zh) | 一种在线多媒体文件编辑方法及系统 | |
| US9578333B2 (en) | Method for decreasing the bit rate needed to transmit videos over a network by dropping video frames | |
| CN111107391A (zh) | 一种基于分布式的web无插件视频直播方法 | |
| WO2019245685A1 (en) | Methods and apparatus for updating media presentation data | |
| CA3094034A1 (en) | Adaptive bit-rate methods for live broadcasting | |
| CN111031389B (zh) | 视频处理方法、电子装置和存储介质 | |
| CN107547909B (zh) | 媒体文件在线播放控制方法、装置和系统 | |
| US11457051B2 (en) | Streaming media data processing method, processing system and storage server | |
| CN102802024A (zh) | 在服务器端实现的转码方法以及转码系统 | |
| EP3096533A1 (en) | Communication apparatus, communication data generation method, and communication data processing method | |
| CN110662017B (zh) | 一种视频播放质量检测方法和装置 | |
| US20170111412A1 (en) | Technologies for end of frame detection in streaming content | |
| US20240155171A1 (en) | Methods and systems for managing content quality in a storage medium | |
| CN104837033A (zh) | 一种信息处理方法及服务器 | |
| CN115599744A (zh) | 文件的转码方法、装置、存储介质及电子装置 | |
| CN109217980B (zh) | 一种编解码能力配置方法、设备和计算机存储介质 | |
| US11539919B1 (en) | Dynamic cloud video composition | |
| CN104202656A (zh) | 网络音频mp3流乱序分段解码方法 | |
| EP3096525B1 (en) | Communication apparatus, communication data generation method, and communication data processing method | |
| CN112543374A (zh) | 一种转码控制方法、装置及电子设备 | |
| CN105323593A (zh) | 一种多媒体转码调度方法和装置 | |
| CN110602555B (zh) | 视频转码方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 215000 international science and Technology Park, No. 1355 Jinjihu Avenue, Suzhou Industrial Park, Jiangsu Province Patentee after: SUZHOU CAS IC DESIGN CENTER Patentee after: Beijing Zhongke Ruixin Technology Group Co.,Ltd. Address before: 215000 international science and Technology Park, No. 1355 Jinjihu Avenue, Suzhou Industrial Park, Jiangsu Province Patentee before: SUZHOU CAS IC DESIGN CENTER Patentee before: SMARTCORE (BEIJING) Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |