CN111711835A - 多路音视频整合方法、系统及计算机可读存储介质 - Google Patents
多路音视频整合方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111711835A CN111711835A CN202010423422.5A CN202010423422A CN111711835A CN 111711835 A CN111711835 A CN 111711835A CN 202010423422 A CN202010423422 A CN 202010423422A CN 111711835 A CN111711835 A CN 111711835A
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- data
- path
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010354 integration Effects 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000009432 framing Methods 0.000 claims description 69
- 238000012545 processing Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Abstract
本发明公开了一种多路音视频整合方法，所述多路音视频整合方法应用于多路音视频整合系统，该方法包括：基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；对每路所述音视频数据进行整合处理得到音视频整合数据；将所述音视频整合数据发送至接收终端。本发明还公开了一种系统和一种计算机可读存储介质。本发明能够简化多路音视频整合的操作，节省多路视频整合的成本，实现在不增加网络带宽情况下完成多路视频整合的操作，实现在不使用高性能解码器的情况下完成多路视频整的操作。
Description
技术领域
本发明涉及通信技术领域，尤其涉及多路音视频整合方法、系统及计算机可读存储介质。
背景技术
随着流媒体技术的发展，多路音视频技术得到广泛应用。随着集成化程度的发展，视频的路数越来越多，对编解码能力、网传能力与整套系统性能都提出了挑战；且随着路数的增多，多路同步播放也成为当前的一大难题。
目前，在实现多路音视频同步播放时，可以通过选择器切换某路输入发送给会议平台(接收终端)，会议平台在接收到各路发送终端的音视频后，通过混合编码成单路音视频数据发给各路发送终端；若发送终端需要同时发送多路音视频资源给会议平台时，只能增加发送终端到会议平台之间的网络带宽，再由高性能的解码器解码多路图像；这种情况下会使控制操作变得复杂，提高设备和运行成本。
发明内容
本发明的主要目的在于提出一种多路音视频整合方法、系统及计算机可读存储介质，旨在简化多路音视频整合的操作，节省多路视频整合的成本。
为实现上述目的，本发明提供一种多路音视频整合方法，所述多路音视频整合方法应用于多路音视频整合系统，所述方法包括如下步骤：
基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；
对每路所述音视频数据进行整合处理得到音视频整合数据；
将所述音视频整合数据发送至接收终端。
可选地，当所述音视频数据为音频数据时，所述对每路所述音视频数据进行整合处理得到音视频整合数据的步骤，包括：
对每路所述音频数据进行解码处理，得到解码音频信息；
计算每路所述解码音频信息的包洛值，并读取每路所述解码音频信息的优先值；
根据所述优先值和所述包洛值对所述解码音频信息进行整合编码得到音频整合数据；
所述将所述音视频整合数据发送至接收终端的步骤，包括：
将所述音频整合数据发送至接收终端。
可选地，所述计算每路所述解码音频信息的包洛值的步骤包括：
提取每路所述解码音频信息的音频幅度，分别对每路所述解码音频信息的音频幅度进行包洛计算，得到每路所述解码音频信息对应的包洛值。
可选地，所述将所述音频整合数据发送至接收终端的步骤之后，包括：
将所述音频整合数据发送至数据库。
可选地，当所述音视频数据为视频数据时，所述对每路所述音视频数据进行整合处理得到音视频整合数据的步骤，包括：
对每路所述视频数据进行解码处理，得到解码视频信息；
对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据；
所述将所述音视频整合数据发送至接收终端的步骤，包括：
将所述视频整合数据发送至接收终端。
可选地，所述对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据的步骤，包括：
对每路所述解码视频信息进行分帧处理，得到分帧图像和分帧时间戳；
根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像；
根据分帧时间戳将多画面图像进行编码得到整合视频数据。
可选地，所述根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像的步骤之前，包括：
接收管理终端发送的视频整合指令；
所述根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像的步骤，包括：
根据所述视频整合指令和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像。
可选地，所述对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据的步骤之前，包括：
对所述视频整合数据进行降噪处理。
此外，为实现上述目的，本发明还提供一种多路音视频整合系统，所述多路音视频整合系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多路音视频整合程序，所述多路音视频整合程序被所述处理器执行时实现如上所述的多路音视频整合方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多路音视频整合程序，所述多路音视频整合程序被处理器执行时实现如上所述的多路音视频整合方法的步骤。
本发明提供了一种多路音视频整合方法、系统及计算机可读存储介质，基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；对每路所述音视频数据进行整合处理得到音视频整合数据；将所述音视频整合数据发送至接收终端。通过上述方式，本发明能够实现在不增加网络带宽情况下完成多路视频整合的操作，实现在不使用高性能解码器的情况下完成多路视频整的操作，简化多路音视频整合的操作，节省多路视频整合的成本。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明多路音视频整合方法第一实施例的流程示意图；
图3为本发明多路音视频整合方法第二实施例的流程示意图；
图4为本发明多路音视频整合方法第三实施例的流程示意图；
图5为本发明多路音视频整合方法第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；对每路所述音视频数据进行整合处理得到音视频整合数据；将所述音视频整合数据发送至接收终端。
现有的在实现多路音视频同步播放时，可以通过选择器切换某路输入发送给会议平台(接收终端)，会议平台在接收到各路发送终端的音视频后，通过混合编码成单路音视频数据发给各路发送终端；若发送终端需要同时发送多路音视频资源给会议平台时，只能增加发送终端到会议平台之间的网络带宽，再由高性能的解码器解码多路图像；这种情况下会使控制操作变得复杂，提高设备和运行成本。
本发明旨在简化多路音视频整合的操作，节省多路视频整合的成本。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
优选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多路音视频整合程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的多路音视频整合程序，并执行以下操作：
基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；
对每路所述音视频数据进行整合处理得到音视频整合数据；
将所述音视频整合数据发送至接收终端。
进一步地，处理器1001可以调用存储器1005中存储的多路音视频整合程序，还执行以下操作：
对每路所述音频数据进行解码处理，得到解码音频信息；
计算每路所述解码音频信息的包洛值，并读取每路所述解码音频信息的优先值；
根据所述优先值和所述包洛值对所述解码音频信息进行整合编码得到音频整合数据；
所述将所述音视频整合数据发送至接收终端的步骤，包括：
将所述音频整合数据发送至接收终端。
进一步地，处理器1001可以调用存储器1005中存储的多路音视频整合程序，还执行以下操作：
提取每路所述解码音频信息的音频幅度，分别对每路所述解码音频信息的音频幅度进行包洛计算，得到每路所述解码音频信息对应的包洛值。
进一步地，处理器1001可以调用存储器1005中存储的多路音视频整合程序，还执行以下操作：
将所述音频整合数据发送至数据库。
进一步地，处理器1001可以调用存储器1005中存储的多路音视频整合程序，还执行以下操作：
对每路所述视频数据进行解码处理，得到解码视频信息；
对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据；
所述将所述音视频整合数据发送至接收终端的步骤，包括：
将所述视频整合数据发送至接收终端。
进一步地，处理器1001可以调用存储器1005中存储的多路音视频整合程序，还执行以下操作：
对每路所述解码视频信息进行分帧处理，得到分帧图像和分帧时间戳；
根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像；
根据分帧时间戳将多画面图像进行编码得到整合视频数据。
进一步地，处理器1001可以调用存储器1005中存储的多路音视频整合程序，还执行以下操作：
接收管理终端发送的视频整合指令；
所述根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像的步骤，包括：
根据所述视频整合指令和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像。
进一步地，处理器1001可以调用存储器1005中存储的多路音视频整合程序，还执行以下操作：
对所述视频整合数据进行降噪处理。
基于上述硬件结构，提出本发明多路音视频整合方法实施例。
本发明多路音视频整合方法。
参照图2，图2为本发明多路音视频整合方法第一实施例的流程示意图。
本发明实施例中，该多路音视频整合方法应用于多路音视频整合系统，所述多路音视频整合方法包括：
步骤S10，基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；
在本实施例中，当有多路发送终端需要将视频整合发送到会议平台或者其它接收终端时，多路音视频整合系统根据网络传输协议接收至少一个发送终端传输的至少一路音视频数据；其中，多路音视频整合系统可以是采用海思DSP芯片设计，可以同时进行多路编解码处理，支持H264 HP、H265 MP编解码，最高可支持4K分辨率；其中，网路传输协议可以是BT1120协议，也可以是RTSP(网络流媒体协议)，也可以是RTMP(实时消息传输协议)，也可以是SIP(会话初始协议)，也可以是其它网络协议；其中，发送终端可以是视频采集终端、网络摄像机(IPC)、硬盘录像机(DVR)、网络直播系统和PC终端；其中，音视频数据是包含音频和/或视频的数据流量；多路音视频整合系统可以应用于视讯系统、分布式系统或录播系统中；多路音视频整合系统可以通过BT1120协议接入多路视频采集终端的本底输入，可用于实物展台、笔记本、电脑等输入采集；多路音视频整合系统可以通过RTSP传输协议接入IPC、DVR网络流输入，多路音视频整合系统可以通过RTMP接入直播平台的推流输入，多路音视频整合系统可以通过SIP呼叫的远端图像输入。
步骤S20，对每路所述音视频数据进行整合处理得到音视频整合数据；
在本实施例中，多路音视频整合系统在接收到发送终端传输的音视频数据之后，多路音视频整合系统对每路音视频数据进行整合处理得到音视频整合数据。
步骤S30，将所述音视频整合数据发送至接收终端。
在本实施例中，多路音视频整合系统在得到音视频整合数据之后，多路音视频整合系统将音视频整合数据发送至接收终端，接收终端可以将接收到的音视频整合数据进行播放，也可以将接收到的音视频整合数据进行存储，保存在接收终端的本地。
本实施例通过上述方案，基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；对每路所述音视频数据进行整合处理得到音视频整合数据；将所述音视频整合数据发送至接收终端。由此，通过将每路音视频数据进行整合，实现了在不增加网络带宽情况下完成多路视频整合的操作，实现了在不使用高性能解码器的情况下完成多路视频整的操作，简化了多路音视频整合的操作，节省了多路视频整合的成本。
进一步地，参照图3，图3为本发明多路音视频整合方法第二实施例的流程示意图。基于上述图2所示的实施例，当所述音视频数据为音频数据时，步骤S20对每路所述音视频数据进行整合处理得到音视频整合数据，可以包括：
步骤S21，对每路所述音频数据进行解码处理，得到解码音频信息；
在本实施例中，当音视频数据为音频数据时，多路音视频整合系统对每路音频数据进行解码处理，得到解码音频信息。
步骤S22，计算每路所述解码音频信息的包洛值，并读取每路所述解码音频信息的优先值；
在本实施例中，多路音视频整合系统在对音频数据解码之后，多路音视频整合系统计算每路解码音频信息的包洛值，并读取每路解码音频信息的优先值；其中，包洛值是通过对解码音频信息进行包洛计算得到的；优先值是预先为每个发送终端配置的优先级，例如，为音频采集终端配置较高的优先值，为IPC和DVR配置较低的优先值，为PC终端配置适中的优先值。
步骤S22计算每路所述解码音频信息的包洛值，可以包括：
步骤a，提取每路所述解码音频信息的音频幅度，分别对每路所述解码音频信息的音频幅度进行包洛计算，得到每路所述解码音频信息对应的包洛值。
在本实施例中，多路音视频整合系统在对音频数据解码之后，在对音频数据解码之后，多路音视频整合系统提取每路解码音频信息在同一时刻的音频幅度(即解码音频信息所代表的声音特征)，多路音视频整合系统判断每路解码音频信息的音频幅度的大小，在同一时刻根据每路解码音频信息的音频幅度大小占所有解码音频信息的音频幅度大小的比值，确定每路解码音频信息对应的包洛值；其中，包洛值是每路解码音频信息的音频幅度值除以所有解码音频信息的音频幅度值之和的比值。
步骤S23，根据所述优先值和所述包洛值对所述解码音频信息进行整合编码得到音频整合数据；
在本实施例中，多路音视频整合系统在获得包洛值和优先值之后，多路音视频整合系统将每路解码音频信息的包洛值乘以优先值，得到每路解码音频信息的权重值，再根据每路解码音频信息的权重值占所有路的界面音频数据的权重值的比例混合所述每路解码音频信息，生成音频整合数据(即混合后的解码音频信息)。
步骤S30将所述音视频整合数据发送至接收终端，可以包括：
步骤S31，将所述音频整合数据发送至接收终端。
在本实施例中，多路音视频整合系统在得到音频整合数据之后，多路音视频整合系统将音频整合数据发送至接收终端，接收终端可以将接收到的音频整合数据进行播放，也可以将接收到的音频整合数据进行存储，保存在接收终端的本地。
步骤S31将所述音频整合数据发送至接收终端之后，可以包括：
步骤b，将所述音频整合数据发送至数据库。
在本实施例中，为了便于保存音频整合数据，当多路音视频整合系统应用于录播系统时，多路音视频整合系统在将音频整合数据发送至接收终端之后，多路音视频整合系统将音频整合数据发送至数据库中保存；多路音视频整合系统也快是发送至接收终端，接收终端将音视频整合数据保存在接收终端的本地。
本实施例通过上述方案，基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；对每路所述音频数据进行解码处理，得到解码音频信息；计算每路所述解码音频信息的包洛值，并读取每路所述解码音频信息的优先值；根据所述优先值和所述包洛值对所述解码音频信息进行整合编码得到音频整合数据；将所述音频整合数据发送至接收终端。由此，通过将每路音视频数据进行整合，实现了在不增加网络带宽情况下完成多路视频整合的操作，实现了在不使用高性能解码器的情况下完成多路视频整的操作，简化了多路音视频整合的操作，节省了多路视频整合的成本。
进一步地，参照图4，图4为本发明多路音视频整合方法第三实施例的流程示意图。基于上述图2所示的实施例，当所述音视频数据为视频数据时，步骤S20对每路所述音视频数据进行整合处理得到音视频整合数据，可以包括：
步骤S24，对每路所述视频数据进行解码处理，得到解码视频信息；
在本实施例中，当音视频数据为视频数据时，多路音视频整合系统对每路视频数据进行解码处理，得到解码视频信息。
步骤S25，对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据；
在本实施例中，多路音视频整合系统在对视频数据解码之后，多路音视频整合系统根据预设规则将每路解码视频信息进行整合处理(即将多路的解码视频信息通过缩放的方式整合到一个视频上)，多路音视频整合系统得到视频整合数据；其中，预设规则可以是根据管理人员操作执行的，也可以是对有些比较终端的发送终端显示较大画面，有些不重要的发送终端显示较小的画面；例如，可以根据预设规则将多路的解码视频信息组合成四分屏、两分频、三分屏或叠加多屏等等多种任意分配模式显示。
步骤S25对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据之后，可以包括：
步骤c，对所述视频整合数据进行降噪处理。
在本实施例中，在得到视频整合数据之后，多路音视频整合系统对视频整合数据进行降噪处理，也可以对视频整合数据进行去隔行处理，可以对视频整合数据进行去锐化处理。
步骤S30所述将所述音视频整合数据发送至接收终端，可以包括：
步骤S32，将所述视频整合数据发送至接收终端。
在本实施例中，多路音视频整合系统在得到视频整合数据之后，多路音视频整合系统将视频整合数据发送至接收终端，接收终端可以将接收到的视频整合数据进行播放，也可以将接收到的视频整合数据进行存储，保存在接收终端的本地。
本实施例通过上述方案，基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；对每路所述视频数据进行解码处理，得到解码视频信息；对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据；将所述视频整合数据发送至接收终端。由此，通过将每路音视频数据进行整合，实现了在不增加网络带宽情况下完成多路视频整合的操作，实现了在不使用高性能解码器的情况下完成多路视频整的操作，简化了多路音视频整合的操作，节省了多路视频整合的成本。
进一步地，参照图5，图5为本发明多路音视频整合方法第二实施例的流程示意图。基于上述图4所示的实施例，步骤S25可以包括：
步骤S251，对每路所述解码视频信息进行分帧处理，得到分帧图像和分帧时间戳；
在本实施例中，多路音视频整合系统在对视频数据解码之后，多路音视频整合系统对每路解码视频信息进行分帧处理，得到每路解码视频信息的每个时间的分帧图像和当前时间的分帧时间戳。
步骤S251根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像之前，可以包括：
步骤d，接收管理终端发送的视频整合指令；
步骤S251根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像，可以包括：
步骤e，根据所述视频整合指令和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像。
在本实施例中，多路音视频整合系统在得到分帧图像和分帧时间戳之后，多路音视频整合系统可以得到管理终端发送的视频整合指令，多路音视频整合系统根据视频整合指令整合每路解码视频信息对应的分帧图像，将同一时间戳的分帧图像按照视屏整合指令每路解码视频信息对应的分帧图像进行整合(即将多路的分帧图像通过缩放的方式整合到一个图像上)，生成一个带有分帧时间戳的多画面图像；其中，预设规则可以是根据管理人员操作执行的，也可以是对有些比较终端的发送终端显示较大图像，有些不重要的发送终端显示较小的图像；例如，可以根据视频整合指令将多路的解码视频信息对应的分帧图像组合成由四个分帧图像组成的帧图像、由两个分帧图像组成的帧图像、由三个分帧图像组成的帧图像或由分帧图像叠加组成的帧图像等等多种任意帧图像模式显示。
步骤S252，根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像；
在本实施例中，多路音视频整合系统在得到分帧图像和分帧时间戳之后，多路音视频整合系统将同一时间戳的分帧图像根据预设规则将每路解码视频信息对应的分帧图像进行整合(即将多路的分帧图像通过缩放的方式整合到一个图像上)，生成一个带有分帧时间戳的多画面图像；其中，预设规则可以是根据管理人员操作执行的，也可以是对有些比较终端的发送终端显示较大图像，有些不重要的发送终端显示较小的图像；例如，可以根据预设规则将多路的解码视频信息对应的分帧图像组合成由四个分帧图像组成的帧图像、由两个分帧图像组成的帧图像、由三个分帧图像组成的帧图像或由分帧图像叠加组成的帧图像等等多种任意帧图像模式显示。
步骤S253，根据分帧时间戳将多画面图像进行编码得到整合视频数据。
在本实施例中，多路音视频整合系统按照分帧时间的先后信息对多画面图像进行编码，输出得到整合视频数据。
本实施例通过上述方案，基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；对每路所述视频数据进行解码处理，得到解码视频信息；对每路所述解码视频信息进行分帧处理，得到分帧图像和分帧时间戳；根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像；根据分帧时间戳将多画面图像进行编码得到整合视频数据将所述视频整合数据发送至接收终端。由此，通过将每路音视频数据进行整合，实现了在不增加网络带宽情况下完成多路视频整合的操作，实现了在不使用高性能解码器的情况下完成多路视频整的操作，简化了多路音视频整合的操作，节省了多路视频整合的成本。
本发明还提供一种多路音视频整合系统。
本发明多路音视频整合系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多路音视频整合程序，所述多路音视频整合程序被所述处理器执行时实现如上所述的多路音视频整合方法的步骤。
其中，在所述处理器上运行的多路音视频整合程序被执行时所实现的方法可参照本发明多路音视频整合方法各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有多路音视频整合程序，所述多路音视频整合程序被处理器执行时实现如上所述的多路音视频整合方法的步骤。
其中，在所述处理器上运行的多路音视频整合程序被执行时所实现的方法可参照本发明多路音视频整合方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种多路音视频整合方法，其特征在于，所述多路音视频整合方法应用于多路音视频整合系统，所述多路音视频整合方法包括如下步骤：
基于网路传输协议接收至少一个发送终端传输的至少一路音视频数据；
对每路所述音视频数据进行整合处理得到音视频整合数据；
将所述音视频整合数据发送至接收终端。
2.如权利要求1所述的多路音视频整合方法，其特征在于，当所述音视频数据为音频数据时，所述对每路所述音视频数据进行整合处理得到音视频整合数据的步骤，包括：
对每路所述音频数据进行解码处理，得到解码音频信息；
计算每路所述解码音频信息的包洛值，并读取每路所述解码音频信息的优先值；
根据所述优先值和所述包洛值对所述解码音频信息进行整合编码得到音频整合数据；
所述将所述音视频整合数据发送至接收终端的步骤，包括：
将所述音频整合数据发送至接收终端。
3.如权利要求2所述的多路音视频整合方法，其特征在于，所述计算每路所述解码音频信息的包洛值的步骤包括：
提取每路所述解码音频信息的音频幅度，分别对每路所述解码音频信息的音频幅度进行包洛计算，得到每路所述解码音频信息对应的包洛值。
4.如权利要求2所述的多路音视频整合方法，其特征在于，所述将所述音频整合数据发送至接收终端的步骤之后，包括：
将所述音频整合数据发送至数据库。
5.如权利要求1所述的多路音视频整合方法，其特征在于，当所述音视频数据为视频数据时，所述对每路所述音视频数据进行整合处理得到音视频整合数据的步骤，包括：
对每路所述视频数据进行解码处理，得到解码视频信息；
对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据；
所述将所述音视频整合数据发送至接收终端的步骤，包括：
将所述视频整合数据发送至接收终端。
6.如权利要求5所述的多路音视频整合方法，其特征在于，所述对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据的步骤，包括：
对每路所述解码视频信息进行分帧处理，得到分帧图像和分帧时间戳；
根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像；
根据分帧时间戳将多画面图像进行编码得到整合视频数据。
7.如权利要求6所述的多路音视频整合方法，其特征在于，所述根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像的步骤之前，包括：
接收管理终端发送的视频整合指令；
所述根据预设规则和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像的步骤，包括：
根据所述视频整合指令和所述分帧时间戳对每路所述解码视频信息对应的分帧图像进行整合，生成多画面图像。
8.如权利要求5所述的多路音视频整合方法，其特征在于，所述对每路所述解码视频信息根据预设规则进行整合处理得到视频整合数据的步骤之前，包括：
对所述视频整合数据进行降噪处理。
9.一种多路音视频整合系统，其特征在于，所述多路音视频整合系统包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的多路音视频整合程序，所述多路音视频整合程序被所述处理器执行时实现如权利要求1至8中任一项所述的多路音视频整合方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多路音视频整合程序，所述多路音视频整合程序被处理器执行时实现如权利要求1至8中任一项所述的多路音视频整合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010423422.5A CN111711835B (zh) | 2020-05-18 | 2020-05-18 | 多路音视频整合方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010423422.5A CN111711835B (zh) | 2020-05-18 | 2020-05-18 | 多路音视频整合方法、系统及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111711835A true CN111711835A (zh) | 2020-09-25 |
| CN111711835B CN111711835B (zh) | 2022-09-20 |
Family
ID=72537674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010423422.5A Active CN111711835B (zh) | 2020-05-18 | 2020-05-18 | 多路音视频整合方法、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111711835B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101562706A (zh) * | 2009-05-22 | 2009-10-21 | 杭州华三通信技术有限公司 | 一种图像拼接方法和设备 |
| US20110013790A1 (en) * | 2006-10-16 | 2011-01-20 | Johannes Hilpert | Apparatus and Method for Multi-Channel Parameter Transformation |
| CN104867359A (zh) * | 2015-06-02 | 2015-08-26 | 阔地教育科技有限公司 | 一种直录播系统中的音频处理方法及系统 |
| CN105141884A (zh) * | 2015-08-26 | 2015-12-09 | 苏州科达科技股份有限公司 | 混合会议中广播音视频码流的控制方法、装置及系统 |
| CN106385614A (zh) * | 2016-09-22 | 2017-02-08 | 北京小米移动软件有限公司 | 画面合成方法及装置 |
| CN106803923A (zh) * | 2017-03-01 | 2017-06-06 | 北京牡丹电子集团有限责任公司数字电视技术中心 | Rtmp推流实时直播系统 |
| CN108632547A (zh) * | 2017-03-15 | 2018-10-09 | 武汉玉航科技有限公司 | 一种多路视频预处理方法 |
| CN109040640A (zh) * | 2018-08-02 | 2018-12-18 | 安徽南瑞继远电网技术有限公司 | 一种分布式视频存储回放系统 |
-
2020
- 2020-05-18 CN CN202010423422.5A patent/CN111711835B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110013790A1 (en) * | 2006-10-16 | 2011-01-20 | Johannes Hilpert | Apparatus and Method for Multi-Channel Parameter Transformation |
| CN101562706A (zh) * | 2009-05-22 | 2009-10-21 | 杭州华三通信技术有限公司 | 一种图像拼接方法和设备 |
| CN104867359A (zh) * | 2015-06-02 | 2015-08-26 | 阔地教育科技有限公司 | 一种直录播系统中的音频处理方法及系统 |
| CN105141884A (zh) * | 2015-08-26 | 2015-12-09 | 苏州科达科技股份有限公司 | 混合会议中广播音视频码流的控制方法、装置及系统 |
| CN106385614A (zh) * | 2016-09-22 | 2017-02-08 | 北京小米移动软件有限公司 | 画面合成方法及装置 |
| CN106803923A (zh) * | 2017-03-01 | 2017-06-06 | 北京牡丹电子集团有限责任公司数字电视技术中心 | Rtmp推流实时直播系统 |
| CN108632547A (zh) * | 2017-03-15 | 2018-10-09 | 武汉玉航科技有限公司 | 一种多路视频预处理方法 |
| CN109040640A (zh) * | 2018-08-02 | 2018-12-18 | 安徽南瑞继远电网技术有限公司 | 一种分布式视频存储回放系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111711835B (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10187668B2 (en) | Method, system and server for live streaming audio-video file | |
| KR101633100B1 (ko) | 정보 처리 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
| KR100735233B1 (ko) | 개인방송 서비스 제공 시스템 | |
| US7792998B2 (en) | System and method for providing real-time streaming service between terminals | |
| US20180077461A1 (en) | Electronic device, interractive mehotd therefor, user terminal and server | |
| WO2021143479A1 (zh) | 媒体流传输方法及系统 | |
| CN113141524B (zh) | 资源传输方法、装置、终端及存储介质 | |
| KR20150025514A (ko) | 콘텐츠 재생 단말에서 콘텐츠 연결 방법 | |
| JP7100052B2 (ja) | 電子装置及びその制御方法 | |
| US20150067758A1 (en) | Methods for content sharing utilizing a compatibility notification to a display forwarding function and associated devices | |
| CN112601096A (zh) | 视频解码方法、装置、设备及可读存储介质 | |
| KR101701742B1 (ko) | 이동통신 단말기 간 실시간 스트리밍을 위한 장치 및 방법 | |
| CN115665474A (zh) | 直播方法、装置、电子设备以及存储介质 | |
| CN110996122A (zh) | 视频帧传输方法、装置、计算机设备及存储介质 | |
| CN113747183A (zh) | 一种直播视频分享方法、系统及可读存储介质 | |
| CN113873279A (zh) | 视频数据解码方法、系统和存储介质 | |
| KR100584396B1 (ko) | 휴대용 단말기의 멀티태스킹 방법 | |
| CN113259729B (zh) | 数据切换的方法、服务器、系统及存储介质 | |
| CN112752074A (zh) | 数据传输方法、装置、终端设备和存储介质 | |
| CN111711835B (zh) | 多路音视频整合方法、系统及计算机可读存储介质 | |
| US20120134420A1 (en) | Apparatus and method for transmitting video data in video device | |
| US20190090125A1 (en) | Information processing apparatus, information processing method, and source apparatus | |
| JP2008139977A (ja) | ネットワークシステム | |
| KR102524389B1 (ko) | 미국 디지털 텔레비전 방송 표준 위원회(atsc) 3.0 애플리케이션이 비-atsc 3.0 서비스 상에서 실행하기 위한 장치 및 방법 | |
| KR101982152B1 (ko) | 방송 수신 장치에서 방송 서비스와 연동되어 부가 서비스를 제공하는 오브젝트를 처리하는 방법 및 이를 위한 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 518000 R & D building 1601, block a, building 7, Vanke Cloud City Phase I, Xingke 1st Street, Xili community, Xili street, Nanshan District, Shenzhen City, Guangdong Province (16 / F, block a, building 1, international innovation Valley) Patentee after: SHENZHEN TENDZONE INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: Room 401, Block D, Huahan Innovation Park, 16 Longshan Road, North District, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, 518000 Patentee before: SHENZHEN TENDZONE INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |