CN116614682B - 一种全媒体融合音视频录制点播系统及处理方法 - Google Patents
一种全媒体融合音视频录制点播系统及处理方法 Download PDFInfo
- Publication number
- CN116614682B CN116614682B CN202310463839.8A CN202310463839A CN116614682B CN 116614682 B CN116614682 B CN 116614682B CN 202310463839 A CN202310463839 A CN 202310463839A CN 116614682 B CN116614682 B CN 116614682B
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- video data
- recording
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 6
- 238000012544 monitoring process Methods 0.000 claims abstract description 58
- 238000004458 analytical method Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 230000011664 signaling Effects 0.000 claims abstract description 10
- 210000001503 joint Anatomy 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 68
- 230000005540 biological transmission Effects 0.000 claims description 40
- 230000003993 interaction Effects 0.000 claims description 18
- 238000007726 management method Methods 0.000 claims description 12
- 238000002156 mixing Methods 0.000 claims description 12
- 238000004806 packaging method and process Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000003032 molecular docking Methods 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
- H04L65/1104—Session initiation protocol [SIP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了一种全媒体融合音视频录制点播系统及处理方法，其中所述方法包括步骤：a、利用信令对接或通过旁路截包解析，实现视频会议的音视频数据录制存储；b、对第三方异构软件协议框架下的视频会议的音视频数据进行录制存储和点播；c、对安全监控系统的音视频数据录制存储；d、对录制后的音视频数据进行管理。本申请实现了多种系统的音视频录制存储的大融合，提高了实用性。
Description
技术领域
本申请涉及音视频录制点播系统及处理方法，属多媒体信息处理领域，特别涉及一种全媒体融合音视频录制点播系统及处理方法。
背景技术
音视频数据的录制存储和点播在各个领域有着很广泛的应用，尤其是视频会议系统和安全监控系统更为重要。原有的视频会议系统和安全监控系统是相互独立互不联通导致各系统需要对音视频数据录制存储时是按照自有的逻辑各自为阵。
随着“音视频数据全媒体融合”的应用普及和发展，原有基于H.323协议或基于SIP协议的视频会议系统和基于GB/T28181-2011、GB/T28181-2016安全监控系统及各类异构的音视频系统如果还是采用原有录制存储方式，用户使用时必须在不同的系统上进行音视频数据存储和管理，而这种工作方式则与“音视频全媒体融合通信”的理念不匹配，同时增加系统维护成和降低工作效率。
因此，如何有效匹配解决“音视频融合通信”体系下的音视频录制存储和点播系统需要我们急须解决的问题。
发明内容
根据本申请的一个方面，提供了一种全媒体融合音视频录制点播系统，可以高效地实现H.323协议、SIP协议的视频会议系统和GB/T28181-2011、GB/T28181-2016协议的安全监控系统以及各类异构软件协议的音视频通信系统的音视频数据录制、点播回放的统一管理，实现了多种系统的音视频录制存储的大融合。
所述全媒体融合音视频录制点播系统，包括：
获取网卡数据识别模块，截取网卡IP数据报和对IP数据报进行特征分析，将指令的判断输出至所述视频会议系统协议解析处理模块、监控系统协议解析处理模块。
视频会议系统协议解析处理模块，用于与视频会议系统MCU和终端的指令交互；将数据传输给音视频数据传输模块。优选地，所述视频会议系统协议解析处理模块可解析H.323、SIP协议。
监控系统协议解析处理模块，用于解析视频监控协议，与监控系统或监控摄像头进行指令交互；将数据传输给音视频数据传输模块。优选地，所述视频监控协议包括GB/T28181-2011、GB/T28181-2016协议。
第三方系统API调度处理模块，用于与第三方音视频系统、音视频数据传输模块进行指令交互。
音视频数据传输模块，用于从视频会议系统协议解析处理模块、监控系统协议解析处理模块、第三方系统API调度处理模块处接收待录制存储的音频数据。
音频编解码模块，用于对音视频数据传输模块传输的各类型的音频数据重新编码。
视频编解码模块，用于对音视频数据传输模块传输的各类型的视频数据重新编码。
文件制作模块，用于获取重新编码的音频数据或视频数据，生成可直接播放的MP4文件，将其写入磁盘。
文件管理模块，用于对写入磁盘的录制文件进行下载。
文件预览模块，用于对写入磁盘的录制文件点播。
优选地，所述视频会议系统协议解析处理模块的流程为：同时响应多个MCU和多个终端基于H.323或SIP协议的呼叫请求；视频会议系统协议解析处理模块在整个交互过程中有两种结果：成功或失败；如果是成功则会通知音频编解码模块，表明对方的音频编码格式；通知视频编解码模块，表明对方的视频编码格式；通知音视频数据传输模块确定接收对方音视频数据的传输通道；同时文件制作模块根据已确定音频视频编码格式进行相应的MP4格式打包，生成录制文件；如果是失败，则会记录失败原因。
优选地，所述监控系统协议解析处理模块，用于主动发送请求监控软件系统或监控摄像头音视频数据的信令，交互过程中也是两种结果：成功或失败；如果是成功则会通知音频编解码模块，表明对方的音频编码格式；通知视频编解码模块，表明对方的视频编码格式；通知音视频数据传输模块确定接收对方音视频数据的传输通道；同时文件制作模块根据已确定音频视频编码格式进行相应的MP4格式打包，生成录制文件；如果是失败，则会记录失败原因。
优选地，所述第三方系统API调度处理模块，用于侦测到第三方系统的连接请求，识别令牌的合法性；如果令牌有效，则发送能处理录制的音视频格式及相关属性和音视频数据传输通道信息给第三方系统，第三方系统根据录制系统的要求设置音视频编码格式以及音视频相对应的SSRC信息；交互过程中也是两种结果：成功或失败；如果是成功则会通知音频编解码模块，表明对方的音频编码格式；通知视频编解码模块，表明对方的视频编码格式；通知音视频数据传输模块确定接收对方音视频数据的传输通道；同时文件制作模块根据已确定音频视频编码格式进行相应的MP4格式打包，生成录制文件；如果是失败，则会记录失败原因。
优选地，所述获取网卡数据识别模块，用于利用交换机端口镜像的机制，把支撑原有的视频会议系统网络连接线1和安全监控系统的网络连接线2连接到带端口镜像功能的交换机上，并把连接线1和连接线2插入交换机的端口作为数据镜像的源，把所述全媒体融合音视频录制点播系统的连接线3插入同一交换机上的端口镜像的目标端口；上述操作完成后，获取网卡数据识别模块截取网卡的IP报并根据H.323协议、SIP协议及GB/T28181-2011、GB/T28181-2016协议的基础特征识别出对应的数据包发送到对应的视频会议系统协议解析处理模块或监控系统协议解析处理模块；视频会议系统协议解析处理模块接收到数据指令后执行视频会议系统协议解析处理模块相应的流程，监控系统协议解析处理模块接收到数据指令后执行监控系统协议解析处理模块流程。
优选地，该系统还包括：
音频混音模块，用于多路音频数据合成；
视频混屏模块，用于多路视频数据合成；所述全媒体融合音视频录制点播系统可以把各系统的音频、视频数据利用音频编解码模块和视频编解码模块的功能，进行混音混屏合成一个多画面音视频数据通过文件制作模块录制存储下来。
优选地，所述全媒体融合音视频录制点播系统通过文件制作模块把音视频数据写入存储器后，通过文件管理模块和文件预览模块在浏览页面对录制好的音视频数据做统一检索查询和下载及管理。
根据本申请的另一个方面，提供了一种全媒体融合音视频录制点播处理方法，包括以下步骤：
（1）利用协议级的信令对接或通过旁路截包解析，实现视频会议的音视频数据录制存储；
（2）对第三方异构软件协议框架下的视频会议的音视频数据进行录制存储和点播；
（3）对安全监控系统的音视频数据录制存储；
（4）对录制后的音视频数据进行管理。
优选地，步骤（1）中所述利用协议级的信令对接，实现视频会议的音视频数据录制存储，包括步骤：
接收基于H.323和SIP协议交互处理；
自动应答视频会议MCU或视频会议终端呼叫请求；
通过H.323或SIP协议主动呼叫视频会议MCU和视频会议终端；
发送系统默认或用户自定义的音视频数据，保证与视频会议MCU或视频会议终端保持正常的连接；
将视频会议MCU或视频会议终端发送过来的音视频数据打包成MP4格式进行录制存储。
优选地，步骤（1）中，所述通过旁路截包解析，实现视频会议的音视频数据录制存储，包括步骤：
从交换机镜像端口获取IP数据报文；
从获取的IP报文数据中自动识别H.323协议和SIP协议数据，并根据H.323、SIP协议的基础特征自动识别出视频会议MCU或视频会议终端的音视频数据；
将已识别的音视频数据自动匹配成某视频会议终端的音视频数据或是某视频会议MCU的音视频数据并打包成MP4格式的数据进行录制存储。
优选地，还包括步骤：向第三方视频会议系统通过RTCP协议或遵循第三方视频会议系统自定义的协议发送FIR消息请求视频关键帧。
优选地，步骤（2）中，所述对第三方异构软件协议框架下的视频会议的音视频数据进行录制存储和点播，包括步骤：
提供开放API接口，供第三方视频会议系统调用；
进行令牌识别，以鉴别第三方异构系统的接入合法性；
侦测到第三方异构系统合法接入后，发送所具备的最大并发存储能力；
当第三方异构系统合法接入后，协商音视频数据的传输方式和传输通道；
接受第三方异构系统合法接入后发送的设置和控制指令，设置指令包括：第三方异构系统可向全媒体融合音视频录制点播系统发送设置某音视频数据的编码属性；第三方异构系统可向全媒体融合音视频录制点播系统发送设置某音视频数据名称属性；第三方异构系统可向全媒体融合音视频录制点播系统发送设置多路音视频数据参与混音混屏的属性；控制指令包括：第三方异构系统可向全媒体融合音视频录制点播系统发送开启录制存储指令、结束录制存储指令、暂停录制存储指令和恢复录制存储指令；
将第三方异构系统的音视频数据打包成MP4格式进行录制存储。
优选地，所述最大并发存储能力包括以下至少一种：能处理的音频、视频格式，最大同时支持的音视频数据存储量。
优选地，步骤（3）中，所述对安全监控系统的音视频数据录制存储，包括步骤：
基于GB/T28181-2011、GB/T28181-2016协议调取监控摄像头的音视频数据；
基于RTSP协议的通信调取监控摄像头的音视频数据；
将监控摄像头的PS音视频数据流转换打包成MP4格式进行音视频录制存储。
优选地，步骤（4）中，所述对录制后的音视频数据进行管理，包括：对录制好的音视频数据进行检索和删除。
优选地，所述对录制后的音视频数据进行管理还包括：通过浏览器点播回放录制好的音视频数据，还可供下载。
优选地，所述检索条件包括以下至少一种：会议开始时间、会议结束时间、会议名称、终端名称、备注。
本申请能产生的有益效果包括：
1）本申请将不同协议框架下的音视频数据按照各系统遵循的标准协议进行统一对接管理；而对于一些自定义协议的第三方软件异构系统，提供了一种统一的API接口，将第三方系统的音视频接入进行录制管理。
2）本申请提供了一种音视频数据融合录制存储的实现方法，包括通过标准协议(H.323、SIP、GB/T28181-2011、GB/T28181-2016)对接和API接口对接。而标准协议对接又包括两种方式，一种是协议交互对接，另一种是通过交换机镜像数据机制进行截包分析H.323、SIP协议的特征来识别视频会议MCU或是视频会议终端的音视频数据。通过利用本申请的方法，可以把当前主流的H.323、SIP视频会议的MCU和终端音频数据和监控系统的音视频数据以及第三方异构系统的音视频数据整合到一个统一的数据存储管理系统，从而实现了视频会议系统和安全监控系统及第三方视频会议系统的音视频录制存储的大融合。本申请极大地提升了不同系统间的数据管理效率，同时也真正意义上体现了音视频数据融合。
附图说明
图1为本申请一个实施例中全媒体融合音视频录制点播系统结构示意图；
图2为本申请一个实施例中全媒体融合音视频录制点播系统流程示意图。
具体实施方式
图1、2分别是本申请的为一个实施例中全媒体融合音视频录制点播系统结构、流程示意图，该系统包括：获取网卡数据识别模块，截取网卡IP数据报和对IP数据报进行特征分析，将指令的判断输出至所述视频会议系统协议解析处理模块、监控系统协议解析处理模块；视频会议系统协议解析处理模块，可解析H.323、SIP协议，用于与视频会议系统MCU和终端的指令交互；监控系统协议解析处理模块，可解析GB/T28181-2011、GB/T28181-2016协议，用于与监控系统或监控摄像头进行指令交互；第三方系统API调度处理模块，用于与第三方异构软件音视频系统进行指令交互；音视频数据传输模块，用于从视频会议系统协议解析处理模块、监控系统协议解析处理模块、第三方系统API调度处理模块处接收待录制存储的音频数据，并发送至音频编解码模块或视频编解码模块；音频编解码模块，用于对各类型的音频数据重新编码；视频编解码模块，用于对各类型的视频数据重新编码；音频混音模块，用于多路音频数据合成；视频混屏模块，用于多路视频数据合成；文件制作模块，用于生成可直接播放的MP4文件；文件管理模块，用于对所录制文件在线下载；文件预览模块，用于对录制文件在线点播。
所述视频会议系统协议解析处理模块的流程为：同时响应多个MCU和多个终端基于H.323或SIP协议的呼叫请求；视频会议系统协议解析处理模块在整个交互过程中有两种结果：成功或失败；如果是成功则会通知音频编解码模块，表明对方的音频编码格式；通知视频编解码模块，表明对方的视频编码格式；通知音视频数据传输模块确定接收对方音视频数据的传输通道；同时文件制作模块根据已确定音频视频编码格式进行相应的MP4格式打包，生成录制文件；如果是失败，则会记录失败原因。
所述监控系统协议解析处理模块的流程为：主动发送请求监控软件系统或监控摄像头音视频数据的信令，交互过程中也是两种结果：成功或失败；如果是成功则会通知音频编解码模块，表明对方的音频编码格式；通知视频编解码模块，表明对方的视频编码格式；通知音视频数据传输模块确定接收对方音视频数据的传输通道；同时文件制作模块根据已确定音频视频编码格式进行相应的MP4格式打包，生成录制文件；如果是失败，则会记录失败原因。
所述第三方系统API调度处理模块的流程为：侦测到第三方系统的连接请求，识别令牌的合法性；如果令牌有效，则发送能处理录制的音视频格式及相关属性和音视频数据传输通道信息给第三方系统，第三方系统根据录制系统的要求设置音视频编码格式以及音视频相对应的SSRC信息；交互过程中也是两种结果：成功或失败；如果是成功则会通知音频编解码模块，表明对方的音频编码格式；通知视频编解码模块，表明对方的视频编码格式；通知音视频数据传输模块确定接收对方音视频数据的传输通道；同时文件制作模块根据已确定音频视频编码格式进行相应的MP4格式打包，生成录制文件；如果是失败，则会记录失败原因。
所述获取网卡数据识别模块的流程为：利用交换机端口镜像的机制，把支撑原有的视频会议系统网络连接线1和安全监控系统的网络连接线2连接到带端口镜像功能的交换机上，并把连接线1和连接线2插入交换机的端口作为数据镜像的源，把所述全媒体融合音视频录制点播系统的连接线3插入同一交换机上的端口镜像的目标端口；上述操作完成后，获取网卡数据识别模块截取网卡的IP报并根据H.323协议、SIP协议及GB/T28181-2011、GB/T28181-2016协议的基础特征识别出对应的数据包发送到对应的视频会议系统协议解析处理模块或监控系统协议解析处理模块2；视频会议系统协议解析处理模块接收到数据指令后执行视频会议系统协议解析处理模块相应的流程，监控系统协议解析处理模块接收到数据指令后执行监控系统协议解析处理模块流程。
进一步，所述全媒体融合音视频录制点播系统可以把各系统的音频、视频数据利用音频编解码模块和视频编解码模块的功能，进行混音混屏合成一个多画面音视频数据通过文件制作模块录制存储下来。
所述全媒体融合音视频录制点播系统通过文件制作模块把音视频数据写入存储器后，通过文件管理模块和文件预览模块在浏览页面对录制好的音视频数据做统一检索查询和下载及管理。
本申请还提供了一种全媒体融合音视频录制点播处理方法，包括以下步骤：a、利用协议级的信令对接或通过旁路截包解析，实现视频会议的音视频数据录制存储；b、对第三方异构软件协议框架下的视频会议的音视频数据进行录制存储和点播；c、对安全监控系统的音视频数据录制存储；d、对录制后的音视频数据进行管理。
在步骤a中，所述利用协议级的信令对接，实现视频会议的音视频数据录制存储，包括步骤：(1)接收基于H.323和SIP协议交互处理；(2)自动应答视频会议MCU或视频会议终端呼叫请求；(3)通过H.323或SIP协议主动呼叫视频会议MCU和视频会议终端；(4)发送系统默认或用户自定义的音视频数据，保证与视频会议MCU或视频会议终端保持正常的连接；(5)将视频会议MCU或视频会议终端发送过来的音视频数据打包成MP4格式进行录制存储。
进一步，在步骤a中，所述通过旁路截包解析，实现视频会议的音视频数据录制存储，包括步骤：(1)从交换机镜像端口获取IP数据报文；(2)从获取的IP报文数据中自动识别H.323协议和SIP协议数据，并根据H.323、SIP协议的基础特征自动识别出视频会议MCU或视频会议终端的音视频数据；(3)将已识别的音视频数据自动匹配成某视频会议终端的音视频数据或是某视频会议MCU的音视频数据并打包成MP4格式的数据进行录制存储；(4)进一步，向第三方视频会议系统通过RTCP协议或遵循第三方视频会议系统自定义的协议发送FIR消息请求视频关键帧。
在步骤b中，所述对第三方异构软件协议框架下的视频会议的音视频数据进行录制存储和点播，包括步骤：(1)提供开放API接口，供第三方视频会议系统调用；(2)令牌识别，用于鉴别第三方异构系统的接入合法性；(3)侦测到第三方异构系统合法接入后，发送所具备的最大并发存储能力，能力包括但不限于：能处理的音频、视频格式，最大同时支持的音视频数据存储量；(4)当第三方异构系统合法接入后，协商音视频数据的传输方式和传输通道；(5)接受第三方异构系统合法接入后发送的设置和控制指令，设置指令包括：第三方异构系统可向全媒体融合音视频录制点播系统发送设置某音视频数据的编码属性；第三方异构系统可向全媒体融合音视频录制点播系统发送设置某音视频数据名称属性；第三方异构系统可向全媒体融合音视频录制点播系统发送设置多路音视频数据参与混音混屏的属性；控制指令包括：第三方异构系统可向全媒体融合音视频录制点播系统发送开启录制存储指令、结束录制存储指令、暂停录制存储指令和恢复录制存储指令；(6)将第三方异构系统的音视频数据打包成MP4格式进行录制存储。
在步骤c中，所述对安全监控系统的音视频数据录制存储，包括步骤：(1)基于GB/T28181-2011、GB/T28181-2016协议调取监控摄像头的音视频数据；(2)基于RTSP协议的通信调取监控摄像头的音视频数据；(3)将监控摄像头的PS音视频数据流转换打包成MP4格式进行音视频录制存储。
在步骤d中，所述对录制后的音视频数据进行管理，包括：对录制好的音视频数据进行检索和删除，检索条件包括但不限于：会议开始时间、会议结束时间、会议名称、终端名称，备注；通过浏览器点播回放录制好的音视频数据，还可供下载。
以上所述，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。上面结合附图对本申请的实施方式作了详细说明，但是本申请并不限于上述实施方式。
Claims (16)
1.一种全媒体融合音视频录制点播系统，其特征在于，包括：
获取网卡数据识别模块，截取网卡IP数据报和对IP数据报进行特征分析，将指令的判断输出至视频会议系统协议解析处理模块、监控系统协议解析处理模块；
视频会议系统协议解析处理模块，用于解析H.323协议、SIP协议，与视频会议系统MCU和终端的指令交互；将数据传输给音视频数据传输模块；
监控系统协议解析处理模块，用于解析GB/T28181-2011、GB/T28181-2016协议，与监控系统或监控摄像头进行指令交互；将数据传输给音视频数据传输模块；
第三方系统API调度处理模块，用于与第三方音视频系统、音视频数据传输模块进行指令交互；
音视频数据传输模块，用于从视频会议系统协议解析处理模块、监控系统协议解析处理模块、第三方系统API调度处理模块处接收待录制存储的音频数据；
音频编解码模块，用于对音视频数据传输模块传输的各类型的音频数据重新编码；
视频编解码模块，用于对音视频数据传输模块传输的各类型的视频数据重新编码；
文件制作模块，用于获取重新编码的音频数据或视频数据，生成可直接播放的MP4文件，将其写入磁盘；
文件管理模块，用于对写入磁盘的录制文件进行下载；
文件预览模块，用于对写入磁盘的录制文件点播；
其中，所述获取网卡数据识别模块，用于利用交换机端口镜像的机制，把支撑原有的视频会议系统网络连接线1和安全监控系统的网络连接线2连接到带端口镜像功能的交换机上，并把连接线1和连接线2插入交换机的端口作为数据镜像的源，把所述全媒体融合音视频录制点播系统的连接线3插入同一交换机上的端口镜像的目标端口；上述操作完成后，获取网卡数据识别模块截取网卡的IP报并根据H.323协议、SIP协议及GB/T28181-2011、GB/T28181-2016协议的基础特征识别出对应的数据包发送到对应的视频会议系统协议解析处理模块或监控系统协议解析处理模块；视频会议系统协议解析处理模块接收到数据指令后执行视频会议系统协议解析处理模块相应的流程，监控系统协议解析处理模块接收到数据指令后执行监控系统协议解析处理模块流程。
2.根据权利要求1所述的全媒体融合音视频录制点播系统，其特征在于，所述视频会议系统协议解析处理模块的流程为：
同时响应多个MCU和多个终端基于H.323或SIP协议的呼叫请求；
所述视频会议系统协议解析处理模块在整个交互过程中产生以下两种结果中的一种：
如果结果为成功，则会通知音频编解码模块，表明对方的音频编码格式；通知视频编解码模块，表明对方的视频编码格式；通知音视频数据传输模块确定接收对方音视频数据的传输通道；同时文件制作模块根据已确定音频视频编码格式进行相应的MP4格式打包，生成录制文件；
如果结果为失败，则会记录失败原因。
3.根据权利要求1所述的全媒体融合音视频录制点播系统，其特征在于，所述监控系统协议解析处理模块，用于主动发送请求监控软件系统或监控摄像头音视频数据的信令；
所述监控系统协议解析处理模块在交互过程中产生以下两种结果中的一种：
如果结果为成功，则会通知音频编解码模块，表明对方的音频编码格式；通知视频编解码模块，表明对方的视频编码格式；通知音视频数据传输模块确定接收对方音视频数据的传输通道；同时文件制作模块根据已确定音频视频编码格式进行相应的MP4格式打包，生成录制文件；
如果结果为失败，则会记录失败原因。
4.根据权利要求1所述的全媒体融合音视频录制点播系统，其特征在于，所述第三方系统API调度处理模块，用于侦测到第三方系统的连接请求，识别令牌的合法性；如果令牌有效，则发送能处理录制的音视频格式及相关属性和音视频数据传输通道信息给第三方系统，第三方系统根据录制系统的要求设置音视频编码格式以及音视频相对应的SSRC信息；
所述第三方系统API调度处理模块在交互过程中产生以下两种结果中的一种：
如果结果为成功，则会通知音频编解码模块，表明对方的音频编码格式；通知视频编解码模块，表明对方的视频编码格式；通知音视频数据传输模块确定接收对方音视频数据的传输通道；同时文件制作模块根据已确定音频视频编码格式进行相应的MP4格式打包，生成录制文件；
如果结果为失败，则会记录失败原因。
5.根据权利要求1所述的全媒体融合音视频录制点播系统，其特征在于，还包括：
音频混音模块，用于多路音频数据合成；
视频混屏模块，用于多路视频数据合成；所述全媒体融合音视频录制点播系统把各系统的音频、视频数据利用音频编解码模块和视频编解码模块的功能，进行混音混屏合成一个多画面音视频数据，通过文件制作模块录制存储下来。
6.根据权利要求1所述的全媒体融合音视频录制点播系统，其特征在于，所述全媒体融合音视频录制点播系统通过文件制作模块把音视频数据写入存储器后，通过文件管理模块和文件预览模块在浏览页面对录制好的音视频数据做统一检索查询和下载及管理。
7.一种基于权利要求1-6任一项所述全媒体融合音视频录制点播系统的处理方法，其特征在于，包括以下步骤：
(1)利用协议级的信令对接或通过旁路截包解析，实现视频会议的音视频数据录制存储；
(2)对第三方异构软件协议框架下的视频会议的音视频数据进行录制存储和点播；
(3)对安全监控系统的音视频数据录制存储；
(4)对录制后的音视频数据进行管理。
8.根据权利要求7所述的全媒体融合音视频录制点播处理方法，其特征在于，步骤(1)中所述利用协议级的信令对接，实现视频会议的音视频数据录制存储，包括步骤：
接收基于H.323和SIP协议交互处理；
自动应答视频会议MCU或视频会议终端呼叫请求；
通过H.323或SIP协议主动呼叫视频会议MCU和视频会议终端；
发送系统默认或用户自定义的音视频数据，保证与视频会议MCU或视频会议终端保持正常的连接；
将视频会议MCU或视频会议终端发送过来的音视频数据打包成MP4格式进行录制存储。
9.根据权利要求7所述的全媒体融合音视频录制点播处理方法，其特征在于，步骤(1)中，所述通过旁路截包解析，实现视频会议的音视频数据录制存储，包括步骤：
从交换机镜像端口获取IP数据报文；
从获取的IP报文数据中自动识别H.323协议和SIP协议数据，并根据H.323、SIP协议的基础特征自动识别出视频会议MCU或视频会议终端的音视频数据；
将已识别的音视频数据自动匹配成某视频会议终端的音视频数据或是某视频会议MCU的音视频数据并打包成MP4格式的数据进行录制存储。
10.根据权利要求9所述的全媒体融合音视频录制点播处理方法，其特征在于，所述步骤(1)还包括：向第三方视频会议系统通过RTCP协议或遵循第三方视频会议系统自定义的协议发送FIR消息请求视频关键帧。
11.根据权利要求7所述的全媒体融合音视频录制点播处理方法，其特征在于，步骤(2)中，所述对第三方异构软件协议框架下的视频会议的音视频数据进行录制存储和点播，包括步骤：
提供开放API接口，供第三方视频会议系统调用；
进行令牌识别，以鉴别第三方异构系统的接入合法性；
侦测到第三方异构系统合法接入后，发送所具备的最大并发存储能力；
当第三方异构系统合法接入后，协商音视频数据的传输方式和传输通道；
接受第三方异构系统合法接入后发送的设置和控制指令，设置指令包括：第三方异构系统可向全媒体融合音视频录制点播系统发送设置某音视频数据的编码属性；第三方异构系统可向全媒体融合音视频录制点播系统发送设置某音视频数据名称属性；第三方异构系统可向全媒体融合音视频录制点播系统发送设置多路音视频数据参与混音混屏的属性；控制指令包括：第三方异构系统可向全媒体融合音视频录制点播系统发送开启录制存储指令、结束录制存储指令、暂停录制存储指令和恢复录制存储指令；
将第三方异构系统的音视频数据打包成MP4格式进行录制存储。
12.根据权利要求11所述的全媒体融合音视频录制点播处理方法，其特征在于，所述最大并发存储能力包括以下至少一种：能处理的音频、视频格式，最大同时支持的音视频数据存储量。
13.根据权利要求7所述的全媒体融合音视频录制点播处理方法，其特征在于，步骤(3)中，所述对安全监控系统的音视频数据录制存储，包括步骤：
基于GB/T28181-2011、GB/T28181-2016协议调取监控摄像头的音视频数据；
基于RTSP协议的通信调取监控摄像头的音视频数据；
将监控摄像头的PS音视频数据流转换打包成MP4格式进行音视频录制存储。
14.根据权利要求7所述的全媒体融合音视频录制点播处理方法，其特征在于，步骤(4)中，所述对录制后的音视频数据进行管理，包括：
对录制好的音视频数据进行检索和删除。
15.根据权利要求14所述的全媒体融合音视频录制点播处理方法，其特征在于，所述步骤(4)还包括：通过浏览器点播回放录制好的音视频数据。
16.根据权利要求14所述的全媒体融合音视频录制点播处理方法，其特征在于，所述检索的条件包括以下至少一种：会议开始时间、会议结束时间、会议名称、终端名称、备注。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310463839.8A CN116614682B (zh) | 2023-04-26 | 2023-04-26 | 一种全媒体融合音视频录制点播系统及处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310463839.8A CN116614682B (zh) | 2023-04-26 | 2023-04-26 | 一种全媒体融合音视频录制点播系统及处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116614682A CN116614682A (zh) | 2023-08-18 |
| CN116614682B true CN116614682B (zh) | 2024-04-02 |
Family
ID=87680895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310463839.8A Active CN116614682B (zh) | 2023-04-26 | 2023-04-26 | 一种全媒体融合音视频录制点播系统及处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116614682B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519641A (zh) * | 2019-09-10 | 2019-11-29 | 深圳市同洲电子股份有限公司 | 一种多源多协议的视频融合传输交换系统及方法 |
| CN110943909A (zh) * | 2019-12-02 | 2020-03-31 | 江西雕视信息技术股份有限公司 | 一种音视频融合通信服务器 |
| CN213461983U (zh) * | 2020-11-11 | 2021-06-15 | 安徽四创电子股份有限公司 | 一种便携式指挥所集中装置 |
| KR102308443B1 (ko) * | 2021-02-19 | 2021-10-05 | 유비트론(주) | 스마트 첨단 강의 및 녹화 시스템 |
| CN114125369A (zh) * | 2021-12-03 | 2022-03-01 | 北京国基科技股份有限公司 | 一种基于虚拟音视频的视频会议融合方法及系统 |
| CN114679550A (zh) * | 2022-03-18 | 2022-06-28 | 上海赛连信息科技有限公司 | 通用录制的装置及其方法 |
| CN115174844A (zh) * | 2022-07-01 | 2022-10-11 | 深圳市炫本电子有限公司 | 基于视频监控和视频会议融合的智能系统 |
-
2023
- 2023-04-26 CN CN202310463839.8A patent/CN116614682B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519641A (zh) * | 2019-09-10 | 2019-11-29 | 深圳市同洲电子股份有限公司 | 一种多源多协议的视频融合传输交换系统及方法 |
| CN110943909A (zh) * | 2019-12-02 | 2020-03-31 | 江西雕视信息技术股份有限公司 | 一种音视频融合通信服务器 |
| CN213461983U (zh) * | 2020-11-11 | 2021-06-15 | 安徽四创电子股份有限公司 | 一种便携式指挥所集中装置 |
| KR102308443B1 (ko) * | 2021-02-19 | 2021-10-05 | 유비트론(주) | 스마트 첨단 강의 및 녹화 시스템 |
| CN114125369A (zh) * | 2021-12-03 | 2022-03-01 | 北京国基科技股份有限公司 | 一种基于虚拟音视频的视频会议融合方法及系统 |
| CN114679550A (zh) * | 2022-03-18 | 2022-06-28 | 上海赛连信息科技有限公司 | 通用录制的装置及其方法 |
| CN115174844A (zh) * | 2022-07-01 | 2022-10-11 | 深圳市炫本电子有限公司 | 基于视频监控和视频会议融合的智能系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116614682A (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2019240571B2 (en) | Reduced latency server-mediated audio-video communication | |
| CN100433826C (zh) | 记录视频会议数据的方法和系统 | |
| US7996540B2 (en) | Method and system for replacing media stream in a communication process of a terminal | |
| KR20080050477A (ko) | 타임 시프트 텔레비전을 구현하기 위한 방법, 장치, 및 시스템 | |
| US20080075095A1 (en) | Method and system for network communication | |
| CN112752115B (zh) | 直播数据传输方法、装置、设备及介质 | |
| EP4262320A1 (en) | Call processing system and call processing method | |
| CN101754002B (zh) | 一种视频监控系统及其双码流监控前端的实现方法 | |
| US20080307105A1 (en) | Streaming media archiver for live events | |
| CN114363715A (zh) | 视频播放方法及相关设备 | |
| CN101087399B (zh) | 一种通过多媒体终端进行会议录制的方法 | |
| CN112584194A (zh) | 视频码流的推送方法、装置、计算机设备和存储介质 | |
| CN205230019U (zh) | 一种实现多屏间视频无缝切换的系统 | |
| CN102045586A (zh) | 网络设备、信息处理装置、流切换方法和内容分送系统 | |
| CN116614682B (zh) | 一种全媒体融合音视频录制点播系统及处理方法 | |
| US20140169536A1 (en) | Integration of telephone audio into electronic meeting archives | |
| WO2008071083A1 (fr) | Procédé et dispositif pour traiter une anomalie de service | |
| WO2015089790A1 (zh) | 业务处理方法、装置和系统 | |
| CN100571374C (zh) | 视频录制实时回放方法 | |
| CN115766348A (zh) | 基于物联网的多协议视频融合网关 | |
| JP3930382B2 (ja) | 視聴箇所抽出方法，視聴箇所抽出システム，ダイジェスト自動生成方法，ダイジェスト自動生成システム，視聴箇所抽出プログラム，そのプログラムの記録媒体，ダイジェスト自動生成プログラムおよびそのプログラムの記録媒体 | |
| CN115022573A (zh) | 一种桌面视频会议系统 | |
| CN113141480A (zh) | 录屏方法、装置、设备及存储介质 | |
| CN101616133A (zh) | 实现共享群业务的方法、系统和装置 | |
| US20120072524A1 (en) | System and method for recording data in a network environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Pingshi Inventor after: Liu Ping Inventor after: Wang Zihua Inventor before: Liu Ping Inventor before: Fu Jinsong Inventor before: Wang Zihua |
|
| CB03 | Change of inventor or designer information |