CN107040748A - 一种监控与视频会议应用整合平台和方法 - Google Patents

Abstract

本发明实施例提供的一种监控与视频会议应用整合平台和方法，涉及可视指挥技术，解决目前无法实现音视频的同步以及视频会议和视频监控有效的融合问题。该方法从音频缓冲区中获取要播放的音频时间戳，记录为A；求得要与该音频对应同步的视频时间戳记为B；从视频缓冲区中获取要播放的当前视频时间戳，记录为V；计算S＝|V-B|/ClockB；如果S≤100ms，则播放所述当前视频；如果S>100ms，且V<B，则丢掉该视频包；如果S>100ms，且V>B，则重复显示同一帧。主要用于音视频同步。

Description

一种监控与视频会议应用整合平台和方法

技术领域

本发明涉及可视指挥一体化技术领域，尤其涉及一种监控与视频会议应用整合平台和方法。

背景技术

传统的监控中心与视频会议会场相互独立，造成了监控系统与视频会议系统出现融合难题，在突发事件发生时，比如交通事故、火灾、水灾等，要想实时了解现场环境，只能在监控中心观察，而且无法实现以现场实时图像以及现场音频为素材进行的视频会议讨论，同时，音视频作为独立的数据流在网络中传输，目前无法做同步处理，给用户带来极差的体验。

发明内容

本发明的目的在于克服现有技术不足，提供了一种监控与视频会议应用整合平台和方法，能够解决目前无法实现音视频的同步以及视频会议和视频监控有效的融合问题。

本发明的技术解决方案：

一方面、一种监控与视频会议应用整合平台，包括SIP代理服务器、用户代理服务器UAS模块、数据管理模块、日志管理模块、监控适配模块、多媒体编码传输模块、网络传输模块、平台数据库和Web模块；

其中，用户UA(多点处理单元MCU)发送INVITE呼叫消息给SIP代理服务器，SIP代理服务器转接INVITE到用户代理服务器UAS模块，用户代理服务器UAS模块包括呼叫控制子模块和协议解析子模块，呼叫控制子模块通过对呼入电话编号的解析，选定监控服务器通道以及作出是否应答响应；协议解析子模块解析SDP信息，实现动态配置多媒体信息，UAS模块响应200OK到SIP代理服务器，SIP代理服务器响应200OK到用户；

客户端回复ACK消息到UAS，平台数据库包含每一个授权用户的访问权限、摄像头编号和监控服务器通道的对应关系以及当前呼叫状态内容，数据管理模块用于实现对这些内容的存储、读取与更新操作；

UAS调用日志管理模块将呼叫信息写入日志，日志管理模块主要记录当前呼叫信息、注册信息和监控服务器状态错误信息；

监控适配模块调用日志管理模块将监控服务器登录状态写入日志，根据呼入编号将对应视频和音频传入多媒体编码传输模块，监控适配模块用于完成监控服务器的登陆、掉线状态检测和调取监控服务器下摄像头视频数据送入编码模块的工作；

多媒体编码传输模块将压缩后的视频和音频传回用户，多媒体编码传输模块包括视频编码模块、音频编码模块、音视频同步模块和多媒体传输模块，视频编码模块用于实现对采集的视频数据进行H264标准压缩，音频编码模块用于实现对采集的音频数据进行G.711A-law编码，音视频同步模块用于实现音视频两条独立的数据流在客户端保持同步；

网络传输模块用于实现对压缩后数据进行实时的网络传输；

WEB模块用于实现用户与监控与视频会议整合应用平台的交互，对用户相关权限进行配置，终端用户根据实际需求对平台环境进行配置以及实时查看当前平台运行状态信息。

另一方面、一种监控与视频会议应用整合方法，包括以下步骤：

从音频缓冲区中获取要播放的音频时间戳，记录时间戳记为A；

求得要与该音频对应同步的视频时间戳记为B；

从视频缓冲区中获取要播放的当前视频时间戳，记录时间戳记为V；

计算S＝|V-B|/ClockB，其中，ClockB为媒体B的RTP时间戳时钟频率；

如果S≤100ms，则播放所述当前视频；

如果S>100ms，且V<B，则丢掉该视频包；

如果S>100ms，且V>B，则重复显示同一帧。

本发明实施例提供的一种监控与视频会议应用整合平台和方法，实现了音视频的同步以及视频会议和视频监控有效的融合，将每个监控摄像头映射为视频会议中的一个视频终端，当视频会议中需要接入监控图像时，多点处理单元MCU向监控与视频会议整合应用平台发起会话初始化协议SIP呼叫请求，监控与视频会议整合应用平台接受请求并建立呼叫，该平台的部署和使用完全不影响原监控系统和视频会议系统，并能整合用户现有系统实现资源最大化使用。一方面，作为视频监控与视频会议两个系统的中间件，实现了视频监控与视频会议的互联互通；另一方面，该装置利用音视频同步算法，实现了音视频同步。满足了国家安全、应急指挥、数字安检等方面的视频联动需求，实现了快速准确的可视化调度，提高政府各部门突发事件和日常政务处理的应对能力。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种监控与视频会议应用整合平台的结构框图；

图2为本发明实施例中一种监控与视频会议应用整合方法的流程示意图。

具体实施方式

下面将结合附图对本发明的具体实施例进行详细说明。在下面的描述中，出于解释而非限制性的目的，阐述了具体细节，以帮助全面地理解本发明。然而，对本领域技术人员来说显而易见的是，也可以在脱离了这些具体细节的其它实施例中实践本发明。

在此需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

对于音频和相关的视频，当偏移在-0.100s(音频滞后视频)到+0.100s(音频超前视频)之间时，多数观众都不会感到偏移的存在，这个区域是同步区域；当偏移在-0.16s到+0.16s之外时，几乎所有观众都对播映不满意，这一区域称为不同步区域。由于音视频流是以两条独立的数据流在网络上传输，在接收端收到的音视频数据流就有可能不同步，为了克服这种不同步的现象，需要添加同步机制。鉴于上述需求，本发明实施例提供一种监控与视频会议应用整合平台，该中间件装置采用模块化设计方法，降低了系统耦合度，增强了系统的可扩展性与可维护性。

在RTCP的传输控制机制中，发送方周期性地发送报告(SR)，例如在SR中携带有发送方的绝对时间信息(NTP时间戳)和对应该媒体的RTP时间戳，同一个终端发送多个媒体时，其绝对时间是起于同一个基准点的，即同一时间基准，可以计算出其RTP时间相关性。基于如此分析，结合图1，该平台包括SIP代理服务器、用户代理服务器UAS模块、数据管理模块、日志管理模块、监控适配模块、多媒体编码传输模块、网络传输模块、平台数据库和Web模块；

其中，用户UA(多点处理单元MCU)发送INVITE呼叫消息给SIP代理服务器，SIP代理服务器转接INVITE到用户代理服务器UAS模块，用户代理服务器UAS模块包括呼叫控制子模块和协议解析子模块，呼叫控制子模块通过对呼入电话编号的解析，选定监控服务器通道以及作出是否应答响应；协议解析子模块解析SDP信息，实现动态配置多媒体信息，UAS模块响应200OK到SIP代理服务器，SIP代理服务器响应200OK到用户；

客户端回复ACK消息到UAS，平台数据库包含每一个授权用户的访问权限、摄像头编号和监控服务器通道的对应关系以及当前呼叫状态内容，数据管理模块用于实现对这些内容的存储、读取与更新操作；

UAS调用日志管理模块将呼叫信息写入日志，日志管理模块主要记录当前呼叫信息、注册信息和监控服务器状态错误信息；

监控适配模块调用日志管理模块将监控服务器登录状态写入日志，根据呼入编号将对应视频和音频传入多媒体编码传输模块，监控适配模块用于完成监控服务器的登陆、掉线状态检测和调取监控服务器下摄像头视频数据送入编码模块的工作；

多媒体编码传输模块将压缩后的视频和音频传回用户，多媒体编码传输模块包括视频编码模块、音频编码模块、音视频同步模块和多媒体传输模块，视频编码模块用于实现对采集的视频数据进行H264标准压缩，音频编码模块用于实现对采集的音频数据进行G.711A-law编码，音视频同步模块用于实现音视频两条独立的数据流在客户端保持同步；

网络传输模块用于实现对压缩后数据进行实时的网络传输；

WEB模块用于实现用户与监控与视频会议整合应用平台的交互，对用户相关权限进行配置，终端用户根据实际需求对平台环境进行配置以及实时查看当前平台运行状态信息。

为使读者清楚本发明所述方案，下面对图1中各功能模块之间的交互关系序号代表的具体含义做如下说明：

101：用户(UA)发送INVITE呼叫消息给SIP代理服务器；

102：SIP代理服务器转接INVITE到UAS(用户代理服务器)模块；

103：UAS模块响应200OK到SIP代理服务器；

104：SIP代理服务器响应200OK到用户；

105：客户端回复ACK消息到UAS(三次握手完成)；

106：UAS调用日志管理模块将呼叫信息写入日志；

107：监控适配模块调用日志管理模块将监控服务器登录状态写入日志；

108：监控适配模块根据呼入编号将对应视频和音频传入多媒体编码传输模块；

109：多媒体编码传输模块将压缩后的视频和音频传回用户；

110：监控适配模块与监控服务器之间的交互；

111：数据管理模块与数据库之间的数据交互；

112：WEB模块与数据库之间的数据交互；

113：通过WEB模块对用户相关权限进行配置。

本发明实施例提供的一种监控与视频会议应用整合平台，实现了音视频的同步以及视频会议和视频监控有效的融合，将每个监控摄像头映射为视频会议中的一个视频终端，当视频会议中需要接入监控图像时，多点处理单元MCU向监控与视频会议整合应用平台发起会话初始化协议SIP呼叫请求，监控与视频会议整合应用平台接受请求并建立呼叫，该平台的部署和使用完全不影响原监控系统和视频会议系统，并能整合用户现有系统实现资源最大化使用。一方面，作为视频监控与视频会议两个系统的中间件，实现了视频监控与视频会议的互联互通；另一方面，该装置利用音视频同步算法，实现了音视频同步。满足了国家安全、应急指挥、数字安检等方面的视频联动需求，实现了快速准确的可视化调度，提高政府各部门突发事件和日常政务处理的应对能力。

对应上述平台，针对网络传输中由于延迟、抖动、网络传输条件变化等因素引起的音视频不同步的问题,本发明实施例还提供一种监控与视频会议应用整合方法，包括以下步骤：

步骤1、从音频缓冲区中获取要播放的音频时间戳，记录时间戳记为A；

步骤2、求得要与该音频对应同步的视频时间戳记为B；

步骤3、从视频缓冲区中获取要播放的当前视频时间戳，记录时间戳记为V；

步骤4、计算S＝|V-B|/ClockB，其中，ClockB为媒体B的RTP时间戳时钟频率；如果S≤100ms，则执行步骤5，如果S>100ms，且V<B，则执行步骤6，如果S>100ms，且V>B，则执行步骤7.

步骤5、播放所述当前视频；

步骤6、丢掉该视频包；

步骤7.重复显示同一帧。

为了更加清楚的说明上述方法的实现过程，本发明提供如下具体实例，过程参照图2.

设：

SR_A：媒体A(假设音频)的发送报告；

NTP_A_SR：SR_A中的NTP时间戳；

RTP_A_SR：SR_A中的RTP时间戳；

SR_B：媒体B(假设视频)的发送报告；

NTP_B_SR：SR_B中的NTP时间戳；

RTP_B_SR：SR_B中的RTP时间戳；

ClockA：媒体A的RTP时间戳时钟频率；

ClockB：媒体B的RTP时间戳时钟频率；

例如，音频G.711为8KHz，视频H.264为90KHz；

则在NTP_{_B_SR}时刻，媒体A的RTP时间戳应为：

RTP_{_A_Btime}＝RTP_{_A_SR}+(NTP_{_B_SR}-NTP_{_A_SR})*ClockA

设在当前时刻A，B的播放RTP时间戳分别为：RTP_{_A_Cur}，RTP_{_B_Cur}，如果媒体间要保持同步，则必须满足以下关系式：

即：

令：

则有关系式：

RTP_{_A-Cur}＝A*RTP_{_B_Cur}+B

此关系式确定了媒体A与媒体B之间的相互关系，采用基于音频时间戳来控制视频播放的策略，从而使音视频同步效果更好。

基于音频时间戳来控制音视频同步策略的基本思想是：

首先执行步骤201，从音频缓冲区中获取要播放的音频时间戳，记录时间戳记为A，若成功则执行“音频解码，加入缓冲队列”步骤202，继续执行“启动音频播放线程”步骤203；

然后执行步骤204，求得要与其对应同步的视频时间戳记为B；再执行步骤205，从视频缓冲区中获取要播放的视频时间戳，记录时间戳记为V；执行步骤206，根据S＝|V-B|/ClockB计算S的数值，执行“判断S及V-B的数值”步骤207，如果满足状态208，即S≤100ms，则执行“启动视频播放线程”步骤209；如果满足状态210，即S>100ms，且V<B，则表明视频慢了，执行“丢掉该视频包”步骤211；如果满足状态212，即S>100ms，且V>B，则表明视频快了，执行“重复显示同一帧”步骤213。

本发明实施例提供的一种监控与视频会议应用整合方法，实现了音视频的同步以及视频会议和视频监控有效的融合，将每个监控摄像头映射为视频会议中的一个视频终端，当视频会议中需要接入监控图像时，多点处理单元MCU向监控与视频会议整合应用平台发起会话初始化协议SIP呼叫请求，监控与视频会议整合应用平台接受请求并建立呼叫，该平台的部署和使用完全不影响原监控系统和视频会议系统，并能整合用户现有系统实现资源最大化使用。一方面，作为视频监控与视频会议两个系统的中间件，实现了视频监控与视频会议的互联互通；另一方面，该装置利用音视频同步算法，实现了音视频同步。满足了国家安全、应急指挥、数字安检等方面的视频联动需求，实现了快速准确的可视化调度，提高政府各部门突发事件和日常政务处理的应对能力。

如上针对一种实施例描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施例中使用，和/或与其它实施例中的特征相结合或替代其它实施例中的特征使用。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤、组件或其组合的存在或附加。

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。

这些实施例的许多特征和优点根据该详细描述是清楚的，因此所附权利要求旨在覆盖这些实施例的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施例限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。

本发明未详细说明部分为本领域技术人员公知技术。

Claims (2)

1.一种监控与视频会议应用整合平台，其特征在于，包括SIP代理服务器、用户代理服务器UAS模块、数据管理模块、日志管理模块、监控适配模块、多媒体编码传输模块、网络传输模块、平台数据库和Web模块；

其中，用户UA发送INVITE呼叫消息给SIP代理服务器，SIP代理服务器转接INVITE到用户代理服务器UAS模块，用户代理服务器UAS模块包括呼叫控制子模块和协议解析子模块，呼叫控制子模块通过对呼入电话编号的解析，选定监控服务器通道以及作出是否应答响应；协议解析子模块解析SDP信息，实现动态配置多媒体信息，UAS模块响应200OK到SIP代理服务器，SIP代理服务器响应200OK到用户；

客户端回复ACK消息到UAS，平台数据库包含每一个授权用户的访问权限、摄像头编号和监控服务器通道的对应关系以及当前呼叫状态内容，数据管理模块用于实现对这些内容的存储、读取与更新操作；

UAS调用日志管理模块将呼叫信息写入日志，日志管理模块主要记录当前呼叫信息、注册信息和监控服务器状态错误信息；

监控适配模块调用日志管理模块将监控服务器登录状态写入日志，根据呼入编号将对应视频和音频传入多媒体编码传输模块，监控适配模块用于完成监控服务器的登陆、掉线状态检测和调取监控服务器下摄像头视频数据送入编码模块的工作；

多媒体编码传输模块将压缩后的视频和音频传回用户，多媒体编码传输模块包括视频编码模块、音频编码模块、音视频同步模块和多媒体传输模块，视频编码模块用于实现对采集的视频数据进行H264标准压缩，音频编码模块用于实现对采集的音频数据进行G.711A-law编码，音视频同步模块用于实现音视频两条独立的数据流在客户端保持同步；

网络传输模块用于实现对压缩后数据进行实时的网络传输；

WEB模块用于实现用户与监控与视频会议整合应用平台的交互，对用户相关权限进行配置，终端用户根据实际需求对平台环境进行配置以及实时查看当前平台运行状态信息。

2.一种监控与视频会议应用整合方法，其特征在于，包括以下步骤：

从音频缓冲区中获取要播放的音频时间戳，记录时间戳记为A；

求得要与该音频对应同步的视频时间戳记为B；

从视频缓冲区中获取要播放的当前视频时间戳，记录时间戳记为V；

计算S＝|V-B|/ClockB，其中，ClockB为媒体B的RTP时间戳时钟频率；

如果S≤100ms，则播放所述当前视频；

如果S>100ms，且V<B，则丢掉该视频包；

如果S>100ms，且V>B，则重复显示同一帧。