CN103369305A

CN103369305A - 实现视频监控系统中语音对讲同步录音及回放的方法

Info

Publication number: CN103369305A
Application number: CN2013102638309A
Authority: CN
Inventors: 杨波; 李昭
Original assignee: Wuhan Fiberhome Digtal Technology Co Ltd
Current assignee: Wuhan Fiberhome Digtal Technology Co Ltd
Priority date: 2013-06-28
Filing date: 2013-06-28
Publication date: 2013-10-23
Anticipated expiration: 2033-06-28
Also published as: CN103369305B

Abstract

本发明公开了一种实现视频监控系统中语音对讲同步录音及回放的方法，涉及安防领域。本方法的实现步骤是：实时双向语音对讲；语音对讲同步录音；语音对讲录音回放。本发明实现了视频监控系统中语音对讲实时同步录音；优化了语音对讲双向音频流合成；实现了语音对讲录音数据回放；适用于金融行业、司法行业、平安城市或平安校园等需要应急求助的场合，建立了简单有效的及时沟通方案，能应对各种突发事件并用于事后相关取证。

Description

实现视频监控系统中语音对讲同步录音及回放的方法

技术领域

本发明涉及安防领域，尤其涉及一种实现视频监控系统中语音对讲同步录音及回放的方法。

背景技术

目前我国的视频监控应用非常普遍，在大型视频监控系统中，语音对讲功能是该系统的一个重要功能，它能实现监控客户端和监控前端之间的语音通话功能，在之上可以扩充各类应用，如移动单兵移动对讲、城市便民告警等，是视频监控系统的重要组成部分，目前语音对讲已广泛的应用在视频监控系统中，实现方式为发起语音对讲时建立监控客户端和前端摄像头之间的双向语音流，该方式不经过平台转发，所以不能对对语音对讲双向语音进行同步录音存储，给事后取证带来的麻烦，目前对语音对讲进行同步录音以保留相关音频证据，便于事后追溯是视频监控系统中的一个重要的需求，但是目前市场上在这方面尚是空白。

发明内容

本发明的目的就在于弥补现有视频监控系统中语音对讲不能实现双向同步录音的缺陷，提出一种实现视频监控系统中语音对讲同步录音及回放的方法，其主要包括建立基于媒体分发单元的双向语音对讲媒体传输链路，双向音频流的合成和存储，以及通过录制时间、用户名、摄像机设备ID对录音文件进行标记和检索，并通过实时流传输协议实现录音文件的回放。

本发明是这样实现的：

一、视频监控系统

视频监控系统包括前端摄像机、视频监控平台、视频监控客户端；

前端摄像机、视频监控平台和视频监控客户端依次连接。

二、语音对讲同步录音及回放的方法

本方法基于上述的视频监控系统，包括下列步骤：

第1步骤、实时双向语音对讲

当监控客户端发起语音对讲请求时，中心管理单元建立起基于媒体分发单元的双向语音链路，包括监控客户端与媒体分发单元之间和媒体分发单元与前端摄像机之间的双向语音链路；监控客户端采集音频数据并通过媒体分发单元转发到前端摄像机，前端摄像机收到音频数据并播放音频数据，同时前端摄像机采集音频数据并通过媒体分发单元转发到监控客户端，监控客户端收到音频数据并播放音频数据，实现双向语音对讲；

监控客户端和前端摄像机采集G.711格式的语音数据，采样频率为M，采集的第N个音频包时戳ts=（G.711采用率/采样频率M）×（N-1），N为自然数；

第2步骤、语音对讲同步录音

当实时双向语音对讲建立后，媒体分发单元同时将两路语音对讲音频流转发到媒体存储单元，媒体存储单元收到两路音频流，将时戳相同的音频包合成为一个混音包，将合成的混音包写入存储设备，实现语音对讲同步录音。

第3步骤、语音对讲录音回放

监控客户端通过录制时间、用户名、摄像机设备ID条件查询到对应的录音文件并发起录音数据回放请求，通过实时流传输协议建立监控客户端和媒体回放单元的媒体传输链路，媒体回放单元读取存储设备中的录音包发送给监控客户端，监控客户端对录音数据进行解码播放。

本发明具有下列优点和积极效果：

①实现了视频监控系统中语音对讲实时同步录音；

②优化了语音对讲双向音频流合成；

③实现了语音对讲录音数据回放；

④适用于金融行业、司法行业、平安城市或平安校园等需要应急求助的场合，建立了简单有效的及时沟通方案，能应对各种突发事件并用于事后相关取证。

附图说明

图1是视频监控系统的结构方框图；

图2是实时双向语音对讲工作流程图；

图3是语音同步对讲录音工作流程图；

图4是混音流生成流程图；

图5是语音对讲录音回放工作流程图。

其中：

10—前端摄像机，

11—第1摄像机，12—第2摄像机……，1N—第N摄像机，

N为自然数，N ≤100000；

20—视频监控平台，

21—中心管理单元，22—媒体分发单元，23—媒体存储单元，

24—回放服务单元，25—存储设备；

30—监控客户端30。

英译汉：

1、RTSP：实时流传输协议；

2、DESCRIBE：RTSP协议中的一种媒体描述方法；

3、PLAY：RTSP协议中的一种请求播放方法；

4、RTP：实时传送协议；

5、SIP：信令控制协议；

6、INVITE：SIP信令中的一种媒体呼叫方法；

7、ACK：SIP信令中的一种消息确认方法；

7、SDP：会话描述协议；

8、IP SAN：存储区域网。

具体实施方式

下面结合附图和实施例详细说明：

一、视频监控系统

1、总体

如图1，视频监控系统包括前端摄像机10、视频监控平台20、视频监控客户端30；

前端摄像机10、视频监控平台20和视频监控客户端30依次连接。

工作原理：

前端摄像机10通过SIP信令接入到视频监控平台20，视频监控平台20通过SIP信令实现对前端摄像机10的控制；监控客户端30通过SIP信令接入到视频监控平台20，视频监控平台20通过转发监控客户端30的控制信令实现监控客户端30对前端摄像机10的控制。

2、功能模块

1）前端摄像机10

前端摄像机10指网络摄像机，包括第1摄像机11、第2摄像机12……第N摄像机1N，N是自然数，N≤100000；

其功能为音视频数据采集和传输；

2）视频监控平台20

其硬件设置是X86架构的服务器和存储设备。

其软件由中心管理单元21、媒体分发单元22、媒体存储单元23、媒体回放单元24组成；

媒体分发单元22、媒体存储单元23和媒体回放单元24通过SIP信令接入中心管理单元21，媒体分发单元22将媒体数据分到媒体存储单元23，存储设备25挂载在媒体存储单元23下，媒体存储单元将接收到的媒体数据写入存储设备25中，媒体回放单元24读取存储设备25中的媒体数据发送到监控客户端30。

视频监控平台20功能包括前端摄像机10和监控客户端30的接入、设备控制、信令的转发以及流媒体的存储和分发。

（1）中心管理单元21

中心管理单元21是视频监控平台20中信令控制模块，用于语音对讲媒体流链路的建立，包括建立和释放监控客户端30与媒体分发单元22之间和媒体分发单元22和前端摄像机10之间的双向语音链路，还包括媒体分发单元22和媒体存储单元23之间的语音链路；

（2）媒体分发单元22

媒体分发单元22是视频监控平台20中音视频流分发模块，其将对讲音频流转发到前端摄像机10、客户端30以及媒体存储单元23；

（3）媒体存储单元23

媒体存储单元23是视频监控平台20中音视频存储模块，其将对双向音频流进行音频合成和存储；

（4）媒体回放模块24

媒体回放模块24是媒体回放模块24中提供音视频回放的模块，其支持RTSP对语音对讲录音数据进行回放；

（5）存储设备25

存储设备25指存储介质，如IP SAN等存储设备。

3）监控客户端30

监控客户端30功能包括音视频的播放、前端摄像机10的控制和音频数据的采集。

二、方法

1、实时语音对讲工作流程

如图2，本工作流程是：

①监控客户端30初始化语音采集模块和语音播放模块，同时向中心管理单元21发送INVITE消息，消息体中携带SDP消息，携带监控客户端30的音频流接收和发送的IP、端口信息-211；

②中心管理单元22收到监控客户端30的语音对讲INVITE请求后，修改SDP消息体中的音频流接收和发送的IP、端口信息为媒体分发单元22与前端摄像机对应的接收和发送的IP、端口信息，然后向前端摄像机10转发修改后的语音对讲INVITE请求-212；

③前端摄像机10收到中心管理单元21的语音对讲INVITE请求后，初始化语音采集模块和语音播放模块，同时向中心管理单元21回复200 OK响应，消息体中携带SDP消息，表明前端摄像机10的音频流接收和发送的IP、端口信息 -213；

④中心管理单元21收到前端摄像机10的响应消息后，向媒体分发单元22发送通知媒体分发单元22与监控客户端30对应的音频流接收和发送的IP、端口的控制消息，使媒体分发单元22开始接收来自监控客户端30的音频流，并向前端摄像机10转发-214；

⑤中心管理单元向媒体分发单元22发送通知媒体分发单元22与前端摄像机10对应的音频流接收和发送的IP、端口的控制消息，使媒体分发单元22开始接收来自前端摄像机10的音频流，并向监控客户端30转发-215；

⑥中心管理单元21向前端摄像机10发送ACK消息确认会话建立-216；

⑦媒体分发单元22收到中心管理单元21的通知媒体分发单元22与监控客户端30对应的音频流接收和发送的IP、端口的控制消息并处理完毕后向中心管理单元21回复响应消息-217；

⑧媒体分发单元22收到中心管理单元21的通知媒体分发单元22与前端摄像机10对应的音频流接收和发送的IP、端口的控制消息并处理完毕后向中心管理单元21回复响应消息-218；

⑨中心管理单元21收到响应消息后，修改前端摄像机10 200 OK响应消息中SDP消息体的音频流接收和发送的IP、端口为媒体分发单元22与监控客户端30对应的接收和发送的IP、端口，向监控客户端30回复200 OK响应-219；

⑩监控客户端30收到中心管理单元21的响应消息后，向中心管理单元21发送ACK确认会话建立，至此监控客户端30与前端摄像机10的媒体链路建立成功，监控客户端30和前端摄像机10分别采集编码后的G.711音频数据，封装为标准RTP包进行传输，监控客户端30和前端摄像机10采集到的第N个音频数据包的时戳 ts=（G.711的采样率/采样频率）*（N-1），N为自然数-220。

2、语音对讲同步录音工作流程

如图3，本工作流程是：

A、中心管理单元21向媒体存储单元23发送语音对讲录音请求消息，携带对讲双方的标识信息-311；

B、媒体存储单元23收到请求后向中心管理单元21发送回复消息-312；

C、媒体存储单元23针对对讲双方中的监控客户端30向中心管理单元21发起录音存储的INVITE请求，消息体中携带SDP消息，分别表明媒体存储单元23针对客户端30的音频流的接收IP和端口，同时初始化存储模块准备接受音频流数据-313；

D、媒体存储单元23针对对讲双方中的前端摄像机10向中心管理单元21发起录音存储的INVITE请求，消息体中携带SDP消息，分别表明媒体存储单元23针对前端摄像机10的音频流的接收IP和端口，同时初始化存储模块准备接受音频流数据-314；

E、中心管理单元21收到针对对讲双方中的监控客户端30的录音存储INVITE请求后，将实时语音对讲建立过程中监控客户端30 INVITE请求消息的SDP消息体中的音频流发送的IP和端口信息，修改为媒体分发单元22与媒体存储单元23对应的发送的IP和端口信息，然后向媒体存储单元23回复200 OK响应-315；

F、中心管理单元21收到针对对讲双方中的前端摄像机10的录音存储INVITE请求后，将实时语音对讲建立过程中前端摄像机10的200 OK回复消息的SDP消息体中的音频流发送的IP和端口信息，修改为媒体分发单元22与媒体存储单元23对应的发送的IP和端口信息，然后向媒体存储单元23回复200 OK响应-316；

G、媒体存储单元23收到针对对讲双方中的监控客户端30的录音存储INVITE请求的200 OK响应时向中心管理单元21发送ACK请求确认会话建立，开始接受来自监控客户端30的音频流-317；

H、媒体存储单元23收到针对对讲双方中的前端摄像机10的录音存储INVITE请求的200 OK响应时向中心管理单元21发送ACK请求确认会话建立，开始接受来自前端摄像机10的音频流-318；

I、中心管理单元21向媒体分发单元22发送控制消息，通知媒体分发单元22其与媒体存储单元23对应的音频流发送IP和端口信息，使媒体分发单元22开始向媒体存储单元23转发来自监控客户端30的对讲音频流-319；

J、媒体分发单元22收到中心管理单元21的控制消息后，向中心管理单元21发送200 OK响应-320；

K、中心管理单元21向媒体分发单元22发送控制消息，通知媒体分发单元22其与媒体存储单元23对应的音频流发送IP和端口信息，使媒体分发单元22开始向媒体存储单元23转发来自前端摄像机10的对讲音频流-321；

L、媒体分发单元22收到中心管理单元21的控制消息后，向中心管理单元21发送200 OK响应-322；

M、媒体存储模块将接收到的双向音频数据流中时戳相同的两个音频包合成一个混音包，生成语音对讲混音流；

如图4，生成语音对讲混音流的工作流程是：

a、从视频监控平台获取单通道16位量化的两路音频，获取时戳相同的音频包音频数据src1和src2-41；

b、算出每一路音频对应的音频量化值v1及v2-42；

c、每一路音频的第一个字节数据v1及v2，解码时通过index查表得short int类型16位量化值v1’及v2’ -43；

d、混音数据val =0.8*（v1’+ v2’）-44，

若val>32767，取val=32767-45；

若val<- 32768，取val=-32768-46；

e、将16位val按g711编码算法得到8位v’值，即为新包数据-47；

f、取src1和src2后续字节数据，重复上述步骤，完成语音对讲流合成-48；

N、将媒体存储单元23将生产的混音流写入存储设备25，完成语音对讲的录音-323。

3、语音对讲录音回放流程

如图5，本工作流程是：

ⅰ、监控客户端30和媒体回放单元建立RTSP连接，监控客户端30发送DESCRIBE请求消息，表明要播放的录音文件的标识信息-511；

ⅱ、媒体回放单元收到请求消息后查找该录音文件，并回复200 OK响应，携带SDP消息表明该录音文件中语音对讲录音音频流的相关信息-512；

ⅲ、监控客户端30发送SETUP请求消息-513；

ⅳ、媒体回放单元收到请求消息后回复200 OK响应-514；

ⅴ、监控客户端30发送PLAY请求消息，表明启动音频流传输-515；

ⅵ、媒体回放单元收到请求消息后回复200 OK响应，使用前述步骤中与监控客户端30约定的传输方式开始向监控客户端30发送音频流-516。

Claims

1.一种实现视频监控系统中语音对讲同步录音及回放的方法，其特征在于：

第1步骤、实时双向语音对讲

第2步骤、语音对讲同步录音

当实时双向语音对讲建立后，媒体分发单元同时将两路语音对讲音频流转发到媒体存储单元，媒体存储单元收到两路音频流，将时戳相同的音频包合成为一个混音包，将合成的混音包写入存储设备，实现语音对讲同步录音；

第3步骤、语音对讲录音回放

2.按权利要求1所述的语音对讲同步录音及回放的方法，其特征在于：

所述的第1步骤、实时双向语音对讲是：

①监控客户端（30）初始化语音采集模块和语音播放模块，同时向中心管理单元（21）发送INVITE消息，消息体中携带SDP消息，携带监控客户端（30）的音频流接收和发送的IP、端口信息（211）；

②中心管理单元（22）收到监控客户端（30）的语音对讲INVITE请求后，修改SDP消息体中的音频流接收和发送的IP、端口信息为媒体分发单元（22）与前端摄像机对应的接收和发送的IP、端口信息，然后向前端摄像机（10）转发修改后的语音对讲INVITE请求（212）；

③前端摄像机（10）收到中心管理单元（21）的语音对讲INVITE请求后，初始化语音采集模块和语音播放模块，同时向中心管理单元（21）回复200 OK响应，消息体中携带SDP消息，表明前端摄像机（10）的音频流接收和发送的IP、端口信息（213）；

④中心管理单元（21）收到前端摄像机（10）的响应消息后，向媒体分发单元（22）发送通知媒体分发单元（22）与监控客户端（30）对应的音频流接收和发送的IP、端口的控制消息，使媒体分发单元（22）开始接收来自监控客户端（30）的音频流，并向前端摄像机（10）转发（214）；

⑤中心管理单元向媒体分发单元（22）发送通知媒体分发单元（22）与前端摄像机（10）对应的音频流接收和发送的IP、端口的控制消息，使媒体分发单元（22）开始接收来自前端摄像机（10）的音频流，并向监控客户端（30）转发（215）；

⑥中心管理单元（21）向前端摄像机（10）发送ACK消息确认会话建立（216）；

⑦媒体分发单元（22）收到中心管理单元（21）的通知媒体分发单元（22）与监控客户端（30）对应的音频流接收和发送的IP、端口的控制消息并处理完毕后向中心管理单元（21）回复响应消息（217）；

⑧媒体分发单元（22）收到中心管理单元（21）的通知媒体分发单元（22）与前端摄像机（10）对应的音频流接收和发送的IP、端口的控制消息并处理完毕后向中心管理单元（21）回复响应消息（218）；

⑨中心管理单元（21）收到响应消息后，修改前端摄像机（10） 200 OK响应消息中SDP消息体的音频流接收和发送的IP、端口为媒体分发单元（22）与监控客户端（30）对应的接收和发送的IP、端口，向监控客户端（30）回复200 OK响应（219）；

⑩监控客户端（30）收到中心管理单元（21）的响应消息后，向中心管理单元（21）发送ACK确认会话建立，至此监控客户端（30）与前端摄像机（10）的媒体链路建立成功，监控客户端（30）和前端摄像机（10）分别采集编码后的G.711音频数据，封装为标准RTP包进行传输，监控客户端（30）和前端摄像机（10）采集到的第N个音频数据包的时戳 ts=（G.711的采样率/采样频率）*（N-1），N为自然数（220）。

3.按权利要求1所述的语音对讲同步录音及回放的方法，其特征在于：

所述的第2步骤、语音对讲同步录音是：

A、中心管理单元（21）向媒体存储单元（23）发送语音对讲录音请求消息，携带对讲双方的标识信息（311）；

B、媒体存储单元（23）收到请求后向中心管理单元（21）发送回复消息（312）；

C、媒体存储单元（23）针对对讲双方中的监控客户端（30）向中心管理单元（21）发起录音存储的INVITE请求，消息体中携带SDP消息，分别表明媒体存储单元（23）针对客户端（30）的音频流的接收IP和端口，同时初始化存储模块准备接受音频流数据（313）；

D、媒体存储单元（23）针对对讲双方中的前端摄像机（10）向中心管理单元（21）发起录音存储的INVITE请求，消息体中携带SDP消息，分别表明媒体存储单元（23）针对前端摄像机（10）的音频流的接收IP和端口，同时初始化存储模块准备接受音频流数据（314）；

E、中心管理单元（21）收到针对对讲双方中的监控客户端（30）的录音存储INVITE请求后，将实时语音对讲建立过程中监控客户端（30） INVITE请求消息的SDP消息体中的音频流发送的IP和端口信息，修改为媒体分发单元（22）与媒体存储单元（23）对应的发送的IP和端口信息，然后向媒体存储单元（23）回复200 OK响应（315）；

F、中心管理单元（21）收到针对对讲双方中的前端摄像机（10）的录音存储INVITE请求后，将实时语音对讲建立过程中前端摄像机（10）的200 OK回复消息的SDP消息体中的音频流发送的IP和端口信息，修改为媒体分发单元（22）与媒体存储单元（23）对应的发送的IP和端口信息，然后向媒体存储单元（23）回复200 OK响应（316）；

G、媒体存储单元（23）收到针对对讲双方中的监控客户端（30）的录音存储INVITE请求的200 OK响应时向中心管理单元（21）发送ACK请求确认会话建立，开始接受来自监控客户端（30）的音频流（317）；

H、媒体存储单元（23）收到针对对讲双方中的前端摄像机（10）的录音存储INVITE请求的200 OK响应时向中心管理单元（21）发送ACK请求确认会话建立，开始接受来自前端摄像机（10）的音频流（318）；

I、中心管理单元（21）向媒体分发单元（22）发送控制消息，通知媒体分发单元（22）其与媒体存储单元（23）对应的音频流发送IP和端口信息，使媒体分发单元（22）开始向媒体存储单元（23）转发来自监控客户端（30）的对讲音频流（319）；

J、媒体分发单元（22）收到中心管理单元（21）的控制消息后，向中心管理单元（21）发送200 OK响应（320）；

K、中心管理单元（21）向媒体分发单元（22）发送控制消息，通知媒体分发单元（22）其与媒体存储单元（23）对应的音频流发送IP和端口信息，使媒体分发单元（22）开始向媒体存储单元（23）转发来自前端摄像机（10）的对讲音频流（321）；

L、媒体分发单元（22）收到中心管理单元（21）的控制消息后，向中心管理单元（21）发送200 OK响应（322）；

所述的生成语音对讲混音流是：

a、从视频监控平台获取单通道16位量化的两路音频，获取时戳相同的音频包音频数据src1和src2（41）；

b、算出每一路音频对应的音频量化值v1及v2（42）；

c、每一路音频的第一个字节数据v1及v2，解码时通过index查表得short int类型16位量化值v1’及v2’（43）；

d、混音数据val =0.8*（v1’+ v2’）（44），

若val>32767，取val=32767（45）；

若val<- 32768，取val=-32768（46）；

e、将16位val按g711编码算法得到8位v’值，即为新包数据（47）；

f、取src1和src2后续字节数据，重复上述步骤，完成语音对讲流合成（48）；

N、将媒体存储单元（23）将生产的混音流写入存储设备（25），完成语音对讲的录音（323）。

4.按权利要求1所述的语音对讲同步录音及回放的方法，其特征在于：

所述的第3步骤、语音对讲录音回放是：

ⅰ、监控客户端（30）和媒体回放单元（24）建立RTSP连接，监控客户端（30）发送DESCRIBE请求消息，表明要播放的录音文件的标识信息（511）；

ⅱ、媒体回放单元（24）收到请求消息后查找该录音文件，并回复200 OK响应，携带SDP消息表明该录音文件中语音对讲录音音频流的相关信息（512）；

ⅲ、监控客户端（30）发送SETUP请求消息（513）；

ⅳ、媒体回放单元（24）收到请求消息后回复200 OK响应（514）；

ⅴ、监控客户端（30）发送PLAY请求消息，表明启动音频流传输（515）；

ⅵ、媒体回放单元（24）收到请求消息后回复200 OK响应，使用前述步骤中与监控客户端（30）约定的传输方式开始向监控客户端（30）发送音频流（516）。