CN108282685A - 一种音视频同步的方法及监控系统 - Google Patents

一种音视频同步的方法及监控系统 Download PDF

Info

Publication number
CN108282685A
CN108282685A CN201810006516.5A CN201810006516A CN108282685A CN 108282685 A CN108282685 A CN 108282685A CN 201810006516 A CN201810006516 A CN 201810006516A CN 108282685 A CN108282685 A CN 108282685A
Authority
CN
China
Prior art keywords
audio
video
data
video data
visual synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810006516.5A
Other languages
English (en)
Inventor
周国富
胡远威
易子川
金名亮
白鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Shenzhen Guohua Optoelectronics Co Ltd
Academy of Shenzhen Guohua Optoelectronics
Shenzhen Guohua Optoelectronics Research Institute
Original Assignee
South China Normal University
Shenzhen Guohua Optoelectronics Co Ltd
Shenzhen Guohua Optoelectronics Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University, Shenzhen Guohua Optoelectronics Co Ltd, Shenzhen Guohua Optoelectronics Research Institute filed Critical South China Normal University
Priority to CN201810006516.5A priority Critical patent/CN108282685A/zh
Publication of CN108282685A publication Critical patent/CN108282685A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种音视频同步的方法及监控系统，包括步骤：S1，采集音视频数据；S2，基于实时传输协议RTP传输音视频数据；S3，采用音视频同步技术处理数据。本发明基于实时传输协议RTP，采用音视频数据同步技术解决了现有技术中存在的音视频数据不同步以及音频处理效果不佳问题，能够播放同步的声音和图像数据，使得声音和图像数据更加真实、流畅。

Description

一种音视频同步的方法及监控系统
技术领域
本发明涉及网络监控领域，尤其涉及一种音视频同步的方法及监控系统。
背景技术
MVVM：全称为Model-View-ViewModel，它是一种新型的架构框架。由三部分组成：View，View Model，Model，每一部分有自已的职责。
随着社会的进步，网络监控系统经历了模拟时代、半数字时代、全数字时代三个发展阶段，并且越来越广泛地应用到社会的各个领域。对于现实场景的实时监控，除了图像信息外声音信息也具有非常重要的意义。从安防、教育、司法等行业来看，声音的实时采集监控具有越来越重要的现实意义。目前，国外网络监控系统已经从传统的网络视频监控转向了基于移动终端的移动音视频监控系统，并且监控业务广泛应用于个人用户。基于移动终端的移动音视频监控系统以其出色的灵活性以及信息的全面性将成为网络监控系统发展的一个重要方向。另外，基于iOS平台的苹果iPhone、iPad等手持设备凭借其优越的性能以及用户体验已经成为了智能手机市场上最受用户欢迎的移动设备，iOS内置的音视频处理框架为图像的优化和渲染以及声音播放提供了支持，但是目前的音视频监控系统由于网络延时和设备处理音视频能力不高，音视频数据存在不同步的问题。另外，iOS设备处理流媒体数据比较麻烦，尤其是即时语音部分，音频处理效果不佳。
发明内容
为了解决上述技术问题，本发明的目的是提供一种音视频同步的方法及监控系统。基于实时传输协议RTP，以音频为主媒体，视频为从媒体，接收音视频数据时设置缓冲区，通过比较音视频数据的时间戳判断同步关系，实现音视频数据同步，能够播放同步的声音和图像数据，使得声音和图像数据更加真实、流畅。
一种音视频同步的方法，采用的技术方案是：
S1，采集音视频数据；
S2,基于实时传输协议RTP传输音视频数据；
S3,采用音视频同步技术处理数据；
S3中，音视频同步控制在数据接收端实施；音视频同步技术以音频为主媒体，视频为从媒体，接收音视频数据时设置缓冲区，通过比较音视频数据包的时间戳判断同步关系，实现音视频数据同步。
优选的，S3中，采用队列作为缓冲区，缓存音视频数据；
优选的，S3中，对于音频缓存，使用iOS系统提供的AudioQueue框架的队列处理音频数据；
优选的，S3中，音频队列的长度至少为3；
优选的，S3中，音视频数据的时间差在允许范围内，则认为音视频同步；否则认为音视频不同步，丢弃视频帧；
优选的，采用H264硬编解码技术处理音视频数据。
一种音视频同步的监控系统，采用的技术方案是：
包括设备端、服务器端和客户端，设备端通过互联网和防火墙与服务器端连接，客户端通过WiFi或4G或4G+网络与路由器连接，路由器通过互联网与服务端连接；
所述设备端采集音视频数据，并将音视频数据压缩编码、打包后通过互联网发送到服务器端；
所述服务器端包括流媒体服务器和SIP信令服务器，流媒体服务器将设备端采集到的音视频数据通过互联网和WiFi或4G或4G+网络转发到客户端，SIP信令服务器负责转发系统中的信令消息，同时负责管理客户端中各个终端设备，流媒体服务器通过ICE与SIP服务器进行通信；
所述客户端包括终端设备以及音视频监控子系统，终端设备包括智能手机或平板电脑或台式机，音视频监控子系统包括用户界面模块、数据接收模块、数据同步模块以及数据解码播放模块；
所述用户界面模块包括用户登录界面、设备列表界面、多画面视频显示界面以及iOS系统特有的手势操作界面；
优选的，音视频监控子系统采用MVVM模式进行设计。
本发明的有益效果是：
本发明基于实时传输协议RTP，采用音视频数据同步技术解决了现有技术中存在的音视频数据不同步以及音频处理效果不佳问题，能够播放同步的声音和图像数据，使得声音和图像数据更加真实、流畅。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明：
图1是音视频同步方法流程图。
图2是音视频监控系统结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1所示，一种音视频同步方法的具体实施方式如下：
1、采用摄像头等监控设备采集环境中的音视频数据，并记录视频的系统时间T1和音频的系统时间T2，保存在变量中。
2、基于实时传输协议RTP传输音视频数据。RTP协议是基于传输层UDP协议实现数据传输，它是一种面向无连接的数据传输，RTP协议的实时性特点很好地满足了流媒体数据对传输的实时性要求，解决了流媒体中对语音数据处理效果不好的问题。RTP协议数据包中包含数据类型、序列号、时间戳和同步源标识等字段，这些字段为检测数据丢失以及实现数据流同步提供了有力的支持。
3、数据接收端接收到音视频数据后，先将数据解压，然后采用音视频同步技术处理音视频数据，即以音频为主媒体，视频为从媒体，将音视频数据分别放入音频数据缓存队列和视频数据缓存队列，通过比较判断音视频数据的时间差(T1-T2)是否在允许范围内，是则认为音视频同步，接收音视频数据；否则认为音视频不同步，丢弃视频帧，只接收音频数据。
特别地，对于音频缓存，使用iOS系统提供的AudioQueue框架的队列处理音频数据。首先为队列分配缓存空间，然后通过回调(Callback)函数实现向队列缓存音频数据的功能。一个记录音频队列Recording Audio Queue，包括Buffer(缓冲器)组成的BufferQueue(缓冲队列)，以及一个Callback(回调)函数。实现主要步骤为：1.设置音频的参数；2.准备并启动声音采集的音频队列；3.在回调函数中处理采集到的音频Buffer，将其暂存在一个字节Byte数组里，提供给播放端使用。音频数据及其描述信息保存到存储单元后，再将其加入到音频队列中，音频队列的长度至少为3，这样能够保证队列中一个buffer在写数据，同时另一个buffer更新数据，第三个buffer在网络速度变慢时将新的数据加入到队列中。这种多个队列的设计方式简单灵活，处理效率高，能够解决由于网络延时和设备处理音视频能力不高，音视频数据存在不同步的问题，达到音视频数据同步显示的效果。
4、采用H264硬编解码技术对音视频数据解码。H264硬编解码技术是基于iOS系统的一种编解码技术，它提供了Video Toolbox框架，其中包括编码和解码的接口API。使用时，先将VideoToolbox.framework添加到开发工程里，然后在使用API的文件中添加头文件#include<VideoToolbox/VideoToolbox.h>，最后使用AVSampleBufferDisplayLayer接口方法对音视频数据解码。采用硬编解码技术与软编解码技术相比，硬编解码技术不占用系统CPU资源，编解码效率高。
如图2所示，一种音视频监控系统的具体实施方式如下：
一种音视频监控系统包括设备端、服务器端和客户端三部分，设备端通过互联网和防火墙与服务器端连接，客户端通过WiFi或4G或4G+网络与路由器连接，路由器通过互联网与服务端连接。
设备端采集音视频数据，并将音视频数据压缩编码、打包后通过互联网发送到服务器端。
服务器端包括流媒体服务器和SIP信令服务器，流媒体服务器将设备端采集到的音视频数据通过互联网和WiFi或4G或4G+网络转发到客户端，SIP信令服务器负责转发系统中的信令消息，同时负责管理客户端中各个终端设备，流媒体服务器通过ICE与SIP服务器进行通信。
客户端包括终端设备以及音视频监控子系统，终端设备包括智能手机或平板电脑或台式机，音视频监控子系统包括用户界面模块、数据接收模块、数据同步模块以及数据解码播放模块。
用户界面模块包括用户登录界面、设备列表界面、多画面视频显示界面以及iOS系统特有的手势操作界面。
音视频监控子系统采用MVVM模式进行设计。MVVM模式衍生于MVC模式，它是对MVC的一种演进，促进了UI代码与业务逻辑的分离。它正式规范了视图和控制器紧耦合的性质，并引入新的组件。在iOS架构层面，对于网络层跟业务对接部分的设计问题，其实是以什么方式将数据交互给业务层以及交付什么的数据给业务层。当App端从网络层在拿到JSON数据之后，会将数据转变成对应的对象原型，这样做能够提高后续代码的可读性，但这部分转化过程的成本很高，特别是在MVVM这种数据双向绑定的模式下。
为了保证系统的可移植性和可扩展性，本发明在软件网络层数据交付这部分进行了封装。本发明设计了一个专门用来处理数据转变成对应的对象原型的类，该类遵循的一个代理，分别对应着几个模式，用来处理不用的数据情况，比如当一个API数据被多个view使用的时候，根据不同的view的使用需要，对应使用不同的模式；当一个view处理多个API时，此时多个API返回的数据即使不一致，也可以使用标准化模式来输出，实现了代码的复用。这样做不仅提高了代码的灵活性，而且将业务逻辑从控制器中分离出来，减轻了控制器的负担，极大提高系统的维护性。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种音视频同步的方法，其特征在于，其包括步骤：
S1，采集音视频数据；
S2,基于实时传输协议RTP传输音视频数据；
S3,采用音视频同步技术处理数据；
S3中，音视频同步控制在数据接收端实施；音视频同步技术以音频为主媒体，视频为从媒体，接收音视频数据时设置缓冲区，通过比较音视频数据包的时间戳判断同步关系，实现音视频数据同步。
2.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，采用队列作为缓冲区，缓存音视频数据。
3.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，对于音频缓存，使用iOS系统提供的AudioQueue框架的队列处理音频数据。
4.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，音频队列的长度至少为3。
5.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，音视频数据的时间差在允许范围内，则认为音视频同步；否则认为音视频不同步，丢弃视频帧。
6.根据权利要求1所述的一种音视频同步的方法，其特征在于，所述步骤S3中，采用H264硬编解码技术处理音视频数据。
7.一种音视频同步的监控系统，其特征在于，包括设备端、服务器端和客户端，所述设备端通过互联网和防火墙与服务器端连接，所述客户端通过WiFi或4G或4G+网络与路由器连接，所述路由器通过互联网与服务端连接；
所述设备端采集音视频数据，并将音视频数据压缩编码、打包后通过互联网发送到服务器端；
所述服务器端包括流媒体服务器和SIP信令服务器，流媒体服务器将设备端采集到的音视频数据通过互联网和WiFi或4G或4G+网络转发到客户端，SIP信令服务器负责转发系统中的信令消息，同时负责管理客户端中各个终端设备，流媒体服务器通过ICE与SIP服务器进行通信；
所述客户端包括终端设备以及音视频监控子系统，终端设备包括智能手机或平板电脑或台式机，音视频监控子系统包括用户界面模块、数据接收模块、数据同步模块以及数据解码播放模块；
所述用户界面模块包括用户登录界面、设备列表界面、多画面视频显示界面以及iOS系统特有的手势操作界面。
8.根据权利要求7所述的一种音视频同步的监控系统，其特征在于，所述音视频监控子系统采用MVVM模式进行设计。
CN201810006516.5A 2018-01-04 2018-01-04 一种音视频同步的方法及监控系统 Pending CN108282685A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810006516.5A CN108282685A (zh) 2018-01-04 2018-01-04 一种音视频同步的方法及监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810006516.5A CN108282685A (zh) 2018-01-04 2018-01-04 一种音视频同步的方法及监控系统

Publications (1)

Publication Number Publication Date
CN108282685A true CN108282685A (zh) 2018-07-13

Family

ID=62803138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810006516.5A Pending CN108282685A (zh) 2018-01-04 2018-01-04 一种音视频同步的方法及监控系统

Country Status (1)

Country Link
CN (1) CN108282685A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361671A (zh) * 2018-10-23 2019-02-19 华南理工大学 一种基于sip协议的流媒体传输架构方法
CN109600564A (zh) * 2018-08-01 2019-04-09 北京微播视界科技有限公司 用于确定时间戳的方法和装置
CN109743528A (zh) * 2018-12-29 2019-05-10 广州市保伦电子有限公司 一种视频会议的音频采集与播放优化方法、装置及介质
CN113784073A (zh) * 2021-09-28 2021-12-10 深圳万兴软件有限公司 一种录音录像声音和画面同步方法、装置及相关介质
CN114339326A (zh) * 2021-12-10 2022-04-12 北京拼响天空文化科技有限公司 基于视频播放的声画同步方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547239A (zh) * 2011-12-29 2012-07-04 浙江工业大学 基于Android移动终端的视频监控系统
CN103475633A (zh) * 2012-08-06 2013-12-25 苏州沃通信息科技有限公司 语音及视频通信引擎及基于此引擎的可扩展通信服务框架
CN103546662A (zh) * 2013-09-23 2014-01-29 浙江工业大学 一种网络监控系统中音视频同步方法
CN104144316A (zh) * 2013-05-06 2014-11-12 南京理工大学连云港研究院 基于流媒体技术的车载移动视频监控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547239A (zh) * 2011-12-29 2012-07-04 浙江工业大学 基于Android移动终端的视频监控系统
CN103475633A (zh) * 2012-08-06 2013-12-25 苏州沃通信息科技有限公司 语音及视频通信引擎及基于此引擎的可扩展通信服务框架
CN104144316A (zh) * 2013-05-06 2014-11-12 南京理工大学连云港研究院 基于流媒体技术的车载移动视频监控系统
CN103546662A (zh) * 2013-09-23 2014-01-29 浙江工业大学 一种网络监控系统中音视频同步方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600564A (zh) * 2018-08-01 2019-04-09 北京微播视界科技有限公司 用于确定时间戳的方法和装置
CN109600564B (zh) * 2018-08-01 2020-06-02 北京微播视界科技有限公司 用于确定时间戳的方法和装置
CN109361671A (zh) * 2018-10-23 2019-02-19 华南理工大学 一种基于sip协议的流媒体传输架构方法
CN109743528A (zh) * 2018-12-29 2019-05-10 广州市保伦电子有限公司 一种视频会议的音频采集与播放优化方法、装置及介质
CN113784073A (zh) * 2021-09-28 2021-12-10 深圳万兴软件有限公司 一种录音录像声音和画面同步方法、装置及相关介质
CN114339326A (zh) * 2021-12-10 2022-04-12 北京拼响天空文化科技有限公司 基于视频播放的声画同步方法、装置和系统
CN114339326B (zh) * 2021-12-10 2023-06-27 北京拼响天空文化科技有限公司 基于视频播放的声画同步方法、装置和系统

Similar Documents

Publication Publication Date Title
CN113423018B (zh) 一种游戏数据处理方法、装置及存储介质
CN108282685A (zh) 一种音视频同步的方法及监控系统
CN102075728B (zh) 一种共享音频和/或视频的方法及系统
CN107846633B (zh) 一种直播方法及系统
CN102752667B (zh) 一种多流流媒体直播互动系统及直播互动方法
CN109889543B (zh) 视频传输的方法、根节点、子节点、p2p服务器和系统
CN103237191B (zh) 在视频会议中同步推送音视频的方法
US20170311006A1 (en) Method, system and server for live streaming audio-video file
CN108055496B (zh) 一种视频会议的直播方法和系统
US9172979B2 (en) Experience or “sentio” codecs, and methods and systems for improving QoE and encoding based on QoE experiences
CN106488265A (zh) 一种发送媒体流的方法和装置
JP2002344880A (ja) コンテンツ配信システム
CN110062268A (zh) 一种音视频同屏播放的发送和接收处理方法及装置
CN103329521A (zh) 用于暂停视频流传送内容的方法、设备和计算机程序产品
CN105357545A (zh) 基于流媒体方式的无线同屏方法及装置
CN114554277B (zh) 多媒体的处理方法、装置、服务器及计算机可读存储介质
CN104363511B (zh) 一种在移动设备中在线播放F4v视频的方法及系统
CN112616065A (zh) 一种屏幕镜像发起方法、装置、计算机设备、可读存储介质及屏幕镜像呈现系统
CN110996122A (zh) 视频帧传输方法、装置、计算机设备及存储介质
KR101701742B1 (ko) 이동통신 단말기 간 실시간 스트리밍을 위한 장치 및 방법
CN105897687A (zh) 一种传输数据的方法和设备
CN110413240A (zh) 一种交互式会议系统及多终端设备同屏显示的方法
CN101540871B (zh) 基于电路域可视电话同步录制对端声音图像的方法和终端
CN112073727B (zh) 转码方法、装置、电子设备及存储介质
CN113055636B (zh) 一种数据处理方法及会议系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180713

RJ01 Rejection of invention patent application after publication