CN102547243B - 基于3g网络的音视频远程监控方法及系统 - Google Patents

基于3g网络的音视频远程监控方法及系统 Download PDF

Info

Publication number
CN102547243B
CN102547243B CN201210014022.4A CN201210014022A CN102547243B CN 102547243 B CN102547243 B CN 102547243B CN 201210014022 A CN201210014022 A CN 201210014022A CN 102547243 B CN102547243 B CN 102547243B
Authority
CN
China
Prior art keywords
video
value
module
built
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210014022.4A
Other languages
English (en)
Other versions
CN102547243A (zh
Inventor
张亮
沈沛意
董洛兵
李博
曹冰
黄威
周梦
王剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou purevision Technology Co.,Ltd.
Original Assignee
Xidian Univ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian Univ filed Critical Xidian Univ
Priority to CN201210014022.4A priority Critical patent/CN102547243B/zh
Publication of CN102547243A publication Critical patent/CN102547243A/zh
Application granted granted Critical
Publication of CN102547243B publication Critical patent/CN102547243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于3G网络的音视频远程监控方法及系统,方法步骤如下:1)设置嵌入式终端、监控服务器;2)嵌入式终端实时采集现场音视频;3)嵌入式终端实时检测网络延迟并动态调节QP值、帧率和码率,根据QP值、帧率和码率将现场音视频进行H264编码后发送给监控服务器;4)当前嵌入式终端根据监控服务器控制命令接收音视频并解码输出给用户;系统包括监控服务器和多个嵌入式终端,嵌入式终端包括音视频采集模块、中央处理单元、网络收发模块、紧急监控按键以及音视频输出模块,中央处理单元包括延迟检测模块、编码参数调节模块、音视频编码模块。本发明具有带宽动态适应性好、音视频流畅、监控质量好的优点。

Description

基于3G网络的音视频远程监控方法及系统
技术领域
[0001] 本发明涉及远程监控技术领域,具体涉及一种基于3G网络的音视频远程监控方 法及系统。
背景技术
[0002] 利用音视频进行实时远程的监控可以实时了解到被监控场所的情况,便于进行对 应的安保工作。随着3G移动通信技术的发展,基于3G的移动音视频监控已经成为可能。传 统的监控设备由于其需要外接网线,其实施成本、实施难度都较大,因此在实际移动监控中 应用的可能性及推广性都不是很好。
[0003] 因此,3G移动监控已经成为监控领域一大趋势,当前已有多种不同类型的3G移动 监控设备出现,例如:申请号为200610083779. 3的中国发明专利公开了一种工作在3G频段 上、通过3G移动通信网络的视频及语音信道进行实时图像监控的系统和方法,主要是通过 3G视频通过连接一个移动视频监控媒体平台,并通过RTP协议及设备传送至该平台指定的 IP地址及端口。申请号为201010245508. X的中国发明专利公开了一种无线视频监控的自 适应传输方法,应用于通过3G网络连接的发送端和接收端,所述方法包括步骤为(1):发送 端对欲发送的视频图像数据进行压缩编码;(2):发送端设定满足视频图像数据正常传输 的带宽阈值,并侦测3G网络带宽情况,当带宽高于阈值时,将步骤(1)中的码流数据全部送 入3G网络进行传输;当低于时,只是提取I帧数据,送入3G网络进行数据传输;(3):接收 端对接收到的码流数据进行解码。申请号为200610033375. 3的中国发明专利公开了一种 无线监控系统及方法。3G手机通过3G视频摄像装置进行视频监控,包括:建立呼叫、视频 交互、控制过程。申请号为201110099598. 0的中国发明专利公开了一种3G移动互联网视 频监控系统,其系统包括前端监控场所设备、平台服务器系统、嵌入式终端三部分;前端监 控场所设备包括由视频采集设备和网络视频服务器组成,平台服务器系统由中心服务器和 流媒体服务器组成,嵌入式终端可以是工作站或者手机。
[0004] 上述四个专利的共性特点是均采用3G移动网络作为网络载体,进行不同的监控 系统构建,其缺陷之处主要在于以下几个方面:①上述第一个专利中的只是通过3G移动网 络进行音视频数据传输,对于传输过程进行了说明,但是对于数据传输带宽的控制方法没 有明确进行阐明,同样该设备并不能进行本地解码显示;②上述第二个专利中,尽管对于如 何在3G网络上进行数据传输的方法进行了说明,即网络带宽够时传输整个视频数据包,网 络带宽不够时只进行I帧视频数据传输,一旦Ι/P帧比例的配置过大,则会出现很长时间内 只进行一次I帧刷新,画面出现停顿现象;③上述第三个专利中,对于3G传输的过程,呼叫、 交互、控制等过程进行了说明,但是其实现的仅仅是视频相互呼叫,并不能对突发事件进行 各种紧急处理;④上述第四个专利中,描述了一种完整的前台、后台组成的整个系统,同时 对于系统的工作流程进行了详细阐述,但是前端设备不能进行解码显示,同时视频数据的 3G网络传输并没有进行动态控制。
发明内容
[0005] 本发明要解决的技术问题是提供一种带宽动态适应性好、音视频流畅、监控质量 好的基于3G网络的音视频远程监控方法及系统。
[0006] 为解决上述技术问题,本发明采用的技术方案为:
[0007] -种基于3G网络的音视频远程监控方法,其实施步骤如下:
[0008] 1)设置用于采集现场音视频的嵌入式终端,设置用于集中收发现场音视频的监控 服务器,将嵌入式终端和监控服务器通过3G网络相连;
[0009] 2)嵌入式终端根据监控服务器的控制指令或者本地的控制指令实时采集现场音 视频;
[0010] 3)嵌入式终端实时检测与监控服务器之间的网络延迟,并根据网络延迟动态调节 用于对采集的现场视频进行H264编码的QP值、帧率和码率,然后根据所述QP值、帧率和码 率将采集的现场视频进行H264编码后发送给监控服务器;
[0011] 4)如果监控服务器向当前嵌入式终端转发其它终端采集的现场音视频,则当前嵌 入式终端接收音视频并解码输出给用户。
[0012] 作为上述技术方案的进一步改进:
[0013] 所述步骤3)中嵌入式终端实时监测与监控服务器之间网络延迟的详细步骤包 括:嵌入式终端实时向监控服务器发出ICMP数据包,并获取从发出ICMP数据包到检测到返 回ICMP数据包的ICMP时间延迟,同时嵌入式终端实时与监控服务器之间建立TCP连接,根 据嵌入式终端和监控服务器之间的TCP心跳数据包和返回TCP心跳数据包之间的TCP心跳 时间延迟,然后获取一段时间内的ICMP时间延迟平均值和TCP心跳时间延迟平均值,并对 所述ICMP时间延迟平均值和TCP心跳时间延迟平均值进行加权取平均值得到嵌入式终端 与监控服务器之间的网络延迟。
[0014] 所述步骤3)中根据网络延迟动态调节用于对采集的现场视频进行H264编码的 QP值、帧率和码率的详细步骤包括:预设用于作为调节H264编码参数的临界条件的临界网 络延迟、第一临界值和第二临界值,当嵌入式终端与监控服务器之间的网络延迟小于或者 等于临界网络延迟时,将QP值、帧率和码率设置为默值;当嵌入式终端与监控服务器之间 的网络延迟大于临界网络延迟时,将ICMP时间延迟平均值和第一临界值进行比较,将TCP 心跳时间延迟平均值和第二临界值进行比较,如果ICMP时间延迟平均值大于第一临界值 且TCP心跳时间延迟平均值小于第二临界值,则根据ICMP时间延迟平均值与第一临界值之 间的差值降低H264编码参数中的QP值;如果ICMP时间延迟平均值小于第一临界值且TCP 心跳时间延迟平均值大于第二临界值,则根据TCP心跳时间延迟平均值与第二临界值之间 的差值降低H264编码参数中的帧率和码率;如果ICMP时间延迟平均值大于第一临界值且 TCP心跳时间延迟平均值大于第二临界值,则根据ICMP时间延迟平均值与第一临界值之间 的差值降低H264编码参数中的QP值,并同时根据TCP心跳时间延迟平均值与第二临界值 之间的差值降低H264编码参数中的帧率和码率。
[0015] 所述步骤3)中嵌入式终端还实时获取嵌入式终端的当前地理位置信息,并在将 采集的现场音视频进行H264编码后发送给监控服务器的同时将获取的地理位置信息发送 给监控服务器。
[0016] 一种基于3G网络的音视频远程监控系统,包括用于集中收发现场音视频的监控 服务器和多个用于采集现场音视频的嵌入式终端,所述嵌入式终端分别通过3G网络和监 控服务器相连,所述嵌入式终端包括用于采集现场音视频的音视频采集模块、中央处理单 元、用于收发音视频数据的网络收发模块、用于本地触发采集现场音视频控制指令的紧急 监控按键以及用于显示来自监控服务器转发的其他终端的现场音视频的音视频输出模块。 音视频采集模块、网络收发模块、紧急监控按键、音视频输出模块分别与中央处理单元相 连,所述网络收发模块通过3G网络和监控服务器相连,所述中央处理单元包括用于实时检 测与监控服务器之间的网络延迟的延迟检测模块、用于根据网络延迟动态调节QP值、帧率 和码率的编码参数调节模块、用于根据所述H264编码参数对采集的现场音视频进行编码 的音视频编码模块,所述嵌入式终端根据监控服务器的控制指令或者紧急监控按键触发 的控制指令实时采集现场音视频,所述延迟检测模块实时检测与监控服务器之间的网络 延迟,所述编码参数调节模块根据网络延迟动态调节用于对采集的现场音视频进行编码 的H264编码参数,所述音视频编码模块根据所述H264编码参数将采集的现场音视频进行 H264编码后发送给监控服务器,如果监控服务器向当前嵌入式终端转发其它终端采集的现 场音视频,则当前嵌入式终端接收音视频并通过音视频输出模块解码输出给用户。
[0017] 作为上述技术方案的进一步改进:
[0018] 所述延迟检测模块包括ICMP时间延迟延迟检测模块、TCP心跳时间延迟检测模 块、延迟平均值计算模块、加权取平均值计算模块,所述ICMP时间延迟延迟检测模块、TCP 心跳时间延迟检测模块分别通过延迟平均值计算模块与加权取平均值计算模块相连,所述 ICMP时间延迟延迟检测模块实时向监控服务器发出ICMP数据包,并获取从发出ICMP数据 包到检测到返回ICMP数据包的ICMP时间延迟;所述TCP心跳时间延迟检测模块实时与监 控服务器之间建立TCP连接,根据嵌入式终端和监控服务器之间的TCP心跳数据包和返回 TCP心跳数据包之间的TCP心跳时间延迟,所述延迟平均值计算模块分别获取一段时间内 的ICMP时间延迟平均值和TCP心跳时间延迟平均值,所述加权取平均值计算模块对所述 ICMP时间延迟平均值和TCP心跳时间延迟平均值进行加权取平均值得到嵌入式终端与监 控服务器之间的网络延迟。
[0019] 编码参数调节模块包括网络延迟比较判断模块、QP值调节模块和帧码率调节模 块,所述网络延迟比较判断模块分别与QP值调节模块、帧码率调节模块相连,所述网络延 迟比较判断模块将嵌入式终端与监控服务器之间的网络延迟与预设的临界网络延迟进行 比较,在嵌入式终端与监控服务器之间的网络延迟小于或者等于临界网络延迟时,QP值调 节模块将H264编码参数的QP值设置为默值,帧码率调节模块将H264编码参数的帧率和码 率设置为默值;在嵌入式终端与监控服务器之间的网络延迟大于临界网络延迟时,所述网 络延迟比较判断模块进一步将ICMP时间延迟平均值和预设的第一临界值进行比较、将TCP 心跳时间延迟平均值和预设的第二临界值进行比较,如果ICMP时间延迟平均值大于第一 临界值且TCP心跳时间延迟平均值小于第二临界值,则QP值调节模块根据ICMP时间延迟 平均值与第一临界值之间的差值降低H264编码参数中的QP值;如果ICMP时间延迟平均值 小于第一临界值且TCP心跳时间延迟平均值大于第二临界值,则帧码率调节模块根据TCP 心跳时间延迟平均值与第二临界值之间的差值降低H264编码参数中的帧率和码率;如果 ICMP时间延迟平均值大于第一临界值且TCP心跳时间延迟平均值大于第二临界值,则QP值 调节模块根据ICMP时间延迟平均值与第一临界值之间的差值降低H264编码参数中的QP 值,同时帧码率调节模块根据TCP心跳时间延迟平均值与第二临界值之间的差值降低H264 编码参数中的帧率和码率。
[0020] 所述嵌入式终端还包括用于获取终端的当前地理位置信息的地理位置信息采集 模块,所述地理位置信息采集模块与中央处理单元相连。
[0021] 本发明基于3G网络的音视频远程监控装置具有下述优点:
[0022] 1、本发明嵌入式终端和监控服务器通过3G网络相连,嵌入式终端实时检测与监 控服务器之间的网络延迟,并根据网络延迟动态调节用于对采集的现场音视频进行编码的 H264编码参数,然后根据所述H264编码参数将采集的现场音视频进行H264编码后发送给 监控服务器,因此能够动态地根据网络延迟情况对音视频进行编码,具有带宽动态适应性 好、音视频流畅、监控质量好的优点。
[0023] 2、本发明的嵌入式终端进一步通过ICMP数据包和TCP心跳数据包两种形式来实 时监测与监控服务器之间网络延迟,检测网络延迟的准确度高、开销小。
[0024] 3、本发明进一步通过QP值、帧率和码率三种参数结合临界网络延迟来调节H264 编码的参数,在超过临界网络延迟的情况下,在ICMP数据包的延迟较大时动态根据ICMP时 间延迟平均值与第一临界值之间的差值降低H264编码参数中的QP值,在TCP心跳数据包 的延迟较大时动态根据TCP心跳时间延迟平均值与第二临界值之间的差值降低H264编码 参数中的帧率和码率,能够动态调节H264编码的参数,在带宽受到限制的情况下达到传输 音视频的最优化。
[0025] 4、本发明嵌入式终端进一步实时获取嵌入式终端的当前地理位置信息,并在将采 集的现场音视频进行H264编码后发送给监控服务器的同时将获取的地理位置信息发送给 监控服务器,因此能够采集嵌入式终端的地理位置信息,监控更加方便灵活,采集的信息更 加全面。
[0026] 本发明基于3G网络的音视频远程监控装置由于具有与前述基于3G网络的音视频 远程监控方法对应的功能性结构,因此也应当具备前述基于3G网络的音视频远程监控方 法相对应的优点。
附图说明
[0027] 图1为本发明实施例的动态调节QP值、帧率和码率的流程示意图。
[0028] 图2为本发明实施例的框架结构示意图。
[0029] 图3为本发明实施例嵌入式终端的框架结构示意图。
[0030] 图4为本发明实施例软件应用程序模块间通信示意图。
[0031] 图5为本发明实施例的系统参数创建管理示意图。
[0032] 图6为本发明实施例嵌入式终端的处理流程示意图。
[0033] 图7为本发明实施例可选的紧急报警处理流程示意图。
[0034] 图8为本发明实施例监控服务器向当前嵌入式终端音视频的处理流程示意图。
[0035] 图9为本发明实施例地理位置信息采集模块的工作流程示意图。
[0036] 图10为本发明实施例的参数配置流程示意图。
[0037] 图例说明:1、监控服务器;2、嵌入式终端;21、音视频采集模块;22、中央处理单 元;221、延迟检测模块;222、编码参数调节模块;223、音视频编码模块;23、网络收发模块; 24、紧急监控按键;25、音视频输出模块;26、地理位置信息采集模块。
具体实施方式
[0038] 本实施例基于3G网络的音视频远程监控方法的实施步骤如下:
[0039] 1)设置用于采集现场音视频的嵌入式终端,设置用于集中收发现场音视频的监控 服务器,将嵌入式终端和监控服务器通过3G网络相连;
[0040] 2)嵌入式终端根据监控服务器的控制指令或者本地的控制指令实时采集现场音 视频;
[0041] 3)嵌入式终端实时检测与监控服务器之间的网络延迟,并根据网络延迟动态调节 用于对采集的现场音视频进行H264编码的QP值、帧率和码率,然后根据QP值、帧率和码率 将采集的现场音视频进行H264编码后发送给监控服务器;
[0042] 4)如果监控服务器向当前嵌入式终端转发其它终端采集的现场音视频,则当前嵌 入式终端接收音视频并解码输出给用户。
[0043] 步骤3)中嵌入式终端实时监测与监控服务器之间网络延迟的详细步骤包括:嵌 入式终端实时向监控服务器发出ICMP数据包,并获取从发出ICMP数据包到检测到返回 ICMP数据包的ICMP时间延迟,同时嵌入式终端实时与监控服务器之间建立TCP连接,根据 嵌入式终端和监控服务器之间的TCP心跳数据包和返回TCP心跳数据包之间的TCP心跳 时间延迟,然后获取一段时间内的ICMP时间延迟平均值和TCP心跳时间延迟平均值,并对 ICMP时间延迟平均值和TCP心跳时间延迟平均值进行加权取平均值得到嵌入式终端与监 控服务器之间的网络延迟。本实施例中通过计算120秒内的ICMP时间延迟和TCP心跳时 间延迟的平均值来获取ICMP时间延迟平均值和TCP心跳时间延迟平均值。
[0044] 如图1所示,步骤3)中根据网络延迟动态调节用于对采集的现场音视频进行H264 编码的QP值、帧率和码率的详细步骤包括:预设用于作为调节H264编码参数的临界条件的 临界网络延迟、第一临界值和第二临界值,在嵌入式终端与监控服务器之间的网络延迟小 于或者等于临界网络延迟时,将QP值、帧率和码率设置为默值;在嵌入式终端与监控服务 器之间的网络延迟大于临界网络延迟时,将ICMP时间延迟平均值和第一临界值进行比较, 将TCP心跳时间延迟平均值和第二临界值进行比较,如果ICMP时间延迟平均值大于第一临 界值且TCP心跳时间延迟平均值小于第二临界值,则根据ICMP时间延迟平均值与第一临界 值之间的差值降低H264编码参数中的QP值;如果ICMP时间延迟平均值小于第一临界值且 TCP心跳时间延迟平均值大于第二临界值,则根据TCP心跳时间延迟平均值与第二临界值 之间的差值降低H264编码参数中的帧率和码率;如果ICMP时间延迟平均值大于第一临界 值且TCP心跳时间延迟平均值大于第二临界值,则根据ICMP时间延迟平均值与第一临界值 之间的差值降低H264编码参数中的QP值,并同时根据TCP心跳时间延迟平均值与第二临 界值之间的差值降低H264编码参数中的帧率和码率。本实施例中,临界网络延迟、第一临 界值和第二临界值均取值为200ms,此外也可以根据需要将临界网络延迟、第一临界值和第 二临界值三者分别取不同的值。
[0045] 步骤3)中嵌入式终端还实时获取嵌入式终端的当前地理位置信息,并在将采集 的现场音视频进行H264编码后发送给监控服务器的同时将获取的地理位置信息发送给监 控服务器。
[0046] 如图2所示,本实施例基于3G网络的音视频远程监控系统包括用于集中收发现场 音视频的监控服务器1和多个用于采集现场音视频的嵌入式终端2,嵌入式终端2分别通 过3G网络和监控服务器1相连,嵌入式终端2包括用于采集现场音视频的音视频采集模块 21、中央处理单元22、用于收发音视频数据的网络收发模块23、用于本地触发采集现场音 视频控制指令的紧急监控按键24以及用于显示来自监控服务器1转发的其他嵌入式终端 2的现场音视频的音视频输出模块25,音视频采集模块21、网络收发模块23、紧急监控按键 24、音视频输出模块25分别与中央处理单元22相连,网络收发模块23通过3G网络和监控 服务器1相连,中央处理单元22包括用于实时检测与监控服务器之间的网络延迟的延迟检 测模块221、用于根据网络延迟动态调节QP值、帧率和码率的编码参数调节模块222、用于 根据H264编码参数对采集的现场音视频进行编码的音视频编码模块223,嵌入式终端2根 据监控服务器1的控制指令或者紧急监控按键24触发的控制指令实时采集现场音视频,延 迟检测模块221实时检测与监控服务器1之间的网络延迟,编码参数调节模块222根据网 络延迟动态调节用于对采集的现场音视频进行编码的H264编码参数,音视频编码模块223 根据H264编码参数将采集的现场音视频进行H264编码后发送给监控服务器1,如果监控服 务器1向当前嵌入式终端2转发其它嵌入式终端2采集的现场音视频,则当前嵌入式终端 2接收音视频并通过音视频输出模块25解码输出给用户。
[0047] 如图3所示,本实施例的嵌入式终端2具体为以嵌入式多媒体处理器为核心,结合 外部的各种设备构成完整的硬件系统,其特点在于包含本地键盘和显示以及紧急按键,同 时还包括3G接口等。本发明终端软件中,各个软件模块之间通过UNIX套接字和共享缓冲 相结合的方式进行数据及命令交互,方便各个应用模块间的大数据及小数据通信。如图4 所示,若应用模块A和应用模块B需要进行通信,其对应的过程为:应用模块A先向共享缓 冲写数据,然后再向B模块通过UNIX套接字进行消息发送,B模块接收到UNIX套接字消息 后进行命令解析,根据不同的命令从对应的共享缓冲区获取数据,进行使用。如图5所示, 本发明终端软件中,系统参数的配置按照模块化自动进行部分生成,方便系统参数的修改 与添加。具体采用的方法为定义系统参数配置文件parameter, def和模块间交互命令参数 文件intercmd. def,其中parameter, def中描述的是系统参数的定义方法,intercmd. def 中描述的是应用程序模块间的交互命令参数。然后再定义系统的模板配置文件parameter, tpl和intercmd. tpl,两个模板配置文件具体会根据对应的参数配置文件自动生成系统所 需要的头文件,其中包含了各个参数的系统定义默认值,在共享缓冲中进行存储的偏移位 置等消息,另外还会进行对应函数接口的封装。
[0048] 如图6所示,监控服务器1进行音视频数据请求时,中央处理单元22先接收到该 命令,通过UNIX套接字将监控服务器1请求嵌入式终端2的设备的IP及端口信息发送给 网络收发模块23,网络收发模块23在接收到该命令消息之后,建立对应的网络套接字和监 控服务器1进行连接,同时设置对应的发送状态字以表明当前开始,并且开始和后端进行 音视频通信。
[0049] 如图7所示,当嵌入式终端2的用户按下紧急监控按键24时触发本地的控制指 令,开始实时采集现场音视频,进入紧急报警处理状态。本实施例中在紧急报警处理状态 下,除了上述音视频实时输出以外,嵌入式终端2还可以采用如下的处理过程:一是向音视 频采集模块21发送采集本地音视频命令,向音视频输出模块25发送显示本地视频命令; 二是通过UNIX套接字向中央处理单元22发送报警消息,中央处理单元22在接收到报警 信息后,会通过网络收发模块23经过3G模块进行即时短信发送,同时在终端本地进行LED 报警;三是通过UNIX套接字向音视频编码模块223进行报警信息发送,当音视频编码模块 223接收到该报警信息后对音视频进行JPEG编码,同时通过3G模块进行彩信及邮件发送。
[0050] 如图8所示,如果监控服务器1向当前嵌入式终端2转发其它嵌入式终端2采集 的现场音视频,嵌入式终端2接收到监控服务器1的解码数据请求后,根据接收到的消息向 网络收发模块23发送UNIX套接字消息(包括解码数据格式等信息)。网络收发模块23 接收到该请求后建立接收数据通道,并等待接收音视频数据。网络收发模块23接收到完整 的一帧音视频数据后,将其放置在共享缓冲区中,同时通过UNIX套接字向音视频编码模块 223及音视频输出模块25发送消息,表示需要进行视频解码。当音视频编码模块223及音 视频输出模块25接收到该消息后,依据数据格式对接收的音视频数据进行本地解码并输 出显示。
[0051] 延迟检测模块221包括ICMP时间延迟检测模块、TCP心跳时间延迟检测模块、延 迟平均值计算模块、加权取平均值计算模块,ICMP时间延迟检测模块、TCP心跳时间延迟检 测模块分别通过延迟平均值计算模块与加权取平均值计算模块相连,ICMP时间延迟检测 模块实时向监控服务器1发出ICMP数据包,并获取从发出ICMP数据包到检测到返回ICMP 数据包的ICMP时间延迟;TCP心跳时间延迟检测模块实时与监控服务器1之间建立TCP连 接,根据嵌入式终端2和监控服务器1之间的TCP心跳数据包和返回TCP心跳数据包之间 的TCP心跳时间延迟获得TCP心跳延迟,延迟平均值计算模块分别获取一段时间内的ICMP 时间延迟平均值和TCP心跳时间延迟平均值,加权取平均值计算模块对ICMP时间延迟平均 值和TCP心跳时间延迟平均值进行加权取平均,得到嵌入式终端2与监控服务器1之间的 网络延迟。
[0052] 编码参数调节模块222包括网络延迟比较判断模块、QP值调节模块和帧码率调节 模块,网络延迟比较判断模块分别与QP值调节模块、帧码率调节模块相连,网络延迟比较 判断模块将嵌入式终端2与监控服务器1之间的网络延迟与预设的临界网络延迟进行比 较,在嵌入式终端2与监控服务器1之间的网络延迟小于或者等于临界网络延迟时,QP值 调节模块将H264编码参数的QP值设置为默值,帧码率调节模块将H264编码参数的帧率和 码率设置为默值;在嵌入式终端2与监控服务器1之间的网络延迟大于临界网络延迟时, 网络延迟比较判断模块进一步将ICMP时间延迟平均值和预设的第一临界值进行比较、将 TCP心跳时间延迟平均值和预设的第二临界值进行比较,如果ICMP时间延迟平均值大于第 一临界值且TCP心跳时间延迟平均值小于第二临界值,则QP值调节模块根据ICMP时间延 迟平均值与第一临界值之间的差值降低H264编码参数中的QP值;如果ICMP时间延迟平 均值小于第一临界值且TCP心跳时间延迟平均值大于第二临界值,则帧码率调节模块根据 TCP心跳时间延迟平均值与第二临界值之间的差值降低H264编码参数中的帧率和码率;如 果ICMP时间延迟平均值大于第一临界值且TCP心跳时间延迟平均值大于第二临界值,则QP 值调节模块根据ICMP时间延迟平均值与第一临界值之间的差值降低H264编码参数中的QP 值,同时帧码率调节模块根据TCP心跳时间延迟平均值与第二临界值之间的差值降低H264 编码参数中的帧率和码率。
[0053] 嵌入式终端2还包括用于获取嵌入式终端2的当前地理位置信息的地理位置信息 采集模块26,地理位置信息采集模块26与中央处理单元22相连。嵌入式终端2可以实时 获取自身的GPS地理位置信息,通过网络上传至监控服务器1,同时本发明终端可以接收用 户紧急事件按键,进行即时图片抓拍和上传。
[0054] 如图9所示,地理位置信息采集模块26通过定时器触发定时采集当前地理位置信 息,每隔2秒进入一次定时操作,在该定时操作中,通过RS485接口获取当前嵌入式终端2 的GPS信息及时间信息,同时每隔30分钟进行一次本地时间的同步更新;当接收到GPS地 理信息后,判断和上次接收到的GPS地理位置信息位移差是否大于一定的阈值,如果大于, 则中央处理单元22通过UNIX套接字向网络收发模块23进行信息发送,网络收发模块23 在接收到该消息后会主动将GPS地理位置信息上传至监控服务器1,同时监控服务器1更新 GIS系统。
[0055] 本实施例中,嵌入式终端2包含嵌入式WEB服务模块,因此除了通过⑶I配置系 统参数以外,还能够通过嵌入式WEB服务模块实现远程WEB配置系统参数。如图10所示, 通过嵌入式WEB服务模块实现远程WEB配置系统参数其工作过程为:用户通过WEB界面模 块或者本地显示界面模块进行系统参数修改(可以进行视频编码方式修改、视频分辨率修 改、视频帧率及码率各种参数修改等),然后点击提交,此时WEB界面模块或者本地显示界 面模块会先根据要提交的参数向共享缓冲对应该参数位置处进行参数值的更新,然后通过 UNIX套接字向参数管理模块进行参数保存命令的发送,中央处理单元22收到该命令后,中 央处理单元22定时将共享缓冲中的参数值保存到对应的存储参数的Flash存储器中;与此 同时,中央处理单元22会向内部各个模块以及其他的各个模块发送参数修改命令,待其他 模块接收到该消息后,会从共享缓冲中获取该数据,并进行实际生效处理。
[0056] 以上所述仅为本发明的优选实施方式,本发明的保护范围并不仅限于上述实施方 式,凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而 言,在不脱离本发明的原理的前提下进行的若干改进和润饰,这些改进和润饰也应视为本 发明的保护范围。

Claims (4)

1. 一种基于3G网络的音视频远程监控方法,其特征在于其实施步骤如下: 1) 设置用于采集现场音视频的嵌入式终端,设置用于集中收发现场音视频的监控服务 器,将嵌入式终端和监控服务器通过3G网络相连; 2) 嵌入式终端根据监控服务器的控制指令或者本地的控制指令实时采集现场音视 频; 3) 嵌入式终端实时检测与监控服务器之间的网络延迟,并根据网络延迟动态调节用于 对采集的现场视频进行H264编码的QP值、帧率和码率,然后根据所述QP值、帧率和码率将 采集的现场视频进行H264编码后发送给监控服务器; 4) 如果监控服务器向当前嵌入式终端转发其它嵌入式终端采集的现场音视频,则当前 嵌入式终端接收音视频,解码并输出给用户; 所述步骤3)中嵌入式终端实时监测与监控服务器之间网络延迟的详细步骤包括:嵌 入式终端实时向监控服务器发出ICMP数据包,并获取从发出ICMP数据包到检测到返回 ICMP响应数据包的ICMP时间延迟,同时嵌入式终端实时与监控服务器之间建立TCP连接, 根据嵌入式终端和监控服务器之间的TCP心跳数据包和返回TCP心跳数据包之间的TCP心 跳时间延迟,然后获取一段时间内的ICMP时间延迟平均值和TCP心跳时间延迟平均值,并 对所述ICMP时间延迟平均值和TCP心跳时间延迟平均值进行加权取平均值得到嵌入式终 端与监控服务器之间的网络延迟; 所述步骤3)中根据网络延迟动态调节用于对采集的现场视频进行H264编码的QP值、 帧率和码率的详细步骤包括:预设用于作为调节H264编码参数的临界条件的临界网络延 迟、第一临界值和第二临界值,当嵌入式终端与监控服务器之间的网络延迟小于或者等于 临界网络延迟时,将QP值、帧率和码率设置为默值;当嵌入式终端与监控服务器之间的网 络延迟大于临界网络延迟时,将ICMP时间延迟平均值和第一临界值进行比较,同时将TCP 心跳时间延迟平均值和第二临界值进行比较,如果ICMP时间延迟平均值大于第一临界值 且TCP心跳时间延迟平均值小于第二临界值,则根据ICMP时间延迟平均值与第一临界值之 间的差值降低H264编码参数中的QP值;如果ICMP时间延迟平均值小于第一临界值且TCP 心跳时间延迟平均值大于第二临界值,则根据TCP心跳时间延迟平均值与第二临界值之间 的差值降低H264编码参数中的帧率和码率;如果ICMP时间延迟平均值大于第一临界值且 TCP心跳时间延迟平均值大于第二临界值,则根据ICMP时间延迟平均值与第一临界值之间 的差值降低H264编码参数中的QP值,并同时根据TCP心跳时间延迟平均值与第二临界值 之间的差值降低H264编码参数中的帧率和码率。
2. 根据权利要求1所述的基于3G网络的音视频远程监控方法,其特征在于,所述步骤 3)中嵌入式终端还实时获取嵌入式终端的当前地理位置信息,并在将采集的现场音视频进 行H264编码后发送给监控服务器的同时将获取的地理位置信息发送给监控服务器。
3. -种基于3G网络的音视频远程监控系统,其特征在于:包括用于集中收发现场音 视频的监控服务器(1)和多个用于采集现场音视频的嵌入式终端(2),所述嵌入式终端(2) 分别通过3G网络和监控服务器(1)相连,所述嵌入式终端(2)包括用于采集现场音视频 的音视频采集模块(21)、中央处理单元(22)、用于收发音视频数据的网络收发模块(23)、 用于本地触发采集现场音视频控制指令的紧急监控按键(24)以及用于显示来自监控服务 器(1)转发的其他嵌入式终端(2)的现场音视频的音视频输出模块(25),音视频采集模块 (21) 、网络收发模块(23)、紧急监控按键(24)、音视频输出模块(25)分别与中央处理单元 (22) 相连,所述网络收发模块(23)通过3G网络和监控服务器(1)相连,所述中央处理单 元(22)包括用于实时检测与监控服务器之间的网络延迟的延迟检测模块(221)、用于根据 网络延迟动态调节QP值、帧率和码率的编码参数调节模块(222)、用于根据所述H264编码 参数对采集的现场音视频进行编码的音视频编码模块(223),所述嵌入式终端(2)根据监 控服务器(1)的控制指令或者紧急监控按键(24)触发的控制指令实时采集现场音视频,所 述延迟检测模块(221)实时检测与监控服务器(1)之间的网络延迟,所述编码参数调节模 块(222)根据网络延迟动态调节用于对采集的现场音视频进行编码的H264编码参数,所述 音视频编码模块(223)根据所述H264编码参数将采集的现场音视频进行H264编码后发送 给监控服务器(1 ),如果监控服务器(1)向嵌入式终端(2 )转发其它嵌入式终端(2 )采集的 现场音视频,则当前嵌入式终端(2)接收音视频并通过音视频输出模块(25)解码输出给用 户; 所述延迟检测模块(221)包括ICMP时间延迟延迟检测模块、TCP心跳时间延迟检测模 块、延迟平均值计算模块、加权取平均值计算模块,所述ICMP时间延迟延迟检测模块、TCP 心跳时间延迟检测模块分别通过延迟平均值计算模块与加权取平均值计算模块相连,所述 ICMP时间延迟延迟检测模块实时控服务器(1)发出ICMP数据包,并获取从发出ICMP数据 包到检测到返回ICMP数据包的ICMP时间延迟;所述TCP心跳时间延迟检测模块实时与监 控服务器(1)之间建立TCP连接,根据嵌入式终端(2 )和监控服务器(1)之间的TCP心跳数 据包和返回TCP心跳数据包之间的TCP心跳时间延迟,所述延迟平均值计算模块分别获取 一段时间内的ICMP时间延迟平均值和TCP心跳时间延迟平均值,所述加权取平均值计算模 块对所述ICMP时间延迟平均值和TCP心跳时间延迟平均值进行加权取平均值得到嵌入式 终端(2 )与监控服务器(1)之间的网络延迟; 编码参数调节模块(222)包括网络延迟比较判断模块、QP值调节模块和帧码率调节模 块,所述网络延迟比较判断模块分别与QP值调节模块、帧码率调节模块相连,所述网络延 迟比较判断模块将嵌入式终端(2)与监控服务器(1)之间的网络延迟与预设的临界网络延 迟进行比较,在嵌入式终端(2)与监控服务器(1)之间的网络延迟小于或者等于临界网络 延迟时,QP值调节模块将H264编码参数的QP值设置为默值,帧码率调节模块将H264编码 参数的帧率和码率设置为默值;在嵌入式终端(2)与监控服务器(1)之间的网络延迟大于 临界网络延迟时,所述网络延迟比较判断模块进一步将ICMP时间延迟平均值和预设的第 一临界值进行比较、将TCP心跳时间延迟平均值和预设的第二临界值进行比较,如果ICMP 时间延迟平均值大于第一临界值且TCP心跳时间延迟平均值小于第二临界值,则QP值调节 模块根据ICMP时间延迟平均值与第一临界值之间的差值降低H264编码参数中的QP值;如 果ICMP时间延迟平均值小于第一临界值且TCP心跳时间延迟平均值大于第二临界值,则帧 码率调节模块根据TCP心跳时间延迟平均值与第二临界值之间的差值降低H264编码参数 中的帧率和码率;如果ICMP时间延迟平均值大于第一临界值且TCP心跳时间延迟平均值大 于第二临界值,则QP值调节模块根据ICMP时间延迟平均值与第一临界值之间的差值降低 H264编码参数中的QP值,同时帧码率调节模块根据TCP心跳时间延迟平均值与第二临界值 之间的差值降低H264编码参数中的帧率和码率。
4.根据权利要求3所述的基于3G网络的音视频远程监控系统,其特征在于:所述嵌入 式终端(2 )还包括用于获取嵌入式终端(2 )的当前地理位置信息的地理位置信息采集模块 (26),所述地理位置信息采集模块(26)与中央处理单元(22)相连。
CN201210014022.4A 2012-01-17 2012-01-17 基于3g网络的音视频远程监控方法及系统 Active CN102547243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210014022.4A CN102547243B (zh) 2012-01-17 2012-01-17 基于3g网络的音视频远程监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210014022.4A CN102547243B (zh) 2012-01-17 2012-01-17 基于3g网络的音视频远程监控方法及系统

Publications (2)

Publication Number Publication Date
CN102547243A CN102547243A (zh) 2012-07-04
CN102547243B true CN102547243B (zh) 2014-10-15

Family

ID=46353051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210014022.4A Active CN102547243B (zh) 2012-01-17 2012-01-17 基于3g网络的音视频远程监控方法及系统

Country Status (1)

Country Link
CN (1) CN102547243B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024364A (zh) * 2013-01-17 2013-04-03 四川省安全科学技术研究院 一种远程实时音视频数据传输控制装置
CN103118245A (zh) * 2013-01-31 2013-05-22 杭州星视科技有限公司 实时音视频交互式物联平台
GB201403964D0 (en) * 2014-03-06 2014-04-23 Live Link Camera Ltd Imaging system and method
CN107295423B (zh) * 2016-04-05 2020-11-10 南京微特喜网络科技有限公司 一种用于移动终端视频直播的自适应编码和传输方法
US10741143B2 (en) * 2017-11-28 2020-08-11 Nvidia Corporation Dynamic jitter and latency-tolerant rendering
CN109922307B (zh) * 2017-12-12 2021-01-15 杭州萤石软件有限公司 一种多媒体数据传输方法及摄像机
CN108055324A (zh) * 2017-12-13 2018-05-18 济南汇通远德科技有限公司 一种基于智能穿戴产品实现数据交互的方法
CN108174209A (zh) * 2017-12-26 2018-06-15 天津天地伟业投资管理有限公司 一种所外就医防逃脱系统的视频效果自动调节方法
CN109167968A (zh) * 2018-09-29 2019-01-08 视联动力信息技术股份有限公司 一种基于视联网的监控方法和系统
CN109862321A (zh) * 2019-02-18 2019-06-07 上海救要救信息科技有限公司 一种用于管理可穿戴救援设备的方法与设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877784A (zh) * 2009-04-30 2010-11-03 上海华平软件技术有限公司 一种适用于实时应用的h.264码率控制方法
CN102158690A (zh) * 2011-05-23 2011-08-17 北京自动测试技术研究所 远程多路实时视频监控系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421720B2 (en) * 1998-10-28 2002-07-16 Cisco Technology, Inc. Codec-independent technique for modulating bandwidth in packet network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877784A (zh) * 2009-04-30 2010-11-03 上海华平软件技术有限公司 一种适用于实时应用的h.264码率控制方法
CN102158690A (zh) * 2011-05-23 2011-08-17 北京自动测试技术研究所 远程多路实时视频监控系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Jiajun LIU, Lixiao YAO, Jun MIAO,Yuan AN.Research on Distribution Remote Vision System Based on 3G Network.《The 1st International Conference on Information Science and Engineering (ICISE2009)》.2009,
Research on Distribution Remote Vision System Based on 3G Network;Jiajun LIU, Lixiao YAO, Jun MIAO,Yuan AN;《The 1st International Conference on Information Science and Engineering (ICISE2009)》;20091228;4079-4081页 *
卢佳佳.基于H.264视频压缩编码标准的自适应码率控制算法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2009,
基于H.264视频压缩编码标准的自适应码率控制算法研究;卢佳佳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20090213;第23-28页 *

Also Published As

Publication number Publication date
CN102547243A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
CN102547243B (zh) 基于3g网络的音视频远程监控方法及系统
CN101488967B (zh) 一种视频传输方法、嵌入式监控终端及监控平台服务器
CN102457710B (zh) 一种3g无线视频监控系统及其视频监控方法
CN104602044A (zh) 一种rtmp流媒体公网直播系统及其设计方法
CN103647954A (zh) 基于3g信道与智能终端的移动视频监控系统
CN201839376U (zh) 一种监控系统以及监控视频服务器
CN101924924A (zh) 一种无线远程视频监控的自适应传输方法及传输系统
CN102368819A (zh) 一种移动视频采集传输监控和发布的系统
CN101547343A (zh) 一种远程视频监控的系统及方法
CN102202210B (zh) 手机播放实时监控视频的方法及播放实时监控视频的手机
CN101448072A (zh) 网络视频监控系统的视频查看方法及系统
US20200274910A1 (en) Network status of stream push terminal-based optimizaiton method, system and stream push terminal
CN104780518A (zh) 一种td-lte应急语音通信系统的终端设备
CN2930158Y (zh) 一种无线数字终端视频图像监控装置
CN109327493A (zh) 一种基于云的远程医疗监控系统及监控方法
CN104427286A (zh) 一种进行视频通话的方法和系统
CN101888539A (zh) 一种无线视频监控系统及方法
CN102694845A (zh) 三网融合手机防盗监控系统
CN105959717A (zh) 一种基于移动终端的现场直播方法及装置
CN108696720B (zh) 一种适用于卫星通信的视频调度系统和方法
CN102065101A (zh) 一种基于3g网络的移动识别系统的控制方法
CN202374373U (zh) 一种网络视音频实时发布系统
CN108712407A (zh) 一种基于浏览器的音频/视频直播方法及其系统
CN105306964B (zh) 一种视频流转码故障快速恢复系统及恢复方法
CN103618883A (zh) 基于iptv机顶盒的usb视频监控系统

Legal Events

Date Code Title Description
PB01 Publication
C06 Publication
SE01 Entry into force of request for substantive examination
C10 Entry into substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Zhang Liang

Inventor after: Shen Peiyi

Inventor after: Dong Luobing

Inventor after: Li Bo

Inventor after: Cao Bing

Inventor after: Huang Wei

Inventor after: Zhou Meng

Inventor after: Wang Jian

Inventor before: Zhang Liang

Inventor before: Shen Peiyi

Inventor before: Cao Bing

Inventor before: Huang Wei

Inventor before: Zhou Meng

Inventor before: Wang Jian

Inventor before: Li Bo

Inventor after: Zhang Liang

Inventor after: Shen Peiyi

Inventor after: Dong Luobing

Inventor after: Li Bo

Inventor after: Cao Bing

Inventor after: Huang Wei

Inventor after: Zhou Meng

Inventor after: Wang Jian

Inventor before: Zhang Liang

Inventor before: Shen Peiyi

Inventor before: Cao Bing

Inventor before: Huang Wei

Inventor before: Zhou Meng

Inventor before: Wang Jian

Inventor before: Li Bo

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: ZHANG LIANG SHEN PEIYI CAO BING HUANG WEI ZHOU MENG WANG JIAN LI BO TO: ZHANG LIANG SHEN PEIYI DONG LUOBING LI BO CAO BING HUANG WEI ZHOU MENG WANG JIAN

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210114

Address after: 311200 room b1-3-034, No. 198, Qidi Road, economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou purevision Technology Co.,Ltd.

Address before: 710071 Xi'an Electronic and Science University, 2 Taibai South Road, Shaanxi, Xi'an

Patentee before: XIDIAN University