CN101568029A - 基于优化h.264编码标准的手机视频监视装置及方法 - Google Patents

Abstract

本发明涉及一种基于优化H.264编码标准的手机视频监视装置及方法，该方法包括：分别对获取的音频信号及视频信号进行数字化采样；对视频信号进行降噪处理，采用优化H.264压缩算法对视频数据进行压缩，采用优化AMR算法对音频数据进行压缩，在压缩后的音视频数据中叠加通道号、监视日期及时间；将压缩后的音视频数据通过RTP与RTSP协议发送至手机端，通过相应的播放软件对音视频信号进行播放。本发明采用面向私网TCP穿透的打洞方式，具有可靠多帧差分运动目标侦测功能、基于双缓冲区的提前录像功能、隐私区域保护功能、多语言自动切换功能、有线/无线自动侦测功能、基于TCP5000端口的音频双向对讲功能、自动报警功能。

Description

基于优化H.264编码标准的手机视频监视装置及方法

技术领域

本发明涉及手机视频监视，更具体地说，涉及一种基于优化H.264编码标准的手机视频监视装置及方法。

背景技术

H.264是一种高性能的视频编解码技术。H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。与此同时，H.264在具有高压缩比的同时还拥有高质量流畅的图像。

目前，公知的摄像装置都是采用基于同轴电缆的有线传输或者2.4GHZ的无线通信方法，只能传输几百米的距离，这样限制了使用范围。而支持远程视频传输的QQ摄像装置需要计算机及其相关软件的支持，在使用时间与方式上很不方便。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述摄像装置不能方便地、全天候地实现远距离传输的缺陷，提供一种基于优化H.264编码标准的手机视频监视装置及方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于优化H.264编码标准的手机视频监视装置，包括：

音频数字化模块及视频数字化模块，分别对获取的音频信号及视频信号进行数字化采样；

与所述视频数字化模块及音频数字化模块连接的音视频处理与压缩模块，用于对视频信号进行降噪处理及采用优化的H.264压缩算法对视频数据进行压缩，采用优化的AMR算法对音频数据进行压缩，同时在压缩后的音视频数据中叠加通道号、监视日期及时间；

与所述音视频处理和压缩模块连接的网络通信接口，用于将压缩后的音视频数据发送至远程手机端，通过相应的播放软件对音视频信号进行播放。

在本发明所述的手机视频监视装置中，所述音视频处理与压缩模块还用于：

建立两个时间上间隔一定距离的视频流滑窗W₁、W₂；

将视频信号的图像帧I_k之前的m幅图像存入滑窗W₁，当前图像帧I_k之后的n幅图像存入滑窗W₂；

分别对视频流滑窗W₁、W₂中的图像I_w与图像帧I_k进行差分；

对差值图像IZ_w1、IZ_w2进行与运算，求出交集；

融合图像中的运动目标信息，获取完整的运动目标。

在本发明所述的手机视频监视装置中，所述手机视频监视装置支持RTP协议和RTSP协议，能根据网络信道情况自动切换TCP协议和UDP协议；采用面向私网TCP穿透的打洞方式，能根据网络信道情况在QCIF、CIF及D1视频格式之间自动切换。

在本发明所述的手机视频监视装置中，所述手机视频监视装置对视频信号指定的图像区域采用指定的颜色块填充，对前端输入的视频数据进行覆盖填充后再进行降噪处理及采用优化的H.264压缩算法进行压缩。

在本发明所述的手机视频监视装置中，所述手机视频监视装置还具有基于TCP5000端口的音频双向对讲功能，通过设置在前端及手机端的音频通话装置实现该功能。

在本发明所述的手机视频监视装置中，所述手机视频监视装置还包括基于多帧差分运动目标侦测的自动报警单元，在出现异常情况时，该自动报警单元将视频图像和图片传输给手机终端或者通过邮件发送到手机终端。

在本发明所述的手机视频监视装置中，所述手机视频监视装置还设有用于自动检测客户端来自有线Internet网络或者是无线GPRS手机网络并能自动调整码流以适应信道带宽的侦测单元；当计算机用户通过Internet网络访问所述视频监视装置时，侦测单元通过相应的客户端标识码判断其网络带宽，并向该客户端传送码率较大的音视频数据，以保证Internet上计算机端用户能获得较好的视频图像；当手机端用户通过GPRS网络访问监视装置时，侦测单元同样地通过客户端标识码检测出其带宽情况，并自动向该客户端传送码率较小的音视频图像，以保证在无线GPRS网络上的手机端用户能获得较流畅的视频图像。

在本发明所述的手机视频监视装置中，所述手机视频监视装置还包括用于在多种语言之间自动切换的语言切换模块，根据用户所使用操作系统的语言环境，自动启动操作系统语言的浏览与控制页面。

本发明解决其技术问题所采用的技术方案是：构造一种基于优化H.264编码标准的手机视频监视方法，包括以下步骤：

S1、分别对获取的音频信号及视频信号进行数字化采样并传输至音视频处理与压缩模块；

S2、对视频信号进行降噪处理，采用优化的H.264压缩算法对视频数据进行压缩，采用优化的AMR算法对音频数据进行压缩，同时在压缩后的音视频数据中叠加通道号、监视日期及时间；

S3、将压缩后的音视频数据发送至远程手机端，通过相应的播放软件对音视频信号进行播放。

在本发明所述的手机视频监视方法中，所述手机视频监视方法还包括通过以下步骤实现提前6秒的录像功能：

设定两块缓冲区A和B，录制计数单元x初始化为0，A缓冲区单独录制8S时间的视频信息，将A缓冲区划分为8个相同区段；

B缓冲区单独录制1S时间的视频信息，录制计数单元x增加1，当到达255时，录制计数单元x变为0；

当缓冲区B录制完1S视频信息时，将缓冲区B中数据拷贝到A缓冲区中的y区段，y＝x Mod 8；

若发生事件触发，则将当前缓冲区A中数据拷贝到目标视频存储区，继续进行视频录像，并清空缓冲区A、B。

实施本发明基于优化H.264编码标准的手机视频监视装置及方法，具有以下有益效果：采用优化的H.264压缩算法，无需计算机支持，通过网络通信接口(如RJ45接口)支持以太网传输，兼容CMOS摄像头与CCD摄像头；合法用户可以浏览远程视频与控制云台；可实现远距离通讯、摄像及视频监视；具有先进可靠的多帧差分运动检测功能，可有效避免虚检和漏检情况的发生。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明基于优化H.264编码标准的手机视频监视装置的方框图；

图2是本发明的手机视频监视装置的系统级的示意图；

图3是本发明基于优化H.264编码标准的手机视频监视装置的原理图；

图4是本发明的面向私网TCP穿透的打洞方法的示意图；

图5是本发明的视频采集过程的流程图；

图6是本发明的视频采集过程的运动检测的工作原理图；

图7是本发明基于优化H.264编码标准的手机视频监视方法的流程图；

图8是本发明基于优化H.264编码标准的手机视频监视方法的运动目标检测的流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，图中示出本发明基于优化H.264编码标准的手机视频监视装置的方框图。所示的包括音频数字化模块1、视频数字化模块2、音视频处理与压缩模块3、程序存储器4、数据存储器5、电源模块6、网络通信接口7和云台8。音频数字化模块1及视频数字化模块2分别对获取的音频信号及视频信号进行数字化采样。音视频处理与压缩模块3与视频数字化模块1及音频数字化模块2连接，用于对视频信号进行降噪处理及采用优化的H.264压缩算法对视频数据进行压缩，采用优化的AMR算法对音频数据进行压缩，同时在压缩后的音视频数据中叠加通道号、监视日期及时间。网络通信接口8与音视频处理与压缩模块连接，用于将压缩后的音视频数据发送至远程手机端，通过相应的播放软件对音视频信号进行播放。数据存储器5以及程序存储器4分别与音视频处理与压缩模块3连接，在程序存储器4中的程序控制下，音视频处理与压缩模块3在数据存储器5中采用优化H.264压缩算法对音视频数据进行压缩。云台8与音视频处理与压缩模块3连接，并且受远程终端发送的控制指令控制。此外，本发明的网络摄像装置还包括与音频数字化模块2连接的麦克风以及与视频数字化模块1连接的摄像头，其中所述摄像头包括CMOS(互补性氧化金属半导体，Complementary Metal-Oxide Semiconductor)摄像头和CCD摄像头(电荷藕合器件，Charge Coupled Device)。

根据本发明的实施例，音视频处理与压缩模块3还用于：建立两个视频流滑窗W₁、W₂；将视频信号的图像帧I_k之前的m幅图像存入滑窗W₁，当前图像帧I_k之后的n幅图像存入滑窗W₂；分别对视频流滑窗W₁、W₂中的图像I_w与图像帧I_k进行差分；对差值图像IZ_w1、IZ_w2进行与运算，求出交集；融合图像中的运动目标信息，获取完整的运动目标。本发明以累积三帧时间差分法对背景差分法得到的运动检测结果进行判断检验，解决了运动检测中的虚检和漏检问题。该方法能够有效提高时间差分法对运动目标速度的适应性，提取出较为完整的运动目标图像。

摄像头获取的模拟视频信号经过视频数字化模块1采样后，以ITU656格式进入音视频处理与压缩模块3。同时音频信号经过音频数字化模块2，以串行数字格式进入音视频处理与压缩模块3。在程序存储器4中的CCS嵌入式操作系统的控制下，音视频处理与压缩模块在数据存储器5中采用优化H264压缩算法对音视频数据进行压缩，合法用户可以通过网络通信接口7(即RJ45网络接口)浏览远程视频与控制云台8。

图2是本发明的手机视频监视装置的系统级的示意图，即手机视频监视装置应用在监控网络中的示意图。图中示出了终端服务器、GPRS服务器、DDNS服务器、报警服务器、手机视频监视装置、手机终端、计算机终端。几台服务器通过RJ45连接在一起，而终端服务器通过WIFI连接到报警服务器。手机视频监视装置通过GPRS网络连接到手机终端，速度可达到15帧/秒以上。计算机终端和手机终端分别通过RJ45和WIFI连接到报警服务器，当出现异常情况时，报警服务器可向计算机终端和手机终端发送视频图像和图片或者通过邮件发送报警信息。

如图3所示，图中示出了本发明基于优化H.264编码标准的手机视频监视装置的原理图。在图2中，U1为视频数字化芯片1，采用的是TVP5150，用于实现视频信号数字化。U2为音频数字化芯片2，采用的是CS4299，用于实现音频信号数字化。U3为音视频处理压缩DSP芯片3，采用的是DM6441，用于完成音视频处理与H.264压缩。U4为程序存储器4，采用的是W39LV040P，用于存放运行程序(即CSS嵌入式操作系统)。U5为数据存储器5，采用的是W981216DH，用于存放数字视频信息。U6为电源6，采用的是AIC1117，其接收5V电源输入，并输出3.3V与1.8V稳压电源。U7为RJ45网络通信接口7，采用的是RTL8201，用于实现远程终端对压缩后的音视频数据的读取及云台控制。

在本发明的实施例中，本发明的网络摄像装置具有关键帧抓拍的功能。根据H.264基线档次(Baseline Profile)的定义，编码器的编码输出包含I帧(关键帧)和P帧(非关键帧)。关键帧包含一幅完整的图像信息，而非关键帧则是根据前面的P帧或I帧预测出来的，只包含相对前导帧的变化量，也就是说P帧并不包含完整的图像信息。编码器输出的I帧之间有一百至几百个P帧，由于I帧间距较长，一般在一个I帧过去后到下一个I帧到来需要几秒钟的时间。然而在一些场合，如图像抓拍或者开始录像等，都需要以一幅完整的图像信息作为开始，为保证抓拍能正常进行，此时依照本发明的应用程序会向编码器请求输出一个关键帧并进行抓拍。

在本发明的实施例中，本发明的手机视频监视装置支持实时传输协议(RTP)和实时流传输协议(RTSP)，根据网络信道情况自动切换传输控制协议(TCP)和用户数据报协议(UDP)；采用面向私网传输控制协议(TCP)穿透的打洞方式，根据网络信道情况在QCIF、CIF及D1视频格式之间自动切换，请参考图3所示。本发明采用优化的H.264压缩算法对音视频信号进行压缩，通过GPRS网络进行手机监控可达到15帧/秒以上。

图4是本发明的面向私网TCP穿透的打洞方法的示意图。在此需要注意的是：1、箭头指向端为S/C模型的S端，箭头发出端为C端；2、协助服务器Server转发网页时，需要做URL的转换工作和TCP包flag的传递工作；3、当有多个Client_C连接同一个Client_S时，Client_S为每个不同的Client_C分配不同的音/视频数据口，而临时打洞口、注册口、网页转发口都分别可以共用；4、当Client_C端判断自己与想要连接的Client_S在同一私网内时(HairPin)，就不再通过协助服务器Server而直接相连。

以下是面向私网TCP穿透NAT流程：

1、位于一个私网NAT_S内的客户端Client_C(一般是一台PC机)，通过一台位于公网上的“私网穿透协助服务器Server”的协助，连接另一台位于同一或另一个私网NAT_C内的客户端Client_S(即网络摄像装置)，获取网页和音视频数据；

2、客户端Client_S通过注册口，与协助服务器Server之间有一个长TCP连接，并通过此口随时准备接收协助服务器Server发来的命令与参数；

3、客户端Client_C通过临时打洞口/注册口穿透协助服务器Server，提出连接申请，获取想要连接的客户端Client_S的网络参数；

4、客户端Client_S收到协助服务器Server转发来的客户端Client_C的打洞命令后，在协助服务器Server之间再临时建立一个短TCP连接(临时打洞口)，协助服务器Server获取此短TCP连接的外网IP与端口号，这才是客户端Client_C要直接访问的客户端Client_S的外网IP与端口号；

5、客户端Client_S关闭刚才建立的短TCP连接，但重用刚才短TCP连接使用的端口号，向客户端Client_C发起连接。此连接是不可能成功的，但可以在自己一方的NAT上打一个“洞”，为客户端Client_C发起的向客户端Client_S的连接提供了通路；

6、客户端Client_C向客户端Client_S发起连接；

7、客户端Client_C与协助服务器Server之间没有长TCP注册口，只有申请打洞时使用的短TCP连接，申请完毕获得客户端Client_S的外网IP与端口号后即关闭此短TCP连接，并重用此短TCP连接使用的端口号直接向客户端Client_S发起连接；

8、协助服务器Server会维护一个客户端Client_S的注册/注销名单。

以下是整个系统工作(包含穿透)流程：

1、客户端Client_C通过IE访问私网穿透协助服务器Server，得到协助服务器Server传来的如下网页：

欢迎使用高斯贝尔私网穿透协助服务器，请登陆：

您的用户名：

您想连接的用户名：

协助服务器服务密码：

确定(按键)

2、登陆成功后，协助服务器Server向客户端Client_S发起连接，因为客户端Client_S在私网NAT_S内，连接肯定是不成功的。协助服务器Server读取本次连接所使用的端口号A(在Server一端，系统自动产生的)，并作为参数之一，由注册口发送给客户端Client_S，并关闭刚才的连接。客户端Client_S连接协助服务器Server刚才的端口A，虽然也不会成功，但却在NAT_S上打了一个“洞”。然后关闭刚才建立的连接，重用刚才使用的端口B(在Client_S一端，也是系统自动产生的)建立起网络服务器，同时将使用的端口号B通过注册口发送给连接协助服务器Server。协助服务器Server重用刚才使用的端口A，再次向Client_S的端口B发起连接，由于在NAT_S上已经有“洞”，正常情况下是可以成功的。

3、客户端Client_S发送注册网页给协助服务器Server，由协助服务器Server转发给客户端Client_C。网页中有下载并安装OCX插件的提示。只有正确安装了此OCX插件，客户端Client_C才能正常显示视频。

后面的所有页面传送工作，都是由协助服务器Server转发的。

客户端Client_C的网页端口号是由浏览器自动产生的，是变化的。

协助服务器Server针对客户端Client_C的网页端口号是固定的80，针对客户端Client_S的网页端口号A是系统自动产生的，但是系统必须记忆它并保活，以保证在与Client_S的服务器连接断开后，端口不变且还有效。

客户端Client_S的网页端口号B也是系统自动产生的，但是由于网页服务器没有关闭，系统自然记忆了它。但是要通过协助服务器Server的保活，才能维持其NAT的不变。

4、客户端Client_C中的OCX插件通过临时打洞口/注册口向协助服务器Server提出连接客户端Client_S的音/视频数据口的打洞请求，所使用的端口号C是系统自动产生的可重用端口号。

5、协助服务器Server通过长TCP连接的注册口，通知客户端Client_S进行音/视频数据口“打洞”的准备工作，并将客户端Client_C的外网IP地址与端口号发送给客户端Client_S；

6、客户端Client_S向协助服务器Server的临时打洞口发起短TCP连接，协助服务器Server从中获取客户端Client_S的外网IP地址与端口号；

7、客户端Client_S关闭刚才建立的短TCP连接，再重用此短TCP连接使用的端口号D，并根据从协助服务器Server获得的客户端Client_C的外网IP地址与端口号发送打洞连接包，从而在自己一方的NAT上打一个通向客户端Client_C的“洞”，然后关闭刚才的连接，并重用刚才使用的端口号D，建立音/视频数据服务器；

协助服务器Server将获取的客户端Client_S的外网参数，转发给客户端Client_C。客户端Client_C中的OCX插件关闭此连接，并重用此连接所使用的端口号C，直接向客户端Client_S的音/视频数据口D发起连接。由于此时NAT_S中已经有了“洞”，正常情况下是可以连接成功的。此连接是长TCP连接，能不断地传送音/视频数据。

在本发明的另一实施例中，本发明的网络摄像装置具有视频遮挡功能。视频遮挡是对指定的图像区域采用指定的颜色块填充，这样该区域的图像就被遮挡住，用户无法看到该区域的图像内容。一般来说，视频遮挡需要在编码前完成，即对前端输入进来的原始数据(RGB或YUV)进行覆盖填充后再进行视频编码。

在本发明进一步的实施例中，本发明的网络摄像装置能在视频流上叠加时间、设备号等文字信息，其实现原理跟视频遮挡类似，同样是对编码前的原始数据进行图像叠加处理。与视频遮挡不同的是，在这里用于视频叠加的是各种文字、符号的字体点阵信息而不是颜色块。

在本发明进一步的实施例中，本发明的网络摄像装置具有先进的运动侦测功能。图5示出了本发明的视频采集的工作流程图。其中，运动检测的目的是从监视视频图像序列中检测并提取出运动目标。在实际应用中，不同的监视环境对运动检测方法具有不同的需求。对于监视系统或网络摄像而言，快速、准确地进行运动检测是确保系统正常运行的关键。目前所使用的视频监视系统在运动检测过程中却存在着较多的虚检、漏检现象，其具体表现在：

1、抗干扰能力较差，运动检测过程中往往无法排除那些不需要处理的情况，如树叶的摇动、飘扬的旗帜以及小物体移动等；

2、在光线突变条件下无法进行运动检测，从而造成监视系统因为重新初始化而形成安全漏洞；

3、对背景与运动目标相互转化时的运动检测问题无法有效解决，从而导致虚检、漏检。

这些问题严重降低了视频监视系统的安全保障能力，针对监视环境的实际需求，在总结现有运动检测方法的优点与不足的基础上，提出了一种基于时间差分与背景差分的运动检测方法。该方法首先建立混合高斯背景模型，通过背景差分法进行运动目标提取，然后利用累积三帧时间差分法对提取出的运动目标进行判断检测，以得到准确的运动目标图像，并利用该结果对背景进行及时更新，最后对检测出的运动目标图像进行阴影剔除及后处理工作，以方便下一步的目标分类工作。

为了解决运动检测中的虚检、漏检问题，本发明提供了一种累积三帧时间差分法对背景差分法得到的运动检测结果进行判断检验。该方法能够有效提高时间差分法对运动目标速度的适应性，提取出较为完整的运动目标图像。如图6所示，上述方法如下：

第一，建立两个时间上间隔一定距离的视频流滑窗W₁、W₂；

第二，采集图像，将当前图像帧I_k之前的m幅图像存入滑窗W₁，当前图像帧I_k之后的n幅图像存入滑窗W₂(m、n为累积参数，根据实验环境与应用需求而定。本文中m取为5，n取为3)；

第三，分别将视频流滑窗W₁、W₂中的图像I_w与帧图像I_k进行差分；

IZ_w＝|I_w-I_k|                 (1)

${\mathrm{IZ}}_w(i,j)=\left\{\begin{array}{ccc}1& \mathrm{if}& |I_w(i,j)-I_k(i,j)|\≥T\\ 0& \mathrm{else}& \end{array}\right.---\left(2\right)$

其中，IZ_w为差值图像，I_w为视频流滑窗W₁、W₂中的图像，I_k为待测图像。T为差分阈值。

第四，对差值图像IZ_w1、IZ_w2进行与运算，求出交集；

其中，IZ_(w1，w2)为差值图像IZ_w1与IZ_w2求交集后的二值图像，共计m×n幅图像。

第五，融合图像中的运动目标信息，得到完整的运动目标。

$I=\left\{\begin{array}{cc}1& \mathrm{ifI}{Z}_{(w1,w2)}=1\\ 0& \mathrm{else}\end{array}\right.---\left(4\right)$

其中，I为累积三帧时间差分法得到的运动目标二值图像。

此外，根据本发明进一步的特征，本发明还对H.264编码进行了优化。代码的优化分为三个层次：项目级优化、算法级优化、指令级优化。

项目级优化是对项目的整体优化，主要手段有以下几点：首先是利用CCS编译器提供的优化功能，对优化选项进行选择和配置，如打开0-3选项等。其次对程序结构进行调整，对不适合DSP执行的语句进行改写，以提高代码的并行性。最后是对内存进行合理分配，因为DSP资源有限，本发明把一些常用数据，如全局变量、程序等数据分配到访问速度高的片内内存，把占用空间较大的数据分配在片外，如帧存等。

算法级优化是利用H.264的自身特点，提出快速高效算法，从算法上挖掘潜力，提高运行速度，达到优化目的。这部分工作主要集中在编码器优化方面。视频编码中，运动估计部分是运算量最大的一块，对于H.264，单帧参考，运动估计占总运算量的70％，5帧参考，这个比例能达到90％，因此，提出有效快速的运动估计算法非常有必要，通过研究提出了基于预测和早停止技术的运动估计算法，主要方法是利用周边邻块对当前块运动矢量进行预测，并设定自适应阈值，使搜索提前停止。本发明提出的算法，在搜索窗32时，每块平均搜索点数3-4个左右，和全搜索算法的4225余个点相比，提高速度1000多倍。和一些经典快速算法相比，优势也很明显，在H.264算法中，亚象素运动估计采用全搜索，1/4精度下，需要搜索16个点。本发明提出了自己的亚象素快速搜索算法，平均搜索点数7个，节省运算量60％以上。本发明提出的新算法提高编码速度很明显，而且质量也较好，PSNR损失不到0.06dB，码率增大2％左右。这对于运动估计算法基本可以忽略不计。此外，针对帧间编码7中块大小匹配模式，以及帧内预测13中模式太过复杂，运算量太大的问题，提出了本发明自适应模式选择算法，不需要将所有模式全部计算，就能找到一种相对最优的模式。这些算法都大大提高了代码的运行速度，在速度与质量上达到较好的折中。

指令级优化是指循环拆解将C语言中的for循环打开，排流水线，提高并行性，调用系统提供的丰富的内联函数，调整数据结构，将需要大规模访问的数据，在内存中将它们放置在一起，方便DMA机制的访问，或并行指令的处理，如插值函数模块。将耗时函数抽取出来，用线性汇编改写，充分利用丰富的媒体处理指令，最大限度的利用DSP的并行性。例如，运动估计中频繁调用的SAD计算，是对相应象素点做差，并对残差场求绝对值和的计算。原始算法是对每一对象素点分别求差，再对其绝对值累加。本发明对其进行了线性汇编的改写，使用了SUBABS4(一次对两对4字节数据做差并求绝对值)，DOTPU4(一次对两对4字节数据做内积)，LDW\LDNW(一次读取4字节数据)等指令，使代码并行性有了很大提高。对16×16的块来说，优化前需要指令1000余条，优化后，200条就足够。本发明充分利用系统并行性，对耗时函数进行汇编语言改写，涉及函数有DCT变换、反DCT变换、整象素运动估计、亚象素搜索、帧内编码函数、插值函数等，效果明显。

在进一步的实施例中，本发明的网络摄像装置还具有RTP和RTCP功能。RTP(Realtime Transport Protocol实时传输协议)由IETF(InternetEngineering Task Force，互联网工程任务组)的音频/视频传输工作组制定，主要实现实时数据的传输，它在包头中提供编码类型，包中数据的采样时刻和数据包的序号，根据这些信息发送和接受方可以协商编码类型，可以对接收到的数据包进行排序等工作；RTCP(Realtime Transport Control Protocol实时传输控制协议)主要负责传输质量的监控以及传送发送者的一些标志信息。在RTP会话期间，各参与者周期性地传送RTCP包，包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料。因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，能以有效的反馈和最小的开销使传输效率最佳化，故特别适合传送网上的实时数据。试验和研究表明，RTP/RTCP所提出的实时数据的传输机制是行之有效的。

在本发明进一步的实施例中，本发明的手机视频监视装置还具有基于TCP5000端口的音频双向对讲功能，通过设置在前端及手机端的音频通话装置实现该功能。

在本发明进一步的实施例中，本发明的手机视频监视装置还包括基于多帧差分运动目标侦测的自动报警单元，在出现异常情况时，该自动报警单元将视频图像和图片传输给手机终端或者通过邮件发送到手机终端。

在本发明进一步的实施例中，本发明的手机视频监视装置还设有用于自动检测客户端来自有线Internet网络或者是无线GPRS手机网络并能自动调整码流以适应信道带宽的侦测单元；当计算机用户通过Internet网络访问所述视频监视装置时，侦测单元通过相应的客户端标识码判断其网络带宽，并向该客户端传送码率较大的音视频数据，以保证Internet上计算机端用户能获得较好的视频图像；当手机端用户通过GPRS网络访问监视装置时，侦测单元同样地通过客户端标识码检测出其带宽情况，并自动向该客户端传送码率较小的音视频图像，以保证在无线GPRS网络上的手机端用户能获得较流畅的视频图像。

在本发明进一步的实施例中，本发明的手机视频监视装置还包括用于在多种语言之间自动切换的语言切换模块，根据用户所使用操作系统的语言环境，自动启动操作系统语言的浏览与控制页面。

如图7所示，图中示出了本发明基于优化H.264编码标准的手机视频监视方法的流程图。在步骤702中，分别对获取的音频信号及视频信号进行数字化采样并传输至音视频处理与压缩模块，视频信号以特定的数据格式(即ITU656数据格式)传输至音视频处理与压缩模块，音频信号以特定的音频格式(即串行数据格式)传输至音视频处理与压缩模块。在步骤704中，对视频信号进行降噪处理，采用优化的H.264压缩算法对视频数据进行压缩，采用优化的AMR算法对音频数据进行压缩，同时在压缩后的音视频数据中叠加通道号、监视日期及时间。在步骤706中，根据RTP与RTSP协议，根据通过网络通信接口(即RJ45网络接口)将压缩后的音视频数据发送至远程手机端，通过相应的播放软件对音视频信号进行播放。

在实施例中，在程序存储器中的程序控制下，音视频处理与压缩模块在数据存储器中采用H.264压缩算法对音视频数据进行压缩。通过麦克风及摄像头可以分别采集模拟音频信号和模拟视频信号，其中所述摄像头包括CMOS摄像头和CCD摄像头。此外，所述网络摄像方法还包括远程控制终端发送控制指令对云台进行控制。

图8示出了本发明的运动检测过程的方法流程图。在步骤802中，建立两个时间上间隔一定距离的视频流滑窗W₁、W₂。在步骤704中，采集视频信号，将当前图像帧I_k之前的m幅图像存入滑窗W₁，当前图像帧I_k之后的n幅图像存入滑窗W₂。在步骤806中，分别对视频流滑窗W₁、W₂中的图像I_k与帧图像I_k进行差分。在步骤808中，对差值图像IZ_w1、IZ_w2进行与运算，求出交集。在步骤810中，融合图像中的运动目标信息，获取完整的运动目标。本发明以累积三帧时间差分法对背景差分法得到的运动检测结果进行判断检验，解决了运动检测中的虚检和漏检问题。该方法能够有效提高时间差分法对运动目标速度的适应性，提取出较为完整的运动目标图像。

在本发明的实施例中，本发明具有提前6S时间录像的功能。一般的视频录像只能实现突发事件发生后一段时间的事件触发录像功能，提前录像功能就是事件触发录像中用于记录突发事件发生前一段时间视频信息的功能，使得视频监控系统不仅不需要对全部时间内的视频内容进行记录，可以节约大量的存储空间；而且可以对突发事件发生前的6S时间内发生的事情进行记录，解决事件触发延时所带来的警情数据丢失问题。

本发明采用基于双缓冲区的提前录像方法，该方法如下：设定两块缓冲区A和B，录制计数单元x初始化为0，A缓冲区可以单独录制8S时间的视频信息，将A缓冲区划分为8个相同区段；B缓冲区可以单独录制1S时间的视频信息，录制计数单元x增加1，当到达255时，录制计数单元x变为0；当缓冲区B录制完1S视频信息时，将缓冲区B中数据拷贝到A缓冲区中的y区段，y＝x Mod 8。若发生事件触发，则将当前缓冲区A中数据拷贝到目标视频存储区，继续进行视频录像，并清空缓冲区A、B。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡是本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种基于优化H.264编码标准的手机视频监视装置，其特征在于，包括：

音频数字化模块及视频数字化模块，分别对获取的音频信号及视频信号进行数字化采样；

与所述视频数字化模块及音频数字化模块连接的音视频处理与压缩模块，用于对视频信号进行降噪处理及采用优化的H.264压缩算法对视频数据进行压缩，采用优化的AMR算法对音频数据进行压缩，同时在压缩后的音视频数据中叠加通道号、监视日期及时间；

与所述音视频处理与压缩模块连接的网络通信接口，用于将压缩后的音视频数据发送至远程手机端，通过相应的播放软件对音视频信号进行播放。

2、根据权利要求1所述的手机视频监视装置，其特征在于，所述音视频处理与压缩模块还用于：

建立两个时间上间隔一定距离的视频流滑窗W₁、W₂；

将视频信号的图像帧I_k之前的m幅图像存入滑窗W₁，当前图像帧I_k之后的n幅图像存入滑窗W₂；

分别对视频流滑窗W₁、W₂中的图像I_w与图像帧I_k进行差分；

对差值图像IZ_w1、IZ_w2进行与运算，求出交集；

融合图像中的运动目标信息，获取完整的运动目标。

3、根据权利要求1所述的手机视频监视装置，其特征在于，所述手机视频监视装置支持RTP协议和RTSP协议，能根据网络信道情况自动切换TCP协议和UDP协议；采用面向私网TCP穿透的打洞方式，能根据网络信道情况在QCIF、CIF及D1视频格式之间自动切换。

4、根据权利要求1所述的手机视频监视装置，其特征在于，所述手机视频监视装置对视频信号指定的图像区域采用指定的颜色块填充，对前端输入的视频数据进行覆盖填充后再进行降噪处理及采用优化的H.264压缩算法进行压缩。

5、根据权利要求1所述的手机视频监视装置，其特征在于，所述手机视频监视装置还具有基于TCP5000端口的音频双向对讲功能，通过设置在前端及手机端的音频通话装置实现该功能。

6、根据权利要求2所述的手机视频监视装置，其特征在于，所述手机视频监视装置还包括基于多帧差分运动目标侦测的自动报警单元，在出现异常情况时，该自动报警单元将视频图像和图片传输给手机终端或者通过邮件发送到手机终端。

7、根据权利要求1所述的手机视频监视装置，其特征在于，所述手机视频监视装置还设有用于自动检测客户端来自有线Internet网络或者是无线GPRS手机网络并能自动调整码流以适应信道带宽的侦测单元；当计算机用户通过Internet网络访问所述视频监视装置时，侦测单元通过相应的客户端标识码判断其网络带宽，并向该客户端传送码率较大的音视频数据，以保证Internet上计算机端用户能获得较好的视频图像；当手机端用户通过GPRS网络访问监视装置时，侦测单元同样地通过客户端标识码检测出其带宽情况，并自动向该客户端传送码率较小的音视频图像，以保证在无线GPRS网络上的手机端用户能获得较流畅的视频图像。

8、根据权利要求1所述的手机视频监视装置，其特征在于，所述手机视频监视装置还包括用于在多种语言之间自动切换的语言切换模块，根据用户所使用操作系统的语言环境，自动启动操作系统语言的浏览与控制页面。

9、一种基于优化H.264编码标准的手机视频监视方法，其特征在于，包括以下步骤：

S1、分别对获取的音频信号及视频信号进行数字化采样并传输至音视频处理与压缩模块；

S2、对视频信号进行降噪处理，采用优化的H.264压缩算法对视频数据进行压缩，采用优化的AMR算法对音频数据进行压缩，同时在压缩后的音视频数据中叠加通道号、监视日期及时间；

S3、将压缩后的音视频数据发送至远程手机端，通过相应的播放软件对音视频信号进行播放。

10、根据权利要求9所述的手机视频监视方法，其特征在于，所述手机视频监视方法还包括通过以下步骤实现提前6秒的录像功能：

设定两块缓冲区A和B，录制计数单元x初始化为0，A缓冲区单独录制8S时间的视频信息，将A缓冲区划分为8个相同区段；

B缓冲区单独录制1S时间的视频信息，录制计数单元x增加1，当到达255时，录制计数单元x变为0；

当缓冲区B录制完1S视频信息时，将缓冲区B中数据拷贝到A缓冲区中的y区段，y＝x Mod 8；

若发生事件触发，则将当前缓冲区A中数据拷贝到目标视频存储区，继续进行视频录像，并清空缓冲区A、B。

Images