CN101990101A

CN101990101A - 实时多媒体混合编解码方法

Info

Publication number: CN101990101A
Application number: CN 201010531670
Authority: CN
Inventors: 张新
Original assignee: Wuhan Iron and Steel Group Corp
Current assignee: Wuhan Iron and Steel Group Corp
Priority date: 2010-11-04
Filing date: 2010-11-04
Publication date: 2011-03-23

Abstract

本发明公开了一种应用于IP网络监控系统及视频会议系统的实时多媒体混合型编解码方法。该方法完全基于Java平台，基于MJPEG视频编解码和OggVorbis音频混合压缩编解码实现实时多媒体的网络传输，通过实现对两者数据的动态混合编解码处理，达到占用网络带宽极低，可应用于各类操作系统环境、PC终端以及手机等移动终端，可与各种基于Java的企业级应用系统无缝融合，不仅具备优秀的软硬件平台普遍适应能力，而且性能优异，成本低廉，部署简单。

Description

实时多媒体混合编解码方法

技术领域

本发明涉及一种多媒体编解码方法，特别涉及IP网络监控系统及视频会议系统的实时多媒体混合型编解码方法。

背景技术

目前国内外广泛使用的各种网络实时监控系统基本上都是采用C/C++实现，一般都是采用MPEG-4或H.264作为视频编码，因此只能提供图像画面。而大量现有的视频会议系统则是将图像与音频分为独立的两路信号各自进行编码及传输，占用了大量网络带宽。由于MPEG-4及H.264编码算法复杂，编解码时对硬件性能要求很高，导致相关硬件及软件系统的成本过于昂贵，对于中小规模生产环境、公共场所以及小型视频会议领域而言性价比较低。另一方面，随着目前手机等移动终端快速发展，需要一种功能全面，部署简便的技术方案实现在移动终端支持实时网络多媒体监控甚至视频会议功能，MPEG-4以及H.264过于庞大的代码体系以及对软硬件运行环境的苛刻要求，使得手机等资源受限的平台无法满足其要求。

MJPEG是一种极其简单的视频编码技术，目前几乎所有视频监控采集编码设备都能提供支持，就MJPEG本身而言，因其实现算法简单，所以性能比MPEG-4或H.264高；Ogg Vorbis则是一种开放源代码、不存在版权隐患的高质量音频编码技术，广泛用于互联网上音频压缩编码。且这两种视频、音频编解码能够被Java很好的支持。但是，采用MJPEG和Ogg Vorbis进行实时多媒体混合编解码需要解决下列技术困难：MJPEG视频数据流本身不支持帧间编码；视频的MJPEG和音频的Ogg Vorbis数据帧的同步混合；混合后数据帧高效快速的压缩处理、网络流化处理；不依赖特定硬件及软件环境对混合多媒体数据流进行帧解构及解压缩还原，实现多媒体的实时网络传输。

发明内容

针对上述技术问题，本发明提供一种实时多媒体混合编解码方法，这种方法可应用于各种中小型生产环境、公共场所的安保监控系统以及小型视频会议系统中，可实现现场视频图像与音频进行混合压缩编解码，并经由IP网络进行传输。

本发明提供一种实时多媒体混合编解码方法，其特征在于，包括以下步骤：

在服务端部署实时Java运行环境；

对从视频监控采集编码设备采集MJPEG视频数据流进行伪帧结构处理，产生MJPEG伪帧数据；

对从音频采集编码设备采集Ogg Vorbis音频数据流进行帧结构处理，产生Ogg Vorbis帧数据；

对MJPEG伪帧数据按时间轴进行序列化；

对序列化的MJPEG伪帧数据与Ogg Vorbis帧数据按照可自定义的混合帧结构进行重组，生成新的多媒体混合帧数据；

对合并后的混合帧数据进行动态压缩处理，压缩质量根据当前网络连接情况、带宽质量等进行动态调节；

对压缩后的混合帧数据进行网络流化处理，以TCP和UDP混合编程方式多协议支持，并采用应用层滑动窗口控制数据传输速率，实现IP网络环境下的高速数据传送；

在数据传输到客户端后对其进行动态解压缩，得到混合帧数据，

根据混合帧数据结构进行MJPEG与Ogg Vorbis数据分离解构，得到MJPEG帧数据和Ogg Vorbis帧数据；

对MJPEG帧数据采用Java2D直接进行图像渲染，对Ogg Vorbis帧数据直接采用Java Sound进行音频回放，并基于多线程时间轴同步。

进一步的，为了在支持PC等终端的同时，还提供对手机等移动终端的支持，以及不依赖特定移动硬件及软件环境，上述解码还原操作采用标准的纯Java代码实现，以便在手机上最低硬件软件环境条件下，以Java MicroEdition运行环境保证上述过程得以实现。

本发明通过完全采用Java对MJPEG及Ogg Vorbis编码数据进行时间同步并采取高性能的压缩算法进行混合封装，尤其是针对网络带宽实际条件以及目标运行环境进行自适应质量调整，即可使MJPEG及Ogg Vorbis产生的视频和音频编码数据融合为一体的全新多媒体数据格式，使实时网络监控不仅能够提供视频，也可提供高质量的声音，并极大地降低对网络带宽的使用量。由于完全采用Java实现，对软硬件平台没有苛刻的性能及其他特殊要求，因此不仅可运行于PC等计算终端，还可运行于其他任何支持Java ME的嵌入式或移动终端（如手机）上，且占用网络带宽极低，使系统整体构建成本大为降低，能够与目前大量基于Java开发的各种企业级应用系统无缝融合。因此，本发明不仅具备优秀的软硬件平台普遍适应能力，而且性能优异，成本低廉，部署简单。这是基于C/C++等开发的MPEG-4或H.264技术无法做到的。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1是本发明的编码流程框图。

图2是本发明的解码流程框图。

具体实施方式

如图1所示，在编码过程中，首先获取MJPEG视频数据流以及Ogg Vorbis音频数据流，可采用多线程方式完成上述原始数据采集。由于MJPEG本身不支持帧间编码，因此需要对MJPEG进行伪帧结构处理，并针对时间轴进行序列化，按照自定义混合帧结构将经过处理的MJPE伪帧数据与Ogg Vorbis帧数据进行重组，构成新的多媒体混合帧。在完成对多媒体混合帧的有效性检测后，进行动态压缩及网络流化处理，最后通过IP网络向客户端传送。

如图2所示，在解码过程中，通过网络接收数据流后，对其进行动态解压缩，尝试进行MJPEG和Ogg Vorbis帧数据分离，经过帧数据有效性检测后，将MJPEG帧数据还原为MJPEG视频数据，将OggVorbis帧数据还原为音频数据，并采用多线程同步方式将MJPEG视频数据进行图像渲染，将Ogg Vorbis音频数据进行音频回放，从而完成解码。

下面给出本发明具体实施方式实现实时多媒体混合编解码的完整步骤：

（1）在服务端部署RealTime Java实时运行环境；

（2）通过采集设备获取MJPEG视频原始数据流以及Ogg Vorbis音频原始数据流；

（3）以多线程方式采用Java NIO以及内存对象存取模式对MJPEG视频数据流进行伪帧结构分割及插值处理，形成符合帧结构的缓冲数据；

（4）以多线程方式采用Java NIO以及内存对象存取模式对Ogg Vorbis音频数据进行帧结构处理形成缓冲数据；

（5）基于自定义的多媒体混合帧结构将MJPEG伪帧数据与Ogg Vorbis帧数据进行重组合并，形成新的多媒体混合帧数据；

（6）对混合帧数据进行动态压缩，压缩程度针对当前网络带宽情况进行动态调节；

（7）针对混合正压缩后的数据进行网络流化处理，并通过网络传输；

（8）在客户端接收到网络数据流后，首先进行动态解压缩；

（9）解压后的混合帧数据进行MJPEG和Ogg Vorbis帧数据分离，分别产生MJPEG伪帧数据和Ogg Vorbis帧数据；

（10）采用多线程同步方式分别对MJPEG帧数据和Ogg Vorbis帧数据还原为原始视频数据和原始音频数据；

（11）利用Java2D将原始视频数据进行图像渲染，利用Java Sound将原始音频数据进行音频回放，完成解码。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种实时多媒体混合编解码方法，其特征在于，包括以下步骤：

在服务端部署实时Java运行环境；

对MJPEG伪帧数据按时间轴进行序列化；

2.如权利要求1所述的实时多媒体混合编解码方法，其特征在于：上述操作全部采用Java标准类库实现，并衍生出针对Java MicroEdition的代码实现，能在PC以及支持Java MicroEdition的手机移动终端上完整运行。