CN104918016B - 一种多媒体多信息同步重现的系统 - Google Patents

Abstract

一种多媒体多信息同步重现的系统，包括多信息调制单元，多信息同步重现单元和系统的硬件平台；多信息调制单元是将具有关联信息关系的多个相关信息合并在一起的部件，即将“非音频、非视频信息”插入到“音频、视频流或其文件”中，形成“多媒体多信息文件CMSAVF”；多信息同步重现单元是将承载有“非音频、非视频信息”的“多媒体多信息文件CMSAVF”经过“多信息文件解调器”解调后同步重现回放出来的部件；系统的硬件平台是用于产生和还原“多媒体多信息文件CMSAVF”中存在的各种信息的调制解调器的软硬件平台，该系统能将多媒体多信息文件被实时地同时保存在同一个文件档中，并保证在查询时和回放时能够高度地同步。

Description

一种多媒体多信息同步重现的系统

技术领域

本发明涉及一种不同类型信息同步重现的方法所用装置，特别是一种多媒体多信息同步重现的系统。

背景技术

在对同时涉及声音、图像与文字和行踪、行为这些信息在内的多媒体信息的集合进行存储、回放和检索、查询时，目前需要使用多种软、硬件设备系统以及手段和方法才能达到目的。

一、常见的多媒体信息集合包括：

（一）、公安部关于机动车驾驶证领、考过程的所包含信息：

1.1、不少于两个通道的实时视频信息；

1.2、考车驾驶室内的实时音频信息；

1.3、监控中心考试员与考生的实时对话信息；

1.4、考车行驶过程的实时位置信息；

1.5、考生考试时所使用的考试车辆即考车的信息；

1.6、负责监考某个考生的考试员的信息；

1.7、正在进行考试的考生信息；

1.8、考生的考试成绩及其评判依据；

1.9、对考生进行扣分评定时必须记录的实时视频信息、考车即时所处位置、当时即时时刻等实时信息。

1.10、其它的国家标准没有明确规定的并在某些考场认为又需要附加的某些信息，如考生考试的安排信息。

1.101、对报名学习机动车驾驶技能的人员以及驾驶员和其他人员的体检过程进行监督所要记录的信息：

1.102、监督体检过程的音频、视频信息；

1.103、体检人与被体检人的信息；

1.104、体检单位的信息；

1.105、体检结果的信息。

（二）、对机动车的安全、技术性能的检测过程进行监督所要记录的信息：

2.1、监督年检过程的音频、视频信息；

2.2、机动车年检时需提供的相关信息；

2.3、年检单位及检验员、引车员的信息；

2.4、检测结果的信息。

（三）、各种事故现场的处理需要涉及到的信息：

3.1、现场勘探过程的音频、视频信息；

3.2、勘探测量产生的现场信息；

3.3、现场处理单位和负责当时现场处理的人员的信息；

3.4、现场处理结果的信息。

（四）、各种实时监控需要涉及到的信息：

4.1、对运钞车、危险物品运输车等执行特种任务的车辆的日常监督、实时跟踪过程产生音频、视频和实时时间、行驶轨迹及相关的调度、管理等信息；

4.2、需要用声音、图像等手段严把产品监督检验过程各相应阶段的相关信息；

4.3、车辆上牌及4S店服务监督；

4.4、为用于作凭证使用的音、像、图片及其对应的所有其它资料；

4.5、银行业务流程监控。

二、现有多媒体信息同步重现的方法：

在对同时涉及声音、图像与文字和行踪、行为这些信息在内的多媒体信息的集合进行存储、回放和检索、查询时，目前是采用下列众多技术进行集成的：

1、通过音频、视频采集与记录系统来对声音、图像进行采集与记录；

2、通过电脑数据库系统来对非声音、图像的信息进行记录；

3、在对多媒体信息进行朔源时，对非声音、图像信息则使用相应声音、图像播放器进行回放或复原的，对非声音、图像的信息则是通过数据库查询系统进行搜索、查询与显示的，对被监控对象当时所对应的即时时刻所处位置是综合应用数据库查询系统和虚拟技术进行模拟显示和还原的。

三、现有多媒体信息同步重现的方法的缺点：

（一）在对过程信息进行朔源时，同时须要使用多种没有在时间问题上存在有能够同时一一对应关联的系统作手段，因此不管理论上还是实践都无法解决回放时声音、图像、图片等信息与对应的非声音、图像、图片信息等其它多种信息的同步问题，如：

记录驾驶人驾驶技能考试过程时需要多个信息文件，当需要重现视频和行驶轨迹时，不同步现象尤为明显突出，只能异步地描绘出来的行驶轨迹与考试车辆实时记录下来的视频信号之间的时间差是不确定的，根本无法控制，这样很容易引起视觉误差，在有评判扣分点时，使观察者认为是一种评判错误，甚至会导致对正确性产生怀疑或纠纷；

在对需要报名学习机动车驾驶技能的人进行报名前的体检时，为了杜绝不正之风、防止弄虚作假和确保公平、公证，新标准规定了不允许在受到车管所民警实时监管下的指定设置在车管所内部的体检机构进行相应的工作，而是让不能受车管所直接干预的具有体检资质的中立医院作为第三方进行体检的，这时为了确保体检结果的真实性并实施有效的过程监督，需要结合音、像信息作佐证，这时就会出现在进行监督检查时重现的这些信息存在明显的时间异步问题。

（二）用目前的数据库技术对即时时刻等静态信息及动态信息进行存储时，由于接口的通用性和技术的开放性问题，使得其安全性得不到保障，会很容易地被不法份子篡改，从而破坏了信息数据的真实性。

（三）用目前的数据库技术对与时间无关的静态信息及与时间存在着一一对应关系的动态信息进行存储时，分别保存于多个不同类型的文件当中，因此要查找起来就很麻烦，比较费工、费时，若要同步重现就更加困难，有时时差甚至超过了10分钟。

发明内容

本发明的目的在于提供一种多媒体多信息同步重现的系统，利用该系统及其同步重现方法能做到：

①将多媒体信息文件被实时地同时保存在同一个文件当中，因此可以保证在查询时和回放时能够高度地得到同步，避免了同一时刻发生的事件和现象不能在同一时刻重现回放的非实时性问题；

②将存储多媒体信息的多个相关文件数量适当合并在一起，并可减少存储空间的占用量；

③优化传统的多媒体信息文件的存储保存方法，在减少存储空间的同时也提高了篡改信息的难度；

④提高查询多媒体信息的便利性和速度，减少时间的浪费。

为解决上述问题，本发明采用的技术方案是：一种多媒体多信息同步重现的系统，该系统是实施一种多媒体信息同步重现的方法的系统，该系统包括多信息调制单元，多信息同步重现单元即多信息解调单元，系统的硬件平台；

所述多信息调制单元是用于将具有关联信息关系的多个相关信息合并在一起的部件，即将“非音频、非视频信息”插入到“音频、视频流或其文件”中，形成在通用的多媒体播放器上看来仍然是之前格式的音频、视频流或其文件的“多媒体多信息音频、视频流CMSAV或其多媒体多信息文件CMSAVF；

所述多信息同步重现单元是将承载有“非音频、非视频信息”的对于通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息文件CMSAVF”经过“多信息文件解调”后，”同步重现回放出来的部件；

所述系统的硬件平台是用于产生“多媒体多信息文件CMSAVF”和还原“多媒体多信息文件CMSAVF”中存在的各种信息的调制解调器的软硬件平台，所述系统的硬件平台包括了可运行产生让通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”所需的全部部件；

此平台包括以兼容于x86系列CPU为中央处理器的通用PC电脑、以兼容于ARM系列MCU为中央控制器的平板电脑及目前常见的智能手机之类移动终端、定制专用于运行产生让通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”时所需的全部部件以及扩展功能用部件；此处的部件包括硬件设备和嵌入在硬件设备中的软件；

该所述系统的硬件平台包括硬件平台核心模块、硬件平台的接口底板；

硬件平台核心模块是能够完成数据处理的软硬件的集合，一种是以x86或与其兼容的CPU为中央处理器的PC电脑系统，另一种是以ARM及其兼容的微控制器MCU为核心的嵌入式平台、移动终端设备、平板电脑、智能电视、智能手机、定制专用于运行产生让通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”时所需的全部部件以及扩展功能用部件；

硬件平台的接口底板是为硬件平台核心模块提供信号输入、输出以及联机所需的各种服务的接口设备；

所述硬件平台的核心模块包括：

核心模块上的各种总线，用于让CPU或MCU或DSP能够获得运行时所需的数据和访问与底板连接的所有设备的公共通道；

中央处理器CPU或微型控制器MCU，采用“x86系列或与其兼容的中央处理器CPU”或“ARM系列或与其兼容的微型控制器MCU”，用于运行产生“多媒体多信息文件CMSAVF文件”和播放“多媒体多信息文件CMSAVF”所需的全部软件；

数字信号处理器DSP是为了加快数据处理速度而根据需要而添加的部件；

大规模可编程逻辑电路器件FPGA或CPLD用于产生专用的硬件电路或代替一些通用的硬件电路，协助CPU或MCU和/或DSP工作，加快系统运行速度，降低软硬件开销；

程序存储器用于保存运行产生“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”所需的全部软件的硬件载体 ；

动态数据存储器，是软件运行过程中所需要用到的用于保存运行产生“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”所需的全部软件时提供所需的数据缓冲区和动态或临时的数据存储空间；

中央处理器CPU或微型控制器MCU、数字信号处理器DSP、大规模可编程逻辑电路器件FPGA或CPLD、程序存储器和动态数据存储器之间通过各种总线相互连接；

硬件平台的接口底板是软硬件平台的接口模块或功能模块，用于获取“音频、视频流”和“非音频、视频信息”并形成让通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息文件CMSAVF”的多信息调制单元和播放“多媒体多信息文件CMSAVF”的多信息同步重现单元所需的全部信号的输出、输入接口电路及连接器和工作电源；

所述硬件平台的接口底板包括：

模拟视频信号输入接口模块：是用于把模拟视频数据送到核心板的软、硬件接口；

数字视频信号输入接口模块：是用于把数字视频数据送到核心板的软、硬件接口；

模拟音频信号输入接口模块：是用于把模拟音频信号送到核心板的软、硬件接口；

数字音频信号输入接口模块：是用于把数字音频数据送到核心板的软、硬件接口；

非音频、非视频信息的输入接口模块：是让核心板获得非实时信号的软硬件接口；

视频信息输出接口：是播放“多媒体多信息文件CMSAVF”时产生的视频信息的输出接口；

音频信息输出接口：是播放“多媒体多信息文件CMSAVF”时产生的音频信息的输出接口；

非音频、非视频信息的输出接口：是播放“多媒体多信息文件CMSAVF”时产生的非音频、非视频信息的输出接口；

键盘、指示灯等人机界面接口模块：是运行产生“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”的调制解调器为操作人服务而设置的必需的键盘、指示灯接口及其处理模块；

联机通讯接口模块：是用于本专利申请所述的装置与外界其它系统或设备进行连接的软硬件接口；

大容量存储器：是用于存储“多媒体多信息文件”CMSAVF和一些软件程序文件及为软件运行时提供必须的虚拟内存而必需附加的外部存储器硬件，包括但不局限于电脑硬盘、固态存储器、USB磁盘、SD卡或TF卡之中的一种或多种组合；

电源适配器：用于为整个硬件平台提供其运行时所需的全部电能；

多信息调制单元和多信息同步重现单元通过所述硬件平台的接口底板与硬件平台的核心模块连接，多信息调制单元和多信息同步重现单元通过所述硬件平台的接口底板与硬件平台的核心模块，实现让多信息调制单元把具有关联信息关系的多个相关文件或多种信息流合并在一起形成多媒体多信息音频、视频流CMSAV和/或多媒体多信息文件CMSAVF并在需要时能够让多信息同步重现单元来同步再现出多媒体多信息音频、视频流CMSAV和/或多媒体多信息文件CMSAVF所承载的部分信息或全部信息。

其进一步技术方案是：它还包括一个数据采集单元，所述数据采集单元由采集视频信息的部件和采集音频信息的部件组成；所述采集视频信息的部件包括：

h台模拟视频摄像机或k台数字视频摄像机，用于进行视频监视并记录提供现场的视频信息；

h个视频数字化采集器或模块，该h个视频数字化采集器分别与h台模拟视频摄像机对应连接，用于将模拟视频摄像机采集到的模拟视频信息分别转换成数字视频信息；

视频数字混合器或模块，该视频数字混合器分别与h个视频数字化采集器或模块和k台数字视频摄像机连接，用于将h+k个输入通道的数字视频信息转换成单一通道的数字视频信息CVS输出；上述h、k的取值范围是：h=0，1，2，……，24，k=0，1，2，……，24，h+k=1，2，3，……24；

所述数据采集单元之采集音频信息的部件包括：

m只模拟音频拾音器或n只数字音频拾音器，用于进行音频监听并记录现场的音频信号，m、n的取值范围是：m=0，1，2，……，24，n=0，1，2，……，24，m+n=1，2，3，……24；

模拟音频信号混合器，用于把m通道的模拟音频拾音器的输出信号混合成单一通道的模拟音频信号HAS的模拟音频信号混合电路；

音频数字化采集器或模块，用于将m个模拟音频拾音器采集到的m通道模拟音频信息经混合成单一通道的模拟音频信号HAS换成数字音频信息；

音频数字混合器或模块，该音频数字混合器或模块分别与音频数字化采集器或模块和n只数字音频拾音器连接，用于将m+n个输入通道的数字音频信息转换成单一通道的数字音频信息DAS输出；上述m、n的取值范围是：m=0，1，2，……，24，n=0，1，2，……，24，m+n=1，2，3，……24。

其更进一步技术方案是：所述多信息调制单元是多信息调制单元A，该多信息调制单元A包括顺次连接的数字音频、视频同步采集器、多信息混合器A、数字信息压缩器A和多信息文件记录器，以及同时与数字音频、视频同步采集器相连接的数字音频接收器和数字视频接收器、同时与多信息混合器A相连接的非实时信息NRS接收器和实时非音频、非视频信息RNAVS接收器；用于把同步采集到的数字化“音频、视频信息”AVS先通过“多信息混合器A”插入“非音频、非视频信息”，形成对AVS添加了非音频、非视频信息后形成的多信息音频、视频流MAVS的信息流，然后再送“数字信息压缩器A”进行压缩处理使之最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的多媒体多信息文件CMSAVF；

上述数字音频接收器是用于接收来自音频数字混合器的单一通道的数字音频信息DAS的电子信息接口，通过此接口可以获得传输到该接口的数字音频信息DAS；

上述数字视频接收器是用于接收来自视频数字混合器的单一通道数字视频信息CVS的电子信息接口，通过此接口可以获得传输到该接口的数字视频信息CVS；

数字音频、视频同步采集器是一种用于把数字音频数据DAS和数字视频信息CVS进行同步采集并使其中的音频、视频信息形成一种具有固定时间关系的音频视频信息流AVS的软硬件信号处理模块；

所述非实时信息NRS接收器是用于接收需要用于混合进音频、视频信息流中的非实时信息NRS的电子信息接口，通过此接口可以获得传输到该接口的非实时信息NRS；

实时非音频、非视频信息接收器是用于接收需要用于混合进音频、视频信息流中的实时非音频、非视频信息RNAVS的电子信息接口，通过此接口可以获得传输到该接口的实时非音频、非视频信息RNAVS；

多信息混合器A是一种能够将图形、图像、声音和文字信息混合在一起的软硬件处理模块，即是将“非音频、视频信息”的非实时信息NRS和实时非音频、非视频信息RNAVS插入到数字音频、视频同步采集器输出的音频、视频流AVS 或其文件中，并使其形成让通用的多媒体播放器看来仍然是之前格式的音频、视频流或其文件的一种信息处理模块；

数字信息压缩器A是用于把多信息混合器A输出的承载有“非音频、非视频信息”的“多信息音频、视频流MSAV ”转换成符合某些音频、视频压缩标准要求的包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV”；

多信息文件记录器是用于存放多媒体多信息文件CMSAVF的载体；是指具有能以电、磁、光之一或任意混合的形式为媒介实现对电子文件进行记录的功能的软件、硬件或两者都包含有的一种电子信息记录设备；用于把经过数字信息压缩器A形成的只有单一通道的、包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV” 的多媒体多信息文件CMSAVF以电子文件的形式记录下来；

所述的非实时信息NRS是指与承载NRS的载体的时间进程无关的非音频、非视频信息，即理论上可以嵌入到其载体的任意位置都不会时差错误的信息；

所述的实时非音频、非视频信息RNAVS是指与承载RNAVS载体的时间进程有固定的时差关系的非音频、非视频信息。

其更进一步技术方案或是：所述多信息调制单元是多信息调制单元B，该多信息调制单元B包括顺次连接的数字音频、视频同步采集器、数字信息压缩器B、 多信息混合器B和多信息文件记录器，以及同时与数字音频、视频同步采集器相连接的数字音频接收器和数字视频接收器、同时与多信息混合器B相连接的非实时信息NRS接收器和实时非音频、非视频信息RNAVS接收器；

该多信息调制单元B把同步采集到的数字化“音频、视频信息”AVS先送给“数字信息压缩器B”进行压缩处理，形成经压缩后的音频、视频混合信息流CAVS的信息流，然后再通过“多信息混合器B”插入“非音频、非视频信息”，最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV ；

所述数字音频接收器是用于接收来自音频数字混合器的单一通道的数字音频信息DAS的电子信息接口，通过此接口可以获得传输到该接口的数字音频信息DAS；

所述数字视频接收器是用于接收来自视频数字混合器的单一通道数字视频信息CVS的电子信息接口，通过此接口可以获得传输到该接口的数字视频信息CVS；

所述非实时信息NRS接收器是用于接收需要用于混合进音频、视频信息流中的非实时信息NRS的电子信息接口，通过此接口可以获得传输到该接口的非实时信息NRS；

实时非音频、非视频信息接收器是用于接收需要用于混合进音频、视频信息流中的实时非音频、非视频信息RNAVS的电子信息接口，通过此接口可以获得传输到该接口的实时非音频、非视频信息RNAVS；

所述数字音频、视频同步采集器是一种用于把数字音频数据DAS和数字视频信息CVS进行同步采集并使其中的音频、视频信息形成一种具有固定时间关系的音频视频信息流AVS的软硬件信号处理模块；

数字信息压缩器B是把来自数字音频、视频同步采集器输出的音频、视频流AVS进行压缩并使其形成符合某些音频、视频压缩标准要求的压缩了的音频、视频信息流CAVS的数字信息处理器模块；

多信息混合器B是一种能够将图形、图像、声音和文字信息混合在一起的软硬件处理模块，用于将“非音频、视频信息”的非实时信息NRS和实时非音频、非视频信息RNAVS插入到经数字信息压缩器B压缩后的音频、视频信息流CAVS中，形成包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV”；

多信息文件记录器是用于存放多媒体多信息文件CMSAVF的载体；是指具有能以电、磁、光之一或任意混合的形式为媒介实现对电子文件进行记录的功能的软件、硬件或两者都包含有的一种电子信息记录设备；用于把经过多信息混合器B形成的只有单一通道的、包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV” 的“多媒体多信息文件CMSAVF”以电子文件的形式记录下来；

所述的非实时信息NRS是指与承载NRS的载体的时间进程无关的非音频、非视频信息，即理论上可以嵌入到其载体的任意位置都不会引起时差错误的信息；

所述的实时非音频、非视频信息RNAVS是指与承载RNAVS载体的时间进程有固定的时差关系的非音频、非视频信息。

其再更进一步技术方案是：所述同步重现单元包括顺次连接的多信息文件存储器、多信息文件解调器、非音频、非视频信息解调器和音频、视频解码器；

所述多信息文件存储器是用于存放 “多媒体多信息文件CMSAVF”的载体；

所述多信息文件解调器是把记录承载着全部音频视频监控信息的音频、视频信息和实时非音频、视频信息以及非实时信息从多媒体多信息文件CMSAVF中分别分离、提取出来并重新形成原始的附加信息块和音频、视频帧的部件；

所述非音频、非视频信息解调器是把从“多媒体多信息文件CMSAVF”中分离出来的附加信息块再次解调以分离出“实时非音频、非视频信息RNAVS”和“非实时信息NRS”的部件。

所述“非实时信息显示窗”是显示由非音频、非视频信息解调器分离出的 “非实时信息”的显示屏幕的镜像缓冲区部件和/或外接的显示装置或此显示装置中显示屏幕的一部分；

所述“实时非音频、非视频信息同步显示窗”是显示由非音频、非视频信息解调器分离出的“实时非音频、非视频信息RNAVS”的显示屏幕的镜像缓冲区部件和/或外接的显示装置或此显示装置中显示屏幕的一部分；

所述音频、视频解码器是把从“多信息文件解调器”中分离出来的“音频、视频帧”按“音频、视频流信息”的要求进行解压、解码最终得到原始的音频流和视频流的部件；

所述视频监视器是显示从音频、视频解码器获得的原始视频信息的显示屏幕的镜像缓冲区部件和/或外接视频监视器设备或此视频监视器设备显示屏上的某些窗口的一部分；

所述音频扩音器是播放从音频、视频解码器获得的原始音频信息的外接的音频扩音设备和喇叭系统；

所述多信息文件解调器除了用于解调“多媒体多信息文件CMSAVF ”外，还兼容有解调“多媒体多信息流CMSAV ”的功能。

其又再更进一步技术方案是：所述信息调制单元是一种能使其产生的多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF中的附加信息成为一种具有一定密级的加了密码的信息流的某些加密能力之软、硬件装置。

其又再更进一步技术方案或是：所述的同步重现单元是具有以下功能的装置：

①是专用的多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF重现回放软件或硬件设备，即：多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF专用播放器，只有采用本专利技术申请所述的专有技术才能确保其具有实现完整的数据信息重现与同步的效果；

②该多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF专用播放器只提供与重现回放相关的功能，不提供篡改等编辑功能；

③该多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF专用播放器具有使用跟踪功能，实现审核播放操作者权限和记录操作者信息的手段，防止未获得授权的人随意地使用和震慑非法使用人，从而增加多媒体多信息音频、视频流CMSAV多媒体多信息文件CMSAVF的存储和管理的安全性。

由于采取以上技术方案，本发明之一种多媒体信息同步重现的系统与现有技术相比，具有以下特点和有益效果，并较好地解决了已有技术存在的上述问题。

1、通过本发明系统能把所有涉及到需要监控的信息都以多媒体多信息文件形式被实时地同时保存在同一个文件当中，因此可以保证在查询时和回放时能够高度地得到同步，避免了同一时刻发生的事件和现象不能在同一时刻重现回放的非实时性问题。

2、优化传统的文件存储方法，提高篡改被存储信息的难度、信息的保密级别较高：

由于采用本发明系统，通过“多信息调制单元”的“多信息混合器”把“非音频、非视频信息”插入到“音频、视频流或其文件”中，即在“音频、视频流或其文件”中嵌入一些携带有“非音频、非视频信息”的“附加信息块”并形成表面上看来仍然是之前格式的音频、视频流或其文件的“多媒体多信息音频、视频流CMSAV或其文件CMSAVF”；且嵌入前也经过了预加密处理，没有专用的解调、解码工具和对应的密钥是获取不到“附加信息”的；使被存储信息的公正性和公平性以及信息数据的真实性等得到更好的保护。

3、把存储多媒体信息的多个相关文件数量适当合并在一起，并可减少存储空间的占用量。

4、提高查询多媒体信息的便利性和速度，减少时间的浪费。

5、能满足各个不同行业需要，应用范围广：由于本发明之一种多媒体多信息同步重现的系统提供有几种不同实施方式的功能，用户可以根据需要采用其中的一种或几种，以满足不同需要；例如：

可以采用本发明实施例一系统：把同步采集到的数字化“音频、视频信息”AVS先通过“多信息混合器A（Ⅲ2A）”插入“非音频、非视频信息”，形成对AVS添加了非音频、非视频信息后形成的多信息音频、视频流MSAV的信息流，然后再送“数字信息压缩器A(Ⅲ3A)”进行压缩处理使之最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的多媒体多信息文件CMSAVF；这种系统实时性较强，重现时同步时差误差较小。

也可以采用本发明实施例二系统：把同步采集到的数字化“音频、视频信息”AVS先送给“数字信息压缩器B(Ⅲ3B)”进行压缩处理，形成经压缩后的音频、视频混合信息流CAVS的信息流，然后再通过“多信息混合器B（Ⅲ2B）”插入“非音频、非视频信息”，最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV ；

再有，当搭载“非音频、视频信息”的“媒体流或其文件” 是多路音频、视频信息时，可以选择实施例三所述系统，即增加图1、图2所述的所述数据采集单元。

因此，本发明系统适用范围广，不仅仅能使不同类型的被监测信息能够同步重现，还具有保密性强的优点。

下面，结合附图和实施例对本发明之一种多媒体多信息同步重现的系统的技术特征作进一步的说明。

附图说明

图1是本发明一种多媒体多信息同步重现的系统之数据采集单元之采集视频信息的部件Ⅰ之基本结构示意图；

图2：是本发明一种多媒体多信息同步重现的系统之数据采集单元之采集音频信息的部件Ⅱ之结构示意图；

图3-1～图3-2是是本发明一种多媒体多信息同步重现的系统“多信息调制单元”的结构示意图；

图3-1是本发明一种多媒体多信息同步重现的系统的“多信息调制单元A”的结构示意图；

图3-2是本发明一种多媒体多信息同步重现的系统的“多信息调制单元B”的结构示意图；

图3-3～图3-8是本发明一种多媒体多信息同步重现的系统的“多信息调制单元”用于多信息同步记录时可采用的几种具体方法示意图；

图3-3是将由“非音频、非视频信息”组成的“附加信息块”以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入到相邻两帧视频流之间的状态示意图；

图3-4是将由“非音频、非视频信息”组成的“附加信息块”以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入到相邻两帧音频流之间的状态示意图；

图3-5是将“非音频、非视频信息”作为“附加信息块”嵌入在该“视频流”的某些视频帧内的状态示意图；

图3-6是将“非音频、非视频信息”作为“附加信息块”嵌入在该“音频流”的某些音频帧内状态示意图；

图3-7是将“非音频、非视频信息”既作为“附加信息块”嵌入在“视频流”的某些视频帧内又作为“附加信息帧”插入到“该视频流”相邻两帧视频流之间的状态示意图；

图3-8是将“非音频、非视频信息”既作为“附加信息块”嵌入在“音频流”的某些音频帧内又作为“附加信息帧”插入到“该音频流”相邻两帧音频流之间的状态示意图。

图4是本发明一种多媒体多信息同步重现的系统的多信息同步重现单元的结构示意图；

图5是本发明一种多媒体多信息同步重现的系统的硬件平台结构示意图。

图中：

Ⅰ是数据采集单元之采集视频信息的部件结构；

Ⅱ是数据采集单元之采集音频信息的部件；

ⅢA是多信息调制单元A， ⅢB是多信息调制单元B；

Ⅳ是多信息同步重现单元；

Ⅴ是系统的硬件平台：

Ⅰ11、Ⅰ12、……、Ⅰ1h-模拟视频摄像机，用于采集模拟视频信号，（h=0，1，2，……，24）；

Ⅰ211、Ⅰ212、……、Ⅰ21h-视频数字化采集器，是把模拟视频信号转换成数字视频信息的模块（h=0，1，2，……，24）；

Ⅰ221、Ⅰ222、……、Ⅰ22k是数字视频摄像机；（k=0，1，……，16，h+k=1，2，……，24），用于采集数字视频信息，；

Ⅰ3-视频数字混合器,用于把h+k个输入通道的数字视频信息转换成单一通道数字视频信息CVS输出；

Ⅱ11、Ⅱ12、……、Ⅱ1m-模拟音频拾音器,用于采集模拟音频信息，（m=0,1，2，……，24）；

Ⅱ2-模拟音频信号混合器,是把n路模拟音频信号混合成单路模拟音频信号HAS输出的模拟信号处理模块；

Ⅱ30-音频数字化采集器，是把模拟音频信号转换成数字音频信息的模块；

Ⅱ31、Ⅱ32、……、Ⅱ3n-数字音频拾音器，用于采集数字音频信息，（n=0,1，2，……，32）；

Ⅱ4-音频数字混合器，用于把m+n个输入通道的数字音频信息转换成单一通道数字音频信息DAS输出。

图3-1、图3-2中：

Ⅲ11-“数字音频接收器”，是用于接收数字音频信息DAS并向外提供这些信息的数据缓冲区；

Ⅲ12-“数字视频接收器”，是用于接收数字视频信息CVS并向外提供这些信息的数据缓冲区；

Ⅲ1-“数字音频、视频同步采集器”，是用于同步采集来自 “数字音频接收器”的数字音频信息DAS和来自 “数字视频接收器”的数字视频信息CVS，并形成音频、视频信息流AVS；

Ⅲ21-是非实时信息NRS接收器，并向外提供这些信息的数据缓冲区，

Ⅲ22-是实时非音频、非视频信息RNAVS接收器，并向外提供这些信息的数据缓冲区，

Ⅲ2A-“多信息混合器A”是把“非实时信息NRS”和“实时非音频、非视频信息RNAVS”嵌入到未压缩的“音频、视频流AVS”的数字信息调制器，其输出的信号是已经包含了“非音频、非视频信息”NAVS的“多信息音频、视频流MSAV”；

Ⅲ3A-“数字信息压缩器A”，是把“多信息音频、视频流MSAV”经压缩转换成符合某些音频、视频压缩标准要求的包含了“非音频、非视频信息”NAVS的“多信息音频、视频流CMSAV”；

Ⅲ3B-“数字信息压缩器”是把来自 “数字音频、视频同步采集器”输出的“音频、视频流AVS” 经压缩转换成符合某些音频、视频压缩标准要求的压缩了的音频、视频信息流CAVS；

Ⅲ2B-“多信息混合器B”，是把“非实时信息”NRS和“实时非音频、非视频信息RNAVS”嵌入到压缩后的“音频、视频流CAVS” 中的数字信息调制器，其输出的信号是已经包含了“非音频、非视频信息NAVS”的“多信息音频、视频流CMSAV”；

Ⅲ4-“文件记录器”是把“多信息音频、视频流CMSAV”以电子文档方式保存到可以读写的电子文件存储器上的功能模块。

图3-3～图3-8：

V33x、V33x1是承载“非音频、非视频信息”NAVS的“视频流”中某相邻两帧的全部视频信息集合；

S33x是插入到V33x、V33x1两帧之间的承载着“非音频、非视频信息块”的独立于视频帧的“附加信息帧”；

A34y、A34y1是承载“非音频、非视频信息”NAVS的“音频流”中某相邻两帧的全部音频信息集合：

S34y是插入到A34y、A34y1两帧之间的承载着“非音频、非视频信息块”的独立于音频帧的“附加信息帧”；

V35是承载有“附加信息块a”的“视频流”中某一帧的视频信息集合；

A36是承载有“附加信息块b”的“音频流”中某一帧的音频信息集合；

V37x、V37x1是承载有“非音频、非视频信息”NAVS的“视频流”中某两帧的全部视频信息集合，

S37x是插入到两帧之间的承载着“非音频、非视频信息块”的独立于视频帧的“附加信息帧”；

A38y、A38y1是承载有“非音频、非视频信息”NAVS的“音频流”中某两帧的全部音频信息集合；

S38y是插入到两帧之间的承载着“非音频、非视频信息块”的独立于音频帧的“附加信息帧”。

图4中：

Ⅳ1-“文件存储器”，是存放电子文件的载体，本专利申请所述的以电子文档方式保存的“多信息音频、视频流CMSAV”文件“CMSAVF”就存储在其上；

Ⅳ2-“多信息文件解调器”，是把记录音频、视频帧和附加信息块从多媒体多信息文件CMSAVF中分别分离、提取出来的软硬件模块；

Ⅳ31 -“附加信息块”，是存放从多媒体多信息文件CMSAVF中解调出来的“附加信息块”软件数据存放缓冲区的软硬件模块；

Ⅳ32 -“音频、视频帧”，是存放“多信息文件解调器”从多媒体多信息文件CMSAVF中解调出来的“音频、视频信息”的缓冲区；

Ⅳ41-“非音频、非视频信息解调器”，是把从附加在多媒体多信息文件CMSAVF中分离出来的“附加信息块”所承载的“非音频、非视频信息”按要求进行解压、解密并还原为调制进“附加信息块”之前原始信息的软硬件模块；

Ⅳ42 -“音频、视频解码器”，是把存放在“音频、视频帧”中的“音频、视频信息”按“音频、视频信息”的要求进行解压、解密和解码的软硬件模块。

Ⅳ411 -“非实时信息显示窗”，是显示由非音频、非视频信息解调器分离出的 “非实时信息NRS”的显示屏幕的镜像缓冲区部件和/或外接的显示装置或此显示装置中显示屏幕的一部分；；

Ⅳ412-“实时非音频、非视频信息同步显示窗”，是显示由非音频、非视频信息解调器分离出的“实时非音频、非视频信息RNAVS”的显示屏幕的镜像缓冲区和/或外接的显示装置或此显示装置中显示屏幕的一部分；

Ⅳ421-视频监视器，是显示从音频、视频解码器获得的原始视频信息的显示屏幕的镜像缓冲区部件和/或外接视频监视器设备或此视频监视器设备显示屏上的某些窗口的一部分，

Ⅳ422-音频扩音器，是播放从音频、视频解码器获得的原始音频信息的外接的音频扩音设备和喇叭系统。

Ⅴ1-硬件平台的核心模块，图中用虚线框表示；

Ⅴ10-硬件平台的核心模块上的各种总线，

Ⅴ11-中央处理器CPU或微型控制器MCU，

Ⅴ12-数字信号处理器DSP，

Ⅴ13-大规模可编程逻辑电路器件FPGA或CPLD，

Ⅴ14-程序存储器，

Ⅴ15-数据存储器；

Ⅴ2-是硬件平台的接口底板，

Ⅴ20-模拟视频信号输入接口模块：用于把模拟视频数据送到核心板的软、硬件接口，允许接入的模拟视频数据通道的总数为h；

Ⅴ21-数字视频信号输入接口模块：用于把数字视频数据送到核心板的软、硬件接口，允许接入的数字摄像机的总数为k；

Ⅴ22-模拟音频信号输入接口模块：用于把模拟音频信号送到核心板的软、硬件接口，允许接入的模拟音频信号拾音器的总数为m；

Ⅴ23-数字音频信号输入接口模块：是用于把数字音频数据送到核心板的软、硬件接口，允许接入的数字音频信号拾音器的总数为n；

Ⅴ24-非音频、非视频信息输入接口模块：是让核心板获得非实时信号的软硬件接口；

Ⅴ25-视频信息输出接口模块：是播放“多媒体多信息文件CMSAVF”时产生的视频信息的输出接口；

Ⅴ26-音频信息输出接口模块：是播放“多媒体多信息文件CMSAVF”时产生的音频信息的输出接口；

Ⅴ27-非音频、非视频信息的输出接口：是播放“多媒体多信息文件CMSAVF”时产生的非音频、非视频信息的输出接口；

Ⅴ28-键盘、指示灯等人机界面接口：是运行产生“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”的调制解调器为操作人服务而设置的必需的键盘、指示灯等人机界面接口及其处理模块；

Ⅴ29-联机通讯接口：是用于本专利申请所述的装置与外界其它系统或设备进行连接的软硬件接口；

Ⅴ30-大容量存储器：用于存储“多媒体多信息文件”CMSAVF和一些软件程序文件及为软件运行时提供必须的虚拟内存而必需附加的外部存储器硬件，包括但不只局限于电脑硬盘、固态存储器、USB磁盘、SD卡或TF卡之中的一种或多种组合；

Ⅴ31-电源适配器：用于为整个硬件平台提供其运行时所需的全部电能。

文中缩略语含义是：

CVS-单一通道的数字视频信息流；

HAS-单一通道的模拟音频信息流，

DAS-单一通道的数字音频信息流，

AVS-没有经过压缩的原始数字音频、视频混合信息流，

MSAV-对AVS添加了非音频、非视频信息后形成的多信息音频、视频流，

CAVS-经压缩后的音频、视频混合信息流，

CMSAV-多媒体多信息音频、视频流,已经压缩了的单一通道的包含了非音频、非视频信息在内的多信息音频、视频流数据，是已经加了密的、包含了全部信息的数据信息流；

CMSAVF-多媒体多信息文件,是在文件记录器的保存进去或读取出来的保存多媒体多信息音频、视频流CMSAV的文件；

NAVS-非音频、非视频信息的统称；

RNAVS-实时非音频、非视频信息的统称；

NRS-非实时信息的统称。

具体实施方式

一种多媒体多信息同步重现的系统，该系统是实施一种多媒体多信息同步重现的方法的系统，该系统包括多信息调制单元，多信息同步重现单元即多信息解调单元Ⅳ，系统的硬件平台Ⅴ，

所述多信息调制单元是用于将具有关联信息关系的多个相关信息合并在一起的部件，即将“非音频、非视频信息”插入到“音频、视频流或其文件”中，形成在通用的多媒体播放器上看来仍然是之前格式的音频、视频流或其文件的“多媒体多信息音频、视频流CMSAV”或“多媒体多信息文件CMSAVF”；

所述多信息同步重现单元Ⅳ是将承载有“非音频、非视频信息”的对于通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息文件CMSAVF”经过“多信息文件解调”后，同步重现回放出来的部件；

所述系统的硬件平台Ⅴ是用于产生“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”和还原“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”中存在的各种信息的调制解调器的软硬件平台，所述系统的硬件平台Ⅴ包括了可运行产生让通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”和播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”所需的全部软硬件部件；

此平台包括以兼容于x86系列CPU为中央处理器的通用PC电脑、以兼容于ARM系列MCU为中央控制器的平板电脑及目前常见的智能手机之类移动终端、定制专用于运行产生让通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”和播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”时所需的全部部件以及扩展功能用部件；此处的部件包括硬件设备和嵌入在硬件设备中的软件；

如图5所示，该系统的硬件平台包括硬件平台核心模块Ⅴ1、硬件平台的接口底板Ⅴ2；

硬件平台核心模块Ⅴ1是能够完成数据处理的软硬件的集合，一种是以x86或与其兼容的CPU为中央处理器的PC电脑系统，另一种是以ARM及其兼容的微控制器MCU为核心的嵌入式平台、移动终端设备、平板电脑、智能电视、智能手机、定制专用于运行产生让通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”和播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”时所需的全部部件以及扩展功能用部件；

硬件平台的接口底板Ⅴ2是为Ⅴ1提供信号输入、输出以及联机所需的各种服务的接口设备；

所述硬件平台的核心模块Ⅴ1包括：

核心模块上的各种总线Ⅴ10，用于让CPU或MCU或DSP能够获得运行时所需的数据和访问与底板连接的所有设备的公共通道；

中央处理器CPU或微型控制器MCUⅤ11，采用“x86系列或与其兼容的中央处理器CPU”或“ARM系列或与其兼容的微型控制器MCU”，用于运行产生“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”所需的全部软件；

数字信号处理器DSPⅤ12是为了加快数据处理速度而根据需要而添加的部件；

大规模可编程逻辑电路器件FPGA或CPLDⅤ13用于产生专用的硬件电路或代替一些通用的硬件电路，协助CPU或MCU工作，加快系统运行速度，降低软硬件开销；

程序存储器Ⅴ14用于保存运行产生“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”和播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”所需的全部软件的硬件载体 ；

动态数据存储器Ⅴ15，是软件运行过程中所需要用到的用于保存运行产生“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”和播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”所需的全部软件时提供所需的数据缓冲区和动态或临时的数据存储空间；

中央处理器CPU或微型控制器MCUⅤ11、数字信号处理器DSPⅤ12、大规模可编程逻辑电路器件FPGA或CPLDⅤ13、程序存储器Ⅴ14和动态数据存储器Ⅴ15之间通过各种总线Ⅴ10相互连接；

硬件平台的接口底板Ⅴ2是软硬件平台的接口模块或功能模块，用于获取“音频、视频流”和“非音频、视频信息”并形成让通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”的多信息调制单元和播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”的多信息同步重现单元Ⅳ所需的全部信号的输出、输入接口电路及连接器和工作电源；

所述硬件平台的接口底板Ⅴ2包括：

模拟视频信号输入接口模块Ⅴ20：是用于把模拟视频数据送到核心板Ⅴ1的软、硬件接口；

数字视频信号输入接口模块Ⅴ21：是用于把数字视频数据送到核心板Ⅴ1的软、硬件接口；

模拟音频信号输入接口模块Ⅴ22：是用于把模拟音频信号送到核心板Ⅴ1的轸、硬件接口；

数字音频信号输入接口模块Ⅴ23：是用于把数字音频数据送到核心板Ⅴ1的软、硬件接口；

非音频、非视频信息的输入接口Ⅴ24：是让核心板获得非音频、非视频信息的软、硬件接口；

视频信息输出接口Ⅴ25：是播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”时产生的视频信息的输出接口；

音频信息输出接口Ⅴ26：是播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”时产生的音频信息的输出接口；

非音频、非视频信息的输出接口Ⅴ27：是播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”时产生的非音频、非视频信息的输出接口；

键盘、指示灯等人机界面接口Ⅴ28：是运行产生“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”和播放“多媒体多信息音频、视频流CMSAV及其多媒体多信息文件CMSAVF”的调制解调器为操作人服务而设置的必需的键盘、指示灯等人机界面接口及其处理模块；

联机通讯接口Ⅴ29：是用于本专利申请所述的装置与外界其它系统或设备进行连接的软硬件接口；

大容量存储器Ⅴ30：用于存储“多媒体多信息文件”CMSAVF和一些软件程序文件及为软件运行时提供必须的虚拟内存而必需附加的外部存储器硬件，包括但不只局限于电脑硬盘、固态存储器、USB磁盘、SD卡或TF卡之中的一种或多种组合；

电源适配器Ⅴ31：用于为整个硬件平台提供其运行时所需的全部电能；

多信息调制单元和多信息同步重现单元Ⅳ通过所述硬件平台的接口底板Ⅴ2与硬件平台的核心模块Ⅴ1连接，实现让“多信息调制单元”把具有关联信息关系的多个相关文件或多种信息流合并在一起形成多媒体多信息音频、视频流CMSAV和/或多媒体多信息文件CMSAVF，然后在需要时再通过专用的能够把多信息同步重现回放出来的播放器来同步再现出多媒体多信息音频、视频流CMSAVCMSAV和/或多媒体多信息文件CMSAVF所承载的部分信息或全部信息。

根据多信息调制单元的结构不同，有以下两种不同的实施方式。

实施例一

针对单路音、视频信息的一种多媒体多信息同步重现的系统：

该多媒体多信息同步重现的系统，如上所述，其基本结构包括多信息调制单元，多信息同步重现单元即多信息解调单元Ⅳ，系统的硬件平台Ⅴ；

如图3-1所示，该多媒体多信息同步重现的系统的多信息调制单元是多信息调制单元A，该多信息调制单元A包括顺次连接的数字音频、视频同步采集器Ⅲ1、多信息混合器AⅢ2A、数字信息压缩器AⅢ3A和多信息文件记录器Ⅲ4，以及同时与数字音频、视频同步采集器Ⅲ1相连接的数字音频接收器Ⅲ11和数字视频接收器Ⅲ12、同时与多信息混合器AⅢ2B相连接的非实时信息NRS接收器Ⅲ21和实时非音频、视频信息接收器Ⅲ22；

所述数字音频接收器Ⅲ11是用于接收来自音频数字混合器Ⅱ4的单一通道的数字音频信息DAS的电子信息接口，通过此接口可以获得传输到该接口的数字音频信息DAS；

所述数字视频接收器Ⅲ12是用于接收来自视频数字混合器Ⅰ3的单一通道数字视频信息CVS的电子信息接口，通过此接口可以获得传输到该接口的数字视频信息CVS；

所述非实时信息NRS接收器Ⅲ21用于接收需要用于混合进音频、视频信息流中的非实时信息NRS的电子信息接口，通过此接口可以获得传输到该接口的非实时信息NRS；

实时非音频、非视频信息接收器Ⅲ22用于接收需要用于混合进音频、视频信息流中的实时非音频、非视频信息RNAVS的电子信息接口，通过此接口可以获得传输到该接口的实时非音频、非视频信息RNAVS；

数字音频、视频同步采集器Ⅲ1是一种用于把数字音频数据DAS和数字视频信息CVS进行同步采集并使其中的音频、视频信息形成一种具有固定时间关系的音频视频信息流AVS的软硬件信号处理模块；

多信息混合器AⅢ2A是一种能够将图形、图像和文字信息混合在一起的软硬件处理模块，即是将“非音频、视频信息”的非实时信息NRS和实时非音频、非视频信息RNAVS插入到数字音频、视频同步采集器Ⅲ1输出的音频、视频流AVS或其文件中，并使其形成让通用的多媒体播放器看来仍然是之前格式的音频、视频流MSAV或其文件的一种信息处理模块；

数字信息压缩器AⅢ3A是用于把多信息混合器AⅢ2A输出的承载有“非音频、非视频信息”的“多信息音频、视频流”MSAV转换成符合某些音频、视频压缩标准要求的包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV”；

多信息文件记录器Ⅲ4是用于存放多媒体多信息文件CMSAVF的载体；是指具有能以电、磁、光之一或任意混合的形式为媒介实现对电子文件进行记录的功能的软件、硬件或两者都包含有的一种电子信息记录设备；用于把经过数字信息压缩器AⅢ3A形成的只有单一通道的、包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV” 的多媒体多信息文件CMSAVF以电子文件的形式记录下来；

所述的非实时信息NRS是指与承载NRS的载体的时间进程无关的非音频、非视频信息，即理论上可以嵌入到其载体的任意位置都不会时差错误的信息；

所述的实时非音频、非视频信息RNAVS是指与承载RNAVS载体的时间进程有固定的时差关系的非音频、非视频信息。

该多信息调制单元A用于把同步采集到的数字化“音频、视频信息”AVS先通过“多信息混合器AⅢ2A”插入“非音频、非视频信息”，形成对AVS添加了非音频、非视频信息后形成的多信息音频、视频流MSAV的信息流，然后再送“数字信息压缩器AⅢ3A”进行压缩处理使之最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的多媒体多信息文件CMSAVF；

如图4所示，所述同步重现单元Ⅳ包括顺次连接的多信息文件存储器Ⅳ1、多信息文件解调器Ⅳ2、非音频、非视频信息解调器Ⅳ41和音频、视频解码器Ⅳ42；

所述多信息文件存储器Ⅳ1是用于存放 “多媒体多信息文件CMSAVF”的载体；

所述多信息文件解调器Ⅳ2是把记录承载着全部音频视频监控信息的音频、视频信息和实时非音频、视频信息以及非实时信息从多媒体多信息文件CMSAVF文件中分别分离、提取出来并重新形成原始的附加信息块Ⅳ31和音频、视频帧Ⅳ32的部件；

所述非音频、非视频信息解调器Ⅳ41是把从“多媒体多信息文件CMSAVF”中分离出来的附加信息块Ⅳ31再次解调以分离出“实时非音频、非视频信息RNAV”和“非实时信息NRS”的部件；

所述“非实时信息显示窗Ⅳ411”是显示由非音频、非视频信息解调器Ⅳ41分离出的 “非实时信息NRS”的显示屏幕的镜像缓冲区部件和/或外接的显示装置或此显示装置中显示屏幕的一部分；

所述“实时非音频、非视频信息同步显示窗Ⅳ412”是显示由非音频、非视频信息解调器Ⅳ41分离出的“实时非音频、非视频信息RNAVS”的显示屏幕的镜像缓冲区部件和/或外接的显示装置或此显示装置中显示屏幕的一部分；

所述音频、视频解码器Ⅳ42是把从“多信息文件解调器”Ⅳ2中分离出来的“音频、视频帧”按“音频、视频流信息”的要求进行解压、解码最终得到原始的音频流和视频流的部件；

所述视频监视器Ⅳ421是显示从音频、视频解码器Ⅳ42获得的原始视频信息的显示屏幕的镜像缓冲区部件和/或外接视频监视器设备或此视频监视器设备显示屏上的某些窗口的一部分；

所述音频扩音器Ⅳ422是播放从音频、视频解码器Ⅳ42获得的原始音频信息的外接的音频扩音设备和喇叭系统。

多信息文件解调器Ⅳ2除了用于解调“多媒体多信息文件”CMSAVF外，还兼容有直接解调“多媒体多信息流”CMSAV的功能。

实施例二：

针对单路音、视频信息的一种多媒体多信息同步重现的系统B：

该系统的基本结构同实施例一，所不同之处是多信息调制单元的结构不同，该系统的多信息调制单元是多信息调制单元B；

如图3-2所示，所述多信息调制单元BⅢB包括顺次连接的数字音频、视频同步采集器Ⅲ1、数字信息压缩器BⅢ3B、多信息混合器BⅢ2B和多信息文件记录器Ⅲ4，以及同时与数字音频、视频同步采集器Ⅲ1相连接的数字音频接收器Ⅲ11和数字视频接收器Ⅲ12、同时与多信息混合器BⅢ2B相连接的非实时信息NRS接收器Ⅲ21和实时非音频、非视频信息接收器Ⅲ22；

所述数字音频接收器Ⅲ11、数字视频接收器Ⅲ12、数字音频、视频同步采集器Ⅲ1和多信息文件记录器Ⅲ4、非实时信息NRS接收器Ⅲ21、实时非音频、非视频信息接收器Ⅲ22的结构和作用与实施例一的多信息调制单元A中对应部分的结构和作用相同，此处不再赘述；

数字信息压缩器BⅢ3B是把来自数字音频、视频同步采集器Ⅲ1输出的音频、视频流AVS进行压缩并使其形成符合某些音频、视频压缩标准要求的压缩了的音频、视频信息流CAVS的数字信息处理器模块；

多信息混合器BⅢ2B是一种能够将图形、图像、声音和文字信息混合在一起的软硬件处理模块，用于将“非音频、视频信息”的非实时信息NRS和实时非音频、视频信息RNAVS插入到经数字信息压缩器BⅢ3B压缩后的音频、视频信息流CAVS中，形成包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV”；

该多信息调制单元BⅢB把同步采集到的数字化“音频、视频信息”AVS先送给“数字信息压缩器BⅢ3B”进行压缩处理，形成经压缩后的音频、视频混合信息流CAVS的信息流，然后再通过“多信息混合器BⅢ2B”插入“非音频、非视频信息”，最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的多媒体多信息文件CMSAVF 。

作为本发明实施例的一种变换，当数字化“音频、视频信息被压缩形成的信息流CAVS是本专利申请技术所述软硬件模块以外的目前市场上已有的网络摄像机、视频服务器等设备输出的压缩后的音频、视频信息时，本实施例可以简化为仅由多信息混合器BⅢ2B和多信息文件记录器Ⅲ4组成，省掉图3-2中的数字音频、视频同步采集器Ⅲ1以及与之相连的数字音频接收器Ⅲ11和数字视频接收器Ⅲ12以及数字信息压缩器BⅢ3B模块，此系统的优点是可以使用目前市场上已有的网络摄像机、视频服务器等能够输出压缩后的音频、视频信息的外部音频、视频设备所输出的信息源作为“附加信息块”的载体，从而减少了本申请所述技术设备的软硬件资源开销，即此时可以节约整体成本。

将本发明实施例一或实施例二之多信息调制单元用于多信息同步记录方法有以下几种：

（一）针对单路音、视频信息的一种多媒体多信息同步记录的简单方法：

①当所述的“音频、视频流”只有“视频流”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧视频流V33x、V33x1之间的“附加信息帧S33x”为载体的形式插入；（参见图3-3）。

②当所述的“音频、视频流”只有“音频流”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧音频流A34y、A34y1之间的“附加信息帧S34y”为载体的形式插入；（参见图3-4）。

③当所述的“音频、视频流”同时包含有“视频”和“音频”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧视频流之间或是创建在相邻两帧音频流之间、或者是既创建在相邻两帧视频流之间又同时创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入。

这是最简便直接的一种多媒体多信息同步重现的方法，适合于对信息安全性要求不高的各种场合的信息保存用。

（二）针对单路音、视频信息的一种多媒体多信息同步重现的更安全的方法：

①当“音频、视频流”只有“视频流”时，由“非音频、非视频信息”组成的“附加信息块a” 就嵌入在该“视频流”中与出现“非音频、非视频信息”的时刻相对应的第x帧视频帧内；参见图3-5，V35是承载有“附加信息块a”的“视频流”中某一帧的视频信息集合；

②当“音频、视频流”只有“音频流”时，由“非音频、非视频信息”组成的“附加信息块b” 就嵌入在该“音频流”中与出现“非音频、非视频信息”的时刻相对应的第y帧音频帧内；参见图3-6，图中A36是承载有“附加信息块b”的“音频流”中某一帧的音频信息集合；

③当“音频、视频流”同时包含有“视频流”和“音频流”时，由“非音频、非视频信息”组成的“附加信息块a /b”或嵌入在“视频流”中与出现“非音频、非视频信息”的时刻相对应的某些视频帧内或嵌入在 “音频流”中与出现“非音频、非视频信息”的时刻相对应的某些音频帧内或既嵌入在“视频流”中与出现“非音频、非视频信息”的时刻相对应的某些视频帧内又嵌入在 “音频流”中与出现“非音频、非视频信息”的时刻相对应的某些音频帧内；（参见图3-5、图3-6）。

④根据需要由“非音频、非视频信息”组成的“附加信息块a1、a2／b1、b2”既可以单独的以创建在相邻两帧视频流V37x、V37x1之间的“附加信息帧S37x”为载体的形式插入到已嵌入了“附加信息块a1”的“第X帧视频帧”和嵌入了“附加信息块a2”的“第X+1帧视频帧”构成的“视频流”之间，参见图3-7；图中，V37x、V37x1是承载有“非音频、非视频信息”NAVS的“视频流”中某两帧的全部视频信息集合，S37x是插入到相邻两视频帧之间的承载着“非音频、非视频信息块”的独立于视频帧的“附加信息帧”；

或以创建在相邻两帧音频流A38y、A38y1之间的“附加信息帧S38y” 为载体的形式插入到已嵌入了“附加信息块b1”的“第y帧音频帧”和嵌入了“附加信息块b2”的“第y+1帧音频帧”构成的“音频流”相邻音频帧之间，参见图3-8；图中，A38y、A38y1是承载有“非音频、非视频信息”NAVS的“音频流”中某两帧的全部音频信息集合；S38y是插入到相邻两音频帧之间的承载着“非音频、非视频信息块”的独立于音频帧的“附加信息帧”。

根据需要，可以同时采用上述两种方式，即将 “附加信息块”嵌入在“视频流”的某些视频帧内的同时又以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入到“该视频流”相邻两帧视频流之间；并将“非音频、非视频信息”既作为“附加信息块”嵌入在“音频流”的某些音频帧内又以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入到“该音频流”相邻两帧音频流之间（参见图3-7～图3-8）。

实施例三：

针对多路音、视频信息的一种多媒体多信息同步重现的系统C：

该系统的基本结构同实施例一或实施例二，所不同之处在于，它还有一个与多信息调制单元连接的数据采集单元，所述数据采集单元由采集视频信息的部件Ⅰ（参见图1）和采集音频信息的部件Ⅱ（参见图2）组成；所述采集视频信息的部件Ⅰ包括：

h台模拟视频摄像机Ⅰ11、Ⅰ12、……、Ⅰ1h或k台数字视频摄像机Ⅰ221、Ⅰ222、……、Ⅰ22k，用于进行视频监视并记录提供现场的视频信息；

h个视频数字化采集器或模块Ⅰ211、Ⅰ212、……、Ⅰ21h，该h个视频数字化采集器分别与h台模拟视频摄像机对应连接，用于将模拟视频摄像机采集到的模拟视频信息分别转换成数字视频信息；

视频数字混合器或模块Ⅰ3，该视频数字混合器Ⅰ3分别与h个视频数字化采集器或模块和k台数字视频摄像机连接，用于将h+k个输入通道的数字视频信息转换成单一通道的数字视频信息CVS输出；上述h、k的取值范围是：h=0，1，2，……，24，k=0，1，2，……，24，h+k=1，2，3，……24；

所述数据采集单元之采集音频信息的部件Ⅱ包括：

m只模拟音频拾音器Ⅱ11、Ⅱ12、……、Ⅱ1m或n只数字音频拾音器Ⅱ31、Ⅱ32、……、Ⅱ3n，用于进行音频监听并记录现场的音频信号，m、n的取值范围是：m=0，1，2，……，24，n=0，1，2，……，24，m+n=1，2，3，……24；

模拟音频信号混合器Ⅱ2，用于把m通道的模拟音频拾音器的输出信号混合成单一通道的模拟音频信号HAS的模拟音频信号混合电路；

音频数字化采集器或模块Ⅱ30，用于将m个模拟音频拾音器采集的m通道模拟音频信息经混合成单一通道的模拟音频信号HAS的模拟音频信号换成数字音频信息；

音频数字混合器或模块Ⅱ4，该音频数字混合器或模块Ⅱ4分别与音频数字化采集器或模块Ⅱ30和n台数字音频拾音器Ⅱ31、Ⅱ32、……、Ⅱ3n连接，用于将m+n个输入通道的数字音频信息转换成单一通道的数字音频信息DAS输出；上述m、n的取值范围是：m=0，1，2，……，24，n=0，1，2，……，24，m+n=1，2，3，……24。

通过采集视频信息的部件Ⅰ对于多路视频采用在录制前通过“视频数字混合器”把所有的视频信息合成为单路的视频信息CVS；

对于多路音频采用在录制前通过Ⅱ2“模拟音频信号混合器”把所有的模拟音频信息合成为单路的模拟音频信息HAS，经Ⅱ30“音频数字化采集器”后再与来自“数字音频拾音器Ⅱ3n”的数字音频信息通过Ⅱ4“数字音频混合器”使其变成单路的数字音频信息DAS；

然后再采用实施例一或实施例二系统的“多信息调制单元”把一些“非音频、非视频信息”嵌入到与这些具有关联关系的信息出现的时间相对应的“音频、视频流”中，然后再通过专用的同步重现单元Ⅳ来同步再现出来。

作为本发明实施例的一种变换，所述信息调制单元是一种能使其产生的多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF中的附加信息成为一种具有一定密级的加了密码的信息流的某些加密能力之软、硬件装置。

为保证信息的安全可靠，增加多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF的存储和管理的安全性；所述的同步重现单元Ⅳ是具有以下功能的装置：

①是专用的多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF重现回放软件或硬件设备，即：多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF专用播放器，只有采用本专利技术申请所述的专有技术才能确保其具有实现完整的数据信息重现与同步的效果；

②该多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF专用播放器只提供与重现回放相关的功能，不提供篡改等编辑功能；

③该多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF专用播放器具有使用跟踪功能，实现审核播放操作者权限和记录操作者信息的手段，防止未获得授权的人随意地使用和震慑非法使用人，从而增加多媒体多信息音频、视频流CMSAV多媒体多信息文件CMSAVF的存储和管理的安全性。

作为本发明实施例的一种变换，所述的系统硬件平台Ⅴ，除了能应用于利用多个音频流和视频流实时地制作成可携带与这些音频流、视频流出现的时刻有相对固定的时间差值的非音频流、非视频流信息的可同步重现的多媒体多信息文件CMSAVF外，还能利用普通的多媒体文件制作成携带有“该原多媒体文件”已有信息之外的用户提供的图片、图像、文字和声音等附加信息的、具有对附加信息进行安全保密功能的新的多媒体多信息文件CMSAVF，并使该新的多媒体多信息文件CMSAVF让通用的多媒体播放器看来仍然是之前格式的音频、视频流或其文件，也就是说利用通用的多媒体播放器播放多媒体多信息文件CMSAVF时，所有的“附加信息”是不会被展现的，只有利用本发明的同步重现单元Ⅳ或/和系统软硬件平台Ⅴ才能重现相关的“附加信息”。

Claims (4)

1.一种多媒体多信息同步重现的系统，其特征在于：该系统是实施一种多媒体信息同步重现的方法的系统，该系统包括多信息调制单元，多信息同步重现单元即多信息解调单元（Ⅳ），系统的硬件平台（Ⅴ）；

所述多信息调制单元是用于将具有关联关系的多个相关信息合并在一起的部件，即将“非音频、非视频信息”插入到“音频、视频流或其文件”中，形成多媒体多信息音频、视频流CMSAV或其多媒体多信息文件CMSAVF；

所述多信息同步重现单元（Ⅳ） 是将承载有“非音频、非视频信息”的 “多媒体多信息文件CMSAVF”经过“多信息文件解调”后，同步重现回放出来的部件；

所述系统的硬件平台（Ⅴ）是用于产生“多媒体多信息文件CMSAVF”和还原“多媒体多信息文件CMSAVF”中存在的各种信息的调制解调器的硬件平台，所述系统的硬件平台（Ⅴ）包括了可产生“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”所需的全部部件；

此平台包括以兼容于x86系列CPU为中央处理器的通用PC电脑、以兼容于ARM系列MCU为中央控制器的平板电脑及目前常见的智能手机之类移动终端、专用于运行产生 “多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”时所需的全部部件；此处的部件包括硬件设备和嵌入在硬件设备中的软件；

所述系统的硬件平台包括硬件平台的核心模块（Ⅴ1）、硬件平台的接口底板（Ⅴ2）；

硬件平台的核心模块（Ⅴ1）是能够完成数据处理的软硬件的集合，一种是以x86或与其兼容的CPU为中央处理器的PC电脑系统，另一种是以ARM或与其兼容的微控制器MCU为核心的嵌入式平台、移动终端设备、平板电脑、智能电视、智能手机，专用于产生“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”时所需的全部部件；

硬件平台的接口底板（Ⅴ2）是为硬件平台的核心模块（Ⅴ1）提供信号输入、输出以及联机所需的各种服务的接口设备；

所述硬件平台的核心模块（Ⅴ1）包括：

核心模块上的各种总线（Ⅴ10），用于让CPU或MCU或DSP能够获得运行时所需的数据和访问与底板连接的所有设备的公共通道；

中央处理器CPU或微型控制器MCU(Ⅴ11），采用“x86系列或与其兼容的中央处理器CPU”或“ARM系列或与其兼容的微型控制器MCU”，用于运行产生“多媒体多信息文件CMSAVF文件”和播放“多媒体多信息文件CMSAVF”所需的全部软件；

数字信号处理器DSP（Ⅴ12）是为了加快数据处理速度而根据需要添加的部件；

大规模可编程逻辑电路器件FPGA或CPLD（Ⅴ13）用于产生专用的硬件电路或代替一些通用的硬件电路，协助CPU或MCU工作，加快系统运行速度，降低软硬件开销；

程序存储器（Ⅴ14）用于保存产生“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”所需的全部软件的硬件载体 ；

动态数据存储器（Ⅴ15），在软件运行过程中用于提供数据缓冲区和动态或临时的数据存储空间；

中央处理器CPU或微型控制器MCU（Ⅴ11）、数字信号处理器DSP（Ⅴ12）、大规模可编程逻辑电路器件FPGA或CPLD（Ⅴ13）、程序存储器（Ⅴ14）和动态数据存储器（Ⅴ15）之间通过各种总线（Ⅴ10）相互连接；

硬件平台的接口底板（Ⅴ2）是软硬件平台的接口模块或功能模块，用于获取“音频、视频流”和“非音频、视频信息”并形成让通用的多媒体播放器看来仍然是之前格式的音频、视频文件的“多媒体多信息文件CMSAVF”的 多信息调制单元和播放“多媒体多信息文件CMSAVF”的多信息同步重现单元（Ⅳ）所需的全部信号的输出、输入接口电路及连接器和工作电源；

所述硬件平台的接口底板（Ⅴ2）包括：

模拟视频信号输入接口模块（Ⅴ20）：是用于把模拟视频数据送到核心板（Ⅴ1）的硬件接口；

数字视频信号输入接口模块（Ⅴ21）：是用于把数字视频数据送到核心板（Ⅴ1）的软、硬件接口；

模拟音频信号输入接口模块（Ⅴ22）：是用于把模拟音频信号送到核心板（Ⅴ1）的硬件接口；

数字音频信号输入接口模块（Ⅴ23）：是用于把数字音频数据送到核心板（Ⅴ1）的软、硬件接口；

非音频、非视频信息的输入接口模块（Ⅴ24）：是让核心板获得非音频、非视频信号的软硬件接口；

视频信息输出接口（Ⅴ25）：是播放“多媒体多信息文件CMSAVF”时产生的视频信息的输出接口；

音频信息输出接口（Ⅴ26）：是播放“多媒体多信息文件CMSAVF”时产生的音频信息的输出接口；

非音频、非视频信息的输出接口（Ⅴ27）：是播放“多媒体多信息文件CMSAVF”时产生的非音频、非视频信息的输出接口；

键盘、指示灯等人机界面接口模块（Ⅴ28）：是运行产生“多媒体多信息文件CMSAVF”和播放“多媒体多信息文件CMSAVF”为操作人服务而设置的必需的键盘、指示灯接口及其处理模块；

联机通讯接口模块（Ⅴ29）：是用于多媒体多信息同步重现的系统与外界其它系统或设备进行连接的软硬件接口；

大容量存储器（Ⅴ30）：用于存储“多媒体多信息文件”CMSAVF和一些软件程序文件及为软件运行时提供必须的虚拟内存而必需附加的外部存储器硬件，包括电脑硬盘、固态存储器、USB磁盘、SD卡或TF卡之中的一种或多种组合；

电源适配器（Ⅴ31）：用于为整个硬件平台提供其运行时所需的全部电能；

多信息调制单元和多信息同步重现单元（Ⅳ）通过所述硬件平台的接口底板（Ⅴ2）与硬件平台的核心模块（Ⅴ1）连接，多信息调制单元和多信息同步重现单元通过所述硬件平台的接口底板与硬件平台的核心模块，实现让多信息调制单元把具有关联关系的多个相关文件或多种信息流合并在一起形成多媒体多信息音频、视频流CMSAV和/或多媒体多信息文件CMSAVF并能够让多信息同步重现单元来同步再现出多媒体多信息音频、视频流CMSAV和/或多媒体多信息文件CMSAVF所承载的部分信息或全部信息；

所述多信息调制单元是多信息调制单元A或是多信息调制单元B，该多信息调制单元A（ⅢA）包括顺次连接的数字音频、视频同步采集器（Ⅲ1）、多信息混合器A（Ⅲ2A）、数字信息压缩器A(Ⅲ3A)和多信息文件记录器(Ⅲ4)，以及与数字音频、视频同步采集器（Ⅲ1）相连接的数字音频接收器（Ⅲ11）和数字视频接收器（Ⅲ12），与多信息混合器A（Ⅲ2A）相连接的非实时信息NRS接收器和实时非音频、非视频信息RNAVS接收器；用于把同步采集到的数字化“音频、视频信息”AVS先通过“多信息混合器A（Ⅲ2A）”插入“非音频、非视频信息”，形成对AVS添加了非音频、非视频信息后形成的多信息音频、视频流MSAV的信息流，然后再送“数字信息压缩器A(Ⅲ3A)”进行压缩处理使之最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的多媒体多信息文件CMSAVF；

上述数字音频接收器（Ⅲ11）是用于接收来自音频数字混合器（Ⅱ4）的单一通道的数字音频信息DAS的电子信息接口，通过此接口可以获得传输到该接口的数字音频信息DAS；

上述数字视频接收器（Ⅲ12）是用于接收来自视频数字混合器（Ⅰ3）的单一通道数字视频信息CVS的电子信息接口，通过此接口可以获得传输到该接口的数字视频信息CVS；

所述非实时信息NRS接收器（Ⅲ21）用于接收需要用于混合进音频、视频信息流中的非实时信息NRS的电子信息接口，通过此接口可以获得传输到该接口的非实时信息NRS；

实时非音频、非视频信息接收器（Ⅲ22）用于接收需要用于混合进音频、视频信息流中的实时非音频、非视频信息RNAVS的电子信息接口，通过此接口可以获得传输到该接口的实时非音频、非视频信息RNAVS；

数字音频、视频同步采集器（Ⅲ1）是一种用于把数字音频数据DAS和数字视频信息CVS进行同步采集并使其中的音频、视频信息形成一种具有固定时间关系的音频视频信息流AVS的软硬件信号处理模块；

多信息混合器A（Ⅲ2A）是一种能够将图形、图像、声音和文字信息混合在一起的软硬件处理模块，即是将“非音频、视频信息”的非实时信息NRS和实时非音频、非视频信息RNAVS插入到数字音频、视频同步采集器（Ⅲ1）输出的音频、视频流AVS 或其文件中，并使其形成让通用的多媒体播放器仍然可以播放的音频、视频流MSAV或其文件的一种信息处理模块；

数字信息压缩器A（Ⅲ3A）是用于把多信息混合器A（Ⅲ2A）输出的承载有“非音频、非视频信息”的“多信息音频、视频流”MSAV转换成符合某些音频、视频压缩标准要求的包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV”；

多信息文件记录器(Ⅲ4)是用于存放多媒体多信息文件CMSAVF的载体；是指具有能以电、磁、光之一或任意混合的形式为媒介实现对电子文件进行记录的功能的软件或/和硬件的一种电子信息记录设备；用于把经过数字信息压缩器A（Ⅲ3A）形成的只有单一通道的、包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV” 的多媒体多信息文件CMSAVF以电子文件的形式记录下来；

所述的非实时信息NRS是指与承载NRS的载体的时间进程无关的非音频、非视频信息，即理论上可以嵌入到其载体的任意位置都不会引起时差错误的信息；

所述的实时非音频、非视频信息RNAVS是指与承载RNAVS载体的时间进程有固定的时差关系的非音频、非视频信息；

所述多信息调制单元B（ⅢB）包括顺次连接的数字音频、视频同步采集器（Ⅲ1）、数字信息压缩器B(Ⅲ3B)、 多信息混合器B（Ⅲ2B）和多信息文件记录器(Ⅲ4)，以及同时与数字音频、视频同步采集器（Ⅲ1）相连接的数字音频接收器（Ⅲ11）和数字视频接收器（Ⅲ12）,同时与多信息混合器B（ⅢB）相连接的非实时信息NRS接收器和实时非音频、非视频信息RNAVS接收器；

该多信息调制单元B（ⅢB）把同步采集到的数字化“音频、视频信息”AVS先送给“数字信息压缩器B(Ⅲ3B)”进行压缩处理，形成经压缩后的音频、视频混合信息流CAVS的信息流，然后再通过“多信息混合器B（Ⅲ2B）”插入“非音频、非视频信息”，最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV ；

所述数字音频接收器（Ⅲ11）是用于接收来自音频数字混合器（Ⅱ4）的单一通道的数字音频信息DAS的电子信息接口，通过此接口可以获得传输到该接口的数字音频信息DAS；

所述数字视频接收器（Ⅲ12）是用于接收来自视频数字混合器（Ⅰ3）的单一通道数字视频信息CVS的电子信息接口，通过此接口可以获得传输到该接口的数字视频信息CVS；

所述非实时信息NRS接收器（Ⅲ21）用于接收需要用于混合进音频、视频信息流中的非实时信息NRS的电子信息接口，通过此接口可以获得传输到该接口的非实时信息NRS；

实时非音频、非视频信息接收器（Ⅲ22）用于接收需要用于混合进音频、视频信息流中的实时非音频、非视频信息RNAVS的电子信息接口，通过此接口可以获得传输到该接口的实时非音频、非视频信息RNAVS；

所述数字音频、视频同步采集器（Ⅲ1）是一种用于把数字音频数据DAS和数字视频信息CVS进行同步采集并使其中的音频、视频信息形成一种具有固定时间关系的音频视频信息流AVS的软硬件信号处理模块；

数字信息压缩器B（Ⅲ3B）是把来自数字音频、视频同步采集器（Ⅲ1）输出的音频、视频流AVS进行压缩并使其形成符合某些音频、视频压缩标准要求的压缩了的音频、视频信息流CAVS的数字信息处理器模块；

多信息混合器B（Ⅲ2B）是一种能够将图形、图像、声音和文字信息混合在一起的软硬件处理模块，用于将“非音频、视频信息”的非实时信息NRS和实时非音频、非视频信息RNAVS插入到经数字信息压缩器B（Ⅲ3B）压缩后的音频、视频信息流CAVS中，形成包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV”；

多信息文件记录器(Ⅲ4)是用于存放多媒体多信息文件CMSAVF的载体；是指具有能以电、磁、光之一或任意混合的形式为媒介实现对电子文件进行记录的功能的软件、硬件或两者都包含有的一种电子信息记录设备；用于把经过多信息混合器B（Ⅲ2B）形成的只有单一通道的、包含了“非音频、非视频信息”NRS、RNAVS的“多信息音频、视频流CMSAV” 的“多媒体多信息文件CMSAVF”以电子文件的形式记录下来；所述的非实时信息NRS是指与承载NRS的载体的时间进程无关的非音频、非视频信息，即理论上可以嵌入到其载体的任意位置都不会引起时差错误的信息；

所述的实时非音频、非视频信息RNAVS是指与承载RNAVS载体的时间进程有固定的时差关系的非音频、非视频信息。

2.根据权利要求1所述的一种多媒体多信息同步重现的系统，其特征在于：它还包括一个数据采集单元，所述数据采集单元由采集视频信息的部件（Ⅰ）和采集音频信息的部件（Ⅱ）组成；所述采集视频信息的部件（Ⅰ）包括：

h台模拟视频摄像机（Ⅰ11、Ⅰ12、……、Ⅰ1h）或k台数字视频摄像机（Ⅰ221、Ⅰ222、……、Ⅰ22k），用于进行视频监视并记录提供现场的视频信息；

h个视频数字化采集器或模块（Ⅰ211、Ⅰ212、……、Ⅰ21h），该h个视频数字化采集器分别与h台模拟视频摄像机对应连接，用于将模拟视频摄像机采集到的模拟视频信息分别转换成数字视频信息；

视频数字混合器或模块（Ⅰ3），该视频数字混合器（Ⅰ3）分别与h个视频数字化采集器或模块和k台数字视频摄像机连接，用于将h+k个输入通道的数字视频信息转换成单一通道的数字视频信息CVS输出；上述h、k的取值范围是：h=0，1，2，……，24，k=0，1，2，……，24，h+k=1，2，3，……24；

所述数据采集单元之采集音频信息的部件（Ⅱ）包括：

m只模拟音频拾音器（Ⅱ11、Ⅱ12、……、Ⅱ1m）或n只数字音频拾音器（Ⅱ31、Ⅱ32、……、Ⅱ3n），用于进行音频监听并记录现场的音频信号，m、n的取值范围是：m=0，1，2，……，24，n=0，1，2，……，24，m+n=1，2，3，……24；

模拟音频信号混合器或模块（Ⅱ2），用于把m通道的模拟音频拾音器的输出信号混合成单一通道的模拟音频信号HAS的模拟音频信号混合电路；

音频数字化采集器或模块（Ⅱ30），用于将m个模拟音频拾音器采集的m通道模拟音频信息经混合成单一通道的模拟音频信号HAS的模拟音频信号换成数字音频信息；

音频数字混合器或模块（Ⅱ4），该音频数字混合器或模块（Ⅱ4）分别与音频数字化采集器或模块Ⅱ30和n台数字音频拾音器（Ⅱ31、Ⅱ32、……、Ⅱ3n）连接，用于将m+n个输入通道的数字音频信息转换成单一通道的数字音频信息DAS输出；上述m、n的取值范围是：m=0，1，2，……，24，n=0，1，2，……，24，m+n=1，2，3，……24。

3.根据权利要求1或2所述的一种多媒体多信息同步重现的系统，其特征在于：所述同步重现单元（Ⅳ）包括顺次连接的多信息文件存储器（Ⅳ1）、多信息文件解调器（Ⅳ2）、非音频、非视频信息解调器（Ⅳ41）和音频、视频解码器(Ⅳ42)；

所述多信息文件存储器（Ⅳ1）是用于存放 “多媒体多信息文件CMSAVF”的载体；

所述多信息文件解调器（Ⅳ2）是把记录承载着全部音频视频监控信息的音频、视频信息和实时非音频、视频信息以及非实时信息从多媒体多信息文件CMSAVF文件中分别分离、提取出来并重新形成原始的附加信息块（Ⅳ31）和音频、视频帧（Ⅳ32）的部件；

所述非音频、非视频信息解调器（Ⅳ41）是把从“多媒体多信息文件CMSAVF”中分离出来的附加信息块（Ⅳ31）再次解调以分离出“实时非音频、非视频信息RNAVS”和“非实时信息NRS”的部件；

“非实时信息显示窗（Ⅳ411）”是显示由非音频、非视频信息解调器（Ⅳ41）分离出的“非实时信息NRS”的显示屏幕的镜像缓冲区部件和/或外接的显示装置或此显示装置中显示屏幕的一部分；

“实时非音频、非视频信息同步显示窗（Ⅳ412）”是显示由非音频、非视频信息解调器（Ⅳ41）分离出的“实时非音频、非视频信息RNAVS”的显示屏幕的镜像缓冲区部件和/或外接的显示装置或此显示装置中显示屏幕的一部分；

所述音频、视频解码器(Ⅳ42)是把从“多信息文件解调器”（Ⅳ2）中分离出来的“音频、视频帧”按“音频、视频流信息”的要求进行解压、解码最终得到原始的音频流和视频流的部件；

视频监视器（Ⅳ421）是显示从音频、视频解码器(Ⅳ42)获得的原始视频信息的显示屏幕的镜像缓冲区部件和/或外接视频监视器设备或此视频监视器设备显示屏上的某些窗口的一部分；

音频扩音器（Ⅳ422）是播放从音频、视频解码器(Ⅳ42)获得的原始音频信息的外接的音频扩音设备和喇叭系统。

4.根据权利要求3所述的一种多媒体多信息同步重现的系统，其特征在于：所述信息调制单元是一种能使其产生的多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF中的附加信息成为一种具有一定密级的加了密码的信息流的某些加密能力之软、硬件装置。