CN104869342A - 一种多媒体多信息同步重现的方法及其应用 - Google Patents
一种多媒体多信息同步重现的方法及其应用 Download PDFInfo
- Publication number
- CN104869342A CN104869342A CN201510311512.4A CN201510311512A CN104869342A CN 104869342 A CN104869342 A CN 104869342A CN 201510311512 A CN201510311512 A CN 201510311512A CN 104869342 A CN104869342 A CN 104869342A
- Authority
- CN
- China
- Prior art keywords
- information
- video
- audio
- frame
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
一种多媒体多信息同步重现的方法，该方法是通过“多信息调制单元”把具有关联信息关系的多个相关文件或多种信息流合并在一起，然后再通过专用的能够把多信息同步重现回放出来的播放器来同步再现的方法，该方法的多信息同步记录步骤是通过“多信息调制单元”把“非音频、视频信息”插入到“压缩前或压缩后的音频、视频流或其文件”中，即在必需的“视频帧”或“音频帧”内嵌入一些携带有“非音频、视频信息”的“附加信息块”和/或是在必需的“视频帧”、“音频帧”之间创建或者插入一些携带有“非音频、视频信息”的“附加信息帧”。该方法能将多媒体多信息文件被实时地同时保存在同一个文件中，并保证在查询时和回放时能够高度地同步。
Description
技术领域
本发明涉及一种不同类型信息同步重现的方法，特别是一种多媒体多信息同步重现的方法及其运用。
背景技术
在对同时涉及声音、图像与文字和行踪、行为这些信息在内的多媒体多信息的集合进行存储、回放和检索、查询时，目前需要使用多种软、硬件设备系统以及手段和方法才能达到目的。
一、常见的多媒体多信息集合包括：
（一）、公安部关于机动车驾驶证领、考过程所包含的信息：
1.1、不少于两个通道的实时视频信息；
1.2、考车驾驶室内的实时音频信息；
1.3、监控中心考试员与考生的实时对话信息；
1.4、考车行驶过程的实时位置信息；
1.5、考生考试时所使用的考试车辆即考车的信息；
1.6、负责监考某个考生的考试员的信息；
1.7、正在进行考试的考生信息；
1.8、考生的考试成绩及其评判依据；
1.9、对考生进行扣分评定时必须记录的实时音频和视频信息、考车即时所处位置、当时即时时刻等实时信息。
1.10、其它的国家标准没有明确规定的并在某些考场认为又需要附加的某些信息，如考生报名、学习、考试的过程以下一些信息：
1.101、对报名学习机动车驾驶技能的人员以及驾驶员和其他人员的体检过程进行监督所要记录的信息：
1.102、监督体检过程的音频、视频信息；
1.103、体检人与被体检人的信息；
1.104、体检单位的信息；
1.105、体检结果的信息。
（二）、对机动车的安全、技术性能的检验过程进行监督所要记录的信息：
2.1、监督及年检过程的音频、视频信息；
2.2、机动车年检时需提供的相关信息；
2.3、年检单位及检验员、引车员的信息；
2.4、检验结果的信息。
（三）、各种事故现场的处理需要涉及到的信息：
3.1、现场勘探过程的音频、视频信息；
3.2、勘探、测量人员及产生的现场信息；
3.3、现场处理单位和负责当时现场处理的人员的信息；
3.4、现场处理结果的信息。
（四）、其它各种实时监控过程需要涉及到的一些信息：
4.1、对运钞车、危险物品运输车等执行特种任务的车辆的日常监督、实时跟踪过程产生音频、视频和实时时间、行驶轨迹及相关的调度、管理等信息；
4.2、需要用声音、图像等手段严把产品监督检验过程各相应阶段的相关信息；
4.3、车辆上牌及4S店服务监督时需要管理的各种信息；
4.4、银行业务流程监控过程必须的有关信息；
4.5、为用于作凭证使用的音、像、图片及其对应的所有其它资料。
二、现有多媒体多信息同步重现的方法：
在对同时涉及声音、图像与文字和行踪、行为这些信息在内的多媒体多信息的集合进行存储、回放和检索、查询时，目前是采用下列众多技术进行集成的：
1、通过音频、视频采集与记录系统来对声音、图像进行同步采集与记录；
2、通过电脑数据库系统来对非声音、非图像的信息进行记录；
3、在对多媒体多信息进行朔源时，使用相应声音、图像播放器进行回放或复原的，对非声音、非图像的信息则是通过数据库查询系统进行搜索、查询与显示的，对被监控对象当时所对应的即时时刻所处位置是综合应用数据库查询系统和虚拟技术进行模拟显示和还原的。
三、现有多媒体多信息同步重现的方法的缺点：
（一）在对过程信息进行朔源时，同时须要使用多种没有在时间问题上存在有能够同时一一对应关联的系统作手段，因此不管理论上还是实践中都无法解决回放时声音、图像、图片等信息与对应的非声音、非图像、非图片信息等其它多种信息的同步问题，如：
记录驾驶人驾驶技能考试过程时需要多个信息集文件，当需要重现视频和行驶轨迹时，不同步现象尤为明显突出，只能异步地描绘出来的行驶轨迹与考试车辆实时记录下来的视频信号之间的时间差是不确定的，根本无法控制，这样很容易引起视觉误差，在有评判扣分点时，使观察者认为是一种评判错误，甚至会导致对正确性产生怀疑或纠纷；
在对需要报名学习机动车驾驶技能的人进行报名前的体检时，为了杜绝不正之风、防止弄虚作假和确保公平、公证，新标准规定了不允许在受到车管所民警实时监管下的指定设置在车管所内部的体检机构进行相应的工作，而是让不能受车管所直接干预的具有体检资质的中立医院作为第三方进行体检的，这时为了确保体检结果的真实性并实施有效的过程监督，需要结合音、像信息作佐证，这时就会出现在进行监督检查时重现的这些信息存在明显的时间异步问题：用文字表示的体检结果与体检过程的音、像没有固定的时间关系。
（二）用目前的数据库技术对即时时刻发生的静态信息及动态信息进行存储时，由于接口的通用性和技术的开放性问题，使得其安全性得不到保障，会很容易地被不法份子篡改，从而破坏了信息数据的真实性。
（三）用目前的数据库技术对与时间无关的静态信息及与时间存在着一一对应关系的动态信息进行存储时，分别保存于多个不同类型的文件当中，因此要查找起来就很麻烦，比较费工、费时，若要同步重现就更加困难，有时时差甚至超过了10分钟。
发明内容
本发明的目的在于提供一种多媒体多信息同步重现的方法，以解决已有技术存在的上述问题；利用本发明方法能做到：
①由于多媒体多信息文件被实时地同时保存在同一个文件当中，因此可以保证在查询时和回放时能够高度地得到同步，避免了同一时刻发生的事件和现象不能在同一时刻重现回放的非实时性问题；
②把存储多媒体多信息的多个相关文件数量适当合并在一起，可减少存储空间的占用量；
③优化传统的多媒体多信息文件的存储保存方法，在减少存储空间的同时也提高了篡改信息的难度；
④提高查询多媒体多信息的便利性和速度，减少时间的浪费。
⑤提高多媒体多信息的安全性、保密性，使多媒体多信息文件在流转、复制及查阅过程不易被泄漏、篡改、删除。
为解决上述问题，本发明采用的技术方案是：一种多媒体多信息同步重现的方法，该方法是通过“多信息调制单元”把具有关联信息关系的多个相关文件或多种信息流合并在一起，然后再通过专用的能够把多信息同步重现回放出来的播放器来同步再现的方法，该方法包括以下基本步骤：
A、多信息同步记录步骤：
该步骤是通过 “多信息调制单元”的“多信息混合器”把“非音频、视频信息”插入到“压缩前的音频、视频流”或“压缩后的音频、视频流或其文件”中，即在“压缩前的音频、视频流”或“压缩后的音频、视频流或其文件”中必需的“视频帧”或“音频帧”内嵌入一些携带有“非音频、视频信息”的“附加信息块”和/或是在必需的“视频帧”、“音频帧”之间创建或者插入一些携带有“非音频、视频信息”的“附加信息帧”，最终形成新的符合某种压缩标准要求的音频、视频流CMSAV或其文件CMSAVF；
B、多信息同步重现步骤：
该步骤是通过“多信息同步重现单元” 即 “多媒体多信息解调单元”将承载有“非音频、非视频信息”的表面上看来仍然是符合某种压缩标准要求的音频、视频的“多媒体多信息文件CMSAVF ”经过“多信息文件解调器”后，分别获得“附加信息块”、“音频帧”、“视频帧”共三种信息集合，之后将作为“多媒体流信息”基本单元的“音频帧”、“视频帧”送给“音频、视频解码器或播放器”还原出录制前的音频、视频信息和场景；而对从“多媒体多信息文件CMSAVF”中解调得到的“附加信息块”再次进行相应的“解调”或称为“解码”处理，还原出嵌入到“多媒体多信息文件CMSAVF”中的“非音频、视频信息”。
其进一步技术方案是：所述A、多信息同步记录步骤中，当搭载“非音频、非视频信息”的“流媒体”是多路音频、视频信息时，需要它们能够满足“同步”的要求，对多路音频、视频的同步处理方法是：在A、多信息同步记录步骤之前增加一个A0：“预处理步骤”；
A01、通过数据采集单元的视频预处理单元将多通道的视频信息混合成单一通道的视频信息CVS；
其方法是：同时采集h个通道的模拟视频摄像机信号并将其数字化或k个通道的数字视频摄像机的实时动态视频信号，最后利用“视频数字混合器”把它们合并成只需1个通道就能满足国家标准要求和用户特殊要求的数字视频信号CVS供后级综合处理或简单的存储记录使用；上述h、k的取值范围是：h=0，1，2，……，24，k=0，1，2，……，24，h+k=1，2，3，……24；
A02、通过数据采集单元的音频预处理单元将多通道的音频信息混合成单一通道的音频信息DAS：
其方法是；同时把m个通道来自模拟音频拾音器的实时音频模拟信号通过模拟音频混合电路将其混合成单一通道的模拟音频信号HAS，然后再进行数字化处理并与n个通道数字音频拾音器的实时音频数字信号通过“数字音频混合器”混合成只需1个通道就可以满足国家标准要求和用户特殊要求的单通道数字音频信号DAS，作为“数字音频拾音器”和模拟音频拾音器的信号源，m、n的取值范围是：m＝0，1，2，……，24，n=0，1，2，……，24，m+ n＝1，2，3，……，24。
其更进一步技术方案是：所述A、多信息同步记录步骤中，对单路音频、视频信息的处理方法是：先同步地分别对“音频信息DAS、视频信息CVS”进行数字化采集，获得没有经过压缩的原始数字音频、视频混合信息流AVS的信息流，然后根据不同的同步时差分别采取以下A1或A2两种方法之一种或是同时采用两种方法进行处理：
A1：先把同步采集到的数字化“音频、视频信息”AVS通过“多信息混合器”插入“非音频、非视频信息”，形成对AVS添加了非音频、非视频信息后形成的多信息音频、视频流MSAV的信息流，然后再送“数字信息压缩器”进行压缩处理使之最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的文件CMSAVF；
A2：先对同步采集到的数字化“音频、视频信息”AVS送给“数字信息压缩器”进行压缩处理，形成经压缩后的音频、视频混合信息流CAVS的信息流，然后再通过“多信息混合器”插入“非音频、非视频信息”，最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的文件CMSAVF；
对于不允许太长的延时时间的情况，采用A1方法；
对于允许较长的延时时间的情况，或是采用A2方法，或是采用A1方法，或是同时采用A1方法和A2方法。
其又更进一步技术方案是：当需要附加的“非音频、视频信息”与其出现的实时时间有关时，对于“非音频、视频信息的附加信息”与音频、视频信息同步的处理方法是：将承载着这些“非音频、非视频信息的附加信息”与“音频、视频信息”创建在同一时间轴上具有恒定时差范围的相应的位置上；回放时也在相同的相对时间位置上得到恰当的重现。
其再更进一步技术方案是：在A、多信息同步记录步骤，在A1或A2方式中，通过 “多信息混合器” 将“非音频、非视频信息”以“附加信息块”的形式插入到“压缩前或压缩后的音频、视频流”中在与相应时间同步的“视频帧”或“音频帧”内的具体方式包括以下几种：
①当所述的“音频、视频流”只有“视频流”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入；
②当所述的“音频、视频流”只有“音频流”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入；
③当所述的“音频、视频流”同时包含有“视频”和“音频”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧视频流之间或是创建在相邻两帧音频流之间、或者是既创建在相邻两帧视频流之间又同时创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入。
其再更进一步技术方案或是：在A、多信息同步记录步骤，在A1或A2方式中，通过 “多信息混合器” 将“非音频、非视频信息”插入到“压缩前或压缩后的音频、视频流”中在与相应时间同步的“视频帧”或“音频帧”内的具体方式是，通过 “多信息混合器” 将“非音频、视频信息” 嵌入到“压缩前或压缩后的音频、视频流或其文件”中，即是在“压缩前或压缩后的音频、视频流或其文件”中必需的“视频帧”或“音频帧”内嵌入一些携带有“非音频、视频信息”的“附加信息块”，形成表面上看来是音频、视频的“多信息文件CMSAVF ”；嵌入携带有“非音频、视频信息”的“附加信息块”的方式包括：
①当“音频、视频流”只有“视频流”时，将“非音频、非视频信息”作为“附加信息块”嵌入在该“视频流”中与出现“非音频、非视频信息”的时刻相对应的某些视频帧内；或是将 “附加信息块”嵌入在“视频流”的某些视频帧内的同时又以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入到“该视频流”相邻两帧视频流之间；
②当“音频、视频流”只有“音频流”时，将“非音频、非视频信息”作为“附加信息块”嵌入在该“音频流”中与出现“非音频、非视频信息”的时刻相对应的某些音频帧内；或是将“非音频、非视频信息”既作为“附加信息块”嵌入在“音频流”的某些音频帧内又以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入到“该音频流”相邻两帧音频流之间；
③当“音频、视频流”同时包含有“视频流”和“音频流”时，将“非音频、非视频信息”作为“附加信息块”或采用方式①或采用方式②或同时采用方式①和方式②的方式或嵌入在 “视频流”的某些视频帧内或嵌入在“音频流”的某些音频帧内，或是将 “附加信息块”嵌入在“视频流”的某些视频帧内的同时又以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入到“该视频流”相邻两帧视频流之间；或是将“非音频、非视频信息”既作为“附加信息块”嵌入在“音频流”的某些音频帧内又以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入到“该音频流”相邻两帧音频流之间。
其又再更进一步技术方案是：为确保加载在“音频、视频信息流”中全部信息能够安全可靠，在A、多信息同步记录步骤中，在将“非音频、非视频信息”加载到“音频、视频信息”中之前除采用常见的加密手段对其进行加密之外，还要对“附加信息帧”和/或“附加信息块”进行进一步加密处理，即采用可变的“帧结构”和/或可变的“块地址”，或是采用把同一“附加信息”分拆到多个“附加信息块”和/或多幅“附加信息帧”的方法进行加密处理。
其又再更进一步技术方案或是：在B、多信息同步重现的步骤中，对用于“多信息流或其文件”进行解码的“多信息解调器”的功能限制在只允许“读”“多信息流或其文件”而不提供对“多信息流或其文件”中之前加入的“附加信息”进行“编辑、篡改和再写入”的功能，但对重现、回放的操作者及其它信息则可根据相应标准规定或用户的要求允许进行二次添加到正在被进行“重现、回放”或其它使用的“多信息流或其文件”中，实现对“多信息流或其文件”的启用进行记录等管理功能，在有特殊要求时还允许设置相应的“文件使用权限”来提高加密程度。
相关的另一技术方案是：一种多媒体多信息同步重现的方法的运用，当对“音频、视频流”及附加的“非音频、非视频”等各信息之间没有在时间问题上有同步要求时，采用本发明上述的一种多媒体多信息同步重现的方法，在已有的“音频、视频流”文件中添加某些“附加信息”，使相应的“音频、视频流”文件成为“某些附加信息”的载体；特别地：对于“视频文件”来说，当这个“视频文件”只有“一帧或几帧视频”或“一幅或几幅视频”时，这个文件实际上就是一张或几张照片或称为图片，也就是说，运用本发明一种多媒体多信息同步重现的方法能把“附加信息”嵌入到一张或几张图片之内，使这些图片成为这些“附加信息”的载体。
所述一种多媒体多信息同步重现的方法的运用的进一步技术方案是：它是将本发明一种多媒体多信息同步重现的方法用于网站安全保护的方法，即：采用本发明一种多媒体多信息同步重现的方法，用“音频、视频、图片文件”来表示网页，让网页需要传递的信息全部嵌入到表示此网页的“音频、视频信息流”内，避免目前的恶意软件对它的攻击和破坏。
所述一种多媒体多信息同步重现的方法的运用的进一步技术方案或是：它是将本发明一种多媒体多信息同步重现的方法用于信息储存或传输安全保护的方法，即：采用本发明一种多媒体多信息同步重现的方法，把需要保密的信息都嵌入到一些“音频、视频信息流”或“音频、视频文件”或“图片、图像文件”里面再进行必要的存储或传输。
由于采取以上技术方案，本发明之一种多媒体多信息同步重现的方法与现有技术相比，具有以下特点和有益效果：
1、由于把所有涉及到需要监控的信息都以多媒体多信息文件形式被实时地同时保存在同一个文件当中，因此可以保证在查询时和回放时能够高度地得到同步，避免了同一时刻发生的事件和现象不能在同一时刻重现回放的非实时性问题。
2、优化传统的文件存储方法，提高篡改被存储信息的难度，信息的保密级别较高：
由于本发明专利申请提出的多媒体多信息的存储方法是通过“多信息调制单元”的“多信息混合器”把“非音频、非视频信息”插入到“音频、视频流或其文件”中，即在“音频、视频流或其文件”中嵌入一些携带有“非音频、非视频信息”的“附加信息块”并形成表面上看来仍然是之前格式的音频、视频流或其文件的“多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF”；且嵌入前也经过了预加密处理，没有专用的解调、解码工具和对应的密钥是获取不到“附加信息”的；使被存储信息的公正性和公平性以及信息数据的真实性等得到更好的保护。
3、把存储多媒体多信息的多个相关文件数量适当合并在一起，并可减少存储空间的占用量。
4、提高查询多媒体多信息的便利性和速度，减少时间的浪费。
5、能满足各个不同行业需要，应用范围广：由于本发明之一种多媒体多信息同步重现的方法中，对于多信息同步记录方法有多种，用户可以根据需要采用其中的一种或几种，以满足不同需要；例如：
对于不是特别重要的信息，可以采用本发明实施例一所述：在“音频、视频流或其文件”中相应的“视频帧”或“音频帧”之间插入一些携带有“非音频、非视频信息”的“附加信息帧”形成表面上看来仍然是之前格式的音频、视频流或其文件的“多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF”，这种方法比较简单实用，可以降低相应系统的软硬件资源消耗，提高调制解调的速度。
对于比较重要的信息或是对其公正性或公平性要求高的信息，可以采用本发明实施例二所述方法，通过“多信息混合器”将“非音频、非视频信息”嵌入到“音频、视频流或其文件”中的“音频帧”或和“视频帧”内，即是在“音频、视频流或其文件”中相应的“视频帧”或和“音频帧”内嵌入一些携带有“非音频、非视频信息”的“附加信息块”，形成表面上看来仍然是之前格式的音频、视频流或其文件的“多媒体多信息音频、视频流CMSAV”或“多媒体多信息文件CMSAVF”；且嵌入前也经过了预加密处理，没有专用的解调、解码工具和对应的密钥是获取不到“附加信息”中的任何信息的。
还可以既选择实施例二的方法又选择实施例一的方法，将 “附加信息块”嵌入在“视频流”的某些视频帧内的同时又作为“附加信息帧”插入到“该视频流”相邻两帧视频流之间；或是将“非音频、非视频信息”既作为“附加信息块”嵌入在“音频流”的某些音频帧内又作为“附加信息帧”插入到“该音频流”相邻两帧音频流之间。
即：既将“非音频、非视频信息” 嵌入到“音频、视频流或其文件”中的“音频帧”或/和“视频帧”内，并在形成的“视频帧”或/和“音频帧”之间再插入一些携带有“非音频、非视频信息”的“附加信息帧”从而形成表面上看来仍然是之前格式的音频、视频流或其文件的“多媒体多信息音频、视频流CMSAV”或“多媒体多信息文件CMSAVF”，以提高保密级别。
再有，当搭载“非音频、非视频信息”的“媒体流或其文件”是多路音频、视频信息时，为使它们能够满足“同步”的要求，对多路音频、视频的同步处理方法之前还增加在A、多信息同步记录步骤之前增加一个A0：“预处理步骤”。
当需要附加的“非音频、非视频信息”与其出现的实时时间有关时，对于附加信息与音频、视频同步的处理方法是：承载着这些“非音频、非视频信息”的“附加信息块”就创建在同一时间轴上具有恒定时差范围的相应的位置上；回放时也在相同的时间位置上得到恰当的重现。
因此，本发明方法适用范围广，不仅仅能使不同类型的被监测信息能够同步重现，还具有保密性强的优点，还可作为用于网站安全保护的方法，即：用“音频、视频、图片文件”来表示网页，让网页需要传递的信息全部嵌入到表示此网页的“音频、视频信息流、图片文件”内，避免目前的恶意软件对它的攻击和破坏；还可用于信息传输的安全保护，即：采用本发明方法，把需要保密的信息都嵌入到一些“音频、视频信息流”或“音频、视频文件”里面再进行必要的传输，以保证信息传输的安全，当“附加信息”量不大时，甚至还可以只用一张图片文件来承载这些较少信息量的“附加信息”。
下面，结合附图和实施例对本发明之一种多媒体多信息同步重现的方法及其应用的技术特征作进一步的说明。
附图说明
图1是本发明方法之A0：预处理步骤：将多通道的视频转变成单一通道的视频的处理方法之步骤示意图：
图2是本发明方法之A0：预处理步骤：将多通道的音频转变成单一通道的音频的处理方法示意图；
图3-1～图3-8是本发明之一种多媒体多信息同步重现的方法的多信息同步记录方法示意图；
图3-1是运用“多信息调制单元A”实现多信息同步记录步骤的A1方式之方法示意图，
图3-2是运用“多信息调制单元B”实现多信息同步记录步骤的A2方式之方法示意图；
图3-3是将由“非音频、非视频信息”组成的“附加信息块”以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入到相邻两帧视频流之间的方法示意图；
图3-4是将由“非音频、非视频信息”组成的“附加信息块”以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入到相邻两帧音频流之间的方法示意图；
图3-5是将“非音频、非视频信息”作为“附加信息块”嵌入在该“视频流”的某些视频帧内的方法示意图；
图3-6是将“非音频、非视频信息”作为“附加信息块”嵌入在该“音频流”的某些音频帧内方法示意图；
图3-7是将“非音频、非视频信息”既作为“附加信息块”嵌入在“视频流”的某些视频帧内又作为“附加信息帧”插入到“该视频流”相邻两帧视频流之间的方法示意图；
图3-8是将“非音频、非视频信息”既作为“附加信息块”嵌入在“音频流”的某些音频帧内又作为“附加信息帧”插入到“该音频流”相邻两帧音频流之间的方法示意图；
图4是本发明一种多媒体多信息同步重现的方法的多信息同步重现回放的方法及其软硬件系统结构示意图；
图5是是本发明一种多媒体多信息同步重现的方法软硬件实现平台原理结构示意图。
图1～图5中：
Ⅰ是预处理步骤A0之采集视频信息的部件，
Ⅱ是预处理步骤A0之采集音频信息的部件，
ⅢA是多信息同步记录步骤的多信息调制单元A，ⅢB是多信息同步记录步骤的多信息调制单元B；
Ⅳ是多信息同步重现步骤的“多信息同步重现单元”；
Ⅴ是支持多媒体多信息同步重现的方法的系统硬件平台：
Ⅰ11、Ⅰ12、……、Ⅰ1h-模拟视频摄像机，用于采集模拟视频信号，（h=0，1，2，……，24）；
Ⅰ211、Ⅰ212、……、Ⅰ21h-视频数字化采集器，是把模拟视频信号转换成数字视频信息的模块（h=0，1，2，……，24）；
Ⅰ221、Ⅰ222、……、Ⅰ22k是数字视频摄像机；（k=0，1，……，16，h+k=1，2，……，24），用于采集数字视频信息；
Ⅰ3-视频数字混合器,用于把h+k个输入通道的数字视频信息转换成单一通道数字视频信息CVS输出；
Ⅱ11、Ⅱ12、……、Ⅱ1m-模拟音频拾音器,用于采集模拟音频信息，（m=0,1，2，……，24）；
Ⅱ2-模拟音频信号混合器,是把n路模拟音频信号混合成单路模拟音频信号HAS输出的模拟信号处理模块；
Ⅱ30-音频数字化采集器，是把模拟音频信号转换成数字音频信息的模块；
Ⅱ31、Ⅱ32、……、Ⅱ3n-数字音频拾音器，用于采集数字音频信息，（n=0,1，2，……，24）；
Ⅱ4-音频数字混合器，用于把m+n个输入通道的数字音频信息转换成单一通道数字音频信息DAS输出。
图3-1、图3-2中：
Ⅲ11-“数字音频接收器”，是用于接收数字音频信息DAS并向外提供这些信息的数据缓冲区；
Ⅲ12-“数字视频接收器”，是用于接收数字视频信息CVS并向外提供这些信息的数据缓冲区；
Ⅲ1-“数字音频、视频同步采集器”，是用于同步采集来自 “数字音频接收器”的数字音频信息DAS和来自 “数字视频接收器”的数字视频信息CVS，并形成音频、视频信息流AVS；
Ⅲ21-是非实时信息NRS接收器，并向外提供这些信息的数据缓冲区，
Ⅲ22-是实时非音频、非视频信息RNAVS接收器，并向外提供这些信息的数据缓冲区，
Ⅲ2A-“多信息混合器A”是把“非实时信息NRS”和“实时非音频、非视频信息RNAVS”嵌入到未压缩的“音频、视频流AVS”的数字信息调制器，其输出的信号是已经包含了“非音频、非视频信息”NAVS的“多信息音频、视频流MSAV”；
Ⅲ2B-“多信息混合器B”，是把“非实时信息”NRS和“实时非音频、非视频信息RNAVS”嵌入到压缩后的“音频、视频流CAVS” 中的数字信息调制器，其输出的信号是已经包含了“非音频、非视频信息NAVS”的“多信息音频、视频流CMSAV”；
Ⅲ3A-“数字信息压缩器A”，是把“多信息音频、视频流MSAV”压缩并转换成符合某些音频、视频压缩标准要求的包含了“非音频、非视频信息”NAVS的“多信息音频、视频流CMSAV”；
Ⅲ3B-“数字信息压缩器B”是把来自 “数字音频、视频同步采集器”输出的“音频、视频流AVS” 压缩并转换成符合某些音频、视频压缩标准要求的压缩了的音频、视频信息流CAVS；
Ⅲ4-“文件记录器”是把“多信息音频、视频流CMSAV”以电子文档方式保存到可以读写的电子文件存储器上的功能模块。
图3-3～图3-8：
V33x、V33x1是承载“非音频、非视频信息”NAVS的“视频流”中某相邻两帧的全部视频信息集合；
S33x是插入到V33x、V33x1两帧之间的承载着“非音频、非视频信息块”的独立于视频帧的“附加信息帧”；
A34y、A34y1是承载“非音频、非视频信息”NAVS的“音频流”中某相邻两帧的全部音频信息集合：
S34y是插入到A34y、A34y1两帧之间的承载着“非音频、非视频信息块”的独立于视频帧的“附加信息帧”；
V35是承载有“附加信息块a”的“视频流”中某一帧的视频信息集合；
A36是承载有“附加信息块b”的“音频流”中某一帧的音频信息集合；
V37x、V37x1是承载有“非音频、非视频信息”NAVS的“视频流”中某两帧的全部视频信息集合，
S37x是插入到承载有“附加信息块a1”和“附加信息块a2”两视频帧之间的承载着“非音频、非视频信息块”的独立于视频帧的“附加信息帧”；
A38y、A38y1是承载有“非音频、非视频信息”NAVS的“音频流”中某两帧的全部音频信息集合；
S38y是插入到承载有“附加信息块a1”和“附加信息块a2”两音频帧之间的承载着“非音频、非视频信息块”的独立于音频帧的“附加信息帧”。
图4中：
Ⅳ1-“文件存储器”，是存放电子文件的载体，本专利申请所述的以电子文档方式保存的“多信息音频、视频流CMSAV”文件，即“多媒体多信息文件CMSAVF”就存储在其上；
Ⅳ2-“多信息文件解调器”，是把记录音频、视频帧和附加信息块从多媒体多信息文件CMSAVF中分别分离、提取出来的软硬件模块；
Ⅳ31 -“附加信息块”，是存放从多媒体多信息文件CMSAVF中解调出来的“附加信息块”软件数据存放缓冲区的软硬件模块；
Ⅳ41-“非音频、非视频信息解调器”，是把从附加在多媒体多信息文件CMSAVF中分离出来的“附加信息块”所承载的“非音频、非视频信息”按要求进行解压、解密并还原为调制进“附加信息块”之前原始信息的软硬件模块；
Ⅳ32 -“音频、视频帧”，是存放“多信息文件解调器”从多媒体多信息文件CMSAVF中解调出来的“音频、视频信息”的缓冲区；
Ⅳ42 -“音频、视频解码器”，是把存放在“音频、视频帧”中的“音频、视频信息”按“音频、视频信息流”的要求进行解压、解密和解码的软硬件模块。
图5中：
Ⅴ1-硬件平台的核心模块，图中用虚线框表示；
Ⅴ10-硬件平台的核心模块上的各种总线，
Ⅴ11-中央处理器CPU或微型控制器MCU，
Ⅴ12-数字信号处理器DSP，
Ⅴ13-大规模可编程逻辑电路器件FPGA或CPLD，
Ⅴ14-程序存储器，
Ⅴ15-数据存储器；
Ⅴ2-硬件平台的接口底板，一方面用于接收外部信息并按核心板的要求传送给核心板，另一方面把核心板要传送给外部的信息按照外部相应的接收设备的要求传送出去；
Ⅴ21-模拟视频摄像机接口模块，是可以把模拟视频信息转换成数字视频信息的h路模拟视频摄像机接口模块，
Ⅴ22-是连接具有数字视频信息输出的k路数字视频摄像机接口模块，
Ⅴ23-是连接模拟音频信息的m路模拟音频拾音器接口模块，是可以把m路模拟音频信息转换成一路数字音频信息的m路模拟音频拾音器接口模块，
Ⅴ24-是连接数字音频信息的n路数字音频拾音器接口模块，
Ⅴ25-是向Ⅴ1、Ⅴ2提供工作电源的电源适配器；
Ⅴ26-是非音频、非视频信息连接接口，或是硬件接口和/或软件接口，
Ⅴ27-是人机界面中的键盘、指示灯、显示器接口，或是硬件接口和/或是软件接口，
Ⅴ28-是联机通讯接口，或是硬件接口，或是软件接口，或是同时包含着硬件和软件的接口；
Ⅴ29-是大容量数据存储器，包括但不只局限是目前常用的各种硬盘、固态存储器、存储器阵列、云存储器。
文中缩略语含义是：
CVS-单一通道的数字视频信息流；
HAS-单一通道的模拟音频信息流，
DAS-单一通道的数字音频信息流，
AVS-没有经过压缩的原始数字音频、视频混合信息流，
MSAV-对AVS添加了非音频、非视频信息后形成的多信息音频、视频流，
CAVS-经压缩后的音频、视频混合信息流,
CMSAV-多媒体多信息音频、视频流，是指已经压缩了的单一通道的包含了非音频、非视频信息在内的多信息音频、视频流数据，是已经加了密的、包含了全部信息的数据信息流；
CMSAVF-多媒体多信息文件，是在文件记录器的保存进去或读取出来的保存CMSAV的文件；
RNAVS-实时非音频、非视频信息的统称；
NRS-非实时信息的统称；
NAVS-非音频、非视频信息的统称。
具体实施方式
一种多媒体多信息同步重现的方法，该方法是通过“多信息调制单元”把具有关联信息关系的多个相关文件或多种信息流合并在一起，然后再通过专用的能够把多信息同步重现回放出来的播放器来同步再现的方法，该方法包括以下基本步骤：
A、多信息同步记录步骤：
该步骤是通过 “多信息调制单元”的“多信息混合器”把“非音频、视频信息”插入到“压缩前的音频、视频流”或“压缩后的音频、视频流或其文件”中，即在“压缩前的音频、视频流”或“压缩后的音频、视频流或其文件”中必需的“视频帧”或“音频帧”内嵌入一些携带有“非音频、视频信息”的“附加信息块”和/或是在必需的“视频帧”、“音频帧”之间创建或者插入一些携带有“非音频、视频信息”的“附加信息帧”，最终形成新的符合某种压缩标准要求的音频、视频流CMSAV或其文件CMSAVF；
B、多信息同步重现步骤：
该步骤是通过“多信息同步重现单元” 即 “多媒体多信息解调单元”将承载有“非音频、非视频信息”的表面上看来仍然是符合某种压缩标准要求的音频、视频的“多媒体多信息文件CMSAVF ”经过“多信息文件解调器”后，分别获得“附加信息块”、“音频帧”、“视频帧”共三种信息集合，之后将作为“多媒体流信息”基本单元的“音频帧”、“视频帧”送给“音频、视频解码器或播放器”还原出录制前的音频、视频信息和场景；而对从“多媒体多信息文件CMSAVF”中解调得到的“附加信息块”再次进行相应的“解调”或称为“解码”处理，还原出嵌入到“多媒体多信息文件CMSAVF”中的“非音频、视频信息”。
在A、多信息同步记录步骤中，先同步地分别对“音频、视频信息”进行数字化采集，获得没有经过压缩的原始数字音频、视频混合信息流AVS的信息流，然后根据不同的同步时差或是分别采取以下A1或A2两种方法之一种或是同时采用两种方法：
基本方式一：针对对同步时差要求较高（要求同步时差较小）时的方法，即A1方法：
先把同步采集到的数字化“音频、视频信息AVS ”通过“多信息混合器”插入“非音频、非视频信息”，形成对AVS添加了非音频、非视频信息后形成的多信息音频、视频流MAVS的信息流，然后再送“数字信息压缩器”进行压缩处理使之最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频信息的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的文件CMSAVF；
该方法的关键点是“附加信息块”插入在刚刚同步采集得到的尚未进行压缩处理之前的音频流和或视频流中，之后再进行压缩处理使其形成CMSAV流；具体步骤（参见图3-1）是：
通过 “数字音频、视频同步采集器Ⅲ1”采集来自“数字音频接收器Ⅲ11”的音频流信息DAS和来自 “数字视频接收器Ⅲ12”的数字视频流信息CVS，并形成“数字音频、视频流”AVS信息，在未经过压缩之前就直接地送到了 “多信息混合器AⅢ2A”，使在这里嵌入的 “实时非音频、非视频信息RNAVS”能够在第一时间里被嵌入到相应的AVS中，对于 “非实时信息NRS ”，虽然没有严格的实时性要求，但是 “多信息混合器Ⅲ2A”还是在接收到相应的请求时即时地把它们嵌入到对应请求产生的时刻的AVS中；经过上述处理后获得的“多信息音频视频流MSAV”再通过 “数字信息压缩器Ⅲ3A”,使其最终形成可节约传输带宽和存储空间的压缩了的“多信息音频视频流”CMSAV，最后由文件记录器把CMSAV转化为电子数字文件CMSAVF保存起来，以便交流、复制与存档。
基本方式二：针对同步时差要求不高的方法，即A2方法：
先对同步采集到的数字化“音频、视频信息”AVS送给“数字信息压缩器”进行压缩处理，形成经压缩后的音频、视频混合信息流CAVS的信息流，然后再通过“多信息混合器”插入“非音频、非视频信息”，最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频信息的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的文件CMSAVF；
这个方法的流程图如图3-2所示，其关键点是“附加信息块”嵌入在已进行了压缩处理之后的音频流和或视频流中，之后直接使用“多信息混合器”来形成CMSAV流；其具体步骤是：
通过“数字音频、视频同步采集器Ⅲ1”采集来自“数字音频接收器Ⅲ11”的音频流信息DAS和来自 “数字视频接收器Ⅲ12”的数字视频流信息CVS，并形成“数字音频、视频流”AVS信息，再直接地送到了 “数字信息压缩器Ⅲ3B”进行压缩处理，从而得到CAVS信息流，这里的CAVS也可以直接是本专利申请技术所述软硬件模块以外的目前市场上已有的网络摄像机、视频服务器等设备输出的压缩后的音频、视频信息，这些信息经过 “多信息混合器Ⅲ2B”以便使其在需要时能够嵌入来自Ⅲ22的“实时非音频、非视频信息”RNAVS和来自Ⅲ21的“非实时信息”NRS，从而获得“多信息音频视频流”CMSAV，最后由文件记录器把CMSAV转化为电子数字文件CMSAVF保存起来，以便交流、复制与存档。
此方法的优点是可以使用目前市场上已有的网络摄像机、视频服务器等能够输出压缩后的音频、视频信息的外部音频、视频设备所输出的信息源作为“附加信息块”的载体，从而减少了本申请所述技术设备的软硬件资源开销，即此时可以省掉图3-2中的Ⅲ11、Ⅲ12、Ⅲ2B、Ⅲ2这些模块，节约整体成本。
作为本发明实施例的一种变换，针对同步时差要求不高的信息的插入，除采用A2方式方法外也可以同时或单独采用A1方式所述方法。
根据在A、多信息同步记录步骤中，对“非音频、非视频信息”插入到“音、视频信息流的位置的不同需要所采取的处理方法的不同，又有以下几种不同实施方式。
实施例一：
针对单路音频、视频信息的一种多媒体多信息同步记录的简单方法：
①当所述的“音频、视频流”只有“视频流”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧视频流V33x、V33x1之间的“附加信息帧S33x”为载体的形式插入；（参见图3-3）。
②当所述的“音频、视频流”只有“音频流”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧音频流A34y、A34y1之间的“附加信息帧S34y”为载体的形式插入；（参见图3-4）。
③当所述的“音频、视频流”同时包含有“视频”和“音频”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧视频流之间或是创建在相邻两帧音频流之间、或者是既创建在相邻两帧视频流之间又同时创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入。
这是最简便直接的一种多媒体多信息同步重现的方法，适合各种场合的单一信息保存用。
实施例二：
针对单路音频、视频信息的一种多媒体多信息同步重现的更安全的方法：
①当“音频、视频流”只有“视频流”时，由“非音频、非视频信息”组成的“附加信息块a” 就嵌入在该“视频流”中与出现“非音频、非视频信息”的时刻相对应的第x帧视频帧内；参见图3-5，V35是承载有“附加信息块a”的“视频流”中某一帧的视频信息集合；
②当“音频、视频流”只有“音频流”时，由“非音频、非视频信息”组成的“附加信息块b” 就嵌入在该“音频流”中与出现“非音频、非视频信息”的时刻相对应的第y帧音频帧内；参见图3-6，图中A36是承载有“附加信息块b”的“音频流”中某一帧的音频信息集合；
③当“音频、视频流”同时包含有“视频流”和“音频流”时，由“非音频、非视频信息”组成的“附加信息块a /b”或嵌入在“视频流”中与出现“非音频、非视频信息”的时刻相对应的某些视频帧内或嵌入在 “音频流”中与出现“非音频、非视频信息”的时刻相对应的某些音频帧内或既嵌入在“视频流”中与出现“非音频、非视频信息”的时刻相对应的某些视频帧内中又嵌入在 “音频流”中与出现“非音频、非视频信息”的时刻相对应的某些音频帧内；（参见图3-5、图3-6）。
④根据需要由“非音频、非视频信息”组成的“附加信息块a1、a2/b1、b2”既可以单独的以创建在相邻两帧视频流V37x、V37x1之间的“附加信息帧S37x”为载体的形式插入到已嵌入了“附加信息块a1”的“第X帧视频帧”和嵌入了“附加信息块a2”的“第X+1帧视频帧”构成的“视频流”之间，参见图3-7；图中，V37x、V37x1是承载有“非音频、非视频信息”NAVS的“视频流”中某两帧的全部视频信息集合，S37x是插入到相邻两视频帧之间的承载着“非音频、非视频信息块”的独立于视频帧的“附加信息帧”；
或以创建在相邻两帧音频流A38y、A38y1之间的“附加信息帧S38y” 为载体的形式插入到已嵌入了“附加信息块b1”的“第y帧音频帧”和嵌入了“附加信息块b2”的“第y+1帧音频帧”构成的“音频流”相邻音频帧之间，参见图3-8；图中，A38y、A38y1是承载有“非音频、非视频信息”NAVS的“音频流”中某两帧的全部音频信息集合；S38y是插入到相邻两音频帧之间的承载着“非音频、非视频信息块”的独立于音频帧的“附加信息帧”。
根据需要，可以同时采用上述两种方式，即将 “附加信息块”嵌入在“视频流”的某些视频帧内的同时又以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入到“该视频流”相邻两帧视频流之间；并将“非音频、非视频信息”既作为“附加信息块”嵌入在“音频流”的某些音频帧内又以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入到“该音频流”相邻两帧音频流之间（参见图3-7～图3-8）。
本实施例方法适用用于保存重要信息的地方使用，例如背景技术中提到的（三）、各种事故现场的处理需要涉及到的信息：
3.1、现场勘探过程的音频、视频信息；
3.2、勘探测量产生的现场信息；
3.3、现场处理单位和负责当时现场处理的人员的信息；
3.4、现场处理结果的信息。
（四）、各种实时监控需要涉及到的信息：
4.1、对运钞车、危险物品运输车等执行特种任务的车辆的日常监督、实时跟踪过程产生音频、视频和实时时间、行驶轨迹及相关的调度、管理等信息；
4.2、需要用声音、图像等手段严把产品监督检验过程各相应阶段的相关信息；
4.3、车辆上牌及4S店服务监督；
4.4、为用于作凭证使用的音、像、图片及其对应的所有其它资料；
4.5、银行业务流程监控。
作为本发明实施例一、实施例二所述的一种多媒体多信息同步重现的方法的一种变换，当需要附加的“非音频、视频信息”与其出现的实时时间有关时，对于附加信息与音频、视频同步的处理方法是：承载着这些“非音频、视频信息”的“附加信息”就创建在同一时间轴上具有恒定时差范围的相应的位置上；回放时也在相同的时间位置上得到恰当的重现（参见图3-3～图3-8）。
作为本发明实施例一、实施例二所述的一种多媒体多信息同步重现的方法的又一种变换，为确保加载在“音频、视频信息”中全部信息能够安全可靠，在A、多信息同步记录步骤中，在将“非音频、视频信息”加载到“音频、视频信息”中之前除采用常见的加密手段对其进行加密之外，还要对“附加信息块”进行进一步加密处理，即采用可变的“块结构”，或是采用把同一“附加信息”分拆到多幅“视频帧”或“音频帧”或“附加信息帧”的方法进行加密处理。
作为本发明实施例一、实施例二所述的一种多媒体多信息同步重现的方法的再一种变换，对“多信息文件解调器”的功能限制在只允许“读文件”而不提供对“文件”在读时获得的“附加信息”进行“编辑、篡改和再写入”的功能，对重现、回放的操作者则可根据要求独立地二次添加“附加信息”来对其进行记录，在有特殊要求时还允许设置相应的“文件使用权限”来提高加密程度。
实施例三：
针对多路音频、视频的一种多媒体多信息同步重现的方法：
当搭载“非音频、视频信息”的“媒体流” 是多路音频、多路视频信息时，需要它们能够满足“同步”的要求，对同步处理方法是：在A、多信息同步记录步骤之前增加一个A0：预处理步骤”，使之成为单路的音频、视频信息；
对于多路视频采用在录制前通过“视频数字混合器”把所有的视频信息合成为单路的视频信息CVS，即单一通道的数字视频信息流CVS；
对于多路音频采用在录制前通过 “模拟音频信号混合器Ⅱ2”把所有的音频信息合成为单路的模拟音频信息HAS，经 “音频数字化采集器Ⅱ30”后再与来自“数字音频拾音器Ⅱ3n”的数字音频信息通过 “数字音频混合器Ⅱ4”使其变成单路的数字音频信息DAS，即单一通道的数字音频信息流DAS；
然后再采用实施例一方法或实施例二方法或同时采用实施例一和实施例二的方法把一些“非音频、非视频信息”嵌入到与这些具有关联关系的信息出现的时间相对应的“音频、视频流”中，然后再通过专用的能够把多信息同步重现回放出来的播放器来同步再现出来。
增加的A0：预处理步骤如下：
A01、通过数据采集单元的视频处理单元将多通道的视频信息混合成单一通道的视频信息CVS（参见图1）；
其方法是：同时采集h个通道用于监视的模拟视频摄像机或k个通道用于监视的数字视频摄像机的实时动态视频信号并进行数字化处理，最后合并成只需1个通道就能满足国家标准要求和用户特殊要求的数字视频信号CVS供后级综合处理或简单的存储记录使用；上述h、k的取值范围是：h=0，1，2，……，24，k=0，1，2，……，24，h+k=1，2，3，……24；
A02、通过数据采集单元的音频处理单元将多通道的音频信息混合成单一通道的音频信息DAS（参见图2）：
其方法是；同时把m个通道用于监听的“模拟音频拾音器”输出的实时音频模拟信号或n个通道用于监听的“数字音频拾音器”输出的实时音频数字信号通过电路混合成只需1个通道就可以满足国家标准要求和用户特殊要求的单通道音频信号DAS输出，作为音频数字化采集和模拟音频监听器所需要的信号源，m、n的取值范围是：m＝0，1，2，……，24，n=0，1，2，……，24，m+ n＝1，2，3，……24。
该方法最适合驾驶人考试过程信息的安全记录以及同步再现。
实施例四：
一种多媒体多信息同步重现的方法的运用。
对“音频、视频流”及附加的“非音频、非视频”等各信息之间没有在时间问题上有同步要求时，采用本发明所述的一种多媒体多信息同步重现的方法，在已有的“音频、视频流”或文件中添加某些“附加信息”，使相应的“音频、视频流”或文件成为“某些附加信息”的载体；特别地：对于“视频文件”来说，当这个“视频文件”只有“一帧或几帧视频”或“一幅或几幅视频”时，这个文件实际上就是一张或几张照片或称为图片，也就是说，运用本发明所述的一种多媒体多信息同步重现的方法能把“附加信息”嵌入到一张或几张图片之内，使这些图片成为这些“附加信息”的载体。
具体地运用，包括：将实施例一或实施例二所述的一种多媒体多信息同步重现的方法用于网站安全保护，即：采用实施例一或实施例二所述的一种多媒体多信息同步重现的方法，用“音频、视频、图片文件”来表示网页，让网页需要传递的信息全部嵌入到表示此网页的“音频、视频信息流”或文件内，避免目前的恶意软件对它的攻击和破坏。
或者是将实施例一或实施例二所述的一种多媒体多信息同步重现的方法用于信息传输安全保护，即：采用实施例一或实施例二所述的一种多媒体多信息同步重现的方法，把需要保密的信息都嵌入到一些“音频、视频信息流”或“音频、视频文件或图片、图像文件”里面再进行必要的存储或和传输。
或者是将实施例一或实施例二所述的一种多媒体多信息同步重现的方法用于数字音频、视频广播领域来传输一些定制信息，从而可以节省这些定制信息的传输链路和相应的设备。
Claims (11)
1.一种多媒体多信息同步重现的方法，其特征在于：该方法是通过“多信息调制单元”把具有关联信息关系的多个相关文件或多种信息流合并在一起，然后再通过专用的能够把多信息同步重现回放出来的播放器来同步再现的方法，该方法包括以下基本步骤：
A、多信息同步记录步骤：
该步骤是通过 “多信息调制单元”的“多信息混合器”把“非音频、视频信息”插入到“压缩前的音频、视频流”或“压缩后的音频、视频流或其文件”中，即在“压缩前的音频、视频流”或“压缩后的音频、视频流或其文件”中必需的“视频帧”或“音频帧”内嵌入一些携带有“非音频、视频信息”的“附加信息块”和/或是在必需的“视频帧”、“音频帧”之间创建或者插入一些携带有“非音频、视频信息”的“附加信息帧”，最终形成新的符合某种压缩标准要求的多媒体多信息音频、视频流CMSAV或多媒体多信息文件CMSAVF；
B、多信息同步重现步骤：
该步骤是通过“多信息同步重现单元” 即 “多媒体多信息解调单元”将承载有“非音频、非视频信息”的表面上看来仍然是符合某种压缩标准要求的音频、视频的“多媒体多信息文件CMSAVF ”经过“多信息文件解调器”后，分别获得“附加信息块”、“音频帧”、“视频帧”共三种信息集合，之后将作为“多媒体流信息”基本单元的“音频帧”、“视频帧”送给“音频、视频解码器或播放器”还原出录制前的音频、视频信息和场景；而对从“多媒体多信息文件CMSAVF”中解调得到的“附加信息块”再次进行相应的“解调”或称为“解码”处理，还原出嵌入到“多媒体多信息文件CMSAVF”中的“非音频、视频信息”。
2.根据权利要求1所述的一种多媒体多信息同步重现的方法，其特征在于：所述A、多信息同步记录步骤中，当搭载“非音频、非视频信息”的“流媒体”是多路音频、视频信息时，需要它们能够满足“同步”的要求，对多路音频、视频的同步处理方法是：在A、多信息同步记录步骤之前增加一个A0：“预处理步骤”；
A01、通过数据采集单元的视频预处理单元将多通道的视频信息混合成单一通道的视频信息CVS；
其方法是：同时采集h个通道的模拟视频摄像机信号并将其数字化或k个通道的数字视频摄像机的实时动态视频信号，最后利用“视频数字混合器”把它们合并成只需1个通道就能满足国家标准要求和用户特殊要求的数字视频信号CVS供后级综合处理或简单的存储记录使用；上述h、k的取值范围是：h=0，1，2，……，24，k=0，1，2，……，24，h+k=1，2，3，……24；
A02、通过数据采集单元的音频预处理单元将多通道的音频信息混合成单一通道的音频信息DAS：
其方法是；同时把m个通道来自模拟音频拾音器的实时音频模拟信号通过模拟音频混合电路将其混合成单一通道的模拟音频信号HAS，然后再进行数字化处理并与n个通道数字音频拾音器的实时音频数字信号通过“数字音频混合器”混合成只需1个通道就可以满足国家标准要求和用户特殊要求的单通道数字音频信号DAS，作为“数字音频拾音器”和模拟音频拾音器的信号源，m、n的取值范围是：m=0，1，2，……，24，n=0，1，2，……，24，m+ n=1，2，3，……，24。
3.根据权利要求1或2所述的一种多媒体多信息同步重现的方法，其特征在于：所述A、多信息同步记录步骤中，对单路音频、视频信息的处理方法是：先同步地分别对“音频信息DAS、视频信息CVS”进行数字化采集，获得没有经过压缩的原始数字音频、视频混合信息流AVS的信息流，然后根据不同的同步时差分别采取以下A1或A2两种方法之一种或是同时采用两种方法进行处理：
A1：先把同步采集到的数字化“音频、视频信息”AVS通过“多信息混合器”插入“非音频、非视频信息”，形成对AVS添加了非音频、非视频信息后形成的多信息音频、视频流MSAV的信息流，然后再送“数字信息压缩器”进行压缩处理使之最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的文件CMSAVF；
A2：先对同步采集到的数字化“音频、视频信息”AVS送给“数字信息压缩器”进行压缩处理，形成经压缩后的音频、视频混合信息流CAVS的信息流，然后再通过“多信息混合器”插入“非音频、非视频信息”，最终形成一种能满足某种音频、视频压缩标准要求的承载有非音频、非视频的、以压缩后的形式出现的音频、视频信息流CMSAV或其存放在“文件记录器”的文件CMSAVF；
对于不允许太长的延时时间的情况，采用A1方法；
对于允许较长的延时时间的情况，或是采用A2方法，或是采用A1方法，或是同时采用A1方法和A2方法。
4.根据权利要求3所述的一种多媒体多信息同步重现的方法，其特征在于：当需要附加的“非音频、视频信息”与其出现的实时时间有关时，对于“非音频、视频信息的附加信息”与音频、视频信息同步的处理方法是：将承载着这些“非音频、非视频信息的附加信息”与“音频、视频信息”创建在同一时间轴上具有恒定时差范围的相应的位置上；回放时也在相同的相对时间位置上得到恰当的重现。
5.根据权利要求4所述的一种多媒体多信息同步重现的方法，其特征在于：在A、多信息同步记录步骤，在A1或A2方式中，通过 “多信息混合器” 将“非音频、非视频信息”以“附加信息块”的形式插入到“压缩前或压缩后的音频、视频流”中在与相应时间同步的“视频帧”或“音频帧”内的具体方式包括以下几种：
①当所述的“音频、视频流”只有“视频流”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入；
②当所述的“音频、视频流”只有“音频流”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入；
③当所述的“音频、视频流”同时包含有“视频”和“音频”时，由“非音频、非视频信息”组成的“附加信息块”就以创建在相邻两帧视频流之间或是创建在相邻两帧音频流之间、或者是既创建在相邻两帧视频流之间又同时创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入。
6.根据权利要求4所述的一种多媒体多信息同步重现的方法，其特征在于：在A、多信息同步记录步骤，在A1或A2方式中，通过 “多信息混合器” 将“非音频、非视频信息”插入到“压缩前或压缩后的音频、视频流”中在与相应时间同步的“视频帧”或“音频帧”内的具体方式是，通过 “多信息混合器” 将“非音频、视频信息” 嵌入到“压缩前或压缩后的音频、视频流或其文件”中，即是在“压缩前或压缩后的音频、视频流或其文件”中必需的“视频帧”或“音频帧”内嵌入一些携带有“非音频、视频信息”的“附加信息块”，形成表面上看来是音频、视频的“多信息文件CMSAVF ”；嵌入携带有“非音频、视频信息”的“附加信息块”的方式包括：
①当“音频、视频流”只有“视频流”时，将“非音频、非视频信息”作为“附加信息块”嵌入在该“视频流”中与出现“非音频、非视频信息”的时刻相对应的某些视频帧内；或是将 “附加信息块”嵌入在“视频流”的某些视频帧内的同时又以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入到“该视频流”相邻两帧视频流之间；
②当“音频、视频流”只有“音频流”时，将“非音频、非视频信息”作为“附加信息块”嵌入在该“音频流”中与出现“非音频、非视频信息”的时刻相对应的某些音频帧内；或是将“非音频、非视频信息”既作为“附加信息块”嵌入在“音频流”的某些音频帧内又以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入到“该音频流”相邻两帧音频流之间；
③当“音频、视频流”同时包含有“视频流”和“音频流”时，将“非音频、非视频信息”作为“附加信息块”或采用方式①或采用方式②或同时采用方式①和方式②的方式或嵌入在 “视频流”的某些视频帧内或嵌入在“音频流”的某些音频帧内，或是将 “附加信息块”嵌入在“视频流”的某些视频帧内的同时又以创建在相邻两帧视频流之间的“附加信息帧”为载体的形式插入到“该视频流”相邻两帧视频流之间；或是将“非音频、非视频信息”既作为“附加信息块”嵌入在“音频流”的某些音频帧内又以创建在相邻两帧音频流之间的“附加信息帧”为载体的形式插入到“该音频流”相邻两帧音频流之间。
7.根据权利要求5或6所述一种多媒体多信息同步重现的方法，其特征在于：为确保加载在“音频、视频信息流”中全部信息能够安全可靠，在A、多信息同步记录步骤中，在将“非音频、非视频信息”加载到“音频、视频信息”中之前除采用常见的加密手段对其进行加密之外，还要对“附加信息帧”和/或“附加信息块”进行进一步加密处理，即采用可变的“帧结构”和/或可变的“块地址”，或是采用把同一“附加信息”分拆到多个“附加信息块”和/或多幅“附加信息帧”的方法进行加密处理。
8.根据权利要求7所述一种多媒体多信息同步重现的方法，其特征在于：在B、多信息同步重现的步骤中，对用于“多信息流或其文件”进行解码的“多信息解调器”的功能限制在只允许“读”“多信息流或其文件”而不提供对“多信息流或其文件”中之前加入的“附加信息”进行“编辑、篡改和再写入”的功能，但对重现、回放的操作者及其它信息则可根据相应标准规定或用户的要求允许进行二次添加到正在被进行“重现、回放”或其它使用的“多信息流或其文件”中，实现对“多信息流或其文件”的启用进行记录等管理功能，在有特殊要求时还允许设置相应的“文件使用权限”来提高加密程度。
9.根据权利要求1所述的一种多媒体多信息同步重现的方法的运用，其特征在于：当对“音频、视频流”及附加的“非音频、非视频”等各信息之间没有在时间问题上有同步要求时，采用权利要求1所述的一种多媒体多信息同步重现的方法，在已有的“音频、视频流”文件中添加某些“附加信息”，使相应的“音频、视频流”文件成为“某些附加信息”的载体；特别地：对于“视频文件”来说，当这个“视频文件”只有“一帧或几帧视频”或“一幅或几幅视频”时，这个文件实际上就是一张或几张照片或称为图片，也就是说，运用本发明权利要求1所述的一种多媒体多信息同步重现的方法能把“附加信息”嵌入到一张或几张图片之内，使这些图片成为这些“附加信息”的载体。
10.根据权利要求9所述的一种多媒体多信息同步重现的方法的运用，其特征在于：它是将权利要求1所述的一种多媒体多信息同步重现的方法用于网站安全保护的方法，即：采用权利要求1所述的一种多媒体多信息同步重现的方法，用“音频、视频、图片文件”来表示网页，让网页需要传递的信息全部嵌入到表示此网页的“音频、视频信息流”内，避免目前的恶意软件对它的攻击和破坏。
11.根据权利要求9所述的一种多媒体多信息同步重现的方法的运用，其特征在于：它是将权利要求1所述的一种多媒体多信息同步重现的方法用于信息储存或传输安全保护的方法，即：采用权利要求1所述的一种多媒体多信息同步重现的方法，把需要保密的信息都嵌入到一些“音频、视频信息流”或“音频、视频文件”或“图片、图像文件”里面再进行必要的存储或传输。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510311512.4A CN104869342A (zh) | 2015-06-09 | 2015-06-09 | 一种多媒体多信息同步重现的方法及其应用 |
| PCT/CN2016/076796 WO2016150350A1 (zh) | 2015-03-20 | 2016-03-18 | 一种多媒体多信息同步重现的方法和系统 |
| US15/559,836 US10721517B2 (en) | 2015-03-20 | 2016-03-18 | Method and system for synchronously reproducing multimedia multi-information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510311512.4A CN104869342A (zh) | 2015-06-09 | 2015-06-09 | 一种多媒体多信息同步重现的方法及其应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104869342A true CN104869342A (zh) | 2015-08-26 |
Family
ID=53914818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510311512.4A Pending CN104869342A (zh) | 2015-03-20 | 2015-06-09 | 一种多媒体多信息同步重现的方法及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104869342A (zh) |
Cited By (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354219A (zh) * | 2015-09-28 | 2016-02-24 | 努比亚技术有限公司 | 一种文件编码方法及装置 |
| WO2016150350A1 (zh) * | 2015-03-20 | 2016-09-29 | 柳州桂通科技股份有限公司 | 一种多媒体多信息同步重现的方法和系统 |
| CN107577385A (zh) * | 2015-09-08 | 2018-01-12 | 苹果公司 | 媒体环境中的智能自动化助理 |
| US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
| US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| CN113114967A (zh) * | 2018-01-22 | 2021-07-13 | 美国莱迪思半导体公司 | 多媒体通信桥接器 |
| US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
| US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
| US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
| US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
| US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| CN114501128A (zh) * | 2020-11-12 | 2022-05-13 | 中国移动通信集团浙江有限公司 | 混合多媒体信息流的安全防护方法、篡改检测方法及装置 |
| US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
| US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
| US11467802B2 (en) | 2017-05-11 | 2022-10-11 | Apple Inc. | Maintaining privacy of personal information |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
| US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
| US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
| US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
| US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
| US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
| US11675491B2 (en) | 2019-05-06 | 2023-06-13 | Apple Inc. | User configurable task triggers |
| US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
| US11696060B2 (en) | 2020-07-21 | 2023-07-04 | Apple Inc. | User identification using headphones |
| US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
| US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
| US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
| US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
| US11783815B2 (en) | 2019-03-18 | 2023-10-10 | Apple Inc. | Multimodality in digital assistant systems |
| US11790914B2 (en) | 2019-06-01 | 2023-10-17 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
| US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US11838734B2 (en) | 2020-07-20 | 2023-12-05 | Apple Inc. | Multi-device audio adjustment coordination |
| US11853647B2 (en) | 2015-12-23 | 2023-12-26 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
| US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
| US11893992B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Multi-modal inputs for voice commands |
| US11914848B2 (en) | 2020-05-11 | 2024-02-27 | Apple Inc. | Providing relevant data items based on context |
| US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110090399A1 (en) * | 2009-10-19 | 2011-04-21 | Intergraph Technologies Company | Data Search, Parser, and Synchronization of Video and Telemetry Data |
| CN102056015A (zh) * | 2009-11-04 | 2011-05-11 | 沈阳隆惠科技有限公司 | 一种全景虚拟现实漫游中的流媒体应用方法 |
| CN102090057A (zh) * | 2008-07-15 | 2011-06-08 | 夏普株式会社 | 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统及视听环境控制方法 |
| CN102223487A (zh) * | 2011-07-21 | 2011-10-19 | 杭州海康威视数字技术股份有限公司 | 在视频码流中存储、播放附加信息的方法及其装置 |
-
2015
- 2015-06-09 CN CN201510311512.4A patent/CN104869342A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102090057A (zh) * | 2008-07-15 | 2011-06-08 | 夏普株式会社 | 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制系统及视听环境控制方法 |
| US20110090399A1 (en) * | 2009-10-19 | 2011-04-21 | Intergraph Technologies Company | Data Search, Parser, and Synchronization of Video and Telemetry Data |
| CN102056015A (zh) * | 2009-11-04 | 2011-05-11 | 沈阳隆惠科技有限公司 | 一种全景虚拟现实漫游中的流媒体应用方法 |
| CN102223487A (zh) * | 2011-07-21 | 2011-10-19 | 杭州海康威视数字技术股份有限公司 | 在视频码流中存储、播放附加信息的方法及其装置 |
Cited By (84)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
| US11900936B2 (en) | 2008-10-02 | 2024-02-13 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US11862186B2 (en) | 2013-02-07 | 2024-01-02 | Apple Inc. | Voice trigger for a digital assistant |
| US11636869B2 (en) | 2013-02-07 | 2023-04-25 | Apple Inc. | Voice trigger for a digital assistant |
| US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
| US11557310B2 (en) | 2013-02-07 | 2023-01-17 | Apple Inc. | Voice trigger for a digital assistant |
| US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
| US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US11699448B2 (en) | 2014-05-30 | 2023-07-11 | Apple Inc. | Intelligent assistant for home automation |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11810562B2 (en) | 2014-05-30 | 2023-11-07 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
| US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
| US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11838579B2 (en) | 2014-06-30 | 2023-12-05 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
| US11842734B2 (en) | 2015-03-08 | 2023-12-12 | Apple Inc. | Virtual assistant activation |
| WO2016150350A1 (zh) * | 2015-03-20 | 2016-09-29 | 柳州桂通科技股份有限公司 | 一种多媒体多信息同步重现的方法和系统 |
| US10721517B2 (en) | 2015-03-20 | 2020-07-21 | Liuzhou Guitong Technology Co., Ltd. | Method and system for synchronously reproducing multimedia multi-information |
| US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
| US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
| US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US10956006B2 (en) | 2015-09-08 | 2021-03-23 | Apple Inc. | Intelligent automated assistant in a media environment |
| US11954405B2 (en) | 2015-09-08 | 2024-04-09 | Apple Inc. | Zero latency digital assistant |
| US11550542B2 (en) | 2015-09-08 | 2023-01-10 | Apple Inc. | Zero latency digital assistant |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
| US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
| CN107577385A (zh) * | 2015-09-08 | 2018-01-12 | 苹果公司 | 媒体环境中的智能自动化助理 |
| CN105354219A (zh) * | 2015-09-28 | 2016-02-24 | 努比亚技术有限公司 | 一种文件编码方法及装置 |
| US11809886B2 (en) | 2015-11-06 | 2023-11-07 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
| US11853647B2 (en) | 2015-12-23 | 2023-12-26 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US11657820B2 (en) | 2016-06-10 | 2023-05-23 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11749275B2 (en) | 2016-06-11 | 2023-09-05 | Apple Inc. | Application integration with a digital assistant |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
| US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
| US11467802B2 (en) | 2017-05-11 | 2022-10-11 | Apple Inc. | Maintaining privacy of personal information |
| US11862151B2 (en) | 2017-05-12 | 2024-01-02 | Apple Inc. | Low-latency intelligent automated assistant |
| US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
| US11538469B2 (en) | 2017-05-12 | 2022-12-27 | Apple Inc. | Low-latency intelligent automated assistant |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
| US11837237B2 (en) | 2017-05-12 | 2023-12-05 | Apple Inc. | User-specific acoustic models |
| US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
| US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
| CN113114967A (zh) * | 2018-01-22 | 2021-07-13 | 美国莱迪思半导体公司 | 多媒体通信桥接器 |
| CN113114967B (zh) * | 2018-01-22 | 2024-01-02 | 美国莱迪思半导体公司 | 多媒体通信桥接器 |
| US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
| US11900923B2 (en) | 2018-05-07 | 2024-02-13 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11487364B2 (en) | 2018-05-07 | 2022-11-01 | Apple Inc. | Raise to speak |
| US11907436B2 (en) | 2018-05-07 | 2024-02-20 | Apple Inc. | Raise to speak |
| US11360577B2 (en) | 2018-06-01 | 2022-06-14 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11630525B2 (en) | 2018-06-01 | 2023-04-18 | Apple Inc. | Attention aware virtual assistant dismissal |
| US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
| US11893992B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Multi-modal inputs for voice commands |
| US11783815B2 (en) | 2019-03-18 | 2023-10-10 | Apple Inc. | Multimodality in digital assistant systems |
| US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
| US11675491B2 (en) | 2019-05-06 | 2023-06-13 | Apple Inc. | User configurable task triggers |
| US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
| US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
| US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
| US11790914B2 (en) | 2019-06-01 | 2023-10-17 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
| US11914848B2 (en) | 2020-05-11 | 2024-02-27 | Apple Inc. | Providing relevant data items based on context |
| US11924254B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Digital assistant hardware abstraction |
| US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
| US11838734B2 (en) | 2020-07-20 | 2023-12-05 | Apple Inc. | Multi-device audio adjustment coordination |
| US11750962B2 (en) | 2020-07-21 | 2023-09-05 | Apple Inc. | User identification using headphones |
| US11696060B2 (en) | 2020-07-21 | 2023-07-04 | Apple Inc. | User identification using headphones |
| CN114501128A (zh) * | 2020-11-12 | 2022-05-13 | 中国移动通信集团浙江有限公司 | 混合多媒体信息流的安全防护方法、篡改检测方法及装置 |
| CN114501128B (zh) * | 2020-11-12 | 2023-11-03 | 中国移动通信集团浙江有限公司 | 混合多媒体信息流的安全防护方法、篡改检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104869342A (zh) | 一种多媒体多信息同步重现的方法及其应用 | |
| US10721517B2 (en) | Method and system for synchronously reproducing multimedia multi-information | |
| CN104918016B (zh) | 一种多媒体多信息同步重现的系统 | |
| US8904184B2 (en) | Certification of authenticity of media signals | |
| CN106960164A (zh) | 一种现场固定电子证据的方法及系统 | |
| Song et al. | Integrity verification of the ordered data structures in manipulated video content | |
| CN100386811C (zh) | 信息处理装置、信息记录媒体、信息处理方法和程序 | |
| Babu et al. | Polynomial equation based localization and recognition intelligent vehicles axis using wireless sensor in MANET | |
| Salamh et al. | Drone disrupted denial of service attack (3DOS): towards an incident response and forensic analysis of remotely piloted aerial systems (RPASs) | |
| CN109413116A (zh) | 一种可信的云端身份认证方法及系统 | |
| Gerrard et al. | National CCTV strategy | |
| EP4080437A1 (en) | Duplicate image evidence management system for verifying authenticity and integrity | |
| CN108416870A (zh) | 行车信息记录方法及系统 | |
| CN113704794A (zh) | 电子招投标系统中的投标文件处理方法及装置 | |
| EP3756172B1 (de) | Vorrichtung zur vervielfältigung und sicherung von daten eines fahrtenregistriersystems im schienenverkehr | |
| CN106034224A (zh) | 一种采集、存储驾考信息的系统 | |
| CN113595741B (zh) | 一种基于5g执法记录仪的可信数据链生成系统及方法 | |
| CN106034227B (zh) | 一种同步重现驾考信息的方法及其装置 | |
| Cunha et al. | Peritus Framework: Towards multimedia evidence analysis uniformization in brazilian distributed forensic model | |
| CN114584370A (zh) | 一种服务器数据交互网络安全系统 | |
| CN107563788A (zh) | 共享广告牌的分级方法及服务器 | |
| CN106034226A (zh) | 提高驾考信息安全性并令其能同步重现的方法 | |
| CN106034228A (zh) | 提高驾考信息安全性并令其能同步重现的系统 | |
| Baker et al. | Digital evolution: History, challenges and future directions for the digital and multimedia sciences section | |
| Munasinghe et al. | Video steganography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150826 |
|
| RJ01 | Rejection of invention patent application after publication |