CN101640058B

CN101640058B - 多媒体同步方法、播放器以及多媒体数据制作设备

Info

Publication number: CN101640058B
Application number: CN2009101089789A
Authority: CN
Inventors: 王祐凡
Original assignee: Individual
Current assignee: Individual
Priority date: 2009-07-24
Filing date: 2009-07-24
Publication date: 2012-05-23
Anticipated expiration: 2029-07-24
Also published as: CN101640058A; HK1138936A1

Abstract

本发明公开一种多媒体同步方法、播放器以及多媒体数据制作设备。所述多媒体同步方法包括：建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联，所述事件索引或同步文件与音频数据流分处不同的文件中；播放所述音频数据并监测播放的进度是否已到达音频数据流中对应所述事件索引的预定帧位置；在到达音频数据流中对应所述事件索引的预定帧位置时，依据所述关联关系找到对应所述事件索引的所对应的同步文件并进行播放。本发明既能满足多媒体同步特别是电子书数据同步的要求、又易开发及管理。

Description

多媒体同步方法、播放器以及多媒体数据制作设备

技术领域

本发明涉及多媒体领域，特别是涉及多媒体同步方法、播放器以及多媒体数据制作设备。

背景技术

在多媒体播放技术领域中，给用户同时呈现两种以上媒体内容，让用户欣赏丰富多彩的媒体信息，是此技术领域中的重要技术。对应于语音类媒体的播放，则一般需要实现语音与文字或图像的同步。

现有技术语音书的一种同步技术是MP3 Lyrics或Karaoke系统所用的同步技术。在此技术中，要达成如图1所示的声音与文字同步，一般是需要额外产生一个时间数据文件来指定该段音频相关的文字。而该文件内标记了每段文字出现的时间值。换句话说，就是文字以时间轴来跟音频同步。但是，如果这段音频要以原来定义以外的速率播放，文字的同步则必须先经过对上述记录时间值的数据文件中的时间值进行重新运算，再根据新的时间值进行文字同步。

现有技术多媒体的另一种同步技术应用于音频与图像或视频的同步，具体是在播放音频的同时抽取音频特性，然后随着音频的播放来同步与所述音频特性相对应的图像或视频。比如，利用每个音频帧的最大波形斜率数值，来使图像与音频同步。但是，由于音频特性难以抽取，并且在匹配音频特性与图像上精度不高，实际效果并不理想。

由于上述现有技术每种多媒体同步技术效果不甚理想，也没有统一的同步标准，导致目前的多媒体同步技术研发、数据制作工作较为耗时、容易出错。因此，市场上亟待需要提供一种公开制式的多媒体同步技术，既能满足多媒体同步特别是电子书数据同步的要求、又易开发及管理。

发明内容

为解决现有技术多媒体同步技术的研发、数据制作工作较为耗时、容易出错的技术缺陷，本发明提供一种多媒体同步方法、播放器以及多媒体数据制作设备，既能满足多媒体同步特别是电子书数据同步的要求、又易开发及管理。

本发明的一个方面是提供一种多媒体同步方法，包括：建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联，所述事件索引或同步文件与音频数据流分处不同的文件中；播放所述音频数据并监测播放的进度是否已到达音频数据流中对应所述事件索引的预定帧位置；在到达音频数据流中对应所述事件索引的预定帧位置时，依据所述关联关系找到对应所述事件索引的所对应的同步文件并进行播放。

其中，所述同步文件是语音书中与语音同步的文字、图像、视频或声音文件。

其中，建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联的步骤是指：单独建立包含所述事件对应文字、图像、视频或声音的自定义文件，并建立包含所述预定帧的位置信息与对应自定义文件的位置信息的指针。

本发明的另一个方面是提供一种多媒体播放器，包括：音频存储单元，用于存储音频数据；同步文件存储单元，用于存储对应音频数据流中预定帧位置的事件索引，以及与所述事件索引关联的同步文件；播放单元，用于播放所述音频存储单元中存储的音频数据，并监测播放的进度是否已到达同步文件存储单元中对应所述事件索引的预定帧位置，到达时根据所述关联关系调取所述同步文件存储单元中的与所述事件索引关联的所述同步文件并进行播放。

其中，所述多媒体播放器是语音书，所述同步文件是语音书中与语音同步的文字、图像、视频或声音文件。

其中，所述音频存储单元与同步文件存储单元集成为一个存储单元，并且：单独保存包含所述事件对应文字、图像、视频或声音的自定义文件，以及包含所述预定帧的位置信息与对应自定义文件的位置信息的指针。

本发明的又一个方面是提供一种多媒体数据制作设备，包括：录音单元，用于录制语音并转化为音频数据；同步单元，用于建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联，所述事件索引或同步文件与音频数据流分处不同的文件中；储存单元，用于将所述录音单元制作的音频数据与所述同步单元制作的同步文件分别以不同频道保存。

其中，所述同步单元具体是单独制作包含所述事件对应文字、图像、视频或声音的自定义文件，并建立包含所述预定帧的位置信息与对应自定义文件的位置信息的指针。

本发明的有益效果是：区别于现有技术多媒体同步技术采用额外的时间数据文件来指定音频相关的文字的技术，本发明不采用时间数据文件的方式，而是采用建立对应音频数据流中预定帧位置的事件索引的方式，也就是不再以时间值来判断是否播放同步文件，而是采用位置信息来同步，一边播放音频一边判断是否到达需播放同步文件的音频数据预定帧位置。可以理解为本发明以音频数据本身来同步其他数据，以事件索引为桥梁，音频数据以外所有其它的数据都通过“事件”与音频数据流相连接，方法简单并且抓住了音频为主体的同步技术中的关键，可以看作文字、图像、视频或声音没有经过第三方、而是直接“链接”到音频数据上，无论音频数据在播放时速率如何变化，这些文字、图像、视频或声音都能跟紧音频数据播放的节奏，保证及时、准确地同步，而且这些文字、图像、视频或声音可以按需要随意更改而不影响音频数据的播放，也不需要更改音频数据本身，易于开发和实现，避免现有技术同步技术中研发、数据制作工作较为耗时、容易出错的技术缺陷，既能满足多媒体同步特别是电子书数据同步的要求、又易开发及管理。

附图说明

图1是现有技术一种音频数据的示意图；

图2是本发明多媒体同步方法的流程图；

图3是图2中建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联步骤的示意图；

图4是图3步骤中一实施例直接将文字加入事件的示意图；

图5是图3步骤中另一实施例所使用的自定义文件的示意图；

图6是利用图5实施例进行同步播放的示意图；

图7是本发明多媒体播放器的原理框图；

图8是本发明多媒体数据制作设备的原理框图。

具体实施方式

下面结合附图和实施方式对本发明进一步说明。

请参考图2，本发明多媒体同步方法包括以下步骤：

201：建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联，所述事件索引或同步文件与音频数据流分处不同的文件中；

如图3所示，分别建立对应音频数据流中两个预定帧位置的事件索引1和事件索引2，并分别建立所述事件索引1和2与所述事件1、2对应同步文件的关联；

可以通过链接、指针等方式实现事件索引与需同步数据的关联；

202：播放所述音频数据并监测播放的进度是否已到达音频数据流中对应所述事件索引的预定帧位置；

203：在到达音频数据流中对应所述事件索引的预定帧位置时，依据所述关联关系找到对应所述事件索引的所对应的同步文件并进行播放；

当播放到事件索引1或事件索引2，触发同步播放事件的机制；依据链接、指针等方式找到所述事件所对应的文字、图像、视频或其他声音数据并进行播放，这时在听到声音的同时，还可以看到文字、图像和视频。

本发明不采用时间数据文件的方式，而是采用建立对应音频数据流中预定帧位置的事件索引的方式，也就是不再以时间值来判断是否播放同步文件，而是采用位置信息来同步，一边播放音频一边判断是否到达需播放同步文件的音频数据预定帧位置。可以理解为本发明以音频数据本身来同步其他数据，以事件索引为桥梁，音频数据以外所有其它的数据都通过“事件”与音频数据流相连接，方法简单并且抓住了音频为主体的同步技术中的关键，可以看作文字、图像、视频或声音没有经过第三方、而是直接“链接”到音频数据上，无论音频数据在播放时速率如何变化，这些文字、图像、视频或其他声音数据都能跟紧音频数据播放的节奏，保证及时、准确地同步；

而且这些文字、图像、视频或其他声音可以按需要随意更改而不影响音频数据的播放，也不需要更改音频数据本身，易于开发和实现，避免现有技术同步技术中研发、数据制作工作较为耗时、容易出错的技术缺陷，既能满足多媒体同步特别是电子书数据同步的要求、又易开发及管理。

本文中可以将本发明多媒体同步方法称为“ABA”。利用本发明，一个声音数据的时间轴能够携带无数的事件，当ABA在时间轴上遇到一个事件，就会触发该事件，实现在播放声音的同时播放对应事件的数据，即实现同步。以上可知，ABA是通过组合不同类型的数据，实现多项数据的同步融合。

可以了解，ABA是以2个独立的频道分别处理音频及其它同步数据，当事件触发时，ABA就能够持续播放音频而不受影响，本设计可轻松应用于多类播放器，不需要专门设计复杂的播放设备。

具体应用中，所述多媒体同步方法可以是语音书中音频与文字或图像、视频或其他声音数据的同步方法。

在上述步骤中，建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联的步骤是指：

单独建立包含所述事件对应文字、图像、视频或其他声音数据的自定义文件，并建立包含所述预定帧的位置信息与对应自定义文件的位置信息的指针。

参阅图4和图5，比如将“Hello，This is a test message，Goodbye！”文字中的“Hello”和“This is a test message，Goodbye！”分别作为音频数据中的两个事件所对应的两个同步文件，并建立事件索引-指针。所述指针包含所述“Hello”和“This is a test message，Goodbye！”在音频数据流中的位置信息(即指向事件开始的偏置值)，以及包含“Hello”和“This is a test message，Goodbye！”这两个文字在自定义文件中的位置信息的指针。当ABA播放到第1个事件时，同步引擎根据指针监测到播放的进度已到达音频数据流中对应所述事件“Hello”索引的预定帧位置，发出“Hello”的声音的同时，根据指针找到并播放“Hello”文字；当播放到第2个事件时，同理，发出“This is a test message”的声音和播放相应文字；

参阅图6，从播放器的角度看，当播放第1个事件时，ABA激活事件1，并通知播放器从定制文件中读取6个字节，然后播放器向定制文件发出要求。最后就听到了与前面相同的“Hello”的声音，正好是6个字节长度。接下来的工作原理是相同的。

不同于现有技术直接将文字加入事件的方式，本发明在音频数据之外建立所述自定义文件以进行同步，可以获得更好的同样效果，即所有要同步的信息被作为定制文件单独保存在ABA定制文件中。定制文件完全独立于ABA中的音频文件，ABA不是通过音频播放频道，而是通过另一个频道来处理定制文件。

这样的好处显而易见，音频同步开发人员不需要去了解不同的音频频域编码格式然后将文字加入这些编码格式的音频数据，比如不需要了解到底是MP3格式还是RM格式以进行复杂的数据混合处理，只需要制作一个自定义同步文件，而这个文件可以采用多种方式简单地制作，开发人员并不需要知道它是要同步何种格式的音频数据。简而言之，自定义同步文件与需同步的音频数据在制作技术上无关，开发人员可以将时间和精力放在其他更重要的研发方面。本发明可以节约开发成本、易于开发及管理。

对于较大的被同步数据流，自定义文件既可以被分割成许多片段，也可以完整保留。只要有需要，在播放时可以在自定义文件的任何部分获取数据或停止读取数据。比如如果在播放事件发生时不希望播放声音，可以停止读取自定义文件中的数据。

参阅图7，本发明还提供一种基于上述同步技术的多媒体播放器，包括以下元件：

音频存储单元，用于存储音频数据；

同步文件存储单元，用于存储对应音频数据流中预定帧位置的事件索引，以及与所述事件索引关联的同步文件；

播放单元，用于播放所述音频存储单元中存储的音频数据，并监测播放的进度是否已到达同步文件存储单元中对应所述事件索引的预定帧位置，到达时根据所述关联关系调取所述同步文件存储单元中的与所述事件索引关联的所述同步文件并进行播放。

所述多媒体播放器的一个具体应用是语音书，所述同步文件是语音书中与语音同步的文字、图像、视频或声音文件。

所述音频存储单元与同步文件存储单元可以集成为一个存储单元，并且单独保存包含所述事件对应文字、图像、视频或声音的自定义文件，以及包含所述预定帧的位置信息与对应自定义文件的位置信息的指针。

参阅图8，同理，本发明还提供一种基于上述同步技术的多媒体数据制作设备，包括：

录音单元，用于录制语音并转化为音频数据；

同步单元，用于建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联，所述事件索引或同步文件与音频数据流分处不同的文件中；

具体制作时，是在录音单元录制音频数据流时，先分析同步信息将出现的位置，而同步单元工作时，根据同步信息在数据流将出现的位置，另外建立对应音频数据流中预定帧位置的事件索引，这些同步信息可以完全独立于所述音频数据流文件，即不需要在音频数据流中加入事件索引等同步信息；

储存单元，用于将所述录音单元制作的音频数据与所述同步单元制作的同步文件分别以不同频道保存。

相比于现有的技术(如上文提到的MP3Lyrics及Karaoke系统等)，本发明由于ABA的同步架构是以声音出现的帧位置来作索引而产生事件，在将本发明应用于电子书时，整本电子书的架构更易管理。例如要为电子书换上不同的文字、图片时，由于发生事件的帧位置一般是不用改动的，开发者没必要重新作一次针对同步的编辑，大大加快产品开发及维护时间。

本发明ABA的概念相对于MP3 Lyrics或Karaoke系统一类的同步方式更加接近人类的思维模式，不但易于在不同的硬件平台发展，而且方便开发多媒体同步产品的研发人员进行操作。总之，本发明为本技术领域(尤其是语音书之类的应用)提供一个公开、清楚、易懂和加快研发效率的平台。

以上对本发明所提供的一种多媒体同步方法、播放器以及多媒体数据制作设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施方式的说明只是用于帮助理解本发明的方法及其思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种多媒体同步方法，其特征在于，包括：

建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联，所述事件索引或同步文件与音频数据流分处不同的文件中；

播放所述音频数据流并监测播放的进度是否已到达音频数据流中对应所述事件索引的预定帧位置；

在到达音频数据流中对应所述事件索引的预定帧位置时，依据所述关联找到对应所述事件索引的所对应的同步文件并进行播放；

所述同步文件是语音书中与语音同步的文字、图像、视频或声音文件；建立对应音频数据流中预定帧位置的事件索引，并建立所述事件索引与同步文件的关联的步骤是指：

单独建立包含所述事件索引对应文字、图像、视频或声音的自定义文件，并建立包含所述预定帧位置与对应自定义文件的位置信息的指针。

2.一种多媒体数据制作设备，其特征在于，包括：

录音单元，用于录制语音并转化为音频数据；

储存单元，用于将所述录音单元制作的音频数据与所述同步单元制作的同步文件分别以不同频道保存；

所述同步单元具体是单独制作包含所述事件索引对应文字、图像、视频或声音的自定义文件，并建立包含所述预定帧位置与对应自定义文件的位置信息的指针。