CN101963968A - 多媒体辨识系统与方法,及其应用的多媒体客制化方法 - Google Patents

Abstract

一种多媒体辨识系统与方法，及其应用的多媒体客制化方法，其中多媒体辨识系统包含有一数据提取单元、一数据辨识单元、以及一波形特征数据库。数据提取单元是用来提取欲辨识的多媒体数据，而数据辨识单元中包含有一声音波形转换单元、一波形特征提取单元、以及一波形特征比对单元，用来将欲辨识的多媒体数据作声音波形数据的转换、波形特征的提取、波形特征的分析以及识别比对。通过分析多媒体数据的声音波形，来辨识该多媒体数据，并将有关联的多媒体素材提供给使用者作多媒体数据的客制化编辑。

Description

多媒体辨识系统与方法，及其应用的多媒体客制化方法

技术领域

本发明有关于一种多媒体辨识方法与系统，尤其是指一种利用辨识结果来实施多媒体客制化的方法。

背景技术

现今数字音像多媒体的技术蓬勃发展，不管是在信息分享或是娱乐的方面，多媒体数据几乎是必定会被应用来作为信息分享或是娱乐之用。而一般音像多媒体数据，如歌曲音乐录像带，通常都是由唱片公司授权制作公司，将歌曲、字幕、以及影片图片制作成音乐录像带，因此其内容不易客制化，无法满足各种客户因时因地而异的需求。

公知的多媒体数据，如音乐录像带，其显示播放的影片内容、图片内容、字幕和声音等数据都是既定的，使用者要依照其需求作数据内容的修改，便要自行搜寻所需的图片、影片、字幕，并用软件自行拼贴组合，以产生符合需要的多媒体数据，显得有些麻烦。

因此，公知技术确实有可改善之处，并有其改进的必要。

发明内容

有鉴于此，本发明所要解决的技术问题在于，配合自行开发的多媒体数据辨识的机制，自动找寻并提供对应于多媒体数据(如音乐录像带或各式的音乐文件，如古典乐曲、流行歌曲等等)的一些多媒体素材，像是图片、影片、歌曲字幕等给使用者进行后续编辑，让使用者得以依据其需求作多媒体数据的客制化编辑，并依需求作该多媒体数据的应用。

为了达到上述目的，根据本发明的一方案，提供一种多媒体辨识系统，包含有一数据提取单元、一数据辨识单元、以及一波形特征数据库。其中，数据提取单元是用来提取欲辨识之一多媒体数据，像是音乐歌曲或是音乐录像带等，而耦接于数据提取单元的数据辨识单元中又包含有一声音波形转换单元、一波形特征提取单元、以及一波形特征比对单元，用来将欲辨识的多媒体数据作声音波形数据的转换、波形特征的提取、波形特征的分析以及识别比对。另外，波形特征数据库则耦接于数据辨识单元，储存有相对应于至少一已知多媒体数据的至少一已知波形特征。

而根据本发明的另一方案，提供一种多媒体辨识方法，包含有：将一多媒体数据的一声音数据转换成一波形数据，然后提取波形数据的一波形特征，像是波形的峰值位置等，接着再将波形特征与相对应于至少一已知多媒体数据的至少一已知波形特征作相似度的比对，而依据比对的结果即可辨识该多媒体数据。

另外，根据本发明的又一方案，提供一种应用上述多媒体辨识方法的多媒体客制化方法，还包含有：依据已辨识的该多媒体数据，读取相对应于已辨识多媒体数据的至少一多媒体素材，并且传送给使用者作编辑，最后，接收使用者对多媒体数据的编辑，如图片影片变更、声音调整、字幕编辑、文件格式转换，以及传送多媒体数据到使用者指定之电子装置。

通过提取多媒体数据声音波形的特征，来辨识该多媒体数据，并自动找寻与该多媒体数据相关的图片、影片、歌曲字幕等多媒体素材，传送给使用者作编辑，让使用者得以依据其需求作多媒体数据的客制化编辑，并依需求作该多媒体数据的应用。

以上的概述与接下来的实施例，皆是为了进一步说明本发明的技术手段与达成功效，然而所叙述的实施例与图式仅提供参考说明用，并非用来对本发明加以限制。

附图说明

图1为多媒体辨识系统的一种实施例的方框图；

图2为多媒体辨识方法的一种实施例的流程图；

图3为多媒体客制化系统的一种实施例的方框图；

图4为多媒体客制化系统的另一种实施例的方框图；

图5为多媒体客制化系统的又一种实施例的方框图；

图6为多媒体客制化方法的一种实施例的流程图；以及

图7为多媒体客制化方法的另一种实施例的流程图。

【主要附图标记说明】

10  多媒体辨识系统

20  伺服器

30  客户端装置

40  电子装置

11  数据提取单元

13  数据辨识单元

131 声音波形转换单元

133 波形特征提取单元

135 波形特征比对单元

15  波形特征数据库

151 已知波形特征

31  素材数据库

311 多媒体素材

33  数据编辑处理单元

331 文件格式转换单元

333 字幕编辑单元

335 背景编辑单元

337 声音编辑单元

35  数据编辑界面

351 素材购买选项

353 文件传输选项

41  移动电话

43  笔记本计算机

45  个人数字助理

47  台式计算机

51  通信单元

S201～S207  流程图步骤说明

S601～S611  流程图步骤说明

S701～S717  流程图步骤说明

具体实施方式

通过分析比对多媒体数据的声音波形的特征，来辨识该多媒体数据，并找寻与该多媒体数据相关的多媒体素材，提供给使用者作编辑，让使用者得以客制化编辑该多媒体数据，且能够将该多媒体数据作更进一步的应用。

请参阅图1，为多媒体辨识系统10的一种实施例的方框图，包含有一数据提取单元11、一数据辨识单元13、以及一波形特征数据库15。其中数据提取单元11是用来提取欲辨识的多媒体数据，例如当使用者用多媒体播放器播放一多媒体数据(如流行歌曲的音乐影片)时，数据提取单元11便提取该多媒体数据作为欲辨识的多媒体数据，传至数据辨识单元13作后续的辨识动作。

该数据辨识单元13耦接于数据提取单元11，是通过分析比对所接收到的多媒体数据的声音波形，来辨识该多媒体数据，其中包含有一声音波形转换单元131，是用来把多媒体数据的声音数据转换成波形数据(例如将原本是MP3格式的声音数据，转换成WAV格式的波形数据)，并传送到波形特征提取单元133。然后波形特征提取单元133则是用来提取其所接收到的波形数据的一波形特征，像是提取声音波形的峰值在波形数据中的位置等等，并将该多媒体数据的波形特征传送到波形特征比对单元135。

而波形特征比对单元135接收到从波形特征提取单元133传来的该波形特征后，便从波形特征数据库15中读取相对应于至少一已知多媒体数据的至少一已知波形特征151，并将该些已知波形特征151一一与该波形特征作相似度比较，判断出最相似者，即可辨识该多媒体数据。相似度比较的方式可以是计算已知波形特征151与欲辨识的波形特征之间的汉明距离(Hamming distance)，找出与欲辨识的波形特征的汉明距离最小的已知波形特征151，而其所对应的已知多媒体数据即是辨识的结果。

汉明距离(Hamming distance)代表的是两等长字元串列所对应位置的字元中，不同字元的个数，因此若汉明距离为0，代表两等长字元串列完全相同，而若汉明距离为2，则代表两等长字元串列中，有二个对应位置的字元不同，依此类推。所以汉明距离越小，即代表两等长字元串列越相似。

请参阅图2，为多媒体辨识方法的一种实施例的流程图，配合图1作说明，步骤包含有：声音波形转换单元131将一多媒体数据(例如流行歌曲的音乐录像带等有固定声音数据的多媒体数据)的一声音数据转换成一波形数据，如步骤S201，并将波形数据传送到波形特征提取单元133。接着波形特征提取单元133提取波形数据的一波形特征，如步骤S203，像是波形峰值的位置等，并将波形特征传送到波形特征比对单元135。

接着，波形特征比对单元135便从波形特征数据库15中读取相对应于至少一已知多媒体数据的至少一已知波形特征151，并将该些已知波形特征151一一与波形特征作比对，如步骤S205，而比对的方式可以是计算该波形特征与各个已知波形特征151之间的汉明距离等。最后，数据辨识单元13就依据波形特征比对单元135的比对结果，来辨识多媒体数据，如步骤S207，如判断该多媒体数据，相同于与该波形特征的汉明距离最小的已知波形特征151，所对应的已知多媒体数据。

举例来讲，当多媒体辨识系统10接收到的欲辨识的多媒体数据，为歌手伍佰的流行歌曲“你是我的花朵”的音乐录像带，其辨识的方式就是先利用声音波形转换单元131将该歌曲开头一段长度(比如说30秒)的声音数据转换成WAV文件(波形数据)，以准备进行波形特征的提取。

接着通过波形特征提取单元133，提取出该段WAV文件的波形特征，例如说，将该波形数据分成四个区块，把各个区块波形最大值的位置记录下来，并转换成一数字序列以进行比对。然后再利用波形特征比对单元135，将带鉴定的声音波形特征的数字序列，与波形特征数据库15中，已经建档的各个已知多媒体文件的已知波形特征151的数字序列，进行汉明运算，计算出其间的汉明距离。

算出欲辨识的波形特征与各个已知波形特征151的汉明距离后，多媒体辨识系统10即会得知该欲辨识的波形特征，与建档于波形特征数据库15中的音乐歌曲“你是我的花朵”的已知波形特征151最为相似，因此便将“你是我的花朵”作为辨识结果来输出，完成音乐录像带的辨识。

请参阅图3，为多媒体客制化的系统的一种实施例的方框图，包含有一伺服器20以及一客户端装置30。其中伺服器20中又包含有一数据辨识单元13、一波形特征数据库15、和一素材数据库31。而客户端装置30可以是移动电话、计算机、PDA等等，其中包含有一数据提取单元11、一数据编辑处理单元33、以及一数据编辑界面35。

数据提取单元11是用来提取一多媒体数据，像是各式音乐歌曲或其音乐录像带等等，可嵌于多媒体播放器中，当使用者用多媒体播放器播放多媒体数据时，便将其传送到数据辨识单元13作多媒体数据的分析、比对和辨识。波形特征数据库15中存有至少一已知波形特征151，用来让数据辨识单元13作读取以及比对。素材数据库31中存有各式多媒体素材311，像是图片、影片、字幕、标题等等，而素材数据库31接收到数据辨识单元13传送来而的辨识结果后，便依照辨识结果传送与已辨识多媒体数据相关的多媒体素材311至数据编辑处理单元33，让使用者得以用该些多媒体素材311来编辑多媒体数据。

而使用者可以通过数据编辑界面35传送编辑信号给数据编辑处理单元33，以编辑该多媒体数据，比如说，该多媒体数据为歌曲的音乐录像带，使用者可以在音乐录像带画面中加上生日快乐的字样，并将背景图修改成自己拍摄的照片或影片，或是调整歌曲的声音频率以及去除人声等等。

接着请参阅图4，为多媒体客制化的系统的另一种实施例的方框图，与图3不同的地方在于，图4中的数据编辑处理单元33是存在于伺服器20，以减轻客户端装置30的处理负担，使用者通过数据编辑界面35编辑多媒体数据，而实际上的处理则是交由伺服器20运作。

而在伺服器20所执行的运算处理，如数据辨识单元13所作的多媒体数据的分析辨识，以及数据编辑处理单元33所作的多媒体数据编辑处理，可以利用云端运算(cloud computing)技术来加快处理的速度。

云端运算(cloud computing)是分散式运算技术的一种，其最基本的概念，是将庞大的处理程序自动分拆成无数个较小的子程序，再交由多个处理单元进行个别处理，完成后集合成所需的运算结果，如此一来便可加快执行的速度。

另外再参阅图5，为多媒体客制化的系统的又一种实施例的方框图，包含有一伺服器20、一客户端装置30、以及一电子装置40。其中伺服器20中包含有一波形特征数据库15、一数据辨识单元13、一素材数据库31、一数据编辑处理单元33、以及一通信单元51；而客户端装置30中则包含有一数据提取单元11以及一数据编辑界面35。

客户端装置30的数据提取单元11和数据编辑界面35可以是整合于一多媒体播放器中的软件，当使用者利用该多媒体播放器播放多媒体数据如流行歌曲的音乐录像带时，数据提取单元11便将该多媒体数据传送到伺服器20的数据辨识单元13作分析。数据辨识单元13中包含有一声音波形转换单元131、一波形特征提取单元133、以及一波形特征比对单元135。在伺服器20做完辨识后，便会从素材数据库31中读取并传送与该已辨识的多媒体数据有关的多媒体素材311到客户端装置30，而此时，使用者可通过素材购买选项351来确认购买该些多媒体素材311以进行数据编辑。

通过数据编辑界面35，使用者便可操作编辑多媒体数据，并将编辑信号传送到伺服器20的数据编辑处理单元33作处理。数据编辑处理单元33中包含有一文件格式转换单元331、一字幕编辑单元333、一背景编辑单元335、以及一声音编辑单元337，用来依据使用者的需求，作多媒体数据的编辑处理。

而伺服器20又还包含有一通信单元51，当使用者完成多媒体数据的编辑之后，可以通过数据编辑界面35的一文件传输选项353，来选择把该多媒体数据通过通信单元51传送至一电子装置40，例如一移动电话41、笔记本计算机43、个人数字助理(PDA)45、或是台式计算机47等等。

举例来说，使用者想要祝某个朋友生日快乐，播放了生日快乐歌曲的音乐录像带，数据提取单元11便抓取该音乐录像带，传送到伺服器20作辨识，而伺服器20辨识完毕后，便回传与该音乐录像带有关的多媒体素材311(如一些蛋糕的图片)给使用者，而若使用者决定购买那些多媒体素材311，使用者便可用多媒体素材311来作音乐录像带的编辑(例如将背景图片改成蛋糕图，或是加上祝某某人生日快乐的字样)。在编辑完成后，使用者更可进一步选择通过通信单元51将该编辑后之音乐录像带传送至该朋友的移动电话41，供该朋友观看收藏。

请参阅图6，为应用上述多媒体辨识方法的多媒体客制化方法的一种实施例的流程图，配合图5作说明，步骤包含有：声音波形转换单元131将一多媒体数据(像是各式音乐歌曲等有固定的声音数据的多媒体数据)的一声音数据转换成一波形数据(例如将原本是MP3格式的声音数据，转换成WAV格式的波形数据)，如步骤S601，并将波形数据传送到波形特征提取单元133。接着波形特征提取单元133便提取波形数据的一波形特征，如步骤S603，像是波形峰值波形数据中的位置，并传送波形特征至波形特征比对单元135。

波形特征比对单元135将接收到的波形特征与相对应于至少一已知多媒体数据的至少一已知波形特征151作比对，如步骤S605，比对的方式可以是计算该波形特征与已知波形特征151之间的汉明距离(Hamming distance)，而数据辨识单元13便可依据波形特征比对单元135的比对结果，来辨识该多媒体数据，如步骤S607。

接着依据已辨识的该多媒体数据，伺服器20就从素材数据库31中读取与多媒体数据有关的至少一多媒体素材311，如步骤S609，最后，伺服器20便通过数据编辑界面35接收使用者对该多媒体数据的编辑，如步骤S611，如更改字幕或标题、更改图片、声音音高频率调整、去除人声等等。

请再参阅图7，为应用上述多媒体辨识方法的多媒体客制化方法的另一种实施例的流程图，同样配合图5作说明，步骤包含有：声音波形转换单元131将一多媒体数据(如各式音乐歌曲或音乐录像带)的一声音数据转换成一波形数据，如步骤S701，并将波形数据传送到波形特征提取单元133。接着波形特征提取单元133便提取波形数据的一波形特征，如步骤S703，并传送波形特征至波形特征比对单元135。波形特征比对单元135将接收到之波形特征与相对应于至少一已知多媒体数据的至少一已知波形特征151作比对，如步骤S705，然后数据辨识单元13便可依据波形特征比对单元135的比对结果，来辨识该多媒体数据，如步骤S707。

接着依据已辨识的该多媒体数据，伺服器20就从素材数据库31中读取与多媒体数据有关的至少一多媒体素材311，如步骤S709，并提供一素材购买选项351，让使用者选择，如步骤S711。然后判断使用者是否要购买多媒体素材311，如步骤S713，若判断为是，才接收使用者对多媒体数据的编辑，如步骤S715，如更改字幕、更改图片、声音频率调整等等。最后在多媒体数据编辑完成后，还进一步传送该多媒体数据给使用者所指定的一电子装置40，如步骤S717。

图7与图6不同的是多了让使用者选择是否购买该些多媒体素材311的机制，要使用者愿意购买，才提供该些多媒体素材311给使用者作编辑应用。另外，还增加了在多媒体数据编辑完成后，使用者可以选择过通信单元51将多媒体数据传送到指定的电子装置40的机制。

综上所述，本发明通过提取多媒体数据声音波形的特征，来辨识该多媒体数据，并自动找寻与该多媒体数据相关的图片、影片、歌曲字幕等多媒体素材，供给使用者作编辑处理，让使用者得以依据其需求作多媒体数据的客制化编辑，并进一步依需求作该多媒体数据的应用。

以上所述为本发明的具体实施例的说明与附图，而本发明的所有权利范围应以下述的权利要求为准，任何在本发明的领域中的普通技术人员，可轻易思及的变化或修饰皆可涵盖在本发明所界定的专利范围之内。

Claims (19)

1.一种多媒体辨识系统，其特征在于，包含有：

一数据提取单元，以提取欲辨识的一多媒体数据；

一数据辨识单元，耦接于该数据提取单元，包含有

一声音波形转换单元，将该多媒体数据的一声音数据，转换成一波形数据；

一波形特征提取单元，耦接于该声音波形转换单元，以提取该波形数据的一波形特征；

一波形特征比对单元，耦接于该波形特征提取单元，以将该波形特征与至少一已知波形特征作比对；以及

一波形特征数据库，耦接于该数据辨识单元，储存有相对应于至少一已知多媒体数据的这些已知波形特征。

2.如权利要求1所述的多媒体辨识系统，其特征在于，该波形特征包含该波形数据的至少一峰值位置。

3.如权利要求1所述的多媒体辨识系统，其特征在于，该波形特征比对单元将该波形特征与该些已知波形特征作比对，计算代表该波形特征的数据与代表该已知波形特征的数据之间的一汉明距离。

4.如权利要求1所述的多媒体辨识系统，其特征在于，该数据辨识单元依据该波形特征比对单元的比对结果，作该多媒体数据的辨识。

5.如权利要求4所述的多媒体辨识系统，其特征在于，依据比对结果作该多媒体数据的辨识，判断该多媒体数据，相同于比对结果相似度最高的该已知波形特征所对应的该已知多媒体数据。

6.如权利要求1所述的多媒体数据辨识系统，其特征在于，该多媒体数据为一音乐歌曲或一音乐录像带。

7.一种多媒体辨识方法，其特征在于，包括有：

将一多媒体数据的一声音数据转换成一波形数据；

提取该波形数据的一波形特征；

将该波形特征与相对应于至少一已知多媒体数据的至少一已知波形特征作比对；以及依据该比对结果辨识该多媒体数据。

8.如权利要求7所述的多媒体辨识方法，其特征在于，该波形特征包含该波形数据的至少一峰值位置。

9.如权利要求7所述的多媒体辨识方法，其特征在于，将该波形特征与该些已知波形特征作比对，计算代表该波形特征的数据与代表该已知波形特征的数据之间的一汉明距离。

10.如权利要求7所述的多媒体辨识方法，其特征在于，依据该比对结果辨识该多媒体数据，判断该多媒体数据相同于比对结果相似度最高的该已知波形特征所对应的该已知多媒体数据。

11.如权利要求7所述的多媒体辨识方法，其特征在于，该多媒体数据为一音乐歌曲或一音乐录像带。

12.一种应用如权利要求7所述的多媒体辨识方法的多媒体客制化方法，其特征在于，还包括有：

依据已辨识的该多媒体数据，读取与该多媒体数据相关的至少一多媒体素材；以及接收使用者对该多媒体数据的编辑。

13.如权利要求12所述的多媒体客制化方法，其特征在于，该多媒体素材包含一影片、一图片、一字幕、以及一标题其中之一，或是其中多种的组合。

14.如权利要求12所述的多媒体客制化方法，其特征在于，接收使用者对该多媒体数据的编辑，包含接收使用者的一文件格式转换、一标题编辑、一字幕编辑、一背景编辑、以及一声音编辑其中之一，或是其中多种的组合。

15.如权利要求14所述的多媒体客制化方法，其特征在于，该声音编辑包含声音音高调整或是去除人声。

16.如权利要求12所述的多媒体客制化方法，其特征在于，还包含有：

接收使用者选择传输该多媒体数据至一电子装置。

17.如权利要求12所述的多媒体客制化方法，其特征在于，还包含有：

传输该多媒体数据至使用者指定的该电子装置。

18.如权利要求12所述的多媒体客制化方法，其特征在于，还包含有：

提供一素材购买选项供使用者选择。

19.如权利要求18所述的多媒体客制化方法，其特征在于，还包含有：

根据该素材购买选项所接收到的使用者的选择，决定是否将该多媒体素材提供给使用者。

Images