CN104661101A - 针对多媒体数据提供增强现实效果的系统和方法 - Google Patents

Abstract

本发明公开了一种针对多媒体数据提供增强现实效果的方法，以及可实现显示功能的系统。首先求出有关特定多媒体数据的增强现实信息，并将增强现实信息存入储存单元。在多媒体来源播放特定多媒体数据的期间，多媒体捕获设备提供包含多媒体来源的外观的多个拍摄画面。多媒体辨识单元从多个拍摄画面中辨识出识别信息和定位信息，而处理单元再根据识别信息从该储存单元中读取增强现实信息。如此，显示单元在显示多个拍摄画面中一特定拍摄画面时，能同时根据定位信息来显示增强现实信息中一相对应的增强现实图像。

Description

针对多媒体数据提供增强现实效果的系统和方法

技术领域

本发明涉及一种提供增强现实效果的系统和方法，尤其涉及一种针对多媒体数据提供增强现实效果的系统和方法。

背景技术

增强现实(augmented reality,AR)是一种从虚拟现实(virtualreality,VR)的领域中延伸出来的显示技术。虚拟现实创造一个完全的虚拟环境，而无掺杂现实的对象于其中。增强现实主要是将虚拟对象在现实生活中加以具现化，以达成虚实合一的境界。简单来说，增强现实是一种将「现实的环境图像」及「计算机虚拟图像」互相结合的技术，进而在虚拟的媒介中创造出另一个真实，让使用者能亲眼看到自己在实际环境中操作虚拟立体对象的情形。

增强现实的形成须透过显示器、摄影机，以及提供计算机辨认的识别卷标(marker)，这三者的结合才能传达出或接收到所需要的扩增信息。先前技术一般会使用互动卡片来作为识别卷标，根据增强现实的应用及功能不同来设计互动卡片的内容，用户可使用摄影机或手机为媒介来读取互动卡片所载的信息，进而将相对应的增强现实图像迭加到显示器里的现实世界中，亦即显示器会将增强现实的三维图像显示在互动卡片上。为了正确辨识互动卡片的内容，互动卡片的外观和尺寸一般需符合特定条件，例如外型采用矩形、需包含连续边界（一般使用全黑或全白的边框），或边框内的标记图像不能具备旋转性或对称性等，因此会局限了互动卡片的使用范围。

另一种现有增强现实技术采用无标记技术，其预先建立特定静态图片的特征数据库，当在视频画面中侦测到特定静态图片时，即可将相对应的扩增特征迭加到视频画面上。然而，上述两种现有技术皆无法针对多媒体数据提供增强现实效果。

发明内容

有鉴于上述现有技术的问题，本发明的目的在于提供一种针对多媒体数据提供增强现实效果的方法和系統。

为达到上述的目的，本发明公开一种针对多媒体数据提供增强现实效果的系统，其包一多媒体来源，用来提供一多媒体数据；一储存单元，用来储存有关所述多媒体数据的增强现实信息；一多媒体捕获设备，用来撷取所述多媒体来源的多媒体；一多媒体辨识单元，用来从所述多媒体捕获设备所撷取的所述多媒体中辨识出识别信息；一处理单元，用来根据所述识别信息从所述储存单元中读取所述增强现实信息；以及一显示单元，用来在播放所述多媒体数据的期间同时显示所述增强现实信息中一相对应的增强现实图像。

本发明另公开一种针对多媒体数据提供增强现实效果的显示系统，其包含一多媒体捕获设备，用来撷取一多媒体来源的多媒体；一多媒体辨识单元，用来从所述多媒体捕获设备撷取的所述多媒体中辨识出识别信息；一增强现实模块，其包含一储存单元以及一处理单元，其中储存单元用来储存有关所述多媒体数据的增强现实信息，处理单元用来在接收到有关一增强现实运作的一指令时，根据所述识别信息从所述储存单元中读取所述增强现实信息；以及一显示设备，其包含一内存以及一显示单元，其中内存内安装执行所述增强现实运作所需的一软件，显示单元用来在播放所述多媒体数据的期间同时显示所述增强现实信息中一相对应的增强现实图像。

本发明另公开一种针对多媒体数据提供增强现实效果的方法，其包含提供有关一多媒体数据的增强现实信息；在一多媒体来源提供所述多媒体数据的期间，一多媒体撷取所述多媒体来源的多媒体；从所述多媒体来源的所述多媒体中辨识出识别信息；根据所述识别信息来取得所述增强现实信息；以及在所述多媒体来源提供所述多媒体数据的期间，在一显示单元上同时显示所述增强现实信息中一相对应的增强现实图像。

附图说明

图1和图2为本发明实施例中增强现实系统的功能方块图。

图3为本发明实施例中一种针对多媒体数据提供增强现实效果的方法的流程图。

图4为本发明实施例中多媒体来源定位信息的示意图。

图5为本发明实施例中增强现实系统运作时的示意图。

其中，附图标记说明如下：

10        多媒体来源

12        外框

14        屏幕

16        品牌商标

20        显示设备

30        增强现实模块

50        使用者

110～180  步骤

200、300  增强现实系统

220       多媒体捕获设备

230       记忆体

240       显示单元

250       多媒体辨识单元

260       储存单元

270       处理单元

具体实施方式

图1和图2为本发明实施例中增强现实系统200和300的功能方块图。增强现实系统200和300皆包含一多媒体来源10、一多媒体捕获设备220、一显示设备20、一增强现实模块30。其中，多媒体捕获设备220和显示设备20组成一增强现实显示系统，多媒体捕获设备220可设置于显示设备20内或外挂于显示设备20外。显示设备20可为智能型手机、平板计算机或头戴式显示器(head mounteddisplay,HMD)等，显示设备20和增强现实模块30可设置于一显示器内，或为可利用有线或无线方式进行通讯的独立装置。

在图1所示的实施例中，增强现实系统200的显示设备20包含一记忆体230及一显示单元240，而增强现实模块30包含一多媒体辨识单元250、一储存单元260，以及一处理单元270。

在图2所示的实施例中，增强现实系统300的显示设备20包含记忆体230、显示单元240和多媒体辨识单元250，而增强现实模块包含储存单元260和处理单元270。

图3为本发明实施例中一种针对多媒体数据提供增强现实效果的方法的流程图，其包含下列步骤：

步骤110：提供有关特定多媒体数据的增强现实信息；执行步骤120。

步骤120：在多媒体来源10提供特定多媒体数据的期间，撷取多媒体来源10的多媒体；执行步骤130。

步骤130：下达执行增强现实运作的指令；执行步骤140。

步骤140：判断指令是否具有权限；若是，执行步骤150；若否，执行步骤180。

步骤150：接收多媒体来源10的多媒体并从中辨识出定位信息和识别信息；执行步骤160。

步骤160：根据识别信息判断是否有相对应的增强现实信息；若是，执行步骤170；若否，执行步骤180。

步骤170：在多媒体来源10提供特定多媒体数据的期间，根据定位信息来在一显示单元上同时显示增强现实信息中相对应的增强现实画面。

步骤180：显示相对应的通知讯息。

多媒体来源10可包含手持式图像装置、电视机、数字机顶盒、计算机，或投影机等装置，亦可另包含相关外围显示设备，可在内建屏幕或相关外围显示设备上播放多媒体数据。多媒体来源10取得多媒体数据的方法包含接收一网络伺服装置所发送的一数字多媒体信号，或是接收一数字电视天线所广播发送的一数字电视信号。无论来源为何，多媒体来源10播放时间相关的多媒体数据，亦即在特定时间点播放内容为已知或预录，而非现场实况的无法预期内容。因此，在步骤110中，本发明可事先分析特定多媒体数据以求出相关的增强现实信息，再将增强现实信息存在储存单元260内。增强现实信息可为在特定多媒体节目于不同时间点的画面中，针对一个或多个对象/主题所提供的增强现实图像。

显示设备20可在记忆体230内安装执行增强现实运作所需的软件，并在显示单元230上播放多媒体数据。在本发明一实施例中，多媒体捕获设备220可为一网络摄影机，用来拍摄多媒体来源10的外观和所播放的多媒体数据，亦即所撷取到多媒体来源的多媒体为图像数据。在本发明另一实施例中，多媒体捕获设备220可为一麦克风，收录多媒体来源10在播放多媒体数据时的声音，亦即所撷取到多媒体来源的多媒体为影音数据。

在图1和图2所示的实施例中，多媒体捕获设备220可为显示设备20的内建装置。在本发明其它实施例中，多媒体捕获设备220可为安装在显示设备20上的外部装置；或者，多媒体捕获设备220可为安装在可拍摄到多媒体来源10外观和所播放多媒体数据的任何地方，或可收录到多媒体来源音效的任何地方，再利用有线或无线方式将撷取到的多媒体传送到显示设备20加以播放。

在本发明的实施例中，显示设备20的记忆体230内可安装相关增强现实软件，例如AR ToolKit、Argon、GRAFT、DroidAR或mixare等，增强现实软件的类型并不限定本发明的范围。当使用者在步骤130下达执行增强现实运作的指令时，增强现实模块30会在步骤140中判断记忆体230内安装的增强现实软件是否经过合法授权。若判断执行增强现实运作的指令不具有权限，此时会执行步骤180以显示相对应的通知讯息，告知用户需先取得合法授权。

根据多媒体捕获设备220提供的多媒体，多媒体辨识单元250可在步骤150中辨识出定位信息和识别信息。定位信息可包含多媒体来源10的外框、多媒体来源10的品牌商标，及/或多媒体来源10和多媒体捕获设备220之间的相对位置。识别信息有关于目前时间和多媒体来源10用来播放多媒体节目的频道，例如频道标志(channel logo)，例如”CNN”、”ESPN”、”HBO”或”DISCOVERY CHANNEL”等频道标志。识别信息亦可有关于多媒体来源10来播放多媒体节目时使用的特定主题曲、特定旋律或特定形式的声音。

图4为本发明实施例中多媒体来源10定位信息的示意图。如前所述，本发明的多媒体来源10可包含任何具备显示功能的装置，其通常包含一外框12，外框12内设置一屏幕14，且通常显示多媒体来源10的品牌商标16。在图4左上方的实施例中，多媒体来源10为一手机，品牌商标16位于外框12的正上方；在图4右上方的实施例中，多媒体来源10包含电视机、数字机顶盒、或桌面计算机（未显示）的显示屏幕，品牌商标16位于外框12的左上方；在图4左下方的实施例中，多媒体来源10为一笔记本电脑，品牌商标16位于外框12的正下方；在图4右下方的实施例中，多媒体来源10包含投影机（未显示）的投影布幕，定位信息可能仅包含外框12。值得注意的是，多媒体来源10的种类和定位信息中品牌商标16和外框12的位置并不限定本发明的范畴。

在图1所示的实施例中，显示设备20会将多媒体捕获设备220提供的多媒体以有线或无线的方式传送至增强现实模块30，再由增强现实模块30的多媒体辨识单元250来辨识出定位信息和识别信息。在图2所示的实施例中，显示设备20的多媒体辨识单元250直接根据多媒体捕获设备220提供的多媒体来辨识出定位信息和识别信息。

请同时参阅图3，在步骤160中，处理单元270可根据识别信息来读取储存单元260内有关特定多媒体数据的增强现实信息，再将增强现实信息和定位信息传送至显示设备20的显示单元240。因此，显示单元240可在步骤170中根据定位信息将增强现实信息加入多媒体捕获设备220所提供的原始拍摄画面，亦即在显示/播放多媒体来源的多媒体时同时显示增强现实信息中一相对应的增强现实图像。

在本发明中，多媒体数据可为静态多媒体数据或动态多媒体数据，例如一网页、一显示画面或一多媒体节目等。举例来说，针对一电视购物频道制作的购物节目，本发明可提供相对应时间的增强现实信息，例如不同时间会具有不同的增强现实信息。当多媒体来源10在播放此购物节目时，使用者可使用显示设备20来拍摄多媒体来源10的外观和播放中的购物节目，再从拍摄画面中辨识出此电视购物频道的频道标志以作为识别信息，另可辨识出多媒体来源10的外框/品牌商标以作为定位信息。同时根据识别信息及拍摄时间，取得相对应的增强现实信息，本发明可根据识别信息或是定位信息来将增强现实效果加入在显示设备20上显示的购物节目，且依不同时间，提供不同的增强现实信息。例如，当主持人在此购物节目中提到一特定商品时，会根据识别信息或是定位信息让用户透过显示设备20可同时看到原始购物节目和此特定商品相关信息（照片/规格/简介/价钱等）的增强现实画面、声音或二者兼有。而在下段时间提到另一特定商品时，使用者透过显示设备20可同时看到下一个原始购物节目和对应特定商品相关信息（照片/规格/简介/价钱等）的增强现实画面、声音或二者兼有。

图5为本发明实施例中增强现实系统运作时的示意图。图5显示了多媒体捕获设备220取得拍摄画面的方式，其中多媒体捕获设备220的拍摄范围由虚线来表示。如前所述，多媒体捕获设备220可为显示设备20的内建装置或安装在显示设备20上的外部装置。

图5左方显示了多媒体来源10和其目前播放中的多媒体数据，而图5右方显示了显示设备20所显示的内容。如图5右方所示，当一使用者50透过显示设备20观赏多媒体来源10所播放中的多媒体数据时，本发明另会在显示设备20上同时显示相对应的增强现实信息。

在本发明中，首先求出有关一个或多个多媒体数据的增强现实信息，并将增强现实信息存入一储存单元。在多媒体来源播放一特定多媒体数据的期间，多媒体捕获设备提供包含多媒体来源的外观的多个拍摄画面。多媒体辨识单元从多个拍摄画面中辨识出识别信息和定位信息，而处理单元再根据识别信息从所述储存单元中读取增强现实信息。如此，显示单元在显示多个拍摄画面中一特定拍摄画面时，能同时根据定位信息来显示增强现实信息中一相对应的增强现实图像，进而针对动态多媒体图像提供增强现实效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种针对多媒体数据提供增强现实效果的系统，其特征在于，包含：

一多媒体来源，用来提供多媒体数据；

一储存单元，用来储存有关所述多媒体数据的增强现实信息；

一多媒体捕获设备，用来撷取所述多媒体来源的多媒体；

一多媒体辨识单元，用来从所述多媒体捕获设备所撷取的所述多媒体中辨识出识别信息；

一处理单元，用来根据所述识别信息从所述储存单元中读取所述增强现实信息；以及

一显示单元，用来在播放所述多媒体数据的期间同时显示所述增强现实信息中一相对应的增强现实图像、声音或二者兼有。

2.如权利要求1所述的系统，其特征在于，所述多媒体捕获设备为一摄影机，用来拍摄所述多媒体来源的所述多媒体，所述多媒体为一图像数据。

3.如权利要求1所述的系统，其特征在于，所述多媒体捕获设备为一麦克风，用来收录所述多媒体来源的所述多媒体，所述多媒体为一影音数据。

4.如权利要求2所述的系统，其特征在于，所述多媒体辨识单元另用来从所述多媒体来源的所述多媒体中辨识出定位信息，所述定位信息包含所述多媒体来源的外框、所述多媒体来源的品牌商标，或所述多媒体来源和所述多媒体捕获设备之间的相对位置。

5.如权利要求4所述的系统，其特征在于，所述显示单元根据所述定位信息来显示所述相对应的增强现实图像。

6.如权利要求1所述的系统，其特征在于，所述储存单元、所述多媒体辨识单元和所述处理单元包含在一增强现实模块中。

7.如权利要求1所述的系统，其特征在于，所述多媒体辨识单元和所述显示单元包含在一显示设备中。

8.如权利要求1所述的系统，其特征在于，所述多媒体捕获设备和所述显示单元包含在一显示设备中。

9.如权利要求1所述的系统，其特征在于，所述识别信息有关于所述多媒体来源用来提供所述多媒体数据的一频道。

10.如权利要求1所述的系统，其特征在于，所述储存单元储存对应到预定在不同时间播放的所述增强现实信息，且所述显示单元播放所述增强现实信息中所述相对应时间的增强现实图像、声音或二者兼有。

11.如权利要求1所述的系统，其特征在于，所述多媒体数据为一动态多媒体数据。

12.一种针对多媒体数据提供增强现实效果的显示系统，其特征在于，包含：

一多媒体捕获设备，用来撷取一多媒体来源的多媒体；

一多媒体辨识单元，用来从所述多媒体捕获设备撷取的所述多媒体中辨识出识别信息；

一增强现实模块，包含：

一储存单元，用来储存有关所述多媒体数据的增强现实信息；以及

一处理单元，用来在接收到有关一增强现实运作的一指令时，根据所述识别信息从所述储存单元中读取所述增强现实信息；以及

一显示设备，其包含：

一记忆体，其内安装执行所述增强现实运作所需的一软件；以及

一显示单元，用来在播放所述多媒体数据的期间同时显示所述增强现实信息中一相对应的增强现实图像。

13.如权利要求12所述的显示系统，其特征在于，所述多媒体辨识单元另用来从所述多媒体来源的所述多媒体中辨识出定位信息，所述定位信息包含所述多媒体来源的外框、所述多媒体来源的品牌商标，或所述多媒体来源和所述多媒体捕获设备之间的相对位置。

14.如权利要求13所述的显示系统，其特征在于，所述显示单元根据所述定位信息来显示所述相对应的增强现实图像。

15.如权利要求12所述的显示系统，其特征在于，所述多媒体捕获设备是设置于所述显示设备内或安装于所述显示设备上。

16.如权利要求12所述的显示系统，其特征在于，所述多媒体捕获设备和所述显示设备包含在一显示器中。

17.如权利要求12所述的显示系统，其特征在于，所述多媒体捕获设备为一摄影机，用来拍摄所述多媒体来源的所述多媒体，所述多媒体为一图像数据。

18.如权利要求12所述的显示系统，其特征在于，所述多媒体捕获设备为一麦克风，用来收录所述多媒体来源的所述多媒体，所述多媒体为一影音数据。

19.如权利要求13所述的显示系统，其特征在于，所述识别信息有关于所述多媒体来源用来提供所述多媒体数据的一频道。

20.如权利要求19所述的显示系统，其特征在于，所述储存单元储存对应预定不同时间播放的所述增强现实信息，且所述显示单元播放所述增强现实信息中所述相对应时间的增强现实图像、声音或二者兼有。

21.一种针对多媒体数据提供增强现实效果的方法，其特征在于，包含：

提供有关一多媒体数据的增强现实信息；

在一多媒体来源提供所述多媒体数据的期间，一多媒体撷取所述多媒体来源的多媒体；

从所述多媒体来源的所述多媒体中辨识出识别信息；

根据所述识别信息来取得所述增强现实信息；以及

在所述多媒体来源提供所述多媒体数据的期间，在一显示单元上同时显示所述增强现实信息中一相对应的增强现实图像。

22.如权利要求21所述的方法，其特征在于，另包含：

从所述多媒体来源的所述多媒体中另辨识出定位信息，所述定位信息包含所述多媒体来源的外框、所述多媒体来源的品牌商标，或所述多媒体来源和所述多媒体捕获设备之间的相对位置。