CN102087743A - 条形码扩充实境系统与方法 - Google Patents

Abstract

一种条形码扩充实境系统与方法，利用本发明的扩充实境系统，让条形码标志可与扩充实境系统互动，将虚拟对象堆栈于实境影像或另一背景图像中，或对扩充实境系统下达命令。该方法为通过影像撷取单元取得影像，经过条形码标志内容译码与空间定位单元后，得到条形码标志的内容与空间信息，取得对应的虚拟对象后再将虚拟对象放置、旋转到对应于条形码标志的位置及角度并堆栈于所撷取的实境影像或另一背景图像中，最后显示结合的影像。本发明还提出扩充实境网络服务的方法，可远程执行扩充实境系统，另外，此扩充实境网络服务模块也可单独做为一个远程的各式条形码译码系统，可供多客户端同时执行，解决条形码格式不断更新，客户端系统更新不易的问题。

Description

条形码扩充实境系统与方法

技术领域

本发明涉及一种条形码扩充实境系统，利用扩充实境条形码标志性质，可以完成一个精确、容错、有延伸性与更适于各种扩充实境应用模式系统。

背景技术

近几年来，相关于Mixed Reality(MR)或Augumented Reality(AR)等扩充实境的研究有相当活跃的发展，所谓扩充实境指的是一个合并虚拟对象与真实对象的系统，它的目的是创造一个与真实世界的对象同时并存的虚拟实境。

扩充实境系统中使用者与系统的互动通常为：使用者展示(通常是手持或穿戴)标志，系统通过对标志的检测来辨别使用者的动作，产生相应反映，并将虚拟对象与实体影像结合在一起回馈给使用者。扩充实境系统通常包含多个模块，其中标志检测模块是使用者与系统的输入媒介，其效能与正确性影响整套系统甚巨，是扩充实境系统最重要的核心技术，因此使用的检测技术与标志样式设计，是决定扩充实境系统质量的重要因素。

目前已有矩阵用于开发扩充实境的工具已被发表，例如ARtoolkit，ARtoolkit的细节可参考H.Kato，M.Billinghurst，I.Poupyrev，K.Imamoto，K.Tachibana，于ISAR 2000，Oct.5-6，2000研讨会所发表的”Virtual ObjectManipulation on a Table-Top AR Environment”，AR toolkit使用图形比对的方式来检测标志，在这种技术下，标志必须事先定义并经过一个系统学习的程序，并将相关数据导入系统，之后系统才能据此辨识标志，系统是以检测到标志的特征值与数据库中已存的标志特征值的相似度来作辨识，因技术性质上的限制，此类型标志本身没有错误纠正的设计，标志的容错率低，例如当使用者手指不注意覆盖到标志或标志遭到污损，就会发生辨识困难的状况，并且标志设计不易，随着标志数目的增加，混淆误判的机率也会大幅提升，造成某些应用上的限制。另外，每张标志的样式也仅能代表一个代码或图案，无法在标志内储存较大量的数据，例如网址。

本发明所要提出的条形码扩充实境系统，即是针对现有系统上的不足，所提出一个具错误纠正、具延伸性、能精确判读、可连结网络更新或下载虚拟对象与适用于多种应用方式的双用条形码扩充实境系统。

发明内容

本发明的目的在于提供一种条形码扩充实境系统，让条形码标志具错误纠正、具延伸性、能精确判读、可连结网络更新或下载虚拟对象，另外，结合网络服务，达到一个具有延伸性，更适于任意应用模式的扩充实境系统。

通过影像撷取模块取得影像，经过前置影像处理后，扩充实境条形码标志识别及内容译码模块以及扩充实境空间定位模块分别译码并计算出条形码标志的内容以及空间位置及其旋转角度，经由扩充实境虚拟对象取得模块取得对应的虚拟对象，再由扩充实境产生模块将虚拟对象放置、旋转到对应于条形码标志的位置及角度并堆栈于所撷取的实境影像中，或堆栈于另一背景图像中，此背景图像可为单色背景、虚拟场景影像、照片、绘图等，最后，显示模块将结合的影像显示给使用者。

在本发明中，扩充实境条形码标志有多重用途，使用者除了可通过扩充实境条形码标志与扩充实境系统互动，让系统将虚拟对象堆栈于实境影像或另一背景图像中，或对扩充实境系统下达命令，另一个用途是通过扩充实境条形码标志本身存有的数字信息(例如网址URL)，让系统可以连结到对应的网址，进行虚拟对象的下载或更新，本发明也提出扩充实境网络服务的方法，可远程执行扩充实境系统，另外，此扩充实境网络服务模块也可单独做为一个远程的各式条形码译码系统，可供多客户端同时执行，解决条形码格式不断推陈出新，客户端系统更新不易的问题。

在本发明所提出的系统中，采用的条形码标志设计与条形码标志检测技术具有错误检测与精确判读的能力，在不稳定环境下使用，例如采光不佳，条形码标志轻微受损等情形，仍可正常运行，对开发者来说，条形码标志的编码设计也相对容易，并且能应付条形码标志数量的成长，而不会影响到判读的精确度，这些特性让这个系统可以适用于较广的应用，无论是多人混合实境游戏或商用展示系统，都较容易实作与有良好的稳定度，并且让条形码标志结合网络内容，将系统基础组件与未来可能延伸的数字内容/功能做切分，系统将可以适应更多客制化的行为，具有强大的延伸性，容易支持等优点。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为第一实施例的示意图；

图2(a)至图2(i)为各式条形码标志；

图3为第二实施例的示意图；

图4为第三实施例的示意图；

图5为第四实施例的示意图；

图6为第五实施例的示意图；以及

图7为第六实施例的示意图。

其中，附图标记

100～条形码标志           102～影像撷取单元

104～条形码标志识别单元   106～内容译码单元

108～空间定位单元         110～扩充实境虚拟对象取得单元

112～扩充实境虚拟对象储存及管理单元

120～扩充实境产生单元     130～显示单元

101～扩充实境开关         150～网络连结

212～扩充实境虚拟对象储存及管理单元

204～条形码标志识别单元   206～内容译码单元

208～空间定位单元         210～扩充实境虚拟对象取得单元

220～扩充实境产生单元

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

虽然将以多个较佳实施例来阐述本发明，但本领域中普通技术人员所了解的其它实施例(包含并未提供此文中所提及的所有优点及特征的实施例)亦落在本发明的范畴中。因此，本发明的范畴仅参考随附的权利要求范围所定义。

现将参照图式，叙述根据本发明的条形码扩充实境系统与方法的说明性实施例。

参考图1，本发明的第一实施例。

本实施例提供一种条形码扩充实境系统，包含：一条形码标志100；一影像撷取单元102，可取得一实境影像；一条形码标志识别单元104，可判别该实境影像是否包含该条形码标志及识别该条形码标志；一内容译码单元106，可译码该条形码标志以得到该条形码标志代表的内容；一空间定位单元108，可决定该条形码标志在该实境影像的空间信息；一扩充实境虚拟对象取得单元110，可取得对应该条形码标志代表内容的一虚拟对象；一扩充实境虚拟对象储存及管理单元112，可存取该虚拟对象；一扩充实境产生单元120，可将该虚拟对象堆栈在该实境影像或另一背景图像中的该条形码标志空间位置上而产生一扩充实境影像，及一显示单元130，显示该扩充实境影像。

此实施例中的条形码标志100可为各式二维条形码、一维条形码或彩色条形码，范例格式如图2(a)至图2(i)所示。其中，图2(i)为彩色条形码，在图式中以灰阶表示色彩。又，条形码标志亦可包含有一非机器可辨识的区域，此区域可放置各式图样，如品牌商标、商品商标、公司商标或其它各种图案。此条形码标志100的内容可包含网址信息(URL)或对应到网址的代码，亦可包含文字、数字、二元码及特殊符号等内容。

此实施例中的影像撷取单元102可以是任何可撷取影像或音频串流的电子装置，例如：网络摄影机(webcam)、固定式摄影机、数字摄影机(DV)、手机或手持移动装置上的照相模块等。

条形码标志识别单元104可对影像撷取单元102所撷取到的实境影像进行影像的前置处理，例如：影像的二元化处理、条形码标志特征的扫描、条形码标志位置判定(如中心点及各个顶点的判定)、条形码标志类别的判定、条形码标志的版本及大小的判定、条形码标志的校正及条形码标志格点的颜色判定等，用以识别实境影像是否有包含条形码标志，并取得条形码标志的影像信息。在此实施例中，条形码标志识别单元104是在近端本机执行。

内容译码单元106为一个具错误纠正功能的译码器，其是将条形码标志识别单元104所取得的条形码标志的影像信息进行译码，以取得条形码标志代表的内容，译码一般包括条形码屏蔽的解除、依据条形码类型所定义的排列取得正确的信息串、将信息串进行错误纠正、根据编码原则将信息串译码成信息字码。在此实施例中，内容译码单元106是在近端本机执行。

空间定位单元108是借由条形码标志识别单元104所取得的条形码标志的影像信息来决定条形码标志在实境影像的空间信息，如空间位置与旋转角度，包括条形码标志的x坐标、y坐标、z坐标及对x轴旋转角度、对y轴旋转角度、对z轴旋转角度，空间定位主要是利用条形码的大小及其投影变形信息来决定其旋转的角度。在此实施例中，空间定位单元108是在近端本机执行。

扩充实境虚拟对象取得单元110可借由内容译码单元106译码得到条形码标志代表的内容以取得对应条形码标志代表内容的虚拟对象。可将条形码标志代表内容视为索引，例如：当条形码标志为一维条形码时，此索引可以是一代码；当条形码标志是二维条形码时，也可以直接以网址当成索引。此外，扩充实境虚拟对象取得单元110亦可借由存取扩充实境虚拟对象储存及管理单元112取得对应于条形码标志代表内容的虚拟对象。在此实施例中，扩充实境虚拟对象取得单元110是在近端本机执行。

扩充实境虚拟对象储存及管理单元112，可存取对应于条形码标志代表内容的虚拟对象，也就是接受扩充实境虚拟对象取得单元110的取得要求，并响应对应于条形码标志代表内容的虚拟对象。在此实施例中，扩充实境虚拟对象储存及管理单元112是在近端本机执行。

扩充实境产生单元120，是将各个于扩充实境虚拟对象取得单元110所取得的虚拟对象，根据空间定位单元108所取得对应的旋转角度及空间位置，将虚拟对象移至所计算出的坐标(x，y，z)，并且将虚拟对象分别对x，y，z轴做计算出来的相对旋转，并将虚拟对象堆栈于影像撷取单元102所撷取的实境影像或另一背景图像中的该条形码标志空间位置上，而产生一扩充实境影像。在此实施例中，扩充实境产生单元120是在近端本机执行。

显示单元130，用以显示扩充实境产生单元120所产生的扩充实境影像。

此实施例亦提供一种条形码扩充实境方法，包含：撷取一实境影像；识别该实境影像是否包含一条形码标志并取得该条形码标志的空间信息，及译码该条形码标志以得到对应该条形码标志的内容；取得对应该条形码标志代表内容的一虚拟对象；根据取得的该条形码标志的空间信息，堆栈该虚拟对象于实境影像或另一背景图像中而产生一扩充实境影像，及显示该扩充实境影像。

此实施例将条形码标志识别单元104、内容译码单元106、空间定位单元108、扩充实境虚拟对象取得单元110、扩充实境虚拟对象储存及管理单元t 12，及一扩充实境产生单元120置于近端本机上，且虚拟对象已储存在近端本机，不需经由网络连结取得虚拟对象，因此可减少网络传输数据量。

参考图，本发明的第二实施例。

第二实施例提供一种条形码扩充实境系统，包含：一条形码标志100；一扩充实境开关101，设定于开启状态；一影像撷取单元102，可取得一实境影像；一条形码标志识别单元104，可判别该实境影像是否包含该条形码标志及识别该条形码标志；一内容译码单元106，可译码该条形码标志以得到该条形码标志代表的内容；一空间定位单元108，可决定该条形码标志在该实境影像的空间信息；一扩充实境虚拟对象取得单元110，经由网络连结到远程的一扩充实境虚拟对象储存及管理单元212，以取得对应该条形码标志代表内容的一虚拟对象，并回传该虚拟对象；一扩充实境产生单元120，可将该虚拟对象堆栈在该实境影像或另一背景图像中的该条形码标志空间位置上而产生一扩充实境影像，及一显示单元130，显示该扩充实境影像。

本实施例又可包含一扩充实境虚拟对象储存及管理单元112于近端本机，将通过网络连结回传的虚拟对象储存并建立索引，可让扩充实境虚拟对象取得单元110存取，并取得对应于此索引的虚拟对象。

第二实施例仍将条形码标志识别单元104、内容译码单元106、空间定位单元108、扩充实境虚拟对象取得单元110，及一扩充实境产生单元120置于近端本机上，但扩充实境虚拟对象储存及管理单元212则置于远程。所以，虚拟对象须经由网络连结下载或更新。

参考图4，本发明的第三实施例。

第三实施例提供一条形码扩充实境系统，包含：一条形码标志100；一扩充实境开关101，设定于开启状态；一影像撷取单元102，可取得一实境影像；一网络服务单元，例如网络连结150，提供网络连结服务并可传送该实境影像；一条形码标志识别单元204，可判别该实境影像是否包含该条形码标志及识别该条形码标志；一内容译码单元206，可译码该条形码标志以得到该条形码标志代表的内容；一空间定位单元208，可决定该条形码标志在该实境影像的空间信息；一扩充实境虚拟对象取得单元210，以取得对应该条形码标志代表内容的一虚拟对象；一扩充实境虚拟对象储存及管理单元212，可存取该虚拟对象；一扩充实境产生单元220，可将该虚拟对象堆栈在该实境影像或另一背景图像中的该条形码标志空间位置上而产生一扩充实境影像，并通过网络连结150回传该扩充实境影像，及一显示单元130，显示该扩充实境影像。

本实施例则将条形码标志识别单元204、内容译码单元206、空间定位单元208、扩充实境虚拟对象取得单元210、扩充实境虚拟对象储存及管理单元212，及一扩充实境产生单元220置于远程。当近端本机设备有所限制时，本实施例可以将主要功能与计算放在远程网络。此外，本实施例也有助于系统的更新，只要在远程或服务器端更新，可免除针对所有客户端一一更新的困扰。

参考图5，本发明的第四实施例。

第四实施例提供一条形码扩充实境系统，包含：一条形码标志100；一扩充实境开关101，设定于开启状态；一影像撷取单元102，可取得一实境影像；一条形码标志识别单元104，可判别该实境影像是否包含该条形码标志及识别该条形码标志；一网络服务单元，例如网络连结150，提供网络连结服务并可传送该条形码标志的影像信息；一内容译码单元206，可译码该条形码标志以得到该条形码标志代表的内容；一空间定位单元208，可决定该条形码标志在该实境影像的空间信息；一扩充实境虚拟对象取得单元110，经由网络连结以取得对应该条形码标志代表内容的一虚拟对象，该虚拟对象可为3D对象、影片、影像或数字内容；一扩充实境虚拟对象储存及管理单元112，可存取该虚拟对象；一扩充实境产生单元120，可将该虚拟对象堆栈在该实境影像或另一背景图像中的该条形码标志空间位置上而产生一扩充实境影像，及一显示单元130，显示该扩充实境影像，又，该扩充实境产生单元另包含一比例参数，可调整该虚拟对象堆栈于该实境影像或另一背景图像的大小。

本实施例则将内容译码单元206与空间定位单元208置于远程计算，其余与影像及虚拟对象相关的功能(包含条形码标志识别单元104、扩充实境虚拟对象取得单元110、扩充实境虚拟对象储存及管理单元112及一扩充实境产生单元120)则置于近端本机执行。此方式有助于分散近端(本机)及远程(服务器)的负担，并避免影像及虚拟对象等较大文件的网络传输。

参考图6，本发明的第五实施例。

第五实施例提供一种条形码标志译码方法，扩充实境开关101设定于关闭状态，其方法为利用第三实施例的架构，但不执行空间定位单元208、扩充实境虚拟对象取得单元210、扩充实境虚拟对象储存及管理单元212，及扩充实境产生单元220的功能。

一种条形码标志译码方法，包含：撷取一实境影像；经由网络连结将该实境影像传送至远程的一条形码标志识别单元；识别该实境影像是否包含一条形码标志并取得该条形码标志的影像信息；译码该条形码标志以取得该条形码标志内容；将已译码的该条形码标志内容经由网络连结传至一显示单元，及显示已译码的该条形码标志内容。

参考图7，本发明的第六实施例。

第六实施例提供一种条形码标志译码方法，扩充实境开关101设定于关闭状态，其方法为利用第四实施例的架构，但不执行空间定位单元208、扩充实境虚拟对象取得单元110、扩充实境虚拟对象储存及管理单元112，及扩充实境产生单元120的功能。

一种条形码标志译码方法，包含：

撷取一实境影像；识别该实境影像是否包含一条形码标志并取得该条形码标志的影像信息；经由网络连结将该条形码标志的影像信息传送至远程的一内容译码单元；译码该条形码标志以取得该条形码标志内容；将已译码的该条形码标志内容经由网络连结传至一显示单元，及显示已译码的该条形码标志内容。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (18)

1.一种条形码扩充实境系统，其特征在于，包含：

一条形码标志；

一影像撷取单元，能够取得一实境影像；

一条形码标志识别单元，能够判别该实境影像是否包含该条形码标志及识别该条形码标志；

一内容译码单元，能够译码该条形码标志以得到该条形码标志代表的内容；

一空间定位单元，能够决定该条形码标志在该实境影像的空间信息；

一扩充实境虚拟对象取得单元，能够取得对应该条形码标志代表内容的一虚拟对象；

一扩充实境虚拟对象储存及管理单元，能够存取该虚拟对象；

一扩充实境产生单元，可将该虚拟对象堆栈在该实境影像或另一背景图像中的该条形码标志空间位置上而产生一扩充实境影像；及一显示单元，显示该扩充实境影像。

2.根据权利要求1所述的条形码扩充实境系统，其特征在于，该条形码标志为一维条形码。

3.根据权利要求1所述的条形码扩充实境系统，其特征在于，该条形码标志为二维条形码。

4.根据权利要求1所述的条形码扩充实境系统，其特征在于，该条形码标志可为包含有定位符号、错误纠正码及深浅方格组成的数据图案。

5.根据权利要求1所述的条形码扩充实境系统，其特征在于，该条形码标志为网址信息或对应到网址的代码。

6.根据权利要求1所述的条形码扩充实境系统，其特征在于，该条形码标志包含有一非机器可辨识的区域。

7.根据权利要求1所述的条形码扩充实境系统，其特征在于，该条形码标志识别单元能够取得影像信息，为类别、格式、版本、大小、中心点坐标、顶点坐标及颜色。

8.根据权利要求1所述的条形码扩充实境系统，其特征在于，该内容译码单元，为一个具有错误纠正功能的译码器。

9.根据权利要求1所述的条形码扩充实境系统，其特征在于，该虚拟对象为3D对象、影片、影像或数字内容。

10.根据权利要求1所述的条形码扩充实境系统，其特征在于，该扩充实境虚拟对象储存及管理单元与该影像撷取单元置于同一电子装置。

11.根据权利要求1所述的条形码扩充实境系统，其特征在于，该扩充实境虚拟对象储存及管理单元与该影像撷取单元置于不同电子装置。

12.根据权利要求1所述的条形码扩充实境系统，其特征在于，该扩充实境产生单元还包含一比例参数，可调整该虚拟对象堆栈于该实境影像或另一背景图像的大小。

13.根据权利要求1所述的条形码扩充实境系统，其特征在于，该条形码标志识别单元、该内容译码单元、该空间定位单元、该扩充实境虚拟对象取得单元、该扩充实境虚拟对象储存及管理单元或该扩充实境产生单元与该影像撷取单元可于不同电子装置运作。

14.根据权利要求1所述的条形码扩充实境系统，其特征在于，还包含一网络连结单元，用于连结网络以取得对应该条形码标志的该虚拟对象或连结网络取得网络服务。

15.根据权利要求1所述的条形码扩充实境系统，其特征在于，还包含一扩充实境开关，用于切换扩充实境系统或条形码标志译码功能。

16.一种条形码扩充实境方法，其特征在于，包含：

撷取一实境影像；

识别该实境影像是否包含一条形码标志并取得该条形码标志的空间信息，及译码该条形码标志以得到对应该条形码标志的内容；

取得对应该条形码标志代表内容的一虚拟对象；

根据取得的该条形码标志的空间信息，堆栈该虚拟对象于实境影像或另一背景图像中而产生一扩充实境影像；及

显示该扩充实境影像。

17.一种条形码标志译码方法，其特征在于，包含：

撷取一实境影像；

经由网络连结将该实境影像传送至远程的一条形码标志识别单元；

识别该实境影像是否包含一条形码标志并取得该条形码标志的影像信息；

译码该条形码标志以取得该条形码标志内容；

将已译码的该条形码标志内容经由网络连结传至一显示单元；及

显示已译码的该条形码标志内容。

18.一种条形码标志译码方法，其特征在于，包含：

撷取一实境影像；

识别该实境影像是否包含一条形码标志并取得该条形码标志的影像信息；

经由网络连结将该条形码标志的影像信息传送至远程的一内容译码单元；

译码该条形码标志以取得该条形码标志内容；

将已译码的该条形码标志内容经由网络连结传至一显示单元；及

显示已译码的该条形码标志内容。

Images