CN115567780A - 扩增实境系统及其操作方法 - Google Patents

Abstract

本发明提供一种扩增实境系统及其操作方法。扩增实境系统包括目标设备以及扩增实境设备。目标设备感测目标设备自身的姿态而产生姿态信息，以及提供数字内容与姿态信息给扩增实境设备。扩增实境设备拍摄目标设备而产生画面。扩增实境设备追踪目标设备在画面中的目标位置，以进行扩增实境应用。在进行扩增实境应用时，扩增实境设备将数字内容叠覆在画面中的目标位置，以及基于目标设备的姿态信息对应调整在画面中数字内容的姿态。

Description

扩增实境系统及其操作方法

技术领域

本发明涉及一种视频系统，尤其涉及一种扩增实境(Augmented Reality，AR)系统及其操作方法。

背景技术

各种影音串流服务越来越风行。常见的影音串流服务包括视频会议。在视频会议中，使用者A可以通过通讯网络展示某个东西给远程的使用者B看。举例来说，使用者A所持拿的手机正在显示一个有趣的数字内容(画面或是立体数字对象)，用户A可能想要将这个数字内容通过视频会议给远程的使用者B看。因此，使用者A让视频会议设备拍摄这个手机的画面。受限于各种环境因素(例如分辨率、色偏等)，使用者B很可能无法清楚看见使用者A的手机所显示的内容。

发明内容

本发明提供一种扩增实境(Augmented Reality，AR)系统及其操作方法，以进行扩增实境应用。

在根据本发明的实施例中，上述的扩增实境系统包括目标设备以及扩增实境设备。目标设备用以感测目标设备自身的姿态而产生姿态信息。目标设备提供数字内容(digital content)与姿态信息给扩增实境设备。扩增实境设备用以拍摄目标设备而产生画面。扩增实境设备追踪目标设备在画面中的目标位置，以进行扩增实境应用。扩增实境设备在扩增实境应用中，将数字内容叠覆在画面中的目标位置。扩增实境设备基于目标设备的姿态信息对应调整在画面中数字内容的姿态。

在根据本发明的实施例中，上述的操作方法包括：由目标设备感测目标设备自身的姿态而产生姿态信息；由目标设备提供数字内容与姿态信息给扩增实境设备；由扩增实境设备拍摄目标设备而产生画面；由扩增实境设备追踪目标设备在画面中的目标位置，以进行扩增实境应用；由扩增实境设备在扩增实境应用中将数字内容叠覆在画面中的目标位置；以及由扩增实境设备基于目标设备的姿态信息对应调整在画面中数字内容的姿态。

基于上述，本发明诸实施例所述扩增实境设备可以拍摄目标设备而产生画面，以进行扩增实境应用。所述目标设备可以感测目标设备自身的姿态，而提供姿态信息与数字内容给扩增实境设备。在进行扩增实境应用的过程中，所述扩增实境设备可以将目标设备所提供的数字内容叠覆于目标设备在画面中的目标位置，以及基于目标设备的姿态信息对应调整在画面中数字内容的姿态。因为数字内容不是被固定存储在扩增实境设备中，所以扩增实境设备可以更弹性地呈现扩增实境效果。

附图说明

图1是依照本发明的一实施例的一种扩增实境(AR)系统的电路方块(circuitblock)示意图；

图2是依照本发明的一实施例的一种AR系统的操作方法的流程示意图；

图3是依照本发明的一实施例的一种AR应用的情境示意图；

图4是依照本发明的一实施例的一种目标设备的电路方块示意图；

图5是依照本发明的一实施例的一种AR设备的电路方块示意图。

附图标记说明

100:扩增实境(AR)系统

110:目标设备

111:应用处理器

112、122:通讯电路

113、124:显示器

114:姿态传感器

120:AR设备

121:图像处理器

123:相机

300:远程设备

A、B:使用者

A_inf:姿态信息

DC:数字内容

IMG、IMG’:画面

MRK:标记

S210～S260:步骤

SA:姿态感测结果

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。

在本案说明书全文(包括权利要求)中所使用的“耦接(或连接)”一词可指任何直接或间接的连接手段。举例而言，若文中描述第一装置耦接(或连接)于第二装置，则应该被解释成该第一装置可以直接连接于该第二装置，或者该第一装置可以通过其他装置或某种连接手段而间接地连接至该第二装置。本案说明书全文(包括权利要求)中提及的“第一”、“第二”等用语是用以命名组件(element)的名称，或区别不同实施例或范围，而并非用来限制组件数量的上限或下限，亦非用来限制组件的次序。另外，凡可能之处，在附图及实施方式中使用相同标号的组件/构件/步骤代表相同或类似部分。不同实施例中使用相同标号或使用相同用语的组件/构件/步骤可以相互参照相关说明。

图1是依照本发明的一实施例的一种扩增实境(Augmented Reality，AR)系统100的电路方块(circuit block)示意图。图1所示AR系统100包括目标设备110以及AR设备120。用户可以让AR设备120拍摄目标设备110而产生画面。本实施例并不限制AR设备120与目标设备110的具体产品类别。举例来说，在一些实施例中，目标设备110可以包括手机、智能手表、平板计算机或是其他电子装置，而AR设备120可以包括本地端计算机、头戴式显示器以及(或是)其他AR设备。

图2是依照本发明的一实施例的一种AR系统的操作方法的流程示意图。请参照图1与图2。在步骤S210中，目标设备110可以感测目标设备110自身的姿态，而产生姿态信息A_inf。AR设备120可以与目标设备110建立通讯连接，使得目标设备110可以提供数字内容(digital content)DC与姿态信息A_inf给AR设备120(步骤S220)。依照实际设计，所述通讯连接可以包括蓝芽(Bluetooth)、Wi-Fi无线网络、通用串行总线(Universal Serial Bus，USB)以及(或是)其他通讯连接接口。所述数字内容DC可以依照实际应用来设定。举例来说，在一些实施例中，数字内容DC可以包括二维图像帧、三维数字对象以及(或是)其他数字内容。二维图像帧可以包括相片、影片或其他图像信号。

在步骤S230中，AR设备120可以拍摄目标设备110而产生画面(或画面串流)。在步骤S240中，AR设备120可以追踪目标设备110在所述画面中的目标位置，以进行AR应用。依照实际设计，所述AR应用可以包括游戏应用、教育应用、视频会议应用以及(或是)其他应用。在进行所述AR应用的过程中，AR设备120可以在所述画面中将目标设备110所提供的数字内容DC叠覆于所述目标位置(步骤S250)。因此在一些应用情境中，数字内容DC可以取代在所述画面中的目标设备110。在步骤S260中，AR设备120可以基于目标设备110的姿态信息A_inf对应调整在所述画面中数字内容DC的姿态。举例来说，数字内容DC可以包括三维数字对象(例如汽车、动物或是其他三维对象)，而AR设备120可以基于姿态信息A_inf对应调整在画面中所述三维数字对象的姿态。

随着目标设备110的移动，数字内容DC在所述画面中的位置亦随之改变。用户可以旋转目标设备110。随着目标设备110的姿态的改变，数字内容DC在所述画面中的姿态亦随之改变。依照实际应用情境，在所述画面中的目标位置可以是目标设备110的位置，或是在所述画面中的目标位置可以不同于目标设备110的位置。举例来说，当该目标设备110在所述画面中时，所述目标位置可以是目标设备110在所述画面中的位置。当目标设备110被移出所述画面时，AR设备120以目标设备110被移出所述画面前，目标设备110的有效位置作为所述目标位置。依照实设计，所述有效位置可以是，在可以完整呈现数字内容DC的前提下，目标设备110被移出所述画面前的最终位置。

在另一些实施例中，目标设备110可以显示标记MRK(未示出于图1)。基于实际设计，标记MRK可以包括ArUco标记、快速响应(Quick Response，QR)码或是预先定义的任何几何图形。AR设备120可以拍摄标记MRK，以定位在所述画面中的目标位置。举例来说，所述目标位置可以是标记MRK在所述画面中的位置。当标记MRK消失于所述画面时，AR设备120以标记MRK消失于所述画面前，标记MRK的有效位置作为所述目标位置。依照实设计，所述有效位置可以是，在可以完整呈现数字内容DC的前提下，标记MRK消失于所述画面前的最终位置。依照实际应用情境，用户可以操作目标设备110以不显示标记MRK，进而使得标记MRK消失于所述画面。在另一些应用情境中，用户可以翻转目标设备110的方向使AR设备120拍摄不到目标设备110所显示的标记MRK，进而使得标记MRK消失于所述画面。在又一些应用情境中，用户可以将目标设备110移出所述画面外，使AR设备120拍摄不到目标设备110所显示的标记MRK，进而使得标记MRK消失于所述画面。

在又一些实施例中，目标设备110以及(或是)AR设备120可以具有人机接口，以供用户操作。当用户触发所述人机接口时，AR设备120以目标设备110的当前位置固定作为所述目标位置。亦即，在人机接口被触发后，目标设备110的移动不会影响所述目标位置(数字内容DC的位置)。

图3是依照本发明的一实施例的一种AR应用的情境示意图。在图3所示实施例中，所述AR应用可以包括视频会议应用。请参照图1与图3。AR设备120可以通过通讯网络连结远程设备300。依照实际设计，所述通讯网络可以包括Wi-Fi无线网络、以太网络(Ethernet)、因特网(internet)以及(或是)其他通讯网络。在图3所示实施例中，目标设备110可以包括智能手机，而AR设备120以及远程设备300可以包括笔记本电脑。AR设备120可以通过通讯网络将画面传送给远程设备300以进行视频会议。

在图3所示视频会议中，使用者A可以通过通讯网络展示某个东西给远程的使用者B看。举例来说，用户A所持拿的目标设备110正在显示一个有趣的数字内容(二维画面或是立体数字对象)，而且用户A可能想要将这个数字内容通过视频会议给远程的使用者B看。因此，使用者A让AR设备120拍摄这个目标设备110所显示的画面。受限于各种环境因素(例如分辨率、色偏等)，使用者B很可能无法清楚看见AR设备120拍摄的，目标设备110所显示的内容。

因此在视频会议(AR应用)中，目标设备110可以将正在显示的数字内容DC与姿态信息A_inf提供给AR设备120，而AR设备120可以拍摄目标设备110与用户A而产生画面(在此称为会议画面)。AR设备120可以在所述会议画面中将数字内容DC叠覆于目标设备110，以产生AR会议画面。此外，AR设备120可以基于目标设备110的姿态信息A_inf去对应调整在AR会议画面中数字内容DC的姿态(例如旋转数字内容DC的方向)。AR设备120可以通过通讯网络将所述AR会议画面传送给远程设备300以进行视频会议。远程设备300可以显示AR会议画面给用户B。用户B所看到的目标设备110正在显示的数字内容不是AR设备120的拍摄结果，因此这个数字内容没有分辨率、色偏等问题。此外，用户A可以旋转目标设备110的方向，以呈现数字内容DC的不同视角给用户B观看。

举例来说，基于实际设计，目标设备110提供给AR设备120的数字内容可以包括三维数字对象，而目标设备110具有至少一个姿态传感器(Attitude sensor，未示出于图1与图3)以检测目标设备110的姿态。举例来说，姿态传感器可以包括加速度传感器(acceleration sensor)、重力传感器(gravity sensor)、陀螺仪(gyroscope)、电子罗盘(electronic compass)以及(或是)其他传感器。目标设备110可以将目标设备110的姿态所对应的姿态信息A_inf提供给AR设备120。AR设备120可以拍摄目标设备110而产生画面(例如会议画面)，以及在所述画面中将三维数字对象(数字内容DC)叠覆于目标设备110。AR设备120可以基于目标设备110的姿态信息A_inf去对应调整在所述画面中的三维数字对象的姿态。

图4是依照本发明的一实施例的一种目标设备110的电路方块示意图。在图4所示实施例中，目标设备110包括应用处理器111、通讯电路112、显示器113以及姿态传感器(Attitude sensor)114。姿态传感器114可以检测目标设备110的姿态而产生姿态感测结果SA。应用处理器111耦接至通讯电路112、显示器113与姿态传感器114。应用处理器111可以基于姿态感测结果SA产生目标设备110的姿态所对应的姿态信息A_inf。通讯电路112可以与AR设备120建立连接，因此应用处理器111可以通过通讯电路112将数字内容DC与姿态信息A_inf提供给AR设备120。基于应用处理器111的驱动与控制，显示器113可以显示标记MRK。基于实际设计，标记MRK可以包括ArUco标记、QR码或是预先定义的任何几何图形。AR设备120可以拍摄显示器113所显示的标记MRK，以定位目标设备110在画面中的目标位置。

图5是依照本发明的一实施例的一种AR设备120的电路方块示意图。在图5所示实施例中，AR设备120包括图像处理器121、通讯电路122、相机123以及显示器124。图像处理器121耦接至通讯电路122、相机123与显示器124。通讯电路122可以与目标设备110建立连接，以接收数字内容DC与姿态信息A_inf。相机123可以拍摄目标设备110而产生画面IMG。图像处理器121可以定位目标设备110在所述画面IMG中的目标位置。图像处理器121可以在画面IMG中将数字内容DC叠覆于所述目标位置，以产生叠覆后的画面IMG’。图像处理器121还可以基于目标设备110的姿态信息A_inf去对应调整在画面IMG’中数字内容DC的姿态(例如旋转数字内容DC的方向)。显示器124耦接至图像处理器121，以接收画面IMG’。基于图像处理器121的驱动与控制，显示器124可以显示经叠覆数字内容DC后的画面IMG’。

依照不同的设计需求，上述应用处理器111以及(或是)图像处理器121的实现方式可以是硬件(hardware)、固件(firmware)、软件(software，即程序)或是前述三者中的多者的组合形式。以硬件形式而言，上述应用处理器111以及(或是)图像处理器121可以实现于集成电路(integrated circuit)上的逻辑电路。上述应用处理器111以及(或是)图像处理器121的相关功能可以利用硬件描述语言(hardware description languages，例如Verilog HDL或VHDL)或其他合适的编程语言来实现为硬件。举例来说，上述应用处理器111以及(或是)图像处理器121的相关功能可以被实现于一或多个控制器、微控制器、微处理器、特殊应用集成电路(Application-specific integrated circuit,ASIC)、数字信号处理器(digital signal processor,DSP)、场可程序逻辑门阵列(Field Programmable GateArray,FPGA)和/或其他处理单元中的各种逻辑区块、模块和电路。

以软件形式和/或固件形式而言，上述应用处理器111以及(或是)图像处理器121的相关功能可以被实现为编程码(programming codes)。例如，利用一般的编程语言(programming languages，例如C、C++或汇编语言)或其他合适的编程语言来实现上述应用处理器111以及(或是)图像处理器121。所述编程码可以被记录/存放在“非临时的计算机可读取媒体(non-transitory computer readable medium)”中。在一些实施例中，所述非临时的计算机可读取媒体例如包括只读存储器(Read Only Memory，ROM)、带(tape)、碟(disk)、卡(card)、半导体内存、可程序设计的逻辑电路以及(或是)存储装置。所述存储装置包括硬盘(hard disk drive，HDD)、固态硬盘(Solid-state drive，SSD)或是其他存储装置。计算机、中央处理器(Central Processing Unit，CPU)、控制器、微控制器或微处理器可以从所述非临时的计算机可读取媒体中读取并执行所述编程码，从而实现上述应用处理器111以及(或是)图像处理器121的相关功能。而且，所述编程码也可经由任意传输媒体(通信网络或广播电波等)而提供给所述计算机(或CPU)。所述通信网络例如是因特网(Internet)、有线通信(wired communication)网络、无线通信(wireless communication)网络或其它通信介质。

综上所述，上述诸实施例所述AR设备120可以拍摄目标设备110而产生画面，以进行AR应用。所述目标设备110可以感测自身的姿态，而提供姿态信息A_inf与数字内容DC给AR设备120。在进行AR应用的过程中，AR设备120可以将目标设备110所提供的数字内容DC叠覆于目标设备110在画面IMG中的目标位置，以及基于目标设备110的姿态信息A_inf对应调整在所述画面IMG’中数字内容DC的姿态(例如旋转数字内容DC的方向)。因为数字内容DC不是被固定存储在AR设备120中，所以AR设备120可以更弹性地呈现AR效果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种扩增实境系统，其特征在于，所述扩增实境系统包括：

目标设备，用以感测所述目标设备自身的姿态而产生姿态信息；以及

扩增实境设备，用以拍摄所述目标设备而产生画面，其中所述目标设备提供数字内容与所述姿态信息给所述扩增实境设备，所述扩增实境设备追踪所述目标设备在所述画面中的目标位置以进行扩增实境应用，所述扩增实境设备在所述扩增实境应用中将所述数字内容叠覆在所述画面中的所述目标位置，以及所述扩增实境设备基于所述目标设备的所述姿态信息对应调整在所述画面中所述数字内容的姿态。

2.根据权利要求1所述的扩增实境系统，其特征在于，在所述扩增实境应用中，所述扩增实境设备通过通讯网络将所述画面传送给远程设备以进行视频会议。

3.根据权利要求1所述的扩增实境系统，其特征在于，所述数字内容包括三维数字对象，以及所述扩增实境设备基于所述姿态信息对应调整在所述画面中所述三维数字对象的姿态。

4.根据权利要求1所述的扩增实境系统，其特征在于，所述目标设备或所述扩增实境设备具有人机接口，以及

当所述人机接口被触发时，所述扩增实境设备以所述目标设备的当前位置固定作为所述目标位置。

5.根据权利要求1所述的扩增实境系统，其特征在于，所述目标设备包括：

姿态传感器，用以检测所述目标设备的姿态而产生姿态感测结果；

通讯电路，用以与所述扩增实境设备建立连接；以及

应用处理器，耦接至所述姿态传感器以及所述通讯电路，其中所述应用处理器基于所述姿态感测结果产生所述姿态信息，以及所述应用处理器通过所述通讯电路将所述数字内容与所述姿态信息提供给所述扩增实境设备。

6.根据权利要求1所述的扩增实境系统，其特征在于，所述扩增实境设备包括：

通讯电路，用以与所述目标设备建立连接以接收所述数字内容与所述姿态信息；

相机，用以拍摄所述目标设备而产生所述画面；以及

图像处理器，耦接至所述通讯电路与所述相机，其中所述图像处理器定位所述目标设备在所述画面中的所述目标位置，所述图像处理器将所述数字内容叠覆在所述画面中的所述目标位置，以及所述图像处理器基于所述姿态信息对应调整在所述画面中所述数字内容的姿态。

7.一种扩增实境系统的操作方法，其特征在于，所述操作方法包括：

由目标设备感测所述目标设备自身的姿态而产生姿态信息；

由所述目标设备提供数字内容与所述姿态信息给扩增实境设备；

由所述扩增实境设备拍摄所述目标设备而产生画面；

由所述扩增实境设备追踪所述目标设备在所述画面中的目标位置，以进行扩增实境应用；

由所述扩增实境设备在所述扩增实境应用中将所述数字内容叠覆在所述画面中的所述目标位置；以及

由所述扩增实境设备基于所述目标设备的所述姿态信息对应调整在所述画面中所述数字内容的姿态。

8.根据权利要求7所述的操作方法，其特征在于，所述操作方法还包括：

在所述扩增实境应用中，由所述扩增实境设备通过通讯网络将所述画面传送给远程设备以进行视频会议。

9.根据权利要求7所述的操作方法，其特征在于，所述数字内容包括三维数字对象，以及所述扩增实境设备基于所述姿态信息对应调整在所述画面中所述三维数字对象的姿态。

10.根据权利要求7所述的操作方法，其特征在于，所述操作方法还包括：

由所述目标设备显示标记；

由所述扩增实境设备拍摄所述标记，以定位在所述画面中的所述目标位置；以及

当所述标记消失于所述画面时，由所述扩增实境设备以所述标记消失于所述画面前所述标记的有效位置作为所述目标位置。

Images