CN115706772A - 扩增实境系统及其操作方法 - Google Patents

Abstract

本发明提供一种扩增实境系统及其操作方法。扩增实境系统包括目标设备、扩增实境服务器以及扩增实境设备。目标设备显示标记。扩增实境服务器提供该标记所对应的数字内容。扩增实境设备拍摄目标设备与标记而产生画面。扩增实境设备通过通讯网络从扩增实境服务器取得数字内容。扩增实境设备依据标记追踪在画面中的目标设备，以进行扩增实境应用。在进行扩增实境应用时，扩增实境设备将数字内容叠覆在画面中的目标设备。

Description

扩增实境系统及其操作方法

技术领域

本发明涉及一种视频系统，尤其涉及一种扩增实境(Augmented Reality，AR)系统及其操作方法。

背景技术

各种影音串流服务越来越风行。常见的影音串流服务包括视频会议。在视频会议中，使用者A可以通过通讯网络展示某个东西给远程的使用者B看。举例来说，使用者A所持拿的手机正在显示一个有趣的数字内容(画面或是立体数字对象)，用户A可能想要将这个数字内容透过视频会议给远程的使用者B看。因此，使用者A让视频会议设备拍摄这个手机的画面。受限于各种环境因素(例如分辨率、色偏等)，使用者B很可能无法清楚看见使用者A的手机所显示的内容。

发明内容

本发明提供一种扩增实境(Augmented Reality，AR)系统及其操作方法，以进行扩增实境应用。

在根据本发明的实施例中，上述的扩增实境系统包括目标设备、扩增实境服务器以及扩增实境设备。目标设备用以显示标记。扩增实境服务器用以提供所述标记所对应的数字内容。扩增实境设备用以拍摄目标设备与标记而产生画面。扩增实境设备通过通讯网络从扩增实境服务器取得数字内容。扩增实境设备依据标记追踪在画面中的目标设备以进行扩增实境应用。扩增实境设备在扩增实境应用中将数字内容叠覆在画面中的目标设备。

在根据本发明的实施例中，上述的操作方法包括：由目标设备显示标记；由扩增实境服务器提供所述标记所对应的数字内容；由扩增实境设备通过通讯网络从扩增实境服务器取得数字内容；由扩增实境设备拍摄目标设备与标记而产生画面；由扩增实境设备依据标记追踪在画面中的目标设备，以进行扩增实境应用；以及由扩增实境设备在扩增实境应用中将数字内容叠覆在画面中的目标设备。

基于上述，本发明诸实施例所述扩增实境设备可以拍摄目标设备的标记而产生画面，以进行扩增实境应用。扩增实境服务器可以提供标记所对应的数字内容给扩增实境设备。在进行扩增实境应用的过程中，所述扩增实境设备可以将扩增实境服务器所提供的数字内容叠覆在画面中的目标设备。因为数字内容不是被固定存储在扩增实境设备中，所以扩增实境设备可以更弹性地呈现扩增实境效果。

附图说明

图1是依照本发明的一实施例的一种扩增实境(AR)系统的电路方块(circuitblock)示意图；

图2是依照本发明的一实施例的一种AR系统的操作方法的流程示意图；

图3是依照本发明的一实施例的一种AR应用的情境示意图；

图4是依照本发明的另一实施例的一种AR系统的电路方块示意图；

图5是依照本发明的一实施例的一种目标设备的电路方块示意图；

图6是依照本发明的一实施例的一种AR设备的电路方块示意图。

附图标记说明

100、400:扩增实境(AR)系统

110、410:目标设备

120、420:AR设备

130、430:AR服务器

300:远程设备

411:应用处理器

412:通讯电路

413:显示器

421:图像处理器

422:通讯电路

423:相机

424:显示器

A、B:使用者

D_inf:显示信息

DC:数字内容

IMG、IMG’:画面

MRK:标记

S210～S260:步骤

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。

在本案说明书全文(包括权利要求)中所使用的“耦接(或连接)”一词可指任何直接或间接的连接手段。举例而言，若文中描述第一装置耦接(或连接)于第二装置，则应该被解释成该第一装置可以直接连接于该第二装置，或者该第一装置可以透过其他装置或某种连接手段而间接地连接至该第二装置。本案说明书全文(包括权利要求)中提及的“第一”、“第二”等用语是用以命名组件(element)的名称，或区别不同实施例或范围，而并非用来限制组件数量的上限或下限，亦非用来限制组件的次序。另外，凡可能之处，在附图及实施方式中使用相同标号的组件/构件/步骤代表相同或类似部分。不同实施例中使用相同标号或使用相同用语的组件/构件/步骤可以相互参照相关说明。

图1是依照本发明的一实施例的一种扩增实境(Augmented Reality，AR)系统100的电路方块(circuit block)示意图。图1所示AR系统100包括目标设备110、AR设备120以及AR服务器130。用户可以让AR设备120拍摄目标设备110而产生画面。本实施例并不限制AR设备120与目标设备110的具体产品类别。举例来说，在一些实施例中，目标设备110可以包括手机、智能手表、平板计算机或是其他电子装置，而AR设备120可以包括本地端计算机、头戴式显示器以及(或是)其他AR设备。

图2是依照本发明的一实施例的一种AR系统的操作方法的流程示意图。请参照图1与图2。在步骤S210中，目标设备110可以显示标记MRK。基于实际设计，标记MRK可以包括ArUco标记、快速响应(Quick Response，QR)码或是预先定义的任何几何图形。AR设备120可以通过通讯网络与AR服务器130建立通讯连接。依照实际设计，所述通讯网络可以包括Wi-Fi无线网络、以太网络(Ethernet)、因特网(internet)以及(或是)其他通讯网络。因此，AR服务器130可以提供标记MRK所对应的数字内容DC给AR设备120(步骤S220)。所述数字内容DC可以依照实际应用来设定。举例来说，在一些实施例中，数字内容DC可以包括二维图像帧、三维数字对象以及(或是)其他数字内容。二维图像帧可以包括相片、影片或其他图像信号。在步骤S230，AR设备120可以通过通讯网络从AR服务器130取得数字内容DC。

在步骤S240，AR设备120可以拍摄目标设备110与标记MRK而产生画面(或画面串流)。举例来说(但不限于此)，AR设备120可以依据目标设备110所显示的标记MRK获得对于AR服务器130的数字内容下载信息。依照实际设计，在一些实施例中，标记MRK可以包括QR码或是以其他可编码图形，而所述数字内容下载信息可以被嵌入标记MRK。依照实际设计，所述数字内容下载信息可以包括AR服务器130的网址、目标设备110的标识符、数字内容标识符以及(或是)其他下载数字内容的相关信息。AR设备120可以依据所述数字内容下载信息通过通讯网络从AR服务器130取得数字内容DC。

在步骤S250，AR设备120可以追踪在所述画面中的目标设备110，以进行AR应用。依照实际设计，所述AR应用可以包括游戏应用、教育应用、视频会议应用以及(或是)其他应用。在进行所述AR应用的过程中，AR设备120可以在所述画面中将AR服务器430所提供的数字内容DC叠覆于目标设备110(步骤S260)。

图3是依照本发明的一实施例的一种AR应用的情境示意图。在图3所示实施例中，所述AR应用可以包括视频会议应用。请参照图1与图3。AR设备120可以通过通讯网络连结远程设备300。依照实际设计，所述通讯网络可以包括Wi-Fi无线网络、以太网络、因特网以及(或是)其他通讯网络。在图3所示实施例中，目标设备110可以包括智能手机，而AR设备120以及远程设备300可以包括笔记本电脑。AR设备120可以通过通讯网络将画面传送给远程设备300以进行视频会议。

在图3所示视频会议中，使用者A可以通过通讯网络展示某个东西给远程的使用者B看。举例来说，用户A所持拿的目标设备110正在显示一个有趣的数字内容(画面或是立体数字对象)，而且用户A可能想要将这个数字内容透过视频会议给远程的使用者B看。因此，使用者A让AR设备120拍摄这个目标设备110所显示的画面。受限于各种环境因素(例如分辨率、色偏等)，使用者B很可能无法清楚看见AR设备120拍摄的，目标设备110所显示的内容。

因此在视频会议(AR应用)中，目标设备110可以将正在显示的数字内容DC提供给AR设备120，而AR设备120可以拍摄目标设备110与用户A而产生画面(在此称为会议画面)。AR设备120可以在所述会议画面中将数字内容DC叠覆于目标设备110，以产生AR会议画面。AR设备120可以通过通讯网络将所述AR会议画面传送给远程设备300以进行视频会议。远程设备300可以显示AR会议画面给用户B。用户B所看到的目标设备110正在显示的数字内容不是AR设备120的拍摄结果，因此这个数字内容没有分辨率、色偏等问题。

举例来说，基于实际设计，目标设备110提供给AR设备120的数字内容可以包括三维数字对象，而目标设备110具有至少一个姿态传感器(Attitude sensor，未示出于图1与图3)以检测目标设备110的姿态。举例来说，姿态传感器可以包括加速度传感器(acceleration sensor)、重力传感器(gravity sensor)、陀螺仪(gyroscope)、电子罗盘(electronic compass)以及(或是)其他传感器。目标设备110可以通过通讯连接将目标设备110的姿态所对应的姿态信息提供给AR设备120。依照实际设计，所述通讯连接可以包括蓝牙(Bluetooth)、Wi-Fi无线网络、通用串行总线(Universal Serial Bus，USB)以及(或是)其他通讯连接接口。AR设备120可以拍摄目标设备110而产生画面(例如会议画面)，以及在所述画面中将三维数字对象(数字内容DC)叠覆于目标设备110。AR设备120可以基于目标设备110的姿态信息去对应调整在所述画面中的三维数字对象的姿态。

图4是依照本发明的另一实施例的一种AR系统400的电路方块(circuit block)示意图。图4所示AR系统400包括目标设备410、AR设备420以及AR服务器430。图4所示目标设备410、AR设备420以及AR服务器430可以参照图1所示目标设备110、AR设备120以及AR服务器130的相关说明加以类推，故不再赘述。

在图4所示实施例中，目标设备410可以通过通讯网络提供显示信息D_inf给AR服务器430。依照实际设计，所述通讯网络可以包括Wi-Fi无线网络、以太网络、因特网以及(或是)其他通讯网络。AR服务器430可以将显示信息D_inf转换为数字内容DC以提供给AR设备420。依照实际设计，在一些实施例中，显示信息D_inf可以包括对应于目标设备410的设备标识符。在另一些实施例中，显示信息D_inf可以包括对应于目标设备410当下显示的显示内容。

在此假设，显示信息D_inf可以包括对应于目标设备410的设备标识符。目标设备410可以通过显示标记MRK以将目标设备410的设备标识符传送给AR设备420。AR设备420可以将带有所述设备标识符的内容要求通过通讯网络传送给AR服务器430，而目标设备410可以将带有所述设备标识符的显示信息D_inf通过通讯网络提供给AR服务器430。AR服务器430可以比对显示信息D_inf的设备标识符与AR设备420的内容要求的设备标识符而产生比对结果。AR服务器430可以依据比对结果决定是否将数字内容DC提供给AR设备420。

在此假设，显示信息D_inf可以包括对应于目标设备410当下显示的显示内容。AR服务器430可以进行加值服务，以将目标设备410当下显示的显示内容(显示信息D_inf)转换为数字内容DC。所述加值服务可以依照实际设计/应用而有所不同。举例来说，在一些实施例中，AR服务器430所提供的加值服务可以包括超分辨率成像(Super-resolutionimaging，SR)服务、三维图像转换服务、图像增强(image enhancement)服务、翻译服务以及(或是)其他服务。“超分辨率成像”是一种提高影片分辨率的技术。AR服务器430所提供的超分辨率成像服务可以调高目标设备410当下显示的显示内容(显示信息D_inf)作为数字内容DC。AR服务器430所提供的三维图像转换服务可以将目标设备410当下显示的二维显示内容(显示信息D_inf)转换为三维内容作为所述数字内容DC。AR服务器430所提供的图像增强服务包括，对目标设备410当下显示的显示内容(显示信息D_inf)行去模糊(de-blurring)操作，以将显示内容(显示信息D_inf)转换为数字内容DC。AR服务器430所提供的翻译服务可以将目标设备410当下显示的文字内容(显示信息D_inf)从第一语言转换为第二语言，然后将转换结果作为所述数字内容DC。

图5是依照本发明的一实施例的一种目标设备410的电路方块示意图。依照实际设计，在一些实施例中，图1所示目标设备110可以参考图5所示目标设备410的相关说明加以类推。在图5所示实施例中，目标设备410包括应用处理器411、通讯电路412以及显示器413。请参照图4与图5。应用处理器411耦接至通讯电路412与显示器413。通讯电路412可以与AR服务器430建立连接，以提供显示信息D_inf给AR服务器430。基于应用处理器411的驱动与控制，显示器413可以显示标记MRK。AR设备420可以拍摄显示器413所显示的标记MRK，以定位在画面中的目标设备410的位置。

图6是依照本发明的一实施例的一种AR设备420的电路方块示意图。依照实际设计，在一些实施例中，图1所示AR设备120可以参考图6所示AR设备420的相关说明加以类推。在图6所示实施例中，AR设备420包括图像处理器421、通讯电路422、相机423以及显示器424。图像处理器421耦接至通讯电路422、相机423与显示器424。通讯电路422可以与AR服务器430建立连接，以接收数字内容DC。相机423可以拍摄目标设备410与标记MRK而产生画面IMG。图像处理器421可以依据目标设备410所显示的标记MRK定位在所述画面IMG中的目标设备410的位置。图像处理器421可以在画面IMG中将数字内容DC叠覆于目标设备410，以产生叠覆后的画面IMG’。显示器424耦接至图像处理器421，以接收画面IMG’。基于图像处理器421的驱动与控制，显示器424可以显示经叠覆数字内容DC后的画面IMG’。

依照不同的设计需求，上述应用处理器411以及(或是)图像处理器421的实现方式可以是硬件(hardware)、固件(firmware)、软件(software，即程序)或是前述三者中的多者的组合形式。以硬件形式而言，上述应用处理器411以及(或是)图像处理器421可以实现于集成电路(integrated circuit)上的逻辑电路。上述应用处理器411以及(或是)图像处理器421的相关功能可以利用硬件描述语言(hardware description languages，例如Verilog HDL或VHDL)或其他合适的编程语言来实现为硬件。举例来说，上述应用处理器411以及(或是)图像处理器421的相关功能可以被实现于一或多个控制器、微控制器、微处理器、特殊应用集成电路(Application-specific integrated circuit,ASIC)、数字信号处理器(digital signal processor,DSP)、场可程序逻辑门阵列(Field Programmable GateArray,FPGA)和/或其他处理单元中的各种逻辑区块、模块和电路。

以软件形式和/或固件形式而言，上述应用处理器411以及(或是)图像处理器421的相关功能可以被实现为编程码(programming codes)。例如，利用一般的编程语言(programming languages，例如C、C++或汇编语言)或其他合适的编程语言来实现上述应用处理器411以及(或是)图像处理器421。所述编程码可以被记录/存放在“非临时的计算机可读取媒体(non-transitory computer readable medium)”中。在一些实施例中，所述非临时的计算机可读取媒体例如包括只读存储器(Read Only Memory，ROM)、带(tape)、碟(disk)、卡(card)、半导体内存、可程序设计的逻辑电路以及(或是)存储装置。所述存储装置包括硬盘(hard disk drive，HDD)、固态硬盘(Solid-state drive，SSD)或是其他存储装置。计算机、中央处理器(Central Processing Unit，CPU)、控制器、微控制器或微处理器可以从所述非临时的计算机可读取媒体中读取并执行所述编程码，从而实现上述应用处理器411以及(或是)图像处理器421的相关功能。而且，所述编程码也可经由任意传输媒体(通信网路或广播电波等)而提供给所述计算机(或CPU)。所述通信网路例如是因特网(Internet)、有线通信(wired communication)网络、无线通信(wireless communication)网络或其它通信介质。

综上所述，上述诸实施例所述AR设备可以拍摄目标设备的标记而产生画面，以进行AR应用。AR服务器可以提供标记MRK所对应的数字内容DC给AR设备。在进行AR应用的过程中，所述AR设备可以将AR服务器所提供的数字内容DC叠覆在画面中的目标设备。因为数字内容DC不是被固定存储在AR设备中，所以AR设备可以更弹性地呈现AR效果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种扩增实境系统，其特征在于，所述扩增实境系统包括：

目标设备，用以显示标记；

扩增实境服务器，用以提供所述标记所对应的数字内容；以及

扩增实境设备，用以拍摄所述目标设备与所述标记而产生画面，其中所述扩增实境设备通过通讯网络从所述扩增实境服务器取得所述数字内容，所述扩增实境设备依据所述标记追踪在所述画面中的所述目标设备以进行扩增实境应用，以及所述扩增实境设备在所述扩增实境应用中将所述数字内容叠覆在所述画面中的所述目标设备。

2.根据权利要求1所述的扩增实境系统，其特征在于，所述扩增实境设备还依据所述标记获得对于所述扩增实境服务器的数字内容下载信息，以及所述扩增实境设备依据所述数字内容下载信息通过所述通讯网络从所述扩增实境服务器取得所述数字内容。

3.根据权利要求1所述的扩增实境系统，其特征在于，所述目标设备通过所述通讯网络提供显示信息给所述扩增实境服务器，以及所述扩增实境服务器将所述显示信息转换为所述数字内容以提供给所述扩增实境设备。

4.根据权利要求3所述的扩增实境系统，其特征在于，所述显示信息包括对应于所述目标设备的设备标识符，所述目标设备通过显示所述标记以将所述设备标识符传送给所述扩增实境设备，所述扩增实境设备将带有所述设备标识符的内容要求通过所述通讯网络传送给所述扩增实境服务器，所述扩增实境服务器比对所述显示信息的所述设备标识符与所述内容要求的所述设备标识符而产生比对结果，以及所述扩增实境服务器依据所述比对结果决定是否将所述数字内容提供给所述扩增实境设备。

5.根据权利要求3所述的扩增实境系统，其特征在于，所述显示信息包括对应于所述目标设备当下显示的显示内容，以及所述扩增实境服务器进行加值服务以将所述显示内容转换为所述数字内容。

6.根据权利要求5所述的扩增实境系统，其特征在于，所述加值服务包括超分辨率成像服务、三维图像转换服务、图像增强服务以及翻译服务其中至少一者。

7.根据权利要求1所述的扩增实境系统，其特征在于，所述数字内容包括三维数字对象，所述目标设备具有至少一个姿态传感器以检测所述目标设备的姿态，所述目标设备将所述目标设备的姿态所对应的姿态信息提供给所述扩增实境设备，以及所述扩增实境设备基于所述姿态信息对应调整在所述画面中所述三维数字对象的姿态。

8.一种扩增实境系统的操作方法，其特征在于，所述操作方法包括：

由目标设备显示标记；

由扩增实境服务器提供所述标记所对应的数字内容；

由扩增实境设备通过通讯网络从所述扩增实境服务器取得所述数字内容；

由所述扩增实境设备拍摄所述目标设备与所述标记而产生画面；

由所述扩增实境设备依据所述标记追踪在所述画面中的所述目标设备，以进行扩增实境应用；以及

由所述扩增实境设备在所述扩增实境应用中将所述数字内容叠覆在所述画面中的所述目标设备。

9.根据权利要求8所述的操作方法，其特征在于，所述操作方法还包括：

由所述扩增实境设备依据所述标记获得对于所述扩增实境服务器的数字内容下载信息；以及

由所述扩增实境设备依据所述数字内容下载信息通过所述通讯网络从所述扩增实境服务器取得所述数字内容。

10.根据权利要求8所述的操作方法，其特征在于，所述操作方法还包括：

由所述目标设备通过所述通讯网络提供显示信息给所述扩增实境服务器；以及

由所述扩增实境服务器将所述显示信息转换为所述数字内容以提供给所述扩增实境设备。

11.根据权利要求10所述的操作方法，其特征在于，所述显示信息包括对应于所述目标设备的设备标识符，以及所述操作方法还包括：

由所述目标设备通过显示所述标记将所述设备标识符传送给所述扩增实境设备；

由所述扩增实境设备将带有所述设备标识符的内容要求通过所述通讯网络传送给所述扩增实境服务器；

由所述扩增实境服务器比对所述显示信息的所述设备标识符与所述内容要求的所述设备标识符而产生比对结果；以及

由所述扩增实境服务器依据所述比对结果决定是否将所述数字内容提供给所述扩增实境设备。

12.根据权利要求10所述的操作方法，其特征在于，所述显示信息包括对应于所述目标设备当下显示的显示内容，以及所述操作方法还包括：

由所述扩增实境服务器进行加值服务，以将所述显示内容转换为所述数字内容。

13.根据权利要求12所述的操作方法，其特征在于，所述加值服务包括超分辨率成像服务、三维图像转换服务、图像增强服务以及翻译服务其中至少一者。

14.根据权利要求8所述的操作方法，其特征在于，所述数字内容包括三维数字对象，以及所述操作方法还包括：

由所述目标设备的至少一个姿态传感器检测所述目标设备的姿态；

由所述目标设备将所述目标设备的姿态所对应的姿态信息提供给所述扩增实境设备；以及

由所述扩增实境设备基于所述姿态信息对应调整在所述画面中所述三维数字对象的姿态。

Images