CN114371819B

CN114371819B - 扩增实境屏幕系统及扩增实境屏幕显示方法

Info

Publication number: CN114371819B
Application number: CN202011102457.5A
Authority: CN
Inventors: 曾惠萍; 杨朝光; 徐文正; 黄志文; 谭驰澔
Original assignee: Acer Inc
Current assignee: Acer Inc
Priority date: 2020-10-15
Filing date: 2020-10-15
Publication date: 2023-10-17
Anticipated expiration: 2040-10-15
Also published as: CN114371819A

Abstract

本发明涉及一种扩增实境屏幕系统，并涉及一种扩增实境屏幕显示方法，包含：通过一扩增实境装置的一摄相机拍摄一实体标记；通过一主机接收实体标记，并判断实体标记的一位置信息与一旋转信息，并通过主机的一处理器由一储存装置中获取出一虚拟画面；以及通过处理器依据位置信息与旋转信息，将虚拟画面经调整后传送到扩增实境装置，使扩增实境装置将调整后的虚拟画面投影到扩增实境装置的一显示器上，使调整后的虚拟画面成为一虚拟延伸屏幕，虚拟延伸屏幕与实体标记同时显示于扩增实境装置的显示器上。

Description

扩增实境屏幕系统及扩增实境屏幕显示方法

技术领域

本发明涉及一种扩增实境的应用，特别涉及一种扩增实境屏幕及扩增实境屏幕显示方法。

背景技术

目前延伸屏幕已经广泛地应用于工作和日常生活中，例如，一个用户使用两个屏幕，借此可以展开更多窗口。然而，用户要多个屏幕则需要多买对应数量的屏幕，例如，一个用户需要三个屏幕，则须购入三个屏幕，屏幕越多，则成本越高。此外，若用户在配置屏幕的过程中，需要手动地调整屏幕的摆放位置。

因此，如何便利地使用延伸屏幕，让用户能看到更广的显示范围，已成为本领域需解决的问题之一。

发明内容

为了解决上述的问题，本公开内容的一实施方式提供了一种扩增实境屏幕系统。扩增实境屏幕系统包含：一扩增实境装置以及一主机。扩增实境装置用以通过一摄相机拍摄一实体标记。主机用以接收实体标记，并判断实体标记的一位置信息与一旋转信息，并通过主机的一处理器由一储存装置中获取出一虚拟画面。其中，处理器依据位置信息与旋转信息，将虚拟画面经调整后传送到扩增实境装置，使扩增装置将调整后的虚拟画面投影到扩增实境装置的一显示器上，使调整后的虚拟画面成为一虚拟延伸屏幕，虚拟延伸屏幕与实体标记同时显示于扩增实境装置的显示器上。

本公开内容的另一实施方式提供了一种扩增实境屏幕系统。扩增实境屏幕显示方法包含以下步骤：通过一扩增实境装置的一摄相机拍摄一实体标记；通过一主机接收实体标记，并判断实体标记的一位置信息与一旋转信息，并通过主机的一处理器由一储存装置中获取出一虚拟画面；以及通过处理器依据位置信息与旋转信息，将虚拟画面经调整后传送到扩增实境装置，使扩增装置将调整后的虚拟画面投影到扩增实境装置的一显示器上，使调整后的虚拟画面成为一虚拟延伸屏幕，虚拟延伸屏幕与实体标记同时显示于扩增实境装置的显示器上。

本发明所示的扩增实境屏幕系统及扩增实境屏幕显示方法，提供了配戴扩增实境装置扫描放在任意处任何角度的实体标记，用户即可看见虚拟延伸屏幕，且虚拟延伸屏幕的画面尺寸可依使用者的需求做调整，解决使用实体屏幕带来的重量、体积、固定画面尺寸、空间限制、携带性不便等等问题。因此，将延伸屏幕虚拟化在扩增实境装置中显示，除了可以取代实体延伸屏幕，也能创造了新的使用情境。

附图说明

图1是依照本发明一实施例示出扩增实境屏幕系统的方框图。

图2是依照本发明一实施例示出扩增实境屏幕显示方法的流程图。

图3是依照本发明一实施例示出扩增实境屏幕显示方法的示意图。

图4A～4C是依照本发明一实施例示出调整视角范围的示意图。

图5是依照本发明一实施例示出头戴式显示装置的虚拟延伸屏幕的示意图。

图6是依照本发明一实施例示出虚拟延伸屏幕的应用的示意图。

附图标记说明：

100：扩增实境屏幕系统

10：处理器

SR：主机

PM：显示器

HMD：头戴式显示装置

ST：储存装置

CAM：摄相机

GYR：陀螺仪

IRR：红外线接收器

HDP：显示器

200,300：扩增实境屏幕显示方法

210～230,S1～S5：步骤

MK：实体标记

VIM：虚拟画面

VIM’：调整后的虚拟画面

USR：使用者

CAF：画面

R0～R2,R2’：参考点

R3：目标坐标

P1,P1’：像素

FOV0,FOV1：视角范围

FOV2：第一特定范围

FOV3：虚拟画面

FOV4：第二特定范围

具体实施方式

以下说明为完成发明的优选实现方式，其目的在于描述本发明的基本构思，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。

必须了解的是，使用于本说明书中的”包含”、”包括”等词，是用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。

于权利要求中使用如”第一”、"第二"、"第三"等词是用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。

请参照图1～3，图1是依照本发明一实施例示出扩增实境屏幕系统100的方框图。图2是依照本发明一实施例示出扩增实境屏幕显示方法200的流程图。图3是依照本发明一实施例示出扩增实境屏幕显示方法300的示意图。

如图1所示，扩增实境屏幕系统100包含一头戴式显示装置HMD及一主机SR。于一实施例中，主机SR与头戴式显示装置HMD可以由有线/无线方式建立通信链接。

于一实施例中，扩增实境装置可以是头戴式显示装置HMD或其他可以同时显示虚拟图像及实体影像的装置。为方便叙述，以下以头戴式显示装置HMD为例作说明。

于一实施例中，主机SR可以是笔记本电脑、桌机、或其它具有运算功能的电子装置。

于一实施例中，主机SR包含处理器10。于一实施例中，处理器10可由体积电路如微控制单元(micro controller)、微处理器(microprocessor)、数字信号处理器(digitalsignal processor)、特殊应用集成电路(application specific integrated circuit，ASIC)或一逻辑电路来实施。

于一实施例中，主机SR可包含显示器PM或是外接显示器PM。于一实施例中，显示器PM为耦接于主机SR的实体显示器。

于一实施例中，主机SR包含一储存装置ST，储存装置ST可被实作为只读存储器、闪存、软盘、硬盘、光盘、U盘、磁带、可由网络存取的数据库或熟悉此技艺者可轻易思及具有相同功能的储存媒体。

于一实施例中，使用者USR可以配戴头戴式显示装置HMD，头戴式显示装置HMD中包含一摄相机CAM、一陀螺仪GYR、一红外线接收器IRR及一显示器HDP。其中，陀螺仪GYR通过对偏转、倾斜等动作角速度的测量，可以得知使用者USR配带头戴式显示装置HMD的视野和方向。

于一实施例中，头戴式显示装置HMD的摄相机CAM用以拍摄并追踪实体标记MK。

于一实施例中，实体标记MK可以是任何形式的标记，例如是一二进制平方标记(ArUco marker)、一QR码、一红外线或一屏幕外观。

于一实施例中，当扩增实境屏幕系统100默认实体标记MK为QR码且摄相机CAM拍到QR码时，摄相机CAM会将拍到的画面及陀螺仪GYR测量的数值传给主机SR的处理器10。

于一实施例中，当扩增实境屏幕系统100默认实体标记MK为红外线且红外线接收器IRR接收到红外线时，红外线接收器IRR会将此时摄相机CAM拍到的画面及陀螺仪GYR测量的数值传给主机SR的处理器10。由此可知，通过摄相机CAM或红外线接收器IRR可以让头戴式显示装置HMD拍摄到实体标记MK。然而，本公开不限于此，只要是能让头戴式显示装置HMD得知拍摄到实体标记MK的方法皆可应用的。

请一并参照图2～3，以下说明扩增实境屏幕显示方法200的流程，扩增实境屏幕显示方法200可以使用图1中的元件以实现之。于一实施例中，如图3所示，目标是让用户USR通过头戴式显示装置HMD看到显示器PM(主机SR的实体显示器)旁边显示虚拟延伸屏幕VIM。

于步骤210中，一头戴式显示装置HMD的一摄相机CAM拍摄一实体标记MK。

于一实施例中，当头戴式显示装置HMD的一摄相机CAM拍摄到实体标记MK，则将拍到的画面CAF及陀螺仪GYR测量的数值传给主机SR的处理器10(即图3中的步骤S2)。于一实施例中，一摄相机CAM拍到的画面CAF为二维影像，二维影像中至少包含实体标记MK，在此例中，还包含显示器PM(实体显示器)。

于一实施例中，主机SR中可以一直运行一软件，例如一游戏软件，但不显示游戏画面于显示器PM(实体显示器)上，游戏画面暂存于储存装置ST中(此处的储存装置以内存为例)，显示器PM上可能用于显示文字编辑软件，处理器10收到来自头戴式显示装置HMD所拍摄的实体标记MK后，则由内存中获取出游戏画面VIM(即图3中的步骤S1)。

于一实施例中，处理器10可以定时(例如每5秒)由内存中获取出游戏画面VIM，因此，图3中的步骤S1、S2没有次序之分。

于步骤220中，一主机SR接收实体标记MK，并判断实体标记MK的一位置信息与一旋转信息，并通过主机SR的一处理器10由一储存装置ST中获取出一虚拟画面VIM。

于一实施例中，主机SR的处理器20接收到摄相机CAM拍到的画面CAF为二维影像，由此二维影像中获取出实体标记MK。处理器20分析此实体标记MK的位置信息与旋转信息。

于一实施例中，位置信息可以是相对于头戴式显示装置HMD的三轴坐标(ax,ay,az)，旋转信息可以是相对于头戴式显示装置HMD的三轴旋转角度(rx,ry,rz)。

于一实施例中，处理器10执行一追踪算法，以侦测实体标记MK的位置信息与旋转信息。追踪算法可以由已知的标记(marker)追踪法、视觉惯性里程计(Visual–InertialOdometry，VIO)算法、同步定位地图建造(Simultaneous Localization and Mapping，SLAM)算法或对象追踪(object tracking)算法以追踪实体标记MK的位置信息与旋转信息。

于步骤230中，处理器10依据位置信息与旋转信息，将虚拟画面VIM经调整后传送到头戴式显示装置HMD，头戴式显示装置HMD将调整后的虚拟画面VIM’投影到头戴式显示装置HMD的一显示器HDP上，使调整后的虚拟画面VIM’成为一虚拟延伸屏幕，虚拟延伸屏幕VIM’与实体标记MK同时显示于头戴式显示装置HMD的显示器HDP上。

于一实施例中，由于摄相机CAM拍到的画面CAF为三维影像，从画面CAF获取出来的实体标记MK也是三维影像(图3 S3所示)而处理器10由内存中获取出运算后的虚拟画面VIM为二维影像，因此要进行二维影像投影到三维影像的校正处理，使头戴式显示装置HMD的显示器HDP能正确的显示调整后的虚拟画面VIM’(如图3 S4所示)。当使用者USR通过头戴式显示装置HMD的显示器HDP看到虚拟画面VIM’与显示器PM(实体显示器)两者，则用户USR在视觉上会将虚拟画面VIM’视为虚拟延伸屏幕(如图3 S5所示)。

于一实施例中，处理器1f0通过一位置投影算法，通过位置投影算法计算虚拟画面VIM的每个像素各自投影到头戴式显示装置HMD的显示器HDP的一目标坐标，以调整虚拟画面VIM，并将调整后的虚拟画面VIM’传送到头戴式显示装置HMD，使头戴式显示装置HMD将调整后的虚拟画面VIM’投影到头戴式显示装置HMD的显示器HDP上。

以下为将虚拟画面VIM进行调整，使调整后的虚拟画面VIM’能够投影到头戴式显示装置HMD的显示器HDP的方法。然，下述方法仅为一例，其他的已知转换方式也可以应用于此。

于一实施例中，处理器10从头戴式显示装置HMD中读到实体标记MK信息，实体标记MK信息包含位置信息(ax,ay,az)、旋转信息(rx,ry,rz)，处理器10也会接收到摄相机CAM的影像数据，每个像素以(cx,cu,cz)作代表。此外，处理器10根据追踪算法所得到的实体标记MK信息(位置信息及旋转信息)，处理器10同时获取内存中的虚拟画面VIM。

于一实施例中，处理器10将摄相机CAM拍摄到的实体标记MK，以头戴式显示装置HMD内部的光机(projector)为原点作校准，以得到以头戴式显示装置HMD的光机为原点的相对坐标。校准(calibration)函式如下：

其中，符号M_Rotate为摄相机CAM与头戴式显示装置HMD的光机间的相对旋转矩阵；符号D_x–axis、D_y-axis及D_z-axis为摄相机CAM与头戴式显示装置HMD的光机相对平移(把摄相机CAM的原点以头戴式显示装置HMD的光机作为新原点)的三轴位置。

于一实施例中，处理器10将校准后的数据Xcalib、Ycalib、Zcalib代入单应性矩阵(Homography)进行运算。单应性矩阵是射影几何中的概念，又称为射影变换，单应性矩阵将一个射影平面上的点映像到另一个射影平面上，并且把直线映像为直线，具有保线性质。单应性矩阵函式如下：

借此可取得射影变换后的坐标数据。

于一实施例中，显示器HDP可以是由一光机(projector)实现的，光机是用来在扩增实境中显示成像(companion display in AR world)的显示器。

于一实施例中，由于在穿戴式显示设备HMD中，摄相机CAM的视角(field of view，FOV)、分辨率与显示器HDP(或光机)的视角、分辨率具有差异，需要以下计算(圈选视角范围(Corp)及调整分辨率(Resize))进行最终成像位置调整：

其中

其中，符号W_cam、H_cam分别为摄相机CAM的宽度及高度的分辨率，符号W_des、H_des分别为虚拟画面VIM’(即虚拟延伸屏幕)的宽度及高度的分辨率。于一实施例中，处理器10将运算后的虚拟延伸屏幕位置(dx,dy)显示于在头戴式显示装置HMD的显示器HDP，使用者在扩增实境中，即可看到与实体标记MK有相同转动角度的虚拟延伸屏幕，处理器10通过对虚拟延伸屏幕位置(dx,dy)进行Crop与Resize矩阵运算可对此虚拟延伸屏幕做裁切和尺寸调整。

请参照图4A～4C、5、6，图4A～4C是依照本发明一实施例示出调整视角范围的示意图。图5是依照本发明一实施例示出头戴式显示装置HMD的虚拟延伸屏幕的示意图。图6是依照本发明一实施例示出虚拟延伸屏幕的应用的示意图。

于一实施例中，如图4A所示，处理器10获取由摄相机CAM拍到的画面CAF中的一视角范围FOV0，从视角范围FOV0中选取一参考点R0，将参考点R0移到画面CAF中的一边界(例如图4B，参考点R0移到与边界R1位置重叠，此时将参考点视为R1，将视角范围视为FOV1)。

接着，处理器10获取位于画面CAF内的视角范围FOV1的一第一特定范围(例如位于画面CAF中内的第一特定范围FOV2，此时指定参考点为R2)，将第一特定范围FOV2放大至与耦接于主机SR的一实体显示器PM的分辨率一致(如第4C所示，将第一特定范围FOV2放大到虚拟画面FOV3的状态，使第一特定范围FOV2放大后的分辨率与实体显示器PM的分辨率一致，此时指定参考点由R2位移到R2’的位置)，将参考点R2’移动到头戴式显示装置HMD的显示器HDP上的一目标坐标R3(依据前述位置投影算法，处理器10可以算出摄相机CAM的参考点R0所对应到显示器HDP的目标位置R3，并在此时将参考点R2’移到目标坐标R3)，获取位于虚拟画面FOV3内的视角范围的一第二特定范围FOV4，将第二特定范围FOV4的一指定像素P1(例如指定左上角像素P1)对应到实体标记MK的一指定位置(指定位置例如指定MK的左上角像素P1’，将指定像素P1与指定位置P1’重叠)，使画面CAF的第二特定范围FOV4成为虚拟延伸屏幕(即调整后的虚拟画面VIM’)，虚拟延伸屏幕VIM’与实体标记MK同时于显示头戴式显示装置HMD的显示器HDP上。

于一实施例中，第二特定范围FOV4的指定像素P1的位置与实体标记MK的指定位置P1’可以事先被定义。

于一实施例中，当头戴式显示装置HMD暂时性的(例如为5秒内)没有拍摄到实体标记MK，则虚拟延伸屏幕VIM’可显示于头戴式显示装置HMD的显示器HDP上(例如暂时性的显示3秒)。

于一实施例中，处理器10依据位置信息与旋转信息调整第二特定范围FOV4，并将调整后的第二特定范围FOV4视为虚拟延伸屏幕VIM’，处理器10由实体标记MK得知一延伸方向(例如图5中，实体标记MK位于实体显示器PM的正右侧，则虚拟延伸屏幕VIM’的延伸方向为往正右侧延伸)，处理器10将延伸方向传送到头戴式显示装置HMD，头戴式显示装置HMD将虚拟延伸屏幕VIM’依据实体标记MK及延伸方向显示于显示器HDP上，使得虚拟延伸屏幕VIM’与实体显示器PM并排。

于一实施例中，虚拟延伸屏幕VIM’与实体显示器PM的大小及分辨率皆相同，虚拟延伸屏幕VIM’可以动态地显示不同的画面。

于一实施例中，处理器10获取(crop)虚拟画面VIM中的一视角范围FOV0，将视角范围FOV0调整成与实体显示器PM的大小及分辨率一致，再将此调整后的视角范围FOV0视为虚拟延伸屏幕VIM’，将虚拟延伸屏幕VIM’传给头戴式显示装置HMD，头戴式显示装置HMD将虚拟延伸屏幕VIM’依据实体标记MK及延伸方向显示于显示器HDP上，使得虚拟延伸屏幕VIM’与实体显示器PM并排。

如图6所示，通过扩增实境屏幕显示方法200，只要头戴式显示装置HMD的摄相机CAM拍摄到实体标记MK，头戴式显示装置HMD将包含实体标记MK的影像传送给主机SR，主机SR可以接收实体标记MK，并实体标记MK产生虚拟延伸屏幕VIM’，并将虚拟延伸屏幕VIM’传送到头戴式显示装置HMD的显示器HDP，使用者USR可以通过显示器HDP看到实体标记MK及将虚拟延伸屏幕VIM’。于一实施例中，如图6所示，使用者USR可以通过显示器HDP看到多个实体标记MK及对应各个实体标记MK的虚拟延伸屏幕VIM’，借此可以在桌面、墙面、实体显示器PM旁边看到延伸屏幕VIM’。

本发明的方法，或特定型态或其部分，可以以程序代码的型态存在。程序代码可以包含于实体媒体，如软盘、光盘片、硬盘、或是任何其他机器可读取(如计算机可读取)储存媒体，亦或不限于外在形式的计算机程序产品，其中，当程序代码被机器，如计算机加载且执行时，此机器变成用以参与本发明的装置。程序代码也可以通过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序代码被机器，如计算机接收、加载且执行时，此机器变成用以参与本发明的装置。当在一般用途处理单元实作时，程序代码结合处理单元提供一操作类似于应用特定逻辑电路的独特装置。

虽然本发明已以实施方式公开如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的构思和范围内，当可作各种的变动与润饰，因此本发明的保护范围当视权利要求所界定者为准。

Claims

1.一种扩增实境屏幕系统，包含：

一扩增实境装置，用以通过一摄相机拍摄一实体标记；以及

一主机，用以接收该实体标记，并判断该实体标记的一位置信息与一旋转信息，并通过该主机的一处理器由一储存装置中获取出一虚拟画面；

其中，该处理器依据该位置信息与该旋转信息，将该虚拟画面经调整后传送到该扩增实境装置，该扩增实境装置将调整后的该虚拟画面投影到该扩增实境装置的一显示器上，使调整后的该虚拟画面成为一虚拟延伸屏幕，该虚拟延伸屏幕与该实体标记同时显示于该扩增实境装置的该显示器上。

2.如权利要求1所述的扩增实境屏幕系统，其中，该处理器执行一追踪算法，以侦测该实体标记的该位置信息与该旋转信息。

3.如权利要求1所述的扩增实境屏幕系统，其中，该处理器通过一位置投影算法，通过该位置投影算法计算该虚拟画面的每个像素各自投影到该扩增实境装置的该显示器的一目标坐标，以调整该虚拟画面，将调整后的该虚拟画面投影到该扩增实境装置的该显示器上。

4.如权利要求1所述的扩增实境屏幕系统，其中，该处理器获取由该摄相机拍到的一画面中的一视角范围，从该视角范围中选取一参考点，将该参考点移到该画面中的一边界，获取位于该画面内的该视角范围的一第一特定范围，将该第一特定范围放大至与耦接于该主机的一实体显示器的分辨率一致，将该参考点移动到该扩增实境装置的该显示器上的一目标坐标，获取位于该画面内的该视角范围的一第二特定范围，将该第二特定范围的一指定像素对应到该实体标记的一指定位置，使该画面的该第二特定范围成为该虚拟延伸屏幕，该虚拟延伸屏幕与该实体标记同时显示于该扩增实境装置的该显示器上。

5.如权利要求4所述的扩增实境屏幕系统，其中，该处理器依据该位置信息与该旋转信息调整该第二特定范围，并将调整后的该第二特定范围视为该虚拟延伸屏幕，该处理器由该实体标记得知一延伸方向，并将该延伸方向传送到该扩增实境装置，该扩增实境装置将该虚拟延伸屏幕依据该实体标记及该延伸方向显示于该扩增实境装置的该显示器上。

6.一种扩增实境屏幕显示方法，包含：

通过一扩增实境装置的一摄相机拍摄一实体标记；

通过一主机接收该实体标记，并判断该实体标记的一位置信息与一旋转信息，并通过该主机的一处理器由一储存装置中获取出一虚拟画面；以及

通过该处理器依据该位置信息与该旋转信息，将该虚拟画面经调整后传送到该扩增实境装置，该扩增实境装置将调整后的该虚拟画面投影到该扩增实境装置的一显示器上，使调整后的该虚拟画面成为一虚拟延伸屏幕，该虚拟延伸屏幕与该实体标记同时显示于该扩增实境装置的该显示器上。

7.如权利要求6所述的扩增实境屏幕显示方法，还包含：

执行一追踪算法，以侦测该实体标记的该位置信息与该旋转信息。

8.如权利要求6所述的扩增实境屏幕显示方法，还包含：

通过一位置投影算法，通过该位置投影算法计算该虚拟画面的每个像素各自投影到该扩增实境装置的该显示器的一目标坐标，以调整该虚拟画面，将调整后的该虚拟画面投影到该扩增实境装置的该显示器上。

9.如权利要求6所述的扩增实境屏幕显示方法，还包含：

获取由该摄相机拍到的一画面中的一视角范围；

从该视角范围中选取一参考点；

将该参考点移到该画面中的一边界；

获取位于该画面内的该视角范围的一第一特定范围；

将该第一特定范围放大至与耦接于该主机的一实体显示器的分辨率一致；

将该参考点移动到该扩增实境装置的该显示器上的一目标坐标；

获取位于该画面内的该视角范围的一第二特定范围；

将该第二特定范围的一指定像素对应到该实体标记的一指定位置，使该画面的该第二特定范围成为该虚拟延伸屏幕；以及

将该虚拟延伸屏幕与该实体标记同时显示于该扩增实境装置的该显示器上。

10.如权利要求9所述的扩增实境屏幕显示方法，还包含：

依据该位置信息与该旋转信息调整该第二特定范围，并将调整后的该第二特定范围视为该虚拟延伸屏幕；

由该实体标记得知一延伸方向；以及

将该虚拟延伸屏幕依据该实体标记及该延伸方向显示于该扩增实境装置的该显示器上。