CN113703161A - 扩增实境系统与其锚定显示方法 - Google Patents

Abstract

本发明提出一种扩增实境系统与其锚定显示方法。通过头戴式显示装置上的图像捕获装置获取一环境图像。通过对环境图像与显示器的显示图像进行特征匹配，检测环境图像中匹配于显示图像的参考图像区块。获取参考图像区块于环境图像中的位置信息。依据显示器的实际屏幕尺寸与环境图像中参考图像区块的区块尺寸获取显示器的深度信息。依据位置信息与深度信息通过头戴式显示装置显示至少一虚拟对象。至少一虚拟对象显示为锚定于显示器的至少一显示边框上。

Description

扩增实境系统与其锚定显示方法

技术领域

本发明涉及一种扩增实境设备，尤其涉及一种扩增实境系统与其锚定显示方法。

背景技术

随着科技的发展，扩增实境(Augmented Reality，AR)技术的应用越来越多，AR技术将虚拟的信息应用到真实世界。

另一方面，随着信息处理量的增加，单一屏幕的笔记本电脑已逐渐无法满足工作者的需求。一般而言，位于办公室内的使用者，可将笔记本电脑连接至另一台桌上型显示器，以使用多屏幕显示功能来提升工作效率。但是，在外办公的使用者无法随身携带体积庞大的桌上型显示器，因而较难以享受多屏幕显示功能带来的便利。

发明内容

有鉴于此，本发明提出一种扩增实境系统与其锚定显示方法，其可通过头戴显示器显示锚定于显示器的显示边框上的虚拟对象。

本发明实施例提供一种扩增实境系统的锚定显示方法，包括下列步骤。通过头戴式显示装置上的图像捕获装置获取一环境图像。通过对环境图像与显示器的显示图像进行特征匹配，检测环境图像中匹配于显示图像的参考图像区块。获取参考图像区块于环境图像中的位置信息。依据显示器的实际屏幕尺寸与环境图像中参考图像区块的区块尺寸获取显示器的深度信息。依据位置信息与深度信息通过头戴式显示装置显示至少一虚拟对象。至少一虚拟对象显示为锚定于显示器的至少一显示边框上。

本发明实施例提供一种扩增实境系统，其包括头戴式显示装置以及计算器装置。头戴式显示装置包括图像捕获装置，而图像捕获装置获取一环境图像。计算器装置连接头戴式显示装置，并包括显示器、存储装置以及处理器。显示器显示一显示图像。处理器耦接显示器与存储装置，经配置以执行下列步骤。通过对环境图像与显示器的显示图像进行特征匹配，检测环境图像中匹配于显示图像的参考图像区块。获取参考图像区块于环境图像中的位置信息。依据显示器的实际屏幕尺寸与环境图像中参考图像区块的区块尺寸获取显示器的深度信息。依据位置信息与深度信息通过头戴式显示装置显示至少一虚拟对象。至少一虚拟对象显示为锚定于显示器的至少一显示边框上。

基于上述，于本发明的实施例中，通过对环境图像与显示器的显示图像进行特征匹配，可识别出环境图像中显示器的显示边框，进而获取显示边框的位置信息。此外，依据显示器的实际屏幕尺寸与环境图像中显示边框的成像长度，可估测出显示器的深度信息。当依据位置信息与深度信息通过头戴式显示装置显示虚拟对象时，虚拟对象可显示为准确地且稳定地锚定于显示器的至少一显示边框上。藉此，虚拟对象的锚定显示不仅可让用户感受到多屏幕功能的便利，并且可提升用户观看虚拟对象的观看体验。

为让本发明的上述特征和优点能更明显易懂，下文特举具体实施方式，并配合附图作详细说明如下。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1是依照本发明一实施例的扩增实境系统的示意图；

图2是依照本发明一实施例的扩增实境系统的应用情境图；

图3是依照本发明一实施例的锚定显示方法的流程图；

图4是依照本发明一实施例的对环境图像与显示图像进行特征匹配的示意图；

图5是依照本发明一实施例的锚定显示方法的流程图；

图6是依照本发明一实施例的扩增实境系统的应用情境图。

附图标号说明

10:扩增实境系统；

110、110_a、110_b:头戴式显示装置；

120:计算器装置；

111:图像捕获装置；

112:显示器；

121:显示器；

122:存储装置；

123:处理器；

E_L:左显示边框；

E_T:上显示边框；

E_R:右显示边框；

V_T、V_R、V_L:虚拟对象；

Img_S、Img_Sa、Img_Sb:环境图像；

Img_D:显示图像；

B1:参考图像区块；

C1～C3:角点；

BE_T:上区块边缘；

BE_L:左区块边缘；

D1、D2:显示数据；

S310～S350、S510～S592:步骤。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。

图1是依照本发明一实施例的扩增实境系统的示意图。请参照图1，扩增实境系统10包括头戴式显示装置110以及计算器装置120。头戴式显示装置110可用于向使用者提供扩增实境(AR)内容，例如是扩增实境眼镜。在一实施例中，头戴式显示装置110可连接于一计算器装置120，而此计算器装置120可将相关的AR内容提供予头戴式显示装置110，再由头戴式显示装置110呈现予使用者观看。计算器装置120例如是笔记本电脑、智能手机、平板计算机、电子书、游戏机等具有显示功能的电子装置，本发明并不对此限制。头戴式显示装置110可通过有线或无线的通信方式而与计算器装置120沟通，本发明对此不限制。举例而言，头戴式显示装置110可通过USB接口与计算器装置120进行数据传输。

头戴式显示装置110包括图像捕获装置111以及显示器112。图像捕获装置111用以获取环境图像并且包括具有透镜以及感光组件的摄像镜头。感光组件用以感测进入透镜的光线强度，进而产生图像。感光组件可以例如是电荷耦合组件(charge coupled device，CCD)、互补性氧化金属半导体(complementary metal-oxide semiconductor，CMOS)组件或其他组件，本发明不在此设限。在一实施例中，图像捕获装置111固定设置于头戴式显示装置110上，并用于拍摄位于头戴式显示装置110前方的实际场景。举例而言，当使用者配戴头戴式显示装置110时，图像捕获装置111可位于用户双眼之间或位于某一眼外侧而朝使用者前方的实际场景进行拍摄动作。

显示器112是具有一定程度的光线穿透性的显示设备，使用者观看时能够呈现出相对于观看者另一侧的实际场景。显示器112可以液晶、有机发光二极管、电子墨水或是投影方式等显示技术显示虚拟对象，其具有半透明或是透明的光学镜片。因此，使用者通过显示器112所观看到的内容将会是叠加虚拟对象的实体场景。在一实施例中，显示器112可实作为扩增实境眼镜的镜片。

然而，除了图像捕获装置111以及显示器112之外，头戴式显示装置110还可包括未示出于图1的组件，像是运动传感器、扬声器、控制器以及各式通信接口等，本发明对此不限制。

另一方面，计算器装置120包括显示器121、存储装置122，以及处理器123。显示器121可以是液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器、有机发光二极管(Organic Light Emitting Diode，OLED)等各类型的显示器，本发明对此不限制。

存储装置122用以存储数据与供处理器123存取的程序代码(例如操作系统、应用程序、驱动程序)等数据，其可以例如是任意型式的固定式或可移动式随机存取内存(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flashmemory)或其组合。

处理器123耦接显示器121以及存储装置122，例如是中央处理单元(centralprocessing unit，CPU)、应用处理器(application processor，AP)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signalprocessor，DSP)、图像信号处理器(image signal processor，ISP)、图形处理器(graphicsprocessing unit，GPU)或其他类似装置、集成电路及其组合。处理器123可存取并执行记录在存储装置122中的程序代码与软件组件，以实现本发明实施例中的锚定显示方法。

然而，除了显示器121、存储装置122以及处理器123之外，计算器装置120还可包括未示出于图1的组件，像是键盘、扬声器以及各式通信接口等，本发明对此不限制。

图2是依照本发明一实施例的扩增实境系统的应用情境图。请参照图2，当使用者在配戴头戴式显示装置110的情况下观看显示器121时，图像捕获装置111会朝显示器121的方向拍摄环境图像。计算器装置120可依据环境图像估测出显示器121于扩增实境坐标系统下的位置信息与深度信息。接着，计算器装置120可依据关联于显示器121的位置信息与深度信息决定至少一虚拟对象的显示边界、显示尺寸或显示位置。

基此，当使用者通过头戴式显示装置110的显示器112观看显示器121，使用者可看到叠加虚拟对象的实际场景，其中虚拟对象显示为锚定于显示器121的至少一显示边框上。换言之，虚拟对象会显示为固定于显示器121的上侧、左侧或右侧。如图2范例所示，当用户通过头戴式显示装置110的显示器112观看显示器121时，使用者可看到对齐贴合显示器121的上显示边框E_T、左显示边框E_L与右显示边框E_R的虚拟对象V_T、V_R、V_L。虚拟对象V_T、V_R、V_L可用以提供各种信息给用户，例如是窗口、文件、图像、桌面或执行应用程序生成的视觉输出等。因此，当使用者通过头戴式显示装置110观看显示器121时，可享受到多屏幕显示功能带来的便利。然而，图2仅为一示范说明，本发明对于虚拟对象的数量与其锚定的显示边框并不限制。

需说明的是，图像捕获装置111可定时地拍摄环境图像，而计算器装置120可持续更新显示器121于扩增实境坐标系统下的位置信息与深度信息，并据以持续更新虚拟对象的显示边界、显示尺寸或显示位置。藉此，在显示器121位于头戴式显示装置110的视野范围内的情况下，即便用户的位置改变或其头部转动，虚拟对象依然可显示为锚定于显示器121的显示边框上。

以下即搭配扩增实境系统10的各组件列举实施例，以说明锚定显示方法的详细步骤。

图3是依照本发明一实施例的锚定显示方法的流程图。请参照图1与图3，本实施例的方式适用于上述实施例中的扩增实境系统10，以下即搭配扩增实境系统10中的各项组件说明本实施例的锚定显示方法的详细步骤。

于步骤S310，通过头戴式显示装置110上的图像捕获装置111获取环境图像。环境图像为位于用户周遭的实际场景的图像。详细来说，实际场景的图像关联于图像捕获装置111的视野范围。于一实施例中，图像捕获装置111可依据一获取帧率获取环境图像，环境图像可具有反映拍摄时间的时间标签。图像捕获装置111可通过有线传输接口或无线传输接口将环境图像传送计算器装置120。

于步骤S320，通过对环境图像与显示器121的显示图像进行特征匹配，处理器123检测环境图像中匹配于显示图像的参考图像区块。详细来说，显示图像为显示器121于某一时间点显示的画面数据。在用户操作计算器装置120的情况下，使用者的目光会注视于显示器121，因而图像捕获装置111可拍摄到包括显示器121的环境图像。也就是说，处理器123可通过比对图像内容而从环境图像中识别出显示器121。详细而言，处理器123可依据特征获取(feature extraction)算法分别对环境图像与显示器121的显示图像获取图像特征。特征获取算法例如是尺度不变特征转换(Scale Invariant feature transformation，SIFT)算法或加速强健特征(Speeded Up Robust Features，SURF)算法等。接着，处理器123可对环境图像中的图像特征与显示图像中的图像特征进行特征匹配(feature matching)。依据特征匹配的结果，处理器123可从环境图像中检测到与显示器121的显示图像具有相似图像内容的参考图像区块。处理器123例如可通过随机抽样一致(RANdom SAmple Consensus，RANSAC)算法而自环境图像中定义出相似于显示图像的参考图像区块的区块边缘。图像捕获装置111的拍摄距离与拍摄方向以及显示器121的摆放方式都会影响参考图像区块的形状与尺寸。

更详细而言，显示器121的至少一显示边框对应于参考图像区块的至少一区块边缘。于一实施例中，虚拟对象将呈现于显示器121上侧、右侧或左侧。因此，至少一区块边缘可包括上区块边缘、左区块边缘或右区块边缘，而显示器121的至少一显示边框可包括上显示边框、左显示边框或右显示边框。显示器121的上显示边框可对应于参考图像区块的上区块边缘。显示器121的右显示边框可对应于参考图像区块的右区块边缘。显示器121的左显示边框可对应于参考图像区块的左区块边缘。

图4是依照本发明一实施例的对环境图像与显示图像进行特征匹配的示意图。请参照图4，图像捕获装置111可获取环境图像Img_S。依据环境图像Img_S的时间卷标，处理器123可决定对环境图像Img_S与显示器121的显示图像Img_D进行特征匹配，以从环境图像Img_S搜寻出相似于显示图像Img_D的参考图像区块B1以及获取参考图像区块B1的区块边缘。于一实施例中，相比于通过边缘检测(edge detection)来检测显示器121的位置，处理器123可依据显示器121的显示图像更精确地检测出显示器121的位置。

值得一提的是，于一实施例中，显示器121的显示图像可包括条形码信息。上述的条形码信息可以为一维条形码、二维条形码或三维条形码其中之一。本发明对于条形码信息的位置与数量并不加以限制，其可增加显示图像的图像特征，从而提高特征匹配的准确度。

接着，于步骤S330，处理器123可获取参考图像区块于环境图像中的位置信息。上述的位置信息可包括参考图像区块的区块边缘于环境图像中的边缘位置。或者，上述的位置信息可包括参考图像区块的角点于环境图像中的角点位置等。详细而言，在识别出环境图像中匹配于显示图像的参考图像区块后，处理器123可获取参考图像区块于环境图像中的像素坐标信息或图像坐标信息。像是，处理器123可获取参考图像区块四个角点其中至少二者的像素坐标或图像坐标，从而定义出参考区块图像的至少一区块边缘于环境图像中的边缘位置。

举例而言，请参照图4，于将虚拟对象呈现于显示器121的上侧的情境中(例如图2所示的虚拟对象V_T)，处理器123可获取参考图像区块上方两个角点C1、C2的角点位置，以将这两个角点C1、C2之间的上区块边缘BE_T设置为虚拟对象的下侧显示边界。或者，于虚拟对象呈现于显示器121的左侧的情境中(例如图2所示的虚拟对象V_L)，处理器123可获取参考图像区块左侧两个角点C1、C3的角点位置，以将这两个角点C1、C3之间的左区块边缘BE_L设置虚拟对象的右侧显示边界。通过依据参考图像区块的位置信息来设置虚拟对象的显示边界，可使得虚拟对象不会遮蔽显示器121的显示内容且锚定于某一显示边框上。

于步骤S340，处理器123依据显示器121的实际屏幕尺寸与环境图像中参考图像区块的区块尺寸获取显示器121的深度信息。具体而言，显示器121的实际屏幕尺寸是固定的。于一实施例中，显示器121的实际屏幕尺寸可记录于显示器121的延伸显示能力识别数据(Extended display identification data，EDID)中，其可包括水平屏幕尺寸(单位：厘米)以及垂直屏幕尺寸(单位：厘米)。基于针孔成像的相似三角形原理，处理器123可依据显示器121的实际屏幕尺寸与参考图像区块的区块尺寸(即成像尺寸)来估测出显示器121与图像捕获装置111之间的距离(即深度信息)。于一实施例中，参考图像区块的区块尺寸可包括至少一区块边缘的长度。

举例而言，于事前的校正测定程序中，可利用图像捕获装置111拍摄一台参考显示器而获取校正图像。假设参考显示器的预设屏幕尺寸中的水平屏幕尺寸为31厘米。对参考显示器来说，在图像捕获装置111与参考显示器相距预设深度(例如50厘米)的情况下，校正图像中参考图像区块的上区块边缘的长度可经量测为N个像素(即为对应至预设屏幕尺寸的参考成像长度)。由此可知，若显示器121的实际屏幕尺寸相同于参考显示器，且环境图像中参考图像区块的上区块边缘的长度也是N个像素，处理器123可判断显示器121与图像捕获装置111之间的深度信息等于预设深度。若显示器121的实际屏幕尺寸相同于参考显示器，并且环境图像中参考图像区块的上区块边缘的长度小于N个像素，处理器123可判断显示器121与图像捕获装置111之间的深度信息大于预设深度。举例而言，若显示器121的实际屏幕尺寸相同于参考显示器，并且环境图像中参考图像区块的上区块边缘的长度等于N/2个像素，处理器123可判断显示器121与图像捕获装置111之间的深度信息为预设深度的两倍。

承上述，若显示器121的实际屏幕尺寸不相同于参考显示器的预设屏幕尺寸，处理器123可依据对应于预设屏幕尺寸的参考成像长度N计算出对应于显示器121的实际屏幕尺寸的参考成像长度。举例而言，假设显示器121的水平屏幕尺寸为35.5厘米，则对应于显示器121的实际屏幕尺寸的参考成像长度等于M个像素，其中M可通过对N*(35.5/31)进行整数化运算而决定。上述整数化运算的方式可包括四舍五入、无条件舍去或无条件进位。总而言之，处理器123可依据环境图像中参考图像区块的区块边缘的长度、对应于显示器121的实际屏幕尺寸的参考成像长度、以及预设深度来计算出显示器121的深度信息。举例而言，显示器121的深度信息L可依据下列公式(1)而产生。

L/预设深度＝参考成像长度/区块边缘的长度 公式(1)

其中，预设深度(单位：厘米)与参考成像长度(单位：像素)可经由事前的校正测定程序而决定，而区块边缘的长度(单位：像素)可从环境图像当中获取。

之后，于步骤S350，处理器123依据位置信息与深度信息通过头戴式显示装置110显示至少一虚拟对象。至少一虚拟对象显示为锚定于显示器121的至少一显示边框上。详细而言，于一实施例中，在获取显示器121的深度信息之后，处理器123可依据深度信息定义出用以呈现虚拟对象的参考平面。处理器123还可依据深度信息与环境图像提供的位置信息而获取虚拟对象于该参考平面上的显示边界。基此，处理器123可通过头戴式显示装置110将虚拟对象呈现于参考平面上的显示边界内，以使虚拟对象显示为锚定于显示器121的至少一显示边框上。虚拟对象将锚定于至少一显示边框上并不随头戴式显示装置110移动而改变位置，致使虚拟对象可与实际场景中的显示器121结合为一体，从而增进视觉体验与提升便利性。

此外，需说明的是，处理器123是以显示器121的显示图像为依据来检测显示器121的位置。因此，相较于通过检测细小的特殊标记或图腾来检测显示器121的位置，本发明实施例中的环境图像的分辨率不会受限于高分辨率，从而降低头戴式显示装置110与计算器装置120之间的数据传输量。

然而，本发明的实现方式不限于上述说明，可以对于实际的需求而酌予变更上述实施例的内容。例如，在本发明的一实施例中，显示器121的倾斜程度可以被估测以进一步提升深度信息的估测准确度。

图5是依照本发明一实施例的锚定显示方法的流程图。请参照图1与图5，本实施例的方式适用于上述实施例中的扩增实境系统10，以下即搭配扩增实境系统10中的各项组件说明本实施例的锚定显示方法的详细步骤。

于步骤S510，处理器123建立扩增实境坐标系统与相机坐标系统之间的坐标转换关系。由于图像捕获装置111固定设置于头戴式显示装置110，因此坐标转换关系可事前建立并记录于存储装置122或头戴式显示装置110的存储装置之中。此坐标转换关系可包括一旋转矩阵与一平移向量。此坐标转换关系取决于图像捕获装置111于扩增实境坐标系统中的的摆放位置与拍摄方向，可经由事前测定而产生。扩增实境坐标系统与相机坐标系统之间的坐标转换关系可通过公式(2)来表示。

Xc＝AXar+B 公式(2)

其中，Xc表示相机坐标系统底下的三维坐标，Xar表示扩增实境坐标系统底下的三维坐标，A为3*3的旋转矩阵，而B为平移向量。

于步骤S520，通过头戴式显示装置110上的图像捕获装置111获取环境图像。于步骤S530，处理器123通过对环境图像与显示器121的显示图像进行特征匹配，检测环境图像中匹配于显示图像的一参考图像区块。于一实施例中，处理器123可于环境图像中与显示器112的视野范围重叠的视野重叠区域获取图像特征并据以进行特征匹配。于步骤S540，处理器123判断是否检测到匹配于显示图像的一参考图像区块。

若步骤S540判断为否，于步骤S550，反应于未检测到环境图像中匹配于显示图像的参考图像区块，处理器123控制头戴式显示装置110不显示至少一虚拟对象。具体而言，当环境图像中不存在匹配于显示图像的参考图像区块，代表用户的目光并未注视显示器121，因而可禁能虚拟对象的显示。像是，当使用者转头向身旁或身后的人交谈时，处理器123可禁能虚拟对象的显示。

若步骤S540判断为是，于步骤S560，处理器123获取参考图像区块于环境图像中的位置信息，并将参考图像区块的区块边缘设置为虚拟对象的显示边界。接着，于步骤S570，处理器123自显示器121的延伸显示能力识别数据(EDID)提取显示器121的实际屏幕尺寸。实际屏幕尺寸可包括显示器121的屏幕水平尺寸与/或屏幕垂直尺寸。于步骤S580，处理器123通过比对实际屏幕尺寸所对应的参考成像长度与至少一区块边缘的长度，而依据参考成像长度所对应的预设深度估测显示器121的深度信息。于一实施例中，处理器123可依据前述公式(1)而依据一个区块边缘的长度与一个参考成像长度而估算出显示器121的深度信息。或者，于一实施中，处理器123可依据参考图像区块的水平区块边缘(即上区块边缘或下区块边缘)与垂直区块边缘(即左区块边缘或右区块边缘)的两组边缘长度来判断显示器121的屏幕倾斜程度与深度信息。

具体而言，于一实施例中，参考成像长度可包括参考成像高度与参考成像宽度，至少一区块边缘的长度包括水平区块边缘的第一边缘长度与垂直区块边缘的第二边缘长度。处理器123可先比较参考成像宽度与第一边缘长度，并比较参考成像高度与第二边缘长度。接着，处理器123可依据比较结果与预设深度信息估测显示器121的深度信息。于一实施例中，存储装置122可记录有对应至预设屏幕尺寸与预设深度的参考成像高度与参考成像宽度。依据对应至预设屏幕尺寸的参考成像高度与参考成像宽度，处理器123可计算出对应于显示器121的实际预设尺寸的参考成像高度与参考成像宽度。

举例而言，假设预设屏幕尺寸中的屏幕水平尺寸为31厘米且屏幕垂直尺寸14.7厘米，以及假设预设深度为50厘米。基于事前的校正测定程序可知，对应至预设屏幕尺寸与预设深度的参考成像宽度为N1个像素，对应至预设屏幕尺寸与预设深度的参考成像高度为N2个像素。因此，若显示器121实际预设尺寸中的屏幕水平尺寸为35.5厘米且屏幕垂直尺寸为19.4厘米，则参考成像宽度与参考成像高度可分别为M1个像素与M2个像素。其中，参考成像宽度M1可通过对N1*(35.5/31)进行整数化运算而决定，而参考成像高度M2可通过对N2*(19.4/14.7)进行整数化运算而决定。

于是，于一实施例中，若环境图像中水平区块边缘的第一边缘长度等于参考成像宽度M1且垂直区块边缘的第二边缘长度等于参考成像高度M2，则处理器123可判定显示器121的深度信息等于预设深度。若环境图像中水平区块边缘的第一边缘长度等于参考成像宽度M1且垂直区块边缘的第二边缘长度小于参考成像高度M2，则处理器123可判定显示器121的深度信息等于预设深度。若环境图像中水平区块边缘的第一边缘长度小于参考成像宽度M1且垂直区块边缘的第二边缘长度等于参考成像高度M2，则处理器123可判定显示器121的深度信息等于预设深度。换言之，当环境图像中水平区块边缘的第一边缘长度等于参考成像宽度或环境图像中垂直区块边缘的第二边缘长度等于参考成像高度时，处理器123可直接判定显示器121的深度信息等于预设深度。

此外，若环境图像中水平区块边缘的第一边缘长度小于参考成像宽度M1、垂直区块边缘的第二边缘长度小于参考成像高度M2、且第一边缘长度与第二边缘长度之间的长宽比例相同于实际屏幕尺寸中的屏幕长宽比例，则处理器123可依据相似三角形原理而依据预设深度估算出显示器121的深度信息。若环境图像中水平区块边缘的第一边缘长度小于参考成像宽度M1、垂直区块边缘的第二边缘长度小于参考成像高度M2、但第一边缘长度与第二边缘长度之间的长宽比例不相同于实际屏幕尺寸中的屏幕长宽比例，则处理器123可依据第一边缘长度与第二边缘长度之间的长宽比例推算出显示器121的屏幕倾斜度(例如是显示器121的显示平面与参考垂直平面之间的夹角)，并更依据此屏幕倾斜度来准确估测出显示器121的某一显示边框的深度信息。由此可知，通过估算屏幕倾斜度，处理器123可更精准地估算出特定显示边框的深度信息。

于此，由于本领域技术人员应当可以在参照上述例举的内容后，轻易地推演/类推出水平区块边缘的第一边缘长度大于参考成像宽度M1或垂直区块边缘的第二边缘长度大于参考成像高度M2的深度估算方式，故而在此并不再加以赘述之。

于步骤S590，处理器123依据位置信息与深度信息通过头戴式显示装置110显示至少一虚拟对象。由此可知，通过单一图像接取装置111拍摄的环境图像，处理器123即可计算出虚拟对象于扩增实境系统中的显示位置。详细而言，于子步骤S591，处理器123依据边缘位置、深度信息与坐标转换关系获取至少一虚拟对象于扩增实境坐标系统中的显示位置。具体而言，处理器123可依据环境图像中的边缘位置、显示器121的深度信息决定虚拟对象于相机坐标系统中的三维显示位置。接着，处理器123可依据坐标转换关系将虚拟对象于相机坐标系统中的三维显示位置转换为虚拟对象于扩增实境坐标系统中的三维显示位置。举例而言，处理器123可依据公式(2)反推出虚拟对象于扩增实境坐标系统中的三维显示位置。

于步骤S592，依据至少一虚拟对象于扩增实境坐标系统中的显示位置，处理器123控制头戴式显示装置110显示锚定于显示边框的虚拟对象。通过利用已知的几何向量投影算法，处理器123可依据虚拟对象于扩增实境坐标系统中的显示位置产生提供给头戴式显示装置110的显示数据。基此，当头戴式显示装置110依据处理器123提供的显示数据进行显示时，用户可看到锚定于显示器121的显示边框上的虚拟对象。虚拟对象不会反应用户头部的移动或转动而与显示器121的显示边框分离。

图6是依照本发明一实施例的扩增实境系统的应用情境图。请参照图6，于此实施例中，二位使用者可分别配戴头戴式显示装置110_a以及头戴式显示装置110_b。头戴式显示装置110_a以及头戴式显示装置110_b可分别将各自的环境图像Img_Sa以及环境图像Img_Sb传送至计算器装置120。参照前述所有实施例说明的原理，计算器装置120可依据环境图像Img_Sa决定虚拟对象V_T相对应于头戴式显示装置110_a的显示位置，并依据环境图像Img_Sb决定虚拟对象V_T相对应于头戴式显示装置110_b的另一显示位置。于是，基于虚拟对象V_T的两组显示位置，计算记装置120可分别产生提供给头戴式显示装置110_a的显示数据D1以及提供给头戴式显示装置110_b的显示数据D2。对应的，头戴式显示装置110_a以及头戴式显示装置110_b可各自依据显示数据D1与显示数据D2提供扩增实境内容，致使两位使用者可各自通过头戴式显示装置110_a以及头戴式显示装置110_b观看到贴合于显示边框121的虚拟对象V_T。

综上所述，于本发明实施例中，可根据环境图像中匹配于显示器的显示图像的参考图像区块的尺寸信息与位置信息来决定虚拟对象的显示位置，以将虚拟对象显示为锚定于显示器的显示边框上。藉此，当使用者配戴头戴式显示装置观看主显示器时，即便主显示器或头戴式显示装置动态移动，但头戴式显示装置所呈现的虚像对象与实际场景中主显示器的显示边框可达到良好的对齐贴合。藉此，用户可通过虚拟对象获取更多的信息量，并享优良舒适的观看体验。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种扩增实境系统的锚定显示方法，所述方法包括：

通过头戴式显示装置上的图像捕获装置获取环境图像；

通过对所述环境图像与显示器的显示图像进行特征匹配，检测所述环境图像中匹配于所述显示图像的参考图像区块；

获取所述参考图像区块于所述环境图像中的位置信息；

依据所述显示器的实际屏幕尺寸与所述环境图像中所述参考图像区块的区块尺寸获取所述显示器的深度信息；

依据所述位置信息与所述深度信息通过所述头戴式显示装置显示至少一虚拟对象，其中所述至少一虚拟对象显示为锚定于所述显示器的至少一显示边框上；以及

反应于未检测到所述环境图像中匹配于所述显示图像的所述参考图像区块，控制所述头戴式显示装置不显示所述至少一虚拟对象。

2.根据权利要求1所述的锚定显示方法，其中所述显示器的所述至少一显示边框对应于所述参考图像区块的至少一区块边缘，所述位置信息包括至少一区块边缘于所述环境图像中的边缘位置，且所述区块尺寸包括所述至少一区块边缘的长度。

3.根据权利要求2所述的锚定显示方法，其中所述至少一区块边缘包括上区块边缘、左区块边缘或右区块边缘，而所述显示器的所述至少一显示边框包括上显示边框、左显示边框或右显示边框。

4.根据权利要求2所述的锚定显示方法，其中依据所述位置信息与所述深度信息通过所述头戴式显示装置显示所述至少一虚拟对象的步骤包括：

依据所述边缘位置、所述深度信息与坐标转换关系获取所述至少一虚拟对象于扩增实境坐标系统中的显示位置；以及

建立所述扩增实境坐标系统与相机坐标系统之间的所述坐标转换关系。

5.根据权利要求2所述的锚定显示方法，所述方法还包括：

自所述显示器的延伸显示能力识别数据提取所述显示器的所述实际屏幕尺寸，

其中依据所述显示器的所述实际屏幕尺寸与所述环境图像中所述参考图像区块的所述区块尺寸获取所述显示器的所述深度信息的步骤包括：

通过比对所述实际屏幕尺寸所对应的参考成像长度与所述至少一区块边缘的长度，而依据所述参考成像长度所对应的预设深度估测所述深度信息。

6.根据权利要求5所述的锚定显示方法，其中所述参考成像长度包括参考成像高度与参考成像宽度，所述至少一区块边缘的长度包括水平区块边缘的第一边缘长度与垂直区块边缘的第二边缘长度，

其中通过比对所述实际屏幕尺寸所对应的所述参考成像长度与所述至少一区块边缘的长度，而依据所述参考成像长度所对应的所述预设深度估测所述深度信息的步骤包括：

比较所述参考成像宽度与所述第一边缘长度，并比较所述参考成像高度与所述第二边缘长度；以及

依据比较结果与所述预设深度信息估测所述深度信息。

7.一种扩增实境系统，其特征在于，包括：

头戴式显示装置，包括图像捕获装置，其中所述图像捕获装置获取环境图像；

计算器装置，连接所述头戴式显示装置，并包括：

显示器，显示显示图像；

存储装置；以及

处理器，耦接所述显示器与所述存储装置，经配置以：

通过对所述环境图像与所述显示器的所述显示图像进行特征匹配，检测所述环境图像中匹配于所述显示图像的参考图像区块；

获取所述参考图像区块于所述环境图像中的位置信息；

依据所述显示器的实际屏幕尺寸与所述环境图像中所述参考图像区块的区块尺寸获取所述显示器的深度信息；

依据所述位置信息与所述深度信息通过所述头戴式显示装置显示至少一虚拟对象，其中所述至少一虚拟对象显示为锚定于所述显示器的至少一显示边框上；以及

反应于未检测到所述环境图像中匹配于所述显示图像的所述参考图像区块，控制所述头戴式显示装置不显示所述至少一虚拟对象。

8.根据权利要求7所述的扩增实境系统，其中所述显示器的所述至少一显示边框对应于所述参考图像区块的至少一区块边缘，所述位置信息包括至少一区块边缘于所述环境图像中的边缘位置，且所述区块尺寸包括所述至少一区块边缘的长度。

9.根据权利要求8所述的扩增实境系统，其中所述至少一区块边缘包括上区块边缘、左区块边缘或右区块边缘，而所述显示器的所述至少一显示边框包括上显示边框、左显示边框或右显示边框。

10.根据权利要求8所述的扩增实境系统，其中所述处理器还经配置以：

依据所述边缘位置、所述深度信息与坐标转换关系获取所述至少一虚拟对象于扩增实境坐标系统中的显示位置；

建立所述扩增实境坐标系统与相机坐标系统之间的所述坐标转换关系。

11.根据权利要求8所述的扩增实境系统，其中所述处理器还经配置以：

自所述显示器的延伸显示能力识别数据提取所述显示器的所述实际屏幕尺寸；以及

通过比对所述实际屏幕尺寸所对应的参考成像长度与所述至少一区块边缘的长度，而依据所述参考成像长度所对应的预设深度估测所述深度信息。

12.根据权利要求11所述的扩增实境系统，其中所述参考成像长度包括参考成像高度与参考成像宽度，所述至少一区块边缘的长度包括水平区块边缘的第一边缘长度与垂直区块边缘的第二边缘长度，所述处理器还经配置以：

比较所述参考成像宽度与所述第一边缘长度，并比较所述参考成像高度与所述第二边缘长度；以及

依据比较结果与所述预设深度信息估测所述深度信息。

Images