CN114201028A - 扩增实境系统与其锚定显示虚拟对象的方法 - Google Patents

Abstract

本发明提出一种扩增实境系统与其锚定显示虚拟对象的方法。通过头戴式显示装置上的图像捕获设备朝电子设备获取图像序列。图像序列包括第i帧环境图像与第(i+1)帧环境图像，电子设备包括构件装置。对第i帧环境图像与第一模板图像进行特征匹配操作而获取匹配结果信息。反应于匹配结果信息满足预设条件，从第i帧环境图像中获取自构件装置的匹配图像区块而延伸的第二模板图像。对第(i+1)帧环境图像与第二模板图像进行特征匹配操作，以依据另一匹配结果信息通过头戴式显示装置显示虚拟对象。虚拟对象显示为锚定于实际场景中的电子设备。

Description

扩增实境系统与其锚定显示虚拟对象的方法

技术领域

本发明涉及一种扩增实境设备，尤其涉及一种扩增实境系统与其锚定显示虚拟对象的方法。

背景技术

随着科技的发展，扩增实境(Augmented Reality，AR)技术的应用越来越多，AR技术将虚拟的信息应用到真实世界。

另一方面，随着信息处理量的增加，单一屏幕的笔记本电脑已逐渐无法满足工作者的需求。一般而言，位于办公室内的使用者，可将笔记本电脑连接至另一台桌上显示器，以使用多屏幕显示功能来提升工作效率。但是，在外办公的使用者无法随身携带体积庞大的桌上显示器，因而较难以享受多屏幕显示功能带来的便利。

发明内容

有鉴于此，本发明提出一种扩增实境系统与其锚定显示虚拟对象的方法，其可通过头戴显示器显示以实际场景中的电子设备为定锚点的虚拟对象。

本发明实施例提供一种扩增实境系统的锚定显示虚拟对象的方法，包括下列步骤。通过头戴式显示装置上的图像捕获设备朝电子设备获取图像序列。其中，图像序列包括第i帧环境图像与第(i+1)帧环境图像，且电子设备包括构件装置。对第i帧环境图像与第一模板图像进行特征匹配操作而获取匹配结果信息。第一模板图像包括构件装置的图像。反应于匹配结果信息满足预设条件，从第i帧环境图像中获取自构件装置的匹配图像区块而延伸的第二模板图像，其中第一模板图像相异于第二模板图像。接着，对第(i+1)帧环境图像与第二模板图像进行特征匹配操作而获取另一匹配结果信息，并依据另一匹配结果信息通过头戴式显示装置于当前时间点显示虚拟对象。虚拟对象显示为锚定于实际场景中的电子设备。

本发明实施例提供一种扩增实境系统，其包括头戴式显示装置以及计算机装置。头戴式显示装置包括图像捕获设备，并显示一虚拟对象。此图像捕获设备朝电子设备获取图像序列。此图像序列包括第i帧环境图像与第(i+1)帧环境图像，且电子设备包括构件装置。计算机装置连接头戴式显示装置，并包括存储装置以及处理器。处理器经配置以执行下列步骤。对第i帧环境图像与第一模板图像进行特征匹配操作而获取匹配结果信息。第一模板图像包括构件装置的图像。反应于匹配结果信息满足预设条件，从第i帧环境图像中获取自构件装置的匹配图像区块而延伸的第二模板图像，其中第一模板图像相异于第二模板图像。接着，对第(i+1)帧环境图像与第二模板图像进行特征匹配操作而获取另一匹配结果信息，并依据另一匹配结果信息控制头戴式显示装置显示虚拟对象。虚拟对象显示为锚定于实际场景中的电子设备。

基于上述，于本发明的实施例中，通过对环境图像与模板图像进行特征匹配操作，可获取环境图像中电子设备的构件装置的位置信息，进而决定虚拟对象的显示位置。于此，模板图像可依据电子设备周遭的实际场景而动态决定，从而提升特征匹配操作的准确度与稳健性。基此，使用者可通过头戴式显示装置观看到稳定地且准确地显示于电子设备周遭的虚拟对象，且虚拟对象是锚定于实际场景中的固定位置，从而提升用户观看虚拟对象的观看体验。

为让本发明的上述特征和优点能更明显易懂，下文特举具体实施方式，并配合附图作详细说明如下。

附图说明

包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。

图1A是依照本发明一实施例的扩增实境系统的示意图；

图1B是依照本发明一实施例的扩增实境系统的示意图；

图2是依照本发明一实施例的扩增实境系统的应用情境图；

图3是依照本发明一实施例的锚定显示虚拟对象的方法的流程图；

图4为依据本发明一实施例的原始模板图像与基于现有环境图像的图像内容而产生的模板图像的范例示意图；

图5是依照本发明一实施例的动态调整用以定位构件装置的模板图像的示意图；

图6是依照本发明一实施例的锚定显示方法的流程图。例的锚定显示方法的流程图。

附图标号说明

10:扩增实境系统；

110:头戴式显示装置；

120:计算机装置；

111:图像捕获设备；

112:显示器；

122:存储装置；

123:处理器；

130:电子设备；

131:构件装置；

S1:显示屏幕；

K1:键盘；

P1、P2:中心点位置；

Img_T、Img_T1、Img_T2:模板图像；

Img_r:原始样板图像；

M1～M3:匹配图像区块；

V_obj:虚拟对象；

Img_Si、Img_S(i+1):环境图像；

S301～S304、S601～S611:步骤。

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。

图1A与图1B是依照本发明一实施例的扩增实境系统的示意图。请参照图1A与图1B，扩增实境(AR)系统10包括头戴式显示装置110以及计算机装置120，其可为单一整合系统或分离式系统。具体而言，如图1A所示，计算机装置120可配置于电子设备130内，并经由有线传输接口或是无线传输接口与头戴式显示装置110相连。于另一实施例中，如图1B所示，扩增实境系统10中的头戴式显示装置110与计算机装置120可以实作成一体式(all-in-one，AIO)头戴式显示器。举例而言，扩增实境系统10可实施为一体式的AR眼镜，或者实施为经由通讯接口相链接的AR眼镜与计算机系统。扩增实境系统10用于向用户提供扩增实境内容。扩增实境系统10中的头戴式显示装置110用以显示虚拟对象，且此虚拟对象会显示为锚定于实际场景中的电子设备130。

电子设备130例如为笔记本电脑、平板计算机或智能手机或桌上显示器，本发明对此不限制。电子设备130可包括构件装置131。构件装置131可为键盘、显示屏幕或其他适于被头戴式显示装置110的图像捕获设备111拍摄到的构件。于一实施例中，当使用者配戴头戴式显示装置110观看实际场景中的电子设备130的显示屏幕时，扩增实境系统10所提供的虚拟对象可作为辅助屏幕。

头戴式显示装置110包括图像捕获设备111、显示器112以及动作传感器113。图像捕获设备111用以获取环境图像并且包括具有透镜以及感光组件的摄像镜头。感光组件用以感测进入透镜的光线强度，进而产生图像。感光组件可以例如是电荷耦合组件(chargecoupled device，CCD)、互补性氧化金属半导体(complementary metal-oxidesemiconductor，CMOS)组件或其他组件，本发明不在此设限。在一实施例中，图像捕获设备111固定设置于头戴式显示装置110上，并用于拍摄位于头戴式显示装置110前方的实际场景。举例而言，当使用者配戴头戴式显示装置110时，图像捕获设备111可位于用户双眼之间或位于某一眼外侧而朝使用者前方的实际场景进行拍摄动作。

显示器112是具有一定程度的光线穿透性的显示设备，使用者观看时能够呈现出相对于观看者另一侧的实际场景。显示器112可以液晶、有机发光二极管、电子墨水或是投影方式等显示技术显示虚拟对象，其具有半透明或是透明的光学镜片。因此，使用者通过显示器112所观看到的内容将会是叠加虚拟对象的扩增实境场景。在一实施例中，显示器112可实作为扩增实境眼镜的镜片。

动作传感器113例如是六轴传感器(可进行方向及加速度的感测)，可使用的传感器种类包括重力传感器(g-sensor)、陀螺仪(gyroscope)、加速度计(accelerometer)、电子罗盘(Electronic Compass)或是其他适合的动作传感器或上述传感器的组合搭配。

然而，除了图像捕获设备111、显示器112以及动作传感器113之外，头戴式显示装置110还可包括未示出于图1A与图1B的组件，像是扬声器、控制器以及各式通信接口等，本发明对此不限制。

另一方面，计算机装置120可包括存储装置122，以及处理器123。存储装置122用以储存数据与供处理器123存取的程序代码(例如操作系统、应用程序、驱动程序)等数据，其可以例如是任意型式的固定式或可移动式随机存取内存(random access memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)或其组合。

处理器123耦接存储装置122，例如是中央处理单元(central processing unit，CPU)、应用处理器(application processor，AP)，或是其他可程序化的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、图像信号处理器(image signal processor，ISP)、图形处理器(graphics processing unit，GPU)或其他类似装置、集成电路及其组合。处理器123可存取并执行记录在存储装置122中的程序代码与软件组件，以实现本发明实施例中的锚定显示虚拟对象的方法。

图2是依照本发明一实施例的扩增实境系统的应用情境图。请参照图2，当使用者通过头戴式显示装置110的显示器112观看电子设备130时，用户可看到虚拟对象V_obj叠加于实际场景的扩增实境场景。详细而言，当使用者在配戴头戴式显示装置110的情况下操作电子设备130时，图像捕获设备111会朝电子设备130拍摄包括多张环境图像的图像序列。计算机装置120可依据这些环境图像来立即定位电子设备130，并依据定位结果决定虚拟对象V_obj的显示参数，像是显示边界、显示尺寸或显示位置等，致使虚拟对象V_obj可呈现为锚定于电子设备130上。亦即，即便使用者的头部移动或转动，使用者可通过头戴式显示装置110观看到位于实际场景中一固定位置上的虚拟对象V_obj。换言之，显示器112上所显示的虚拟对象V_obj会随着用户移动或其头部转动而相对移动。

如图2的范例所示，当用户通过头戴式显示装置110的显示器112观看电子设备130时，用户可看到自电子设备130的右显示边框向外展开的虚拟对象V_obj。虚拟对象V_obj可用以提供各种信息给用户，例如是窗口、文件、图像、桌面或执行应用程序生成的视觉输出等。因此，当使用者通过头戴式显示装置110观看电子设备130时，可享受到多屏幕显示功能带来的便利。然而，图2仅为一示范说明，本发明对于虚拟对象的数量与其显示位置并不限制。

需说明的是，图像捕获设备111可定时地且连续地拍摄多张环境图像(例如以30Hz的获取帧率来产生环境图像)，而计算机装置120可重复地计算电子设备130于扩增实境坐标系统下的位置信息，并据以持续更新虚拟对象的显示位置。借此，在满足显示虚拟条件V_obj的条件的情况下，即便用户的位置改变或其头部转动，虚拟对象依然可显示为锚定于实际场景中的相对于电子设备130的一个固定位置上。

于一实施例中，每当计算机装置120获取一帧环境图像，计算机装置120可通过对环境图像与关联于构件装置131的模板图像进行特征匹配操作，从而获取定位电子设备130的构件装置131的定位信息。于是，计算机装置120可参考构件装置131的定位信息而实时(in real-time)决定虚拟对象V_obj的显示位置。举例而言，构件装置131可以是键盘K1或显示屏幕S1。值得一提的是，于一实施例中，为了确保特征匹配的稳健性，计算机装置120所使用的模板图像是可基于实际场景信息而动态改变的。

以下即搭配扩增实境系统10的各组件列举实施例，以说明锚定显示虚拟对象的方法的详细步骤。

图3是依照本发明一实施例的锚定显示方法的流程图。请参照图1A与图1B与图3，本实施例的方式适用于上述实施例中的扩增实境系统10，以下即搭配扩增实境系统10中的各项组件说明本实施例的锚定显示虚拟对象的方法的详细步骤。

于步骤S301，通过头戴式显示装置110上的图像捕获设备111朝电子设备130获取图像序列。于一实施例中，图像捕获设备111可依据一获取帧率持续地获取图像序列。图像序列包括第i帧环境图像与第(i+1)帧环境图像，其中i为大于0的整数。图像序列中的多张环境图像为位于用户周遭的实际场景的图像。详细来说，实际场景的图像关联于图像捕获设备111的视野范围。

于步骤S302，处理器123对第i帧环境图像与第一模板图像进行特征匹配操作而获取匹配结果信息。此第一模板图像包括构件装置131的图像。第一模板图像可为预设的原始模板图像或基于现有环境图像(例如第(i-n)帧环境图像)的图像内容而产生的模板图像。举例而言，当i＝1，即在尚未依据实境场景更新模板图像的情况下，则第一模板图像可为预设的原始模板图像。原始模板图像可仅包括构件装置131的图像。当i＝5，则第一模板图像可为基于第4帧环境图像的图像内容而产生的模板图像，且此模板图像会包括构件装置131的图像以及实境场景的图像。图4为依据本发明一实施例的原始模板图像与基于现有环境图像的图像内容而产生的模板图像的范例示意图。请参照图4，假设构件装置131为电子设备130的键盘。原始模板图像Img_r可仅包括键盘的图像，而基于环境图像的图像内容而产生的模板图像Img_T可包括键盘的图像以及实境场景的图像。

于一实施例中，处理器123可依据特征获取(feature extraction)算法分别对第i帧环境图像与第一模板图像获取图像特征。特征获取算法例如是尺度不变特征转换(ScaleInvariant feature transformation，SIFT)算法或加速强健特征(Speeded Up RobustFeatures，SURF)算法等。接着，处理器123可对第i帧环境图像中的图像特征与第一模板图像中的图像特征进行特征匹配(feature matching)操作，从而获取匹配结果信息。然而，本发明对于特征匹配算法并不加以限制。于一实施例中，匹配结果信息可包括多个特征匹配对以及第i帧环境图像中构件装置130的匹配图像区块。具体而言，依据特征匹配操作的结果，处理器123可从第i帧环境图像中检测到构件装置131的匹配图像区块。基于第一样板图像中构件装置131的匹配图像区块，处理器123例如可通过随机抽样一致(RANdom SAmpleConsensus，RANSAC)算法而自第i帧环境图像中定义出构件装置130的匹配图像区块。图像捕获设备111的拍摄距离与拍摄方向都会影响第i帧环境图像中匹配图像区块的形状与尺寸。

此外，于一实施例中，存储装置122可储存多张原始模板图像，例如对应至不同键盘型号的键盘模板图像。于一实施例中，步骤S302中的第一模板图像可为原始模板图像其中之一。具体而言，处理器123可分别对第i帧环境图像与这些原始模板图像进行特征匹配操作。接着，依据分别对应于原始模板图像的匹配程度，处理器123可从这些原始模板图像挑选出匹配程度最高的第一模板图像，接着依据关联于第一模板图像的匹配结果信息执行后续步骤。

于步骤S303，反应于匹配结果信息满足预设条件，处理器123从第i帧环境图像中获取自构件装置131的匹配图像区块而延伸的第二模板图像。随着使用者头部的摆动或移动或实际场景变化，第一模板图像将相异于第二模板图像。于一实施例中，第二模板图像的尺寸大于第一模板图像的尺寸。在一实施例中，处理器123可依据匹配结果信息决定第i帧环境图像与第一模板图像之间的匹配程度。若第i帧环境图像与第一模板图像之间的匹配程度满足预设条件，处理器123可从第i帧环境图像获取出包括构件装置131的匹配图像区块以及其他实际场景内容的第二模板图像，从而达到更新模板图像的目的。需说明的是，反应于匹配结果信息未满足预设条件，处理器123可于后续操作中维持使用第一模板图像而不依据第i帧环境图像产生第二模板图像。亦即，反应于匹配结果信息未满足预设条件，处理器123可维持使用第一模板图像来定位第(i+1)帧环境图像中的构件装置131。此外，于一实施例中，处理器123也可依据第i帧环境图像中构件装置131的匹配图像区块的形状与位置决定是否从第i帧环境图像获取出第二模板图像。

接着，于步骤S304，处理器123对第(i+1)帧环境图像与第二模板图像进行特征匹配操作而获取另一匹配结果信息，以依据另一匹配结果信息通过头戴式显示装置110显示虚拟对象。处理器123对第(i+1)帧环境图像与第二模板图像进行特征匹配操作的操作原理相同于对第i帧环境图像与第一模板图像进行特征匹配操作的操作原理，于此不赘述。

于一实施例中，依据第(i+1)帧环境图像与第二模板图像的特征匹配结果，处理器123可从第(i+1)帧环境图像中获取构件装置130的另一匹配图像区块。第(i+1)帧环境图像中获取构件装置130的另一匹配图像区块可视为构件装置130的定位结果。于是，处理器123可依据第(i+1)帧环境图像中另一匹配图像区块的图像坐标信息决定虚拟对象的显示位置。举例而言，处理器123可以第(i+1)帧环境图像中另一匹配图像区块的任一角点或中心点作为参考定锚点而依据预设相对位置关系来计算出虚拟对象的显示位置。接着，处理器123可依据此显示位置通过头戴式显示装置110显示虚拟对象。具体而言，处理器123可依据第(i+1)帧环境图像中另一匹配图像区块的图像坐标信息计算虚拟对象于相机坐标系统中的显示位置。接着，处理器123可依据坐标转换关系将虚拟对象于相机坐标系统中的显示位置转换为虚拟对象于扩增实境坐标系统中的显示位置。通过利用已知的几何向量投影算法，处理器123可依据虚拟对象于扩增实境坐标系统中的显示位置产生提供给头戴式显示装置110的显示数据。

需说明的是，于一实施例中，在步骤S302之后，处理器123同样可依据第i帧环境图像与第一模板图像之间的匹配结果信息决定虚拟对象的显示位置，以依据第i帧环境图像与第一模板图像之间的匹配结果信息通过头戴式显示装置110显示虚拟对象。可理解的，头戴式显示装置110先依据关联于第i帧环境图像与第一模板图像之间的匹配结果信息来显示虚拟对象，然后再依据关联于第(i+1)帧环境图像与第二模板图像之间的另一匹配结果信息来显示虚拟对象。借此，虚拟对象的显示位置是反应于这些环境图像的变化而实时地调整。亦即，用户所看到的虚拟对象将锚定于相对于电子设备130的特定位置上，致使虚拟对象可与实际场景中的电子设备130结合为一体，从而增进视觉体验与提升便利性。

为了方便说明，以上实施例是以图像捕获设备111连续拍摄的两张环境图像(即第i帧环境图像与第(i+1)帧环境图像)说明。可理解的，借由重复执行图3所示的流程，用以定位构件装置131的模板图像可反应场景变化与场景内容而对应调整。因此，于一实施例中，在处理器123对第(i+1)帧环境图像与第二模板图像进行特征匹配操作而获取另一匹配结果信息之后，处理器123同样可依据另一匹配结果信息而依据第(i+1)帧环境图像产生相异于第二模板图像的第三模板图像。

图5是依照本发明一实施例的动态调整用以定位构件装置的模板图像的示意图。假设电子设备130为一笔记本电脑，且构件装置131为电子设备130的键盘。请参照图5，在图像捕获设备111获取第i帧环境图像Img_Si之后，处理器123可对第i帧环境图像Img_Si与第一模板图像Img_T1进行特征匹配操作，以从第i帧环境图像Img_Si搜寻出相似于第一模板图像Img_T1中构件装置131的匹配图像区块M1的匹配图像区块M2。于第一时间点，处理器123可依据第i帧环境图像Img_Si中构件装置131的匹配图像区块M2的位置(例如中心点位置P1)决定虚拟对象的显示位置。

此外，若第i帧环境图像Img_Si与第一模板图像Img_T1之间匹配程度符合特定条件，处理器123可从第i帧环境图像Img_Si中获取出自构件装置131的匹配图像区块M2相外延伸的第二模板图像Img_T2，从而更新用以定位构件装置的模板图像。

接着，在获取第(i+1)帧环境图像Img_S(i+1)之后，处理器123对第(i+1)帧环境图像Img_S(i+1)与第二模板图像Img_T2进行特征匹配操作，以从第(i+1)帧环境图像Img_S(i+1)搜寻出相似于第二模板图像Img_T2中构件装置131的匹配图像区块M2的匹配图像区块M3。于是，于第二时间点，处理器123会依据第(i+1)帧环境图像Img_S(i+1)中构件装置131的匹配图像区块M3的位置(例如中心点位置P2)决定虚拟对象的显示位置。

可理解的，不同时间所使用的模板图像是会基于实际场景而变化或延伸，因而可提升特征匹配操作的稳健度。借此，假设构件装置131为键盘时，即便用户的手部位于键盘上，特征匹配操作的准确度也可保持一定的准确度。或者，假设构件装置131为显示屏幕时，即便显示屏幕的显示画面的特征量不足，特征匹配操作的准确度也可保持一定的准确度。

值得一提的是，于一实施例中，当构件装置131为显示屏幕时，基于显示画面为时变数据，处理器123可依据显示屏幕的显示画面来调整第二模板图像。亦即，模板图像中为显示屏幕的显示区域是依据电子设备130的显示屏幕的显示数据而决定。

此外，于一实施例中，动作传感器113可感测头戴式显示装置110对应于三坐标轴向(X轴、Y轴与Z轴)的加速度。基此，假设图像捕获设备111于第i个时间点获取第i帧环境图像，且于第(i+1)个时间点获取第(i+1)帧环境图像。处理器113可取得头戴式显示装置110在第i个时间点及第i+1个时间点之间所测得的加速度，并据以估计头戴式显示装置110在第i个时间点及第i+1个时间点之间的移动量。于是，处理器123可依据此移动量调整基于第i帧环境图像而获取的匹配图像区块的位置，并据以调整虚拟对象的显示位置。于一实施例中，处理器123可使用卡尔曼滤波器来预估构件装置131的匹配图像区块的四个角点的坐标位置。基此，借由动作传感器113的协助，虚拟对象的显示可更为流畅。

图6是依照本发明一实施例的锚定显示方法的流程图。请参照图1A与图1B与图6，本实施例的方式适用于上述实施例中的扩增实境系统10，以下即搭配扩增实境系统10中的各项组件说明本实施例的锚定显示虚拟对象的方法的详细步骤。

于步骤S601，通过头戴式显示装置110上的图像捕获设备111朝电子设备130获取图像序列。于步骤S602，处理器123对第i帧环境图像与第一模板图像进行特征匹配操作而获取匹配结果信息。步骤S601～步骤S602的操作原理相似于前述实施例的步骤S301～步骤S302的操作原理，于此不赘述。

于步骤S603，处理器123依据匹配结果信息通过头戴式显示装置110显示虚拟对象。亦即，处理器123可依据第i帧环境图像中构件装置131的匹配图像区块的位置决定虚拟对象的显示位置，以依据此显示位置控制头戴式显示装置110显示虚拟对象。

需说明的是，于一实施例中，第i帧环境图像与第一模板图像之间的匹配结果信息可包括多个特征匹配对以及第i帧环境图像中构件装131的匹配图像区块。基于特征匹配操作，一个特征匹配对是由第i帧环境图像中的一个图像特征与第一模板图像中的一个图像特征组成，且各个特征匹配对具有对应的匹配距离。具体而言，处理器123可在执行特征匹配算法之后，获取多个特征匹配对与各个特征匹配对的匹配距离。匹配距离可反映特征匹配对的两个图像特征之间的相似程度，其为两图像特征的特征描述子(Descriptor)于一向量空间中的距离。

于步骤S604，处理器123判断特征匹配对的数目是否大于第一临界值。可知的，特征匹配对的数目可反映第i帧环境图像与第一模板图像之间的相似程度，且特征匹配对的数目也可反映第一模板图像中的图像特征是否足够。于步骤S605，处理器123判断特征匹配对的匹配距离的平均值是否小于第二临界值。特征匹配对的匹配距离的平均值可反映第i帧环境图像与第一模板图像之间的相似程度，也可反映特征匹配操作的准确度。特征匹配对的匹配距离的平均值越小，代表特征匹配的准确度越高。

于步骤S606，处理器123判断第i帧环境图像中构件装置131的匹配图像区块是否位于预设范围内。举例而言，以图5为例，处理器123可判断匹配图像区块M2的中心点位置P1是否位于第i帧环境图像的特定中心范围内，此特定中心范围可依据实际需求而设置。举例而言，假设第i帧环境图像的图像尺寸为M*N，则处理器123可判断匹配图像区块M2的中心点位置P1的X分量是否介于0.25＊M至0.75*M之间，且匹配图像区块M2的中心点位置P1的Y分量是否介于0.25＊N至0.75*N之间。若匹配图像区块M2的中心点位置P1的X分量与Y分量满足上述条件，则处理器123可判定第i帧环境图像中构件装置131的匹配图像区块位于预设范围内。

于一实施例中，若特征匹配对的数目大于第一临界值、特征匹配对的匹配距离的匹配距离小于第二临界值，且匹配图像区块位于预设范围内，处理器123可第i帧环境图像中获取自构件装置131的匹配图像区块而延伸的第二模板图像。于一实施例中，第二模板图像为一部分的第i帧环境图像。

于图6的实施例中，处理器123还可依据匹配图像区块的几何形状，决定是否从第i帧环境图像中获取第二模板图像。于是，于步骤S607，处理器123判断区块边界的斜率是否满足有关于构件装置131的几何形状条件。具体而言，第i帧环境图像中构件装置131的匹配图像区块包括多个区块边界，例如4个区块边界。于一实施例中，假设构件装置131为矩形的显示屏幕，匹配图像区块的几何形状应当为梯形。在此情况下，处理器123可依据这些区块边界的斜率来判断匹配图像区块的正确性。若区块边界的斜率不满足有关于构件装置131的几何形状条件，代表特征匹配操作的结果有缺失，因而可得知不适于从第i帧环境图像中获取第二模板图像。若区块边界的斜率满足有关于构件装置131的几何形状条件，则处理器123从第i帧环境图像中获取自构件装置131的匹配图像区块而延伸的第二模板图像。

举例而言，第i帧环境图像中构件装置131的匹配图像区块包括第一区块边界，相对于第一区块边界的第二区块边界、第三区块边界，以及相对于第三区块边界的第四区块边界。假设构件装置131为矩形的显示屏幕。因此，唯有若第一区块边界的斜率的绝对值相似于第二区块边界的斜率的绝对值且第三区块边界的斜率的绝对值相似于第四区块边界的斜率的绝对值，则处理器123才可在从第i帧环境图像中获取自构件装置131的匹配图像区块而延伸的第二模板图像。

于是，若步骤S604、S605、S606、S607皆判断为是，处理器123可决定从第i帧环境图像中获取第二模板图像。另一方面，若步骤S604、S605、S606、S607其中之一判断为否，处理器123不更新用以定位构件装置131的模板图像。于是，于步骤S611，处理器123可对第(i+1)帧环境图像与第一模板图像进行特征匹配操作而获取另一匹配结果信息，以依据另一匹配结果信息通过头戴式显示装置110显示虚拟对象。

于本实施例中，在步骤S604、S605、S606、S607皆判断为是的情况下，于步骤S608，处理器123可依据第i帧环境图像与第一模板图像之间的匹配结果信息决定延伸配置参数，并依据延伸配置参数从第i帧环境图像中构件装置131的匹配图像区块的区块边界开始延伸而获取第二模板图像。于一实施例中，处理器123可依据特征匹配对的分布情况来决定延伸配置参数。于一实施例中，延伸配置参数可包括延伸方向与延伸量。举例而言，延伸配置参数可包括对应于X轴的正负方向以及对应于Y轴的正负方向的四个延伸量，而上述延伸量可依据匹配结果信息而决定。假设第i帧环境图像中构件装置131的左方具有较多的匹配成功的图像特征，则处理器123可配置对应于X轴的负方向的延伸量大于对应于X轴的正方向的延伸量。由此可知，处理器123是依据动态改变的延伸配置参数来产生模板图像，因此处理器123可从第i帧环境图像中获取图像特征量较为丰富的第二模板图像。

此外，于一实施例中，处理器123可逐渐扩大模板图像的尺寸，直至模板图像的尺寸符合预设尺寸。因此，于一实施例中，处理器123判断第一模板图像的图像尺寸是否符合一预设尺寸。反应于第一模板图像的图像尺寸符合预设尺寸，处理器123基于预设尺寸自第i帧环境图像中获取自构件装置131的匹配图像区块而延伸的第二模板图像。在此情况下，第一模板图像的尺寸与第二模板图像的尺寸皆为预设尺寸。另一方面，反应于第一模板图像的图像尺寸未符合预设尺寸，处理器123依据暂时延伸尺寸自第i帧环境图像中获取自构件装置131的匹配图像区块而延伸的第二模板图像。在此情况下，第一模板图像的尺寸小于暂时延伸尺寸且第二模板图像的尺寸为暂时延伸尺寸，而暂时延伸尺寸小于预设尺寸。

于步骤S609，若特征匹配对的数目大于第一临界值且特征匹配对的相似距离的平均值小于第二临界值，处理器123利用特征匹配对的数目更第一临界值并利用匹配距离的平均值更新第二临界值。借由于一操作情境中持续更新第一临界值与第二临界值，可使第一临界值趋近特定最大值而与第二临界值趋近为特定最小值，从而获取适合于当前操作情境的第一临界值与第二临界值。

接着，于步骤S610，处理器123对第(i+1)帧环境图像与第二模板图像进行特征匹配操作而获取另一匹配结果信息，以依据另一匹配结果信息通过头戴式显示装置110显示虚拟对象。

综上所述，于本发明实施例中，当使用者配戴头戴式显示装置观看电子设备时，即便头戴式显示装置动态移动，但用户依然可看到于锚定于实境场景中一固定位置的虚拟对象。借此，用户可通过虚拟对象获取更多的信息量，并享优良舒适的观看体验。此外，基于用以定位电子设备的构件装置的样板图像可随场景内容而动态变化，特征匹配的可靠性与稳健性可大幅提升，从而使虚拟对象的显示更为流畅且准确。借此，可提升使用者使用头戴式显示装置观看虚拟对象的观看体验。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种扩增实境系统的锚定显示虚拟对象的方法，其特征在于，所述方法包括：

通过通过头戴式显示装置上的图像捕获设备朝电子设备获取图像序列，其中所述图像序列包括一第i帧环境图像与一第(i+1)帧环境图像，且所述电子设备包括一构件装置；

对所述第i帧环境图像与第一模板图像进行特征匹配操作而获取一匹配结果信息，其中所述第一模板图像包括所述构件装置的图像；

反应于所述匹配结果信息满足预设条件，从所述第i帧环境图像中获取自所述构件装置的匹配图像区块而延伸的第二模板图像，其中所述第一模板图像相异于所述第二模板图像：以及

对所述第(i+1)帧环境图像与所述第二模板图像进行特征匹配操作而获取另一匹配结果信息，并依据所述另一匹配结果信息通过所述头戴式显示装置显示虚拟对象，其中所述虚拟对象显示为锚定于实际场景中的所述电子设备。

2.根据权利要求1所述的锚定显示虚拟对象的方法，其中所述第i帧环境图像与所述第一模板图像之间的所述匹配结果信息包括多个特征匹配对以及所述第i帧环境图像中所述构件装置的所述匹配图像区块，而反应于所述匹配结果信息满足所述预设条件，从所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像的步骤包括：

判断所述特征匹配对的数目是否大于第一临界值；

判断所述特征匹配对的匹配距离的平均值是否小于第二临界值；

判断所述第i帧环境图像中所述构件装置的所述匹配图像区块是否位于预设范围内；以及

若所述特征匹配对的数目大于所述第一临界值、所述特征匹配对的匹配距离的匹配距离小于所述第二临界值，且所述匹配图像区块位于所述预设范围内，从所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像。

3.根据权利要求2所述的锚定显示虚拟对象的方法，其中所述第i帧环境图像中所述构件装置的所述匹配图像区块包括多个区块边界，其中反应于所述匹配结果信息满足所述预设条件，从所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像的步骤还包括：

判断所述区块边界的斜率是否满足有关于所述构件装置的几何形状条件；以及

若所述区块边界的斜率满足有关于所述构件装置的所述几何形状条件，从所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像。

4.根据权利要求2所述的锚定显示虚拟对象的方法，其中在反应于所述匹配结果信息满足所述预设条件，从所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像的步骤之后，所述方法还包括：

若所述特征匹配对的数目大于所述第一临界值且所述特征匹配对的相似距离的所述平均值小于所述第二临界值，利用所述特征匹配对的数目更新所述第一临界值并利用所述平均值更新所述第二临界值。

5.根据权利要求1所述的锚定显示虚拟对象的方法，其中自所述第i帧环境图像中获取自关联于所述构件装置的所述匹配图像区块而延伸的所述第二模板图像的步骤包括：

依据所述匹配结果信息决定一延伸配置参数，并依据所述延伸配置参数从所述第i帧环境图像中所述构件装置的所述匹配图像区块的区块边界开始延伸而获取所述第二模板图像，其中所述延伸配置参数包括延伸方向与延伸量。

6.根据权利要求5所述的锚定显示虚拟对象的方法，其中依据所述匹配结果信息决定所述延伸配置参数，并依据所述延伸配置参数从所述第i帧环境图像中所述构件装置的所述匹配图像区块的所述区块边界开始延伸而获取所述第二模板图像的步骤还包括：

判断所述第一模板图像的图像尺寸是否符合预设尺寸；

反应于第一模板图像的图像尺寸符合所述预设尺寸，基于所述预设尺寸自所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像；以及

反应于第一模板图像的图像尺寸未符合所述预设尺寸，依据一暂时延伸尺寸自所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像，其中所述暂时延伸尺寸小于所述预设尺寸。

7.根据权利要求1所述的锚定显示虚拟对象的方法，其中所述构件装置为键盘或显示屏幕，且依据所述另一匹配结果信息通过所述头戴式显示装置于显示所述虚拟对象的步骤包括：

获取所述第(i+1)帧环境图像中所述构件装置的另一匹配图像区块；

依据所述另一匹配图像区块的图像坐标信息决定所述虚拟对象的显示位置；以及

依据所述显示位置通过所述头戴式显示装置显示所述虚拟对象。

8.根据权利要求1所述的锚定显示虚拟对象的方法，其中所述方法还包括：

储存多张原始模板图像，其中所述第一模板图像为所述原始模板图像其中之一；以及

分别对所述第i帧环境图像与所述原始模板图像进行特征匹配操作，以从所述原始模板图像挑选出所述第一模板图像。

9.一种扩增实境系统，其特征在于，包括：

头戴式显示装置，包括图像捕获设备，并显示虚拟对象，其中所述图像捕获设备朝电子设备获取图像序列，所述图像序列包括第i帧环境图像与第(i+1)帧环境图像，且所述电子设备包括构件装置；

计算机装置，连接所述头戴式显示装置，并包括：

存储装置；以及

处理器，耦接所述存储装置，经配置以：

对所述第i帧环境图像与第一模板图像进行特征匹配操作而获取匹配结果信息，其中所述第一模板图像包括所述构件装置的图像；

反应于所述匹配结果信息满足预设条件，从所述第i帧环境图像中获取自所述构件装置的匹配图像区块而延伸的第二模板图像，其中第一模板图像相异于所述第二模板图像：以及

对所述第(i+1)帧环境图像与所述第二模板图像进行特征匹配操作而获取另一匹配结果信息，并依据所述另一匹配结果信息控制所述头戴式显示装置显示所述虚拟对象，其中所述虚拟对象显示为锚定于实际场景中的所述电子设备。

10.根据权利要求9所述的扩增实境系统，其中所述第i帧环境图像与所述第一模板图像之间的所述匹配结果信息包括多个特征匹配对以及所述第i帧环境图像中所述构件装置的所述匹配图像区块，且所述处理器还经配置以：

判断所述特征匹配对的数目是否大于第一临界值；

判断所述特征匹配对的匹配距离的平均值是否小于第二临界值；

判断所述第i帧环境图像中所述构件装置的所述匹配图像区块是否位于预设范围内；以及

若所述特征匹配对的数目大于所述第一临界值、所述特征匹配对的匹配距离的匹配距离小于所述第二临界值，且所述匹配图像区块位于所述预设范围内，从所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像。

11.根据权利要求10所述的扩增实境系统，其中所述第i帧环境图像中所述构件装置的所述匹配图像区块包括多个区块边界，而所述处理器还经配置以：

判断所述区块边界的斜率是否满足有关于所述构件装置的几何形状条件；以及

若所述区块边界的斜率满足有关于所述构件装置的所述几何形状条件，从所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像。

12.根据权利要求10所述的扩增实境系统，其中所述处理器还经配置以：

若所述特征匹配对的数目大于所述第一临界值且所述特征匹配对的相似距离的所述平均值小于所述第二临界值，利用所述特征匹配对的数目更新所述第一临界值并利用所述平均值更新所述第二临界值。

13.根据权利要求9所述的扩增实境系统，其中所述处理器还经配置以：

依据所述匹配结果信息决定一延伸配置参数，并依据所述延伸配置参数从所述第i帧环境图像中所述构件装置的所述匹配图像区块的区块边界开始延伸而获取所述第二模板图像，其中所述延伸配置参数包括延伸方向与延伸量。

14.根据权利要求13所述的扩增实境系统，其中所述处理器还经配置以：

判断所述第一模板图像的图像尺寸是否符合预设尺寸；

反应于第一模板图像的图像尺寸符合所述预设尺寸，基于所述预设尺寸自所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像；以及

反应于第一模板图像的图像尺寸未符合所述预设尺寸，依据一暂时延伸尺寸自所述第i帧环境图像中获取自所述构件装置的所述匹配图像区块而延伸的所述第二模板图像，其中所述暂时延伸尺寸小于所述预设尺寸。

15.根据权利要求9所述的扩增实境系统，其中所述构件装置为键盘或显示屏幕，且所述处理器还经配置以：

获取所述第(i+1)帧环境图像中所述构件装置的另一匹配图像区块；

依据所述另一匹配图像区块的图像坐标信息决定所述虚拟对象的显示位置；以及

依据所述显示位置通过所述头戴式显示装置显示所述虚拟对象。

16.根据权利要求9所述的扩增实境系统，其中所述处理器还经配置以：

储存多张原始模板图像，其中所述第一模板图像为所述原始模板图像其中之一；以及

分别对所述第i帧环境图像与所述模板图像进行特征匹配操作，以从所述原始模板图像挑选出所述第一模板图像。

Images