CN106384365B - 一种包含深度信息获取的扩增实境系统及其方法 - Google Patents

Abstract

本发明提供一种包含深度信息获取的扩增实境系统及方法，适用于电子装置，其特征在于，包括:第一影像撷取单元，用以撷取影像；处理单元，用以执行扩增实境应用程序并于影像中加载扩增实境图像以形成扩增实境影像；第二影像撷取单元，用以取得扩增实境影像中目标物影像的深度数据；以及显示单元，用以显示扩增实境影像；其中处理单元依据深度数据判断扩增实境图像与目标物影像的遮挡关系。

Description

一种包含深度信息获取的扩增实境系统及其方法

技术领域

本发明是有关于一种扩增实境系统，特别是有关于一种以双镜头电子装置来提升扩增实境拟真程度的系统及方法。

背景技术

扩增实境技术(Augmented Reality，AR)，为将虚拟世界的视效、音效及空间信息等信息整合至真实环境信息的技术，扩增实境技术不仅展现真实环境的信息，亦同时将虚拟的信息显示出来，藉由两种信息相互补充、迭加，藉此让使用者可获得更丰富的感知信息，通常，搭载扩增实境技术的电子装置可透过配置于其上的摄像镜头捕捉真实环境的影像，并实时地计算所捕捉影像的位置、角度，同时加上相应虚拟图像，其目的是在显示屏幕上把虚拟世界信息套在现实环境信息中，让使用者透过所捕捉的影像与虚拟世界的信息进行互动。

现今扩增实境技术主要应用于智能手机、平板计算机等移动装置，近年来由于虚拟现实(Virtual Reality，VR)技术的发展，也开始将扩增实境技术应用于智能头盔、智能眼镜等穿戴式设备上。透过3D图像动画的渲染，多媒体视频、音频的播放，扩增实境技术被广泛地应用于电玩游戏、媒体传播及教育等领域。

扩增实境技术利用虚拟特效增强真实环境中的场景，将需要被展示或被突显的目标事物更加生动且具体，带给使用者强烈鲜明的视觉效果。然而，以扩增实境技术产生的虚拟特效往往在显示屏幕中人物或物品影像变动后，产生虚拟特效在错误位置表现的状况，例如:利用扩增实境技术于马路或是人行道的影像中产生一个宠物的虚拟图像，产生的宠物虚拟图像会持续在马路或是人行道影像上表现，此时，若有车辆或行人进入撷取影像的范围时，由于宠物虚拟图像仅能在一固定的坐标位置上表现，造成宠物虚拟图像与行人或是车辆的影像重迭(如宠物虚拟图像在车辆影像的车顶或是行人影像的上衣上呈现)，使宠物虚拟图像的拟真度下降，如此不真实的虚拟特效也容易让使用者的新鲜感消退而失去使用的兴趣。

有鉴于此，如何提供一种高拟真程度的扩增实境系统及方法，为本发明欲解决的技术课题。

发明内容

根据上述所要解决的课题，本发明提供一种拟真的扩增实境系统及方法，使藉由扩增实境系统产生的虚拟图像具有近似真实环境影像的表现，特别是在扩增实境系统产生的虚拟图像中，进一步实现物体遮挡关系，以使扩增实境系统能更真实的体现近虚拟图像具有近似真实环境影像的表现。

为达上述目的，本发明提供一种扩增实境系统，适用于电子装置，其特征在于，包括:

第一影像撷取单元，用以撷取影像；

处理单元，用以执行扩增实境应用程序并于影像中加载扩增实境图像以形成扩增实境影像；

第二影像撷取单元，用以取得扩增实境影像中目标物影像的深度数据；以及

显示单元，用以显示扩增实境影像；

其中处理单元依据深度数据判断扩增实境图像与目标物影像的遮挡关系。

较佳的，本发明的扩增实境应用程序的执行步骤包括：

(a).扩增实境系统初始化；

(b).以第一影像撷取单元撷取影像；

(c).于影像中的第一坐标位置加载扩增实境图像以形成扩增实境影像；

(d).侦测扩增实境影像中是否出现目标物影像，若否，则调整扩增实境图像动态；

(e).以第一影像撷取单元追踪目标物影像；

(f).以第二影像撷取单元取得深度数据，并以深度数据计算目标物影像所在的第二座标位置；

(g).依据第一坐标位置及第二座标位置判断扩增实境图象与目标物影像间的遮挡关系同时调整扩增实境图像动态；以及

(h).退回至步骤(e)。

较佳的，本发明的电子装置为：笔记本电脑、平板、个人数字助理、移动电话、智能头盔、智慧眼镜或游戏机。

较佳的，本发明的电子装置进一步包括动态感测单元，动态感测单元用以侦测电子装置于现实空间中位置的变化，藉此于步骤(d)或步骤(g)中调整扩增实境图像动态。

较佳的，本发明的动态感测单元为：重力传感器、方向传感器、磁力传感器、加速度传感器或角速度传感器。

较佳的，本发明的步骤(e)藉由Kalman滤波算法追踪目标物影像。

较佳的，本发明的步骤(f)藉由三角化计算第一影像撷取单元与目标物间的距离，以取得深度数据。

本发明另提供一种扩增实境方法，适用于电子装置，其特征在于藉由目标物影像的深度数据判断扩增实境图像与目标物影像的遮挡关系，包括下列步骤:

(a).以第一影像撷取单元撷取影像；

(b).于影像中的第一坐标位置加载扩增实境图像以形成扩增实境影像；

(c).侦测扩增实境影像中是否出现目标物影像，若否，则调整扩增实境图像动态；

(d).以第一影像撷取单元追踪目标物影像；

(e).以第二影像撷取单元取得目标物影像的深度数据，并以深度数据计算目标物影像所在的第二座标位置；

(f).依据第一坐标位置及第二座标位置判断扩增实境图象与目标物影像间的遮挡关系，同时调整扩增实境图像动态；以及

(g).退回至步骤(d)。

较佳的，本发明的电子装置进一步包括动态感测单元，动态感测单元用以侦测电子装置于现实空间中位置的变化，藉此于步骤(c)或步骤(f)中调整扩增实境图像动态。

较佳的，本发明的步骤(d)藉由Kalman滤波算法追踪目标物影像。

较佳的，本发明的步骤(e)藉由三角化计算第一影像撷取单元与目标物间的距离，以取得深度数据。

附图说明

图1为本发明所提供扩增实境系统的示意图；

图2为本发明所提供扩增实境系统运作的流程图；

图3A至3C为本发明所提供扩增实境系统实施例运作的示意图；

图4A至4B为本发明所提供扩增实境系统实施例运作的示意图；以及

图5A至5B为本发明所提供扩增实境系统实施例运作的示意图。

具体实施方式

本发明的优点、特征以及达到其方法，将参照例示性实施例及附图进行更详细的描述而更容易理解。然而，本发明可以不同形式来实现且不应被理解仅限于此处所陈述的实施例。相反地，对所属技术领域具有通常知识者而言，所提供的此些实施例将使本揭露更加透彻与全面且完整地传达本发明的范畴。

首先，请参阅图1，图1为本发明所提供扩增实境系统的示意图，如图1所示，本发明所提供的扩增实境系统包括:电子装置10，此电子装置10具有显示单元101、处理单元102、动态感测单元103及影像撷取模组104，其中，影像撷取模组104包括：第一影像撷取单元1041及第二影像撷取单元1042。

接着，处理单元102用于执行扩增实境应用程序时，可同时执行暂存扩增实境应用程序及扩增实境系统初始化的资料，其中扩增实境系统初始化的资料包括：第一影像撷取单元1041及第二影像撷取单元1042的参数及扩增实境应用程序的执行档。

当用户开启扩增实境应用程序时，第一影像撷取单元1041及第二影像撷取单元1042(例如：双摄像镜头)可撷取周遭环境的影像，例如：撷取真实环境中目标物5的影像；之后，处理单元102则是将2D或3D的扩增实境图像加载于所撷取目标物5的影像，以形成扩增实境影像，而形成的扩增实境影像则进一步于显示单元101(例如：移动电话屏幕、平板屏幕)上显示。此外，处理单元102利用第一影像撷取单元1041及第二影像撷取单元1042来进一步撷取目标物5影像的深度数据，藉由影像的深度数据来判断扩增实境图像与目标物5影像的相对坐标位置及遮挡关系，以进一步调整扩增实境图像于扩增实境影像中的显示方式。例如，在图1中，扩增实境图像在摄像头(即第二影像撷取单元)坐标系中的位置是固定不变的，而z轴参数表示的是扩增实境图像的深度数据(此处为恒定值200)；因此，当目标物5的影像在摄像头坐标系中z轴参数大于200时，则判定该目标物影像距离摄像头远于扩增实境图像，目标物影像被遮挡。

请继续参阅图1，电子装置10具有动态感测单元103，当使用者移动电子装置10时，电子装置10可藉由动态感测单元103感测电子装置10于现实空间中位置或姿态的变化，而处理单元102则会接收自动态感测单元103送出的动态参数，并藉由此动态参数调整扩增实境影像中扩增实境图像的动态。例如，动态感测单元103包含的是一套行人检测的算法，它的作用是检测摄像头撷取的影像中是否包含行人，如果包含就为每个行人打上标签(1,2,3,4…)，并确定每个行人的在屏幕上的二维坐标。随后将这些标签和二维坐标传入处理单元102。单元102利用双摄像头测得行人在影像撷取单元1042坐标系中的三维坐标，从而计算出每个行人的位姿矩阵。

在本发明的实施例中，电子装置10可为：具有双摄像镜头的笔记本电脑、平板、个人数字助理、移动电话、智能头盔、智慧眼镜或游戏机；电子装置10中的动态感测单元103可为：重力传感器、方向传感器、磁力传感器、加速度传感器或角速度传感器。

接着，请同时参阅图1及图2，其中，图2为本发明所提供扩增实境系统运作的流程图，在用户开启扩增实境应用程序时，首先进行扩增实境系统初始化(步骤S100)，于步骤S100中，处理单元102会读取第一影像撷取单元1041及第二影像撷取单元1042的参数及扩增实境应用程序的执行档，并将其暂存于处理单元102中的记忆单元(未示于图中)。

其中，第一影像撷取单元1041及第二影像撷取单元1042的参数用于确定扩增实境图像的2D-3D变换矩阵及摆放扩增实境图像的第一坐标位置，而扩增实境应用程序执行档则提供2D/3D扩增实境图像的加载及作业环境。

接着，以第一影像撷取单元1041撷取影像(步骤S101)，再接着，于影像中的第一座标位置加载扩增实境图象，以形成扩增实境影像(步骤S102)。于步骤S102中，第一座标位置可为预设坐标位置或为影像中标志物影像的相对位置，而摆放在第一座标位置的扩增实境图像，则可以藉由2D-3D变换矩阵确认其于显示单元101中摆放的大小，以及在XYZ轴三维角度的调整。此外，扩增实境图像可为可动/不可动的2D/3D图像，并可做出拟真的动作或发出拟真的声音。

于扩增实境图像加载完成后，第一影像撷取单元1041则持续撷取次一帧影像，同时侦测扩增实境影像中是否出现目标物影像(步骤S103)，于步骤S103中，若于未侦测到目标物影像时，则直接调整扩增实境图像动态(步骤S107)，于步骤S107中，此时，若使用者移动电子装置10时，则电子装置10可藉由动态感测单元103感测电子装置10于现实空间中位置或姿态的变化，而处理单元102则会将接收自动态感测单元103的动态参数后，藉由动态参数来调整扩增实境影像中扩增实境图像的动态；若侦测到目标物影像出现时，则以第一影像撷取单元1041追踪目标物影像(步骤S104)，于步骤S104中，为藉由Kalman滤波算法追踪目标物影像。而在本发明所使用的Kalman滤波算法，是用于行人状态的预测。此Kalman滤波算法运用某个行人前15帧的位姿矩阵去推断下一帧行人的位姿。而使用Kalman滤波算法的好处，是当行人短暂地被真实世界中的遮挡物遮挡(如柱子)，单元102不会立刻判定该行人消失在影像中，而是用该行人过往的运动状态推断其再次出现在影像中的大概位置。

接着，开启第二影像撷取单元1042，以第二影像撷取单元1042取得目标物5影像的深度数据，并以深度数据计算目标物影像所在的第二座标位置(步骤S105)，于步骤S105中，为藉由第一影像撷取单元1041、第二影像撷取单元1042及目标物三者的三角化计算，计算出第一影像撷取单元与目标物间的距离，进而取得目标物影像的深度数据。

尔后，处理单元102依据第一坐标位置及第二座标位置判断所述扩增实境图象与目标物影像间的遮挡关系(步骤S106)，于步骤S106中，若于目标物5影像所在的第二座标位置，是位于第一坐标位置到第一影像撷取单元1041坐标原点的直线上时，则判定目标物5影像遮挡扩增实境图像，并于显示单元101显示被目标物5影像遮挡的扩增实境图像特效；反之，若目标物5影像所在的第二座标位置并不在第一坐标位置到第一影像撷取单元1041坐标原点的直线上时，则判定目标物5影像并未遮挡扩增实境图像，扩增实境图像则持续正常显示。在完成遮挡关系的扩增实境图像特效后，则继续调整扩增实境图像动态(步骤S107)。

最后，则判断是否接收到结束讯号(步骤S108)，于步骤S108中，若未接收到结束讯号，则会再退回至步骤S104继续进以第一影像撷取单元追踪目标物影像；若接收到结束讯号，则结束执行扩增实境应用程序，同时释放暂存于记忆单元(未示于图中)的扩增实境系统初始化资料。

请同时参阅图3A至3C、图4A至4B及图5A至5B，图3A至3C、图4A至4B及图5A至5B为本发明所提供扩增实境系统实施例运作的示意图。于图3A中，使用者4手持具有双摄像镜头及动态感测单元的电子装置10，并藉由电子装置10双摄像镜头中的第一影像撷取单元拍摄撷取椅子3的影像。

接着，请参阅图3B，于图3B中，扩增实境系统进一步于椅子3影像一侧的第一坐标位置形成扩增实境图像6并于显示单元101如屏幕上进行显示。于图3B中，扩增实境图像6为球体形状的扩增实境图像。接着，请参阅图3C，当使用者4将电子装置10向右方移动时(如上方箭头所示)，此时电子装置10中的动态感测单元(未示于图中)感测到电子装置10向右方移动，此时显示单元101中的扩增实境图像6则向左方移动(如下方箭头所示)，使扩增实境图像6经由动态调整后可稳定地维持在第一坐标位置。

接着，请参阅图4A，当现实环境中出现目标物5如一个行人，则当第一影像撷取单元撷取并侦测到扩增实境影像中出现目标物5影像时，此时第一影像撷取单元以Kalman滤波算法持续追踪目标物5影像，跟着开启电子装置10双摄像镜头中的第二影像撷取单元，并以第二影像撷取单元取得目标物5影像的深度数据，并以深度数据计算目标物5影像所在的第二座标位置。

于图4A，由于现实环境中目标物5位在椅子3的后方，使目标物5影像所在的第二座标位置并不在第一坐标位置到第一影像撷取单元坐标原点的直线上，因此判定目标物5影像并未遮挡扩增实境图像6，于图4B中，由于目标物5影像并未遮挡扩增实境图像6，扩增实境图像6则持续正常显示。

接着，请参阅图5A，反之，若现实环境中出现的目标物5(如一个行人)位在椅子3的前方(即位在椅子3与手持电子装置10的使用者4之间)，使目标物5影像所在的第二座标位置在第一坐标位置到第一影像撷取单元坐标原点的直线上，因此判定目标物5影像遮挡扩增实境图像6，于图5B中，由于目标物5影像遮挡扩增实境图像6，则显示单元101显示目标物5影像遮挡扩增实境图像6的遮挡特效。

综上所述，本发明所提供扩增实境系统及方法，有效提升了扩增实境图像的真实度，也提高了扩增实境系统的多样性及娱乐效果；故，本发明实为一极具产业价值之作。

本发明得由熟悉本技艺之人士任施匠思而为诸般修饰，然皆不脱如附申请专利范围所欲保护。

Claims (10)

1.一种扩增实境系统，适用于电子装置，其特征在于，包括:第一影像撷取单元，用以撷取影像；

处理单元，用以执行扩增实境应用程序并于所述影像中加载扩增实境图像以形成扩增实境影像；

第二影像撷取单元，用以取得所述扩增实境影像中目标物影像的深度数据；以及显示单元，用以显示所述扩增实境影像；其中所述处理单元依据所述深度数据判断所述扩增实境图像与所述目标物影像的遮挡关系，扩增实境应用程序的执行步骤包括：

(a).扩增实境系统初始化；

(b).以所述第一影像撷取单元撷取所述影像；

(c).于所述影像中的第一坐标位置加载扩增实境图像以形成扩增实境影像；

(d).侦测扩增实境影像中是否出现所述目标物影像，若否，则调整扩增实境图像动态；

(e).以所述第一影像撷取单元追踪所述目标物影像；

(f).以所述第二影像撷取单元取得所述深度数据，并以所述深度数据计算所述目标物影像所在的第二座标位置；

(g).依据所述第一坐标位置及所述第二座标位置判断扩增实境图象与所述目标物影像间的遮挡关系同时调整扩增实境图像动态；以及(h).退回至步骤(e)。

2.如权利要求1所述的扩增实境系统，其特征在于所述电子装置进一步包括动态感测单元，所述动态感测单元用以侦测所述电子装置于现实空间中位置的变化，藉此于步骤(d)或步骤(g)中调整扩增实境图像动态。

3.如权利要求1所述的扩增实境系统,其特征在于所述步骤(e)藉由Kalman滤波算法追踪所述目标物影像。

4.如权利要求1所述的扩增实境系统,其特征在于所述步骤(f)藉由三角化计算所述第一影像撷取单元与所述目标物间的距离，以取得所述深度数据。

5.如权利要求1所述的扩增实境系统，其特征在于所述电子装置为：笔记本电脑、平板、个人数字助理、移动电话、智能头盔、智慧眼镜或游戏机。

6.如权利要求5所述的扩增实境系统，其特征在于，还包括动态感测单元，动态感测单元为：重力传感器、方向传感器、磁力传感器、加速度传感器或角速度传感器。

7.一种扩增实境方法，适用于电子装置，其特征在于藉由目标物影像的深度数据判断扩增实境图像与所述目标物影像的遮挡关系，包括下列步骤:(a).以第一影像撷取单元撷取影像；

(b).于所述影像中的第一坐标位置加载扩增实境图像以形成扩增实境影像；

(c).侦测扩增实境影像中是否出现所述目标物影像，若否，则调整扩增实境图像动态；

(d).以所述第一影像撷取单元追踪所述目标物影像；

(e).以第二影像撷取单元取得所述目标物影像的深度数据，并以所述深度数据计算所述目标物影像所在的第二座标位置；

(f).依据所述第一坐标位置及所述第二座标位置判断扩增实境图象与所述目标物影像间的遮挡关系，同时调整扩增实境图像动态；以及(g).退回至步骤(d)。

8.如权利要求7所述的扩增实境方法,其特征在于所述电子装置进一步包括动态感测单元，所述动态感测单元用以侦测所述电子装置于现实空间中位置的变化，藉此于步骤(c)或步骤(f)中调整扩增实境图像动态。

9.如权利要求7所述的扩增实境方法,其特征在于所述步骤(d)藉由Kalman滤波算法追踪所述目标物影像。

10.如权利要求7所述的扩增实境方法,其特征在于所述步骤(e)藉由三角化计算所述第一影像撷取单元与所述目标物间的距离，以取得所述深度数据。