CN111670464A - 利用深度数据的增强现实影像提供方法以及程序 - Google Patents

Abstract

本发明涉及一种利用深度数据的增强现实影像提供方法以及程序。根据本发明的一实施例的利用深度数据的增强现实影像提供方法包括：虚拟影像数据接收步骤，所述客户机从服务器接收虚拟影像数据，(S120)；显示位置确定步骤，所述客户机基于所述深度数据来确定每个像素应显示在现实空间内的位置(S140)；以及虚拟影像数据显示步骤，基于所述确定的位置来将所述虚拟影像数据显示在显示空间上(S160)。

Description

利用深度数据的增强现实影像提供方法以及程序

技术领域

本发明涉及一种利用深度数据提供增强现实图像的方法以及程序。

背景技术

增强现实是一种在显示世界中将诸如文字或图像的虚拟的物体重叠而呈现为一个影像的技术。增强现实技术到2000年代中期为止处在研究开发和实验应用阶段，然而最近随着技术环境的完善而进入到了实用化阶段。尤其，最近随着智能手机的登场以及网络技术发达，使得增强现实技术开始得到关注。

实现增强现实的最为通常的方法是如下的方法：利用智能手机的相机拍摄现实的世界，并在其之上叠加预生成的计算机图像而输出，从而使用户感觉虚拟和现实融合的一样。这样的方法由于用户能够较容易地利用智能手机的相机获得现实的影像，并且计算机图像也能够通过智能手机的计算功能较容易地实现，因此大部分的增强现实应用实现在智能手机。并且，最近随着眼镜形态的穿戴式设备登场，对于增强现实技术的关注度正在增加。

发明内容

技术问题

增强现实影像应增强在现实空间的准确的位置才可以为用户提供现实感。然而，在因用户的移动而使结合增强现实影像的对象体(例如，标记)在空间上的布置改变的情况下，若预定时间点的影像帧遗漏，则增强现实影像可能会布置在不适当的位置，不自然地显示在显示空间，并且由于晃动而使现实感降低。因此，本发明期望提供一种如下的利用深度数据的增强现实影像提供方法以及程序：利用深度数据将作为二维影像的虚拟影像数据布置于现实空间内的适当的位置，从而当用户移动或者帧遗漏时，也能够提供具有现实感并且不会晃动的增强现实影像。

并且，本发明期望提供一种如下的利用深度数据的增强现实影像提供方法以及程序：可以基于针对虚拟现实影像的每个帧的附加的深度数据来指定需要进行透明处理的区域，来生成增强现实用影像，而无需单独的屏蔽数据。

并且，本发明期望提供一种用于如下的利用深度数据的增强现实影像提供方法以及程序：将虚拟现实内容变形而应用为增强现实内容，而不必与虚拟现实用影像单独制作单独在现实空间增强而显示的增强现实用影像。

本发明要解决的技术问题不局限于以上提及的技术问题，本领域技术人员可通过下文中的记载明确理解未提及的其他技术问题。

技术方案

根据本发明的一实施例的一种利用深度数据的增强现实影像提供方法包括：虚拟影像数据接收步骤，所述客户机从服务器接收虚拟影像数据，所述虚拟影像数据包括颜色数据以及深度数据；显示位置确定步骤，所述客户机基于所述深度数据来确定每个像素应显示在现实空间内的位置；以及虚拟影像数据显示步骤，基于所述确定的位置来将所述虚拟影像数据显示在显示空间上。

并且，作为另一实施例，其特征在于，所述深度数据按照每个像素包括于与颜色数据通道不同的单独的通道，所述深度数据以及所述颜色数据被同步化而传送。

并且，作为另一实施例，所述虚拟影像数据是当拍摄或者生成时获取每个地点的深度数据而按照每个像素存储的二维图像。

并且，作为另一实施例，所述显示位置确定步骤包括如下步骤：所述客户机将特定的深度确定为透明度调节基准；以及基于所述透明度调节基准区分深度范围，来确定是否进行透明处理，其中，所述透明度调节基准是设定将被显示在画面上的内容的边界线的基准。

并且，作为另一实施例，所述深度范围是按照所述透明度调节基准设定多个深度使得以所述多个深度为基准而被划分的多个区域。

并且，作为另一实施例，所述虚拟影像数据还包括获取位置数据以及影像方向数据，所述显示位置确定步骤包括如下步骤：比较由所述客户机获取的当前位置数据和所述获取位置数据，比较由所述客户机获取的再现方向数据和所述影像方向数据；基于比较结果来调节所述虚拟影像数据内的像素的位置。

并且，作为另一实施例，所述显示位置确定步骤还包括如下步骤：所述客户机基于现实空间的光照射方向来调节所述虚拟影像数据内的每个像素的颜色或者色度。

并且，作为另一实施例，还包括如下步骤：在所述客户机是输出将借由相机获取的现实影像数据和所述虚拟影像数据结合的结合影像数据的装置的情况下，所述客户机基于输出延迟时间来补正现实影像数据，其中，所述输出延迟时间是所述现实影像数据被拍摄之后至输出于画面上为止所需的时间。

根据本发明的另一实施例的利用深度数据的增强现实影像提供程序与作为硬件的计算机结合而执行上述所提及的利用深度数据的增强现实影像提供方法并将其存储于介质。

根据本发明的另一实施例的一种利用深度数据的增强现实影像提供装置，包括：虚拟影像数据接收部，从服务器接收虚拟影像数据，所述虚拟影像数据包括颜色数据以及深度数据；控制部，基于所述深度数据来确定每个像素应显示在现实空间内的位置；以及影像输出部，基于所述确定的位置来将所述虚拟影像数据显示在显示空间上。

根据本发明的另一实施例的一种利用深度数据的增强现实影像通过方法，包括如下步骤：所述服务器获取向所述客户机在预定时间点提供的所述虚拟影像数据的按照每个像素的颜色数据；获取所述虚拟影像数据的按照每个像素的深度数据而存储；以及所述服务器将所述颜色数据以及所述深度数据同步化而传送至所述客户机，其中，所述深度数据是若没有接收第二时间点的第二虚拟影像数据则基于第一时间点的第一虚拟影像数据来进行补正时所利用的数据，所述第二时间点是从所述第一时间点经过虚拟影像数据传送周期的时间点。

并且，作为另一实施例，所述虚拟影像数据还包括获取位置数据以及影像方向数据，所述客户机比较当前位置数据和所述获取位置数据，并比较再现方向数据和所述影像方向数据，并基于比较结果来调节所述虚拟影像数据内的像素的位置，所述当前位置数据以及所述再现方向数据是所述客户机实时地或者按照单位时间获取的数据。

根据如上的本发明，具有如下的多种效果。

第一，在因用户移动而使将结合增强现实影像的对象体(例如，标记)在空间上的布置改变的情况下，提供能够代替在特定时间点遗漏的影像帧的补正影像数据，使得增强现实影像显示在现实空间的准确的位置，以能够自然地再现，而没有晃动。

第二，将深度数据结合于以颜色数据构成的二维虚拟影像数据，从而可以将二维的虚拟影像数据自然地显示在三维的现实空间。即，增强现实影像再现装置识别三维的现实空间而将二维的影像的每个像素显示在适当的深度，从而实现三维增强现实的效果。

第三，由于在制作为虚拟显示用的虚拟影像数据可以基于适用于每个像素的深度数据来确定透明处理水准，从而基于当获取虚拟影像数据时所获得的深度数据可以直接将虚拟现实用影像应用为增强现实用，而无需制作单独的增强现实影像。

附图说明

图1是根据本发明的一实施例的增强现实影像系统的结构图。

图2是根据本发明的一实施例的客户机提供利用深度数据的增强现实影像的方法的流程图。

图3是根据本发明的一实施例的针对基于深度数据来调节虚拟影像数据的透明度的过程的流程图。

图4是根据本发明的一实施例的基于深度数据来设定透明度调节基准并划分区域的示例图。

图5是根据本发明的一实施例的输入区域指定数据的示例图。

图6是根据本发明的一实施例的针对调整每个像素在空间上的位置的过程的流程图。

图7是根据本发明的一实施例的基于第一帧的颜色数据以及深度数据来生成遗漏的第二帧的示例图。

图8是根据本发明的一实施例的服务器生成并提供包括深度数据的虚拟影像数据的方法的流程图。

图9是示出根据本发明的一实施例的在第一帧和第二帧之间添加第1.5帧的过程的示例图。

具体实施方式

以下，参照附图针对本发明的优选的实施例进行详细说明。参考结合附图而详细后述的实施例即可明确地理解本发明的优点、特征及用于实现这些的方法。然而，本发明并不局限于以下公开的实施例，其可以由互不相同的多样的形态实现，提供本实施例仅仅旨在使本发明的公开完整并用于将本发明的范围完整地告知本发明所属的技术领域中具备基本知识的人员，本发明仅由权利要求的范围定义。在整个说明书中，相同的附图标号指代相同的构成要素。

除非另有定义，本说明书中使用的所有术语(包括技术及科学术语)可以以本发明所属的技术领域中具备基本知识的人员所能够共同理解的含义而被使用。并且，对于定义于一般使用的词典的术语而言，除非另有明确而特别的定义，否则不应被理想化或者过度化地解释。

本说明书中使用的术语用于说明实施例而非旨在限定本发明。在本说明书中，除非特别说明，否则单数型在语句中也包括复数型。说明书中使用的术语“包括(comprises)”和/或“包含于(comprising)”不排除除了所提及的构成要素之外的一个以上的其他构成要素的存在或附加。

本说明书中，“虚拟影像数据”表示为了实现虚拟现实或者增强现实而制作的影像数据。“虚拟影像数据”可以通过相机拍摄现实空间而生成，也可以通过建模过程而制造。

本说明书中，“第一虚拟影像数据”表示在第一时间点从服务器提供至客户机的虚拟影像数据。本说明书中，“第二虚拟影像数据”表示在第二时间点(即，从第一时间点经过作为影像接收周期的单位时间的时间点)从服务器提供至客户机的虚拟影像数据。

本说明书中，“深度数据”作为针对三维空间上的深度的值，是为特定的虚拟影像数据内的被划分的细节单位中的每一个(例如，每个像素)赋予的值。

本说明书中，“颜色数据”是针对虚拟影像数据显示于画面的颜色的数据。例如，颜色数据可以按照虚拟影像数据的像素而被包括。并且，“颜色数据”可以利用能够表现出RGB(Red-Green-Blue)颜色模式等的颜色的预定的颜色模式来构成。

本说明书中，“现实影像数据”表示拍摄现实空间而获取的影像数据。

本说明书中，“客户机”表示从服务器接收虚拟影像数据而再现的增强现实影像再现装置。即，“客户机”表示能够提供向用户的眼睛直接提供的现实图像或者能够同时显示拍摄现实空间而获取的现实影像数据和增强现实内容来提供的所有装置。

以下，参照附图针对根据本发明的实施例的利用深度数据提供增强现实影像的方法以及程序进行详细说明。

图1是根据本发明的一实施例的增强现实影像系统的结构图。

图2是根据本发明的一实施例的利用深度数据的增强现实影像提供方法的流程图。

参照图1以及图2，根据本发明的实施例的利用深度数据的增强现实影像提供方法包括如下步骤：客户机200从服务器100接收虚拟影像数据(S120；虚拟影像数据接收步骤)；客户机200基于深度数据来确定每个像素将被显示在现实空间内的位置(S140；显示位置确定步骤)；以及基于所述确定的位置来将所述虚拟影像数据显示在现实空间上(S160；虚拟影像数据显示步骤)。以下，记述针对每个步骤的详细说明。

客户机200从服务器100接收虚拟影像数据(S120：虚拟影像接收步骤)。所述虚拟影像数据是包括颜色数据以及深度数据的数据。

作为一实施例，所述虚拟影像数据是当拍摄或者生成时获取每个地点的深度数据而按照每个像素来存储的二维图像。即，客户机200接收包含深度数据的作为二维图像的虚拟影像数据并将其在作为三维的现实空间内生成为增强现实影像。通过此，客户机200可以不用从服务器100接收以三维建模的高容量的三维影像数据，而能够在三维的现实空间内实现具有现实感的增强现实。

作为一实施例，所述深度数据按照每个像素包含在与颜色数据通道区分的单独通道。即，服务器100通过颜色数据通道和深度数据通道将针对虚拟影像数据的每个像素的颜色数据以及深度数据传送至客户机200。此时，服务器100将通过深度数据通道传送的深度数据和通过颜色数据通道传送的颜色数据同步化而传送至客户机200。客户机200获取通过颜色数据通道和深度数据通道同时接收的按照每个像素的颜色数据和深度数据作为该时间点的虚拟影像数据。

客户机200基于所述深度数据来确定每个像素将显示在现实空间内的位置(S140：显示位置确定步骤)。即，客户机200确定在与虚拟影像数据的每个像素位置对应的通过客户机200使用户看到的现实空间位置将颜色数据显示在与深度数据对应的深度。具体地，在所述客户机200是在透明的画面上输出虚拟影像数据的装置(例如，玻璃型可穿戴设备)的情况下，虚拟影像数据对应于所述装置的画面大小，从而客户机200基于深度数据来将虚拟影像数据的每个像素输出在画面的对应的每个地点。

并且，作为另一实施例，如图3，所述显示位置确定步骤(S140)包括如下步骤：所述客户机200将特定深度确定为透明度调节基准(S141)；以及基于所述透明度调节基准来区分深度范围而确定是否进行透明处理(S142)。即，为了在现实空间内仅输出期望的虚拟影像数据的期望的部分，客户机200基于深度数据来指定输出区域。

首先，客户机200将特定深度确定为透明度调节基准(S141)。所述透明度调节基准可以是与显示在画面上的内容的边界线对应的深度值。例如，如图4，在客户机200期望仅将包含在虚拟影像数据内的角色显示为增强现实内容的情况下，客户机200将与角色的边界线对应的像素的深度数据确定为透明度调节基准。通过此，客户机200可以仅将虚拟影像数据内的角色(例如，对象体2)输出至画面，并且可以将剩余区域处理为透明。

随后，客户机200基于透明度调节基准来区分深度范围(S142)。即，客户机200将区域分为比预定的深度近的区域和远的区域。客户机200也可以将多个深度设定为所述透明度调节基准。例如。如图4，若将2个深度值(例如，深度值A和深度值B(B是比A大的值)的2个深度值)设定为透明度调节基准，则客户机200将深度范围划分为比A深度近的第一区域、A深度和B深度之间的第二区域以及比B深度远的第三区域。

随后，客户机200针对区分的深度范围应用是否进行透明处理(S142)。作为一实施例，在以预定的深度值(例如，深度值A)为基准区分深度范围的情况下，客户机200将比深度A远的区域确定为透明处理区域，从而仅使比深度A近的范围的影像显示于画面上。并且，作为另一实施例，在由于设定2个以上的透明度调节基准而区分为3个以上的深度范围的情况下，客户机200确定是否将每个深度范围处理为透明。并且，客户机200也针对每个深度范围确定透明度数值并以使包含在特定的深度范围的影像内容处理为半透明使其与现实空间同时被看到。

通过此，客户机200可以通过深度数据在虚拟影像数据内仅提取期望的内容(例如，对象体)而显示在现实影像数据上。即，客户机为了将虚拟影像显示在现实空间内适当的位置而利用同时接收的深度数据设定屏蔽区域，从而客户机200无需从服务器100单独接收用于屏蔽虚拟影像数据内的一部分区域的屏蔽数据。例如，在对为了实现现有的虚拟现实影像而生成的影像仅添加深度数据而应用于实现增强现实影像的情况下，服务提供者仅生成与现有的虚拟现实影像同步化的每个像素的深度数据，并且在虚拟影像数据设定与特定的对象体边界对应的特定的深度，从而可以将虚拟现实影像实现为一部分区域被屏蔽(Masking)的增强现实影像。

并且，作为另一实施例，如图5，客户机200将区域指定数据与特定的深度数据一同应用为透明度调节基准。虚拟影像数据可以包括具有与期望在现实空间增强的对象体(例如，图5的第一客体)相同的深度值的另一对象体(例如，图5的第二客体)。此时，若仅以深度数据设定不进行透明处理而暴露于现实空间的区域，则可能使不应当被显示的对象体一同显示于现实空间内。因此，客户机200从服务器100接收针对应处理为透明的二维画面内区域的数据(即，区域指定数据)，并可以使在指定的二维区域的影像内容中仅包含在指定为将被显示的区域的深度范围的影像内容显示在画面上。借由深度数据可以详细地区分出在特定的指定区域内应透明处理的部分，从而服务器100以指定大致的区域的形态(例如，矩形形态)设定区域指定数据而传送至客户机200。

并且，作为另一实施例，在所述显示位置确定步骤(S140)中，在客户机200确定用户注视的方向和虚拟影像数据被拍摄的方向不一致的情况下，客户机200可以将虚拟影像数据调节为适合显示于画面上的形态。

为此，所述虚拟影像数据还可以包括获取位置数据以及影像方向数据。所述获取位置数据表示当拍摄虚拟影像数据或者生成虚拟影像数据(即，建模(Modeling))时的相机位置。所述影像方向数据表示在所述获取位置获取虚拟影像数据的方向。例如，在利用相机装置拍摄虚拟影像数据的情况下，影像方向数据是在特定的获取位置相机所面向的方向，可以借由包含在相机装置的传感器而获取。并且，例如，在外部服务器100通过建模过程生成虚拟影像数据的情况下，影像方向数据可以是以获取位置为基准当建模时针对该虚拟影像数据而定的方向。

如图6，作为利用所述获取位置数据以及影像方向数据的显示位置确定步骤(S140)的一实施例包括如下步骤：比较由所述客户机200获取的当前位置数据和所述获取位置数据，比较由所述客户机200获取的再现方向数据和所述影像方向数据(S143)；以及基于所述比较结果来调节所述虚拟影像数据内的像素的位置(S144)。

首先，客户机200比较当前位置数据和所述获取位置数据，并比较由所述客户机200获取的再现方向数据和所述影像方向数据(S143)。所述当前位置数据是由客户机200基于多种位置测量方式中的至少任意一个来获取的位置数据。所述再现方向数据是借由客户机200内部的动作传感器获取的数据，是针对客户机200所朝向的实时方向的数据。客户机200比较虚拟影像数据被获取的位置以及拍摄方向(即，影像方向)和当前位置以及所朝向的方向(即，再现方向)而算出差异值。即，客户机200算出影像被获取的位置和当前位置之间的差异(例如，空间上的位置变化)，并算出客户机200的朝向的方向和虚拟影像数据被获取的方向之间的差异(例如，方位值差异)。

随后，客户机200基于所述比较结果调节所述虚拟影像数据内的像素的位置(S144)。客户机200将虚拟影像数据的每个像素的位置调节为符合当前位置数据以及再现方向数据。客户机200可以将比较结果不仅反映在每个像素的二维画面上的位置，而且还反映在每个像素的深度数据，来调节在现实空间内显示的深度。

通过此，即使用户在现实空间利用客户机200看向增强现实影像的位置以及方向与获取虚拟影像数据的位置以及方向并不准确地一致，客户机200可以调节虚拟影像数据内的每个像素在画面内的显示位置而在准确的位置显示增强现实内容。

并且，如图7，在虚拟影像数据内，以单位时间间距连续地提供的帧中的一部分遗漏的情况(例如，在第一时间点接收第一虚拟影像数据(即，第一帧)之后继续在第二时间点应被提供的第二虚拟影像数据(即，第二帧)遗漏的情况)下，客户机200比较第一虚拟影像数据所包含的获取位置数据以及影像方向数据和在第二时间点由客户机200获取的当前位置数据和再现方向数据，并基于比较结果(即，空间上的位置差异以及注视方向差异)来调节第一虚拟影像数据内的每个像素的位置。所述第二时间点是从所述第一时间点经过虚拟影像数据传送周期的时间点。即，客户机200基于包含于第一帧的获取位置数据以及影像方向数据和在第二时间点由客户机200获取的当前位置数据以及再现方向数据的比较结果移动包含于第一帧(即，第一虚拟影像数据)的具有颜色数据和深度数据的每个像素，来生成代替遗漏的第二帧的第二补正影像数据并将其提供。通过此，在由服务器100提供的虚拟影像数据遗漏的情况下，通过对先前虚拟影像数据进行补正而代替，可以自然地提供增强现实内容。

具体地，若特定的再现时间点(即，第二时间点)的虚拟影像数据(即，第二虚拟影像数据)遗漏并再现，则增强现实内容无法显示在现实空间的准确的位置，并在单位时间经过后(即，第三时间点)接收虚拟影像数据，增强现实内容会突然移动位置而使影像发生晃动。即，若因第二帧遗漏而从第一虚拟影像数据(即，第一帧)直接变更为第三虚拟影像数据(即，第三帧)，则显示为对象体突然移动，从而可能使用户诱发头晕。随着利用第一时间点的第一虚拟影像数据为第二时间点提供补正影像数据，可以将未接收的影像帧(即，第二虚拟影像数据)代替为代替帧(即，基于第一虚拟影像数据的第二补正影像数据)而为用户提供不晃动且布置于现实空间上的准确地位置的增强现实内容。尤其，在客户机200通过无线通信从服务器100接收虚拟影像数据而发生多数遗漏的情况下，更加可以提供有用的效果。

并且，作为另一实施例，如图9所示，客户机200可以生成填充由服务器100生成而提供的帧(即，虚拟影像数据)之间的附加帧并将其提供。例如，在由服务器100每秒提供60帧的情况下，客户机200可以生成与服务器100所提供的的帧之间的时间点对应的附加帧，来以每秒输出120帧。即，由于服务器性能或者互联网带宽限制等的各种因素，服务器100可能为客户机200提供有限数量的帧(例如，每秒60帧)，此时，客户机200可以自行增加每秒的帧数而生成更加自然的影像。

第一帧和第二帧之间的附加帧(即，第1.5帧)通过第一帧的补正而生成。即，客户机200比较包含于第一帧(即，第一虚拟影像数据)的获取位置数据以及影像方向数据和在期望添加帧的第1.5时间点由客户机200所获取的当前位置数据以及再现方向数据而生成比较结果(即，空间上的位置差异及注视方向差异)。随后，客户机基于所述比较结果来调节第一帧(即，第一虚拟影像数据)内的每个像素的位置而生成1.5帧。并且，作为另一实施例，所述显示位置确定步骤(S140)还包括如下步骤：所述客户机200调节所述虚拟影像数据内的每个像素的颜色或者色度。即，客户机200基于现实空间的光照射方向或者每个像素的布置位置来调节每个像素的颜色或者色度。通过此，客户机200可以将由服务器100提供的虚拟影像数据自然地显示于现实空间。

客户机200基于所述确定的位置在现实空间上显示所述虚拟影像数据(S160：虚拟影像数据显示步骤)。作为一实施例，在客户机200为通过透明的显示器直接观看现实空间的同时看到显示于透明的显示器的虚拟影像数据的装置(例如，玻璃型可穿戴设备)的情况下，客户机200将已确定每个像素将被显示的位置的增强现实内容(例如，基于深度数针对虚拟影像数据执行了屏蔽处理的影像内容)显示于透明显示器上。

并且，作为另一实施例，在所述客户机200是输出结合借由相机获取的现实影像数据和所述虚拟影像数据的结合影像数据的装置的情况(例如，智能手机或者平板电脑的情况)下，还包括如下步骤：所述客户机200基于输出延迟时间对现实影像数据进行补正。所述输出延迟时间是所述现实影像数据被拍摄之后至输出于画面上所需的时间。即，客户机200反映客户机200的移动来补正现实影像数据，使得在同一时间点客户机200注视的现实空间和显示于画面上的现实影像数据一致。例如，在客户机200通过相机获取与画面尺寸相同的现实影像数据的情况下，基于客户机200的移动来使现实影像数据移动(shift)而显示于画面上。并且，例如，在客户机200获取比画面尺寸大的现实影像数据的情况下，客户机200从获取的显示影像数据内提取需要反映客户机200的移动而输出于画面的区域并将其显示。

参照图1，根据本发明的另一实施例的利用深度数据的增强现实影像提供装置包括虚拟影像数据接收部210、控制部220、影像输出部230。根据本发明的一实施例的增强现实影像提供装置对应于根据本发明的实施例的利用深度数据的增强现实影像通过方法中的客户机200。以下，省略针对已说明的构成的详细说明。

虚拟影像数据接收部210使所述客户机200从服务器100接收虚拟影像数据。所述虚拟影像数据是包括颜色数据以及深度数据的数据。虚拟影像数据接收部210可以通过单独通道接收每个像素的颜色数据以及深度数据。即，虚拟影像数据接收部210通过颜色数据通道接收每个像素的颜色数据(例如，RGB值)，通过深度数据通道接收每个像素的深度数据。

虚拟影像数据接收部210通过有线或者无线通信接收虚拟影像数据。在通过无线通信接收的情况下，虚拟影像数据接收部210可以对应于无线互联网模块或者近距离通信模块。

无线互联网模块是指用于无线互联网连接的模块，可以内置或者外置于移动终端。作为无线互联网技术可以利用无线局域网(WLAN：Wireless LAN)(Wi-Fi)、无线宽带(Wibro)、世界微波接入互操作性(Wimax：World Interoperability for MicrowaveAccess)、高速下行链路分组接入(HSDPA：High Speed Downlink Packet Access)、长期演进(LTE：Long Term Evolution)、LTE-A(Long Term Evolution-Advanced)等。

近距离通信模块是指用于近距离通信的模块。作为近距离通信(short rangecommunication)技术可以利用蓝牙(Bluetooth)、蓝牙低能耗(BLE：Bluetooth LowEnergy)、信标(Beacon)、红外线通信(IrDA：Infrared Data Association)、超宽带(UWB：Ultra Wideband)、ZigBee等。

控制部220起到处理通过虚拟影像数据接收部210接收的虚拟影像数据的作用。作为一实施例，控制部220确定所述客户机200基于所述深度数据而使每个像素应显示在现实空间内的位置。

并且，控制部220基于深度数据来确定是否进行与每个深度对应的像素的透明处理。即，控制部220将除了位于特定的深度范围的对象体之外的与剩余深度范围对应的像素处理为透明，使得仅特定的对象体显示于画面上。

并且，若特定的再现时间点的虚拟影像数据(即，第二时间点的第二虚拟影像数据)遗漏，则控制部220利用先前的虚拟影像数据(即，第一时间点的第一虚拟影像数据)来生成代替遗漏的影像数据的补正影像数据。并且，在虚拟影像数据的获取位置或者影像方向(即，获取影像的方向)与客户机200的当前位置以及借由客户机200而注视的方向(即，再现方向)不一致的情况下，控制部220生成进行补正而在显示空间上的准确的位置布置的补正影像数据。

影像输出部230基于所述确定的位置将所述虚拟影像数据显示在显示空间上。例如，在客户机200为通过透明镜的显示器直接观看现实空间的同时看到显示于透明的显示器的虚拟影像数据的装置(例如，玻璃型可穿戴设备)的情况下，影像输出部230可以是显示基于虚拟影像数据而生成的增强现实内容的透明的显示器。

图8是根据本发明的另一实施例的针对服务器100为客户机生成包含有深度数据的增强现实影像而提供的过程的流程图。

参照图8，根据本发明的另一实施例的利用深度数据的增强现实影像提供方法包括如下步骤：所述服务器100获取向所述客户机200在特定时间点提供的所述虚拟影像数据的按照每个划分单位的颜色数据(S220)；获取所述虚拟影像数据的按照每个划分单位的深度数据而存储(S240)；以及所述服务器100将所述颜色数据以及所述深度数据同步化而传送至客户机200(S260)。

服务器100生成将向客户机200提供的虚拟影像数据。虚拟影像数据包括多个划分单位，并且按照每个划分单位包括颜色数据和深度数据。所述划分单位可以对应于影像数据的像素。所述深度数据是若没有接收到第二时间点的第二虚拟影像数据则基于第一时间点的第一虚拟影像数据来进行补正时利用的数据，所述第二时间点是从第一时间点经过虚拟影像数据传送周期的时间点。

服务器100获取按照每个划分单位(例如，像素)的颜色数据和深度数据(S220以及S240)。服务器100将颜色数据和深度数据同步化而传送至客户机200(S260)。服务器100通过单独的通道将同步化的颜色数据和深度数据传送至客户机200。

并且，作为另一实施例，所述虚拟影像数据还包括获取位置数据以及影像方向数据，所述客户机200的特征在于比较当前位置数据和所述获取位置数据，比较再现方向数据和所述影像方向数据，并基于所述比较结果调节在所述虚拟影像数据内的像素的位置，所述当前位置数据以及所述再现方向数据是从所述客户机200实时地或者按单位时间获取的数据。

以上，根据上述的本发明的一实施例的增强现实影像提供方法可以实现为程序而存储于介质，以与作为硬件的计算机结合而被执行。

上述前述的程序可以包括，计算机的处理器(CPU)通过所述计算机的设备接口可读取的诸如C、C++、JAVA、机器语言等的计算机语言编码的代码(Code)，以使所述计算机读取程序来执行实现为程序的所述方法。这样的代码可以包括与定义执行所述方法所需的功能的函数等相关的功能性的代码(Functional Code)，所述功能可以包括所述计算机的处理器按预定的顺序执行所需的执行步骤相关控制代码。并且，这样的代码还可以包括所述计算机的处理器执行所述功能所需的附加信息或媒体需要参照在所述计算机的内部或者外部存储器的哪一位置的存储器参照相关代码。并且，在所述计算机的处理器为了执行所述功能而需要与位于远程(Remote)的任意其他计算机或者服务器100等进行通信的情况下，代码还可以包括针对如下的通信相关代码：利用所述计算机的通信模块来与远程的任意其他计算机或者服务器100等如何进行通信；当通信时需要传送何种信息或媒体等。

所述存储的介质不是存储诸如寄存器、高速缓存、存储器等的短时间存储数据的介质，而是表示半永久性地存储数据并且能够被设备读取的介质。具体地，所述存储的介质的示例有ROM、RAM、CD-ROM、磁带、软盘和光学数据存储设备等，然而并不局限于此。即，所述程序可以存储在计算机可以访问的各种服务器100上的各种记录介质中或用户的所述计算机上的各种记录介质中。并且，所述介质可以分布在通过网络连接的计算机系统上，以分布的方式按照计算机可读代码被存储。

根据如上的本发明，具有如下的多种效果。

第一，在因用户移动而使将结合增强现实影像的对象体(例如，标记)在空间上的布置改变的情况下，提供能够代替在特定时间点遗漏的影像帧的补正影像数据，使得增强现实影像显示在现实空间的准确的位置，以能够自然地再现，而没有晃动。

第二，将深度数据结合于以颜色数据构成的二维虚拟影像数据，从而可以将二维的虚拟影像数据自然地显示在三维的现实空间。即，增强现实影像再现装置识别三维的现实空间而将二维的影像的每个像素显示在适当的深度，从而实现三维增强现实的效果。

第三，由于在制作为虚拟显示用的虚拟影像数据中，可以基于适用于每个像素的深度数据来确定透明处理水准，从而基于当获取虚拟影像数据时所获得的深度数据可以直接将虚拟现实用影像应用为增强现实用，而无需制作单独的增强现实影像。

以上参照附图说明了本发明的实施例，但在本发明所属技术领域中具有普通知识的人员可以理解的是，可以在不改变本发明的技术思想或者必要特征的情况下以其他具体形态实施。因此，以上记载的实施例应当理解为在所有方面均为示例性的，而不是限定性的。

Claims (12)

1.一种利用深度数据的增强现实影像提供方法，作为客户机提供增强现实影像的方法，包括：

虚拟影像数据接收步骤，所述客户机从服务器接收虚拟影像数据，所述虚拟影像数据包括颜色数据以及深度数据；

显示位置确定步骤，所述客户机基于所述深度数据来确定每个像素应显示在现实空间内的位置；以及

虚拟影像数据显示步骤，基于所述确定的位置来将所述虚拟影像数据显示在显示空间上。

2.如权利要求1所述的利用深度数据的增强现实影像提供方法，其中，

所述深度数据按照每个像素包括于与颜色数据通道不同的单独的通道，

所述深度数据以及所述颜色数据被同步化而传送。

3.如权利要求1所述的利用深度数据的增强现实影像提供方法，其中，

所述虚拟影像数据是当拍摄或者生成时获取每个地点的深度数据而按照每个像素存储的二维图像。

4.如权利要求1所述的利用深度数据的增强现实影像提供方法，其中，

所述显示位置确定步骤包括如下步骤：

所述客户机将特定的深度确定为透明度调节基准；以及

基于所述透明度调节基准区分深度范围，来确定是否进行透明处理，

其中，所述透明度调节基准是设定将被显示在画面上的内容的边界线的基准。

5.如权利要求4所述的利用深度数据的增强现实影像提供方法，其中，

所述深度范围是按照所述透明度调节基准设定多个深度使得以所述多个深度为基准而被划分的多个区域。

6.如权利要求1所述的利用深度数据的增强现实影像提供方法，其中，

所述虚拟影像数据还包括获取位置数据以及影像方向数据，

所述显示位置确定步骤包括如下步骤：

比较由所述客户机获取的当前位置数据和所述获取位置数据，比较由所述客户机获取的再现方向数据和所述影像方向数据；

基于比较结果来调节所述虚拟影像数据内的像素的位置。

7.如权利要求6所述的利用深度数据的增强现实影像提供方法，其中，

所述显示位置确定步骤还包括如下步骤：

所述客户机基于现实空间的光照射方向来调节所述虚拟影像数据内的每个像素的颜色或者色度。

8.如权利要求1所述的利用深度数据的增强现实影像提供方法，还包括如下步骤：

在所述客户机是输出将借由相机获取的现实影像数据和所述虚拟影像数据结合的结合影像数据的装置的情况下，所述客户机基于输出延迟时间来补正现实影像数据，

其中，所述输出延迟时间是所述现实影像数据被拍摄之后至输出于画面上为止所需的时间。

9.一种利用深度数据的增强现实影像提供的程序，其中，

与作为硬件的计算机结合，并为了执行如权利要求1至权利要求8中的任意一项的方法而存储于介质。

10.一种利用深度数据的增强现实影像提供装置，作为提供增强现实影像的装置，包括：

虚拟影像数据接收部，从服务器接收虚拟影像数据，所述虚拟影像数据包括颜色数据以及深度数据；

控制部，基于所述深度数据来确定每个像素应显示在现实空间内的位置；以及

影像输出部，基于所述确定的位置来将所述虚拟影像数据显示在显示空间上。

11.一种利用深度数据的增强现实影像提供方法，作为服务器生成用于在客户机实现增强现实的虚拟影像数据的方法，包括如下步骤：

所述服务器获取向所述客户机在预定时间点提供的所述虚拟影像数据的按照每个像素的颜色数据；

获取所述虚拟影像数据的按照每个像素的深度数据而存储；以及

所述服务器将所述颜色数据以及所述深度数据同步化而传送至所述客户机，

其中，所述深度数据是若没有接收第二时间点的第二虚拟影像数据则基于第一时间点的第一虚拟影像数据来进行补正时所利用的数据，

所述第二时间点是从所述第一时间点经过虚拟影像数据传送周期的时间点。

12.如权利要求11所述的利用深度数据的增强现实影像提供方法，其中，

所述虚拟影像数据还包括获取位置数据以及影像方向数据，

所述客户机比较当前位置数据和所述获取位置数据，比较再现方向数据和所述影像方向数据，并基于比较结果来调节所述虚拟影像数据内的像素的位置，

所述当前位置数据以及所述再现方向数据是所述客户机实时地或者按照单位时间获取的数据。

Images