CN108564661B - 一种基于增强现实场景的记录方法 - Google Patents

Abstract

本发明公开了一种基于增强现实场景的记录方法，包括以下步骤：场景记录：获取包含有现实场景和虚拟场景结合的增强现实场景，并将增强现实场景通过立体向量进行数据化标识和方向化标识；场景分割：将增强现实场景分割成若干对象，并根据对象的属性进行组件化处理；场景保存：将所得对象的组件化处理结果，根据其物理信息进行保存。通过本技术方案，可以将增强现实场景的信息完整保存并进行及时分享，提高增强现实场景记录和分享的完整性和准确性。

Description

一种基于增强现实场景的记录方法

技术领域

本发明涉及计算机增强现实技术领域，尤其涉及一种基于增强现实场景的记录方法。

背景技术

增强现实技术(Augmented Reality，AR)是目前计算机技术快速发展的重要领域之一，其通过计算机生成的虚拟环境与用户周围的现实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分。近年来，随着增强现实技术的发展，其应用领域在不断地拓宽，例如包括旅游产业、商业应用、家居行业、教育行业、娱乐行业、医疗行业等。由于增强技术能为用户带来娱乐性，用户对增强现实的应用需求也与日俱增。现在，在一些应用中，用户可以通过其提供的模型构建自定义场景，但是在用户构建好场景后，并没有提供一个严谨的存储途径和输出功能，使得用户无法将已构建完成的增强现实场景分享给其他用户。在现有的一些应用中，为解决上述问题，为用户提供截图功能。但显然，简单通过截图保存的只是二维的场景信息，不能表达出三维的场景信息，不能显示出增强现实场景的特点。

为解决增强现实场景的存储和输入，中国发明专利申请CN 103793473A公开了一种用于保存增强现实的方法，包括：使用增强现实装置收集包含对象的物理空间的观测信息；使用所述增强现实装置获取与所述对象相关联的增强；使用所述增强现实装置可视化地呈现所述物理空间的增强视图，所述增强视图包括所述增强的可视化表示；以及为后续回放保存所述增强视图。

但上述现有技术仅是通过获取增强现实场景的物理信息进行保存并进行回放，未能真正方便用户将增强现实场景进行分享。

发明内容

为了克服现有技术的不足，本发明所解决的技术问题是提供一种能够将增强现实场景的信息完整保存并方便后续可能进行的及时分享的基于增强现实场景的记录方法。

为解决上述技术问题，本发明所采用的技术方案内容具体如下：

一种基于增强现实场景的记录方法，包括以下步骤：

场景记录：获取包含有现实场景和虚拟场景结合的增强现实场景，并将增强现实场景通过立体向量进行数据化标识和方向化标识；

场景分割：将增强现实场景分割成若干对象，并根据对象的属性进行组件化处理；

场景保存：将所得对象的组件化处理结果，根据其物理信息进行保存。

为解决增强现实还原体验不佳，并使得被分享方能够重现分享方保存的增强现实场景，提高还原的准确性，发明人在记录场景时，不但对增强现实场景进行数据化标识，而且还对增强现实场景进行了方向化标识，这是本技术方案的创新点之一。实现数据化标识和方向化标识的方法均采用立体向量的方法。具体而言，即用立体向量中的数值标识场景的空间大小、尺寸和长度等数值参数，用立体向量的单位向量标识场景的空间方向。通过此技术方案，不但可以标识增强现实场景中各个对象的大小、尺寸和长度，还能够标识出增强现实场景的方向，这样会使得后续对该增强现实场景的保存更为全面，使得后续分享输出时，不但附带有大小、尺寸和长度等参数，还含有方向参数，从而可以避免多人使用场景时方向不统一的情况发生，进而使得增强现实场景还原更为准确。

优选地，在所述场景记录步骤之前还包括以下步骤：

向量单位化预处理：设立立体向量坐标，并将向量坐标单位化得到一个模为1的纯方向向量。

在场景记录步骤之前先将向量坐标进行单位化处理，使得向量坐标成为一个模等于1的纯方向向量以方便后续进行表示，无需再在后续步骤中对向量进行单位化处理，能够简化操作，提高运算效率，从而缩短了场景记录所需要的时间，进而提高了场景记录的效率。

优选地，在所述场景记录步骤中的将增强现实场景进行数据化标识的方法是：

利用向量形式对场景进行单位化处理，即利用立体向量记录场景，利用立体向量公式x²+y²+z²＝1的x、y、z的值将场景进行数据标识。

需要说明的是，所述单位化也即为归一化，指的是在等式x²+y²+z²＝1下对场景通过x、y、z的分别取值进行表示；在后续输出的时候，用向量长度乘以各自坐标系中的值，即得到原本的向量，从而还原相应场景的大小以及位置关系。

更优选地，在所述场景记录步骤中将增强现实场景进行方向化标识的方法是：

将记录场景所用的立体向量规范化，形成单位向量，并利用单位向量标识场景空间中的方向。

需要说明的是，记录方向事实上也是通过单位化三维空间内的多个向量；具体而言，使向量的模变为1，即变为单位向量，通过将向量除以该向量的模来实现向量的规范化，单位化后的向量相当于与向量同方向的单位向量，可以用它表示向量的方向，也可以表示物体表面的法线向量。

更进一步地，在方向化标识过程中，还包括方向调整步骤，其方法是：

获取场景的多个区域，以其中n个(n为正整数)为参照物区域，其中一个为待方向调整区域；分别得到：

待方向调整区域在整体场景中的方向参数A1，以及；

待方向调整区域在以参照物区域为原点的方向参数A2n；

计算待方向调整区域方向参数A2n在整体场景中的方向参数A3，并将参数A3与方向参数A1比较，若均相同则选择任一参数作为待方向调整区域的方向参数，若出现不相同则取其平均数作为待方向调整区域的方向参数。

需要说明的是，在方向化标识的过程中，一次性标识可能会产生方向标识上的误差，因此在更优选的技术方案当中，需要对方向标识进行减少误差，提高其方向的精确度。本方案通过在增强现实中设立一个或多个参照物区域形成另一方向参数，再换算成在整体场景中的方向参数，与直接在整体场景中所得到的方向参数进行对比，进行误差的消除，提高精度。

需要说明的是，所述区域可以是程序抓取的任一区域，或者是根据后续场景分割步骤后的对象作为参照物和待调整对象。

需要说明的是，参照物的选取可以是一个也可以是多个。选取多个参照物即通过在多个参照物体系对待调整区域的方向参数，并进行换算得出的多个在整体场景中的方向参数，与待调整区域一次性在整体场景中得出的方向参数进行比照，得到误差最小的方向参数。

优选地，在所述场景分割步骤中，将增强现实场景分割的方法是通过八叉树或BSP树进行分割的。

优选地，在所述场景保存步骤中，还包括以下步骤：

将所述物理信息进行分别命名，并转化成二进制流文件后发送至服务器并保存。

需要说明的是，将场景的对象信息进行命名后发送至服务器进行保存也是本技术方案的创新点之一。在现有技术中，常见的是将增强现实场景保存到本地应用终端，后续的输出程序中，由应用终端调度设备的内存并进行发送分享该增强现实场景。这种保存方法的缺点在于，占用了本地内存的大量资源，很容易导致应用终端运行缓慢。因此，在本技术方案中，发明人将处理后的增强现实对象发送至服务器进行保存。发送可以是用户手动操作，或者是系统(程序)自动操作的，视乎具体需要而定。通过此技术方案，可以大大释放设备内存资源占用的负担，同时也使得用户操作更为方便，只需要分享一条链接，即可将相应路径发送至被分享方，还增加了分享的效率。

更优选地，所述二进制流文件发送至服务器并保存的方法是：

应用终端判断网络是否连接，若是，则与所述服务器建立连接；服务器获取二进制流文件保存的路径，创建相应存储空间，并获取由所述应用终端传送的二进制流文件；服务器判断所述二进制流文件是否保存成功，若是，则对所述二进制流文件保存的文件路径进行编码后，向所述应用终端返回一个key。

需要说明的是，在此技术特征中，首先建立本地应用终端与服务器的连接。所述服务器可以是应用程序后台服务器，用于存储的控制各个装有增强现实相关程序的数据。建立连接后，服务器获取二进制流文件。当服务器确认该二进制流文件保存成功后，服务器会将该二进制流文件保存的文件路径进行编码形成一个key返回给应用终端。

优选地，所述记录方法还包括以下步骤：

场景输出：获取应用终端发送的key，并将所述key匹配服务器中与之对应的二进制流文件路径，并读取该二进制流文件；应用终端获取到所述二进制流文件后，通过反序列化将其对应的增强现实场景还原。

需要说明的是，所述的反序列化即与序列化对应，同一或另一应用终端的程序从服务器中获取一增强现实场景的二进制流文件后，将文件中二进制串转换成数据结构和对象。

更优选地，应用终端在获取二进制流文件时，还包括以下步骤：

判断应用终端中的程序是否拥有所述二进制流文件反序列化过程中所需要的全部模型文件，若否，则从服务器中获取缺失的模型文件。

需要说明的是，在反序列化的过程中，二进制流文件需要借助到程序自身存有的某些模型文件，使得场景得以还原。但在本地的应用终端的程序中，未必预先存储有完整的各类型的模型文件。因此，发明人在考虑到这个问题后，在反序列化过程中加入了一判断机制，该判断机制可以由程序进行，判断某二进制流文件在反序列过程中是否在本地的程序的存储中拥有了完整需要的全部模型文件，若是，则无需从服务器中调取；若否，则需要得到缺失的模型文件类型，并从服务器中获取并保存至本地，使得反序列化过程得以顺利完成。通过此技术特征，能够使得反序列过程更为顺利，使得增强现实场景的输出更为便捷、顺利。同时，本地程序也无需提前将所有的模型文件下载存储，仅需要将常用的模型文件预先保存，特殊的模型文件可在反序列过程中再进行下载，防止占用过多的内存资源，提高应用终端和应用程序的运行速度和效率。

与现有技术相比，本发明的有益效果在于：

1、本发明的基于增强现实场景的记录方法，在记录增强现实场景时对场景进行数据化标识和方向化标识，不但可以标识增强现实场景中各个对象的大小、尺寸和长度，还能够标识出增强现实场景的方向，这样会使得后续对该增强现实场景的保存更为全面，使得后续分享输出时，不但附带有大小、尺寸和长度等参数，还含有方向参数，从而可以避免多人使用场景时方向不统一的情况发生，进而使得增强现实场景还原更为准确；

2、本发明的基于增强现实场景的记录方法，在方向化标识过程中，还包括方向调整步骤，通过在增强现实中设立一个或多个参照物形成另一方向参数，再换算成在整体场景中的方向参数，与直接在整体场景中所得到的方向参数进行对比，进行误差的消除，提高精度，使得方向位置输入和输出更为准确，进一步提高场景还原的准确度。

3、本发明的基于增强现实场景的记录方法，在场景保存步骤当中，将场景的对象信息进行命名后发送至服务器进行保存，可以避免占用了本地内存的大量资源导致的应用终端运行缓慢，同时也使得用户操作更为方便，只需要分享一条链接，即可将相应路径发送至被分享方，还增加了分享的效率；

4、本发明的基于增强现实场景的记录方法，在反序列化过程中从服务器中调取模型文件的步骤，将反序列化所需要的模型文件分开在本地应用终端的程序以及服务器中保存。本地程序无需提前将所有的模型文件下载存储，仅需要将常用的模型文件预先保存，特殊的模型文件可在反序列过程中再进行下载，防止占用过多的内存资源，提高应用终端和应用程序的运行速度和效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为本发明基于增强现实场景的记录方法的一种较优选实施方式的流程示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下：

实施例1

本实施例是本发明基于增强现实场景的记录方法的一种较优选实施方式，也是本发明技术方案的较基础实施方式，其方法包括以下步骤：

场景记录：获取包含有现实场景和虚拟场景结合的增强现实场景，并将增强现实场景通过立体向量进行数据化标识和方向化标识；

场景分割：将增强现实场景分割成若干对象，并根据对象的属性进行组件化处理；

场景保存：将所得对象的组件化处理结果，根据其物理信息进行保存。

为提高增强现实场景还原的完整性和准确性，本实施例中的场景记录步骤中提出了通过立体向量分别进行数据化标识和方向化标识的方法，保证在记录增强现实场景时同时保存到场景对象的大小、尺寸以及方向均与第一次显示时相同。尤其是方向参数，可以避免多人使用场景时方向不统一的情况发生，进而使得增强现实场景还原更为准确。

在具体的实施方式中，在所述场景记录步骤中的将增强现实场景进行数据化标识的方法是：利用向量形式对场景进行单位化处理，即利用立体向量记录场景，利用立体向量公式x²+y²+z²＝1的x、y、z的值将场景进行数据标识。所述单位化也即为归一化，指的是在等式x²+y²+z²＝1下对场景通过x、y、z 的分别取值进行表示；在后续输出的时候，用向量长度乘以各自坐标系中的值，即得到原本的向量，从而还原相应场景的大小以及位置关系。

而在所述场景记录步骤中将增强现实场景进行方向化标识的方法是：将记录场景所用的立体向量规范化，形成单位向量，并利用单位向量标识场景空间中的方向。记录方向事实上也是通过单位化三维空间内的多个向量；具体而言，使向量的模变为1，即变为单位向量，通过将向量除以该向量的模来实现向量的规范化，单位化后的向量相当于与向量同方向的单位向量，可以用它表示向量的方向，也可以表示物体表面的法线向量。

例如，可以通过下列程序实现：

当归一化后，向量保持同样的方向，但是长度变为1.0，即返回向量的长度为1。

实施例2

本实施例是上述实施例1的更优选的实施方式，本实施例与上述实施例1 的区别在于：本实施例在场景记录这一步骤前还加入了以下步骤：

向量单位化预处理：设立立体向量坐标，并将向量坐标单位化得到一个模为1的纯方向向量。

通过此技术方案，在场景记录步骤之前先将向量坐标进行单位化处理，使得向量坐标成为一个模等于1的纯方向向量以方便后续进行表示，无需再在后续步骤中对向量进行单位化处理，能够简化操作，提高运算效率。

在一更具体的实施方式当中，可以通过求两个向量的cos值进行单位化预处理，具体而言，向量点积(dot product)又称数量积或内积，数学上定义点积是两个向量的乘积。按下面等式计算：

u·v＝u_xv_x+u_yv_y+u_zv_z＝s

由于上面等式未能明显体现几何上的意义。利用余弦定律，可发现关系为： u·v＝|u|·|v|·cosθ，两个向量的点积是它们的模和夹角的余弦之积。因此，如果u和v均为单位向量，那么u·v就是它们夹角的余弦，进而得到一个纯方向向量予以表示。

实施例3

本实施例是上述实施例1的更优选的实施方式，本实施例与上述实施例1 的区别在于：本实施例中的方向化标识过程中还包括方向调整步骤，通过此步骤使得方向确定更为精确。具体的方向调整步骤为：

获取增强现实中的两个具体物体对象，这两个具体物体对象可以均为虚拟对象，也可以均为实际物体对象，也可以分别为虚拟对象和实际物体对象。例如分别标记为虚拟对象A21；以及实际对象A1。然后，通过实施例1中的立体向量的方法分别标识出这两个对象的位置，即方向参数。接下来，分别获取A21 与A1的相对位置关系，获取相对位置关系的方法为，以A21为原点对A1进行向量表示。在根据A1在整体场景中的向量位置换算出A1在以A21为对比参照标准物的情况下，在整体场景中的向量方向参数A3。最后对比在两套向量方向参数表示方法中，A3和A1的方向参数是否相同，如相同，则采用该参数表示 A1的方向，如不同，则采用平均的方法，即(A3+A1)/2来确定的实际对象的方向参数。

当然，在更优选的实施方式中，A1方向参数的确认可不仅由整体场景参数以及获取一参照物A21的方向参数来结合求出，还可以由多个参照物，如A22、 A23……等多个参照物，以多次获取A1在这些参照物向量体系中的参数，求得 A1分别以A21、A22和A23为参照物时在整体场景向量体系的方向参数，结合求得。

需要指出的是，整体场景向量体系指的是上述方向化标识步骤中，通过立体向量法标识各个区域位置关系所用的向量体系。而以参照物为原点的向量体系，指的是以参照物为原点形成的另一套向量体系。

通过上述技术方案，通过两次或多次进行向量体系的测量，可以大大提高方向化标识的准确度，使得各区域、对象之间的位置关系，方向关系的还原更为准确、完整。

本实施例的其余实施方式与上述实施例相同，在此不再累述。

实施例4

本实施例是上述实施例的更优选的实施方式，本实施例与上述实施例的区别在于：

在所述场景分割步骤中，将增强现实场景分割的方法是通过八叉树或BSP 树进行分割的。

在另一种优选的实施方式当中在所述场景保存步骤中，还包括以下步骤：

将所述物理信息进行分别命名，并转化成二进制流文件后发送至服务器并保存。

在具体的实施方式中，使用BSP树进行场景分割并进行场景保存的方法包括：

(1)将3D空间内所有内容对象化obj处理以实现对象选取；

(2)将对象的属性进行组件化处理，其中包括大小，旋转，位置；

(3)序列化，遍历所有对象，得出场景树状图，记录对象的名称，id和对象之间的关系；

(4)针对对象上面的大小，旋转，位置属性结构化输出，网格信息、材质、纹理及其他组件的物理信息等等保存为预设文件。

在现有技术中，常见的是将增强现实场景保存到本地应用终端，后续的输出程序中，由应用终端调度设备的内存并进行发送分享该增强现实场景。这种保存方法的缺点在于，占用了本地内存的大量资源，很容易导致应用终端运行缓慢。因此，在本技术方案中，发明人将处理后的增强现实对象发送至服务器进行保存。发送可以是用户手动操作，或者是系统(程序)自动操作的，视乎具体需要而定。通过此技术方案，可以大大释放设备内存资源占用的负担，同时也使得用户操作更为方便，只需要分享一条链接，即可将相应路径发送至被分享方，还增加了分享的效率。

在一种更优选的实施方式当中，所述二进制流文件发送至服务器并保存的方法是：

应用终端判断网络是否连接，若是，则与所述服务器建立连接；服务器获取二进制流文件保存的路径，创建相应存储空间，并获取由所述应用终端传送的二进制流文件；服务器判断所述二进制流文件是否保存成功，若是，则对所述二进制流文件保存的文件路径进行编码后，向所述应用终端返回一个key。

通过此技术方案，首先建立本地应用终端与服务器的连接。所述服务器可以是应用程序后台服务器，用于存储的控制各个装有增强现实相关程序的数据。建立连接后，服务器获取二进制流文件。当服务器确认该二进制流文件保存成功后，服务器会将该二进制流文件保存的文件路径进行编码形成一个key返回给应用终端。

本实施例的其余实施方式与上述实施例相同，在此不再累述。

实施例5

本实施例是上述实施例的更优选实施方式，本实施例与上述实施例的区别在于：所述记录方法还包括以下步骤：

场景输出：获取应用终端发送的key，并将所述key匹配服务器中与之对应的二进制流文件路径，并读取该二进制流文件；应用终端获取到所述二进制流文件后，通过反序列化将其对应的增强现实场景还原。

所述的反序列化即与序列化对应，同一或另一应用终端的程序从服务器中获取一增强现实场景的二进制流文件后，将文件中二进制串转换成数据结构和对象。

作为更进一步优选的实施方式，应用终端在获取二进制流文件时，还包括以下步骤：

判断应用终端中的程序是否拥有所述二进制流文件反序列化过程中所需要的全部模型文件，若否，则从服务器中获取缺失的模型文件。

在反序列化的过程中，二进制流文件需要借助到程序自身存有的某些模型文件，使得场景得以还原。但在本地的应用终端的程序中，未必预先存储有完整的各类型的模型文件。因此，在反序列化过程中加入了一判断机制，该判断机制可以由程序进行，判断某二进制流文件在反序列过程中是否在本地的程序的存储中拥有了完整需要的全部模型文件，若是，则无需从服务器中调取；若否，则需要得到缺失的模型文件类型，并从服务器中获取并保存至本地，使得反序列化过程得以顺利完成。通过此技术特征，能够使得反序列过程更为顺利，使得增强现实场景的输出更为便捷、顺利。同时，本地程序也无需提前将所有的模型文件下载存储，仅需要将常用的模型文件预先保存，特殊的模型文件可在反序列过程中再进行下载，防止占用过多的内存资源，提高应用终端和应用程序的运行速度和效率。

如图1所示的流程图，可以将此技术方案的完整运行过程表述出来。

用户1在记录和保存增强现实场景时，程序将场景序列化后转换为字节流文件传送到后台服务器端，服务器将存有该流文件的路径进行加密运算形成一个key，再将此key转换成链接返回至用户端。此时即完成记录以及保存场景的步骤。

在输出和分享步骤中，用户1将上述链接分享至另一用户2的应用终端处。用户2的相应程序会将此链接传送至服务器，通过key寻得存有该增强现实场景的保存路径，并将字节流文件传送至用户2的本地终端，由本地终端的程序通过反序列化将场景还原。

本实施例的其余实施方式与上述实施例相同，在此不再累述。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (5)

1.一种基于增强现实场景的记录方法，其特征在于，包括以下步骤：

场景记录：获取包含有现实场景和虚拟场景结合的增强现实场景，并将增强现实场景通过立体向量进行数据化标识和方向化标识；

场景分割：将增强现实场景分割成若干对象，并根据对象的属性进行组件化处理；

场景保存：将所得对象的组件化处理结果，根据其物理信息进行保存；

在所述场景保存步骤中，还包括以下步骤：

将所述物理信息进行分别命名，并转化成二进制流文件后发送至服务器并保存；

在所述场景记录步骤之前还包括以下步骤：

向量单位化预处理：设立立体向量坐标，并将向量坐标单位化得到一个模为1的纯方向向量；

在所述场景记录步骤中的将增强现实场景进行数据化标识的方法是：

利用向量形式对场景进行单位化处理，即利用立体向量记录场景，利用立体向量公式x²+y²+z²＝1的x、y、z的值将场景进行数据标识；

在所述场景记录步骤中将增强现实场景进行方向化标识的方法是：

将记录场景所用的立体向量规范化，形成单位向量，并利用单位向量标识场景空间中的方向；

在方向化标识过程中，还包括方向调整步骤，其方法是：

获取场景的多个区域，以其中n个(n为正整数)为参照物区域，其中一个为待方向调整区域；分别得到：

待方向调整区域在整体场景中的方向参数A1，以及；

待方向调整区域在以参照物区域为原点的方向参数A2n；

计算待方向调整区域方向参数A2n在整体场景中的方向参数A3，并将参数A3与方向参数A1比较，若均相同则选择任一参数作为待方向调整区域的方向参数，若出现不相同则取其平均数作为待方向调整区域的方向参数。

2.如权利要求1所述的基于增强现实场景的记录方法，其特征在于，在所述场景分割步骤中，将增强现实场景分割的方法是通过八叉树或BSP树进行分割的。

3.如权利要求1所述的基于增强现实场景的记录方法，其特征在于，所述二进制流文件发送至服务器并保存的方法是：

应用终端判断网络是否连接，若是，则与所述服务器建立连接；服务器获取二进制流文件保存的路径，创建相应存储空间，并获取由所述应用终端传送的二进制流文件；服务器判断所述二进制流文件是否保存成功，若是，则对所述二进制流文件保存的文件路径进行编码后，向所述应用终端返回一个key。

4.如权利要求1至3任一项所述的基于增强现实场景的记录方法，其特征在于，所述记录方法还包括以下步骤：

场景输出：获取应用终端发送的key，并将所述key匹配服务器中与之对应的二进制流文件路径，并读取该二进制流文件；应用终端获取到所述二进制流文件后，通过反序列化将其对应的增强现实场景还原。

5.如权利要求4所述的基于增强现实场景的记录方法，其特征在于，应用终端在获取二进制流文件时，还包括以下步骤：

判断应用终端中的程序是否拥有所述二进制流文件反序列化过程中所需要的全部模型文件，若否，则从服务器中获取缺失的模型文件。

Images