CN108491081B - 一种基于神经网络的数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于神经网络的数据处理方法及装置，该方法包括：构建神经网络，并基于增强现实技术对所述神经网络进行训练，以学习空间知识；利用训练好的所述神经网络生成与现实场景对应的深度模板；基于所述深度模板对虚拟图像进行处理，并将处理后的所述虚拟图像与所述现实场景相结合。该方法能够结合神经网络从而精确的获取现实场景的空间信息，使得AR设备能够根据精确的空间信息来准确的投影虚拟图像，以使投影的虚拟图像与现实场景之间的相对位置不会发生偏移，从而增强了投影效果。

Description

一种基于神经网络的数据处理方法及装置

技术领域

本发明涉及增强现实(AR)领域，特别涉及一种基于神经网络的数据处理方法及装置。

背景技术

在增强现实(AR)领域中，AR设备在进行虚拟图像的投影时，需要获取现实场景中的深度信息，从而能够将虚拟图像精准的投放到现实场景中，并且不会发生虚拟图像与现实物体相对位置偏移等现象。而目前在获取深度信息时往往需要借助于额外的其它设备，并且获取的深度信息并不准确，例如在进行深度的探测时，探测距离有限且不能精准获取现实场景中物体的深度值，造成投放的虚拟图像发生相对位置偏移，使得AR设备使用效果差。

发明内容

本发明实施例的目的在于提供一种基于神经网络的数据处理方法及装置，该方法能够结合神经网络从而精确的获取现实场景的空间信息，使得AR设备能够根据精确的空间信息来准确的投影虚拟图像，以使投影的虚拟图像与现实场景完美结合。

为了解决上述技术问题，本发明的实施例采用了如下技术方案：一种基于神经网络的数据处理方法，包括：

构建神经网络，并基于增强现实技术对所述神经网络进行训练，以学习空间知识；

利用训练好的所述神经网络生成与现实场景对应的深度模板；

基于所述深度模板对虚拟图像进行处理，并将处理后的所述虚拟图像与所述现实场景相结合。

作为优选，所述的构建神经网络，并基于增强现实技术对所述神经网络进行训练，以学习空间知识包括：

利用深度学习方法构建所述神经网络；

基于预设图像对所述神经网络进行训练，其中所述预设图像包括动态图像和静态场景；

建立所述预设图像与深度信息的映射关系。

作为优选，所述预设图像为二维图像，所述的构建神经网络，并基于增强现实技术对所述神经网络进行训练，以学习空间知识还包括：

将所述二维图像中的物体进行分割；

模仿人眼对分割后的所述物体进行深度预估，以使所述神经网络学习空间知识。

作为优选，所述的基于所述深度模板对虚拟图像进行处理包括：

通过应用程序调用所述深度模板；

通过所述深度模板使所述虚拟图像产生遮挡效应。

作为优选，所述的利用训练好的所述神经网络生成与现实场景对应的深度模板具体为：

利用训练好的所述神经网络实时生成与当前现实场景相对应的所述深度模板。

本申请实施例还提供了一种基于神经网络的数据处理装置，包括构建模块、生成模块和处理模块；

所述构建模块配置为构建神经网络，并基于增强现实技术对所述神经网络进行训练，以学习空间知识；

所述生成模块配置为利用训练好的所述神经网络生成与现实场景对应的深度模板；

所述处理模块配置为基于所述深度模板对虚拟图像进行处理，并将处理后的所述虚拟图像与所述现实场景相结合。

作为优选，所述构建模块进一步配置为：

利用深度学习方法构建所述神经网络；

基于预设图像对所述神经网络进行训练，其中所述预设图像包括动态图像和静态图像；

建立所述预设图像与深度信息的映射关系。

作为优选，所述预设图像为二维图像，所述构建模块进一步配置为：

将所述二维图像中的物体进行分割；

模仿人眼对分割后的所述物体进行深度预估，以使所述神经网络学习空间知识。

作为优选，所述处理模块进一步配置为：

通过应用程序调用所述深度模板；

通过所述深度模板使所述虚拟图像产生遮挡效应。

作为优选，所述生成模块进一步配置为：

利用训练好的所述神经网络实时生成与当前现实场景相对应的所述深度模板。

本发明实施例的有益效果在于：该方法能够结合神经网络从而精确的获取现实场景的空间信息，使得AR设备能够根据精确的空间信息来准确的投影虚拟图像，以使投影的虚拟图像与现实场景之间的相对位置不会发生偏移，从而增强了投影效果。

附图说明

图1为本发明实施例的基于神经网络的数据处理方法的流程图；

图2为本发明实施例的图1中步骤S1的一种实施例的流程图；

图3为本发明实施例的图1中步骤S1的另一种实施例的流程图；

图4为本发明实施例的图1中步骤S3的一种实施例的流程图。

图5为本发明实施例的基于神经网络的数据处理方法的一个具体实施例的流程图。

具体实施方式

此处参考附图描述本发明的各种方案以及特征。

应理解的是，可以对此处发明的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本发明的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且与上面给出的对本发明的大致描述以及下面给出的对实施例的详细描述一起用于解释本发明的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本发明的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本发明的具体实施例；然而，应当理解，所发明的实施例仅仅是本发明的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本发明模糊不清。因此，本文所发明的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本发明。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本发明的相同或不同实施例中的一个或多个。

本发明实施例的一种基于神经网络的数据处理方法，该方法可以应用在增强现实(AR)、虚拟现实(AR)等领域中，能够结合神经网络从而精确的获取现实场景的空间信息，以使得相关的设备根据空间信息来准确的投影虚拟图像，如图1所示并结合图5，该方法包括以下步骤：

S1，构建神经网络，并基于增强现实技术对神经网络进行训练，以学习空间知识。本实施例中，神经网络也称为人工神经网路或连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，其依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。对神经网络进行训练的过程是一个学习的过程，能够提高神经网络的智能性，训练过程有很多方式，例如将一组已知结果的数据作为训练集数据，输入模型，通过不断调整各种参数，直至找到正确率最高的参数组合，使得该神经网络再次遇到相同或类似的情况时可以参考之前处理过程中积累的知识。在本实施例中基于增强现实技术(AR)对神经网络进行训练，使得神经网络能够学习关于AR的相关知识，包括学习增强现实技术中的空间知识，在一个实施例中空间知识包括空间中的深度信息、广度信息、物体形态信息等。而在构建神经网络时也可以根据应用场景来进行，例如基于当前的增强现实环境，定义神经网络的输入，定义神经层(神经层包括输入层,隐藏层和输出层)，输入层和输出层的结构一样，隐藏层可以自定义属性个数，最后再计算误差并优化。

S2，利用训练好的神经网络生成与现实场景对应的深度模板。深度模板与现实场景相对应，深度模板中包括了表现深度信息的多种属性及相关数据，例如AR设备拍摄了现实场景后生成了一幅图像，该图像表现了现实场景的空间信息，而生成的深度模板与该图像相对应，如与该图像的像素相同，但是该深度模板中具有现实场景中的具体的深度值。具体的，AR设备利用训练好的神经网络生成深度模板，使得该深度模板包含的数据信息准确度较高，如包含了具体的图像本身信息及图像中物体的已知的准确深度值。在一个实施例中，神经网络可以用来模仿人的眼睛和大脑活动以及对空间的认识，并且积累了很多的空间知识，因此利用训练好的神经网络计算深度模板可以无需再使用其他测量深度的工具便能够获取较为精准的深度信息。此外，每个深度模板是根据不同的现实场景来构建，并且构建的过程是深度模板不断完善的过程，如数量的增加、准确度的增加等。另外利用同一个训练好的神经网络生成深度模板能够统一尺度，以便于利用深度模板。

S3，基于深度模板对虚拟图像进行处理，并将处理后的虚拟图像与现实场景相结合。由于深度模板的各个数据具有相互的关联，并且是针对现实场景来构造的，可以在第一深度模板包括第一场景中的第一深度数据，第二深度模板包括了第二场景中的第二深度信息等等，例如当AR设备在投放虚拟影像时的当前场景为第一场景或与其类似时可以通过加载的应用程序调用相对应的第一深度模板，从而可以根据第一深度模板准确获取其深度信息进而得到当前场景的深度信息，进一步的，AR设备利用包括该深度信息的第一深度模板对虚拟图像进行处理，使得投影的虚拟图像与现实场景的相对位置精确，避免出现虚拟图像部分进入了现实场景的物体内部的现象，提高了投影效果。

在本发明的一个实施例中，如图2所示，所述的构建神经网络，并基于增强现实技术对神经网络进行训练，以学习空间知识包括以下步骤：

S11，利用深度学习方法构建神经网络。深度学习为含多隐层的多层感知器就是一种深度学习结构，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。如将现实场景作为一幅图像来观测时，可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等，而使用某些特定的表示方法更容易从实例中学习任务，在一个实施例中深度学习可以采用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。利用深度学习方法构建神经网络具有深度学习的相应特征。例如神经网络是只有输入层、隐藏层、输出层，其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。而利用深度学习方法构建的神经网络(卷积神经网络CNN)中，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的，具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级，更加完善了神经网络。

S12，基于预设图像对神经网络进行训练，其中预设图像包括动态图像和静态图像。训练的过程是一个学习的过程，能够提高神经网络的智能性，而基于预设图像进行训练使得神经网络在有限的时间和空间中，能够对精心选择的预设图像(如AR设备经常使用的场景所对应的图像)进行由针对性训练，随后可以将训练好的神经网络移植到AR设备中以便使用(如图5所示)。该预设图像中包括动态图像和静态图像，例如动态图像中具有移动的物体或人，模仿AR设备使用时的现实场景，这使得在对神经网络进行训练时可以更有针对性。

S13，建立预设图像与深度信息的映射关系。映射关系的建立使得每个预设图像均具有各自的深度信息，如具有具体深度值，在随后使用深度模板时，可以直接调用该映射关系，从而使用该深度模板对应的预设图像的深度信息，具体可以通过加载在AR设备中的应用程序来调用。

作为优选，如图3所示，预设图像为二维图像，所述的构建神经网络，并基于增强现实技术对神经网络进行训练，以学习空间知识的步骤还包括以下步骤：

S14，将二维图像中的物体进行分割。二维图像中包括了多个物体，一般来说，每个物理的位置和深度不相同，需要对物体进行分割，以便针对每个物体进行计算。

S15，模仿人眼对分割后的物体进行深度预估，以使神经网络学习空间知识。人眼在看到物体后能够根据大脑中积累的空间知识来对其进行深度预估，如在看到二维视频的时候就很容易做到物体远近的预估，可以采用相类似的深度学习来训练神经网络，使神经网络学习空间知识，使得生成的深度模板更加完善，并且不需要其他额外设备来获取物体深度。

在本发明的一个实施例中，如图4所示结合图5，所述的基于深度模板对虚拟图像进行处理的步骤包括以下步骤：

S31，通过应用程序调用深度模板。应用程序可以预先存储在AR设备中，在AR设备使用时，运行应用程序从而调用深度模板，并且在使用深度模板时也较为便利。

S32，通过深度模板使虚拟图像产生遮挡效应。遮挡效应为虚拟图像的位置和形态适配于现实场景，使得虚拟图像不能被遮挡的部分图像不会被现实场景中的物体所遮挡，特别不会产生虚拟图像被投影到物体的内部的效果。

在本发明的一个实施例中，所述的利用训练好的神经网络生成与现实场景对应的深度模板的步骤具体为：利用训练好的神经网络实时生成与当前现实场景相对应的深度模板。可以通过AR设备获取当前现实场景，并实时的将当前现实场景与预设图像进行比对，确定与当前现实场景相同或相类似的预设图像，进而实时的获取相应的深度模板，从而使应用程序调用的深度模板为准确的，与当前现实场景相适配的深度模板。

本申请实施例还提供了一种基于神经网络的数据处理装置，该数据处理装置可以应用在增强现实(AR)、虚拟现实(AR)等领域中，能够结合神经网络从而精确的获取现实场景的空间信息，以使得相关的设备根据空间信息来准确的投影虚拟图像，结合图5，该数据处理装置包括构建模块、生成模块和处理模块。

构建模块配置为构建神经网络，并基于增强现实技术对神经网络进行训练，以学习空间知识。本实施例中，神经网络也称为人工神经网路或连接模型(Connection Model)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，其依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。构建模块对神经网络进行训练的过程是一个学习的过程，能够提高神经网络的智能性，训练过程有很多方式，例如将一组已知结果的数据作为训练集数据，输入模型，通过不断调整各种参数，直至找到正确率最高的参数组合，使得该神经网络再次遇到相同或类似的情况时可以参考之前处理过程中积累的知识。在本实施例中构建模块基于增强现实技术(AR)对神经网络进行训练，使得神经网络能够学习关于AR的相关知识，包括学习增强现实技术中的空间知识，在一个实施例中空间知识包括空间中的深度信息、广度信息、物体形态信息等。而构建模块在构建神经网络时也可以根据应用场景来进行，例如基于当前的增强现实环境，定义神经网络的输入，定义神经层(神经层包括输入层,隐藏层和输出层)，输入层和输出层的结构一样，隐藏层可以自定义属性个数，最后再计算误差并优化。

生成模块配置为利用训练好的神经网络生成与现实场景对应的深度模板。深度模板与现实场景相对应，深度模板中包括了表现深度信息的多种属性及相关数据，例如AR设备拍摄了现实场景后生成了一幅图像，该图像表现了现实场景的空间信息，而生成模块生成的深度模板与该图像相对应，如与该图像的像素相同，但是该深度模板中具有现实场景中的具体的深度值。具体的，AR设备利用训练好的神经网络生成深度模板，使得该深度模板包含的数据信息准确度较高，如包含了具体的图像本身信息及图像中物体的已知的准确深度值。在一个实施例中，神经网络可以用来模仿人的眼睛和大脑活动以及对空间的认识，并且积累了很多的空间知识，因此利用训练好的神经网络计算深度模板可以无需再使用其他测量深度的工具便能够获取较为精准的深度信息。此外，每个深度模板是根据不同的现实场景来构建，并且构建的过程是深度模板不断完善的过程，如数量的增加、准确度的增加等。另外利用同一个训练好的神经网络生成深度模板能够统一尺度，以便于利用深度模板。

处理模块配置为基于深度模板对虚拟图像进行处理，并将处理后的虚拟图像与现实场景相结合。由于深度模板的各个数据具有相互的关联，并且是针对现实场景来构造的，可以在第一深度模板包括第一场景中的第一深度数据，第二深度模板包括了第二场景中的第二深度信息等等，例如当AR设备在投放虚拟影像时的当前场景为第一场景或与其类似时处理模块可以通过加载的应用程序调用相对应的第一深度模板，从而可以根据第一深度模板准确获取其深度信息进而得到当前场景的深度信息，进一步的，处理模块可以利用包括该深度信息的第一深度模板对虚拟图像进行处理，使得AR设备投影的虚拟图像与现实场景的相对位置精确，避免出现虚拟图像部分进入了现实场景的物体内部的现象，提高了投影效果。

在本发明的一个实施例中，构建模块进一步配置为：

利用深度学习方法构建神经网络。深度学习为含多隐层的多层感知器就是一种深度学习结构，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。如将现实场景作为一幅图像来观测时，可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等，而使用某些特定的表示方法更容易从实例中学习任务，在一个实施例中深度学习可以采用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。构建模块利用深度学习方法构建神经网络具有深度学习的相应特征。例如神经网络是只有输入层、隐藏层、输出层，其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。而构建模块利用深度学习方法构建的神经网络(卷积神经网络CNN)中，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的，具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级，更加完善了神经网络。

基于预设图像对神经网络进行训练，其中预设图像包括动态图像和静态图像。训练的过程是一个学习的过程，能够提高神经网络的智能性，而基于预设图像进行训练使得神经网络在有限的时间和空间中，能够对精心选择的预设图像(如AR设备经常使用的场景所对应的图像)进行由针对性训练，随后可以将训练好的神经网络移植到AR设备中以便使用(如图5所示)。该预设图像中包括动态图像和静态图像，例如动态图像中具有移动的物体或人，模仿AR设备使用时的现实场景，这使得在对神经网络进行训练时可以更有针对性。

建立预设图像与深度信息的映射关系。映射关系的建立使得每个预设图像均具有各自的深度信息，如具有具体深度值，在随后使用深度模板时，可以直接调用该映射关系，从而使用该深度模板对应的预设图像的深度信息，具体可以通过加载在AR设备中的应用程序来调用。

作为优选，预设图像为二维图像，构建模块进一步配置为：将二维图像中的物体进行分割；模仿人眼对分割后的物体进行深度预估，以使神经网络学习空间知识。二维图像中包括了多个物体，一般来说，每个物理的位置和深度不相同，需要对物体进行分割，以便针对每个物体进行计算。人眼在看到物体后能够根据大脑中积累的空间知识来对其进行深度预估，如在看到二维视频的时候就很容易做到物体远近的预估，构建模块可以采用相类似的深度学习来训练神经网络，使神经网络学习空间知识，使得生成的深度模板更加完善，并且不需要其他额外设备来获取物体深度。

在本发明的一个实施例中，结合图5，处理模块进一步配置为：通过应用程序调用深度模板；通过深度模板使虚拟图像产生遮挡效应。应用程序可以预先存储在AR设备中，在AR设备使用时，运行应用程序从而调用深度模板，并且在使用深度模板时也较为便利。遮挡效应为虚拟图像的位置和形态适配于现实场景，使得虚拟图像不能被遮挡的部分图像不会被现实场景中的物体所遮挡，特别不会产生虚拟图像被投影到物体的内部的效果。

在本发明的一个实施例中，生成模块进一步配置为：利用训练好的神经网络实时生成与当前现实场景相对应的深度模板。生成模块可以通过AR设备获取当前现实场景，并实时的将当前现实场景与预设图像进行比对，确定与当前现实场景相同或相类似的预设图像，进而实时的获取相应的深度模板，从而使应用程序调用的深度模板为准确的，与当前现实场景相适配的深度模板。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种基于神经网络的数据处理方法，包括：

构建神经网络，并基于增强现实技术对所述神经网络进行训练，以学习空间知识；

利用训练好的所述神经网络生成与现实场景对应的深度模板；

基于所述深度模板对虚拟图像进行处理，并将处理后的所述虚拟图像与所述现实场景相结合。

2.根据权利要求1所述的方法，所述的构建神经网络，并基于增强现实技术对所述神经网络进行训练，以学习空间知识包括：

利用深度学习方法构建所述神经网络；

基于预设图像对所述神经网络进行训练，其中所述预设图像包括动态图像和静态场景；

建立所述预设图像与深度信息的映射关系。

3.根据权利要求2所述的方法，所述预设图像为二维图像，所述的构建神经网络，并基于增强现实技术对所述神经网络进行训练，以学习空间知识还包括：

将所述二维图像中的物体进行分割；

模仿人眼对分割后的所述物体进行深度预估，以使所述神经网络学习空间知识。

4.根据权利要求1所述的方法，所述的基于所述深度模板对虚拟图像进行处理包括：

通过应用程序调用所述深度模板；

通过所述深度模板使所述虚拟图像产生遮挡效应。

5.根据权利要求1所述的方法，所述的利用训练好的所述神经网络生成与现实场景对应的深度模板具体为：

利用训练好的所述神经网络实时生成与当前现实场景相对应的所述深度模板。

6.一种基于神经网络的数据处理装置，包括构建模块、生成模块和处理模块；

所述构建模块配置为构建神经网络，并基于增强现实技术对所述神经网络进行训练，以学习空间知识；

所述生成模块配置为利用训练好的所述神经网络生成与现实场景对应的深度模板；

所述处理模块配置为基于所述深度模板对虚拟图像进行处理，并将处理后的所述虚拟图像与所述现实场景相结合。

7.根据权利要求6所述的装置，所述构建模块进一步配置为：

利用深度学习方法构建所述神经网络；

基于预设图像对所述神经网络进行训练，其中所述预设图像包括动态图像和静态图像；

建立所述预设图像与深度信息的映射关系。

8.根据权利要求7所述的装置，所述预设图像为二维图像，所述构建模块进一步配置为：

将所述二维图像中的物体进行分割；

模仿人眼对分割后的所述物体进行深度预估，以使所述神经网络学习空间知识。

9.根据权利要求6所述的装置，所述处理模块进一步配置为：

通过应用程序调用所述深度模板；

通过所述深度模板使所述虚拟图像产生遮挡效应。

10.根据权利要求6所述的装置，所述生成模块进一步配置为：

利用训练好的所述神经网络实时生成与当前现实场景相对应的所述深度模板。

Images