CN109426860A - 一种基于神经网络的mr混合现实信息处理方法及装置 - Google Patents

Abstract

本发明提供了一种基于神经网络的MR混合现实信息处理方法及装置，包括：混合现实设备获取数据流，神经网络对数据流进行学习，得到数据特征，对应关系。神经网络根据学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。本发明在混合现实设备第一次接收并处理多媒体信号时，神经网络进行学习。当混合现实设备接收后续信号时，神经网络根据之前学习的结果指示相关组件对后续信号进行处理，从而不用进行重复动作，节约了大量了系统资源，不仅降低了功耗，还提升了进程进行的速度，进一步提升了输出数据速度，提升了数据刷新率。

Description

一种基于神经网络的MR混合现实信息处理方法及装置

技术领域

本发明涉及混合现实数据处理领域，尤其涉及一种基于神经网络的MR混合现实信息处理方法及装置。

背景技术

现有技术中对于MR(Mixed Reality，混合现实)设备运行中接收产生的多媒体信号集合普遍是：通过设备中图像获取装置和传感器接收此信号数据流，对多媒体信号集合数据流中包含信号数据的类别进行识别。处理组件对进行数据处理，得到每个数据的数据结果。处理组件将以上各个数据结果进行数据融合，之后将冗余数据剔除，最后输出，如此循环。

在此进程中，每次设备接收新的数据流都要进行数据类别识别，都有剔除冗余数据的动作，这些重复的动作在进程过程中占用了大量了系统资源，降低了进程进行的速度，造成了不必要的系统资源浪费。当进程数量瞬时增多的时，由于这些重复动作占用的系统资源大，由于进程进行速度降低，进一步导致输出数据的速度降低，最后导致图像、声音、位置等数据刷新率降低，用户体验差的结果。

发明内容

本发明提供一种基于神经网络的MR混合现实信息处理方法及装置，用以解决混合现实设备在处理多媒体信号时，系统资源占用大的问题。

为了实现上述目的，本发明技术方案提供了一种基于神经网络的MR混合现实信息处理方法，所述方法包括：混合现实设备获取数据流；神经网络对所述数据流进行学习，得到数据特征；神经网络学习对应关系；神经网络根据学习的数据特征和对应关系指示处理组件对数据流进行处理并输出；其中，所述数据流中含有的数据为与多媒体和三维影像相关的数据。

作为上述技术方案的优选，所述方法包括：神经网络初始化；神经网络学习所述数据流中包含数据的种类，得到数据特征。

作为上述技术方案的优选，所述方法包括：神经网络学习处理组件的种类，得到处理组件标签；神经网络学习处理组件标签与所述数据特征的对应关系；其中，所述处理组件中的内容均为与多媒体和三维影像数据处理相关。

作为上述技术方案的优选，所述方法包括：神经网络根据学习到的对应关系指示处理组件接收所述数据流中的数据；处理组件对数据进行数据处理，得到每种数据对应的数据结果；处理组件根据所述数据特征对所述数据结果进行标签；处理组件根据标签对每个所述数据结果进行标签融合，得到融合结果后输出。

作为上述技术方案的优选，所述方法还包括：神经网络学习每个数据结果的标签，用于后续指示处理组件进行标签融合；处理组件输出所述融合结果。

本发明技术方案还提供了一种基于神经网络的MR混合现实信息处理装置，所述装置包括：获取模块，用于混合现实设备获取数据流。学习模块，用于神经网络对获取模块获取的数据流进行学习，得到数据特征；学习模块，还用于神经网络学习对应关系。指示模块，用于神经网络根据学习模块学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。其中，数据流中含有的数据为与多媒体和三维影像相关的数据。

作为上述技术方案的优选，学习模块，包括：初始单元，用于神经网络初始化，以便于进行之后的学习。数据特征学习单元，用于神经网络学习获取模块获取的数据流中包含数据的种类，得到数据特征。

作为上述技术方案的优选，学习模块，还包括：标签获取单元，用于神经网络学习处理组件的种类，得到处理组件标签。对应关系学习单元，用于神经网络学习处理组件标签与数据特征的对应关系。其中，所述处理组件中的内容均为与多媒体和三维影像数据处理相关。

作为上述技术方案的优选，指示模块，包括：神经网络指示单元，用于神经网络根据学习到的对应关系指示处理组件接收数据流中的数据。处理组件，用于处理组件对所述数据进行数据处理，得到每种数据对应的数据结果。标签单元，用于根据数据特征对数据结果进行标签。融合输出单元，用于处理组件根据标签对每个数据结果进行标签融合，得到融合结果后输出。

作为上述技术方案的优选，所述学习模块，包括：标签融合学习单元，用于神经网络学习每个数据结果的标签，用于后续指示处理组件进行标签融合。输出单元，用于处理组件输出所述融合结果。

本发明技术方案提供了一种基于神经网络的MR混合现实信息处理方法，所述方法包括：混合现实设备获取数据流；神经网络对数据流进行学习，得到数据特征，学习对应关系。神经网络根据学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。本发明技术方案还提供了一种基于神经网络的MR混合现实信息处理装置，所述装置包括：获取模块，用于混合现实设备获取数据流。学习模块，用于神经网络对获取模块获取的数据流进行学习得到数据特征，还用于神经网络学习对应关系。指示模块，用于神经网络根据学习模块学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。

本发明的优点是，在混合现实设备第一次接收并处理多媒体信号时，神经网络学习处理过程，获取信号和处理组件特征。当混合现实设备接收后续多媒体信号时，神经网络根据之前学习的结果指示相关组件对后续多媒体信号进行处理，从而不用每次都进行识别信号类型、获取处理组件功能等重复动作节约了大量了系统资源，提高了进程进行的速度。当进程数量瞬时增多的时，由于这些重复动作不再占用系统资源，不仅降低了功耗，还提升了进程进行的速度，进一步提升了系统运行效率，还提升了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于神经网络的MR混合现实信息处理方法的流程示意图；

图2为本发明又一实施例提供的一种基于神经网络的MR混合现实信息处理方法的流程示意图；

图3为本发明技术方案中混合现实设备的结构示意图一；

图4为本发明技术方案中混合现实设备的结构示意图二；

图5为为本发明实施例提供的一种基于神经网络的MR混合现实信息处理装置的结构示意图；

图6为图5所示的学习模块52的结构示意图一；

图7为图5所示的学习模块52的结构示意图二；

图8为图5所示的指示模块53的结构示意图；

图9为图5所示的学习模块52的结构示意图三；

图10为本发明实施例提供的一种基于神经网络的MR混合现实信息处理装置的后续信息处理的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种基于神经网络的MR混合现实信息处理方法的流程示意图，如图1所示，包括：

步骤101、混合现实设备获取数据流。

步骤102、神经网络对所述数据流进行学习，得到数据特征。

首先，神经网络初始化。之后，神经网络学习步骤101中获取的数据流中包含数据的种类，进而得到数据特征。

步骤103、神经网络学习对应关系。

神经网络学习处理组件的种类，得到处理组件标签。神经网络学习所述处理组件标签与所述数据特征的对应关系。

步骤104、神经网络根据学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。

神经网络根据学习到的对应关系指示处理组件接收数据流中的数据。处理组件对数据进行数据处理，得到每种数据对应的数据结果。处理组件根据数据特征对所述数据结果进行标签。处理组件根据标签对每个数据结果进行标签融合，得到融合结果后输出。神经网络学习每个数据结果的标签，用于后续指示处理组件进行所述标签融合。处理组件输出所述融合结果。

本发明实施例提供了一种基于神经网络的MR混合现实信息处理方法，所述方法包括：混合现实设备获取数据流。神经网络对所述数据流进行学习，得到数据特征。神经网络学习对应关系。神经网络根据学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。本发明技术方案的优点是，在混合现实设备第一次接收并处理多媒体信号时，神经网络学习处理过程，获取信号和处理组件特征。当混合现实设备接收后续多媒体信号时，神经网络根据之前学习的结果指示相关组件对后续多媒体信号进行处理，从而不用每次都进行识别信号类型、获取处理组件功能等重复动作节约了大量了系统资源，提高了进程进行的速度。当进程数量瞬时增多的时，由于这些重复动作不再占用系统资源，不仅降低了功耗，还提升了进程进行的速度，进一步提升了系统运行效率，还提升了用户体验。

现用一具体实施例描述本发明技术方案，图2为本发明又一实施例提供的一种基于神经网络的MR混合现实信息处理方法的流程示意图，如图2所示，包括：

步骤201、混合现实设备接收多媒体数据流。

具体的如图3所示，图3为本发明技术方案中混合现实设备的结构示意图一：包括301、混合现实设备，302、右目立体视觉模组，303、左目立体视觉模组，304、微机电传感装置模组。

步骤201中多媒体数据流是由混合现实设备301中的右目立体视觉模组302，左目立体视觉模组303，微机电传感装置模组304共同获取的。其中右目立体视觉模组302和左目立体视觉模组303获取图像信息，这些图像信息包括但不限于手势、人脸、物体的图像信息。微机电传感装置模组304中有陀螺仪、GPS(Global Positioning System，全球定位系统)不仅用于获取混合现实设备301的位置信息，还用于获取上述图像信息的三维立体坐标。微机电传感装置模组304还可能包括但不限于用于获取光线强弱的光传感器、环境湿度的湿度传感器等。

步骤202、神经网络初始化。

神经网络初始化以便于后续的深度学习。

步骤203、神经网络学习多媒体数据流中手势、人脸、物体图像信息的相应数据特征。

其中，手势、人脸、物体图像信息具有的数据特征具体通过这些图像的：轮廓、边缘、图像矩、图像特征向量以及区域直方图特征来确定手势、人脸、物体图像信息分别对应的数据特征。

步骤204、神经网络根据上述数据特征学习相应的三维立体坐标。

神经网络学习手势、人脸、物体图像对应的三维坐标，用于后续连贯的多媒体数据流输入时，对图像进行图像追踪。

步骤205、神经网络学习各个处理组件种类。

处理组件包括但不限于，手势识别处理组件、人脸识别处理组件、物体识别处理组件、SLAM处理组件(Simultaneous Localization and Mapping即时定位与地图构建)等。

步骤206、神经网络根据处理组件种类，在各个处理组件上打相应标签。

比如，对手势识别处理组件做手势标签、人脸识别处理组件做人脸标签、物体识别处理组件做物体标签、SLAM处理组件做位置标签等。

步骤207、神经网络将上述数据特征与处理组件标签进行对应。

数据特征在步骤203中得到，处理组件标签在步骤206中得到，二者之间具有对应关系。

步骤208、神经网络根据对应关系指示相应处理组件接收数据流中的数据。

手势识别处理组件接收手势数据信息，人脸识别处理组件接收人脸数据信息、体识别处理组件接收物体图像信息、SLAM处理组件接收步骤204中的三维立体坐标。

步骤209、处理组件对数据进行数据处理，得到每种数据对应的数据结果并做标签。

手势识别处理组件对手势数据信息进行数据处理得到手势结果做手势标签，以此类推，得到人脸结果做人脸标签、得到物体结果做物体标签。SLAM处理组件对步骤204中的三维立体坐标进行数据处理，分别得到手势、人脸、物体的具体位置依次做位置标签。

步骤210、处理组件根据手势、人脸、物体、位置标签对每个数据结果进行标签融合，得到融合结果后输出。

标签融合指的是，将处理后的手势、人脸、物体、位置数据组合成能够输出的多媒体数据。

如具体输出图4所示，图4为本发明技术方案中混合现实设备的结构示意图二：包括301、混合现实设备，401、左目立体成像显示模组，402、右目立体成像显示模组。步骤210中输出的融合结果，根据人眼视觉，呈现在左目立体成像显示模组401，右目立体成像显示模组402上。

步骤211、神经网络学习数据结果的标签，用于后续指示上述处理组件进行标签融合。

在上述流程之后，混合现实设备继续接收多媒体数据流，神经网络根据之前已经学习到的数据特征、三维立体坐标、各个处理组件种类、数据特征与处理组件标签的对应关系以及数据结果的标签指示处理组件对再次接收的多媒体数据流进行处理后输出。

在本发明实施例中，多媒体数据流中含有的多媒体数据信息可能还包括但不限于声音信息，处理组件均为与多媒体和三维影像数据处理相关的处理组件。由于神经网络在进行学习的过程中调用大量数据，而CPU是通过串行处理的方式处理数据，由于串行处理的特性，如果神经网络的学习过程是通过CPU运行则会造成卡顿，影响数据处理进程。所以学习过程是在FPGA的配合下进行的。之所以选择FPGA是因为它是一种高性能、低功耗的可编程芯片，可以同时处理不同数据，还可以根据需求做出针对性的算法设计。

本发明实施例提供了一种基于神经网络的MR混合现实信息处理方法，所述方法包括：混合现实设备获取数据流，神经网络初始化后学习数据特征、对应关系、数据的三维立体坐标、处理组件种类。神经网络根据学习的内容指示处理组件对数据流进行处理并输出。本发明技术方案的优点是，在混合现实设备第一次接收并处理多媒体信号时，神经网络学习处理过程，获取信号和处理组件特征。当混合现实设备接收后续多媒体信号时，神经网络根据之前学习的结果指示相关组件对后续多媒体信号进行处理，从而不用每次都进行识别信号类型、获取处理组件功能等重复动作节约了大量了系统资源，提高了进程进行的速度。当进程数量瞬时增多的时，由于这些重复动作不再占用系统资源，不仅降低了功耗，还提升了进程进行的速度，进一步提升了系统运行效率，还提升了用户体验。

本发明实施例还提供的一种基于神经网络的MR混合现实信息处理装置，其结构示意图如图5所示，包括：

获取模块51，用于混合现实设备获取数据流。

学习模块52，用于神经网络对获取模块51获取的数据流进行学习，得到数据特征。学习模块52，还用于神经网络学习对应关系。

指示模块53，用于神经网络根据学习模块52学习的数据特征和对应关系指示处理组件对获取模块51获取的数据流进行处理并输出。其中，数据流中含有的数据为与多媒体和三维影像相关的数据。

图6为图5所示的学习模块52的结构示意图一，如图6所示，学习模块52，包括：

初始单元61，用于神经网络初始化，以便于进行之后的学习。

数据特征学习单元62，用于在初始单元61后神经网络学习获取模块51获取的数据流中包含数据的种类，得到数据特征。

图7为图5所示的学习模块52的结构示意图二，如图7所示，学习模块52，还包括：

标签获取单元71，用于神经网络学习混合现实设备中处理组件的种类，得到处理组件标签。

对应关系学习单元72，用于神经网络学习处理组件标签与数据特征的对应关系。其中，处理组件均为与多媒体和三维影像数据处理相关的处理组件。

如图8所示，指示模块53，包括：

神经网络指示单元81，用于神经网络根据学习到的对应关系指示处理组件接收数据流中的数据。

处理单元82，用于处理组件对所述数据进行数据处理，得到每种数据对应的数据结果。

标签单元83，用于根据学习模块52学习的数据特征对数据结果进行标签。

融合输出单元84，用于处理组件根据标签单元83得到的标签对每个数据结果进行标签融合，得到融合结果后输出。

图9为图5所示的学习模块52的结构示意图三，如图9所示，学习模块52，还包括：

标签融合学习单元91，用于神经网络学习每个数据结果的标签，用于后续指示处理组件进行标签融合。

输出单元92，用于处理组件输出融合结果。

图10为本发明实施例提供的一种基于神经网络的MR混合现实信息处理装置的后续信息处理的结构示意图，如图10所示：

获取模块51，用于混合现实设备继续获取数据流。

学习模块52，用于神经网络调取学习到的数据特征、三维立体坐标、各个处理组件种类、数据特征与处理组件标签的对应关系以及数据结果的标签等信息。

指示模块53，用于根据学习模块52学习到的内容指示处理组件82、融合输出单元84对再次接收的多媒体数据进行处理，之后输出单元92将数据处理结果进行输出。

本发明技术方案还提供了一种基于神经网络的MR混合现实信息处理装置，所述装置包括：获取模块，用于混合现实设备获取数据流。学习模块，用于神经网络对获取模块获取的数据流进行学习得到数据特征，还用于神经网络学习对应关系。指示模块，用于神经网络根据学习模块学习的数据特征和对应关系指示处理组件对数据流进行处理并输出。

本发明的优点是，在混合现实设备第一次接收并处理多媒体信号时，神经网络学习处理过程，获取信号和处理组件特征。当混合现实设备接收后续多媒体信号时，神经网络根据之前学习的结果指示相关组件对后续多媒体信号进行处理，从而不用每次都进行识别信号类型、获取处理组件功能等重复动作节约了大量了系统资源，提高了进程进行的速度。当进程数量瞬时增多的时，由于这些重复动作不再占用系统资源，不仅降低了功耗，还提升了进程进行的速度，进一步提升了系统运行效率，还提升了用户体验。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于神经网络的MR混合现实信息处理方法，其特征在于，所述方法包括：

混合现实设备获取数据流；

神经网络对所述数据流进行学习，得到数据特征；

所述神经网络学习对应关系；

所述神经网络根据学习的所述数据特征和所述对应关系指示处理组件对所述数据流进行处理并输出；

其中，所述数据流中含有的数据为与多媒体和三维影像相关的数据。

2.根据权利要求1所述的方法，其特征在于，所述神经网络对所述数据流进行学习，得到数据特征，包括：

所述神经网络初始化；

所述神经网络学习所述数据流中包含数据的种类，得到所述数据特征。

3.根据权利要求2所述的方法，其特征在于，所述神经网络学习对应关系，包括：

所述神经网络学习处理组件中的内容，得到内容标签；

所述神经网络学习所述处理组件标签与所述数据特征的对应关系；

其中，所述处理组件中的内容均为与多媒体和三维影像数据处理相关。

4.根据权利要求3所述的方法，其特征在于，所述神经网络根据学习的所述数据特征和所述对应关系指示处理组件对所述数据流进行处理并输出，包括：

所述神经网络根据学习到的所述对应关系指示所述处理组件接收所述数据流中的数据；

所述处理组件对所述数据进行数据处理，得到每种数据对应的数据结果；

所述处理组件根据所述数据特征对所述数据结果进行标签；

所述处理组件根据标签对每个所述数据结果进行标签融合，得到融合结果后输出。

5.根据权利要求4所述的方法，其特征在于，所述处理组件对所述每种数据对应的数据结果进行标签融合，得到融合结果后输出，包括：

所述神经网络学习每个所述数据结果的标签，用于后续指示所述处理组件进行所述标签融合；

所述处理组件输出所述融合结果。

6.一种基于神经网络的MR混合现实信息处理装置，其特征在于，所述装置包括：

获取模块，用于混合现实设备获取数据流；

学习模块，用于神经网络对所述获取模块获取的所述数据流进行学习，得到数据特征；

所述学习模块，还用于所述神经网络学习对应关系；

指示模块，用于所述神经网络根据所述学习模块学习的所述数据特征和所述对应关系指示处理组件对所述数据流进行处理并输出；

其中，所述数据流中含有的数据为与多媒体和三维影像相关的数据。

7.根据权利要求6所述的方法，其特征在于，所述学习模块，包括：

初始单元，用于所述神经网络初始化，以便于进行之后的学习；

数据特征学习单元，用于所述神经网络学习所述获取模块获取的所述数据流中包含数据的种类，得到所述数据特征。

8.根据权利要求7所述的方法，其特征在于，所述学习模块，还包括：

标签获取单元，用于所述神经网络学习处理组件的种类，得到处理组件标签；

对应关系学习单元，用于所述神经网络学习所述处理组件标签与所述数据特征的对应关系；

其中，所述处理组件中的内容均为与多媒体和三维影像数据处理相关。

9.根据权利要求8所述的方法，其特征在于，所述指示模块，包括：

神经网络指示单元，用于所述神经网络根据学习到的所述对应关系指示所述处理组件接收所述数据流中的数据；

处理单元，用于所述处理组件对所述数据进行数据处理，得到每种数据对应的数据结果；

标签单元，用于根据所述数据特征对所述数据结果进行标签；

融合输出单元，用于所述处理组件根据标签对每个所述数据结果进行标签融合，得到融合结果后输出。

10.根据权利要求9所述的方法，其特征在于，所述学习模块，包括：

标签融合学习单元，用于所述神经网络学习每个所述数据结果的标签，用于后续指示所述处理组件进行所述标签融合；

输出单元，用于所述处理组件输出所述融合结果。