CN111476291B - 数据处理方法，装置及存储介质 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法，包括：获取目标对象的至少一个样本；利用第一神经网络对至少一个样本进行特征提取得到至少一个第一特征数据，第一特征数据用于指示至少一个样本的特征；利用第二神经网络对至少一个第一特征数据进行特征提取得到至少一个第二特征数据，第二特征数据用于指示对应的第一特征数据的变化特征；根据至少一个第二特征数据进行决策得到决策数据。本申请实施例的数据处理方法，通过第一神经网络和第二神经网络对样本进行两次特征提取，从而得到能够表征样本所代表的事件的数据以及决策数据，从而减少了深度学习模型使用的训练数据量和训练时间，提高了深度学习模型的训练效率。

Description

数据处理方法，装置及存储介质

技术领域

本申请实施例涉及神经网络领域，尤其涉及一种数据处理方法，装置及存储介质。

背景技术

随着计算机科学技术的不断发展，深度学习技术对各个领域有着越来越深入的影响。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。然而现有的深度学习模型的训练方法需要大量的训练数据或时间，例如，alphastar需要等效于4500的游戏时长才能学会策略游戏星际争霸，openai需要等效于1万年的训练才能掌握单手解魔方。并且传统的深度学习模型无法记忆过去发生的事件的缺点，有些模型还需要从人类标记的数据中学习概念，这些都使得深度学习模型的训练效率较低。

发明内容

有鉴于此，本发明实施例提供了一种数据处理方法及装置，用以克服现有技术的问题。

第一方面，本申请实施例提供了一种数据处理方法，其特征在于，包括：

获取目标对象的至少一个样本；

利用第一神经网络对至少一个样本进行特征提取得到至少一个第一特征数据，第一特征数据用于指示至少一个样本的特征；

利用第二神经网络对至少一个第一特征数据进行特征提取得到至少一个第二特征数据，第二特征数据用于指示对应的第一特征数据的变化特征；

根据至少一个第二特征数据进行决策得到决策数据。

可选地，在本申请的一种实施例中，利用第一神经网络对至少一个样本进行特征提取得到至少一个第一特征数据，包括：

将至少一个图像按照至少一个对象分割为至少一个片段，并将目标对象的至少一个片段作为目标对象的至少一个样本。

可选地，在本申请的一种实施例中，第二神经网络包括预测模型和特征编码模型；利用第二神经网络对至少一个第一特征数据进行特征提取得到至少一个第二特征数据，包括：

利用预测模型对至少一个第一特征数据进行预测得到至少一个预测数据；

利用特征编码模型对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据。

可选地，在本申请的一种实施例中，方法还包括：

将至少一个第一特征数据按照时间排序得到特征节点序列；

利用特征节点序列对预测模型进行训练。

可选地，在本申请的一种实施例中，利用特征编码模型对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据，包括：

利用特征编码模型对至少一个第一特征数据进行卷积运算和池化得到至少一个第二特征数据。

第二方面，本申请实施例提供了一种数据处理装置，其特征在于，包括：样本获取模块，第一神经网络模块，第二神经网络模块和决策模块；

样本获取模块用于获取目标对象的至少一个样本；

第一神经网络模块用于对至少一个样本进行特征提取得到至少一个第一特征数据，第一特征数据用于指示至少一个样本的特征；

第二神经网络模块用于对至少一个第一特征数据进行特征提取得到至少一个第二特征数据，第二特征数据用于指示对应的第一特征数据的变化特征；

决策模块用于根据至少一个第二特征数据进行决策得到决策数据。

可选地，在本申请的一种实施例中，第一神经网络模块包括分割模块；

分割模块用于将至少一个图像按照至少一个对象分割为至少一个片段，并将目标对象的至少一个片段作为目标对象的至少一个样本。

可选地，在本申请的一种实施例中，第二神经网络模块包括预测模块和特征编码模块；第二神经网络模块用于对至少一个第一特征数据进行特征提取得到至少一个第二特征数据，包括：

利用预测模块对至少一个第一特征数据进行预测得到至少一个预测数据；

利用特征编码模块对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据。

可选地，在本申请的一种实施例中，装置还包括训练模块，训练模块用于对将至少一个第一特征数据按照时间排序得到特征节点序列；

利用特征节点序列对预测模块进行训练。

可选地，在本申请的一种实施例中，利用特征编码模块对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据，包括：

利用特征编码模块对至少一个第一特征数据进行卷积运算和池化得到至少一个第二特征数据。

第三方面，本申请实施例提供了一种存储介质，其特征在于，存储介质上存储有计算机程序，在处理器执行计算机程序时，实现如第一方面任一项的方法。

本申请实施例所提供的数据处理方法，通过第一神经网络和第二神经网络对样本进行两次特征提取，从而得到能够表征样本所代表的事件的数据以及决策数据，从而减少了深度学习模型使用的训练数据量和训练时间，提高了深度学习模型的训练效率。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比值绘制的。附图中：

图1为本申请实施例提供的一种数据处理方法的流程图；

图2为本申请实施例提供的一种按照时间序列排列的图像示意图；

图3为本申请实施例提供的又一种数据处理方法的流程图；

图4为本申请实施例提供的一种数据处理装置的结构图；

图5为本申请实施例提供的又一种数据处理装置的结构图；

具体实施方式

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

实施例一

请参阅图1，第一方面，本申请实施例提供了一种数据处理方法，包括：

S101：获取目标对象的至少一个样本；

此处目标对象可以为图像中的某个，某类，某种具体的元素，例如图像中的苹果，篮球等，可以将在某个时间点的图像中的对象作为一个样本，如此，便于分析样本的变化规律，有利于后续步骤对数据的处理。

S102：利用第一神经网络对至少一个样本进行特征提取得到至少一个第一特征数据，第一特征数据用于指示至少一个样本的特征；

此处具体说明，可选地，在一个具体的实施方式中，第一神经网络可以为卷积神经网络，卷积神经网络是一种模仿人类认知图像的过程的一种网络，人类在认知图像时是分层抽象的，首先是认知图像的颜色和亮度，然后是边缘，角点，直线等局部细节特征，接下来是纹理，几何形状等更复杂的信息和结构，最后形成整个物体的概念。卷积神经网络是对上述人类认知图像的机制的简单模仿，卷积神经网络一般由多个卷积层构成，每个卷积层包含多个卷积核，用这些卷积核从左向右，从上往下依次扫面整个图像，得到称为特征图(feature map)的输出数据。网络前面的卷积层捕捉图像局部，细节信息，输出图像的每个像素只利用输入图像很小的一个范围，即感受野较小，后面的卷积层感受野逐层加大，用于捕获图像更复杂，更抽象的信息，经过多个卷积层的运算，最后可以得到图像在各个不同尺度的抽象表示。使用卷积神经网络作为第一神经网络能够得到更准确，更能代表样本特征的特征数据，有利于减少样本的数据量，便于后续对数据做进一步的处理，从而减少深度学习模型的训练数据和训练时间。

利用第一神经网络对至少一个样本进行特征提取得到至少一个第一特征数据，这里提取的特征可以使对原有样本特征的抽象，第一特征数据可以是对样本中某个实体的抽象表示，例如，一个样本中的苹果，篮球，篮筐等，第一神经网络对样本进行了降维，将原有图像中的具体的特征变为抽象的特征，如名词，代号等，如此可以显著的减少数据量，便于后续对数据做进一步处理，从而减少深度学习模型的训练数据和训练时间。

得到第一特征数据后可以对第一特征数据的重要性做判断，留下所需的较为重要的数据，丢弃不需要的不重要的数据，如此，可以显著的减少数据量，便于后续对数据做进一步处理，从而减少深度学习模型的训练数据和训练时间。

需要特别说明的是，可以将第一特征数据存储在存储介质中，存储介质可以是硬盘，U盘等，本申请对此不做限制。如此，便于之后再次调用或使用第一特征数据，当再次需要使用第一特征数据对一些深度学习模型进行训练时，不需要再次对原始样本进行特征提取，如此也能够减少深度学习模型的训练时间。

可选地，在本申请的一种实施例中，利用第一神经网络对至少一个样本进行特征提取得到至少一个第一特征数据，包括：

将至少一个图像按照至少一个对象分割为至少一个片段，并将目标对象的至少一个片段作为目标对象的至少一个样本。

具体地，至少一个图像是指与一段时间序列的至少一个时间点对应的至少一个图像，这里的至少一个图像至少包含部分相同的对象，将目标对象的至少一个片段作为目标对象的至少一个样本，这里的至少一个样本可以与一段时间序列的至少一个时间点对应。

此处举一个具体的例子，如图2所示，截取三张按照时间序列排列的图像，分别为T＝0时的篮球出手的图像，T＝1时的篮球在空中飞行的图像，T＝2时篮球落入篮框的图像，三张图象中均含有人物，篮球，篮筐三个对象，可以将T＝0时的图像进行分割得到第一张图像的人物作为一个样本，得到第一张图像的篮球作为一个样本，得到第一张图像的篮筐作为一个样本，对T＝1时的图像和T＝2的图像做类似的处理，在此不再赘述。将图像分割后的片段作为样本，减少了后续数据处理的数据量和复杂度，从而减少深度学习模型的训练数据和训练时间。

优选地，也可以将每个时间点中图像的样本的特征作为节点的属性，由此由每个图像可以得到具有三个节点的知识图谱，从而得到三张知识图谱，将所有图谱按照时间序列存储在计算机中，即为时间节点序列。如此，后续步骤可以直接对时间节点序列进行处理，更加方便与直接，且更易于提取节点的变化特征，方便对数据的后续处理。

S103：利用第二神经网络对至少一个第一特征数据进行特征提取得到至少一个第二特征数据，第二特征数据用于指示对应的第一特征数据的变化特征；

具体来说，这里的第二神经网络也可以为卷积神经网络，但这里的第二神经网络提取的第二特征数据时对应的第一特征数据的变化特征。以图2中T＝0，T＝1，T＝2三张图象中的篮球为例，第二神经网络提取的即为三个时间点的篮球的位置，速度等特征的变化规律。

优选地，可以将也可以将每个时间点中图像的样本的特征作为节点的属性，由此由每个图像可以得到具有三个节点的知识图谱，从而得到三张知识图谱，第二神经网络可以提取节点的变化特征，如此便于分析样本的整体与局部的变化规律，从而减少模型使用样本训练时的训练时间。

另外，需要特别说明的是，可以将第二特征数据存储在存储介质中，存储介质可以是硬盘，U盘等，本申请对此不做限制。如此，便于之后再次调用或使用第二特征数据，当再次需要使用第二特征数据对一些深度学习模型进行训练时，不需要再次对原始样本进行特征提取，如此也能够减少深度学习模型的训练时间。

可选地，在本申请的一种实施例中，第二神经网络包括预测模型和特征编码模型；利用第二神经网络对至少一个第一特征数据进行特征提取得到至少一个第二特征数据，包括：

利用预测模型对至少一个第一特征数据进行预测得到至少一个预测数据；

利用特征编码模型对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据。

这里做详细的说明，预测模型的作用是根据某一个时间点之前的若干个样本预测这一时间点之后的样本，利用预测模型对至少一个第一特征数据进行预测得到至少一个预测数据，这样就不需要实际获取更多的样本进行特征提取，可以只向预测模型中输入第一特征数据训练得到预测数据，使用预测数据代替第一数据，然后利用特征编码模型对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据，如此，由预测模型生成预测数据，可以减少深度学习模型所需要的数据。

特征编码模型可以为一种神经网络处理模型，具体地可以为卷积神经网络处理模型。特征编码模型可以提取预测数据或者第一特征数据的变化特征，并为变化特征所代表的事件的编码。例如，以图2中的投篮时间为例，特征编码模型可以提取人在投篮前后动作的变化特征，以及对应的的篮球的飞行变化特征，以及篮筐是否有篮球投入的变化特征，这些变化特征连起来对应着多个事件，例如投篮直接进入篮筐，投篮完全未进入篮筐，投篮后篮球砸中篮筐但未进入篮筐等，对这些事件进行编码，从而大大减少了用于表征各个事件的数据的数据量，减少深度学习模型的训练数据和训练时间。

优选地，可以将这些编码存储在存储介质中，存储介质可以是硬盘，U盘等，本申请对此不做限制。如此，便于之后再次调用或使用，当再次需要使用这些数据对一些深度学习模型进行训练时，不需要再次对原始样本进行特征提取，如此也能够减少深度学习模型的训练时间。

可选地，在本申请的一种实施例中，方法还包括：

将至少一个第一特征数据按照时间排序得到特征节点序列；

利用特征节点序列对预测模型进行训练。

如此，能够使得预测模型输出的预测数据更加准确，提高预测数据的可信度，从而提高后续特征提取的准确度，提高深度学习模型的训练效率。

可选地，在本申请的一种实施例中，利用特征编码模型对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据，包括：

利用特征编码模型对至少一个第一特征数据进行卷积运算和池化得到至少一个第二特征数据。

具体地，这里的卷积运算和池化可以为卷积神经网络中卷积层和池化层对数据所进行的处理操作。例如，利用卷积神经网络中卷积层的卷积核提取图像中的不同特征，利用卷积神经网络中的池化层缩小卷积层的数据规模，减小数据的复杂度。如此可以减少深度学习模型所需要的训练数据的数据量，从而减少深度学习模型的训练时间。

此处举例说明一种卷积运算，假设W为图像宽，H为图像高，D为图像深度(通道数)，F为卷积核宽高，N为卷积核(过滤器)个数，S为步长，P为用零填充个数，则卷积后输出图像大小：

Width＝(W-F+2P)/S+1

Height＝(H-F+2P)/S+1

卷积后输出图像深度：D＝N，输出图像大小：(Width，Height，N)，weight个数：FFD*N，bias个数：N

因此卷积输出大小＝[(输入大小-卷积核(过滤器)大小+2*P)/步长]+1，卷积中[]代表向下取整。当然，此处只是对卷积运算进行示例性说明，并不代表本申请局限于此。

此处举例说明一种池化运算，假设W为图像宽，H为图像高，D为图像深度(通道数)，F为卷积核宽高，S为步长

池化后输出图像大小：

W＝(W-F)/S+1

H＝(H-F)/S+1

池化后输出图像深度：D＝N

因此池化输出大小＝[(输入大小-卷积核(过滤器)大小)/步长]+1，池化中[]代表向上取整。当然，此处只是对池化运算进行示例性说明，并不代表本申请局限于此。

S104：根据至少一个第二特征数据进行决策得到决策数据。

可选地，在本申请的一个具体实施方式中，以图2投篮事件为例，可以根据多个投篮事件的编码决定能够使得篮球投入篮框的投篮力度和投篮角度，并将其作为决策数据。决策数据可以是深度学习模型所需要的满足用户需要的训练数据，也可以为深度学习模型需要避免的训练数据，本申请对此不做限制。

如图3所示，图3为本申请实施例的所提供的又一种数据处理方法的流程图。即获取样本后，将至少一个图像按照至少一个对象分割为至少一个片段，并将目标对象的至少一个片段作为目标对象的至少一个样本；利用第一神经网络对至少一个样本进行特征提取得到至少一个第一特征数据，第一特征数据用于指示至少一个样本的特征；然后一方面将至少一个第一特征数据按照时间排序得到特征节点序列，使用特征节点序列训练预测模型；另一方面，利用预测模型对至少一个第一特征数据进行预测得到至少一个预测数据；利用特征编码模型对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据；最后根据至少一个第二特征数据得到决策数据。如此，能够得到更加能够代表事件的编码数据，减少深度学习模型所需要的训练数据的数据量。

实施例二

请参阅图4，第二方面，本申请实施例提供了一种数据处理装置，包括：样本获取模块10，第一神经网络模块20，第二神经网络模块30和决策模块40；

样本获取模块10用于获取目标对象的至少一个样本；

此处目标对象可以为图像中的某个，某类，某种具体的元素，例如图像中的苹果，篮球等，可以将在某个时间点的图像中的对象作为一个样本，如此，便于分析样本的变化规律，有利于后续步骤对数据的处理。

第一神经网络模块20用于对至少一个样本进行特征提取得到至少一个第一特征数据，第一特征数据用于指示至少一个样本的特征；

此处具体说明，可选地，在一个具体的实施方式中，第一神经网络可以为卷积神经网络，卷积神经网络是一种模仿人类认知图像的过程的一种网络，人类在认知图像时是分层抽象的，首先是认知图像的颜色和亮度，然后是边缘，角点，直线等局部细节特征，接下来是纹理，几何形状等更复杂的信息和结构，最后形成整个物体的概念。卷积神经网络是对上述人类认知图像的机制的简单模仿，卷积神经网络一般由多个卷积层构成，每个卷积层包含多个卷积核，用这些卷积核从左向右，从上往下依次扫面整个图像，得到称为特征图(featuremap)的输出数据。网络前面的卷积层捕捉图像局部，细节信息，输出图像的每个像素只利用输入图像很小的一个范围，即感受野较小，后面的卷积层感受野逐层加大，用于捕获图像更复杂，更抽象的信息，经过多个卷积层的运算，最后可以得到图像在各个不同尺度的抽象表示。使用卷积神经网络作为第一神经网络能够得到更准确，更能代表样本特征的特征数据，有利于减少样本的数据量，便于后续对数据做进一步的处理，从而减少深度学习模型的训练数据和训练时间。

利用第一神经网络模块20对至少一个样本进行特征提取得到至少一个第一特征数据，这里提取的特征可以使对原有样本特征的抽象，第一特征数据可以是对样本中某个实体的抽象表示，例如，一个样本中的苹果，篮球，篮筐等，第一神经网络对样本进行了降维，将原有图像中的具体的特征变为抽象的特征，如名词，代号等，如此可以显著的减少数据量，便于后续对数据做进一步处理，从而减少深度学习模型的训练数据和训练时间。

得到第一特征数据后可以对第一特征数据的重要性做判断，留下所需的较为重要的数据，丢弃不需要的不重要的数据，如此，可以显著的减少数据量，便于后续对数据做进一步处理，从而减少深度学习模型的训练数据和训练时间。

需要特别说明的是，可以将第一特征数据存储在存储介质中，存储介质可以是硬盘，U盘等，本申请对此不做限制。如此，便于之后再次调用或使用第一特征数据，当再次需要使用第一特征数据对一些深度学习模型进行训练时，不需要再次对原始样本进行特征提取，如此也能够减少深度学习模型的训练时间。

第二神经网络模块30用于对至少一个第一特征数据进行特征提取得到至少一个第二特征数据，第二特征数据用于指示对应的第一特征数据的变化特征；

优选地，可以将也可以将每个时间点中图像的样本的特征作为节点的属性，由此由每个图像可以得到具有三个节点的知识图谱，从而得到三张知识图谱，第二神经网络可以提取节点的变化特征，如此便于分析样本的整体与局部的变化规律，从而减少模型使用样本训练时的训练时间。

另外，需要特别说明的是，可以将第二特征数据存储在存储介质中，存储介质可以是硬盘，U盘等，本申请对此不做限制。如此，便于之后再次调用或使用第二特征数据，当再次需要使用第二特征数据对一些深度学习模型进行训练时，不需要再次对原始样本进行特征提取，如此也能够减少深度学习模型的训练时间。

决策模块40用于根据至少一个第二特征数据进行决策得到决策数据。

可选地，在本申请的一个具体实施方式中，以图2投篮事件为例，可以根据多个投篮事件的编码决定能够使得篮球投入篮框的投篮力度和投篮角度，并将其作为决策数据。决策数据可以是深度学习模型所需要的满足用户需要的训练数据，也可以为深度学习模型需要避免的训练数据，本申请对此不做限制。

需要特别说明的是，样本获取模块10，第一神经网络模块20，第二神经网络模块30和决策模块40是按照不同的功能将其划分为四个虚拟的模块，并不代表其实际的硬件结构。

可选地，在本申请的一种实施例中，第一神经网络模块20包括分割模块50；

分割模块50用于将至少一个图像按照至少一个对象分割为至少一个片段，并将目标对象的至少一个片段作为目标对象的至少一个样本。

具体地，至少一个图像是指与一段时间序列的至少一个时间点对应的至少一个图像，这里的至少一个图像至少包含部分相同的对象，将目标对象的至少一个片段作为目标对象的至少一个样本，这里的至少一个样本可以与一段时间序列的至少一个时间点对应。

此处举一个具体的例子，以图2为例，截取三张按照时间序列排列的图像，分别为T＝0时的篮球出手的图像，T＝1时的篮球在空中飞行的图像，T＝2时篮球落入篮框的图像，三张图象中均含有人物，篮球，篮筐三个对象，可以将T＝0时的图像进行分割得到第一张图像的人物作为一个样本，得到第一张图像的篮球作为一个样本，得到第一张图像的篮筐作为一个样本，对T＝1时的图像和T＝2的图像做类似的处理，在此不再赘述。将图像分割后的片段作为样本，减少了后续数据处理的数据量和复杂度，从而减少深度学习模型的训练数据和训练时间。

优选地，也可以将每个时间点中图像的样本的特征作为节点的属性，由此由每个图像可以得到具有三个节点的知识图谱，从而得到三张知识图谱，将所有图谱按照时间序列存储在计算机中，即为时间节点序列。如此，后续步骤可以直接对时间节点序列进行处理，更加方便与直接，且更易于提取节点的变化特征，方便对数据的后续处理。

可选地，在本申请的一种实施例中，第二神经网络模块30包括预测模块302和特征编码模块303；第二神经网络模块30用于对至少一个第一特征数据进行特征提取得到至少一个第二特征数据，包括：

利用预测模块302对至少一个第一特征数据进行预测得到至少一个预测数据；

利用特征编码模块303对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据。

这里做详细的说明，预测模块302的作用是根据某一个时间点之前的若干个样本预测这一时间点之后的样本，利用预测模块302对至少一个第一特征数据进行预测得到至少一个预测数据，这样就不需要实际获取更多的样本进行特征提取，可以只向预测模块302中输入第一特征数据训练得到预测数据，使用预测数据代替第一数据，然后利用特征编码模块303对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据，如此，由预测模块302生成预测数据，可以减少深度学习模型所需要的数据。

特征编码模块303可以为一种神经网络处理模块，具体地可以为卷积神经网络处理模块。特征编码模块303可以提取预测数据或者第一特征数据的变化特征，并为变化特征所代表的事件的编码。例如，以图2中的投篮时间为例，特征编码模块303可以提取人在投篮前后动作的变化特征，以及对应的的篮球的飞行变化特征，以及篮筐是否有篮球投入的变化特征，这些变化特征连起来对应着多个事件，例如投篮直接进入篮筐，投篮完全未进入篮筐，投篮后篮球砸中篮筐但未进入篮筐等，对这些事件进行编码，从而大大减少了用于表征各个事件的数据的数据量，减少深度学习模型的训练数据和训练时间。

优选地，可以将这些编码存储在存储介质中，存储介质可以是硬盘，U盘等，本申请对此不做限制。如此，便于之后再次调用或使用，当再次需要使用这些数据对一些深度学习模型进行训练时，不需要再次对原始样本进行特征提取，如此也能够减少深度学习模型的训练时间。

可选地，在本申请的一种实施例中，装置还包括训练模块301，训练模块301用于对将至少一个第一特征数据按照时间排序得到特征节点序列；

利用特征节点序列对预测模块302进行训练。

如此，能够使得预测模型输出的预测数据更加准确，提高预测数据的可信度，从而提高后续特征提取的准确度，提高深度学习模型的训练效率。

可选地，在本申请的一种实施例中，利用特征编码模块303对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据，包括：

利用特征编码模块303对至少一个第一特征数据进行卷积运算和池化得到至少一个第二特征数据。

具体地，这里的卷积运算和池化可以为卷积神经网络中卷积层和池化层对数据所进行的处理操作。例如，利用卷积神经网络中卷积层的卷积核提取图像中的不同特征，利用卷积神经网络中的池化层缩小卷积层的数据规模，减小数据的复杂度。如此可以减少深度学习模型所需要的训练数据的数据量，从而减少深度学习模型的训练时间。

此处举例说明一种卷积运算，假设W为图像宽，H为图像高，D为图像深度(通道数)，F为卷积核宽高，N为卷积核(过滤器)个数，S为步长，P为用零填充个数，则卷积后输出图像大小：

Width＝(W-F+2P)/S+1

Height＝(H-F+2P)/S+1

卷积后输出图像深度：D＝N，输出图像大小：(Width，Height，N)，weight个数：FFD*N，bias个数：N

因此卷积输出大小＝[(输入大小-卷积核(过滤器)大小+2*P)/步长]+1，卷积中[]代表向下取整。当然，此处只是对卷积运算进行示例性说明，并不代表本申请局限于此。

此处举例说明一种池化运算，假设W为图像宽，H为图像高，D为图像深度(通道数)，F为卷积核宽高，S为步长

池化后输出图像大小：

W＝(W-F)/S+1

H＝(H-F)/S+1

池化后输出图像深度：D＝N

因此池化输出大小＝[(输入大小-卷积核(过滤器)大小)/步长]+1，池化中[]代表向上取整。当然，此处只是对池化运算进行示例性说明，并不代表本申请局限于此。

如图5所示，图5为本申请实施例的所提供的又一种数据处理装置的结构图。即通过样本获取模块10获取样本后，输入分割模块50，分割模块50将至少一个图像按照至少一个对象分割为至少一个片段，并将目标对象的至少一个片段作为目标对象的至少一个样本；将分割模块50的输出输入第一神经网络模块20，第一神经网络模块20利用第一神经网络对至少一个样本进行特征提取得到至少一个第一特征数据，第一特征数据用于指示至少一个样本的特征；然后一方面将第一神经网络模块20的输出输入训练模块301，训练模块301将至少一个第一特征数据按照时间排序得到特征节点序列，使用特征节点序列训练预测模型；另一方面，将第一神经网络模块20的输出输入预测模块302，预测模块302对至少一个第一特征数据进行预测得到至少一个预测数据；将预测模块302的输出输入特征编码模块303，特征编码模块303对至少一个预测数据进行特征提取和编码得到至少一个第二特征数据；最后将特征编码模块303的输出输入决策模块40，决策模块40根据至少一个第二特征数据得到决策数据。如此，能够得到更加能够代表事件的编码数据，减少深度学习模型所需要的训练数据的数据量。

第三方面，本申请实施例提供了一种存储介质，其特征在于，存储介质上存储有计算机程序，在处理器执行计算机程序时，实现如实施例1任一项的方法。

本申请实施例的存储介质以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)其他具有数据交互功能的电子设备。

至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种数据处理方法，其特征在于，包括：

获取目标对象的至少一个样本；

利用第一神经网络对所述至少一个样本进行特征提取得到至少一个第一特征数据，所述第一特征数据用于指示所述至少一个样本的特征；

利用第二神经网络对所述至少一个第一特征数据进行特征提取得到至少一个第二特征数据，所述第二特征数据用于指示对应的第一特征数据的变化特征；

根据所述至少一个第二特征数据进行决策得到决策数据；

其中，利用第一神经网络对所述至少一个样本进行特征提取得到至少一个第一特征数据，包括：

将至少一个图像按照至少一个对象分割为至少一个片段，并将所述目标对象的至少一个片段作为所述目标对象的至少一个样本；具体地，至少一个图像是指与一段时间序列的至少一个时间点对应的至少一个图像，这里的至少一个图像至少包含部分相同的对象，将目标对象的至少一个片段作为目标对象的至少一个样本，这里的至少一个样本可以与一段时间序列的至少一个时间点对应；并将每个时间点中图像的样本的特征作为节点的属性，由此由每个图像可以得到具有三个节点的知识图谱，从而得到三张知识图谱，将所有图谱按照时间序列存储在计算机中；

其中，所述第二神经网络包括预测模型和特征编码模型；利用第二神经网络对所述至少一个第一特征数据进行特征提取得到至少一个第二特征数据，包括：

利用所述预测模型对所述至少一个第一特征数据进行预测得到至少一个预测数据；

利用所述特征编码模型对所述至少一个预测数据进行特征提取和编码得到所述至少一个第二特征数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述至少一个第一特征数据按照时间排序得到特征节点序列；

利用所述特征节点序列对所述预测模型进行训练。

3.根据权利要求1所述的方法，其特征在于，利用所述特征编码模型对所述至少一个预测数据进行特征提取和编码得到所述至少一个第二特征数据，包括：

利用所述特征编码模型对所述至少一个第一特征数据进行卷积运算和池化得到所述至少一个第二特征数据。

4.一种数据处理装置，其特征在于，包括：样本获取模块，第一神经网络模块，第二神经网络模块和决策模块；

所述样本获取模块用于获取目标对象的至少一个样本；

所述第一神经网络模块用于对所述至少一个样本进行特征提取得到至少一个第一特征数据，所述第一特征数据用于指示所述至少一个样本的特征；

所述第二神经网络模块用于对所述至少一个第一特征数据进行特征提取得到至少一个第二特征数据，所述第二特征数据用于指示对应的第一特征数据的变化特征；

所述决策模块用于根据所述至少一个第二特征数据进行决策得到决策数据；其中，所述第一神经网络模块包括分割模块；所述分割模块用于将至少一个图像按照至少一个对象分割为至少一个片段，并将所述目标对象的至少一个片段作为所述目标对象的至少一个样本；

其中，所述第一神经网络模块用于对所述至少一个样本进行特征提取得到至少一个第一特征数据，包括：

将至少一个图像按照至少一个对象分割为至少一个片段，并将所述目标对象的至少一个片段作为所述目标对象的至少一个样本；具体地，至少一个图像是指与一段时间序列的至少一个时间点对应的至少一个图像，这里的至少一个图像至少包含部分相同的对象，将目标对象的至少一个片段作为目标对象的至少一个样本，这里的至少一个样本可以与一段时间序列的至少一个时间点对应；并将每个时间点中图像的样本的特征作为节点的属性，由此由每个图像可以得到具有三个节点的知识图谱，从而得到三张知识图谱，将所有图谱按照时间序列存储在计算机中；

其中，所述第二神经网络模块包括预测模块和特征编码模块；所述第二神经网络模块用于对所述至少一个第一特征数据进行特征提取得到至少一个第二特征数据，包括：

利用所述预测模块对所述至少一个第一特征数据进行预测得到至少一个预测数据；

利用所述特征编码模块对所述至少一个预测数据进行特征提取和编码得到所述至少一个第二特征数据。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块用于对将所述至少一个第一特征数据按照时间排序得到特征节点序列；

利用所述特征节点序列对所述预测模块进行训练。

6.根据权利要求4所述的装置，其特征在于，利用所述特征编码模块对所述至少一个预测数据进行特征提取和编码得到所述至少一个第二特征数据，包括：

利用所述特征编码模块对所述至少一个第一特征数据进行卷积运算和池化得到所述至少一个第二特征数据。

7.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，在处理器执行所述计算机程序时，实现如权利要求1-3任一项所述的方法。