CN105095964A - 一种数据处理方法和装置 - Google Patents

Abstract

本发明的实施方式提供了一种数据处理方法，包括：获取分析对象的N个子特征向量；在深度神经网络模型中，设置子特征向量降维与拼接层，所述子特征向量降维与拼接层具体用于对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，得到N个降维后的子特征向量；将所述N个降维后的子特征向量拼接为一个拼接特征向量，并在所述深度神经网络中继续对所述拼接特征向量进行处理，其中所述拼接特征向量的维度的值M为所述N个降维后的子特征向量的维度之和。所述拼接特征向量的维度相对低，从而显著地降低了用于存储拼接特征向量的存储空间，减少了存储负担和后续的运算量为用户带来了更好的体验。此外，本发明的实施方式提供了一种数据处理装置。

Description

一种数据处理方法和装置

技术领域

本发明的实施方式涉及数据处理领域，更具体地，本发明的实施方式涉及一种数据处理方法和装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

深度神经网络(deepneuralnetwork)可以用于对分析对象进行分析预测，所述分析对象例如可以为网络中的某一张图片。若使用深度神经网络预测网络中的一张图片的点击率，可先从该图片中确定出多种子特征对象，例如从一个包含有人和动物的图片可以至少确定出两个子特征对象，其中一个为和人相关的子特征对象，另一个为和动物相关的子特征对象。深度神经网络将对确定出的多个子特征对象分别进行分析，具体的分析方式可以使用独热码(英文：one-hotcode)的编码方式对子特征对象进行编码。一个子特征对象通过所述分析后得到一个对应的子特征向量。子特征向量的维度与对应的子特征对象所属分类类别的个数相同。以上述包含有人和动物的图片的例子进行说明，假设和人相关的子特征对象所属分类类别的个数为三个，而该子特征对象符合其中第二个，那么与该子特征对象对应的子特征向量的值为：010，维度为3；假设和动物相关的子特征对象所属分类类别的个数为四个，而该子特征对象符合其中第四个，那么与该子特征对象对应的子特征向量的值为：0001，维度为4。然后再将分析得到的多个子特征向量进行拼接，组合成一个相对更高维度的拼接特征向量，并以此作为预测点击率的依据。

然而，拼接后的拼接特征向量的维度很高，若拼接前的所述多个子特征向量的维度分别为m₁、m₂…m_n，则拼接后的拼接特征向量的维度将为m₁+m₂…+m_n的和。需消耗大量存储空间存储拼接后的拼接特征向量，且对该高维度的拼接特征向量进行后续处理时，也需要很大的运算量，因而增加了系统负担。

发明内容

为此，非常需要一种改进的数据处理方法和装置，以使拼接特征向量的维度降低，从而显著地降低了用于存储拼接特征向量的存储空间，减少了存储负担，同时显著的减少了后续的运算量。

在本上下文中，本发明的实施方式期望提供一种数据处理方法和装置。

在本发明实施方式的第一方面中，提供了一种数据处理方法，所述方法包括：

获取分析对象的N个子特征向量，所述N个子特征向量为使用独热码分析所述分析对象的N个子特征对象后得到的，所述子特征向量与所述子特征对象一一对应，N为大于等于2的整数；

在深度神经网络模型中，设置子特征向量降维与拼接层，所述子特征向量降维与拼接层具体用于：

对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，得到N个降维后的子特征向量；其中，所述对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，具体包括：

确认第i个子特征向量中值为1的元素的位置，从与所述第i个子特征向量对应的N_i×M_i的嵌入矩阵中选择与所述位置对应的一行的M_i个元素的值作为降维后的所述第i个子特征向量中元素的值，其中，所述第i个子特征向量为所述N个子特征向量中的一个，N_i为所述第i个子特征向量的维度，M_i为降维后的所述第i个子特征向量的维度，M_i小于N_i；其中，i为1到N中的整数；

将所述N个降维后的子特征向量拼接为一个拼接特征向量，并在所述深度神经网络中继续对所述拼接特征向量进行处理，其中所述拼接特征向量的维度的值M为所述N个降维后的子特征向量的维度之和。

可选的，所述将所述N个降维后的子特征向量拼接为一个拼接特征向量之后，还包括：

使用包括线性层结构和非线性结构的融合模块对所述拼接特征向量进行特征融合处理以提高所述拼接特征向量的融合性，其中，所述线性层结构包括M×M的权重矩阵，所述特征融合处理包括将所述拼接特征向量与所述M×M的权重矩阵相乘，得到相乘结果，再使用非线性结构对所述相乘结果向量进行非线性处理。

可选的，在所述深度神经网络模型的所述子特征向量降维与拼接层之后，设置拼接特征向量降维层，所述拼接特征向量降维层用于对所述拼接特征向量进行以下操作：

将所述拼接特征向量与所述拼接特征向量对应的M×N_low权重矩阵进行相乘；

将相乘得到的N_low维向量作为降维后的拼接特征向量，其中，N_low小于M。

可选的，还包括：

比对所述在所述深度神经网络中继续对所述拼接特征向量进行处理得到的处理结果与所述分析对象的实际结果；

若具有误差且所述误差大于预设阈值，对所述嵌入矩阵和所述权重矩阵中元素的值进行修正，进一步进行所述比对，直到根据所述比对得到的误差小于所述预设阈值为止。

可选的，所述嵌入矩阵中N_i×M_i个元素的初始值为随机数，并随着所述修正进行相应改变；

所述权重矩阵中M×N_low个元素的初始值为随机数，并随着所述修正进行相应改变。

在本发明实施方式的第二方面中，提供了一种数据处理装置，所述装置包括：

获取单元：配置用于获取分析对象的N个子特征向量，所述N个子特征向量为使用独热码分析所述分析对象的N个子特征对象后得到的，所述子特征向量与所述子特征对象一一对应，N为大于等于2的整数；

设置单元：配置用于在深度神经网络模型中，设置子特征向量降维与拼接层，所述设置单元还包括第一降维子单元和拼接子单元，所述第一降维子单元和拼接子单元通过所述子特征向量降维与拼接层具体用于：

所述第一降维子单元：配置用于对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，得到N个降维后的子特征向量；其中，所述第一降维子单元：具体配置用于确认第i个子特征向量中值为1的元素的位置，从与所述第i个子特征向量对应的N_i×M_i的嵌入矩阵中选择与所述位置对应的一行的M_i个元素的值作为降维后的所述第i个子特征向量中元素的值，其中，所述第i个子特征向量为所述N个子特征向量中的一个，N_i为所述第i个子特征向量的维度，M_i为降维后的所述第i个子特征向量的维度，M_i小于N_i；其中，i为1到N中的整数；

所述拼接子单元：配置用于将所述N个降维后的子特征向量拼接为一个拼接特征向量，并在所述深度神经网络中继续对所述拼接特征向量进行处理，其中所述拼接特征向量的维度的值M为所述N个降维后的子特征向量的维度之和。

可选的，还包括：

融合单元：配置用于在触发所述拼接子单元之后，使用包括线性层结构和非线性结构的融合模块对所述拼接特征向量进行特征融合处理以提高所述拼接特征向量的融合性，其中，所述线性层结构包括M×M的权重矩阵，所述特征融合处理包括将所述拼接特征向量与所述M×M的权重矩阵相乘，得到相乘结果，再使用非线性结构对所述相乘结果向量进行非线性处理。

可选的，所述设置单元：还配置用于在所述深度神经网络模型的所述子特征向量降维与拼接层之后，设置拼接特征向量降维层，所述设置单元还包括第二降维子单元，所述第二降维子单元通过所述拼接特征向量降维层用于对所述拼接特征向量进行以下操作：

所述第二降维子单元：配置用于将所述拼接特征向量与所述拼接特征向量对应的M×N_low权重矩阵进行相乘；将相乘得到的N_low维向量作为降维后的拼接特征向量，其中，N_low小于M。

可选的，还包括：

比对单元：配置用于比对所述在所述深度神经网络中继续对所述拼接特征向量进行处理得到的处理结果与所述分析对象的实际结果；

修正单元：配置用于若所述比对单元的比对结果为具有误差且所述误差大于预设阈值，对所述嵌入矩阵和所述权重矩阵中元素的值进行修正，进一步进行所述比对，直到根据所述比对得到的误差小于所述预设阈值为止。

可选的，所述嵌入矩阵中N_i×M_i个元素的初始值为随机数，并随着所述修正进行相应改变；

所述权重矩阵中M×N_low个元素的初始值为随机数，并随着所述修正进行相应改变。

根据本发明实施方式，对分析对象进行分析时，将分析得到的N个子特征向量拼接成一个拼接特征向量之前，分别对所述N个子特征向量通过对应的嵌入矩阵进行降维处理，以降低所述N个子特征向量的维度，再使用N个降维后的子特征向量拼接成一个拼接特征向量的维度将会比使用所述N个子特征向量拼接成一个拼接特征向量的维度要低，从而显著地降低了用于存储拼接特征向量的存储空间，减少了存储负担和后续的运算量，为用户带来了更好的体验。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式提供的一种数据处理方法的方法流程图；

图2示意性地示出了根据本发明实施例提供一种深度神经网络模型的模型训练方法的方法流程图；

图3示意性地示出了根据本发明实施例提供的一种数据处理装置的装置结构图之一；

图4示意性地示出了根据本发明实施例提供的一种数据处理装置的装置结构图之二；

图5示意性地示出了根据本发明实施例提供的一种深度神经网络模型的模型训练装置的装置结构图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种数据处理方法和装置。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，深度神经网络可以用于对分析对象进行分析预测。根据分析对象包含的特征，从该分析对象中确定出多个子特征对象，再通过独热码的编码方式对该多个子特征对象分别进行编码，得到与子特征对象一一对应的子特征向量，子特征向量的维度与对应的子特征对象所属分类类别的个数相同。若分析对象为一张包含有人和动物的图片，假设和人相关的子特征对象所属分类类别的个数为三个，而该子特征对象符合其中第二个，那么与该子特征对象对应的子特征向量的值为：010，维度为3；假设和动物相关的子特征对象所属分类类别的个数为四个，而该子特征对象符合其中第四个，那么与该子特征对象对应的子特征向量的值为：0001，维度为4。然后再将分析得到的多个子特征向量进行拼接，组合成一个相对更高维度的拼接特征向量，并以此作为预测点击率的依据。作为预测依据的拼接特征向量的维度将是用于拼接的该多个子特征向量的维度之和，维度量级会很可观，而维度越高的向量，所需的存储空间会越大。故需消耗大量存储空间存储拼接后的拼接特征向量，且对该高维度的拼接特征向量进行后续处理时，也需要很大的运算量，因而增加了系统负担。

为此，本发明实施例提供了一种数据处理方法和装置，对分析对象进行分析时，将分析得到的N个子特征向量拼接成一个拼接特征向量之前，分别对所述N个子特征向量通过对应的嵌入矩阵进行降维处理，以降低所述N个子特征向量的维度，再使用N个降维后的子特征向量拼接成一个拼接特征向量的维度将会比使用所述N个子特征向量拼接成一个拼接特征向量的维度要低，从而显著地降低了用于存储拼接特征向量的存储空间，减少了存储负担和后续的运算量，为用户带来了更好的体验。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

本发明实施例所应用的应用场景主要包括使用深度神经网络对分析对象进行识别、预测等。所述分析对象可以包括多种子特征对象，如所述分析对象可以为包括了图片、视频、文件、语音等子特征对象的广告。所述分析可以包括识别或预测点击率等。

示例性方法

下面结合应用场景，参考图1来描述根据本发明示例性实施方式的用于数据处理的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

图1为本发明实施例提供的一种数据处理方法的方法流程图，所述方法包括：

S101：获取分析对象的N个子特征向量，所述N个子特征向量为使用独热码分析所述分析对象的N个子特征对象后得到的，所述子特征向量与所述子特征对象一一对应，N为大于等于2的整数。

举例说明，通过对所述分析对象进行拆分，可以拆分出至少两个子特征对象，一个子特征对象通过独热码的编码分析，得到一个对应的子特征向量。一个分析对象被拆分出的子特征对象的数量和这些子特征对象被通过独热码分析得到的子特征向量的数量相同。被所述独热码编码后的子特征向量的特点是，子特征向量中元素有一个的值为1，其他的值为0。还以分析对象为一张包含有人和动物的图片为例说明，假设该分析对象拆分出两个子特征对象，通过独热码分析后得到两个子特征向量，分别为010和0001。若使用传统方式直接对这两个子特征向量进行拼接的话，得到的拼接特征向量可以为0100001，其维度达到了7，而且，从“0100001”这个拼接特征向量可以看出，其中主要其作用或者说有效的元素为“1”，而起次要作用或者说无效的元素为“0”，可见其中的有效元素很少，有效元素在拼接特征向量中很稀疏。在实际的应用场景下，一个分析对象所能拆分出来的子特征对象一般都远多于两个，也就是说用于拼接的子特征向量的个数也会远多于两个，那么在进行拼接后，得到的将会是一个超高维度的拼接特征向量。由于维度越高，所消耗的存储空间就越大，存储该高维度的拼接特征向量需要消耗大量的存储空间，此外在后续处理该高维度的拼接特征向量时，运算量也会很大。而且该高维度的子特征向量中实际的有效元素很稀疏。

S102：在深度神经网络模型中，设置子特征向量降维与拼接层。所述子特征向量降维与拼接层具体用于：

对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，得到N个降维后的子特征向量；其中，所述对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，具体包括：

确认第i个子特征向量中值为1的元素的位置，从与所述第i个子特征向量对应的N_i×M_i的嵌入矩阵中选择与所述位置对应的一行的M_i个元素的值作为降维后的所述第i个子特征向量中元素的值，其中，所述第i个子特征向量为所述N个子特征向量中的一个，N_i为所述第i个子特征向量的维度，M_i为降维后的所述第i个子特征向量的维度，M_i小于N_i；其中，i为1到N中的整数。

将所述N个降维后的子特征向量拼接为一个拼接特征向量，并在所述深度神经网络中继续对所述拼接特征向量进行处理，其中所述拼接特征向量的维度的值M为所述N个降维后的子特征向量的维度之和。

举例说明，所述深层神经网络模型可以用于对所述分析对象进行分析、预测。在本发明实施例中，所述深层神经网络模型中可以设置子特征向量降维与拼接层，用于对所述N个子特征向量进行降维，以及将降维的N个子特征向量拼接成一个拼接特征向量。

所述嵌入矩阵与子特征向量具有对应关系，对应一个子特征向量的嵌入矩阵的行数与该子特征向量的维度值相同。假设所述N个子特征向量中的一个子特征向量的维度为4，内容为0001，则该子特征向量中值为1的元素的位置为第4个，该子特征向量所对应的嵌入矩阵的行数N_i和该子特征向量相同，均为4，该嵌入矩阵的列数M_i比行数N_i要小，可以为1、2或3中任意一值。假设子特征向量为0001所对应的嵌入矩阵的列数M_i为3，该嵌入矩阵具体可以为： $\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\\ a_{41}& a_{42}& a_{43}\end{array}\right],$ 根据该子特征向量中值为1的元素的位置为第4个，选择对应的嵌入矩阵中第4行的三个元素的值作为降维后的子特征向量中元素的值，也就是说，值为“0001”的子特征向量通过对应的嵌入矩阵，得到的降维后的子特征向量的值为“a₄₁a₄₂a₄₃”，从4维降到了3维。

假设所述N个子特征向量中的另一个子特征向量的维度为3，内容为010，则该子特征向量中值为1的元素的位置为第2个，该子特征向量所对应的嵌入矩阵的行数N_i和该子特征向量相同，均为3，该嵌入矩阵的列数M_i比行数N_i要小，可以为1或2。假设子特征向量为010所对应的嵌入矩阵的列数M_i为2，该嵌入矩阵具体可以为： $\left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\\ b_{31}& b_{32}\end{array}\right],$ 根据该子特征向量中值为1的元素的位置为第2个，选择对应的嵌入矩阵中第2行的两个元素的值作为降维后的子特征向量中元素的值，也就是说，值为“010”的子特征向量通过对应的嵌入矩阵，得到的降维后的子特征向量的值为“b₂₁b₂₂”，从3维降到了2维。

若N等于2，也就是说所述N个子特征向量只包括值为“0001”的子特征向量和值为“010”的子特征向量。将这两个降维后的子特征向量进行拼接得到的拼接特征向量可以为“a₄₁a₄₂a₄₃b₂₁b₂₂”，其维度M为3+2＝5，与传统方式得出的拼接特征向量“0001010”7维的维度相比，本发明实施例所得出的拼接特征向量维度M从7维降到5维，缓解了用于存储该拼接特征向量所需的存储空间的开销，也减小了后续的运算量。

需要注意的是，本发明实施例并不推荐一次性降维过多，若降维的降幅过大，可能会导致后期解析时的处理难度。

可见，对分析对象进行分析时，将分析得到的N个子特征向量拼接成一个拼接特征向量之前，分别对所述N个子特征向量通过对应的嵌入矩阵进行降维处理，以降低所述N个子特征向量的维度，再使用N个降维后的子特征向量拼接成一个拼接特征向量的维度将会比使用所述N个子特征向量拼接成一个拼接特征向量的维度要低，从而显著地降低了用于存储拼接特征向量的存储空间，减少了存储负担，并且减小了后续的运算量，为用户带来了更好的体验。

为了提高拼接后的所述拼接特征向量的融合性，还可以对所述拼接特征向量进行线性的和非线性的处理。可选的，所述将所述N个降维后的子特征向量拼接为一个拼接特征向量之后，还包括：

使用包括线性层结构和非线性结构的融合模块对所述拼接特征向量进行特征融合处理以提高所述拼接特征向量的融合性，其中，所述线性层结构包括M×M的权重矩阵，所述特征融合处理包括将所述拼接特征向量与所述M×M的权重矩阵相乘，得到相乘结果，再使用非线性结构对所述相乘结果向量进行非线性处理。

可以先通过所述融合模块中的线性层结构中的权重矩阵对所述拼接特征向量中的多种输入特征进行线性融合。可以看出，由于所述权重矩阵是M×M的，其行数、列数均和所述拼接特征向量的维度相同，所述拼接特征向量与所述权重矩阵通过相乘得到的相乘结果向量中元素的数量与所述拼接特征向量的元素的数量相同。也就是说，通过线性融合后的所述拼接特征向量的维度并不会发生改变。将通过线性融合处理后的所述相乘结果向量再通过所述融合模块中的非线性层结构进行非线性处理，使得处理后的特征向量的融合性更好，抗噪能力更强。

本发明实施例中除了提供对子特征向量的降维方案，还进一步提供了对所述拼接特征向量的降维方案。在本发明实施例中，可以在得到所述拼接特征向量后直接对所述拼接特征向量进行降维，也可以在对所述拼接特征向量进行特征融合处理之后，再进行降维。

可选的，在所述深度神经网络模型的所述子特征向量降维与拼接层之后，设置拼接特征向量降维层，所述拼接特征向量降维层用于对所述拼接特征向量进行以下操作：

将所述拼接特征向量与所述拼接特征向量对应的M×N_low权重矩阵进行相乘。

将相乘得到的N_low维向量作为降维后的拼接特征向量，其中，N_low小于M。

以具体应用场景为在得到所述拼接特征向量后直接对所述拼接特征向量进行降维为例进行说明。

假设拼接特征向量的值为上述例子中的“a₄₁a₄₂a₄₃b₂₁b₂₂”，该拼接特征向量所对应的M×N_low权重矩阵的列数N_low为小于M＝5的值，例如为3。对应值为“a₄₁a₄₂a₄₃b₂₁b₂₂”的拼接特征向量的权重矩阵可以为5×3的权重矩阵，具体可以为 $\left[\begin{array}{ccc}{c}_{11}& c_{12}& c_{13}\\ c_{21}& c_{22}& c_{23}\\ c_{31}& c_{32}& c_{33}\\ c_{41}& c_{42}& c_{43}\\ c_{51}& c_{52}& c_{53}\end{array}\right],$ 与该拼接特征向量相乘：

$\begin{array}{c}\left[\begin{array}{ccccc}{a}_{41}& a_{42}& a_{43}& b_{21}& b_{22}\end{array}\right]\×\left[\begin{array}{ccc}{c}_{11}& c_{12}& c_{13}\\ c_{21}& c_{22}& c_{23}\\ c_{31}& c_{32}& c_{33}\\ c_{41}& c_{42}& c_{43}\\ c_{51}& c_{52}& c_{53}\end{array}\right]=\\ \left[\begin{array}{ccc}{a}_{41}{c}_{11}+...+b_{22}{c}_{51}& a_{41}{c}_{12}+...+b_{22}{c}_{52}& a_{41}{c}_{13}+...+b_{22}{c}_{53}\end{array}\right]\end{array}$

从上述例子可以看出，传统方式得到的拼接特征向量“0001010”的维度为7维，而通过本发明实施例所得到的拼接特征向量的维度为5维，而降维后的拼接特征向量的维度为3维。可见，通过对子特征向量的第一次降维，以及对拼接特征向量的第二次降维，降维后的拼接特征向量的维度得到了显著降低。在针对降维幅度很高的应用场景，如果直接通过一次降维就实现很高的降维幅度的话，可能会影响到后续的分析结果不够准确等问题。而如果采用本发明实施例所提供的二次降维方式，可以通过在对子特征向量的第一次降维过程中实现该降维幅度的一部分，通过在对拼接特征向量的第二次降维过程中再实现该降维幅度的另一部分，这样的使得每次的降维幅度平缓，使得特征的有效信息丢失较少，不会对后续的分析结果产生过大的影响。

在使用本发明实施例所提供的深度神经网络模型对分析对象进行实际分析预测的过程中，或者在使用本发明实施例所提供的深度神经网络模型进行实际操作之前，还可以对所述深度神经网络模型中所使用的参数进行调整，例如所述嵌入矩阵和所述权重矩阵中元素的值，以提高所述深度神经网络模型的准确性。可选的，本发明实施例提供了一种深度神经网络模型的模型训练方式。

在图1所对应实施例的基础上，图2为本发明实施例提供一种深度神经网络模型的模型训练方法的方法流程图，所述方法包括：

S201：比对所述在所述深度神经网络中继续对所述拼接特征向量进行处理得到的处理结果与所述分析对象的实际结果。

S202：若具有误差且所述误差大于预设阈值，对所述嵌入矩阵和所述权重矩阵中元素的值进行修正，进一步进行所述比对，直到根据所述比对得到的误差小于所述预设阈值为止。

举例说明，一般情况下，所述嵌入矩阵和所述权重矩阵中各个元素的初始值为随机产生的，也就是说，所述嵌入矩阵中N_i×M_i个元素的初始值为随机数。所述权重矩阵中M×N_low个元素的初始值为随机数。可以在训练过程中，在深度神经网络的多个层中，对训练数据从首层到末层进行正向处理，在正向处理结束时，取得该误差信息，也即S201中的比对处理结果和实际结果之间的差值，然后在再将该误差信息从末层到首层逐层进行反向处理，在反向处理的过程中，在需要进行参数修正的层会产生参数修正量，深度神经网络模型会根据该参数修正量对相应的层的模型参数进行修正。通过所述修正，可以改变所述嵌入矩阵和所述权重矩阵中各个元素的值。所述训练或者说所述修正可以在所述深度神经网络模型实际投入使用之前完成，也可以在所述深度神经网络模型实际投入使用的过程中逐步进行，也可以在所述深度神经网络模型实际投入使用之前进行一部分，在所述深度神经网络模型实际投入使用的过程中继续进行，本发明对此不限定。

示例性设备

在介绍了本发明示例性实施方式的方法之后，接下来，参考图3对与上述示例性方法对应的数据处理装置进行介绍。

参见图3，为本发明实施例提供的一种数据处理装置的装置结构图之一，所述装置包括：

获取单元310：配置用于获取分析对象的N个子特征向量，所述N个子特征向量为使用独热码分析所述分析对象的N个子特征对象后得到的，所述子特征向量与所述子特征对象一一对应，N为大于等于2的整数。

设置单元320：配置用于在深度神经网络模型中，设置子特征向量降维与拼接层，所述设置单元还包括第一降维子单元321和拼接子单元322，所述第一降维子单元321和拼接子单元322通过所述子特征向量降维与拼接层具体用于：

所述第一降维子单元321：配置用于对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，得到N个降维后的子特征向量；其中，所述第一降维子单元：具体配置用于确认第i个子特征向量中值为1的元素的位置，从与所述第i个子特征向量对应的N_i×M_i的嵌入矩阵中选择与所述位置对应的一行的M_i个元素的值作为降维后的所述第i个子特征向量中元素的值，其中，所述第i个子特征向量为所述N个子特征向量中的一个，N_i为所述第i个子特征向量的维度，M_i为降维后的所述第i个子特征向量的维度，M_i小于N_i；其中，i为1到N中的整数。

所述拼接子单元322：配置用于将所述N个降维后的子特征向量拼接为一个拼接特征向量，并在所述深度神经网络中继续对所述拼接特征向量进行处理，其中所述拼接特征向量的维度的值M为所述N个降维后的子特征向量的维度之和。

可见，对分析对象进行分析时，将分析得到的N个子特征向量拼接成一个拼接特征向量之前，分别对所述N个子特征向量通过对应的嵌入矩阵进行降维处理，以降低所述N个子特征向量的维度，再使用N个降维后的子特征向量拼接成一个拼接特征向量的维度将会比使用所述N个子特征向量拼接成一个拼接特征向量的维度要低，从而显著地降低了用于存储拼接特征向量的存储空间，减少了存储负担，并且减小了后续的运算量，为用户带来了更好的体验。

为了提高拼接后的所述拼接特征向量的融合性，还可以对所述拼接特征向量进行线性的和非线性的处理。可选的，在图3所对应实施例的基础上，图4为本发明实施例提供的一种数据处理装置的装置结构图之二，还包括：

融合单元410：配置用于在触发所述拼接子单元322之后，使用包括线性层结构和非线性结构的融合模块对所述拼接特征向量进行特征融合处理以提高所述拼接特征向量的融合性，其中，所述线性层结构包括M×M的权重矩阵，所述特征融合处理包括将所述拼接特征向量与所述M×M的权重矩阵相乘，得到相乘结果，再使用非线性结构对所述相乘结果向量进行非线性处理。

本发明实施例中除了提供对子特征向量的降维方案，还进一步提供了对所述拼接特征向量的降维方案。在本发明实施例中，可以在得到所述拼接特征向量后直接对所述拼接特征向量进行降维，也可以在对所述拼接特征向量进行特征融合处理之后，再进行降维。可选的，参见图4：

所述设置单元320：还配置用于在所述深度神经网络模型的所述子特征向量降维与拼接层之后，设置拼接特征向量降维层，所述设置单元320还包括第二降维子单元323，所述第二降维子单元323通过所述拼接特征向量降维层用于对所述拼接特征向量进行以下操作：

所述第二降维子单元323：配置用于将所述拼接特征向量与所述拼接特征向量对应的M×N_low权重矩阵进行相乘；将相乘得到的N_low维向量作为降维后的拼接特征向量，其中，N_low小于M。

在使用本发明实施例所提供的深度神经网络模型对分析对象进行实际分析预测的过程中，或者在使用本发明实施例所提供的深度神经网络模型进行实际操作之前，还可以对所述深度神经网络模型中所使用的参数进行调整，例如所述嵌入矩阵和所述权重矩阵中元素的值，以提高所述深度神经网络模型的准确性。可选的，图5为本发明实施例提供的一种深度神经网络模型的模型训练装置的装置结构图，包括：

比对单元510：配置用于比对所述在所述深度神经网络中继续对所述拼接特征向量进行处理得到的处理结果与所述分析对象的实际结果。

修正单元520：配置用于若所述比对单元的比对结果为具有误差且所述误差大于预设阈值，对所述嵌入矩阵和所述权重矩阵中元素的值进行修正，进一步进行所述比对，直到根据所述比对得到的误差小于所述预设阈值为止。

可选的于，所述嵌入矩阵中N_i×M_i个元素的初始值为随机数，并随着所述修正进行相应改变；所述权重矩阵中M×N_low个元素的初始值为随机数，并随着所述修正进行相应改变。

应当注意，尽管在上文详细描述中提及了一种数据处理装置的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取分析对象的N个子特征向量，所述N个子特征向量为使用独热码分析所述分析对象的N个子特征对象后得到的，所述子特征向量与所述子特征对象一一对应，N为大于等于2的整数；

在深度神经网络模型中，设置子特征向量降维与拼接层，所述子特征向量降维与拼接层具体用于：

对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，得到N个降维后的子特征向量；其中，所述对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，具体包括：

确认第i个子特征向量中值为1的元素的位置，从与所述第i个子特征向量对应的N_i×M_i的嵌入矩阵中选择与所述位置对应的一行的M_i个元素的值作为降维后的所述第i个子特征向量中元素的值，其中，所述第i个子特征向量为所述N个子特征向量中的一个，N_i为所述第i个子特征向量的维度，M_i为降维后的所述第i个子特征向量的维度，M_i小于N_i；其中，i为1到N中的整数；

将所述N个降维后的子特征向量拼接为一个拼接特征向量，并在所述深度神经网络中继续对所述拼接特征向量进行处理，其中所述拼接特征向量的维度的值M为所述N个降维后的子特征向量的维度之和。

2.根据权利要求1所述的方法，其特征在于，所述将所述N个降维后的子特征向量拼接为一个拼接特征向量之后，还包括：

使用包括线性层结构和非线性结构的融合模块对所述拼接特征向量进行特征融合处理以提高所述拼接特征向量的融合性，其中，所述线性层结构包括M×M的权重矩阵，所述特征融合处理包括将所述拼接特征向量与所述M×M的权重矩阵相乘，得到相乘结果，再使用非线性结构对所述相乘结果向量进行非线性处理。

3.根据权利要求1或2所述的方法，其特征在于，在所述深度神经网络模型的所述子特征向量降维与拼接层之后，设置拼接特征向量降维层，所述拼接特征向量降维层用于对所述拼接特征向量进行以下操作：

将所述拼接特征向量与所述拼接特征向量对应的M×N_low权重矩阵进行相乘；

将相乘得到的N_low维向量作为降维后的拼接特征向量，其中，N_low小于M。

4.根据权利要求3所述的方法，其特征在于，还包括：

比对所述在所述深度神经网络中继续对所述拼接特征向量进行处理得到的处理结果与所述分析对象的实际结果；

若具有误差且所述误差大于预设阈值，对所述嵌入矩阵和所述权重矩阵中元素的值进行修正，进一步进行所述比对，直到根据所述比对得到的误差小于所述预设阈值为止。

5.根据权利要求4所述的方法，其特征在于，

所述嵌入矩阵中N_i×M_i个元素的初始值为随机数，并随着所述修正进行相应改变；

所述权重矩阵中M×N_low个元素的初始值为随机数，并随着所述修正进行相应改变。

6.一种数据处理装置，其特征在于，所述装置包括：

获取单元：配置用于获取分析对象的N个子特征向量，所述N个子特征向量为使用独热码分析所述分析对象的N个子特征对象后得到的，所述子特征向量与所述子特征对象一一对应，N为大于等于2的整数；

设置单元：配置用于在深度神经网络模型中，设置子特征向量降维与拼接层，所述设置单元还包括第一降维子单元和拼接子单元，所述第一降维子单元和拼接子单元通过所述子特征向量降维与拼接层具体用于：

所述第一降维子单元：配置用于对所述N个子特征向量分别通过对应的嵌入矩阵进行降维处理，得到N个降维后的子特征向量；其中，所述第一降维子单元：具体配置用于确认第i个子特征向量中值为1的元素的位置，从与所述第i个子特征向量对应的N_i×M_i的嵌入矩阵中选择与所述位置对应的一行的M_i个元素的值作为降维后的所述第i个子特征向量中元素的值，其中，所述第i个子特征向量为所述N个子特征向量中的一个，N_i为所述第i个子特征向量的维度，M_i为降维后的所述第i个子特征向量的维度，M_i小于N_i；其中，i为1到N中的整数；

所述拼接子单元：配置用于将所述N个降维后的子特征向量拼接为一个拼接特征向量，并在所述深度神经网络中继续对所述拼接特征向量进行处理，其中所述拼接特征向量的维度的值M为所述N个降维后的子特征向量的维度之和。

7.根据权利要求6所述的装置，其特征在于，还包括：

融合单元：配置用于在触发所述拼接子单元之后，使用包括线性层结构和非线性结构的融合模块对所述拼接特征向量进行特征融合处理以提高所述拼接特征向量的融合性，其中，所述线性层结构包括M×M的权重矩阵，所述特征融合处理包括将所述拼接特征向量与所述M×M的权重矩阵相乘，得到相乘结果，再使用非线性结构对所述相乘结果向量进行非线性处理。

8.根据权利要求6或7所述的装置，其特征在于，

所述设置单元：还配置用于在所述深度神经网络模型的所述子特征向量降维与拼接层之后，设置拼接特征向量降维层，所述设置单元还包括第二降维子单元，所述第二降维子单元通过所述拼接特征向量降维层用于对所述拼接特征向量进行以下操作：

所述第二降维子单元：配置用于将所述拼接特征向量与所述拼接特征向量对应的M×N_low权重矩阵进行相乘；将相乘得到的N_low维向量作为降维后的拼接特征向量，其中，N_low小于M。

9.根据权利要求8所述的装置，其特征在于，还包括：

比对单元：配置用于比对所述在所述深度神经网络中继续对所述拼接特征向量进行处理得到的处理结果与所述分析对象的实际结果；

修正单元：配置用于若所述比对单元的比对结果为具有误差且所述误差大于预设阈值，对所述嵌入矩阵和所述权重矩阵中元素的值进行修正，进一步进行所述比对，直到根据所述比对得到的误差小于所述预设阈值为止。

10.根据权利要求9所述的装置，其特征在于，

所述嵌入矩阵中N_i×M_i个元素的初始值为随机数，并随着所述修正进行相应改变；

所述权重矩阵中M×N_low个元素的初始值为随机数，并随着所述修正进行相应改变。