CN105224984B - 一种基于深度神经网络的数据类别识别方法及装置 - Google Patents
一种基于深度神经网络的数据类别识别方法及装置 Download PDFInfo
- Publication number
- CN105224984B CN105224984B CN201410242182.3A CN201410242182A CN105224984B CN 105224984 B CN105224984 B CN 105224984B CN 201410242182 A CN201410242182 A CN 201410242182A CN 105224984 B CN105224984 B CN 105224984B
- Authority
- CN
- China
- Prior art keywords
- msub
- neutral net
- neural network
- function
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims description 150
- 238000012549 training Methods 0.000 claims description 127
- 230000007935 neutral effect Effects 0.000 claims description 126
- 238000004458 analytical method Methods 0.000 claims description 85
- 238000004422 calculation algorithm Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 22
- 230000001537 neural effect Effects 0.000 claims description 19
- 230000014509 gene expression Effects 0.000 claims description 13
- 210000005036 nerve Anatomy 0.000 claims description 11
- 230000017105 transposition Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000009412 basement excavation Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 143
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 210000004218 nerve net Anatomy 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 2
- 235000011613 Pinus brutia Nutrition 0.000 description 2
- 241000018646 Pinus brutia Species 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于深度神经网络的数据类别识别方法及装置，用以解决目前通过深度神经网络进行数据识别时，存在无法识别数据的类别信息的问题。本发明实施例中，在本地建立添加数据类别信息的深度神经网络，将待识别数据输入基于上述数据类别信息生成的深度神经网络的输入层中，获取该深度神经网络的输出层输出的待识别数据所属的类别信息。采用本发明技术方案，基于数据的类别信息建立深度神经网络，通过该深度神经网络，方便快捷地获得待识别数据的类别信息，从而实现了深度神经网络的类别识别功能，便于根据待识别数据的类别信息挖掘待识别数据的深层规律。
Description
技术领域
本发明涉及机器学习技术领域，尤其涉及一种基于深度神经网络的数据类别识别方法及装置。
背景技术
随着计算机技术的飞速发展，计算机的功能越来越强大，应用领域也越来越广泛。深度学习是机器学习过程中的一个新领域，目的在于建立以及模拟人脑进行分析学习的神经网络，通过该神经网络来识别数据所属的类别。
在深度学习中，“深度”主要是针对计算机数据处理能力较低时代的浅层神经网络学习而言，表示神经网络层数较多，且每一层神经元的数目较为庞大；“学习”即为通过训练令计算机等机器识别样本数据的特征，如图像信息，文本信息等。由此可见，深度学习使用神经网络从原始数据中提取数据的特征，而这些目前不可解释的特征往往使得分类效果更好。
目前，在对深度神经网络进行训练的过程中，每一层均采用无监督自编码器模型，采用无监督自编码器模型训练深度神经网络，能够最小化重建误差。但是，由于无监督自编码器模型中并没有样本数据的类别信息，导致最终得到的深度神经网络无法获取输入的样本数据分别对应的类别信息。
由此可见，目前通过深度神经网络进行数据识别时，存在无法识别数据的类别信息的问题。
发明内容
本发明实施例提供一种基于深度神经网络的数据类别识别方法及装置，用以解决目前通过深度神经网络进行数据识别时，存在无法识别数据的类别信息的问题。
本发明实施例提供的具体技术方案如下：
第一方面，提供一种基于深度神经网络的数据类别识别方法，包括：
建立初始深度神经网络；
根据输入的训练样本向量集合，在本地保存的初始线性类别分析函数中添加数据类别信息后，生成线性类别分析函数；
根据本地保存的无监督自编码模型优化函数，以及所述线性类别分析函数，获取所述初始深度神经网络的优化函数；
根据所述初始深度神经网络的优化函数，获取所述初始深度神经网络的参数；
根据本地保存的分类神经网络，所述初始深度神经网络，以及所述初始深度神经网络的参数，建立深度神经网络；其中，所述深度神经网络为至少包含输入层和输出层的多层网络结构；
将待识别数据输入所述深度神经网络的输入层，获取所述深度神经网络的输出层输出的所述待识别数据所属的类别信息。
结合第一方面，在第一种可能的实现方式中，对所述初始线性类别分析函数采用松弛算法进行松弛化处理，以及对所述输入的训练样本向量集合进行归一化处理；将归一化处理后的训练样本向量集合代入松弛化处理后的初始线性类别分析函数中，生成线性类别分析函数。
结合第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述线性类别分析函数为：其中，ζlda(W)为所述线性类别分析函数；W为深度神经网络的参数，且所述W为包含多个元素的矩阵，所述矩阵由对所述归一化处理后的训练样本向量集合的学习获得；wk为所述矩阵W中的任意一列向量；wT k为所述列向量wk的转置；xi和xj均为所述归一化处理后的训练样本向量集合中的训练样本向量；xj T为xj的转置；M为由至少一对属于不同类别的训练样本向量组成的向量对集合；C为由至少一对属于相同类别的训练样本向量组成的向量对集合；(xi,xj)∈M表示xi和xj属于不同类别；(xi,xj)∈C表示xi和xj属于相同类别；K为所述矩阵W包含的列向量的总数。
结合第一方面，第一方面第一种可能的实现方式，或者第一方面第二种可能的实现方式，在第三种可能的实现方式中，所述初始深度神经网络的优化函数为：ζ＝αζae(W)+(1-α)ζlda(W)，其中，α为所述初始深度神经网络的优化函数的系数，根据具体应用场景预先设置获取；ζae(W)为无监督自编码模型优化函数；ζlda(W)为所述线性类别分析函数；ζ为初始深度神经网络的优化函数。
结合第一方面，第一方面第一种可能的实现方式，第一方面第二种可能的实现方式，或者第一方面第三种可能的实现方式，在第四种可能的实现方式中，根据所述初始深度神经网络的优化函数，采用后向传播算法，获取所述初始深度神经网络的优化函数对应的梯度；根据所述初始深度神经网络的优化函数对应的梯度，采用梯度下降算法或者拟牛顿算法，获取所述初始深度神经网络的参数。
结合第一方面，第一方面第一种可能的实现方式，第一方面第二种可能的实现方式，第一方面第三种可能的实现方式，或者第一方面第四种可能的实现方式，在第五种可能的实现方式中，将所述分类神经网络叠加到所述初始深度神经网络上，生成叠加处理后的初始深度神经网络；根据所述初始深度神经网络的参数，以及所述叠加处理后的初始深度神经网络，采用后向传播算法，建立所述深度神经网络。
第二方面，提供一种基于深度神经网络的数据类别识别装置，包括：
第一建立单元，用于建立初始深度神经网络；
生成单元，用于根据输入的训练样本向量集合，在本地保存的初始线性类别分析函数中添加数据类别信息后，生成线性类别分析函数；
优化函数获取单元，用于根据本地保存的无监督自编码模型优化函数，以及所述线性类别分析函数，获取所述初始深度神经网络的优化函数；
参数获取单元，用于根据所述初始深度神经网络的优化函数，获取所述初始深度神经网络的参数；
第二建立单元，用于根据本地保存的分类神经网络，所述初始深度神经网络，以及所述初始深度神经网络的参数，建立深度神经网络；其中，所述深度神经网络为至少包含输入层和输出层的多层网络结构；
数据类别识别单元，用于将待识别数据输入所述深度神经网络的输入层，获取所述深度神经网络的输出层输出的所述待识别数据所属的类别信息。
结合第二方面，在第一种可能的实现方式中，所述生成单元，具体用于：对所述初始线性类别分析函数采用松弛算法进行松弛化处理，以及对所述输入的训练样本向量集合进行归一化处理；将归一化处理后的训练样本向量集合代入松弛化处理后的初始线性类别分析函数中，生成线性类别分析函数。
结合第二方面第一种可能的实现方式，在第二种可能的实现方式中，所述生成单元生成的所述线性类别分析函数为：其中，ζlda(W)为所述线性类别分析函数；W为深度神经网络的参数，且所述W为包含多个元素的矩阵，所述矩阵由对所述归一化处理后的训练样本向量集合的学习获得；wk为所述矩阵W中的任意一列向量；wT k为所述列向量wk的转置；xi和xj均为所述归一化处理后的训练样本向量集合中的训练样本向量；xj T为xj的转置；M为由至少一对属于不同类别的训练样本向量组成的向量对集合；C为由至少一对属于相同类别的训练样本向量组成的向量对集合；(xi,xj)∈M表示xi和xj属于不同类别；(xi,xj)∈C表示xi和xj属于相同类别；K为所述矩阵W包含的列向量的总数。
结合第二方面，第二方面第一种可能的实现方式，或者第二方面第二种可能的实现方式，在第三种可能的实现方式中，所述优化函数获取单元获取的所述初始深度神经网络的优化函数为：ζ＝αζae(W)+(1-α)ζlda(W)，其中，α为所述初始深度神经网络的优化函数的系数，根据具体应用场景预先设置获取；ζae(W)为无监督自编码模型优化函数；ζlda(W)为所述线性类别分析函数；ζ为初始深度神经网络的优化函数。
结合第二方面，第二方面第一种可能的实现方式，第二方面第二种可能的实现方式，或者第二方面第三种可能的实现方式，在第四种可能的实现方式中，所述参数获取单元，具体用于：根据所述初始深度神经网络的优化函数，采用后向传播算法，获取所述初始深度神经网络的优化函数对应的梯度；根据所述初始深度神经网络的优化函数对应的梯度，采用梯度下降算法或者拟牛顿算法，获取所述初始深度神经网络的参数。
结合第二方面，第二方面第一种可能的实现方式，第二方面第二种可能的实现方式，第二方面第三种可能的实现方式，或者第二方面第四种可能的实现方式，在第五种可能的实现方式中，所述第二建立单元，具体用于：将所述分类神经网络叠加到所述初始深度神经网络上，生成叠加处理后的初始深度神经网络；根据所述初始深度神经网络的参数，以及所述叠加处理后的初始深度神经网络，采用后向传播算法，建立所述深度神经网络。
本发明实施例中，在本地建立添加数据类别信息的深度神经网络，将待识别数据输入基于上述数据类别信息生成的深度神经网络的输入层中，获取该深度神经网络的输出层输出的待识别数据所属的类别信息。采用本发明技术方案，基于数据的类别信息建立深度神经网络，通过该深度神经网络，方便快捷地获得待识别数据的类别信息，从而实现了深度神经网络的类别识别功能，便于根据待识别数据的类别信息挖掘待识别数据的深层规律。
附图说明
图1为本发明实施例中深度神经网络建立流程图；
图2为本发明实施例中基于深度神经网络进行数据类别识别流程图；
图3为本发明实施例中深度神经网络结构示意图；
图4为本发明实施例中基于深度神经网络的数据类别识别装置结构示意图；
图5为本发明实施例中基于深度神经网络的数据类别识别设备结构示意图。
具体实施方式
为了解决目前通过深度神经网络进行数据识别时，存在无法识别数据的类别信息的问题。本发明实施例中，在本地建立添加数据类别信息的深度神经网络，将待识别数据输入基于上述数据类别信息生成的深度神经网络的输入层中，获取该深度神经网络的输出层输出的待识别数据所属的类别信息。采用本发明技术方案，基于数据的类别信息建立深度神经网络，通过该深度神经网络，方便快捷地获得待识别数据的类别信息，从而实现了深度神经网络的类别识别功能，便于根据待识别数据的类别信息挖掘待识别数据的深层规律。
下面结合说明书附图对本发明实施例作进一步详细描述。
在对待识别数据进行类别识别之前，需要在本地建立深度神经网络。参阅图1所示，建立深度神经网络的过程为：
步骤100：建立初始深度神经网络。
步骤110：根据输入的训练样本向量集合，在本地保存的初始线性类别分析函数中添加数据类别信息后，生成线性类别分析函数。
本发明实施例中，接收输入的训练样本向量集合(记为X)，每一个训练样本向量集合可以表示为X＝{x1，x2，…，xi，…，xn}，该训练样本向量集合X中的每一个训练样本向量xi均表示一个包含多个训练样本数据的向量，且该训练样本向量xi对应多个维度，例如，上述训练样本向量集合X中的训练样本向量xi可以表示为：xi＝{xi1，xi2，…，xid}，d为训练样本向量xi的维数。上述训练样本向量集合对应的类别信息集合(记为Y)也可以表示为：Y＝{y1，y2，…，yj，…，yn}，该类别信息集合中的每一个元素均为已知。可选的，上述训练样本集合X中的每一个训练样本向量均拥有自身对应的类别信息，类别信息集合Y中包含的每一个元素(yj)均表示一种类别信息；训练样本集合X中的每一个训练样本向量对应的类别信息即包含在类别信息集合Y中，如训练样本向量x1对应的类别信息即为元素y1，训练样本向量x2对应的类别信息即为元素y2，以此类推，训练样本向量xn对应的类别信息即为元素yn。
可选的，对输入的训练样本向量集合X中的训练样本向量进行归一化处理，使所有训练样本向量中的训练样本数据的值均小于等于一且大于等于零。采用上述技术方案，将训练样本向量集合中的训练样本数据进行归一化处理，使训练样本向量集合中的每一个训练样本数据均在预设范围内，从而避免了后期在对深度神经网络建立过程中，存在数量量纲不一致的问题，保证了建立的深度神经网络的准确性。
可选的，获取本地保存的初始线性类别分析函数，该初始线性类别分析函数可以用如下公式表示：
其中，为初始线性类别分析函数；W′为初始线性类别分析函数对应的矩阵；wk′为上述矩阵W中的任意一列向量；wk′ T为上述wk′的转置；ν(k)为第k类训练样本向量的均值；ν为所有训练样本向量的均值；Nk为第k类训练样本向量的个数；c为训练样本向量对应的类别数目；为第k类的一个训练样本向量；(v(k)-v)T为(v(k)-v)的转置；为的转置。
可选的，对上述初始线性类别分析函数进行松弛化处理，即在保证数据分类结果精确度的情况下，放松经典的初始线性类别分析函数中的限制条件；并将归一化处理后的训练样本向量集合代入上述松弛化处理后的初始线性类别分析函数中，生成线性类别分析函数。该生成的线性类别分析函数可以采用如下公式表示：
其中，ζlda(W)为线性类别分析函数；W为深度神经网络对应的矩阵，即为深度神经网络的参数，由对归一化处理后的训练样本向量集合的学习获得；wk为上述矩阵W中的任意一列向量，由对归一化处理后的训练样本向量集合的学习获得；wT k为列向量wk的转置，由对归一化处理后的训练样本向量集合的学习获得；xi、xj、xi＇和xj＇均为上述归一化处理后的训练样本向量集合X中的样本向量；xj T为xj的转置，xj＇T为xj＇的转置；M为由至少一对属于不同类别的训练样本向量组成的向量对集合，该集合M中包含的所有训练样本向量对均属于同一个类别，例如，M可以表示为{(x1，x2)，…，(xn-1，xn)}，x1和x2同属于同一个类别，xn-1和xn同属于同一个类别；C为由至少一对属于相同类别的训练样本向量组成的向量对集合，该集合C中包含的所有训练样本向量对均属于不同类别；(xi,xj)∈M表示xi和xj属于不同类别，即xi对应的类别信息yi，与xj对应的类别信息yj不同；(xi′,xj′)∈C示xi＇和xj＇属于相同类别，即xi＇对应的类别信息yi，与xj＇对应的类别信息yj相同；K为矩阵W中包含的列向量wk的数目，由对训练样本向量集合的学习获得。
采用上述技术方案，由于训练样本向量集合对应的类别信息为已知，即训练样本对应的类别信息集合Y为已知，因此，在公示二中，(xi′,xj′)∈C和(xi,xj)∈M均需要应用到训练样本向量所属类别信息即表示从类别信息集合Y中获取训练向量对应的类别信息，并分别判断训练向量是否属于相同类别，由此可见，在生成的线性类别分析函数中包含数据类别信息，从而使生成的深度神经网络能够识别待识别数据所属的类别信息。
上述对线性类别分析函数的计算中，仅采用训练样本向量集合X中的部分训练样本向量(如x1，x2)即可，无须采用所有训练样本向量计算获得，且上述由训练样本向量集合X中选取哪些训练样本向量作为部分训练样本向量可以根据具体情况预先配置。
采用上述技术方案，对本地保存的初始线性类别分析函数进行松弛化处理，模糊深度神经网络建立过程中的函数对应的限制条件，避免了现有技术中初始线性类别分析函数存在的计算量大的问题，在保证建立的深度神经网络识别数据类别的准确度的基础上，有效降低了计算复杂度。
步骤120：根据本地保存的无监督自编码模型优化函数，以及上述线性类别分析函数，获取上述初始深度神经网络的优化函数。
本发明实施例中，本地保存的无监督自编码模型优化函数采用如下公式表示：
其中，ζae(W)为无监督自编码模型优化函数；W为深度神经网络的参数，且该参数为包含多个元素的矩阵，由对归一化处理后的训练样本向量集合的学习获得；xi为归一化处理后的训练样本向量集合中的训练样本向量；为对归一化处理后的训练样本向量集合进行重建后获取的重建训练样本向量集合中的训练样本向量；n为归一化处理后的训练样本向量集合中包含的训练样本向量数目。
可选的，上述可以采用如下两个公式中的任意一种表示：
其中，xi为归一化处理后的训练样本向量集合中的训练样本向量；为对归一化处理后的训练样本向量集合进行重建后获取的重建训练样本向量集合中的训练样本向量；表示xi与之间的欧氏距离。
可选的，上述公式三至公式五中的可以用如下公式表示：
其中，Sg和Sf均为激励函数，且Sg和Sf均为sigmoid函数或者tanh(双曲正切)函数；b和c为偏移向量，该值通过对训练样本集合X的学习获得，或者，将b和c均设置为0；WT为矩阵W的转置。
可选的，将线性类别分析函数集成到上述无监督自编码模型化函数中，生成初始深度神经网络的优化函数。其中，将线性类别分析函数集成到上述无监督自编码模型化函数中，生成的初始深度神经网络的优化函数可以采用如下公式表示：
其中，α为初始深度神经网络的优化函数的系数，根据具体应用场景预先设置获取，α大于等于0且小于等于1；ζae(W)为无监督自编码模型优化函数；ζlda(W)为线性类别分析函数；ζ为初始深度神经网络的优化函数。
步骤130：根据上述初始深度神经网络的优化函数，获取初始初始深度神经网络的参数。
本发明实施例中，根据上述获取的初始深度神经网络的优化函数，获取初始深度神经网络的参数的过程，具体为：采用后向传播算法，获取上述初始深度神经网络的优化函数对应的梯度；根据上述初始深度神经网络优化函数的梯度，采用梯度下降算法或者拟牛顿算法，获取上述初始深度神经网络的参数(W，b和c)。
步骤140：根据本地保存的分类神经网络，初始深度神经网络，以及上述初始深度神经网络的参数，建立深度神经网络。
本发明实施例中，将本地保存的分类神经网络叠加到上述初始深度神经网络上；根据叠加处理后的初始深度神经网络，采用后向传播算法，建立深度神经网络。其中，该深度神经网络为至少包含输入层和输出层的多层网络结构；并且，上述深度神经网络的参数基于上述初始深度神经网络的参数；上述分类神经网络为多层感知器模型或者逻辑回归模型。
可选的，将本地保存的分类神经网络叠加到上述初始深度神经网络上的过程，具体为：采用后向传播算法，对公式七表示的初始深度神经网络进行优化处理，得到一层神经网络的参数，计算S(Wxi+b)的结果，并将该计算结果作为下一层神经网络的输入，其中，S为sigmoid函数或者tanh(双曲正切)函数；重复上述过程L次，即可建立一个包含L层的神经网络的深度神经网络。
可选的，生成的深度神经网络对应的函数可以通过如下公式表示：
κ＝S{WLS[WL-1S(W2S(W1xi))]} 公式八
其中，κ为深度神经网络对应的函数；W1、W2、L、WL为深度神经网络中不同层级神经网络的参数，其的初始值根据上述对训练样本集合中的学习获取。针对上述对应初始值的W1、W2、L、WL，采用后向传播算法，对W1,W2,…,WL进一步迭代优化，得到最后的深度神经网络。
参阅图2所示，本发明实施例中，基于深度神经网络进行数据类别识别流程为：
步骤200：接收输入的待识别数据。
本发明实施例中，接收用户输入的待识别数据，或者，接收其他设备发送的待识别数据；其中，接收待识别数据的设备为包含数据处理能力的设备，以下以计算机对上述待识别数据进行处理为例进行详细介绍。
步骤210：将待识别数据输入深度神经网络的输入层，获取该深度神经网络的输出层输出的待识别数据所属的类别信息。
本发明实施例中，当计算机接收到上述待识别数据时，即将待识别数据输入本地保存的深度神经网络，通过该深度神经网络获取待识别数据的类别信息。其中，参阅图3所示，上述深度神经网络为至少包含输入层和输出层的多层网络结构，输入层用于接收原始待识别数据，输出层用于将识别出的类别信息输出，而输入层和输出层之间包含至少一个隐藏层，用于对上述待识别数据进行处理。
基于上述已经建立的深度神经网络，获取待识别数据所属的类别信息。
采用上述技术方案，在深度神经网络中集成了数据类别信息，克服了现有技术中原始模型只优化最小重建误差而不考虑样本类别分布特点的缺点，实现了深度神经网络对待识别数据所属类别信息的识别过程。
基于上述技术方案，参阅图4所示，本发明实施例还提供一种基于深度神经网络的数据类别识别装置，包括第一建立单元40，生成单元41，优化函数获取单元42，参数获取单元43，第二建立单元44，数据类别识别单元45，其中：
第一建立单元40，用于建立初始深度神经网络；
生成单元41，用于根据输入的训练样本向量集合，在本地保存的初始线性类别分析函数中添加数据类别信息后，生成线性类别分析函数；
优化函数获取单元42，用于根据本地保存的无监督自编码模型优化函数，以及所述线性类别分析函数，获取所述初始深度神经网络的优化函数；
参数获取单元43，用于根据所述初始深度神经网络的优化函数，获取所述初始深度神经网络的参数；
第二建立单元44，用于根据本地保存的分类神经网络，所述初始深度神经网络，以及所述初始深度神经网络的参数，建立深度神经网络；其中，所述深度神经网络为至少包含输入层和输出层的多层网络结构；
数据类别识别单元45，用于将待识别数据输入所述深度神经网络的输入层，获取所述深度神经网络的输出层输出的所述待识别数据所属的类别信息。
所述生成单元41，具体用于：对所述初始线性类别分析函数采用松弛算法进行松弛化处理，以及对所述输入的训练样本向量集合进行归一化处理；将归一化处理后的训练样本向量集合代入松弛化处理后的初始线性类别分析函数中，生成线性类别分析函数。
采用上述技术方案，对本地保存的初始线性类别分析函数进行松弛化处理，模糊深度神经网络建立过程中的函数对应的限制条件，避免了现有技术中初始线性类别分析函数存在的计算量大的问题，在保证建立的深度神经网络识别数据类别的准确度的基础上，有效降低了计算复杂度。
所述生成单元41生成的所述线性类别分析函数为：其中，ζlda(W)为所述线性类别分析函数；W为深度神经网络的参数，且所述W为包含多个元素的矩阵，所述矩阵由对所述归一化处理后的训练样本向量集合的学习获得；wk为所述矩阵W中的任意一列向量；wT k为所述列向量wk的转置；xi和xj均为所述归一化处理后的训练样本向量集合中的训练样本向量；xj T为xj的转置；M为由至少一对属于不同类别的训练样本向量组成的向量对集合；C为由至少一对属于相同类别的训练样本向量组成的向量对集合；(xi,xj)∈M表示xi和xj属于不同类别；(xi,xj)∈C表示xi和xj属于相同类别；K为所述矩阵W包含的列向量的总数。
采用上述技术方案，由于训练样本向量集合对应的类别信息为已知，即训练样本对应的类别信息集合Y为已知，因此，在生成线性类别分析函数时，初始线性类别分析函数公式中的(xi,xj)∈C和(xi,xj)∈M均需要应用到训练样本向量所属类别信息即表示从类别信息集合Y中获取训练向量xi对应的yi，以及训练向量xj对应的yj，并分别判断xi和xj是否属于相同类别，由此可见，在生成的线性类别分析函数中包含数据类别信息，从而使生成的深度神经网络能够识别待识别数据所属的类别信息。
所述优化函数获取单元42获取的所述初始深度神经网络的优化函数为：ζ＝αζae(W)+(1-α)ζlda(W)，其中，α为所述初始深度神经网络的优化函数的系数，根据具体应用场景预先设置获取；ζae(W)为无监督自编码模型优化函数；ζlda(W)为所述线性类别分析函数；ζ为初始深度神经网络的优化函数。
所述参数获取单元43，具体用于：根据所述初始深度神经网络的优化函数，采用后向传播算法，获取所述初始深度神经网络的优化函数对应的梯度；根据所述初始深度神经网络的优化函数对应的梯度，采用梯度下降算法或者拟牛顿算法，获取所述初始深度神经网络的参数。
所述第二建立单元44，具体用于：将所述分类神经网络叠加到所述初始深度神经网络上，生成叠加处理后的初始深度神经网络；根据所述初始深度神经网络的参数，以及所述叠加处理后的初始深度神经网络，采用后向传播算法，建立所述深度神经网络。
采用上述技术方案，基于数据的类别信息建立深度神经网络，从而实现了深度神经网络的类别识别功能，便于根据待识别数据的类别信息挖掘待识别数据的深层规律。
基于上述技术方案，参阅图5所示，本发明实施例还提供一种基于深度神经网络的数据类别识别设备，包括处理器50，以及收发器51，其中：
处理器50，用于建立初始深度神经网络；
处理器50，还用于根据输入的训练样本向量集合，在本地保存的初始线性类别分析函数中添加数据类别信息后，生成线性类别分析函数；
处理器50，还用于根据本地保存的无监督自编码模型优化函数，以及所述线性类别分析函数，获取所述初始深度神经网络的优化函数；
处理器50，还用于根据所述初始深度神经网络的优化函数，获取所述初始深度神经网络的参数；
处理器50，还用于根据本地保存的分类神经网络，所述初始深度神经网络，以及所述初始深度神经网络的参数，建立深度神经网络；其中，所述深度神经网络为至少包含输入层和输出层的多层网络结构；
收发器51，用于接收输入的待识别数据；
处理器50，还用于将待识别数据输入所述深度神经网络的输入层，获取所述深度神经网络的输出层输出的所述待识别数据所属的类别信息。
可选的，处理器50，具体用于：对所述初始线性类别分析函数采用松弛算法进行松弛化处理，以及对所述输入的训练样本向量集合进行归一化处理；将归一化处理后的训练样本向量集合代入松弛化处理后的初始线性类别分析函数中，生成线性类别分析函数。
采用上述技术方案，对本地保存的初始线性类别分析函数进行松弛化处理，模糊深度神经网络建立过程中的函数对应的限制条件，避免了现有技术中初始线性类别分析函数存在的计算量大的问题，在保证建立的深度神经网络识别数据类别的准确度的基础上，有效降低了计算复杂度。
可选的，处理器50，具体用于：生成的所述线性类别分析函数为，其中，ζlda(W)为所述线性类别分析函数；W为深度神经网络的参数，且所述W为包含多个元素的矩阵，所述矩阵由对所述归一化处理后的训练样本向量集合的学习获得；wk为所述矩阵W中的任意一列向量；wT k为所述列向量wk的转置；xi和xj均为所述归一化处理后的训练样本向量集合中的训练样本向量；xj T为xj的转置；M为由至少一对属于不同类别的训练样本向量组成的向量对集合；C为由至少一对属于相同类别的训练样本向量组成的向量对集合；(xi,xj)∈M表示xi和xj属于不同类别；(xi,xj)∈C表示xi和xj属于相同类别；K为所述矩阵W包含的列向量的总数。
采用上述技术方案，由于训练样本向量集合对应的类别信息为已知，即训练样本对应的类别信息集合Y为已知，因此，在生成线性类别分析函数时，初始线性类别分析函数公式中的(xi,xj)∈C和(xi,xj)∈M均需要应用到训练样本向量所属类别信息即表示从类别信息集合Y中获取训练向量xi对应的yi，以及训练向量xj对应的yj，并分别判断xi和xj是否属于相同类别，由此可见，在生成的线性类别分析函数中包含数据类别信息，从而使生成的深度神经网络能够识别待识别数据所属的类别信息。
可选的，处理器50，具体用于：获取的所述初始深度神经网络的优化函数为，ζ＝αζae(W)+(1-α)ζlda(W)，其中，α为所述初始深度神经网络的优化函数的系数，根据具体应用场景预先设置获取；ζae(W)为无监督自编码模型优化函数；ζlda(W)为所述线性类别分析函数；ζ为初始深度神经网络的优化函数。
可选的，处理器50，具体用于：根据所述初始深度神经网络的优化函数，采用后向传播算法，获取所述初始深度神经网络的优化函数对应的梯度；根据所述初始深度神经网络的优化函数对应的梯度，采用梯度下降算法或者拟牛顿算法，获取所述初始深度神经网络的参数。
可选的，处理器50，具体用于：将所述分类神经网络叠加到所述初始深度神经网络上，生成叠加处理后的初始深度神经网络；根据所述初始深度神经网络的参数，以及所述叠加处理后的初始深度神经网络，采用后向传播算法，建立所述深度神经网络。
采用上述技术方案，基于数据的类别信息建立深度神经网络，从而实现了深度神经网络的类别识别功能，便于根据待识别数据的类别信息挖掘待识别数据的深层规律。
综上所述，建立初始深度神经网络；根据输入的训练样本向量集合，在本地保存的初始线性分析函数中添加数据类别信息后，生成线性类别分析函数；根据本地保存的无监督自编码模型优化函数，以及上述线性类别分析函数，获取上述初始深度神经网络的优化函数；根据上述初始深度神经网络的优化函数，获取初始初始深度神经网络的参数；根据本地保存的分类神经网络，初始深度神经网络，以及上述初始深度神经网络的参数，建立深度神经网络；将待识别数据输入深度神经网络的输入层，获取该深度神经网络的输出层输出的待识别数据所属的类别信息。采用本发明技术方案，基于数据的类别信息建立深度神经网络，通过该深度神经网络，方便快捷地获得待识别数据的类别信息，从而实现了深度神经网络的类别识别功能，便于根据待识别数据的类别信息挖掘待识别数据的深层规律。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于深度神经网络的数据类别识别方法，其特征在于，包括：
建立初始深度神经网络；
根据输入的训练样本向量集合，在本地保存的初始线性类别分析函数中添加数据类别信息后，生成线性类别分析函数；
根据本地保存的无监督自编码模型优化函数，以及所述线性类别分析函数，获取所述初始深度神经网络的优化函数；
根据所述初始深度神经网络的优化函数，获取所述初始深度神经网络的参数；
根据本地保存的分类神经网络，所述初始深度神经网络，以及所述初始深度神经网络的参数，建立深度神经网络；其中，所述深度神经网络为至少包含输入层和输出层的多层网络结构；
将待识别数据输入所述深度神经网络的输入层，获取所述深度神经网络的输出层输出的所述待识别数据所属的类别信息；
所述根据本地保存的无监督自编码模型优化函数，以及所述线性类别分析函数，获取所述初始深度神经网络的优化函数为：
ζ＝αζae(W)+(1-α)ζlda(W)
其中，α为所述初始深度神经网络的优化函数的系数，根据具体应用场景预先设置获取；ζae(W)为无监督自编码模型优化函数；ζlda(W)为所述线性类别分析函数；ζ为初始深度神经网络的优化函数。
2.如权利要求1所述的方法，其特征在于，所述根据输入的训练样本向量集合，在保存的初始线性类别分析函数中添加数据类别信息后，生成线性类别分析函数，具体包括：
对所述初始线性类别分析函数采用松弛算法进行松弛化处理，以及对所述输入的训练样本向量集合进行归一化处理；
将归一化处理后的训练样本向量集合代入松弛化处理后的初始线性类别分析函数中，生成线性类别分析函数。
3.如权利要求2所述的方法，其特征在于，所述线性类别分析函数为：
<mrow>
<msub>
<mi>&zeta;</mi>
<mrow>
<mi>l</mi>
<mi>d</mi>
<mi>a</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<mo>{</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>&Element;</mo>
<mi>M</mi>
<mo>)</mo>
</mrow>
</munder>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>&Element;</mo>
<mi>C</mi>
<mo>)</mo>
</mrow>
</munder>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<msup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<msup>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>&prime;</mo>
<mi>T</mi>
</mrow>
</msup>
<msub>
<mi>w</mi>
<mi>k</mi>
</msub>
<mo>}</mo>
</mrow>
其中，ζlda(W)为所述线性类别分析函数；W为深度神经网络的参数，且所述W为包含多个元素的矩阵，所述矩阵由对所述归一化处理后的训练样本向量集合的学习获得；wk为所述矩阵W中的任意一列向量；wT k为所述列向量wk的转置；xi、xj、xi＇和xj＇均为所述归一化处理后的训练样本向量集合中的训练样本向量；xj T为xj的转置，xj＇T为xj＇的转置；M为由至少一对属于不同类别的训练样本向量组成的向量对集合；C为由至少一对属于相同类别的训练样本向量组成的向量对集合；(xi,xj)∈M表示xi和xj属于不同类别；(xi′,xj′)∈C表示xi＇和xj＇属于相同类别；K为所述矩阵W包含的列向量的总数。
4.如权利要求1至3任一项所述的方法，其特征在于，所述根据所述初始深度神经网络的优化函数，获取所述初始深度神经网络的参数，具体包括：
根据所述初始深度神经网络的优化函数，采用后向传播算法，获取所述初始深度神经网络的优化函数对应的梯度；
根据所述初始深度神经网络的优化函数对应的梯度，采用梯度下降算法或者拟牛顿算法，获取所述初始深度神经网络的参数。
5.如权利要求1所述的方法，其特征在于，所述根据本地保存的分类神经网络，所述初始深度神经网络，以及所述初始深度神经网络的参数，建立深度神经网络，具体包括：
将所述分类神经网络叠加到所述初始深度神经网络上，生成叠加处理后的初始深度神经网络；
根据所述初始深度神经网络的参数，以及所述叠加处理后的初始深度神经网络，采用后向传播算法，建立所述深度神经网络。
6.一种基于深度神经网络的数据类别识别装置，其特征在于，包括：
第一建立单元，用于建立初始深度神经网络；
生成单元，用于根据输入的训练样本向量集合，在本地保存的初始线性类别分析函数中添加数据类别信息后，生成线性类别分析函数；
优化函数获取单元，用于根据本地保存的无监督自编码模型优化函数，以及所述线性类别分析函数，获取所述初始深度神经网络的优化函数；
参数获取单元，用于根据所述初始深度神经网络的优化函数，获取所述初始深度神经网络的参数；
第二建立单元，用于根据本地保存的分类神经网络，所述初始深度神经网络，以及所述初始深度神经网络的参数，建立深度神经网络；其中，所述深度神经网络为至少包含输入层和输出层的多层网络结构；
数据类别识别单元，用于将待识别数据输入所述深度神经网络的输入层，获取所述深度神经网络的输出层输出的所述待识别数据所属的类别信息；
所述优化函数获取单元获取的所述初始深度神经网络的优化函数为：
ζ＝αζae(W)+(1-α)ζlda(W)
其中，α为所述初始深度神经网络的优化函数的系数，根据具体应用场景预先设置获取；ζae(W)为无监督自编码模型优化函数；ζlda(W)为所述线性类别分析函数；ζ为初始深度神经网络的优化函数。
7.如权利要求6所述的装置，其特征在于，所述生成单元，具体用于：
对所述初始线性类别分析函数采用松弛算法进行松弛化处理，以及对所述输入的训练样本向量集合进行归一化处理；将归一化处理后的训练样本向量集合代入松弛化处理后的初始线性类别分析函数中，生成线性类别分析函数。
8.如权利要求7所述的装置，其特征在于，所述生成单元生成的所述线性类别分析函数为：
<mrow>
<msub>
<mi>&zeta;</mi>
<mrow>
<mi>l</mi>
<mi>d</mi>
<mi>a</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>W</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<mo>{</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>&Element;</mo>
<mi>M</mi>
<mo>)</mo>
</mrow>
</munder>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>w</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>,</mo>
<msup>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>&Element;</mo>
<mi>C</mi>
<mo>)</mo>
</mrow>
</munder>
<msubsup>
<mi>w</mi>
<mi>k</mi>
<mi>T</mi>
</msubsup>
<msup>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<msup>
<msub>
<mi>x</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>&prime;</mo>
<mi>T</mi>
</mrow>
</msup>
<msub>
<mi>w</mi>
<mi>k</mi>
</msub>
<mo>}</mo>
</mrow>
其中，ζlda(W)为所述线性类别分析函数；W为深度神经网络的参数，且所述W为包含多个元素的矩阵，所述矩阵由对所述归一化处理后的训练样本向量集合的学习获得；wk为所述矩阵W中的任意一列向量；wT k为所述列向量wk的转置；xi、xj、xi＇和xj＇均为所述归一化处理后的训练样本向量集合中的训练样本向量；xj T为xj的转置，xj＇T为xj＇的转置；M为由至少一对属于不同类别的训练样本向量组成的向量对集合；C为由至少一对属于相同类别的训练样本向量组成的向量对集合；(xi,xj)∈M表示xi和xj属于不同类别；(xi′,xj′)∈C表示xi＇和xj＇属于相同类别；K为所述矩阵W包含的列向量的总数。
9.如权利要求6至8任一项所述的装置，其特征在于，所述参数获取单元，具体用于：
根据所述初始深度神经网络的优化函数，采用后向传播算法，获取所述初始深度神经网络的优化函数对应的梯度；根据所述初始深度神经网络的优化函数对应的梯度，采用梯度下降算法或者拟牛顿算法，获取所述初始深度神经网络的参数。
10.如权利要求6所述的装置，其特征在于，所述第二建立单元，具体用于：
将所述分类神经网络叠加到所述初始深度神经网络上，生成叠加处理后的初始深度神经网络；根据所述初始深度神经网络的参数，以及所述叠加处理后的初始深度神经网络，采用后向传播算法，建立所述深度神经网络。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410242182.3A CN105224984B (zh) | 2014-05-31 | 2014-05-31 | 一种基于深度神经网络的数据类别识别方法及装置 |
| PCT/CN2014/089591 WO2015180397A1 (zh) | 2014-05-31 | 2014-10-27 | 一种基于深度神经网络的数据类别识别方法及装置 |
| US14/944,294 US10296827B2 (en) | 2014-05-31 | 2015-11-18 | Data category identification method and apparatus based on deep neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410242182.3A CN105224984B (zh) | 2014-05-31 | 2014-05-31 | 一种基于深度神经网络的数据类别识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105224984A CN105224984A (zh) | 2016-01-06 |
| CN105224984B true CN105224984B (zh) | 2018-03-13 |
Family
ID=54698006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410242182.3A Active CN105224984B (zh) | 2014-05-31 | 2014-05-31 | 一种基于深度神经网络的数据类别识别方法及装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10296827B2 (zh) |
| CN (1) | CN105224984B (zh) |
| WO (1) | WO2015180397A1 (zh) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133865B (zh) * | 2016-02-29 | 2021-06-01 | 阿里巴巴集团控股有限公司 | 一种信用分的获取、特征向量值的输出方法及其装置 |
| US11657267B2 (en) * | 2016-07-21 | 2023-05-23 | Denso It Laboratory, Inc. | Neural network apparatus, vehicle control system, decomposition device, and program |
| CN106407333B (zh) * | 2016-09-05 | 2020-03-03 | 北京百度网讯科技有限公司 | 基于人工智能的口语查询识别方法及装置 |
| US11205103B2 (en) | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
| US9990687B1 (en) * | 2017-01-19 | 2018-06-05 | Deep Learning Analytics, LLC | Systems and methods for fast and repeatable embedding of high-dimensional data objects using deep learning with power efficient GPU and FPGA-based processing platforms |
| CN106845418A (zh) * | 2017-01-24 | 2017-06-13 | 北京航空航天大学 | 一种基于深度学习的高光谱图像分类方法 |
| TWI753034B (zh) | 2017-03-31 | 2022-01-21 | 香港商阿里巴巴集團服務有限公司 | 特徵向量的產生、搜索方法、裝置及電子設備 |
| US11392827B1 (en) * | 2017-07-19 | 2022-07-19 | United States Of America As Represented By The Secretary Of The Navy | Deeper learning from the real-time transformative correction of and reasoning from neural network outputs |
| CN107507611B (zh) * | 2017-08-31 | 2021-08-24 | 苏州大学 | 一种语音分类识别的方法及装置 |
| CN109688351B (zh) | 2017-10-13 | 2020-12-15 | 华为技术有限公司 | 一种图像信号处理方法、装置及设备 |
| CN108108351B (zh) * | 2017-12-05 | 2020-05-22 | 华南理工大学 | 一种基于深度学习组合模型的文本情感分类方法 |
| CN108120900B (zh) * | 2017-12-22 | 2020-02-11 | 北京映翰通网络技术股份有限公司 | 一种配电网故障定位方法及系统 |
| CN108573277A (zh) * | 2018-03-12 | 2018-09-25 | 北京交通大学 | 一种受电弓碳滑板表面病害自动识别系统及方法 |
| CN108416440A (zh) * | 2018-03-20 | 2018-08-17 | 上海未来伙伴机器人有限公司 | 一种神经网络的训练方法、物体识别方法及装置 |
| CN108805195A (zh) * | 2018-04-03 | 2018-11-13 | 北京理工大学 | 一种基于二值深层神经网络的电机群故障诊断方法 |
| CN108564326B (zh) * | 2018-04-19 | 2021-12-21 | 安吉汽车物流股份有限公司 | 订单的预测方法及装置、计算机可读介质、物流系统 |
| JP6810092B2 (ja) * | 2018-04-24 | 2021-01-06 | 日本電信電話株式会社 | 学習装置、学習方法及び学習プログラム |
| CN108710958B (zh) * | 2018-05-16 | 2022-04-15 | 北京旋极信息技术股份有限公司 | 一种预测健康管理方法及装置、计算机可读存储介质 |
| CN108986889A (zh) * | 2018-06-21 | 2018-12-11 | 四川希氏异构医疗科技有限公司 | 一种病变识别模型训练方法、装置及存储设备 |
| CN108770010B (zh) * | 2018-06-26 | 2021-12-14 | 南京航空航天大学 | 一种面向服务的无线网络组网模式智能重构方法 |
| EP3591561A1 (en) | 2018-07-06 | 2020-01-08 | Synergic Partners S.L.U. | An anonymized data processing method and computer programs thereof |
| CN109102341B (zh) * | 2018-08-27 | 2021-08-31 | 寿带鸟信息科技（苏州）有限公司 | 一种用于养老服务的老人画像方法 |
| CN109472358B (zh) * | 2018-10-17 | 2021-10-19 | 深圳市微埃智能科技有限公司 | 基于神经网络的焊接工艺参数推荐方法、装置及机器人 |
| CN109461001B (zh) * | 2018-10-22 | 2021-07-09 | 创新先进技术有限公司 | 基于第二模型获取第一模型的训练样本的方法和装置 |
| CN111209998B (zh) * | 2018-11-06 | 2023-08-18 | 航天信息股份有限公司 | 基于数据类型的机器学习模型的训练方法及装置 |
| CN109325127B (zh) * | 2018-11-28 | 2021-11-19 | 创新先进技术有限公司 | 一种风险识别方法和装置 |
| CN109726200B (zh) * | 2018-12-06 | 2023-08-04 | 国网甘肃省电力公司信息通信公司 | 基于双向深度神经网络的电网信息系统故障定位系统及方法 |
| CN109977394B (zh) * | 2018-12-10 | 2023-11-07 | 平安科技（深圳）有限公司 | 文本模型训练方法、文本分析方法、装置、设备及介质 |
| CN111353576B (zh) * | 2018-12-24 | 2023-09-19 | 中国移动通信集团山西有限公司 | 一种基于模糊神经网络的信息生成方法、装置及设备 |
| WO2020237519A1 (zh) * | 2019-05-29 | 2020-12-03 | 深圳大学 | 识别方法、装置、设备以及存储介质 |
| CN110321484B (zh) * | 2019-06-18 | 2023-06-02 | 中国平安财产保险股份有限公司 | 一种产品推荐方法及装置 |
| CN110414064B (zh) * | 2019-07-01 | 2023-03-24 | 绍兴文理学院 | 一种结构面表面形貌与抗剪强度关联模型的构建方法 |
| US11599768B2 (en) | 2019-07-18 | 2023-03-07 | International Business Machines Corporation | Cooperative neural network for recommending next user action |
| CN111344719A (zh) * | 2019-07-22 | 2020-06-26 | 深圳市大疆创新科技有限公司 | 基于深度神经网络的数据处理方法、装置及移动设备 |
| CN110928848A (zh) * | 2019-11-21 | 2020-03-27 | 中国科学院深圳先进技术研究院 | 一种文件碎片分类方法及系统 |
| CN111144453A (zh) * | 2019-12-11 | 2020-05-12 | 中科院计算技术研究所大数据研究院 | 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备 |
| CN111145042A (zh) * | 2019-12-31 | 2020-05-12 | 国网北京市电力公司 | 一种采用全连接神经网络的配电网电压异常诊断方法 |
| CN111582440A (zh) * | 2020-04-15 | 2020-08-25 | 马鞍山师范高等专科学校 | 一种基于深度学习的数据处理方法 |
| CN112395280B (zh) * | 2021-01-19 | 2021-04-23 | 睿至科技集团有限公司 | 一种数据质量检测方法及其系统 |
| US20220253856A1 (en) * | 2021-02-11 | 2022-08-11 | The Toronto-Dominion Bank | System and method for machine learning based detection of fraud |
| CN112529187A (zh) * | 2021-02-18 | 2021-03-19 | 中国科学院自动化研究所 | 融合多源数据语义与特征的知识获取方法 |
| CN116776230B (zh) * | 2023-08-22 | 2023-11-14 | 北京海格神舟通信科技有限公司 | 一种基于特征压印与特征迁移识别信号的方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004801A (zh) * | 2010-12-30 | 2011-04-06 | 焦点科技股份有限公司 | 一种信息分类的方法 |
| CN102651088A (zh) * | 2012-04-09 | 2012-08-29 | 南京邮电大学 | 基于A_Kohonen神经网络的恶意代码分类方法 |
| CN103345656A (zh) * | 2013-07-17 | 2013-10-09 | 中国科学院自动化研究所 | 一种基于多任务深度神经网络的数据识别方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NZ503882A (en) * | 2000-04-10 | 2002-11-26 | Univ Otago | Artificial intelligence system comprising a neural network with an adaptive component arranged to aggregate rule nodes |
| EP1384155A4 (en) | 2001-03-01 | 2007-02-28 | Health Discovery Corp | SPECTRAL KNIVES FOR LEARNING MACHINES |
| US9292787B2 (en) * | 2012-08-29 | 2016-03-22 | Microsoft Technology Licensing, Llc | Computer-implemented deep tensor neural network |
| JP6164639B2 (ja) | 2013-05-23 | 2017-07-19 | 国立研究開発法人情報通信研究機構 | ディープ・ニューラルネットワークの学習方法、及びコンピュータプログラム |
| CN103336992A (zh) * | 2013-06-27 | 2013-10-02 | 电子科技大学 | 一种模糊神经网络学习算法 |
-
2014
- 2014-05-31 CN CN201410242182.3A patent/CN105224984B/zh active Active
- 2014-10-27 WO PCT/CN2014/089591 patent/WO2015180397A1/zh active Application Filing
-
2015
- 2015-11-18 US US14/944,294 patent/US10296827B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102004801A (zh) * | 2010-12-30 | 2011-04-06 | 焦点科技股份有限公司 | 一种信息分类的方法 |
| CN102651088A (zh) * | 2012-04-09 | 2012-08-29 | 南京邮电大学 | 基于A_Kohonen神经网络的恶意代码分类方法 |
| CN103345656A (zh) * | 2013-07-17 | 2013-10-09 | 中国科学院自动化研究所 | 一种基于多任务深度神经网络的数据识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| Image classification for content-based indexing;Vailaya A etal.;《Image Processing, IEEE Transactions on》;20051231;第27卷(第10期);第1615-1630页 * |
| 基于神经网络的欺骗式干扰类型识别;范伟 等;《雷达与对抗》;20071231(第2期);第43-45页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160071010A1 (en) | 2016-03-10 |
| WO2015180397A1 (zh) | 2015-12-03 |
| US10296827B2 (en) | 2019-05-21 |
| CN105224984A (zh) | 2016-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105224984B (zh) | 一种基于深度神经网络的数据类别识别方法及装置 | |
| Jain et al. | Autoencoders for level generation, repair, and recognition | |
| EP3570222B1 (en) | Information processing device and method, and computer readable storage medium | |
| US11562521B2 (en) | Generating facial position data based on audio data | |
| CN105184362B (zh) | 基于参数量化的深度卷积神经网络的加速与压缩方法 | |
| CN110163261A (zh) | 不平衡数据分类模型训练方法、装置、设备及存储介质 | |
| CN109829959B (zh) | 基于人脸解析的表情编辑方法及装置 | |
| AU2015226983A1 (en) | Neural network and method of neural network training | |
| CN108121995A (zh) | 用于识别对象的方法和设备 | |
| US11836572B2 (en) | Quantum inspired convolutional kernels for convolutional neural networks | |
| CN109376857A (zh) | 一种融合结构和属性信息的多模态深度网络嵌入方法 | |
| CN113379042B (zh) | 保护数据隐私的业务预测模型训练方法及装置 | |
| CN111178520A (zh) | 一种低计算能力处理设备的数据处理方法及装置 | |
| CN106777402A (zh) | 一种基于稀疏神经网络的图像检索文本方法 | |
| CN110084293A (zh) | 一种全明格局房屋的确定方法和装置 | |
| CN106997484A (zh) | 一种优化用户信用模型建模过程的方法及装置 | |
| US20220398697A1 (en) | Score-based generative modeling in latent space | |
| Zhou et al. | Deeptree: Modeling trees with situated latents | |
| CN106407932A (zh) | 基于分数阶微积分与广义逆神经网络的手写数字识别方法 | |
| CN109657779A (zh) | 基于dnn的模型数据处理方法、数据处理模型及电子装置 | |
| CN113222808A (zh) | 一种基于生成式对抗网络的人脸口罩移除方法 | |
| CN111368337B (zh) | 保护隐私的样本生成模型构建、仿真样本生成方法及装置 | |
| CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 | |
| CN113158088A (zh) | 一种基于图神经网络的位置推荐方法 | |
| CN113688424A (zh) | 基于权重社会网络的个性化差分隐私保护方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211224 Address after: 450046 Floor 9, building 1, Zhengshang Boya Plaza, Longzihu wisdom Island, Zhengdong New Area, Zhengzhou City, Henan Province Patentee after: xFusion Digital Technologies Co., Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right |