CN112465135A - 数据处理方法、装置、计算机可读存储介质和芯片 - Google Patents
数据处理方法、装置、计算机可读存储介质和芯片 Download PDFInfo
- Publication number
- CN112465135A CN112465135A CN202010019010.5A CN202010019010A CN112465135A CN 112465135 A CN112465135 A CN 112465135A CN 202010019010 A CN202010019010 A CN 202010019010A CN 112465135 A CN112465135 A CN 112465135A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- target neural
- network
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 96
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 193
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 230000009467 reduction Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 21
- 108090000623 proteins and genes Proteins 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 13
- 230000033228 biological regulation Effects 0.000 claims description 11
- 230000003925 brain function Effects 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 43
- 210000002569 neuron Anatomy 0.000 description 39
- 230000014509 gene expression Effects 0.000 description 38
- 210000004027 cell Anatomy 0.000 description 25
- 238000013527 convolutional neural network Methods 0.000 description 18
- 238000010801 machine learning Methods 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000001537 neural effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000003062 neural network model Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 7
- 230000001174 ascending effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 210000005036 nerve Anatomy 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 235000008694 Humulus lupulus Nutrition 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 102000053602 DNA Human genes 0.000 description 1
- 108020004414 DNA Proteins 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 102000044209 Tumor Suppressor Genes Human genes 0.000 description 1
- 108700025716 Tumor Suppressor Genes Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008236 biological pathway Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 235000008001 rakum palm Nutrition 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000019491 signal transduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种数据处理方法、装置计算机可读存储介质和芯片，涉人工智能领域。其中，该数据处理方法包括：获取数据类型为非欧式空间数据的第一数据，并采用目标神经网络提取第一数据的特征，然后再根据目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果。由于本申请中的目标神经网络包括多个全连接单元并且是是采用残差连接方式的网络，因此，采用本申请实施例的方案能够实现对非欧式空间数据的有效处理。
Description
技术领域
本申请实施例涉人工智能领域，尤其涉及一种数据处理方法、装置、计算机可读存储介质和芯片。
背景技术
深度学习(deep learning)是一种基于深层神经网络算法的机器学习技术，其主要特点是使用多重非线性变换对数据进行处理和分析。目前深度学习构建的网络模型已经广泛应用在图像识别、语音识别、自然语言处理以及医疗影像数据等场景，并取得了巨大的进展，有些网络模型甚至超越了人类的水平。
当前深度学习应用的主流领域大部分基于欧式空间数据，例如图像、文本、语音等数据。这些数据之间存在局部相关性或时空相关性，即输入的特征值和周围的特征值存在相关性，或和时间先后发生的特征值存在相关性。对于欧式空间数据，如果特征输入顺序被打乱，数据，例如图片或文本的意义会完全改变。卷积神经网络(convolutional neuralnetwork，CNN)和循环神经网络(recurrent neural network，RNN)是广泛应用于欧式空间数据的建模的方法。
相对于欧式空间数据，非欧式空间数据的结构具有复杂性、非时空性、网络性和层次性的特征。常见的非欧式空间数据有社会科学领域的社交网络、通信中的传感器网络、脑成像中的功能网络、基因组领域的调控网络以及计算机图形中的网格曲面等。这些非欧式空间数据增长迅速，但是传统的CNN和RNN不能很好地处理和提取非欧式空间数据的特征。
发明内容
本申请提供一种数据处理方法、装置、计算机可读存储介质和芯片，能够实现对非欧式空间数据的处理。
第一方面，提供了一种数据处理方法，包括：获取第一数据，第一数据为基因数据、用户的社交关系连接数据、传感器信息交互数据、大脑功能调控网络中的至少一种；采用目标神经网络提取第一数据的特征，其中，目标神经网络包括多个全连接单元，目标神经网络是采用残差连接方式的网络；采用目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果。
上述技术方案中，以全连接单元为基础的神经网络可以提取第一数据的所有综合特征，通过残差连接方式可以跳过一些网络层次，适用于非欧式空间数据跨层特征的提取。采用以全连接单元为基础的，采用残差连接方式的目标神经网络对第一数据的特征进行处理，可以实现对非欧式空间数据的深度学习建模。
具体地，采用目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果，包括：根据第一数据的特征对第一数据的类型进行预测，得到第一数据的预测结果。
具体地，采用目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果，包括：根据第一数据的特征对第一数据进行降维处理，得到第一数据的降维结果。
结合第一方面，在第一方面的某些实现方式中，目标神经网络是采用随机残差连接方式的网络。
采用随机残差连接方式，可以构建不同的残差连接方式的网络，从中选择合适的目标网络对第一数据进行特征提取和处理。
可选地，目标神经网络的每一层可选的连接方式包括：直连、跳跃连接和分支连接。
由于目标神经网络每一层可以包括多种连接方式，便于后续对第一数据进行更好的处理。
可选地，目标神经网络是通过高效神经网络架构搜索(efficient neuralarchitecture search，ENAS)算法构建得到的神经网络。
上述技术方案中，采用ENAS算法构建目标神经网络，有较高的搜索精度与搜索效率。
结合第一方面，在第一方面的某些实现方式中，目标神经网络是采用残差连接的变分自编码器(variational autoencoder，VAE)的网络，该采用残差连接的VAE包括采用残差连接的编码器和采用残差连接的解码器。
上述技术方案中，编码器通过递减的神经元个数将原始数据压缩到低维隐藏变量，在解码器部分通过递增的神经元个数将低维变量进行还原，实现了对原始数据的降维。
结合第一方面，在第一方面的某些实现方式中，多个全连接单元中的每个全连接单元包括：全连接层、批标准化和激活函数。
第二方面，提供了一种数据处理装置，包括：获取模块，用于获取第一数据，第一数据为基因数据、用户的社交关系连接数据、传感器信息交互数据、大脑功能调控网络中的至少一种；处理模块，用于采用目标神经网络提取第一数据的特征，其中，目标神经网络包括多个全连接单元，目标神经网络是采用残差连接方式的网络；处理模块还用于采用目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果。
具体地，采用目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果，包括：根据第一数据的特征对第一数据的类型进行预测，得到第一数据的预测结果。
具体地，采用目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果，包括：根据第一数据的特征对第一数据进行降维处理，得到第一数据的降维结果。
结合第二方面，在第二方面的某些实现方式中，目标神经网络是采用随机残差连接方式的网络。
采用随机残差连接方式，可以构建不同的残差连接方式的网络，从中选择合适的目标网络对第一数据进行特征提取和处理。
可选地，目标神经网络的每一层可选的连接方式包括：直连、跳跃连接和分支连接。
可选地，目标神经网络是通过高效神经网络架构搜索ENAS算法构建得到的神经网络。
上述技术方案中，采用ENAS算法构建目标神经网络，有较高的搜索精度与搜索效率。
结合第二方面，在第二方面的某些实现方式中，目标神经网络是采用残差连接的变分自编码器VAE的网络，该采用残差连接的VAE包括采用残差连接的编码器和采用残差连接的解码器。
上述技术方案中，编码器通过递减的神经元个数将原始数据压缩到低维隐藏变量，在解码器部分通过递增的神经元个数将低维变量进行还原，实现了对原始数据的降维。
结合第二方面，在第一方面的某些实现方式中，多个全连接单元中的每个全连接单元包括：全连接层、批标准化和激活函数。
第三方面，提供了一种神经网络训练方法，包括：获取训练数据，训练数据为基因数据、用户的社交关系连接数据、传感器信息交互数据、大脑功能调控网络中的至少一种；根据训练数据对神经网络进行训练，得到满足预设要求的目标神经网络，所述目标神经网络包括多个全连接单元且目标神经网络是采用残差连接方式的网络。
上述技术方案中，通过对神经网络进行训练，得到的目标神经网络可以实现对非欧式空间数据的特征提取和处理。
具体地，满足预设要求包括：神经网络的性能满足要求，或者神经网络的训练次数达到预设次数，或者在训练过程中构建的损失函数值小于预设的阈值中的至少一种。
结合第三方面，在第三方面的某些实现方式中，目标神经网络是采用随机残差连接方式的网络，且网络的每一层可选的连接方式包括：直连、跳跃连接和分支连接。
可选地，上述采用随机残差连接方式的网络是通过ENAS算法构建的网络。
采用ENAS算法构建神经网络，有较高的搜索精度与搜索效率。
结合第三方面，在第三方面的某些实现方式中，神经网络是采用残差连接的变分自编码器VAE的网络，所述采用残差连接的VAE包括采用残差连接的编码器和采用残差连接的解码器。
编码器通过递减的神经元个数将原始数据压缩到低维隐藏变量，在解码器部分通过递增的神经元个数将低维变量进行还原，实现了对原始数据的降维。
结合第三方面，在第三方面的某些实现方式中，多个全连接单元中的每个全连接单元包括：全连接层、批标准化和激活函数。
第四方面，提供了一种神经网络训练装置，包括：获取模块，用于获取训练数据，训练数据为基因数据、用户的社交关系连接数据、传感器信息交互数据、大脑功能调控网络中的至少一种；训练模块，用于根据训练数据对神经网络进行训练，得到满足预设要求的目标神经网络，所述目标神经网络包括多个全连接单元，所述目标神经网络是采用残差连接方式的网络。
上述技术方案中，通过对神经网络进行训练，训练后的神经网络可以实现对非欧式空间数据的特征提取和处理。
具体地，满足预设要求包括：神经网络的性能满足要求，或者神经网络的训练次数达到预设次数，或者在训练过程中构建的损失函数值小于预设的阈值中的至少一种。
结合第四方面，在第四方面的某些实现方式中，目标神经网络是采用随机残差连接方式的网络，且网络的每一层可选的连接方式包括：直连、跳跃连接和分支连接。
可选地，上述采用随机残差连接方式的网络是通过ENAS算法构建的网络。
采用ENAS算法构建神经网络，有较高的搜索精度与搜索效率。
结合第四方面，在第四方面的某些实现方式中，神经网络是采用残差连接的变分自编码器VAE的网络，所述采用残差连接的VAE包括采用残差连接的编码器和采用残差连接的解码器。
编码器通过递减的神经元个数将原始数据压缩到低维隐藏变量，在解码器部分通过递增的神经元个数将低维变量进行还原，实现了对原始数据的降维。
结合第四方面，在第四方面的某些实现方式中，多个全连接单元中的每个全连接单元包括：全连接层、批标准化和激活函数。
第五方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第一方面中的任意一种实现方式中的方法。
第六方面，提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第三方面中的任意一种实现方式中的方法。
第七方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面中的任意一种实现方式中的方法。
第八方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第三方面中的任意一种实现方式中的方法。
第九方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行上述第一方面或第三方面中的任意一种实现方式中的方法。
可选地，作为一种实现方式，所述芯片还可以包括存储器，所述存储器中存储有指令，所述处理器用于执行所述存储器上存储的指令，当所述指令被执行时，所述处理器用于执行第一方面或第三方面中的任意一种实现方式中的方法。
附图说明
图1是本申请实施例的基因表达数据的示意图；
图2是本申请实施例的数据处理方法流程图示意图；
图3是本申请实施例的全连接单元的结构示意图；
图4是本申请实施例的采用残差连接方式的神经网络的结构示意图；
图5是本申请实施例的高效神经网络架构搜索ENAS的流程示意图；
图6是本申请实施例的采用残差连接方式的自编码变分器VAE的网络的结构示意图；
图7是本申请实施例的一种数据的深度学习建模方法；
图8是本申请实施例的一种最优神经网络模型；
图9是本申请实施例的一种深度学习建模方法的结果；
图10是本申请实施例的另一种数据的深度学习建模方法；
图11是本申请实施例的另一种深度学习建模方法的结果；
图12是本申请实施例的数据处理装置的示意图；
图13是本申请实施例的另一数据处理装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部实施例。
随着技术的进步，不同行业里积累了越来越多的非欧式空间数据。典型非欧式空间数据有用户的社交关系连接数据、传感器信息交互数据、以及生物体蛋白之间的调控网络等。当前基于欧式空间数据的深度学习建模进展迅速，但是基于非欧式空间数据的深度学习建模一直进展缓慢。本申请的非欧式空间数据建模的方法，可以更好地提取非欧式空间数据的特征，并且可以适用于不同的非欧式空间数据。
由于本申请实施例涉及大量神经网络的应用，为了便于理解，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
(1)神经网络
神经网络可以是由神经单元组成的，神经单元可以是指以xs和截距1为输入的运算单元，该运算单元的输出可以为：
其中，s＝1、2、……n，n为大于1的自然数，Ws为xs的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层的输入，激活函数可以是sigmoid函数。神经网络是将多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
(2)深度神经网络
深度神经网络(deep neural network，DNN)，也称多层神经网络，可以理解为具有多层隐含层的神经网络。按照不同层的位置对DNN进行划分，DNN内部的神经网络可以分为三类：输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层数都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
虽然DNN看起来很复杂，但是就每一层的工作来说，其实并不复杂，简单来说就是如下线性关系表达式：
其中，
是输入向量，
是输出向量，
是偏移向量，W是权重矩阵(也称系数)，α()是激活函数。每一层仅仅是对输入向量
经过如此简单的操作得到输出向量
由于DNN层数多，系数W和偏移向量
的数量也比较多。这些参数在DNN中的定义如下所述：以系数W为例：假设在一个三层的DNN中，第二层的第4个神经元到第三层的第2个神经元的线性系数定义为
上标3代表系数W所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。
综上，第L-1层的第k个神经元到第L层的第j个神经元的系数定义为
需要注意的是，输入层是没有W参数的。在深度神经网络中，更多的隐含层让网络更能够刻画现实世界中的复杂情形。理论上而言，参数越多的模型复杂度越高，“容量”也就越大，也就意味着它能完成更复杂的学习任务。训练深度神经网络的也就是学习权重矩阵的过程，其最终目的是得到训练好的深度神经网络的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。
(3)深度学习
深度学习(deep learning)是一种基于DNN算法的机器学习技术，其主要特点是使用多重非线性变换对数据进行处理和分析。目前已经广泛应用在图像识别，语音识别，自然语言处理以及医疗影像数据等场景。
(4)前馈神经网络
前馈神经网络(feedforward neural network)是神经网络中的一种。前馈神经网络的第一层是输入层，从第二层神经元开始，每层神经元都接收前一层的输入，经过非线性变化输出到下一层，最后一直到输出层。多层感知机(multilayer perceptron，MLP)是前馈神经网络中的一种。
(5)卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(6)循环神经网络
循环神经网络(recurrent neural networks，RNN)是用来处理序列数据的。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，而对于每一层层内之间的各个节点是无连接的。这种普通的神经网络虽然解决了很多难题，但是却仍然对很多问题无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐含层本层之间的节点不再无连接而是有连接的，并且隐含层的输入不仅包括输入层的输出还包括上一时刻隐含层的输出。理论上，RNN能够对任何长度的序列数据进行处理。对于RNN的训练和对传统的CNN或DNN的训练一样。
既然已经有了卷积神经网络，为什么还要循环神经网络？原因很简单，在卷积神经网络中，有一个前提假设是：元素之间是相互独立的，输入与输出也是独立的，比如猫和狗。但现实世界中，很多元素都是相互连接的，比如股票随时间的变化，再比如一个人说了：我喜欢旅游，其中最喜欢的地方是云南，以后有机会一定要去。这里填空，人类应该都知道是填“云南”。因为人类会根据上下文的内容进行推断，但如何让机器做到这一步？RNN就应运而生了。RNN旨在让机器像人一样拥有记忆的能力。因此，RNN的输出就需要依赖当前的输入信息和历史的记忆信息。
(7)超参搜索(hyper-parameter optimization)
超参数是在机器学习训练之前就已经提前设置好的模型参数，这些参数无法通过训练得到。但是可以通过预先设定好的超参搜索空间，并通过网格优化，或者贝叶斯优化等方式搜索得到。
(8)自动机器学习
机器学习在各个领域都有着巨大的贡献，然而一个高效的机器学习算法往往依赖于人类指导，例如数据处理、特征工程、算法选择以及超参选定等。随着机器学习算法越来越复杂，可选择的算法及过程数量越来越多，增大了机器学习的使用成本。
自动机器学习(auto machine learning，AutoML)是针对机器学习模型的高级控制框架，可以自动的搜索的最优参数配置，同时在这个过程中无需人工干预。自动化机器学习本质是一个空间搜索优化问题，即从有限空间范围内以最短时间寻找最优解的过程。具体来说，自动化机器学习对机器学习每个过程产生一个备选空间，通过从每个空间中通过最优搜索选出一个最佳选项，并将其连接成流程化管道的过程。通过上述方法，在保证了高精度的同时可以最小化时间及人力成本。
(9)神经网络架构搜索
神经网络架构搜索(neural architecture search，NAS)是AutoML搜索中关键的一环；首先针对给定的搜索空间的候选神经网络架构集合，从中产生“子网络”；接下来训练该“子网络”并评估其性能；最后逐步优化“子网络”结构，并最终找到一个最优的网络架构。
(10)高效神经网络架构搜索
高效神经网络架构搜索(efficient neural architecture search，ENAS)是NAS的一种高效实现。在NAS训练中，每次新产生的子网络都需要重新训练生成网络权重。而在ENAS中，通过子网络之间的模型权重共享，使子网络无需从头开始训练权重，实现更加高效的网络架构搜索。ENAS相比于其他的NAS搜索算法，能够实现提速10倍以上的效果，同时达到和传统NAS搜索相似的精度。具体来说，ENAS主要通过有向无环图来定义整个神经网络架构搜索空间，从中挑选节点之间的连线，做网络架构设计。ENAS采用子模型权重共享的方式，即在模型训练的过程中，节点和节点之间的权重矩阵可以复用，以此达到加快神经网络搜索的目的。
(11)残差网络
残差网络(residual network)是神经网络中的一种，残差网络中包含有跳跃连接或者捷径(short-cuts)连接，能够跳过一些网络架构。残差网络连接的引入可以避免网络中的梯度消失现象，加速训练，同时网络的层数可以变的很深。
(12)无监督学习
无监督学习(unsupervised learning)是指在学习的过程中没有给定训练样本的标签，模型自动的对数据进行分类或者分群。无监督学习比较典型的应用是对输入数据进行分类，降维等。
(13)变分自编码器
变分自编码器(variational autoencoder，VAE)是一种从自编码器(autoencoder，AE)发展而来的无监督学习模型。AE本质上是一种数据压缩方法，模型结构包含编码器(encoder)部分和解码器(decoder)部分。在编码器部分，通过不断递减的神经元个数将原始数据压缩到低维的隐藏变量；在解码器部分，通过不断递增的神经元个数将低维的隐藏变量还原到原始数据大小。AE的学习目标是使原始数据和通过模型还原的数据尽可能的相似。VAE基于AE做了进一步的改进，在编码器部分，模型产生的是一个分布，而非一个隐藏变量。VAE相比于AE能够学习到更有表征的特征，而且具有生成能力。
(14)非欧式空间数据(non-Euclidean space data)
在很多领域中都会有非欧氏空间结构的数据，比如说社会科学领域中的社交关系连接数据，通信中的传感器信息交互数据，基因组领域的调控网络等。在多数情况下，这些数据的数据量大，而且结构很复杂。
非欧式空间数据表征复杂，对于典型的欧式空间数据，例如图片数据、文本数据和语音数据，数据之间存在局部相关性，即输入的特征值和周围的特征值存在相关性，如果输入顺序打乱，那么图片或文本的意义会完全改变。对于欧式空间数据，传统的CNN中的卷积操作能够提取低层次特征，例如边缘特征，并组合低层次特征形成高层次特征，对数据进行建模。而非欧式空间数据与图片数据、文本数据有本质的不同，例如打乱输入特征的顺序对样本的属性完全没有影响。而且非欧式空间数据存在更加复杂的、非时空关联的、层次性的连接关系。以基因组数据为例，图1是基因组脱氧核糖核酸(ribonucleic acid，RNA)的表达数据图。如图1所示，每一行代表一个样本，每一列代表一个基因，对应的数据代表每个基因在对应样本中的表达量。不同的基因之间既没有空间上的相关性，有没有时间上的相关性。对于人类基因组而言，人类基因组共有近两万个基因，不同的基因可能在共同行使某一功能，不同基因之间有复杂的关系，例如激活、抑制等，这些基因表达数据不存在局部的特征信息，显然，传统的CNN和RNN等神经网络架构并不适合基因组数据的建模。
目前针对基因组数据建模使用的比较多的神经网络架构是前馈全连接神经网络，但前馈全连接神经网络对模型准确性的提升十分有限。
此外，非欧式空间数据的连接具有层次性，并且存在跨层或者跳跃的连接。以人体抑癌基因P53基因的信号传导系统为例，从总体上来说，从生物通路的上游到下游的调控是一个层次性的关系，并且存在有跨越不同层级的调控。针对这种非欧式空间数据的建模，前馈神经网络的结构中的每一层都只会接收上一层的信息，无法反映跨层次的调控。
由于CNN和RNN会从输入的数据的特征中提取数据的局部特征信息，进而整合为高阶的特征，因此传统的CNN和RNN适合欧式空间数据建模。而非欧式空间数据不存在局部特征，所有的特征都可能存在有相互作用的关系。全连接层中的每一个神经单元与上一层的所有神经单元之间都有连接关系，因此采用全连接层能够较好地提取非欧式空间数据所有特征综合的特征关联。
此外，对于非欧式空间数据连接的层次性、并且存在跨层或者跳跃连接的特点，本申请在全连接层的基础上引入了残差连接。如上述相关术语中的残差网络所述，残差网络中包含有跳跃连接或者捷径连接，能够跳过一些网络层次，适用于非欧式空间数据跨层特征的提取。
本申请实施例的数据处理方法，通过在以全连接单元为基础单元的神经网络架构中引入残差连接方式，能够提升处理非欧式空间数据的精度。
图2是本申请实施例的数据处理方法的流程示意图。如图2所示，本申请实施例的数据处理方法包括步骤S210至步骤S230。
S210，获取第一数据。在本申请实施例中，第一数据是一种非欧式空间数据，例如基因数据、用户的社交关系连接数据、传感器信息交互数据、大脑功能调控网络中的至少一种。其中，用户的社交关系连接数据具体指网络上用户之间的关系连接。例如，用户A认识用户B，用户B认识用户C。传感器信息交互数据与用户的社交连接关系相似，这种数据涉及传感器之间的信息交互。大脑功能调控网络主要指大脑中的细胞之间信号的传导和调控。
可选地，可以对获取的第一数据进行预处理，再将预处理后的第一数据作为目标神经网络的输入。例如，可以对第一数据进行0-1标准化处理。0-1标准化将所有数据值都标准化到0与1之间，可以消除数据量纲和数据大小的差异，确保数据是在同一量纲或者同一数量级下进行比较，确保数值较大的数据不会占据较大的权重。在机器学习中，对数据作0-1标准化处理可以加快模型收敛速度。
例如有5个数据：1,2,3,4,5，对于每一个数据x，可以对每一个数据进行公式所示的变换：x'＝(x-min)/(max-min)，其中，max和min分别表示所有数据中的最大值和最小值，x'表示x经过变换后的数值。示例性地，在上述5个数据中，最大值为5，最小值为1。例如，对于数据1，变换后的对应的数据为(1-1)/(5-1)＝0；对于数据2，变换后的对应的数据为(2-1)/(5-1)＝0.25。经过0-1标准化，原数据变换成：0,0.25,0.5,0.75,1。
S220，采用目标神经网络提取第一数据的特征。
具体地，目标神经网络是包括多个全连接单元且采用残差连接方式的神经网络。由于非欧式空间数据不存在局部特征，并且所有的特征都可能存在有相互作用的关系。而全连接层中的每一个神经单元与上一层的所有神经单元之间都有连接关系，因此采用全连接层能够较好地提取非欧式空间数据所有特征综合的特征关联。
此外，非欧式空间数据的连接具有层次性，并且存在跨层或者跳跃的连接。采用残差连接的方式，可以跳过神经网络中的某些层次，更好地提取非欧式空间数据的跨层的特征。
S230，采用目标神经网络对第一数据的特征进行处理。
本申请实施例中，对第一数据进行处理可以包括采用目标神经网络对第一数据的类型进行预测处理，或者采用目标神经网络对第一数据进行降维处理。
可选地，上述目标神经网络是采用随机残差连接方式的网络。
本申请实施例中，采用随机残差连接方式，可以构建不同的残差连接方式的网络，从中选择合适的目标网络对第一数据进行特征提取和处理。
可选地，上述目标神经网络的每一层可选的连接方式包括：直连、跳跃连接和分支连接。
本申请实施例中，由于目标神经网络每一层可以包括多种连接方式，便于后续对第一数据进行更好的处理。
可选地，上述目标神经网络是通过高效神经网络架构搜索ENAS算法构建得到的神经网络。
本申请实施例中，由于上述目标神经网络是采用ENAS算法构建得到的，因此，能够快速获得上述目标神经网络(ENAS算法有较高的搜索精度与搜索效率)。
可选地，上所述目标神经网络是采用残差连接的变分自编码器VAE的网络，所述采用残差连接的VAE包括采用残差连接的编码器和采用残差连接的解码器。
本申请实施例中，编码器通过递减的神经元个数将原始数据压缩到低维隐藏变量，在解码器部分通过递增的神经元个数将低维变量进行还原，实现了对原始数据的降维。
可选地，上述多个全连接单元中的每个全连接单元包括：全连接层、批标准化和激活函数。
示例性地，假设第一数据是基因表达数据。一个细胞的发育过程被分为多个时期，每一个细胞都处于一个特定的发育时期。当输入的第一数据是细胞的基因表达数据时，可以采用目标神经网络对基因表达数据进行处理，输出对细胞所处的发育时期的预测。
示例性地，第一数据是基因表达数据。同样的基因在不同类型的细胞中的表达程度不相同，当输入的第一数据是基因表达数据时，可以采用目标神经网络对第一数据进行处理，从而对相同类型的细胞进行聚类。
以上结合图2描述了本申请实施例的数据处理方法，下面结合图3至图6详细描述本申请实施例的目标神经网络的结构与神经网络的构建方法。本申请实施例中，神经网络的构建方法与神经网络的训练方法实质上是相同的，两者均涉及按照一定的方法搭建神经网络，并用数据对搭建的神经网络进行训练得到满足需要的神经网络。因此，本申请实施例中仅介绍介绍神经网络的构建方法。应理解，本申请实施例的神经网络训练方法可以通过与本申请实施例中的神经网络构建方法相似的过程得到。
本申请实施例的目标神经网络可以采用全连接单元作为网络架构的基础单元。
图3是全连接单元结构示意图。如图3所示，一个全连接单元包括输入部分、全连接层310、批标准化320、激活函数330和输出部分。
其中输入部分可以接受不同的输入。例如一个全连接单元作为神经网络架构的第一层，那么该全连接单元的输入可以是非欧式空间数据。例如，一个全连接单元作为神经网络架构的中间层，那么该全连接单元的输入可以是上一层全连接单元的输出，或者在采用残差连接方式的神经网络结构中，该全连接单元的输入可以是上一层多条路径中不同的全连接单元的输出的拼接。
全连接层310，全连接层中的每一个神经单元都与上一层的所有神经单元相连，可以用来综合之前提取的所有特征。其中，全连接层的层数是超参数，可以由用户设定，也可以通过超参搜索算法得到，每层神经元的个数可以通过神经网络架构搜索算法得到。
批标准化320，批标准化(batch normalization，BN)可以用来规范化某些层或者所有层的输入，从而固定每层输入信号的均值与方差。批标准化一般用在激活函数之前，使结果(输出信号的各个维度)的均值都为0,方差为1,让每一层的输入有一个稳定的分布。
激活函数330，激活函数将神经元的输入映射到输出端。激活函数增加了神经网络的非线性，使神经网络可以逼近任何非线性函数。
输出部分输出的是该全连接单元的结果。对于一个全连接单元而言，输出可以是整个神经网络架构的输出。例如，一个全连接单元是整个神经网络架构的最后一层，全连接单元的输出就是神经网络架构的输出。一个全连接单元的输出也可以是其他全连接单元的输入，例如一个全连接单元是一个神经网络架构的中间层，那么该全连接层的输出可以作为下一层的全连接单元的输入。
可选地，本申请的目标神经网络是采用残差连接方式的网络结构。由于非欧式空间数据具有层次性、网络性的特征，通过使用残差的网络架构，使网络有跳跃连接或捷径连接，既可以整合当前层的数据特征，又可以把关键信号传递到更深层，有利于更好地构建更深的网络，消除网络的对称性，并解决梯度下降的问题。
图4是本申请实施例的一个以全连接单元为基础单元、采用残差连接方式的神经网络结构示意图。如图4所示，该神经网络包含5个全连接单元：全连接单元a、全连接单元b、全连接单元c、全连接单元d和全连接单元e。网络的每一层到下一层的连接方式有三种，直连、跳跃连接(skip-connection)和分支连接。直连的连接方式如图3中的路径1所示，从全连接单元a到全连接单元b，采用路径1的方式将两个全连接单元直接相连。跳跃连接的连接方式如图3中的路径2所示，从全连接单元b到全连接单元d，如果采用直连的连接方式，需要经过的路径顺序是：全连接单元b-全连接单元c-全连接单元d。采用跳跃连接的连接方式时，可以跳过路径中间的某些全连接神经单元，例如可以跳过全连接单元c，此时需要经过的路径顺序为：全连接单元b-全连接单元d。分支连接的连接方式如图4中的路径3所示。分支连接是以某个全连接单元为起点，某个全连接单元为终点，选取新的全连接单元作为途经的节点的连接方式。例如在图3中，以全连接单元a作为起点，全连接单元d作为终点，经过新的全连接单元e构成一条新的路径：全连接单元a-全连接单元e-全连接单元d。
通过直连、跳跃连接和分支连接，全连接单元d有三条路径的输出作为该层的输入，因此在各个路径的输出输入全连接单元d之前，需要通过向量拼接操作将来自多种路径的输入合并后再输入全连接单元d。
可选地，本申请实施例中的采用残差连接方式的神经网络是采用随机残差连接方式的网络。例如，图4中的路径2从全连接单元b跳跃到全连接单元d，也可以从全连接单元a跳跃到全连接单元d。再如，图4中的分支路径3，从全连接单元a开始，经过全连接单元e到达全连接单元d，也可以再经过其他新的全连接单元再到达全连接单元d。此外，在随机残差的连接方式中，由于残差连接的方式不固定，向量拼接操作的位置也不固定。
为了得到上述的采用随机残差连接方式的网络，可以使用高效神经网络架构搜索ENAS算法构建不同残差连接方式的网络。ENAS是一种通过子网络之间参数共享的方式，实现高效的神经网络架构搜索的方法。图5是本申请实施例的使用ENAS方法构建采用残差连接方式的网络的示意图。
具体来说，ENAS主要通过有向无环图来定义整个神经网络架构搜索空间，从中挑选节点之间的连线，做网络架构设计。首先确定ENAS方法的搜索空间。ENAS的搜索空间包括所有全连接单元之间可能的连接方式。如图5所示，以5个全连接单元为例，全连接单元a至全连接单元e这5个全连接单元之间存在10种可能的连接方式。示例性地，以全连接单元a为起点，有4中可能的连接方式，全连接单元a-全连接单元b、全连接单元a-全连接单元c、全连接单元a-全连接单元d和全连接单元a-全连接单元e，在图5中以虚线表示。以全连接单元b为起点，共有3种可能的连接方式，其中由于ENAS通过有向无环图定义整个神经网络架构的搜索空间，全连接单元b-全连接单元a这种连接方式与全连接单元a-全连接单元b构成闭环，因此全连接单元b-全连接单元a的连接方式不在ENAS的搜索空间中。
确定ENAS的搜索空间后，从输入开始，每一次挑选节点之间的连线，构成一个子网络，然后评估该子网络的性能。通过循环挑选连线、构成子网络、评估子网络性能这些步骤，最终找到最优的子网络结构。在图5中，通过ENAS算法搜索得到的神经网络的连接方式用实线表示。
应理解，在使用ENAS算法搜索神经网络架构的过程中，每个全连接单元的神经元个数是通过ENAS搜索自动获取的，每个全连接单元的层数是超参数，可以由用户设定，也可以由超参自动搜索算法得到。
示例性地，采用残差连接方式的网络也可以是采用残差连接方式的VAE。传统的VAE模型包括编码器和解码器，解码器和编码器均为前馈全连接神经网络。传统的VAE模型通过前馈全连接神经网络的方式，在编码器部分通过递减的神经元数量实现对输入数据的压缩降维，得到中间层的潜在变量，潜在变量中包含有还原原始数据的有效信息；而在解码器部分，解码器通过递增的神经元，将原始数据从潜在变量中还原出来。
本申请实施例的残差全连接VAE，在编码器和解码器部分引入了残差连接方式，每一层除了接收前一层的输出，还会接收更前一层的输出，不同层来源的数据通过向量拼接的方式连接在一起，作为下一层的输入。图6是本申请实施例的采用残差连接方式的VAE结构图。
如图6所示，本申请实施例的采用残差连接方式的VAE包括编码器和解码器。构成编码器和解码器的基础单元为全连接单元。图6中的“C”表示向量拼接操作。示例性地，编码器包含四个全连接单元：全连接单元1、全连接单元2、全连接单元3和全连接单元4，其中，从全连接单元1至全连接单元4，四个全连接单元的神经元数量依次递减。在编码器的全连接单元之间引入了残差连接。如图6所示，全连接单元3的输入是全连接单元1和全连接单元2两层的输出。示例性地，解码器包含四个全连接单元：全连接单元5、全连接单元6、全连接单元7和全连接单元8，其中从全连接单元6至全连接单元8，四个全连接单元的神经元数量依次递增。在解码器的全连接单元之间引入了残差连接。如图6所示，全连接单元7的输入是全连接单元5和全连接单元6两层的输出。
应理解，在使用在残差全连接VAE框架中，每个全连接单元的神经元个数是通过超参搜索自动获取的，每个全连接单元的层数是超参数，可以由用户设定。
以上结合图2至图6描述了本申请实施例的神经网络的结构和构建方法，下面结合具体的非欧式空间数据集描述本申请实施例的数据处理方法，或者深度学习建模方法。
作为一个实施例，对一套单细胞基因表达数据集进行处理。该数据集来源于Blanca Pijuan-Sala(中文译文：布兰卡·皮琼·萨拉)等人发表的一套单细胞基因表达。基因表达数据是一种常见的非欧式空间数据类型，数据格式为如图1所示的10000个单细胞×22018个基因表达值。每一个细胞的发育过程被划分为10个时期，针对每一个细胞，都有一个标签，该标签反映该细胞位于发育的某个特定的时期。在本申请实施例中，将细胞内各个基因的表达值作为非欧式空间数据输入的特征，目标输出是预测的细胞所处的特定时期，进行自动学习训练，对基因表达数据进行处理。
图7是对基因表达数据处理的过程示意图，如图7所示，对基因表达数据进行处理包括步骤S710至步骤S740。
S710，数据预处理。在该步骤中，对样本数据进行预处理，便于神经网络模型的训练与测试。例如，可以对基因表达数据集进行标准化处理，将每一个样本的基因表达值进行0-1标准化处理。
S720，拆分数据集。本申请实施例中，将1000个单细胞样本进行划分成三个部分，将划分后的样本数据集分别作为训练集、验证集和测试集。例如，可以按照8:1:1的比例对样本数据进行划分，即用80％的样本数据作为训练集，用于神经网络模型的训练；10％的样本数据作为验证集，用于选择训练获得的神经网络模型的最优模型；10％的样本数据作为测试集，用于对经过了训练验证的神经网络模型的性能进行评价。对样本数据的划分还可以按照其他方式进行划分，本申请实施例对此不作限定。
S730，模型训练。本申请实施例中，由于已知了细胞的发育过程被分为10个具体的时期，因此可以采用监督学习的方式训练神经网络模型。
在训练的过程中，可以采用ENAS算法搜索采用残差连接方式的全连接的神经网络，可以把步骤S720中划分的训练集中的样本的基因表达数据作为神经网络的输入，样本细胞所处的时期作为输出进行神经网络训练。
由于ENAS算法可以搜索出不同的残差连接方式，因此可以得到不同的残差连接的网络。对于ENAS算法得到的每一个残差连接的网络，分别使用步骤S720中划分的验证集验证网络的性能，从中获得最优的采用残差连接方式的网络。
本申请实施例中，通过ENAS算法搜索得到的最优采用残差连接方式的网络模型如图8所示。如图8所示，搜索得到的最佳随机连接残差全连接网络包括8个全连接单元，每个全连接单元中的数字表示该全连接单元中神经元的个数。例如，全连接单元a中包含4096个神经元；全连接单元b中包括32个神经元。每个全连接单元中的神经元个数由ENAS算法自动搜索得到。该最优的随机连接残差全连接网络包括两条分支路径，分别通过全连接单元g和全连接单元h后与直连的路径在全连接单元e处进行向量拼接。
为了验证本申请实施例的全连接网络的性能，可以采用现有技术的非欧式空间数据自动机器学习框架作为对照。例如，选取Xgoost(Xgoost是一个开源软件库)和AutoKeras(一种机器学习自动化库)作为对照。为了与本申请实施例的采用残差连接方式的全连接网络进行对比，使用与采用残差连接方式的全连接网络相同的训练集分别训练基于Xgoost框架和AutoKeras框架的神经网络模型，并通过验证集选出基于Xgoost框架的最优模型和基于AutoKeras框架的最优模型。
S740，模型性能评价。为了对模型的性能进行评价，分别加载三种方法获得的最优网络模型，以各个模型在测试集上的预测精度作为模型性能的评价指标。图9是各个模型在测试集上的预测精度。如图9所述，基于ENAS算法搜索得到的采用残差连接的全连接网络具有最高的预测精度。
本申请实施例的随机的残差连接方式能够在以全连接单元为基础的网络中引入分支、跳跃连接的网络结构。针对特定的数据，采用ENAS算法都可以搜索到合适的采用残差连接方式的全连接网络模型，且模型具有较高的精度。
作为一个实施例，对另一套单细胞基因表达数据进行建模该数据集来源于Tian等人发表的一套单细胞基因表达。该数据集的数据格是如图1所示的4271个单细胞×16653个基因表达值。每个细胞都属于特定的类型。在本申请实施例中，将细胞内各个基因的表达值作为非欧式空间数据输入的特征，将目标输出定义为区分不同细胞的类型进行自动学习训练，对基因表达数据进行处理。图10是另一种对基因表达数据进行处理的流程示意图。如图10所示，该方法包括步骤S1010至步骤S1030。
S1010，数据预处理。在该步骤中，对样本数据进行预处理，便于神经网络模型的训练与测试。例如，可以对基因表达数据集进行标准化处理，将每一个样本的基因表达值进行0-1标准化处理。
S1020，模型训练。在本实施例中，由于细胞的类型未知，目标是将相同类型的细胞进行归类，因此可以采用无监督学习模式，将基因表达数据作为输入，降维后的基因表达数据作为输出，并显示降维处理后的聚类结果。
在步骤S1020中，可以采用采用残差连接方式的VAE框架对基因表达数据进行处理。将基因表达数据输入采用残差连接的VAE模型，在超参自动搜索的过程中，将自动的选择模型的层数，每一层的神经元个数，最终返回最优的模型。并用最优模型对基因表达数据进行降维。
最优的残差全连接VAE模型如图5所示。其中，全连接单元1至全连接单元8对应的神经单元个数分别是：2048、1024、512、256、256、512、1024、2048。均值、方差和潜在变量的神经单元个数均为128。
为了测试残差全连接VAE框架的性能，可以采用现有技术的非欧式空间数据无监督学习框架作为对照。例如，选取主成分分析(principal components analysis，PCA)、T分布式随机邻居嵌入(T-distributed stochastic neighbor embedding，TSNE)和VAE无监督学习作为对照。
对于PCA和TSNE无监督学习，可以将预处理的数据通过Python软件包中的scikit-learn包进行降维处理，降维后的数据的前两维用于展示；接下来将PCA降维得到的前10个维度，进一步的通过scikit-learn中的TSNE函数做进一步的降维，得到无监督学习的结果。
对于VAE无监督学习，以传统前馈全连接神经网络的VAE的框架对预处理的数据进行训练，模型的层数以及每层的神经元个数通过超参搜索的方式得到。最终模型将数据降维到128维度，针对新的维度，做TSNE的展示。
S1030，模型性能评价。对于模型分类的结果，可以通过聚类内总距离与样本总距离的比值这个指标评估不同模型的性能；该值越小，说明无监督学习的效果越好。图11是四种无监督学习模型的聚类内距离与样本总距离的比值图。如图11所示，本申请实施例的残差全连接VAE模型的聚类结果的聚类内距离与样本总距离比值在四种模型中最小。
以上结合图1至图11详细描述了本申请实施例的数据处理方法，上述对本申请实施例的数据处理方法的描述均以基因表达数据为例，应理解，对其他类型的非欧式空间数据的处理与基因表达数据的处理方法相似，在此不再详述。
下面结合图12和图13介绍本申请实施例的数据处理装置。
如图12所示，本申请实施例的数据处理装置1200包括：获取模块1210和处理模块1220。
获取模块1210，用于获取第一数据，第一数据为基因数据、用户的社交关系连接数据、传感器信息交互数据、大脑功能调控网络中的至少一种。
处理模块1220，用于采用目标神经网络提取第一数据的特征，其中，目标神经网络包括多个全连接单元，神经网络是采用残差连接方式的网络；处理模块还用于采用目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果。
具体地，采用目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果，包括：根据第一数据的特征对第一数据的类型进行预测，得到第一数据的预测结果。
具体地，采用目标神经网络对第一数据的特征进行处理，得到第一数据的处理结果，包括：根据第一数据的特征对第一数据进行降维处理，得到第一数据的降维结果。
示例性地，目标神经网络是采用随机残差连接方式的网络。
采用随机残差连接方式，可以构建不同的残差连接方式的网络，从中选择合适的目标网络对第一数据进行特征提取和处理。
可选地，目标神经网络的每一层可选的连接方式包括：直连、跳跃连接和分支连接。
可选地，目标神经网络是通过高效神经网络架构搜索ENAS算法构建得到的神经网络。
上述技术方案中，采用ENAS算法构建目标神经网络，有较高的搜索精度与搜索效率。
示例性地，目标神经网络可以是采用残差连接的变分自编码器VAE的网络，该采用残差连接的VAE包括采用残差连接的编码器和采用残差连接的解码器。
上述技术方案中，编码器通过递减的神经元个数将原始数据压缩到低维隐藏变量，在解码器部分通过递增的神经元个数将低维变量进行还原，实现了对原始数据的降维。
可选地，在上述方案中，多个全连接单元中的每个全连接单元包括：全连接层、批标准化和激活函数。
应理解，本申请实施例中的数据处理装置1200的每个模块用于实现本申请实施例的数据处理方法的中的对应的步骤，在此不再详述。
图13是本申请实施例的数据处理装置1300的硬件结构示意图。图13所示的数据处理装置1300(该装置1300具体可以是一种计算机设备)包括存储器1310、处理器1320、通信接口1330以及总线1340。其中，存储器1310、处理器1320、通信接口1330通过总线1340实现彼此之间的通信连接。
图13所示的数据处理装置1300也能够执行本申请实施例的数据处理方法。具体地，数据处理装置1300能够执行图2、7和10所示的方法中的各个步骤。
例如，当数据处理装置1300执行图2所示的方法时，数据处理装置1300中的通信接口1330可以执行步骤S210，数据处理装置1300中的处理器1320可以执行步骤S220至步骤S230。
应理解，上述数据处理装置1200中的模块与数据处理装置1300中的模块有一定的对应关系，具体地，数据处理装置1200的获取模块1210相当于数据处理装置1300中的通信接口1330，数据处理装置1200的处理模块1220相当于数据处理装置1300中的处理器1320。
下面对数据处理装置1300中的各个模块或者单元进行详细的介绍。
存储器1310可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器1310可以存储程序，当存储器1310中存储的程序被处理器1320执行时，处理器1320用于执行本申请实施例的数据处理方法的各个步骤。
处理器1320可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请方法实施例的数据处理方法。
处理器1320还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的数据处理方法的各个步骤可以通过处理器1320中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器1320还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、ASIC、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1310，处理器1320读取存储器1310中的信息，结合其硬件完成本数据处理装置1300中包括的单元所需执行的功能，或者执行本申请方法实施例的数据处理方法。
通信接口1330使用例如但不限于收发器一类的收发装置，来实现装置1300与其他设备或通信网络之间的通信。例如，可以通过通信接口1330获取待处理数据。
总线1340可包括在装置1300各个部件(例如，存储器1310、处理器1320、通信接口1330)之间传送信息的通路。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
本申请实施例中的方法，如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读存储介质中，基于这样的理解，本申请的技术方案或技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。该存储介质至少包括：U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (18)
1.一种数据处理方法，其特征在于，包括：
获取第一数据，所述第一数据为基因数据、用户的社交关系连接数据、传感器信息交互数据、大脑功能调控网络中的至少一种；
采用目标神经网络提取所述第一数据的特征，其中，所述目标神经网络包括多个全连接单元且是采用残差连接方式的神经网络；
采用所述目标神经网络对所述第一数据的特征进行处理，得到所述第一数据的处理结果。
2.根据权利要求1所述的方法，其特征在于，所述采用目标神经网络对所述第一数据的特征进行处理，得到所述第一数据的处理结果，包括：
根据所述第一数据的特征对所述第一数据的类型进行预测，得到所述第一数据的预测结果。
3.根据权利要求1所述的方法，其特征在于，所述采用所述目标神经网络对所述第一数据的特征进行处理，得到所述第一数据的处理结果，包括：
根据所述第一数据的特征对所述第一数据进行降维处理，得到所述第一数据的降维结果。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述目标神经网络是采用随机残差连接方式的网络。
5.根据权利要求4所述的方法，其特征在于，所述目标神经网络的每一层可选的连接方式包括：直连、跳跃连接和分支连接。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述目标神经网络是通过高效神经网络架构搜索ENAS算法构建得到的神经网络。
7.根据权利要求1-3所述的方法，其特征在于，所述目标神经网络是采用残差连接的变分自编码器VAE的网络，所述采用残差连接的VAE包括采用残差连接的编码器和采用残差连接的解码器。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述多个全连接单元中的每个全连接单元包括：全连接层、批标准化和激活函数。
9.一种数据处理装置，其特征在于，包括：
获取模块，用于获取第一数据，所述第一数据为基因数据、用户的社交关系连接数据、传感器信息交互数据、大脑功能调控网络中的至少一种；
处理模块，用于采用目标神经网络提取所述第一数据的特征，其中，所述目标神经网络包括多个全连接单元且是采用残差连接方式的网络；
所述处理模块还用于采用所述目标神经网络对所述第一数据的特征进行处理，得到所述第一数据的处理结果。
10.根据权利要求9所述的装置，其特征在于，所述采用所述目标神经网络对所述第一数据的特征进行处理，得到所述第一数据的处理结果，包括：
根据所述第一数据的特征对所述第一数据的类型进行预测，得到所述第一数据的预测结果。
11.根据权利要求9所述的装置，其特征在于，所述采用所述目标神经网络对所述第一数据的特征进行处理，得到所述第一数据的处理结果，包括：
根据所述第一数据的特征对所述第一数据进行降维处理，得到所述第一数据的降维结果。
12.根据权利要求9-11中任一项所述的装置，其特征在于，所述目标神经网络是采用随机残差连接方式的网络。
13.根据权利要求12所述的装置，其特征在于，所述目标神经网络的每一层可选的连接方式包括：直连、跳跃连接和分支连接。
14.根据权利要求9-13中任一项所述的装置，其特征在于，所述目标神经网络是通过高效神经网络架构搜索ENAS算法构建得到的神经网络。
15.根据权利要求9-11中任一项所述的装置，其特征在于，所述目标神经网络是采用残差连接的变分自编码器VAE的网络，所述采用残差连接的VAE包括采用残差连接的编码器和采用残差连接的解码器。
16.根据权利要求9-15中任一项所述的装置，其特征在于，所述多个全连接单元中的每个全连接单元包括：全连接层、批标准化和激活函数。
17.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如权利要求1-8中任一项所述的方法。
18.一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求1-8中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910844533 | 2019-09-06 | ||
| CN2019108445330 | 2019-09-06 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465135A true CN112465135A (zh) | 2021-03-09 |
Family
ID=74832743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010019010.5A Pending CN112465135A (zh) | 2019-09-06 | 2020-01-08 | 数据处理方法、装置、计算机可读存储介质和芯片 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465135A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664335A (zh) * | 2023-07-24 | 2023-08-29 | 创域智能(常熟)网联科技有限公司 | 基于智能监控的半导体生产系统运行分析方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6558965B1 (en) * | 2001-07-11 | 2003-05-06 | Advanced Micro Devices, Inc. | Measuring BARC thickness using scatterometry |
| CN105303193A (zh) * | 2015-09-21 | 2016-02-03 | 重庆邮电大学 | 一种基于单帧图像处理的人数统计系统 |
| CN107330357A (zh) * | 2017-05-18 | 2017-11-07 | 东北大学 | 基于深度神经网络的视觉slam闭环检测方法 |
| CN110175671A (zh) * | 2019-04-28 | 2019-08-27 | 华为技术有限公司 | 神经网络的构建方法、图像处理方法及装置 |
| CN110188836A (zh) * | 2019-06-21 | 2019-08-30 | 西安交通大学 | 一种基于变分自编码器的脑功能网络分类方法 |
-
2020
- 2020-01-08 CN CN202010019010.5A patent/CN112465135A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6558965B1 (en) * | 2001-07-11 | 2003-05-06 | Advanced Micro Devices, Inc. | Measuring BARC thickness using scatterometry |
| CN105303193A (zh) * | 2015-09-21 | 2016-02-03 | 重庆邮电大学 | 一种基于单帧图像处理的人数统计系统 |
| CN107330357A (zh) * | 2017-05-18 | 2017-11-07 | 东北大学 | 基于深度神经网络的视觉slam闭环检测方法 |
| CN110175671A (zh) * | 2019-04-28 | 2019-08-27 | 华为技术有限公司 | 神经网络的构建方法、图像处理方法及装置 |
| CN110188836A (zh) * | 2019-06-21 | 2019-08-30 | 西安交通大学 | 一种基于变分自编码器的脑功能网络分类方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664335A (zh) * | 2023-07-24 | 2023-08-29 | 创域智能(常熟)网联科技有限公司 | 基于智能监控的半导体生产系统运行分析方法及系统 |
| CN116664335B (zh) * | 2023-07-24 | 2023-10-03 | 创域智能(常熟)网联科技有限公司 | 基于智能监控的半导体生产系统运行分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gu et al. | Stack-captioning: Coarse-to-fine learning for image captioning | |
| Alzubaidi et al. | Review of deep learning: concepts, CNN architectures, challenges, applications, future directions | |
| CN110175671B (zh) | 神经网络的构建方法、图像处理方法及装置 | |
| CN111353076A (zh) | 训练跨模态检索模型的方法、跨模态检索的方法和相关装置 | |
| Kumar et al. | Deep neural network hyper-parameter tuning through twofold genetic approach | |
| CN112347248A (zh) | 一种方面级文本情感分类方法及系统 | |
| CN113592060A (zh) | 一种神经网络优化方法以及装置 | |
| Chen et al. | New ideas and trends in deep multimodal content understanding: A review | |
| Chen et al. | Binarized neural architecture search for efficient object recognition | |
| Ahmed et al. | A meta-heuristic automatic CNN architecture design approach based on ensemble learning | |
| Mitschke et al. | Gradient based evolution to optimize the structure of convolutional neural networks | |
| Nistor et al. | IntelliSwAS: Optimizing deep neural network architectures using a particle swarm-based approach | |
| Qian | Exploration of machine algorithms based on deep learning model and feature extraction | |
| Marais | Deep learning for tabular data: an exploratory study | |
| Bayoudh | A survey of multimodal hybrid deep learning for computer vision: Architectures, applications, trends, and challenges | |
| CN112465135A (zh) | 数据处理方法、装置、计算机可读存储介质和芯片 | |
| Nishat et al. | Synthetic class specific Bangla handwritten character generation using conditional generative adversarial networks | |
| Hah et al. | Information‐based boundary equilibrium generative adversarial networks with interpretable representation learning | |
| Kim et al. | Deep Coupling of Random Ferns. | |
| EP4162404A1 (en) | Image and data analytics model compatibility regulation methods | |
| Elezi | Exploiting contextual information with deep neural networks | |
| CN114065901A (zh) | 训练神经网络模型的方法和装置 | |
| Somogyi et al. | Machine Learning Algorithms | |
| Διαμαντής | Intelligent systems and services for image and video analysis | |
| Silaparasetty et al. | Neural Network Collection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220214 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Applicant after: Huawei Cloud Computing Technology Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
| TA01 | Transfer of patent application right |