CN111832335A - 数据处理方法、装置及电子设备 - Google Patents
数据处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111832335A CN111832335A CN201910299816.1A CN201910299816A CN111832335A CN 111832335 A CN111832335 A CN 111832335A CN 201910299816 A CN201910299816 A CN 201910299816A CN 111832335 A CN111832335 A CN 111832335A
- Authority
- CN
- China
- Prior art keywords
- neural network
- indirect
- input
- output
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 364
- 238000013507 mapping Methods 0.000 claims abstract description 208
- 210000002569 neuron Anatomy 0.000 claims abstract description 125
- 238000000034 method Methods 0.000 claims abstract description 123
- 230000009467 reduction Effects 0.000 claims abstract description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 145
- 238000001514 detection method Methods 0.000 claims description 145
- 239000011159 matrix material Substances 0.000 claims description 125
- 238000004422 calculation algorithm Methods 0.000 claims description 108
- 230000008569 process Effects 0.000 claims description 80
- 238000004364 calculation method Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 45
- 238000013138 pruning Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 abstract description 84
- 230000006870 function Effects 0.000 description 14
- 238000011176 pooling Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000005284 excitation Effects 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003252 repetitive effect Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- QVRVXSZKCXFBTE-UHFFFAOYSA-N n-[4-(6,7-dimethoxy-3,4-dihydro-1h-isoquinolin-2-yl)butyl]-2-(2-fluoroethoxy)-5-methylbenzamide Chemical compound C1C=2C=C(OC)C(OC)=CC=2CCN1CCCCNC(=O)C1=CC(C)=CC=C1OCCF QVRVXSZKCXFBTE-UHFFFAOYSA-N 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000013643 reference control Substances 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本申请公开了一种数据处理方法，包括：获取第一神经网络的卷积层的输入数据以及输出数据；将所述输入数据和所述输出数据映射到间接特征空间；在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。采用所述方法，解决了针对卷积神经网络合理的去除冗余的问题，避免了精简后的卷积神经网络性能降低。
Description
技术领域
本申请涉及神经网络技术领域，具体涉及一种数据处理方法、装置及电子设备。本申请同时涉及一种行人检测神经网络的处理方法、装置及电子设备。本申请还涉及一种图像处理方法。
背景技术
庞大的参数量和复杂的结构使得卷积神经网络在计算机视觉任务处理上表现出优异的性能，但是，这同时会导致卷积神经网络具有很高的计算复杂度，因此在实际应用中计算成本较高。目前，为使得卷积神经网络更适用于实际应用，一般通过精简卷积神经网络的结构、去除冗余的参数或者神经元，以有效降低卷积神经网络的计算复杂度。
现有的卷积神经网络精简算法主要有：(1)基于卷积核的低秩特性的去冗余方法，该方法只在卷积层的输出上分析其冗余性，并没有提出去除输入冗余的方案，从而去除冗余不够彻底。(2)基于神经元重要性的剪枝方法，该方法偏重于分析神经元的重要性，去除不重要的神经元，但是忽略了神经元的重复性，从而去除冗余不够彻底。
因此，需要解决的问题是如何更合理的针对卷积神经网络去除冗余，以避免精简后的卷积神经网络性能降低。
发明内容
本申请提供一种数据处理方法，解决了针对卷积神经网络合理的去除冗余的问题，避免了精简后的卷积神经网络性能降低。
本申请提供一种数据处理方法，包括：
获取第一神经网络的卷积层的输入数据以及输出数据；
将所述输入数据和所述输出数据映射到间接特征空间；
在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。
可选的，所述将所述输入数据和所述输出数据映射到间接特征空间，包括：
使用奇异值分解算法对所述输入数据进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入数据映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出数据进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出数据映射为间接特征空间的间接输出特征。
可选的，所述使用所述输入映射矩阵，将所述输入数据映射为间接特征空间的间接输入特征，包括：使用所述输入映射矩阵对所述输入数据进行正交变换处理，得到所述间接输入特征；
所述使用所述输出映射矩阵，将所述输出数据映射为间接特征空间的间接输出特征，包括：
使用所述输出映射矩阵对所述输出数据进行正交变换处理，得到所述间接输出特征。
可选的，所述方法还包括：获得所述第一神经网络的卷积层的原始卷积参数；
所述在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，包括：根据所述输入映射矩阵、所述原始卷积参数以及所述输出映射矩阵，精简所述第一神经网络的卷积层。
可选的，所述根据所述输入映射矩阵、所述原始卷积参数以及所述输出映射矩阵，精简所述第一神经网络的卷积层，包括：
使用输入映射矩阵的转置矩阵作为第二卷积计算模块的参数，使用输出映射矩阵的转置矩阵作为第三卷积计算模块的参数；
利用所述第二卷积计算模块和所述第三卷积计算模块对所述原始卷积参数以进行化简处理，得到化简后的卷积参数，使用化简后的卷积参数精简所述第一神经网络的卷积层。
可选的，所述方法还包括：使用输入映射矩阵作为第一卷积计算模块的参数，使用输出映射矩阵作为第四卷积计算模块的参数；
在所述间接特征空间中对第一卷积计算模块进行剪枝精简处理，得到精简后的输入数据；在所述间接特征空间中对第四卷积计算模块进行剪枝精简处理，得到精简后的输出数据。
可选的，所述方法还包括：
在使用奇异值分解算法对所述输入数据进行分解过程中，将所述输入数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；
在使用奇异值分解算法对所述输出数据进行分解过程中，将所述输出数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征；
所述在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，包括：根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到第二神经网络。
可选的，所述在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，包括：
在所述间接特征空间中，根据神经网络的神经元的重要程度精简所述第一神经网络，得到第二神经网络。
可选的，所述在所述间接特征空间中，根据神经网络的神经元的重要程度精简所述第一神经网络，得到第二神经网络，包括：
在使用奇异值分解算法对所述输入数据进行分解过程中，按照输入数据的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出数据进行分解过程中，按照输出数据的间接输出特征的重要程度排序；
根据重要程度排序精简所述第一神经网络，得到第二神经网络。
可选的，所述根据重要程度排序精简所述第一神经网络，得到第二神经网络，包括：
去除间接输入特征的重要程度满足第一重要性阈值条件的间接输入特征；和/或，去除间接输出特征的重要程度满足第二重要性阈值条件的间接输出特征。
可选的，所述方法还包括：
使用奇异值分解算法对所述输入数据分解过程中得到输入奇异值；
根据所述输入奇异值确定间接输入特征的重要程度；
使用奇异值分解算法对所述输出数据分解过程中得到输出奇异值；
根据所述输出奇异值确定间接输出特征的重要程度；
其中，所述间接输入特征的重要程度为用于提取所述间接输入特征的第一神经元对于神经网络性能的影响程度；所述间接输出特征的重要程度为用于学习所述间接输出特征的第二神经元对于神经网络性能的影响程度。
可选的，所述输出数据为零均值向量；所述输出映射矩阵为正交映射矩阵。
可选的，所述获取第一神经网络的卷积层的输入数据以及输出数据，包括：由所述第一神经网络的输入层得到输入特征张量，将所述输入特征张量作为所述输入数据；由所述第一神经网络的输出层得到输出特征张量，将所述输出特征张量作为所述输出数据。
本申请还提供一种行人检测神经网络的处理方法，包括：
获取图像样本；
将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量；
将所述输入特征张量和所述输出特征张量映射到间接特征空间；
在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络。
可选的，所述将所述输入特征张量和所述输出特征张量映射到间接特征空间，包括：
使用奇异值分解算法对所述输入特征张量进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入特征张量映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出特征张量进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出特征张量映射为间接特征空间的间接输出特征。
可选的，所述方法还包括：
在使用奇异值分解算法对所述输入特征张量进行分解过程中，将所述输入特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；
在使用奇异值分解算法对所述输出特征张量进行分解过程中，将所述输出特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征；
所述在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络，包括：根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到精简后的行人检测神经网络。
可选的，所述方法还包括：在使用奇异值分解算法对所述输入特征张量进行分解过程中，按照输入特征张量的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出特征张量进行分解过程中，按照输出特征张量的间接输出特征的重要程度排序；
所述在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络，包括：在所述间接特征空间中，按照所述重要程度排序精简所述行人检测神经网络，得到精简后的行人检测神经网络。
可选的，所述方法还包括：
获取待处理图像；
使用所述精简后的行人检测神经网络对所述待处理图像进行检测，获得检测结果。
可选的，所述使用所述精简后的行人检测神经网络对所述待处理图像进行检测，获得检测结果，包括：
将所述待处理图像作为所述精简后的行人检测神经网络的输入数据，获得所述待处理图像中是否存在行人对象的判断结果。
本申请还提供一种图像处理方法，包括：
获得待处理图像；
获取第一神经网络的卷积层的输入数据以及输出数据；
将所述输入数据和所述输出数据映射到间接特征空间；
在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络；
使用所述第二神经网络对所述待处理图像进行检测，获得检测结果。
本申请还提供一种图像处理方法，包括：
获得包含目标对象的待处理图像；
将所述待处理图像输入神经网络；
使用所述神经网络对所述待处理图像进行目标检测，获得检测结果；其中，所述神经网络为卷积层去除冗余神经元的神经网络；所述神经网络的输入层用于提取所述待处理图像的输入特征数据，所述神经网络的卷积层的非冗余神经元用于对输入所述卷积层的输入特征数据进行检测处理，确定检测结果。
本申请还提供一种数据处理装置，包括：
数据获取单元，用于获取第一神经网络的卷积层的输入数据以及输出数据；
映射单元，用于将所述输入数据和所述输出数据映射到间接特征空间；
精简单元，用于在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。
本申请还提供一种行人检测神经网络的处理装置，包括：
样本获取单元，用于获取图像样本；
张量获得单元，用于将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量；
映射单元，用于将所述输入特征张量和所述输出特征张量映射到间接特征空间；
精简单元，用于在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络。
本申请还提供一种电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
获取第一神经网络的卷积层的输入数据以及输出数据；
将所述输入数据和所述输出数据映射到间接特征空间；
在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。
本申请还提供一种电子设备，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
获取图像样本；
将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量；
将所述输入特征张量和所述输出特征张量映射到间接特征空间；
在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络。
与现有技术相比，本申请具有以下优点：
本申请提供的数据处理方法，通过将第一神经网络的卷积层的输入数据以及输出数据，映射到间接特征空间；在间接特征空间中精简所述第一神经网络，得到第二神经网络，由于同时对卷积层的输入数据和输出数据进行冗余去除，因此能更充分地去除第一神经网络的冗余，得到的第二神经网络为精简后的神经网络，具有更低的计算复杂度，并且避免了性能下降。
本申请提供的行人检测神经网络的处理方法，通过将行人检测神经网络的输入特征张量和输出特征张量，映射到间接特征空间；在间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络，由于同时对卷积层的输入特征张量和输出特征张量进行冗余去除，因此能更充分地去除行人检测神经网络的冗余，得到的精简后的行人检测神经网络具有更低的计算复杂度，并且避免了性能下降。
附图说明
图1是本申请第一实施例提供的一种数据处理方法的处理流程图；
图2是本申请第一实施例包括的卷积神经网络精简过程示意图；
图3是本申请第一实施例包括的卷积神经网络精简过程中的神经元重要程度示意图；
图4是本申请第二实施例提供的一种行人检测神经网络的处理方法的处理流程图；
图5是本申请第三实施例提供的一种图像处理方法的处理流程图；
图6是本申请第四实施例提供的一种数据处理装置示意图；
图7是本申请第五实施例提供的一种行人检测神经网络的处理装置示意图；
图8是本申请提供的一种电子设备示意图；
图9是本申请第八实施例提供的一种图像处理方法的处理流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请提供一种数据处理方法、装置以及电子设备。本申请还提供一种行人检测神经网络的处理方法、装置及电子设备。本申请还提供一种图像处理方法，在下面的实施例中逐一进行详细说明。
为便于理解，首先介绍与神经网络以及卷积神经网络相关的几个概念。
所谓神经网络，是由神经元(也称为节点或单元)按不同连接方式相互连接组成的运算模型，通过模拟大脑神经网络处理、记忆信息的方式进行信息处理，也称为人工神经网络(Artificial Neural Network，即ANN)。所谓神经元，是从信息处理角度对人脑神经元网络进行抽象而得到的计算单元，也称为人工神经元。每个神经元代表一种特定的输出函数，称为激励函数(activation function)。每两个神经元间的连接代表针对通过所述连接的信号的加权值，称为权重，权重相当于神经网络的记忆。根据各神经元之间的连接方式，连接的权重值以及激励函数能得到神经网络的输出。神经网络的网络结构包括输入层、输出层和隐含层，其中，输入层由用于接受神经网络外部输入的信号与数据的神经元构成；输出层由用于实现系统处理结果的神经元构成；隐含层由位于输入和输出单元之间无法由神经网络外部观察的神经元构成。
实际应用中，神经网络的神经元可表示不同的对象，例如特征、字母、概念，或者一些有特定意义的抽象模式，因此，神经网络可用于模式识别、自动控制、信号处理、辅助决策、人工智能等众多领域。例如，用于信息领域中智能仪器、自动跟踪监测仪器系统、自动控制制导系统、自动故障诊断和报警系统、文字识别、语音识别、指纹识别、遥感图像识别、人脸识别、手写体字符的识别、工业故障检测、精确制导等。神经网络还可用于医学领域，例如用于生物信号的检测与自动分析，医学专家系统等。神经网络还可用于经济领域，例如用于市场价格预测、风险评估。神经网络还可用于控制领域中的监督控制、直接逆模控制、模型参考控制、内模控制、预测控制、最优决策控制等。神经网络还可用于交通领域汽车驾驶员行为的模拟、参数估计、路面维护、车辆检测与分类、交通模式分析、货物运营管理、交通流量预测、运输策略与经济、交通环保、空中运输、船舶的自动导航及船只的辨认、地铁运营及交通控制等。
所谓卷积神经网络(Convolutional Neural Networks，CNN)是一类仿造生物的视知觉(visual perception)机制构建的特定神经网络，在计算机视觉领域有广泛应用。卷积神经网络包含卷积计算且具有深度结构的前馈神经网络(Feedforward NeuralNetworks)，可以进行监督学习和非监督学习。类似普通神经网络，卷积神经网络的结构包括输入层、隐含层以及输出层。区别于普通神经网络，卷积神经网络的隐含层包含用于进行卷积计算的卷积层，提取输入到卷积层的输入数据的特征，其中，卷积层由进行卷积计算的神经元构成。卷积神经网络的输入层可以处理多维数据，例如，一维卷积神经网络的输入层接收一维或二维数组，其中，一维数组可以为时间采样或频谱采样；二维数组可以包含多个通道。再如，二维卷积神经网络的输入层接收二维或三维数组，三维数组可以是二维像素点和RGB通道。再如，三维卷积神经网络的输入层接收四维数组。卷积神经网络的隐含层除了卷积层外，一般还可以包含用于进行特征选择和信息过滤池化层，以及用于将三维或多维结构的特征展开为向量的全连接层。卷积神经网络的输出层可以实现输出，例如，用于图像分类的卷积神经网络的输出层使用逻辑函数或归一化指数函数(softmax function)输出分类标签。再如，用于物体识别(object detection)的卷积神经网络，输出层可以输出物体的中心坐标、大小和分类。再如，用于图像语义分割的卷积网络的输出层，可以输出每个像素的分类结果。
本申请第一实施例提供一种数据处理方法。
以下结合图1至图3对本申请实施例提供的一种数据处理方法进行说明。
图1所示的数据处理方法，包括：步骤S101至步骤S103。
步骤S101，获取第一神经网络的卷积层的输入数据以及输出数据。
所述第一神经网络为包含卷积层的神经网络，例如，可以是卷积神经网络。本实施例以卷积神经网络为例对所述数据处理方法进行说明。
卷积神经网络结构一般包含输入层、隐含层和输出层，隐含层中又包含卷积网络层(或卷积层)，由卷积层进行卷积计算，提取输入数据的特征。卷积神经网络可以使用梯度下降进行学习，例如将像素、音频至少一种数据作为用于卷积神经网络进行学习的训练数据。所述训练数据输入卷积神经网络的输入层前需要进行标准化处理，例如在通道或时间/频率维度对输入数据进行归一化。再如，若输入数据为像素，可将分布于[0，255]区间的原始像素值归一化至[0，1]区间。
卷积神经网络的隐含层包含卷积层、池化层，还可以包括全连接层。其中，卷积层(convolutional layer)包括一个或多个卷积核(convolutional kernel)、卷积层参数以及激励函数(activation function)，用于对由输入层得到的输入数据进一步进行特征提取。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，所述区域称为“感受野(receptive field)”。组成卷积核的每个元素对应权重系数和偏差量(bias vector)，卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量。卷积层参数包括卷积核大小、卷积步长和填充，卷积层参数决定了卷积层输出特征图的尺寸。其中卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的输入特征越复杂。卷积步长定义了卷积核相邻两次扫过特征图时位置的距离，例如卷积步长为1时，卷积核会逐个扫过特征图的元素，再如，卷积步长为n时会在下一次扫描跳过n-1个像素。卷积层的激励函数可以是线性整流单元(Rectified Linear Unit,ReLU)或其它类似ReLU的变体例如有斜率的ReLU(LeakyReLU,LReLU)、参数化的ReLU(Parametric ReLU,PReLU)、随机化的ReLU(Randomized ReLU,RReLU)、指数线性单元(Exponential Linear Unit,ELU)。卷积层的激励函数也可以使用Sigmoid函数或双曲正切函数(hyperbolic tangent)。卷积层进行特征提取后，输出的特征图会被传递至池化层(pooling layer)进行特征选择和信息过滤。池化层包含预设定的池化函数，用于将特征图中单个点的结果替换为其相邻区域的特征图统计量。
当然，在特定卷积神经网络中，还包括Inception模块、残差块(residual block)等结构。Inception模块(Inception module)是对多个卷积层和池化层进行堆叠得到的特定隐含层。例如，一个Inception模块能同时包含多个不同类型的卷积和池化操作，并使用相同填充使上述操作得到相同尺寸的特征图，在数组中将这些特征图的通道进行叠加并通过激励函数处理。
本实施例中，每层卷积层(Convolutional layer)包含输入数据、输出数据(或输出响应)和卷积参数。所述输入数据是由CNN输入层的输出信息得到的数据，可以是矩阵或张量；所述输出数据是由CNN输出层的输出信息得到的数据，可以是矩阵或张量；其中，矩阵是二维数据，张量一般指三维数据。例如，卷积神经网络应用于计算机视觉领域，输入数据为三维数据(张量)，包括平面上的二维像素点和RGB通道。输入数据和输出数据的维度越高，卷积神经网络的计算复杂度越高。针对卷积神经网络进行精简能够降低计算复杂度。
本实施例中，所述获取第一神经网络的卷积层的输入数据以及输出数据，是指提取CNN输入层的输出信息，以及提取CNN输出层的输出信息。其中的一个实施方式中，包括：由所述第一神经网络的输入层得到输入特征张量，将所述输入特征张量作为所述输入数据；由所述第一神经网络的输出层得到输出特征张量，将所述输出特征张量作为所述输出数据。
步骤S102，将所述输入数据和所述输出数据映射到间接特征空间。
本实施例中，采用奇异值分解算法(Singular Value Decomposition，或SVD)分别对卷积层的输入数据和输出数据进行分解，将输入数据和输出数据映射到间接特征空间。所谓SVD，是线性代数中一种重要的矩阵分解，数据集的特征值(在SVD中用奇异值表征)按照重要性排列，因而可以方便的确定并舍弃不重要的特征向量(SVD中的奇异向量)。具体的，所述将所述输入数据和所述输出数据映射到间接特征空间，包括：
使用奇异值分解算法对所述输入数据进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入数据映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出数据进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出数据映射为间接特征空间的间接输出特征。
请参考图2，图中标准卷积201为第一神经网络中一层卷积层的示意表示，包括：输入数据X、卷积参数W(即卷积层的权重)和输出数据Y，则卷积计算为
其中，
H*W是特征图的尺寸，C0是特征图的通道数，K*K是卷积核的尺。
图中间接特征空间卷积202为同时针对输入数据X进行SVD分解和针对输出数据Y进行SVD分解的示意表示，分解过程中实现为四个卷积层(或卷积计算模块)，相对于第一神经网络的卷积层为新增的卷积计算模块，各卷积计算模块的参数分别
Mx、My、
其中，My为输出映射矩阵，
为输出映射矩阵的转置矩阵，Mx为输入映射矩阵；
为输入映射矩阵的转置矩阵。
以下说明间接特征空间卷积202是对于原始的标准卷积的合理变换。
(1)针对输出数据采用SVD映射到输出数据的间接特征空间的处理，若输出数据为零均值向量，则通过SVD分解得到的输出映射矩阵为正交映射矩阵，具体包括：
以Y表示输出数据，则正交映射矩阵
则存在：
因此，当以
表示间接输出特征，则卷积可以变换如下：
其中，公式(2)中的第一个等式表示利用
将输出数据Y映射为间接特征空间的
而第二个等式为将间接特征空间的
利用
映射回Y。
(2)针对输入数据采用SVD映射到输入数据的间接特征空间的处理，包括：
以X表示输入数据，则正交映射矩阵
则存在：
XXT＝Mx∑xMx T， 公式(3)；
因此，Mx T能将输入数据X映射到输入数据的间接特征空间，例如，Mx TX。
以
表示从输入数据X提取的一个特定列，y∈RC为对应的响应，则
根据公式(3)
的卷积可以表示如下：
其中，
将输入数据的间接特征空间映射回输入数据空间。
进一步根据
可以得到：
从公式(5)可以看出,
为期望的卷积间接输入空间。
(3)原始的标准卷积变换为间接特征空间卷积的推导，包括：
由公式(2)和公式(5)，对标准卷积201的卷积计算
进行变换，可以得到，
其中，
为新的卷积参数。
因此，第一神经网络的标准卷积201能变换为：
从上述分析可以看出，SVD分解将输入数据和输出数据映射到容易进行精简的间接特征空间。SVD分解输入数据和输出数据后，额外增加了4个卷积计算模块，即图中间接特征空间卷积202所示。对新增的4个卷积计算模块，图中化简卷积参数202-5为通过线性代数推导，将化简卷积参数202-5中的3个卷积计算模块化简为1个卷积计算模块，化简后的卷积如图中精简卷积层203所示，化简了计算复杂度。处理步骤包括：获得所述第一神经网络的卷积层的原始卷积参数；根据所述输入映射矩阵、所述原始卷积参数以及所述输出映射矩阵，精简所述第一神经网络的卷积层。具体的，通过下述处理精简所述第一神经网络的卷积层：
使用输入映射矩阵的转置矩阵作为第二卷积计算模块的参数，使用输出映射矩阵的转置矩阵作为第三卷积计算模块的参数；
利用所述第二卷积计算模块和所述第三卷积计算模块对所述原始卷积参数以进行化简处理，得到化简后的卷积参数，使用化简后的卷积参数精简所述第一神经网络的卷积层。例如，图2中第二卷积计算模块202-2，其参数为Mx；第三卷积计算模块202-3，其参数为
化简后的卷积参数为精简卷积层203中的化简的卷积参数203-1。
本实施例中的一个实施方式，还包括：使用输入映射矩阵作为第一卷积计算模块的参数，使用输出映射矩阵作为第四卷积计算模块的参数；在所述间接特征空间中对第一卷积计算模块进行剪枝精简处理，得到精简后的输入数据；在所述间接特征空间中对第四卷积计算模块进行剪枝精简处理，得到精简后的输出数据。例如，图2中第一卷积计算模块202-1，其参数为Mx T；第四卷积计算模块202-4，其参数为My。
本实施例中的一个实施方式，所述使用所述输入映射矩阵，将所述输入数据映射为间接特征空间的间接输入特征，包括：使用所述输入映射矩阵对所述输入数据进行正交变换处理，得到所述间接输入特征；
所述使用所述输出映射矩阵，将所述输出数据映射为间接特征空间的间接输出特征，包括：
使用所述输出映射矩阵对所述输出数据进行正交变换处理，得到所述间接输出特征。
步骤S103，在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络第二神经网络。
在未经过正交映射处理的直接特征空间中，神经元是两两相关的、不独立的(相关的两个神经元就是重复的神经元，重复的神经元也是不重要的神经元)。而经过SVD分解过程得到的间接特征是两两不相关的，即在SVD分解过程中已经将重复的神经元整合在一起，SVD分解后的间接特征空间上的神经元已经是两两不相关的、独立的，因此采用SVD分解算法，由算法的特性能去除了神经元的重复性。另外，由于SVD分解算法使得数据集的特征值(在SVD中用奇异值表征)按照重要性排列，从而可以通过舍弃不重要的特征向量(SVD的奇异向量)。
具体到本实施例，在使用奇异值分解算法对所述输入数据进行分解过程中，将所述输入数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；在使用奇异值分解算法对所述输出数据进行分解过程中，将所述输出数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征；相应的，所述在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，包括：根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到第二神经网络。例如，第一神经网络为卷积神经网络，采用所述数据处理方法得到的第二神经网络为精简后的卷积神经网络。进一步的，本实施例的一个实施方式中，根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中重要程度满足重要性阈值条件和包含重复信息的神经元，得到第二神经网络，例如，重要程度满足重要性阈值条件的神经元为不重要的神经元，该实施方式中，为去除间接特征空间中不重要的和包含重复信息的神经元。
本实施例中，在步骤S102使用SVD分解算法同时对输入数据和输出数据进行分解，因此已经对输入数据分解后的间接输入特征进行了重要性排序，并且已经对输出数据分解后的间接输出特征进行了重要性排序，一个实施方式中在本步骤，根据输入数据的间接输出特征以及输出数据的间接输出特征的重要程度进行剪枝，去除不重要的间接输入特征和间接输出特征，使得间接输入特征和间接输出特征的维度降低，从而降低计算复杂度。
本实施例的一个具体实现方式中，采用下述处理得到第二神经网络：在所述间接特征空间中，根据卷积神经网络的神经元的重要程度精简所述卷积神经网络，得到第二神经网络。具体包括：
在使用奇异值分解算法对所述输入数据进行分解过程中，按照输入数据的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出数据进行分解过程中，按照输出数据的间接输出特征的重要程度排序；
根据重要程度排序精简所述第一神经网络，得到第二神经网络。
其中，所述根据重要程度排序精简所述第一神经网络，得到第二神经网络，包括：
去除间接输入特征的重要程度满足第一重要性阈值条件的间接输入特征；和/或，去除间接输出特征的重要程度满足第二重要性阈值条件的间接输出特征。
本实施例中，还包括根据SVD分解过程中的奇异值确定间接特征的重要程度，具体包括：
使用奇异值分解算法对所述输入数据分解过程中得到输入奇异值；
根据所述输入奇异值确定间接输入特征的重要程度；
使用奇异值分解算法对所述输出数据分解过程中得到输出奇异值；
根据所述输出奇异值确定间接输出特征的重要程度；
其中，所述间接输入特征的重要程度为用于提取所述间接输入特征的第一神经元对于神经网络性能的影响程度；所述间接输出特征的重要程度为用于学习所述间接输出特征的第二神经元对于神经网络性能的影响程度。
请参考图3，图中，AlexNet准确性变化曲线301表示出了AlexNet卷积神经网络的性能损失与奇异值的相关性；ResNet18准确性变化曲线302表示出了ResNet18卷积神经网络的性能损失与奇异值的相关性。从变化曲线可以看出，奇异值越小性能损失越小，说明该奇异值对应的间接特征重要程度越低，从而相应的神经元重要程度越低。
本实施例的一个具体实施方式中，使用了开源深度学习框架pytorch进行算法开发，并采用python语言实现代码。
至此，对本申请第一实施例进行了详细介绍，本申请第一实施例提供的数据处理方法，通过将第一神经网络的卷积层的输入数据以及输出数据，映射到间接特征空间；在间接特征空间中精简所述第一神经网络，得到第二神经网络，所述第二神经网络为去除了冗余神经元的神经网络，并进一步的，采用SVD分解算法同时对卷积层的输入数据和输出数据进行冗余去除。SVD分解通过将重复的数据映射同同一个纬度进行重复数据整合，分解后将输入数据和输出数据分别映射到间接特征空间，这样在间接特征空间中去掉不重要的神经元，包括去掉重复的神经元，因为重复的数据是不重要的。另外，SVD分解后的间接输入特征和间接输出特征的重要性已经分别完成了排序，因此可以直接按照排序去除不重要的间接输入特征和间接输出特征，因此能更充分地去除第一神经网络的冗余，得到具有更低的计算复杂度的神经网络，并避免了性能下降。
在上述实施例基础上，本申请第二实施例提供了一种行人检测神网络的处理方法。
以下结合图4对本申请第二实施例提供的所述行人检测神经网络的处理方法进行说明。
图4所示的行人检测神经网络的处理方法，包括：步骤S401至步骤S404。
步骤S401，获取图像样本。
所述行人检测神经网络是用于行人检测的神经网络，例如可以是卷积神经网络。所谓行人检测(Pedestrian Detection)，是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。行人检测技术与行人跟踪，行人重识别等技术结合，可以进一步应用于人工智能系统、车辆辅助驾驶系统、智能机器人、智能视频监控、人体行为分析、智能交通等领域。本实施例以卷积神经网络作为所述行人检测神经网络为例对所述方法进行说明。
所述获取图像样本，是指获取图像或者视频序列，用于训练行人检测卷积神经网络。
步骤S402，将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量。
本实施例中，所述输入特征张量是由行人检测神经网络输入层的输出信息得到的数据；所述输出特征张量是由行人检测神经网络输出层的输出信息得到的数据；其中，张量一般指三维数据。例如，输入特征张量和输出特征张量分别为包括平面上的二维像素点和RGB通道的三维数据。输入特征张量和输出特征张量的维度越高，行人检测神经网络的计算复杂度越高。针对行人检测神经网络进行精简能够降低计算复杂度。
本实施例中，所述将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量，包括：将所述图像样本作为行人检测神经网络的输入层的输入信息，提取作为行人检测神经网络的卷积神经网络输入层的输出信息作为输入特征张量，以及提取所述卷积神经网络输出层的输出信息作为输出特征张量。
步骤S403，将所述输入特征张量和所述输出特征张量映射到间接特征空间。
本实施例中，采用奇异值分解算法(Singular Value Decomposition，或SVD)分别对卷积层的输入特征张量和输出特征张量进行分解，将输入特征张量和输出特征张量映射到间接特征空间。所谓SVD，是线性代数中一种重要的矩阵分解，数据集的特征值(在SVD中用奇异值表征)按照重要性排列，因而可以方便的确定并舍弃不重要的特征向量(SVD中的奇异向量)。具体到本步骤，包括下述处理：
使用奇异值分解算法对所述输入特征张量进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入特征张量映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出特征张量进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出特征张量映射为间接特征空间的间接输出特征。
步骤S404，在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络。
在未经过正交映射处理的直接特征空间中，神经元是两两相关的、不独立的。相关的两个神经元就是重复的神经元，重复的神经元也是不重要的神经元。而经过SVD分解过程得到的间接特征是两两不相关的，即在SVD分解过程中已经将重复的神经元整合在一起，SVD分解后的间接特征空间上的神经元已经是两两不相关的、独立的，因此采用SVD分解算法，由算法的特性能去除了神经元的重复性。另外，由于SVD分解算法使得数据集的特征值(在SVD中用奇异值表征)按照重要性排列，从而可以通过舍弃不重要的特征向量(SVD的奇异向量)。
具体到本实施例，在使用奇异值分解算法对所述输入特征张量进行分解过程中，将所述输入特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；在使用奇异值分解算法对所述输出特征张量进行分解过程中，将所述输出特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征。进一步，根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到精简后的行人检测神经网络。进一步的，本实施例的一个实施方式中，根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中重要程度满足重要性阈值条件和包含重复信息的神经元，得到精简后的神经网络，例如，重要程度满足重要性阈值条件的神经元为不重要的神经元，该实施方式中，为去除间接特征空间中不重要的和包含重复信息的神经元。
本实施例中，在步骤S403使用SVD分解算法同时对输入特征张量和输出特征张量进行分解，因此已经分解后的间接输入特征进行了重要性排序，并且已经对分解后的间接输出特征进行了重要性排序，即：在使用奇异值分解算法对所述输入特征张量进行分解过程中，按照输入特征张量的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出特征张量进行分解过程中，按照输出特征张量的间接输出特征的重要程度排序。相应的，进一步可以在所述间接特征空间中，按照所述重要程度排序精简所述行人检测神经网络，得到精简后的行人检测神经网络。具体的，包括：根据输入数据的间接输出特征以及输出数据的间接输出特征的重要程度进行剪枝，去除不重要的间接输入特征和间接输出特征，使得间接输入特征和间接输出特征的维度降低，从而降低计算复杂度。
其中，所述根据重要程度排序精简原始行人检测神经网络，得到精简后的行人检测神经网络，包括：
去除间接输入特征的重要程度满足第一重要性阈值条件的间接输入特征；和/或，去除间接输出特征的重要程度满足第二重要性阈值条件的间接输出特征。
本实施例中，还包括根据SVD分解过程中的奇异值确定间接特征的重要程度，具体包括：
使用奇异值分解算法对所述输入特征张量分解过程中得到输入奇异值；
根据所述输入奇异值确定间接输入特征的重要程度；
使用奇异值分解算法对所述输出特征张量分解过程中得到输出奇异值；
根据所述输出奇异值确定间接输出特征的重要程度；
其中，所述间接输入特征的重要程度为用于提取所述间接输入特征的第一神经元对于神经网络性能的影响程度；所述间接输出特征的重要程度为用于学习所述间接输出特征的第二神经元对于神经网络性能的影响程度。
本实施例中，还包括应用精简后的行人检测神经网络进行行人检测，具体包括下述处理：获取待处理图像；使用所述精简后的行人检测神经网络对所述待处理图像进行检测，获得检测结果。例如，将所述待处理图像作为所述精简后的行人检测卷积神经网络的输入数据，获得所述待处理图像中是否存在行人对象的判断结果。
本实施例的一个具体实施方式中，使用了开源深度学习框架pytorch进行算法开发，并采用python语言实现代码。
采用本实施例提供的行人检测神经网络的处理方法一个例子为：原始行人检测神经网络需要8台服务器处理40路视频，精简后的行人检测神经网络处理40路视频只需要4台服务器。
在上述实施例基础上，本申请第三实施例提供了一种图像处理方法。
以下结合图5对本申请第三实施例提供的所述图像处理方法进行说明。
图5所示的图像处理方法，包括：步骤S501至步骤S505。
步骤S501，获得待处理图像。
所述获取待处理图像，是指获取图像或者视频序列，用于使用精简后的检测卷积神经网络进行目标对象检测，判断所述待处理图像或者视频序列中是否存在目标对象并给予精确定位。
步骤S502，获取第一神经网络的卷积层的输入数据以及输出数据。
本实施例中，第一神经网络可以是卷积神经网络，例如为用于目标检测的、待精简的原始检测神经网络。第一神经网络的每层卷积层(Convolutional layer)包含输入数据、输出数据(或输出响应)和卷积参数。所述输入数据是由CNN(Convolutional NeuralNetworks，卷积神经网络)输入层的输出信息得到的数据，可以是矩阵或张量；所述输出数据是由CNN输出层的输出信息得到的数据，可以是矩阵或张量；其中，矩阵是二维数据，张量一般指三维数据。例如，卷积神经网络应用于计算机视觉领域，输入数据为三维数据(张量)，包括平面上的二维像素点和RGB通道。输入数据和输出数据的维度越高，卷积神经网络的计算复杂度越高。针对卷积神经网络进行精简能够降低计算复杂度。
本实施例中，所述获取第一神经网络的卷积层的输入数据以及输出数据，可以是提取CNN输入层的输出信息，以及提取CNN输出层的输出信息。其中的一个实施方式中，包括：由所述第一神经网络的输入层得到输入特征张量，将所述输入特征张量作为所述输入数据；由所述第一神经网络的输出层得到输出特征张量，将所述输出特征张量作为所述输出数据。
步骤S503，将所述输入数据和所述输出数据映射到间接特征空间。
在未经过正交映射处理的直接特征空间中，神经元是两两相关的、不独立的。相关的两个神经元就是重复的神经元，重复的神经元也是不重要的神经元。本实施例中，所述输入数据为输入特征张量，所述输出数据为输出特征张量，采用奇异值分解算法(SingularValue Decomposition，或SVD)分别对卷积层的输入特征张量和输出特征张量进行分解，将输入特征张量和输出特征张量映射到间接特征空间。经过SVD分解过程得到的间接特征是两两不相关的，即在SVD分解过程中已经将重复的神经元整合在一起，SVD分解后的间接特征空间上的神经元已经是两两不相关的、独立的，因此采用SVD分解算法，由算法的特性能去除了神经元的重复性。另外，由于SVD分解算法使得数据集的特征值(在SVD中用奇异值表征)按照重要性排列，从而可以通过舍弃不重要的特征向量(SVD的奇异向量)。
所谓SVD，是线性代数中一种重要的矩阵分解，数据集的特征值(在SVD中用奇异值表征)按照重要性排列，因而可以方便的确定并舍弃不重要的特征向量(SVD中的奇异向量)。具体包括下述处理：
使用奇异值分解算法对所述输入特征张量进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入特征张量映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出特征张量进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出特征张量映射为间接特征空间的间接输出特征。
具体到本实施例，在使用奇异值分解算法对所述输入特征张量进行分解过程中，将所述输入特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；在使用奇异值分解算法对所述输出特征张量进行分解过程中，将所述输出特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征。
步骤S504，在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。
本实施例中，根据在所述间接特征空间中得到的两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到第二神经网络。例如，所述第一神经网络为用于目标检测的卷积神经网络，则所述第二神经网络为精简后的检测卷积神经网络。进一步的，本实施例的一个实施方式中，根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中重要程度满足重要性阈值条件和包含重复信息的神经元，得到第二神经网络，例如，重要程度满足重要性阈值条件的神经元为不重要的神经元，该实施方式中，为去除间接特征空间中不重要的和包含重复信息的神经元。
本实施例中，使用SVD分解算法同时对输入特征张量和输出特征张量进行分解，因此已经分解后的间接输入特征进行了重要性排序，并且已经对分解后的间接输出特征进行了重要性排序，即：在使用奇异值分解算法对所述输入特征张量进行分解过程中，按照输入特征张量的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出特征张量进行分解过程中，按照输出特征张量的间接输出特征的重要程度排序。相应的，进一步可以在所述间接特征空间中，按照所述重要程度排序精简所述第一神经网络，得到第二神经网络。具体的，包括：根据输入数据的间接输出特征以及输出数据的间接输出特征的重要程度进行剪枝，去除不重要的间接输入特征和间接输出特征，使得间接输入特征和间接输出特征的维度降低，从而降低计算复杂度。
其中，所述按照所述重要程度排序精简所述第一神经网络，得到第二神经网络，包括：
去除间接输入特征的重要程度满足第一重要性阈值条件的间接输入特征；和/或，去除间接输出特征的重要程度满足第二重要性阈值条件的间接输出特征。
本实施例中，还包括根据SVD分解过程中的奇异值确定间接特征的重要程度，具体包括：
使用奇异值分解算法对所述输入特征张量分解过程中得到输入奇异值；
根据所述输入奇异值确定间接输入特征的重要程度；
使用奇异值分解算法对所述输出特征张量分解过程中得到输出奇异值；
根据所述输出奇异值确定间接输出特征的重要程度；
其中，所述间接输入特征的重要程度为用于提取所述间接输入特征的第一神经元对于神经网络性能的影响程度；所述间接输出特征的重要程度为用于学习所述间接输出特征的第二神经元对于神经网络性能的影响程度。
步骤S505，使用所述第二神经网络对所述待处理图像进行检测，获得检测结果。
本实施例中，将待处理图像作为第二神经网络的输入，经过第二神经网络的输入层、卷积层以及输出层的处理，判断待处理图像中是否存在目标对象，如果是，进一步对目标对象进行精确定位。
与本申请第一实施例提供的一种数据处理方法相对应的，本申请第四实施例还提供了一种数据处理装置。以下结合图6对本申请第四实施例提供的装置进行说明。
图6所示的数据处理装置，包括：
数据获取单元601，用于获取第一神经网络的卷积层的输入数据以及输出数据；
映射单元602，用于将所述输入数据和所述输出数据映射到间接特征空间；
精简单元603，用于在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。
可选的，所述映射单元602，具体用于：
使用奇异值分解算法对所述输入数据进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入数据映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出数据进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出数据映射为间接特征空间的间接输出特征。
可选的，所述映射单元602，具体用于：使用所述输入映射矩阵对所述输入数据进行正交变换处理，得到所述间接输入特征；
使用所述输出映射矩阵对所述输出数据进行正交变换处理，得到所述间接输出特征。
可选的，所述装置还包括第一卷积参数化简单元，所述第一卷积参数化简单元用于：获得所述第一神经网络的卷积层的原始卷积参数；根据所述输入映射矩阵、所述原始卷积参数以及所述输出映射矩阵，精简所述第一神经网络的卷积层。
可选的，所述第一卷积参数化简单元，具体用于：
使用输入映射矩阵的转置矩阵作为第二卷积计算模块的参数，使用输出映射矩阵的转置矩阵作为第三卷积计算模块的参数；
利用所述第二卷积计算模块和所述第三卷积计算模块对所述原始卷积参数以进行化简处理，得到化简后的卷积参数，使用化简后的卷积参数精简所述第一神经网络的卷积层。
可选的，所述装置还包括第二卷积参数化简单元，所述第二卷积参数处理单元用于：使用输入映射矩阵作为第一卷积计算模块的参数，使用输出映射矩阵作为第四卷积计算模块的参数；
在所述间接特征空间中对第一卷积计算模块进行剪枝精简处理，得到精简后的输入数据；在所述间接特征空间中对第四卷积计算模块进行剪枝精简处理，得到精简后的输出数据。
可选的，所述装置还包括奇异值排序单元，所述奇异值排序单元用于：
在使用奇异值分解算法对所述输入数据进行分解过程中，将所述输入数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；
在使用奇异值分解算法对所述输出数据进行分解过程中，将所述输出数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征；
所述精简单元603，具体用于：根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到第二神经网络。
可选的，所述精简单元603，具体用于：在所述间接特征空间中，根据神经网络的神经元的重要程度精简所述第一神经网络，得到第二神经网络。
可选的，所述精简单元603，具体用于：
在使用奇异值分解算法对所述输入数据进行分解过程中，按照输入数据的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出数据进行分解过程中，按照输出数据的间接输出特征的重要程度排序；
根据重要程度排序精简所述第一神经网络，得到第二神经网络。
可选的，所述精简单元603，具体用于：去除间接输入特征的重要程度满足第一重要性阈值条件的间接输入特征；和/或，去除间接输出特征的重要程度满足第二重要性阈值条件的间接输出特征。
可选的，所述精简单元603，还用于：
使用奇异值分解算法对所述输入数据分解过程中得到输入奇异值；
根据所述输入奇异值确定间接输入特征的重要程度；
使用奇异值分解算法对所述输出数据分解过程中得到输出奇异值；
根据所述输出奇异值确定间接输出特征的重要程度；
其中，所述间接输入特征的重要程度为用于提取所述间接输入特征的第一神经元对于神经网络性能的影响程度；所述间接输出特征的重要程度为用于学习所述间接输出特征的第二神经元对于神经网络性能的影响程度。
可选的，所述输出数据为零均值向量；所述输出映射矩阵为正交映射矩阵。
可选的，所述数据获取单元601，具体用于：由所述第一神经网络的输入层得到输入特征张量，将所述输入特征张量作为所述输入数据；由所述第一神经网络的输出层得到输出特征张量，将所述输出特征张量作为所述输出数据。
与本申请第二实施例提供的一种行人检测神经网络的处理方法相对应的，本申请第五实施例还提供了一种行人检测神经网络的处理装置。以下结合图7对本申请第五实施例提供的装置进行说明
图7所示的行人检测神经网络的处理装置，包括：
样本获取单元701，用于获取图像样本；
张量获得单元702，用于将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量；
映射单元703，用于将所述输入特征张量和所述输出特征张量映射到间接特征空间；
精简单元704，用于在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络。
可选的，所述映射单元703，具体用于：
使用奇异值分解算法对所述输入特征张量进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入特征张量映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出特征张量进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出特征张量映射为间接特征空间的间接输出特征。
可选的，所述映射单元703，还用于：
在使用奇异值分解算法对所述输入特征张量进行分解过程中，将所述输入特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；
在使用奇异值分解算法对所述输出特征张量进行分解过程中，将所述输出特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征；
所述精简单元704，具体用于：根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到精简后的行人检测神经网络。
可选的，所述映射单元703，还用于：在使用奇异值分解算法对所述输入特征张量进行分解过程中，按照输入特征张量的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出特征张量进行分解过程中，按照输出特征张量的间接输出特征的重要程度排序；
所述精简单元704，具体用于：在所述间接特征空间中，按照所述重要程度排序精简所述行人检测神经网络，得到精简后的行人检测神经网络。
可选的，所述装置还包括检测单元，所述检测单元用于：获取待处理图像；使用所述精简后的行人检测神经网络对所述待处理图像进行检测，获得检测结果。
可选的，所述检测单元，具体用于：将所述待处理图像作为所述精简后的行人检测神经网络的输入数据，获得所述待处理图像中是否存在行人对象的判断结果。
与本申请第一实施例提供的一种数据处理方法相对应的，本申请第六实施例还提供了一种电子设备。
如图8所示，所述电子设备包括：
处理器801；以及
存储器802；所述存储器801用于存储计算机可执行指令，所述处理器802用于执行所述计算机可执行指令：
获取第一神经网络的卷积层的输入数据以及输出数据；
将所述输入数据和所述输出数据映射到间接特征空间；
在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。
可选的，所述处理器802还用于执行下述计算机可执行指令：
使用奇异值分解算法对所述输入数据进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入数据映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出数据进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出数据映射为间接特征空间的间接输出特征。
可选的，所述处理器802还用于执行下述计算机可执行指令：使用所述输入映射矩阵对所述输入数据进行正交变换处理，得到所述间接输入特征；
使用所述输出映射矩阵对所述输出数据进行正交变换处理，得到所述间接输出特征。
可选的，所述处理器802还用于执行下述计算机可执行指令：获得所述第一神经网络的卷积层的原始卷积参数；
根据所述输入映射矩阵、所述原始卷积参数以及所述输出映射矩阵，精简所述第一神经网络的卷积层。
可选的，所述处理器802还用于执行下述计算机可执行指令：
使用输入映射矩阵的转置矩阵作为第二卷积计算模块的参数，使用输出映射矩阵的转置矩阵作为第三卷积计算模块的参数；
利用所述第二卷积计算模块和所述第三卷积计算模块对所述原始卷积参数以进行化简处理，得到化简后的卷积参数，使用化简后的卷积参数精简所述第一神经网络的卷积层。
可选的，所述处理器802还用于执行下述计算机可执行指令：使用输入映射矩阵作为第一卷积计算模块的参数，使用输出映射矩阵作为第四卷积计算模块的参数；
在所述间接特征空间中对第一卷积计算模块进行剪枝精简处理，得到精简后的输入数据；在所述间接特征空间中对第四卷积计算模块进行剪枝精简处理，得到精简后的输出数据。
可选的，所述处理器802还用于执行下述计算机可执行指令：
在使用奇异值分解算法对所述输入数据进行分解过程中，将所述输入数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；
在使用奇异值分解算法对所述输出数据进行分解过程中，将所述输出数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征；
根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到第二神经网络。
可选的，所述处理器802还用于执行下述计算机可执行指令：
在所述间接特征空间中，根据神经网络的神经元的重要程度精简所述第一神经网络，得到第二神经网络。
可选的，所述处理器802还用于执行下述计算机可执行指令：
在使用奇异值分解算法对所述输入数据进行分解过程中，按照输入数据的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出数据进行分解过程中，按照输出数据的间接输出特征的重要程度排序；
根据重要程度排序精简所述第一神经网络，得到第二神经网络。
可选的，所述处理器802还用于执行下述计算机可执行指令：
去除间接输入特征的重要程度满足第一重要性阈值条件的间接输入特征；和/或，去除间接输出特征的重要程度满足第二重要性阈值条件的间接输出特征。
可选的，所述处理器802还用于执行下述计算机可执行指令：
使用奇异值分解算法对所述输入数据分解过程中得到输入奇异值；
根据所述输入奇异值确定间接输入特征的重要程度；
使用奇异值分解算法对所述输出数据分解过程中得到输出奇异值；
根据所述输出奇异值确定间接输出特征的重要程度；
其中，所述间接输入特征的重要程度为用于提取所述间接输入特征的第一神经元对于神经网络性能的影响程度；所述间接输出特征的重要程度为用于学习所述间接输出特征的第二神经元对于神经网络性能的影响程度。
可选的，所述输出数据为零均值向量；所述输出映射矩阵为正交映射矩阵。
可选的，所述处理器802还用于执行下述计算机可执行指令：由所述第一神经网络的输入层得到输入特征张量，将所述输入特征张量作为所述输入数据；由所述第一神经网络的输出层得到输出特征张量，将所述输出特征张量作为所述输出数据。
与本申请第二实施例提供的一种行人检测神经网络的处理方法相对应的，本申请第七实施例还提供了一种电子设备，其示意图类似图8。
第七实施例提供的电子设备包括：
处理器；以及
存储器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
获取图像样本；
将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量；
将所述输入特征张量和所述输出特征张量映射到间接特征空间；
在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络。
可选的，所述处理器还用于执行下述计算机可执行指令：
使用奇异值分解算法对所述输入特征张量进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入特征张量映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出特征张量进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出特征张量映射为间接特征空间的间接输出特征。
可选的，所述处理器还用于执行下述计算机可执行指令：
在使用奇异值分解算法对所述输入特征张量进行分解过程中，将所述输入特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；
在使用奇异值分解算法对所述输出特征张量进行分解过程中，将所述输出特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征；
根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到精简后的行人检测神经网络。
可选的，所述处理器还用于执行下述计算机可执行指令：在使用奇异值分解算法对所述输入特征张量进行分解过程中，按照输入特征张量的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出特征张量进行分解过程中，按照输出特征张量的间接输出特征的重要程度排序；
在所述间接特征空间中，按照所述重要程度排序精简所述行人检测神经网络，得到精简后的行人检测神经网络。
可选的，所述处理器还用于执行下述计算机可执行指令：
获取待处理图像；
使用所述精简后的行人检测神经网络对所述待处理图像进行检测，获得检测结果。
可选的，所述处理器还用于执行下述计算机可执行指令：
将所述待处理图像作为所述精简后的行人检测神经网络的输入数据，获得所述待处理图像中是否存在行人对象的判断结果。
以上述实施例为基础，本申请第八实施例还提供一种图像处理方法。以下结合图9对所述图像处理方法进行说明。
图9所示的图像处理方法包括：步骤S901至步骤S903。
步骤S901，获得包含目标对象的待处理图像。
所述获取包含目标对象的待处理图像，是指获取待处理的图像或者视频序列，用于使用卷积神经网络检测所述待处理图像中的目标对象，判断所述待处理的图像或者视频序列中是否存在目标对象并给予精确定位。
步骤S902，将所述待处理图像输入神经网络。
所述神经网络为用于进行目标检测的神经网络，例如可以是卷积神经网络。本实施例以卷积神经网络为例对所述方法进行数目。所述卷积神经网络可以是用于图像分类和物体识别的AlexNet、ResNet等卷积神经网络。所述卷积神经网络的输入层接受所述待处理图像，例如，输入层接受表示所述待处理图像的的像素和RGB通道的三维张量数据，提取出输入特征后进一步传递到卷积神经网络的卷积层进行卷积运算。
步骤S903，使用所述神经网络对所述待处理图像进行目标检测，获得检测结果；其中，所述神经网络为卷积层去除冗余神经元的神经网络；所述神经网络的输入层用于提取所述待处理图像的输入特征数据，所述神经网络的卷积层的非冗余神经元用于对输入所述卷积层的输入特征数据进行检测处理，确定检测结果。
本实施例中，所述神经网络为采用下述方法针对第一卷积神经网络去除冗余神经元得到的第二卷积神经网络：
获得输入特征张量以及输出特征张量，其中，所述输入特征张量是由第一卷积神经网络输入层的输出信息得到的数据；所述输出特征张量是由第一卷积神经网络输出层的输出信息得到的数据；其中，张量一般指三维数据。例如，输入特征张量和输出特征张量分别为包括平面上的二维像素点和RGB通道的三维数据。
在未经过正交映射处理的直接特征空间中，神经元是两两相关的、不独立的。相关的两个神经元就是重复的神经元，重复的神经元也是不重要的神经元。本实施例中，采用奇异值分解算法(Singular Value Decomposition，或SVD)分别对卷积层的输入特征张量和输出特征张量进行分解，将输入特征张量和输出特征张量映射到间接特征空间。经过SVD分解过程得到的间接特征是两两不相关的，即在SVD分解过程中已经将重复的神经元整合在一起，SVD分解后的间接特征空间上的神经元已经是两两不相关的、独立的，因此采用SVD分解算法，由算法的特性能去除了神经元的重复性。另外，由于SVD分解算法使得数据集的特征值(在SVD中用奇异值表征)按照重要性排列，从而可以通过舍弃不重要的特征向量(SVD的奇异向量)。
本实施例中，SVD具体包括下述处理：
使用奇异值分解算法对所述输入特征张量进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入特征张量映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出特征张量进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出特征张量映射为间接特征空间的间接输出特征。
具体到本实施例，在使用奇异值分解算法对所述输入特征张量进行分解过程中，将所述输入特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；在使用奇异值分解算法对所述输出特征张量进行分解过程中，将所述输出特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征。进一步，根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到第二卷积神经网络。进一步的，本实施例的一个实施方式中，根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中重要程度满足重要性阈值条件和包含重复信息的神经元，得到第二卷积神经网络，例如，重要程度满足重要性阈值条件的神经元为不重要的神经元，该实施方式中，为去除间接特征空间中不重要的和包含重复信息的神经元。
本实施例中，使用SVD分解算法同时对输入特征张量和输出特征张量进行分解，因此已经分解后的间接输入特征进行了重要性排序，并且已经对分解后的间接输出特征进行了重要性排序，即：在使用奇异值分解算法对所述输入特征张量进行分解过程中，按照输入特征张量的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出特征张量进行分解过程中，按照输出特征张量的间接输出特征的重要程度排序。相应的，进一步可以在所述间接特征空间中，按照所述重要程度排序精简第一卷积神经网络，得到第二卷积神经网络。具体包括：根据输入数据的间接输出特征以及输出数据的间接输出特征的重要程度进行剪枝，去除不重要的间接输入特征和间接输出特征，使得间接输入特征和间接输出特征的维度降低，从而降低计算复杂度。其中，所述按照所述重要程度排序精简第一卷积神经网络，得到第二卷积神经网络，包括：
去除间接输入特征的重要程度满足第一重要性阈值条件的间接输入特征；和/或，去除间接输出特征的重要程度满足第二重要性阈值条件的间接输出特征，得到的第二卷积神经网络为用于接受所述待处理图像输入的神经网络。
本实施例中，还包括根据SVD分解过程中的奇异值确定间接特征的重要程度，具体包括：
使用奇异值分解算法对所述输入特征张量分解过程中得到输入奇异值；
根据所述输入奇异值确定间接输入特征的重要程度；
使用奇异值分解算法对所述输出特征张量分解过程中得到输出奇异值；
根据所述输出奇异值确定间接输出特征的重要程度；
其中，所述间接输入特征的重要程度为用于提取所述间接输入特征的第一神经元对于神经网络性能的影响程度；所述间接输出特征的重要程度为用于学习所述间接输出特征的第二神经元对于神经网络性能的影响程度。
本实施例中，将待处理图像作为所述神经网络的输入，经过所述神经网络的输入层、卷积层以及输出层的处理，判断待处理图像中是否存在目标对象，如果是，进一步对目标对象进行精确定位。其中，所述神经网络的卷积层的非冗余神经元用于对输入所述卷积层的输入特征数据进行检测处理。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (25)
1.一种数据处理方法，其特征在于，包括：
获取第一神经网络的卷积层的输入数据以及输出数据；
将所述输入数据和所述输出数据映射到间接特征空间；
在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。
2.根据权利要求1所述的方法，其特征在于，所述将所述输入数据和所述输出数据映射到间接特征空间，包括：
使用奇异值分解算法对所述输入数据进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入数据映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出数据进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出数据映射为间接特征空间的间接输出特征。
3.根据权利要求2所述的方法，其特征在于，所述使用所述输入映射矩阵，将所述输入数据映射为间接特征空间的间接输入特征，包括：使用所述输入映射矩阵对所述输入数据进行正交变换处理，得到所述间接输入特征；
所述使用所述输出映射矩阵，将所述输出数据映射为间接特征空间的间接输出特征，包括：
使用所述输出映射矩阵对所述输出数据进行正交变换处理，得到所述间接输出特征。
4.根据权利要求2所述的方法，其特征在于，还包括：获得所述第一神经网络的卷积层的原始卷积参数；
所述在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，包括：根据所述输入映射矩阵、所述原始卷积参数以及所述输出映射矩阵，精简所述第一神经网络的卷积层。
5.根据权利要求4所述的方法，其特征在于，所述根据所述输入映射矩阵、所述原始卷积参数以及所述输出映射矩阵，精简所述第一神经网络的卷积层，包括：
使用输入映射矩阵的转置矩阵作为第二卷积计算模块的参数，使用输出映射矩阵的转置矩阵作为第三卷积计算模块的参数；
利用所述第二卷积计算模块和所述第三卷积计算模块对所述原始卷积参数以进行化简处理，得到化简后的卷积参数，使用化简后的卷积参数精简所述第一神经网络的卷积层。
6.根据权利要求5所述的方法，其特征在于，还包括：使用输入映射矩阵作为第一卷积计算模块的参数，使用输出映射矩阵作为第四卷积计算模块的参数；
在所述间接特征空间中对第一卷积计算模块进行剪枝精简处理，得到精简后的输入数据；在所述间接特征空间中对第四卷积计算模块进行剪枝精简处理，得到精简后的输出数据。
7.根据权利要求2所述的方法，其特征在于，还包括：
在使用奇异值分解算法对所述输入数据进行分解过程中，将所述输入数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；
在使用奇异值分解算法对所述输出数据进行分解过程中，将所述输出数据中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征；
所述在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，包括：根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到第二神经网络。
8.根据权利要求2所述的方法，其特征在于，所述在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，包括：
在所述间接特征空间中，根据神经网络的神经元的重要程度精简所述第一神经网络，得到第二神经网络。
9.根据权利要求8所述的方法，其特征在于，所述在所述间接特征空间中，根据神经网络的神经元的重要程度精简所述第一神经网络，得到第二神经网络，包括：
在使用奇异值分解算法对所述输入数据进行分解过程中，按照输入数据的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出数据进行分解过程中，按照输出数据的间接输出特征的重要程度排序；
根据重要程度排序精简所述第一神经网络，得到第二神经网络。
10.根据权利要求9所述的方法，其特征在于，所述根据重要程度排序精简所述第一神经网络，得到第二神经网络，包括：
去除间接输入特征的重要程度满足第一重要性阈值条件的间接输入特征；和/或，去除间接输出特征的重要程度满足第二重要性阈值条件的间接输出特征。
11.根据权利要求9所述的方法，其特征在于，还包括：
使用奇异值分解算法对所述输入数据分解过程中得到输入奇异值；
根据所述输入奇异值确定间接输入特征的重要程度；
使用奇异值分解算法对所述输出数据分解过程中得到输出奇异值；
根据所述输出奇异值确定间接输出特征的重要程度；
其中，所述间接输入特征的重要程度为用于提取所述间接输入特征的第一神经元对于神经网络性能的影响程度；所述间接输出特征的重要程度为用于学习所述间接输出特征的第二神经元对于神经网络性能的影响程度。
12.根据权利要求2所述的方法，其特征在于，所述输出数据为零均值向量；所述输出映射矩阵为正交映射矩阵。
13.根据权利要求1所述的方法，其特征在于，所述获取第一神经网络的卷积层的输入数据以及输出数据，包括：由所述第一神经网络的输入层得到输入特征张量，将所述输入特征张量作为所述输入数据；由所述第一神经网络的输出层得到输出特征张量，将所述输出特征张量作为所述输出数据。
14.一种行人检测神经网络的处理方法，其特征在于，包括：
获取图像样本；
将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量；
将所述输入特征张量和所述输出特征张量映射到间接特征空间；
在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络。
15.根据权利要求14所述的方法，其特征在于，所述将所述输入特征张量和所述输出特征张量映射到间接特征空间，包括：
使用奇异值分解算法对所述输入特征张量进行分解，获得输入映射矩阵；
使用所述输入映射矩阵，将所述输入特征张量映射为间接特征空间的间接输入特征；
使用奇异值分解算法对所述输出特征张量进行分解，获得输出映射矩阵；
使用所述输出映射矩阵，将所述输出特征张量映射为间接特征空间的间接输出特征。
16.根据权利要求15所述的方法，其特征在于，还包括：
在使用奇异值分解算法对所述输入特征张量进行分解过程中，将所述输入特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输入特征；
在使用奇异值分解算法对所述输出特征张量进行分解过程中，将所述输出特征张量中包含重复信息的特征映射到相同维度，得到两两不相关的间接输出特征；
所述在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络，包括：根据两两不相关的间接输入特征和两两不相关的间接输出特征，去除间接特征空间中包含重复信息的神经元，得到精简后的行人检测神经网络。
17.根据权利要求15所述的方法，其特征在于，还包括：在使用奇异值分解算法对所述输入特征张量进行分解过程中，按照输入特征张量的间接输入特征的重要程度排序；和/或，在使用奇异值分解算法对所述输出特征张量进行分解过程中，按照输出特征张量的间接输出特征的重要程度排序；
所述在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络，包括：在所述间接特征空间中，按照所述重要程度排序精简所述行人检测神经网络，得到精简后的行人检测神经网络。
18.根据权利要求14所述的方法，其特征在于，还包括：
获取待处理图像；
使用所述精简后的行人检测神经网络对所述待处理图像进行检测，获得检测结果。
19.根据权利要求18所述的方法，其特征在于，所述使用所述精简后的行人检测神经网络对所述待处理图像进行检测，获得检测结果，包括：
将所述待处理图像作为所述精简后的行人检测神经网络的输入数据，获得所述待处理图像中是否存在行人对象的判断结果。
20.一种图像处理方法，其特征在于，包括：
获得待处理图像；
获取第一神经网络的卷积层的输入数据以及输出数据；
将所述输入数据和所述输出数据映射到间接特征空间；
在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络；
使用所述第二神经网络对所述待处理图像进行检测，获得检测结果。
21.一种图像处理方法，其特征在于，包括：
获得包含目标对象的待处理图像；
将所述待处理图像输入神经网络；
使用所述神经网络对所述待处理图像进行目标检测，获得检测结果；其中，所述神经网络为卷积层去除冗余神经元的神经网络；所述神经网络的输入层用于提取所述待处理图像的输入特征数据，所述神经网络的卷积层的非冗余神经元用于对输入所述卷积层的输入特征数据进行检测处理，确定检测结果。
22.一种数据处理装置，其特征在于，包括：
数据获取单元，用于获取第一神经网络的卷积层的输入数据以及输出数据；
映射单元，用于将所述输入数据和所述输出数据映射到间接特征空间；
精简单元，用于在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。
23.一种行人检测神经网络的处理装置，其特征在于，包括：
样本获取单元，用于获取图像样本；
张量获得单元，用于将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量；
映射单元，用于将所述输入特征张量和所述输出特征张量映射到间接特征空间；
精简单元，用于在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络。
24.一种电子设备，其特征在于，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
获取第一神经网络的卷积层的输入数据以及输出数据；
将所述输入数据和所述输出数据映射到间接特征空间；
在所述间接特征空间中精简所述第一神经网络，得到第二神经网络，其中，所述第二神经网络为去除了冗余神经元的神经网络。
25.一种电子设备，其特征在于，包括：
存储器，以及处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：
获取图像样本；
将所述图像样本作为行人检测神经网络的输入数据，获得所述行人检测神经网络的输入特征张量和输出特征张量；
将所述输入特征张量和所述输出特征张量映射到间接特征空间；
在所述间接特征空间中精简所述行人检测神经网络，得到精简后的行人检测神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910299816.1A CN111832335A (zh) | 2019-04-15 | 2019-04-15 | 数据处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910299816.1A CN111832335A (zh) | 2019-04-15 | 2019-04-15 | 数据处理方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111832335A true CN111832335A (zh) | 2020-10-27 |
Family
ID=72914199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910299816.1A Pending CN111832335A (zh) | 2019-04-15 | 2019-04-15 | 数据处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111832335A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621306A (zh) * | 2008-06-30 | 2010-01-06 | 中兴通讯股份有限公司 | 多输入多输出系统预编码矩阵的映射方法和装置 |
| CN104751842A (zh) * | 2013-12-31 | 2015-07-01 | 安徽科大讯飞信息科技股份有限公司 | 深度神经网络的优化方法及系统 |
| CN105654135A (zh) * | 2015-12-30 | 2016-06-08 | 成都数联铭品科技有限公司 | 一种基于递归神经网络的图像文字序列识别系统 |
| CN105844653A (zh) * | 2016-04-18 | 2016-08-10 | 深圳先进技术研究院 | 一种多层卷积神经网络优化系统及方法 |
| US20160328644A1 (en) * | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Adaptive selection of artificial neural networks |
| CN108154194A (zh) * | 2018-01-18 | 2018-06-12 | 北京工业大学 | 一种用基于张量的卷积网络提取高维特征的方法 |
| CN109034370A (zh) * | 2018-06-27 | 2018-12-18 | 中国人民解放军陆军工程大学 | 一种基于特征映射剪枝的卷积神经网络精简方法 |
| US20180375334A1 (en) * | 2017-06-26 | 2018-12-27 | Tsinghua University | Method and apparatus for photovoltaic power forecast based on numerical weather prediction |
| CN109325585A (zh) * | 2018-10-10 | 2019-02-12 | 电子科技大学 | 基于张量环分解的长短期记忆网络稀疏连接方法 |
-
2019
- 2019-04-15 CN CN201910299816.1A patent/CN111832335A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621306A (zh) * | 2008-06-30 | 2010-01-06 | 中兴通讯股份有限公司 | 多输入多输出系统预编码矩阵的映射方法和装置 |
| CN104751842A (zh) * | 2013-12-31 | 2015-07-01 | 安徽科大讯飞信息科技股份有限公司 | 深度神经网络的优化方法及系统 |
| US20160328644A1 (en) * | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Adaptive selection of artificial neural networks |
| CN105654135A (zh) * | 2015-12-30 | 2016-06-08 | 成都数联铭品科技有限公司 | 一种基于递归神经网络的图像文字序列识别系统 |
| CN105844653A (zh) * | 2016-04-18 | 2016-08-10 | 深圳先进技术研究院 | 一种多层卷积神经网络优化系统及方法 |
| US20180375334A1 (en) * | 2017-06-26 | 2018-12-27 | Tsinghua University | Method and apparatus for photovoltaic power forecast based on numerical weather prediction |
| CN108154194A (zh) * | 2018-01-18 | 2018-06-12 | 北京工业大学 | 一种用基于张量的卷积网络提取高维特征的方法 |
| CN109034370A (zh) * | 2018-06-27 | 2018-12-18 | 中国人民解放军陆军工程大学 | 一种基于特征映射剪枝的卷积神经网络精简方法 |
| CN109325585A (zh) * | 2018-10-10 | 2019-02-12 | 电子科技大学 | 基于张量环分解的长短期记忆网络稀疏连接方法 |
Non-Patent Citations (3)
| Title |
|---|
| 何正风;孙亚民;: "基于奇异值分解和径向基函数神经网络的人脸识别算法研究", 计算机科学, no. 1, 15 June 2012 (2012-06-15) * |
| 张兵;: "高光谱图像处理与信息提取前沿", 遥感学报, no. 05, 25 September 2016 (2016-09-25) * |
| 杨国亮;李鹏;周丹;张丽;: "基于EMBP情感神经网络的人脸识别算法研究", 工业控制计算机, no. 10, 25 October 2013 (2013-10-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | A cascade coupled convolutional neural network guided visual attention method for ship detection from SAR images | |
| US10402448B2 (en) | Image retrieval with deep local feature descriptors and attention-based keypoint descriptors | |
| US10997450B2 (en) | Method and apparatus for detecting objects of interest in images | |
| US20200193232A1 (en) | License plate recognition method, device thereof, and user equipment | |
| CN111291819A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| Yang et al. | A deep multiscale pyramid network enhanced with spatial–spectral residual attention for hyperspectral image change detection | |
| Qiu et al. | Deep learning-based algorithm for vehicle detection in intelligent transportation systems | |
| CN111368850B (zh) | 图像的特征提取、目标检测方法及装置、卷积装置、cnn网络装置、终端 | |
| Neagoe et al. | Concurrent self-organizing maps for supervised/unsupervised change detection in remote sensing images | |
| CN111310598A (zh) | 一种基于3维和2维混合卷积的高光谱遥感图像分类方法 | |
| Chen et al. | Conditional detr v2: Efficient detection transformer with box queries | |
| US20220301297A1 (en) | System, method and apparatus for obtaining sensitive and specific predictions from deep neural networks | |
| CN110705600A (zh) | 一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质 | |
| CN115631344A (zh) | 一种基于特征自适应聚合的目标检测方法 | |
| Singh et al. | Performance enhancement of salient object detection using superpixel based Gaussian mixture model | |
| US20230410465A1 (en) | Real time salient object detection in images and videos | |
| CN116612335B (zh) | 一种基于对比学习的少样本细粒度图像分类方法 | |
| CN113297982A (zh) | 一种面向航拍改进kcf和dsst相结合的目标检测方法 | |
| CN111667495A (zh) | 一种图像场景解析方法和装置 | |
| JP7225731B2 (ja) | 多変数データシーケンスの画像化 | |
| CN111832335A (zh) | 数据处理方法、装置及电子设备 | |
| US11347968B2 (en) | Image enhancement for realism | |
| Shi et al. | A scalable convolutional neural network for task-specified scenarios via knowledge distillation | |
| Khare et al. | Integration of complex wavelet transform and Zernike moment for multi‐class classification | |
| Bidwai et al. | Bird Classification using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |