CN113743168B - 一种基于可微深度神经网络搜索的城市飞行物识别方法 - Google Patents
一种基于可微深度神经网络搜索的城市飞行物识别方法 Download PDFInfo
- Publication number
- CN113743168B CN113743168B CN202010479093.6A CN202010479093A CN113743168B CN 113743168 B CN113743168 B CN 113743168B CN 202010479093 A CN202010479093 A CN 202010479093A CN 113743168 B CN113743168 B CN 113743168B
- Authority
- CN
- China
- Prior art keywords
- neural network
- micro
- depth neural
- structural
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000004140 cleaning Methods 0.000 claims abstract description 4
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 238000005457 optimization Methods 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 35
- 210000002569 neuron Anatomy 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 13
- 238000002156 mixing Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000010397 one-hybrid screening Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于可微深度神经网络搜索的城市飞行物识别方法，属于智能识别技术领域，解决了现有技术对小目标飞行物识别准确率低的问题。该方法包括，对含有目标飞行物的图像进行清洗获得对应不同目标飞行物的多组数据及标签，从而获得数据集；基于数据集利用可微深度神经网络结构搜索训练获得对应的可微深度神经网络；在获得的可微深度神经网络中引入膨胀卷积特征金字塔，获得优化后的可微深度神经网络；利用优化后的可微深度神经网络对城市飞行物进行识别，并为其标注相应的标签。该方法易于将小目标飞行物从复杂的环境背景中分离出来，提高了复杂背景下小目标飞行物的识别准确率。
Description
技术领域
本发明涉及智能识别技术领域，尤其涉及一种基于可微深度神经网络搜索的城市飞行物识别方法。
背景技术
随着无人机技术的普及，国内重点区域的低空防护的需求也日益增长，因此城市飞行物的智能识别有着巨大的前景。当前，基于深度学习方法是处理目标识别任务的最佳方法。深度学习模型中包含了对数据的先验假设，因此人工设计针对数据的神经网络需要专家丰富的先验知识，且费时费力。为了获得超越网络设计专家个人经验的表现更好的网络，根据目标数据集自动构建最优神经网络具有重要的意义。
目前，计算机视觉领域基于深度学习的目标识别方法往往通过构建一个深度神经网络自动从数据中学习到需要的特征，克服了手工设计特征的局限性，从而获得更好的性能。这些机器(深度)学习的方法主要依赖于利用机器学习专家设计的深度神经网络来处理目标识别问题。但模型结构的设计往往需要经验丰富的机器学习与领域专家的参与，并且具有劳动密集的特点，需要花费大量的时间与人力。尤其是针对不同的数据集设计不同的深度神经网络的结构，受限于操作者自身的专家经验，其解决方案并不一定能拥有最佳的性能。而多数自动构建神经网络的方法虽然不需要机器学习专家的参与，但需求十分庞大的计算机算力，例如,NAONet需要200个GPU运行天数。
面对不断增长的城市飞行物影像智能理解的需求，降低自动神经网络模型构建的计算开销势在必行。利用可微分的方式进行神经结构搜索，能够大大降低神经网络搜索过程的计算开销，从而降低构建深度学习模型的时间成本。
现有技术至少存在以下缺陷，一是在可微深度神经网络训练的过程中只引入卷积操作，而卷积操作的卷积核是紧密排列的，卷积核会将目标图像内部的像素全部进行加权计算获得一个数值，因而会丢失这部分像素中所包含的内部数据结构信息与空间层级化信息，因此在飞行物识别的过程中不易把小目标飞行物从复杂的环境背景中提取出来，从而降低小目标飞行物的识别准确率；二是可微深度神经网络包括多层结构，每层结构包括多个计算单元，在飞行物识别过程中，每层结构可以计算获得不同尺度的图像信息，但计算过程中，可能出现计算单元漏算，导致丢失部分尺度的图像信息，从而降低了飞行物识别准确率。
发明内容
鉴于上述的分析，本发明旨在提供一种基于可微深度神经网络搜索的城市飞行物识别方法，用以解决现有城市飞行物识别方法识别准确率低，且不易把小目标飞行物从复杂的环境背景中分离出来、识别准确率低的问题。
本发明提供了一种基于可微深度神经网络搜索的城市飞行物识别方法，包括以下步骤：
对含有目标飞行物的图像进行清洗获得对应不同目标飞行物的多组数据及标签，从而获得数据集；
基于所述数据集利用可微深度神经网络结构搜索训练获得对应的可微深度神经网络；
在获得的所述可微深度神经网络中引入膨胀卷积特征金字塔，获得优化后的可微深度神经网络；
利用优化后的所述可微深度神经网络对城市飞行物进行识别，并为其标注相应的标签。
进一步的，通过下述方式获得对应的可微深度神经网络：
定义可微深度神经网络结构搜索的搜索空间作为计算单元；所述计算单元为由N个节点以有序序列组成的有向无环图，每一对相关联的节点之间设置有混合操作，用于节点之间的转换；
将离散化的所述可微深度神经网络结构搜索的搜索空间转换为连续搜索空间；
在连续搜索空间中，对计算单元的神经网络神经元权重和结构参数进行双层优化，将训练损失值与验证损失值作为优化过程的目标函数，通过梯度下降的方法对神经网络神经元权重与结构参数进行多次迭代，以优化所述神经网络神经元权重和结构参数；
选取最大的结构参数对应的转换操作替换计算单元中对应节点之间的混合操作，将所述计算单元以堆叠方式形成卷积神经网络或以递归连接方式形成循环神经网络，从而获得对应的可微深度神经网络。
进一步的，在定义计算单元的过程中，在节点之间设置的混合操作包括3x3个像素的卷积操作、5x5个像素的卷积操作、3x3个像素的膨胀卷积操作、5x5个像素的膨胀卷积操作、最大池化操作、平均池化操作及零操作；
所述膨胀卷积操作，用于在可微深度神经网络的训练过程中提取数据集所包含的目标图像信息中的内部数据结构信息与空间层级化信息。
进一步的，采用softmax函数将每一对相关联节点间的混合操作中包含的多个转换操作连续放宽为一个混合转换操作，从而获得多个混合转换操作，并将多个所述混合转换操作转化为结构向量表示，所述结构向量中的每一结构参数为对应混合转换操作中的每一转换操作的权重。
进一步的，神经网络神经元权重的优化函数为：
ω′(α)＝argminωLtrain(ω，α)，
结构参数的优化公式为：
α′＝minαLval(ω′，α)
s.tω′(α)＝argminωLtrain(ω，α)，
其中，ω为上一次迭代优化获得的神经网络神经元权重，α为上一次迭代优化获得的结构向量，ω′表示当前迭代优化获得的神经网络神经元权重，α′表示当前迭代优化获得的结构向量，为训练损失函数，/>为验证损失函数。
进一步的，通过下述方式对所述神经网络神经元权重和结构参数进行优化：
基于最小化训练损失和最小化验证损失通过梯度下降的方法分别对神经网络神经元权重和结构向量进行多次迭代优化，获得在第M次迭代优化过程中使训练损失最小的ω′值为最优神经网络神经元的权重；
神经网络的验证损失函数为：
其中，ξ为梯度学习率；
对所述神经网络的验证损失函数求微分获得结构向量的梯度：
其中，
用第M-1次迭代优化获得的结构向量α减去结构向量的梯度即可获得最优的结构向量α′。
进一步的，利用有限差分近似的方法处理所述结构向量的梯度以降低计算复杂性：
进一步的，采用argmax函数将每一对节点间的混合转换操作替换为结构向量α'中对应混合转换操作中最大权重所对应的转换操作；
通过下述公式确定最大权重对应的转换操作：
其中，o'表示点x(i)与节点x(j)之间的转换操作，α'o' (i,j)表示节点x(i)与节点x(j)之间与o'转换操作对应的结构参数，表示节点x(i)与节点x(j)之间多个转换操作的集合，α'o (i,j)表示节点x(i)与节点x(j)之间权重最大的结构参数，o表示点x(i)与节点x(j)之间权重最大的结构参数对应的转换操作。
进一步的，利用膨胀卷积操作提取数据集所包含的目标图像信息中的内部数据结构信息与空间层级化信息，获取所述目标图像在不同尺度的层级化特征，并将所述不同尺度的层级化特征组成膨胀卷积特征金字塔耦合至获得的所述可微深度神经网络中，以获得优化的可微深度神经网络。
进一步的，将所述层级化特征按照尺度大小依次堆叠获得膨胀卷积特征金字塔。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、本发明在可微深度神经网络结构的训练过程中引入膨胀卷积操作，相对于卷积操作，膨胀卷积操作通过间隔采样目标图像内部的像素，可以提取像素中包含的内部数据结构信息和空间层级化信息，利用这些特征信息更易于将小目标飞行物从复杂的背景中区分开来，并进行识别。从而提高可微深度神经网络从复杂的环境背景中识别出小目标飞行物的能力及识别小目标飞行物的准确率；
2、本发明将膨胀卷积金字塔耦合至训练获得的可微深度神经网络中，膨胀卷积金字塔中包含数据集的不同尺度的层级化特征，在可微深度神经网络识别飞行物的过程中，可以弥补可微深度神经网络的计算单元可能漏算导致的部分尺度的图像信息丢失的缺陷，使可微深度神经网络在识别城市飞行物的过程中可以获得不同尺度的图像信息，从而提高对城市飞行物识别度的准确率。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例基于可微深度神经网络搜索的城市飞行物识别方法的流程图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种基于可微深度神经网络搜索的城市飞行物识别方法。如图1所示，包括以下步骤：
步骤1、对含有目标飞行物的图像进行清洗获得对应不同目标飞行物的多组数据及标签，从而获得数据集；
步骤2、基于数据集利用可微深度神经网络结构搜索训练获得对应的可微深度神经网络；
步骤3、在获得的可微深度神经网络中引入膨胀卷积特征金字塔，获得优化后的可微深度神经网络；
步骤4、利用优化后的可微深度神经网络对城市飞行物进行识别，并为其标注相应的标签。
具体的，含有目标飞行的图像中可能只包含一个目标飞行物，或者包含多个目标飞行物。当包含多个目标飞行物时，采用人工划分图像，分别划分为只含有一个目标飞行物的图像。分别对包含单个目标飞行物的图像进行标准格式化处理获得多组包含图像信息的数据，组成训练集，用于对可微深度神经网络结构进行训练；并分别从目标飞行物图像中获得目标飞行物的标签，组成验证集，用于对训练获得的可微深度神经网络进行验证，标签代表目标飞行物所属的类别，其中每组包含单个飞行物图像信息的数据与飞行物的标签一一对应，数据集包含训练集和验证集。具体的，若获取的目标飞行物图像中未标注标签，则将该目标飞行物作为待识别的飞行物，不将其图像信息列入数据集。
优选的，通过下述方式训练获得对应的可微深度神经网络：
步骤2.1、定义可微深度神经网络结构搜索的搜索空间作为计算单元。将计算单元以堆叠方式形成卷积神经网络或以递归连接方式形成循环神经网络，即可获得可微深度神经网络。
计算单元为由N个节点以有序序列组成的有向无环图，每一对相关联的节点之间设置有混合操作，用于节点之间的转换。每个节点潜在表示基于数据集获得的特征图。示例性的，转换操作o(i,j)表示节点x(i)与节点 x(j)之间的所使用的转换操作。转换操作通过对节点x(i)对应的特征图进行相应转换操作的运算以得到x(j)对应的新的特征图，具体公式如下：
具体的，每个计算单元有两个输入与一个输出，两个输入分别为此计算单元之前的两个计算单元的输出，其输出可作为整个可微深度神经网络的输出或者成为后面计算单元的输入。其中第一个计算单元中的两个输入分别为目标图像信息对应的数据和目标图像信息经过一次卷积操作后对应的数据。
优选的，在定义计算单元的过程中，在节点之间设置的混合操作包括3x3个像素的卷积操作、5x5个像素的卷积操作、3x3个像素的膨胀卷积操作、5x5个像素的膨胀卷积操作、最大池化操作、平均池化操作及零操作。零操作表示两个节点之间缺乏连接。
利用卷积操作对训练集进行处理时，因为其卷积核是紧密排列的，卷积核会将目标图像内部的像素全部进行加权计算成为一个数值，因而会丢失这部分像素中所包含的内部数据结构信息与空间层级化信息。为解决该问题，引入膨胀卷积操作，用于在可微深度神经网络的训练过程中，通过间隔像素采样的方式提取训练集所包含的目标图像信息中的内部数据结构信息与空间层级化信息。利用这些特征信息更容易将小目标飞行物从复杂的环境背景中区分开来。
步骤2.2、用于搜索网络结构的搜索空间(计算单元)本身是离散的，难以利用梯度下降等可微的优化算法进行搜索，因而计算量大，从而导致搜索的效率低下。因此将离散化的可微深度神经网络结构搜索的搜索空间转换为连续搜索空间，以减少计算量，提高搜索效率。
优选的，采用softmax函数将每一对相关联节点间的混合操作中包含的多个转换操作连续放宽为一个混合转换操作，从而获得多个混合转换操作，并将多个所述混合转换操作转化为结构向量表示，所述结构向量中的每一结构参数为对应混合转换操作中的每一转换操作的权重。从而实现将离散化的可微深度神经网络结构搜索的搜索空间转换为连续搜索空间。具体函数如下：
将一对节点x(i)、x(j)之间的多个转换操作o'参数化为一个结构向量，每一转换操作对应一结构参数α'o' (i,j)，结构参数代表对应的转换操作所占的权重。表示节点x(i)与节点x(j)之间多个转换操作的集合，o\o(x)均表示最大结构参数α'o (i,j)对应的转换操作。表示节点x(i)、x(j)之间多个转换操作连续放宽后获得的混合转换操作。
步骤2.3、在连续搜索空间中，对计算单元的神经网络神经元权重和结构参数进行双层优化，将训练损失值与验证损失值作为优化过程的目标函数，通过梯度下降的方法对神经网络神经元权重与结构参数进行多次迭代，以优化所述神经网络神经元权重和结构参数。
为了使搜索到的可微深度神经网络结构能够处理面向城市飞行物的目标识别任务，需要训练可微深度神经网络神经元的权重。将结构参数与神经网络神经元的权重联合进行优化，即一边搜索最优的深度神经网络的结构，一边使神经网络逐渐获得对城市飞行物目标的识别能力，从而能够大大提高了深度神经网络搜索的效率。
具体的，可微深度神经网络结构的优化过程中，分别以验证损失和训练损失作为目标函数进行训练。
优选的，神经网络神经元权重的优化函数为：
ω′(α)＝argminωLtrain(ω，α)，
结构参数的优化公式为：
α′＝minαLval(ω′，α)
s.t.ω′(α)＝argminωLtrain(ω，α)，
其中，ω为上一次迭代优化获得的神经网络神经元权重，α为上一次迭代优化获得的结构向量，ω′表示当前迭代优化获得的神经网络神经元权重，α′表示当前迭代优化获得的结构向量，为训练损失函数，/>为验证损失函数。
从优化函数和优化公式中可以看出，神经网络神经元的权重与结构参数相互嵌套。因此，通过下述方式对所述神经网络神经元权重和结构参数进行优化。
基于神经网络神经元权重和结构参数的优化公式利用最小化训练损失和最小化验证损失通过梯度下降的方法分别对神经网络神经元权重和结构向量进行多次迭代优化，获得在第M次迭代优化过程中使训练损失最小的ω′值为最优神经网络神经元的权重。优选的，优化迭代次数为50 次至200次，可以根据经验值进行设定。具体的，优化次数受限于训练损失和验证损失，当训练损失和验证损失收敛至稳定时，则可以停止优化。
神经网络的验证损失函数为：
其中，ξ为梯度学习率，根据数据集进行人为设定，优选的，设定为0.001。
对所述神经网络的验证损失函数求微分获得结构向量的梯度：
其中，
用第M-1次迭代优化获得的结构向量α减去结构向量的梯度即可获得最优的结构向量α'。
优选的，结构向量梯度的公式中第二项包含矩阵向量乘积，其计算成本高，因此利用有限差分近似的方法处理结构向量的梯度以降低计算复杂性：
其中，ε取值为1×e-7，ω+表示ω与神经网络神经元权重的微分量之和、ω-表示ω与神经网络神经元权重的微分量的差。
步骤2.4、选取最大的结构参数对应的转换操作替换计算单元中对应节点之间的混合操作，将所述计算单元以堆叠方式形成卷积神经网络或以递归连接方式形成循环神经网络，从而获得对应的可微深度神经网络。
优选的，采用argmax函数将每一对节点间的混合转换操作替换为结构向量α'中对应混合转换操作中最大权重所对应的转换操作。
具体的，通过下述公式确定最大权重对应的转换操作：
其中，o'表示点x(i)与节点x(j)之间的转换操作，α'o' (i,j)表示节点x(i)与节点x(j)之间与o'转换操作对应的结构参数，表示节点x(i)与节点x(j)之间多个转换操作的集合，α'o (i,j)表示节点x(i)与节点x(j)之间权重最大的结构参数，o表示点x(i)与节点x(j)之间权重最大的结构参数对应的转换操作。
考虑到可微深度神经网络包括多层结构，每层结构包括多个计算单元，在飞行物识别过程中，每层结构可以计算获得不同尺度的图像信息，但计算过程中，可能出现计算单元漏算，导致丢失部分尺度的图像信息，将会导致飞行物识别准确率降低。此外，卷积特征金字塔可以保留可微深度神经网络提取到的多尺度特征信息，从而提升对不同尺度的目标的识别能力。城市飞行物目标在图像中不仅存在多个尺度，且所处的环境背景往往十分复杂，仅仅提取多尺度特征难以满足实际应用的需求。因此，本实施例利用膨胀卷积操作提取数据集所包含的目标图像信息中的内部数据结构信息与空间层级化信息，获取所述目标图像在不同尺度的层级化特征，并将所述不同尺度的层级化特征组成膨胀卷积特征金字塔耦合至获得的可微深度神经网络中，以获得优化的可微深度神经网络。
具体的，将膨胀卷积特征金字塔耦合至可微深度神经网络结构的最后一层网络结构中，以弥补前一层或前几层网络结构中计算单元漏算导致丢失的部分尺度的图像特征信息。
优选的，将不同尺度的层级化特征按照尺度大小依次堆叠获得膨胀卷积特征金字塔。
与现有技术相比，本发明提出的基于可微深度神经网络搜索的城市飞行物识别方法，一方面，在可微深度神经网络结构的训练过程中引入膨胀卷积操作，相对于卷积操作，膨胀卷积操作通过间隔采样目标图像内部的像素，可以提取像素中包含的内部数据结构信息和空间层级化信息，利用这些特征信息更易于将小目标飞行物从复杂的背景中区分开来，并进行识别。从而提高可微深度神经网络从复杂的环境背景中识别出小目标飞行物的能力及识别小目标飞行物的准确率。另一方面，本发明将膨胀卷积金字塔耦合至训练获得的可微深度神经网络中，膨胀卷积金字塔中包含数据集的不同尺度的层级化特征，在可微深度神经网络识别飞行物的过程中，可以弥补可微深度神经网络的计算单元可能漏算导致的部分尺度的图像信息丢失的缺陷，使可微深度神经网络在识别城市飞行物的过程中可以获得不同尺度的图像信息，从而提高对城市飞行物识别度的准确率。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于可微深度神经网络搜索的城市飞行物识别方法，其特征在于，包括以下步骤：
对含有目标飞行物的图像进行清洗获得对应不同目标飞行物的多组数据及标签，从而获得数据集；
基于所述数据集利用可微深度神经网络结构搜索训练获得对应的可微深度神经网络，包括：
定义可微深度神经网络结构搜索的搜索空间作为计算单元；所述计算单元为由N个节点以有序序列组成的有向无环图，每一对相关联的节点之间设置有混合操作，用于节点之间的转换，其中：
在定义计算单元的过程中，在节点之间设置的混合操作包括3x3个像素的卷积操作、5x5个像素的卷积操作、3x3个像素的膨胀卷积操作、5x5个像素的膨胀卷积操作、最大池化操作、平均池化操作及零操作；所述膨胀卷积操作，用于在可微深度神经网络的训练过程中提取数据集所包含的目标图像信息中的内部数据结构信息与空间层级化信息；
将离散化的所述可微深度神经网络结构搜索的搜索空间转换为连续搜索空间；
在连续搜索空间中，对计算单元的神经网络神经元权重和结构参数进行双层优化，将训练损失值与验证损失值作为优化过程的目标函数，通过梯度下降的方法对神经网络神经元权重与结构参数进行多次迭代，以优化所述神经网络神经元权重和结构参数；
选取最大的结构参数对应的转换操作替换计算单元中对应节点之间的混合操作，将所述计算单元以堆叠方式形成卷积神经网络或以递归连接方式形成循环神经网络，从而获得对应的可微深度神经网络；
在获得的所述可微深度神经网络中引入膨胀卷积特征金字塔，获得优化后的可微深度神经网络；
利用优化后的所述可微深度神经网络对城市飞行物进行识别，并为其标注相应的标签。
2.根据权利要求1所述的城市飞行物识别方法，其特征在于，采用softmax函数将每一对相关联节点间的混合操作中包含的多个转换操作连续放宽为一个混合转换操作，从而获得多个混合转换操作，并将多个所述混合转换操作转化为结构向量表示，所述结构向量中的每一结构参数为对应混合转换操作中的每一转换操作的权重。
3.根据权利要求2所述的城市飞行物识别方法，其特征在于，
神经网络神经元权重的优化函数为：
ω′(α)＝argminωLtrain(ω,α)，
结构参数的优化公式为：
α′＝minαLval(ω′,α)
s.t.ω′(α)＝argminωLtrain(ω,α)，
其中，ω为上一次迭代优化获得的神经网络神经元权重，α为上一次迭代优化获得的结构向量，ω′表示当前迭代优化获得的神经网络神经元权重，α′表示当前迭代优化获得的结构向量，为训练损失函数，/>为验证损失函数。
4.根据权利要求3所述的城市飞行物识别方法，其特征在于，通过下述方式对所述神经网络神经元权重和结构参数进行优化：
基于最小化训练损失和最小化验证损失通过梯度下降的方法分别对神经网络神经元权重和结构向量进行多次迭代优化，获得在第M次迭代优化过程中使训练损失最小的ω'值为最优神经网络神经元的权重；
神经网络的验证损失函数为：
其中，ξ为梯度学习率；
对所述神经网络的验证损失函数求微分获得结构向量的梯度：
其中，
用第M-1次迭代优化获得的结构向量α减去结构向量的梯度即可获得最优的结构向量α'。
5.根据权利要求4所述的城市飞行物识别方法，其特征在于，利用有限差分近似的方法处理所述结构向量的梯度以降低计算复杂性：
6.根据权利要求4所述的城市飞行物识别方法，其特征在于，采用argmax函数将每一对节点间的混合转换操作替换为结构向量α'中对应混合转换操作中最大权重所对应的转换操作；
通过下述公式确定最大权重对应的转换操作：
其中，o'表示点x(i)与节点x(j)之间的转换操作，表示节点x(i)与节点x(j)之间与o'转换操作对应的结构参数，/>表示节点x(i)与节点x(j)之间多个转换操作的集合，α'o (i,j)表示节点x(i)与节点x(j)之间权重最大的结构参数，o表示点x(i)与节点x(j)之间权重最大的结构参数对应的转换操作。
7.根据权利要求1-6任一项所述的城市飞行物识别方法，其特征在于，利用膨胀卷积操作提取数据集所包含的目标图像信息中的内部数据结构信息与空间层级化信息，获取所述目标图像在不同尺度的层级化特征，并将所述不同尺度的层级化特征组成膨胀卷积特征金字塔耦合至获得的所述可微深度神经网络中，以获得优化的可微深度神经网络。
8.根据权利要求7所述的城市飞行物识别方法，其特征在于，将所述层级化特征按照尺度大小依次堆叠获得膨胀卷积特征金字塔。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010479093.6A CN113743168B (zh) | 2020-05-29 | 2020-05-29 | 一种基于可微深度神经网络搜索的城市飞行物识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010479093.6A CN113743168B (zh) | 2020-05-29 | 2020-05-29 | 一种基于可微深度神经网络搜索的城市飞行物识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113743168A CN113743168A (zh) | 2021-12-03 |
| CN113743168B true CN113743168B (zh) | 2023-10-13 |
Family
ID=78725035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010479093.6A Active CN113743168B (zh) | 2020-05-29 | 2020-05-29 | 一种基于可微深度神经网络搜索的城市飞行物识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743168B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009525A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于卷积神经网络的无人机对地特定目标识别方法 |
| WO2019211497A2 (de) * | 2018-09-10 | 2019-11-07 | Software Competence Center Hagenberg Gmbh | Computer implementiertes verfahren zur bewertung der integrität von neuronalen netzen |
| WO2020082663A1 (zh) * | 2018-10-26 | 2020-04-30 | 北京图森未来科技有限公司 | 一种深度神经网络的结构搜索方法及装置 |
-
2020
- 2020-05-29 CN CN202010479093.6A patent/CN113743168B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009525A (zh) * | 2017-12-25 | 2018-05-08 | 北京航空航天大学 | 一种基于卷积神经网络的无人机对地特定目标识别方法 |
| WO2019211497A2 (de) * | 2018-09-10 | 2019-11-07 | Software Competence Center Hagenberg Gmbh | Computer implementiertes verfahren zur bewertung der integrität von neuronalen netzen |
| WO2020082663A1 (zh) * | 2018-10-26 | 2020-04-30 | 北京图森未来科技有限公司 | 一种深度神经网络的结构搜索方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于迭代深度学习的缺陷检测;李腾飞;秦永彬;;计算机与数字工程(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113743168A (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111489358B (zh) | 一种基于深度学习的三维点云语义分割方法 | |
| CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| CN114241282B (zh) | 一种基于知识蒸馏的边缘设备场景识别方法及装置 | |
| CN110516095B (zh) | 基于语义迁移的弱监督深度哈希社交图像检索方法和系统 | |
| CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
| CN109948742B (zh) | 基于量子神经网络的手写体图片分类方法 | |
| CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及系统 | |
| CN110263855B (zh) | 一种利用共基胶囊投影进行图像分类的方法 | |
| CN114091650A (zh) | 一种深度卷积神经网络架构的搜索方法和应用 | |
| CN116258990A (zh) | 一种基于跨模态亲和力的小样本参考视频目标分割方法 | |
| Wan et al. | E2SCNet: Efficient multiobjective evolutionary automatic search for remote sensing image scene classification network architecture | |
| CN114187506A (zh) | 视点意识的动态路由胶囊网络的遥感图像场景分类方法 | |
| CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
| CN113743168B (zh) | 一种基于可微深度神经网络搜索的城市飞行物识别方法 | |
| CN111737470A (zh) | 文本分类方法 | |
| CN114494284B (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| Hao et al. | Research on image semantic segmentation based on FCN-VGG and pyramid pooling module | |
| CN114677508A (zh) | 一种基于动态滤波和逐点相关的点云实例语义分割方法 | |
| CN115170599A (zh) | 通过图神经网络的链路预测进行血管分割的方法和装置 | |
| CN113987170A (zh) | 基于卷积神经网络的多标签文本分类方法 | |
| CN112991501A (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
| CN111860668A (zh) | 一种针对原始3d点云处理的深度卷积网络的点云识别方法 | |
| CN114826921B (zh) | 基于抽样子图的网络资源动态分配方法、系统及介质 | |
| CN112381226B (zh) | 一种基于粒子群算法的深度卷积神经网络架构搜索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |