CN113159300B - 图像检测神经网络模型及其训练方法、图像检测方法 - Google Patents
图像检测神经网络模型及其训练方法、图像检测方法 Download PDFInfo
- Publication number
- CN113159300B CN113159300B CN202110530803.8A CN202110530803A CN113159300B CN 113159300 B CN113159300 B CN 113159300B CN 202110530803 A CN202110530803 A CN 202110530803A CN 113159300 B CN113159300 B CN 113159300B
- Authority
- CN
- China
- Prior art keywords
- feature
- layer
- neural network
- image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000012549 training Methods 0.000 title claims abstract description 55
- 238000003062 neural network model Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 230000000694 effects Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 32
- 238000010586 diagram Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种图像检测神经网络模型及其训练方法、图像检测方法，包括获取训练数据，其中，所述训练数据包括原始图像样本，对所述原始图像样本进行缩小，得到缩小目标样本；构建包含至少包括特征提取网络、特征金字塔网络和预测网络的初始神经网络模型，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层，所述四层特征图与特征增强层是对卷积四层特征图与卷积特征增强层的训练参数进行训练后得到的；使用所述训练数据训练所述初始神经网络模型的训练参数，并通过损失函数在训练过程中优化所述初始神经网络模型，得到目标神经网络模型，可以在检测速度几乎不受影响的情况下有效改善遥感图像中小尺寸物体的检测效果。
Description
技术领域
本申请涉及图像处理技术领域领域，具体而言，涉及一种图像检测神经网络模型及其训练方法、图像检测方法。
背景技术
遥感图像检测是计算机视觉中目标检测任务的重要分支，它涉及识别航空影像中特定类别的物体，通常是在地面上各种有形物。遥感图像检测是目标检测的基准问题，在军事应用、环境监测和气象学等场景有着很大的实用价值。
随着深度学习算法近年在机器视觉方面取得的极大成功，其已被认为是遥感图像处理的首选方法。由于采用远距离的俯瞰视角拍摄方式，遥感图像相对于普通图像存在更多小尺寸的物体。遥感图像中的小物体在图像视野中占比很小，导致边缘特征和纹理信息不明显甚至缺失；同时，检测模型的骨架网络通常包含若干次下采样过程，使得小物体在特征图中的尺寸只有个位数的像素大小。
针对相关技术中，现有的遥感图像目标检测方法对于特征信息不充分的小目标不能得到较为精确的检测效果，因此小尺寸的物体仍然是遥感图像目标检测的挑战性问题，相关技术中尚无有效的解决方案。
发明内容
本申请实施例提供了一种图像检测神经网络模型及其训练方法、图像检测方法，以至少解决遥感图像目标检测时，对于特征信息不充分的小尺寸目标不能得到较为精确的检测效果的问题。
在本申请的一个实施例中，提出了一种图像检测神经网络模型，所述模型至少包括特征提取网络、特征金字塔(FPN)网络和预测网络；所述特征提取网络配置为，对目标图像进行特征提取；所述特征金字塔网络配置为，根据不同级别的特征图检测不同大小的目标图像，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层；所述预测网络配置为，使用两条独立的支路分别预测目标图像的类别信息和位置信息；所述四层特征图是根据所述特征提取网络的感受野设定；所述特征增强层配置为，对目标图像的不充足特征进行增强，所述特征增强层使用1个全局残差模块构成，全局残差模块由3个局部残差模块堆叠构成；所述预测网络经过若干层卷积层后，目标分类支路最终预测特征图中各个位置特征属于任一类别的概率，位置回归支路最终预测特征图中各个位置特征的位置偏移信息。
在本申请的一个实施例中，还提出一种图像检测神经网络模型的训练方法，应用于上述图像检测模型；所述方法包括：获取训练数据，其中，所述训练数据包括原始图像样本，对所述原始图像样本进行缩小，得到缩小目标样本；构建包含至少包括特征提取网络、特征金字塔网络和预测网络的初始神经网络模型，其中，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层，所述四层特征图与特征增强层是对卷积四层特征图与卷积特征增强层的训练参数进行训练后得到的；使用所述训练数据训练所述初始神经网络模型的训练参数，并通过损失函数在训练过程中优化所述初始神经网络模型，得到目标神经网络模型；所述使用所述训练数据训练所述初始神经网络模型的训练参数，包括：所述卷积四层特征图中不同层级的特征图分别负责检测不同大小的图像样本，将原始图像样本和缩小目标样本同时输入卷积四层特征图，以使得原始图像样本在卷积四层特征图输出端自底向上第二层的特征图，与缩小目标样本在四层特征图输出端自底向上第一层的特征图负责检测图像中的相同物体；所述使用所述训练数据训练所述初始神经网络模型的训练参数，包括：所述卷积特征增强层构建于负责检测缩小目标样本中小目标的卷积四层特征图最底层支路，使用原始图像样本在卷积四层特征图自底向上的第二层支路作为监督信息，对缩小目标样本不充足的特征信息进行增强，缩小原始图像样本与缩小目标样本之间的差异；所述通过损失函数在训练过程中优化所述初始神经网络模型，包括：采用构建检测损失函数和超分辨损失函数作为模型的总损失函数，根据损失函数回传梯度更新初始神经网络模型中的参数，对预测结果进行优化。
在本申请的一个实施例中，还提出了一种图像检测方法，运用前述的图像检测神经网络模型；所述方法包括：将目标图像输入所述图像检测神经网络模型；通过所述图像检测神经网络模型对所述目标图像进行检测，并输出预测目标图像效果。
在本申请的一个实施例中，还提出了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在本申请的一个实施例中，还提出了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本申请实施例，将原始图片样本和其对应的缩小图片样本同时传入检测网络，使用原始图片样本所在特征金字塔网络层级的特征信息作为缩小后图像特征信息的监督，可以缩小两者特征信息的差异；且对于经过超分辨模块增强后的小目标的特征信息更为敏感，可以在检测速度几乎不受影响的情况下有效改善遥感图像中小尺寸物体的检测效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的一种图像检测神经网络模型的训练方法的移动终端的硬件结构框图；
图2是本申请实施例的一种图像检测神经网络模型的训练流程图；
图3为本申请实施例的特征金字塔网络各个层级特征图感受野的示意图；
图4为本申请实施例改进的特征金字塔网络的结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本申请实施例的一种图形检测神经网络模型的训练方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的图像检测神经网络模型的训练方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
如图2所示，一种图像检测神经网络模型，所述模型至少包括特征提取网络、特征金字塔网络和预测网络，所述特征提取网络配置为，对目标图像进行特征提取；所述特征金字塔网络配置为，根据不同级别的特征图检测不同大小的目标图像，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层；所述预测网络配置为，使用两条独立的支路分别预测目标图像的类别信息和位置信息。所述四层特征图是根据所述特征提取网络的感受野设定。所述特征增强层配置为，对目标图像的不充足特征进行增强，所述特征增强层使用1个全局残差模块构成，全局残差模块由3个局部残差模块堆叠构成。所述预测网络经过若干层卷积层后，目标分类支路最终预测特征图中各个位置特征属于任一类别的概率，位置回归支路最终预测特征图中各个位置特征的位置偏移信息。
如图3所示，所述特征提取网络采用卷积层缩小原始图像的尺寸，并将提取的有效特征输入到后续网络，所述特征金字塔网络(FPN)使用单一维度的图片作为输入，并在特征提取网络中选择多个不同层级的特征图作为最终提取的特征图，根据每一层提取的不同特征分别预测以解决物体检测中的多尺度问题；
可选取ResNet、HRNet等卷积神经网络作为特征提取网络；本实施例中，选取ResNet作为所述特征提取网络，用于初步提取遥感图像的特征信息；所述特征提取网络采用卷积层缩小原始图像的尺寸，并将提取的有效特征输入到后续网络，可选取ResNet、HRNet等卷积神经网络作为特征提取网络；
所述预测网络，使用两条独立的支路分别预测物体的类别信息和位置信息；经过若干层卷积层后，物体分类支路最终预测特征图中各个位置特征属于任一类别的概率，位置回归支路最终预测特征图中各个位置特征的位置偏移信息。
请参考图3，图3为本发明实施例的FPN各个层级特征图感受野的示意图；
所述FPN网络，通过选择网络中的四层特征图作为最终提取的特征图以解决物体检测中的多尺度问题；所述FPN网络的四层特征图分别取自选取ResNet网络四个stage的最后一层；ResNet网络中的四个stage都使用步长为2的卷积层，所述FPN网络四层特征图的感受野成倍增加，其中感受野是特征图中的每个像素点在原始图像上映射区域的大小；根据所述FPN网络各层特征图的感受野，其自底向上四层特征图用于回归的anchor大小分别被设定为32×32、64×64、128×128、256×256，通过所述FPN网络不同级别的特征图可以检测到不同大小的物体；
由于物体类别和位置信息的预测分别属于分类任务和回归任务，所述预测网络分别使用两条支路分别进行预测，并使用FPN层的特征图作为各支路的共享特征图；
本实施例中，所述共享特征图在物体分类支路中经过3层卷积层得到H×W×K维的特征图，用以预测特征图中各个位置特征属于任一类别的概率，其中H、W表示特征图长、宽，K表示数据集中物体类别总数；所述共享特征图在回归支路中经过3层卷积层得到H×W×5维的特征图，用以预测特征图中各个位置特征关于原始anchor的位置偏移信息，所述anchor是根据经验提前设定好的一系列大小和尺寸确定了的先验框，其中5表示对于边界框中心点横纵坐标、长宽、旋转角度五个维度的预测结果。
在本申请的一个实施例中，还提出一种图像检测神经网络模型的训练方法，应用于上述图像检测模型；所述方法包括：获取训练数据，其中，所述训练数据包括原始图像样本，对所述原始图像样本进行缩小，得到缩小目标样本；构建包含至少包括特征提取网络、特征金字塔网络和预测网络的初始神经网络模型，其中，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层，所述四层特征图与特征增强层是对卷积四层特征图与卷积特征增强层的训练参数进行训练后得到的；使用所述训练数据训练所述初始神经网络模型的训练参数，并通过损失函数在训练过程中优化所述初始神经网络模型，得到目标神经网络模型；所述使用所述训练数据训练所述初始神经网络模型的训练参数，包括：所述卷积四层特征图中不同层级的特征图分别负责检测不同大小的图像样本，将原始图像样本和缩小目标样本同时输入卷积四层特征图，在使用原始输入模型的同时，将原始图像的缩小版也输入模型，利用缩小后的大目标作为带有监督信息的小目标；
将原始图像I输入到网络进行前向传播forward(I)的同时，本实施例对同一网络再增加一次前向传播过程forward(I2)，其中I2表示将原始图像I长度和宽度均缩小一半后得到的图像；
原始图像I中尺寸为64×64像素的物体o，经过缩小后在将I2中表现为尺寸为32×32像素的缩小版物体问o2，原始图像样本成为带有监督信息的缩小目标样本，并得到了原图及缩小图各自在FPN中的多尺度特征图。
输入后，使得原始图像样本在卷积四层特征图输出端自底向上第二层的特征图，与缩小目标样本在四层特征图输出端自底向上第一层的特征图负责检测图像中的相同物体。
所述FPN不同层级的特征图分别负责检测不同尺度的物体，将原始图像以及长度和宽度均缩小一半的缩小版图像同时输入网络，以使得原始图像在FPN输出端自底向上第二层的特征图与缩小后图像在FPN输出端自底向上第一层的特征图负责检测图像中的相同物体，并基于此设计后续的特征增强模块。
所述卷积特征增强层构建于负责检测缩小目标样本中小目标的卷积四层特征图最底层支路，使用原始图像样本在卷积四层特征图自底向上的第二层支路作为监督信息，对缩小目标样本不充足的特征信息进行增强，缩小原始图像样本与缩小目标样本之间的差异；所述的特征增强层构建于负责检测缩小后图像中小目标的FPN最底层支路，使用原始图像在FPN自底向上的第二层支路作为监督信息；所述特征增强层使用1个全局残差模块构成，全局残差模块由3个局部残差模块堆叠构成。
请参考图4，图4为本发明实施例的改进的FPN模块的网络结构图；
本实施例的改进的FPN结构图中，FM和FM'分别表示原始图像和缩小后图像在FPN结构中的多层特征图；和/>分别表示FPN输入端和输出端的一层特征图，其中i用于指明特征图在FPN自底向上四层特征图的层级(i＝{1,2,3,4})；FM'采用同样的表示方式；
根据步骤S1的anchor设计，原始图像I中64×64像素的物体o理应经过层最终被检测到，缩小版图像I2中32×32像素的物体o2理应经过/>层最终被检测到；然而，在实际检测场景中，由于图像缩小后物体o2的特征信息变少了，o2经过/>层往往不能被准确地检测出来；
在基于FPN的检测算法中，经过特征提取网络后的大尺寸图像和小尺寸图像前向传播过程中的网络结构和参数相同，图像中物体检测结果的差异完全取决于输入物体特征的差异；请参考图4，本实施例在负责检测小目标的层添加超分辨模块以增强网络对于小目标的特征提取能力；
所述超分辨增强模块由一个全局残差模块构成，而全局残差模块由3个堆叠的局部残差模块构成；
原始图像的低分辨率FPN输入端特征图和监督学习后得到的FPN输出端特征图/>高度相关，本发明使用全局残差模块构建所述的特征增强模块，通过学习/>和/>之间的残差恢复丢失的高频细节；
特征图和/>之间的大多数区域残差接近于零，所述的残差模块可以满足场景中实时性的要求，不会明显提高模型的复杂性和学习难度；
所述局部残差模块通过跳跃连接以逐像素加法的方式计算；本实施例的局部残差模块仅由卷积层和ReLu层构成，并移除批归一化层以避免规范化特征后会降低特征信息多样性的问题；
所述通过损失函数在训练过程中优化所述初始神经网络模型，包括：采用构建检测损失函数和超分辨损失函数作为模型的总损失函数，根据损失函数回传梯度更新初始神经网络模型中的参数，对预测结果进行优化。
所述检测损失采用FPN层的特征图作为各支路的共享特征图，并使用两条支路分别进行预测；所述检测损失使用真实标签作为监督信息，其包含：物体分类损失Lreg、边框回归损失Lcls；
目前优良的检测网络对于特征充足的大物体可以得到很好的检测效果，因此本实施例不去调整模型的预测网络部分的参数；请参考图4，如果使用原始图像在FPN第二层预测支路P2的最终输出作为缩小后图像在FPN第一层预测部分P1'的最终输出的超分辨率监督，网络预测部分P1'的参数将被调整，从而导致算法原有的检测性能受到影响。因此，在得到了原图及缩小图的多尺度特征图后，本实施例使用原图在层的特征图作为缩小图在/>层的特征图的监督信息以增强网络对于小目标的特征提取能力；
所述超分辨损失包含：感知损失LP、纹理匹配损失LT，其中和/>两个特征图具有相同的维度，本实施例采用逐像素的方式计算超分辨损失；
本实施例采用Focal-Loss损失函数计算所述物体分类损失，其计算公式如式(1)：
其中，Ncls是图像中不同位置anchor的数量，K是数据集中物体类别总数，pi表示网络预测anchor属于第k种类别物体的概率，表示二值类别标签。(1-pi)γ、pi γ分别为正样本和负样本损失函数的调节因子，以自适应调整不同难易样本的权重，其中γ是可调节的参数；由式(1)可以发现，添加的调节因子通过降低简单样本的权重可以减少检测任务中大量简单样本对于总损失的贡献，使得模型更加关注于那些难以分类的样本。
本实施例所述的边框回归损失，其计算公式如式(2)：
其中，Nreg是图像中不同位置anchor的数量，ti表示网络对于每一个anchor预测的位置信息(x、y、w、h、θ)的偏移量，是真实标签框相对于anchor位置信息的偏移量，λ用于平衡分类损失和回归损失；
本实施例实验时，采用smoothL1损失函数计算所述边框回归损失,其定义如式(3)：
由式(3)可知，smoothL1损失是分段函数，其在[-1,1]区间内等价于L2损失函数，以解决L1损失的零点不平滑问题，在[-1,1]区间外等价于L1损失函数，以解决L2损失由于对离群点、异常值敏感导致的梯度爆炸问题。
本实施例所述的感知损失，其计算公式如式(4)：
式(4)中，FLR表示待增强的缩小版低分辨图像的特征图FHR表示用于监督的原始高分辨图像的相应特征图/>FLR和FHR通过将各自的图像输入到网络中经过可微分的传播过程得到；本实施例采用L2范数||x||2计算两个特征图/>和/>逐像素特征值的差异，并使用均方误差表示两个特征图之间的感知损失。
深度学习技术主要基于图像中物体的纹理进行预测，特征信息匮乏的小目标尽管和更大尺寸的目标外形相似，但是纹理细节信息较少，因此检测效果较差。于是，本实例采用纹理匹配损失以促进网络具有提取更丰富纹理信息的能力；本实施例所述的纹理匹配损失，其计算公式如式(5)：
式(5)中，FLR、FHR表示FPN网络中的一层特征图；G(F)＝FTF是用于表示纹理信息的Gram矩阵，其定义如式(6)：
其中，fi是特征图F中第i个通道的特征值，每个通道fi的特征值都由一个特定卷积核在特定位置的卷积得到，因此每个特征值都代表一种特征的强度。图像纹理信息的高阶表示即为特征值之间的相关性，本实施例通过使用Gram矩阵G(F)计算两个通道fi与fj的特征值之间的相关性可以掌握特征图的总体纹理风格，从而促进两个特征图和/>具有相似的纹理信息。
所述模型总损失函数LTotal，其计算公式如式(7)：
LTotal＝Lcls+Lreg+λPLP+λTLT (7)
式(6)中,λP和λT为权重参数，本实施例在实验时将λP设为1，将λT设为3以平衡各个损失值。
本实施例在实验时发现，使用整张特征图作为监督计算超分辨损失时，由于计算量过大，并且特征图中存在很大一部分不需要学习的背景区域，检测效果较差。于是，本实施例采用mask方式计算超分辨损失，以使得超分辨模块只对图像中有物体的区域进行监督学习；同时，直接在完整的特征图上计算纹理匹配损失时，由于整张图像中不同区域纹理信息的多样性被归一化，也会导致效果变差。为了保证特征图和/>之间的纹理信息在局部区域的一致性，本实施例采用patch方式计算超分辨损失，其中patch表示局部的子图像块。
在本申请的一个实施例中，还提出了一种图像检测方法，运用前述的图像检测神经网络模型；所述方法包括：将目标图像输入所述图像检测神经网络模型；通过所述图像检测神经网络模型对所述目标图像进行检测，并输出预测目标图像效果。使用训练好的所述模型对遥感图像进行检测并查看效果。采用物体分类损失函数、边框回归损失函数、感知损失函数以及纹理匹配损失函数共同训练模型；本实施例采用DOTA航拍遥感数据集进行模型训练与评估，并采用动态梯度下降法进行损失优化；模型训练过程总共迭代32000次，初始学习率为0.01，所述学习率在训练迭代次数为21000和29000次时分别变更为0.001和0.0001；本实施例在训练开始时以学习率预热方式采用较小学习率进行训练，并在模型迭代前500次期间逐渐将其增大为预先设置的初始学习率；以可视化展示检测效果；最终提高遥感图像中小目标的检测精度。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (8)
1.一种图像检测神经网络系统，包括一种图像检测神经网络模型，其特征在于，所述模型至少包括特征提取网络、特征金字塔网络和预测网络；
获取训练数据，其中，所述训练数据包括原始图像样本，对所述原始图像样本进行缩小，得到缩小目标样本；
所述特征提取网络配置为，对目标图像进行特征提取；
所述特征金字塔网络配置为，根据不同级别的特征图检测不同大小的目标图像，所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层；其中，
所述特征增强层配置为，对目标图像的不充足特征进行增强，所述特征增强层使用1个全局残差模块构成，全局残差模块由3个局部残差模块堆叠构成；
所述四层特征图与特征增强层是对卷积四层特征图与卷积特征增强层的训练参数进行训练后得到的；
所述卷积四层特征图中不同层级的特征图分别负责检测不同大小的图像样本，将原始图像样本和缩小目标样本同时输入卷积四层特征图，以使得原始图像样本在卷积四层特征图输出端自底向上第二层的特征图，与缩小目标样本在四层特征图输出端自底向上第一层的特征图负责检测图像中的相同物体；
所述卷积特征增强层构建于负责检测缩小目标样本中小目标的卷积四层特征图最底层支路，使用原始图像样本在卷积四层特征图自底向上的第二层支路作为监督信息，对缩小目标样本不充足的特征信息进行增强，缩小原始图像样本与缩小目标样本之间的差异；
所述预测网络配置为，使用两条独立的支路分别预测目标图像的类别信息和位置信息。
2.根据权利要求1所述的一种图像检测神经网络系统，其特征在于，所述四层特征图是根据所述特征提取网络的感受野设定。
3.根据权利要求1所述的一种图像检测神经网络系统，其特征在于，所述预测网络经过若干层卷积层后，目标分类支路最终预测特征图中各个位置特征属于任一类别的概率，位置回归支路最终预测特征图中各个位置特征的位置偏移信息。
4.一种图像检测神经网络模型的训练方法，其特征在于，应用于权利要求1至3任一项所述的图像检测神经网络模型；所述方法包括：
获取训练数据，其中，所述训练数据包括原始图像样本，对所述原始图像样本进行缩小，得到缩小目标样本；
构建包含至少包括特征提取网络、特征金字塔网络和预测网络的初始神经网络模型，其中，
所述特征金字塔网络包括可参数化的四层特征图与可参数化的特征增强层，所述四层特征图与特征增强层是对卷积四层特征图与卷积特征增强层的训练参数进行训练后得到的；
使用所述训练数据训练所述初始神经网络模型的训练参数，并通过损失函数在训练过程中优化所述初始神经网络模型，得到目标神经网络模型。
5.根据权利要求4所述的一种图像检测神经网络模型的训练方法，其特征在于，所述通过损失函数在训练过程中优化所述初始神经网络模型，包括：
采用构建检测损失函数和超分辨损失函数作为模型的总损失函数，根据损失函数回传梯度更新初始神经网络模型中的参数，对预测结果进行优化。
6.一种图像检测方法，其特征在于，运用权利要求1至3任一项所述的图像检测神经网络模型；所述方法包括：
将目标图像输入所述图像检测神经网络模型；
通过所述图像检测神经网络模型对所述目标图像进行检测，并输出预测目标图像效果。
7.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求4至5任一项中所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求4至5任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110530803.8A CN113159300B (zh) | 2021-05-15 | 2021-05-15 | 图像检测神经网络模型及其训练方法、图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110530803.8A CN113159300B (zh) | 2021-05-15 | 2021-05-15 | 图像检测神经网络模型及其训练方法、图像检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113159300A CN113159300A (zh) | 2021-07-23 |
| CN113159300B true CN113159300B (zh) | 2024-02-27 |
Family
ID=76876349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110530803.8A Active CN113159300B (zh) | 2021-05-15 | 2021-05-15 | 图像检测神经网络模型及其训练方法、图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113159300B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505848B (zh) * | 2021-07-27 | 2023-09-26 | 京东科技控股股份有限公司 | 模型训练方法和装置 |
| CN113601306B (zh) * | 2021-08-04 | 2022-07-08 | 上海电器科学研究所（集团）有限公司 | 基于一维分割网络的充电设施箱体焊缝打磨方法 |
| CN113610163A (zh) * | 2021-08-09 | 2021-11-05 | 安徽工业大学 | 一种基于知识蒸馏的轻量级苹果叶片病害识别方法 |
| CN113989632A (zh) * | 2021-09-13 | 2022-01-28 | 西安电子科技大学 | 一种遥感图像桥梁检测方法、装置、电子设备及存储介质 |
| CN113887447A (zh) * | 2021-10-08 | 2022-01-04 | 中国科学院半导体研究所 | 对象分类模型的训练方法、对象分类预测方法及装置 |
| CN114549728A (zh) * | 2022-03-25 | 2022-05-27 | 北京百度网讯科技有限公司 | 图像处理模型的训练方法、图像处理方法、装置及介质 |
| CN115294351B (zh) * | 2022-06-28 | 2023-11-03 | 中国科学院自动化研究所 | 图像特征提取方法、装置和电子设备 |
| CN115965829A (zh) * | 2022-11-24 | 2023-04-14 | 阿里巴巴（中国）有限公司 | 对象检测模型训练方法以及对象检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091341A (zh) * | 2014-07-18 | 2014-10-08 | 厦门美图之家科技有限公司 | 一种基于显著性检测的图像模糊检测方法 |
| CN110427875A (zh) * | 2019-07-31 | 2019-11-08 | 天津大学 | 基于深度迁移学习和极限学习机的红外图像目标检测方法 |
| CN110689483A (zh) * | 2019-09-24 | 2020-01-14 | 重庆邮电大学 | 基于深度残差网络的图像超分辨率重建方法及存储介质 |
| CN110706242A (zh) * | 2019-08-26 | 2020-01-17 | 浙江工业大学 | 一种基于深度残差网络的对象级边缘检测方法 |
| WO2020037960A1 (zh) * | 2018-08-21 | 2020-02-27 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
| CN111626350A (zh) * | 2020-05-25 | 2020-09-04 | 腾讯科技（深圳）有限公司 | 目标检测模型训练方法、目标检测方法及装置 |
| CN112016512A (zh) * | 2020-09-08 | 2020-12-01 | 重庆市地理信息和遥感应用中心 | 基于反馈式多尺度训练的遥感图像小目标检测方法 |
-
2021
- 2021-05-15 CN CN202110530803.8A patent/CN113159300B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091341A (zh) * | 2014-07-18 | 2014-10-08 | 厦门美图之家科技有限公司 | 一种基于显著性检测的图像模糊检测方法 |
| WO2020037960A1 (zh) * | 2018-08-21 | 2020-02-27 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
| CN110427875A (zh) * | 2019-07-31 | 2019-11-08 | 天津大学 | 基于深度迁移学习和极限学习机的红外图像目标检测方法 |
| CN110706242A (zh) * | 2019-08-26 | 2020-01-17 | 浙江工业大学 | 一种基于深度残差网络的对象级边缘检测方法 |
| CN110689483A (zh) * | 2019-09-24 | 2020-01-14 | 重庆邮电大学 | 基于深度残差网络的图像超分辨率重建方法及存储介质 |
| CN111626350A (zh) * | 2020-05-25 | 2020-09-04 | 腾讯科技（深圳）有限公司 | 目标检测模型训练方法、目标检测方法及装置 |
| CN112016512A (zh) * | 2020-09-08 | 2020-12-01 | 重庆市地理信息和遥感应用中心 | 基于反馈式多尺度训练的遥感图像小目标检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Extended Feature Pyramid Network for Small Object Detection;Chunfang Deng et al.;《IEEE TRANSACTIONS ON MULTIMEDIA》;第1968-1979页 * |
| Perceptual Generative Adversarial Networks for Small Object Detection;Jianan Li et al.;《arXiv:1706.05274v2》;第1-9页 * |
| 基于FPN-SE-Capsule 网络的指纹图像识别算法;袁颖 等;《工业控制计算机》;第34卷(第1期);第45-47页，第50页 * |
| 基于多尺度特征与模型压缩加速的光学遥感图像目标检测;杨康;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;C028-171 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113159300A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113159300B (zh) | 图像检测神经网络模型及其训练方法、图像检测方法 | |
| Shen et al. | Detection of stored-grain insects using deep learning | |
| CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| US11651229B2 (en) | Methods and systems for face recognition | |
| WO2020228446A1 (zh) | 模型训练方法、装置、终端及存储介质 | |
| CN108108764B (zh) | 一种基于随机森林的视觉slam回环检测方法 | |
| WO2021238366A1 (zh) | 一种神经网络构建方法以及装置 | |
| CN110222717B (zh) | 图像处理方法和装置 | |
| TWI651697B (zh) | 停車場空位偵測方法及其偵測模型建立方法 | |
| CN111401516A (zh) | 一种神经网络通道参数的搜索方法及相关设备 | |
| KR20180065889A (ko) | 타겟의 검측 방법 및 장치 | |
| CN112529146B (zh) | 神经网络模型训练的方法和装置 | |
| CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
| CN111832592B (zh) | Rgbd显著性检测方法以及相关装置 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN110503149B (zh) | 一种图像中局部特征分类方法及系统 | |
| CN113743417B (zh) | 语义分割方法和语义分割装置 | |
| CN112464766A (zh) | 一种农田地头自动识别方法及系统 | |
| CN111340019A (zh) | 基于Faster R-CNN的粮仓害虫检测方法 | |
| CN113743426A (zh) | 一种训练方法、装置、设备以及计算机可读存储介质 | |
| CN114998610A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN111553337A (zh) | 一种基于改进锚框的高光谱多目标检测方法 | |
| Yang et al. | Convolutional neural network-based automatic image recognition for agricultural machinery | |
| CN110705564A (zh) | 图像识别的方法和装置 | |
| CN111860601A (zh) | 预测大型真菌种类的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |