CN111353580A - 目标检测网络的训练方法、电子设备及存储介质 - Google Patents

目标检测网络的训练方法、电子设备及存储介质 Download PDF

Info

Publication number
CN111353580A
CN111353580A CN202010078783.0A CN202010078783A CN111353580A CN 111353580 A CN111353580 A CN 111353580A CN 202010078783 A CN202010078783 A CN 202010078783A CN 111353580 A CN111353580 A CN 111353580A
Authority
CN
China
Prior art keywords
network
training
aircraft
target detection
sample images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010078783.0A
Other languages
English (en)
Other versions
CN111353580B (zh
Inventor
牛新
何贤浩
窦勇
姜晶菲
李荣春
苏华友
乔鹏
潘衡岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010078783.0A priority Critical patent/CN111353580B/zh
Publication of CN111353580A publication Critical patent/CN111353580A/zh
Application granted granted Critical
Publication of CN111353580B publication Critical patent/CN111353580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种目标检测网络的训练方法、电子设备及存储介质，该方法包括：分别构建孪生网络和目标检测网络的网络结构；获取训练集，训练集中包括多组含有飞行器图像的交叉样本图像；根据训练集包括的交叉样本图像训练孪生网络，得到训练后的孪生网络对应的网络参数；根据网络参数和训练集包括的交叉样本图像，训练目标检测网络。本申请根据训练好的孪生网络的网络参数和训练集来训练目标检测网络。由于孪生网络的网络参数对于不同样本具有很好的鲁棒性，因此将训练好的孪生网络的网络参数作为目标检测网络的初始化参数，能够使得目标检测网络在初始状态具备较好的鲁棒性，从而训练后能够提高目标检测的准确性。

Description

目标检测网络的训练方法、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种目标检测网络的训练方法、电子设备及存储介质。
背景技术
随着航空航天技术、计算机技术和网络通讯技术的发展，采集遥感图像的能力不断增强，分析遥感图像已经成为一种对资源环境、城市布局、交通管理等进行研究、调研的重要手段。飞行器检测作为遥感图像检测的一个子任务，具有非常大的现实需求和应用价值。
目前，相关技术中可以通过Faster RCNN(Faster Region-based ConvolutionalNeural Networks)这一目标检测网络来检测遥感图像中的飞行器。但由于在训练FasterRCNN的过程中，相关技术只考虑了每张输入图像的目标和背景，并未充分利用不同图像之间的差异性，使得训练得到的Faster RCNN提取特征的能力不足，导致训练得到的FasterRCNN在一张图像上能检测出飞行器目标，而在另一张图像上，相同的飞行器目标却可能会出现漏检和误检的现象，目标检测的准确率有待提高。
发明内容
为解决以上问题，本申请提供一种目标检测网络的训练方法、电子设备及存储介质，根据训练好的孪生网络的网络参数和训练集来训练目标检测网络。由于孪生网络的网络参数对于不同样本具有很好的鲁棒性，因此根据训练好的孪生网络的网络参数来训练目标检测网络，能够使得目标检测网络也具备较好的鲁棒性，从而训练后能够提高目标检测的准确性。
第一方面，本申请实施例提供了一种目标检测网络的训练方法，包括：
分别构建孪生网络和目标检测网络的网络结构；
获取训练集，所述训练集中包括多组含有飞行器图像的交叉样本图像；
根据所述训练集包括的所述交叉样本图像训练所述孪生网络，得到训练后的所述孪生网络对应的网络参数；
根据所述网络参数和所述训练集包括的所述交叉样本图像，训练所述目标检测网络。
在本申请一些实施例中，所述构建孪生网络的网络结构，包括：
分别构建共享特征提取器、局部特征提取器和相似性度量模块；
将所述共享特征提取器的输出结果作为所述局部特征提取器的输入参数，将所述局部特征提取器的输出结果作为所述相似性度量模块的输入参数，得到孪生网络。
在本申请一些实施例中，所述获取训练集，包括：
获取预设数目包含飞行器图像的遥感图像；
在每个所述遥感图像中标注飞行器坐标、背景坐标及飞行器类别；
将标注后的任意两个所述遥感图像组成一组交叉样本图像，得到训练集。
在本申请一些实施例中，根据所述训练集包括的所述交叉样本图像训练所述孪生网络，得到训练后的所述孪生网络对应的网络参数，包括：
根据所述训练集包括的多组所述交叉样本图像，对所述共享特征提取器、所述局部特征提取器和所述相似性度量模块进行迭代训练；
当迭代训练次数大于或等于第一预设迭代次数时，停止训练，获取当前所述共享特征提取器、所述局部特征提取器和所述相似性度量模块对应的网络参数。
在本申请一些实施例中，所述根据所述训练集包括的多组所述交叉样本图像，对所述共享特征提取器、所述局部特征提取器和所述相似性度量模块进行迭代训练，包括：
从所述训练集中获取预设组数的交叉样本图像；
将获取的每组所述交叉样本图像输入所述共享特征提取器中，分别获得每组所述交叉样本图像对应的特征映射图像；
将每组所述交叉样本图像对应的飞行器坐标、背景坐标、飞行器类别及所述特征映射图像输入所述局部特征提取器中，分别获得每组所述交叉样本图像对应的飞行器特征向量和背景特征向量；
将每组所述交叉样本图像对应的所述飞行器特征向量和所述背景特征向量输入所述相似性度量模块，分别获得每组所述交叉样本图像对应的损失值；
根据每组所述交叉样本图像对应的损失值，调整所述孪生网络对应的网络参数，返回执行从所述训练集中获取预设组数的交叉样本图像的操作。
在本申请一些实施例中，所述将每组所述交叉样本图像对应的飞行器坐标、背景坐标、飞行器类别及所述特征映射图像输入所述局部特征提取器中，分别获得每组所述交叉样本图像对应的飞行器特征向量和背景特征向量，包括：
通过所述局部特征提取器计算所述交叉样本图像与其对应的所述特征映射图像之间的尺寸缩小因子；
根据所述尺寸缩小因子及所述交叉样本图像对应的所述飞行器坐标和所述背景坐标，在所述特征映射图像中分别确定所述飞行器坐标对应的飞行器映射区域和所述背景坐标对应的背景映射区域；
通过所述局部特征提取器分别对所述飞行器映射区域和所述背景映射区域进行均值池化处理，得到所述交叉样本图像对应的飞行器特征向量和背景特征向量。
在本申请一些实施例中，所述根据所述网络参数和所述训练集包括的所述交叉样本图像，训练所述目标检测网络，包括；
将所述网络参数配置为所述目标检测网络的初始化参数；
将所述训练集包括的所述交叉样本图像输入所述目标检测网络中进行迭代训练，每次迭代均根据所述目标检测网络输出的损失值调整所述目标检测网络对应的网络参数；
当迭代训练次数大于或等于第二预设迭代次数时，停止训练，获得训练好的目标检测网络。
在本申请一些实施例中，所述根据所述网络参数和所述训练集包括的所述交叉样本图像，训练所述目标检测网络之后，还包括：
获取包含飞行器图像的待检测图像；
将所述待检测图像输入训练好的所述目标检测网络中，获得所述待检测图像中包含的飞行器对应的飞行器坐标和飞行器类别。
第二方面，本申请实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现上述第一方面所述的方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述第一方面所述的方法。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本申请中根据训练好的孪生网络的网络参数和训练集来训练目标检测网络。由于在孪生网络中通过共享特征提取器、局部特征提取器和相似性度量模块的处理，得到交叉样本图像中不同遥感图像之间的目标和目标、目标和背景的相似度。通过优化该相似度，提高共享特征提取器对于不同样本的鲁棒性。在训练目标检测网络阶段，将孪生网络的网络参数作为目标检测网络的初始化参数，能够使得目标检测网络在初始状态具备较好的鲁棒性，从而训练后能够提高目标检测的准确性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请实施例所提供的一种目标检测网络的训练方法的流程示意图；
图2示出了本申请实施例所提供的迭代训练孪生网络的流程示意图；
图3示出了本申请实施例所提供的一种目标检测网络的训练装置的结构示意图；
图4示出了本申请实施例所提供的一种电子设备的结构示意图；
图5示出了本申请实施例所提供的一种计算机可读存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请实施例提供一种目标检测网络的训练方法、电子设备及存储介质，下面结合附图进行说明。
本申请实施例提供了一种目标检测网络的训练方法，该方法在传统的目标检测网络的基础上，增加一个孪生网络的训练模块，以提高目标检测网络提取特征的能力。
参见图1，该方法具体包括以下步骤：
步骤101：分别构建孪生网络和目标检测网络的网络结构。
本申请实施例分别构建共享特征提取器、局部特征提取器和相似性度量模块；将共享特征提取器的输出结果作为局部特征提取器的输入参数，将局部特征提取器的输出结果作为相似性度量模块的输入参数，得到孪生网络。
其中，共享特征提取器主要采用特征提取网络ResNet101的网络结构，该网络结构中包括多重堆叠的卷积层和池化层。共享特征提取器用于对输入的图像进行多重卷积和池化操作，提取出输入的图像的特征映射图像。相对于输入的原始图像来说，共享特征提取器输出的特征映射图像的尺寸缩小了，减小了后续图像处理的数据量，提高目标检测效率。
本申请实施例中所提到的图像中均包含飞行器图像，本申请实施例训练的目标检测网络正是用于检测图像中包含的飞行器。上述局部特征提取器与共享特征提取器相连，以原始图像中的飞行器坐标、背景坐标、飞行器类别及共享特征提取器输出的特征映射图像作为局部特征提取器的输入。局部特征提取器用于根据行器坐标和飞行器类别，从共享特征提取器输出的特征映射图像中定位出飞行器映射区域，以及根据背景坐标从特征映射图像中定位出背景映射区域，并最终采用平均值池化的方式分别得到飞行器特征向量和背景特征向量。
相似性度量模块与局部特征提取器相连，以局部特征提取器输出的不同图像的飞行器特征向量和背景特征向量作为输入，用于计算不同图像之间飞行器特征向量与飞行器特征向量之间的相似度，以及计算不同图像之间飞行器特征向量与背景特征向量之间的相似度，并作为最终的优化目标输出。
本申请实施例还定义了如下公式(1)所示的相似性度量函数：
Figure BDA0002379512580000061
在上述公式(1)中，u和v分别表示一组交叉样本图像中包括的两个遥感图像，
Figure BDA0002379512580000062
表示遥感图像u经过局部特征提取器后得到的飞行器特征向量，
Figure BDA0002379512580000063
表示遥感图像u经过局部特征提取器后得到的背景特征向量。
Figure BDA0002379512580000064
表示遥感图像v经过局部特征提取器后得到的飞行器特征向量，
Figure BDA0002379512580000065
表示遥感图像v经过局部特征提取器后得到的背景特征向量。sim(u,v)用于在特征空间中尽可能地拉近遥感图像u的飞行器特征向量
Figure BDA0002379512580000066
与遥感图像v的飞行器特征向量
Figure BDA0002379512580000067
之间的距离，以及尽可能地拉远遥感图像u的飞行器特征向量
Figure BDA0002379512580000068
与背景特征向量
Figure BDA0002379512580000069
之间的距离，以及尽可能地拉远遥感图像v的飞行器特征向量
Figure BDA00023795125800000610
与背景特征向量
Figure BDA00023795125800000611
之间的距离。
定义出上述公式(1)所示的相似性度量函数后，将该相似性度量函数配置在相似性度量模块，以便后续训练孪生网络的过程中利用该相似性度量函数获取每组交叉样本图像中不同遥感图像之间的飞行器和飞行器之间的相似度，以及获取飞行器和背景之间的相似度。
构建出上述共享特征提取器、局部特征提取器和相似性度量模块，即得到了未训练的孪生网络，之后通过步骤102和103的操作来训练该孪生网络。
本申请实施例还构建以特征提取网络ResNet101为主干网络的Faster RCNN检测模块，该检测模块即为未训练的目标检测网络的网络结构。之后通过如下步骤102-104的操作来训练该检测模块。
在本申请实施例中，上述共享特征提取器中采用的特征提取网络以及上述FasterRCNN检测模块中采用的特征提取网络并不限定为ResNet101，其他任何与ResNet101相似，能够实现特征提取功能的网络模型均可。且上述检测模块也不限定为Faster RCNN，其他与Faster RCNN相似，能够用于目标检测的卷积神经网络均可，如该检测模块也可以为FastRCNN、YOLO(You Only Look Once)等。
步骤102：获取训练集，该训练集中包括多组含有飞行器图像的交叉样本图像。
获取预设数目包含飞行器图像的遥感图像；在每个遥感图像中标注飞行器坐标、背景坐标及飞行器类别；将标注后的任意两个遥感图像组成一组交叉样本图像，得到训练集。
本申请实施例可以从一些电子地图平台采集大量不同机场的遥感图像，采集的遥感图像的尺寸可以均相同，也可以不相同。上述预设数目可以为20000或50000等。本申请实施例中并不限制训练集中包含的遥感图像的数目，实际应用中可根据需求来确定上述预设数目的取值。
上述采集的每个遥感图像中均包含一个或多个飞行器图像。其中，同一个遥感图像中可能包含不同类别的飞行器，如同一张遥感图像中可能包含载客飞机、战斗机或直升机等。本申请实施例对飞行器进行了分类，并确定了不同的飞行器类别对应的标识符。例如，将带有螺旋桨的飞行器都划分为直升机，并用标识符0来标识；将没有螺旋桨的飞行器都划分为飞机，并用标识符1来标识。再如，可以将飞行器划分到具体的细分类别，如战斗机类别用标识符00标识，载客飞机用标识符01来标识，直升机类别用标识符11标识等。
从电子地图平台随机采集上述预设数目个遥感地图后，对于每一个遥感地图，都通过图像标注工具labelme标注每张遥感图像中包含的每个飞行器对应的飞行器坐标和飞行器类别。
对于一张遥感图像中包含的一个飞行器图像来说，具体地，通过图像标注工具labelme确定能够框住该飞行器图像的最小矩形框，将该最小矩形框的左上角坐标(xmin，ymin)和右下角坐标(xmax，ymax)确定为该飞行器图像对应的飞行器坐标。同时，还通过图像标注工具labelme标注出该飞行器图像对应的飞行器类别。对于每个遥感图像中包含的每个飞行器图像，都通过上述方式标注出每个遥感图像中包含的所有飞行器图像中的飞行器坐标和飞行器类别。
本申请实施例还通过图像标注工具labelme标注每张遥感图像的背景坐标。具体地，在遥感图像中除飞行器对应的最小矩形框以外的其他区域，随机选定一个预设大小的矩形框区域，将该矩形框区域的左上角坐标和右下角坐标确定为该遥感图像对应的背景坐标。对于每个遥感图像，都按照相同的方式分别标注出每个遥感图像对应的背景坐标。
通过上述方式标注后，将采集的预设数目个遥感图像中任意两个遥感图像组成一对，将组成一对的两个遥感图像称为一组交叉样本图像。所有组交叉样本图像即组成训练集。后续通过如下步骤103的方式来训练步骤101构建的孪生网络。
步骤103：根据训练集包括的交叉样本图像训练孪生网络，得到训练后的孪生网络对应的网络参数。
本申请实施例具体通过如下步骤A1和A2的操作来训练孪生网络，包括：
A1：根据训练集包括的多组交叉样本图像，对孪生网络包括的共享特征提取器、局部特征提取器和相似性度量模块进行迭代训练。
对孪生网络进行迭代训练之前，首先设置训练参数。其中，优化器采用SGD(Stochastic Gradient Descent，随机梯度下降)算法，相似性度量模块的输出为损失函数计算的损失值。训练参数包括batch size、第一预设迭代次数、学习率、学习率的调整倍数和调整迭代次数。其中，batch size表示一次训练所选取的样本数，即一次训练向孪生网络中输入的交叉样本图像的组数，可以设置batch size的取值为16或18等。第一预设迭代次数为训练孪生网络的最大迭代次数，可以设置第一预设迭代次数为20获30等。调整迭代次数为上一次调整学习率至下一次调整学习率之间的累计训练次数，可以设置调整迭代次数为5或8等。调整倍数为将下一次训练的学习率调整为上一次训练的学习率的多少倍，可以设置调整倍数为0.1或0.2等。初始的学习率可以设置为0.01或0.02等。
本申请实施例并不限定上述各训练参数的取值，实际应用中可根据需求设定训练参数。如图2所示，设置好训练参数之后，通过如下步骤S1-S5的操作来进行每次迭代训练，包括：
S1：从训练集中获取预设组数的交叉样本图像。
上述预设组数的取值与上述设置的batch size的取值相同。假设batch size的取值为16，则从步骤102获取的训练集中随机获取16组交叉样本图像，其中每组交叉样本图像中包括两个已经标注出飞行器坐标、飞行器类别和背景坐标的遥感图像。
S2：将获取的每组交叉样本图像输入共享特征提取器中，分别获得每组交叉样本图像对应的特征映射图像。
将获取的每组交叉样本图像输入共享特征提取器中，通过共享特征提取器对每组交叉样本图像中包括的每个遥感图像进行多重堆叠的卷积和池化操作，获得每个遥感图像对应的特征映射图像。其中，特征映射图像的尺寸小于其对应的遥感图像的尺寸。
S3：将每组交叉样本图像对应的飞行器坐标、背景坐标、飞行器类别及特征映射图像输入局部特征提取器中，分别获得每组交叉样本图像对应的飞行器特征向量和背景特征向量。
在步骤102中获取训练集的过程中，对每组交叉样本图像包括的每个遥感图像都标注出了飞行器坐标、飞行器类别和背景坐标。将每组交叉样本图像中每个遥感图像对应的飞行器坐标、飞行器类别和背景坐标，以及上述步骤S2获得的遥感图像对应的特征映射图像，输入局部特征提取器中。通过局部特征提取器计算每组交叉样本图像中的遥感图像与其对应的特征映射图像之间的尺寸缩小因子。具体地，计算每组交叉样本图像中的遥感图像的尺寸与遥感图像对应的特征映射图像的尺寸之间的比值，将该比值确定为尺寸缩小因子。
根据尺寸缩小因子及交叉样本图像对应的飞行器坐标和背景坐标，在特征映射图像中分别确定飞行器坐标对应的飞行器映射区域和背景坐标对应的背景映射区域。假设飞行器坐标为[xmin，ymin)，(xmax，ymax)]，背景坐标为[x’min，y’min)，(x’max，y’max)]，尺寸缩小因子为s，则坐标[xmin/s，ymin/s)，(xmax/s，ymax/s)]标识的矩形区域为飞行器在特征映射图像中对应的飞行器映射区域。坐标[x’min/s，y’min/s)，(x’max/s，y’max/s)]标识的矩形区域为背景在特征映射图像中对应的背景映射区域。
通过局部特征提取器分别对飞行器映射区域和背景映射区域进行均值池化处理，得到交叉样本图像对应的飞行器特征向量和背景特征向量。具体地，对于飞行器映射区域，计算飞行器映射区域中所有像素点的像素值的平均值，将该平均值确定为飞行器特征向量。同样地，计算背景映射区域中所有像素点的像素值的平均值，将该平均值确定为背景特征向量。
对于一次训练输入的预设组数的交叉样本图像中的每一组，都通过上述方式获得该组交叉样本图像包括的每张遥感图像对应的飞行器特征向量和背景特征向量。
S4：将每组交叉样本图像对应的飞行器特征向量和背景特征向量输入相似性度量模块，分别获得每组交叉样本图像对应的损失值。
将每组交叉样本图像对应的飞行器特征向量和背景特征向量输入相似性度量模块，通过相似性度量模块中配置的上述公式(1)所示的相似性度量函数，来度量一组交叉样本图像包括的两张遥感图像中属于同一飞行器类别的两个飞行器特征向量之间的相似度，以及度量两张遥感图像中飞行器特征向量和背景特征向量之间的相似度。然后根据度量出的相似度，通过相似性度量模块中配置的损失函数计算并输出该组交叉样本图像对应的损失值。
对于一次训练输入的预设组数的交叉样本图像中的每一组，都通过上述方式分别获得每组交叉样本图像对应的损失值。
S5：根据每组交叉样本图像对应的损失值，调整孪生网络对应的网络参数，返回执行从训练集中获取预设组数的交叉样本图像的操作。
计算一次训练输入的预设组数的交叉样本图像中各组对应的损失值的平均值，将该平均值确定为本次训练对应的损失值。根据本次训练对应的损失值及训练之前设置训练参数阶段设置的学习率，用反向传播算法更新共享特征提取器、局部特征提取器和相似性度量模块对应的网络参数。
通过上述方式更新网络参数之后就完成了一次训练过程，之后将当前学习率对应的调整迭代次数加1，然后将当前的调整迭代次数与预先设置的调整迭代次数比较，若当前的调整迭代次数大于或等于预先设置的调整迭代次数，则根据该次训练过程对应的学习率及训练参数设置阶段设置的学习率对应的调整倍数，确定下一次训练对应的学习率。例如，若本次训练对应的学习率为0.01，预先设置的学习率的调整倍数为0.1，则可确定户下一次训练对应的学习率为0.001。
通过上述方式更新网络参数以及调整学习率之后，再返回步骤S1，重复进行S1-S5的操作进行迭代训练。且每次训练结束之后都记录累计的迭代训练次数，并将迭代训练次数与预先设置的第一预设迭代次数进行比较，若当前的迭代训练次数小于第一预设迭代次数，则继续按照S1-S5的操作进行训练。若当前的迭代训练次数大于或等于第一预设迭代次数，则执行如下步骤A2的操作。
A2：当迭代训练次数大于或等于第一预设迭代次数时，停止训练，获取当前共享特征提取器、局部特征提取器和相似性度量模块对应的网络参数。
当迭代训练次数大于或等于第一预设迭代次数时，停止训练，导出当前共享特征提取器、局部特征提取器和相似性度量模块对应的网络参数。
步骤104：根据网络参数和训练集包括的交叉样本图像，训练目标检测网络。
本申请实施例根据训练好的孪生网络的网络参数和训练集来训练目标检测网络，由于在孪生网络中通过共享特征提取器、局部特征提取器和相似性度量模块的处理，得到交叉样本图像中不同遥感图像之间的目标和目标、目标和背景的相似度。通过优化该相似度，提高共享特征提取器对于不同样本的鲁棒性。在训练目标检测网络阶段，根据训练好的孪生网络的网络参数来训练目标检测网络，训练后能够提高目标检测的准确性。
本申请实施例将训练后的孪生网络的网络参数配置为目标检测网络的初始化参数；将训练集包括的交叉样本图像输入目标检测网络中进行迭代训练，每次迭代均根据目标检测网络输出的损失值调整目标检测网络对应的网络参数；当迭代训练次数大于或等于第二预设迭代次数时，停止训练，获得训练好的目标检测网络。
具体地，训练之前，首先设置训练参数。其中，优化器采用SGD算法，设置参数batchsize、第二预设迭代次数、学习率、学习率的调整倍数和调整迭代次数。其中，batch size表示一次训练所选取的样本数，即一次训练向目标检测网络中输入的遥感图像的数目，可以设置batch size的取值为16或18等。第二预设迭代次数为训练目标检测网络的最大迭代次数，可以设置第二预设迭代次数为20获30等。调整迭代次数为上一次调整学习率至下一次调整学习率之间的累计训练次数，可以设置调整迭代次数为5或8等。调整倍数为将下一次训练的学习率调整为上一次训练的学习率的多少倍，可以设置调整倍数为0.1或0.2等。初始的学习率可以设置为0.01或0.02等。本申请实施例并不限定上述各训练参数的取值，实际应用中可根据需求设定训练参数。
通过上述方式设置好训练参数后，将训练好的孪生网络的网络参数导入目标检测网络中的Faster RCNN检测模块并作为它的初始化参数。由于训练后的孪生网络的网络参数对不同样本之间具有较好的鲁棒性，将孪生网络的网络参数作为目标检测网络的初始化参数，能够使得目标检测网络中的Faster RCNN检测模块在初始状态具备较好的鲁棒性，从而在训练后能够提高检测的准确性。
将训练好的孪生网络的网络参数导入目标检测网络中并作为它的初始化参数之后，从训练集中依次选取batch size个遥感图像，将选取的每个遥感图像输入到目标检测网络中的Faster RCNN检测模块中进行训练，并根据Faster RCNN检测模块中配置的损失函数计算每个遥感图像对应的损失值，利用反向传播算法更新目标检测网络的网络参数。
通过上述方式更新目标检测网络的网络参数之后就完成了一次训练过程，之后将当前学习率对应的调整迭代次数加1，然后将当前的调整迭代次数与预先设置的调整迭代次数比较，若当前的调整迭代次数大于或等于预先设置的调整迭代次数，则根据该次训练过程对应的学习率及训练参数设置阶段设置的学习率对应的调整倍数，确定下一次训练对应的学习率。例如，若本次训练对应的学习率为0.01，预先设置的学习率的调整倍数为0.1，则可确定户下一次训练对应的学习率为0.001。
通过上述方式更新目标检测网络的网络参数以及调整学习率之后，再按照上述方式进行下一轮迭代训练。且每次训练结束之后都记录累计的迭代训练次数，并将迭代训练次数与预先设置的第二预设迭代次数进行比较，若当前的迭代训练次数小于第二预设迭代次数，则继续进行训练。若当前的迭代训练次数大于或等于第二预设迭代次数，则停止训练，获得训练好的目标检测网络。
在本申请实施例中，还可以从电子地图平台获取大量与训练集中的遥感图像不重复的遥感图像，并将获取的遥感图像组成测试集。通过上述方式训练得到目标检测网络之后，将测试集中的遥感图像输入目标检测网络中进行飞行器目标检测，假设输入的遥感图像记为I，则目标检测网络最终输出遥感图像I中所有飞行器目标的检测信息
Figure BDA0002379512580000121
其中，N表示遥感图像I中包含的飞行器目标的总数量，
Figure BDA0002379512580000122
表示第i个飞行器目标的外接最小矩形框的坐标，cls表示第i个飞行器目标的飞行器类别。
通过本申请实施例提供的方式训练得到目标检测网络之后，即可使用该目标检测网络来检测实际应用中的遥感图像中的飞行器。具体地，获取包含飞行器图像的待检测图像；将待检测图像输入训练好的目标检测网络中，获得待检测图像中包含的飞行器对应的飞行器坐标和飞行器类别。
本申请实施例在目标检测网络的训练过程中，首先采用交叉训练样本来训练孪生网络，在每次迭代训练过程中，随机从训练集中抽取不同的两张遥感图像作为交叉样本图像，将交叉样本图像以及它们的飞行器坐标、飞行器类别及随机采样的背景坐标作为孪生网络的输入，输出则是交叉样本图像中的飞行器目标和背景之间的相似性度量损失函数。而本申请实施例在该训练阶段优化该损失函数。在完成孪生网络训练后，将训练好的孪生网络的网络参数导入目标检测网络，并作为它的部分初始化参数。本申请实施例通过增加一个孪生网络的训练阶段，提升了目标检测网络的特征提取能力，使得目标检测网络具有较好的鲁棒性，大大提高了目标检测网络的检测性能。
参见图3，本申请实施例还提供一种目标检测网络的训练装置，该装置用于执行上述实施例所述的目标检测网络的训练方法，该装置包括：
构建模块301，用于分别构建孪生网络和目标检测网络的网络结构；
训练集获取模块302，用于获取训练集，训练集中包括多组含有飞行器图像的交叉样本图像；
孪生网络训练模块303，用于根据训练集包括的交叉样本图像训练孪生网络，得到训练后的孪生网络对应的网络参数；
目标检测网络训练模块304，用于根据网络参数和训练集包括的交叉样本图像，训练目标检测网络。
上述构建模块301，用于分别构建共享特征提取器、局部特征提取器和相似性度量模块；将共享特征提取器的输出结果作为局部特征提取器的输入参数，将局部特征提取器的输出结果作为相似性度量模块的输入参数，得到孪生网络。
上述训练集获取模块302，用于获取预设数目包含飞行器图像的遥感图像；在每个遥感图像中标注飞行器坐标、背景坐标及飞行器类别；将标注后的任意两个遥感图像组成一组交叉样本图像，得到训练集。
上述孪生网络训练模块303包括：
迭代训练单元，用于根据训练集包括的多组交叉样本图像，对共享特征提取器、局部特征提取器和相似性度量模块进行迭代训练；
停止训练单元，用于当迭代训练次数大于或等于第一预设迭代次数时，停止训练，获取当前共享特征提取器、局部特征提取器和相似性度量模块对应的网络参数。
上述迭代训练单元，用于从训练集中获取预设组数的交叉样本图像；将获取的每组交叉样本图像输入共享特征提取器中，分别获得每组交叉样本图像对应的特征映射图像；将每组交叉样本图像对应的飞行器坐标、背景坐标、飞行器类别及特征映射图像输入局部特征提取器中，分别获得每组交叉样本图像对应的飞行器特征向量和背景特征向量；将每组交叉样本图像对应的飞行器特征向量和背景特征向量输入相似性度量模块，分别获得每组交叉样本图像对应的损失值；根据每组交叉样本图像对应的损失值，调整孪生网络对应的网络参数，返回执行从训练集中获取预设组数的交叉样本图像的操作。
上述迭代训练单元，用于通过局部特征提取器计算交叉样本图像与其对应的特征映射图像之间的尺寸缩小因子；根据尺寸缩小因子及交叉样本图像对应的飞行器坐标和背景坐标，在特征映射图像中分别确定飞行器坐标对应的飞行器映射区域和背景坐标对应的背景映射区域；通过局部特征提取器分别对飞行器映射区域和背景映射区域进行均值池化处理，得到交叉样本图像对应的飞行器特征向量和背景特征向量。
目标检测网络训练模块304，用于将网络参数配置为目标检测网络的初始化参数；将训练集包括的交叉样本图像输入目标检测网络中进行迭代训练，每次迭代均根据目标检测网络输出的损失值调整目标检测网络对应的网络参数；当迭代训练次数大于或等于第二预设迭代次数时，停止训练，获得训练好的目标检测网络。
该装置还包括：目标检测模块，用于获取包含飞行器图像的待检测图像；将待检测图像输入训练好的目标检测网络中，获得待检测图像中包含的飞行器对应的飞行器坐标和飞行器类别。
本申请实施例提供的目标检测网络的训练装置与上述实施例提供的目标检测网络的训练方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的目标检测网络的训练方法对应的电子设备。请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备20可以包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的目标检测网络的训练方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个物理端口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述目标检测网络的训练方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的目标检测网络的训练方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的目标检测网络的训练方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的目标检测网络的训练方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的目标检测网络的训练方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种目标检测网络的训练方法，其特征在于，包括：
分别构建孪生网络和目标检测网络的网络结构；
获取训练集，所述训练集中包括多组含有飞行器图像的交叉样本图像；
根据所述训练集包括的所述交叉样本图像训练所述孪生网络，得到训练后的所述孪生网络对应的网络参数；
根据所述网络参数和所述训练集包括的所述交叉样本图像，训练所述目标检测网络。
2.根据权利要求1所述的方法，其特征在于，所述构建孪生网络的网络结构，包括：
分别构建共享特征提取器、局部特征提取器和相似性度量模块；
将所述共享特征提取器的输出结果作为所述局部特征提取器的输入参数，将所述局部特征提取器的输出结果作为所述相似性度量模块的输入参数，得到孪生网络。
3.根据权利要求1所述的方法，其特征在于，所述获取训练集，包括：
获取预设数目包含飞行器图像的遥感图像；
在每个所述遥感图像中标注飞行器坐标、背景坐标及飞行器类别；
将标注后的任意两个所述遥感图像组成一组交叉样本图像，得到训练集。
4.根据权利要求2所述的方法，其特征在于，根据所述训练集包括的所述交叉样本图像训练所述孪生网络，得到训练后的所述孪生网络对应的网络参数，包括：
根据所述训练集包括的多组所述交叉样本图像，对所述共享特征提取器、所述局部特征提取器和所述相似性度量模块进行迭代训练；
当迭代训练次数大于或等于第一预设迭代次数时，停止训练，获取当前所述共享特征提取器、所述局部特征提取器和所述相似性度量模块对应的网络参数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述训练集包括的多组所述交叉样本图像，对所述共享特征提取器、所述局部特征提取器和所述相似性度量模块进行迭代训练，包括：
从所述训练集中获取预设组数的交叉样本图像；
将获取的每组所述交叉样本图像输入所述共享特征提取器中，分别获得每组所述交叉样本图像对应的特征映射图像；
将每组所述交叉样本图像对应的飞行器坐标、背景坐标、飞行器类别及所述特征映射图像输入所述局部特征提取器中，分别获得每组所述交叉样本图像对应的飞行器特征向量和背景特征向量；
将每组所述交叉样本图像对应的所述飞行器特征向量和所述背景特征向量输入所述相似性度量模块，分别获得每组所述交叉样本图像对应的损失值；
根据每组所述交叉样本图像对应的损失值，调整所述孪生网络对应的网络参数，返回执行从所述训练集中获取预设组数的交叉样本图像的操作。
6.根据权利要求5所述的方法，其特征在于，所述将每组所述交叉样本图像对应的飞行器坐标、背景坐标、飞行器类别及所述特征映射图像输入所述局部特征提取器中，分别获得每组所述交叉样本图像对应的飞行器特征向量和背景特征向量，包括：
通过所述局部特征提取器计算所述交叉样本图像与其对应的所述特征映射图像之间的尺寸缩小因子；
根据所述尺寸缩小因子及所述交叉样本图像对应的所述飞行器坐标和所述背景坐标，在所述特征映射图像中分别确定所述飞行器坐标对应的飞行器映射区域和所述背景坐标对应的背景映射区域；
通过所述局部特征提取器分别对所述飞行器映射区域和所述背景映射区域进行均值池化处理，得到所述交叉样本图像对应的飞行器特征向量和背景特征向量。
7.根据权利要求1所述的方法，其特征在于，所述根据所述网络参数和所述训练集包括的所述交叉样本图像，训练所述目标检测网络，包括；
将所述网络参数配置为所述目标检测网络的初始化参数；
将所述训练集包括的所述交叉样本图像输入所述目标检测网络中进行迭代训练，每次迭代均根据所述目标检测网络输出的损失值调整所述目标检测网络对应的网络参数；
当迭代训练次数大于或等于第二预设迭代次数时，停止训练，获得训练好的目标检测网络。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述网络参数和所述训练集包括的所述交叉样本图像，训练所述目标检测网络之后，还包括：
获取包含飞行器图像的待检测图像；
将所述待检测图像输入训练好的所述目标检测网络中，获得所述待检测图像中包含的飞行器对应的飞行器坐标和飞行器类别。
9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1-8任一项所述的方法。
CN202010078783.0A 2020-02-03 2020-02-03 目标检测网络的训练方法、电子设备及存储介质 Active CN111353580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010078783.0A CN111353580B (zh) 2020-02-03 2020-02-03 目标检测网络的训练方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010078783.0A CN111353580B (zh) 2020-02-03 2020-02-03 目标检测网络的训练方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111353580A true CN111353580A (zh) 2020-06-30
CN111353580B CN111353580B (zh) 2023-06-20

Family

ID=71194279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010078783.0A Active CN111353580B (zh) 2020-02-03 2020-02-03 目标检测网络的训练方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111353580B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898676A (zh) * 2020-07-30 2020-11-06 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质
CN112016679A (zh) * 2020-09-09 2020-12-01 平安科技（深圳）有限公司 孪生网络的测试样本类别确定方法、装置及终端设备
CN112214639A (zh) * 2020-10-29 2021-01-12 Oppo广东移动通信有限公司 视频筛选方法、视频筛选装置及终端设备
CN112651994A (zh) * 2020-12-18 2021-04-13 零八一电子集团有限公司 地面多目标跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019016540A1 (en) * 2017-07-18 2019-01-24 Vision Semantics Limited REITTED IDENTIFICATION OF TARGET
US20190156205A1 (en) * 2017-11-20 2019-05-23 Koninklijke Philips N.V. Training first and second neural network models
US20190244017A1 (en) * 2018-02-04 2019-08-08 KaiKuTek Inc. Gesture recognition method and system using siamese neural network
CN110263724A (zh) * 2019-06-21 2019-09-20 腾讯科技（深圳）有限公司 图片识别方法、识别模型训练方法、装置及存储介质
CN110348393A (zh) * 2019-07-12 2019-10-18 上海眼控科技股份有限公司 车辆特征提取模型训练方法、车辆识别方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019016540A1 (en) * 2017-07-18 2019-01-24 Vision Semantics Limited REITTED IDENTIFICATION OF TARGET
US20190156205A1 (en) * 2017-11-20 2019-05-23 Koninklijke Philips N.V. Training first and second neural network models
US20190244017A1 (en) * 2018-02-04 2019-08-08 KaiKuTek Inc. Gesture recognition method and system using siamese neural network
CN110263724A (zh) * 2019-06-21 2019-09-20 腾讯科技（深圳）有限公司 图片识别方法、识别模型训练方法、装置及存储介质
CN110348393A (zh) * 2019-07-12 2019-10-18 上海眼控科技股份有限公司 车辆特征提取模型训练方法、车辆识别方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GENGZHENG PAN等: "Correlation filter tracker with siamese: A robust and real-time object tracking framework" *
李明杰等: "一种用于单目标跟踪的锚框掩码孪生RPN模型" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898676A (zh) * 2020-07-30 2020-11-06 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质
CN112016679A (zh) * 2020-09-09 2020-12-01 平安科技（深圳）有限公司 孪生网络的测试样本类别确定方法、装置及终端设备
CN112016679B (zh) * 2020-09-09 2024-02-13 平安科技（深圳）有限公司 孪生网络的测试样本类别确定方法、装置及终端设备
CN112214639A (zh) * 2020-10-29 2021-01-12 Oppo广东移动通信有限公司 视频筛选方法、视频筛选装置及终端设备
CN112214639B (zh) * 2020-10-29 2024-06-18 Oppo广东移动通信有限公司 视频筛选方法、视频筛选装置及终端设备
CN112651994A (zh) * 2020-12-18 2021-04-13 零八一电子集团有限公司 地面多目标跟踪方法

Also Published As

Publication number Publication date
CN111353580B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111353580B (zh) 目标检测网络的训练方法、电子设备及存储介质
CN109087510B (zh) 交通监测方法及装置
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109978035B (zh) 基于改进的k-means和损失函数的行人检测方法
CN111832447B (zh) 建筑图纸构件识别方法、电子设备及相关产品
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN108875903B (zh) 图像检测的方法、装置、系统及计算机存储介质
WO2020147410A1 (zh) 行人检测方法、系统、计算机设备及计算机可存储介质
CN111274981B (zh) 目标检测网络构建方法及装置、目标检测方法
CN112329881B (zh) 车牌识别模型训练方法、车牌识别方法及装置
CN110443242B (zh) 读数框检测方法、目标识别模型训练方法及相关装置
CN113657202B (zh) 构件识别方法、构建训练集方法、装置、设备及存储介质
CN111798417A (zh) 一种基于ssd遥感图像目标检测的方法及装置
CN111461113A (zh) 一种基于变形平面物体检测网络的大角度车牌检测方法
US20140169684A1 (en) Distance Metric for Image Comparison
CN112990136A (zh) 一种目标检测方法及装置
CN109829469A (zh) 一种基于深度学习的车辆检测方法
CN114565842A (zh) 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及系统
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用
WO2022100607A1 (zh) 一种神经网络结构确定方法及其装置
CN112329810B (zh) 一种基于显著性检测的图像识别模型训练方法及装置
CN103837135A (zh) 工件检测方法及其系统
CN112329886A (zh) 双车牌识别方法、模型训练方法、装置、设备及存储介质
US20230401670A1 (en) Multi-scale autoencoder generation method, electronic device and readable storage medium
CN111860623A (zh) 基于改进ssd神经网络的统计树木数量的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant