CN112906732A - 目标检测方法、装置、电子设备及存储介质 - Google Patents

目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112906732A
CN112906732A CN202011641373.9A CN202011641373A CN112906732A CN 112906732 A CN112906732 A CN 112906732A CN 202011641373 A CN202011641373 A CN 202011641373A CN 112906732 A CN112906732 A CN 112906732A
Authority
CN
China
Prior art keywords
target
matching relationship
candidate matching
anchor
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011641373.9A
Other languages
English (en)
Other versions
CN112906732B (zh
Inventor
刘松涛
葛政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Kuangyun Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Hangzhou Kuangyun Jinzhi Technology Co ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Kuangyun Jinzhi Technology Co ltd, Beijing Megvii Technology Co Ltd filed Critical Hangzhou Kuangyun Jinzhi Technology Co ltd
Priority to CN202011641373.9A priority Critical patent/CN112906732B/zh
Publication of CN112906732A publication Critical patent/CN112906732A/zh
Application granted granted Critical
Publication of CN112906732B publication Critical patent/CN112906732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了目标检测网络训练方法、装置，该方法包括：接收待检测图像；用经训练的目标检测网络检测待检测图像中的目标；目标检测网络通过如下方式训练：标注训练图像中各目标的种类和/或位置；基于训练图像对应的各检测点位与各目标的候选匹配关系，计算候选匹配关系下训练图像对应的总损失；确定使总损失取小值的优选匹配关系，优选匹配关系为候选匹配关系中的一种；根据优选匹配关系对应的总损失更新目标检测网络的权重，得到经训练的目标检测网络；其中，匹配关系用于表征某检测点位是否应该用于检测某目标。

Description

目标检测方法、装置、电子设备及存储介质
技术领域
本申请涉及神经网络领域，具体涉及目标检测方法、装置、电子设备及存储介质。
背景技术
在对Retina Net、RCNN等目标检测网络进行训练时，对正样本和负样本的划分是一个关键环节。
目前，通常采用的划分方式为根据锚点框与单个标注框的IOU，确定哪些锚点框可以作为正样本，哪些锚点框可以作为负样本。对正样本的损失的权重、负样本的权重进行加权，得到总损失。
然而，正样本和负样本的划分在全局上的准确性实际是与正样本和负样本计算出的总损失相关的，通过正样本和负样本计算出的总损失越小，可以反映出正样本和负样本越适合参与训练，正样本和负样本的划分在全局上的准确性越高，相应的，目标检测网络分别从正样本、负样本学习到的相关特征越准确。
仅根据锚点框与单个标注框的IOU而确定锚点框是否可以作为正样本或负样本，并没有考虑当锚点框被作为正样本或负样本时正样本的损失或负样本的损失对总损失的影响，可能导致正样本和负样本的划分在全局上的准确性较低，目标检测网络分别从正样本、负样本学习的相关特征的准确性较低，可能对训练之后目标检测网络的性能产生不利的影响。
发明内容
本申请实施例提供一种目标检测方法、装置、电子设备及存储介质。
本申请实施例提供一种目标检测方法，包括：
接收待检测图像；
用经训练的目标检测网络检测所述待检测图像中的目标；
其中，所述目标检测网络通过如下方式训练：
标注训练图像中各目标的种类和/或位置；
基于所述训练图像对应的各检测点位与各目标的候选匹配关系，计算所述候选匹配关系下所述训练图像对应的总损失；
确定使所述总损失取小值的优选匹配关系，所述优选匹配关系为所述候选匹配关系中的一种；
根据所述优选匹配关系对应的总损失更新目标检测网络的权重，得到经训练的目标检测网络；
其中，匹配关系用于表征某检测点位是否应该用于检测某目标。
本申请实施例提供一种目标检测装置，包括：
接收单元，被配置为接收待检测图像；
检测单元，被配置为用经训练的目标检测网络检测待检测图像中的目标；其中，目标检测网络通过如下方式训练：标注训练图像中各目标的种类和/或位置；基于所述训练图像对应的各检测点位与各目标的候选匹配关系，计算候选匹配关系下训练图像对应的总损失；确定使总损失取小值的优选匹配关系，所述优选匹配关系为所述候选匹配关系中的一种；根据所述优选匹配关系对应的总损失更新目标检测网络的权重，得到经训练的目标检测网络；其中，匹配关系用于表征某检测点位是否应该用于检测某目标。
本申请实施例提供的目标检测方法、装置，在对目标检测网络进行训练时，在确定使总损失取小值的优选匹配关系的同时，可以使得总损失最小的正样本与负样本也相应的确定，从而，对正样本和负样本在全局上进行较为准确地划分。进一步地，目标检测网络学习从通过在全局上较为准确地划分得到的正样本、负样本学习到相关的特征较为准确，进而使得经训练的目标检测网络具有较高的性能，用经训练的目标检测网络检测待检测图像中的目标，可以得到较为精确的检测结果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请实施例提供的目标检测方法的流程图；
图2示出了本申请实施例提供的目标检测装置的结构框图；
图3示出了本申请实施例提供的电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请实施例提供的目标检测方法的流程图，该方法包括：
步骤101，接收待检测图像。
步骤102，用经训练的目标检测网络检测待检测图像中的目标，经训练的目标检测网络被预先训练时根据优选匹配关系对应的总损失更新目标检测网络的权重。
在本申请中，目标检测网络预先通过如下方式训练：标注训练图像中各目标的种类和/或位置；基于训练图像对应的各检测点位与各目标的候选匹配关系，计算候选匹配关系下训练图像对应的总损失；确定使总损失取小值的优选匹配关系，优选匹配关系为候选匹配关系中的一种；根据优选匹配关系对应的总损失更新目标检测网络的权重，得到经训练的目标检测网络；其中，匹配关系用于表征某检测点位是否应该用于检测某目标。
对于训练图像中的每一个目标，可以标注该目标的种类和/或位置，得到该目标的标注数据。
在本申请中，总损失取小值可以为较小值、最小值、局部最小值等。后文以总损失取最小值为例说明。
在本申请中，检测点位可以为锚点框(anchor)或点位。点位可以为图像中的用于定位目标的位置的关键点。检测点位为锚点框时，目标检测网络为基于锚点框的检测网络；检测点位为点位时，目标检测网络为非基于锚点框的检测网络如FCOS。
若检测点位为锚点框，目标的标注数据可以包括一个包围该目标的标注框和/或标注类型，标注类型为该目标的实际类型。若检测点位为点位，目标的标注数据可以包括该目标的一个标注点位。
在本申请中，可以基于训练图像对应的各检测点位与各目标的候选匹配关系，计算候选匹配关系下训练图像对应的总损失。
在本申请中，匹配关系用于表征某检测点位是否应该用于检测某目标。
在本申请中，若检测点位为点位，对于每一个目标，均可以由目标检测网络预测出多个与该目标相关的点位。
若检测点位为点位，在一个候选匹配关系下，对于任意一个点位，该点位至多应该用于检测一个目标，换言之，在一个候选匹配关系下，该点位应该用于检测一个目标或者该点位不应用于检测任意一个目标。而一个目标可被一个或多个点位检测到。
若检测点位为点位，对于一个点位，若候选匹配关系表征该点位应该用于检测某个目标，则该候选匹配关系下，该点位作为一个正样本。若对于任意一个目标，候选匹配关系表征该点位不应该用于检测该目标，即候选匹配关系表征该点位不应该用于检测任意一个目标，则该候选匹配关系下，该点位作为一个负样本。
若检测点位为点位，对于目标检测网络预测出的与一个目标相关的任意一个点位，可以计算该点位的位置与该目标的标注数据中的标注点位的位置之间的距离，将该距离作为候选匹配关系下该点位对应的损失。
在本申请中，若检测点位为锚点框，在利用训练图像训练目标检测网络时，对于每一个预设尺寸，生成多个具有该预设尺寸的锚点框，每一个具有该预设尺寸的锚点框的位置不同。
若检测点位为锚点框，对于每一个目标，候选匹配关系可以表征对于每一个锚点框，该锚点框是否应该用于检测该目标。换言之，对于每一个锚点框，候选匹配关系可以定义该锚点框是否应该用于检测某个目标。
若检测点位为锚点框，在一个候选匹配关系下，对于每一个锚点框，该锚点框至多应该用于检测一个目标，换言之，在一个候选匹配关系下，该锚点框应该用于检测一个目标或者该锚点框不应用于检测任意一个目标。而一个目标可被一个或多个锚点框检测到。
若检测点位为锚点框，对于一个锚点框，若候选匹配关系表征该锚点框应该用于检测某个目标，则该候选匹配关系下，该锚点框作为一个正样本，可以对预测出的该锚点框包围的对象的类型与该目标的标注数据中的标注类型的分类损失、该锚点框与该目标的标注数据中的标注框的回归损失进行加权和计算，将得到的加权和作为该候选匹配关系下该锚点框对应的损失。
若对于任意一个目标，候选匹配关系表征该锚点框不应该用于检测该目标，换言之，候选匹配关系表征该锚点框不应该用于检测任意一个目标，则该候选匹配关系下，该锚点框作为一个负样本。可以将预测出的该锚点框包围的对象的类型与背景类型的分类损失作为该候选匹配关系下该锚点框对应的损失。
在本申请中，对于任意一个候选匹配关系，该候选匹配关系下训练图像对应的总损失可以为：该候选匹配关系下，每一个检测点位对应的损失之和。
对于任意一个候选匹配关系，可以将该候选匹配关系下每一个检测点位对应的损失相加，得到该候选匹配关系下训练图像对应的总损失。
在一些实施例中，匹配关系包括匹配和不匹配，匹配用于表征某检测点位应该用于检测某目标，不匹配用于表征某检测点位不应该用于检测某目标。
在本申请中，若检测点位为点位，可以由目标检测网络预测出多个与该目标相关的点位。对于每一个目标，候选匹配关系可以表征与该目标相关的点位与该目标匹配或与该目标不匹配。
若检测点位为点位，对于每一个目标，在候选匹配关系下与该目标匹配的点位的数量可以为预设数量。
若检测点位为点位，对于每一个点位，若在一个候选匹配关系下，该点位与某个目标匹配，则该候选匹配关系下，该点位作为一个正样本，若该候选匹配关系下，该点位与任意一个目标均不匹配，则该候选匹配关系下，该点位作为一个负样本。
在本申请中，若检测点位为锚点框，对于任意一个目标，候选匹配关系可以表征对于每一个锚点框，该锚点框与该目标匹配或不匹配。
若检测点位为锚点框，对于每一个目标，在候选匹配关系下与该目标匹配的锚点框的数量可以为预设数量。
若检测点位为锚点框，对于每一个锚点框，若在一个候选匹配关系下，该锚点框与某个目标匹配，则该候选匹配关系下，该锚点框作为一个正样本，若该候选匹配关系下，该锚点框与任意一个目标均不匹配，则该候选匹配关系下，该锚点框作为一个负样本。
在一些实施例中，匹配关系还包括忽略关系，忽略关系用于表征不关心某检测点位是否应该用于检测某目标。
若检测点位为点位，所有点位包括至少一个不参与训练的点位，则每一个候选匹配关系均可以包括忽略关系。对于不参与训练的点位，忽略关系可以用于表征不关心该不参与训练的点位是否应该用于检测某目标。相应的，该不参与训练的点位不参与候选匹配关系下训练样本对应的总损失的计算。
若检测点位为锚点框，所有锚点框包括至少一个不参与训练的锚点框，则每一个候选匹配关系均可以包括忽略关系。对于不参与训练的锚点框，忽略关系用于表征不关心该不参与训练的锚点框是否应该用于检测某目标。相应的，该不参与训练的点位不参与候选匹配关系下训练样本对应的总损失的计算。
在本申请中，可以分别计算每一个候选匹配关系下训练图像对应的总损失。在计算每一个候选匹配关系下训练图像对应的总损失之后，可以确定使总损失取最小值的优选匹配关系，优选匹配关系为候选匹配关系中的一种。换言之，优选匹配关系下训练图像对应的总损失小于除了优选匹配关系之外的任意一个候选匹配关系下训练图像对应的总损失。在确定优选匹配关系之后，根据优选匹配关系对应的总损失即优选匹配关系下训练图像对应的总损失，更新目标检测网络的权重。
每一次对目标检测网络训练，均可以确定优选匹配关系，根据优选匹配关系对应的总损失，更新目标检测网络的权重。在利用多个训练样本分别对目标检测网络进行训练之后，可以得到经训练的目标检测网络。
在一些实施例中，检测点位为锚点框；以及基于训练图像对应的各检测点位与各目标的候选匹配关系，计算该候选匹配关系下训练图像对应的总损失包括：对于每一个候选匹配关系，基于该候选匹配关系进行总损失计算，得到该候选匹配关系下该训练图像对应的总损失，基于该候选匹配关系进行总损失计算包括：对于每一个锚点框，计算该候选匹配关系下该锚点框对应的损失，其中，若该候选匹配关系表征该锚点框应该用于检测某个目标，该候选匹配关系下该锚点框对应的损失为该检测点位在所述目标上的损失，若对于每一个目标，该候选匹配关系表征该锚点框不应该用于检测该目标，该候选匹配关系下该锚点框对应的损失为该锚点框在背景上的损失；计算该候选匹配关系下每一个锚点框对应的损失的加权和，得到该候选匹配关系下训练图像对应的总损失，其中，锚点框在目标上的损失的权重为第一预设权重，锚点框在背景上的损失的权重为第二预设权重。
在一些实施例中，锚点框在目标上的损失为该锚点框与该目标的标注数据中的标注类型的分类损失与该锚点框与该目标的标注数据中的标注框的回归损失之和。
该锚点框在该目标的上的损失可以为预测出的该锚点框包围的对象的类型与该标注数据中的标注类型的分类损失与该锚点框与该目标的标注数据中的标注框的回归损失之和。
Lossij＝Losscls(i，j)+Lossreg(i，j)
Lossij表示第j个锚点框在第i个目标上的损失，Losscls(i，j)表示预测出的第j个锚点框包围的对象的类型与第i个目标的标注数据中的标注类型的分类损失，Lossreg(i，j)表示第j个锚点框与第i个目标的标注数据中的标注框的回归损失。
若检测点位为锚点框，对于一个锚点框，可以将预测出的该锚点框包围的对象的类型与背景类型的分类损失作为该锚点框在背景上的损失。
在本申请中，第一预设权重可以为预先设置的大于0小于1的一个数值。第二预设权重可以为预先设置的大于0小于1的一个数值。
在一些实施例中，第一预设权重和第二预设权重相同。
例如，第一预设权重和第二预设权重均为1。
在本申请中，若检测点位为锚点框，对于任意一个锚点框，若一个候选匹配关系表征该锚点框应该用于检测一个目标，则该候选匹配关系下，该锚点框作为正样本，该候选匹配关系下该锚点框对应的损失为该锚点框在该目标上的损失，该候选匹配关系下该锚点框对应的损失为该锚点框在该目标上的损失的权重为第一预设权重。
若检测点位为锚点框，对于任意一个锚点框，若一个候选匹配关系表征对于每一个目标，该锚点框不应该用于检测该目标，即候选匹配关系表征该锚点框不应该用于检测任意一个目标，则该候选匹配关系下，该锚点框作为负样本，该候选匹配关系下该锚点框对应的损失为该锚点框在背景上的损失，该候选匹配关系下该锚点框在背景上的损失的权重为第二预设权重。
对于任意一个候选匹配关系，当计算该候选匹配关系下该训练图像对应的总损失时，对于该候选匹配关系下的每一个正样本，将该正样本对应的损失和第一预设权重相乘，得到该正样本对应的乘积，对于该候选匹配关系下的每一个负样本，将该负样本对应的损失与第二预设权重相乘，得到该负样本对应的乘积，将每一个正样本对应的乘积和每一个负样本对应的乘积相加，得到该候选匹配关系下该训练图像对应的总损失。
在本申请中，候选匹配关系下训练图像对应的总损失可以表示为：
Figure BDA0002880668270000091
Lossij表示第j个锚点框在第i个对象上的损失，第i个对象为候选匹配关系下第j个锚点框匹配的一个目标或背景。πij表示第j个锚点框在第i个对象上的损失的权重。
假设第一预设权重为1，第二预设权重为1，训练图像中的目标的数量为Ngt，锚点框的数量为Na。可以生成权重矩阵{πij}，权重矩阵{πij}的行数为Ngt+1，权重矩阵{πij}的列数为锚点框的数量。权重矩阵{πij}包括(Ngt+1)×Na个元素。πij为权重矩阵{πij}中的第i行第j列的元素。πij表示第j个锚点框在第i个目标上的损失的权重。第i个对象为一个目标或背景。
在权重矩阵{πij}中，每一列各自对应一个锚点框。
对于权重矩阵{πij}中的每一列，该列包括该列对应的锚点框在每一个对象上的损失的权重。
在权重矩阵{πij}中，前Ngt行中的每一行各自对应一个目标。最后一行对应背景。
对于权重矩阵{πij}中的前Ngt行中的每一行，该行包括每一个锚点框在该行对应的目标上的损失的权重。权重矩阵{πij}中的最后一行包括每一个锚点框在背景上的损失的权重。
对于权重矩阵{πij}中每一列，该列仅包括一个为1的权重，该列中的除了为1的权重之外的其他权重为0。
对于权重矩阵{πij}中每一列，该列中的为1的权重为该列对应的锚点框在与该锚点框匹配的目标上的损失的权重或该列对应的锚点框在背景上的损失的权重。
对于权重矩阵{πij}中的每一列，该列中的元素的和为1，第j列中的元素的和为1表示为：
Figure BDA0002880668270000092
对于每一个目标，应该用于检测该目标的锚点框的数量即与该目标匹配的锚点框的数量可以为预设数量。
预设数量为k，对于权重矩阵{πij}中的前Ngt行中的每一个行，该行包括k个为1的权重，该行中的除了为1的权重之外的其他权重为0。该行中的k个为1的权重均为锚点框在该行对应的目标上的损失的权重。
Figure BDA0002880668270000101
其中，i∈[1，2，...，Ngt]即i的取值范围为1-Ngt。
锚点框的数量为Na，同时，权重矩阵{πij}中的每一列各自仅包括一个为1的权重。对于权重矩阵{πij}中的每一列，该列中的除了为1的权重之外的其他权重为0。
权重矩阵{πij}中的前Ngt行中的每一行各自包括k个为1的权重。权重矩阵{πij}中的前Ngt行中的为1的权重的数量为kNgt。
对于权重矩阵{πij}中的最后一行包括的为1的权重为锚点框在背景上的损失的权重，权重矩阵{πij}中的最后一行中的为1的权重的数量为Na-kNgt。
权重矩阵{πij}中的最后一行中的权重的和表示为：
Figure BDA0002880668270000102
其中，i＝Ngt+1。
在本申请中，可以利用Sinkhorn-Knopp迭代算法基于训练图像对应的各检测点位与各目标的候选匹配关系，计算候选匹配关系下训练图像对应的总损失；确定使总损失取最小值的优选匹配关系。可以将确定使总损失取最小值的优选匹配关系的问题转换为利用Sinkhorn-Knopp迭代算法计算最优传输模型的最优解的问题。根据最优传输模型的最优解，确定优选匹配关系。
以检测点位为锚点框为例，最优传输模型的最优解可以指示总损失最小的总损失基于哪些锚点框对应的损失和相应的权重计算得到。
对于一个参与总损失最小的总损失的计算该锚点框，若计算总损失最小的总损失所基于的该锚点框对应的损失为该锚点框在某个目标上的损失，则在优选匹配关系下，该锚点框应该用于检测该目标，即优选匹配关系表征该检测点位应该用于检测该目标。对于一个锚点框，若计算总损失最小的总损失所基于的该锚点框位对应的损失为该锚点框在背景上的损失，则在优选匹配关系下，该锚点框不应该用于检测任意一个目标，即对于每一个目标，优选匹配关系表征该锚点框不应该用于检测该目标。
优化目标可以表示为为：
Figure BDA0002880668270000111
Lossij为Loss矩阵中的第i行第j列的元素。Lossij表示第j个锚点框在第i个对象上的损失，第i个对象为一个目标或背景。训练图像中的目标的数量为Ngt，所有对象由所有目标和背景组成，对象的数量为Ngt+1，Loss矩阵的行数为Ngt+1，Loss矩阵的列数为锚点框的数量，锚点框的数量为Na。对于Loss矩阵中的前Ngt行中的每一行，该行包括每一个锚点框在该行对应的目标上的Loss。Loss矩阵中的最后一行包括每一个锚点框在背景上的损失。对于任意一个总损失，若在最优传输模型的最优解的过程中，计算该总损失所基于的所有损失包括Lossij，在计算该总损失时，πij为第一预设权重或第二预设权重，若Lossij为第j个锚点框在某个目标上的损失，πij为第一预设权重，若Lossij为第j个锚点框在背景上的损失，πij为第二预设权重。对于任意一个总损失，若在最优传输模型的最优解的过程中，计算该总损失所基于的所有损失不包括Lossij，在计算该总损失时，πij为0。
将优化目标与Loss矩阵熵的正则项
Figure BDA0002880668270000121
相加，得到最优传输模型的表达式。
最优传输模型的表达式为：
Figure BDA0002880668270000122
最优传输模型的最优解为：
π＝diag(v)Kdiag(u)
其中，
Figure BDA0002880668270000123
ε为正则化系数。
v、u可以通过以下迭代公式计算得到：
Figure BDA0002880668270000124
Figure BDA0002880668270000125
当i为1、2...Ngt中的一个时，Qi为预设数量例如k，当i为Ngt+1时，Qi为Na-kNgt，Pj为1。
请参考图2，其示出了本申请实施例提供的目标检测装置的结构框图。目标检测装置包括：接收单元201，检测和预训练单元202。
接收单元201被配置为接收待检测图像；
检测和预训练单元202被配置为用经训练的目标检测网络检测所述待检测图像中的目标；其中，所述目标检测网络通过如下方式训练：标注训练图像中各目标的种类和/或位置；基于所述训练图像对应的各检测点位与各目标的候选匹配关系，计算所述候选匹配关系下所述训练图像对应的总损失；确定使所述总损失取最小值的优选匹配关系，所述优选匹配关系为所述候选匹配关系中的一种；根据所述优选匹配关系对应的总损失更新目标检测网络的权重，得到经训练的目标检测网络；其中，匹配关系用于表征某检测点位是否应该用于检测某目标。
在一些实施例中，所述匹配关系包括匹配和不匹配，匹配用于表征某检测点位应该用于检测某目标，不匹配用于表征某检测点位不应该用于检测某目标。
在一些实施例中，匹配关系还包括忽略关系，忽略关系用于表征不关心某检测点位是否应该用于检测某目标。
在一些实施例中，所述检测点位为锚点框；检测和预训练单元202进一步被配置为对于每一个候选匹配关系，基于所述候选匹配关系进行总损失计算，得到所述候选匹配关系下所述训练图像对应的总损失，基于所述候选匹配关系进行总损失计算包括：对于每一个锚点框，计算所述候选匹配关系下所述锚点框对应的损失，其中，若所述候选匹配关系表征所述锚点框应该用于检测某个目标，所述候选匹配关系下所述锚点框对应的损失为所述锚点框在所述目标上的损失，若对于每一个目标，所述候选匹配关系表征所述锚点框不应该用于检测所述目标，所述候选匹配关系下所述锚点框对应的损失为所述锚点框在背景上的损失；计算所述候选匹配关系下每一个锚点框对应的损失的加权和，得到所述候选匹配关系下所述训练图像对应的总损失，其中，锚点框在目标上的损失的权重为第一预设权重，锚点框在背景上的损失的权重为第二预设权重。
在一些实施例中，第一预设权重和第二预设权重相同。
在一些实施例中，所述锚点框在目标上的损失为所述锚点框与所述目标的标注数据中的标注类型的分类损失与所述锚点框与所述目标的标注数据中的标注框的回归损失之和。
图3是本实施例提供的一种电子设备的结构框图。电子设备包括处理组件322，其进一步包括一个或多个处理器，以及由存储器332所代表的存储器资源，用于存储可由处理组件322执行的指令，例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述方法。
电子设备还可以包括一个电源组件326被配置为执行电子设备的电源管理，一个有线或无线网络接口350被配置为将电子设备连接到网络，和一个输入输出(I/O)接口358。电子设备可以操作基于存储在存储器332的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法包括：
接收待检测图像；
用经训练的目标检测网络检测所述待检测图像中的目标；
其中，所述目标检测网络通过如下方式训练：
标注训练图像中各目标的种类和/或位置；
基于所述训练图像对应的各检测点位与各目标的候选匹配关系，计算所述候选匹配关系下所述训练图像对应的总损失；
确定使所述总损失取小值的优选匹配关系，所述优选匹配关系为所述候选匹配关系中的一种；
根据所述优选匹配关系对应的总损失更新目标检测网络的权重，得到经训练的目标检测网络；
其中，匹配关系用于表征某检测点位是否应该用于检测某目标。
2.根据权利要求1所述的方法，其特征在于，所述匹配关系包括匹配和不匹配，匹配用于表征某检测点位应该用于检测某目标，不匹配用于表征某检测点位不应该用于检测某目标。
3.根据权利要求1所述的方法，其特征在于，匹配关系还包括忽略关系，忽略关系用于表征不关心某检测点位是否应该用于检测某目标。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述检测点位为锚点框；以及基于所述训练图像对应的各检测点位与各目标的候选匹配关系，计算所述候选匹配关系下所述训练图像对应的总损失包括：
对于每一个候选匹配关系，基于所述候选匹配关系进行总损失计算，得到所述候选匹配关系下所述训练图像对应的总损失，基于所述候选匹配关系进行总损失计算包括：对于每一个锚点框，计算所述候选匹配关系下所述锚点框对应的损失，其中，若所述候选匹配关系表征所述锚点框应该用于检测某个目标，所述候选匹配关系下所述锚点框对应的损失为所述锚点框在所述目标上的损失，若对于每一个目标，所述候选匹配关系表征所述锚点框不应该用于检测所述目标，所述候选匹配关系下所述锚点框对应的损失为所述锚点框在背景上的损失；计算所述候选匹配关系下每一个锚点框对应的损失的加权和，得到所述候选匹配关系下所述训练图像对应的总损失，其中，锚点框在目标上的损失的权重为第一预设权重，锚点框在背景上的损失的权重为第二预设权重。
5.根据权利要求4所述的方法，其特征在于，第一预设权重和第二预设权重相同。
6.根据权利要求4所述的方法，其特征在于，所述锚点框在目标上的损失为所述锚点框与所述目标的标注数据中的标注类型的分类损失与所述锚点框与所述目标的标注数据中的标注框的回归损失之和。
7.一种目标检测网络训练装置，其特征在于，所述装置包括：
接收单元，被配置为接收待检测图像；
检测和预训练单元，被配置为用经训练的目标检测网络检测所述待检测图像中的目标；其中，所述目标检测网络通过如下方式训练：标注训练图像中各目标的种类和/或位置；基于所述训练图像对应的各检测点位与各目标的候选匹配关系，计算所述候选匹配关系下所述训练图像对应的总损失；确定使所述总损失取小值的优选匹配关系，所述优选匹配关系为所述候选匹配关系中的一种；根据所述优选匹配关系对应的总损失更新目标检测网络的权重，得到经训练的目标检测网络；其中，匹配关系用于表征某检测点位是否应该用于检测某目标。
8.根据权利要求7所述的装置，其特征在于，所述检测点位为锚点框；检测和预训练单元进一步被配置为对于每一个候选匹配关系，基于所述候选匹配关系进行总损失计算，得到所述候选匹配关系下所述训练图像对应的总损失，基于所述候选匹配关系进行总损失计算包括：对于每一个锚点框，计算所述候选匹配关系下所述锚点框对应的损失，其中，若所述候选匹配关系表征所述锚点框应该用于检测某个目标，所述候选匹配关系下所述锚点框对应的损失为所述锚点框在所述目标上的损失，若对于每一个目标，所述候选匹配关系表征所述锚点框不应该用于检测所述目标，所述候选匹配关系下所述锚点框对应的损失为所述锚点框在背景上的损失；计算所述候选匹配关系下每一个锚点框对应的损失的加权和，得到所述候选匹配关系下所述训练图像对应的总损失，其中，锚点框在目标上的损失的权重为第一预设权重，锚点框在背景上的损失的权重为第二预设权重。
9.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的方法。
10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的方法。
CN202011641373.9A 2020-12-31 2020-12-31 目标检测方法、装置、电子设备及存储介质 Active CN112906732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011641373.9A CN112906732B (zh) 2020-12-31 2020-12-31 目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011641373.9A CN112906732B (zh) 2020-12-31 2020-12-31 目标检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112906732A true CN112906732A (zh) 2021-06-04
CN112906732B CN112906732B (zh) 2023-12-15

Family

ID=76112113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011641373.9A Active CN112906732B (zh) 2020-12-31 2020-12-31 目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112906732B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898047A (zh) * 2018-04-27 2018-11-27 中国科学院自动化研究所 基于分块遮挡感知的行人检测方法及系统
CN110097091A (zh) * 2019-04-10 2019-08-06 东南大学 训练与推理数据分布不一致条件下的图像细粒度识别方法
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
US10438082B1 (en) * 2018-10-26 2019-10-08 StradVision, Inc. Learning method, learning device for detecting ROI on the basis of bottom lines of obstacles and testing method, testing device using the same
CN110443279A (zh) * 2019-07-04 2019-11-12 南京邮电大学 一种基于轻量级神经网络的无人机图像车辆检测方法
CN110827253A (zh) * 2019-10-30 2020-02-21 北京达佳互联信息技术有限公司 一种目标检测模型的训练方法、装置及电子设备
CN111783844A (zh) * 2020-06-10 2020-10-16 东莞正扬电子机械有限公司 基于深度学习的目标检测模型训练方法、设备及存储介质
CN111950329A (zh) * 2019-05-16 2020-11-17 长沙智能驾驶研究院有限公司 目标检测及模型训练方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898047A (zh) * 2018-04-27 2018-11-27 中国科学院自动化研究所 基于分块遮挡感知的行人检测方法及系统
US10438082B1 (en) * 2018-10-26 2019-10-08 StradVision, Inc. Learning method, learning device for detecting ROI on the basis of bottom lines of obstacles and testing method, testing device using the same
CN110097091A (zh) * 2019-04-10 2019-08-06 东南大学 训练与推理数据分布不一致条件下的图像细粒度识别方法
CN111950329A (zh) * 2019-05-16 2020-11-17 长沙智能驾驶研究院有限公司 目标检测及模型训练方法、装置、计算机设备和存储介质
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备
CN110443279A (zh) * 2019-07-04 2019-11-12 南京邮电大学 一种基于轻量级神经网络的无人机图像车辆检测方法
CN110827253A (zh) * 2019-10-30 2020-02-21 北京达佳互联信息技术有限公司 一种目标检测模型的训练方法、装置及电子设备
CN111783844A (zh) * 2020-06-10 2020-10-16 东莞正扬电子机械有限公司 基于深度学习的目标检测模型训练方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方良骥: "基于几何约束的实时视觉目标检测", 中国优秀硕士学位论文全文数据库-信息科技辑 *

Also Published As

Publication number Publication date
CN112906732B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN111259625B (zh) 意图识别方法、装置、设备及计算机可读存储介质
CN111127364B (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
CN112465138A (zh) 模型蒸馏方法、装置、存储介质及设备
CN111160469A (zh) 一种目标检测系统的主动学习方法
CN113537630B (zh) 业务预测模型的训练方法及装置
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN111967597A (zh) 神经网络训练及图像分类方法、装置、存储介质、设备
CN110310012B (zh) 数据分析方法、装置、设备及计算机可读存储介质
CN113674087A (zh) 企业信用等级评定方法、装置、电子设备和介质
CN110781970A (zh) 分类器的生成方法、装置、设备及存储介质
CN111104831A (zh) 一种视觉追踪方法、装置、计算机设备以及介质
CN110334599A (zh) 深度学习网络的训练方法、装置、设备和存储介质
CN111950633A (zh) 神经网络的训练、目标检测方法及装置和存储介质
CN112906398A (zh) 句子语义匹配方法、系统、存储介质和电子设备
CN116681961A (zh) 基于半监督方法和噪声处理的弱监督目标检测方法
CN111161238A (zh) 图像质量评价方法及装置、电子设备、存储介质
CN112698977B (zh) 服务器故障定位方法方法、装置、设备及介质
JP7121819B2 (ja) 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
CN110262906B (zh) 接口标签推荐方法、装置、存储介质和电子设备
CN117196322A (zh) 智能风控方法、装置、计算机设备及存储介质
CN116977731A (zh) 面向目标物分类的模型自增强方法、介质和设备
CN112906732B (zh) 目标检测方法、装置、电子设备及存储介质
CN113435206B (zh) 一种图文检索方法、装置和电子设备
CN113343851B (zh) 一种训练人脸衰老检测模型的方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant