CN114202074A - 用于目标检测任务的预训练模型生成方法、装置及设备 - Google Patents

用于目标检测任务的预训练模型生成方法、装置及设备 Download PDF

Info

Publication number
CN114202074A
CN114202074A CN202111320361.0A CN202111320361A CN114202074A CN 114202074 A CN114202074 A CN 114202074A CN 202111320361 A CN202111320361 A CN 202111320361A CN 114202074 A CN114202074 A CN 114202074A
Authority
CN
China
Prior art keywords
input image
model
target
loss
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111320361.0A
Other languages
English (en)
Inventor
张为明
张伟
谭啸
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111320361.0A priority Critical patent/CN114202074A/zh
Publication of CN114202074A publication Critical patent/CN114202074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于目标检测任务的预训练模型生成方法、装置及设备，涉及人工智能领域，具体涉及深度学习与计算机视觉技术。具体实现方案为：获取样本图像，并根据样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像；根据多个输入图像和预设的第一模型和第二模型，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像各自的目标特征向量；根据第一输入图像、第二输入图像、第三输入图像和第四输入图像各自的目标特征向量计算特征表示对比损失和定位损失；根据特征表示对比损失和定位损失，训练第一模型和第二模型，并根据训练好的第一模型的骨干网络参数生成预训练模型。

Description

用于目标检测任务的预训练模型生成方法、装置及设备
技术领域
本申请涉及人工智能领域，进一步涉及深度学习领域与计算机视觉领域，尤其涉及一种用于目标检测任务的预训练模型生成方法、装置及设备。
背景技术
相关技术中，针对目标检测的大部分对比学习自监督算法，通常是通过构建预训练任务生成预训练模型，使得预训练模型可以利用无标签数据学习到目标的特征表示能力，并将生成的预训练模型直接迁移到下游目标检测任务中。然而，通过这种方式生成的预训练模型直接迁移到下游目标检测任务中，会使得目标检测效果不佳。
发明内容
本申请提供了一种用于目标检测任务的预训练模型生成方法、装置及设备。
根据本申请的第一方面，提供了一种用于目标检测任务的预训练模型生成方法，包括：
获取样本图像，并根据所述样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像；所述样本图像中包含多个目标；
根据所述第一输入图像和预设的第一模型，生成所述第一输入图像的目标特征向量；
根据所述第二输入图像、所述第三输入图像、所述第四输入图像和预设的第二模型，生成所述第二输入图像、所述第三输入图像和所述第四输入图像各自的目标特征向量；所述第一模型的网络结构和模型参数初始值与所述第二模型的相同；
根据所述第一输入图像、所述第二输入图像和所述第三输入图像各自的目标特征向量计算特征表示对比损失，并根据所述第一输入图像和所述第四输入图像各自的目标特征向量计算定位损失；
根据所述特征表示对比损失和所述定位损失，训练所述第一模型和所述第二模型，并根据训练好的第一模型的骨干网络参数生成所述预训练模型。
根据本申请的第二方面，提供了一种用于目标检测任务的预训练模型生成装置，包括：
获取模块，用于获取样本图像，并根据所述样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像；所述样本图像中包含多个目标；
第一生成模块，用于根据所述第一输入图像和预设的第一模型，生成所述第一输入图像的目标特征向量；
第二生成模块，用于根据所述第二输入图像、所述第三输入图像、所述第四输入图像和预设的第二模型，生成所述第二输入图像、所述第三输入图像和所述第四输入图像各自的目标特征向量；所述第一模型的网络结构和模型参数初始值与所述第二模型的相同；
损失计算模块，用于根据所述第一输入图像、所述第二输入图像和所述第三输入图像各自的目标特征向量计算特征表示对比损失，并根据所述第一输入图像和所述第四输入图像各自的目标特征向量计算定位损失；
训练模块，用于根据所述特征表示对比损失和所述定位损失，训练所述第一模型和所述第二模型，并根据训练好的第一模型的骨干网络参数生成所述预训练模型。
根据本申请的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述第一方面的用于目标检测任务的预训练模型生成方法。
根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行前述第一方面的用于目标检测任务的预训练模型生成方法。
根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据前述第一方面的用于目标检测任务的预训练模型生成方法。
根据本申请的技术方案，通过对样本图像进行处理，生成多个输入图像，分别输入至第一模型和第二模型，获得多个输入图像对应的目标特征向量。根据多个输入图像各自的目标特征向量，计算特征表示对比损失及定位损失，根据该特征表示对比损失及定位损失训练第一模型和第二模型。根据训练好的第一模型的骨干网络参数生成预训练模型，使得该预训练模型不仅可以学习到目标的特征表征能力，还可以学习到目标定位能力。将生成的预训练模型迁移到下游目标检测任务中，可以提高目标检测结果的准确度，提升目标检测效果。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例提出的一种用于目标检测任务的预训练模型生成方法的流程示意图；
图2是根据本申请实施例提出的另一种用于目标检测任务的预训练模型生成方法的流程示意图；
图3是根据本申请实施例提出的又一种用于目标检测任务的预训练模型生成方法的流程示意图；
图4为本申请实施例提供的用于目标检测任务的预训练模型生成方法的示意图；
图5是根据本申请实施例提供的一种用于目标检测任务的预训练模型生成装置的结构框图；
图6是用来实现本申请实施例的用于目标检测任务的预训练模型生成方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
目前针对目标检测的大部分对比学习自监督算法，将生成的预训练模型直接迁移到下游目标检测任务中目标检测效果不佳。
为此，本申请提供了一种用于目标检测任务的预训练模型生成方法、装置及设备。具体地，下面参考附图描述本申请实施例的用于目标检测任务的预训练模型生成方法、装置及设备。
图1是根据本申请实施例提供的一种用于目标检测任务的预训练模型生成方法。需要说明的是，本申请实施例的用于目标检测任务的预训练模型生成方法可应用于本申请实施例的用于目标检测任务的预训练模型生成装置，该用于目标检测任务的预训练模型生成装置可被配置于电子设备上。
如图1所示，该用于目标检测任务的预训练模型生成方法可以包括如下步骤：
步骤101，获取样本图像，并根据样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像；样本图像中包含多个目标。
需要说明的是，第一输入图像、第二输入图像、第三输入图像和第四输入图像为对样本图像进行了不同处理后的图像。
可选地，在本申请一些实施例中，第一输入图像可以是对样本图像进行选择性搜索生成的图像，其中，第一输入图像中包含多个目标候选框；第二输入图像可以是对第一输入图像进行剪切和伸缩处理生成的图像；第三输入图像可以是对第二输入图像进行下采样处理生成的；第四输入图像可以是对样本图像进行剪切和伸缩处理，并对经过剪切和伸缩处理后得到的图像进行选择性搜索生成的。其中，第二输入图像、第三输入图像和第四输入图像中均包含多个候选框。
步骤102，根据第一输入图像和预设的第一模型，生成第一输入图像的目标特征向量。
可选地，预设的第一模型可以为包括骨干网络和特征金字塔网络的模型。
步骤103，根据第二输入图像、第三输入图像、第四输入图像和预设的第二模型，生成第二输入图像、第三输入图像和第四输入图像各自的目标特征向量；第一模型的网络结构和模型参数初始值与第二模型的相同。
需要说明的是，第一模型的网络结构和模型参数初始值与第二模型的网络结构和模型参数初始值相同。可选地，第二模型可以包括骨干网络和特征金字塔网络。
步骤104，根据第一输入图像、第二输入图像和第三输入图像各自的目标特征向量计算特征表示对比损失，并根据第一输入图像和第四输入图像各自的目标特征向量计算定位损失。
作为一种示例，可根据第一输入图像的目标特征向量与第二输入图像的目标特征向量对同一目标特征进行对比学习，计算第一对比损失。根据第一输入图像的目标特征向量与第三输入图像的目标特征向量对同一目标特征进行对比学习，计算第二对比损失。基于第一对比损失与第二对比损失计算特征表示对比损失。
需要说明的是，第一输入图像中包含多个目标候选框，第四输入图像中包含多个候选框，可根据第四输入图像的目标特征向量，在第四输入图像的候选框中，找出与第一输入图像中各目标候选框对应的候选框集合，根据第一输入图像中各目标候选框及其对应的候选框集合，计算定位损失。
步骤105，根据特征表示对比损失和定位损失，训练第一模型和第二模型，并根据训练好的第一模型的骨干网络参数生成预训练模型。
可选地，在本申请一些实施例中，可根据特征表示对比损失和定位损失，生成第一模型的回传梯度，以训练第一模型；根据第一模型的回传梯度以EMA(Exponential MovingAverage,指数移动平均值)的方式更新第二模型的参数，以训练第二模型。
根据本申请实施例的用于目标检测任务的预训练模型生成方法，通过对样本图像进行处理，生成多个输入图像，分别输入至第一模型和第二模型，获得多个输入图像对应的目标特征向量。根据多个输入图像各自的目标特征向量，计算特征表示对比损失及定位损失，根据该特征表示对比损失及定位损失训练第一模型和第二模型。根据训练好的第一模型的骨干网络参数生成预训练模型，不仅可以学习到目标的特征表征能力，还可以学习到目标定位能力。将生成的预训练模型迁移到下游目标检测任务中，对下游目标检测任务的效果进行微调，提高目标检测结果的准确度。
在本申请一些实施例中，图2为本申请实施例提供的另一种用于目标检测任务的预训练模型生成方法。如图2所示，本申请实施例提供用于目标检测任务的预训练模型生成方法可包括以下步骤：
步骤201，获取样本图像，并根据样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像；样本图像中包含多个目标。
步骤202，根据第一输入图像和预设的第一模型，生成第一输入图像的目标特征向量。
作为一种示例，预设的第一模型可以为包括骨干网络和特征金字塔网络的模型。将第一输入图像输入预设的第一模型，获得第一输入图像的多尺度特征图，对该多尺度特征图中的目标特征进行Rol Align+head+projection+prediction处理，生成第一输入图像的目标特征向量。
步骤203，根据第二输入图像、第三输入图像、第四输入图像和预设的第二模型，生成第二输入图像、第三输入图像和第四输入图像各自的目标特征向量；第一模型的网络结构和模型参数初始值与第二模型的相同。
需要说明的是，第一模型的网络结构和模型参数初始值与第二模型的网络结构和模型参数初始值相同。可选地，第二模型可以为包括骨干网络和特征金字塔网络的模型。将第二输入图像、第三输入图像和第四输入图像分别输入至预设的第二模型，获得第二输入图像、第三输入图像和第四输入图像各自的多尺度特征图，对该第二输入图像、第三输入图像和第四输入图像各自的多尺度特征图中的目标特征进行Rol Align+head+projection处理，生成第二输入图像、第三输入图像和第四输入图像的目标特征向量。
步骤204，根据第一输入图像和第二输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第一对比损失。
步骤205，根据第一输入图像和第三输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第二对比损失。
步骤206，根据第一对比损失和第二对比损失，计算特征表示对比损失。
作为一种示例，步骤204-步骤206可通过以下公式计算第一对比损失、第二对比损失和特征表示对比损失。
例如，设F1、F2、F3分别为第一输入图像、第二输入图像和第三输入图像的目标特征向量集合(其中，fi∈F1，f'i∈F2,f”i∈F3),t为网络的训练样本数量batch size,C为对比损失函数Contrastive Loss。
第一对比损失，
Figure BDA0003345368700000071
第二对比损失，
Figure BDA0003345368700000072
特征表示对比损失，
Figure BDA0003345368700000073
步骤207，根据第一输入图像的目标特征向量，确定第一输入图像中每个目标候选框的目标中心点。
步骤208，根据第四输入图像的目标特征向量，找出与各自目标候选框对应的第一候选框集合和第二候选框集合；第一候选框集合中包含中心点落在以对应目标候选框的目标中心点为圆心，预设长度为半径的范围内的候选框；第二候选框集合中包含中心点落在范围之外的候选框。
步骤209，根据每个目标候选框的目标中心点、第一候选框集合和第二候选框集合，计算定位损失。
作为一种示例，步骤207-步骤209可通过以下方式计算定位损失。
例如，设r为预设长度，B为第一输入图像中目标候选框的目标中心点集合，B＝{b1,…,bi,…,bm},B'i为第四输入图像之中中心点落在以bi为圆心，r为半径的范围以内的第一候选框集合B'i＝{b'i1,…,b'ij,…}，B”i为第四输入图像之中中心点落在以bi为圆心，r为半径的范围以外的第二候选框集合B”i＝{b”i1,…,b”ik,…}，L1为回归损失函数L1Loss。
定位损失，
Figure BDA0003345368700000081
步骤210，根据特征表示对比损失和定位损失，训练第一模型和第二模型，并根据训练好的第一模型的骨干网络参数生成预训练模型。
在本申请实施例中，步骤201、步骤210可以分别采用本申请的各实施例中的任一种方式实现，对此本申请不作具体限定，也不再赘述。
根据本申请实施例的用于目标检测任务的预训练模型生成方法，通过对样本图像进行处理，生成多个输入图像，分别输入至第一模型和第二模型，获得多个输入图像对应的目标特征向量。根据第一输入图像、第二输入图像和第三输入图像各自的目标特征向量，计算特征表示对比损失。根据第一输入图像中目标候选框的目标中心点于预设长度，在第四输入图像设置范围，确定出范围内的第一候选框集合与范围外的第二候选框集合，根据每个目标候选框的目标中心点、第一候选框集合和第二候选框集合，计算定位损失，根据该特征表示对比损失及定位损失训练第一模型和第二模型。根据训练好的第一模型的骨干网络参数生成预训练模型，使得该预训练模型不仅可以学习到目标的特征表征能力，还可以学习到目标定位能力。将生成的预训练模型迁移到下游目标检测任务中，可以进一步提高目标检测结果的准确度，提升目标检测效果。
图3为本申请实施例提供的又一种用于目标检测任务的预训练模型生成方法。如图3所示，本申请实施例提供用于目标检测任务的预训练模型生成方法可包括以下步骤：
步骤301，获取样本图像，并根据样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像；样本图像中包含多个目标。
步骤302，根据第一输入图像和预设的第一模型，生成第一输入图像的目标特征向量。
步骤303，根据第二输入图像、第三输入图像、第四输入图像和预设的第二模型，生成第二输入图像、第三输入图像和第四输入图像各自的目标特征向量；第一模型的网络结构和模型参数初始值与第二模型的相同。
步骤304，根据第一输入图像和第二输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第一对比损失；
步骤305，根据第一输入图像和第三输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第二对比损失；
步骤306，根据第一对比损失和第二对比损失，计算特征表示对比损失。
步骤307，根据第一输入图像的目标特征向量，确定第一输入图像中每个目标候选框的目标中心点；
步骤308，根据第四输入图像的目标特征向量，找出与各自目标候选框对应的第一候选框集合和第二候选框集合；第一候选框集合中包含中心点落在以对应目标候选框的目标中心点为圆心，预设长度为半径的范围内的候选框；第二候选框集合中包含中心点落在范围之外的候选框；
步骤309，根据每个目标候选框的目标中心点、第一候选框集合和第二候选框集合，计算定位损失。
步骤310，根据特征表示对比损失和定位损失，计算模型损失值。
可选地，可通过特征表示对比损失与定位损失相加得到模型损失值。作为一种示例，模型损失值可通过以下公式计算：
Loss5＝Loss3+Loss4，
其中，Loss3为特征表示对比损失，Loss4为定位损失。
步骤311，根据模型损失值生成第一模型的回传梯度。
步骤312，根据回传梯度以指数移动平均值EMA的方式更新第二模型的参数。
步骤313，根据训练好的第一模型的骨干网络参数生成预训练模型。
在本申请实施例中，步骤301-步骤309可以分别采用本申请的各实施例中的任一种方式实现，对此本申请不作具体限定，也不再赘述。
为了更好的理解本申请实施例提供的用于目标检测任务的预训练模型生成方法。下面将结合图4进行详细描述。图4为本申请实施例提供的用于目标检测任务的预训练模型生成方法的示意图。如图4所示，获取样本图像，对样本图像进行选择性搜索生成图像中目标特征候选框，在生成的目标特征候选框中随机选择n个目标特征候选框作为目标候选框，生成第一输入图像View1(S401)。对第一输入图像View1进行剪切和伸缩处理，生成第二输入图像View2(S402)。对第二输入图像View2进行下采样处理生成第三输入图像View3(S403)。对样本图像进行剪切和伸缩处理，并对经过剪切和伸缩处理后得到的图像进行选择性搜索，生成图像中目标特征候选框，在生成的目标特征候选框中随机选择n个目标特征候选框作为候选框，生成第四输入图像View4(S404)。将第一输入图像View1输入预设的第一模型(S405)，将第二输入图像View2、第三输入图像View3和第四输入图像View4分别输入至预设的第二模型(S406)，获得第一输入图像View1、第二输入图像View2、第三输入图像View3和第四输入图像View4各自的多尺度特征图(S407)，根据第一输入图像View1、第二输入图像View2、第三输入图像View3和第四输入图像View4各自的多尺度特征图生成第一输入图像View1、第二输入图像View2、第三输入图像View3和第四输入图像View4各自的目标特征向量(S408)。根据第一输入图像、第二输入图像和第三输入图像各自的目标特征向量对同一目标特征进行对比学习，计算特征表示对比损失(S409)，并根据第一输入图像和第四输入图像各自的目标特征向量计算定位损失(S410)。根据特征表示对比损失与定位损失生成第一模型的回传梯度，并根据回传梯度以指数移动平均值EMA的方式更新第二模型的参数。根据训练好的第一模型的骨干网络参数生成预训练模型。
根据本申请实施例的用于目标检测任务的预训练模型生成方法，通过对样本图像进行处理，生成多个输入图像，分别输入至第一模型和第二模型，获得多个输入图像对应的目标特征向量。根据第一输入图像、第二输入图像和第三输入图像各自的目标特征向量对同一目标特征进行对比学习，计算特征表示对比损失。根据第一输入图像中目标候选框的目标中心点于预设长度，在第四输入图像设置范围，确定出范围内的第一候选框集合与范围外的第二候选框集合，根据每个目标候选框的目标中心点、第一候选框集合和第二候选框集合，计算定位损失，根据该特征表示对比损失及定位损失获得模型损失值。根据模型损失值生成第一模型的回传梯度，以训练第一模型的参数。根据回传梯度以指数移动平均值EMA的方式更新第二模型的参数。根据训练好的第一模型的骨干网络参数生成预训练模型，使得该预训练模型不仅可以学习到目标的特征表征能力，还可以学习到目标定位能力。将生成的预训练模型迁移到下游目标检测任务中，可以进一步提高目标检测结果的准确度，提升目标检测效果。
图5是根据本申请实施例提供的一种用于目标检测任务的预训练模型生成装置的结构框图。如图5所示，该用于目标检测任务的预训练模型生成装置可以包括获取模块501、第一生成模块502、第二生成模块503、损失计算模块504和训练模块505。
具体地，获取模块501，用于获取样本图像，并根据样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像；样本图像中包含多个目标。
第一生成模块502，用于根据第一输入图像和预设的第一模型，生成第一输入图像的目标特征向量。
第二生成模块503，用于根据第二输入图像、第三输入图像、第四输入图像和预设的第二模型，生成第二输入图像、第三输入图像和第四输入图像各自的目标特征向量；第一模型的网络结构和模型参数初始值与第二模型的相同。
损失计算模块504，用于根据第一输入图像、第二输入图像和第三输入图像各自的目标特征向量计算特征表示对比损失，并根据第一输入图像和第四输入图像各自的目标特征向量计算定位损失。
训练模块505，用于根据特征表示对比损失和定位损失，训练第一模型和第二模型，并根据训练好的第一模型的骨干网络参数生成预训练模型。
在本申请一些实施例中，获取模块501，具体用于对样本图像进行选择性搜索，以生成第一输入图像；对第一输入图像进行剪切和伸缩处理，以生成第二输入图像；对第二输入图像进行下采样处理，以生成第三输入图像；对样本图像进行剪切和伸缩处理，并对经过剪切和伸缩处理后得到的图像进行选择性搜索，以生成第四输入图像。
在本申请一些实施例中，损失计算模块504，具体用于：根据第一输入图像和第二输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第一对比损失；根据第一输入图像和第三输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第二对比损失；根据第一对比损失和第二对比损失，计算特征表示对比损失。
在本申请一些实施例中，损失计算模块504，具体用于：根据第一输入图像的目标特征向量，确定第一输入图像中每个目标候选框的目标中心点；根据第四输入图像的目标特征向量，找出与各自目标候选框对应的第一候选框集合和第二候选框集合；第一候选框集合中包含中心点落在以对应目标候选框的目标中心点为圆心，预设长度为半径的范围内的候选框；第二候选框集合中包含中心点落在范围之外的候选框；根据每个目标候选框的目标中心点、第一候选框集合和第二候选框集合，计算定位损失。
在本申请一些实施例中，训练模块505，具体用于：根据特征表示对比损失和定位损失，计算模型损失值；根据模型损失值生成第一模型的回传梯度；根据回传梯度以指数移动平均值EMA的方式更新第二模型的参数。
在本申请一些实施例中，第一生成模块502，具体用于：将第一输入图像输入至预设的第一模型，获得第一输入图像的多尺度特征图，并根据多尺度特征图生成第一输入图像的目标特征向量。
在本申请一些实施例中，第二生成模块503，具体用于：将第二输入图像、第三输入图像和第四输入图像分别输入至预设的第二模型，获得第二输入图像、第三输入图像和第四输入图像各自的多尺度特征图；第一模型的网络结构和模型参数初始值与第二模型的相同；根据第二输入图像、第三输入图像和第四输入图像各自的多尺度特征图，生成第二输入图像、第三输入图像和第四输入图像各自的目标特征向量。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本申请实施例的用于目标检测任务的预训练模型生成装置，通过对样本图像进行处理，生成多个输入图像，分别输入至第一模型和第二模型，获得多个输入图像对应的目标特征向量。根据第一输入图像、第二输入图像和第三输入图像各自的目标特征向量，计算特征表示对比损失。根据第一输入图像中目标候选框的目标中心点于预设长度，在第四输入图像设置范围，确定出范围内的第一候选框集合与范围外的第二候选框集合，根据每个目标候选框的目标中心点、第一候选框集合和第二候选框集合，计算定位损失，根据该特征表示对比损失及定位损失获得模型损失值。根据模型损失值生成第一模型的回传梯度，以训练第一模型的参数。根据回传梯度以以指数移动平均值EMA的方式更新第二模型的参数。根据训练好的第一模型的骨干网络参数生成预训练模型，使得该预训练模型不仅可以学习到目标的特征表征能力，还可以学习到目标定位能力。将生成的预训练模型迁移到下游目标检测任务中，可以进一步提高目标检测结果的准确度，提升目标检测效果。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图6所示，是根据本申请实施例的用于目标检测任务的预训练模型生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的用于目标检测任务的预训练模型生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的用于目标检测任务的预训练模型生成方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的用于目标检测任务的预训练模型生成方法对应的程序指令/模块(例如，附图5所示的获取模块501、第一生成模块502、第二生成模块503、损失计算模块504和训练模块505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的用于目标检测任务的预训练模型生成方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储用于目标检测任务的预训练模型生成方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至用于目标检测任务的预训练模型生成方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用于目标检测任务的预训练模型生成方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与用于目标检测任务的预训练模型生成方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，即本申请还提出了一种计算机程序，该计算机程序在被处理器执行时，实现上述实施例所描述的用于目标检测任务的预训练模型生成方法，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种用于目标检测任务的预训练模型生成方法，包括：
获取样本图像，并根据所述样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像；所述样本图像中包含多个目标；
根据所述第一输入图像和预设的第一模型，生成所述第一输入图像的目标特征向量；
根据所述第二输入图像、所述第三输入图像、所述第四输入图像和预设的第二模型，生成所述第二输入图像、所述第三输入图像和所述第四输入图像各自的目标特征向量；所述第一模型的网络结构和模型参数初始值与所述第二模型的相同；
根据所述第一输入图像、所述第二输入图像和所述第三输入图像各自的目标特征向量计算特征表示对比损失，并根据所述第一输入图像和所述第四输入图像各自的目标特征向量计算定位损失；
根据所述特征表示对比损失和所述定位损失，训练所述第一模型和所述第二模型，并根据训练好的第一模型的骨干网络参数生成所述预训练模型。
2.根据权利要求1所述的方法，其中，所述根据所述样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像，包括：
对所述样本图像进行选择性搜索，以生成第一输入图像；
对所述第一输入图像进行剪切和伸缩处理，以生成所述第二输入图像；
对所述第二输入图像进行下采样处理，以生成所述第三输入图像；
对所述样本图像进行剪切和伸缩处理，并对经过剪切和伸缩处理后得到的图像进行选择性搜索，以生成所述第四输入图像。
3.根据权利要求1所述的方法，其中，所述根据所述第一输入图像、所述第二输入图像和所述第三输入图像各自的目标特征向量计算特征表示对比损失，包括：
根据所述第一输入图像和所述第二输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第一对比损失；
根据所述第一输入图像和所述第三输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第二对比损失；
根据所述第一对比损失和所述第二对比损失，计算所述特征表示对比损失。
4.根据权利要求1所述的方法，其中，所述根据所述第一输入图像和所述第四输入图像各自的目标特征向量计算定位损失，包括：
根据所述第一输入图像的目标特征向量，确定所述第一输入图像中每个目标候选框的目标中心点；
根据所述第四输入图像的目标特征向量，找出与各自所述目标候选框对应的第一候选框集合和第二候选框集合；所述第一候选框集合中包含中心点落在以对应目标候选框的目标中心点为圆心，预设长度为半径的范围内的候选框；所述第二候选框集合中包含中心点落在所述范围之外的候选框；
根据所述每个目标候选框的目标中心点、所述第一候选框集合和所述第二候选框集合，计算所述定位损失。
5.根据权利要求1所述的方法，其中，所述根据所述特征表示对比损失和所述定位损失，训练所述第一模型和所述第二模型，包括：
根据所述特征表示对比损失和所述定位损失，计算模型损失值；
根据所述模型损失值生成所述第一模型的回传梯度；
根据所述回传梯度以指数移动平均值EMA的方式更新所述第二模型的参数。
6.根据权利要求1所述的方法，其中，所述根据所述第一输入图像和预设的第一模型，生成所述第一输入图像的目标特征向量，包括：
将所述第一输入图像输入至预设的第一模型，获得所述第一输入图像的多尺度特征图，并根据所述多尺度特征图生成所述第一输入图像的目标特征向量。
7.根据权利要求1所述的方法，其中，所述根据所述第二输入图像、所述第三输入图像、所述第四输入图像和预设的第二模型，生成所述第二输入图像、所述第三输入图像和所述第四输入图像各自的目标特征向量，包括：
将所述第二输入图像、所述第三输入图像和所述第四输入图像分别输入至预设的第二模型，获得所述第二输入图像、所述第三输入图像和所述第四输入图像各自的多尺度特征图；
根据所述第二输入图像、所述第三输入图像和所述第四输入图像各自的多尺度特征图，生成所述第二输入图像、所述第三输入图像和所述第四输入图像各自的目标特征向量。
8.一种用于目标检测任务的预训练模型生成装置，包括：
获取模块，用于获取样本图像，并根据所述样本图像，生成第一输入图像、第二输入图像、第三输入图像和第四输入图像；所述样本图像中包含多个目标；
第一生成模块，用于根据所述第一输入图像和预设的第一模型，生成所述第一输入图像的目标特征向量；
第二生成模块，用于根据所述第二输入图像、所述第三输入图像、所述第四输入图像和预设的第二模型，生成所述第二输入图像、所述第三输入图像和所述第四输入图像各自的目标特征向量；所述第一模型的网络结构和模型参数初始值与所述第二模型的相同；
损失计算模块，用于根据所述第一输入图像、所述第二输入图像和所述第三输入图像各自的目标特征向量计算特征表示对比损失，并根据所述第一输入图像和所述第四输入图像各自的目标特征向量计算定位损失；
训练模块，用于根据所述特征表示对比损失和所述定位损失，训练所述第一模型和所述第二模型，并根据训练好的第一模型的骨干网络参数生成所述预训练模型。
9.根据权利要求8所述的装置，其中，所述获取模块具体用于：
对所述样本图像进行选择性搜索，以生成第一输入图像；
对所述第一输入图像进行剪切和伸缩处理，以生成所述第二输入图像；
对所述第二输入图像进行下采样处理，以生成所述第三输入图像；
对所述样本图像进行剪切和伸缩处理，并对经过剪切和伸缩处理后得到的图像进行选择性搜索，以生成所述第四输入图像。
10.根据权利要求8所述的装置，其中，所述损失计算模块具体用于：
根据所述第一输入图像和所述第二输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第一对比损失；
根据所述第一输入图像和所述第三输入图像各自的目标特征向量对同一目标特征进行对比学习，计算第二对比损失；
根据所述第一对比损失和所述第二对比损失，计算所述特征表示对比损失。
11.根据权利要求8所述的装置，其中，所述损失计算模块具体用于：
根据所述第一输入图像的目标特征向量，确定所述第一输入图像中每个目标候选框的目标中心点；
根据所述第四输入图像的目标特征向量，找出与各自所述目标候选框对应的第一候选框集合和第二候选框集合；所述第一候选框集合中包含中心点落在以对应目标候选框的目标中心点为圆心，预设长度为半径的范围内的候选框；所述第二候选框集合中包含中心点落在所述范围之外的候选框；
根据所述每个目标候选框的目标中心点、所述第一候选框集合和所述第二候选框集合，计算所述定位损失。
12.根据权利要求8所述的装置，其中，所述训练模块具体用于：
根据所述特征表示对比损失和所述定位损失，计算模型损失值；
根据所述模型损失值生成所述第一模型的回传梯度；
根据所述回传梯度以指数移动平均值EMA的方式更新所述第二模型的参数。
13.根据权利要求8所述的装置，其中，所述第一生成模块具体用于：
将所述第一输入图像输入至预设的第一模型，获得所述第一输入图像的多尺度特征图，并根据所述多尺度特征图生成所述第一输入图像的目标特征向量。
14.根据权利要求8所述的装置，其中，所述第二生成模块具体用于：
将所述第二输入图像、所述第三输入图像和所述第四输入图像分别输入至预设的第二模型，获得所述第二输入图像、所述第三输入图像和所述第四输入图像各自的多尺度特征图；
根据所述第二输入图像、所述第三输入图像和所述第四输入图像各自的多尺度特征图，生成所述第二输入图像、所述第三输入图像和所述第四输入图像各自的目标特征向量。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1－7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1－7中任一项所述方法的步骤。
CN202111320361.0A 2021-11-09 2021-11-09 用于目标检测任务的预训练模型生成方法、装置及设备 Pending CN114202074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111320361.0A CN114202074A (zh) 2021-11-09 2021-11-09 用于目标检测任务的预训练模型生成方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111320361.0A CN114202074A (zh) 2021-11-09 2021-11-09 用于目标检测任务的预训练模型生成方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114202074A true CN114202074A (zh) 2022-03-18

Family

ID=80647301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111320361.0A Pending CN114202074A (zh) 2021-11-09 2021-11-09 用于目标检测任务的预训练模型生成方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114202074A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841257A (zh) * 2022-04-21 2022-08-02 北京交通大学 一种基于自监督对比约束下的小样本目标检测方法
CN114863207A (zh) * 2022-04-14 2022-08-05 北京百度网讯科技有限公司 目标检测模型的预训练方法、装置及电子设备
CN114898111A (zh) * 2022-04-26 2022-08-12 北京百度网讯科技有限公司 预训练模型生成方法和装置、目标检测方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863207A (zh) * 2022-04-14 2022-08-05 北京百度网讯科技有限公司 目标检测模型的预训练方法、装置及电子设备
CN114841257A (zh) * 2022-04-21 2022-08-02 北京交通大学 一种基于自监督对比约束下的小样本目标检测方法
CN114841257B (zh) * 2022-04-21 2023-09-22 北京交通大学 一种基于自监督对比约束下的小样本目标检测方法
CN114898111A (zh) * 2022-04-26 2022-08-12 北京百度网讯科技有限公司 预训练模型生成方法和装置、目标检测方法和装置

Similar Documents

Publication Publication Date Title
CN111753961B (zh) 模型训练方法和装置、预测方法和装置
CN114202074A (zh) 用于目标检测任务的预训练模型生成方法、装置及设备
CN111143686B (zh) 资源推荐方法及装置
CN112529073A (zh) 模型训练方法、姿态估计方法、装置及电子设备
CN111738414A (zh) 推荐模型的生成、内容推荐方法、装置、设备和介质
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
CN113591573A (zh) 多任务学习深度网络模型的训练及目标检测方法、装置
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
CN111968203B (zh) 动画驱动方法、装置、电子设备及存储介质
CN112529180B (zh) 模型蒸馏的方法和装置
CN110795569A (zh) 知识图谱的向量表示生成方法、装置及设备
CN110852379B (zh) 用于目标物体识别的训练样本生成方法及装置
CN110543558A (zh) 问题匹配方法、装置、设备和介质
CN114386503A (zh) 用于训练模型的方法和装置
CN113157829A (zh) 一种兴趣点名称比对方法、装置、电子设备和存储介质
CN112561059B (zh) 用于模型蒸馏的方法和装置
CN112529181B (zh) 用于模型蒸馏的方法和装置
CN111833391B (zh) 图像深度信息的估计方法及装置
CN111563541B (zh) 图像检测模型的训练方法和装置
CN111461306B (zh) 特征评估的方法及装置
CN112508964A (zh) 图像分割方法、装置、电子设备和存储介质
CN111767990A (zh) 神经网络的处理方法和装置
CN116167426A (zh) 人脸关键点定位模型的训练方法及人脸关键点定位方法
CN112508163B (zh) 神经网络模型中子图的展示方法、装置和存储介质
CN111510376B (zh) 图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination