CN113963148A - 对象检测方法、对象检测模型的训练方法及装置 - Google Patents

对象检测方法、对象检测模型的训练方法及装置 Download PDF

Info

Publication number
CN113963148A
CN113963148A CN202111271219.1A CN202111271219A CN113963148A CN 113963148 A CN113963148 A CN 113963148A CN 202111271219 A CN202111271219 A CN 202111271219A CN 113963148 A CN113963148 A CN 113963148A
Authority
CN
China
Prior art keywords
image
sample image
feature
object detection
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111271219.1A
Other languages
English (en)
Other versions
CN113963148B (zh
Inventor
王云浩
张滨
李超
彭岩
陈松
薛松
冯原
韩树民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111271219.1A priority Critical patent/CN113963148B/zh
Publication of CN113963148A publication Critical patent/CN113963148A/zh
Priority to EP22200204.0A priority patent/EP4123594A3/en
Priority to JP2022165371A priority patent/JP2022185144A/ja
Priority to US18/049,742 priority patent/US20230066021A1/en
Application granted granted Critical
Publication of CN113963148B publication Critical patent/CN113963148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种对象检测方法、对象检测模型的训练方法及装置，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术。实现方案为：将待测图像分割成多个图像块；基于所述多个图像块，生成所述待测图像的特征表示；采用预设的参数集对所述特征表示进行映射，以得到所述待测图像的多个特征图；以及基于所述多个特征图，确定所述待测图像中的目标对象的位置和类别。

Description

对象检测方法、对象检测模型的训练方法及装置
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术，具体涉及一种对象检测方法及装置、对象检测模型的训练方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术：人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
对象检测是人工智能领域的一种图像处理任务，指的是检测出图像中存在的目标对象，标定目标对象在图像中的位置，并确定目标对象所属的类别。对象检测通常采用深度学习技术来实现。即，基于样本图像来训练深度学习模型，然后使用训练好的模型对待测图像进行对象检测。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种对象检测方法及装置、对象检测模型的训练方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一方面，提供了一种对象检测方法，包括：将待测图像分割成多个图像块；基于所述多个图像块，生成所述待测图像的特征表示；采用预设的参数集对所述特征表示进行映射，以得到所述待测图像的多个特征图；以及基于所述多个特征图，确定所述待测图像中的目标对象的位置和类别。
根据本公开的一方面，提供了一种对象检测模型的训练方法，所述对象检测模型包括特征提取网络和区域生成网络，所述方法包括：获取第一样本图像和第二样本图像，其中，所述第一样本图像和所述第二样本图像包括属于目标类别的目标对象，所述第一样本图像标注有所述目标对象的真实位置和所述目标类别；将所述第一样本图像和所述第二样本图像输入所述特征提取网络，以获得所述第一样本图像的第一特征，其中，所述第一特征是基于所述第二样本图像提取的；将所述第一特征输入所述区域生成网络，以获得所述第一样本图像中的所述目标对象的预测位置和预测类别；基于所述真实位置、目标类别、预测位置和预测类别，计算所述对象检测模型的损失值；以及基于所述损失值，调整所述对象检测模型的参数。
根据本公开的一方面，提供了一种对象检测装置，包括：分割模块，被配置为将待测图像分割为多个图像块；生成模块，被配置为基于所述多个图像块，生成所述待测图像的特征表示；映射模块，被配置为采用预设的参数集对所述特征表示进行映射，以得到所述待测图像的多个特征图；以及确定模块，被配置为基于所述多个特征图，确定所述待测图像中的目标对象的位置和类别。
根据本公开的一方面，提供了一种对象检测模型的训练装置，所述对象检测模型包括特征提取网络和区域生成网络，所述方法包括：获取模块，被配置为获取第一样本图像和第二样本图像，其中，所述第一样本图像和所述第二样本图像包括属于目标类别的目标对象，所述第一样本图像标注有所述目标对象的真实位置和所述目标类别；第一处理模块，被配置为将所述第一样本图像和所述第二样本图像输入所述特征提取网络，以获得所述第一样本图像的第一特征，其中，所述第一特征是基于所述第二样本图像提取的；第二处理模块，被配置为将所述第一特征输入所述区域生成网络，以获得所述第一样本图像中的所述目标对象的预测位置和预测类别；计算模块，被配置为基于所述真实位置、目标类别、预测位置和预测类别，计算所述对象检测模型的损失值；以及调整模块，被配置为基于所述损失值，调整所述对象检测模型的参数。
根据本公开的一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器，该存储器存储有可被上述至少一个处理器执行的指令，该指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述任一方面的方法。
根据本公开的一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行上述任一方面的方法。
根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述任一方面的方法。
根据本公开的一个或多个实施例，能够实现准确的对象检测。
对象检测模型通过第一样本图像和第二样本图像训练得出，第一样本图像和第二样本图像包括属于目标类别的目标对象。在对象检测模型的训练过程中，基于第二样本图像来提取第一样本图像的特征(即第一特征)，能够使第二样本图像引导和增强对象检测模型对第一样本图像的特征学习，从而提高了对象检测模型对第一样本图像的对象检测效果。即使在目标类别的样本图像数量较少的情况下，训练得出的对象检测模型仍能够实现对目标对象的准确检测。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的对象检测方法的流程图；
图2示出了根据本公开的实施例的对象检测模型的结构图；
图3示出了根据本公开的实施例的对象检测模型的训练方法的流程图；
图4A、4B示出了根据本公开的实施例的第一图像和第二图像的示意图；
图5示出了根据本公开的实施例的样本图像集和局部图像集的示意图；
图6示出了根据本公开的实施例的对象检测模型的结构图；
图7示出了图6中的特征提取网络的结构图；
图8示出了根据本公开实施例的对象检测装置的结构框图
图9示出了根据本公开实施例的对象检测模型的训练装置的结构框图；以及
图10示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
在本公开中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
对象检测是人工智能领域的一种图像处理任务，指的是检测出图像中存在的目标对象，标定目标对象在图像中的位置，并确定目标对象所属的类别。对象检测通常采用深度学习技术来实现。即，基于样本图像来训练深度学习模型，然后使用训练好的模型对待测图像进行对象检测。
为了实现准确的对象检测，需要采用大量的样本图像来对模型进行训练。但是，大量样本图像的采集和标注通常是费时费力的。因此，希望提供一种方法，使得在样本图像数量较少(即“少样本”)的情况下，仍能使模型达到良好的检测效果。
在相关技术中，针对少样本的模型训练任务，通常对原有的样本图像进行一定的处理(例如旋转、平移、亮度调整、加噪声等)，得到新的样本图像，从而扩充样本图像集。但是，新增的样本图像只是在人眼视觉中呈现较大的变化，对于具有位移/尺度/形变不变性的深度学习网络而言，扩充后的样本图像集的训练效果与原始样本图像集的训练效果差异不大，对象检测的准确性仍然欠佳，难以满足用户要求。
为此，本公开的实施例提供一种对象检测方法和对象检测模型的训练方法，能够实现少样本情况下的准确对象检测。
下面将结合附图详细描述本公开的实施例。
图1示出了根据本公开实施例的对象检测方法100的流程图。方法100例如可以在客户端设备处执行，也可以在服务器处执行。即，方法100的各个步骤的执行主体可以是客户端设备，也可以是服务器。
如图1所示，方法100包括：
步骤110、将待测图像分割成多个图像块；
步骤120、基于上述多个图像块，生成待测图像的特征表示；
步骤130、采用预设的参数集对上述特征表示进行映射，以得到待测图像的多个特征图；以及
步骤140、基于上述多个特征图，确定待测图像中的目标对象的位置和类别。
根据本公开的实施例，能够实现准确的对象检测。
以下详细描述方法100的各个步骤。
在步骤110中，将待测图像分割成多个图像块。
根据一些实施例，可以将待测图像分割成尺寸相同且互不重叠的多个图像块。例如，待测图像的尺寸为224*224(像素)，可以设置图像块的尺寸为4*4，则待测图像可以被分割成(224/4)*(224/4)＝3136个图像块。
在步骤120中，基于步骤110中得到的多个图像块，生成待测图像的特征表示。
根据一些实施例，步骤120可以进一步包括：对于多个图像块中的每一个图像块：基于该图像块的像素值，确定该图像块的第一向量表示；采用预设的变换矩阵对第一向量表示进行变换，以生成图像块的第二向量表示；以及对多个图像块各自的第二向量表示进行组合，以得到待测图像的特征表示。
根据一些实施例，图像块的第一向量表示为该图像块的各个通道的像素值的拼接。例如，图像块的尺寸为4*4，并且包括R、G、B三个通道，则可以将该图像块的R、G、B三个通道的各个像素值进行拼接，得到该图像块的第一向量表示。第一向量表示是一个长度为4*4*3＝48的向量，具体可以是1*48的行向量，也可以是48*1的列向量。
在得到图像块的第一向量表示后，可以采用预设的变换矩阵对第一向量表示进行映射，以得到该图像块的第二向量表示。例如，第一向量表示是一个1*48的行向量，将该行向量右乘一个48*96的变换矩阵，可以得到1*96的第二向量表示。变换矩阵中的各个元素的值可以由本领域技术人员预先设定。
将各图像块的第二向量表示进行组合，可以得到待测图像的特征表示。例如，尺寸为224*224的待测图像被拆分为56*56个4*4的图像块，每个图像块的第二向量表示为1*96的向量，将各图像块的第二向量表示进行组合，得到待测图像的特征表示可以是96个56*56的特征图。
基于步骤110和120，可以实现待测图像的降采样，以提高待测图像的对象检测效率。
在步骤130中，采用预设的参数集对待测图像的特征表示进行映射，以得到待测图像的多个特征图。
根据一些实施例，预设的参数集可以包括至少一个矩阵和/或至少一个函数。采用这些矩阵和/或函数对待测图像的特征表示进行运算，可以得到待测图像的多个特征图。
步骤140、基于上述多个特征图，确定待测图像中的目标对象的位置和类别。
根据一些实施例，可以预先设置特征图与目标对象的位置和类别的对应关系，得到三者的对应关系表。然后，基于待测图像的多个特征图，通过查表来确定待测图像中的目标对象的位置和类别。
根据另一些实施例，也可以基于一组预设的参数来确定待测图像中的目标对象的位置和类别。一组预设的参数可以包括至少一个矩阵和/或至少一个函数。采用这些矩阵和/或函数对待测图像的多个特征图进行运算，可以确定待测图像中的目标对象的位置和类别。
根据一些实施例，方法100可以通过对象检测模型实现，方法100中的每个步骤对应于对象检测模型中的一个处理模块。将待测图像输入对象检测模型，即可得到对象检测模型输出的待测图像中的目标对象的位置和类别。
对象检测模型可以在方法100被执行之前，经训练得到。根据一些实施例，对象检测模型可以通过下文的对象检测模型的训练方法得到。
图2示出了根据本公开实施例的对象检测模型200的结构图。如图2所示，对象检测模型200包括分割模块210、生成模块220、映射模块230和确定模块240。模块210-240分别用于执行方法100中的步骤110-140。其中，映射模块230例如可以是Transformer模型，确定模块240例如可以是RPN(Region Proposal Network)。
根据本公开的实施例，还提供一种对象检测模型的训练方法，基于该方法，能够实现少样本情况下的准确对象检测。
图3示出了根据本公开实施例的对象检测模型的训练方法300的流程图，对象检测模型包括特征提取网络和区域生成网络。方法300例如可以在服务器处执行，也可以在客户端设备处执行。即，方法300的各个步骤的执行主体可以是服务器，也可以是客户端设备。
如图3所示，方法300包括：
步骤310、获取第一样本图像和第二样本图像，其中，第一样本图像和第二样本图像包括属于目标类别的目标对象，第一样本图像标注有目标对象的真实位置和目标类别；
步骤320、将第一样本图像和第二样本图像输入特征提取网络，以获得第一样本图像的第一特征，其中，第一特征是基于第二样本图像提取的；
步骤330、将第一特征输入区域生成网络，以获得第一样本图像中的目标对象的预测位置和预测类别；
步骤340、基于真实位置、目标类别、预测位置和预测类别，计算对象检测模型的损失值；以及
步骤350、基于损失值，调整对象检测模型的参数。
根据本公开的实施例，对象检测模型通过第一样本图像和第二样本图像训练得出，第一样本图像和第二样本图像包括属于目标类别的目标对象。在对象检测模型的训练过程中，基于第二样本图像来提取第一样本图像的特征(即第一特征)，能够使第二样本图像引导和增强对象检测模型对第一样本图像的特征学习，从而提高了对象检测模型对第一样本图像的对象检测效果。即使在目标类别的样本图像数量较少的情况下，训练得出的对象检测模型仍能够实现对目标对象的准确检测。
根据一些实施例，对象检测模型可以是经过预训练的模型。即，在执行步骤310之前，可以基于基础类别的图像数据对对象检测模型进行预训练(pre-training)，其中基础类别与上述目标类别不同。并且，基础类别可以有多个。由此，可以在大量的基础类别的图像数据上完成对对象检测模型的预训练，然后基于步骤310-350，对经预训练的对象检测模型进行微调(fine-tuning)，使得对象检测模型能够进一步检测目标类别的目标对象，提高步骤310-350所示的训练过程的训练效率，并且使对象检测模型具有良好的泛化性能。
在步骤310中，获取第一样本图像和第二样本图像。第一样本图像和第二样本图像均包括属于目标类别的目标对象，并且第一样本图像标注有目标对象的真实位置和目标类别。
需要说明的是，在方法300的各个实施例中，目标对象泛指属于目标类别的对象。第一样本图像中的目标对象和第二样本图像中的目标对象可以相同，也可以不同。
此外，需要说明的是，第一样本图像和第二样本图像也可以包括除目标对象以外的其他类别的对象。
图4A示出了根据本公开实施例的第一样本图像410和第二样本图像420的示意图。目标类别例如可以是“五边形”，相应地，任意五边形形状的对象均为目标对象。如图4A所示，第一样本图像410包括目标对象412，第二样本图像420包括目标对象422，第一样本图像410标注有目标类别“五边形”(图4A中未示出)和目标对象412的真实位置，即目标对象412的外接矩形框414。第一样本图像410除了包括目标对象412之外，还包括两个三角形的对象416和418(即类别为“三角形”)。第二样本图像420除了包括目标对象422之外，还包括一个六角星形状的对象424(即类别为“六角星”)。
根据一些实施例，第二样本图像包括且仅包括目标对象，不包括其他类别的对象，从而能够更有针对性地引导对象检测模型学习目标对象的特征，提高模型对目标对象的检测准确率。
例如，图4B示出了根据本公开另一实施例的第一样本图像430和第二样本图像440的示意图。目标类别例如可以是“五边形”，相应地，任意五边形形状的对象均为目标对象。如图4B所示，第一样本图像430包括目标对象432和其他类别的两个对象，并且标注有目标类别“五边形”(图4B中未示出)和目标对象432的真实位置，即目标对象432的外接矩形框434。第二样本图像420包括且仅包括目标对象442，能够更有针对性地引导对象检测模型学习目标对象的特征，提高模型对目标对象的检测准确率。
根据一些实施例，可以按照以下步骤获取第一样本图像和第二样本图像：获取目标类别的多个样本图像，其中，每个样本图像至少包括目标对象；从多个样本图像的每个样本图像中裁剪出包括目标对象的局部区域，得到多个局部图像，其中，第一样本图像为多个样本图像中的任一样本图像，第二样本图像为多个局部图像中的任一局部图像。
需要说明的是，在上述实施例中，可以延着目标对象的外接矩形框对样本图像进行裁剪，从而使裁剪得到的局部图像中包括且仅包括目标对象，以提高对象检测模型对目标对象的特征学习效果。
图5示出了根据本公开实施例的样本图像集和局部图像集的示意图。在图5所示的实施例中，目标类别为“五边形”。目标类别的5个样本图像，即样本图像510-550构成样本图像集500。从样本图像510中裁剪出包括目标对象512的局部区域514，得到局部图像561。从样本图像520中裁剪出包括目标对象522的局部区域524以及包括目标对象526的局部区域528，得到局部图像562和局部图像563。从样本图像530中裁剪出包括目标对象532的局部区域534，得到局部图像564。从样本图像540中裁剪出包括目标对象542的局部区域544，得到局部图像565。从样本图像550中裁剪出包括目标对象552的局部区域554，得到局部图像566。局部图像561-566构成局部图像集560。可以将样本图像集500中的任一样本图像作为第一样本图像，以及将局部图像集560中的任一局部图像作为第二样本图像。基于图5所示的样本图像集500和局部图像集560，可以得到5*6＝30个(第一样本图像，第二样本图像)的图像对。
根据另一些实施例，可以直接对目标类别的多个样本图像进行抽样，得到第一样本图像和第二样本图像。即，第一样本图像和第二样本图像分别可以是目标类别的多个样本图像中的任一样本图像。仍以图5为例，可以将样本图像集500中的任一样本图像作为第一样本图像，以及将样本图像集500中的任一样本图像作为第二样本图像。基于图5所示的样本图像集，可以得到5*5＝25个(第一样本图像，第二样本图像)的图像对。
图6示出了根据本公开实施例的对象检测模型600的结构图。如图6所示，对象检测模型600包括特征提取网络610和区域生成网络620。特征提取网络610例如可以包括一个或多个变换模块(Transformer)，区域生成网络620例如可以实现为RPN、Faster R-CNN等网络结构。
在步骤320中，第一样本图像和第二样本图像被输入特征提取网络610。特征提取网络610基于第二样本图像，对第一样本图像进行特征提取，得到第一样本图像的第一特征。
在步骤330中，第一样本图像的第一特征被输入区域生成网络620。区域生成网络620对第一特征进行处理，得到并输出第一样本图像中的目标对象的预测位置和预测类别。
根据一些实施例，特征提取网络包括用于提取第一样本图像的第一特征的第一提取分支和用于提取第二样本图像的第二特征的第二提取分支，第一提取分支包括至少一个第一注意力模块，第二提取分支包括至少一个第二注意力模块，上述至少一个第一注意力模块和上述至少一个第二注意力模块一一对应，每个第一注意力模块与其对应的第二注意力模块共享参数。根据一些实施例，第一提取分支和第二提取分支的结构可以完全相同并且共享参数。
根据一些实施例，第一注意力模块和第二注意力模块可以是自注意力(Self-Attention)模块。自注意力模块的参数包括第一变换矩阵WQ、第二变换矩阵WK和第三变换矩阵WV。自注意力模块执行的数据处理过程如下：
首先，获取输入数据X，分别采用第一变换矩阵WQ、第二变换矩阵WK和第三变换矩阵WV对X进行线性变换，得到查询矩阵Query(简称Q，Q＝X·WQ)、键矩阵Key(简称K，K＝X·WK)和特征值矩阵Value(简称V，V＝X·WV)。
随后，按照以下公式来得到输出数据：
Figure BDA0003328848270000111
式(1)中，Attention(Q,K,V)为自注意力模块的输出，dk为矩阵K的行数或列数。
在本公开的实施例中，所述至少一个第二注意力模块中的每个第二注意力模块被配置为：对输入该第二注意力模块的第二输入数据进行处理，输出第二输入数据的特征值矩阵(V2)。
所述至少一个第一注意力模块中的每个第一注意力模块被配置为：获取相应的第二注意力模块输出的特征值矩阵(V2)；对输入该第一注意力模块的第一输入数据进行处理，以得到该第一输入数据的查询矩阵(Q1)和键矩阵(K1)；以及基于查询矩阵(Q1)、键矩阵(K1)和特征值矩阵(V2)，确定并输出该第一注意力模块的第一输出数据。
以下结合图7来说明第一注意力模块和第二注意力模块的数据处理过程。
图7示出了图6中的特征提取网络610的示例性结构图。如图7所示，特征提取网络包括第一提取分支610A和第二提取分支610B。第一提取分支610A用于提取第一样本图像的第一特征，第二提取分支610B用于提取第二样本图像的第二特征。
第一提取分支610A和第二提取分支610B的结构相同，二者分别包括一个降采样模块(611A/611B)和一个变换模块(616A/616B)，并且，变换模块(616A/616B)进一步包括归一化模块(612A/612B)、注意力模块(613A/613B)、归一化模块(614A/614B)和多层感知模块(615A/615B)。
第一提取分支610A和第二提取分支610B共享参数。即，降采样模块611A与降采样模块611B的参数值相同，变换模块616A和变换模块616B的参数值相同。进一步地，归一化模块612A与归一化模块612B的参数值相同，第一注意力模块613A与第二注意力模块613B的参数值相同，以此类推。
降采样模块611A、611B分别用于将第一样本图像、第二样本图像分割成多个图像块，并对多个图像块进行处理(例如进行上文步骤120的处理，确定各图像块的第一向量表示，对第一向量表示进行线性变换以得到第二向量表示，以及将图像块的向量表示进行组合)，生成第一样本图像、第二样本图像的特征表示。
归一化模块612A、612B、614A、614B例如可以是LN(Layer Normalization)处理层。
第一注意力模块613A和第二注意力模块613B例如可以是窗口多头自注意(WindowMulti-head Self-Attention,W-MSA)模块、移位窗口多头自注意(Shifted-Window Multi-head Self-Attention,SW-MSA)模块等。
在图7所示的实施例中，第一注意力模块613A和第二注意力模块613B具有相同的变换矩阵WQ、WK、WV。
第二注意力模块613B采用变换矩阵WV对第二输入数据X2进行变换，得到特征值矩阵V2(V2＝X2·WV)，并将特征值矩阵V2输出至第一注意力模块613A。
第一注意力模块613A获取特征值矩阵V2。并且，采用变换矩阵对第一输入数据X1进行变换，得到查询矩阵Q1(Q1＝X1·WQ)和键矩阵K1(K1＝X1·WK)，然后按照下式(2)，计算得出第一输出数据O1：
Figure BDA0003328848270000121
式(2)中，dk1为矩阵K1的行数或列数。
在本公开的实施例中，通过将第一注意力模块613A的特征值矩阵替换为第二注意力模块613B计算得出的特征值矩阵V2，可以将第二样本图像的特征引入第一样本图像，从而增强第一样本图像的特征学习效果。
多层感知模块615A、615B例如可以是由多个全连接层构成的多层感知器(Multi-Layer Perceptron，MLP)。
需要说明的是，图7所示的特征提取网络的结构仅仅是一个示例。在实践中，特征提取网络也可以采用其他的结构，例如，特征提取网络可以包括多个依次相连的降采样模块和变换模块。本公开不限制特征提取网络的具体结构。
继续参考图3。在通过步骤330获得第一样本图像中的目标对象的预测位置和预测类别后，可以执行步骤340，基于第一样本图像中的目标对象的真实位置、所属的目标类别、预测位置和预测类别，计算对象检测模型的损失值。需要说明的是，本公开对损失值的计算公式(即损失函数)不作限制。在一些实施例中，可以将损失函数设置为目标类别与预测类别的交叉熵损失和真实位置与预测位置的重叠率损失(GIoU)的和。
在步骤350中，例如可以通过反向传播算法来调整对象检测模型的参数。
上述步骤310-350可以循环执行多次，直至对象检测模型的损失值小于预设阈值时，对象检测模型训练完成。
根据一些实施例，响应于确定对象检测模型的损失值小于预设阈值，删除特征提取网络中的第二提取分支。即，在对象检测模型训练完成后，删除第二提取分支。第二提取分支仅在对象检测模型的训练阶段发挥作用，对于对象检测模型的应用阶段没有作用。通过删除第二提取分支，可以精简模型结构，从而减少对象检测模型占用的存储空间。
通过方法300训练得到的对象检测模型可用于对待测图像中的属于目标类别的对象。具体地，可以将待测图像输入对象检测模型(具体地，输入对象检测模型的第一提取分支)，对象检测模型将输出待测图像中的目标对象的位置和类别。
根据本公开的实施例，还提供了一种对象检测装置。图8示出了根据本公开实施例的对象检测装置800的结构框图。如图8所示，装置800包括：
分割模块810，被配置为将待测图像分割为多个图像块；
生成模块820，被配置为基于所述多个图像块，生成所述待测图像的特征表示；
映射模块830，被配置为采用预设的参数集对所述特征表示进行映射，以得到所述待测图像的多个特征图；以及
确定模块840，被配置为基于所述多个特征图，确定所述待测图像中的目标对象的位置和类别。
根据本公开的实施例，能够实现准确的对象检测。
根据本公开的实施例，还提供了一种对象检测模型的训练装置。对象检测模型包括特征提取网络和区域生成网络。图9示出了根据本公开实施例的对象检测模型的训练装置900的结构框图。如图9所示，装置900包括：
获取模块910，被配置为获取第一样本图像和第二样本图像，其中，所述第一样本图像和所述第二样本图像包括属于目标类别的目标对象，所述第一样本图像标注有所述目标对象的真实位置和所述目标类别；
第一处理模块920，被配置为将所述第一样本图像和所述第二样本图像输入所述特征提取网络，以获得所述第一样本图像的第一特征，其中，所述第一特征是基于所述第二样本图像提取的；
第二处理模块930，被配置为将所述第一特征输入所述区域生成网络，以获得所述第一样本图像中的所述目标对象的预测位置和预测类别；
计算模块940，被配置为基于所述真实位置、目标类别、预测位置和预测类别，计算所述对象检测模型的损失值；以及
调整模块950，被配置为基于所述损失值，调整所述对象检测模型的参数。
根据本公开的实施例，对象检测模型通过第一样本图像和第二样本图像训练得出，第一样本图像和第二样本图像包括属于目标类别的目标对象。在对象检测模型的训练过程中，基于第二样本图像来提取第一样本图像的特征(即第一特征)，能够使第二样本图像引导和增强对象检测模型对第一样本图像的特征学习，从而提高了对象检测模型对第一样本图像的对象检测效果。即使在目标类别的样本图像数量较少的情况下，训练得出的对象检测模型仍能够实现对目标对象的准确检测。
应当理解，图8中所示装置800的各个模块或单元可以与参考图1描述的方法100中的各个步骤相对应，图9中所示装置900的各个模块可以与参考图3描述的方法300中的各个步骤相对应。由此，上面针对方法100描述的操作、特征和优点同样适用于装置800及其包括的模块以及单元，上面针对方法300描述的操作、特征和优点同样适用于装置900及其包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。
虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。例如，上面描述的分割模块810和生成模块820在一些实施例中可以组合成单个模块。
还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图8、图9描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在一些实施例中，分割模块810、生成模块820、映射模块830、确定模块840、获取模块910、第一处理模块920、第二处理模块930、计算模块940、调整模块950中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
参考图10，现将描述可以作为本公开的服务器或客户端的电子设备600的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006、输出单元1007、存储单元1008以及通信单元1009。输入单元1006可以是能向设备1000输入信息的任何类型的设备，输入单元1006可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元1007可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元1008可以包括但不限于磁盘、光盘。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、802.11设备、Wi-Fi设备、WiMAX设备、蜂窝通信设备和/或类似物。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如方法100或方法300。例如，在一些实施例中，方法100或方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的方法100或方法300的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法100或方法300。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (15)

1.一种对象检测方法，包括：
将待测图像分割成多个图像块；
基于所述多个图像块，生成所述待测图像的特征表示；
采用预设的参数集对所述特征表示进行映射，以得到所述待测图像的多个特征图；以及
基于所述多个特征图，确定所述待测图像中的目标对象的位置和类别。
2.根据权利要求1所述的方法，其中，所述基于所述多个图像块，生成所述待测图像的特征表示包括：
对于所述多个图像块中的每一个图像块：
基于所述图像块的像素值，确定所述图像块的第一向量表示；
采用预设的变换矩阵对所述第一向量表示进行变换，以生成所述图像块的第二向量表示；以及
对所述多个图像块各自的第二向量表示进行组合，以得到所述待测图像的特征表示。
3.根据权利要求2所述的方法，其中，所述多个图像块的尺寸相同并且互不重叠，并且
其中，所述图像块的第一向量表示为该图像块的各个通道的像素值的拼接。
4.一种对象检测模型的训练方法，其中，所述对象检测模型包括特征提取网络和区域生成网络，所述方法包括：
获取第一样本图像和第二样本图像，其中，所述第一样本图像和所述第二样本图像包括属于目标类别的目标对象，所述第一样本图像标注有所述目标对象的真实位置和所述目标类别；
将所述第一样本图像和所述第二样本图像输入所述特征提取网络，以获得所述第一样本图像的第一特征，其中，所述第一特征是基于所述第二样本图像提取的；
将所述第一特征输入所述区域生成网络，以获得所述第一样本图像中的所述目标对象的预测位置和预测类别；
基于所述真实位置、目标类别、预测位置和预测类别，计算所述对象检测模型的损失值；以及
基于所述损失值，调整所述对象检测模型的参数。
5.根据权利要求4所述的方法，其中，所述第二样本图像包括且仅包括所述目标对象。
6.根据权利要求4或5所述的方法，其中，所述获取第一样本图像和第二样本图像包括：
获取所述目标类别的多个样本图像，其中，每个样本图像至少包括所述目标对象；
从所述多个样本图像的每个样本图像中裁剪出包括所述目标对象的局部区域，得到多个局部图像，
其中，所述第一样本图像为所述多个样本图像中的任一样本图像，所述第二样本图像为所述多个局部图像中的任一局部图像。
7.根据权利要求4所述的方法，其中，所述第一样本图像和所述第二样本图像分别为所述目标类别的多个样本图像中的任一样本图像。
8.根据权利要求4-7中任一项所述的方法，在所述获取第一样本图像和所述第二样本图像之前，还包括：
基于基础类别的图像数据对所述对象检测模型进行预训练，其中，所述基础类别与所述目标类别不同。
9.根据权利要求4-8中任一项所述的方法，其中，所述特征提取网络包括用于提取所述第一特征的第一提取分支和用于提取所述第二样本图像的第二特征的第二提取分支，所述第一提取分支包括至少一个第一注意力模块，所述第二提取分支包括至少一个第二注意力模块，所述至少一个第一注意力模块和所述至少一个第二注意力模块一一对应，每个第一注意力模块与其对应的第二注意力模块共享参数，
所述至少一个第二注意力模块中的每个第二注意力模块被配置为：对输入该第二注意力模块的第二输入数据进行处理，输出所述第二输入数据的特征值矩阵；
所述至少一个第一注意力模块中的每个第一注意力模块被配置为：
获取相应的第二注意力模块输出的特征值矩阵；
对输入该第一注意力模块的第一输入数据进行处理，以得到所述第一输入数据的查询矩阵和键矩阵；以及
基于所述查询矩阵、所述键矩阵和所述特征值矩阵，确定并输出该第一注意力模块的第一输出数据。
10.根据权利要求9所述的方法，还包括：
响应于确定所述损失值小于预设阈值，删除所述第二提取分支。
11.一种对象检测装置，包括：
分割模块，被配置为将待测图像分割为多个图像块；
生成模块，被配置为基于所述多个图像块，生成所述待测图像的特征表示；
映射模块，被配置为采用预设的参数集对所述特征表示进行映射，以得到所述待测图像的多个特征图；以及
确定模块，被配置为基于所述多个特征图，确定所述待测图像中的目标对象的位置和类别。
12.一种对象检测模型的训练装置，其中，所述对象检测模型包括特征提取网络和区域生成网络，所述方法包括：
获取模块，被配置为获取第一样本图像和第二样本图像，其中，所述第一样本图像和所述第二样本图像包括属于目标类别的目标对象，所述第一样本图像标注有所述目标对象的真实位置和所述目标类别；
第一处理模块，被配置为将所述第一样本图像和所述第二样本图像输入所述特征提取网络，以获得所述第一样本图像的第一特征，其中，所述第一特征是基于所述第二样本图像提取的；
第二处理模块，被配置为将所述第一特征输入所述区域生成网络，以获得所述第一样本图像中的所述目标对象的预测位置和预测类别；
计算模块，被配置为基于所述真实位置、目标类别、预测位置和预测类别，计算所述对象检测模型的损失值；以及
调整模块，被配置为基于所述损失值，调整所述对象检测模型的参数。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-10中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-10中任一项所述的方法。
CN202111271219.1A 2021-10-29 2021-10-29 对象检测方法、对象检测模型的训练方法及装置 Active CN113963148B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111271219.1A CN113963148B (zh) 2021-10-29 2021-10-29 对象检测方法、对象检测模型的训练方法及装置
EP22200204.0A EP4123594A3 (en) 2021-10-29 2022-10-07 Object detection method and apparatus, computer-readable storage medium, and computer program product
JP2022165371A JP2022185144A (ja) 2021-10-29 2022-10-14 対象検出方法、対象検出モデルのレーニング方法および装置
US18/049,742 US20230066021A1 (en) 2021-10-29 2022-10-26 Object detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111271219.1A CN113963148B (zh) 2021-10-29 2021-10-29 对象检测方法、对象检测模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN113963148A true CN113963148A (zh) 2022-01-21
CN113963148B CN113963148B (zh) 2023-08-08

Family

ID=79468255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111271219.1A Active CN113963148B (zh) 2021-10-29 2021-10-29 对象检测方法、对象检测模型的训练方法及装置

Country Status (4)

Country Link
US (1) US20230066021A1 (zh)
EP (1) EP4123594A3 (zh)
JP (1) JP2022185144A (zh)
CN (1) CN113963148B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511757A (zh) * 2022-01-27 2022-05-17 北京百度网讯科技有限公司 用于训练图像检测模型的方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908498B (zh) * 2022-12-27 2024-01-02 清华大学 一种基于类别最优匹配的多目标跟踪方法及装置
CN116188875B (zh) * 2023-03-29 2024-03-01 北京百度网讯科技有限公司 图像分类方法、装置、电子设备、介质和产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251694A1 (en) * 2018-02-14 2019-08-15 Elekta, Inc. Atlas-based segmentation using deep-learning
CN111275660A (zh) * 2018-12-05 2020-06-12 合肥欣奕华智能机器有限公司 一种平板显示器缺陷检测方法及装置
WO2021087985A1 (zh) * 2019-11-08 2021-05-14 深圳市欢太科技有限公司 模型训练方法、装置、存储介质及电子设备
CN112966742A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 模型训练方法、目标检测方法、装置和电子设备
CN113011309A (zh) * 2021-03-15 2021-06-22 北京百度网讯科技有限公司 图像识别方法、装置、设备、介质及程序产品
CN113378760A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 训练目标检测模型和检测目标的方法及装置
CN113378696A (zh) * 2021-06-08 2021-09-10 北京百度网讯科技有限公司 图像处理方法、装置、设备及存储介质
CN113436105A (zh) * 2021-06-30 2021-09-24 北京百度网讯科技有限公司 模型训练和图像优化方法、装置、电子设备及存储介质
CN113449586A (zh) * 2021-04-12 2021-09-28 北京市威富安防科技有限公司 目标检测方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832568B (zh) * 2020-06-12 2024-01-12 北京百度网讯科技有限公司 车牌识别方法、车牌识别模型的训练方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251694A1 (en) * 2018-02-14 2019-08-15 Elekta, Inc. Atlas-based segmentation using deep-learning
CN111275660A (zh) * 2018-12-05 2020-06-12 合肥欣奕华智能机器有限公司 一种平板显示器缺陷检测方法及装置
WO2021087985A1 (zh) * 2019-11-08 2021-05-14 深圳市欢太科技有限公司 模型训练方法、装置、存储介质及电子设备
CN112966742A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 模型训练方法、目标检测方法、装置和电子设备
CN113011309A (zh) * 2021-03-15 2021-06-22 北京百度网讯科技有限公司 图像识别方法、装置、设备、介质及程序产品
CN113449586A (zh) * 2021-04-12 2021-09-28 北京市威富安防科技有限公司 目标检测方法、装置、计算机设备和存储介质
CN113378696A (zh) * 2021-06-08 2021-09-10 北京百度网讯科技有限公司 图像处理方法、装置、设备及存储介质
CN113378760A (zh) * 2021-06-25 2021-09-10 北京百度网讯科技有限公司 训练目标检测模型和检测目标的方法及装置
CN113436105A (zh) * 2021-06-30 2021-09-24 北京百度网讯科技有限公司 模型训练和图像优化方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROSS GIRSHICK: "Rich feature hierarchies for accurate object detection and semantic segmentation", 2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION *
李默;: "基于深度学习的智慧图书馆移动视觉搜索服务模式研究", 现代情报 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511757A (zh) * 2022-01-27 2022-05-17 北京百度网讯科技有限公司 用于训练图像检测模型的方法和装置

Also Published As

Publication number Publication date
US20230066021A1 (en) 2023-03-02
EP4123594A2 (en) 2023-01-25
CN113963148B (zh) 2023-08-08
EP4123594A3 (en) 2023-04-19
JP2022185144A (ja) 2022-12-13

Similar Documents

Publication Publication Date Title
CN111104962B (zh) 图像的语义分割方法、装置、电子设备及可读存储介质
CN113963148B (zh) 对象检测方法、对象检测模型的训练方法及装置
CN113656582B (zh) 神经网络模型的训练方法、图像检索方法、设备和介质
CN112857268B (zh) 对象面积测量方法、装置、电子设备和存储介质
CN112784778B (zh) 生成模型并识别年龄和性别的方法、装置、设备和介质
EP3955216A2 (en) Method and apparatus for recognizing image, electronic device and storage medium
CN113591918B (zh) 图像处理模型的训练方法、图像处理方法、装置和设备
CN112528858A (zh) 人体姿态估计模型的训练方法、装置、设备、介质及产品
CN116596916B (zh) 缺陷检测模型的训练和缺陷检测方法及其装置
CN113705628B (zh) 预训练模型的确定方法、装置、电子设备以及存储介质
CN112749758A (zh) 图像处理方法、神经网络的训练方法、装置、设备和介质
CN113177449A (zh) 人脸识别的方法、装置、计算机设备及存储介质
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
US20240070454A1 (en) Lightweight model training method, image processing method, electronic device, and storage medium
CN115511779B (zh) 图像检测方法、装置、电子设备和存储介质
CN113592932A (zh) 深度补全网络的训练方法、装置、电子设备及存储介质
CN112949433A (zh) 视频分类模型的生成方法、装置、设备和存储介质
CN113537192A (zh) 图像检测方法、装置、电子设备及存储介质
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN113344213A (zh) 知识蒸馏方法、装置、电子设备及计算机可读存储介质
CN112966592A (zh) 手部关键点检测方法、装置、设备和介质
WO2024119304A1 (zh) 基于yolov6的有向目标检测网络及其训练方法、以及有向目标检测方法
CN115482443A (zh) 图像特征融合及模型训练方法、装置、设备以及存储介质
CN113205131A (zh) 图像数据的处理方法、装置、路侧设备和云控平台
CN112632309B (zh) 图像展示方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant