CN113870254A - 目标对象的检测方法、装置、电子设备及存储介质 - Google Patents

目标对象的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113870254A
CN113870254A CN202111440333.2A CN202111440333A CN113870254A CN 113870254 A CN113870254 A CN 113870254A CN 202111440333 A CN202111440333 A CN 202111440333A CN 113870254 A CN113870254 A CN 113870254A
Authority
CN
China
Prior art keywords
sub
image
model
target object
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111440333.2A
Other languages
English (en)
Other versions
CN113870254B (zh
Inventor
王博
卢鹏
李兵
胡卫明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin Zhongke Jinan Intelligent Technology Co ltd
Institute of Automation of Chinese Academy of Science
Original Assignee
Renmin Zhongke Jinan Intelligent Technology Co ltd
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin Zhongke Jinan Intelligent Technology Co ltd, Institute of Automation of Chinese Academy of Science filed Critical Renmin Zhongke Jinan Intelligent Technology Co ltd
Priority to CN202111440333.2A priority Critical patent/CN113870254B/zh
Publication of CN113870254A publication Critical patent/CN113870254A/zh
Application granted granted Critical
Publication of CN113870254B publication Critical patent/CN113870254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种目标对象的检测方法、装置、电子设备及存储介质。该方法包括：根据待检测图像生成第一图像和第二图像，第一图像和第二图像的尺寸不同，第一图像和第二图像中的至少一个图像由待检测图像等比缩放得到，采用第一子模型检测第一图像，分别得到至少一类目标对像的第一子特征，以及采用第二子模型检测第二图像，分别得到至少一类目标对像的第二子特征，第一子模型与第二子模型是预训练的检测模型中相同的子模型，分别融合各类目标对像的第一子特征和第二子特征得到相应类的目标对像在待检测图像中的特征，实现了对待检测图像的整体轮廓和目标对象的同时检测，从而提高了目标对象检测方法检测的性能。

Description

目标对象的检测方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及人工智能（Artificial Intelligence，AI）技术领域，具体涉及一种目标对象的检测方法、装置、电子设备及存储介质。
背景技术
目标对象检测技术是一种从包含至少一种对象的数据集中，识别以及定位目标对象的技术。目标对象检测例如包括目标图像检测等。目标对象检测技术被广泛应用于医学、安保、视频分析以及自动驾驶等领域。
以目标图像的检测为例，一种常用的目标图像检测方法在于，通过预训练的检测模型的从源图像中检测该源图像中的目标图像。其中，该检测模型的训练原理在于，标注出训练样本中各种图像的类别，以使训练得到的检测模型能够基于类别特征识别出源图像中的目标图像。
通常，基于类别特征检测目标图像的原理在于，通过检测图像中明显表征相应类别的特征来确定目标图像，而对目标图像中表征类别相对不明显的特征几乎不关注，例如检测模型通过识别大象的面部特征检测出图像“大象”，而不识别大象身体部分的图像特征。这样，若目标对象的尺寸相对较小，表征该目标对象类别特征的数据相对并不突出，从而会降低检测的准确率，另外，由于常用的检测模型几乎不识别不突出的类别特征，导致无法检测到目标对象的轮廓。可见，常用的目标对象检测模型检测性能不佳。
发明内容
本发明实施例提供了一种目标对象的检测方法、装置、电子设备及存储介质，能够解决现有目标对象检测方法检测性能不佳的问题。
第一方面，本发明实施例提供了一种目标对象的检测方法，所述方法包括：
获取待检测图像，所述待检测图像中包含至少一类目标对象；
根据所述待检测图像生成第一图像和第二图像，所述第一图像和所述第二图像的尺寸不同，所述第一图像和所述第二图像中的至少一个图像由所述待检测图像等比缩放得到；
采用第一子模型检测所述第一图像，分别得到所述至少一类目标对像的第一子特征，以及采用第二子模型检测所述第二图像，分别得到所述至少一类目标对像的第二子特征，所述第一子模型与所述第二子模型是预训练的检测模型中相同的子模型；
分别融合各类目标对像的第一子特征和第二子特征得到相应类的目标对像在所述待检测图像中的特征，作为所述至少一类目标对象的检测结果。
优先地，所述任一目标对像在所述待检测图像中的特征包括：
所述目标对像对应的类别特征，以及所述目标对像在所述待检测图像中位置特征。
优先地，还包括：
采用第一训练样本集和第二训练样本集训练初始模型，得到所述检测模型，
其中，所述第二训练样本集是等比缩放所述第一训练样本集中的各个图像得到的，所述初始模型包括第一子网络和第二子网络，所述第一子网络与所述第一子模型对应，所述第二子网络与所述第二子模型对应。
优先地，所述采用第一训练样本集和第二训练样本集训练初始模型，得到所述检测模型，包括：
获取所述第一子网络对所述第一训练样本集处理得到的第一处理数据集，以及所述第二子网络对所述第二训练样本集处理得到的第二处理数据集；
计算所述第一处理数据集与所述第二处理数据集之间的损失函数值loss；
若所述loss小于或者等于预设阈值，将所述初始模型确定为所述检测模型；
若所述loss大于所述预设阈值，调整所述初始模型的参数，重复执行获取所述第一子网络对所述第一训练样本集处理得到的第一处理数据集，以及所述第二子网络对所述第二训练样本集处理得到的第二处理数据集的步骤。
优先地，所述获取所述第一子网络对所述第一训练样本集处理得到的第一处理数据集，以及所述第二子网络对所述第二训练样本集处理得到的第二处理数据集，包括：
获取所述第一子网络所提取的所述第一训练样本集的至少两个第一特征图，以及所述第一子网络对所述第一训练样本集所包含对象的第一分类数据；
根据预设的掩码规则获得所述至少两个第一特征图对应的至少一个第一掩码图；
将所述至少一个第一掩码图和所述第一分类数据确定为所述第一处理数据集；
获取所述第二子网络所提取的所述第二训练样本集的至少两个第二特征图，以及所述第二子网络对所述第二训练样本集所包含对象的第二分类数据；
根据所述预设的掩码规则获得所述至少两个第二特征图对应的至少一个第二掩码图；
将所述至少一个第二掩码图和所述第二分类数据确定为所述第二处理数据集。
优先地，所述计算所述第一处理数据集与所述第二处理数据集之间的损失函数值loss，包括：
计算所述至少一个第一掩码图与所述至少一个第二掩码图之间的损失值，得到第一子loss，所述第一子loss表征所述第一子网络检测的目标对象与所述第二子网络检测的目标对象差异；
计算所述第一分类数据和所述第二分类数据的正则损失值，得到第二子loss，所述第二子loss表征所述第一子网络针对各个类别的检测结果与所述第二子网络针对各个类别的检测结果的差异；
按照类别计算所述第一分类数据和所述第二分类数据的损失值，得到第三子loss，所述第三子loss表征所述第一子网络针对全部类别的检测结果与所述第二子网络针对全部类别的检测结果的差异；
对所述第一子loss、所述第二子loss和所述第三子loss加权得到所述loss。
优先地，所述根据预设的掩码规则获得所述至少两个第一特征图对应的至少一个第一掩码图，包括：
根据所述预设的掩码规则将所述至少两个第一特征图分别转换为掩码图，得到至少两个第一掩码图；或者，
根据所述预设的掩码规则将所述至少两个第一特征图分别转换为掩码图，得到至少两个子掩码图，融合所述至少两个子掩码图得到所述第一掩码图。
优先地，针对一个第一特征图，根据所述预设的掩码规则将所述第一特征图转换为掩码图，包括：
将所述第一特征图中像素值大于第一阈值的像素值设置为1；
将所述第一特征图中像素值大于第二阈值的像素值设置为0；
将所述第一特征图中像素值小于或者等于所述第一阈值，且大于或者等于所述第二阈值的像素值设置为255，
其中，所述第一阈值大于所述第二阈值。
优先地，所述等比缩放的系数范围是0.3到3。
第二方面，本发明实施例提供了一种目标对象的检测装置，所述装置包括：
获取模块，用于获取待检测图像，所述待检测图像中包含至少一类目标对象；
等比缩放模块，用于根据所述待检测图像生成第一图像和第二图像，所述第一图像和所述第二图像的尺寸不同，所述第一图像和所述第二图像中的至少一个图像由所述待检测图像等比缩放得到；
检测模块，用于采用第一子模型检测所述第一图像，分别得到所述至少一类目标对像的第一子特征，以及采用第二子模型检测所述第二图像，分别得到所述至少一类目标对像的第二子特征，所述第一子模型与所述第二子模型是预训练的检测模型中相同的子模型；
融合模块，分别融合各类目标对像的第一子特征和第二子特征得到相应类的目标对像在所述待检测图像中的特征，作为所述至少一类目标对象的检测结果。
本发明实施例的第三方面提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。
本发明实施例的第四方面提供了一种存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
本申请通过采用第一子模型检测所述第一图像，分别得到所述至少一类目标对像的第一子特征，以及采用第二子模型检测所述第二图像，分别得到所述至少一类目标对像的第二子特征，所述第一子模型与所述第二子模型是预训练的检测模型中相同的子模型，分别融合各类目标对像的第一子特征和第二子特征得到相应类的目标对像在所述待检测图像中的特征，作为所述至少一类目标对象的检测结果，实现了对待检测图像的整体轮廓和目标对象的同时检测，从而提高了目标对象检测方法检测的性能。
附图说明
通过参考附图会更加清楚的理解本发明实施例的特征和优点，附图是示意性的而不应理解为对本发明实施例进行任何限制，在附图中：
图1是根据本发明实施例的一些实施例所示的一种目标对象的检测方法流程图；
图2是根据本发明实施例的一些实施例所示的一种目标对象的检测方法的具体示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本发明实施例的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本发明实施例显而易见的可以在没有这些细节的情况下实施。应当理解的是，本发明实施例中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本发明实施例所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本发明实施例所用术语仅为了描述特定实施例，而非限制本发明实施例范围。如本发明实施例说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图，本发明实施例的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本发明实施例的保护范围。可以理解的是，附图并非按比例绘制。
本发明实施例中使用了多种结构图用来说明根据本发明实施例的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本发明实施例。本发明实施例的保护范围以权利要求为准。
本申请提供了一种目标对象的检测方法，该方法是应用在第一子模型和第二子模型中，其中，所述第一子模型与所述第二子模型是预训练的检测模型中相同的子模型，获取待检测图像生成的第一图像和第二图，第一图像和第二图是由其中任意一幅等比缩放而获得，将第一图像和第二图像对应输入第一子模型和第二子模型中，分别得到第一子特征和第二子特征，融合各类第一子特征和第二子特征得到目标对像在所述待检测图像中的特征。
具体地，如图1所示，步骤S10，获取待检测图像，所述待检测图像中包含至少一类目标对象。
步骤S20，根据所述待检测图像生成第一图像和第二图像，所述第一图像和所述第二图像的尺寸不同，所述第一图像和所述第二图像中的至少一个图像由所述待检测图像等比缩放得到。其中，图像之间的等比缩放的系数范围是0.3到3。
步骤S30，采用第一子模型检测所述第一图像，分别得到所述至少一类目标对像的第一子特征，以及采用第二子模型检测所述第二图像，分别得到所述至少一类目标对像的第二子特征，所述第一子模型与所述第二子模型是预训练的检测模型中相同的子模型。
事实上，第一子模型与第二子模型是预训练的检测模型中相同的子模型，也可以称为“孪生模型”。其中，第一子模型和第二子模型为预训练的模型，第一子模型通过对第一图像分类处理得到至少一类目标对像的第一子特征，第二子模型通过对第二图像分类处理得到至少一类目标对像的第二子特征，至少一类目标对像的第一子特征和至少一类目标对像的第二子特征都是各自目标对象所需要的特征，而且这些特征是整个目标对象的所有特征，即使目标对象的尺寸相对较小，也能通过识别整个目标对象所有特征，从而识别出目标对象的整个图像特征，即能够识别出目标对象的整个图像轮廓，提高了检测的准确率，而且还能找到目标对象的位置，使得目标对象检测模型检测性能更好，这些特征还可以是目标对象的关键特征，这样进步一的保证了对目标对象的检测的准确率。
步骤S40，分别融合各类目标对像的第一子特征和第二子特征得到相应类的目标对像在所述待检测图像中的特征，作为所述至少一类目标对象的检测结果。通过融合各类目标对像的第一子特征得到相应类的目标对像在所述待检测图像中的特征，融合各类目标对像的第二子特征相应类的目标对像在所述待检测图像中的特征，这些待检测图像中的特征可以是待检测图像中的目标对象的整个特征或关键特征，这些目标对象的整个特征或关键特征能很容易找到在待检测图像中的位置，并且这些目标对象的整个特征即为目标对象的轮廓，因而能够提高对目标对象检测的准确率。
通过上述步骤，解决了常用的检测模型几乎不识别不突出的类别特征的问题，而且还能清楚地检测到目标对象的轮廓以及目标对象在待检测图像中的位置，从而使目标对象检测方法检测性能较佳，提高了对目标对象检测的准确率。
在一种实施例中，所述任一目标对像在所述待检测图像中的特征包括：
所述目标对像对应的类别特征，以及所述目标对像在所述待检测图像中位置特征。通过对目标对像不同的类别特征进行提取，将提取出来的同类型特征进行融合，找到对应的目标对象在待检测图像中的特征，根据对应的目标对象在待检测图像中的特征计算得到目标对像在所述待检测图像中位置特征。
请参阅图2，在一种实施例中，还包括：训练过程，具体过程如下，
采用第一训练样本集和第二训练样本集训练初始模型，得到所述检测模型，其中，所述第二训练样本集是等比缩放所述第一训练样本集中的各个图像得到的，所述初始模型包括第一子网络和第二子网络，所述第一子网络与所述第一子模型对应，所述第二子网络与所述第二子模型对应。在另外实施例中，所述初始模型包括第一子网络和第二子网络，其中，第一子网络和第二子网络可以是参数不同的网络，将第一训练样本集和第二训练样本集分别输入到对应的第一子网络和第二子网络分别进行训练，直到训练达到要求，才能将训练完成的初始模型转换为检测模型，检测模型可以对待检测图像的中的目标对象相关特征提取融合，最终得到目标对象的整个特征或关键特征，从而提高了检测的准确率。而且本申请的孪生网络可以同时输入多个不同的样本进行同时学习，进而学习能力比分类网络骨干学习能力强，因为分类网络骨干一般只能学习部分，而孪生网络全部学习，还能够学习不同尺寸图像的特征，即等比缩放图像的特征。
在一种实施例中，所述采用第一训练样本集和第二训练样本集训练初始模型，得到所述检测模型，包括：
获取所述第一子网络对所述第一训练样本集处理得到的第一处理数据集，以及所述第二子网络对所述第二训练样本集处理得到的第二处理数据集，计算所述第一处理数据集与所述第二处理数据集之间的损失函数值loss，若所述loss小于或者等于预设阈值，将所述初始模型确定为所述检测模型，若所述loss大于所述预设阈值，调整所述初始模型的参数，重复执行获取所述第一子网络对所述第一训练样本集处理得到的第一处理数据集，以及所述第二子网络对所述第二训练样本集处理得到的第二处理数据集的步骤。通过判断第一处理数据集与所述第二处理数据集之间的损失函数值loss与预设阈值大小的关系来确定模型是否可用，即是否得到检测模型。若loss小于或者等于预设阈值，则确定模型可用，即相应初始模型可以作为检测模型，而loss大于预设阈值，说明模型依然不可用，即还需要进一步训练，那么，调整相应初始模型的参数后，重复执行上述训练步骤，直至所述loss小于或者等于预设阈值。
在一种实施例中，所述获取所述第一子网络对所述第一训练样本集处理得到的第一处理数据集，以及所述第二子网络对所述第二训练样本集处理得到的第二处理数据集，包括：
获取所述第一子网络所提取的所述第一训练样本集的至少两个第一特征图，以及所述第一子网络对所述第一训练样本集所包含对象的第一分类数据，根据预设的掩码规则获得所述至少两个第一特征图对应的至少一个第一掩码图，将所述至少一个第一掩码图和所述第一分类数据确定为所述第一处理数据集，获取所述第二子网络所提取的所述第二训练样本集的至少两个第二特征图，以及所述第二子网络对所述第二训练样本集所包含对象的第二分类数据，根据所述预设的掩码规则获得所述至少两个第二特征图对应的至少一个第二掩码图，将所述至少一个第二掩码图和所述第二分类数据确定为所述第二处理数据集。
具体地，第一掩码图可以是由至少两个第一特征图合成的，也可以是至少两个第一特征图中的任意一个对应形成的第一掩码图，第一掩码图的成形是利用第一子网络中不同层的特征图特点，将目标特征图进行掩码后用来将物体从背景中分离出来，从而得到第一分类数据中的部分关联的特征，最终通过多个第一特征图及对应的多个第一掩码图最终得到所有需要特征的第一分类数据。同理，第二掩码图可以是由至少两个第二特征图合成的，也可以是至少两个第二特征图中的任意一个对应形成的第二掩码图，第二掩码图的成形是利用第二子网络中不同层的特征图特点，将目标特征图进行掩码后用来将物体从背景中分离出来，从而得到第二分类数据中的部分关联的特征，最终通过多个第二特征图及对应的多个第二掩码图最终得到所有需要特征的第二分类数据。
在另外实施例中，本申请使用的第一子网络和第二子网络为孪生网络，作为孪生网络框架的核心，对第一子网络和第二子网络的各层特征提取可以使用VGG16（卷积神经网络），在输出层前，即用于分类的softmax（分类函数）前添加了一个全局平均池化，然后将第一分类数据和第二分类数据作为最终输出。在对第一子网络和第二子网络的各层特征提取需要添加自监督掩码模型，将提取出的至少两个第一特征图通过监督掩码上的掩码规则处理得到至少一个第一掩码图，将至少两个第二特征图通过自监督掩码模型上的掩码规则处理得到至少一个第二掩码图，其中，自监督掩码模型包括四层，其中前三层为卷积层，最后一层为激活层。自监督掩码模型对特征图使用了一种通过融合底层特征图和高层特征图的方式，充分利用网络的底层细节信息和高层语义信息，得出一种新的掩码图，并使用新掩码图指导底层特征学习，帮助底层能获取较清晰边界的同时，可以清除背景噪声等。
在一种实施例中，所述计算所述第一处理数据集与所述第二处理数据集之间的loss，包括：
计算所述至少一个第一掩码图与所述至少一个第二掩码图之间的损失值，得到第一子loss，所述第一子loss表征所述第一子网络检测的目标对象与所述第二子网络检测的目标对象差异，计算所述第一分类数据和所述第二分类数据的正则损失值，得到第二子loss，所述第二子loss表征所述第一子网络针对各个类别的检测结果与所述第二子网络针对各个类别的检测结果的差异，按照类别计算所述第一分类数据和所述第二分类数据的损失值，得到第三子loss，所述第三子loss表征所述第一子网络针对全部类别的检测结果与所述第二子网络针对全部类别的检测结果的差异，对所述第一子loss、所述第二子loss和所述第三子loss加权得到所述loss。通过得到的第一子loss、第二子loss和第三子loss以及加权的loss可知，第一分类数据和所述第二分类数据之间的特征差异和特征联系，以及对第一子网络和第二子网络全部的特征之间的差异和特征联系，进而能够不断优化，这个过程是利用损失函数约束网络学习，作为依据优化所有网络各层的参数。上述损失函数值不仅帮助神经网络寻找像素特征之间的关联，从而找到更清晰的边界信息，还需要帮助神经网络等比缩小不同尺度图片的差异性，使网络整体有更优良的特征提取能力。
在一种实施例中，所述根据预设的掩码规则获得所述至少两个第一特征图对应的至少一个第一掩码图，包括：
根据所述预设的掩码规则将所述至少两个第一特征图分别转换为掩码图，得到至少两个第一掩码图；或者，根据所述预设的掩码规则将所述至少两个第一特征图分别转换为掩码图，得到至少两个子掩码图，融合所述至少两个子掩码图得到所述第一掩码图。
具体地，根据所述预设的掩码规则将所述至少两个第二特征图分别转换为掩码图，得到至少两个第二掩码图；或者，根据所述预设的掩码规则将所述至少两个第二特征图分别转换为掩码图，得到至少两个子掩码图，融合所述至少两个子掩码图得到所述第二掩码图。
在一种实施例中，针对一个第一特征图，根据所述预设的掩码规则将所述第一特征图转换为掩码图，包括：
将所述第一特征图中像素值大于第一阈值的像素值设置为1。
将所述第一特征图中像素值大于第二阈值的像素值设置为0。
将所述第一特征图中像素值小于或者等于所述第一阈值，且大于或者等于所述第二阈值的像素值设置为255。
其中，所述第一阈值大于所述第二阈值。
在另一实施例中，需要先定义像素的第一阈值βl和第二阈值βh，并用这两个阈值产生具体掩码图，对于任何一个样本图，若某个像素得分高于第二阈值βh，则此像素属于目标对象类，并使用Mx，y=1，进行掩码，若某个像素得分低于βl，则此像素属于目标对象区域，并使用Mx，y=0进行掩码，若某个像素的得分处于βl和βh之间，则此处像素属于探索区域，使用255 进行掩码, 掩码过程可定义为：
Figure 582012DEST_PATH_IMAGE001
其中O表示样本图，Ox，y表示样本图中横坐标为x，纵坐标为y的像素点。
在一种实施例中，所述等比缩放的系数范围是0.3到3。等比缩放的系数范围是0.3到3之间是最为合适的，放缩过大或过小都会影响到对图像像素识别。
本申请还提供了一种目标对象的检测装置，所述装置包括：
获取模块，用于获取待检测图像，所述待检测图像中包含至少一类目标对象；
等比缩放模块，用于根据所述待检测图像生成第一图像和第二图像，所述第一图像和所述第二图像的尺寸不同，所述第一图像和所述第二图像中的至少一个图像由所述待检测图像等比缩放得到；
检测模块，用于采用第一子模型检测所述第一图像，分别得到所述至少一类目标对像的第一子特征，以及采用第二子模型检测所述第二图像，分别得到所述至少一类目标对像的第二子特征，所述第一子模型与所述第二子模型是预训练的检测模型中相同的子模型；
融合模块，分别融合各类目标对像的第一子特征和第二子特征得到相应类的目标对像在所述待检测图像中的特征，作为所述至少一类目标对象的检测结果。
通过上述各个模块之间对第一图像，分别得到所述至少一类目标对像的第一子特征，以及采用第二子模型检测所述第二图像，分别得到所述至少一类目标对像的第二子特征，所述第一子模型与所述第二子模型是预训练的检测模型中相同的子模型，分别融合各类目标对像的第一子特征和第二子特征得到相应类的目标对像在所述待检测图像中的特征，作为所述至少一类目标对象的检测结果，实现了对待检测图像的整体轮廓和目标对象的同时检测，从而提高了目标对象检测方法检测的性能。
本申请还提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如上述实施例中任一项所述的方法。
本申请还提供了一种存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如上述实施例中任一项所述的方法。
应当理解的是，本发明实施例的上述具体实施方式仅仅用于示例性说明或解释本发明实施例的原理，而不构成对本发明实施例的限制。因此，在不偏离本发明实施例的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。此外，本发明实施例所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (12)

1.一种目标对象的检测方法，其特征在于，所述方法包括：
获取待检测图像，所述待检测图像中包含至少一类目标对象；
根据所述待检测图像生成第一图像和第二图像，所述第一图像和所述第二图像的尺寸不同，所述第一图像和所述第二图像中的至少一个图像由所述待检测图像等比缩放得到；
采用第一子模型检测所述第一图像，分别得到所述至少一类目标对像的第一子特征，以及采用第二子模型检测所述第二图像，分别得到所述至少一类目标对像的第二子特征，所述第一子模型与所述第二子模型是预训练的检测模型中相同的子模型；
分别融合各类目标对像的第一子特征和第二子特征得到相应类的目标对像在所述待检测图像中的特征，作为所述至少一类目标对象的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述任一目标对像在所述待检测图像中的特征包括：
所述目标对像对应的类别特征，以及所述目标对像在所述待检测图像中位置特征。
3.根据权利要求1所述的方法，其特征在于，还包括：
采用第一训练样本集和第二训练样本集训练初始模型，得到所述检测模型，
其中，所述第二训练样本集是等比缩放所述第一训练样本集中的各个图像得到的，所述初始模型包括第一子网络和第二子网络，所述第一子网络与所述第一子模型对应，所述第二子网络与所述第二子模型对应。
4.根据权利要求3所述的方法，其特征在于，所述采用第一训练样本集和第二训练样本集训练初始模型，得到所述检测模型，包括：
获取所述第一子网络对所述第一训练样本集处理得到的第一处理数据集，以及所述第二子网络对所述第二训练样本集处理得到的第二处理数据集；
计算所述第一处理数据集与所述第二处理数据集之间的损失函数值loss；
若所述loss小于或者等于预设阈值，将所述初始模型确定为所述检测模型；
若所述loss大于所述预设阈值，调整所述初始模型的参数，重复执行获取所述第一子网络对所述第一训练样本集处理得到的第一处理数据集，以及所述第二子网络对所述第二训练样本集处理得到的第二处理数据集的步骤。
5.根据权利要求4所述的方法，其特征在于，所述获取所述第一子网络对所述第一训练样本集处理得到的第一处理数据集，以及所述第二子网络对所述第二训练样本集处理得到的第二处理数据集，包括：
获取所述第一子网络所提取的所述第一训练样本集的至少两个第一特征图，以及所述第一子网络对所述第一训练样本集所包含对象的第一分类数据；
根据预设的掩码规则获得所述至少两个第一特征图对应的至少一个第一掩码图；
将所述至少一个第一掩码图和所述第一分类数据确定为所述第一处理数据集；
获取所述第二子网络所提取的所述第二训练样本集的至少两个第二特征图，以及所述第二子网络对所述第二训练样本集所包含对象的第二分类数据；
根据所述预设的掩码规则获得所述至少两个第二特征图对应的至少一个第二掩码图；
将所述至少一个第二掩码图和所述第二分类数据确定为所述第二处理数据集。
6.根据权利要求5所述的方法，其特征在于，所述计算所述第一处理数据集与所述第二处理数据集之间的损失函数值loss，包括：
计算所述至少一个第一掩码图与所述至少一个第二掩码图之间的损失值，得到第一子loss，所述第一子loss表征所述第一子网络检测的目标对象与所述第二子网络检测的目标对象差异；
计算所述第一分类数据和所述第二分类数据的正则损失值，得到第二子loss，所述第二子loss表征所述第一子网络针对各个类别的检测结果与所述第二子网络针对各个类别的检测结果的差异；
按照类别计算所述第一分类数据和所述第二分类数据的损失值，得到第三子loss，所述第三子loss表征所述第一子网络针对全部类别的检测结果与所述第二子网络针对全部类别的检测结果的差异；
对所述第一子loss、所述第二子loss和所述第三子loss加权得到所述loss。
7.根据权利要求5所述的方法，其特征在于，所述根据预设的掩码规则获得所述至少两个第一特征图对应的至少一个第一掩码图，包括：
根据所述预设的掩码规则将所述至少两个第一特征图分别转换为掩码图，得到至少两个第一掩码图；或者，
根据所述预设的掩码规则将所述至少两个第一特征图分别转换为掩码图，得到至少两个子掩码图，融合所述至少两个子掩码图得到所述第一掩码图。
8.根据权利要求7所述的方法，其特征在于，针对一个第一特征图，根据所述预设的掩码规则将所述第一特征图转换为掩码图，包括：
将所述第一特征图中像素值大于第一阈值的像素值设置为1；
将所述第一特征图中像素值大于第二阈值的像素值设置为0；
将所述第一特征图中像素值小于或者等于所述第一阈值，且大于或者等于所述第二阈值的像素值设置为255，
其中，所述第一阈值大于所述第二阈值。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述等比缩放的系数范围是0.3到3。
10.一种目标对象的检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像，所述待检测图像中包含至少一类目标对象；
等比缩放模块，用于根据所述待检测图像生成第一图像和第二图像，所述第一图像和所述第二图像的尺寸不同，所述第一图像和所述第二图像中的至少一个图像由所述待检测图像等比缩放得到；
检测模块，用于采用第一子模型检测所述第一图像，分别得到所述至少一类目标对像的第一子特征，以及采用第二子模型检测所述第二图像，分别得到所述至少一类目标对像的第二子特征，所述第一子模型与所述第二子模型是预训练的检测模型中相同的子模型；
融合模块，分别融合各类目标对像的第一子特征和第二子特征得到相应类的目标对像在所述待检测图像中的特征，作为所述至少一类目标对象的检测结果。
11.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-9任一项所述的方法。
12.一种存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-9任一项所述的方法。
CN202111440333.2A 2021-11-30 2021-11-30 目标对象的检测方法、装置、电子设备及存储介质 Active CN113870254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111440333.2A CN113870254B (zh) 2021-11-30 2021-11-30 目标对象的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111440333.2A CN113870254B (zh) 2021-11-30 2021-11-30 目标对象的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113870254A true CN113870254A (zh) 2021-12-31
CN113870254B CN113870254B (zh) 2022-03-15

Family

ID=78985401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111440333.2A Active CN113870254B (zh) 2021-11-30 2021-11-30 目标对象的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113870254B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220130139A1 (en) * 2022-01-05 2022-04-28 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium
CN114581336A (zh) * 2022-03-21 2022-06-03 北京有竹居网络技术有限公司 图像修复方法、装置、设备、介质及产品
CN115082758A (zh) * 2022-08-19 2022-09-20 深圳比特微电子科技有限公司 目标检测模型的训练方法、目标检测方法、装置和介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729993A (zh) * 2017-10-30 2018-02-23 国家新闻出版广电总局广播科学研究院 利用训练样本及折中度量的3d卷积神经网络构建方法
CN109993774A (zh) * 2019-03-29 2019-07-09 大连理工大学 基于深度交叉相似匹配的在线视频目标跟踪方法
CN110110662A (zh) * 2019-05-07 2019-08-09 济南大学 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
US20200051250A1 (en) * 2018-08-08 2020-02-13 Beihang University Target tracking method and device oriented to airborne-based monitoring scenarios
CN110852210A (zh) * 2019-10-29 2020-02-28 上海眼控科技股份有限公司 车辆重识别模型的生成方法及设备
CN111339975A (zh) * 2020-03-03 2020-06-26 华东理工大学 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法
CN111461110A (zh) * 2020-03-02 2020-07-28 华南理工大学 一种基于多尺度图像和加权融合损失的小目标检测方法
CN111695633A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 基于rpf-cam的低照度目标检测方法
CN111768432A (zh) * 2020-06-30 2020-10-13 中国科学院自动化研究所 基于孪生深度神经网络的动目标分割方法及系统
CN111898633A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于高光谱图像的海上舰船目标检测方法
CN112069896A (zh) * 2020-08-04 2020-12-11 河南科技大学 一种基于孪生网络融合多模板特征的视频目标跟踪方法
CN112417939A (zh) * 2019-08-21 2021-02-26 南京行者易智能交通科技有限公司 基于图像识别的客流od数据获取方法、装置、移动端设备、服务器及模型训练方法
CN112598643A (zh) * 2020-12-22 2021-04-02 百度在线网络技术（北京）有限公司 深度伪造图像检测及模型训练方法、装置、设备、介质
CN112949453A (zh) * 2021-02-26 2021-06-11 南京恩博科技有限公司 烟火检测模型的训练方法、烟火检测方法及设备
US20210279929A1 (en) * 2020-03-04 2021-09-09 Naver Corporation Training and using an ensemble of complimentary convolutional neural networks for cross-domain retrieval of fashion item images
CN113379738A (zh) * 2021-07-20 2021-09-10 重庆大学 一种基于图像的疫木检测与定位方法及系统
CN113628245A (zh) * 2021-07-12 2021-11-09 中国科学院自动化研究所 多目标跟踪方法、装置、电子设备和存储介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729993A (zh) * 2017-10-30 2018-02-23 国家新闻出版广电总局广播科学研究院 利用训练样本及折中度量的3d卷积神经网络构建方法
US20200051250A1 (en) * 2018-08-08 2020-02-13 Beihang University Target tracking method and device oriented to airborne-based monitoring scenarios
CN109993774A (zh) * 2019-03-29 2019-07-09 大连理工大学 基于深度交叉相似匹配的在线视频目标跟踪方法
CN110110662A (zh) * 2019-05-07 2019-08-09 济南大学 驾驶场景下驾驶员眼动行为检测方法、系统、介质及设备
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN112417939A (zh) * 2019-08-21 2021-02-26 南京行者易智能交通科技有限公司 基于图像识别的客流od数据获取方法、装置、移动端设备、服务器及模型训练方法
CN110852210A (zh) * 2019-10-29 2020-02-28 上海眼控科技股份有限公司 车辆重识别模型的生成方法及设备
CN111461110A (zh) * 2020-03-02 2020-07-28 华南理工大学 一种基于多尺度图像和加权融合损失的小目标检测方法
CN111339975A (zh) * 2020-03-03 2020-06-26 华东理工大学 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法
US20210279929A1 (en) * 2020-03-04 2021-09-09 Naver Corporation Training and using an ensemble of complimentary convolutional neural networks for cross-domain retrieval of fashion item images
CN111695633A (zh) * 2020-06-12 2020-09-22 桂林电子科技大学 基于rpf-cam的低照度目标检测方法
CN111898633A (zh) * 2020-06-19 2020-11-06 北京理工大学 一种基于高光谱图像的海上舰船目标检测方法
CN111768432A (zh) * 2020-06-30 2020-10-13 中国科学院自动化研究所 基于孪生深度神经网络的动目标分割方法及系统
CN112069896A (zh) * 2020-08-04 2020-12-11 河南科技大学 一种基于孪生网络融合多模板特征的视频目标跟踪方法
CN112598643A (zh) * 2020-12-22 2021-04-02 百度在线网络技术（北京）有限公司 深度伪造图像检测及模型训练方法、装置、设备、介质
CN112949453A (zh) * 2021-02-26 2021-06-11 南京恩博科技有限公司 烟火检测模型的训练方法、烟火检测方法及设备
CN113628245A (zh) * 2021-07-12 2021-11-09 中国科学院自动化研究所 多目标跟踪方法、装置、电子设备和存储介质
CN113379738A (zh) * 2021-07-20 2021-09-10 重庆大学 一种基于图像的疫木检测与定位方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JING PAN等: "Dual-Resolution Dual-Path Convolutional Neural Networks for Fast Object Detection", 《SENSORS》 *
王霞: "基于多尺寸特征金字塔网络目标检测的研究", 《万方在线》 *
谭贞刚: "基于多分辨率卷积网络的交通标志检测与识别", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220130139A1 (en) * 2022-01-05 2022-04-28 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium
US11756288B2 (en) * 2022-01-05 2023-09-12 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium
CN114581336A (zh) * 2022-03-21 2022-06-03 北京有竹居网络技术有限公司 图像修复方法、装置、设备、介质及产品
CN115082758A (zh) * 2022-08-19 2022-09-20 深圳比特微电子科技有限公司 目标检测模型的训练方法、目标检测方法、装置和介质
CN115082758B (zh) * 2022-08-19 2022-11-11 深圳比特微电子科技有限公司 目标检测模型的训练方法、目标检测方法、装置和介质

Also Published As

Publication number Publication date
CN113870254B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN112131978B (zh) 一种视频分类方法、装置、电子设备和存储介质
CN106897738B (zh) 一种基于半监督学习的行人检测方法
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN105574550A (zh) 一种车辆识别方法及装置
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN102385592B (zh) 图像概念的检测方法和装置
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN116958606B (zh) 一种图像匹配方法及相关装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN107067022B (zh) 图像分类模型的建立方法、建立装置和设备
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN111539456A (zh) 一种目标识别方法及设备
CN113011513B (zh) 一种基于通用域自适应的图像大数据分类方法
CN114708645A (zh) 物件辨识装置及物件辨识方法
CN116580232A (zh) 一种图像自动标注方法、系统及电子设备
CN116958720A (zh) 目标检测模型的训练方法、目标检测方法、装置及设备
CN114119382A (zh) 一种基于注意力生成对抗网络的图像去雨滴方法
CN113223018A (zh) 细粒度图像分析处理方法
CN114005017A (zh) 目标检测方法、装置、电子设备及存储介质
CN113420824A (zh) 针对工业视觉应用的预训练数据筛选及训练方法、系统
CN111753915A (zh) 一种图像处理装置、方法、设备及介质
CN118379586B (zh) 关键点预测模型的训练方法、装置、设备、介质及产品
CN113032776B (zh) 面向特征嵌入中毒攻击的检测方法、装置和系统
CN116978060A (zh) 一种鸟类识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant