CN118135186A - 基于多尺度特征的目标检测方法及装置 - Google Patents

基于多尺度特征的目标检测方法及装置 Download PDF

Info

Publication number
CN118135186A
CN118135186A CN202311787141.8A CN202311787141A CN118135186A CN 118135186 A CN118135186 A CN 118135186A CN 202311787141 A CN202311787141 A CN 202311787141A CN 118135186 A CN118135186 A CN 118135186A
Authority
CN
China
Prior art keywords
feature
scale
processing
loss
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311787141.8A
Other languages
English (en)
Inventor
师平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202311787141.8A priority Critical patent/CN118135186A/zh
Publication of CN118135186A publication Critical patent/CN118135186A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于多尺度特征的目标检测方法及装置。该方法包括：通过快速消融卷积层处理训练图像，得到图像特征；通过多尺度卷积层处理图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；通过特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征，得到第一处理特征和第二处理特征；通过分类网络处理第一处理特征和第二处理特征，得到第一检测结果和第二检测结果；计算第一检测结果和第二检测结果各自对应的分类损失和回归损失；依据计算得到的分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。采用上述技术手段，解决现有技术中由于图像视角、遮挡以及背景模糊等因素导致目标检测精度低的问题。

Description

基于多尺度特征的目标检测方法及装置
技术领域
本公开涉及目标检测技术领域，尤其涉及一种基于多尺度特征的目标检测方法及装置。
背景技术
在目标检测中，由于图像视角、遮挡以及背景模糊等因素导致检测精度低。
发明内容
有鉴于此，本公开实施例提供了一种基于多尺度特征的目标检测方法、装置、电子设备及计算机可读存储介质，以解决现有技术中由于图像视角、遮挡以及背景模糊等因素导致目标检测精度低的问题。
本公开实施例的第一方面，提供了一种基于多尺度特征的目标检测方法，包括：构建多尺度卷积层和特征处理网络，利用快速消融卷积层、多尺度卷积层、特征处理网络和分类网络构建目标检测模型；获取训练图像，将训练图像输入目标检测模型：通过快速消融卷积层处理训练图像，得到图像特征；通过多尺度卷积层处理图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；通过特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征，得到第一处理特征和第二处理特征；通过分类网络处理第一处理特征和第二处理特征，得到第一检测结果和第二检测结果；计算第一检测结果和第二检测结果各自对应的分类损失和回归损失；依据计算得到的分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。
本公开实施例的第二方面，提供了一种基于多尺度特征的目标检测装置，包括：构建模块，被配置为构建多尺度卷积层和特征处理网络，利用快速消融卷积层、多尺度卷积层、特征处理网络和分类网络构建目标检测模型；获取模块，被配置为获取训练图像，将训练图像输入目标检测模型：第一处理模块，被配置为通过快速消融卷积层处理训练图像，得到图像特征；第二处理模块，被配置为通过多尺度卷积层处理图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；第三处理模块，被配置为通过特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征，得到第一处理特征和第二处理特征；第四处理模块，被配置为通过分类网络处理第一处理特征和第二处理特征，得到第一检测结果和第二检测结果；计算模块，被配置为计算第一检测结果和第二检测结果各自对应的分类损失和回归损失；优化模块，被配置为依据计算得到的分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过构建多尺度卷积层和特征处理网络，利用快速消融卷积层、多尺度卷积层、特征处理网络和分类网络构建目标检测模型；获取训练图像，将训练图像输入目标检测模型：通过快速消融卷积层处理训练图像，得到图像特征；通过多尺度卷积层处理图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；通过特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征，得到第一处理特征和第二处理特征；通过分类网络处理第一处理特征和第二处理特征，得到第一检测结果和第二检测结果；计算第一检测结果和第二检测结果各自对应的分类损失和回归损失；依据计算得到的分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。采用上述技术手段，可以解决现有技术中由于图像视角、遮挡以及背景模糊等因素导致目标检测精度低的问题，进而提高目标检测的精度。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种基于多尺度特征的目标检测方法的流程示意图；
图2是本公开实施例提供的另一种基于多尺度特征的目标检测方法的流程示意图
图3是本公开实施例提供的一种基于多尺度特征的目标检测装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种基于多尺度特征的目标检测方法和装置。
图1是本公开实施例提供的一种基于多尺度特征的目标检测方法的流程示意图。图1的基于多尺度特征的目标检测方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该基于多尺度特征的目标检测方法包括：
S101，构建多尺度卷积层和特征处理网络，利用快速消融卷积层、多尺度卷积层、特征处理网络和分类网络构建目标检测模型；
S102，获取训练图像，将训练图像输入目标检测模型：
S103，通过快速消融卷积层处理训练图像，得到图像特征；
S104，通过多尺度卷积层处理图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；
S105，通过特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征，得到第一处理特征和第二处理特征；
S106，通过分类网络处理第一处理特征和第二处理特征，得到第一检测结果和第二检测结果；
S107，计算第一检测结果和第二检测结果各自对应的分类损失和回归损失；
S108，依据计算得到的分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。
多尺度卷积层是由三个inception层和四个卷积层依次串行连接得到的，inception层是一种深度学习框架，inception层同时使用多个卷积核(不同尺寸)来提取特征，能捕捉到不同尺度的特征；快速消融卷积层是Rapidly Digested ConvolutionalLayers，是现有的网络；分类网络最常见是由激活层和全连接层组成，也是现有的网络；特征处理网络是本申请实施例构建的新网络，用于处理多尺度卷积层输出的三个尺度特征，得到两个处理特征。
根据本申请实施例提供的技术方案，构建多尺度卷积层和特征处理网络，利用快速消融卷积层、多尺度卷积层、特征处理网络和分类网络构建目标检测模型；获取训练图像，将训练图像输入目标检测模型：通过快速消融卷积层处理训练图像，得到图像特征；通过多尺度卷积层处理图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；通过特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征，得到第一处理特征和第二处理特征；通过分类网络处理第一处理特征和第二处理特征，得到第一检测结果和第二检测结果；计算第一检测结果和第二检测结果各自对应的分类损失和回归损失；依据计算得到的分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。采用上述技术手段，可以解决现有技术中由于图像视角、遮挡以及背景模糊等因素导致目标检测精度低的问题，进而提高目标检测的精度。
进一步地，通过多尺度卷积层处理图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征，包括：将图像特征输入多尺度卷积层，通过多尺度卷积层中的第三个inception层输出第一尺度特征，通过多尺度卷积层中的第二个卷积层输出第二尺度特征，通过多尺度卷积层中的第四个卷积层输出第三尺度特征。
具体地，将图像特征输入多尺度卷积层：通过第一个inception层处理图像特征，得到第一特征；通过第二个inception层处理第一特征，得到第二特征；通过第三个inception层处理第二特征，得到第一尺度特征；通过第一个卷积层处理第一尺度特征，得到第三特征；通过第二个卷积层处理第一尺度特征，得到第二尺度特征；通过第三个卷积层处理第二尺度特征，得到第四特征；通过第四个卷积层处理第四特征，得到第三尺度特征。
进一步地，通过特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征，得到第一处理特征和第二处理特征，包括：对第三尺度特征进行上采样处理，以将第三尺度特征的维度变换与第二尺度特征的维度相同；对第二尺度特征和上采样处理后的第三尺度特征进行拼接处理，得到第一拼接特征；对第一拼接特征进行降维处理，得到第一处理特征；对第一处理特征进行上采样处理，以将第一处理特征的维度变换与第一尺度特征的维度相同；对第一尺度特征和上采样处理后的第一处理特征进行拼接处理，得到第二拼接特征；对第二拼接特征进行降维处理，得到第二处理特征。
本申请实施例是从算法侧描述特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征的过程，可以理解的，该算法也对应特征处理网络的结构。具体地，上采样处理可以看作是上采样层，拼接处理可以看作是拼接层，降维处理可以看作是降维层。所以，可以说特征处理网络是由上采样层、拼接层和降维层构成的。
第一检测结果包括第一预测框和第一预测类别，第二检测结果包括第二预测框和第二预测类别，第一预测框和第二预测框均是预测的训练图像中对象的位置，第一预测类别和第二预测类别均是预测的训练图像中对象的类别。
比如训练图像中对象是人，则第一预测类别和第二预测类别则为人。
需要说明的是，目标检测模型的训练可以是训练目标检测模型用于计数，比如人头计数，那么训练图像中的对象为人头，预测框是预测的训练图像中人头的位置，预测类别是预测的训练图像中人头的类别(就是表面一个位置存在人头)，最后总和预测类别表示是人头的数量，即可实现人头计数。
进一步地，计算第一检测结果和第二检测结果各自对应的分类损失和回归损失，包括：训练图像的标签包括标注框和标注类别，标注框是标注的训练图像中对象的位置，标注类别是标注的训练图像中对象的类别；利用交叉熵损失函数计算第一预测类别与标注类别之间的损失，该损失为第一检测结果对应的分类损失；利用交叉熵损失函数计算第二预测类别与标注类别之间的损失，该损失为第二检测结果对应的分类损失；利用L1范数损失函数计算第一预测框和标注框之间的损失，该损失为第一检测结果对应的回归损失；利用L1范数损失函数计算第二预测框和标注框之间的损失，该损失为第二检测结果对应的回归损失。
交叉熵损失函数可以是Softmax Loss，L1范数损失函数可以是Smooth L1Loss。
图2是本公开实施例提供的另一种基于多尺度特征的目标检测方法的流程示意图，如图2所示，该方法包括：
S201，获取待检测的目标图像，将目标图像输入训练后的目标检测模型：
S202，通过快速消融卷积层处理目标图像，得到目标图像特征；
S203，通过多尺度卷积层处理目标图像特征，得到第一尺度目标特征、第二尺度目标特征和第三尺度目标特征；
S204，通过特征处理网络处理第一尺度目标特征、第二尺度目标特征和第三尺度目标特征，得到第一处理目标特征和第二处理目标特征；
S205，通过分类网络处理第一处理目标特征和第二处理目标特征，得到第一目标检测结果和第二目标检测结果；
S206，基于第一目标检测结果和第二目标检测结果确定目标图像最终的检测结果。
目标检测模型处理目标图像的过程，类似与目标检测模型处理训练图像的过程，不再赘述该过程。可以对一目标检测结果和第二目标检测结果加权求和，将加权求和的结果作为目标图像最终的检测结果。
如果目标检测模型的训练是训练目标检测模型用于人头计数，则目标检测模型处理目标图像，可以是实现目标图像中的人头计数。
进一步地，计算第一检测结果和第二检测结果各自对应的分类损失和回归损失之后，包括：利用对比学习损失函数计算第一处理特征和第二处理特征之间的特征对齐损失；依据计算得到的特征对齐损失、分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。
对比学习损失函数可以是InfoNCE loss。本申请实施例即从特征侧约束目标检测模型的模型参数(特征对齐损失)，又从检测侧约束目标检测模型的模型参数(分类损失和回归损失)，可以极大提高目标检测模型的精度。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种基于多尺度特征的目标检测装置的示意图。如图3所示，该基于多尺度特征的目标检测装置包括：
构建模块301，被配置为构建多尺度卷积层和特征处理网络，利用快速消融卷积层、多尺度卷积层、特征处理网络和分类网络构建目标检测模型；
获取模块302，被配置为获取训练图像，将训练图像输入目标检测模型：
第一处理模块303，被配置为通过快速消融卷积层处理训练图像，得到图像特征；
第二处理模块304，被配置为通过多尺度卷积层处理图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；
第三处理模块305，被配置为通过特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征，得到第一处理特征和第二处理特征；
第四处理模块306，被配置为通过分类网络处理第一处理特征和第二处理特征，得到第一检测结果和第二检测结果；
计算模块307，被配置为计算第一检测结果和第二检测结果各自对应的分类损失和回归损失；
优化模块308，被配置为依据计算得到的分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。
根据本申请实施例提供的技术方案，构建多尺度卷积层和特征处理网络，利用快速消融卷积层、多尺度卷积层、特征处理网络和分类网络构建目标检测模型；获取训练图像，将训练图像输入目标检测模型：通过快速消融卷积层处理训练图像，得到图像特征；通过多尺度卷积层处理图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；通过特征处理网络处理第一尺度特征、第二尺度特征和第三尺度特征，得到第一处理特征和第二处理特征；通过分类网络处理第一处理特征和第二处理特征，得到第一检测结果和第二检测结果；计算第一检测结果和第二检测结果各自对应的分类损失和回归损失；依据计算得到的分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。采用上述技术手段，可以解决现有技术中由于图像视角、遮挡以及背景模糊等因素导致目标检测精度低的问题，进而提高目标检测的精度。
在一些实施例中，第二处理模块304还被配置为将图像特征输入多尺度卷积层，通过多尺度卷积层中的第三个inception层输出第一尺度特征，通过多尺度卷积层中的第二个卷积层输出第二尺度特征，通过多尺度卷积层中的第四个卷积层输出第三尺度特征。
在一些实施例中，第三处理模块305还被配置为对第三尺度特征进行上采样处理，以将第三尺度特征的维度变换与第二尺度特征的维度相同；对第二尺度特征和上采样处理后的第三尺度特征进行拼接处理，得到第一拼接特征；对第一拼接特征进行降维处理，得到第一处理特征；对第一处理特征进行上采样处理，以将第一处理特征的维度变换与第一尺度特征的维度相同；对第一尺度特征和上采样处理后的第一处理特征进行拼接处理，得到第二拼接特征；对第二拼接特征进行降维处理，得到第二处理特征。
第一检测结果包括第一预测框和第一预测类别，第二检测结果包括第二预测框和第二预测类别，第一预测框和第二预测框均是预测的训练图像中对象的位置，第一预测类别和第二预测类别均是预测的训练图像中对象的类别。
在一些实施例中，计算模块307还被配置为训练图像的标签包括标注框和标注类别，标注框是标注的训练图像中对象的位置，标注类别是标注的训练图像中对象的类别；利用交叉熵损失函数计算第一预测类别与标注类别之间的损失，该损失为第一检测结果对应的分类损失；利用交叉熵损失函数计算第二预测类别与标注类别之间的损失，该损失为第二检测结果对应的分类损失；利用L1范数损失函数计算第一预测框和标注框之间的损失，该损失为第一检测结果对应的回归损失；利用L1范数损失函数计算第二预测框和标注框之间的损失，该损失为第二检测结果对应的回归损失。
在一些实施例中，优化模块308还被配置为获取待检测的目标图像，将目标图像输入训练后的目标检测模型：通过快速消融卷积层处理目标图像，得到目标图像特征；通过多尺度卷积层处理目标图像特征，得到第一尺度目标特征、第二尺度目标特征和第三尺度目标特征；通过特征处理网络处理第一尺度目标特征、第二尺度目标特征和第三尺度目标特征，得到第一处理目标特征和第二处理目标特征；通过分类网络处理第一处理目标特征和第二处理目标特征，得到第一目标检测结果和第二目标检测结果；基于第一目标检测结果和第二目标检测结果确定目标图像最终的检测结果。
在一些实施例中，优化模块308还被配置为利用对比学习损失函数计算第一处理特征和第二处理特征之间的特征对齐损失；依据计算得到的特征对齐损失、分类损失和回归损失优化目标检测模型的模型参数，以完成对目标检测模型的训练。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于多尺度特征的目标检测方法，其特征在于，包括：
构建多尺度卷积层和特征处理网络，利用快速消融卷积层、所述多尺度卷积层、所述特征处理网络和分类网络构建目标检测模型；
获取训练图像，将所述训练图像输入所述目标检测模型：
通过所述快速消融卷积层处理所述训练图像，得到图像特征；
通过所述多尺度卷积层处理所述图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；
通过所述特征处理网络处理所述第一尺度特征、所述第二尺度特征和所述第三尺度特征，得到第一处理特征和第二处理特征；
通过所述分类网络处理所述第一处理特征和所述第二处理特征，得到第一检测结果和第二检测结果；
计算所述第一检测结果和所述第二检测结果各自对应的分类损失和回归损失；
依据计算得到的分类损失和回归损失优化所述目标检测模型的模型参数，以完成对所述目标检测模型的训练。
2.根据权利要求1所述的方法，其特征在于，通过所述多尺度卷积层处理所述图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征，包括：
所述多尺度卷积层是由三个inception层和四个卷积层依次串行连接得到的；
将所述图像特征输入所述多尺度卷积层，通过所述多尺度卷积层中的第三个inception层输出所述第一尺度特征，通过所述多尺度卷积层中的第二个卷积层输出所述第二尺度特征，通过所述多尺度卷积层中的第四个卷积层输出所述第三尺度特征。
3.根据权利要求1所述的方法，其特征在于，通过所述特征处理网络处理所述第一尺度特征、所述第二尺度特征和所述第三尺度特征，得到第一处理特征和第二处理特征，包括：
对所述第三尺度特征进行上采样处理，以将所述第三尺度特征的维度变换与所述第二尺度特征的维度相同；
对所述第二尺度特征和所述上采样处理后的第三尺度特征进行拼接处理，得到第一拼接特征；
对所述第一拼接特征进行降维处理，得到第一处理特征；
对所述第一处理特征进行所述上采样处理，以将所述第一处理特征的维度变换与所述第一尺度特征的维度相同；
对所述第一尺度特征和所述上采样处理后的第一处理特征进行所述拼接处理，得到第二拼接特征；
对所述第二拼接特征进行所述降维处理，得到第二处理特征。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述第一检测结果包括第一预测框和第一预测类别，所述第二检测结果包括第二预测框和第二预测类别，所述第一预测框和所述第二预测框均是预测的所述训练图像中对象的位置，所述第一预测类别和所述第二预测类别均是预测的所述训练图像中对象的类别。
5.根据权利要求4所述的方法，其特征在于，计算所述第一检测结果和所述第二检测结果各自对应的分类损失和回归损失，包括：
所述训练图像的标签包括标注框和标注类别，所述标注框是标注的所述训练图像中对象的位置，所述标注类别是标注的所述训练图像中对象的类别；
利用交叉熵损失函数计算所述第一预测类别与所述标注类别之间的损失，该损失为所述第一检测结果对应的分类损失；
利用所述交叉熵损失函数计算所述第二预测类别与所述标注类别之间的损失，该损失为所述第二检测结果对应的分类损失；
利用L1范数损失函数计算所述第一预测框和所述标注框之间的损失，该损失为所述第一检测结果对应的回归损失；
利用所述L1范数损失函数计算所述第二预测框和所述标注框之间的损失，该损失为所述第二检测结果对应的回归损失。
6.根据权利要求1所述的方法，其特征在于，计算所述第一检测结果对应的检测损失，包括：
获取待检测的目标图像，将所述目标图像输入训练后的目标检测模型：
通过所述快速消融卷积层处理所述目标图像，得到目标图像特征；
通过所述多尺度卷积层处理所述目标图像特征，得到第一尺度目标特征、第二尺度目标特征和第三尺度目标特征；
通过所述特征处理网络处理所述第一尺度目标特征、所述第二尺度目标特征和所述第三尺度目标特征，得到第一处理目标特征和第二处理目标特征；
通过所述分类网络处理所述第一处理目标特征和所述第二处理目标特征，得到第一目标检测结果和第二目标检测结果；
基于所述第一目标检测结果和所述第二目标检测结果确定所述目标图像最终的检测结果。
7.根据权利要求1所述的方法，其特征在于，计算所述第一检测结果和所述第二检测结果各自对应的分类损失和回归损失之后，包括：
利用对比学习损失函数计算所述第一处理特征和所述第二处理特征之间的特征对齐损失；
依据计算得到的特征对齐损失、分类损失和回归损失优化所述目标检测模型的模型参数，以完成对所述目标检测模型的训练。
8.一种基于多尺度特征的目标检测装置，其特征在于，包括：
构建模块，被配置为构建多尺度卷积层和特征处理网络，利用快速消融卷积层、所述多尺度卷积层、所述特征处理网络和分类网络构建目标检测模型；
获取模块，被配置为获取训练图像，将所述训练图像输入所述目标检测模型：
第一处理模块，被配置为通过所述快速消融卷积层处理所述训练图像，得到图像特征；
第二处理模块，被配置为通过所述多尺度卷积层处理所述图像特征，得到第一尺度特征、第二尺度特征和第三尺度特征；
第三处理模块，被配置为通过所述特征处理网络处理所述第一尺度特征、所述第二尺度特征和所述第三尺度特征，得到第一处理特征和第二处理特征；
第四处理模块，被配置为通过所述分类网络处理所述第一处理特征和所述第二处理特征，得到第一检测结果和第二检测结果；
计算模块，被配置为计算所述第一检测结果和所述第二检测结果各自对应的分类损失和回归损失；
优化模块，被配置为依据计算得到的分类损失和回归损失优化所述目标检测模型的模型参数，以完成对所述目标检测模型的训练。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202311787141.8A 2023-12-22 2023-12-22 基于多尺度特征的目标检测方法及装置 Pending CN118135186A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311787141.8A CN118135186A (zh) 2023-12-22 2023-12-22 基于多尺度特征的目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311787141.8A CN118135186A (zh) 2023-12-22 2023-12-22 基于多尺度特征的目标检测方法及装置

Publications (1)

Publication Number Publication Date
CN118135186A true CN118135186A (zh) 2024-06-04

Family

ID=91244673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311787141.8A Pending CN118135186A (zh) 2023-12-22 2023-12-22 基于多尺度特征的目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN118135186A (zh)

Similar Documents

Publication Publication Date Title
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN113159147A (zh) 基于神经网络的图像识别方法、装置、电子设备
CN111199186A (zh) 图像质量评分模型训练方法、装置、设备及存储介质
CN110874855B (zh) 一种协同成像方法、装置、存储介质和协同成像设备
CN115457364A (zh) 一种目标检测知识蒸馏方法、装置、终端设备和存储介质
CN116912635B (zh) 目标追踪方法及装置
CN116403250A (zh) 存在遮挡的人脸识别方法及装置
CN114841974A (zh) 一种水果内部结构无损检测方法、系统、电子设备及介质
CN113780278A (zh) 一种识别车牌内容的方法、装置、电子设备以及存储介质
CN116524206B (zh) 目标图像的识别方法及装置
CN118135186A (zh) 基于多尺度特征的目标检测方法及装置
CN112950652B (zh) 机器人及其手部图像分割方法和装置
CN113139617A (zh) 一种输电线路自主定位方法、装置及终端设备
CN111242449A (zh) 一种企业情报流失预测方法
CN117456562B (zh) 姿态估计方法及装置
CN117474037B (zh) 基于空间距离对齐的知识蒸馏方法及装置
CN116912518B (zh) 图像的多尺度特征处理方法及装置
CN116912889B (zh) 行人重识别方法及装置
CN117372818B (zh) 目标重识别方法及装置
CN117893790A (zh) 基于特征对齐的目标重识别方法及装置
CN116912633B (zh) 目标追踪模型的训练方法及装置
CN116630639B (zh) 对象图像的识别方法及装置
WO2023220859A1 (en) Multi-dimensional attention for dynamic convolutional kernel
CN116912634A (zh) 目标追踪模型的训练方法及装置
CN117953217A (zh) 基于位置敏感的图像分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination