CN117292345A - 目标对象的检测方法、装置、设备和存储介质 - Google Patents

目标对象的检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN117292345A
CN117292345A CN202311257192.XA CN202311257192A CN117292345A CN 117292345 A CN117292345 A CN 117292345A CN 202311257192 A CN202311257192 A CN 202311257192A CN 117292345 A CN117292345 A CN 117292345A
Authority
CN
China
Prior art keywords
target
feature extraction
detection
network
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311257192.XA
Other languages
English (en)
Inventor
韩成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Innovation Co Ltd
Original Assignee
China Automotive Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Innovation Co Ltd filed Critical China Automotive Innovation Co Ltd
Priority to CN202311257192.XA priority Critical patent/CN117292345A/zh
Publication of CN117292345A publication Critical patent/CN117292345A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种目标对象的检测方法、装置、设备和存储介质。该方法包括：通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；根据各检测网络输出的目标对象的初始检测结果，确定目标对象的位置以及目标对象与采集设备之间的距离。采用本方法能够提高对目标对象的检测准确率。

Description

目标对象的检测方法、装置、设备和存储介质
技术领域
本申请涉及目标检测技术领域，特别是涉及一种目标对象的检测方法、装置、设备和存储介质。
背景技术
随着车辆技术领域的发展，尤其是出现了自动驾驶车辆之后，车辆的目标检测和测距技术更加重要。在车辆行驶过程中，对目标对象进行检测并测距对车辆行驶安全有着重要意义。
目前，车辆的目标检测和测距技术通常采用各类传感器获取道路图像，并结合目标检测算法来完成目标对象的检测，针对目标对象的检测结果，再利用后处理算法来完成对目标对象的距离计算。也就是说，目前的目标检测和测距技术通常是目标检测和测距分开进行的，在处理的过程中会受到汽车状态的影响，从而导致对目标对象的检测准确度不高的问题。亟需解决。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高对目标对象的检测准确率的目标对象的检测方法、装置、设备和存储介质。
第一方面，本申请提供了一种目标对象的检测方法。该方法包括：
通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
在其中一个实施例中，通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征，包括：
若目标检测模型包含三个首尾连接的深层特征提取网络，则通过第一个深层特征提取网络，对初始特征进行深层特征提取，得到第一个深层特征提取网络输出的目标特征；
通过第二个深层特征提取网络，对第一个深层特征提取网络输出的目标特征进行深层特征提取，得到第二个深层特征提取网络输出的目标特征；
通过第三个深层特征提取网络，对第二个深层特征提取网络输出的目标特征进行深层特征提取，得到第三个深层特征提取网络输出的目标特征。
在其中一个实施例中，第一个深层特征提取网络包括：卷积层、金字塔池化层、上采样层和扩展高效层；第二个深层特征提取网络和第三深层特征提取网络均包括：扩展高效层。扩展高效层包括下采样层和通道扩充层；下采样层和上采样层的倍数相同。
在其中一个实施例中，通过第一个深层特征提取网络，对初始特征进行深层特征提取，得到第一个深层特征提取网络输出的目标特征，包括：
通过第一个深层特征提取网络的卷积层，对初始特征进行卷积处理，得到卷积特征；
通过第一个深层特征提取网络的金字塔池化层，对卷积特征进行解析，得到全局特征，并将全局特征与卷积特征进行拼接，得到拼接特征；
依次通过第一个深层特征提取网络的上采样层和扩展高效层，对拼接特征进行特征聚合和特征分析处理，得到第一个深层特征提取网络输出的目标特征。
在其中一个实施例中，各深层特征提取网络对应的检测网络均包含检测层和测距层；
相应的，将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果，包括：
针对每一深层特征提取网络，根据各预设通道，对该深层特征提取网络输出的目标特征进行通道转换处理，得到各预设通道的转换特征；其中，目标对象的每一候选检测类别和初始检测结果的每一种类结果均对应一个预设通道；
将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到检测网络预测的目标对象与采集设备之间的距离；其中，第一通道为目标对象与采集设备之间的距离对应的预设通道；
将除第一通道之外的其他预设通道的转换特征输入该深层特征提取网络对应的检测网络的检测层，得到检测网络预测的目标对象的位置。
在其中一个实施例中，将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到检测网络预测的目标对象与采集设备之间的距离，包括：
将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到检测网络的测距层基于yolo系列锚框算法预测的目标对象与采集设备之间的距离；其中，每一检测网络的测距层采用的yolo系列锚框算法的锚框的个数基于目标检测模型中深层特征提取网络的个数确定。
在其中一个实施例中，目标检测模型的训练过程包括：
通过第一样本训练集，对目标检测模型中除测距层之外的其他网络层进行训练，得到初训练的目标检测模型；
将第二样本训练集中各训练样本输入到初训练的目标检测模型中，获取初训练的目标检测模型的各检测层预测的各训练样本中目标对象的位置；
根据各检测层预测的各训练样本中目标对象的位置与各训练样本对应的目标对象位置标签，从各训练样本中确定目标样本；
通过目标样本，对目标检测模型进行训练，得到训练好的目标检测模型。
在其中一个实施例中，根据各检测层预测的各训练样本中目标对象的位置与各训练样本对应的目标对象位置标签，从各训练样本中确定目标样本，包括：
根据各检测层预测的各训练样本中目标对象的位置与各训练样本对应的目标对象位置标签，计算各训练样本中目标对象的位置交并比，以及各训练样本的适应度；
根据各训练样本中目标对象的位置交并比，从各训练样本中确定初筛选样本；
根据各初筛选样本的适应度，从初筛选样本中确定目标样本。
第二方面，本申请还提供了一种目标对象的检测装置。该装置包括：
第一特征提取模块，用于通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
第二特征提取模块，用于通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
初始检测模块，用于将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
目标检测模块，用于根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：
通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
第五方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
上述目标对象的检测方法、装置、设备和存储介质，在目标检测模型中设置深层特征提取网络，从而使得在目标检测模型的骨干网络对包含目标对象的待检测图像进行初始特征提取之后，还可以进一步提取更深层的特征。又由于设置的深层特征提取网络为至少两个，可以更大程度地提取包含目标对象的待检测图像的特征，使得深层特征提取网络输出的目标特征更加精准。为后续基于目标特征对目标对象进行目标检测提供保障。另外，每一深层特征提取网络均具有与其对应的检测网络，各检测网络都会对其对应的深层特征提取网络输出的目标特征进行处理，输出对应的初始检测结果，再根据各初始检测结果确定目标对象的目标检测结果，可以使得目标检测结果更加准确。另外，本实施例中，对目标对象的位置以及对目标对象与采集设备之间的距离预测都是在目标检测模型中完成的，也可以提高对目标对象与采集设备之间的距离预测的效率。也就是说，整个过程可以提高对目标对象的检测准确率与效率。
附图说明
图1为本实施例提供的一种目标对象的检测方法的应用环境图；
图2为本实施例提供的第一种目标对象的检测方法的流程示意图；
图3为本实施例提供的第一种目标检测模型的内部结构图；
图4为本实施例提供的第二种目标检测模型的内部结构图；
图5为本实施例提供的一种确定第一个深层特征提取网络输出的目标特征的流程示意图；
图6为本实施例提供的第三种目标检测模型的内部结构图；
图7为本实施例提供的一种确定各检测网络预测的目标对象的初始检测结果的流程示意图；
图8为本实施例提供的一种目标检测模型的训练方法的流程示意图；
图9为本实施例提供的第二种目标对象的检测方法的流程示意图；
图10为本实施例提供的第一种目标对象的检测装置的结构框图；
图11为本实施例提供的第二种目标对象的检测装置的结构框图；
图12为本实施例提供的第三种目标对象的检测装置的结构框图；
图13为本实施例提供的第四种目标对象的检测装置的结构框图；
图14为本实施例提供的一种计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的目标对象的检测方法，可以应用于如图1所示的应用环境中。在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储进行目标对象的检测的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现目标对象的检测。
在一个实施例中，如图2所示，提供了一种目标对象的检测方法，该目标对象的检测方法可以在如图3所示的目标检测模型1中实现(以深层特征提取网络包括三个为例)。其中，目标检测模型1是用于对输入的包含目标对象的平面(two dimensional，2D)待检测图像进行目标特征提取，并基于目标特征对目标对象的位置以及目标对象与采集设备之间的距离进行检测的模型。
其中，目标对象可以是待检测图像中包含的需要进行目标检测的对象，例如，可以是待检测图像中包含的车辆或行人等物体。通常情况下，待检测图像中可以包含距离采集设备远近不同的多个目标对象，为了更全面、更精准地提取待检测图像中的目标对象，本申请实施例中的目标检测模型1可以包括骨干网络10、深层特征提取网络(如图3中的第一深层特征提取网络11、第二深层特征提取网络12和第三深层特征提取网络13)和检测网络(如图3中的第一检测网络14、第二检测网络16和第三检测网络15)。
可选的，骨干网络10是用于对包含目标对象的待检测图像进行初步特征提取，输出待检测图像的初始特征的网络。第一深层特征提取网络11是用于对骨干网络10输出的初始特征进行深层特征提取，并输出其处理得到的目标特征1的网络。第二深层特征提取网络12是用于对第一深层特征提取网络11输出的目标特征1进行再次深层特征提取，并输出其处理得到的目标特征2的网络。相应的，第三深层特征提取网络13是用于对第二深层特征提取网络12输出的目标特征2进行再次深层特征提取，并输出其处理得到的目标特征3的网络。
所谓“特征”即为经过网络所提取出的目标对象的抽象特征，初始特征用于表征待检测图像中目标对象的浅层次的抽象特征，目标特征用于表征待检测图像中目标对象的更深层次的抽象特征。需要说明的是，由于为不同的深层特征提取网络所设置的网络参数不同，所以各深层特征提取网络在提取目标特征时，对应的目标特征提取重点不同。示例性地，不同的深层特征提取网络在对待检测图像进行特征提取时，对不同距离的目标对应的特征提取精度不同。例如，第一深层特征提取网络在提取距离较近(如60米之内)的目标时精度较高，第二深层特征提取网络在提取距离适中(如130米之内)的目标时精度较高，第三深层特征提取网络在提取距离较远(如260米之内)的目标时精度较高。即，图3中目标特征1所包含的特征中，与采集设备距离较近的目标对象的特征更为丰富；目标特征2所包含的特征中，与采集设备距离适中的目标对象的特征更为丰富；目标特征3所包含的特征中，与采集设备距离较远的目标对象的特征更为丰富。
进一步的，每一个深层特征提取网络对应有一个检测网络，各检测网络对其对应的深层特征提取网络输出目标特征进行检测，输出基于该目标特征检测得到的目标对象的初始检测结果。可以理解的是，由于各检测网络所处理的目标特征不同，所以，不同的检测网络输出的初始检测结果不同。示例性地，第一检测网络14对第一深层特征提取网络11输出的目标特征1进行初始检测，得到的目标特征1对应的初始检测结果中，与采集设备距离较近的目标对象的检测结果更为精准。第二检测网络16对第二深层特征提取网络12输出的目标特征2进行初始检测，得到的目标特征2对应的初始检测结果中，与采集设备距离适中的目标对象的检测结果更为精准。第三检测网络15对第三深层特征提取网络13输出的目标特征3进行初始检测，得到的目标特征3对应的初始检测结果中，与采集设备距离较远的目标对象的检测结果更为精准。
可以理解的是，本实施例将各深层特征提取网络输出的目标特征进行融合，可以使目标对象的目标检测结果(即待检测图像中目标对象的位置，以及目标对象与采集设备之间的距离)更加精准。
以该方法应用于图1中的计算机为例进行说明，包括以下步骤：
S201，通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征。
其中，待检测图像可以是二维平面图像。目标对象可以是待检测图像中包含的需要进行检测的对象，例如，可以是待检测图像中包含的车辆或行人等物体。可选的，获取包含目标对象的待检测图像的方式可以有很多，例如，可以是通过车辆上的行车记录仪获取的，也可以是通过车辆上的摄像头获取的，对此不进行限定。
具体的，如图3所示，本实施例中将包含目标对象的待检测图像输入至目标检测模型1中的骨干网络10中，骨干网络10会对接收到的包含目标对象的待检测图像进行初始特征提取，并输出待检测图像的初始特征。
可选的，本实施例中，骨干网络可以是由下采样层和扩展高效层组成的，下采样层和扩展高效层也可以是一个，也可以是多个，对此不进行限定。其中，下采样层可以是对待检测图像进行下采样特征提取的网络，可以将待检测图像进行缩小，从而使得提取到的特征具有更强的语义性。扩展高效层可以是用于对待检测图像的特征信息进行聚合和特征分析的网络。示例性地，以骨干网络中包括有一个下采样层(例如，一个2倍下采样层)和四个扩展高效层。相应的，本实施例中，将包含目标对象的待检测图像输入至目标检测模型1中的骨干网络10中后，经骨干网络10中的一个下采样层和四个扩展高效层的处理之后，得到并输出待检测图像的初始特征。
S202，通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征。
其中，深层特征提取网络的个数为至少两个。本实施例中，深层特征提取网络会对接收到的初始特征进行深层特征提取。
示例性地，若目标检测模型包含三个首尾连接的深层特征提取网络，则通过第一个深层特征提取网络，对初始特征进行深层特征提取，得到第一个深层特征提取网络输出的目标特征；通过第二个深层特征提取网络，对第一个深层特征提取网络输出的目标特征进行深层特征提取，得到第二个深层特征提取网络输出的目标特征；通过第三个深层特征提取网络，对第二个深层特征提取网络输出的目标特征进行深层特征提取，得到第三个深层特征提取网络输出的目标特征。也就是说，第二个深层特征提取网络会在第一个深层特征提取网络对初始特征进行深层特征提取的基础上，再次进行深层特征提取。第三个深层特征提取网络会在第二个深层特征提取网络对第一个深层特征提取网络输出的目标特征进行深层特征提取的基础上，再次对第二个深层特征提取网络输出的目标特征进行深层特征提取，从而使得对待检测图像的深层特征提取更加全面，得到的深层特征更加丰富，为提高对目标对象的检测精度提供保障。
例如，如图3所示，以深层特征提取网络的个数为三个为例，本实施例中的目标检测模型1可以包括有第一深层特征提取网络11、第二深层特征提取网络12和第三深层特征提取网络13。对于骨干网络10输出的待检测图像的初始特征，会输入至第一深层特征提取网络11，第一深层特征提取网络11对接收到的初始特征进行深层特征提取，输出目标特征1至第二深层特征提取网络12，第二深层特征提取网络12对接收到的目标特征1进行再次深层特征提取，输出目标特征2至第三深层特征提取网络13，第三深层特征提取网络13对接收到的目标特征2进行再次深层特征提取，输出目标特征3。
S203，将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果。
其中，目标对象的初始检测结果即为各深层特征提取网络对应的检测网络输出的检测结果。可以理解的是，由于深层特征提取网络的个数为至少两个，所以，目标对象的初始检测结果的个数也为至少两个，且与深层特征提取网络的个数相同。
示例性地，如图3所示，目标对象的目标检测模型1中第一深层特征提取网络11与第一检测网络14对应，第二深层特征提取网络12与第二检测网络16对应，第三深层特征提取网络13与第三检测网络15对应。本实施例中，第一检测网络14、第二检测网络16和第三检测网络15分别对其对应的第一深层特征提取网络11、第二深层特征提取网络12和第三深层特征提取网络13输出的目标特征进行目标检测，得到各检测网络预测的目标对象的初始检测结果。
S204，根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果。
其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
可选的，本实施例中，可以将各检测网络输出的目标对象的初始检测结果简单合并后作为目标对象的目标检测结果。也可以是将各检测网络输出的目标对象的初始检测结果中目标对象的位置以及目标对象与采集设备之间的距离，分别进行加权求和处理，将加权求和结果作为目标对象的目标检测结果(包括目标对象的位置以及目标对象与采集设备之间的距离)。
上述目标对象的检测方法中，在目标检测模型中设置深层特征提取网络，从而使得在目标检测模型的骨干网络对包含目标对象的待检测图像进行初始特征提取之后，还可以进一步提取更深层的特征。又由于设置的深层特征提取网络为至少两个，可以更大程度地提取包含目标对象的待检测图像的特征，使得深层特征提取网络输出的目标特征更加精准。为后续基于目标特征对目标对象进行目标检测提供保障。另外，每一深层特征提取网络均具有与其对应的检测网络，各检测网络都会对其对应的深层特征提取网络输出的目标特征进行处理，输出对应的初始检测结果，再根据各初始检测结果确定目标对象的目标检测结果，可以使得目标检测结果更加准确。另外，本实施例中，对目标对象的位置以及对目标对象与采集设备之间的距离预测都是在目标检测模型中完成的，也可以提高对目标对象与采集设备之间的距离预测的效率。也就是说，整个过程可以提高对目标对象的检测准确率与效率。
进一步地，为了使深层特征提取网络对初始特征进行深层特征提取的过程更加清楚，在一个实施例中，第一个深层特征提取网络包括：卷积层、金字塔池化层、上采样层和扩展高效层；第二个深层特征提取网络和第三深层特征提取网络均包括：扩展高效层。扩展高效层包括下采样层和通道扩充层；下采样层和上采样层的倍数相同。示例性地，深层特征提取网络的内部结构可以如图4所示。图中，第一深层特征提取网络11包括有卷积层110、金字塔池化层111、上采样层112和扩展高效层1(113)。且卷积层110与金字塔池化层111连接，金字塔池化层111与上采样层112连接，上采样层112与扩展高效层113连接。第二深层特征提取网络12包括扩展高效层2(120)。第三深层特征提取网络13包括扩展高效层3(130)。可以理解的是，卷积层110、金字塔池化层111、上采样层112和扩展高效层1(113)的个数均可以是一个，也可以是多个，对此不进行限定。
需要说明的是，本实施例中的扩展高效层(包括扩展高效层1、扩展高效层2和扩展高效层3)都是由下采样层和通道扩充层组成的，其中，通道扩充层是用于对待检测图像的通道进行扩充的网络。为了使经过扩展高效层处理后输出的通道个数不发生改变，各下采样层均与上采样层112的倍数相同，例如，可以都是2倍上采样层和2倍下采样层。可以理解的是，下采样层的倍数之和与上采样层的倍数之和是相同的。
以目标对象的检测方法应用在如图4所示的目标检测模型1中为例，如图5所示，上述通过第一个深层特征提取网络，对初始特征进行深层特征提取，得到第一个深层特征提取网络输出的目标特征，包括以下几个步骤：
S501，通过第一个深层特征提取网络的卷积层，对初始特征进行卷积处理，得到卷积特征。
具体的，本实施例中，对于接收到的初始特征，第一个深层特征提取网络的卷积层会对初始特征进行卷积处理，得到卷积特征并输出。示例性地，若第一个深层特征提取网络接收到的初始特征的大小为20×14×1024，则经过卷积层的处理之后，会得到卷积特征。需要说明的是，本实施例中，经卷积处理之后的初始特征可以被处理成为至少一个卷积特征，若处理后的卷积特征的数量为多个时，各卷积特征的大小均相同。例如，成为两个卷积特征，则此时，各卷积特征的大小均为20×14×512。
S502，通过第一个深层特征提取网络的金字塔池化层，对卷积特征进行解析，得到全局特征，并将全局特征与卷积特征进行拼接，得到拼接特征。
可选的，若初始特征被卷积层处理后得到一个卷积特征，则会将该卷积特征输入至金字塔池化层，金字塔池化层对接收到的卷积特征进行解析处理，得到全局特征。并且，由于全局特征所表征的特征更加笼统，卷积特征所表征的特征更加细节，则本实施例中，为了使通过金字塔池化层处理后得到的特征更加全面且精准，金字塔池化层不会直接将全局特征输出，而是将全局特征与卷积特征进行拼接，得到拼接特征之后再输出，以使得拼接特征所包含的特征信息更加全面精准。
另外，若初始特征被卷积层处理后得到两个卷积特征，则会将其中一个卷积特征输入至金字塔池化层，金字塔池化层对接收到的卷积特征进行解析处理，得到全局特征之后，与另一个卷积特征进行拼接处理，得到拼接特征并输出。一方面，拼接特征所包含的特征信息更加全面精准，另一方面，将特征大小为20×14×512的卷积特征与特征大小为20×14×512的全局特征进行拼接，能够使得最终得到的拼接特征能够还原初始特征的大小，成为20×14×1024，方便后续处理。并且，将初始特征卷积处理后得到两个大小为20×14×512的卷积特征，仅对其中一个卷积特征利用金字塔池化层进行处理，可以在不损耗特征提取的前提下有效减少金字塔池化层的计算量。
S503，依次通过第一个深层特征提取网络的上采样层和扩展高效层，对拼接特征进行特征聚合和特征分析处理，得到第一个深层特征提取网络输出的目标特征。
具体的，本实施例中，上采样层和扩展高效层会对接收到的拼接特征进行特征聚合和特征分析处理，得到深层语义信息，将该深层语义信息作为第一个深层特征提取网络处理得到的目标特征并输出。
上述实施例中，详细介绍了第一个深层特征提取网络中所包含的卷积层、金字塔池化层、上采样层和扩展高效层在对初始特征进行处理的过程中起到的作用，使得第一个深层特征提取网络对初始特征进行处理的过程更加清楚。
需要说明的是，为了使本实施例中输出的目标对象的初始检测结果包含目标对象的位置以及目标对象与采集设备之间的距离，各深层特征提取网络对应的检测网络均包含检测层和测距层，如图6所示，第一检测网络14包括有检测层140和测距层141，第二检测网络16包括有检测层160和测距层161，第三检测网络包括有检测层150和测距层151。相应的，对确定各检测网络预测的目标对象的初始检测结果的过程进行详细介绍，如图7所示，包括有以下几个步骤：
S701，针对每一深层特征提取网络，根据各预设通道，对该深层特征提取网络输出的目标特征进行通道转换处理，得到各预设通道的转换特征。
其中，目标对象的每一候选检测类别和初始检测结果的每一种类结果均对应一个预设通道。候选检测类别可以是目标对象可能存在的对象类别，例如，目标对象可能是车辆，也可能是行人，车辆和行人即为两种类别。本实施例中，预设通道的个数由目标对象的候选检测类别的个数，以及初始检测结果的种类数决定。
具体的，本实施例中，当检测网络接收到目标特征之前，会根据各预设通道，对该深层特征提取网络输出的目标特征进行通道转换处理，将通道个数转换为预设通道个数，将每一预设通道对应的转换特征作为该预设通道的转换特征。示例性地，可以通过通道压缩层对目标特征进行通道压缩处理，得到通道转换特征。
可选的，预设通道的个数可以是目标对象的候选检测类别的个数和初始检测结果的种类数之和，或者是目标对象的候选检测类别的个数和初始检测结果的种类数之和的预设倍数。示例性的，若预设倍数为3，目标对象的候选检测类别的个数为4(轿车、巴士、非机动车和行人四种)，初始检测结果的种类数为6，则预设通道个数N可以是3*(6+4)＝30。
S702，将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到检测网络预测的目标对象与采集设备之间的距离。
其中，第一通道为目标对象与采集设备之间的距离对应的预设通道。可以理解的是，第一通道并不一定是第一个预设通道，它可以是各预设通道中与目标对象与采集设备之间的距离对应的预设通道。
具体的，本实施例中，抽取第一通道的转换特征，将其输入至该深层特征提取网络对应的检测网络的测距层中，测距层对第一通道的转换特征进行解析和处理，得到该检测网络预测的目标对象与采集设备之间的距离。可以理解的是，每一检测网络均会对其对应的深层特征提取网络输出的第一通道的转换特征进行处理，得到该检测网络预测的目标对象与采集设备之间的距离。
在一个实施例中，为了使检测网络预测的目标对象与采集设备之间的距离更加符合准确且现实情况，在一个实施例中，可以将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到检测网络的测距层基于yolo系列锚框算法预测的目标对象与采集设备之间的距离；其中，每一检测网络的测距层采用的yolo系列锚框算法的锚框的个数基于目标检测模型中深层特征提取网络的个数确定。示例性地，锚框的个数可以与目标检测模型中深层特征提取网络的个数相同，即每个深层特征提取网络均对应一个锚框。
需要说明的是，基于yolo系列锚框算法预测的目标对象与采集设备之间的距离是在(0，1)之间的，也就是说，每一检测网络的测距层都会输出一个在(0，1)之间的距离预测结果，这个结果较为精准但是并不符合现实情况，因此，在得到测距层输出的在(0，1)之间的距离预测结果之后，还会将该距离预测结果与预先设置的锚框尺度相结合，处理得到符合现实情况的预测距离。例如，将第一测距层输出的在(0，1)之间的距离预测结果与第一深层特征提取网络对应的锚框尺度相乘，得到第一测距层输出的距离预测结果。
S703，将除第一通道之外的其他预设通道的转换特征输入该深层特征提取网络对应的检测网络的检测层，得到检测网络预测的目标对象的位置。
具体的，本实施例中，将除第一通道之外的其他预设通道的转换特征，全部输入至该深层特征提取网络对应的检测网络中的检测层，检测层会对接收到的其他预设通道的转换特征进行解析和处理，输出该检测网络预测的目标对象的位置信息。
上述实施例中，将各检测网络分为检测层和测距层，将对目标对象的位置进行检测和对目标对象与采集设备之间的距离进行预测的工作分开进行，一方面可以提高对目标对象进行检测的效率，另一方面，还可以在一定程度上提高对目标对象进行检测的准确度。
另外，为了使目标检测模型的输出结果更加精确，本实施例还提供了对目标检测模型进行训练的过程。如图8所示，目标检测模型的训练过程可以包括：
S801，通过第一样本训练集，对目标检测模型中除测距层之外的其他网络层进行训练，得到初训练的目标检测模型。
其中，第一样本训练集可以包含有多个用于对目标检测模型中除测距层之外的其他网络层进行训练的样本图像。
具体的，本实施例中，将第一样本训练集输入至目标检测模型中，对目标检测模型中除测距层之外的其他网络层进行训练，输出第一样本训练集中每一样本图像对应的检测结果，可以理解的是，本检测结果并不包含目标对象与采集设备之间的距离，仅为目标对象的位置。之后根据第一样本训练集中每一样本图像对应的检测结果和样本标签，计算损失值，根据损失值调整目标检测模型中除测距层之外的其他网络层的网络参数，得到初训练的目标检测模型。
S802，将第二样本训练集中各训练样本输入到初训练的目标检测模型中，获取初训练的目标检测模型的各检测层预测的各训练样本中目标对象的位置。
其中，第二样本训练集可以是对初训练的目标检测模型进行训练的样本集，其中可以包含有多个用于对初训练的目标检测模型进行训练的样本图像。可以理解的是，第一样本训练集中包含的训练样本与第二样本训练集中包含的训练样本可以有交叉，也可以无交叉，对此不进行限定。
具体的，本实施例中，将第二样本训练集中各训练样本输入到初训练的目标检测模型中，通过初训练的目标检测模型对各训练样本的处理，输出初训练的目标检测模型的各检测层预测的各训练样本中目标对象的位置。
S803，根据各检测层预测的各训练样本中目标对象的位置与各训练样本对应的目标对象位置标签，从各训练样本中确定目标样本。
其中，目标样本可以是对目标检测模型进行训练的样本。目标对象位置标签可以是真实的目标对象位置。
具体的，本实施例中，根据初训练的目标检测模型的各检测层预测的各训练样本中目标对象的位置，以及对应的目标对象的位置标签，从第二样本训练集中各训练样本中筛选出对目标对象位置预测准确的训练样本，将其作为目标样本。
在一个实施例中，可以根据各检测层预测的各训练样本中目标对象的位置与各训练样本对应的目标对象位置标签，计算各训练样本中目标对象的位置交并比，以及各训练样本的适应度；根据各训练样本中目标对象的位置交并比，从各训练样本中确定初筛选样本；根据各初筛选样本的适应度，从初筛选样本中确定目标样本。其中，位置交并比可以是各检测层预测的各训练样本中目标对象的位置正确的部分与目标对象的位置的比值，可以用于评价各检测层对于预测目标对象的位置的准确率。示例性地，若各检测层预测的训练样本1中目标对象的位置正确的像素点为100个，目标对象位置的所有像素点为200个，则此时，训练样本1中目标对象的位置交并比为100/200＝0.5。
具体的，本实施例中，计算各训练样本中目标对象的位置交并比，再对各位置交并比的值满足预设要求的训练样本作为初筛选样本。例如，可以预先确定一个位置交并比阈值(例如0.8)，将各训练样本中目标对象的位置交并比大于位置交并比阈值的训练样本作为初筛选样本。
进一步地，为了使对目标检测模型进行训练的目标样本更加符合要求，对于初筛选样本，还需要确定各初筛选样本的适应度，根据各初筛选样本的适应度，从初筛选样本中确定目标样本。示例性地，可以是，根据各初筛选样本中目标对象的位置标签和模型预测的目标对象的位置，结合预先确定的适应度确定公式，计算出各初筛选样本对应的适应度，再根据各初筛选样本对应的适应度，结合预先确定的目标对象确定策略，从初筛选样本中筛选出目标样本。示例性地，适应度确定公式可以如下公式(1)：
式中，gt(w,k)表示各初筛选样本中目标对象的位置标签，pred(w,k)表示模型预测的目标对象的位置。
示例性地，本实施例中，可以根据确定好的各初筛选样本对应的适应度，结合预先确定的适应度阈值，从各初筛选样本中筛选出适应度大于适应度阈值的部分，将其作为目标样本。上述实施例中，先根据各训练样本中目标对象的位置交并比确定出初筛选样本，再根据各初筛选样本的适应度，从初筛选样本中筛选出目标样本，使得目标样本更加符合要求，大幅提升了目标样本的正样本率，为目标检测模型的训练提供了保障。
S804，通过目标样本，对目标检测模型进行训练，得到训练好的目标检测模型。
具体的，本实施例中，将目标样本输入至目标检测模型中，通过目标检测模型对目标样本的解析和处理，输出各目标样本对应的目标对象的位置以及目标对象与采集设备之间的距离。再根据各目标样本对应的目标对象的位置以及目标对象与采集设备之间的距离，结合目标对象的位置标签以及目标对象与采集之间的距离标签，计算损失值，根据损失值对目标检测模型中各网络层的参数进行调整，从而对目标检测模型进行训练。
上述实施例中，通过从训练样本集中的各训练样本中筛选目标样本，使得对目标检测模型进行训练的目标样本都是交并比和适应度满足要求的(即正样本)，利用筛选出的目标样本对目标检测模型进行训练，使得对目标检测模型的训练更加完善，进一步使得目标检测模型的检测精度提高。
为了便于本领域技术人员的理解，对上述目标对象的检测方法进行详细介绍，如图9所示，该方法可以包括：
S901，通过第一样本训练集，对目标检测模型中除测距层之外的其他网络层进行训练，得到初训练的目标检测模型。
S902，将第二样本训练集中各训练样本输入到初训练的目标检测模型中，获取初训练的目标检测模型的各检测层预测的各训练样本中目标对象的位置。
S903，根据各检测层预测的各训练样本中目标对象的位置与各训练样本对应的目标对象位置标签，计算各训练样本中目标对象的位置交并比，以及各训练样本的适应度。
S904，根据各训练样本中目标对象的位置交并比，从各训练样本中确定初筛选样本。
S905，根据各初筛选样本的适应度，从初筛选样本中确定目标样本。
S906，通过目标样本，对目标检测模型进行训练，得到训练好的目标检测模型。
S907，通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征。
S908，若目标检测模型包含三个首尾连接的深层特征提取网络，则通过第一个深层特征提取网络的卷积层，对初始特征进行卷积处理，得到卷积特征。
其中，第一个深层特征提取网络包括：卷积层、金字塔池化层、上采样层和扩展高效层；第二个深层特征提取网络和第三深层特征提取网络均包括：扩展高效层。扩展高效层包括下采样层和通道扩充层；下采样层和上采样层的倍数相同。
S909，通过第一个深层特征提取网络的金字塔池化层，对卷积特征进行解析，得到全局特征，并将全局特征与卷积特征进行拼接，得到拼接特征。
S910，依次通过第一个深层特征提取网络的上采样层和扩展高效层，对拼接特征进行特征聚合和特征分析处理，得到第一个深层特征提取网络输出的目标特征。
S911，通过第二个深层特征提取网络，对第一个深层特征提取网络输出的目标特征进行深层特征提取，得到第二个深层特征提取网络输出的目标特征。
S912，通过第三个深层特征提取网络，对第二个深层特征提取网络输出的目标特征进行深层特征提取，得到第三个深层特征提取网络输出的目标特征。
S913，针对每一深层特征提取网络，根据各预设通道，对该深层特征提取网络输出的目标特征进行通道转换处理，得到各预设通道的转换特征。
其中，目标对象的每一候选检测类别和初始检测结果的每一种类结果均对应一个预设通道。
S914，将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到检测网络预测的目标对象与采集设备之间的距离。
其中，第一通道为目标对象与采集设备之间的距离对应的预设通道。
S915，将除第一通道之外的其他预设通道的转换特征输入该深层特征提取网络对应的检测网络的检测层，得到检测网络预测的目标对象的位置。
S916，将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到检测网络的测距层基于yolo系列锚框算法预测的目标对象与采集设备之间的距离。
其中，每一检测网络的测距层采用的yolo系列锚框算法的锚框的个数基于目标检测模型中深层特征提取网络的个数确定。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的目标对象的检测方法的目标对象的检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个目标对象的检测装置实施例中的具体限定可以参见上文中对于目标对象的检测方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种目标对象的检测装置2，包括：第一特征提取模块20、第二特征提取模块21、初始检测模块22和目标检测模块23，其中：
第一特征提取模块20，用于通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征。
第二特征提取模块21，用于通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征。
初始检测模块22，用于将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果。
目标检测模块23，用于根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果。
其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
在一个实施例中，如图11所示，第二特征提取模块21包括第一提取单元210、第二提取单元211和第三提取单元212。其中：
第一提取单元210，用于若目标检测模型包含三个首尾连接的深层特征提取网络，则通过第一个深层特征提取网络，对初始特征进行深层特征提取，得到第一个深层特征提取网络输出的目标特征。
第二提取单元211，用于通过第二个深层特征提取网络，对第一个深层特征提取网络输出的目标特征进行深层特征提取，得到第二个深层特征提取网络输出的目标特征。
第三提取单元212，用于通过第三个深层特征提取网络，对第二个深层特征提取网络输出的目标特征进行深层特征提取，得到第三个深层特征提取网络输出的目标特征。
在一个实施例中，第一个深层特征提取网络包括：卷积层、金字塔池化层、上采样层和扩展高效层；第二个深层特征提取网络和第三深层特征提取网络均包括：扩展高效层。扩展高效层包括下采样层和通道扩充层；下采样层和上采样层的倍数相同。
在一个实施例中，第一提取单元210具体用于：通过第一个深层特征提取网络的卷积层，对初始特征进行卷积处理，得到卷积特征；通过第一个深层特征提取网络的金字塔池化层，对卷积特征进行解析，得到全局特征，并将全局特征与卷积特征进行拼接，得到拼接特征；依次通过第一个深层特征提取网络的上采样层和扩展高效层，对拼接特征进行特征聚合和特征分析处理，得到第一个深层特征提取网络输出的目标特征。
在一个实施例中，各深层特征提取网络对应的检测网络均包含检测层和测距层，相应的，如图12所示，初始检测模块22包括第一检测单元220、第二检测单元221和第三检测单元222。其中：
第一检测单元220，用于针对每一深层特征提取网络，根据各预设通道，对该深层特征提取网络输出的目标特征进行通道转换处理，得到各预设通道的转换特征。
其中，目标对象的每一候选检测类别和初始检测结果的每一种类结果均对应一个预设通道。
第二检测单元221，用于将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到检测网络预测的目标对象与采集设备之间的距离。
其中，第一通道为目标对象与采集设备之间的距离对应的预设通道。
第三检测单元222，用于将除第一通道之外的其他预设通道的转换特征输入该深层特征提取网络对应的检测网络的检测层，得到检测网络预测的目标对象的位置。
在一个实施例中，第二检测单元221具体用于：将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到检测网络的测距层基于yolo系列锚框算法预测的目标对象与采集设备之间的距离；其中，每一检测网络的测距层采用的yolo系列锚框算法的锚框的个数基于目标检测模型中深层特征提取网络的个数确定。
在一个实施例中，如图10所示的目标对象的检测装置1中还包括训练模块24，如图13所示，包括第一训练单元240、第二训练单元241、第三训练单元242和第四训练单元243。其中：
第一训练单元240，用于通过第一样本训练集，对目标检测模型中除测距层之外的其他网络层进行训练，得到初训练的目标检测模型。
第二训练单元241，用于将第二样本训练集中各训练样本输入到初训练的目标检测模型中，获取初训练的目标检测模型的各检测层预测的各训练样本中目标对象的位置。
第三训练单元242，用于根据各检测层预测的各训练样本中目标对象的位置与各训练样本对应的目标对象位置标签，从各训练样本中确定目标样本。
第四训练单元243，用于通过目标样本，对目标检测模型进行训练，得到训练好的目标检测模型。
在一个实施例中，第三训练单元242具体用于根据各检测层预测的各训练样本中目标对象的位置与各训练样本对应的目标对象位置标签，计算各训练样本中目标对象的位置交并比，以及各训练样本的适应度；根据各训练样本中目标对象的位置交并比，从各训练样本中确定初筛选样本；根据各初筛选样本的适应度，从初筛选样本中确定目标样本。
上述目标对象的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图14所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标对象的检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
通过目标检测模型中的至少两个首尾连接的深层特征提取网络，对初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
将各深层特征提取网络输出的目标特征分别输入到目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，初始检测结果和目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
需要说明的是，本申请所涉及的信息(包括但不限于待检测图像的信息和训练样本的信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种目标对象的检测方法，其特征在于，所述方法包括：
通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
通过所述目标检测模型中的至少两个首尾连接的深层特征提取网络，对所述初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
将各深层特征提取网络输出的目标特征分别输入到所述目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，所述初始检测结果和所述目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述通过所述目标检测模型中的至少两个首尾连接的深层特征提取网络，对所述初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征，包括：
若所述目标检测模型包含三个首尾连接的深层特征提取网络，则通过第一个深层特征提取网络，对所述初始特征进行深层特征提取，得到第一个深层特征提取网络输出的目标特征；
通过第二个深层特征提取网络，对所述第一个深层特征提取网络输出的目标特征进行深层特征提取，得到第二个深层特征提取网络输出的目标特征；
通过第三个深层特征提取网络，对所述第二个深层特征提取网络输出的目标特征进行深层特征提取，得到第三个深层特征提取网络输出的目标特征。
3.根据权利要求2所述的方法，其特征在于，所述第一个深层特征提取网络包括：卷积层、金字塔池化层、上采样层和扩展高效层；所述第二个深层特征提取网络和第三深层特征提取网络均包括：扩展高效层；所述扩展高效层包括下采样层和通道扩充层；所述下采样层和所述上采样层的倍数相同。
4.根据权利要求3所述的方法，其特征在于，所述通过第一个深层特征提取网络，对所述初始特征进行深层特征提取，得到第一个深层特征提取网络输出的目标特征，包括：
通过第一个深层特征提取网络的卷积层，对初始特征进行卷积处理，得到卷积特征；
通过第一个深层特征提取网络的金字塔池化层，对所述卷积特征进行解析，得到全局特征，并将所述全局特征与所述卷积特征进行拼接，得到拼接特征；
依次通过第一个深层特征提取网络的上采样层和扩展高效层，对所述拼接特征进行特征聚合和特征分析处理，得到第一个深层特征提取网络输出的目标特征。
5.根据权利要求1所述的方法，其特征在于，所述各深层特征提取网络对应的检测网络均包含检测层和测距层；
相应的，将各深层特征提取网络输出的目标特征分别输入到所述目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果，包括：
针对每一深层特征提取网络，根据各预设通道，对该深层特征提取网络输出的目标特征进行通道转换处理，得到各预设通道的转换特征；其中，所述目标对象的每一候选检测类别和初始检测结果的每一种类结果均对应一个预设通道；
将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到所述检测网络预测的目标对象与采集设备之间的距离；其中，第一通道为目标对象与采集设备之间的距离对应的预设通道；
将除所述第一通道之外的其他预设通道的转换特征输入该深层特征提取网络对应的检测网络的检测层，得到所述检测网络预测的目标对象的位置。
6.根据权利要求5所述的方法，其特征在于，所述将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到所述检测网络预测的目标对象与采集设备之间的距离，包括：
将第一通道的转换特征输入该深层特征提取网络对应的检测网络的测距层，得到所述检测网络的测距层基于yolo系列锚框算法预测的目标对象与采集设备之间的距离；其中，每一所述检测网络的测距层采用的yolo系列锚框算法的锚框的个数基于所述目标检测模型中深层特征提取网络的个数确定。
7.根据权利要求5或6所述的方法，其特征在于，所述目标检测模型的训练过程包括：
通过第一样本训练集，对目标检测模型中除所述测距层之外的其他网络层进行训练，得到初训练的目标检测模型；
将第二样本训练集中各训练样本输入到初训练的目标检测模型中，获取初训练的目标检测模型的各检测层预测的各训练样本中目标对象的位置；
根据所述各检测层预测的各训练样本中目标对象的位置与所述各训练样本对应的目标对象位置标签，从各训练样本中确定目标样本；
通过目标样本，对所述目标检测模型进行训练，得到训练好的目标检测模型。
8.根据权利要求7所述的方法，其特征在于，所述根据所述各检测层预测的各训练样本中目标对象的位置与所述各训练样本对应的目标对象位置标签，从各训练样本中确定目标样本，包括：
根据所述各检测层预测的各训练样本中目标对象的位置与所述各训练样本对应的目标对象位置标签，计算各训练样本中目标对象的位置交并比，以及各训练样本的适应度；
根据各训练样本中目标对象的位置交并比，从各训练样本中确定初筛选样本；
根据各初筛选样本的适应度，从所述初筛选样本中确定目标样本。
9.一种目标对象的检测装置，其特征在于，所述装置包括：
第一特征提取模块，用于通过目标检测模型的骨干网络，对包含目标对象的待检测图像进行特征提取，得到待检测图像的初始特征；
第二特征提取模块，用于通过所述目标检测模型中的至少两个首尾连接的深层特征提取网络，对所述初始特征进行深层特征提取，得到各深层特征提取网络输出的目标特征；
初始检测模块，用于将各深层特征提取网络输出的目标特征分别输入到所述目标检测模型中各深层特征提取网络对应的检测网络中，得到各检测网络预测的目标对象的初始检测结果；
目标检测模块，用于根据各检测网络输出的目标对象的初始检测结果，确定目标对象的目标检测结果；其中，所述初始检测结果和所述目标检测结果的种类至少包括：目标对象的位置以及目标对象与采集设备之间的距离。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
CN202311257192.XA 2023-09-26 2023-09-26 目标对象的检测方法、装置、设备和存储介质 Pending CN117292345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311257192.XA CN117292345A (zh) 2023-09-26 2023-09-26 目标对象的检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311257192.XA CN117292345A (zh) 2023-09-26 2023-09-26 目标对象的检测方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN117292345A true CN117292345A (zh) 2023-12-26

Family

ID=89240421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311257192.XA Pending CN117292345A (zh) 2023-09-26 2023-09-26 目标对象的检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN117292345A (zh)

Similar Documents

Publication Publication Date Title
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
JP2022025008A (ja) テキスト行識別に基づくナンバープレート識別方法
CN116310656B (zh) 训练样本确定方法、装置和计算机设备
CN111127516A (zh) 无搜索框的目标检测和跟踪方法及系统
CN112396657A (zh) 一种基于神经网络的深度位姿估计方法、装置及终端设备
CN115661767A (zh) 一种基于卷积神经网络的图像前方车辆目标识别方法
CN111753729B (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN114332484A (zh) 关键点检测方法、装置、计算机设备和存储介质
CN113643173A (zh) 水印去除方法、装置、终端设备及可读存储介质
CN115984634B (zh) 图像检测方法、装置、设备、存储介质和程序产品
CN116665170A (zh) 目标检测模型的训练及目标检测方法、装置、设备和介质
CN116152637A (zh) 自动驾驶感知模型的评测方法、计算机设备和存储介质
CN117292345A (zh) 目标对象的检测方法、装置、设备和存储介质
CN115830073A (zh) 地图要素重建方法、装置、计算机设备和存储介质
CN113111708B (zh) 车辆匹配样本生成方法、装置、计算机设备和存储介质
CN112380986A (zh) 抗复杂街道背景干扰的车型检测方法、系统及存储介质
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质
CN115965856B (zh) 图像检测模型构建方法、装置、计算机设备及存储介质
CN117576645B (zh) 基于bev视角的车位检测方法、装置和计算机设备
CN116597412A (zh) 车位检测方法、装置、计算机设备和存储介质
CN116778469A (zh) 图像中目标对象的目标检测方法、装置和存储介质
CN118135531A (zh) 交通标志识别方法、装置、计算机设备和存储介质
CN117292178A (zh) 目标检测方法、装置、计算机设备及计算机可读存储介质
CN118052860A (zh) 车辆深度信息的估算方法、装置、计算机设备和存储介质
CN117975473A (zh) 票据文本检测模型训练及检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination