CN111027602B - 一种多级结构目标检测方法及系统 - Google Patents

一种多级结构目标检测方法及系统 Download PDF

Info

Publication number
CN111027602B
CN111027602B CN201911167676.9A CN201911167676A CN111027602B CN 111027602 B CN111027602 B CN 111027602B CN 201911167676 A CN201911167676 A CN 201911167676A CN 111027602 B CN111027602 B CN 111027602B
Authority
CN
China
Prior art keywords
foreground
information
target
length
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911167676.9A
Other languages
English (en)
Other versions
CN111027602A (zh
Inventor
王好谦
李泽阳
张永兵
杨芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN201911167676.9A priority Critical patent/CN111027602B/zh
Publication of CN111027602A publication Critical patent/CN111027602A/zh
Application granted granted Critical
Publication of CN111027602B publication Critical patent/CN111027602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多级结构目标检测方法，包括：获取输入图像的特征并由特征获取图像的前景中心信息和前景长宽信息；根据前景中心信息、前景长宽信息得到输入图像的前景区域的位置和大小，计算前景区域的模糊度并根据模糊度和预先设置的阈值将前景区域分为模糊和清晰两个类别；根据前景区域的位置和大小以及图像特征得到固定维度的前景特征，前景特征根据前景区域的类别分开检测获得前景中心修正信息，前景长宽信息，前景目标种类分类信息；根据前景中心信息和前景中心修正信息得到目标准确位置；根据前景长宽信息和前景长宽修正信息得到目标准确大小，由前景分类信息得到目标的目标种类分类结果。

Description

一种多级结构目标检测方法及系统
技术领域
本发明涉及计算机视觉和图像处理技术领域，尤其涉及一种多级结构目标检测方法及系统。
背景技术
目标检测指找出图像中所感兴趣的目标，并确定它们的类别、位置、大小，是计算机视觉领域重要的研究问题。因为物体有着不同的外观，大小，并且受到光照条件的限制，目标检测问题是计算机视觉最具有挑战性的问题。
在深度学习被应用之前，目标检测使用传统的模式识别方法。步骤主要包括：使用不同尺寸的滑动窗口对整个图像进行遍历，得到大量的子图；使用传统的特征提取方法例如HOG，SIFT对每个子图提取特征，得到一个高维度的特征向量；采用传统的分类方法如SVM，Adaboost对这些特征向量进行分类；将分类结果为目标的子图保留，这些子图在整个图像的位置则为目标位置，目标大小为子图大小。
深度学习方法提出来之后，首先用于图像分类任务，使用多层卷积神经网络替代人为设计特征提取方法求取高维度特征向量，使用全连接层和softmax来对特征向量进行分类。深度学习相比传统模式识别有着很大优势，提出了让计算机自动学习特征表征的方法，并且特征学习融入建立模型的过程中，增大了特征向量的表征能力。在目标检测任务中，深度学习方法可分为one-stage，two-stage两种，以two-stage为例，其思路类似于传统方法。首先对整个图像提取特征，使用滑动窗口遍历特征找出存在目标的候选区域，根据候选区域所在整个图像的位置和大小对应获得其相应的特征，对其特征进行分类和回归得到候选区域目标类别、精确位置和大小。
在实际生活中拍摄运动物体、相机抖动、不在焦点的物体都会导致图像中部分区域或者整个图像出现模糊。常见的检测网络如YOLO，SSD，faster RCNN，RetinaNet只针对于检测一张清晰图像中的物体，这些网络只含有一个检测器，没有区分图像中模糊和清晰区域并进行分开的检测，无法接近带有模糊区域的图像中目标的识别、定位问题。
以上背景技术内容的公开仅用于辅助理解本专利申请的专利申请构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种多级结构目标检测方法及系统。
为了解决上述问题，本发明采用的技术方案如下所述：
一种多级结构目标检测方法，包括如下步骤：S1：获取输入图像的特征并由所述特征获取图像的前景中心信息和前景长宽信息；S2：根据所述前景中心信息、所述前景长宽信息得到所述输入图像的前景区域的位置和大小，计算所述前景区域的模糊度并根据所述模糊度和预先设置的阈值将所述前景区域分为模糊和清晰两个类别；S3：根据所述前景区域的位置和大小以及图像特征得到固定维度的前景特征，所述前景特征根据所述前景区域的类别分开检测获得前景中心修正信息，前景长宽信息，前景目标种类分类信息；S4：根据所述前景中心信息和所述前景中心修正信息得到目标准确位置；根据所述前景长宽信息和所述前景长宽修正信息得到目标准确大小，由前景分类信息得到目标的目标种类分类结果。
优选地，所述前景中心信息和前景长宽信息按照前景尺寸分组预测；所述前景尺寸是图像数据集中训练集的目标尺寸标签。
优选地，采用Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数计算所述前景区域的模糊度；所述预先设置的阈值与采用的函数相对应。
优选地，所述前景特征根据所述前景区域的类别由两个子检测器分开检测，模糊类别的所述前景区域的所述前景特征由模糊子检测器检测，清晰类别的所述前景区域的所述前景特征由清晰子检测器检测。
优选地，所述目标种类分类包括人和物体的种类。
本发明又提供一种多级结构目标检测系统，包括：第一级前景检测器：包括图像特征提取模块和前景检测任务模块，分别用于获取输入图像的特征和所述特征获取图像的前景中心信息和前景长宽信息；前景模糊度分类模块，用于根据所述前景中心信息、所述前景长宽信息得到所述输入图像的前景区域的位置和大小，计算所述前景区域的模糊度并根据所述模糊度和预先设置的阈值将所述前景区域分为模糊和清晰两个类别；第二级精细检测器，包括roi-align池化层，模糊子检测器，清晰子检测器，所述roi-align池化层用于根据所述前景区域的位置和大小以及图像特征得到固定维度的前景特征；所述模糊子检测器用于检测模糊类别的所述前景区域的所述前景特征；所述清晰子检测器用于清晰类别的所述前景区域的所述前景特征；获得前景中心修正信息，前景长宽信息，前景目标种类分类信息；信息处理模块，用于根据所述前景中心信息和所述前景中心修正信息得到目标准确位置；根据所述前景长宽信息和所述前景长宽修正信息得到目标准确大小，由前景分类信息得到目标的目标种类分类结果。
优选地，所述前景中心信息和前景长宽信息按照前景尺寸分组预测；所述前景尺寸是图像数据集中训练集的目标尺寸标签。
优选地，所述前景中心信息的通道数为所述按照前景尺寸分组的组数，一个所述通道只负责对一组所述前景中心信息进行预测。
优选地，所述图像特征提取模块是沙漏网络；所述前景检测任务模块是全卷积网路。
优选地，所述前景检测任务模块包括两个支路，第一个支路为前景中心信息支路，第二个支路为前景长宽信息支路。
本发明的有益效果为：提供了一种多级结构目标检测方法及系统，通过设置第一级前景检测器和第二级精细检测器，第一级前景检测器区分背景和前景，第二级精细检测器对前景进行细化检测，实现对目标的精确检测。同时提供多子检测器结合检测方法，增强了整个方法和系统的检测性能，避免出现单个子检测器难以学习同时检测模糊和清晰前景的问题。
本发明提出的基于模糊度的多级结构目标检测方法首先检测出前景，对前景进行分类，分为模糊前景和清晰前景，对于模糊前景使用模糊子检测器进行检测，清晰前景使用清晰子检测器进行检测。第一级前景检测使用基于关键点和回归结合的检测方法，没有采用基于锚定框的RPN网络检测方法，避免生成过多的锚定框，从而减小了计算量，加快了计算速度。除此以外，第二级的两个子检测器可进行针对性训练，将已经有良好效果的子检测器固定，只训练另一个子检测器，保证模糊和清晰前景同时获得较好的检测效果，保证出现模糊区域的图像整体检测效果达到要求。
附图说明
图1是本发明实施例中一种多级结构目标检测方法的示意图。
图2是本发明实施例中一种多级结构目标检测系统的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，一种多级结构目标检测方法，包括如下步骤：
S1：获取输入图像的特征并由所述特征获取图像的前景中心信息和前景长宽信息；
在本发明的一种实施例中，前景中心信息和前景长宽信息按照前景尺寸分组预测；前景尺寸是图像数据集中训练集的目标尺寸标签。
S2：根据所述前景中心信息、所述前景长宽信息得到所述输入图像的前景区域的位置和大小，计算所述前景区域的模糊度并根据所述模糊度和预先设置的阈值将所述前景区域分为模糊和清晰两个类别；
在本发明的一种实施例中，采用Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数计算所述前景区域的模糊度；所述预先设置的阈值与采用的函数相对应。
S3：根据所述前景区域的位置和大小以及图像特征得到固定维度的前景特征，所述前景特征根据所述前景区域的类别分开检测获得前景中心修正信息，前景长宽信息，前景目标种类分类信息；
前景特征根据前景区域类别由两个子检测器分开检测，模糊类别的前景区域的前景特征由模糊子检测器检测，清晰类别的前景区域的前景特征由清晰子检测器检测。目标种类分类包括人和物体的种类。
S4：根据所述前景中心信息和所述前景中心修正信息得到目标准确位置；根据所述前景长宽信息和所述前景长宽修正信息得到目标准确大小，由前景分类信息得到目标的目标种类分类结果。
如图2所示，本发明还提供一种多级结构目标检测系统，包括：
第一级前景检测器：包括图像特征提取模块和前景检测任务模块，分别用于获取输入图像的特征和所述特征获取图像的前景中心信息和前景长宽信息；
前景模糊度分类模块，用于根据所述前景中心信息、所述前景长宽信息得到所述输入图像的前景区域的位置和大小，计算所述前景区域的模糊度并根据所述模糊度和预先设置的阈值将所述前景区域分为模糊和清晰两个类别；
第二级精细检测器，包括roi-align池化层，模糊子检测器，清晰子检测器，所述roi-align池化层用于根据所述前景区域的位置和大小以及图像特征得到固定维度的前景特征；所述模糊子检测器用于检测模糊类别的所述前景区域的所述前景特征；所述清晰子检测器用于清晰类别的所述前景区域的所述前景特征；获得前景中心修正信息，前景长宽信息，前景目标种类分类信息；
信息处理模块，用于根据所述前景中心信息和所述前景中心修正信息得到目标准确位置；根据所述前景长宽信息和所述前景长宽修正信息得到目标准确大小，由前景分类信息得到目标的目标种类分类结果。
在本发明的一种实施例中，前景中心信息和前景长宽信息按照前景尺寸分组预测；所述前景尺寸是图像数据集中训练集的目标尺寸标签。所述前景中心信息的通道数为所述按照前景尺寸分组的组数，一个所述通道只负责对一组所述前景中心信息进行预测。
本发明提出了一种多级结构目标检测方法和系统，第一级前景检测器采用关键点和回归结合的方法，无需生成锚定框，减少了模型的复杂程度，同时避免了生成过多锚定框所导致的类不均衡问题。因为采用了关键点检测方法，使得网络可以精确的预测目标位置及其类别，避免了因锚定框选取不当导致目标位置预测不准确这一问题。因采用将目标中心点检测和长宽回归进行解耦，分开预测方案，避免基于锚定框的目标检测两者误差之间的干扰，使得网络准确率进一步提升。第二级精细检测器由两个子检测器结合，将模糊和清晰前景分开处理，解决同一检测器无法同时对模糊，清晰前景都有良好效果这一问题。并且可以进行模糊前景或者清晰前景的针对性训练，避免单检测器下不同类别训练之间产生影响。因为采用多个子检测器结合检测的方法，在处理带有模糊区域的图像时，理论效果优于现有技术，因此当不区分模糊前景和清晰前景，随机将前景输入至子检测器进行训练时，本发明的模型则退化类似现有的two-stage模型。
假设数据集是由带有模糊区域的图像组成，数据集的每张图像都有标注，这些标注分别为物体的位置标注、物体的大小标注和物体的类别标注。标注的物体中既有清晰的物体又有模糊的物体，若标注的物体只含有清晰物体，模型则会退化为类似现有的目标检测方法。
构建第一级前景检测器：建立图像特征提取模块，可以选用沙漏网络。因图像与图像特征尺寸比过大时，特征尺寸过小导致信息损失，模型精度会下降，过大时，大尺寸特征导致计算复杂度过大。所以需要选取合适尺寸比，比如图像与图像特征尺寸比采用4:1。使用全卷积网络建立前景检测任务模块，前景检测任务模块包括两个支路，第一个支路为前景中心信息支路，第二个支路为前景长宽信息支路，前景中心信息支路的通道数为k-means的簇心数C，前景长宽信息支路通道数为2C。
第一级前景检测器建立好后，从数据集中抽取一张图像，将图像的尺寸缩放为合适的尺寸例如400×400，缩放结果输入至网络中，得到的图像特征为100×100，将100×100的特征输入至前景检测任务模块中得到前景长宽信息，前景中心信息的尺寸为C×100×100，前景长宽信息尺寸为2C×100×100。
搭建前景模糊度分类模块：融合前景中心信息和前景长宽信息获取前景的位置和大小，前景中心信息为热点图，表示某个位置出现前景的概率，找出前景中心信息每个通道下的极大值，设置概率阈值，当极大值高于阈值时认为极大值的位置处存在一个前景物体中心点，保留该极大值并求其前景中心信息的索引，否则滤除。设上述C×100×100的前景中心信息在第一个通道有极大值0.8，0.9，其前景中心信息索引为(1，50，50)，(1，10，90)，第二个通道有极大值0.7，0.3，其前景中心信息索引为(2，10，20)，(2，70，20)，上述阈值为0.5，保留大于阈值的极大值0.8、0.9、0.7，滤除极大值0.3。
因为前景中心信息是热点图，反应图像所有位置出现前景物体中心点的概率，所以由极大值的前景中心信息索引、图像和图像特征的尺寸比可以求出极大值所对应的物体的中心位置。对于极大值0.8，其前景中心信息索引为(1，50，50),计算得到极大值所对应的前景物体中心位置为(50×4，50×4),同理极大值0.9，0.7对应的前景物体中心位置分别为(10×4，90×4)，(10×4，20×4)。
计算极大值的前景中心信息索引求得长宽信息索引，根据长宽信息索引找出前景长宽信息中与该极大值对应的长宽信息，该长宽信息为前景物体的长和宽。第一个通道极大值0.8的前景中心信息索引为(1，50，50)，计算得前景长宽信息索引分别为(1，50，50)，(1+C，50，50)，由第一个索引获取其长，假设为40，由第二个索引获取其宽，假设为20，同理获取极大值0.9和0.7的长宽信息。
结合前景物体中心位置和长宽得到前景物体所在的区域。从尺寸为400×400的图像中将前景裁剪出来，计算前景的模糊度，设置模糊度阈值，前景模糊度和阈值的大小关系对前景进行分类，分为模糊前景和清晰前景。具体做法为融合上述极大值0.8所对应的前景中心位置和前景长宽，得到前景所在的长方形区域。将该区域从400×400的图像中裁剪出，并使用现有的方法计算其模糊度并分类，假设极大值0.8所对应的前景被分为模糊前景。
建立第二级精细检测器：构建roi-align池化层，模糊子检测器，清晰子检测器，roi-align池化层输入为图像特征，前景位置和大小，输出为固定尺寸的前景特征，子检测器采用全卷积网络，输入为固定尺寸的前景特征，输出为前景中心修正信息、前景长宽修正信息、前景分类信息。
Roi-align为现有的技术，作用为从整个图像的特征中提取图像中一部分区域所对应的特征，本专利部分区域为前景区域。将前景区域的特征按照前景模糊类别输入对应的子检测器中，例如极大值0.8所对应的前景为模糊前景，所以其前景特征输入至模糊子检测器中，得到前景中心修正信息、前景长宽修正信息、前景分类信息。
构建信息处理模块：由前景中心信息和前景中心修正信息得到目标准确位置，由前景长宽信息和前景长宽修正信息得到目标准确大小，由前景分类信息得到目标的分类结果。
前景中心修正信息作用是修正之前得到的前景中心位置，前景长宽修正信息是修正之前得到的前景长宽。假设极大值0.8前景特征得到前景中心修正信息结果为(1，-2),前景长宽修正信息为(-2，2),则目标的准确位置为(200+1，200-2),目标的准确长宽为(40×e-2，20×e2),其中e为自然常数。前景分类信息是对前景进行更进一步分，类别为数据中物体的类别标签，可以采用现有技术softmax。综上所述可以得到400×400图像中极大值0.8所对应的目标的位置，大小和类别，按照同样的方法可以获取图像所有目标的位置，大小和类别。
一个图像中的模糊区域和清晰区域差异较大，一个检测器难以学习同时检测模糊物体和清晰物体。现有的技术均采用单个检测器的方法，本发明认识到单个检测器在检测模糊和清晰物体时出现的缺点，提出多子检测器结合检测，让每个检测器只负责检测模糊或者清晰区域，增强了整个检测器的性能。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种多级结构目标检测方法，其特征在于，包括如下步骤：
S1：获取输入图像的特征并由所述特征获取图像的前景中心信息和前景长宽信息；
S2：根据所述前景中心信息、所述前景长宽信息得到所述输入图像的前景区域的位置和大小，计算所述前景区域的模糊度并根据所述模糊度和预先设置的阈值将所述前景区域分为模糊和清晰两个类别；
S3：根据所述前景区域的位置和大小以及图像特征得到固定维度的前景特征，所述前景特征根据所述前景区域的类别分开检测获得前景中心修正信息，前景长宽修正信息，前景目标种类分类信息；
S4：根据所述前景中心信息和所述前景中心修正信息得到目标准确位置；根据所述前景长宽信息和所述前景长宽修正信息得到目标准确大小，由前景目标种类分类信息得到目标的目标种类分类结果。
2.如权利要求1所述的多级结构目标检测方法，其特征在于，所述前景中心信息和前景长宽信息按照前景尺寸分组预测；所述前景尺寸是图像数据集中训练集的目标尺寸标签。
3.如权利要求1所述的多级结构目标检测方法，其特征在于，采用Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数计算所述前景区域的模糊度；所述预先设置的阈值与采用的函数相对应。
4.如权利要求1所述的多级结构目标检测方法，其特征在于，所述前景特征根据所述前景区域的类别由两个子检测器分开检测，模糊类别的所述前景区域的所述前景特征由模糊子检测器检测，清晰类别的所述前景区域的所述前景特征由清晰子检测器检测。
5.如权利要求1所述的多级结构目标检测方法，其特征在于，所述目标种类分类包括人和物体的种类。
6.一种多级结构目标检测系统，其特征在于，包括：
第一级前景检测器：包括图像特征提取模块和前景检测任务模块，分别用于获取输入图像的特征并由所述特征获取图像的前景中心信息和前景长宽信息；
前景模糊度分类模块，用于根据所述前景中心信息、所述前景长宽信息得到所述输入图像的前景区域的位置和大小，计算所述前景区域的模糊度并根据所述模糊度和预先设置的阈值将所述前景区域分为模糊和清晰两个类别；
第二级精细检测器，包括roi-align池化层，模糊子检测器，清晰子检测器，所述roi-align池化层用于根据所述前景区域的位置和大小以及图像特征得到固定维度的前景特征；所述模糊子检测器用于检测模糊类别的所述前景区域的所述前景特征；所述清晰子检测器用于清晰类别的所述前景区域的所述前景特征；获得前景中心修正信息，前景长宽修正信息，前景目标种类分类信息；
信息处理模块，用于根据所述前景中心信息和所述前景中心修正信息得到目标准确位置；根据所述前景长宽信息和所述前景长宽修正信息得到目标准确大小，由前景目标种类分类信息得到目标的目标种类分类结果。
7.如权利要求6所述的多级结构目标检测系统，其特征在于，所述前景中心信息和前景长宽信息按照前景尺寸分组预测；所述前景尺寸是图像数据集中训练集的目标尺寸标签。
8.如权利要求7所述的多级结构目标检测系统，其特征在于，所述前景中心信息的通道数为所述按照前景尺寸分组的组数，一个所述通道只负责对一组所述前景中心信息进行预测。
9.如权利要求6所述的多级结构目标检测系统，其特征在于，所述图像特征提取模块是沙漏网络；所述前景检测任务模块是全卷积网路。
10.如权利要求6所述的多级结构目标检测系统，其特征在于，所述前景检测任务模块包括两个支路，第一个支路为前景中心信息支路，第二个支路为前景长宽信息支路。
CN201911167676.9A 2019-11-25 2019-11-25 一种多级结构目标检测方法及系统 Active CN111027602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911167676.9A CN111027602B (zh) 2019-11-25 2019-11-25 一种多级结构目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911167676.9A CN111027602B (zh) 2019-11-25 2019-11-25 一种多级结构目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN111027602A CN111027602A (zh) 2020-04-17
CN111027602B true CN111027602B (zh) 2023-04-07

Family

ID=70201959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911167676.9A Active CN111027602B (zh) 2019-11-25 2019-11-25 一种多级结构目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN111027602B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049616B (zh) * 2021-12-01 2022-09-09 清华大学 一种基于模糊分类的立体空间目标检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400110A (zh) * 2013-07-10 2013-11-20 上海交通大学 Atm取款机前的异常人脸检测方法
CN107578424A (zh) * 2017-08-04 2018-01-12 中山大学 一种基于时空分类的动态背景差分检测方法、系统及装置
CN108647573A (zh) * 2018-04-04 2018-10-12 杭州电子科技大学 一种基于深度学习的军事目标识别方法
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311560B2 (en) * 2016-09-07 2019-06-04 Huazhong University Of Science And Technology Method and system for estimating blur kernel size

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400110A (zh) * 2013-07-10 2013-11-20 上海交通大学 Atm取款机前的异常人脸检测方法
CN107578424A (zh) * 2017-08-04 2018-01-12 中山大学 一种基于时空分类的动态背景差分检测方法、系统及装置
CN108647573A (zh) * 2018-04-04 2018-10-12 杭州电子科技大学 一种基于深度学习的军事目标识别方法
CN110298298A (zh) * 2019-06-26 2019-10-01 北京市商汤科技开发有限公司 目标检测及目标检测网络的训练方法、装置及设备

Also Published As

Publication number Publication date
CN111027602A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN110070074B (zh) 一种构建行人检测模型的方法
CN106682696B (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN102722698B (zh) 多姿态人脸检测与跟踪方法及系统
CN107316036B (zh) 一种基于级联分类器的害虫识别方法
CN108073918B (zh) 眼底视网膜的血管动静脉交叉压迫特征提取方法
CN104778474B (zh) 一种用于目标检测的分类器构建方法及目标检测方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN111881741B (zh) 车牌识别方法、装置、计算机设备和计算机可读存储介质
CN106570439B (zh) 一种车辆检测方法及装置
CN111797771A (zh) 一种基于迭代学习的弱监督视频行为检测方法及系统
CN110826390B (zh) 一种基于人脸矢量特征的视频数据处理方法
WO2023093124A1 (zh) 一种车道线跟踪方法、装置、计算机设备、存储介质和计算机程序产品
CN110309810A (zh) 一种基于批次中心相似度的行人重识别方法
CN112597871A (zh) 基于二阶段聚类的无监督车辆重识别方法、系统及存储介质
Mijić et al. Traffic sign detection using YOLOv3
CN111027602B (zh) 一种多级结构目标检测方法及系统
CN109543498A (zh) 一种基于多任务网络的车道线检测方法
CN114898182A (zh) 一种基于目标检测学习算法的图片数据筛选方法及系统
Mithila et al. CNN and Fuzzy Rules Based Text Detection and Recognition from Natural Scenes.
EP4089572A1 (en) Pedestrian search method, server, and storage medium
CN106960183A (zh) 一种基于梯度提升决策树的图像行人检测算法
WO2023196661A9 (en) Systems and methods for monitoring trailing objects
CN116206201A (zh) 一种监督目标检测识别方法、装置、设备及存储介质
US11893084B2 (en) Object detection systems and methods including an object detection model using a tailored training dataset
CN112907634B (zh) 基于无人机的车辆跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant