CN113095418B - 一种目标检测方法及系统 - Google Patents

一种目标检测方法及系统 Download PDF

Info

Publication number
CN113095418B
CN113095418B CN202110420691.0A CN202110420691A CN113095418B CN 113095418 B CN113095418 B CN 113095418B CN 202110420691 A CN202110420691 A CN 202110420691A CN 113095418 B CN113095418 B CN 113095418B
Authority
CN
China
Prior art keywords
target
determining
feature map
clustering
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110420691.0A
Other languages
English (en)
Other versions
CN113095418A (zh
Inventor
房峰
吕学梅
周望
朱学超
张磊
田原
邢晋
丁苏楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace New Weather Technology Co ltd
Original Assignee
Aerospace New Weather Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace New Weather Technology Co ltd filed Critical Aerospace New Weather Technology Co ltd
Priority to CN202110420691.0A priority Critical patent/CN113095418B/zh
Publication of CN113095418A publication Critical patent/CN113095418A/zh
Application granted granted Critical
Publication of CN113095418B publication Critical patent/CN113095418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标检测方法及系统，其中方法包括：对样本图像进行初始化尺寸分类，根据聚类结果中分类数量确定网络结构中卷积层的层数，以确定特征提取网络；将待检测图像输入特征提取网络，确定不同尺寸的特征图；分别将各个特征图输入区域生成网络，生成对应的候选区域特征图；根据各个特征图以及对应的候选区域特征图，确定目标区域特征图；对目标区域特征图进行分类检测，确定目标检测结果。本发明实现了小目标物体的检测，适应了不同尺寸的目标对象，并有效提高了底层细节信息的提取精度，实现多尺度特征图进行分类和位置回归，有效地提高了各种尺寸目标物体的检测精度，尤其有效缓解了对小目标物体的漏检、误检问题。

Description

一种目标检测方法及系统
技术领域
本发明涉及计算机视觉领域，具体涉及一种目标检测方法及系统。
背景技术
目标检测是计算机视觉领域研究中十分重要的一个方向，是很多计算机视觉应用的基础，近些年随着深度学习技术的火热发展，物体检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。尽管当前的物体检测算法使得物体检测精度大幅提升，但是由于现有的物体检测算法中都是预定好大小和数量的锚框，通常不能有效覆盖不同尺寸的目标物体，尤其是小尺寸的目标，从而造成目标的漏检和错检。
发明内容
有鉴于此，本发明实施例提供了一种目标检测方法及系统，解决现有技术中由于锚框大小和数量都是预定好的，不能覆盖不同尺寸的目标物体，导致目标的漏检和错检的问题。
本发明实施例提供了一种目标检测方法，包括：对样本图像进行初始化尺寸分类，根据聚类结果中分类数量确定网络结构中卷积层的层数，以确定特征提取网络；将待检测图像输入特征提取网络，确定不同尺寸的特征图；分别将各个所述特征图输入区域生成网络，生成对应的候选区域特征图；根据各个所述特征图以及对应的候选区域特征图，确定目标区域特征图；对所述目标区域特征图进行分类检测，确定目标检测结果。
可选地，所述对样本图像进行初始化尺寸分类，根据聚类结果中分类数量确定网络结构中卷积层的层数，包括：对样本图像进行初始化尺寸分类，确定多个标注信息；获取聚类结果中的所有聚类中心点，计算当前标注信息到各个所述聚类中心点的距离；判断所述距离是否小于预设距离阈值，当所述距离小于预设距离阈值时，对当前标注信息进行分类；根据聚类结果中的分类数量，确定网络结构中卷积层的层数。
可选地，所述获取聚类结果中的所有聚类中心点，包括：将当前标注信息确定为当前聚类中心点，分别计算各个所述标注信息到各个预设聚类中心的距离之和；基于所述距离之和利用线性概率模型确定当前聚类中心的下一聚类中心点，直到找到预设个数的聚类中心点。
可选地，在所述对当前标注信息进行分类之后，所述方法还包括：重新计算所述聚类结果中各个聚类中心点，确定对应的目标聚类中心，直到各个所述目标聚类中心满足预设条件。
可选地，通过以下公式重新计算目标聚类中心(Wi′，Hi′)：
Figure BDA0003027733780000021
Figure BDA0003027733780000022
其中，(Wi′，Hi′)表示第i个目标聚类中心对应标注信息的宽和高，Ni表示第i个聚类簇中的标注信息的个数，(wi *，hi *)表示第i个标注信息的宽和高。
可选地，通过以下公式计算当前标注信息到聚类中心点的距离：
d＝1-IOU[(xj,yj,wj *,hj *),(xj,yj,Wi,Hi)]
其中，d表示当前标注信息到聚类中心点的距离，IOU表示当前标注信息与聚类中心点的交叉比，(xj,yj,wj *,hj *)表示当前标注信息的中心点坐标以及宽高数据，j∈{1,2,3,…,n}，(xj,yj,Wi,Hi)表示聚类中心点坐标以及宽高数据，i∈{1,2,3,…,k}。
可选地，在所述根据各个所述特征图以及对应的候选区域特征图，确定目标区域特征图之前，所述方法还包括：将各个所述特征图以及对应的候选区域特征图的尺寸进行预设尺寸的统一设置。
本发明实施例还提供了一种目标检测系统，包括：第一处理模块，用于对样本图像进行初始化尺寸分类，根据聚类结果中分类数量确定网络结构中卷积层的层数，以确定特征提取网络；第二处理模块，用于将待检测图像输入特征提取网络，确定不同尺寸的特征图；第三处理模块，用于分别将各个所述特征图输入区域生成网络，生成对应的候选区域特征图；第四处理模块，用于根据各个所述特征图以及对应的候选区域特征图，确定目标区域特征图；第五处理模块，用于对所述目标区域特征图进行分类检测，确定目标检测结果。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，从而执行本发明实施例提供的目标检测方法。
本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，用于所述计算机指令执行本发明实施例提供的目标检测方法。
本发明技术方案，具有如下优点：
本发明提供的目标检测方法及系统，通过样本图像初始化尺寸分类后的分类数量确定特征提取网络的结构，以确定不同尺寸的特征图，然后对各个特征图生成对应的候选区域特征图；进而利用不同尺寸的特征图以及候选区域特征图确定目标区域特征图，实现小目标物体的检测；适应了不同尺寸的目标对象，并有效提高了底层细节信息的提取精度，实现多尺度特征图进行分类和位置回归，有效地提高了各种尺寸目标物体的检测精度，尤其有效缓解了对小目标物体的漏检、误检问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中提供的目标检测方法的流程图；
图2为本发明实施例提供的ResNeXt作为基础特征提取网络的示意图；
图3为本发明实施例提供的Faster-RCNN的整体检测流程的示意图；
图4为本发明实施例提供的多尺度特征提取的示意图；
图5为本发明实施例提供的交并比定义的示意图；
图6为本发明实施例提供的目标检测系统的模块组成示意图；
图7为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种目标检测方法，该目标检测方法可以适用于小尺度物体的检测并且保证检测精度，通常来说，小尺度物体的检测精度往往只有中、大尺度物体检测精度的一半左右，其原因有以下几点：从图像来看，小尺度物体在图像中所占像素点少，分辨率低下，且易受噪声干扰，所携带的信息远少于中、大尺度物体；从数据集来看，普通数据集包含小目标的图片较少，导致模型在训练的时候会偏向中、大尺度物体；从训练网络来看，在使用卷积神经网络的时候由于不断进行卷积池化等下采样操作，损失很多物体信息。需要说明的是，本发明实施例针对小尺度物体检测精度低的问题，提出的目标检测方法，但是本方法同样适用于别的中、大尺度的物体检测。
本发明实施例以金银花的检测为例进行说明，其中金银花具有明显图像特征的发育期即大白、银花、金花期作为判识对象，由于观测需要，图像采集范围需要覆盖整株金银花观测区域，处于以上三个发育期的特征图像在图像中的覆盖区域很小，平均像素尺寸可能只有35×35，最小尺寸仅有20×20。其中对小目标的定义，将像素数量低于32×32面积的目标或者所占区域相对图像尺寸大小低于1％的目标都视为小目标。因此，金银花大白、银花、金花发育期的检测本质上就是小目标检测，利用传统Faster-RCNN目标检测方法对上述小目标进行识别则会出现大量漏检、错检。
具体地，如图1所示，该目标检测方法具体包括：
步骤S1：对样本图像进行初始化尺寸分类，根据聚类结果中分类数量确定网络结构中卷积层的层数，以确定特征提取网络。
实际应用中对于识别目标中存在大量尺寸不同的小目标的情况下，例如上述不同花期的金银花，在底层需要提取到更加精确的边缘、纹理等细节信息，才能有效被检测出。本实施例中，首先对已经存在的样本图像进行初始化尺寸分类，例如利用K-means++对样本图像进行标注框的选择，根据不同尺寸的目标进行初始的样本图像的分类，确定聚类结果，然后根据聚类结果中分类数量确定网络结构中卷积层的层数，以确定特征提取网络。
其中深度学习的网络结构的深度对最后的分类和识别的效果有着很大的影响，常规的网络的堆叠在网络很深时，分类和识别的效果却不理想。原始Faster-RCNN中所使用的标注框尺寸都是人为预定义的，该尺寸不能够很好地适应不同的数据集，即不能很好地覆盖不同大小的目标对象，从而会对模型的检测效果产生很大影响，因此本发明实施例实现目标检测的模型是基于Faster R-CNN模型和RPN网络共同组成进行目标检测。
本发明利用K-means++对锚框大小进行初始化，实现更精细化的标注框尺寸设计，以覆盖数据集中各种不同大小的目标物体，尤其是小目标物体。将ResNeXt作为基础特征提取网络如图2所示，该网络借鉴了GoogLeNet网络的split-transform-merge策略和ResNet网络的Repeat layer策略，引入了基数，不仅拓宽了网络的宽度，而且可以在不增加参数复杂度的前提下提高准确率，同时减少了参数量，可以更加有效地利用计算资源。
需要说明的是，本发明实施在特征提取的过程中，以ResNeXt作为网络基础为例进行说明的，在实际应用中，也可以根据检测需要选择其他网络，本发明并不以此为限。
步骤S2：将待检测图像输入特征提取网络，确定不同尺寸的特征图。本实施例中，将待检测图像输入Faster R-CNN特征提取网络，提取待检测图像的特征图，其中将该特征图被共享用于后续RPN层和全连接层。
步骤S3：分别将各个特征图输入区域生成网络，生成对应的候选区域特征图。
本发明实施例中，将各个特征图输入到区域生成网络，RPN网络用于生成候选区域框，通过softmax判断锚点属于前景或者背景，再利用边界框回归修正标注框获得精确的候选框，以确定对应的候选区域特征图。
在对输出特征图进行区域提名后，得到感兴趣区域的候选框，其中，区域提名类似于光学字符识别(OCR)领域的切分，但目标检测的对象相比OCR领域千差万别，而且图形不规则，大小不一，因此区域提名是比OCR切分更难的一个问题。区域提名的方法一般包括以下几种：(1)滑动窗口，但是滑动窗口本质上就是穷举法，利用不同的尺度和长宽比把所有可能的大大小小的块都穷举出来去识别，这样的方法复杂度太高，产生了很多的冗余候选区域，在现实当中不可行；(2)规则块，是在穷举法的基础上进行了一些剪枝，只选用固定的大小和长宽比，因此用规则块做区域提名是一种比较合适的选择，但是对于普通的目标检测来说，规则块依然需要访问很多的位置，复杂度高；(3)选择性搜索，从机器学习的角度来说，问题的核心在于如何有效地去除冗余候选区域，其实冗余候选区域大多是发生了重叠，选择性搜索利用这一点，自底向上合并相邻的重叠区域，从而减少冗余，因此本发明实施例也选择本方法进行区域提名。
需要说明的是，利用区域提名网络提取出各层输出特征图的感兴趣区域，其中，感兴趣区域(region of interest，ROI)，是机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子和函数来求得感兴趣区域ROI，这个区域是图像分析所关注的重点，圈定该区域以便进行进一步处理，使用ROI圈定想读取的目标，可以减少处理时间，增加精度。区域提名并不只有以上的三种方法，实际上是非常灵活的，因此变种也很多，所以本发明实施例也可以选择其他的方法进行区域提名，本发明并不以此为限。
步骤S4：根据各个特征图以及对应的候选区域特征图，确定目标区域特征图。
本发明实施例中，将特征提取网络中各个不同网络层确定的特征图以及各个特征图输入RPN网络中确定的候选区域特征图，经过ROI池化，综合这些信息后提取目标区域的特征图，确定目标区域特征图，送入后续全连接层以实现对小目标的目标分类和定位。
步骤S5：对目标区域特征图进行分类检测，确定目标检测结果。本发明实施例中，利用目标区域特征图计算目标区域的类别，同时再次边界框回归获得检测框更加精确的位置。
具体地，以金银花不同花期为例进行说明，Faster-RCNN的整体检测流程如图3所示，
(1)特征提取：Faster R-CNN首先使用特征提取网络提取候选图像的特征图。该特征图被共享用于后续RPN层和全连接层。
(2)RPN网络：RPN网络用于生成候选区域框。该层通过softmax判断锚点属于前景或者背景，再利用边界框回归修正锚框获得精确的候选框。
(3)ROI池化：该层收集输入的特征图和候选的目标区域，综合这些信息后提取目标区域的特征图，送入后续全连接层来进行目标分类和定位。
(4)目标分类和回归：利用目标区域特征图计算目标区域的类别，同时再次边界框回归获得检测框更加精确的位置。
此外，在原始Faster-RCNN算法中，候选区域由RPN生成，候选区域的特征仅由最后一个卷积层经过目标区域池化得到，利用这样的高层特征对小目标进行检测显然会存在比较大的问题且无法有效覆盖数据集中不同尺寸目标，很有可能导致(1)中K-means++锚框初始化失效。因此，为了使得初始化之后的锚框能够有效覆盖，本实施例在原有网络基础上根据初始化尺寸分布额外增加了三层卷积层，分别得到5×5，3×3，1×1的特征图，不再仅仅依靠最后一层的特征图进行检测，而是对网络中多个尺度的特征图即56×56，7×7，5×5，3×3，1×1分别进行生成候选区域的操作，如图4所示，输入图片(input image)到ResNeXt50，通过各个RPN网络分别生成对应的特征图，然后将特征图分别进行ROI池化，将目标图像输入分类器(Classifier)同时为了保证不同尺寸目标特征的完整性，再分别进行ROI池化，最后统一送入分类器中进行分类和回归。
在实际应用中，输入图像数据并对图像大小统一缩放到指定尺寸；对预处理之后的图像进行特征提取，经过ResNeXt以及后续增加的卷积层后获得不同尺度的特征图；分别将56×56×256、7×7×2048、5×5×1024、1×1×256这四个不同尺度的特征图送入各自的RPN生成候选区域，得到生成的候选区域后，求取特征图映射(其中映射包括特征图与原图的映射，目标特征图与原图的映射)；不同大小的建议框通过ROI池化将特征变成统一大小的特征向量；将大小相同的特征向量，最后送入分类器，完成目标分类与位置回归。
本发明提供的目标检测方法，通过样本图像初始化尺寸分类后的分类数量确定特征提取网络的结构，以确定不同尺寸的特征图，然后对各个特征图生成对应的候选区域特征图；进而利用不同尺寸的特征图以及候选区域特征图确定目标区域特征图，实现小目标物体的检测；适应了不同尺寸的目标对象，并有效提高了底层细节信息的提取精度，实现多尺度特征图进行分类和位置回归，有效地提高了各种尺寸目标物体的检测精度，尤其有效缓解了对小目标物体的漏检、误检问题。
在一具体实施例中，执行步骤S1的过程可以具体包括如下步骤：
步骤S11：对样本图像进行初始化尺寸分类，确定多个标注信息。
本发明实施例中，通过K-means++的锚框选择对样本图像进行初始化尺寸分类，得到多个标注信息，即标注框的集合，设S＝{(xi,yi,wi,hi)|i＝1,2,3,…,n}为标注框的集合，每个框(xi,yi,wi,hi)代表该框的中心点坐标以及宽高数据，n代表标注框的个数。
步骤S12：获取聚类结果中的所有聚类中心点，计算当前标注信息到各个聚类中心点的距离。
本发明实施例中，通过对样本图像的初始化后确定出聚类结果，获取聚类结果中的所有聚类中心点，通过以下公式计算当前标注信息到聚类中心点的距离：
d＝1-IOU[(xj,yj,wj *,hj *),(xj,yj,Wi,Hi)] (1)
其中，d表示当前标注信息到聚类中心点的距离，IOU表示当前标注信息与聚类中心点的交叉比，(xj,yj,wj *,hj *)表示当前标注信息的中心点坐标以及宽高数据，j∈{1,2,3,…,n}，(xj,yj,Wi,Hi)表示聚类中心点坐标以及宽高数据，i∈{1,2,3,…,k}。具体地，IOU计算的是“预测的边框”和“真实的边框”的交集和并集的比值，如图5所示，黑色部分即为交集与并集的比值示意图。
步骤S13：判断距离是否小于预设距离阈值，当距离小于预设距离阈值时，对当前标注信息进行分类。
在实际应用中，计算出当前标注信息到聚类中心点的距离后，判断此距离是否小于预设距离阈值，当距离小于预设距离阈值时，对当前标注信息进行分类。需要说明的是，在实际应用中，还可以是计算出每个标注与聚类中心的距离后，将标注框分配给距离最小的聚类中心，可以根据实际需求进行选择，本实施例并不以此为限。
步骤S14：根据聚类结果中的分类数量，确定网络结构中卷积层的层数。
本发明实施例中，根据聚类结果中的初始的分类数量以及当前网络的特征提取网络卷积层的层数，确定出网络结构中卷积层的层数，也就是说，例如图4中的网络所示，如果当前网络结构中本身包含2个卷积层，经过图像初始化分类后确定一共需要5层卷积层，则需要额外增加三层卷积层，以便于更好的适应与不同尺寸的小目标的识别与检测。
在一具体实施例中，执行步骤S12的过程可以具体包括如下步骤：
步骤S121：将当前标注信息确定为当前聚类中心点，分别计算各个标注信息到各个预设聚类中心的距离之和。
以上述标注框的集合为例进行说明，例如S＝{(xi,yi,wi,hi)|i＝1,2,3,…,n}，首先将数据集中标注框的宽和高(wi,hi)作为特征并进行归一化即(wi *,hi *)，重新构成一个新的数据集S*＝{(xi,yi,wi *,hi *)|i＝1,2,3,…,n}，从数据集S*中任选一点作为第一个聚类中心即(Wi,Hi)。然后对S*中每个点，计算该点到所有已有聚类中心的距离和(即预设聚类中心，是在进行分类前通过历史样本数据已经确定的聚类中心)。
步骤S122：基于距离之和利用线性概率模型确定当前聚类中心的下一聚类中心点，直到找到预设个数的聚类中心点。
本实施例中，基于距离和采用线性概率选择出下一个聚类中心。同时为了保证各个聚类中心的分散性，使得距离最近聚类中心越远的标注框被选择成为下一个聚类中心的的几率越大，进而保证了聚类中心的分散性，提高算法的识别效率。确定出下一聚类中心后，重复上述操作，直到找到预设个数(K个)的聚类中心。
在一具体实施例中，本发明实施例提供的目标检测方法还可以具体包括如下步骤：
步骤S6：重新计算聚类结果中各个聚类中心点，确定对应的目标聚类中心，直到各个目标聚类中心满足预设条件。
通过以下公式重新计算目标聚类中心(Wi′，Hi′)：
Figure BDA0003027733780000131
Figure BDA0003027733780000132
其中，(Wi′，Hi′)表示第i个目标聚类中心对应标注信息的宽和高，Ni表示第i个聚类簇中的标注信息的个数，(wi *，hi *)表示第i个标注信息的宽和高。保证重新计算确定的聚类中心没有明显的变化之后即可最终确定。
具体地，在根据各个特征图以及对应的候选区域特征图，确定目标区域特征图之前，本实施例的目标检测方法还包括：
步骤S0：将各个特征图以及对应的候选区域特征图的尺寸进行预设尺寸的统一设置。保证池化过程中特征图的一致性，保证识别的准确性与效率。
本发明提供的目标检测方法，通过样本图像初始化尺寸分类后的分类数量确定特征提取网络的结构，以确定不同尺寸的特征图，然后对各个特征图生成对应的候选区域特征图；进而利用不同尺寸的特征图以及候选区域特征图确定目标区域特征图，实现小目标物体的检测；适应了不同尺寸的目标对象，并有效提高了底层细节信息的提取精度，实现多尺度特征图进行分类和位置回归，有效地提高了各种尺寸目标物体的检测精度，尤其有效缓解了对小目标物体的漏检、误检问题。
本发明实施例还提供了一种目标检测系统，如图6所示，该目标检测系统包括：
第一处理模块1，用于对样本图像进行初始化尺寸分类，根据聚类结果中分类数量确定网络结构中卷积层的层数，以确定特征提取网络。详细内容参见上述方法实施例中步骤S1的相关描述，在此不再赘述。
第二处理模块2，用于将待检测图像输入特征提取网络，确定不同尺寸的特征图。详细内容参见上述方法实施例中步骤S2的相关描述，在此不再赘述。
第三处理模块3，用于分别将各个特征图输入区域生成网络，生成对应的候选区域特征图。详细内容参见上述方法实施例中步骤S3的相关描述，在此不再赘述。
第四处理模块4，用于根据各个特征图以及对应的候选区域特征图，确定目标区域特征图。详细内容参见上述方法实施例中步骤S4的相关描述，在此不再赘述。
第五处理模块5，用于对目标区域特征图进行分类检测，确定目标检测结果。详细内容参见上述方法实施例中步骤S5的相关描述，在此不再赘述。
通过上述各个模块组成部分的协同合作，本发明提供的目标检测系统，通过样本图像初始化尺寸分类后的分类数量确定特征提取网络的结构，以确定不同尺寸的特征图，然后对各个特征图生成对应的候选区域特征图；进而利用不同尺寸的特征图以及候选区域特征图确定目标区域特征图，实现小目标物体的检测；适应了不同尺寸的目标对象，并有效提高了底层细节信息的提取精度，实现多尺度特征图进行分类和位置回归，有效地提高了各种尺寸目标物体的检测精度，尤其有效缓解了对小目标物体的漏检、误检问题。
本发明实施例提供一种计算机设备，如图7所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行目标检测方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行上述的目标检测方法。
其中，通信总线402可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固降硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请的目标检测方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行目标检测方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固降硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
对样本图像进行初始化尺寸分类，根据聚类结果中分类数量确定网络结构中卷积层的层数，以确定特征提取网络，其中，所述对样本图像进行初始化尺寸分类具体为根据不同尺寸的目标进行初始的样本图像的分类；
将待检测图像输入特征提取网络，确定不同尺寸的特征图；
分别将各个所述特征图输入区域生成网络，生成对应的候选区域特征图；
根据各个所述特征图以及对应的候选区域特征图，确定目标区域特征图；
对所述目标区域特征图进行分类检测，确定目标检测结果。
2.根据权利要求1所述的目标检测方法，其特征在于，所述对样本图像进行初始化尺寸分类，根据聚类结果中分类数量确定网络结构中卷积层的层数，包括：
对样本图像进行初始化尺寸分类，确定多个标注信息；
获取聚类结果中的所有聚类中心点，计算当前标注信息到各个所述聚类中心点的距离；
判断所述距离是否小于预设距离阈值，当所述距离小于预设距离阈值时，对当前标注信息进行分类；
根据聚类结果中的分类数量，确定网络结构中卷积层的层数。
3.根据权利要求2所述的目标检测方法，其特征在于，所述获取聚类结果中的所有聚类中心点，包括：
将当前标注信息确定为当前聚类中心点，分别计算各个所述标注信息到各个预设聚类中心的距离之和；
基于所述距离之和利用线性概率模型确定当前聚类中心的下一聚类中心点，直到找到预设个数的聚类中心点。
4.根据权利要求2所述的目标检测方法，其特征在于，在所述对当前标注信息进行分类之后，所述方法还包括：
重新计算所述聚类结果中各个聚类中心点，确定对应的目标聚类中心，直到各个所述目标聚类中心满足预设条件。
5.根据权利要求2所述的目标检测方法，其特征在于，通过以下公式重新计算目标聚类中心(Wi′，Hi′)：
Figure FDA0003326161080000021
Figure FDA0003326161080000022
其中，(Wi′，Hi′)表示第i个目标聚类中心对应标注信息的宽和高，Ni表示第i个聚类簇中的标注信息的个数，(wi *，hi *)表示第i个标注信息的宽和高。
6.根据权利要求2所述的目标检测方法，其特征在于，通过以下公式计算当前标注信息到聚类中心点的距离：
d＝1-IOU[(xj,yj,wj *,hj *),(xj,yj,Wi,Hi)]
其中，d表示当前标注信息到聚类中心点的距离，IOU表示当前标注信息与聚类中心点的交叉比，(xj,yj,wj *,hj *)表示当前标注信息的中心点坐标以及宽高数据，j∈{1,2,3,…,n}，(xj,yj,Wi,Hi)表示聚类中心点坐标以及宽高数据，i∈{1,2,3,…,k}。
7.根据权利要求1所述的目标检测方法，其特征在于，在所述根据各个所述特征图以及对应的候选区域特征图，确定目标区域特征图之前，所述方法还包括：将各个所述特征图以及对应的候选区域特征图的尺寸进行预设尺寸的统一设置。
8.一种目标检测系统，其特征在于，包括：
第一处理模块，用于对样本图像进行初始化尺寸分类，根据聚类结果中分类数量确定网络结构中卷积层的层数，以确定特征提取网络，其中，所述对样本图像进行初始化尺寸分类具体为根据不同尺寸的目标进行初始的样本图像的分类；
第二处理模块，用于将待检测图像输入特征提取网络，确定不同尺寸的特征图；
第三处理模块，用于分别将各个所述特征图输入区域生成网络，生成对应的候选区域特征图；
第四处理模块，用于根据各个所述特征图以及对应的候选区域特征图，确定目标区域特征图；
第五处理模块，用于对所述目标区域特征图进行分类检测，确定目标检测结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7中任一项所述的目标检测方法。
10.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-7中任一项所述的目标检测方法。
CN202110420691.0A 2021-04-19 2021-04-19 一种目标检测方法及系统 Active CN113095418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110420691.0A CN113095418B (zh) 2021-04-19 2021-04-19 一种目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110420691.0A CN113095418B (zh) 2021-04-19 2021-04-19 一种目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN113095418A CN113095418A (zh) 2021-07-09
CN113095418B true CN113095418B (zh) 2022-02-18

Family

ID=76678575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110420691.0A Active CN113095418B (zh) 2021-04-19 2021-04-19 一种目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN113095418B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114005268A (zh) * 2021-10-21 2022-02-01 广州通达汽车电气股份有限公司 一种公交车区间调度方法、装置、设备及存储介质
CN113807472B (zh) * 2021-11-19 2022-02-22 智道网联科技(北京)有限公司 分级目标检测方法及装置
CN113869292B (zh) * 2021-12-02 2022-03-01 智道网联科技(北京)有限公司 用于自动驾驶的目标检测方法、装置及设备
CN114419337A (zh) * 2022-03-25 2022-04-29 阿里巴巴达摩院(杭州)科技有限公司 一种图像检测、三维建模方法、图像分析方法和装置
CN115952314A (zh) * 2023-03-15 2023-04-11 潍坊职业学院 一种基于数据识别的数据处理系统
CN117409193B (zh) * 2023-12-14 2024-03-12 南京深业智能化系统工程有限公司 一种烟雾场景下的图像识别方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678545A (zh) * 2013-12-03 2014-03-26 北京奇虎科技有限公司 进行网络资源聚类的方法及装置
CN109858547A (zh) * 2019-01-29 2019-06-07 东南大学 一种基于bssd的目标检测方法与装置
CN109919215A (zh) * 2019-02-27 2019-06-21 中国电子科技集团公司第二十八研究所 基于聚类算法改进特征金字塔网络的目标检测方法
CN111460980A (zh) * 2020-03-30 2020-07-28 西安工程大学 基于多语义特征融合的小目标行人的多尺度检测方法
CN111524098A (zh) * 2020-04-07 2020-08-11 北京航天自动控制研究所 一种基于自组织聚类的神经网络输出层裁剪及模板框尺寸确定方法
CN111553201A (zh) * 2020-04-08 2020-08-18 东南大学 一种基于YOLOv3优化算法的交通灯检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694401B (zh) * 2018-05-09 2021-01-12 北京旷视科技有限公司 目标检测方法、装置及系统
CN110222787B (zh) * 2019-06-14 2022-10-14 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质
CN112149665B (zh) * 2020-09-04 2024-05-07 浙江工业大学 一种基于深度学习的高性能多尺度目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678545A (zh) * 2013-12-03 2014-03-26 北京奇虎科技有限公司 进行网络资源聚类的方法及装置
CN109858547A (zh) * 2019-01-29 2019-06-07 东南大学 一种基于bssd的目标检测方法与装置
CN109919215A (zh) * 2019-02-27 2019-06-21 中国电子科技集团公司第二十八研究所 基于聚类算法改进特征金字塔网络的目标检测方法
CN111460980A (zh) * 2020-03-30 2020-07-28 西安工程大学 基于多语义特征融合的小目标行人的多尺度检测方法
CN111524098A (zh) * 2020-04-07 2020-08-11 北京航天自动控制研究所 一种基于自组织聚类的神经网络输出层裁剪及模板框尺寸确定方法
CN111553201A (zh) * 2020-04-08 2020-08-18 东南大学 一种基于YOLOv3优化算法的交通灯检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SSD：Single Shot MultiBox Detector;Wei Liu等;《arXiv》;20161229;论文正文 *

Also Published As

Publication number Publication date
CN113095418A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113095418B (zh) 一种目标检测方法及系统
CN111652217B (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN110348294B (zh) Pdf文档中图表的定位方法、装置及计算机设备
CN109255776B (zh) 一种输电线路开口销缺损自动识别方法
CN111353512B (zh) 障碍物分类方法、装置、存储介质和计算机设备
JP6050223B2 (ja) 画像認識装置、画像認識方法、及び集積回路
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN112418278A (zh) 一种多类物体检测方法、终端设备及存储介质
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN111461145A (zh) 一种基于卷积神经网络进行目标检测的方法
US11804025B2 (en) Methods and systems for identifying topographic features
EP3872761A2 (en) Analysing objects in a set of frames
JP3819236B2 (ja) パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体
CN110348311B (zh) 一种基于深度学习的道路交叉口识别系统及方法
CN114898306B (zh) 一种检测目标朝向的方法、装置及电子设备
CN112241736A (zh) 一种文本检测的方法及装置
CN115937537A (zh) 一种目标图像的智能识别方法、装置、设备及存储介质
CN113011415A (zh) 基于Grid R-CNN模型改进的目标检测方法及系统
CN113658195A (zh) 图像分割方法、装置及电子设备
CN112949731A (zh) 基于多专家模型的目标检测方法、装置、存储介质及设备
CN112733741A (zh) 交通标识牌识别方法、装置和电子设备
CN112949656B (zh) 水下地形匹配定位方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant