CN110135422A - 一种密集目标的检测方法和装置 - Google Patents

一种密集目标的检测方法和装置 Download PDF

Info

Publication number
CN110135422A
CN110135422A CN201910421176.7A CN201910421176A CN110135422A CN 110135422 A CN110135422 A CN 110135422A CN 201910421176 A CN201910421176 A CN 201910421176A CN 110135422 A CN110135422 A CN 110135422A
Authority
CN
China
Prior art keywords
target
region
detection
intensive
interest region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910421176.7A
Other languages
English (en)
Other versions
CN110135422B (zh
Inventor
葛政
揭泽群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910421176.7A priority Critical patent/CN110135422B/zh
Publication of CN110135422A publication Critical patent/CN110135422A/zh
Application granted granted Critical
Publication of CN110135422B publication Critical patent/CN110135422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种密集目标的检测方法及装置,所述方法包括:从待检测目标中获取并标记密集目标。对所述密集目标进行整体检测,以得到整体检测区域。基于至少一次的负例判断,删除所述整体检测区域中的背景区域,以得到所述密集目标中各个单独目标对应的目标兴趣区域。获得所述目标兴趣区域中的目标特征信息,以生成各个单独目标对应的单独目标检测区域。在所述方法中,检测密集目标和检测稀疏目标时采用不同的正负例判断方法,在检测密集目标时,所述方法采用了整体检测和负例判断的方法,能够节约人力标注成本,缩短目标检测的周期,并且提升对密集目标样本里单个目标实例的检测与定位能力。

Description

一种密集目标的检测方法和装置
技术领域
本发明涉及目标检测领域,尤其涉及一种密集目标的检测方法和装置。
背景技术
目标检测是很多计算机视觉任务的基础,目标检测的任务是找出图像中所有感兴趣的目标物体,确定它们的位置和大小,是机器视觉领域的核心问题之一。由于各类物体有不同的外观,形状,姿态,加上成像时光照,遮挡等因素的干扰,目标检测一直是机器视觉领域最具有挑战性的问题。
现有的目标检测技术在检测目标时遇到密集目标时通常采取逐个检测的方式,逐个检测的方式需要消耗大量的人力成本,检测周期较长。且现有的目标检测技术训练时在目标为密集目标与目标为稀疏目标时遵循同样的正负例生成策略,在目标为密集目标时,容易误判密集目标中的某些单独目标为背景区域或者误判背景区域为密集目标中的单独目标,使得密集目标的检测与定位的精确度较低。
发明内容
为了解决密集目标检测的成本和精确度的问题,得到缩短检测周期并提升对密集目标中单独目标的检测与定位能力的技术效果,本发明提供了一种密集目标的检测方法和装置。
一方面,本发明提供了一种密集目标的检测方法,所述方法包括:
从待检测目标中获取并标记密集目标;
对所述密集目标进行整体检测,以得到整体检测区域;
基于至少一次的负例判断,删除所述整体检测区域中的背景区域,以得到所述密集目标中各个单独目标对应的目标兴趣区域;
获得所述目标兴趣区域中的目标特征信息,以生成各个单独目标对应的单独目标检测区域。
另一方面提供了一种密集目标的检测装置,所述装置包括:密集目标检测模块、整体检测模块、目标兴趣区域获得模块和单独目标检测模块:
所述密集目标检测模块用于从待检测目标中获取并标记密集目标;
所述整体检测模块用于对所述密集目标进行整体检测,以得到整体检测区域;
所述目标兴趣区域获得模块用于基于至少一次的负例判断,删除所述整体检测区域中的背景区域,以得到密集目标中各个单独目标对应的目标兴趣区域;
所述单独目标检测模块用于获得所述目标兴趣区域中的目标特征信息,以生成各个单独目标对应的单独目标检测区域。
另一方面提供了一种计算机可读存储介质,用于存储程序,所述程序被执行时实现所述的一种密集目标的检测方法。
另一方面提供了一种终端设备,所述终端设备包括上述的一种密集目标的检测装置。
本发明提供的一种密集目标的检测方法和装置,所述方法可以对待检测目标进行标记,区分密集目标和稀疏目标,并对密集目标进行整体检测和负例判断,识别密集目标中的单独目标,所述方法对密集目标和稀疏目标采用不同的正负例策略,对所述密集目标不产生正例,只通过负例判断的方式,检测密集目标中单独目标的单独目标检测区域,所述方法能够节约人力标注成本,缩短目标检测的周期,并且提升对密集目标样本里单个目标实例的检测与定位能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种密集目标的检测方法的应用场景示意图;
图2为本发明实施例提供的一种密集目标的检测方法的流程图;
图3为本发明实施例提供的一种密集目标的检测方法中进行整体检测的方法的流程图;
图4为本发明实施例提供的一种密集目标的检测方法中第一次负例判断的方法的流程图;
图5为本发明实施例提供的一种密集目标的检测方法中计算第一准确度检测信息的方法的流程图;
图6为本发明实施例提供的锚和预测范围的重叠方式的流程图;
图7为本发明实施例提供的一种密集目标的检测方法中第二次负例判断的方法的流程图;
图8为本发明实施例提供的一种密集目标的检测方法中计算第二准确度检测信息的方法的流程图;
图9为本发明实施例提供的一种密集目标的检测方法中的;
图10为本发明实施例提供的一种密集目标的检测装置的结构示意图;
图11为本发明实施例提供的一种密集目标的检测装置的目标兴趣区域获得模块中执行第一负例判断的单元结构图;
图12为本发明实施例提供的一种密集目标的检测装置的目标兴趣区域获得模块中执行第二负例判断的单元结构图;
图13为本发明实施例提供的一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且,术语“第一”、“第二”等适用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
首先对本发明实施例中所涉及的相关术语做以下解释:
卷积神经网络:卷积神经网络(Convolutional Neural Networks,CNN) 是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。
请参见图1,其显示了本发明实施例提供的一种密集目标的检测方法的应用场景示意图,所述应用场景包括终端110和服务器120,所述终端包括但不限于智能手机、平板电脑、笔记本电脑、台式电脑等。所述服务器从终端获得待检测目标信息,所述服务器判断所述待检测目标是否为密集目标,当判断为密集目标时,对所述密集目标进行标记和整体检测,获得整体检测区域。所述服务器通过至少一次负例判断来删除整体检测区域中背景区域,获得所述密集目标中各个单独目标的目标兴趣区域,对所述目标兴趣区域进行进一步的处理,获得密集目标中各个单独目标的单独目标检测区域,并显示在终端上,或者对所述各个密集目标中各个单独目标的单独目标检测区域进行进一步的处理。
请参见图2,其显示了一种密集目标的检测方法,可应用于服务器侧,所述方法包括:
S210.从待检测目标中获取并标记密集目标;
S220.对所述密集目标进行整体检测,以得到整体检测区域;
进一步地,所述对所述密集目标进行整体检测,以得到整体检测区域包括:
S310.获得密集目标的整体边框;
S320.根据所述整体边框,生成密集目标的整体检测区域。
具体地,在对待检测目标进行整体检测时,若待检测目标为稀疏目标,则可以采取逐个检测的方式。若待检测目标是密集目标,则可以先使用一个整体检测框对所述密集目标进行整体检测,框住所述密集目标的整体部分,即所述密集目标中所有的单独目标都被包括在一个整体检测框中。
在一个具体的示例中,服务器接收到了一幅图像,对图像中包含的目标信息进行检测。常规的目标检测在进行检测时会赋予每一个目标实例一个类别标签,例如如果所述图像是多个草莓的图像,则每个目标的类别标签为“草莓”。检测到所述草莓的图像为密集目标,对密集目标进行统一检测,除了赋予“草莓”标签外,还需要给一个额外的记号用于标记所述目标为密集目标,所述标记可以为“多个”。与之相对应的,当检测到的目标为稀疏的单个目标时,除了类别标签外,需要给的额外记号用于标记所述目标为稀疏目标,所述标记可以为“单个”。
对待密集目标的检测,在目标检测阶段采用整体检测的方式,能够初步排除不需要进行密集目标检测的区域,因此可以减少后续检测步骤的计算量,提高密集目标的检测效率。
S230.基于至少一次的负例判断,删除所述整体检测区域中的背景区域,以得到所述密集目标中各个单独目标对应的目标兴趣区域;
进一步地,所述基于至少一次的负例判断,删除所述整体检测区域中的背景区域,以得到所述密集目标中各个单独目标对应的目标兴趣区域包括:
S410.对所述整体检测区域进行特征提取,以得到所述密集目标中各个单独目标的第一特征信息;
S420.根据所述第一特征信息,生成每个单独目标对应的基准区域;
S430.根据所述第一特征信息和所述基准区域,预测每个单独目标的候选区域;
S440.根据所述基准区域和候选区域,获得所述候选区域的第一准确度检测信息;
S450.若所述第一准确度检测信息小于第一负例阈值,则删除所述候选区域,以得到每个单独目标的第一兴趣区域。
进一步地,所述根据所述基准区域和候选区域,获得所述候选区域的第一准确度检测信息包括:
S510.获取所述基准区域和所述候选区域的重叠区域;
S520.计算所述重叠区域和所述基准区域的比值,以得到第一准确度检测信息。
具体地,所述密集目标的检测方法可以采用更快的通过卷积神经特征网络获取目标区域的(Faster Region with CNN feature,Faster RCNN)目标检测方法,第一次正负例判断在区域提议网络(Region Proposal Network, RPN)阶段。
在RPN阶段,所述RPN基于卷积神经网络,输入所述RPN中的是各个单独目标的基准区域,所述基准区域为在RPN阶段的锚(anchor),最终输出的是各个单独目标的第一兴趣区域,所述第一目标兴趣区域是RPN 阶段的判断为前景区域的候选区域,所述候选区域为RPN阶段的预测范围 (bounding boxes,bbox)。
根据卷积神经网络中一系列的卷积层和池化层,可以对整体检测区域进行特征提取,获得密集目标的第一特征信息,所述第一特征信息可以为图像的纹理或者颜色等信息,相同的颜色和相同纹理就可以当做是指向了同一密集目标中的单独目标。
同时根据所述第一特征信息,可以利用预设的基准区域来寻找密集目标中的单独目标区域。根据基准区域,能够获得密集目标中各个单独目标的初步定位。所述基准区域具有多种固定尺寸,每种尺寸的基准区域的中心点为同一点,根据不同长宽比例、不同面积的基准区域,可以逆向推导出它所对应的原始图片中的一个区域,所述区域具有已知的尺寸和坐标,从而获得各个单独目标的候选区域。
在密集目标检测中,在所述候选区域中选择第一兴趣区域的方法,可以通过计算基准区域和候选区域的交叠率(Intersection over Anchor,IoA),根据交叠率的大小进行负例判断。请参见图6,图6显示了所述anchor和所述bbox的重叠方式,所述交叠率的表达方式为。
其中,在RPN阶段中,anchor为基准区域,bbox为候选区域。所述候选区域中包括前景区域和背景区域,在RPN阶段中不产生正例,将交叠率<0.3的候选区域视为负例,所述被视为负例的即为候选区域中的背景区域。删除所述候选区域中的背景区域,获得的候选区域中的前景区域即为各个单独目标的第一兴趣区域。
在RPN阶段结束后,对所述第一兴趣区域也可以具有分类和回归的过程,RPN用于判断每个基准区域是否包含密集目标中的单独目标,RPN的回归步骤则是用来判断当基准区域中包含密集目标中的单独目标时,基准区域需要如何调整才能获得理想的第一兴趣区域。
在RPN阶段,基于整体检测的范围,通过删除负例的方式获得各个单独目标的所在的第一兴趣区域,能够避免遗漏密集目标中的单独目标,使得图像检测能够获得更为准确的信息。
进一步地,所述得到每个单独目标的第一兴趣区域之后,还包括:
S710.对所述第一兴趣区域进行特征提取,以得到第一兴趣区域中单独目标的第二特征信息;
S720.根据所述第二特征信息和所述第一兴趣区域,提取每个单独目标的第二兴趣区域;
S730.根据所述第一兴趣区域和所述第二兴趣区域,获得所述第二兴趣区域的第二准确度检测信息;
S740.若所述第二准确度检测信息大于第二负例阈值,且所述第二准确度检测信息小于第三负例阈值,则删除所述第二兴趣区域,以得到每个单独目标的目标兴趣区域。
进一步地,所述根据所述第一兴趣区域和所述第二兴趣区域,获得所述第二兴趣区域的第二准确度检测信息包括:
S810.获取所述第二兴趣区域和所述第一兴趣区域的重叠区域;
S820.计算所述重叠区域和所述第一兴趣区域的比值,以得到第二准确度检测信息。
具体地,第二次正负例判断在快的通过卷积神经特征网络获取目标区域的(FastRegion with CNN feature,Fast RCNN)目标检测阶段。
在Fast RCNN目标检测阶段中,可以使用卷积网络从第一兴趣区域中提取目标特征。所述第一兴趣区域为Fast RCNN目标检测阶段的输入数据,即为Fast RCNN目标检测阶段的anchor,最终输出的是各个单独目标的目标兴趣区域,即所述目标兴趣区域为FastRCNN目标检测阶段判断为前景区域的第二兴趣区域,所述第二兴趣区域为Fast RCNN目标检测阶段的bbox。
所述第二兴趣区域可以根据所述第一兴趣区域中的第二特征信息和第一兴趣区域获得的。所述第二特征信息同样为纹理信息或者颜色信息等。根据所述第一兴趣区域中的纹理信息和颜色信息等,获得第二兴趣区域。所述第二特征信息和所述第一特征信息可以共用一个卷积层进行特征图的输出,即RPN阶段和Fast RCNN阶段共享特征卷积层,但是所述第二特征信息中已经不包括在第一负例判断阶段判断为负例的区域特征。
在所述第二兴趣区域中选择目标兴趣区域的方法,可以通过计算第一兴趣区域和第二兴趣区域的IOA,根据交叠率的大小进行第二次的负例判断。请参见图6,图6显示了所述anchor和所述bbox的重叠方式,所述交叠率的表达方式为。
其中,在Fast RCNN目标检测阶段中,anchor为第一兴趣区域,bbox 为第二兴趣区域。所述候选区域中包括前景区域和背景区域,在Fast RCNN 目标检测阶段中同样不产生正例,将0.1<交叠率<0.5的第二兴趣区域视为负例,所述被视为负例的即为第二兴趣区域中的背景区域。删除所述第二兴趣区域中的背景区域,获得的第二兴趣区域中的前景区域即为各个单独目标的目标兴趣区域。
在Fast RCNN阶段,通过删除负例的方式可以获得各个单独目标的所在的目标兴趣区域,进一步对密集目标中的单独目标进行检测,获得更为精确的范围,同时,负例检测能够避免遗漏密集目标中的单独目标,使得图像检测能够获得更为准确的信息。
在一个具体的示例中,服务器识别出具有密集目标的图像信息,并标记为密集目标,进行整体检测步骤。假设所述图像信息为多个草莓组成的图像,目的是要识别各个草莓。对所述整体检测范围内的多个草莓的图像进行特征提取,利用预设的基准区域和特征信息,进行RPN阶段,对整体检测范围内的多个草莓进行提取,预测各个单独的草莓图像的候选区域。
对于标记为“多个”的待检测目标,在RPN阶段不产生正例,RPN阶段IoA<0.3视为负例,通过本次正负例判断,根据候选区域和基准区域的 IOA,删除判断为背景区域的候选区域,获得调整后的RPN阶段的bbox,即各个草莓的第一兴趣区域。
将所述第一兴趣区域输入到Fast RCNN中,获得Fast RCNN的输出,即各个草莓的第二兴趣区域。在Fast RCNN阶段也不产生正例,在Fast- RCNN阶段视0.1<IoA<0.5为负例。通过本次正负例判断,根据第一兴趣区域和第二兴趣区域的IOA,删除判断为背景区域的第一兴趣区域,获得调整后的Fast-RCNN阶段的bbox,即各个草莓的目标兴趣区域。
此外,对于标记为“单个”待检测目标,与常规的Faster RCNN保持一致,在各个检测阶段中,若其bbox与anchor的交并比(Intersection-over- Union,IoU)大于0.5则视为RPN和Fast-RCNN的正例,而0.1<IoU<0.5 的样本则视为负例。
S240.获得所述目标兴趣区域中的目标特征信息,以生成各个单独目标对应的单独目标检测区域。
进一步地,所述获得所述目标兴趣区域中的目标特征信息,以生成各个单独目标对应的单独目标检测区域包括:
S910.对所述目标兴趣区域进行池化;
S920.获得池化后的目标兴趣区域中的目标特征信息;
S930.对所述目标特征信息进行分类和边框回归,生成各个单独目标的单独目标检测区域。
具体地,对目标兴趣区域进行感兴趣区域池化(Region of Interest Pooling,RoI Pooling)。RPN和Fast RCNN共享一层卷积层,所述卷积层包括特征图信息,将目标兴趣区域映射到特征图上,获得池化后的目标兴趣区域。获取池化后的目标兴趣区域的特征信息后,可以进行进一步的分类和边框回归操作,在边框回归中通过平移和尺度缩放,对目标兴趣区域进行微调,使得对密集目标中各个单独目标的定位更加精确。
在一个具体的示例中,所述方法能够提供密集目标检测、计数等技术。将采集到的照片传入服务器后,所述方法可以执行如人群计数、水果计数、交通等功能,同时也可以对检测到的目标进行进一步的处理,例如通过水果计数进行重量估计等,对丰富目标检测的能力和应用场景有极大的促进。
本实施例提出了一种密集目标的检测方法,所述方法采用整体检测和负例判断的方法,避免了正例判断中对密集目标中某些单独目标的遗漏,能够检测到更为准确的目标信息。所述方法能够节约人力标注成本,缩短目标检测的周期,并且提升对密集目标样本里单个目标实例的检测与定位能力。所述方法在最大化合理的利用了所有检测到的数据,节省大量人力的同时保证了目标检测的性能。
本发明实施例还提供了一种密集目标的检测装置,请参见图10,所述装置包括:密集目标检测模块1010、整体检测模块1020、目标兴趣区域获得模块1030和单独目标检测模块1040:
所述密集目标检测模块1010用于从待检测目标中获取并标记密集目标;
所述整体检测模块1020用于对所述密集目标进行整体检测,以得到整体检测区域;
所述目标兴趣区域获得模块1030用于基于至少一次的负例判断,删除所述整体检测区域中的背景区域,以得到密集目标中各个单独目标对应的目标兴趣区域;
所述单独目标检测模块1040用于获得所述目标兴趣区域中的目标特征信息,以生成各个单独目标对应的单独目标检测区域。
进一步地,请参见图11,所述目标兴趣区域获得模块1030包括第一特征信息获得单元1110、基准区域生成单元1120、候选区域预测单元1130、第一准确度检测信息获得单元1140和第一背景区域删除单元1150:
所述第一特征信息获得单元1110用于对所述整体检测区域进行特征提取,以得到所述整体检测区域中待检测单独目标的第一特征信息;
所述基准区域生成单元1120用于根据所述第一特征信息,提取各个待检测单独目标的基准区域;
所述候选区域预测单元1130用于根据所述第一特征信息和所述基准区域,预测各个待检测单独目标的候选区域;
所述第一准确度检测信息获得单元1140用于根据所述基准区域和候选区域,获得所述候选区域的第一准确度检测信息;
所述第一背景区域删除单元1150用于若所述第一准确度检测信息小于第一负例阈值,则删除所述候选区域,以得到每个单独目标的第一兴趣区域。
进一步地,请参见图12,所述目标兴趣区域获得模块1030还包括第二特征信息获得单元1210、第二兴趣区域获得单元1220、第二准确度检测信息获得单元1230和第二背景区域删除单元1240:
第二特征信息获得单元1210用于对所述第一兴趣区域进行特征提取,获得第二特征信息;
第二兴趣区域获得单元1220用于根据所述第二特征信息和所述第一兴趣区域,提取各个待检测单独目标的第二兴趣区域;
所述第二准确度检测信息获得单元1230用于根据所述第一兴趣区域和所述第二兴趣区域,获得所述第二兴趣区域的第二准确度检测信息;
所述第二背景区域删除单元1240用于若所述第二准确度检测信息大于第二负例阈值,且小于第三负例阈值,则删除所述第二兴趣区域,以得到单独目标的目标兴趣区域。
上述实施例中提供的装置可执行本发明任意实施例所提供方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的一种密集目标的检测方法。
本实施例还提供了一种计算机可读存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令由处理器加载并执行本实施例上述的一种密集目标的检测方法。
本实施例还提供了一种设备,所述设备包括处理器和存储器,其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行本实施例上述的一种密集目标的检测方法。
所述设备可以为计算机终端、移动终端或服务器,所述设备还可以参与构成本发明实施例所提供的装置或系统。如图13所示,计算机终端13(或移动终端13或服务器13)可以包括一个或多个(图中采用1302a、 1302b,……,1302n来示出)处理器1302(处理器1302可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1304、以及用于通信功能的传输装置1306。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图13所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,移动设备13还可包括比图13中所示更多或者更少的组件,或者具有与图13所示不同的配置。
应当注意到的是上述一个或多个处理器1302和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机设备13(或移动终端)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器1304可用于存储应用软件的软件程序以及模块,如本发明实施例中所述的方法对应的程序指令/数据存储装置,处理器1302通过运行存储在存储器1304内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的一种基于自注意力网络的时序行为捕捉框生成方法。存储器1304可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1304可进一步包括相对于处理器1302远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端13。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端13的通信供应商提供的无线网络。在一个实例中,传输装置1306包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置1306可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端13(或移动终端)的用户界面进行交互。
本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或中断产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本实施例中所示出的结构,仅仅是与本申请方案相关的部分结构,并不构成对本申请方案所应用于其上的设备的限定,具体的设备可以包括比示出的更多或更少的部件,或者组合某些部件,或者具有不同的部件的布置。应当理解到,本实施例中所揭露的方法、装置等,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分仅仅为一种逻辑功能的划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元模块的间接耦合或通信连接。
基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM, RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员还可以进一步意识到,结合本说明书所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但这种实现不应认为超出本发明的范围。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种密集目标的检测方法,其特征在于,所述方法包括:
从待检测目标中获取并标记密集目标;
对所述密集目标进行整体检测,以得到整体检测区域;
基于至少一次的负例判断,删除所述整体检测区域中的背景区域,以得到所述密集目标中各个单独目标对应的目标兴趣区域;
获得所述目标兴趣区域中的目标特征信息,以生成各个单独目标对应的单独目标检测区域。
2.根据权利要求1所述的一种密集目标的检测方法,其特征在于,所述对所述密集目标进行整体检测,以得到整体检测区域包括:
获得密集目标的整体边框;
根据所述整体边框,生成密集目标的整体检测区域。
3.根据权利要求1所述的一种密集目标的检测方法,其特征在于,所述基于至少一次的负例判断,删除所述整体检测区域中的背景区域,以得到所述密集目标中各个单独目标对应的目标兴趣区域包括:
对所述整体检测区域进行特征提取,以得到所述密集目标中各个单独目标的第一特征信息;
根据所述第一特征信息,生成每个单独目标对应的基准区域;
根据所述第一特征信息和所述基准区域,预测每个单独目标的候选区域;
根据所述基准区域和候选区域,获得所述候选区域的第一准确度检测信息;
若所述第一准确度检测信息小于第一负例阈值,则删除所述候选区域,以得到每个单独目标的第一兴趣区域。
4.根据权利要求3所述的一种密集目标的检测方法,其特征在于,所述根据所述基准区域和候选区域,获得所述候选区域的第一准确度检测信息包括:
获取所述基准区域和所述候选区域的重叠区域;
计算所述重叠区域和所述基准区域的比值,以得到第一准确度检测信息。
5.根据权利要求3所述的一种密集目标的检测方法,其特征在于,所述得到每个单独目标的第一兴趣区域之后,还包括:
对所述第一兴趣区域进行特征提取,以得到第一兴趣区域中单独目标的第二特征信息;
根据所述第二特征信息和所述第一兴趣区域,提取每个单独目标的第二兴趣区域;
根据所述第一兴趣区域和所述第二兴趣区域,获得所述第二兴趣区域的第二准确度检测信息;
若所述第二准确度检测信息大于第二负例阈值,且所述第二准确度检测信息小于第三负例阈值,则删除所述第二兴趣区域,以得到每个单独目标的目标兴趣区域。
6.根据权利要求5所述的一种密集目标的检测方法,其特征在于,所述根据所述第一兴趣区域和所述第二兴趣区域,获得所述第二兴趣区域的第二准确度检测信息包括:
获取所述第二兴趣区域和所述第一兴趣区域的重叠区域;
计算所述重叠区域和所述第一兴趣区域的比值,以得到第二准确度检测信息。
7.根据权利要求1所述的一种密集目标的检测方法,其特征在于,所述获得所述目标兴趣区域中的目标特征信息,以生成各个单独目标对应的单独目标检测区域包括:
对所述目标兴趣区域进行池化;
获得池化后的目标兴趣区域中的目标特征信息;
对所述目标特征信息进行分类和边框回归,生成各个单独目标的单独目标检测区域。
8.一种密集目标的检测装置,其特征在于,所述装置包括:密集目标检测模块、整体检测模块、目标兴趣区域获得模块和单独目标检测模块:
所述密集目标检测模块用于从待检测目标中获取并标记密集目标;
所述整体检测模块用于对所述密集目标进行整体检测,以得到整体检测区域;
所述目标兴趣区域获得模块用于基于至少一次的负例判断,删除所述整体检测区域中的背景区域,以得到密集目标中各个单独目标对应的目标兴趣区域;
所述单独目标检测模块用于获得所述目标兴趣区域中的目标特征信息,以生成各个单独目标对应的单独目标检测区域。
9.根据权利要求8所述的一种密集目标的检测装置,其特征在于,所述目标兴趣区域获得模块包括第一特征信息获得单元、基准区域生成单元、候选区域预测单元、第一准确度检测信息获得单元和第一背景区域删除单元:
所述第一特征信息获得单元用于对所述整体检测区域进行特征提取,以得到所述整体检测区域中待检测单独目标的第一特征信息;
所述基准区域生成单元用于根据所述第一特征信息,提取各个待检测单独目标的基准区域;
所述候选区域预测单元用于根据所述第一特征信息和所述基准区域,预测各个待检测单独目标的候选区域;
所述第一准确度检测信息获得单元用于根据所述基准区域和候选区域,获得所述候选区域的第一准确度检测信息;
所述第一背景区域删除单元用于若所述第一准确度检测信息小于第一负例阈值,则删除所述候选区域,以得到每个单独目标的第一兴趣区域。
10.根据权利要求9所述的一种密集目标的检测装置,其特征在于,所述目标兴趣区域获得模块还包括第二特征信息获得单元、第二兴趣区域获得单元、第二准确度检测信息获得单元和第二背景区域删除单元:
第二特征信息获得单元用于对所述第一兴趣区域进行特征提取,获得第二特征信息;
第二兴趣区域获得单元用于根据所述第二特征信息和所述第一兴趣区域,提取各个待检测单独目标的第二兴趣区域;
所述第二准确度检测信息获得单元用于根据所述第一兴趣区域和所述第二兴趣区域,获得所述第二兴趣区域的第二准确度检测信息;
所述第二背景区域删除单元用于若所述第二准确度检测信息大于第二负例阈值,且小于第三负例阈值,则删除所述第二兴趣区域,以得到单独目标的目标兴趣区域。
CN201910421176.7A 2019-05-20 2019-05-20 一种密集目标的检测方法和装置 Active CN110135422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910421176.7A CN110135422B (zh) 2019-05-20 2019-05-20 一种密集目标的检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910421176.7A CN110135422B (zh) 2019-05-20 2019-05-20 一种密集目标的检测方法和装置

Publications (2)

Publication Number Publication Date
CN110135422A true CN110135422A (zh) 2019-08-16
CN110135422B CN110135422B (zh) 2022-12-13

Family

ID=67571936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910421176.7A Active CN110135422B (zh) 2019-05-20 2019-05-20 一种密集目标的检测方法和装置

Country Status (1)

Country Link
CN (1) CN110135422B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111239156A (zh) * 2020-01-15 2020-06-05 广州兴森快捷电路科技有限公司 花焊盘堵塞区域识别方法、装置、设备及存储介质
CN112200089A (zh) * 2020-10-12 2021-01-08 西南交通大学 一种基于车辆计数感知注意力的稠密车辆检测方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1320063A2 (de) * 2001-12-11 2003-06-18 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von Objekten
CN101350069A (zh) * 2007-06-15 2009-01-21 三菱电机株式会社 从训练数据构建分类器并使用分类器检测在测试数据中的移动对象的计算机实现方法
CN101983389A (zh) * 2008-10-27 2011-03-02 松下电器产业株式会社 移动体检测方法以及移动体检测装置
JP2012108689A (ja) * 2010-11-17 2012-06-07 Nippon Hoso Kyokai <Nhk> 文字領域検出装置およびそのプログラム
US20130108017A1 (en) * 2011-10-27 2013-05-02 Nordson Corporation Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system
WO2014172875A1 (en) * 2013-04-25 2014-10-30 Harman International Industries, Incorporated Moving object detection
WO2015077708A1 (en) * 2013-11-22 2015-05-28 Cambridge Social Science Decision Lab Inc. Methods, systems, and articles of manufacture for the management and identification of causal knowledge
US20160027181A1 (en) * 2014-07-28 2016-01-28 Adobe Systems Incorporated Accelerating Object Detection
CN105911062A (zh) * 2015-02-25 2016-08-31 东友精细化工有限公司 光学膜的不良检测装置及方法
US9514722B1 (en) * 2015-11-10 2016-12-06 Adobe Systems Incorporated Automatic detection of dense ornamentation in music
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
CN108549901A (zh) * 2018-03-12 2018-09-18 佛山市顺德区中山大学研究院 一种基于深度学习的快速迭代目标检测方法
CN108924627A (zh) * 2018-08-23 2018-11-30 北京字节跳动网络技术有限公司 运动对象的位置分布显示方法、装置、设备及存储介质
CN109101897A (zh) * 2018-07-20 2018-12-28 中国科学院自动化研究所 水下机器人的目标检测方法、系统及相关设备
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
CN109448854A (zh) * 2018-09-14 2019-03-08 慧影医疗科技(北京)有限公司 一种肺结核检测模型的构建方法及应用

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1320063A2 (de) * 2001-12-11 2003-06-18 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von Objekten
CN101350069A (zh) * 2007-06-15 2009-01-21 三菱电机株式会社 从训练数据构建分类器并使用分类器检测在测试数据中的移动对象的计算机实现方法
CN101983389A (zh) * 2008-10-27 2011-03-02 松下电器产业株式会社 移动体检测方法以及移动体检测装置
JP2012108689A (ja) * 2010-11-17 2012-06-07 Nippon Hoso Kyokai <Nhk> 文字領域検出装置およびそのプログラム
US20130108017A1 (en) * 2011-10-27 2013-05-02 Nordson Corporation Method and apparatus for generating a three-dimensional model of a region of interest using an imaging system
WO2014172875A1 (en) * 2013-04-25 2014-10-30 Harman International Industries, Incorporated Moving object detection
WO2015077708A1 (en) * 2013-11-22 2015-05-28 Cambridge Social Science Decision Lab Inc. Methods, systems, and articles of manufacture for the management and identification of causal knowledge
US20160027181A1 (en) * 2014-07-28 2016-01-28 Adobe Systems Incorporated Accelerating Object Detection
CN105911062A (zh) * 2015-02-25 2016-08-31 东友精细化工有限公司 光学膜的不良检测装置及方法
US9514722B1 (en) * 2015-11-10 2016-12-06 Adobe Systems Incorporated Automatic detection of dense ornamentation in music
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
CN108549901A (zh) * 2018-03-12 2018-09-18 佛山市顺德区中山大学研究院 一种基于深度学习的快速迭代目标检测方法
CN109101897A (zh) * 2018-07-20 2018-12-28 中国科学院自动化研究所 水下机器人的目标检测方法、系统及相关设备
CN108924627A (zh) * 2018-08-23 2018-11-30 北京字节跳动网络技术有限公司 运动对象的位置分布显示方法、装置、设备及存储介质
CN109448854A (zh) * 2018-09-14 2019-03-08 慧影医疗科技(北京)有限公司 一种肺结核检测模型的构建方法及应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIA G等: "DOTA: A Large-Scale Dataset for Object Detection in Aerial Images", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
戴伟聪等: "遥感图像中飞机的改进YOLOv3实时检测算法", 《光电工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111239156A (zh) * 2020-01-15 2020-06-05 广州兴森快捷电路科技有限公司 花焊盘堵塞区域识别方法、装置、设备及存储介质
CN112200089A (zh) * 2020-10-12 2021-01-08 西南交通大学 一种基于车辆计数感知注意力的稠密车辆检测方法
CN112200089B (zh) * 2020-10-12 2021-09-14 西南交通大学 一种基于车辆计数感知注意力的稠密车辆检测方法

Also Published As

Publication number Publication date
CN110135422B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN109697435B (zh) 人流量监测方法、装置、存储介质及设备
CN104915351B (zh) 图片排序方法及终端
CN106897661B (zh) 一种食材图像的智能化识别方法、系统和家用电器
CN109643448A (zh) 机器人系统中的细粒度物体识别
CN109218619A (zh) 图像获取方法、装置和系统
CN108510000A (zh) 复杂场景下行人细粒度属性的检测与识别方法
CN108805083A (zh) 单阶段的视频行为检测方法
Qureshi et al. Smart camera networks in virtual reality
CN107341435A (zh) 视频图像的处理方法、装置和终端设备
CN108780497A (zh) 一种皮肤瑕疵点分类方法及电子设备
CN109272509A (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
Lian et al. Spatial–temporal consistent labeling of tracked pedestrians across non-overlapping camera views
CN105868772A (zh) 图像识别方法及装置
CN110222686A (zh) 物体检测方法、装置、计算机设备和存储介质
CN106705972A (zh) 一种基于用户反馈的室内语义地图更新方法与系统
CN109858552A (zh) 一种用于细粒度分类的目标检测方法及设备
CN109426793A (zh) 一种图像行为识别方法、设备及计算机可读存储介质
CN110334746A (zh) 一种图像检测方法和装置
CN110135422A (zh) 一种密集目标的检测方法和装置
CN109919166A (zh) 获取属性的分类信息的方法和装置
CN110175974A (zh) 图像显著性检测方法、装置、计算机设备和存储介质
CN109815902A (zh) 一种行人属性区域信息获取方法、装置及设备
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
CN116778411A (zh) 人流量预测方法、装置、电子设备及非易失性存储介质
CN110532838A (zh) 对象检测装置和方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant