CN110909797B - 图像检测方法以及装置、设备、存储介质 - Google Patents

图像检测方法以及装置、设备、存储介质 Download PDF

Info

Publication number
CN110909797B
CN110909797B CN201911163724.7A CN201911163724A CN110909797B CN 110909797 B CN110909797 B CN 110909797B CN 201911163724 A CN201911163724 A CN 201911163724A CN 110909797 B CN110909797 B CN 110909797B
Authority
CN
China
Prior art keywords
detection
target
prediction
point
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911163724.7A
Other languages
English (en)
Other versions
CN110909797A (zh
Inventor
王成
郑晨斌
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN201911163724.7A priority Critical patent/CN110909797B/zh
Publication of CN110909797A publication Critical patent/CN110909797A/zh
Application granted granted Critical
Publication of CN110909797B publication Critical patent/CN110909797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像检测方法以及装置、设备、存储介质。该方法包括输入图像至预设检测模型；在所述预设检测模型中采用尺度限定进行目标信息的预测，所述尺度限定用于对预测层的最小长宽预测进行尺度限定；在所述预设检测模型中采用改进的center‑ness分支进行预测信息的筛选，所述改进的center‑ness分支用于降低边缘检测敏感性；通过所述预设检测模型输出检测结果，其中所述检测结果中包括至少一个目标位置和类别信息。本申请解决了图像检测方法的检测效果不佳的技术问题。通过本申请提升了目标检测性能。

Description

图像检测方法以及装置、设备、存储介质
技术领域
本申请涉及图像检测领域，具体而言，涉及一种图像检测方法以及装置、设备、存储介质。
背景技术
深度学习方法已经广泛地应用于计算机视觉领域，尤其是较为基础的目标检测领域。虽然使用Anchor的方法取得了很先进的结果，但是Anchor的不灵活，设置复杂，数量庞大等缺点，限制了其进一步发展。
无Anchor的目标检测算法也主要分为两类：一类基于关键点检测，另一类基于语义分割。基于关键点检测模型往往需要很庞大的关键点检测网络作为骨干网络才能达到较好的检测效果，这导致需要很大的资源来保证足够多的批量使得模型收敛，同时训练和推理速度都很慢。基于语义分割的模型虽然在资源和速度上的具有优势，但是仍然存在边缘区域检测敏感性的问题。
针对相关技术中图像检测方法的检测效果不佳的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种图像检测方法以及装置、设备、存储介质，以解决图像检测方法的检测效果不佳的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种图像检测方法。
根据本申请的图像检测方法包括：输入图像至预设检测模型；在所述预设检测模型中采用尺度限定进行目标信息的预测，所述尺度限定用于对预测层的最小长宽预测进行尺度限定；在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选，所述改进的center-ness分支用于降低边缘检测敏感性；通过所述预设检测模型输出检测结果，其中所述检测结果中包括至少一个目标位置和类别信息。
进一步地，所述预设检测模型为增强无Anchor的FCOS检测模型。
进一步地，在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选包括：
计算改进的center-ness分值的目标值；
将目标值大于0的点作为正样本预测点送入置信度和回归损失函数；
否则，作为负样本预测点送入置信度损失函数。
进一步地，在所述预设检测模型中采用尺度限定进行目标信息的预测包括：
将目标宽高的最小值进行限定，使得目标落入合理的检测层进行预测，其中合理的检测层是指，不会由于宽高比过大或者过小造成检测失效。
进一步地，在所述预设检测模型中的多尺度预测模块，用于通过第一分支预测目标回归信息；以及通过第二分支预测目标类别与所述改进的center-ness分支信息。
进一步地，在所述预设检测模型中的骨干网络模块，采用VGG、ResNet或者VOV的分类网络模型。
进一步地，在所述预设检测模型中的多尺度模块，采用FSSD特征融合的方式或FPN特征融合的方式。
为了实现上述目的，根据本申请的另一方面，提供了一种图像检测装置。
根据本申请的图像检测装置包括：输入模块，用于输入图像至预设检测模型；尺度限定模块，用于在所述预设检测模型中采用尺度限定进行目标信息的预测，所述尺度限定用于对预测层的最小长宽预测进行尺度限定；筛选模块，用于在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选，所述改进的center-ness分支用于降低边缘检测敏感性；输出模块，用于通过所述预设检测模型输出检测结果，其中所述检测结果中包括至少一个目标位置和类别信息。
为了实现上述目的，根据本申请的又一方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的图像检测方法的步骤。
为了实现上述目的，根据本申请的再一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现述的图像检测方法的步骤。
在本申请实施例中图像检测方法以及装置、设备、存储介质，采用无Anchor检测的方式，通过输入图像至预设检测模型，达到了在所述预设检测模型中采用尺度限定进行目标信息的预测和在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选，通过所述预设检测模型输出检测结果的目的，从而实现了降低边缘区域检测的敏感性和防止检测失效的技术效果，进而解决了图像检测方法的检测效果不佳的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的图像检测方法流程示意图；
图2是根据本申请实施例的图像检测装置结构示意图；
图3是根据本申请实施例的FCOS预测对象及改进的center-ness原理图；
图4是根据本申请实施例的系统图；
图5是根据本申请实施例的网络模型图；
图6是根据本申请实施例的设备终端结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S101至步骤S104：
步骤S101，输入图像至预设检测模型；
输入图像的操作时需要将图像进行一定程度上的缩放变换为统一尺寸。可以使用标注好的满足预设格式要求的数据集训练预设检测模型，在此基础上再将待检测图像输入训练好的模型进行检测。
所述预设检测模型通过特征提取、特征融合、目标信息预测、预测信息筛选得到最终检测结果。
步骤S102，在所述预设检测模型中采用尺度限定进行目标信息的预测，
所述尺度限定用于对预测层的最小长宽预测进行尺度限定；
在所述预设检测模型中采用尺度限定进行目标信息的预测，通过采用尺度限定来防止训练过程中宽高比过大/过小造成检测失效。
具体地，通过对预测层的最小长宽预测进行尺度限定，防止宽高比过大/过小造成检测失效。
步骤S103，在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选，
所述改进的center-ness分支用于降低边缘检测敏感性；
具体地，采用所述改进的center-ness分支，相比原center-ness分支能够更好地降低边缘检测敏感性。需要注意的是，原center-ness分支可以以基于语义分割的模型FCOS具有资源和速度上的明显优势(Zhi T.,Chunhua S.,et al.:FCOS:Fully ConvolutionalOne-Stage Object Detection.In:Proc.ICCV.(2019))中为例。本领域技术人员可以根据实际使用场景进行center-ness分支的选择，从而采用改进的center-ness分支用于降低边缘检测敏感性。
步骤S104，通过所述预设检测模型输出检测结果，其中所述检测结果中包括至少一个目标位置和类别信息。
通过所述预设检测模型输出检测结果，得到图像中的目标位置和类别信息的同时提高了检测的进度。
具体地，以基于语义分割的模型FCOS具有资源和速度上的明显优势(Zhi T.,Chunhua S.,et al.:FCOS:Fully Convolutional One-Stage Object Detection.In:Proc.ICCV.(2019))中为例，相对于FCOS检测模型在COCO开源数据集上具有更高的检测精度。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中，采用无Anchor检测的方式，通过输入图像至预设检测模型，达到了在所述预设检测模型中采用尺度限定进行目标信息的预测和在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选，通过所述预设检测模型输出检测结果的目的，从而实现了降低边缘区域检测的敏感性和防止检测失效的技术效果，进而解决了图像检测方法的检测效果不佳的技术问题。
根据本申请实施例，作为本实施例中的优选，所述预设检测模型为增强无Anchor的FCOS检测模型。
具体地，本申请实施例中的方法在无Anchor检测模型FCOS的基础上，通过所述改进center-ness分支和尺度限定进行目标信息的预测，来提升目标检测性能。
根据本申请实施例，作为本实施例中的优选，在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选包括：计算改进的center-ness分值的目标值；将目标值大于0的点作为正样本预测点送入置信度和回归损失函数；否则，作为负样本预测点送入置信度损失函数。
采用改进的center-ness分支进行预测信息的筛选，进一步降低边缘区域检测敏感性。与原center-ness一样通过一条分支进行预测，其值越大代表该预测点相对其他预测点更靠近标注框中心。
其主要实现原理是：当计算中心点损失时，根据ground truth标注，不学习目标边缘的像素点。
如图3所示，训练阶段，给定当前点到标注框四边距离，标注框和一个像素点到四边的距离，标注框值得是目标物体的最小方形轮廓。
如图3所示，一个像素点到这个最小方形轮廓四边的距离为l，r，t，b，即到左边、右边，上边和下边的距离。并通过下式计算改进的center-ness的目标值(其中β取为0.3)，目标值大于0的点作为正样本预测点送入置信度和回归损失函数，否则作为负样本预测点直接送入置信度损失函数：
Figure BDA0002285596050000071
Figure BDA0002285596050000072
需要说明的是，在测试推理阶段将模型预测出的center-ness和置信度得分相乘作为新的置信度得分用于非极大抑制筛选预测结果。由于远离中心的预测点直接作为负样本，相比原center-ness中只是压低边缘预测点的得分而言，能更好地降低边缘区域检测敏感性，同时改进的center-ness又能保证足够多的预测点来回归检测目标，可以显著提升检测性能。
具体地，由于FCOS采用多层预测，每层通过限定γ的范围来防止预测冲突，同时也能起到多尺度预测效果，但没有对特征图上目标物体的长/宽即l，r，t，b组成的长方形的长和宽作出限定，导致宽高比过大或过小时，由于γ的限定使得目标落入不合理检测层导致不存在相应预测点预测该目标，从而造成检测失效，，就是到像素点到四边距离的最大值。γ定以为：
γ＝max(l,r,t,b)
具体伪代码为：
Figure BDA0002285596050000081
根据本申请实施例，作为本实施例中的优选，在所述预设检测模型中采用尺度限定进行目标信息的预测包括：
将目标宽高的最小值进行限定，使得目标落入合理的检测层进行预测，其中合理的检测层是指，不会由于宽高比过大或者过小造成检测失效。
具体地，采用尺度限定来防止宽高比过大/过小造成检测失效。在γ限定的基础上同时限定η，即把目标宽高的最小值进行限定，使得目标能够落入更为合理的检测层进行预测。
其中，η＝min(h,w)
其中，i表示第i预测层，ai和ci分别表示第i预测层的γ和η的下限，是先验信息，与预测层分辨率相关。
具体伪代码为：
Figure BDA0002285596050000091
需要注意的是，FCOS仅为本申请实施例中的举例，并不用于限定本申请的保护范围。
根据本申请实施例，作为本实施例中的优选，在所述预设检测模型中的多尺度预测模块，用于通过第一分支预测目标回归信息；以及通过第二分支预测目标类别与所述改进的center-ness分支信息。
具体地，通过两条分支分别预测目标回归信息和目标类别与所述改进的center-ness信息。即其中一条分支预测回归信息，另一条分支预测分类和改进的center-ness。
在一些实施例中，所述改进的center-ness也可以合并到回归预测分支，目标回归和类别信息用于解码预测结果，改进的center-ness信息用于非极大抑制部分进一步降低边缘区域检测敏感性。
根据本申请实施例，作为本实施例中的优选，在所述预设检测模型中的骨干网络模块，采用VGG、ResNet或者VOV的分类网络模型。
具体地，骨干网络接收输入图像，可以采用当下经典的分类网络。比如，VGG、ResNet、VOV等，在本申请中并不对骨干网络进行具体限定。
根据本申请实施例，作为本实施例中的优选，在所述预设检测模型中的多尺度模块，采用FSSD特征融合的方式或FPN特征融合的方式。
具体地，以FSSD特征融合方式为例来形成多尺度模块，也可以采用FPN等方式来形成多尺度模块。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述方法的图像检测装置1，如图2所示，该装置包括：输入模块10，用于输入图像至预设检测模型；尺度限定模块11，用于在所述预设检测模型中采用尺度限定进行目标信息的预测，所述尺度限定用于对预测层的最小长宽预测进行尺度限定；筛选模块12，用于在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选，所述改进的center-ness分支用于降低边缘检测敏感性；输出模块13，用于通过所述预设检测模型输出检测结果，其中所述检测结果中包括至少一个目标位置和类别信息。
本申请实施例的输入模块10中输入图像的操作时需要将图像进行一定程度上的缩放变换为统一尺寸。可以使用标注好的满足预设格式要求的数据集训练预设检测模型，在此基础上再将待检测图像输入训练好的模型进行检测。
所述预设检测模型通过特征提取、特征融合、目标信息预测、预测信息筛选得到最终检测结果。
本申请实施例的尺度限定模块11中在所述预设检测模型中采用尺度限定进行目标信息的预测，通过采用尺度限定来防止训练过程中宽高比过大/过小造成检测失效。
具体地，通过对预测层的最小长宽预测进行尺度限定，防止宽高比过大/过小造成检测失效。
本申请实施例的筛选模块12中具体地，采用所述改进的center-ness分支，相比原center-ness分支能够更好地降低边缘检测敏感性。需要注意的是，原center-ness分支可以以基于语义分割的模型FCOS具有资源和速度上的明显优势(Zhi T.,Chunhua S.,etal.:FCOS:Fully Convolutional One-Stage Object Detection.In:Proc.ICCV.(2019))中为例。本领域技术人员可以根据实际使用场景进行center-ness分支的选择，从而采用改进的center-ness分支用于降低边缘检测敏感性。
本申请实施例的输出模块13中通过所述预设检测模型输出检测结果，得到图像中的目标位置和类别信息的同时提高了检测的进度。
具体地，以基于语义分割的模型FCOS具有资源和速度上的明显优势(Zhi T.,Chunhua S.,et al.:FCOS:Fully Convolutional One-Stage Object Detection.In:Proc.ICCV.(2019))中为例，相对于FCOS检测模型在COCO开源数据集上具有更高的检测精度。
本申请实施例还提供了一种计算机设备。如图6所示，计算机设备20可以包括：至少一个处理器201，例如CPU，至少一个网络接口204，用户接口203，存储器205，至少一个通信总线202，可选地，还可以包括显示屏206。其中，通信总线202用于实现这些组件之间的连接通信。其中，用户接口203可以包括触摸屏、键盘或鼠标等等。网络接口204可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通过网络接口204可以与服务器建立通信连接。存储器205可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器，存储器205包括本发明实施例中的flash。存储器205可选的还可以是至少一个位于远离前述处理器201的存储系统。如图6所示，作为一种计算机存储介质的存储器205中可以包括操作系统、网络通信模块、用户接口模块以及程序指令。
需要说明的是，网络接口204可以连接接收器、发射器或其他通信模块，其他通信模块可以包括但不限于WiFi模块、蓝牙模块等，可以理解，本发明实施例中计算机设备也可以包括接收器、发射器和其他通信模块等。
处理器201可以用于调用存储器205中存储的程序指令，并使计算机设备20执行以下操作：
输入图像至预设检测模型；
在所述预设检测模型中采用尺度限定进行目标信息的预测，所述尺度限定用于对预测层的最小长宽预测进行尺度限定；
在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选，所述改进的center-ness分支用于降低边缘检测敏感性；
通过所述预设检测模型输出检测结果，其中所述检测结果中包括至少一个目标位置和类别信息。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
如图4和图5所示，是本申请实施例的图像检测方法的系统结构示意图和网络模型示意图。
无Anchor的目标检测算法也主要分为两类：一类基于关键点检测，另一类基于语义分割。在本申请的实施例中基于语义分割，首先，采用改进的center-ness分支，相比原center-ness分支能够更好地降低边缘检测敏感性。其次，对预测层的最小长宽预测进行尺度限定，防止宽高比过大/过小造成检测失效。最后，相对于FCOS检测模型，在COCO开源数据集上具有更高的检测精度。
请参考图4，系统主要包括骨干网络、多次度模块以及多尺度预测模块。
请参考图5，网络模型通过特征提取、特征融合、目标信息预测、预测信息筛选得到最终检测结果。对应的网络结构包括：输入图像、骨干网络、多尺度模块、多尺度预测模块、非极大抑制、输出检测建国。
具体地，在骨干网络中接收输入图像，可以采用当下经典的分类网络，如VGG，ResNet，VOV等。具体如图4中以ResNet为例只画出了stage3-stage5示意。其用于提取特征，同时对于不同的检测任务，可调整骨干网络中进入多尺度模块的特征层。比如，对于小目标占比很大的检测任务，可以取下采样倍数较小的层如stage1/stage2等送入多尺度模块。
在多尺度模块将骨干网络提取到的特征进行融合，将浅层和深层信息进行融合得到更丰富的语义信息，有助于检测同时也为多尺度预测服务。图中以FSSD特征融合方式为例来形成多尺度模块，也可以采用FPN等方式来形成多尺度模块。
在多尺度预测模块接收多尺度模块的输出，通过两条分支分别预测目标回归信息和目标类别与改进的center-ness信息，其中一条分支预测回归信息，另一条分支预测分类和改进的center-ness，当然改进的center-ness也可以合并到回归预测分支，目标回归和类别信息用于解码预测结果。采用所述改进的center-ness信息用于非极大抑制部分进一步降低边缘区域检测敏感性。
此外，优选地，同时在两条分支中加入了RFB模块用于增大有效感受野，增强上下文信息。也可以使用ASPPM，PPM等方式来增大有效感受野。
在非极大抑制模块对解码后的预测信息进行筛选，保留最佳检测结果，去除冗余预测，筛选过程中会将分类置信度乘上对应的所述改进的center-ness形成新的类别置信度用于降低边缘区域检测敏感性。
在输出模块最终输出检测结果，即目标位置和类别信息，同时优选地还可以对预测结果进行可视化。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种图像检测方法，其特征在于，包括：
输入图像至预设检测模型；
在所述预设检测模型中采用尺度限定进行目标信息的预测，所述尺度限定用于对预测层的最小长宽预测进行尺度限定；其中，在所述预设检测模型中采用尺度限定进行目标信息的预测包括：将目标宽高的最小值进行限定，使得目标落入合理的检测层进行预测，其中合理的检测层是指，不会由于宽高比过大或者过小造成检测失效；
在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选，所述改进的center-ness分支用于降低边缘检测敏感性；通过所述预设检测模型输出检测结果，其中所述检测结果中包括至少一个目标位置和类别信息；
所述预设检测模型为增强无Anchor的FCOS检测模型；其中，训练阶段，给定当前点到标注框四边距离，标注框和一个像素点到四边的距离，标注框值得是目标物体的最小方形轮廓；一个像素点到这个最小方形轮廓四边的距离为l，r，t，b，即到左边、右边，上边和下边的距离；并通过下式计算改进的center-ness的目标值，目标值大于0的点作为正样本预测点送入置信度和回归损失函数，否则作为负样本预测点直接送入置信度损失函数：
Figure FDA0004112577300000011
Figure FDA0004112577300000012
在测试推理阶段将模型预测出的center-ness和置信度得分相乘作为新的置信度得分用于非极大抑制筛选预测结果，由于远离中心的预测点直接作为负样本，相比原center-ness中只是压低边缘预测点的得分而言，能更好地降低边缘区域检测敏感性，同时改进的center-ness又能保证足够多的预测点来回归检测目标；
其中，γ定以为：γ＝max(l,r,t,b)；η＝min(h,w)；η即把目标宽高的最小值进行限定，使得目标能够落入更为合理的检测层进行预测；γ的限定使得目标落入不合理检测层导致不存在相应预测点预测该目标，从而造成检测失效。
2.根据权利要求1所述的图像检测方法，其特征在于，在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选包括：
计算改进的center-ness分值的目标值；
将目标值大于0的点作为正样本预测点送入置信度和回归损失函数；
否则，作为负样本预测点送入置信度损失函数。
3.根据权利要求1所述的图像检测方法，其特征在于，在所述预设检测模型中的骨干网络模块，采用VGG、ResNet或者VOV的分类网络模型。
4.根据权利要求1所述的图像检测方法，其特征在于，在所述预设检测模型中的多尺度模块，采用FSSD特征融合的方式或FPN特征融合的方式。
5.一种图像检测装置，其特征在于，包括：
输入模块，用于输入图像至预设检测模型；
尺度限定模块，用于在所述预设检测模型中采用尺度限定进行目标信息的预测，所述尺度限定用于对预测层的最小长宽预测进行尺度限定；其中，在所述预设检测模型中采用尺度限定进行目标信息的预测包括：将目标宽高的最小值进行限定，使得目标落入合理的检测层进行预测，其中合理的检测层是指，不会由于宽高比过大或者过小造成检测失效；
筛选模块，用于在所述预设检测模型中采用改进的center-ness分支进行预测信息的筛选，
输出模块，用于通过所述预设检测模型输出检测结果，其中所述检测结果中包括至少一个目标位置和类别信息；
其中，所述预设检测模型为增强无Anchor的FCOS检测模型；其中，训练阶段，给定当前点到标注框四边距离，标注框和一个像素点到四边的距离，标注框值得是目标物体的最小方形轮廓；一个像素点到这个最小方形轮廓四边的距离为l，r，t，b，即到左边、右边，上边和下边的距离；并通过下式计算改进的center-ness的目标值，目标值大于0的点作为正样本预测点送入置信度和回归损失函数，否则作为负样本预测点直接送入置信度损失函数：
Figure FDA0004112577300000031
Figure FDA0004112577300000032
在测试推理阶段将模型预测出的center-ness和置信度得分相乘作为新的置信度得分用于非极大抑制筛选预测结果，由于远离中心的预测点直接作为负样本，相比原center-ness中只是压低边缘预测点的得分而言，能更好地降低边缘区域检测敏感性，同时改进的center-ness又能保证足够多的预测点来回归检测目标；
其中，γ定以为：γ＝max(l,r,t,b)；η＝min(h,w)；η即把目标宽高的最小值进行限定，使得目标能够落入更为合理的检测层进行预测；γ的限定使得目标落入不合理检测层导致不存在相应预测点预测该目标，从而造成检测失效。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述的图像检测方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述的图像检测方法的步骤。
CN201911163724.7A 2019-11-22 2019-11-22 图像检测方法以及装置、设备、存储介质 Active CN110909797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911163724.7A CN110909797B (zh) 2019-11-22 2019-11-22 图像检测方法以及装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911163724.7A CN110909797B (zh) 2019-11-22 2019-11-22 图像检测方法以及装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN110909797A CN110909797A (zh) 2020-03-24
CN110909797B true CN110909797B (zh) 2023-05-05

Family

ID=69819309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911163724.7A Active CN110909797B (zh) 2019-11-22 2019-11-22 图像检测方法以及装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN110909797B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353459A (zh) * 2020-03-10 2020-06-30 北京观微科技有限公司 一种资源受限条件下的舰船目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948607A (zh) * 2019-02-21 2019-06-28 电子科技大学 基于深度学习反卷积网络的候选边框生成和目标检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110222787A (zh) * 2019-06-14 2019-09-10 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109948607A (zh) * 2019-02-21 2019-06-28 电子科技大学 基于深度学习反卷积网络的候选边框生成和目标检测方法
CN110222787A (zh) * 2019-06-14 2019-09-10 合肥工业大学 多尺度目标检测方法、装置、计算机设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FCOS: Fully Convolutional One-Stage Object Detection;ZhiTian等;《2019 IEEE/CVF International Conference on Computer Vision》;20191102;第9626-9635页 *
FCOS:一阶全卷积目标检测;jackpop;《https://zhuanlan.zhihu.com/p/63868458》;20190505;第1-9页 *
Fully Conventional Anchor-Free Siamese Networks for Object Tracking;GuangHan等;《IEEE Access》;20190828;第123934 - 123943页 *
参数少一半、速度快3倍：最新目标检测核心架构来了;机器之心;《https://www.jiqizhixin.com/articles/2019-08-15-7》;20190815;第1-7页 *

Also Published As

Publication number Publication date
CN110909797A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN109344884B (zh) 媒体信息分类方法、训练图片分类模型的方法及装置
US11694461B2 (en) Optical character recognition method and apparatus, electronic device and storage medium
CN111860506B (zh) 识别文字的方法和装置
CN111160469B (zh) 一种目标检测系统的主动学习方法
CN111813532B (zh) 一种基于多任务机器学习模型的图像管理方法及装置
CN112215171B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN108304775A (zh) 遥感图像识别方法、装置、存储介质以及电子设备
CN106874906B (zh) 一种图片的二值化方法、装置及终端
CN109961032B (zh) 用于生成分类模型的方法和装置
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
CN111475613A (zh) 案件分类方法、装置、计算机设备及存储介质
CN112287994A (zh) 伪标签处理方法、装置、设备及计算机可读存储介质
CN111931859B (zh) 一种多标签图像识别方法和装置
CN111126209B (zh) 车道线检测方法及相关设备
US20200125898A1 (en) Methods and systems of segmentation of a document
CN112817755A (zh) 基于目标追踪加速的边云协同深度学习目标检测方法
CN110597965B (zh) 文章的情感极性分析方法、装置、电子设备及存储介质
US20220366259A1 (en) Method, apparatus and system for training a neural network, and storage medium storing instructions
CN110135889A (zh) 智能推荐书单的方法、服务器及存储介质
CN110909797B (zh) 图像检测方法以及装置、设备、存储介质
CN112862021B (zh) 一种内容标注方法和相关装置
CN110909768A (zh) 一种标注数据获取方法及装置
CN107423663A (zh) 一种图像处理方法及终端
CN113869377A (zh) 训练方法、装置及电子设备
CN111275089A (zh) 一种分类模型训练方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant