CN113205106A - 一种基于检测框密度优化的目标检测应用方法 - Google Patents

一种基于检测框密度优化的目标检测应用方法 Download PDF

Info

Publication number
CN113205106A
CN113205106A CN202010567120.5A CN202010567120A CN113205106A CN 113205106 A CN113205106 A CN 113205106A CN 202010567120 A CN202010567120 A CN 202010567120A CN 113205106 A CN113205106 A CN 113205106A
Authority
CN
China
Prior art keywords
density
detection
frame
detection frame
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010567120.5A
Other languages
English (en)
Inventor
李至善
贾宝芝
何一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ruiwei Intelligent Technology Co ltd
Original Assignee
Shenzhen Ruiwei Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ruiwei Intelligent Technology Co ltd filed Critical Shenzhen Ruiwei Intelligent Technology Co ltd
Priority to CN202010567120.5A priority Critical patent/CN113205106A/zh
Publication of CN113205106A publication Critical patent/CN113205106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于检测框密度优化的目标检测应用方法。包括S1、收集训练数据；S2、数据集预处理；S3、训练目标检测网络模型；S4、框的密度计算；S5、密度过滤。本发明对于每一个检测框进行全新的密度变量定义，在NMS算法处理过程中，借助密度定义所产生的数值，以及依据误检物体停留时间较短，所存在检测框的数量也较少，从而其检测框的密度也随之较小，从而在NMS算法中，利用阈值的设定，丢弃一些密度较小的框，从而在不改变原始模型的基础上大大减少误检的数量，获得更为舒适的体验。

Description

一种基于检测框密度优化的目标检测应用方法
技术领域
本发明涉及基于深度学习方法的计算机视觉领域，尤其是一种基于检测框密度优化的目标检测应用方法。
背景技术
深度学习技术在近年来迎来了井喷式的发展，其中基于深度学习的计算机视觉领域的发展尤为显著。目标检测是计算机视觉领域最基本的任务之一，学术界也有很多年的研究历史。目标检测不单单要识别出是什么，还要定位图像的位置。目标检测技术在工业界有很重要的作用，还在安防、自动驾驶、医疗方面起到重要的推动作用。
但目标检测过程中有很多不确定的因素，包括同一类物体的不同应用场景，不同姿态外观等都会产生一定的干扰。所以目标检测算法进行落地有一定的难度。目前各种复杂的网络模型层出不穷，但受限于计算能力的限制以及实时性的要求。实际的应用场景中多以简单高效的轻量化模型为主，但在实际场景中，其效果还有很大的提升空间。主要体现在误检过多。也即通过增大检出来减少漏检的时候，误检也会随之增多。在实际的应用中，误检过多带来的问题就是效率极其低下。
在实际的连续帧检测中，误检的存在是不稳定的。也即在连续的几帧中，某一帧可能会误检背景为物体，下一帧误检框可能就会消失，非常的不稳定。而正检则是非常稳定的存在着，直到物体完全消失都一直存在着。本发明以这种现象为基础，提出了一种基于框的密度的过滤方法去除误检。
发明内容
针对上述现有技术中存在的不足，本发明的目的在于提供一种利用检测框的密度特征进行误检的过滤，从而大大减少误检，优化神经网络的表达效果的目标检测应用方法。
为了实现上述目的，本发明采用如下技术方案：
一种基于检测框密度优化的目标检测应用方法，包括以下步骤：
S1、收集训练数据，提前收集好标注完成的图像数据；
S2、数据集预处理，将图像数据进行调整，所述调整包括扩增数据、增强模型的拟合能力以及过滤无用数据；
S3、训练目标检测网络模型，进行不少于200 Epoch的迭代，同时需适时地调整学习率让模型收敛，等到模型收敛的时候在测试集上进行精度的测试，直至满足需求；
S4、框的密度计算，首先将每一个检测框的框位由框的几何中心点来表示，然后对每一个检测框定义一个敏感区域，所述敏感区域的圆心即是对应检测框的几何中心点，而直径则是检测框的长宽两边汇总较短边，每一个检测框都存在其敏感区域和中心点，每个检测框的密度定义为同种类别检测框且中心点在此检测框的敏感区域的框的个数；
S5、密度过滤，进行NMS算法过滤，优先设置合适密度筛选阈值，统计每一个检测框的密度，在NMS算法过程中保留密度大于密度筛选阈值，丢弃密度较小的检测框，最终输出结果。
优选地，所述收集训练数据步骤中的图像数据标注格式为Pascal VOC或者MSCOCO。
优选地，所述训练目标检测网络模型步骤中，若精度较差，不符合需求，则调整原始网络的复杂度和参数量，随后再次进行训练，直至满足需求。
优选地，在连续帧下进行检测时，将模型迁移至实际的摄像头的前端中，对摄像头的每帧数据进行步骤S1-S5进行推理。
由于采用了上述方案，本发明对于每一个检测框进行全新的密度变量定义，在NMS算法处理过程中，借助密度定义所产生的数值，以及依据误检物体停留时间较短，所存在检测框的数量也较少，从而其检测框的密度也随之较小，从而在NMS算法中，利用阈值的设定，丢弃一些密度较小的框，从而误检物体则将不呈现出检测框，从而在不改变原始模型的基础上大大减少误检的数量，获得更为舒适的体验。
附图说明
图1是本发明实施例的步骤流程示意图。
图2是本发明实施例的密度定义的原理示意图。
图3是本发明实施例的不加入密度过滤器的效果示意图。
图4是本发明实施例的不加入密度过滤器但提高NMS阈值为1的效果示意图。
图5是本发明实施例的加入密度过滤器且NMS阈值和图3同样后的效果示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
如图1至图3所示，本实施例提供的一种基于检测框密度优化的目标检测应用方法，包括以下步骤：
S1、收集训练数据，由于本实施例是针对目标检测层面的应用，所述需提前收集好标注完成的图像数据，图像数据标注格式为Pascal VOC或者MS COCO；
S2、数据集预处理，将图像数据进行调整，所述调整包括扩增数据、增强模型的拟合能力以及过滤无用数据，具体表现为对图像的调节，如各种对比度参数调节；
S3、训练目标检测网络模型，进行不少于200 Epoch的迭代，同时需适时地调整学习率让模型收敛，等到模型收敛的时候在测试集上进行精度的测试，若精度较差，不符合需求，则调整原始网络的复杂度和参数量，随后再次进行训练，直至满足需求；
S4、框的密度计算，首先将每一个检测框的框位由框的几何中心点来表示，然后对每一个检测框定义一个敏感区域，这个区域如图2所示的圆形区域100，所述敏感区域的圆心即是对应检测框的几何中心点，而直径则是检测框的长宽两边汇总较短边，每一个检测框都存在其敏感区域和中心点，每个检测框的密度定义为同种类别检测框且中心点在此检测框的敏感区域的框的个数，如图2所示表示的框A的密度为4；
S5、密度过滤，进行NMS算法过滤，优先设置合适密度筛选阈值，统计每一个检测框的密度，在NMS算法过程中保留密度大于密度筛选阈值，丢弃密度较小的检测框，最终输出结果。具体表现为密度过滤嵌入在NMS算法中。NMS算法去掉了与某一置信度为极大值的框重叠度较高的框，导致最后看到的框都是单一存在的。虽然与极大值框重叠度较高没什么用，最后都会被NMS算法过滤掉，但是与极大值框重叠度高的框越多，则极大值框为正检的概率就越大。这是符合逻辑的。因为对于某一物体，其很多特征都可以让模型预测为物体。提取大量特征会在物体周围产生密集的检测框。而误检的周围框的密度显然没有那么高，否则也不会特别不稳定地存在。由于这一特性，本实施例根据上部分提到检测框的密度设计成密度过滤器。也即输出在经过NMS的时候，会统计每一个框的密度，在这个过程中保留密度大于密度过滤器阈值的框，丢弃一些密度较小的框，进而这一过程减少了大量的误检。
为更好的说明效果，本实施例的密度效果如图3-5所示，这里用辅助驾驶中车辆后视镜中的行人检测为例。取同样的连续四帧图像样本，在三种后处理方式下分别得到三种不同的输出效果。图3是不加入密度过滤器的效果，可以看出第二帧中有别的人物进入，从而出现误检。图4则是不加入密度过滤器但提高NMS阈值为1的效果（NMS阈值越高，其过滤掉框的个数越少，当NMS阈值为1时，NMS的作用就完全消失，此时可以反应出正检和误检周围框的密集程度），可以看出第二帧误检框周围框的密集程度很低，而正检周围则充满了密集的框。如图5则是加入密度过滤器且NMS阈值和图3同样后的效果，可以看出，误检和正检在密度上有很明显的不同，第二帧则不会存在误检。因此若不加以处理，则车辆在行驶的过程中会产生错误的判断，从而影响模型的表达效果以及人的体验感，加入密度过滤器后可以将误检过滤掉，从而使人获得更为舒适的体验。
优选地，在连续帧下进行检测时，将模型迁移至实际的摄像头的前端中，对摄像头的每帧数据用上诉的步骤代替原始的推理方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于检测框密度优化的目标检测应用方法，其特征在于：包括以下步骤：
S1、收集训练数据，提前收集好标注完成的图像数据；
S2、数据集预处理，将图像数据进行调整，所述调整包括图像的随机翻转，对比度的随机变换以及过滤无用数据；
S3、训练目标检测网络模型，进行不少于200 Epoch的迭代，同时需适时地调整学习率让模型收敛，等到模型收敛的时候在测试集上进行精度的测试，直至满足需求；
S4、框的密度计算，首先将每一个检测框的框位由框的几何中心点来表示，然后对每一个检测框定义一个敏感区域，所述敏感区域的圆心即是对应检测框的几何中心点，而直径则是检测框的长宽两边中较短边，每一个检测框都存在其敏感区域和中心点，每个检测框的密度定义为同种类别检测框且中心点在此检测框的敏感区域的框的个数；
S5、密度过滤，与NMS算法同时进行，优先设置合适密度筛选阈值，统计每一个检测框的密度，在NMS算法过程中保留密度大于密度筛选阈值，丢弃密度较小的检测框，最终输出结果。
2.如权利要求1所述的一种基于检测框密度优化的目标检测应用方法，其特征在于：所述收集训练数据步骤中的图像数据标注格式为Pascal VOC或者MS COCO。
3.如权利要求2所述的一种基于检测框密度优化的目标检测应用方法，其特征在于：所述训练目标检测网络模型步骤中，若精度较差，不符合需求，则调整原始网络的复杂度和参数量，随后再次进行训练，直至满足需求。
4.如权利要求3所述的一种基于检测框密度优化的目标检测应用方法，其特征在于：在连续帧下进行检测时，将模型迁移至实际的摄像头的前端中，对摄像头的每帧数据进行步骤S1-S5进行推理。
CN202010567120.5A 2020-06-19 2020-06-19 一种基于检测框密度优化的目标检测应用方法 Pending CN113205106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010567120.5A CN113205106A (zh) 2020-06-19 2020-06-19 一种基于检测框密度优化的目标检测应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010567120.5A CN113205106A (zh) 2020-06-19 2020-06-19 一种基于检测框密度优化的目标检测应用方法

Publications (1)

Publication Number Publication Date
CN113205106A true CN113205106A (zh) 2021-08-03

Family

ID=77025011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010567120.5A Pending CN113205106A (zh) 2020-06-19 2020-06-19 一种基于检测框密度优化的目标检测应用方法

Country Status (1)

Country Link
CN (1) CN113205106A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780558A (zh) * 2016-12-27 2017-05-31 成都通甲优博科技有限责任公司 基于计算机视觉的点生成无人机目标初始跟踪框的方法
CN110909591A (zh) * 2019-09-29 2020-03-24 浙江大学 用编码向量的行人图像检测自适应非极大值抑制处理方法
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780558A (zh) * 2016-12-27 2017-05-31 成都通甲优博科技有限责任公司 基于计算机视觉的点生成无人机目标初始跟踪框的方法
CN110909591A (zh) * 2019-09-29 2020-03-24 浙江大学 用编码向量的行人图像检测自适应非极大值抑制处理方法
CN111027547A (zh) * 2019-12-06 2020-04-17 南京大学 一种针对二维图像中的多尺度多形态目标的自动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵文清等: "改进的非极大值抑制算法的目标检测", 《中国图象图形学报》 *

Similar Documents

Publication Publication Date Title
CN107767405B (zh) 一种融合卷积神经网络的核相关滤波目标跟踪方法
CN108549841A (zh) 一种基于深度学习的老人跌倒行为的识别方法
CN107749067A (zh) 基于运动特性和卷积神经网络的火灾烟雾检测方法
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN105550678A (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN105488456A (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN107301376B (zh) 一种基于深度学习多层刺激的行人检测方法
CN110309765B (zh) 一种视频运动目标高效检测方法
CN112906485A (zh) 基于改进的yolo模型的视障人士辅助障碍物感知方法
CN107944354B (zh) 一种基于深度学习的车辆检测方法
CN111881802B (zh) 基于双分支时空图卷积网络的交警手势识别方法
CN106648078A (zh) 应用于智能机器人的多模态交互方法及系统
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN104915642A (zh) 前方车辆测距方法及装置
KR20210076962A (ko) 스마트카 모션 제어 방법 및 장치, 기기 및 저장 매체
CN113763424A (zh) 基于嵌入式平台的实时智能目标检测方法及系统
Yang Research on lane recognition algorithm based on deep learning
Sun et al. UAV image detection algorithm based on improved YOLOv5
CN113205106A (zh) 一种基于检测框密度优化的目标检测应用方法
CN107169440A (zh) 一种基于图模型的道路检测方法
CN108288041B (zh) 一种行人目标错检去除的预处理方法
CN111178387A (zh) 一种基于多粒度相对密度的标签噪声检测方法
CN107766838B (zh) 一种视频场景切换检测方法
Sun et al. P-Minder: a CNN based sidewalk segmentation approach for phubber safety applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination