CN112861987A - 暗光环境下的目标检测方法 - Google Patents

暗光环境下的目标检测方法 Download PDF

Info

Publication number
CN112861987A
CN112861987A CN202110233865.2A CN202110233865A CN112861987A CN 112861987 A CN112861987 A CN 112861987A CN 202110233865 A CN202110233865 A CN 202110233865A CN 112861987 A CN112861987 A CN 112861987A
Authority
CN
China
Prior art keywords
model
target detection
data
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110233865.2A
Other languages
English (en)
Other versions
CN112861987B (zh
Inventor
李学生
李晨
牟春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delu Power Technology Chengdu Co Ltd
Original Assignee
Delu Power Technology Chengdu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delu Power Technology Chengdu Co Ltd filed Critical Delu Power Technology Chengdu Co Ltd
Priority to CN202110233865.2A priority Critical patent/CN112861987B/zh
Publication of CN112861987A publication Critical patent/CN112861987A/zh
Application granted granted Critical
Publication of CN112861987B publication Critical patent/CN112861987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及暗光环境下的目标检测方法，包括：步骤1，获取不同背景、不同黑暗程度下包含待检测目标的数据集；步骤2，对数据集进行预处理：采用6通道数据作为输入，其中3个通道数据为原图像数据，另外3个通道的数据为经过亮度调整的图像；步骤3，对ssd模型进行修改，获得目标检测模型；步骤4，将步骤2获得的数据分为训练集和测试集，用训练集对目标检测模型进行训练；步骤5，用测试集对训练后的目标检测模型进行测试。本发明通过亮度增强算法对图像进行增强，并改变目标检测算法下采样过程中的采样策略来增加模型的学习能力；同时在训练阶段，通过将传统的softmax loss改变为focal loss来增加模型对困难样本的区分度，提高模型的召回率。

Description

暗光环境下的目标检测方法
技术领域
本发明涉及目标检测技术领域，尤其涉及暗光环境下的目标检测方法。
背景技术
目标检测(Object Detection)是计算机视觉领域的基本任务之一。近些年随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。从最初2013年提出的R-CNN、OverFeat，到后面的Fast/Faster R-CNN，SSD，YOLO系列，再到Pelee。
基于深度学习的目标检测技术，物体检测发展主要集中在两个方向：two stage算法(如R-CNN系列)和onestage算法(如YOLO、SSD等)。两者的主要区别在于two stage算法需要先生成proposal(一个有可能包含待检物体的预选框)，然后进行细粒度的物体检测。而onestage算法会直接在网络中提取特征来预测物体分类和位置。
目前，one stage算法和twostage算法在数据集上都获得了巨大的成功，并在现实生活场景中获得了相当广泛的应用。特别是以yolo、ssd为代表的onestage算法在人脸检测、行人检测以及其他工业领域内获得极大的成功。但是这些目标检测算法都只对光照环境比较敏感，逆光环境下、暗光环境下的检测能力较差。特别的，对于暗光环境下存在以下问题：
1、暗光环境下图像过暗，颜色分布不均匀，在直方图则表现为像素分布集中在0-100之间，而通常的目标检测算法的训练图像的像素分布相对均匀，即图像数据分布发生了较大变化，这直接导致了算法在暗光环境下检测能力的不足；
2、图像在暗光环境下由于曝光不足而导致细节不足，图像在经过卷积+Relu函数模块以及下采样后会丢失大量信息，这直接导致目标的丢失；
3、图像过暗还同时导致了目标和背景区分度不够，在训练的过程中会产生的大量的困难样本，从而导致召回率不高。
发明内容
本发明为了解决暗光环境下的目标检测准确率低的问题，提供一种暗光环境下的目标检测方法。
暗光环境下的目标检测方法，包括以下步骤：
步骤1，获取不同背景、不同黑暗程度下包含待检测目标的数据集；
步骤2，对数据集进行预处理，包括：
2.1，原始图像进行反相；
2.2，利用暗通道去雾算法对反相后图像进行调整；
2.3，对调整后的图像再次进行反相；
2.4，将步骤2.3获得的图像和原图像按照[RR’GG’BB’]的顺序堆叠成6通道的数据，其中R表示原图像的R通道，R’表示步骤2.3获得的图像的R通道；其中G表示原图像的G通道，G’表示步骤2.3获得的图像的G通道；其中B表示原图像的B通道，B’表示步骤2.3获得的图像的B通道；
2.5，对6通道数据进行归一化处理；
步骤3，对ssd模型进行修改，获得目标检测模型，包括：
3.1，搭建传统的SSD模型；
3.2改进SSD模型的激活函数：选择PReLU作为激活函数；
改进SSD模型的下采样模块：将下采样过程中步长为2的卷积模块替换成Focus模块；
调整SSD模型的损失函数：将用于分类的softmaxloss换成focalloss；
步骤4，将步骤2获得的数据分为训练集和测试集，用训练集对目标检测模型进行训练；
步骤5，用测试集对训练后的目标检测模型进行测试。
优选地，所述步骤3.1中的ssd模型采用mobileNet作为主干网络。
进一步优选地，主干网络包括5次下采样。
进一步的，分别在第三次、第四次、第五次下采样的特征图上做分类预测和回归预测。
与现有技术相比，本发明具有以下有益效果：
本发明通过亮度增强算法对图像进行增强，并改变目标检测算法下采样过程中的采样策略来增加模型的学习能力；同时在训练阶段，通过将传统的softmax loss改变为focal loss来增加模型对困难样本的区分度，提高模型的召回率。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。
图1是本发明中神经网络模型的结构图；
图2是Focus下采样的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
本发明公开的暗光环境下的目标检测方法，包括以下步骤：
S1，算法环境配置。该步骤主要配置深度学习算法所需要的软件环境。
S2，制作数据集。
收集不同背景、不同黑暗程度下包含待检测目标的数据，数据可来源于网络或摄像头。然后在数据集中标注待测目标，形成标注框。
S3，数据处理。
不同于传统的3通道数据输入卷积神经网络的情况，本实施例采用6通道数据作为输入，其中3个通道数据为原图像数据，另外3个通道的数据为经过亮度调整的图像。这样即保留了原始图像的部分信息，同时又对部分细节进行了补充。数据处理的详细流程如下：
S3.1，原始图像进行反相；
S3.2，利用暗通道去雾算法对图像进行调整；
S3.3，对调整过后的图像再次进行反相；
S3.4，将经过处理的图像和原图像按照[RR’GG’BB’]的顺序进行堆叠成6通道的数据，其中R表示原图像的R通道，R’表示经过处理后图像的R通道；其中G表示原图像的G通道，G’表示处理后图像的G通道；其中B表示原图像的B通道，B’表示处理后图像的B通道；
S3.5，将6通道数据缩放→减去127→除以128的操作，然后输入神经网络，此时所有通道的图像数据分布于[-1，1]之间。
S4，构建神经网络模型。
S4.1，构建模型主体结构。
S4.1.1本实施例采用mobileNet作为主干网络的ssd模型。
如图1所示，网络采用5次下采样，分别在第三次、第四次、第五次下采样的特征图上做分类和回归，其中分类模块预测物体的类别，而回归模块预测物体的位置。
卷积模块由一个或几个卷积+激活函数堆叠在一起的神经网络。下采样的过程是不断降低特征图大小的过程。
S4.1.2，改进激活函数。
在目标检测的过程中，数据经过正则化之后分布于[-1,1]之间。在暗光环境下原始图像中大量像素集中在[0,128]这个区间，那么经过normalize之后数据大量分布在[-1,0]，因此需要增强模型在[-1,0]之间的学习能力。本实施例选择PReLU作为激活函数，而不是ReLU。ReLU和PReLU激活函数的区别如式(1)、式(2)所示：
Figure BDA0002959864150000041
Figure BDA0002959864150000042
式中，x为经过一个卷积模块之后的输出值，a为一个可学习参数。
S4.1.3，改进下采样模块。
由于暗光环境下，原始图像中目标细节不足，下采样的过程中可能导致特征图丢失过多细节而导致模型性能不佳。因此，本实施例将下采样过程中步长为2的卷积模块替换成Focus模块。
如2所示，Focus模块把一个通道按个逐步采样的方式变成两个通道，既保证了信息的完整性，同时又实现了特征图的下采样，扩大了特征图的感受野。本实施例可在不增加参数的情况下，尽量保存数据细节，增加模型的表达能力。
S4.1.4，调整损失函数。将用于分类的softmaxloss换成focalloss，这样可以增加模型对前景和背景的区分能力。
S5，模型训练。这一步主要是将S3获得的数据分为训练集和测试集，并将训练集分批次送入神经网络，训练神经网络，继而获得暗光环境下的目标检测模型。
S6，模型测试。完成训练后，测试暗光环境下的目标检测模型的性能。
本发明灵活应用暗通道去雾算法、针对移动段设计的mobilenet网络、SSD检测算法以及训练阶段的Focalloss，可增强模型对光线不足的图片的检测能力。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.暗光环境下的目标检测方法，其特征在于：包括以下步骤：
步骤1，获取不同背景、不同黑暗程度下包含待检测目标的数据集；
步骤2，对数据集进行预处理，包括：
2.1，原始图像进行反相；
2.2，利用暗通道去雾算法对反相后图像进行调整；
2.3，对调整后的图像再次进行反相；
2.4，将步骤2.3获得的图像和原图像按照[RR’ GG’BB’]的顺序堆叠成6通道的数据；
2.5，对6通道数据进行归一化处理；
步骤3，对ssd模型进行修改，获得目标检测模型，包括：
3.1，搭建传统的SSD模型；
3.2改进SSD模型的激活函数：选择PReLU作为激活函数；
改进SSD模型的下采样模块：将下采样过程中stride=2的卷积模块替换成Focus模块；
调整SSD模型的损失函数：将用于分类的softmaxloss换成focalloss；
步骤4，将步骤2获得的数据分为训练集和测试集，用训练集对目标检测模型进行训练；
步骤5，用测试集对训练后的目标检测模型进行测试。
2.根据权利要求1所述的暗光环境下的目标检测方法，其特征在于：所述步骤3.1中的ssd模型采用mobileNet作为主干网络。
3.根据权利要求2所述的暗光环境下的目标检测方法，其特征在于：主干网络包括5次下采样。
4.根据权利要求3所述的暗光环境下的目标检测方法，其特征在于：分别在第三次、第四次、第五次下采样的特征图上做分类预测和回归预测。
CN202110233865.2A 2021-03-03 2021-03-03 暗光环境下的目标检测方法 Active CN112861987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110233865.2A CN112861987B (zh) 2021-03-03 2021-03-03 暗光环境下的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110233865.2A CN112861987B (zh) 2021-03-03 2021-03-03 暗光环境下的目标检测方法

Publications (2)

Publication Number Publication Date
CN112861987A true CN112861987A (zh) 2021-05-28
CN112861987B CN112861987B (zh) 2024-04-16

Family

ID=75991176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110233865.2A Active CN112861987B (zh) 2021-03-03 2021-03-03 暗光环境下的目标检测方法

Country Status (1)

Country Link
CN (1) CN112861987B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991236A (zh) * 2021-05-20 2021-06-18 南京甄视智能科技有限公司 一种基于模板的图像增强方法及装置
CN113936128A (zh) * 2021-09-09 2022-01-14 中国科学院自动化研究所 文本检测方法、装置、电子设备及存储介质
CN114532919A (zh) * 2022-01-26 2022-05-27 深圳市杉川机器人有限公司 多模态目标检测方法、装置、扫地机及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298266A (zh) * 2019-06-10 2019-10-01 天津大学 基于多尺度感受野特征融合的深度神经网络目标检测方法
CN111126472A (zh) * 2019-12-18 2020-05-08 南京信息工程大学 一种基于ssd改进的目标检测方法
CN111626120A (zh) * 2020-04-24 2020-09-04 南京理工大学 工业环境下基于改进的yolo-6d算法的目标检测方法
CN112183203A (zh) * 2020-08-26 2021-01-05 北京工业大学 一种基于多尺度像素特征融合的实时交通标志检测方法
US20210019593A1 (en) * 2019-07-19 2021-01-21 Qualcomm Incorporated Efficient inferencing with piecewise pointwise convolution

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298266A (zh) * 2019-06-10 2019-10-01 天津大学 基于多尺度感受野特征融合的深度神经网络目标检测方法
US20210019593A1 (en) * 2019-07-19 2021-01-21 Qualcomm Incorporated Efficient inferencing with piecewise pointwise convolution
CN111126472A (zh) * 2019-12-18 2020-05-08 南京信息工程大学 一种基于ssd改进的目标检测方法
CN111626120A (zh) * 2020-04-24 2020-09-04 南京理工大学 工业环境下基于改进的yolo-6d算法的目标检测方法
CN112183203A (zh) * 2020-08-26 2021-01-05 北京工业大学 一种基于多尺度像素特征融合的实时交通标志检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991236A (zh) * 2021-05-20 2021-06-18 南京甄视智能科技有限公司 一种基于模板的图像增强方法及装置
CN112991236B (zh) * 2021-05-20 2021-08-13 南京甄视智能科技有限公司 一种基于模板的图像增强方法及装置
CN113936128A (zh) * 2021-09-09 2022-01-14 中国科学院自动化研究所 文本检测方法、装置、电子设备及存储介质
CN114532919A (zh) * 2022-01-26 2022-05-27 深圳市杉川机器人有限公司 多模态目标检测方法、装置、扫地机及存储介质
CN114532919B (zh) * 2022-01-26 2023-07-21 深圳市杉川机器人有限公司 多模态目标检测方法、装置、扫地机及存储介质

Also Published As

Publication number Publication date
CN112861987B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
Lv et al. Attention guided low-light image enhancement with a large scale low-light simulation dataset
CN107274445B (zh) 一种图像深度估计方法和系统
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN112861987B (zh) 暗光环境下的目标检测方法
CN113284054A (zh) 图像增强方法以及图像增强装置
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN113762409B (zh) 一种基于事件相机的无人机目标检测方法
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN111652081B (zh) 一种基于光流特征融合的视频语义分割方法
CN112348747A (zh) 图像增强方法、装置及存储介质
CN115861380B (zh) 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置
CN110807384A (zh) 低能见度下的小目标检测方法和系统
CN113822951A (zh) 图像处理方法、装置、电子设备及存储介质
CN111832453A (zh) 基于双路深度神经网络的无人驾驶场景实时语义分割方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
Zheng et al. Low-light image and video enhancement: A comprehensive survey and beyond
CN114596233A (zh) 基于注意引导和多尺度特征融合的低照度图像增强方法
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN115019340A (zh) 一种基于深度学习的夜间行人检测算法
CN114708615A (zh) 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质
CN117196980A (zh) 基于照度和场景纹理注意力图的低照度图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant