CN111814753A - 针对雾天条件下的目标检测方法和装置 - Google Patents

针对雾天条件下的目标检测方法和装置 Download PDF

Info

Publication number
CN111814753A
CN111814753A CN202010832364.1A CN202010832364A CN111814753A CN 111814753 A CN111814753 A CN 111814753A CN 202010832364 A CN202010832364 A CN 202010832364A CN 111814753 A CN111814753 A CN 111814753A
Authority
CN
China
Prior art keywords
network
data set
head
stage
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010832364.1A
Other languages
English (en)
Inventor
陈海波
罗志鹏
徐振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyan Technology Beijing Co ltd
Original Assignee
Shenyan Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyan Technology Beijing Co ltd filed Critical Shenyan Technology Beijing Co ltd
Priority to CN202010832364.1A priority Critical patent/CN111814753A/zh
Publication of CN111814753A publication Critical patent/CN111814753A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种针对雾天条件下的目标检测方法和装置，所述方法包括以下步骤：获取包含多个雾天图像的原始数据集，并对原始数据集中的雾天图像进行增强处理；通过去雾算法对原始数据集中增强后的雾天图像进行去雾操作，以得到去雾数据集；构建神经网络，其中，神经网络包括特征提取网络和预测网络，特征提取网络包括可变形卷积网络和特征金字塔网络，预测网络包括第一阶段网络和第二阶段网络，第二阶段网络包含双分支结构；通过增强处理后的原始数据集和去雾数据集对神经网络进行训练，以得到目标检测模型；通过目标检测模型对待检测雾天图像进行目标检测。本发明能够对雾天条件下的图像进行快速、精确的目标检测。

Description

针对雾天条件下的目标检测方法和装置
技术领域
本发明涉及目标检测技术领域，具体涉及一种针对雾天条件下的目标检测方法、一种针对雾天条件下的目标检测装置、一种计算机设备、一种非临时性计算机可读存储介质和一种计算机程序产品。
背景技术
近年来，目标检测技术已经在智能视频监控、工业检测、军事侦察等领域中得到了广泛运用，作为计算机视觉领域的基础研究问题，它对人脸识别、目标追踪、视频分割等方向起着至关重要的作用。随着大量研究工作的进行，固定环境和条件下的目标检测技术已经取得了巨大的进步，但是在恶劣天气条件下，光照条件差的情况下等，所拍摄的图像能见度非常低，往往会含有更多噪声，对检测任务带来了很大的挑战。因此，如何在雾天条件下在图像中快速且准确地分类和定位所有感兴趣类别的目标成为一个急需解决的问题。
发明内容
本发明为解决上述技术问题，提供了一种针对雾天条件下的目标检测方法和装置，能够对雾天条件下的图像进行快速、精确的目标检测。
本发明采用的技术方案如下：
一种针对雾天条件下的目标检测方法，包括以下步骤：获取包含多个雾天图像的原始数据集，并对所述原始数据集中的雾天图像进行增强处理；通过去雾算法对所述原始数据集中增强后的雾天图像进行去雾操作，以得到去雾数据集；构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络包括可变形卷积网络和特征金字塔网络，所述预测网络包括第一阶段网络和第二阶段网络，所述第二阶段网络包含双分支结构；通过增强处理后的原始数据集和所述去雾数据集对所述神经网络进行训练，以得到目标检测模型；通过所述目标检测模型对待检测雾天图像进行目标检测。
对所述原始数据集中的雾天图像进行增强处理，包括：对所述原始数据集中的雾天图像进行随机翻转、随机剪裁操作。
所述去雾算法为FFANet。
所述特征提取网络为ResNeXt，所述第一阶段网络为RPN，所述第二阶段网络为Cascade RCNN。
通过增强处理后的原始数据集和所述去雾数据集对所述神经网络进行训练，包括：将所述原始数据集中的雾天图像或所述去雾数据集中的去雾后图像输入ResNeXt，经过stage2输出特征图F2，将F2输入可变形卷积网络输出特征图Fd_2，将Fd_2经过stage3输出特征图F3，将F3输入可变形卷积网络输出特征图Fd_3，将Fd_3经过stage4输出特征图F4，将F4输入可变形卷积网络输出特征图Fd_4，将Fd_4经过stage5输出特征图F5，将F5输入可变形卷积网络输出特征图Fd_5，其中，F2、F3、F4和F5构成特征金字塔网络，之后，将F5上采样2倍，并与F4执行相加操作形成特征图P4；将P4上采样2倍，并与F3执行相加操作形成特征图P3；将P3上采样2倍，并与F2进行相加操作形成特征图P2；将P2上采样2倍，并与F1执行相加操作形成特征图P1；将特征图P1、P2、P3、P4分别送入两阶段预测网络中，第一阶段网络N1分别预测n个anchor的前景背景得分信息，以及回归偏移量信息，通过筛选前景得分中大于某个阈值Threshold的anchor，并且根据偏移量对其执行回归操作后，得到置信度较高的候选框，经过NMS操作去重后，获得较为准确的候选框proposal作为第二阶段网络N2的基准框，之后，将这些不同大小的基准框映射到feature map上，然后对feature map进行采样操作ROI Pooling将不同大小的feature采样为相同大小的feature送入第二阶段网络N2中；第二阶段网络N2包含三个级联网络Head1、Head2、Head3，将经过ROI Pooling后的feature首先送入Head1网络中，Head1网络分别对第一阶段产生的proposal预测类别值category1和回归偏移量offset1，经过category1筛选和偏移量offset1回归之后，生成第一级网络Head1中的目标框boundingbox1；将bounding box1和经过ROI Pooling后的feature送入Head2网络中，Head2网络分别对bounding box1预测类别值category2和回归偏移量offset2，经过category2筛选和偏移量offset2回归之后，生成第二级网络Head2中的目标框bounding box2；将bounding box2和经过ROI Pooling后的feature送入Head3网络中，Head3网络分别对bounding box2预测类别值category3和回归偏移量offset3，经过category3筛选和偏移量offset3回归之后，生成第三级网络中的目标框bounding box3，即最终预测结果框。
其中，训练网络时的回归损失Lloc使用平滑的L1损失，x是ROI，b是对ROI的预测坐标，g是标签坐标值，f表示回归器，
Figure BDA0002638455080000031
b＝(bx,by,bw,bh)
为保证回归操作对尺度、位置的不变性，Lloc操作对应的向量Δ＝(δx,δy,δw,δh)，
Figure BDA0002638455080000032
对Δ做正则化操作：
δ′x＝(δx-ux)/σx；
检测网络中每个Headi(i＝1,2,3)的总损失：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
Figure BDA0002638455080000041
bt＝ft-1(xt-1,bt-1)
其中，T表示Cascade RCNN叠加的总分支数，t表示当前的分支，Cascade RCNN中每个分支ft通过各个分支上的训练数据bt优化，bt来源于b1经过之前所有分支输出后的结果，λ为加权系数，λ＝1，[yt≥1]表示只在正样本中计算回归损失，yt是xt按照上式和ut计算出来的label。
一种针对雾天条件下的目标检测装置，包括：增强模块，所述增强模块用于获取包含多个雾天图像的原始数据集，并对所述原始数据集中的雾天图像进行增强处理；去雾模块，所述去雾模块用于通过去雾算法对所述原始数据集中增强后的雾天图像进行去雾操作，以得到去雾数据集；构建模块，所述构建模块用于构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络包括可变形卷积网络和特征金字塔网络，所述预测网络包括第一阶段网络和第二阶段网络，所述第二阶段网络包含双分支结构；训练模块，所述训练模块用于通过增强处理后的原始数据集和所述去雾数据集对所述神经网络进行训练，以得到目标检测模型；检测模块，所述检测模块用于通过所述目标检测模型对待检测雾天图像进行目标检测。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述针对雾天条件下的目标检测方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述针对雾天条件下的目标检测方法。
一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行上述针对雾天条件下的目标检测方法。
本发明的有益效果：
本发明通过将原雾天图像和去雾后的图像一起输神经网络中进行训练，并通过在神经网络的特征提取网络加入可变形卷积和特征金字塔，在预测网络的第二阶段网络中设置双分支结构，所得到的目标检测模型能够对雾天条件下的图像进行快速、精确的目标检测。
附图说明
图1为本发明实施例的针对雾天条件下的目标检测方法的流程图；
图2为本发明一个实施例的FFANet算法的网络结构示意图；
图3为本发明一个实施例的Group单元的结构示意图；
图4为本发明一个实施例的通道注意力子网络和像素注意力子网络结构示意图；
图5为本发明一个实施例的可变形卷积网络结构示意图；
图6为本发明一个实施例的特征金字塔网络结构示意图；
图7为本发明一个实施例的RPN网络结构示意图；
图8为本发明一个实施例的Cascade RCNN网络结构示意图；
图9为本发明一个实施例的Double head结构示意图；
图10为本发明实施例的针对雾天条件下的目标检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的针对雾天条件下的目标检测方法包括以下步骤：
S1，获取包含多个雾天图像的原始数据集，并对原始数据集中的雾天图像进行增强处理。
其中，原始数据集中可包含大量的雾天场景下拍摄得到的图像，原始数据集作为训练集，在存储和处理能力允许的范围内，所包含的图像数量越大，后续训练出的检测模型精度越高。
在本发明的一个实施例中，可对原始数据集中的雾天图像进行随机翻转、随机剪裁操作，以缓解数据不平衡问题。
具体地，可随机采样原始数据集中的图像，对于采样到的图像Ii，比较其自身的宽Ii_w和高Ii_h，选取宽高中的长边max(Ii_w,Ii_h)缩放到L，短边min(Ii_w,Ii_h)缩放至S，S从S1～S2之间随机选择。采样的多张图片Ii(i＝1,2,3…n)以batch的形式I送入特征提取网络，batch中所有图像的长边为L，图像的短边为了统一尺寸，则以整个batch中图片短边Si(i＝1,2,3…n)中最大的值max(Si)为基准S_base，其余的Si加padding至S_base：
S_base＝Si+padding
在本发明的一个具体实施例中，L可为2048，短边S1～S2可为为1024～1536。
S2，通过去雾算法对原始数据集中增强后的雾天图像进行去雾操作，以得到去雾数据集。
在本发明的一个实施例中，去雾算法可为FFANet。
FFANe算法的网络结构如图2所示，包括一个浅层的特征提取网络、三个Group结构。将原始的增强后的雾天图像I0输入一个浅层的特征提取网络得到特征图f1，然后将f1依次送入三个Group结构(G-1、G-2、G-3),其中，如图3所示，每个Group结构包含N个Block结构(B-1、B-2、……、B-n)。以G-1为例，f1依次经过N个Block结构后，再经过一个卷积操作，产生特征图f2，将特征图f1和f2进行逐元素相加操作。特征图f1每经过一个Group结构后会形成其对应的featrue，记为(G1，G2，G3)，将它们进行concatenate操作，将融合后的特征送入特征注意力模块，其主要由通道注意力子网络(CA)和像素注意力子网络(PA)构成，如图4所示。
通道注意力网络的实现细节见下式：
Figure BDA0002638455080000071
Figure BDA0002638455080000072
像素注意力网络的实现细节见下式：
Figure BDA0002638455080000073
其中，F表示原始特征，Xc(i,j)表示F的第(i,j)个特征点的第c通道值，δ表示激活函数，σ表示sigmoid函数，
Figure BDA0002638455080000074
表示逐元素相乘操作。通道注意力网络的输出特征作为像素注意力网络的输入特征。
之后，构建两个卷积操作用于恢复原图像中的关键信息，并将其与原图I0进行逐元素相加操作，最后得到去雾后的图像I1。
本发明实施例通过浅层的特征提取网络和三个Group结构形成信息表达能力更强的feature map，利用特征注意力模块作用于融合后的特征，从而提取图像中不同区域和不同通道中信息表达能力更强的信息。
S3，构建神经网络，其中，神经网络包括特征提取网络和预测网络，特征提取网络包括可变形卷积网络和特征金字塔网络，预测网络包括第一阶段网络和第二阶段网络，第二阶段网络包含双分支结构。
在本发明的一个实施例中，特征提取网络为ResNeXt，第一阶段网络为RPN(RegionProposal Network，区域生成网络)，第二阶段网络为Cascade RCNN。
S4，通过增强处理后的原始数据集和去雾数据集对神经网络进行训练，以得到目标检测模型。
具体地，可将原始数据集中的雾天图像或去雾数据集中的去雾后图像I输入ResNeXt，经过stage2输出特征图F2，将F2输入可变形卷积网络DCN输出特征图Fd_2，将Fd_2经过stage3输出特征图F3，将F3输入可变形卷积网络输出特征图Fd_3，将Fd_3经过stage4输出特征图F4，将F4输入可变形卷积网络输出特征图Fd_4，将Fd_4经过stage5输出特征图F5，将F5输入可变形卷积网络输出特征图Fd_5。可变形卷积网络结构如图5所示。
其中，F2、F3、F4和F5构成特征金字塔网络FPN，之后，将F5上采样2倍，并与F4执行相加操作形成特征图P4；将P4上采样2倍，并与F3执行相加操作形成特征图P3；将P3上采样2倍，并与F2进行相加操作形成特征图P2；将P2上采样2倍，并与F1执行相加操作形成特征图P1。其中，特征金字塔网络结构如图6所示。
将以上形成的特征图P1、P2、P3、P4分别送入两阶段预测网络中，第一阶段网络N1，即RPN的结构如图7所示，其分别预测n个anchor的前景背景得分信息(foreground score/background score)，以及回归偏移量信息(offset value)，通过筛选前景得分中大于某个阈值Threshold的anchor，并且根据偏移量对其执行回归操作后，得到置信度较高的候选框，经过NMS(Non-Maximum Suppression，非极大值抑制)操作去重后，获得较为准确的候选框proposal作为第二阶段网络N2的基准框。之后，将这些不同大小的基准框映射到featuremap上，然后对feature map进行采样操作ROI Pooling将不同大小的feature采样为相同大小的feature送入第二阶段网络N2中。
第二阶段网络N2，即Cascade RCNN的结构如图8所示，其包含三个级联网络Head1、Head2、Head3，将经过ROI Pooling后的feature首先送入Head1网络中，Head1网络分别对第一阶段产生的proposal预测类别值category1和回归偏移量offset1，经过category1筛选和偏移量offset1回归之后，生成第一级网络Head1中的目标框bounding box1；将boundingbox1和经过ROI Pooling后的feature送入Head2网络中，Head2网络分别对bounding box1预测类别值category2和回归偏移量offset2，经过category2筛选和偏移量offset2回归之后，生成第二级网络Head2中的目标框bounding box2；将bounding box2和经过ROI Pooling后的feature送入Head3网络中，Head3网络分别对bounding box2预测类别值category3和回归偏移量offset3，经过category3筛选和偏移量offset3回归之后，生成第三级网络中的目标框bounding box3，即最终预测结果框。
其中，如图9所示，Head1、Head2、Head3分别采用Double Head结构。Head1由ROIAlign层和两条平行分支(分类分支和回归分支)组成。分类分支由两个全连接层(FC1_1，FC2_1)构成；回归分支由一个残差通道增加模块(res_block1)和四个瓶颈模块(bottleneck1_1，bottleneck2_1，bottleneck3_1，bottleneck4_1)构成。将经过ROIPooling后的feature分别送入分类分支中的FC1_1和FC2_1，以及回归分支中。具体地，回归分支的残差通道增加模块res_block1_1生成残差特征res_feature1，将res_feature1依次送入后续四个瓶颈模块后生成Head1网络的最终特征，结合第一阶段网络N1产生的推荐框proposal预测类别值category1和回归偏移量offset1。Head2、Head3同上。
其中，训练网络时的分类损失Lcls使用交叉熵损失，对于每一个ROI，经过头结构(Headi)后得到分类结果Ci(i＝1,2,3)：
Figure BDA0002638455080000091
其中，h(x)表示Headi中的分类分支，输出M+1维向量，将ROI预测为M+1中的一个类别，N代表当前Headi阶段中ROI个数，y对应类别标签，y的类别标签由ROI与对应的标签的IoU大小决定：
Figure BDA0002638455080000092
其中，Head1中的IoU阈值u设置为u1，Head2和Head3中的阈值u分别设置为u2、u3，x是ROI，gy是目标x的类别标签，IoU阈值u定义了检测器的质量。通过不同的IOU阈值，有效地解决了检测中的噪声干扰问题。在本发明的一个具体实施例中，u1、u2、u3可分别设置为0.5、0.6、0.7。
训练网络时的回归损失Lloc使用平滑的L1损失，x是ROI，b是对ROI的预测坐标，g是标签坐标值，f表示回归器：
Figure BDA0002638455080000101
b＝(bx,by,bw,bh)
为保证回归操作对尺度、位置的不变性，Lloc操作对应的向量Δ＝(δx,δy,δw,δh)，
Figure BDA0002638455080000102
上式中的数值都比较小，为了提升多任务训练的效率，对Δ做正则化操作：
δ′x＝(δx-ux)/σx；
检测网络中每个Headi(i＝1,2,3)的总损失：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
Figure BDA0002638455080000103
bt＝ft-1(xt-1,bt-1)
其中，T表示Cascade RCNN叠加的总分支数，t表示当前的分支，Cascade RCNN中每个分支ft通过各个分支上的训练数据bt优化，bt来源于b1经过之前所有分支输出后的结果，而非直接使用RPN的初始分布b1来训练ft，λ为加权系数，[yt≥1]表示只在正样本中计算回归损失，yt是xt按照上式和ut计算出来的label。在本发明的一个具体实施例中，T取3，λ取1。
在本发明的一个实施例中，可利用随机梯度下降对误差求偏导更新网络权值。共训练m个epoch，初始学习率为ε1，参考框的比率设置为[r1,r2,r3,…rn]。训练完成后得到模型M1，更换Cascade RCNN检测网络中的特征提取网络，将ResNeXt更换为HRNet，其他结构保持不变，重新训练第二个模型得到M2。m取50，初始学习率为ε1为0.002，参考框的比率设置为[0.33,0.5,1,2,3]。
通过测试集检验目标检测模型时，测试集中的图片可保持原有宽高比例缩放到(w1，h1)，(w2，h2)，(w3，h3)，对两个模型M1、M2采用多尺度测试。对于测试集的每一张图片，可在两个模型上得到对应的检测框，然后利用softnms对模型得到的所有框进行融合，得到最终检测框结果。宽高比例分别设置为(1333,800)、(1600,1080)、(2048,1280)。M1和M2的特征提取网络分别采用ResNext101(64x4d)，HRNet-W32。
本发明实施例通过在特征提取网络中加入可变形卷积，提升网络的空间信息建模能力，通过增加额外的参数学习目标的形变，能够在一定程度上提高检测模型对物体大小的鲁棒性。通过在特征提取网络中加入特征金字塔，结合浅层语义信息和深层位置信息，融合多尺度特征，有利于模型对多尺度物体的检测。通过Double head替换现有Cascade rcnn中的单Head结构，Double head将检测框的坐标回归和分类任务分别在两条支路上操作，不同分支具有不同的偏向性，相比于单Head结构，双Head结构分类和坐标回归的精度更高。
S5，通过目标检测模型对待检测雾天图像进行目标检测。
根据本发明实施例的针对雾天条件下的目标检测方法，通过将原雾天图像和去雾后的图像一起输神经网络中进行训练，并通过在神经网络的特征提取网络加入可变形卷积和特征金字塔，在预测网络的第二阶段网络中设置双分支结构，所得到的目标检测模型能够对雾天条件下的图像进行快速、精确的目标检测。
对应上述实施例的针对雾天条件下的目标检测方法，本发明还提出一种针对雾天条件下的目标检测装置。
如图10所示，本发明实施例的针对雾天条件下的目标检测装置包括增强模块10、去雾模块20、构建模块30、训练模块40和检测模块50。其中，增强模块10用于获取包含多个雾天图像的原始数据集，并对原始数据集中的雾天图像进行增强处理；去雾模块20用于通过去雾算法对原始数据集中增强后的雾天图像进行去雾操作，以得到去雾数据集；构建模块30用于构建神经网络，其中，神经网络包括特征提取网络和预测网络，特征提取网络包括可变形卷积网络和特征金字塔网络，预测网络包括第一阶段网络和第二阶段网络，第二阶段网络包含双分支结构；训练模块40用于通过增强处理后的原始数据集和去雾数据集对神经网络进行训练，以得到目标检测模型；检测模块50用于通过目标检测模型对待检测雾天图像进行目标检测。
其中，原始数据集中可包含大量的雾天场景下拍摄得到的图像，原始数据集作为训练集，在存储和处理能力允许的范围内，所包含的图像数量越大，后续训练出的检测模型精度越高。
在本发明的一个实施例中，增强模块10可对原始数据集中的雾天图像进行随机翻转、随机剪裁操作，以缓解数据不平衡问题。
具体地，可随机采样原始数据集中的图像，对于采样到的图像Ii，比较其自身的宽Ii_w和高Ii_h，选取宽高中的长边max(Ii_w,Ii_h)缩放到L，短边min(Ii_w,Ii_h)缩放至S，S从S1～S2之间随机选择。采样的多张图片Ii(i＝1,2,3…n)以batch的形式I送入特征提取网络，batch中所有图像的长边为L，图像的短边为了统一尺寸，则以整个batch中图片短边Si(i＝1,2,3…n)中最大的值max(Si)为基准S_base，其余的Si加padding至S_base：
S_base＝Si+padding
在本发明的一个具体实施例中，L可为2048，短边S1～S2可为为1024～1536。
在本发明的一个实施例中，去雾算法可为FFANet。
FFANe算法的网络结构如图2所示，包括一个浅层的特征提取网络、三个Group结构。将原始的增强后的雾天图像I0输入一个浅层的特征提取网络得到特征图f1，然后将f1依次送入三个Group结构(G-1、G-2、G-3),其中，如图3所示，每个Group结构包含N个Block结构(B-1、B-2、……、B-n)。以G-1为例，f1依次经过N个Block结构后，再经过一个卷积操作，产生特征图f2，将特征图f1和f2进行逐元素相加操作。特征图f1每经过一个Group结构后会形成其对应的featrue，记为(G1，G2，G3)，将它们进行concatenate操作，将融合后的特征送入特征注意力模块，其主要由通道注意力子网络(CA)和像素注意力子网络(PA)构成，如图4所示。
通道注意力网络的实现细节见下式：
Figure BDA0002638455080000131
Figure BDA0002638455080000132
像素注意力网络的实现细节见下式：
Figure BDA0002638455080000133
其中，F表示原始特征，Xc(i,j)表示F的第(i,j)个特征点的第c通道值，δ表示激活函数，σ表示sigmoid函数，
Figure BDA0002638455080000134
表示逐元素相乘操作。通道注意力网络的输出特征作为像素注意力网络的输入特征。
之后，构建两个卷积操作用于恢复原图像中的关键信息，并将其与原图I0进行逐元素相加操作，最后得到去雾后的图像I1。
本发明实施例通过浅层的特征提取网络和三个Group结构形成信息表达能力更强的feature map，利用特征注意力模块作用于融合后的特征，从而提取图像中不同区域和不同通道中信息表达能力更强的信息。
在本发明的一个实施例中，特征提取网络为ResNeXt，第一阶段网络为RPN(RegionProposal Network，区域生成网络)，第二阶段网络为Cascade RCNN。
训练模块40可将原始数据集中的雾天图像或去雾数据集中的去雾后图像I输入ResNeXt，经过stage2输出特征图F2，将F2输入可变形卷积网络DCN输出特征图Fd_2，将Fd_2经过stage3输出特征图F3，将F3输入可变形卷积网络输出特征图Fd_3，将Fd_3经过stage4输出特征图F4，将F4输入可变形卷积网络输出特征图Fd_4，将Fd_4经过stage5输出特征图F5，将F5输入可变形卷积网络输出特征图Fd_5。可变形卷积网络结构如图5所示。
其中，F2、F3、F4和F5构成特征金字塔网络FPN，之后，训练模块40将F5上采样2倍，并与F4执行相加操作形成特征图P4；将P4上采样2倍，并与F3执行相加操作形成特征图P3；将P3上采样2倍，并与F2进行相加操作形成特征图P2；将P2上采样2倍，并与F1执行相加操作形成特征图P1。其中，特征金字塔网络结构如图6所示。
训练模块40将以上形成的特征图P1、P2、P3、P4分别送入两阶段预测网络中，第一阶段网络N1，即RPN的结构如图7所示，其分别预测n个anchor的前景背景得分信息(foreground score/background score)，以及回归偏移量信息(offset value)，通过筛选前景得分中大于某个阈值Threshold的anchor，并且根据偏移量对其执行回归操作后，得到置信度较高的候选框，经过NMS(Non-Maximum Suppression，非极大值抑制)操作去重后，获得较为准确的候选框proposal作为第二阶段网络N2的基准框。之后，将这些不同大小的基准框映射到feature map上，然后对feature map进行采样操作ROI Pooling将不同大小的feature采样为相同大小的feature送入第二阶段网络N2中。
第二阶段网络N2，即Cascade RCNN的结构如图8所示，其包含三个级联网络Head1、Head2、Head3，训练模块40将经过ROI Pooling后的feature首先送入Head1网络中，Head1网络分别对第一阶段产生的proposal预测类别值category1和回归偏移量offset1，经过category1筛选和偏移量offset1回归之后，生成第一级网络Head1中的目标框boundingbox1；将bounding box1和经过ROI Pooling后的feature送入Head2网络中，Head2网络分别对bounding box1预测类别值category2和回归偏移量offset2，经过category2筛选和偏移量offset2回归之后，生成第二级网络Head2中的目标框bounding box2；将bounding box2和经过ROI Pooling后的feature送入Head3网络中，Head3网络分别对bounding box2预测类别值category3和回归偏移量offset3，经过category3筛选和偏移量offset3回归之后，生成第三级网络中的目标框bounding box3，即最终预测结果框。
其中，如图9所示，Head1、Head2、Head3分别采用Double Head结构。Head1由ROIAlign层和两条平行分支(分类分支和回归分支)组成。分类分支由两个全连接层(FC1_1，FC2_1)构成；回归分支由一个残差通道增加模块(res_block1)和四个瓶颈模块(bottleneck1_1，bottleneck2_1，bottleneck3_1，bottleneck4_1)构成。将经过ROIPooling后的feature分别送入分类分支中的FC1_1和FC2_1，以及回归分支中。具体地，回归分支的残差通道增加模块res_block1_1生成残差特征res_feature1，将res_feature1依次送入后续四个瓶颈模块后生成Head1网络的最终特征，结合第一阶段网络N1产生的推荐框proposal预测类别值category1和回归偏移量offset1。Head2、Head3同上。
其中，训练模块40训练网络时的分类损失Lcls使用交叉熵损失，对于每一个ROI，经过头结构(Headi)后得到分类结果Ci(i＝1,2,3)：
Figure BDA0002638455080000161
其中，h(x)表示Headi中的分类分支，输出M+1维向量，将ROI预测为M+1中的一个类别，N代表当前Headi阶段中ROI个数，y对应类别标签，y的类别标签由ROI与对应的标签的IoU大小决定：
Figure BDA0002638455080000162
其中，Head1中的IoU阈值u设置为u1，Head2和Head3中的阈值u分别设置为u2、u3，x是ROI，gy是目标x的类别标签，IoU阈值u定义了检测器的质量。通过不同的IOU阈值，有效地解决了检测中的噪声干扰问题。在本发明的一个具体实施例中，u1、u2、u3可分别设置为0.5、0.6、0.7。
训练模块40训练网络时的回归损失Lloc使用平滑的L1损失，x是ROI，b是对ROI的预测坐标，g是标签坐标值，f表示回归器：
Figure BDA0002638455080000163
b＝(bx,by,bw,bh)
为保证回归操作对尺度、位置的不变性，Lloc操作对应的向量Δ＝(δx,δy,δw,δh)，
Figure BDA0002638455080000164
上式中的数值都比较小，为了提升多任务训练的效率，对Δ做正则化操作：
δ′x＝(δx-ux)/σx；
检测网络中每个Headi(i＝1,2,3)的总损失：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
Figure BDA0002638455080000171
bt＝ft-1(xt-1,bt-1)
其中，T表示Cascade RCNN叠加的总分支数，t表示当前的分支，Cascade RCNN中每个分支ft通过各个分支上的训练数据bt优化，bt来源于b1经过之前所有分支输出后的结果，而非直接使用RPN的初始分布b1来训练ft，λ为加权系数，[yt≥1]表示只在正样本中计算回归损失，yt是xt按照上式和ut计算出来的label。在本发明的一个具体实施例中，T取3，λ取1。
在本发明的一个实施例中，可利用随机梯度下降对误差求偏导更新网络权值。训练模块40共训练m个epoch，初始学习率为ε1，参考框的比率设置为[r1,r2,r3,…rn]。训练完成后得到模型M1，更换Cascade RCNN检测网络中的特征提取网络，将ResNeXt更换为HRNet，其他结构保持不变，重新训练第二个模型得到M2。m取50，初始学习率为ε1为0.002，参考框的比率设置为[0.33,0.5,1,2,3]。
通过测试集检验目标检测模型时，测试集中的图片可保持原有宽高比例缩放到(w1，h1)，(w2，h2)，(w3，h3)，对两个模型M1、M2采用多尺度测试。对于测试集的每一张图片，可在两个模型上得到对应的检测框，然后利用softnms对模型得到的所有框进行融合，得到最终检测框结果。宽高比例分别设置为(1333,800)、(1600,1080)、(2048,1280)。M1和M2的特征提取网络分别采用ResNext101(64x4d)，HRNet-W32。
本发明实施例通过在特征提取网络中加入可变形卷积，提升网络的空间信息建模能力，通过增加额外的参数学习目标的形变，能够在一定程度上提高检测模型对物体大小的鲁棒性。通过在特征提取网络中加入特征金字塔，结合浅层语义信息和深层位置信息，融合多尺度特征，有利于模型对多尺度物体的检测。通过Double head替换现有Cascade rcnn中的单Head结构，Double head将检测框的坐标回归和分类任务分别在两条支路上操作，不同分支具有不同的偏向性，相比于单Head结构，双Head结构分类和坐标回归的精度更高。
根据本发明实施例的针对雾天条件下的目标检测装置，通过将原雾天图像和去雾后的图像一起输神经网络中进行训练，并通过在神经网络的特征提取网络加入可变形卷积和特征金字塔，在预测网络的第二阶段网络中设置双分支结构，所得到的目标检测模型能够对雾天条件下的图像进行快速、精确的目标检测。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的针对雾天条件下的目标检测方法。
根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，通过将原雾天图像和去雾后的图像一起输神经网络中进行训练，并通过在神经网络的特征提取网络加入可变形卷积和特征金字塔，在预测网络的第二阶段网络中设置双分支结构，所得到的目标检测模型能够对雾天条件下的图像进行快速、精确的目标检测。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现根据本发明上述实施例所述的针对雾天条件下的目标检测方法。
根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，通过将原雾天图像和去雾后的图像一起输神经网络中进行训练，并通过在神经网络的特征提取网络加入可变形卷积和特征金字塔，在预测网络的第二阶段网络中设置双分支结构，所得到的目标检测模型能够对雾天条件下的图像进行快速、精确的目标检测。
对应上述实施例，本发明还提出一种计算机程序产品。
当本发明实施例的计算机程序产品中的指令由处理器执行时，可执行根据本发明上述实施例所述的针对雾天条件下的目标检测方法。
根据本发明实施例的计算机程序产品，处理器执行其中的指令时，通过将原雾天图像和去雾后的图像一起输神经网络中进行训练，并通过在神经网络的特征提取网络加入可变形卷积和特征金字塔，在预测网络的第二阶段网络中设置双分支结构，所得到的目标检测模型能够对雾天条件下的图像进行快速、精确的目标检测。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种针对雾天条件下的目标检测方法，其特征在于，包括以下步骤：
获取包含多个雾天图像的原始数据集，并对所述原始数据集中的雾天图像进行增强处理；
通过去雾算法对所述原始数据集中增强后的雾天图像进行去雾操作，以得到去雾数据集；
构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络包括可变形卷积网络和特征金字塔网络，所述预测网络包括第一阶段网络和第二阶段网络，所述第二阶段网络包含双分支结构；
通过增强处理后的原始数据集和所述去雾数据集对所述神经网络进行训练，以得到目标检测模型；
通过所述目标检测模型对待检测雾天图像进行目标检测。
2.根据权利要求1所述的针对雾天条件下的目标检测方法，其特征在于，对所述原始数据集中的雾天图像进行增强处理，包括：
对所述原始数据集中的雾天图像进行随机翻转、随机剪裁操作。
3.根据权利要求2所述的针对雾天条件下的目标检测方法，其特征在于，所述去雾算法为FFANet。
4.根据权利要求1-3中任一项所述的针对雾天条件下的目标检测方法，其特征在于，所述特征提取网络为ResNeXt，所述第一阶段网络为RPN，所述第二阶段网络为Cascade RCNN。
5.根据权利要求4所述的针对雾天条件下的目标检测方法，其特征在于，通过增强处理后的原始数据集和所述去雾数据集对所述神经网络进行训练，包括：
将所述原始数据集中的雾天图像或所述去雾数据集中的去雾后图像输入ResNeXt，经过stage2输出特征图F2，将F2输入可变形卷积网络输出特征图Fd_2，将Fd_2经过stage3输出特征图F3，将F3输入可变形卷积网络输出特征图Fd_3，将Fd_3经过stage4输出特征图F4，将F4输入可变形卷积网络输出特征图Fd_4，将Fd_4经过stage5输出特征图F5，将F5输入可变形卷积网络输出特征图Fd_5，其中，F2、F3、F4和F5构成特征金字塔网络，之后，将F5上采样2倍，并与F4执行相加操作形成特征图P4；将P4上采样2倍，并与F3执行相加操作形成特征图P3；将P3上采样2倍，并与F2进行相加操作形成特征图P2；将P2上采样2倍，并与F1执行相加操作形成特征图P1；
将特征图P1、P2、P3、P4分别送入两阶段预测网络中，第一阶段网络N1分别预测n个anchor的前景背景得分信息，以及回归偏移量信息，通过筛选前景得分中大于某个阈值Threshold的anchor，并且根据偏移量对其执行回归操作后，得到置信度较高的候选框，经过NMS操作去重后，获得较为准确的候选框proposal作为第二阶段网络N2的基准框，之后，将这些不同大小的基准框映射到feature map上，然后对feature map进行采样操作ROI Pooling将不同大小的feature采样为相同大小的feature送入第二阶段网络N2中；
第二阶段网络N2包含三个级联网络Head1、Head2、Head3，将经过ROI Pooling后的feature首先送入Head1网络中，Head1网络分别对第一阶段产生的proposal预测类别值category1和回归偏移量offset1，经过category1筛选和偏移量offset1回归之后，生成第一级网络Head1中的目标框bounding box1；将bounding box1和经过ROI Pooling后的feature送入Head2网络中，Head2网络分别对bounding box1预测类别值category2和回归偏移量offset2，经过category2筛选和偏移量offset2回归之后，生成第二级网络Head2中的目标框bounding box2；将bounding box2和经过ROI Pooling后的feature送入Head3网络中，Head3网络分别对bounding box2预测类别值category3和回归偏移量offset3，经过category3筛选和偏移量offset3回归之后，生成第三级网络中的目标框bounding box3，即最终预测结果框。
6.根据权利要求5所述的针对雾天条件下的目标检测方法，其特征在于，其中，训练网络时的回归损失Lloc使用平滑的L1损失，x是ROI，b是对ROI的预测坐标，g是标签坐标值，f表示回归器，
Figure FDA0002638455070000031
b＝(bx,by,bw,bh)
为保证回归操作对尺度、位置的不变性，Lloc操作对应的向量Δ＝(δx,δy,δw,δh)，
Figure FDA0002638455070000032
对Δ做正则化操作：
δ′x＝(δx-ux)/σx；
检测网络中每个Headi(i＝1,2,3)的总损失：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
Figure FDA0002638455070000033
bt＝ft-1(xt-1,bt-1)
其中，T表示Cascade RCNN叠加的总分支数，t表示当前的分支，Cascade RCNN中每个分支ft通过各个分支上的训练数据bt优化，bt来源于b1经过之前所有分支输出后的结果，λ为加权系数，λ＝1，[yt≥1]表示只在正样本中计算回归损失，yt是xt按照上式和ut计算出来的label。
7.一种针对雾天条件下的目标检测装置，其特征在于，包括：
增强模块，所述增强模块用于获取包含多个雾天图像的原始数据集，并对所述原始数据集中的雾天图像进行增强处理；
去雾模块，所述去雾模块用于通过去雾算法对所述原始数据集中增强后的雾天图像进行去雾操作，以得到去雾数据集；
构建模块，所述构建模块用于构建神经网络，其中，所述神经网络包括特征提取网络和预测网络，所述特征提取网络包括可变形卷积网络和特征金字塔网络，所述预测网络包括第一阶段网络和第二阶段网络，所述第二阶段网络包含双分支结构；
训练模块，所述训练模块用于通过增强处理后的原始数据集和所述去雾数据集对所述神经网络进行训练，以得到目标检测模型；
检测模块，所述检测模块用于通过所述目标检测模型对待检测雾天图像进行目标检测。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求1-6中任一项所述的针对雾天条件下的目标检测方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-6中任一项所述的针对雾天条件下的目标检测方法。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行根据权利要求1-6中任一项所述的针对雾天条件下的目标检测方法。
CN202010832364.1A 2020-08-18 2020-08-18 针对雾天条件下的目标检测方法和装置 Pending CN111814753A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010832364.1A CN111814753A (zh) 2020-08-18 2020-08-18 针对雾天条件下的目标检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010832364.1A CN111814753A (zh) 2020-08-18 2020-08-18 针对雾天条件下的目标检测方法和装置

Publications (1)

Publication Number Publication Date
CN111814753A true CN111814753A (zh) 2020-10-23

Family

ID=72860368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010832364.1A Pending CN111814753A (zh) 2020-08-18 2020-08-18 针对雾天条件下的目标检测方法和装置

Country Status (1)

Country Link
CN (1) CN111814753A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633149A (zh) * 2020-12-22 2021-04-09 南京邮电大学 一种域自适应雾天图像目标检测方法和装置
CN112801195A (zh) * 2021-02-04 2021-05-14 四川望村网络科技有限公司 一种基于深度学习的雾天能见度预测方法，存储装置及服务器
CN112884680A (zh) * 2021-03-26 2021-06-01 南通大学 一种利用端到端神经网络的单幅图像去雾方法
CN113076972A (zh) * 2021-03-04 2021-07-06 山东师范大学 一种基于深度学习的两阶段Logo图像检测方法及系统
CN113269119A (zh) * 2021-06-07 2021-08-17 重庆大学 一种夜间车辆检测方法及装置
CN113705380A (zh) * 2021-08-11 2021-11-26 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
WO2023040462A1 (zh) * 2021-09-17 2023-03-23 南京邮电大学 图像去雾方法、装置及设备
CN115880588A (zh) * 2021-09-13 2023-03-31 国家电网有限公司 一种结合时间域的两阶段无人机检测方法
US11663705B2 (en) 2021-09-17 2023-05-30 Nanjing University Of Posts And Telecommunications Image haze removal method and apparatus, and device
WO2024025134A1 (en) * 2022-07-27 2024-02-01 Samsung Electronics Co., Ltd. A system and method for real time optical illusion photography

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712083A (zh) * 2018-12-06 2019-05-03 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法
CN110263706A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种雾霾天气车载视频动态目标检测和识别的方法
US10733506B1 (en) * 2016-12-14 2020-08-04 Waymo Llc Object detection neural network
CN111523493A (zh) * 2020-04-27 2020-08-11 东南数字经济发展研究院 一种针对雾天影像的目标检测算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733506B1 (en) * 2016-12-14 2020-08-04 Waymo Llc Object detection neural network
CN109712083A (zh) * 2018-12-06 2019-05-03 南京邮电大学 一种基于卷积神经网络的单幅图像去雾方法
CN110263706A (zh) * 2019-06-19 2019-09-20 南京邮电大学 一种雾霾天气车载视频动态目标检测和识别的方法
CN111523493A (zh) * 2020-04-27 2020-08-11 东南数字经济发展研究院 一种针对雾天影像的目标检测算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUNCHUAN PENG等: "Automated mammographic mass detection using deformable convolution and multiscale features", 《MEDICAL & BIOLOGICAL ENGINEERING & COMPUTING》 *
PENGFEI ZHU等: "VisDrone-VID2019 The Vision Meets Drone Object Detection in Video Challenge Results", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW)》 *
娄莉: "雾霾天气下运动目标检测技术研究", 《软件导刊》 *
朱晓霞等: "基于天空分割的去雾算法在目标检测中的应用", 《计算机应用与软件》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633149A (zh) * 2020-12-22 2021-04-09 南京邮电大学 一种域自适应雾天图像目标检测方法和装置
CN112633149B (zh) * 2020-12-22 2022-08-16 南京邮电大学 一种域自适应雾天图像目标检测方法和装置
CN112801195A (zh) * 2021-02-04 2021-05-14 四川望村网络科技有限公司 一种基于深度学习的雾天能见度预测方法，存储装置及服务器
CN113076972A (zh) * 2021-03-04 2021-07-06 山东师范大学 一种基于深度学习的两阶段Logo图像检测方法及系统
CN112884680A (zh) * 2021-03-26 2021-06-01 南通大学 一种利用端到端神经网络的单幅图像去雾方法
CN113269119A (zh) * 2021-06-07 2021-08-17 重庆大学 一种夜间车辆检测方法及装置
CN113705380A (zh) * 2021-08-11 2021-11-26 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN113705380B (zh) * 2021-08-11 2023-08-01 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN115880588A (zh) * 2021-09-13 2023-03-31 国家电网有限公司 一种结合时间域的两阶段无人机检测方法
WO2023040462A1 (zh) * 2021-09-17 2023-03-23 南京邮电大学 图像去雾方法、装置及设备
US11663705B2 (en) 2021-09-17 2023-05-30 Nanjing University Of Posts And Telecommunications Image haze removal method and apparatus, and device
WO2024025134A1 (en) * 2022-07-27 2024-02-01 Samsung Electronics Co., Ltd. A system and method for real time optical illusion photography

Similar Documents

Publication Publication Date Title
CN111814753A (zh) 针对雾天条件下的目标检测方法和装置
CN112001339B (zh) 一种基于YOLO v4的行人社交距离实时监测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN109697434B (zh) 一种行为识别方法、装置和存储介质
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN109377445B (zh) 模型训练方法、替换图像背景的方法、装置和电子系统
CN108229523B (zh) 图像检测、神经网络训练方法、装置和电子设备
CN110781350B (zh) 一种面向全画面监控场景的行人检索方法及系统
CN112396002A (zh) 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN107992819B (zh) 一种车辆属性结构化特征的确定方法与装置
JP6960722B2 (ja) 生成装置、生成方法、及び生成プログラム
CN109063626B (zh) 动态人脸识别方法和装置
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN110909724B (zh) 一种多目标图像的缩略图生成方法
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN113297956B (zh) 一种基于视觉的手势识别方法及系统
CN112154476A (zh) 用于快速对象检测的系统和方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN111814754A (zh) 面向夜间场景的单帧图像行人检测方法和装置
CN113139896A (zh) 基于超分辨重建的目标检测系统及方法
CN115578616A (zh) 多尺度物体实例分割模型的训练方法、分割方法和装置
CN116129291A (zh) 一种面向无人机畜牧的图像目标识别方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201023