CN107403160A - 一种智能驾驶场景中图像检测方法、设备及其存储设备 - Google Patents

一种智能驾驶场景中图像检测方法、设备及其存储设备 Download PDF

Info

Publication number
CN107403160A
CN107403160A CN201710633554.9A CN201710633554A CN107403160A CN 107403160 A CN107403160 A CN 107403160A CN 201710633554 A CN201710633554 A CN 201710633554A CN 107403160 A CN107403160 A CN 107403160A
Authority
CN
China
Prior art keywords
image
driving scene
intelligent driving
network
detecting method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710633554.9A
Other languages
English (en)
Inventor
陈分雄
凌承昆
尹关
陶然
黄华文
王典洪
唐曜曜
刘建林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201710633554.9A priority Critical patent/CN107403160A/zh
Publication of CN107403160A publication Critical patent/CN107403160A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种智能驾驶场景中图像检测方法、设备及其存储设备，所述方法包括步骤：接收原始图像的特征图像并生成遮挡图像；把所述原始图像的特征图像与遮挡图像合成得到遮挡后的特征图像；将遮挡后的特征图像进行预测和分类并得到预测结果；进行网络融合形成目标检测网络；训练目标检测网络得到更好的检测精度。一种存储设备，所述设备存储指令及数据用于实现所述一种智能驾驶场景中图像检测方法。一种智能驾驶场景中图像检测设备，所述设备包括处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现所述的一种智能驾驶场景中图像检测方法。本发明通过将对抗网络与卷积神经网络综合到一个网络里进行训练，有效提高了图像检测的精度和鲁棒性。

Description

一种智能驾驶场景中图像检测方法、设备及其存储设备
技术领域
本发明涉及智能驾驶和计算机视觉领域，具体涉及一种智能驾驶场景中图像检测方法、设备及其存储设备。
背景技术
在智能驾驶领域中，用到的算法主要涉及计算机视觉领域，通过计算机视觉算法让智能计算机感受外部世界，充当计算机的“眼睛”，使得计算机能够做出决策行为。在计算机视觉领域，最基本也是最经典的一个问题就是目标检测(Object Detection)。传统的目标检测算法要检测一张图片中的目标采用的流程是：滑动窗口提取候选区域、使用人工设计的算子提取特征、对特征使用分类器分类。但是，基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余。同时，手工设计的特征对于多样性的变化并没有很好的鲁棒性。
发明内容
为了解决上述问题，本发明提供了一种智能驾驶场景中图像检测方法、设备及其存储设备，通过将对抗网络和卷积神经网络相融合提高了图像检测的精度及鲁棒性，从而有效解决上述问题。
本发明提供的技术方案是：一种智能驾驶场景中图像检测方法，所述方法包括步骤：接收原始图像的特征图像并生成遮挡图像；把所述原始图像的特征图像与所述遮挡图像合成得到遮挡后的特征图像；将所述遮挡后的特征图像进行预测和分类并得到预测结果；进行网络融合形成目标检测网络；训练所述目标检测网络得到更好的检测精度。一种存储设备，所述设备存储指令及数据用于实现所述一种智能驾驶场景中图像检测方法。一种智能驾驶场景中图像检测设备，所述设备包括处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现所述的一种智能驾驶场景中图像检测方法。
本发明的有益效果是：本发明提供了一种智能驾驶场景中图像检测方法、设备及其存储装置，通过将对抗网络与卷积神经网络综合到一个网络里进行训练，提高了目标检测算法的泛化性，对现实中目标的遮挡表现出很好的鲁棒性，并有效地提高了图像的检测精度。
附图说明
图1是是本发明实施例中图像检测方法的整体流程图；
图2是本发明实施例中的原始图像示意图；
图3是本发明实施例中的遮挡掩码示意图；
图4是本发明实施例中遮挡后的原始图像的特征图像；
图5是本发明实施例的硬件设备工作示意图；
图6是本发明实施例中生成掩码进而形成对抗网络的具体步骤流程示意图；
图7是本发明实施例中进行网络融合形成目标检测网络的具体步骤流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述，下文中提到的具体技术细节，如：方法，设备等，仅为使读者更好的理解技术方案，并不代表本发明仅局限于以下技术细节。
本发明的实施例提供了一种智能驾驶场景中图像检测方法、设备及其存储设备，通过将对抗网络与卷积神经网络综合到一个网络里进行训练，提高了目标检测算法的泛化性和鲁棒性，并有效地提高了图像的检测精度。请参阅图1，图1是本发明实施例中图像检测方法的整体流程，所述方法由一种智能驾驶场景中图像检测设备实现，具体步骤包括：
S101：接收原始图像的特征图像并生成遮挡图像；所述原始图像的特征图像与所述遮挡图像大小一致；生成遮挡掩码；所述遮挡掩码为0或1；所述遮挡掩码为0表示不对特征图产生遮挡；所述遮挡掩码为1表示对特征图产生遮挡。
S102：把所述原始图像的特征图像与所述遮挡图像合成得到遮挡后的特征图像。所述S101与S102的执行过程和结果可以参见图2、图3及图4。其中，图2是本发明实施例中的原始图像示意图，包括待检测目标201。图3是本发明实施例中的遮挡掩码示意图，包括1掩码301及0掩码302。图4是本发明实施例中遮挡后的原始图像的特征图像，包括遮挡图像402及待检测目标401，所述待检测目标401未被遮挡，所以生成的遮挡待检测目标401的遮挡图像的遮挡掩码为0。
S103：将所述遮挡后的特征图像进行预测和分类并得到预测结果；使用卷积神经网络对所述遮挡后的特征图像进行预测和分类；所述预测结果包括所述遮挡后的特征图像的所属类别和包围框坐标。
S104：进行网络融合形成目标检测网络；融合的网络为对抗网络(ASDN)和卷积神经网络；所述融合的网络之间的网络权值是共享的。
S105：训练所述目标检测网络得到更好的检测精度；采用voc数据集训练所述目标检测网络。其中，所述目标检测网络与单纯的卷积神经网络的检测精度对比如表1所示。
表1
其中，RPN+VGG表示快速候选区域卷积神经网络(Faster RCNN)，RPN+CGG+ASDN表示本发明方案中融合后的目标检测网络，所述目标检测网络是融合了ASDN和Faster RCNN。可见，本发明的目标检测网络比单纯的Faster RCNN在检测精度上有一定提升，在某些特定的类别如cat、bottle等有比较大的精度提升。
继续参见图5，图5是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种智能驾驶场景中图像检测设备501、处理器502及存储器503。
一种智能驾驶场景中图像检测设备501：所述一种智能驾驶场景中图像检测设备501实现步骤S101～S105所述一种智能驾驶场景中图像检测方法。
处理器502：所述处理器502加载并执行所述存储设备503中的指令及数据用于实现步骤S101～S105所述的一种智能驾驶场景中图像检测方法。
存储设备503：所述存储设备503存储指令及数据；所述一种存储设备用于实现步骤S101～S105所述的一种智能驾驶场景中图像检测方法。
继续参见图6，图6是本发明实施例中生成掩码进而形成对抗网络的具体步骤流程示意图，所述步骤由一种智能驾驶场景中图像检测设备实现，具体步骤包括：
S601：接收原始图像的特征图像。
S602：在卷积层1中对所述特征图像进行第一次卷积处理和激活函数relu处理。
S603：在卷积层2中对S602中处理后的特征图像进行第二次卷积处理和激活函数relu处理。
S604：在卷积层3中对S603中处理后的特征图像进行第三次卷积处理和激活函数relu处理。
S605：在卷积层4中对S604中处理后的特征图像进行第四次卷积处理和激活函数relu处理。其中，所述激活函数relu为：f(x)＝max(0,x)。
S606：在卷积层5中对S605中处理后的特征图像进行第五次卷积处理。
S607：对S606中处理后的特征图像进行采样。例如，选择具有最高概率的特征图像的顶部1/2像素，然后随机选择其中的1/3像素来分配值1，其余的2/3像素被设置为0。
S608：最终生成掩码进而形成对抗网络。所述掩码与原始图像的特征图像结合起来得到遮挡后的特征图，遮挡后的特征图的某些关键部分被遮挡以用来让目标检测器产生误检。所述目标检测器的损失函数如下：
其中第一项是SoftMax损失，第二项是包围框位置(仅前景类)的损失。如果将对抗网络表示为A(x)，则所述对抗网络的损失函数为：
可见，如果使用对抗网络生成的遮挡后的特征图对于目标检测器来说很容易正确分类，则目标检测器获得低损失，对抗网络将获得高损失。另一方面，如果在对抗特征生成之后，对于检测器来说是难以正确分类的，则目标检测器获得高损失，对抗网络获得低损失。
继续参见图7，图7是本发明实施例中进行网络融合形成目标检测网络的具体步骤流程图，所述步骤由一种智能驾驶场景中图像检测设备实现，具体包括以下步骤：
S701：使用区域生成网络(Region Proposal Network，RPN)处理原始图像的特征图像。
S702：获得300个推荐样本。
S703：将获得的300个推荐样本进行兴趣区(region of interest,ROI)池化得到300个特征图像。
S704：接收生成的掩码。
S705：将接收的掩码与300个特征图像结合形成300个遮挡图像。
S706：对300个遮挡图像用三个全链接层处理得到预测结果。
通过执行本发明的实施例，本发明权利要求里的所有技术特征都得到了详尽阐述。
区别于现有技术，本发明的实施例提供了一种智能驾驶场景中图像检测方法、设备及其存储设备，通过将对抗网络与卷积神经网络综合到一个网络里进行训练，提高了目标检测算法的泛化性，对现实中目标的遮挡表现出很好的鲁棒性，并有效地提高了图像的检测精度。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能驾驶场景中图像检测方法，所述方法由一种智能驾驶场景中图像检测设备实现，其特征在于：包括以下步骤：接收原始图像的特征图像并生成遮挡图像；把所述原始图像的特征图像与所述遮挡图像合成得到遮挡后的特征图像；将所述遮挡后的特征图像进行预测和分类并得到预测结果；进行网络融合形成目标检测网络；训练所述目标检测网络得到更好的检测精度。
2.如权利要求1所述的一种智能驾驶场景中图像检测方法，其特征在于：所述根据原始图像的特征图像生成遮挡图像具体包括：所述原始图像的特征图像与所述遮挡图像大小一致。
3.如权利要求2所述的一种智能驾驶场景中图像检测方法，其特征在于：所述接收原始图像的特征图像并生成遮挡图像还包括：首先生成遮挡掩码；所述遮挡掩码为0或1；所述遮挡掩码为0表示不对特征图产生遮挡；所述遮挡掩码为1表示对特征图产生遮挡。
4.如权利要求1所述的一种智能驾驶场景中图像检测方法，其特征在于：所述将所述遮挡后的特征图像进行预测和分类具体包括：使用卷积神经网络对所述遮挡后的特征图像进行预测和分类。
5.如权利要求1所述的一种智能驾驶场景中图像检测方法，其特征在于：所述预测结果包括所述遮挡后的特征图像的所属类别和包围框坐标。
6.如权利要求1所述的一种智能驾驶场景中图像检测方法，其特征在于：所述训练所述目标检测网络得到更好的检测精度具体包括：采用voc数据集训练所述目标检测网络。
7.如权利要求1所述的一种智能驾驶场景中图像检测方法，其特征在于：所述进行网络融合形成目标检测网络还包括：所述融合的网络之间的网络权值是共享的。
8.如权利要求1所述的一种智能驾驶场景中图像检测方法，其特征在于：所述进行网络融合形成目标检测网络具体包括：融合的网络为对抗网络和卷积神经网络。
9.一种存储设备，其特征包括：所述存储设备存储指令及数据用于实现权利要求1～8所述的一种智能驾驶场景中图像检测方法。
10.一种智能驾驶场景中图像检测设备，其特征在于：包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现权利要求1～8所述的一种智能驾驶场景中图像检测方法。
CN201710633554.9A 2017-07-28 2017-07-28 一种智能驾驶场景中图像检测方法、设备及其存储设备 Pending CN107403160A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710633554.9A CN107403160A (zh) 2017-07-28 2017-07-28 一种智能驾驶场景中图像检测方法、设备及其存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710633554.9A CN107403160A (zh) 2017-07-28 2017-07-28 一种智能驾驶场景中图像检测方法、设备及其存储设备

Publications (1)

Publication Number Publication Date
CN107403160A true CN107403160A (zh) 2017-11-28

Family

ID=60401310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710633554.9A Pending CN107403160A (zh) 2017-07-28 2017-07-28 一种智能驾驶场景中图像检测方法、设备及其存储设备

Country Status (1)

Country Link
CN (1) CN107403160A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798669A (zh) * 2017-12-08 2018-03-13 北京小米移动软件有限公司 图像去雾方法、装置及计算机可读存储介质
CN108573222A (zh) * 2018-03-28 2018-09-25 中山大学 基于循环对抗生成网络的行人图像遮挡检测方法
CN108648197A (zh) * 2018-04-12 2018-10-12 天津大学 一种基于图像背景掩膜的目标候选区域提取方法
CN108875732A (zh) * 2018-01-11 2018-11-23 北京旷视科技有限公司 模型训练与实例分割方法、装置和系统及存储介质
CN109784349A (zh) * 2018-12-25 2019-05-21 东软集团股份有限公司 图像目标检测模型建立方法、装置、存储介质及程序产品
CN110519233A (zh) * 2019-07-31 2019-11-29 中国地质大学（武汉） 一种基于人工智能的星载传感网数据压缩方法
CN111123927A (zh) * 2019-12-20 2020-05-08 北京三快在线科技有限公司 轨迹规划方法、装置、自动驾驶设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOLONG WANG 等: "A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection", 《CVPR 17 ORAL》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798669A (zh) * 2017-12-08 2018-03-13 北京小米移动软件有限公司 图像去雾方法、装置及计算机可读存储介质
CN107798669B (zh) * 2017-12-08 2021-12-21 北京小米移动软件有限公司 图像去雾方法、装置及计算机可读存储介质
CN108875732A (zh) * 2018-01-11 2018-11-23 北京旷视科技有限公司 模型训练与实例分割方法、装置和系统及存储介质
CN108875732B (zh) * 2018-01-11 2022-07-12 北京旷视科技有限公司 模型训练与实例分割方法、装置和系统及存储介质
CN108573222A (zh) * 2018-03-28 2018-09-25 中山大学 基于循环对抗生成网络的行人图像遮挡检测方法
CN108573222B (zh) * 2018-03-28 2020-07-14 中山大学 基于循环对抗生成网络的行人图像遮挡检测方法
CN108648197A (zh) * 2018-04-12 2018-10-12 天津大学 一种基于图像背景掩膜的目标候选区域提取方法
CN108648197B (zh) * 2018-04-12 2021-09-07 天津大学 一种基于图像背景掩膜的目标候选区域提取方法
CN109784349A (zh) * 2018-12-25 2019-05-21 东软集团股份有限公司 图像目标检测模型建立方法、装置、存储介质及程序产品
CN110519233A (zh) * 2019-07-31 2019-11-29 中国地质大学（武汉） 一种基于人工智能的星载传感网数据压缩方法
CN110519233B (zh) * 2019-07-31 2021-07-20 中国地质大学（武汉） 一种基于人工智能的星载传感网数据压缩方法
CN111123927A (zh) * 2019-12-20 2020-05-08 北京三快在线科技有限公司 轨迹规划方法、装置、自动驾驶设备和存储介质

Similar Documents

Publication Publication Date Title
CN107403160A (zh) 一种智能驾驶场景中图像检测方法、设备及其存储设备
Xu et al. Detecting tiny objects in aerial images: A normalized Wasserstein distance and a new benchmark
Rafi et al. An Efficient Convolutional Network for Human Pose Estimation.
CN112446327B (zh) 一种基于无锚框的遥感图像目标检测方法
Wang et al. SegRoot: A high throughput segmentation method for root image analysis
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
JP6976270B2 (ja) 地理的領域におけるコンテナ内に格納された量の遠隔決定
CN112288008B (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN112241731B (zh) 一种姿态确定方法、装置、设备及存储介质
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN110490212A (zh) 钼靶影像处理设备、方法和装置
CN108229277A (zh) 手势识别、控制及神经网络训练方法、装置及电子设备
CN107636659A (zh) 使用深度神经网络检测医学图像中的地标的方法和系统
CN107886089A (zh) 一种基于骨架图回归的三维人体姿态估计的方法
CN108052881A (zh) 一种实时检测施工现场图像中多类实体对象的方法及设备
CN101281422B (zh) 以对象为基础三维信息产生装置与方法及使用的互动系统
CN106650615B (zh) 一种图像处理方法及终端
CN109544537A (zh) 髋关节x光图像快速自动分析方法
CN113610087B (zh) 一种基于先验超分辨率的图像小目标检测方法及存储介质
CN109343920A (zh) 一种图像处理方法及其装置、设备和存储介质
CN110991560A (zh) 一种结合上下文信息的目标检测方法及系统
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN106780546A (zh) 基于卷积神经网络的运动模糊编码点的身份识别方法
CN111104813A (zh) 二维码图像关键点检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171128