CN108428238A - 一种基于深度网络的多类型任务通用的检测方法 - Google Patents

一种基于深度网络的多类型任务通用的检测方法 Download PDF

Info

Publication number
CN108428238A
CN108428238A CN201810173285.7A CN201810173285A CN108428238A CN 108428238 A CN108428238 A CN 108428238A CN 201810173285 A CN201810173285 A CN 201810173285A CN 108428238 A CN108428238 A CN 108428238A
Authority
CN
China
Prior art keywords
detection
model
task
depth network
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810173285.7A
Other languages
English (en)
Other versions
CN108428238B (zh
Inventor
刘姜江
程明明
侯淇彬
范登平
谭永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN201810173285.7A priority Critical patent/CN108428238B/zh
Publication of CN108428238A publication Critical patent/CN108428238A/zh
Application granted granted Critical
Publication of CN108428238B publication Critical patent/CN108428238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度网络的多类型任务通用的检测方法，属于图像处理技术领域。包含如下步骤：a.分别选择上述三种任务所需要的训练图片；b.在相同的网络结构下设计完成需要的模型参数和网络初始参数；c.设计需要优化的损失函数，并利用深度预测模型和物体检测模型得到其具体表示；d.优化调整初始模型的参数，最终得到分别符合三种要求的具有统一结构的检测模型参数；e.利用训练好的模型对任意输入的自然场景图片得到显著性物体检测、骨架提取、边缘检测三种图像处理结果。本方法能够在一个统一的网络结构下完成三种截然不同的图像处理任务，此方法具有良好的通用性和可移植性，同时达到了良好的检测效果。

Description

一种基于深度网络的多类型任务通用的检测方法
技术领域
本发明属于图像处理技术领域，特别涉及到一种基于深度网络的多类型任务通用的检测方法。
背景技术
显著性物体检测，骨架提取和边缘检测这三类问题在图像处理技术领域一直有着重要的研究和应用价值，在自动导航、自动驾驶、机器人等许多高科技领域均发挥着不可替代的作用。之前的许多方法大部分都是针对上述问题中的某一个特定问题而专门设计一个深度网络结构，这极大提高了此类方法的研发和应用成本，降低了实际应用意义。
本方法提出了一个解决像素级二元问题的统一框架，包括显著性物体检测，骨架提取和边缘检测。本方法发现了上述三种任务有一些共同点，并且可以用来构建一个统一的框架。我们发明了一种基于深度网络的多类型任务通用的检测方法。这种方法提出了使用一个统一的深度网络结构来分别完成显著性物体检测，骨架提取和边缘检测三种不同类型的检测任务。这种结构能够有效地融合深度网络每个不同级别层内的特征，进而构成更高级的特征表示，这些新融合而成的特征表示形式可以更鲁棒地解决这些任务。这种新的融合机制有效地利用了不同层次的特征，因此有能力处理多像素级的二元回归任务。
对于显著性物体检测，Xi Li等人于2016年提出的方法“Li X,Zhao L,Wei L,etal.DeepSaliency:Multi-task deep neural network model for salient objectdetection[J].IEEE Transactions on Image Processing,2016,25(8):3919-3930.”采用了一种多任务监督的深度网络结构来解决此任务。此方法对深度网络结构进行了大幅修改，且只能应用于显著性物体检测；对于骨架提取，Wei Ke等人于2017年提出了“Ke W,ChenJ,Jiao J,et al.SRN:Side-output Residual Network for Object Symmetry Detectionin the Wild[J].arXiv preprint arXiv:1703.02243,2017.”，此方法对深度网络结构的多个侧输出上进行了监督学习，并加入了跳层连接来适应骨架提取任务；对于边缘检测，Saining Xie等人于2015年提出了“Xie S,Tu Z.Holistically-nested edge detection[C]//Proceedings of the IEEE international conference on computervision.2015:1395-1403.”方法，此方法在深度网络结构中的每一层都加上强监督，一次来得到更精细的边缘信息。上述三种方法都是针对特定的问题而分别设计了一种复杂的网络结构以专门解决此类问题，这些网络结构并不能够被运用到其他类别的任务，研究投入巨大的同时实际使用成本也高。
本方法的的提出同时而有效地解决了上述三类问题，在一个统一的框架下，只需要根据具体的任务类别选择训练数据和简单少数的网络模型初始参数就可以得到能够分别解决上述三种问题的模型，通过一次简单的前向传播便可以得到三类问题的检测结果。本方法具有较少的推广和使用成本，可以极大提高生产效率。
发明内容
本发明需要解决的技术问题，是针对已有的显著性物体检测方法、骨架提取方法、边缘检测方法分别需要设计三种不同的结构，且这三种结构之间的差异明显。这些不足提高了深度网络的应用要求和难度。为了克服这些不足，就要开发一种新的统一的深度网络结构，能够分别实现显著性物体检测、骨架提取、边缘检测三种不同类别的图像检测功能。这样一个统一的深度网络结构能够大大减少深度网络的推广和量产成本。
为了实现本发明的目的，我们依靠以下技术方案来实现：
a.训练图片选择：针对三个检测任务选择所需要的训练图片；
b.模型初始参数设计：针对检测任务，在相同的网络结构下设计完成所需要的模型参数和网络初始参数；
c.损失函数设计：设计需要优化的损失函数，并利用深度预测模型和物体检测模型得到其具体表示形式，此损失函数将被作为优化目标；
d.模型训练优化：针对检测任务，通过对c步中设计的损失函数进行优化，从而达到对于b步中初始模型的参数进行优化调整的目的，经过此步得到符合要求的检测模型参数；
e.结果图片生成：利用d步得到的模型参数对任意输入图片进行单次前向传播计算就可以分别得到各类型检测的结果。
本发明的有益效果为：本方法不需要针对显著性物体检测、骨架提取、边缘检测三种检测任务分别设计深度网络结构，而使用一个统一的深度网络结构。本方法能够大量减少网络结构设计的成本，能使显著性物体检测、骨架提取、边缘检测三种不同的任务以更小的资源占用量得到推广和量产，具有很好的实际使用价值。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明:
图1为基于深度网络的多类型任务通用的检测方法流程图。
图2为基于深度网络的多类型任务通用的检测方法示意图。
具体实施方式
参照图1，表示基于深度网络的多类型任务通用的检测方法流程图，图中表示的步骤为：
a.训练图片选择：用户针对显著性物体检测、骨架提取、边缘检测三个检测任务在互联网上选择具有对应人工标注信息的数据集，在数据集内选择全部或部分图片和其对应的标注结果作为训练样本集；
b.模型初始参数设计：针对显著性物体检测、骨架提取、边缘检测三种检测任务，参照图2示意的深度网络结构下，设计完成所上述三种类型任务分别需要的简单的网络初始参数例如“训练样本来源”、“总迭代次数”、“学习率”等。这些参数均和样本类型和数目有关，例如样本数目越大，所需要的总迭代次数越多；
c.损失函数设计：设计需要优化的损失函数，本方法涉及到的显著性物体检测、骨架提取、边缘检测三种检测任务均采用多项损失函数(交叉熵)作为损失函数，此损失函数将用户标注信息作为优化对象,可以在VGGNet、ResNet、GoogleNet等常见的深度预测模型和物体检测模型中使用；
d.模型训练优化：针对检测任务，通过对c步中设计的损失函数进行优化，从而根据网络每次前向传播得到的预测结果对损失函数求梯度，进而通过反向传播进行优化，达到对于b步中初始模型的参数进行优化调整的目的，经过此步得到符合要求的检测模型参数；
e.结果图片生成：用户任意选择一张需要检测显著性物体、骨架、边缘的图片，通过Python、MATLAB或者C++等语言读入图片后，调用训练好的模型API，利用d步得到的模型参数对读入的图片数据进行单次前向传播计算就可以分别得到显著性物体、骨架、边缘三种类型的检测结果。
在图1中各个阶段算法处理的核心问题、方法的输入、输出等都有很形象的描述。图2是图1核心部分即本方法使用的深度网络的结构示意图，显著性物体检测、骨架提取、边缘检测三类检测任务均在这个结构下完成。
参照图2，表示本方法的结构示意图。其中，黑色空心小矩形表示深度网络中的卷积层和激活层；黑色空心大矩形表示深度网络中的解码器，为反卷积层；黑色空心圆形表示可选的卷积层转换节点，可根据具体任务(显著性物体检测、骨架提取、边缘检测)选择性加入或删除；黑色细实线表示卷积层和卷积层之间、卷积层和反卷积层、其他深度网络层与层之间的必要连接；黑色细虚线表示卷积层和卷积层之间的可选连接；黑色粗实线表示设计的深度网络中的示意信号流方向；黑色粗虚线表示设计的深度网络中存在的侧边路，同一侧边路中的特征具有相同的像素长度和像素宽度。方法中的深度网络的基础结构(图2中左侧一列的黑色空心小矩形)可以为VGGNet、ResNet、GoogleNet等常见的深度网络模型，损失函数为多元损失函数(交叉熵)。

Claims (6)

1.一种基于深度网络的多类型任务通用的检测方法，其特征在于：该方法包含如下步骤：
a.训练图片选择：选择检测任务所需要的训练图片；
b.模型初始参数设计：针对检测任务，在相同的网络结构下设计完成所需要的模型参数和网络初始参数；
c.损失函数设计：设计需要优化的损失函数，并利用深度预测模型和物体检测模型得到其具体表示形式；
d.模型训练优化：针对检测任务，通过对c步中设计的损失函数进行优化，从达到对于b步中初始模型的参数进行优化调整的目的，经过此步得到符合要求的检测模型参数；
e.结果图片生成：利用d步得到的模型参数对任意输入图片进行单次前向传播计算就可以分别得到各类型检测结果。
2.根据权利要求1所述的基于深度网络的多类型任务通用的检测方法，其特征在于：检测任务包括三种类型检测任务：显著性物体检测、骨架提取、边缘检测。
3.根据权利要求1所述的基于深度网络的多类型任务通用的检测方法，其特征在于：本方法适用的检测任务均使用同一种深度网络结构。
4.根据权利要求1所述的基于深度网络的多类型任务通用的检测方法，其特征在于：本方法适用的输入图片类型为自然场景图片。
5.根据权利要求1或2所述的基于深度网络的多类型任务通用的检测方法，其特征在于：针对三种检测任务，通过训练图片以图像特征前向传播和损失函数梯度反向传播的迭代优化方式来对模型参数进行调整。
6.根据权利要求1所述的基于深度网络的多类型任务通用的检测方法，其特征在于：将任意一张图片输入到同一网络结构下的训练得到的三组模型参数中，即可快速得到输入图片的良好的显著性物体检测、骨架提取、边缘检测三种结果。
CN201810173285.7A 2018-03-02 2018-03-02 一种基于深度网络的多类型任务通用的检测方法 Active CN108428238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810173285.7A CN108428238B (zh) 2018-03-02 2018-03-02 一种基于深度网络的多类型任务通用的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810173285.7A CN108428238B (zh) 2018-03-02 2018-03-02 一种基于深度网络的多类型任务通用的检测方法

Publications (2)

Publication Number Publication Date
CN108428238A true CN108428238A (zh) 2018-08-21
CN108428238B CN108428238B (zh) 2022-02-15

Family

ID=63157467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810173285.7A Active CN108428238B (zh) 2018-03-02 2018-03-02 一种基于深度网络的多类型任务通用的检测方法

Country Status (1)

Country Link
CN (1) CN108428238B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871835A (zh) * 2019-03-27 2019-06-11 南开大学 一种基于互斥正则化技术的人脸识别方法
CN110069770A (zh) * 2019-03-07 2019-07-30 阿里巴巴集团控股有限公司 一种数据处理系统、方法及计算机设备
CN110097115A (zh) * 2019-04-28 2019-08-06 南开大学 一种基于注意力转移机制的视频显著性物体检测方法
CN111598107A (zh) * 2020-04-17 2020-08-28 南开大学 一种基于特征动态选择的多任务联合检测方法
CN112150529A (zh) * 2019-06-28 2020-12-29 北京地平线机器人技术研发有限公司 一种图像特征点的深度信息确定方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148080A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN107423747A (zh) * 2017-04-13 2017-12-01 中国人民解放军国防科学技术大学 一种基于深度卷积网络的显著性目标检测方法
CN107506792A (zh) * 2017-08-16 2017-12-22 上海荷福人工智能科技（集团）有限公司 一种半监督的显著对象检测方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148080A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
CN106096531A (zh) * 2016-05-31 2016-11-09 安徽省云力信息技术有限公司 一种基于深度学习的交通图像多类型车辆检测方法
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN107423747A (zh) * 2017-04-13 2017-12-01 中国人民解放军国防科学技术大学 一种基于深度卷积网络的显著性目标检测方法
CN107506792A (zh) * 2017-08-16 2017-12-22 上海荷福人工智能科技（集团）有限公司 一种半监督的显著对象检测方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BING YANG ETC.: "Edge guided salient object detection", 《NEUROCOMPUTING》 *
QIBIN HOU ETC.: "Deeply Supervised Salient Object Detection with Short Connections", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
薛成龙: "基于深度表征的网络异常检测模型研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069770A (zh) * 2019-03-07 2019-07-30 阿里巴巴集团控股有限公司 一种数据处理系统、方法及计算机设备
CN109871835A (zh) * 2019-03-27 2019-06-11 南开大学 一种基于互斥正则化技术的人脸识别方法
CN109871835B (zh) * 2019-03-27 2021-10-01 南开大学 一种基于互斥正则化技术的人脸识别方法
CN110097115A (zh) * 2019-04-28 2019-08-06 南开大学 一种基于注意力转移机制的视频显著性物体检测方法
CN112150529A (zh) * 2019-06-28 2020-12-29 北京地平线机器人技术研发有限公司 一种图像特征点的深度信息确定方法及装置
CN112150529B (zh) * 2019-06-28 2023-09-01 北京地平线机器人技术研发有限公司 一种图像特征点的深度信息确定方法及装置
CN111598107A (zh) * 2020-04-17 2020-08-28 南开大学 一种基于特征动态选择的多任务联合检测方法

Also Published As

Publication number Publication date
CN108428238B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN108428238A (zh) 一种基于深度网络的多类型任务通用的检测方法
CN106022237B (zh) 一种端到端的卷积神经网络的行人检测方法
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
CN107403430A (zh) 一种rgbd图像语义分割方法
CN110399518B (zh) 一种基于图卷积的视觉问答增强方法
CN109635748B (zh) 高分辨率影像中道路特征的提取方法
CN107273800A (zh) 一种基于注意机制的卷积递归神经网络的动作识别方法
CN109544442A (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
CN108038821A (zh) 一种基于生成式对抗网络的图像风格迁移方法
CN110533097A (zh) 一种图像清晰度识别方法、装置、电子设备及存储介质
CN106952269A (zh) 近邻可逆的视频前景物体序列检测分割方法及系统
CN109544662B (zh) 一种基于SRUnet的动漫风格线稿上色方法及系统
CN109086668A (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN110136062A (zh) 一种联合语义分割的超分辨率重建方法
CN113128620B (zh) 一种基于层次关系的半监督领域自适应图片分类方法
CN107220990A (zh) 一种基于深度学习的头发分割方法
CN110334719B (zh) 一种提取遥感影像中建筑物图像的方法及系统
CN112329780B (zh) 一种基于深度学习的深度图像语义分割方法
CN114973011A (zh) 一种基于深度学习的高分辨率遥感影像建筑物提取方法
CN107506792A (zh) 一种半监督的显著对象检测方法
CN114820579A (zh) 一种基于语义分割的图像复合缺陷的检测方法及系统
CN115311555A (zh) 一种基于批风格混合的遥感影像建筑物提取模型泛化方法
CN109377498B (zh) 基于循环神经网络的交互式抠图方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant