CN113673538A - 一种生物启发式多级多层次反馈式轮廓检测方法 - Google Patents
一种生物启发式多级多层次反馈式轮廓检测方法 Download PDFInfo
- Publication number
- CN113673538A CN113673538A CN202110936730.2A CN202110936730A CN113673538A CN 113673538 A CN113673538 A CN 113673538A CN 202110936730 A CN202110936730 A CN 202110936730A CN 113673538 A CN113673538 A CN 113673538A
- Authority
- CN
- China
- Prior art keywords
- feedback
- information
- stage
- input
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007321 biological mechanism Effects 0.000 description 1
- 238000010170 biological method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明旨在提供一种生物启发式多级多层次反馈式轮廓检测方法，包括以下步骤：构建深度神经网络结构，结构如下：编码网络、解码网络；其中，编码网络包括VGG16、预处理模块P、反馈网络；VGG16网络以池化层为分界线，分为五个阶段；预处理模块P对应VGG16网络中五个阶段设有5个；反馈网络设有依次连接的四个横向反馈阶段；解码网络包括多个反馈模块F和加法层；原始图像依次经过编码网络、解码网络，获得最终输出轮廓。本发明保证了目标轮廓的完整性，能够有效解决轮廓不连续问题。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种生物启发式多级多层次反馈式轮廓检测方法。
背景技术
轮廓检测旨在提取一幅图像中背景和目标之间的分界线，通常作为多种中、高级计算机视觉任务的前端处理的关键步骤，是计算机视觉研究领域的基本任务之一。目前，轮廓检测有以下两种方式：
深度学习方法：通常采用公开的VGG-Net、Res-Net等模型进行迁移学习，作为编码网络表征特征，然后研究并设计与之匹配的解码网络来解析特征最终得到目标轮廓。卷积神经网络本身受生物机制启发得到，但在后来的发展中没有很好的与之结合。
生物学方法：简单地模拟视觉系统中生理特性的一部分，在轮廓提取的过程中，对于一些视觉的动态特性并不能较好地进行模拟，造成了一定程度上轮廓信息的缺失以及纹理信息的增强这类问题，从而不能较好地保证目标轮廓的完整性。
应用于计算视觉任务中的卷积神经网络没有很好的与视觉机制相结合，而传统的仿生算法大多是通过公式来模拟细胞的某一项功能，无法达到普适性。如何克服两种方式本身所具有的缺陷，提升目标轮廓检测完整性，是本领域技术研发的一个重要方向。
发明内容
本发明旨在提供一种生物启发式多级多层次反馈式轮廓检测方法，该方法细化了卷积功能，为卷积神经网络设计和网络连接提供了新的思路，进一步消除了背景中纹理边缘的响应，减少了无关成分的影响，保证了目标轮廓的完整性，有效解决了不连续问题。
本发明的技术方案如下：
所述的生物启发式多级多层次反馈式轮廓检测方法，包括以下步骤：
A、构建深度神经网络结构，深度神经网络结构具体如下：
编码网络、解码网络；
其中，编码网络包括VGG16、预处理模块P、反馈网络；
VGG16网络以池化层为分界线，分为五个阶段；
所述的预处理模块P对应VGG16网络中五个阶段设有5个；
所述的反馈网络设有依次连接的L1、L2、L3、L4四个横向反馈阶段，L1横向反馈阶段中设置4个反馈模块F，L2横向反馈阶段中设置3个反馈模块F，L3横向反馈阶段中设置2个反馈模块F，L4横向反馈阶段中设置1个反馈模块F；
所述的解码网络包括多个反馈模块F和加法层；
B、原始图像输入VGG16网络中，依次经五个阶段卷积处理，得到的输出结果分别输入预处理模块，获得前馈信息FF1、FF2、FF3、FF4、FF5；
C、将前馈信息FF1、FF2、FF3、FF4、FF5输入L1横向反馈阶段，依次两两经过L1横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅰ1、FB_Ⅰ2、FB_Ⅰ3、FB_Ⅰ4，输入L2横向反馈阶段，依次两两经过L2横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅱ1、FB_Ⅱ2、FB_Ⅱ3，输入L3横向反馈阶段，依次两两经过L3横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅲ1、FB_Ⅲ2，输入L4横向反馈阶段，经过L4横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅳ1；
D、解码网络对编码网络中各个前馈信息和每一阶段获得的反馈信息分别经反馈模块F处理，融合得到1个前馈融合结果和4个反馈融合结果；将前馈结果与每一级的反馈结果分别进行融合，之后再分别用1×1卷积核缩小特征通道数，然后通过加法层融合得到最终输出轮廓。
所述的VGG16网络由原始VGG16网络舍弃3个全连接层和最后1个下采样层后获得。
所述的预处理模块P包括1×1-32卷积层、3×3-32卷积层、5×5-32卷积层，VGG16网络的五个阶段的输出结果分别输入一个预处理模块P；
在预处理模块P中，每个输出结果分别经过1×1-32卷积层、3×3-32卷积层、5×5-32卷积层卷积，1×1-32卷积层、3×3-32卷积层的卷积结果相乘后与5×5-32卷积层的卷积结果相加，分别获得前馈信息FF1、FF2、FF3、FF4、FF5。
所述的反馈模块F包括上采样层、1×1-32卷积层、加法层、1×1-32卷积层、3×3-32卷积层、5×5-32卷积层；
L1、L2、L3、L4四个横向反馈阶段和解码网络中，下层的输入信息在上采样层经双线性邻近插值法处理与上层的输入信息尺寸一致后，经1×1-32卷积层处理，处理后的信息与上层的输入信息经正反馈处理；
正反馈处理后的信息分别输入1×1-32卷积层、3×3-32卷积层、5×5-32卷积层，卷积后的三个数据相加融合后，从反馈模块F输出。
所述的L1横向反馈阶段中设有4个反馈模块F，所述的L2横向反馈阶段中设有3个反馈模块F，所述的L3横向反馈阶段中设有2个反馈模块F，所述的L4横向反馈阶段中设有1个反馈模块F。
所述的解码网络包括前馈信息反馈阶段、L1输出结果反馈阶段、L2输出结果反馈阶段、L3输出结果反馈阶段、L4输出结果反馈阶段；
所述的前馈信息反馈阶段中设有4个反馈模块F，前馈信息FF1、FF2、FF3、FF4、FF5输入前馈信息反馈阶段中；前馈信息FF1输入第一个反馈模块F的上层，前馈信息FF2输入第一个反馈模块F的下层，进行正反馈处理；第一个反馈模块F正反馈处理后的信息输入第二个反馈模块F的上层，前馈信息FF3输入第二个反馈模块F的下层，进行正反馈处理；第二个反馈模块F正反馈处理后的信息输入第三个反馈模块F的上层，前馈信息FF4输入第三个反馈模块F的下层，进行正反馈处理；第三个反馈模块F正反馈处理后的信息输入第四个反馈模块F的上层，前馈信息FF5输入第四个反馈模块F的下层，进行正反馈处理，得到信息FF；
所述的L1输出结果反馈阶段中设有3个反馈模块F，反馈融合结果FB_Ⅰ1、FB_Ⅰ2、FB_Ⅰ3、FB_Ⅰ4输入L1输出结果反馈阶段中；反馈融合结果FB_Ⅰ1输入第一个反馈模块F的上层，反馈融合结果FB_Ⅰ2输入第一个反馈模块F的下层，进行正反馈处理；第一个反馈模块F正反馈处理后的信息输入第二个反馈模块F的上层，反馈融合结果FB_Ⅰ3输入第二个反馈模块F的下层，进行正反馈处理；第二个反馈模块F正反馈处理后的信息输入第三个反馈模块F的上层，反馈融合结果FB_Ⅰ4输入第三个反馈模块F的下层，进行正反馈处理，得到信息FB_Ⅰ；
所述的L2输出结果反馈阶段中设有2个反馈模块F，反馈融合结果FB_Ⅱ1、FB_Ⅱ2、FB_Ⅱ3输入L2输出结果反馈阶段中；反馈融合结果FB_Ⅱ1输入第一个反馈模块F的上层，反馈融合结果FB_Ⅱ2输入第一个反馈模块F的下层，进行正反馈处理；第一个反馈模块F正反馈处理后的信息输入第二个反馈模块F的上层，反馈融合结果FB_Ⅱ3输入第二个反馈模块F的下层，进行正反馈处理，得到信息FB_Ⅱ；
所述的L3输出结果反馈阶段中设有1个反馈模块F，反馈融合结果FB_Ⅲ1、FB_Ⅲ2输入L3输出结果反馈阶段中；反馈融合结果FB_Ⅲ1输入第一个反馈模块F的上层，反馈融合结果FB_Ⅲ2输入第一个反馈模块F的下层，进行正反馈处理，得到信息FB_Ⅲ；
所述的反馈融合结果FB_Ⅳ1输入L4输出结果反馈阶段，在其中不做任何处理，作为信息FB_Ⅳ直接输出；
信息FF与信息FB_Ⅰ相加融合后，经1×1-1卷积后，进行侧面输出；信息FF与信息FB_Ⅱ相加融合后，经1×1-1卷积后，进行侧面输出；信息FF与信息FB_Ⅲ相加融合后，经1×1-1卷积后，进行侧面输出；信息FF与信息FB_Ⅳ相加融合后，经1×1-1卷积后，进行侧面输出；四个侧面输出结果进行相加融合后经1×1-1卷积输出，即得最终轮廓。
本发明的方法通过将视觉机制引入卷积神经网络，并模拟视觉反馈机制构造一种生物启发式的多级多层次反馈式网络来预测清晰轮廓。该网络细化了卷积功能，为卷积神经网络设计和网络连接提供了新的思路，另外通过正反馈处理进一步消除了背景中纹理边缘的响应，减少了无关成分的影响，保证了目标轮廓的完整性，有效解决了不连续问题。
附图说明
图1为本发明实施例1的编码网络的结构示意图；
图2为本发明实施例1的预处理模块P的结构示意图；
图3为本发明实施例1的反馈模块F的结构示意图；
图4为本发明实施例1的解码网络的结构示意图；
图5为本发明实施例1方案与文献1方案的轮廓检测效果对比图。
具体实施方式
下面结合附图和实施例具体说明本发明。
实施例1
本实施例提供的一种生物启发式多级多层次反馈式轮廓检测方法，包括以下步骤：
A、构建深度神经网络结构，深度神经网络结构具体如下：
编码网络、解码网络；
其中，编码网络包括VGG16、预处理模块P、反馈网络；
VGG16网络由原始VGG16网络舍弃3个全连接层和最后1个下采样层后获得，以池化层为分界线，分为五个阶段；所述的预处理模块P对应VGG16网络中五个阶段设有5个；
所述的反馈网络设有依次连接的L1、L2、L3、L4四个横向反馈阶段，L1横向反馈阶段中设置4个反馈模块F，L2横向反馈阶段中设置3个反馈模块F，L3横向反馈阶段中设置2个反馈模块F，L4横向反馈阶段中设置1个反馈模块F；
所述的解码网络包括多个反馈模块F和加法层，还包括前馈信息反馈阶段、L1输出结果反馈阶段、L2输出结果反馈阶段、L3输出结果反馈阶段、L4输出结果反馈阶段；
所述的反馈模块F包括上采样层、1×1-32卷积层、加法层、1×1-32卷积层、3×3-32卷积层、5×5-32卷积层；
L1、L2、L3、L4四个横向反馈阶段和解码网络中，下层的输入信息在上采样层经双线性邻近插值法处理与上层的输入信息尺寸一致后，经1×1-32卷积层处理，处理后的信息与上层的输入信息经正反馈处理；
正反馈处理后的信息分别输入1×1-32卷积层、3×3-32卷积层、5×5-32卷积层，卷积后的三个数据相加融合后，从反馈模块F输出；
B、原始图像输入VGG16网络中，依次经五个阶段卷积处理，得到的输出结果分别输入预处理模块；
所述的预处理模块P包括1×1-32卷积层、3×3-32卷积层、5×5-32卷积层，VGG16网络的五个阶段的输出结果分别输入一个预处理模块P；
在预处理模块P中，每个输出结果分别经过1×1-32卷积层、3×3-32卷积层、5×5-32卷积层卷积，1×1-32卷积层、3×3-32卷积层的卷积结果相乘后与5×5-32卷积层的卷积结果相加，分别获得前馈信息FF1、FF2、FF3、FF4、FF5；
C、将前馈信息FF1、FF2、FF3、FF4、FF5输入L1横向反馈阶段，依次两两经过L1横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅰ1、FB_Ⅰ2、FB_Ⅰ3、FB_Ⅰ4，输入L2横向反馈阶段，依次两两经过L2横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅱ1、FB_Ⅱ2、FB_Ⅱ3，输入L3横向反馈阶段，依次两两经过L3横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅲ1、FB_Ⅲ2，输入L4横向反馈阶段，经过L4横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅳ1；
所述的反馈模块F包括上采样层、1×1-32卷积层、加法层、1×1-32卷积层、3×3-32卷积层、5×5-32卷积层；
L1、L2、L3、L4四个横向反馈阶段和解码网络中，下层的输入信息在上采样层经双线性邻近插值法处理与上层的输入信息尺寸一致后，经1×1-32卷积层处理，处理后的信息与上层的输入信息经正反馈处理；
正反馈处理后的信息分别输入1×1-32卷积层、3×3-32卷积层、5×5-32卷积层，卷积后的三个数据相加融合后，从反馈模块F输出；
D、所述的解码网络包括前馈信息反馈阶段、L1输出结果反馈阶段、L2输出结果反馈阶段、L3输出结果反馈阶段、L4输出结果反馈阶段；
所述的前馈信息反馈阶段中设有4个反馈模块F，前馈信息FF1、FF2、FF3、FF4、FF5输入前馈信息反馈阶段中；前馈信息FF1输入第一个反馈模块F的上层，前馈信息FF2输入第一个反馈模块F的下层，进行正反馈处理；第一个反馈模块F正反馈处理后的信息输入第二个反馈模块F的上层，前馈信息FF3输入第二个反馈模块F的下层，进行正反馈处理；第二个反馈模块F正反馈处理后的信息输入第三个反馈模块F的上层，前馈信息FF4输入第三个反馈模块F的下层，进行正反馈处理；第三个反馈模块F正反馈处理后的信息输入第四个反馈模块F的上层，前馈信息FF5输入第四个反馈模块F的下层，进行正反馈处理，得到信息FF；
所述的L1输出结果反馈阶段中设有3个反馈模块F，反馈融合结果FB_Ⅰ1、FB_Ⅰ2、FB_Ⅰ3、FB_Ⅰ4输入L1输出结果反馈阶段中；反馈融合结果FB_Ⅰ1输入第一个反馈模块F的上层，反馈融合结果FB_Ⅰ2输入第一个反馈模块F的下层，进行正反馈处理；第一个反馈模块F正反馈处理后的信息输入第二个反馈模块F的上层，反馈融合结果FB_Ⅰ3输入第二个反馈模块F的下层，进行正反馈处理；第二个反馈模块F正反馈处理后的信息输入第三个反馈模块F的上层，反馈融合结果FB_Ⅰ4输入第三个反馈模块F的下层，进行正反馈处理，得到信息FB_Ⅰ；
所述的L2输出结果反馈阶段中设有2个反馈模块F，反馈融合结果FB_Ⅱ1、FB_Ⅱ2、FB_Ⅱ3输入L2输出结果反馈阶段中；反馈融合结果FB_Ⅱ1输入第一个反馈模块F的上层，反馈融合结果FB_Ⅱ2输入第一个反馈模块F的下层，进行正反馈处理；第一个反馈模块F正反馈处理后的信息输入第二个反馈模块F的上层，反馈融合结果FB_Ⅱ3输入第二个反馈模块F的下层，进行正反馈处理，得到信息FB_Ⅱ；
所述的L3输出结果反馈阶段中设有1个反馈模块F，反馈融合结果FB_Ⅲ1、FB_Ⅲ2输入L3输出结果反馈阶段中；反馈融合结果FB_Ⅲ1输入第一个反馈模块F的上层，反馈融合结果FB_Ⅲ2输入第一个反馈模块F的下层，进行正反馈处理，得到信息FB_Ⅲ；
所述的反馈融合结果FB_Ⅳ1输入L4输出结果反馈阶段，在其中不做任何处理，作为信息FB_Ⅳ直接输出；
信息FF与信息FB_Ⅰ相加融合后，经1×1-1卷积后，进行侧面输出；信息FF与信息FB_Ⅱ相加融合后，经1×1-1卷积后，进行侧面输出；信息FF与信息FB_Ⅲ相加融合后，经1×1-1卷积后，进行侧面输出；信息FF与信息FB_Ⅳ相加融合后，经1×1-1卷积后，进行侧面输出；四个侧面输出结果进行相加融合后经1×1-1卷积输出，即得最终轮廓。
实施例2
对于最终的轮廓图进行定量的性能评估，我们采用和文献1中一样的性能测量标准，具体评价如公式(1)所示。
其中，P表示精确率，R表示召回率。F的值越大，表明性能越好。
文献1：Deng R,Liu S.Deep Structural Contour Detection[C]//Proceedingsof the 28th ACM International Conference on Multimedia.2020:304-312.
文献1所用到的参数和其原文一样，都是已经保证是该模型的最优参数。
图5所示为从左到右依次为伯克利分割数据集(BSDS500)随机选取的4幅自然图像、对应的真实轮廓图、文献1方法检测的最优轮廓图、本文方法检测的最优轮廓。
性能对比数据见下表1：
表1实施例提供的轮廓检测方法与文献1轮廓检测方法性能对比
从实验的效果来看，实施例1检测方法优于文献1的检测方法。
Claims (6)
1.一种生物启发式多级多层次反馈式轮廓检测方法，其特征在于包括以下步骤：
A、构建深度神经网络结构，深度神经网络结构具体如下：
编码网络、解码网络；
其中，编码网络包括VGG16、预处理模块P、反馈网络；
VGG16网络以池化层为分界线，分为五个阶段；
所述的预处理模块P对应VGG16网络中五个阶段设有5个；
所述的反馈网络设有依次连接的L1、L2、L3、L4四个横向反馈阶段，L1横向反馈阶段中设置4个反馈模块F，L2横向反馈阶段中设置3个反馈模块F，L3横向反馈阶段中设置2个反馈模块F，L4横向反馈阶段中设置1个反馈模块F；
所述的解码网络包括多个反馈模块F和加法层；
B、原始图像输入VGG16网络中，依次经五个阶段卷积处理，得到的输出结果分别输入预处理模块，获得前馈信息FF1、FF2、FF3、FF4、FF5；
C、将前馈信息FF1、FF2、FF3、FF4、FF5输入L1横向反馈阶段，依次两两经过L1横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅰ1、FB_Ⅰ2、FB_Ⅰ3、FB_Ⅰ4，输入L2横向反馈阶段，依次两两经过L2横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅱ1、FB_Ⅱ2、FB_Ⅱ3，输入L3横向反馈阶段，依次两两经过L3横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅲ1、FB_Ⅲ2，输入L4横向反馈阶段，经过L4横向反馈阶段中的反馈模块F处理后，获得反馈融合结果FB_Ⅳ1；
D、解码网络对编码网络中各个前馈信息和每一阶段获得的反馈信息分别经反馈模块F
处理，融合得到1个前馈融合结果和4个反馈融合结果；将前馈结果与每一级的反馈结果分
别进行融合，之后再分别用
卷积核缩小特征通道数，然后通过加法层融合得到最终输
出轮廓。
2.如权利要求1所述的生物启发式多级多层次反馈式轮廓检测方法，其特征在于：
所述的VGG16网络由原始VGG16网络舍弃3个全连接层和最后1个下采样层后获得。
3.如权利要求1所述的生物启发式多级多层次反馈式轮廓检测方法，其特征在于：
所述的预处理模块P包括1×1-32卷积层、3×3-32卷积层、5×5-32卷积层，VGG16网络的五个阶段的输出结果分别输入一个预处理模块P；
在预处理模块P中，每个输出结果分别经过1×1-32卷积层、3×3-32卷积层、5×5-32卷积层卷积，1×1-32卷积层、3×3-32卷积层的卷积结果相乘后与5×5-32卷积层的卷积结果相加，分别获得前馈信息FF1、FF2、FF3、FF4、FF5。
4.如权利要求1所述的生物启发式多级多层次反馈式轮廓检测方法，其特征在于：
所述的反馈模块F包括上采样层、1×1-32卷积层、加法层、1×1-32卷积层、3×3-32卷积层、5×5-32卷积层；
L1、L2、L3、L4四个横向反馈阶段和解码网络中，下层的输入信息在上采样层经双线性邻近插值法处理与上层的输入信息尺寸一致后，经1×1-32卷积层处理，处理后的信息与上层的输入信息经正反馈处理；
正反馈处理后的信息分别输入1×1-32卷积层、3×3-32卷积层、5×5-32卷积层，卷积后的三个数据相加融合后，从反馈模块F输出。
5.如权利要求4所述的生物启发式多级多层次反馈式轮廓检测方法，其特征在于：所述的L1横向反馈阶段中设有4个反馈模块F，所述的L2横向反馈阶段中设有3个反馈模块F，所述的L3横向反馈阶段中设有2个反馈模块F，所述的L4横向反馈阶段中设有1个反馈模块F。
6.如权利要求4所述的生物启发式多级多层次反馈式轮廓检测方法，其特征在于：
所述的解码网络包括前馈信息反馈阶段、L1输出结果反馈阶段、L2输出结果反馈阶段、L3输出结果反馈阶段、L4输出结果反馈阶段；
所述的前馈信息反馈阶段中设有4个反馈模块F，前馈信息FF1、FF2、FF3、FF4、FF5输入前馈信息反馈阶段中；前馈信息FF1输入第一个反馈模块F的上层，前馈信息FF2输入第一个反馈模块F的下层，进行正反馈处理；第一个反馈模块F正反馈处理后的信息输入第二个反馈模块F的上层，前馈信息FF3输入第二个反馈模块F的下层，进行正反馈处理；第二个反馈模块F正反馈处理后的信息输入第三个反馈模块F的上层，前馈信息FF4输入第三个反馈模块F的下层，进行正反馈处理；第三个反馈模块F正反馈处理后的信息输入第四个反馈模块F的上层，前馈信息FF5输入第四个反馈模块F的下层，进行正反馈处理，得到信息FF；
所述的L1输出结果反馈阶段中设有3个反馈模块F，反馈融合结果FB_Ⅰ1、FB_Ⅰ2、FB_Ⅰ3、FB_Ⅰ4输入L1输出结果反馈阶段中；反馈融合结果FB_Ⅰ1输入第一个反馈模块F的上层，反馈融合结果FB_Ⅰ2输入第一个反馈模块F的下层，进行正反馈处理；第一个反馈模块F正反馈处理后的信息输入第二个反馈模块F的上层，反馈融合结果FB_Ⅰ3输入第二个反馈模块F的下层，进行正反馈处理；第二个反馈模块F正反馈处理后的信息输入第三个反馈模块F的上层，反馈融合结果FB_Ⅰ4输入第三个反馈模块F的下层，进行正反馈处理，得到信息FB_Ⅰ；
所述的L2输出结果反馈阶段中设有2个反馈模块F，反馈融合结果FB_Ⅱ1、FB_Ⅱ2、FB_Ⅱ3输入L2输出结果反馈阶段中；反馈融合结果FB_Ⅱ1输入第一个反馈模块F的上层，反馈融合结果FB_Ⅱ2输入第一个反馈模块F的下层，进行正反馈处理；第一个反馈模块F正反馈处理后的信息输入第二个反馈模块F的上层，反馈融合结果FB_Ⅱ3输入第二个反馈模块F的下层，进行正反馈处理，得到信息FB_Ⅱ；
所述的L3输出结果反馈阶段中设有1个反馈模块F，反馈融合结果FB_Ⅲ1、FB_Ⅲ2输入L3输出结果反馈阶段中；反馈融合结果FB_Ⅲ1输入第一个反馈模块F的上层，反馈融合结果FB_Ⅲ2输入第一个反馈模块F的下层，进行正反馈处理，得到信息FB_Ⅲ；
所述的反馈融合结果FB_Ⅳ1输入L4输出结果反馈阶段，在其中不做任何处理，作为信息FB_Ⅳ直接输出；
信息FF与信息FB_Ⅰ相加融合后，经1×1-1卷积后，进行侧面输出；信息FF与信息FB_Ⅱ相加融合后，经1×1-1卷积后，进行侧面输出；信息FF与信息FB_Ⅲ相加融合后，经1×1-1卷积后，进行侧面输出；信息FF与信息FB_Ⅳ相加融合后，经1×1-1卷积后，进行侧面输出；四个侧面输出结果进行相加融合后经1×1-1卷积输出，即得最终轮廓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936730.2A CN113673538B (zh) | 2021-08-16 | 2021-08-16 | 一种生物启发式多级多层次反馈式轮廓检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110936730.2A CN113673538B (zh) | 2021-08-16 | 2021-08-16 | 一种生物启发式多级多层次反馈式轮廓检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113673538A true CN113673538A (zh) | 2021-11-19 |
| CN113673538B CN113673538B (zh) | 2023-07-14 |
Family
ID=78542979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110936730.2A Active CN113673538B (zh) | 2021-08-16 | 2021-08-16 | 一种生物启发式多级多层次反馈式轮廓检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673538B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3474189A1 (en) * | 2017-10-18 | 2019-04-24 | Aptiv Technologies Limited | A device and a method for assigning labels of a plurality of predetermined classes to pixels of an image |
| CN109872326A (zh) * | 2019-01-25 | 2019-06-11 | 广西科技大学 | 基于深度强化网络跳跃连接的轮廓检测方法 |
| CN109903301A (zh) * | 2019-01-28 | 2019-06-18 | 杭州电子科技大学 | 一种基于多级特征信道优化编码的图像轮廓检测方法 |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN110880165A (zh) * | 2019-10-15 | 2020-03-13 | 杭州电子科技大学 | 一种基于轮廓和颜色特征融合编码的图像去雾方法 |
| CN111325762A (zh) * | 2020-01-21 | 2020-06-23 | 广西科技大学 | 基于密集连接解码网络的轮廓检测方法 |
| CN111680706A (zh) * | 2020-06-17 | 2020-09-18 | 南开大学 | 一种基于编码和解码结构的双通道输出轮廓检测方法 |
| CN112365501A (zh) * | 2021-01-13 | 2021-02-12 | 南京理工大学 | 一种基于卷积神经网络的焊件轮廓检测算法 |
| US20210225002A1 (en) * | 2021-01-28 | 2021-07-22 | Intel Corporation | Techniques for Interactive Image Segmentation Networks |
-
2021
- 2021-08-16 CN CN202110936730.2A patent/CN113673538B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3474189A1 (en) * | 2017-10-18 | 2019-04-24 | Aptiv Technologies Limited | A device and a method for assigning labels of a plurality of predetermined classes to pixels of an image |
| CN109872326A (zh) * | 2019-01-25 | 2019-06-11 | 广西科技大学 | 基于深度强化网络跳跃连接的轮廓检测方法 |
| CN109903301A (zh) * | 2019-01-28 | 2019-06-18 | 杭州电子科技大学 | 一种基于多级特征信道优化编码的图像轮廓检测方法 |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN110880165A (zh) * | 2019-10-15 | 2020-03-13 | 杭州电子科技大学 | 一种基于轮廓和颜色特征融合编码的图像去雾方法 |
| CN111325762A (zh) * | 2020-01-21 | 2020-06-23 | 广西科技大学 | 基于密集连接解码网络的轮廓检测方法 |
| CN111680706A (zh) * | 2020-06-17 | 2020-09-18 | 南开大学 | 一种基于编码和解码结构的双通道输出轮廓检测方法 |
| CN112365501A (zh) * | 2021-01-13 | 2021-02-12 | 南京理工大学 | 一种基于卷积神经网络的焊件轮廓检测算法 |
| US20210225002A1 (en) * | 2021-01-28 | 2021-07-22 | Intel Corporation | Techniques for Interactive Image Segmentation Networks |
Non-Patent Citations (4)
| Title |
|---|
| CHUAN LIN ET AL: "Bio-inspired interactive feedback neural networks for edge detection", 《APPLIED INTELLIGENCE》, pages 1 - 20 * |
| TRUC LE ET AL: "REDN: A Recursive Encoder-Decoder Network for Edge Detection", 《IEEE ACCESS》, vol. 8, pages 90153, XP011790081, DOI: 10.1109/ACCESS.2020.2994160 * |
| 张松龙: "基于全卷积神经网络的图像显著性检测", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, pages 138 - 477 * |
| 林川 等: "基于深度学习的轮廓检测算法:综述", 《广西科技大学学报》, vol. 30, no. 2, pages 1 - 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113673538B (zh) | 2023-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108985317B (zh) | 一种基于可分离卷积和注意力机制的图像分类方法 | |
| Chen et al. | Big data deep learning: challenges and perspectives | |
| CN111091130A (zh) | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 | |
| CN107832400A (zh) | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 | |
| CN113641820A (zh) | 基于图卷积神经网络的视角级文本情感分类方法及系统 | |
| CN110728219A (zh) | 基于多列多尺度图卷积神经网络的3d人脸生成方法 | |
| CN110569851B (zh) | 门控多层融合的实时语义分割方法 | |
| CN113344188A (zh) | 基于通道注意力模块的轻量级神经网络模型 | |
| CN112699937A (zh) | 基于特征引导网络的图像分类与分割的装置、方法、设备及介质 | |
| CN113157919B (zh) | 语句文本方面级情感分类方法及系统 | |
| CN111062395A (zh) | 一种实时的视频语义分割方法 | |
| CN113065649A (zh) | 一种复杂网络拓扑图表示学习方法、预测方法及服务器 | |
| CN113706545A (zh) | 一种基于双分支神经判别降维的半监督图像分割方法 | |
| CN115035371B (zh) | 基于多尺度特征融合神经网络的井壁裂缝识别方法 | |
| CN113888505B (zh) | 一种基于语义分割的自然场景文本检测方法 | |
| CN115240259A (zh) | 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统 | |
| CN113836319B (zh) | 融合实体邻居的知识补全方法及系统 | |
| CN111667401B (zh) | 多层次渐变图像风格迁移方法及系统 | |
| CN111914600A (zh) | 一种基于空间注意力模型的群组情绪识别方法 | |
| CN111353043A (zh) | 一种基于轻量化卷积神经网络的细粒度观点挖掘方法 | |
| CN114494284B (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| CN113673538A (zh) | 一种生物启发式多级多层次反馈式轮廓检测方法 | |
| CN113128624B (zh) | 一种基于多尺度字典的图网络人脸恢复方法 | |
| CN112990336B (zh) | 基于竞争注意力融合的深度三维点云分类网络构建方法 | |
| CN115578721A (zh) | 一种基于注意力特征融合的街景文本实时检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20211119 Assignee: HUALI FAMILY PRODUCTS CO.,LTD. Assignor: GUANGXI University OF SCIENCE AND TECHNOLOGY Contract record no.: X2023980054119 Denomination of invention: A Bioheuristic Multi level and Multi level Feedback Contour Detection Method Granted publication date: 20230714 License type: Common License Record date: 20231226 |