CN109118504A - 一种基于神经网络的图像边缘检测方法、装置及其设备 - Google Patents

一种基于神经网络的图像边缘检测方法、装置及其设备 Download PDF

Info

Publication number
CN109118504A
CN109118504A CN201810836926.2A CN201810836926A CN109118504A CN 109118504 A CN109118504 A CN 109118504A CN 201810836926 A CN201810836926 A CN 201810836926A CN 109118504 A CN109118504 A CN 109118504A
Authority
CN
China
Prior art keywords
image
neural network
network
image edge
fusion features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810836926.2A
Other languages
English (en)
Other versions
CN109118504B (zh
Inventor
丁维超
冯良炳
姚杰
邓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chen Shi Intelligent Technology Co Ltd
Original Assignee
Shenzhen Chen Shi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chen Shi Intelligent Technology Co Ltd filed Critical Shenzhen Chen Shi Intelligent Technology Co Ltd
Priority to CN201810836926.2A priority Critical patent/CN109118504B/zh
Publication of CN109118504A publication Critical patent/CN109118504A/zh
Application granted granted Critical
Publication of CN109118504B publication Critical patent/CN109118504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种基于神经网络的图像边缘检测方法、装置及其设备，所述方法包括：提取图像的特征；搭建特征融合网络；对特征融合网络进行训练；将特征提取网络和特征融合网络进行特征融合，并将输出结果作为最终的图像边缘检测的结果；将测试集输入到训练好的神经网络进行测试，并将最终的图像边缘检测的结果与标定好的真实数据作比较，以判断边缘检测的准确率。本发明实施例所述方法能提高从VGG16中提取到的图像特征的利用率，能够更好的保留图像边缘上的细节，从而更能有效的提高自然图像边缘检测的准确率。

Description

一种基于神经网络的图像边缘检测方法、装置及其设备
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于神经网络的图像边缘检测方法、装置及其设备。
背景技术
边缘检测作为图像领域的一个基本问题，可以为许多传统技术领域提供帮助和参考，如显著性物体检测，图像分割和骨架提取等。它在自动驾驶等现代应用领域中扮演着重要的角色。
早期解决边缘检测问题的方法主要着重于强度和颜色渐变的使用。如使用Sobel算子先计算图像的梯度图，然后通过对梯度图进行阈值处理来生成边缘。Sobel的扩展版本，名为Canny，包括将高斯平滑作为预处理步骤，并使用双阈值来获得边缘。然而，Canny在处理过程中产生的噪音强大，且准确性较差，因此很难适应当今的应用。后来，研究人员倾向于使用低强度线索(如从强度，梯度和纹理)手动设计特征，然后采用复杂的学习范例对边缘和非边缘像素进行分类。但是，上述所有方法都基于人工操作实现其功能，而且对于图像特征的利用率都较低，从而图像边缘检测准确率较低，并且这些功能对于表示高级信息语义有意义的边缘检测功能也是存在局限性。
发明内容
有鉴于此，本发明的目的在于提供一种基于神经网络的图像边缘检测方法、装置及其设备，旨在能有效的提高图像特征的利用率，从而能有效的提高图像边缘检测的准确率。
本发明解决上述技术问题所采用的技术方案如下：
本发明的第一方面提供一种基于神经网络的图像边缘检测方法，该方法包括：
提取图像的特征；
搭建特征融合网络；
对特征融合网络进行训练；
将特征提取网络和特征融合网络进行特征融合，并将输出结果作为最终的图像边缘检测的结果；
将测试集输入到训练好的神经网络进行测试，并将最终的图像边缘检测的结果与标定好的真实数据作比较，以判断边缘检测的准确率。
在一些实施例中，所述搭建特征融合网络包括步骤：
将两张输入图像分别依次输入到第一分离通道和第二分离通道以提取得到特征图像；
将经过第一分离通道和第二分离通道得到两张特征图像的特征相加融合得到融合特征向量；
将得到融合特征向量进行3次3×3的卷积操作，得到最终的融合结果。
在一些实施例中，所述对特征融合网络进行训练包括：
像素p的图像质量评分计算方式如下：
表示方差；表示和之间的协方差；
{yk}＝{yk|k＝1，2}表示从输入图像对在像素位置p处提取的图像块；
yf表示从卷积神经网络输出的同一位置p处的融合图像中提取的图像块；
损失函数计算如下：
在一些实施例中，所述提取图像的特征步骤包括：
在图像边缘检测数据集中提取相应数量的图片分别作为训练集、验证集以及测试集，并下载用来训练图像的特征提取网络；
对训练集和验证集进行数据图像增强操作；
搭建卷积神经网络框架，并进行神经网络训练；
计算每个特征图像素相对于像素标签的损失；
对神经网络训练过程中的各阶段进行参数设置。
在一些实施例中，所述搭建卷积神经网络框架，并进行神经网络训练包括步骤：
提取自然场景图片的特征信息；
对每一层卷积得到的特征信息进行1*1的卷积得到特征向量；
将每个层级的多个特征向量相加再还原成原图片大小，得到不同层次的边缘信息图片。
在一些实施例中，所述计算每个特征图像素相对于像素标签的损失的数学公式为：
其中
其中，Y+和Y-分别表示正样本集合和负样本集合；
超参数λ用于平衡正样本和负样本；
像素i处的激活值和真实值的边缘概率分别由xi和yi表示；
P(X)是标准S形函数，w表示将在我们的体系结构中学习的所有参数。
在一些实施例中，所述改进后的损失函数表示为：
是阶段k的激活值；是融合层的激活值；|I|是图像i中像素的数目；K是阶段的数目。
在一些实施例中，所述对训练集和验证集进行数据图像增强操作包括对训练集和验证集中的图片分别进行平移，旋转操作。
本发明的第二方面还提供一种基于神经网络的图像边缘检测装置，应用于上述任一项所述的基于神经网络的图像边缘检测方法，所述装置包括：
提取图像模块，用于提取图像的特征；
融合网络模块，用于搭建特征融合网络以及对特征融合网络进行训练；
特征融合模块，用于将特征提取网络和特征融合网络进行特征融合，并将输出结果作为最终的图像边缘检测的结果；
检测判断模块，用于测试集输入到训练好的神经网络进行测试，并将最终的图像边缘检测的结果与标定好的真实数据作比较，以判断边缘检测的准确率。
本发明的第三方面还提供一种基于神经网络的图像边缘检测设备，包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法中的步骤。
本发明实施例提供的一种基于神经网络的图像边缘检测方法、装置及其设备通过增加了特征融合的网络，提高了从VGG16中提取到的图像特征的利用率，使得在图像特征的利用上有更好的表现，如此，对那些会被深层神经网络所忽略的图像边缘上，本发明实施例所述方法能够更好的保留图像边缘上的细节，从而更能有效的提高自然图像边缘检测的准确率。
附图说明
图1为本发明实施例的基于神经网络的图像边缘检测方法的整体网络结构示意图；
图2为本发明实施例基于神经网络的图像边缘检测方法的特征融合网络结构示意图；
图3为本发明实施例基于神经网络的图像边缘检测方法流程图；
图4为本发明实施例所述提取图像的特征的方法流程图；
图5为本发明实施例所述搭建及训练图像的特征融合网络方法流程图；
图6为本发明实施例基于神经网络的图像边缘检测装置的结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对于现有技术中当前算法对于图像特征利用率较低，图像边缘检测准确率较低的问题，本发明提出一种基于神经网络的图像边缘检测方法、装置及其设备，能充分提高图像特征的利用率，从而能更有效的提高自然图像边缘检测的准确率。
实施例一：
本发明提供的一种基于神经网络的图像边缘检测方法，请参阅图1至图5，具体包括以下步骤：
S1:提取图像的特征，具体包括：
S11在图像边缘检测数据集中提取相应数量的图片分别作为训练集、验证集以及测试集，并下载用来训练图像的特征提取网络；
具体地，选择公开的自然图像边缘检测数据集BSDS500，该数据集由伯克利大学提出，包含200张训练图片作为训练集，100张验证图片作为验证集和200张测试图片作为测试集。同时在该数据集的官网上下载用来训练图像的特征提取网络。
S12对训练集和验证集进行数据图像增强操作；
具体地，包括对训练集和验证集中的图片分别进行平移，旋转等操作，以扩充相应数据集。
S13搭建卷积神经网络框架，并进行神经网络训练；
具体地，首先使用VGG16网络提取自然场景图片的特征信息；然后对于每一层卷积得到的特征信息进行1*1的卷积得到特征向量；再分别将每个层级的多个特征向量相加再还原成原图片大小，得到不同层次的边缘信息图片。
本发明实施例中，使用Caffe(Convolutional Architecture for Fast FeatureEmbedding用于快速特征嵌入的卷积体系结构)框架搭建并进行神经网络训练，请参阅图1，其为本发明实施例的基于神经网络的图像边缘检测方法的整体网络结构示意图。所述特征提取网络由VGG16网络改进得到，VGG16是牛津大学计算机视觉组和DeepMind公司共同研发一种深度卷积网络，包含有5组卷积，每组卷积都使用3x3的卷积核，每组卷积操作后进行一个2x2最大池化层，接下来是进行三个全连接层。在进行高级别的神经网络训练时，可以先训练低级别的神经网络，用后者获得的权重初始化高级别的神经网络，可以加速神经网络的收敛。本实施例中，我们去掉了所有的全连接层和第5个池化层。并将VGG16中的每个卷积层都连接到一个核心大小为1x1且通道深度为21的卷积层。并且在每个特征图后面都有一个1×1的卷积层，然后，使用反卷积层将每个阶段获得的卷积结果相加还原成原图片大小。再通过S形函数层连接到每个阶段的反卷积层上对还原成的原图片进行分类。将所有反卷积层连接在一起。最后使用1×1的卷积层来融合来自每个阶段的特征图。
所述S形函数层为主要用来对还原的原图片进行分类。
S14计算每个特征图像素相对于像素标签的损失，数学公式为：
其中
其中，Y+和Y-分别表示正样本集合和负样本集合；
超参数λ用于平衡正样本和负样本；
像素i处的激活值和真实值的边缘概率分别由xi和yi表示；
P(X)是标准S形函数，w表示在体系结构中学习的所有参数。
因此，改进后的损失函数可以表示为：
是阶段k的激活值；是融合层的激活值；|I|是图像i中像素的数目；K是阶段的数目，本实施例中K等于5。
S15对神经网络训练过程中的各阶段进行参数设置；
具体地，对神经网络训练过程中的各阶段进行参数设置，在训练中，阶段1-5中的1×1的卷积层的权重从具有标准偏差0.01的零均值高斯分布初始化并且偏差初始化为0；融合阶段中的1×1conv层的权重被初始化到0.2，并且偏差被初始化为0。随机梯度下降最小批量在每次迭代中随机地采样10个图像。对于其他随机梯度下降超参数，全局学习率设为1e-6，每10k次迭代后将除以10。动量和重量衰减分别设定为0.9和0.0002。本发明实施例中对随机梯度下降进行40000次迭代。
S2:搭建及训练图像的特征融合网络，具体包括如下步骤：
S21搭建特征融合网络；
具体地，同样使用Caffe搭建特征融合网络，特征融合网络结构如图2所示，本发明实施例所提出的特征融合网络结构有三个组成部分：包括特征提取层，融合层和重构层。请参阅图2及如图5所示，各组成部分的功能及特征融合步骤方法如下：
S211、将两张输入图像(对应图2中输入1和输入2)分别依次输入到第一分离通道(对应图2中卷积1_1)和第二分离通道(对应图2中卷积1_2)以提取得到特征图像；
其中，第一分离通道由C11和C21组成，第二分离通道由C12和C22组成。所述第一分离通道的C11和第二分离通道的C12均包含3×3滤波器以提取边缘和角落等低级特征，所述第一分离通道的C21和第二分离通道的C22用于提取语义等高级特征。融合前信道的权重是捆绑的，C11和C12以及C21和C22共享相同的权重。
S212、将经过第一分离通道和第二分离通道得到两张特征图像(对应图2中特征1和特征2)的特征相加融合得到融合特征向量；
S213、再将得到融合特征向量进行3次3×3的卷积操作(对应图2中卷积2_1、卷积2_2、卷积2_3)，得到最终的融合结果。
S22对特征融合网络进行训练；
具体地，对于图像的特征融合网络，我们使用COCO数据集进行训练，该数据集由微软团队整理，共有328,000幅影像，可以进行分类，分割等常见的视觉任务的训练。
在训练特征融合的过程中所使用的损失函数如下：
假设{yk}＝{yk|k＝1，2}表示从输入图像对在像素位置p处提取的图像块，yf表示从CNN(Convolutional Neural Network,卷积神经网络)输出的同一位置p处的融合图像中提取的图像块。任何图像块都可以使用三个组件进行建模：结构(S)，亮度(l)和对比度(c)。将给定的图像块分解为这三个组件：
其中，||·||是图像块的L2范数，是yk的平均值，是减去平均值后的图像块。
由于较高的对比度值意味着较好的图像，所以将结果的期望对比值作为{ck}的最高对比度值，即，
所需结果的结构通过如下的输入图像块结构的加权求和来获得
并且
w是代表权值；是减去平均值后的图像块；
表示结构的结果的期望对比值。
估计的s和c被组合以产生期望的结果：
像素p的图像质量评分计算方式如下：
表示方差；表示和yf之间的协方差。
yf表示从CNN(Convolutional Neural Network,卷积神经网络)输出的同一位置p处的融合图像中提取的图像块。
损失函数计算如下：
S3将特征提取网络和特征融合网络进行特征融合，并将输出结果作为最终的图像边缘检测的结果；
具体地，将特征提取网络各层所提取到的特征图作为输入特征，输入到特征融合网络中，由特征融合网络将输入的特征进行融合成最终的图像边缘检测的结果。
S4将测试集输入到训练好的神经网络进行测试，并将最终的图像边缘检测的结果与标定好的真实数据作比较，以判断边缘检测的准确率。
具体地，由于BSDS500数据集是带有官方的评估函数的，评估代码由MATLAB编写，在MATLAB上使用官方的评估函数来评估我们所提出的方法，将测试集图片输入到训练好的神经网络，然后再将得到的图像边缘检测结果通过官方给出的代码与ground truth(标定好的真实数据)作比较，得到边缘检测的准确率。
本发明实施例所述方法已经经过实验测试证明是可行的，测试硬件环境包括：实验平台是一台PC，CPU为I 7 7700,GPU为GeForce 1080，内存为8G。实验数据集是同样采用的在自然图像边缘检测上使用较广的由伯克利大学提出的BSDS500数据集。该数据集包含200张训练图片，100张验证图片和200张测试图片，而且附带有官方的评估函数。在使用相同数据集的情况下采用本发明实施例所提出的方法比现有技术的最好方法准确率还要高出0.7％。
与现有技术相比，本发明实施例所提出的基于神经网络的图像边缘检测方法增加了特征融合的网络，在图像特征的利用上有更好的表现，也就是说提高了从VGG16中提取到的图像特征的利用率，因此，对那些会被深层神经网络所忽略的图像边缘上，本发明实施例所述方法能够更好的保留图像边缘上的细节，从而更能有效的提高自然图像边缘检测的准确率。
本发明实施例基于神经网络的图像边缘检测方法通过使用VGG16网络提取自然场景图片的特征信息；然后对于每一层卷积得到的特征信息进行卷积操作得到特征向量；再分别将每个层级的多个特征向量相加再还原成原图片大小，得到不同层次的边缘信息图片；最后，使用一个小型的卷积神经网络将各个层级的边缘信息进行融合得到最后的边缘检测结果。本发明实施例所述方法有效的提高了图像特征的利用率，从而更能有效的提高自然图像边缘检测的准确率。
实施例二：
本发明实施例还提供一种基于神经网络的图像边缘检测装置，请参阅图6，所述装置包括如下模块：
提取图像模块10，融合网络模块20、特征融合模块30以及检测判断模块40。
所述提取图像模块10，用于提取图像的特征；
所述提取图像模块10包括提取图像单元101、图像增强单元102、网络搭建训练单元103、损失计算单元104以及参数设置单元105。
所述提取图像单元101，用于在图像边缘检测数据集中提取相应数量的图片分别作为训练集、验证集以及测试集；
具体地，提取图像单元101从公开的自然图像边缘检测数据集BSDS500，该数据集由伯克利大学提出，包含200张训练图片作为训练集，100张验证图片作为验证集和200张测试图片作为测试集。
所述图像增强单元102，用于对训练集和验证集进行数据图像增强操作；
具体地，通过图像增强单元102对训练集和验证集中的图片分别进行平移，旋转等操作，以扩充相应数据集。
所述网络搭建训练单元103，用于搭建卷积神经网络框架，并进行神经网络训练；
本实施例中，使用Caffe(Convolutional Architecture for Fast FeatureEmbedding用于快速特征嵌入的卷积体系结构)框架搭建并进行神经网络训练，特征提取网络的结构参见图1，所述特征提取网络由VGG16网络改进得到，VGG16是牛津大学计算机视觉组和DeepMind公司共同研发一种深度卷积网络，包含有5组卷积，每组卷积都使用3x3的卷积核，每组卷积操作后进行一个2x2最大池化层，接下来是进行三个全连接层。在进行高级别的神经网络训练时，可以先训练低级别的神经网络，用后者获得的权重初始化高级别的神经网络，可以加速神经网络的收敛。本实施例中，我们去掉了所有的全连接层和第5个池化层。并将VGG16中的每个卷积层都连接到一个核心大小为1x1且通道深度为21的卷积层。并且在每个特征图后面都有一个1×1的卷积层，然后，使用反卷积层将每个阶段获得的卷积结果相加还原成原图片大小。再通过S形函数层连接到每个阶段的反卷积层。将所有反卷积层连接在一起。最后使用1×1的卷积层来融合来自每个阶段的特征图。
所述损失计算单元104，用于计算每个特征图像素相对于像素标签的损失；
数学公式为：
其中
其中，Y+和Y-分别表示正样本集合和负样本集合；
超参数λ用于平衡正样本和负样本；
像素i处的激活值和真实值的边缘概率分别由xi和yi表示；
P(X)是标准S形函数，w表示将在我们的体系结构中学习的所有参数。
因此，改进的损失函数可以表示为
是阶段k的激活值；是融合层的激活值；|I|是图像i中像素的数目；K是阶段的数目，本实施例中K等于5。
所述参数设置单元105，用于对神经网络训练过程中的各阶段进行参数设置；
具体地，对神经网络训练过程中的各阶段进行参数设置，在训练中，阶段1-5中的1×1的卷积层的权重从具有标准偏差0.01的零均值高斯分布初始化并且偏差初始化为0；融合阶段中的1×1conv层的权重被初始化到0.2，并且偏差被初始化为0。随机梯度下降最小批量在每次迭代中随机地采样10个图像。对于其他随机梯度下降超参数，全局学习率设为1e-6，每10k次迭代后将除以10。动量和重量衰减分别设定为0.9和0.0002。我们对随机梯度下降进行40000次迭代。
所述融合网络模块20，用于搭建特征融合网络以及对特征融合网络进行训练。
所述融合网络模块20包括融合网络搭建单元201和融合网络训练单元202。
所述融合网络搭建单元201，用于搭建特征融合网络；
具体地，同样使用Caffe搭建特征融合网络，特征融合网络结构如图2所示，所提出的特征融合网络结构结构有三个组成部分：特征提取层，融合层和重构层。
所述融合网络训练单元202，用于对特征融合网络进行训练；
具体地，对于图像的特征融合网络，我们使用COCO数据集进行训练，该数据集由微软团队整理，共有328,000幅影像，可以进行分类，分割等常见的视觉任务的训练。
在训练特征融合的过程中所使用的损失函数如下：
假设{yk}＝{yk|k＝1，2}表示从输入图像对在像素位置p处提取的图像块，yf表示从CNN(Convolutional Neural Network,卷积神经网络)输出的同一位置p处的融合图像中提取的图像块。任何图像块都可以使用三个组件进行建模：结构(S)，亮度(l)和对比度(c)。给定的图像块分解为这三个组件：
||·||是图像块的L2范数，是yk的平均值，是减去平均值后的图像块。
由于较高的对比度值意味着较好的图像，所以将结果的期望对比值作为{ck}的最高对比度值，即，
所需结果的结构通过如下的输入图像块结构的加权求和来获得；
并且
w是代表权值；是减去平均值后的图像块；
表示结构的结果的期望对比值。
估计的s和c被组合以产生期望的结果：
像素p的图像质量评分计算方式如下：
表示方差；表示和yf之间的协方差。
yf表示从CNN(Convolutional Neural Network,卷积神经网络)输出的同一位置p处的融合图像中提取的图像块。
损失函数计算如下：
所述特征融合模块30，用于将特征提取网络和特征融合网络进行特征融合，并将输出结果作为最终的图像边缘检测的结果。
检测判断模块40，用于测试集输入到训练好的神经网络进行测试，并将最终的图像边缘检测的结果与标定好的真实数据作比较，以判断边缘检测的准确率。
具体地，由于BSDS500数据集是带有官方的评估函数的，评估代码由MATLAB编写，在MATLAB上使用官方的评估函数来评估我们所提出的方法，将测试集图片输入到训练好的神经网络，然后通过检测判断模块40将得到的图像边缘检测结果通过官方给出的代码与ground truth(标定好的真实数据)作比较，得到边缘检测的准确率。
经试验测试证明，在使用相同数据集的情况下采用本发明实施例所提出的装置比现有技术相比对图像边缘检测的准确率还要高出0.7％。
与现有技术相比，本发明实施例所提出的基于神经网络的图像边缘检测装置通过增加融合网络模块，在图像特征的利用上有更好的表现，也就是说提高了从VGG16中提取到的图像特征的利用率，因此，对那些会被深层神经网络所忽略的图像边缘上，本发明实施例所述装置能够更好的保留图像边缘上的细节，从而更能有效的提高自然图像边缘检测的准确率。
实施例三：
根据本发明的一个实施例提供的一种基于神经网络的图像边缘检测设备，包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序，所述计算机程序被处理器执行时实现上述基于神经网络的图像边缘检测方法中的步骤，具体步骤如实施例一中描述所述，在此不再赘述。
本实施例中的存储器可用于存储软件程序以及各种数据。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
根据本实施例的一个示例，上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。该存储介质包括但不限于磁碟、优盘、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (10)

1.一种基于神经网络的图像边缘检测方法，其特征在于，包括步骤：
提取图像的特征；
搭建特征融合网络；
对特征融合网络进行训练；
将特征提取网络和特征融合网络进行特征融合，并将输出结果作为最终的图像边缘检测的结果；
将测试集输入到训练好的神经网络进行测试，并将最终的图像边缘检测的结果与标定好的真实数据作比较，以判断边缘检测的准确率。
2.根据权利要求1所述的基于神经网络的图像边缘检测方法，其特征在于，所述搭建特征融合网络包括步骤：
将两张输入图像分别依次输入到第一分离通道和第二分离通道以提取得到特征图像；
将经过第一分离通道和第二分离通道得到两张特征图像的特征相加融合得到融合特征向量；
将得到融合特征向量进行3次3×3的卷积操作，得到最终的融合结果。
3.根据权利要求1所述的基于神经网络的图像边缘检测方法，其特征在于，所述对特征融合网络进行训练包括：
像素p的图像质量评分计算方式如下：
表示方差；表示和yf之间的协方差；
{yk}＝{yk|k＝1，2}表示从输入图像对在像素位置p处提取的图像块；
yf表示从卷积神经网络输出的同一位置p处的融合图像中提取的图像块；
损失函数计算如下：
4.根据权利要求1所述的基于神经网络的图像边缘检测方法，其特征在于，所述提取图像的特征步骤包括：
在图像边缘检测数据集中提取相应数量的图片分别作为训练集、验证集以及测试集，并下载用来训练图像的特征提取网络；
对训练集和验证集进行数据图像增强操作；
搭建卷积神经网络框架，并进行神经网络训练；
计算每个特征图像素相对于像素标签的损失；
对神经网络训练过程中的各阶段进行参数设置。
5.根据权利要求4所述的基于神经网络的图像边缘检测方法，其特征在于，所述搭建卷积神经网络框架，并进行神经网络训练包括步骤：
提取自然场景图片的特征信息；
对每一层卷积得到的特征信息进行1*1的卷积操作得到特征向量；
将每个层级的多个特征向量相加再还原成原图片大小，得到不同层次的边缘信息图片。
6.根据权利要求4所述的基于神经网络的图像边缘检测方法，其特征在于，所述计算每个特征图像素相对于像素标签的损失的数学公式为：
其中
其中，Y+和Y-分别表示正样本集合和负样本集合；
超参数λ用于平衡正样本和负样本；
像素i处的激活值和真实值的边缘概率分别由xi和yi表示；
P(X)是标准S形函数，w表示将在我们的体系结构中学习的所有参数。
7.根据权利要求6所述的基于神经网络的图像边缘检测方法，其特征在于，所述改进后的损失函数为：
是阶段k的激活值；是融合层的激活值；|I|是图像i中像素的数目；K是阶段的数目。
8.根据权利要求4所述的基于神经网络的图像边缘检测方法，其特征在于，所述对训练集和验证集进行数据图像增强操作包括对训练集和验证集中的图片分别进行平移，旋转操作。
9.一种基于神经网络的图像边缘检测装置，应用于权利要求1至8任一项所述的基于神经网络的图像边缘检测方法，其特征在于，所述装置包括：
提取图像模块，用于提取图像的特征；
融合网络模块，用于搭建特征融合网络以及对特征融合网络进行训练；
特征融合模块，用于将特征提取网络和特征融合网络进行特征融合，并将输出结果作为最终的图像边缘检测的结果；
检测判断模块，用于测试集输入到训练好的神经网络进行测试，并将最终的图像边缘检测的结果与标定好的真实数据作比较，以判断边缘检测的准确率。
10.一种基于神经网络的图像边缘检测设备，其特征在于，包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述方法中的步骤。
CN201810836926.2A 2018-07-26 2018-07-26 一种基于神经网络的图像边缘检测方法、装置及其设备 Active CN109118504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810836926.2A CN109118504B (zh) 2018-07-26 2018-07-26 一种基于神经网络的图像边缘检测方法、装置及其设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810836926.2A CN109118504B (zh) 2018-07-26 2018-07-26 一种基于神经网络的图像边缘检测方法、装置及其设备

Publications (2)

Publication Number Publication Date
CN109118504A true CN109118504A (zh) 2019-01-01
CN109118504B CN109118504B (zh) 2021-03-30

Family

ID=64862256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810836926.2A Active CN109118504B (zh) 2018-07-26 2018-07-26 一种基于神经网络的图像边缘检测方法、装置及其设备

Country Status (1)

Country Link
CN (1) CN109118504B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933526A (zh) * 2019-03-06 2019-06-25 颐保医疗科技(上海)有限公司 中药材ai鉴别的图片测试方法
CN109949334A (zh) * 2019-01-25 2019-06-28 广西科技大学 基于深度强化网络残差连接的轮廓检测方法
CN110033469A (zh) * 2019-04-01 2019-07-19 北京科技大学 一种亚像素边缘检测方法及系统
CN110288573A (zh) * 2019-06-13 2019-09-27 天津大学 一种哺乳类家畜患病自动检测方法
CN111260645A (zh) * 2020-02-20 2020-06-09 中国科学院自动化研究所 基于分块分类深度学习的篡改图像检测方法及系统
CN112434744A (zh) * 2020-11-27 2021-03-02 北京奇艺世纪科技有限公司 一种多模态特征融合模型的训练方法及装置
CN116630425A (zh) * 2023-07-21 2023-08-22 长春市天之城科技有限公司 一种基于x光的食品智能检测系统
CN117745723A (zh) * 2024-02-20 2024-03-22 常熟理工学院 芯片引线键合质量检测方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107610140A (zh) * 2017-08-07 2018-01-19 中国科学院自动化研究所 基于深度融合修正网络的精细边缘检测方法、装置
CN107748798A (zh) * 2017-11-07 2018-03-02 中国石油大学(华东) 一种基于多层视觉表达和深度网络的手绘图像检索方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN107610140A (zh) * 2017-08-07 2018-01-19 中国科学院自动化研究所 基于深度融合修正网络的精细边缘检测方法、装置
CN107748798A (zh) * 2017-11-07 2018-03-02 中国石油大学(华东) 一种基于多层视觉表达和深度网络的手绘图像检索方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Y. LIU, M. CHENG, X. HU, K. WANG，X. BAI，ETAL: "《richer convolutional features for edge detection》", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
Y. LIU，ETAL: "《Richer Convolutional Features for Edge Detection》", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
张松龙等: "《基于全部卷积特征融合的显著性检测》", 《激光与光电子学进展》 *
徐岩等: "《基于多特征融合的卷积神经网络图像去雾算法》", 《激光与光电子学进展》 *
王一宁等: "《基于残差神经网络的图像超分辨率改进算法》", 《计算机应用》 *
王宇庆等: "《一种基于局部方差和结构相似度的图像质量评价方法》", 《光电子 激光》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949334A (zh) * 2019-01-25 2019-06-28 广西科技大学 基于深度强化网络残差连接的轮廓检测方法
CN109949334B (zh) * 2019-01-25 2022-10-04 广西科技大学 基于深度强化网络残差连接的轮廓检测方法
CN109933526A (zh) * 2019-03-06 2019-06-25 颐保医疗科技(上海)有限公司 中药材ai鉴别的图片测试方法
CN109933526B (zh) * 2019-03-06 2023-01-20 颐保医疗科技(上海)有限公司 中药材ai鉴别的图片测试方法
CN110033469B (zh) * 2019-04-01 2021-08-27 北京科技大学 一种亚像素边缘检测方法及系统
CN110033469A (zh) * 2019-04-01 2019-07-19 北京科技大学 一种亚像素边缘检测方法及系统
CN110288573A (zh) * 2019-06-13 2019-09-27 天津大学 一种哺乳类家畜患病自动检测方法
CN111260645A (zh) * 2020-02-20 2020-06-09 中国科学院自动化研究所 基于分块分类深度学习的篡改图像检测方法及系统
CN111260645B (zh) * 2020-02-20 2023-10-13 中国科学院自动化研究所 基于分块分类深度学习的篡改图像检测方法及系统
CN112434744A (zh) * 2020-11-27 2021-03-02 北京奇艺世纪科技有限公司 一种多模态特征融合模型的训练方法及装置
CN112434744B (zh) * 2020-11-27 2023-05-26 北京奇艺世纪科技有限公司 一种多模态特征融合模型的训练方法及装置
CN116630425A (zh) * 2023-07-21 2023-08-22 长春市天之城科技有限公司 一种基于x光的食品智能检测系统
CN116630425B (zh) * 2023-07-21 2023-09-22 长春市天之城科技有限公司 一种基于x光的食品智能检测系统
CN117745723A (zh) * 2024-02-20 2024-03-22 常熟理工学院 芯片引线键合质量检测方法、系统及存储介质
CN117745723B (zh) * 2024-02-20 2024-05-10 常熟理工学院 芯片引线键合质量检测方法、系统及存储介质

Also Published As

Publication number Publication date
CN109118504B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN109118504A (zh) 一种基于神经网络的图像边缘检测方法、装置及其设备
Ding et al. Semantic segmentation of large-size VHR remote sensing images using a two-stage multiscale training architecture
Klein et al. A dynamic convolutional layer for short range weather prediction
Kindermans et al. Learning how to explain neural networks: Patternnet and patternattribution
Wang et al. Rethinking image deraining via rain streaks and vapors
Abdollahi et al. Improving road semantic segmentation using generative adversarial network
CN108389224B (zh) 图像处理方法及装置、电子设备和存储介质
Yin et al. Fast and efficient implementation of image filtering using a side window convolutional neural network
Lu et al. Deep texture and structure aware filtering network for image smoothing
CN110852316A (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
CN111401516A (zh) 一种神经网络通道参数的搜索方法及相关设备
CN107958285A (zh) 面向嵌入式系统的神经网络的映射方法及装置
Cun et al. Defocus blur detection via depth distillation
CN110210524A (zh) 一种图像增强模型的训练方法、图像增强方法及装置
Fu et al. Edge-aware deep image deblurring
Zuo et al. HF-FCN: Hierarchically fused fully convolutional network for robust building extraction
Zhang et al. Feature pyramid network for diffusion-based image inpainting detection
CN112348828A (zh) 基于神经网络的实例分割方法和装置以及存储介质
CN113673545A (zh) 光流估计方法、相关装置、设备及计算机可读存储介质
CN112699832B (zh) 目标检测方法、装置、设备以及存储介质
CN111067522A (zh) 大脑成瘾结构图谱评估方法及装置
Qin et al. Etdnet: An efficient transformer deraining model
Cheng et al. Learning to refine depth for robust stereo estimation
Hu et al. Gabor-CNN for object detection based on small samples
CN113191489A (zh) 二值神经网络模型的训练方法、图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant