CN116664609A - 一种易部署的图像边缘检测方法、装置及其电子设备 - Google Patents

一种易部署的图像边缘检测方法、装置及其电子设备 Download PDF

Info

Publication number
CN116664609A
CN116664609A CN202310557211.4A CN202310557211A CN116664609A CN 116664609 A CN116664609 A CN 116664609A CN 202310557211 A CN202310557211 A CN 202310557211A CN 116664609 A CN116664609 A CN 116664609A
Authority
CN
China
Prior art keywords
image
feature
edge detection
edge
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310557211.4A
Other languages
English (en)
Inventor
彭宏
先荣豪
王军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xihua University
Original Assignee
Xihua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xihua University filed Critical Xihua University
Priority to CN202310557211.4A priority Critical patent/CN116664609A/zh
Publication of CN116664609A publication Critical patent/CN116664609A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像技术领域，且公开了一种易部署的图像边缘检测方法，包括以下步骤：S1：采用深度学习的技术，提取RGB图像中的边缘信息，采用端到端的方式，利用特征提取网络VGG16获得边缘特征图；S2：在图像融合模块中，采用ConvSNP技术构建特征提取模块，并利用注意力机制提取上下文特征；S3：图像边缘检测通过深度学习技术，将整个模型通过训练的方式进行学习，待检测图像通过图像边缘检测器后，直接输出边缘预测图。本发明提高了图像边缘检测装置的性能，边缘检测方法与常规的边缘检测算法相比，具有更好的检测性能，很大程度上解决了传统算法中易漏检、边缘不连贯、边缘不清晰的问题。

Description

一种易部署的图像边缘检测方法、装置及其电子设备
技术领域
本发明涉及图像技术领域，具体为一种易部署的图像边缘检测方法、装置及其电子设备。
背景技术
数字图像中的边缘提供了关于图像中包含的对象的重要信息，因为它们构成了图像中对象之间的边界。为了提取图像中对象的轮廓信息，我们必须检测边缘的完整信息，因此边缘检测是图像处理不可或缺的一部分。边缘信息可以作为图像处理任务的结果，也可以用作进一步解释图像任务中的中间信息，例如在：图像分割、对象识别、人脸识别、立体视觉等。边缘信息可以体现图像强度。
边缘检测技术可以大致分为三类：经典检测算子、基于小波的方法和基于学习的方法。经典方法通常采用微分算子获得图像的边缘轮廓，根据微分算子的阶数不同，可以分为：一阶微分算子方法、二阶微分算子方法。近年来，基于学习的边缘检测方法受到了关注，研究人员专注于从数据中学习适当的特征表示。
在经典的边缘检测方法中，“J.Canny,A computational approach to edgedetec-tion,IEEE Trans.Pattern Anal.Mach.Intell.8(6)(1986)679–698.”提出了一种多级边缘算法。Canny算法虽年代久远，但由于其方法具有的优点，仍被广泛使用。此方法使用高斯滤波平滑图像去除噪声，利用高斯滤波器(常见为5*5，可自行设定)；通过寻找图像的强度梯度，并应用非最大抑制技术消除边缘误检；使用双阈值的方式(阈值上界和阈值下界)，决定可能存在的潜在边界；利用滞后技术跟踪边界。
中国专利“CN114998377B一种图像的边缘检测方法、装置、电子设备及存储介质”提供了一种涉及图像处理技术的边缘检测方法。此专利中，图像边缘检测方式为：针对待检测图像的首行中每个像素，根据该像素对应的第一总灰度值和第一目标灰度值，计算出该像素对应的第二总灰度值；针对待检测图像中的每个其他像素，根据该其他像素对应的参考像素的第一总灰度值和第二目标灰度值，计算该其他像素对应的第一总灰度值，以及根据该其他像素对应的参考像素的第二总灰度值和第三目标灰度值，计算该其他像素对应的第二总灰度值；输出待检测图像对应的边缘检测图像，边缘检测图像中的每个像素的灰度值为该像素对应的第一灰度均值和第二灰度均值之间的差值。
“J.Canny,A computational approach to edge detec-tion,IEEETrans.Pattern Anal.Mach.Intell.8(6)(1986)679–698.”在进行边缘检测时，由于采用高斯滤波进行平滑去掉噪声，在一定程度上会导致边缘被平滑，使得边缘信息减弱；由于使用了双阈值方式，弱边缘信息和孤立的边缘信息会被剔除，并且由于双阈值是全局固定的，阈值的选择很大程度上会影响最终的边缘检测结果。
中国专利“CN114998377B一种图像的边缘检测方法、装置、电子设备及存储介质”所述的图像边缘检测方案，由于依赖待检测图像的首行像素值，会导致在进行边缘检测时，图像全局边缘像素信息利用不足，并且边缘之间的连贯性信息没有很好利用，对于孤立边缘容易漏检。
为此，我们提出了一种易部署的图像边缘检测方法、装置及其电子设备来解决问题。
发明内容
本发明的目的在于提供了一种易部署的图像边缘检测方法、装置及其电子设备，解决了上述背景技术中所提出的问题。
为实现上述目的，本发明提供如下技术方案：一种易部署的图像边缘检测方法，包括以下步骤：
S1：采用深度学习的技术，提取RGB图像中的边缘信息，采用端到端的方式，利用特征提取网络VGG16获得边缘特征图；
S2：在图像融合模块中，采用ConvSNP技术构建特征提取模块，并利用注意力机制提取上下文特征；
S3：图像边缘检测通过深度学习技术，将整个模型通过训练的方式进行学习，待检测图像通过图像边缘检测器后，直接输出边缘预测图。
优选的，S1的具体步骤为：
S1-1：输入图像，记为RGB；使用VGGl6网络作为特征提取网络，修改了原始VGG16版本中的部分结构，将所有全连接层删除从而使得整个特征提取网络具有端到端的特点；并将部分池化层删除，避免边缘定位信息存在模糊问题；
S1-2：此外参考特征金字塔网络构造方式，利用通道深度为21的1×1卷积层，得到特征图Feature_1、Feature_2、Feature_3、Feature_4、Feature_5，为了方便特征图融合，需要对图像进行上采样，在每个1×1×21的卷积层后接Deconv进行上采样。
4.优选的，S2的具体步骤为：
S2-1：ConvSNP神经元是一种受脉冲神经P系统的脉冲机制启发的新型神经元，将非线性脉冲神经P系统中的显著特征：非线性脉冲机制，引入到图像特征提取中，抽象出了一种新型神经元，一个常见的NSNP系统定义如下：
Π＝(o，σ1，σ2，...，σm，syn，W)
其中，
o＝{α}代表脉冲信息；
σ1，σ2，…，σm是m个非线性脉冲神经元，其形式为σ1＝(xi，ri)，1≤i≤m，xi∈R是神经元σi中包含的脉冲的初始值，表示σi的初始状态；ri是非线性脉冲规则，形式为其中T∈R表示的是触发阈值，g(xi)是一个线性或者非线性实函数，f(xi)是一个非线性函数；
其中对于所有的(i，j)∈syn，1≤i，j≤m，i≠j，W＝(wij)m×n是神经元中突触连接的权重矩阵，
在ConvSNP中设定两个假设：(i)每个神经元均处于点火状态；(ii)脉冲采用穷举消耗策略，可以将神经元的状态方程写成：
进一步推导可得：
其中x1(t)，x2(t)，...，xs(t)为t时刻神经元的状态，w1(t)，w2(t)，...，ws(t)为对应的权值；f()为非线性函数，综上提出了一个新的神经元模型：
其中，x＝[x1，x2，...，xs]T，f(x)＝[f(x1)，f(x2)，...，f(xs))]T，w＝[w1，w2，...，ws]T，上述为一个广义的线性函数，通过这种方式启发提出了ConvSNP神经元，可用于深度学习模型，搭建ConvSNP网络提取特征；
S2-2：为了进一步获取特征图中的上下文信息，在图像中添加上下文注意力机制，注意力机制可以很好的探究不同特征图中的丰富的上下文信息，可以进一步增强自注意力学习在2D特征图上进行视觉表示学习的能力；
S2-3：在特征提取网络VGG16提取到5张特征图后，首先将5张特征图进行Concat操作后，得到w×h×5的待融合特征图F，在注意力机制中，输入X与输出特征Y维度大小保持不变，将F输入到图像后，得到融合图M。
S3的具体步骤为：
S3-1：使用深度学习框架Pytorch搭建图像边缘检测模型，使用BSDS500、NYUD公开数据集对模型进行训练，并评价模型性能，训练好的模型权重文件用于预测待检测RGB图像的边缘图；
S3-2：将待检测图像输入后，图像边缘检测器利用通过训练得到的模型权重文件，直接将待检测图像的边缘预测图进行输出，完成边缘检测过程。
一种易部署的图像边缘检测装置，该装置主要包括：用于获取待检测的RGB图像信息采集模块；
外部学习模块；
边缘检测模块；
边缘输出模块；
信息采集模块的输出端与边缘检测模块的输入端信号连接；
边缘检测模块的输出端与边缘输出模块的输入端信号连接；
外部学习模块的输出端与边缘检测模块的输入端信号连接。
一种易部署的图像边缘检测电子设备，包括：
外部设备；
采集设备；
存储设备；
处理设备；
显示设备；
所述外部设备、采集设备、存储设备、处理设备显示设备均与电子设备连接
优选的，所述采集设备选用CMOS摄像头。
优选的，所述存储设备采用U盘、移动硬盘、只读存储器、随机存取存储器中的其中一种即可。
优选的，处理设备为处理器，选择现场可编程门阵列、数字信号处理器、中央处理单元，并使用CPU英特尔i5系列搭配4GB大小的RAM。
优选的，显示设备采用USB显示器、外接计算机显示屏中的其中一种即可。
本发明提供了一种易部署的图像边缘检测方法、装置及其电子设备。该易部署的图像边缘检测方法、装置及其电子设备具备以下有益效果：
(1)、本发明采用具有高性能的基于非线性脉冲神经P系统的图像特征融合算法，优化了图像边缘检测装置存在的误检问题。
(2)、本发明提高了图像边缘检测装置的性能，边缘检测方法与常规的边缘检测算法相比，具有更好的检测性能，很大程度上解决了传统算法中易漏检、边缘不连贯、边缘不清晰的问题。
(3)、本发明采用的图像边缘检测方法可以使用训练好的模型权重参数，快速方便地实现边缘检测工作，方式简单且易部署。
附图说明
图1为本发明图像边缘检测方法的流程示意图；
图2为本发明注意力机制示意图；
图3为本发明装置示意图；
图4为本发明电子设备示意图。
具体实施方式
如图1-4所示，本发明提供一种技术方案：一种易部署的图像边缘检测方法，包括以下步骤：
S1：采用深度学习的技术，提取RGB图像中的边缘信息，采用端到端的方式，利用特征提取网络VGG16获得边缘特征图，具体步骤为：
S1-1：输入图像，记为RGB；使用VGG16网络作为特征提取网络，修改了原始VGG16版本中的部分结构，将所有全连接层删除从而使得整个特征提取网络具有端到端的特点；并将部分池化层删除，避免边缘定位信息存在模糊问题；
S1-2：此外参考特征金字塔网络构造方式，利用通道深度为21的1×1卷积层，得到特征图Feature_1、Feature_2、Feature_3、Feature_4、Feature_5，为了方便特征图融合，需要对图像进行上采样，在每个1×1×21的卷积层后接Deconv进行上采样；
S2：在图像融合模块中，采用ConvSNP技术构建特征提取模块，并利用注意力机制提取上下文特征，具体步骤为：
S2-1：ConvSNP神经元是一种受脉冲神经P系统的脉冲机制启发的新型神经元，将非线性脉冲神经P系统中的显著特征：非线性脉冲机制，引入到图像特征提取中，抽象出了一种新型神经元，一个常见的NSNP系统定义如下：
Π＝(o，σ1，σ2，...，σm，syn，W)
其中，
O＝{α}代表脉冲信息；
σ1，σ2，…，σm是m个非线性脉冲神经元，其形式为σ1＝(xi，ri)，1≤i≤m，xi∈R是神经元σi中包含的脉冲的初始值，表示σi的初始状态；ri是非线性脉冲规则，形式为其中T∈R表示的是触发阈值，g(xi)是一个线性或者非线性实函数，f(xi)是一个非线性函数；
其中对于所有的(i，j)∈syn，1≤i，j≤m，i≠j，w＝(wij)m×n是神经元中突触连接的权重矩阵，
在ConvSNP中设定两个假设：(i)每个神经元均处于点火状态；(ii)脉冲采用穷举消耗策略，可以将神经元的状态方程写成：
进一步推导可得：
其中x1(t)，x2(t)，...，xs(t)为t时刻神经元的状态，w1(t)，w2(t)，...，ws(t)为对应的权值；f()为非线性函数，综上提出了一个新的神经元模型：
其中，x＝[x1，x2，...，xs]T，f(x)＝[f(x1)，f(x2)，...，f(xs))]T，w＝[w1，w2，...，ws]T，上述为一个广义的线性函数，通过这种方式启发提出了ConvSNP神经元，可用于深度学习模型，搭建ConvSNP网络提取特征；
S2-2：为了进一步获取特征图中的上下文信息，在图像中添加上下文注意力机制，注意力机制可以很好的探究不同特征图中的丰富的上下文信息，可以进一步增强自注意力学习在2D特征图上进行视觉表示学习的能力；
S2-3：在特征提取网络VGG16提取到5张特征图后，首先将5张特征图进行Concat操作后，得到w×h×5的待融合特征图F，在注意力机制中，输入X与输出特征Y维度大小保持不变，将F输入到图像后，得到融合图M；
S3：图像边缘检测通过深度学习技术，将整个模型通过训练的方式进行学习，待检测图像通过图像边缘检测器后，直接输出边缘预测图，具体步骤为：
S3-1：使用深度学习框架Pytorch搭建图像边缘检测模型，使用BSDS500、NYUD公开数据集对模型进行训练，并评价模型性能，训练好的模型权重文件用于预测待检测RGB图像的边缘图；
S3-2：将待检测图像输入后，图像边缘检测器利用通过训练得到的模型权重文件，直接将待检测图像的边缘预测图进行输出，完成边缘检测过程；
一种易部署的图像边缘检测装置，该装置主要包括：用于获取待检测的RGB图像信息采集模块301；
外部学习模块302；
边缘检测模块303；
边缘输出模块304；
信息采集模块301的输出端与边缘检测模块303的输入端信号连接；
边缘检测模块303的输出端与边缘输出模块304的输入端信号连接；
外部学习模块302的输出端与边缘检测模块303的输入端信号连接；
在深度学习设备上，利用Pytorch深度学习框架搭建模型，并通过训练的方式，学习用于边缘检测模块303中的边缘检测算法模型权重；边缘检测模块303，利用训练好的模型权重参数文件，直接对待检测的RGB图像进行图像边缘检测；边缘输出模块304，将得到的边缘图像进行输出；
一种易部署的图像边缘检测电子设备，包括：
外部设备401；
采集设备402：选用CMOS摄像头；
存储设备403：采用移动硬盘；
处理设备404：选为处理器，选择现场可编程门阵列、数字信号处理器、中央处理单元，并使用CPU英特尔i5系列搭配4GB大小的RAM；
显示设备405：采用USB显示器；
所述外部设备401、采集设备402、存储设备403、处理设备404显示设备405均与电子设备400连接；
为了更好的训练图像边缘检测模型以及评估模型的有效性，因此，使用两个公开数据集BSDS500、NYUD对模型进行训练，并在这两个数据集上对模型进行评估，并通过与常见的边缘检测方法进行对比，验证模型的性能；
在图像边缘检测算法的评估过程中，需要设定一个阈值来生成二值边缘图，设置阈值有两种选择：ODS、OIS，其中ODS(Optimal Dataset Scale)、OIS(Optimal ImageScale)分别表示全局最优阈值与每幅图像的最佳阈值。ODS最佳数据集尺度，是对数据集中所有图像使用相同的阈值；OIS最优图像尺度，是为每张图像选择最佳阈值。ODS与OIS的值越高，对应的边缘检测方法效果越好。选取阈值的目的是为了得到更好的F-Measure。
Measure是Precision和Recall的调和平均数：
通常情况下取β＝1。其中，Precision和Recall分别表示精确率和召回率；
Precision表示在图像边缘检测得到的边缘预测图中，边缘像素是真实边缘像素的概率；Recall表示检测到的真实边缘像素占所有真实边缘像素的概率，真正例(TruePositive,TP)、假负例(False Negative,FN)、假正例(False Positive,FP)。
定量评估结果如下表：
表1：BSDS500数据集上最先进算法的评价结果比较。
表2：NYUD数据集上最先进算法的评价结果比较。
Method ODS OIS AP
gPb_ucm 0.632 0.601 0.562
SE 0.651 0.667 –
SemiContour 0.68 0.7 0.69
OEF 0.695 0.708 0.679
RCF(RGB) 0.729 0.742 –
HED(RGB) 0.72 0.734 0.786
LPCB(RGB) 0.739 0.754 –
BDCN(RGB) 0.748 0.763 0.77
AMH(RGB) 0.744 0.758 –
PiDiNet(RGB) 0.733 0.747 0.765
ED-CFFMCI(Ours) 0.741 0.754 0.766

Claims (10)

1.一种易部署的图像边缘检测方法，其特征在于，包括以下步骤：
S1：采用深度学习的技术，提取RGB图像中的边缘信息，采用端到端的方式，利用特征提取网络VGG16获得边缘特征图；
S2：在图像融合模块中，采用ConvSNP技术构建特征提取模块，并利用注意力机制提取上下文特征；
S3：图像边缘检测通过深度学习技术，将整个模型通过训练的方式进行学习，待检测图像通过图像边缘检测器后，直接输出边缘预测图。
2.根据权利要求1所述的一种易部署的图像边缘检测方法，其特征在于，S1的具体步骤为：
S1-1：输入图像，记为RGB；使用VGG16网络作为特征提取网络，修改了原始VGG16版本中的部分结构，将所有全连接层删除从而使得整个特征提取网络具有端到端的特点；并将部分池化层删除，避免边缘定位信息存在模糊问题；
S1-2：此外参考特征金字塔网络构造方式，利用通道深度为21的1×1卷积层，得到特征图Feature_1、Feature_2、Feature_3、Feature_4、Feature_5，为了方便特征图融合，需要对图像进行上采样，在每个1×1×21的卷积层后接Deconv进行上采样。
3.根据权利要求1所述的一种易部署的图像边缘检测方法，其特征在于，S2的具体步骤为：
S2-1:ConvSNP神经元是一种受脉冲神经P系统的脉冲机制启发的新型神经元，将非线性脉冲神经P系统中的显著特征：非线性脉冲机制，引入到图像特征提取中，抽象出了一种新型神经元，一个常见的NSNP系统定义如下：
Π＝(o,σ1,σ2,...,σm,syn,W)
其中，
0＝{α}代表脉冲信息；
σ1，σ2，...，σm是m个非线性脉冲神经元，其形式为σ1＝(xi，ri)，1≤i≤m，xi∈R是神经元σi中包含的脉冲的初始值，表示σi的初始状态；ri是非线性脉冲规则，形式为其中T∈R表示的是触发阈值，g(xi)是一个线性或者非线性实函数，f(xi)是一个非线性函数；
其中对于所有的(i，j)∈syn，1≤i，j≤m，i≠j，
W＝(wij)m×n是神经元中突触连接的权重矩阵，
在ConvSNP中设定两个假设：(i)每个神经元均处于点火状态；(ii)脉冲采用穷举消耗策略，可以将神经元的状态方程写成：
进一步推导可得：
其中x1(t)，x2(t),...,xs(t)为t时刻神经元的状态，x1(t)，x2(t),...,ws(t)为对应的权值；f()为非线性函数，综上提出了一个新的神经元模型：
其中，x＝[x1，x2，...，xs]T，f(x)＝[f(x1)，f(x2)，...，f(xs))]T，w＝[w1，w2，...，ws]T，上述为一个广义的线性函数，通过这种方式启发提出了ConvSNP神经元，可用于深度学习模型，搭建ConvSNP网络提取特征；
S2-2：为了进一步获取特征图中的上下文信息，在图像中添加上下文注意力机制，注意力机制可以很好的探究不同特征图中的丰富的上下文信息，可以进一步增强自注意力学习在2D特征图上进行视觉表示学习的能力；
S2-3：在特征提取网络VGG16提取到5张特征图后，首先将5张特征图进行Concat操作后，得到w×h×5的待融合特征图F，在注意力机制中，输入X与输出特征Y维度大小保持不变，将F输入到图像后，得到融合图M。
4.根据权利要求1所述的一种易部署的图像边缘检测方法，其特征在于，S3的具体步骤为：
S3-1：使用深度学习框架Pytorch搭建图像边缘检测模型，使用BSDS500、NYUD公开数据集对模型进行训练，并评价模型性能，训练好的模型权重文件用于预测待检测RGB图像的边缘图；
S3-2：将待检测图像输入后，图像边缘检测器利用通过训练得到的模型权重文件，直接将待检测图像的边缘预测图进行输出，完成边缘检测过程。
5.一种易部署的图像边缘检测装置，其特征在于，该装置主要包括：用于获取待检测的RGB图像信息采集模块(301)；
外部学习模块(302)；
边缘检测模块(303)；
边缘输出模块(304)；
信息采集模块(301)的输出端与边缘检测模块(303)的输入端信号连接；
边缘检测模块(303)的输出端与边缘输出模块(304)的输入端信号连接；
外部学习模块(302)的输出端与边缘检测模块(303)的输入端信号连接。
6.一种易部署的图像边缘检测电子设备，其特征在于，包括：
外部设备(401)；
采集设备(402)；
存储设备(403)；
处理设备(404)；
显示设备(405)；
所述外部设备(401)、采集设备(402)、存储设备(403)、处理设备(404)显示设备(405)均与电子设备(400)连接。
7.根据权利要求6所述的一种易部署的图像边缘检测电子设备，其特征在于，采集设备(402)选用CMOS摄像头。
8.根据权利要求6所述的一种易部署的图像边缘检测电子设备，其特征在于，存储设备(403)采用U盘、移动硬盘、只读存储器、随机存取存储器中的其中一种即可。
9.根据权利要求6所述的一种易部署的图像边缘检测电子设备，其特征在于，处理设备(404)为处理器，选择现场可编程门阵列、数字信号处理器、中央处理单元，并使用CPU英特尔i5系列搭配4GB大小的RAM。
10.根据权利要求6所述的一种易部署的图像边缘检测电子设备，其特征在于，显示设备(405)采用USB显示器、外接计算机显示屏中的其中一种即可。
CN202310557211.4A 2023-05-17 2023-05-17 一种易部署的图像边缘检测方法、装置及其电子设备 Pending CN116664609A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310557211.4A CN116664609A (zh) 2023-05-17 2023-05-17 一种易部署的图像边缘检测方法、装置及其电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310557211.4A CN116664609A (zh) 2023-05-17 2023-05-17 一种易部署的图像边缘检测方法、装置及其电子设备

Publications (1)

Publication Number Publication Date
CN116664609A true CN116664609A (zh) 2023-08-29

Family

ID=87708918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310557211.4A Pending CN116664609A (zh) 2023-05-17 2023-05-17 一种易部署的图像边缘检测方法、装置及其电子设备

Country Status (1)

Country Link
CN (1) CN116664609A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824512A (zh) * 2023-08-28 2023-09-29 西华大学 一种27.5kV可视化接地刀闸状态识别方法及装置
CN118072027A (zh) * 2024-04-18 2024-05-24 西华大学 一种腺体分割方法、装置及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824512A (zh) * 2023-08-28 2023-09-29 西华大学 一种27.5kV可视化接地刀闸状态识别方法及装置
CN116824512B (zh) * 2023-08-28 2023-11-07 西华大学 一种27.5kV可视化接地刀闸状态识别方法及装置
CN118072027A (zh) * 2024-04-18 2024-05-24 西华大学 一种腺体分割方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Zhu et al. A deep learning approach to patch-based image inpainting forensics
Ali et al. Structural crack detection using deep convolutional neural networks
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
Yin et al. Hot region selection based on selective search and modified fuzzy C-means in remote sensing images
CN116664609A (zh) 一种易部署的图像边缘检测方法、装置及其电子设备
CN110033040B (zh) 一种火焰识别方法、系统、介质和设备
CN110826429A (zh) 一种基于景区视频的旅游突发事件自动监测的方法及系统
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN109977968B (zh) 一种深度学习分类后比较的sar变化检测方法
CN111524117A (zh) 一种基于特征金字塔网络的隧道表面缺陷检测方法
CN114187520B (zh) 一种建筑物提取模型的构建及应用方法
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
CN109003275A (zh) 焊缝缺陷图像的分割方法
CN112308087A (zh) 基于动态视觉传感器的一体化成像识别系统和方法
Chen et al. Multi-scale attention networks for pavement defect detection
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN116977738A (zh) 一种基于知识增强型深度学习的交通场景目标检测方法及系统
CN115690597A (zh) 一种基于深度背景差分的遥感影像城市地物变化检测方法
Yuan et al. Graph neural network based multi-feature fusion for building change detection
CN111597973A (zh) 利用机器视觉检测盐渍海参合格品掺假情况的方法
CN112016490B (zh) 基于生成对抗学习的行人属性识别方法
Geetha et al. Automatic Detection of Cervical Cancer Using UKF and ACM-AHP'
CN114842309B (zh) 一种熟悉场景下熟悉目标的优化识别方法
CN113610857B (zh) 一种基于残差网络的苹果分级方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination