CN113255704B - 一种基于局部二值模式的像素差卷积边缘检测方法 - Google Patents

一种基于局部二值模式的像素差卷积边缘检测方法 Download PDF

Info

Publication number
CN113255704B
CN113255704B CN202110791743.5A CN202110791743A CN113255704B CN 113255704 B CN113255704 B CN 113255704B CN 202110791743 A CN202110791743 A CN 202110791743A CN 113255704 B CN113255704 B CN 113255704B
Authority
CN
China
Prior art keywords
convolution
pixel difference
edge detection
pixel
difference convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110791743.5A
Other languages
English (en)
Other versions
CN113255704A (zh
Inventor
刘文哲
苏卓
刘丽
白亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110791743.5A priority Critical patent/CN113255704B/zh
Publication of CN113255704A publication Critical patent/CN113255704A/zh
Application granted granted Critical
Publication of CN113255704B publication Critical patent/CN113255704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Abstract

本发明公开了一种基于局部二值模式的像素差卷积边缘检测方法，包括如下步骤：S1.构建像素差异卷积以替换深度卷积神经网络中的普通卷积层，建立像素差异卷积神经网络；S2.使用像素差异卷积神经网络对图像进行边缘检测，输出边缘检测结果。本发明将像素差异应用于受HED启发的三模块结构的主干网络中，提出了两类像素差异卷积神经网络，即RPD‑CNN和APD‑CNN，而没有引入任何额外的参数，以提高深度学习网络的检测边缘能力。基于像素差异卷积的主干网络可以为后续的侧面输出模块和特征融合模块提供初步的特征提取。

Description

一种基于局部二值模式的像素差卷积边缘检测方法
技术领域
本发明涉及边缘检测技术领域，具体涉及一种基于局部二值模式的像素差卷积边缘检测方法。
背景技术
作为计算机视觉中一个长期存在的、基础而具有挑战性的问题，边缘检测已经成为深度学习研究最广泛的问题之一，并且已经发表提出了许多典型方法。边缘检测旨在从图像中提取物体级别的轮廓和视觉上由亮度、颜色等产生的显著边缘。基于边缘检测也存在各种更高级别的应用，包括物体检测、检测建议生成和图像分割。
大多数传统的边缘检测方法首先会计算某些特征值的一阶导数，例如强度梯度，然后应用复杂的学习算法将每个像素标识为边缘还是非边缘。传统的边缘检测方法是基于低级特征的，并且所使用的学习算法通常较浅显，因此无法表示高级语义信息，故在富含语义信息的边缘检测任务中具有一定的局限性。
同其他许多计算机任务一样，自从深度卷积神经网络（DCNN）进入边缘检测领域以来，性能有了显著的进步。DCNN强大的能力可以自动学习多个抽象级别上的自然图像的特征表示，故DCNN特别擅长学习用于物体识别的更深层语义特征，然而由普通卷积构建的网络缺乏捕获细粒度图像模式的能力，从而限制了有效和高效地提取更丰富的边缘相关信息。
发明内容
本发明要解决的技术问题是针对现有技术的不足而提供一种基于局部二值模式的像素差卷积边缘检测方法，以提高深度学习网络的检测边缘能力。
为解决上述技术问题，本发明的内容包括：
一种基于局部二值模式的像素差卷积边缘检测方法，所述方法包括如下步骤：
S1. 构建像素差异卷积以替换深度卷积神经网络中的普通卷积层，建立像素差异卷积神经网络；所述像素差异卷积为径向像素差异卷积：在输入特征图
Figure DEST_PATH_IMAGE001
上，依其内核大小，对局部邻域
Figure DEST_PATH_IMAGE002
进行采样；在后续的聚合中，首先将局部邻域
Figure 91824DEST_PATH_IMAGE002
中的每个像素的强度值减去区域中心像素的强度值，然后再通过可学习的权重
Figure DEST_PATH_IMAGE003
，以加权求和的方式来处理差值，即对中心像素及其圆对称邻域之间的差进行编码；
S2. 使用像素差异卷积神经网络对图像进行边缘检测，输出边缘检测结果。
进一步的，所述深度卷积神经网络使用VGG16结构作为主干网络，并在5个卷积阶段中均利用每一层的特征图，提供不同尺度的感知领域。
进一步的，所述径向像素差异卷积的输出特征图
Figure DEST_PATH_IMAGE004
用公式表示为：
Figure DEST_PATH_IMAGE005
其中，
Figure DEST_PATH_IMAGE006
表示局部区域
Figure 851707DEST_PATH_IMAGE002
中中心像素点的所在位置，
Figure DEST_PATH_IMAGE007
表示枚举
Figure 224920DEST_PATH_IMAGE002
中的像素位置。
进一步的，综合强度语义信息后，所述径向像素差异卷积的输出特征图
Figure DEST_PATH_IMAGE008
用公式表示为：
Figure DEST_PATH_IMAGE009
Figure DEST_PATH_IMAGE010
其中，超参数θ∈[0,1]为权衡强度信息和梯度信息对边缘检测预测结果的贡献，且其为可学习的值。
一种基于局部二值模式的像素差卷积边缘检测方法，所述方法包括如下步骤：
S1. 构建像素差异卷积以替换深度卷积神经网络中的普通卷积层，建立像素差异卷积神经网络；所述像素差异卷积为角向像素差异卷积：在输入特征图
Figure DEST_PATH_IMAGE011
上，依其内核大小，对局部邻域
Figure 881115DEST_PATH_IMAGE002
进行采样；在后续的聚合中，对与当前位置相同的切比雪夫距离上的相邻像素之间的差值进行编码，以保留角度信息；
S2. 使用像素差异卷积神经网络对图像进行边缘检测，输出边缘检测结果。
进一步的，所述深度卷积神经网络使用VGG16结构作为主干网络，并在5个卷积阶段中均利用每一层的特征图，提供不同尺度的感知领域。
进一步的，所述切比雪夫距离
Figure DEST_PATH_IMAGE012
。
进一步的，所述角向像素差异卷积的输出特征图
Figure 288963DEST_PATH_IMAGE004
用公式表示为：
Figure DEST_PATH_IMAGE013
其中，
Figure DEST_PATH_IMAGE014
表示局部区域
Figure DEST_PATH_IMAGE015
中中心像素点的所在位置，
Figure DEST_PATH_IMAGE016
表示枚举
Figure DEST_PATH_IMAGE017
中的像素位置，
Figure DEST_PATH_IMAGE018
表示与中心像素半径相同的点集中的相邻位置。
进一步的，综合强度语义信息后，所述角向像素差异卷积的输出特征图
Figure DEST_PATH_IMAGE019
用公式表示为：
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
其中，超参数θ∈[0,1]为权衡强度信息和梯度信息对边缘检测预测结果的贡献，且其为可学习的值。
本发明的有益效果是：
为了结合深度学习的高级语义特征和传统局部二值模式（LBP）的低级图像特征提取能力，本发明提出了一种新颖的善于提取局部区域中差异特征的像素差异卷积操作（Pixel Difference Convolution，PDC），并将该像素差异卷积应用至边缘检测任务中，与流行的多尺度边缘检测网络模型相结合，进一步提出了径向和角向共两类像素差异卷积神经网络：径向像素差异卷积神经网络（RPD-CNN）和角向像素差异卷积神经网络（APD-CNN），将RPDC和APDC直接替换DCNN结构中的普通卷积层，实现了显著边缘图案的检测。它们融合了局部二值模式描述子的传统智慧和深度卷积网络DCNN的数据驱动优势，能够捕获图像更丰富的语义边缘模式，从而提高了深度学习网络检测边缘的能力。
最后，本发明训练了边缘检测模型，其中仅提供有限的训练数据（仅为广泛使用的ImageNet数据集的1/10）用于骨干网络的预训练，发现本发明的算法在BSDS500、NYUD和multicue等公共数据集上与现有的、在完整ImageNet数据集上预训练主干网络的最新方法相当，甚至更好。实验结果表明，本发明所提出的新型卷积方法的网络对于边缘检测非常有前途，并且在模型训练方面的速度比现有技术快。
附图说明
图1是本发明提出网络的动机说明图；其中，
图1（a）为原始强度图像；
图1（b）为图1（a）的像素差异特征图（沿
Figure DEST_PATH_IMAGE023
轴）；
图2是本发明与其它边缘检测方法对比图；
图3是本发明局部差异算子的示意图；图3（a）表示径向像素差异（RPD），图3（b）表示角向像素差异（APD）；
图4是标准卷积层与本发明提出的径向像素差异卷积层和角向差异卷积层对比图；图4（a）表示标准卷积，图4（b1）表示径向像素差异卷积，图4（b2）表示角向像素差异卷积；
图5是BSDS500数据集上边缘检测结果的PR曲线示意图；
图6是NYUD数据集上边缘检测结果的PR曲线示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提出了一种基于局部二值模式的像素差卷积边缘检测方法，包括如下步骤：
S1. 构建像素差异卷积以替换深度卷积神经网络中的普通卷积层，建立像素差异卷积神经网络；
S2. 使用像素差异卷积神经网络对图像进行边缘检测，输出边缘检测结果。
局部二值模式（LBP）的主要属性是其辨别力、图像灰度变化的鲁棒性、简洁性和计算效率。本发明将传统局部二值模式与DCNN相结合，使用局部像素差异，而不是原始像素值作为标准卷积层输入的主要目的是突出显示强度的局部变化，从而促进边缘图案的出现，并增加深度学习网络检测边缘的能力。从另一个角度来看，本发明提出的像素差异卷积可以加强特征映射中局部像素之间空间关系的编码，这对于边缘检测至关重要，因为边缘轮廓实质上是局部特征语义变化的反映。
如图1所示为本发明提出网络的动机说明。图1（a）是原始强度图像，图1（b）是其像素差异特征图（沿
Figure 672277DEST_PATH_IMAGE023
轴）。显然，像素差异特征图突出显示了边缘信息，这对于边缘检测是有益的。因此，本发明设计了图4中所示的网络体系结构，每幅图从左向右依次为卷积滤波器、输入特征图和输出特征图。受如图1所示的大多数传统边缘检测方法的特点以及局部二值模式描述符在描述局部图像模式时的巨大成功所启发，本发明提出了径向像素差异卷积（Radial Pixel Difference Convolution，RPDC）（如图4（b1））和角向像素差异卷积（Angular Pixel Difference Convolution，APDC）（如图4（b2）），它们均可以直接在已有的DCNN中有效地替代标准卷积。
如图4所示，普通卷积平滑了内核窗口中的像素，并限制了局部的梯度信息，而忽略了像素点之间的交互。因此，本发明将像素差异应用于受HED启发的三模块结构的主干网络中。通过用提出的PDC层替换普通卷积层，本发明提出了两类像素差异卷积神经网络（PD-CNN），即RPD-CNN和APD-CNN，而没有引入任何额外的参数。基于像素差异卷积的主干网络可以为后续的侧面输出模块和特征融合模块提供初步的特征提取。遵循RCF的结构，本发明选择了应用最广泛的VGG16结构作为主干网络，并且依此用RPDC和APDC代替了正常的普通卷积运算，并在5个卷积阶段中均利用了每一层的特征图，提供不同尺度的感知领域。
径向像素差异卷积（RPDC）：与普通卷积在采样窗口上很类似，但是在聚合时体现了不同优先级。具体来说，它首先在输入特征图
Figure 1628DEST_PATH_IMAGE023
上，依其内核大小，对局部邻域
Figure DEST_PATH_IMAGE024
进行采样；在后续的聚合中，首先将局部邻域
Figure DEST_PATH_IMAGE025
中的每个像素的强度值减去区域中心像素的强度值，然后再通过可学习的权重
Figure DEST_PATH_IMAGE026
，以加权求和的方式来处理差值，即对中心像素及其圆对称邻域之间的差进行编码。因此，输出特征图
Figure DEST_PATH_IMAGE027
可以用图3中的（a）表示，并可以用公式表示为：
Figure DEST_PATH_IMAGE028
对于边缘检测任务，强度信息和梯度信息对于各式各样的边缘都是至关重要的，也表明将普通卷积与像素差卷积相结合是增强模型能力，以进行更鲁棒的边缘检测的可行方式之一。因此，本发明将径向像素差异卷积（RPDC）以公式形式概括为：
Figure DEST_PATH_IMAGE029
Figure DEST_PATH_IMAGE030
Figure DEST_PATH_IMAGE031
其中，
Figure 840008DEST_PATH_IMAGE014
表示局部区域
Figure 836783DEST_PATH_IMAGE025
中中心像素点的所在位置，
Figure DEST_PATH_IMAGE032
表示枚举
Figure 954781DEST_PATH_IMAGE025
中的像素位置，超参数θ∈[0,1]为权衡强度信息和梯度信息对边缘检测预测结果的贡献，且其为可学习的值。
超参数
Figure DEST_PATH_IMAGE033
的值越高，意味着径向差异信息的重要性就越高。因此 ，RPDC倾向于在对局部感受野区域进行采样之后，汇总采样值的径向梯度信息。
除了径向像素差异卷积（RPDC），本发明进一步地扩展新型卷积——角向像素差异卷积（APDC）。与RPDC一样，APDC可以直接替代网络结构中的普通卷积，而无需进一步调整。具体来说，如图4（b2）所示，角向像素差异卷积（APDC）对与当前位置相同的切比雪夫距离（通常为d=1）上的相邻像素之间的差值进行编码，以保留角度信息。APDC数学上的公式为：
Figure DEST_PATH_IMAGE034
与RPDC相似，在综合强度语义信息后，将其公式可以进一步概括为：
Figure DEST_PATH_IMAGE035
Figure DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE037
其中，
Figure DEST_PATH_IMAGE038
，
Figure 83011DEST_PATH_IMAGE016
，和
Figure 85603DEST_PATH_IMAGE033
具有与上述参数的相同含义。
Figure DEST_PATH_IMAGE039
表示与中心像素半径相同的点集中的相邻位置，如图3（b）所示。
图2是本发明与其它边缘检测方法的对比图。图2中从左到右依次为：（a）来自BSDS500的原始图像；（b）数据集GroundTruth标注；（c）使用普通卷积的最新边缘检测方法RCF；（d）本发明提出的RPDC方法；（e）本发明提出的APDC方法。由图2可以看出，本发明所提出的方法可以更好地捕获细粒度的边缘图案，从而获得更好的性能。图2中显示的一些定性结果，在主干网络结构的训练图像数据集规模受限的情况下，本发明的方法比目前最优的边缘检测模型RCF具有更高的置信度和准确性来定位边缘，尤其是在恶劣的照明条件下。
与普通卷积相比：如图3所示，如果
Figure 202463DEST_PATH_IMAGE025
是3×3的局部区域，本发明提出的RPDC可以认为是首先提取了8个不同的特征映射，其是通过原始特征图中的每个像素减去其所对应的相邻像素，然后将8个像素差异特征图以可学习的
Figure DEST_PATH_IMAGE040
为权重，即可获得局部的像素差异特征映射。因此，与普通卷积相比，RPDC的性能更有可能得到增强。APDC也以此类推。
与局部二值模式卷积（LBConv）相比：LBConv使用固定的过滤器进行局部的特征聚合。而本发明提出的PDC恰恰相反，其中的过滤器是由数据驱动的、可学习的，因此具有更强的表示能力。它克服了LBConv中稀疏机制的局限性，以及LBConv仅对径向差异做出响应的问题。
图4是标准卷积层与本发明提出的径向像素差异卷积（RPDC）层和角向差异卷积（APDC）层的对比图。如图4所示，普通卷积仅以加权求和方式简单统一地对待局部信息或者模式，这无疑将使局部细节中的差异信息变得平滑。因此，由普通卷积建立的DCNN鼓励相邻像素之间的相似响应，而这恰恰与边缘检测的事实特性相反：边缘是局部差异模式的组成部分或由高度相互依赖的局部像素所组成的，从而导致普通的DCNN无法生成精确的边缘概率图，如图2所示。
实验验证：
实验数据：利用边缘检测任务中广泛使用的BSDS500（Berkeley SegmentationDataset and Benchmark）数据集展开实验以验证本发明的模型性能。它包含200张用于训练的图像，100张用于验证的图像和200张用于测试的图像。每张图像都有多个标注，最终的ground truth是取所有标注的平均值。本发明合并训练集和验证集共同用于模型的训练，并在测试集上评估边缘检测模型；沿用数据增强方法，通过随机翻转、缩放和旋转图像来增强训练和验证集，并补充PASCAL VOC Context数据集应用于训练，用于模型的调整阶段。
为了进行更加全面的性能比较，本发明还检查了模型在NYU Depth数据集（NYUD）和multicue数据集上的性能。NYUD数据集包含1449个密集标记的、从室内场景捕获的图像，并且包含了RGB图像和深度图像。该数据集已在诸多工作中用于边缘检测。Gupta \ etal将原始数据集分为381个训练图像，414个验证图像和654个测试图像。本发明遵循该公认的设置，用全分辨率的train和val集来训练本发明的模型，分别以RGB图像和深度图像进行训练；multicue数据集包含100个自然场景的双目短视频序列，其中每个场景分别具有从左视图和右视图截取的两串各10帧的序列。其中，左视图序列的最后一帧图像有区别地标注有低级边缘特征和对象级的边界，两者均根据人类的视觉感知严格定义。边界是指有意义对象的边界像素，边缘是光亮、颜色等急剧变化的突变边缘像素。本发明将100张分辨率720×1280、带标注的帧图像随机分为80张用于训练和20张用于测试，并且重复进行三遍训练和测试，并将三个独立设置下的实验的得分平均为最终边缘检测结果。此外，本发明扩充了训练数据。
至于骨干网络的预训练阶段，本发明从原始的大型数据集ImageNet的1000个类别中随机选择100个类别，形成一个小规模的Imagenet，以便快速地训练主干网络的特征提取能力。本发明以完全随机的方式选择100个类别标签，并保留所有带有选定标签标记的训练集和验证集图像。为了避免随机干扰的影响，建立了两个小型ImageNet，因此，对骨干网进行了两次预训练，后续分别发送到PDC-CNN网络进行微调。之所以不选择现有的TinyImageNet、magenette、downsampled ImageNet数据集或其他基于ImageNet的公共小规模数据集，是因为它们不适合进行边缘检测任务中的特征提取能力的训练。例如，Imagenette是ImageNet中仅10个类别的子集；downsampled ImageNet中的图像分辨率降低过多至8×8、16×16、32×32或64×64；Tiny ImageNet仅具有500、50和50张图像分别用于训练，验证和测试，均不足以训练主干网络的特征提取能力。
实验设置（1）模型初始化：在本发明的实验中，将APDC和RPDC的内核大小都设置为3×3，并以0.1的步长在（之间逐步采样PDC卷积中的参数
Figure DEST_PATH_IMAGE041
，以进行测试，并找到最优设置。在PD-CNN微调阶段，对PDC-CNN第1-5阶段中用于降维的1×1卷积层的权重依标准差为0.01的零均值高斯分布进行初始化，其偏差初始化为0；将特征融合阶段1×1卷积层的权重初始化为0.2，偏差初始化为0；其他层，即主干网络部分，权重使用由上述定制的小规模ImageNet上的预训练模型中的权值初始化。
实验设置（2）训练和测试设置：在骨干网络的预训练阶段，本发明训练模型的最大epoch为90，而学习率（learning rate，lr）则每30个epoch除以10；在2块NVIDIA 2080Ti上，批处理大小设置为32；初始学习率和权重衰减（weight decay）分别设置为0.01和1e-4；在微调阶段，使用随机梯度下降（stochastic gradient descent，SGD）优化器对模型进行训练，该优化器在每次迭代中随机采样10个图像；全局学习率，动量和权重衰减分别设置为1e-5、0.9和2e-4；在微调阶段的所有实验也均使用2080Ti完成。
实验分析：在微调finetune后的测试阶段，本发明同时应用了单尺度（single-scale）和多尺度（multicue-scale，MS）测试。在正常的单尺度边缘检测中，原始图像直接导入到网络模型中，进而得到边缘概率图；对于高级多尺度边缘检测，本发明将输入图像的大小调整为各种尺度（如0.5×、1.0×和1.5×），获得金字塔型结构的输入图像集，然后将这些图像分别输入到单尺度边缘检测器中，再使用双线性插值将所有得到的边缘概率图统一调整为原始图像大小，并通过简单的平均进行融合以获得最终的边缘预测图。
表1 主干网络预训练结果
Figure DEST_PATH_IMAGE042
在评估过程中，本发明首先执行标准非最大抑制（non-maximum suppression，NMS）算法来细化边缘，并获得最终的边缘概率图，然后提取了3个常用指标：ODS-F、OIS-F和AP，以衡量边缘检测性能，并与其他工作进行公平比较，所有这些指标越高越好。ODS-F和OIS-F分别表示对所有测试图像的固定阈值和对每个测试图像的最佳阈值下的F值。本发明在实验中ODS和OIS的F度量表示为(
Figure DEST_PATH_IMAGE043
)。对于边缘预测和真实标注groundtruth之间正确匹配，允许的最大容差对于BSDS500和multicue数据集设置为0.0075，对于NYUD设置为0.011。BSDS500上的结果显示在表2中，本发明将性能最佳的PD-CNN与传统的Canny和gPb算法进行比较，以及最近的一些深度学习边缘检测方法。表1中记录了不同卷积层参数
Figure DEST_PATH_IMAGE044
设置下主干网络预训练结果，该结果表明，虽然APD和RPD卷积（
Figure DEST_PATH_IMAGE045
=0.5）在预训练阶段的表现不如普通卷积，但在边缘检测任务中仍然胜过它，证明了局部特征中像素差异卷积的强劲性能。
表2 BSDS500数据集上边缘检测结果
Figure DEST_PATH_IMAGE046
图5为BSDS500数据集上边缘检测结果的PR曲线示意图。PDC-CNN中的
Figure DEST_PATH_IMAGE047
设为0.5，更加详尽的数值对比可以参看表2。图6为NYUD数据集上边缘检测结果的PR曲线示意图。APD-CNN和RPD-CNN中的
Figure 345824DEST_PATH_IMAGE047
均设置为0.7.
除了OIS、ODS和AP等指标之外，性能也可以通过精确度/召回率（Prevision/Recall，PR）曲线来衡量，该曲线展示了精确度和噪声之间的折衷。将本发明的边缘检测模型与目前具有竞争的方法进行比较，PR曲线如图5和图6所示，表示BSDS500和NYUD数据集上的边缘检测算法的ODS-F指标，当
Figure 853028DEST_PATH_IMAGE047
分别等于0.5和0.7时，可在数据集上获得最佳边缘检测性能。在NYUD数据集上，本发明不仅与某些基于RGB的方法相当，例如gPb-UCM和OEF，还与某些基于RGB-D的方法进行比较，例如gPb + NG。通常，合并不同类型的信息对于边缘检测很有用，但是在BSDS500和NYUD的所有指标上，基于RGB的PD-CNN的效果均优于SOTA（state-of-the-art）方法。
就以NVIDIA 2080Ti来衡量模型在BSDS500上的训练时间，普通的RCF大约需要531GPU小时来进行骨干网络的预训练，以及另外5个GPU小时来进行微调（finetune），即总共536 GPU小时，而本发明的PDC-CNN方法仅需花费39个GPU小时进行主干网络的预训练，因为上述随机定制的小型Imagenet足以让像素差异卷积学习所需的特征提取能力，另外需要17个GPU小时进行微调，最终模型训练时间为56 GPU小时，大约是目前SOTA方法的1/10。
总之，在主干网络预训练中训练数据有限的情况下，与最近提出的、具有充分预训练后的骨干网络的基于DCNN方法相比，本发明的方法仍可以实现相当、甚至更优的性能表现。
本发明的方法被证明在边缘检测方面具有很高的鲁棒性。除了相当的精确度外，与当前的能源密集型方法相比，本发明的方法仅花费1/10的计算资源，从而加速了边缘检测的建模，进而促进了更高级别视觉任务的发展。

Claims (5)

1.一种基于局部二值模式的像素差卷积边缘检测方法，其特征在于，所述方法包括如下步骤：
S1. 构建像素差异卷积以替换深度卷积神经网络中的普通卷积层，建立像素差异卷积神经网络；所述像素差异卷积为径向像素差异卷积：在输入特征图
Figure 345948DEST_PATH_IMAGE001
上，依其内核大小，对局部邻域
Figure 503260DEST_PATH_IMAGE002
进行采样；在后续的聚合中，首先将局部邻域
Figure 624800DEST_PATH_IMAGE002
中的每个像素的强度值减去区域中心像素的强度值，然后再通过可学习的权重
Figure 40606DEST_PATH_IMAGE003
，以加权求和的方式来处理差值，即对中心像素及其圆对称邻域之间的差进行编码；
综合强度语义信息后，所述径向像素差异卷积的输出特征图
Figure 665623DEST_PATH_IMAGE004
用公式表示为：
Figure 259415DEST_PATH_IMAGE005
其中，
Figure 602672DEST_PATH_IMAGE006
表示局部区域
Figure 572902DEST_PATH_IMAGE007
中中心像素点的所在位置，
Figure 318004DEST_PATH_IMAGE008
表示枚举
Figure 82698DEST_PATH_IMAGE009
中的像素位置，超参数
Figure 913250DEST_PATH_IMAGE010
]为权衡强度信息和梯度信息对边缘检测预测结果的贡献，且其为可学习的值；
S2. 使用像素差异卷积神经网络对图像进行边缘检测，输出边缘检测结果。
2.根据权利要求1所述的基于局部二值模式的像素差卷积边缘检测方法，其特征在于，所述深度卷积神经网络使用VGG16结构作为主干网络，并在5个卷积阶段中均利用每一层的特征图，提供不同尺度的感知领域。
3.一种基于局部二值模式的像素差卷积边缘检测方法，其特征在于，所述方法包括如下步骤：
S1. 构建像素差异卷积以替换深度卷积神经网络中的普通卷积层，建立像素差异卷积神经网络；所述像素差异卷积为角向像素差异卷积：在输入特征图
Figure 172324DEST_PATH_IMAGE001
上，依其内核大小，对局部邻域
Figure 37512DEST_PATH_IMAGE011
进行采样；在后续的聚合中，对与当前位置相同的切比雪夫距离上的相邻像素之间的差值进行编码，以保留角度信息；
综合强度语义信息后，所述角向像素差异卷积的输出特征图
Figure 910790DEST_PATH_IMAGE004
用公式表示为：
Figure 290956DEST_PATH_IMAGE012
其中，
Figure 275093DEST_PATH_IMAGE006
表示局部区域
Figure 57104DEST_PATH_IMAGE007
中中心像素点的所在位置，
Figure 101283DEST_PATH_IMAGE013
表示枚举
Figure 968745DEST_PATH_IMAGE009
中的像素位置，
Figure 814296DEST_PATH_IMAGE014
表示与中心像素半径相同的点集中的相邻位置，超参数
Figure 388497DEST_PATH_IMAGE015
]为权衡强度信息和梯度信息对边缘检测预测结果的贡献，且其为可学习的值；
S2. 使用像素差异卷积神经网络对图像进行边缘检测，输出边缘检测结果。
4.根据权利要求3所述的基于局部二值模式的像素差卷积边缘检测方法，其特征在于，所述深度卷积神经网络使用VGG16结构作为主干网络，并在5个卷积阶段中均利用每一层的特征图，提供不同尺度的感知领域。
5.根据权利要求3所述的基于局部二值模式的像素差卷积边缘检测方法，其特征在于，所述切比雪夫距离
Figure 665895DEST_PATH_IMAGE016
。
CN202110791743.5A 2021-07-13 2021-07-13 一种基于局部二值模式的像素差卷积边缘检测方法 Active CN113255704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110791743.5A CN113255704B (zh) 2021-07-13 2021-07-13 一种基于局部二值模式的像素差卷积边缘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110791743.5A CN113255704B (zh) 2021-07-13 2021-07-13 一种基于局部二值模式的像素差卷积边缘检测方法

Publications (2)

Publication Number Publication Date
CN113255704A CN113255704A (zh) 2021-08-13
CN113255704B true CN113255704B (zh) 2021-09-24

Family

ID=77191170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110791743.5A Active CN113255704B (zh) 2021-07-13 2021-07-13 一种基于局部二值模式的像素差卷积边缘检测方法

Country Status (1)

Country Link
CN (1) CN113255704B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861297A (zh) * 2023-02-14 2023-03-28 联禾印享文化科技(南京)有限公司 基于深度学习的印版网点图像检测和分割方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016032398A2 (en) * 2014-08-25 2016-03-03 Singapore University Of Technology And Design Method and device for analysing an image
WO2020051750A1 (zh) * 2018-09-10 2020-03-19 深圳配天智能技术研究院有限公司 图像处理方法、边缘提取方法、处理设备及存储介质
CN111695565A (zh) * 2020-06-14 2020-09-22 荆门汇易佳信息科技有限公司 基于道路关卡模糊图像的汽车标志精准定位方法
CN111784561A (zh) * 2019-06-14 2020-10-16 北京沃东天骏信息技术有限公司 用于从图像中提取对象的方法、装置和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10753881B2 (en) * 2016-05-27 2020-08-25 Purdue Research Foundation Methods and systems for crack detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016032398A2 (en) * 2014-08-25 2016-03-03 Singapore University Of Technology And Design Method and device for analysing an image
WO2020051750A1 (zh) * 2018-09-10 2020-03-19 深圳配天智能技术研究院有限公司 图像处理方法、边缘提取方法、处理设备及存储介质
CN111784561A (zh) * 2019-06-14 2020-10-16 北京沃东天骏信息技术有限公司 用于从图像中提取对象的方法、装置和存储介质
CN111695565A (zh) * 2020-06-14 2020-09-22 荆门汇易佳信息科技有限公司 基于道路关卡模糊图像的汽车标志精准定位方法

Also Published As

Publication number Publication date
CN113255704A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN111274976B (zh) 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN109902600B (zh) 一种道路区域检测方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN112150493B (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN111242037A (zh) 基于结构信息的车道线检测方法
CN110310241B (zh) 一种融合深度区域分割的多大气光值交通图像去雾方法
CN113642390B (zh) 一种基于局部注意力网络的街景图像语义分割方法
CN110109060A (zh) 一种基于深度学习网络的雷达辐射源信号分选方法及系统
CN106407986A (zh) 一种基于深度模型的合成孔径雷达图像目标识别方法
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN113158943A (zh) 一种跨域红外目标检测方法
CN112580661B (zh) 一种深度监督下的多尺度边缘检测方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN110263635A (zh) 基于结构森林和PCANet的标志物检测与识别方法
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN111882620A (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN113205103A (zh) 一种轻量级的文身检测方法
CN116912708A (zh) 一种基于深度学习的遥感影像建筑物提取方法
CN112084897A (zh) 一种gs-ssd的交通大场景车辆目标快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant