CN111915634A - 一种基于融合策略的目标物体边缘检测方法与系统 - Google Patents

一种基于融合策略的目标物体边缘检测方法与系统 Download PDF

Info

Publication number
CN111915634A
CN111915634A CN202010780159.5A CN202010780159A CN111915634A CN 111915634 A CN111915634 A CN 111915634A CN 202010780159 A CN202010780159 A CN 202010780159A CN 111915634 A CN111915634 A CN 111915634A
Authority
CN
China
Prior art keywords
edge
picture
target object
output
edge detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010780159.5A
Other languages
English (en)
Inventor
彭秀英
彭松仁
周曼莉
王红娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Iteson Technology Co ltd
Original Assignee
Wuhan Iteson Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Iteson Technology Co ltd filed Critical Wuhan Iteson Technology Co ltd
Priority to CN202010780159.5A priority Critical patent/CN111915634A/zh
Publication of CN111915634A publication Critical patent/CN111915634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于融合策略的目标物体边缘检测方法:去除传统边缘检测网络中最后两个用于下采样的池化层,提高后两个侧边输出层的边缘精度,为了降低去除池化层后对感受野的影响,在最后两部分网络中使用扩张卷积来提升感受野;利用改进边缘检测网络对待检测图片进行检测得到边缘,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,进一步提升边缘精确度得到边缘融合图片;对边缘融合图片进行后处理排除非目标物体边缘,在输出的边缘图片中定位目标物体的边缘。本发明还提供了相应的基于融合策略的目标物体边缘检测系统。

Description

一种基于融合策略的目标物体边缘检测方法与系统
技术领域
本发明属于图片处理技术领域,更具体地,涉及一种基于融合策略的目标物体边缘检测方法与系统。
背景技术
在不同的应用中,需要从图片中检测目标物体的边缘例如检测电路板的边缘,智能驾驶中路面边缘等等,在复杂背景干扰的图片中检测目标物体的边缘显得十分重要和具有挑战性。边缘检测是计算机视觉领域的传统研究方向,传统的方法大部分都只关注图片的局部特征,所以检测效果很容易受噪声影响,在检测物体边缘时常常出现误检或漏检的情况,近年来出现的很多基于深度学习的边缘检测方法都利用了图片的多尺度信息和高层语义信息,比传统边缘检测方法鲁棒性更好,但检测的边缘不够精细,影响后续对目标物体区域的精确定位。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提出一种基于融合策略的目标物体边缘检测方法,其目的在于,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,进一步提升边缘精确度,由此解决现有技术中检测的边缘不够精细的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种基于融合策略的目标物体边缘检测方法,包括:
改进边缘检测网络:去除传统边缘检测网络中最后两个用于下采样的池化层,提高后两个侧边输出层的边缘精度,为了降低去除池化层后对感受野的影响,在最后两部分网络中使用扩张卷积来提升感受野;
图片边缘融合:利用改进边缘检测网络对待检测图片进行检测得到边缘,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,进一步提升边缘精确度得到边缘融合图片;
目标物体边缘定位:对边缘融合图片进行后处理排除非目标物体边缘,在输出的边缘图片中定位目标物体的边缘。
本发明的一个实施例中,所述改进边缘检测网络由传统边缘检测网络改进后得到,具体为:
由5个stage组成,只在前三个stage之间保留了2×2的最大池化层,stage 2和stage 3输出的边缘特征图尺寸分别为输入图片的1/2和1/4,所以stage 4和stage 5输出的特征图尺寸均为输入图片的1/4,网络中后两个stage输出特征图尺寸分别为输入图片的1/8和1/16;对于每一个stage内部的卷积层,首先通过1×1的卷积层降低通道数,进行特征压缩,然后进行相加,再通过一个1×1的卷积层将通道数降低为1,并进行反卷积操作,使输出特征图尺寸与输入图片保持一致,最后再融合输出最终的边缘预测图。
本发明的一个实施例中,所述改进边缘检测网络在传统边缘检测网络中的stage4和stage 5引入了扩张卷积,三个卷积核的扩张系数分别为1、2和4,而它们的感受野大小分别为3×3、7×7和15×15,扩张卷积在不增加网络参数不减小图片尺寸的前提下提升了网络的感受野。
本发明的一个实施例中,改进边缘检测网络的损失函数为:
L(W)=λ1*Lside(W)+(1-λ1)Lfuse(W)
其中λ1是加权系数,Lside(W)为侧边输出损失,Lfuse(W)为融合损失。
本发明的一个实施例中,所述侧边输出损失
Figure BDA0002619916770000021
融合损失
Figure BDA0002619916770000022
其中
Figure BDA0002619916770000023
代表网络中第k个stage输出的预测值,
Figure BDA0002619916770000024
代表融合输出层的预测值,|I|代表图片I中像素点的数量,K代表网络中stage的数量,l(Xi;W)为单个像素点的损失函数。
本发明的一个实施例中,所述单个像素点的损失函数如下式所示:
Figure BDA0002619916770000031
其中,
Figure BDA0002619916770000032
上式中,|Y+|和|Y-|分别代表边缘像素点数量和非边缘像素点数量,超参数λ用来解决图片中正负样本数量不均衡的问题,Xi和yi分别代表在第i个像素点处网络预测输出值和边缘标签图中的标记值,P(X)代表标准的sigmoid函数,W代表整个网络所有的参数。
本发明的一个实施例中,所述单个像素点的损失函数基于待检测图片的边缘概率图来计算,具体地:
对于待检测图片的边缘标签图,将所有标记者的标记结果进行平均,再将平均后的图片进行归一化得到边缘概率图,其中0代表没有标记者将此处标记为边缘点,1代表所有人都将此处标记为边缘点;然后,对于概率值大于η的像素点,将其作为边缘点,对于概率值为0的像素点,作为非边缘点,对于概率值介于两者之间的,则忽略此像素点的损失,η为预设概率阈值。
本发明的一个实施例中,通过金字塔多尺度Canny算子检测到精细边缘,具体为:
将待检测图片进行金字塔多尺度的采样:分别得到1/2,1/4,1/8尺度的多幅图片,在每幅图片上进行canny算子进行图片检测,其中Canny算子中双阈值的高阈值设定为一个较低的值,以尽可能检测出更多的边缘。
本发明的一个实施例中,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,具体为:
设IRCF是通过改进边缘检测网络输出的二值化边缘图片,ICanny是通过金字塔多尺度Canny算子综合输出的二值化边缘图片,则可以通过下式计算最终边缘图片IOutput
IOutput(i,j)=IRCF(i,j)&ICanny(i,j)
其中,(i,j)代表图片中位置在(i,j)处的像素点。
按照本发明的另一方面,还提供了一种基于融合策略的目标物体边缘检测系统,包括图片边缘融合模块和目标物体边缘定位模块,其中:
所述图片边缘融合模块,用于利用改进边缘检测网络对待检测图片进行检测得到边缘,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,进一步提升边缘精确度得到边缘融合图片;
所述目标物体边缘定位,用于对边缘融合图片进行后处理排除非目标物体边缘,在输出的边缘图片中定位目标物体的边缘;
其中,所述改进边缘检测网络为:去除传统边缘检测网络中最后两个用于下采样的池化层,提高后两个侧边输出层的边缘精度,为了降低去除池化层后对感受野的影响,在最后两部分网络中使用扩张卷积来提升感受野。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有如下有益效果:
本发明采用优化的基于深度学习的边缘检测网络,使用扩张卷积来提升感受野,提高对物体边界检测的适应性,并且在深度学习网络中设计了加权的损失函数,对模糊边界定位更加准确。另一方面,结合了金字塔多尺度的canny算子,增加对不同区域和不同长短边界定位的敏感性。融合深度学习和金字塔多尺度canny的边界检测,综合提高算法对目标物体边界检测的准确度。
附图说明
图1是本发明实施例中一种基于融合策略的目标物体边缘检测方法的流程示意图;
图2是本发明实施例中一种基于融合策略的目标物体边缘检测系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
针对现有技术存在的问题,如图1所示,本发明提出一种基于融合策略的目标物体边缘检测方法,包括:
S1、改进边缘检测网络:去除原始边缘检测网络中最后两个用于下采样的池化层,提高后两个侧边输出层的边缘精度,为了降低去除池化层后对感受野的影响,在最后两部分网络中使用扩张卷积来提升感受野;
S2、边缘融合:利用改进边缘检测网络对待检测图片进行检测得到边缘,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,进一步提升边缘精确度;
S3、边缘定位:进行图片后处理排除非目标物体边缘,在输出的边缘图片中定位目标物体的边缘。
在实际场景图片中,目标物体图片经常伴随着灯光和各种背景干扰,准确地从复杂背景中定位目标物体区域对后续的信息获取都至关重要,而从图片中定位目标物体区域可以分为两个步骤:在复杂背景下检测目标物体轮廓边缘;从获取到的边缘图片中进一步精确定位目标物体。传统边缘检测方法一般是根据图片亮度等局部特征来在图片中查找边缘像素点,检测的边缘比较精细,当需要检测类似于目标物体这样的物体整体轮廓边缘时,非常容易受到噪声、背景和物体表面纹理的干扰。近年来,卷积神经网络在图片分类与目标检测等多个计算机视觉领域里得到了广泛的应用,例如在图片分类和定位等领域表现良好的VGG网络,浅层网络的特征图中图片细节信息较多,而随着网络层次的加深,网络的感受野也不断增大,包含了高层的语义信息,不同层次的网络具有不同尺度的特征。而以VGG网络为基础的传统边缘检测网络正是充分利用了这种多尺度信息,和传统边缘检测算法只关注图片局部特征不同,边缘检测网络将不同层次对应的不同尺度的边缘预测图进行融合,由于底层网络可以提取边缘细节信息,而高层网络可以学习到物体整体轮廓这种具有语义信息的特征,融合这些多尺度和多层次的特征后在检测边缘时比传统方法表现更好,能够在一定程度上排除背景噪声干扰。
边缘检测网络
传统边缘检测网络在检测目标物体边缘时出现了边缘粗糙和模糊的问题,但与传统的微分算子方法相比,可以消除大部分的目标物体表面条纹和背景干扰,如果能解决检测边缘粗糙这一问题,就可以提升在目标物体边缘检测场景下的检测精度。传统网络结构如图所示,主干网络分为了5个stage,全部由卷积层和最大池化层组成,相邻的stage之间有一个2×2大小的最大池化层,最后的边缘预测图片由5个stage所输出不同尺度的边缘预测图融合而成。
通过边缘网络检测出的目标物体边缘图片,包括5个stage输出的边缘特征图和它们融合得到的最终边缘特征图,前三个stage输出的边缘图片较为清晰,但是后两个stage输出的边缘图片明显出现模糊的情况,这是因为主干网络中每个stage之间都有2×2大小的最大池化层,导致每个stage输出的特征图尺寸都是前一个stage的1/2,经过四次池化层的下采样之后,最后一个stage输出的特征图尺寸只有原始图片的1/16,虽然网络的感受野较大,能提取更多高层整体特征和具有语义信息的特征,但是图片分辨率过低会导致边缘细节信息丢失,使得最终融合输出的边缘图片也较为粗糙和模糊。针对传统网络检测的目标物体边缘不够精细的问题,本发明提出一种在传统网络基础上改进的网络结构,首先,由于原始网络中后两个stage处理的图片精度过低,所以去除原网络中后两个池化层以提升高层网络精度;其次,由于去除两个最大池化层后会使高层网络的感受野减小,所以在最后两个stage中引入扩张卷积。
网络结构
传统边缘检测网络改进后的网络由5个stage组成,只在前三个stage之间保留了2×2的最大池化层,所以stage 2和stage 3输出的边缘特征图尺寸分别为输入图片的1/2和1/4,由于后续网络不再有池化层,所以stage 4和stage 5输出的特征图尺寸均为输入图片的1/4,网络中后两个stage输出特征图尺寸分别为输入图片的1/8和1/16,丢失了大量的图片细节。对于每一个stage内部的卷积层,首先通过1×1的卷积层降低通道数,进行特征压缩,然后进行相加,再通过一个1×1的卷积层将通道数降低为1,由于部分stage输出的特征图比输入尺寸小,所以需要进行反卷积操作,使输出特征图尺寸与输入图片保持一致,最后再融合输出最终的边缘预测图。虽然去掉两个下采样的池化层后可以提升高层网络输出特征图的尺寸,保留更多的图片细节,但是同时也会减小这些高层网络的感受野,卷积神经网络中的高层网络一般包含了抽象程度更高的语义信息,减小感受野后在目标物体边缘检测网络中可能会造成丢失部分整体轮廓特征,影响最终的检测效果,为了不降低高层网络特征图的尺寸同时又能保持较大的感受野,本发明在边缘检测网络中的stage 4和stage 5引入了扩张卷积。扩张卷积也被称为膨胀卷积或空洞卷积,即在标准卷积的基础上加入空洞(间隔),以此来扩大网络的感受野。三个卷积核的扩张系数分别为1、2和4,而它们的感受野大小分别为3×3、7×7和15×15,扩张卷积在不增加网络参数、不减小图片尺寸的前提下有效提升了网络的感受野。
在边缘检测网络中过多的池化层会导致高层网络的特征图尺寸过小,容易丢失细节信息,所以去掉了后两个池化层,但这会降低高层网络的感受野,不能充分利用高层语义信息,所以提出的边缘检测网络中的stage 4和stage 5分别使用了扩张系数为2和4的扩张卷积,有效提升网络的感受野,并且使高层网络也具有较大的图片尺寸,不会在最终的边缘预测图中引入过多粗糙模糊的边缘,提升边缘的精细程度。
损失函数
在边缘检测问题中,对于图片中的每一个像素点,可以分为两类:边缘像素点和非边缘像素点,因此边缘检测可以看作是一个二分类问题,使用交叉熵函数作为单个像素点的损失函数。目前的边缘数据集一般每幅图片都有多个标记者标记,对于一些明显的边缘像素点,大部分标记者的标记结果均保持一致,但是对于一些不明显的位置,不同标记者受主观认知影响会得出不同的结果,因此数据集中的边缘也会有一些噪声,采用如下方法处理:首先,对于数据集中的一张图片,将所有标记者的标记结果进行平均,再将平均后的图片进行归一化,此时的边缘标签图就是一幅边缘概率图,其中0代表没有标记者将此处标记为边缘点,1代表所有人都将此处标记为边缘点;然后,对于概率值大于η(预设概率阈值)的像素点,将其作为边缘点,对于概率值为0的像素点,作为非边缘点,对于概率值介于两者之间的,则忽略此像素点的损失。对于单个像素点的损失函数如下式所示:
Figure BDA0002619916770000081
其中,
Figure BDA0002619916770000082
上式中,|Y+|和|Y-|分别代表边缘像素点数量和非边缘像素点数量,超参数λ用来解决图片中正负样本数量不均衡的问题,Xi和yi分别代表在第i个像素点处网络预测输出值和边缘标签图中的标记值,P(X)代表标准的sigmoid函数,W代表整个网络所有的参数。侧边输出损失Lside(W)为:
Figure BDA0002619916770000091
融合损失Lfuse(W)为:
Figure BDA0002619916770000092
其中,
Figure BDA0002619916770000093
代表网络中第k个stage输出的预测值,
Figure BDA0002619916770000094
代表融合输出层的预测值,|I|代表图片I中像素点的数量,K代表网络中stage的数量,K可以为不同的,这里我们设置K为5,并定义了新的加权损失函数,优化两个子损失函数,其中λ1是加权系数。最终整个网络的损失函数为:
L(W)=λ1*Lside(W)+(1-λ1)Lfuse(W)
融合金字塔多尺度Canny算子的边缘检测模型
通过基于传统边缘检测网络改进后的目标物体边缘检测网络得到的边缘图片在一定程度上降低了边缘的粗糙和模糊程度,但是和利用传统边缘检测算法中表现较好的Canny算子相比,输出的边缘还是不够精细。
Canny算子是一种通过微分算子计算图片梯度来检测边缘的算法,主要包含以下几个步骤:对原始输入图片进行高斯滤波,减小噪声的干扰;通过微分算子计算图片梯度;对计算得到的梯度值进行非极大值抑制,排除噪声,得到更精细的边缘;使用双阈值方法来检测边缘,设有阈值T1和T2(T1>T2),如果某一像素点的梯度值大于T1,则此像素为边缘,如果小于T2,则为非边缘,如果介于两者之间,则仅在此像素和大于T1的边缘像素连接在一起时保留为边缘像素。
Canny算子的优点在于检测出的边缘较为精细,但是由于需要人工设置双阈值,最终的边缘检测效果会受到阈值大小的影响,从前文中Canny算子与边缘检测网络的对比也可以看出,虽然Canny算子错误检测出很多不属于目标物体轮廓的边缘,但得到的边缘却很精细,并且基本没有出现漏检目标物体轮廓的情况,而通过边缘检测网络得到的边缘比较粗糙,但是基本能排除背景和目标物体表面纹理这些非目标物体轮廓的边缘,如果能将这两种方法得到的二值化边缘图片进行逻辑“与”操作,就能充分利用两种方法各自的优点,得到既精细又准确的边缘图片。
本发明正是采取上述思想来检测目标物体边缘,将原图进行金字塔多尺度的采样:分别得到1/2,1/4,1/8尺度的多幅图片,在每幅图片上进行canny算子进行图片检测。其中Canny算子中双阈值的高阈值设定为一个较低的值,这样就会尽可能检测出更多的边缘,再与边缘检测网络输出的边缘相与后,能够排除大部分的非目标物体轮廓边缘。设IRCF是通过改进边缘检测网络输出的二值化边缘图片,ICanny是通过金字塔多尺度Canny算子综合输出的二值化边缘图片,则可以通过下式计算最终边缘图片IOutput
IOutput(i,j)=IRCF(i,j)&ICanny(i,j)
其中,(i,j)代表图片中位置在(i,j)处的像素点。
融合后的边缘图片既能排除大部分背景和目标物体表面纹理干扰,又能得到非常精细的边缘,有助于后续在边缘图片上准确定位目标物体的边缘。
如图2所示,本发明提供了一种基于融合策略的目标物体边缘检测系统,包括图片边缘融合模块和目标物体边缘定位模块,其中:
所述图片边缘融合模块,用于利用改进边缘检测网络对待检测图片进行检测得到边缘,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,进一步提升边缘精确度得到边缘融合图片;
所述目标物体边缘定位,用于对边缘融合图片进行后处理排除非目标物体边缘,在输出的边缘图片中定位目标物体的边缘;
其中,所述改进边缘检测网络为:去除传统边缘检测网络中最后两个用于下采样的池化层,提高后两个侧边输出层的边缘精度,为了降低去除池化层后对感受野的影响,在最后两部分网络中使用扩张卷积来提升感受野。
本发明技术方案可用于印制电路板(PCB)光学自动检测设备中。光学自动检测技术利用光学成像的手段获取待测PCB的数字图像,通过数字图像分析的方法,快速向制造厂商提供关于产品质量的客观评价,以提升成品率。PCB板边缘检测是PCB是光学自动检测中至关重要的一个阶段。
本发明技术方案还可用于智能交通中的公路自动识别,车道检测作为无人驾驶的基础技术,本发明也可以提供一种简化方法,提高车道线检测速度,解决现有车道线检测方法流程繁琐、检测速度较慢等缺陷,能够快速、准确获取车道线,尤其适合用在无人驾驶车辆的自主导航以及车辆的智能辅助驾驶系统中。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于融合策略的目标物体边缘检测方法,其特征在于,包括:
改进边缘检测网络:去除传统边缘检测网络中最后两个用于下采样的池化层,提高后两个侧边输出层的边缘精度,为了降低去除池化层后对感受野的影响,在最后两部分网络中使用扩张卷积来提升感受野;
图片边缘融合:利用改进边缘检测网络对待检测图片进行检测得到边缘,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,进一步提升边缘精确度得到边缘融合图片;
目标物体边缘定位:对边缘融合图片进行后处理排除非目标物体边缘,在输出的边缘图片中定位目标物体的边缘。
2.如权利要求1所述的基于融合策略的目标物体边缘检测方法,其特征在于,所述改进边缘检测网络由传统边缘检测网络改进后得到,具体为:
由5个stage组成,只在前三个stage之间保留了2×2的最大池化层,stage 2和stage 3输出的边缘特征图尺寸分别为输入图片的1/2和1/4,所以stage 4和stage 5输出的特征图尺寸均为输入图片的1/4,网络中后两个stage输出特征图尺寸分别为输入图片的1/8和1/16;对于每一个stage内部的卷积层,首先通过1×1的卷积层降低通道数,进行特征压缩,然后进行相加,再通过一个1×1的卷积层将通道数降低为1,并进行反卷积操作,使输出特征图尺寸与输入图片保持一致,最后再融合输出最终的边缘预测图。
3.如权利要求2所述的基于融合策略的目标物体边缘检测方法,其特征在于,所述改进边缘检测网络在传统边缘检测网络中的stage 4和stage 5引入了扩张卷积,三个卷积核的扩张系数分别为1、2和4,而它们的感受野大小分别为3×3、7×7和15×15,扩张卷积在不增加网络参数不减小图片尺寸的前提下提升了网络的感受野。
4.如权利要求1或2所述的基于融合策略的目标物体边缘检测方法,其特征在于,改进边缘检测网络的损失函数为:
L(W)=λ1*Lside(W)+(1-λ1)Lfuse(W)
其中λ1是加权系数,Lside(W)为侧边输出损失,Lfuse(W)为融合损失。
5.如权利要求4所述的基于融合策略的目标物体边缘检测方法,其特征在于,所述侧边输出损失
Figure FDA0002619916760000021
融合损失
Figure FDA0002619916760000022
其中
Figure FDA0002619916760000023
代表网络中第k个stage输出的预测值,
Figure FDA0002619916760000024
代表融合输出层的预测值,|I|代表图片I中像素点的数量,K代表网络中stage的数量,l(Xi;W)为单个像素点的损失函数。
6.如权利要求5所述的基于融合策略的目标物体边缘检测方法,其特征在于,所述单个像素点的损失函数如下式所示:
Figure FDA0002619916760000025
其中,
Figure FDA0002619916760000026
上式中,|Y+|和|Y-|分别代表边缘像素点数量和非边缘像素点数量,超参数λ用来解决图片中正负样本数量不均衡的问题,Xi和yi分别代表在第i个像素点处网络预测输出值和边缘标签图中的标记值,P(X)代表标准的sigmoid函数,W代表整个网络所有的参数。
7.如权利要求6所述的基于融合策略的目标物体边缘检测方法,其特征在于,所述单个像素点的损失函数基于待检测图片的边缘概率图来计算,具体地:
对于待检测图片的边缘标签图,将所有标记者的标记结果进行平均,再将平均后的图片进行归一化得到边缘概率图,其中0代表没有标记者将此处标记为边缘点,1代表所有人都将此处标记为边缘点;然后,对于概率值大于η的像素点,将其作为边缘点,对于概率值为0的像素点,作为非边缘点,对于概率值介于两者之间的,则忽略此像素点的损失,η为预设概率阈值。
8.如权利要求1或2所述的基于融合策略的目标物体边缘检测方法,其特征在于,通过金字塔多尺度Canny算子检测到精细边缘,具体为:
将待检测图片进行金字塔多尺度的采样:分别得到1/2,1/4,1/8尺度的多幅图片,在每幅图片上进行canny算子进行图片检测,其中Canny算子中双阈值的高阈值设定为一个较低的值,以尽可能检测出更多的边缘。
9.如权利要求1或2所述的基于融合策略的目标物体边缘检测方法,其特征在于,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,具体为:
设IRCF是通过改进边缘检测网络输出的二值化边缘图片,ICanny是通过金字塔多尺度Canny算子综合输出的二值化边缘图片,则可以通过下式计算最终边缘图片IOutput
IOutput(i,j)=IRCF(i,j)&ICanny(i,j)
其中,(i,j)代表图片中位置在(i,j)处的像素点。
10.一种基于融合策略的目标物体边缘检测系统,其特征在于,包括图片边缘融合模块和目标物体边缘定位模块,其中:
所述图片边缘融合模块,用于利用改进边缘检测网络对待检测图片进行检测得到边缘,将通过金字塔多尺度Canny算子检测到的精细边缘与优化后的改进边缘检测网络输出边缘进行融合,进一步提升边缘精确度得到边缘融合图片;
所述目标物体边缘定位,用于对边缘融合图片进行后处理排除非目标物体边缘,在输出的边缘图片中定位目标物体的边缘;
其中,所述改进边缘检测网络为:去除传统边缘检测网络中最后两个用于下采样的池化层,提高后两个侧边输出层的边缘精度,为了降低去除池化层后对感受野的影响,在最后两部分网络中使用扩张卷积来提升感受野。
CN202010780159.5A 2020-08-05 2020-08-05 一种基于融合策略的目标物体边缘检测方法与系统 Pending CN111915634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010780159.5A CN111915634A (zh) 2020-08-05 2020-08-05 一种基于融合策略的目标物体边缘检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010780159.5A CN111915634A (zh) 2020-08-05 2020-08-05 一种基于融合策略的目标物体边缘检测方法与系统

Publications (1)

Publication Number Publication Date
CN111915634A true CN111915634A (zh) 2020-11-10

Family

ID=73286592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010780159.5A Pending CN111915634A (zh) 2020-08-05 2020-08-05 一种基于融合策略的目标物体边缘检测方法与系统

Country Status (1)

Country Link
CN (1) CN111915634A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450321A (zh) * 2021-06-18 2021-09-28 电子科技大学 基于边缘检测的单阶段目标检测方法
CN115578383A (zh) * 2022-11-23 2023-01-06 惠州威尔高电子有限公司 基于全景图像的厚铜pcb板检测方法
CN116029942A (zh) * 2023-03-27 2023-04-28 深圳精智达技术股份有限公司 一种深度学习图像边缘强化的方法、相关装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886589A (zh) * 2014-02-27 2014-06-25 四川农业大学 面向目标的自动化高精度边缘提取方法
CN104463165A (zh) * 2014-10-24 2015-03-25 南京邮电大学 一种融合Canny算子与Vibe算法的目标检测方法
CN110648316A (zh) * 2019-09-07 2020-01-03 创新奇智(成都)科技有限公司 一种基于深度学习的钢卷端面边缘检测算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886589A (zh) * 2014-02-27 2014-06-25 四川农业大学 面向目标的自动化高精度边缘提取方法
CN104463165A (zh) * 2014-10-24 2015-03-25 南京邮电大学 一种融合Canny算子与Vibe算法的目标检测方法
CN110648316A (zh) * 2019-09-07 2020-01-03 创新奇智(成都)科技有限公司 一种基于深度学习的钢卷端面边缘检测算法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
FISHER YU ET AL: "Dilated Residual Networks", 《ARXIV:1705.09914V1》, pages 1 - 9 *
SAINING XIE和ZHUOWEN TU: "Holistically-Nested Edge Detection", 《ARXIV:1504.06375V2》, pages 1 - 10 *
YUN LIU ET AL: "Richer Convolutional Features for Edge Detection", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 41, no. 8, pages 1939 - 1946, XP011732604, DOI: 10.1109/TPAMI.2018.2878849 *
刘威等: "基于多尺度的Canny边缘检测算法研究", 《北京测绘》, vol. 32, no. 1, pages 127 - 131 *
杜京义等: "一种煤矿井下输煤大块物体检测方法", 《工矿自动化》, vol. 46, no. 5, pages 63 - 68 *
焦安波等: "一种改进的HED网络及其在边缘检测中的应用", 《红外技术》, vol. 41, no. 1, pages 72 - 77 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450321A (zh) * 2021-06-18 2021-09-28 电子科技大学 基于边缘检测的单阶段目标检测方法
CN113450321B (zh) * 2021-06-18 2022-05-03 电子科技大学 基于边缘检测的单阶段目标检测方法
CN115578383A (zh) * 2022-11-23 2023-01-06 惠州威尔高电子有限公司 基于全景图像的厚铜pcb板检测方法
CN115578383B (zh) * 2022-11-23 2023-04-07 惠州威尔高电子有限公司 基于全景图像的厚铜pcb板检测方法
CN116029942A (zh) * 2023-03-27 2023-04-28 深圳精智达技术股份有限公司 一种深度学习图像边缘强化的方法、相关装置及存储介质
CN116029942B (zh) * 2023-03-27 2023-07-25 深圳精智达技术股份有限公司 一种深度学习图像边缘强化的方法、相关装置及存储介质

Similar Documents

Publication Publication Date Title
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN110490914B (zh) 一种基于亮度自适应和显著性检测的图像融合方法
CN111915634A (zh) 一种基于融合策略的目标物体边缘检测方法与系统
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN110544211B (zh) 一种镜头付着物的检测方法、系统、终端和存储介质
CN112734761B (zh) 工业品图像边界轮廓提取方法
CN111340855A (zh) 一种基于轨迹预测的道路移动目标检测方法
CN115546768B (zh) 基于多尺度机制和注意力机制的路面标线识别方法及系统
CN109975196B (zh) 一种网织红细胞检测方法及其系统
CN112883986B (zh) 一种复杂背景下的静态红外靶灯识别方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN109242032B (zh) 一种基于深度学习的目标检测方法
CN112364865B (zh) 一种复杂场景中运动小目标的检测方法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN113223044A (zh) 一种结合特征聚合和注意力机制的红外视频目标检测方法
CN111695373A (zh) 斑马线的定位方法、系统、介质及设备
CN111008647A (zh) 一种样本提取及基于空洞卷积与残差链接的图像分类方法
CN110070122B (zh) 一种基于图像增强的卷积神经网络模糊图像分类方法
CN111723805B (zh) 一种信号灯的前景区域识别方法及相关装置
CN111539980A (zh) 一种基于可见光的多目标追踪方法
Ghahremannezhad et al. Automatic road detection in traffic videos
CN110705553A (zh) 一种适用于车辆远景图像的划痕检测方法
CN113326846A (zh) 一种基于机器视觉的桥梁表观病害快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination