CN115631210A - 一种边缘检测方法及装置 - Google Patents

Abstract

一种边缘检测方法及装置，包括，获取待检测图像，将待检测图像输入到特征抽取器，得到含有多个通道的第一特征图，将第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，将第二特征图作为多尺度特征融合模块的输入，经多尺度特征融合处理后获得与输入的所述第二特征图分辨率大小相同的第三特征图，将第三特征图作为空间注意力模块的输入，经空间注意力处理后获得第四特征图，将第四特征图经1×1的卷积运算后获得边缘检测结果。与现有技术相比，增加了神经网络的先验信息，提升了神经网络对于边缘特征的抽取能力，使得对于低对比度、灰度分布不均匀等恶劣环境的边缘检测能力更强。

Description

一种边缘检测方法及装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理中的边缘检测方法及装置。

背景技术

边缘检测是图像处理方面的一个重要应用，边缘是不同区域的分界线，是周围（局部）灰度值有显著变化的像素点的集合，有幅值和方向两个属性：

，

其中G _x 为X方向的梯度，G _y 为Y方向的梯度。这个不是绝对的定义，主要用于说明边缘是局部特征，以及周围灰度值显著变化产生边缘。轮廓是对物体的完整边界的描述，边缘点一个个连接起来构成轮廓。人眼视觉特性，看物体时一般是先获取物体的轮廓信息，再获取物体中的细节信息。

传统图像处理检测边缘主要包括几个步骤：（1）对图像进行梯度计算；（2）根据梯度赋值进行阈值判断或者非极大值抑制；（3）获取物体的边缘信息，进行轮廓跟踪、形态学运算等。基于传统的阈值进行判断，对于低对比度、灰度分布不均匀等场景下，很容易造成边缘的误检测。

在传统的图像处理中，边缘检测方法是使用边缘检测滤波器，这些滤波器是通过寻找较亮和较暗的区域边界像素点的方式提取边缘，滤波器寻找图像中梯度变化明显的部分，当前比较标准的滤波器有如Sobel、Roberts、Prewitt等。梯度一般描述为边缘的振幅和方向。将边缘振幅高的所有像素选择出来，就完成了区域的边缘轮廓提取。为了提升边缘检测的精度，在传统边缘检测中，效果较好的为Canny边缘检测方法。传统的边缘和轮廓检测方法，边缘检测对于低对比度、恶劣环境的适应性差。

在机器人分拣、抓取、拆垛、码垛等过程中，经常需要获取物体的边缘和轮廓信息。由于抓取过程中，存在反光、低对比度等场景，传统图像处理对环境变化适应性不足。

发明内容

本申请提供一种边缘检测方法及装置，具有边缘检测对低对比度、灰度分布不均匀等恶劣环境的适应性更强的特点。

根据第一方面，一种实施例中提供一种边缘检测方法，包括，

获取待检测图像；

将所述待检测图像输入到特征抽取器，得到含有多个通道的第一特征图；

将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图；

将所述第二特征图作为多尺度特征融合模块的输入，经多尺度特征融合处理后获得与输入的所述第二特征图分辨率大小相同的第三特征图；

将所述第三特征图作为空间注意力模块的输入，经空间注意力处理后获得第四特征图；

将所述第四特征图经1×1的卷积运算后获得边缘检测结果。

一个实施例中，所述边缘特征抽取模块包括D个，D≥2，第d个边缘特征抽取模块输出的特征图作为第d+1个边缘特征抽取模块的输入以获得D个不同分辨率的第二特征图，1≤d≤D-1；每一个所述边缘特征抽取模块均对应有所述多尺度特征融合模块，每一个所述多尺度特征融合模块均对应有所述空间注意力模块；

d=1时所对应的第四特征图经过1×1的卷积运算后获得一个第五特征图，d≥2时所对应的各个所述第四特征图一一依次经过1×1的卷积运算和上采样运算后获得与所述一个第五特征图尺度相同的各个第五特征图；将所有的第五特征图输入到通道拼接模块作通道拼接处理，获得融合特征图，并将所述融合特征图经1×1的卷积运算后获得所述边缘检测结果。

一个实施例中，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括45度和135度方向梯度差分卷积处理，包括，将3×3图像滤波核范围内的每个对应像素点的灰度值与中心像素点的灰度值作差获得新的所述每个像素点的灰度值，然后将所述新的所述每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

一个实施例中，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括环形梯度差分卷积处理，包括，将3×3图像滤波核范围内的每个对应像素点的坐标点对进行差分后的特征图进行卷积运算；所述每个对应像素点的坐标点对进行差分包括，中心像素点与自身构成所述坐标点对，中心像素点的灰度值与自身作差得到新的中心像素点的灰度值，在环形方向上，沿顺时针或逆势针方向，相邻地，第一个像素点所在坐标点与第二个像素点所在坐标点构成坐标点对，第一个像素点的灰度值与第二个像素点的灰度值作差获得新的第一个像素点的灰度值；第二个像素点所在坐标点与第三个像素点所在坐标点构成坐标点对，第二个像素点的灰度值与第三个像素点的灰度值作差获得新的第二个像素点的灰度值；以此类推，第八个像素点所在坐标点与第一个像素点所在坐标点构成坐标点对，第八个像素点的灰度值与第一个像素点的灰度值作差获得新的第八个像素点的灰度值；所述对差分后的特征图进行卷积运算包括，将新的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

一个是实施例中，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括Roberts梯度差分卷积处理，包括，将5×5图像滤波核范围内的对应的像素点分为左上角2×2、右上角2×2、左下角2×2、右下角2×2、上中1×2、下中1×2、左中2×1、右中2×1和中间点共9个部分，对该9个部分进行两个方向的差分得到两个3×3特征图，对该两个3×3特征图进行通道拼接后再进行卷积运算；所述对该9个部分进行两个方向的差分得到两个特征图中，其中，

进行一个方向的差分得到一个3×3特征图包括，将所述左上角2×2的135度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的45度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的45度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的135度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的一个3×3特征图；

进行另一个方向的差分得到另一个3×3特征图包括，将所述左上角2×2的45度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的135度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的135度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的45度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的另一个3×3特征图；

所述对该两个3×3特征图进行通道拼接后再进行卷积运算包括，对所述该两个3×3特征图进行通道拼接后的特征图的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

一个实施例中，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括45度和135度方向梯度差分卷积处理和环形梯度差分卷积处理；

所述45度和135度方向梯度差分卷积处理包括，将3×3图像滤波核范围内的每个对应像素点的灰度值与中心像素点的灰度值作差获得新的所述每个像素点的灰度值，然后将所述新的所述每个像素点的灰度值与对应像素点的卷积核系数进行加权求和；

所述环形梯度差分卷积处理包括，将3×3图像滤波核范围内的每个对应像素点的坐标点对进行差分后的特征图进行卷积运算；所述每个对应像素点的坐标点对进行差分包括，中心像素点与自身构成所述坐标点对，中心像素点的灰度值与自身作差得到新的中心像素点的灰度值，在环形方向上，沿顺时针或逆势针方向，相邻地，第一个像素点所在坐标点与第二个像素点所在坐标点构成坐标点对，第一个像素点的灰度值与第二个像素点的灰度值作差获得新的第一个像素点的灰度值；第二个像素点所在坐标点与第三个像素点所在坐标点构成坐标点对，第二个像素点的灰度值与第三个像素点的灰度值作差获得新的第二个像素点的灰度值；以此类推，第八个像素点所在坐标点与第一个像素点所在坐标点构成坐标点对，第八个像素点的灰度值与第一个像素点的灰度值作差获得新的第八个像素点的灰度值；所述对差分后的特征图进行卷积运算包括，将新的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

一个实施例中，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括45度和135度方向梯度差分卷积处理和Roberts梯度差分卷积处理。

一个实施例中，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括环形梯度差分卷积处理和Roberts梯度差分卷积处理。

一个实施例中，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括45度和135度方向梯度差分卷积处理、环形梯度差分卷积处理和Roberts梯度差分卷积处理。

一个实施例中，所述45度和135度方向梯度差分卷积核具体为

，

其中，w _k,l 为对应像素点的卷积核系数，f（i,j）为中心像素点的灰度值，（i,j）为中心像素点的坐标，f（i+k,j+l）为卷积核范围内的对应像素点的灰度值。

一个实施例中，所述环形梯度差分卷积核具体为

，

其中，

为对应像素点的卷积核系数，

和

为对应像素点的坐标点对的坐标，

和

为卷积核范围内的对应像素点的灰度值。

一个实施例中，所述边缘检测方法实现所基于的边缘检测模型是基于包括特征抽取器、边缘特征抽取模块、多尺度特征融合模块、空间注意力模块和通道拼接模块所组成的网络架构，结合损失函数进行训练得到；所述损失函数的构建方法包括：

根据待训练图像的标注信息和预测结果中的像素点的预测概率构建所述损失函数；所述标注信息包括标注为边缘的位置信息和标注为边缘的置信度；所述预测结果包括全局预测结果和局部预测结果；

所述局部预测结果的获取方法包括，根据训练过程中，所述通道拼接模块的每一个输入所对应的特征图作为一个特征图结果，得到对应的一个局部预测结果；

所述全局预测结果的获取方法包括，根据训练过程中，所述通道拼接模块的输出进行1×1卷积运算后的特征图作为一个特征图结果，得到对应的全局预测结果。

一个实施例中，所述损失函数根据如下表达式确定：

；

其中，y _s 为第s个像素点标注为边缘的置信度，α和β为预设权重，η为预设阈值，

为对于第d个预测结果中的第s个像素点的预测概率，整体的损失函数可以表示为：

。

一个实施例中，所述将所述第二特征图作为多尺度特征融合模块的输入，经多尺度特征融合处理后获得与输入的所述第二特征图分辨率大小相同的第三特征图，包括：

所述第二特征图经卷积运算后获得预设通道的特征图，再将所获得的预设通道的特征图分别经过两个以上不同膨胀率的空洞卷积运算，然后将对应的两个以上的空洞卷积运算的结果进行求和得到所述第三特征图；所述膨胀率根据边缘检测模型网络结构的需求进行设定。

一个实施例中，所述将所述第三特征图作为空间注意力模块的输入，经空间注意力处理后获得第四特征图，包括：

所述第三特征图依次经过1×1卷积和3×3卷积后获得与第三特征图等大小的单通道的特征图，将该单通道的特征图进行sigmoid运算后与所述第三特征图相乘，获得所述第四特征图。

根据第二方面，一种实施例中提供一种边缘检测方法，包括，基于上述任意一个所得到的边缘检测结果进行亚像素边缘提取，包括：

获取像素点中心点处沿图像X轴的灰度梯度值n _x 和沿图像Y轴的灰度梯度值n _y ；

计算偏移参数t：

，

其中g _x 和g _y 为所述像素点中心点处的一阶导，g _xx 、g _xy 和g _yy 为所述像素点中心点处的二阶导，并且

，

，

，

，

其中⊗表示克罗内克积，(x _I ,y _I )为所述像素点中心点的图像坐标，g(x _I ,y _I )为所述像素点中心点的灰度值，k _x 、k _y 、k _xx 、k _xy 和k _yy 为预设的卷积核；

则像素点中心点的亚像素坐标为

；

获取各个像素点中心点的亚像素坐标，以实现对图像的亚像素边缘提取。

一个实施例中，预设的卷积核可按如下设置：

，

，

。

根据第三方面，一种实施例中提供一种边缘检测装置，包括，

图像获取模块，用于获取待检测图像；

特征抽取器，用于将所述待检测图像作为输入经特征抽取处理后，得到含有多个通道的第一特征图；

边缘特征抽取模块，用于将所述第一特征图作为输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图；

多尺度特征融合模块，用于将所述第二特征图作为输入，经多尺度特征融合处理后获得与输入的所述第二特征图分辨率大小相同的第三特征图；

空间注意力模块，用于将所述第三特征图作为输入，经空间注意力处理后获得第四特征图；

边缘检测结果获取模块，用于将所述第四特征图经1×1的卷积运算后获得边缘检测结果。

根据第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述任意的检测方法。

本申请的有益效果是：

在本申请方案中，将第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，一方面，将一般卷积与多个角度方向的梯度差分卷积相融合，将梯度差分卷积融入到神经网络中，增加了神经网络的先验信息；第二方面，多个角度方向的梯度差分运算，提升了对各个角度的边缘的检测能力；由此，提升了神经网络对于边缘特征的抽取能力，使得对于低对比度、灰度分布不均匀等恶劣环境的边缘检测能力更强；第三方面，将先验信息融入到神经网络中，降低了特征的通道数，可以降低网络模型的大小，使得网络模型可以小于1M。

附图说明

图1为本申请一种实施例中的边缘检测方法流程示意图；

图2为本申请一种实施例中的边缘检测模型网络结构示意图；

图3为本申请一种实施例中的45度和135度方向梯度差分卷积处理过程示意图；

图4为本申请一种实施例中的环形梯度差分卷积处理过程示意图；

图5为本申请一种实施例中的5×5卷积灰度范围示意图；

图6为本申请一种实施例中的5×5卷积区域划分示意图；

图7为本申请一种实施例中的Roberts梯度差分卷积处理中进行一个方向的差分得到一个3×3特征图的处理过程示意图；

图8为本申请一种实施例中的Roberts梯度差分卷积处理中进行另一个方向的差分得到另一个3×3特征图的处理过程示意图；

图9为本申请一种实施例中的边缘特征抽取处理流程示意图；

图10为本申请一种实施例中的基于边缘检测模型网络结构训练中损失函数构建中预测结果采集示意图；

图11为本申请一种实施例中的损失函数构建流程示意图；

图12为本申请一种实施例中的多尺度特征融合处理流程示意图；

图13为本申请一种实施例中的多尺度特征融合处理模块结构示意图；

图14为本申请一种实施例中的空间注意力处理流程示意图；

图15为本申请一种实施例中的边缘检测装置结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。

为准确地理解本申请的技术方案及发明构思，这里将对一些图像处理技术进行简要说明。

在传统图像处理中，边缘检测方法是使用边缘检测滤波核，这些滤波核通过寻找较亮和较暗的区域边界像素点的方式提取边缘，滤波核寻找图像中梯度变化明显的部分，当前比较标准的滤波器有考虑水平垂直方向的Sobel滤波核：

；

考虑水平垂直方向的Prewitt滤波核：

；

考虑对角线方向的Laplace滤波核：

；

检测两个对角线方向的边缘信息的Roberts滤波核：

。

以上滤波核只是考虑了水平垂直方向或对角线方向，考虑的边缘检测方向相对单一，检测边缘方向的能力相对较弱，因此，在本申请中，我们将融入多个角度方向的差分运算，提升对各个角度的边缘的检测能力。

另外，传统的边缘检测中，基于深度学习的边缘和轮廓检测方案，主要利用卷积进行特征抽取，然后基于二分类进行判断是否为边缘信息。该方法需要在不用的特征尺度上进行判断，并且对不同尺度的边缘信息进行融合。该方法网络模型大，推理和训练时间长，同时需要较多的后处理，提升网络检测的精度。

基于上述传统技术所存在的缺陷，对下述提供的一种边缘检测方法进行具体说明，请参考图1，该方法包括：

S101、获取待检测图像。

可以理解地，对于待检测图像，进行边缘检测之前，本领域技术人员可以根据需求决定是否进行预处理和如何进行预处理。

S102、将待检测图像输入到特征抽取器，得到含有多个通道的第一特征图。

S103、将第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图。

在此，我们在边缘特征抽取处理中，一方面，将一般卷积与多个角度方向的梯度差分卷积相融合，将梯度差分卷积融入到神经网络中，增加了神经网络的先验信息；另一方面，多个角度方向包括但不限于例如45°、90°、135°和180°中至少两个角度方向的梯度差分运算，以提升对各个角度的边缘的检测能力；由此，提升了神经网络对于边缘特征的抽取能力，使得对于低对比度、灰度分布不均匀等恶劣环境的边缘检测能力更强；第三方面，将先验信息融入到神经网络中，降低了特征的通道数，可以降低网络模型的大小，使得网络模型可以小于1M，提升网络的训练速度，可以在几个epoch训练收敛。

可以理解的，这里的一般卷积处理为本发明申请日之前常用的一些普通卷积处理中的一种，例如大小为

的卷积核：

，

其中，a、b均为大于或等于0的自然数，

为对应像素点的卷积核系数，

为中心像素点的坐标，

为卷积核范围内的对应像素点的灰度值。

S104、将第二特征图作为多尺度特征融合模块的输入，经多尺度特征融合处理后获得与输入的第二特征图分辨率大小相同的第三特征图。

S105、将第三特征图作为空间注意力模块的输入，经空间注意力处理后获得第四特征图；

S106、将第四特征图经1×1的卷积运算后获得边缘检测结果。

一个实施例中，请参考图2，为达到更好的边缘检测效果，边缘特征抽取模块包括D个，D≥2，第d个边缘特征抽取模块输出的特征图作为第d+1个边缘特征抽取模块的输入以获得D个不同分辨率的第二特征图，1≤d≤D-1；每一个边缘特征抽取模块均对应有多尺度特征融合模块，每一个多尺度特征融合模块均对应有空间注意力模块；

d=1时所对应的第四特征图经过1×1的卷积运算后获得一个第五特征图，d≥2时所对应的各个第四特征图一一依次经过1×1的卷积运算和上采样运算后获得与上述一个第五特征图尺度相同的各个第五特征图；将所有的第五特征图输入到通道拼接模块作通道拼接处理，获得融合特征图，并将所述融合特征图经1×1的卷积运算后获得所述边缘检测结果。

一个实施例中，为增加感受野，第d个边缘特征抽取模块输出的特征图经过池化处理后作为第d+1个边缘特征抽取模块的输入。

传统技术中，基于梯度计算通过计算像素差来编码用于边缘检测的重要梯度信息。然而，这些手工制作的边缘算子或基于学习的边缘检测算法由于其浅层结构通常不够强大。本发明申请实施例设计了几种新的梯度差分卷积运算，以满足边缘检测的需要：（1）可以很容易地捕获图像梯度信息，便于边缘检测，并且卷积神经网络模型可以更专注于处理大量边缘检测相关的其他图像特征；（2）深层CNN强大的学习能力仍然可以保留，以提取语义上有意义的表示，从而实现鲁棒和准确的边缘检测。传统卷积主要是进行局部加权求和计算，为了将梯度信息融入到卷积中，本发明申请实施例提出了梯度加权卷积，先对图像中的特征图进行梯度计算，然后与核权重卷积以生成输出特征。

多个角度的梯度差分卷积可以使用现有的多个角度的卷积核获取。本发明申请还提供了以下介绍三种多个角度方向的梯度差分卷积处理方法，可以理解的，本领域技术人员可在本申请介绍的三种多个角度方向的梯度差分卷积处理方法的设计思路上进行扩展和变换，一切在本申请的三种多个角度方向的梯度差分卷积处理方法中任意一种的基础上进行等同或类似变换，均在本发明申请的保护范围之内。另外，以下介绍的这三种多角度方向的梯度差分卷积处理，需要与上述的一般卷积处理相结合，以实现边缘特征抽取，即：通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理。这里需要说明的是处理的顺序是可变的，也就是说可以先做一般卷积运算，再进行多角度方向的梯度差分卷积运算，也可以先做多个角度方向的梯度差分卷积运算，再进行多角度方向的梯度差分卷积运算。该多个角度方向的梯度差分卷积运算，可以包括上述三种多个角度方向的梯度差分卷积处理方法，也可以仅包括其中的两种或一种，当包括两种以上时，类似的，顺序也是可调的。下面对该三种多个角度方向的梯度差分卷积处理方法进行介绍。

第一种多个角度方向的梯度差分卷积处理方法，45度和135度方向梯度差分卷积处理，请参考图3，包括，将3×3图像滤波核范围内的每个对应像素点的灰度值与中心像素点的灰度值作差获得新的每个像素点的灰度值，然后将新的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

在45度和135度方向梯度差分卷积融合了45度和135度方向的差分运算，提升了对45度和135度方向的边缘检测能力。

图3中，x ₁ 、x ₂ 、x ₃ 、x ₄ 、x ₅ 、x ₆ 、x ₇ 、x ₈ 、x ₉ 为3×3图像滤波核范围内从左到右、从上到下9个对应像素点的灰度值，其中x ₅ 为中心像素点的灰度值，每个对应像素点的灰度值x ₁ 、x ₂ 、 x ₃ 、x ₄ 、x ₅ 、x ₆ 、x ₇ 、x ₈ 、x ₉ 与中心像素点的灰度值x ₅ 作差获得新的从左到右、从上到下9个对应像素点的灰度值：x ₁ -x ₅ 、x ₂ -x ₅ 、x ₃ -x ₅ 、x ₄ -x ₅ 、0、x ₆ -x ₅ 、x ₇ -x ₅ 、x ₈ -x ₅ 、x ₉ -x ₅ ，然后每个像素点的灰度值与其对应的卷积核系数进行加权求和，得到处理后的特征图。其中，该卷积核系数可以在该边缘检测所基于的边缘检测模型进行模型训练中得到。需要说明的是，这里的作差中的两个数减数和被减数可以互换，灰度值取作差后的绝对值即可。

一个实施例中，上述45度和135度方向梯度差分卷积处理所采用的卷积核，可具体表示为：

，

其中，

为对应像素点的卷积核系数，f（i,j）为中心像素点的灰度值，（i,j）为中心像素点的坐标，f（i+k, j+l）为卷积核范围内的对应像素点的灰度值。

第二种多个角度方向的梯度差分卷积处理方法，环形梯度差分卷积处理，请参考图4，包括，将3×3图像滤波核范围内的每个对应像素点的坐标点对进行差分后的特征图进行卷积运算；每个对应像素点的坐标点对进行差分包括，中心像素点与自身构成坐标点对，中心像素点的灰度值与自身作差得到新的中心像素点的灰度值，在环形方向上，沿顺时针或逆势针方向，相邻地，第一个像素点所在坐标点与第二个像素点所在坐标点构成坐标点对，第一个像素点的灰度值与第二个像素点的灰度值作差获得新的第一个像素点的灰度值；第二个像素点所在坐标点与第三个像素点所在坐标点构成坐标点对，第二个像素点的灰度值与第三个像素点的灰度值作差获得新的第二个像素点的灰度值；以此类推，第八个像素点所在坐标点与第一个像素点所在坐标点构成坐标点对，第八个像素点的灰度值与第一个像素点的灰度值作差获得新的第八个像素点的灰度值；其中，对差分后的特征图进行卷积运算包括，将新的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

在环形梯度差分卷积融合了180度和90度方向的差分运算，提升了对180度和90度方向的边缘检测能力。

图4中，x ₁ 、x ₂ 、x ₃ 、x ₄ 、x ₅ 、x ₆ 、x ₇ 、x ₈ 、x ₉ 为3×3图像滤波核范围内从左到右、从上到下9个对应像素点的灰度值，其中，x ₅ 为中心像素点的灰度值，x ₁ 、x ₂ 、x ₃ 、x ₄ 、x ₅ 、x ₆ 、x ₇ 、x ₈ 、x ₉ 为环形方向上的像素点的灰度值，将环形方向上彼此相邻的前一个像素点和后一个像素点两个点构成坐标点对，然后进行灰度值作差，即前一个像素点的灰度值与后一个像素点的灰度值作差，作差后的灰度值作为前一个像素点的新的灰度值，依次替代完毕。例如，图4中，可以沿顺时针环形方向上进行作差替代，也可以沿逆时针环形方向上进行作差替代，在沿顺时针环形方向的情况下，则构成的坐标点对依次为x ₁ 和x ₂ 、x ₂ 和x ₃ 、x ₃ 和x ₆ 、x ₆ 和x ₉ 、x ₉ 和x ₈ 、x ₈ 和x ₇ 、x ₇ 和x ₄ 、x ₄ 和x ₁ ，将坐标点对灰度值作差的结果x ₁ - x ₂ 、x ₂ - x ₃ 、x ₃ - x ₆ 、x ₆ - x ₉ 、x ₉ - x ₈ 、x ₈ - x ₇ 、x ₇ - x ₄ 、x ₄ - x ₁ 一一顺序对应去替代灰度值x ₁ 、x ₂ 、x ₃ 、x ₆ 、x ₉ 、x ₈ 、x ₇ 、x ₄ ，则得到每个像素点的新的灰度值；沿逆时针环形方向的情况下，则构成的坐标点对依次为x ₁ 和x ₄ 、x ₄ 和x ₇ 、x ₇ 和x ₈ 、x ₈ 和x ₉ 、x ₉ 和x ₆ 、x ₆ 和x ₃ 、x ₃ 和x ₂ 、x ₂ 和x ₁ ，将坐标点对灰度值作差的结果x ₁ - x ₄ 、x ₄ - x ₇ 、x ₇ - x ₈ 、x ₈ - x ₉ 、x ₉ - x ₆ 、x ₆ - x ₃ 、x ₃ - x ₂ 、x ₂ - x ₁ 一一顺序对应去替代灰度值x ₁ 、x ₄ 、x ₇ 、x ₈ 、x ₉ 、x ₆ 、x ₃ 、x ₂ ，则得到每个像素点的新的灰度值，然后将新的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和，得到处理后的特征图。其中，该卷积核系数可以在该边缘检测所基于的边缘检测模型进行模型训练中得到。需要说明的是，这里的作差中的两个数减数和被减数可以互换，灰度值取作差后的绝对值即可。

一个实施例中，上述环形梯度差分卷积核可以表示为

，

其中，

为对应像素点的卷积核系数，

和

为对应像素点的坐标点对的坐标，

和

为卷积核范围内的对应像素点的灰度值。

第三种多个角度方向的梯度差分卷积处理方法，Roberts梯度差分卷积处理，请参考图5到图8，包括，将5×5图像滤波核范围内的对应的像素点分为左上角2×2（即图5中x ₁ 、 x ₂ 、x ₆ 和x ₇ 所在的区域）、右上角2×2（即图5中x ₄ 、x ₅ 、x ₉ 和x ₁₀ 所在的区域）、左下角2×2（即图5中x ₁₆ 、x ₁₇ 、x ₂₁ 和x ₂₂ 所在的区域）、右下角2×2（即图5中x ₁₉ 、x ₂₀ 、x ₂₄ 和x ₂₅ 所在的区域）、上中1×2（即图5中x ₃ 和x ₈ 所在的区域）、下中1×2（即图5中x ₁₈ 和x ₂₃ 所在的区域）、左中2×1（即图5中x ₁₁ 和x ₁₂ 所在的区域）、右中2×1（即图5中x ₁₄ 和x ₁₅ 所在的区域）和中间点（即图5中的x ₁₃ 所在的区域）共9个部分，该9个部分一一对应图6所示的A、C、G、I、B、H、D、F、E共9个对应像素点。对该9个部分进行两个方向的差分得到两个3×3特征图，对该两个3×3特征图进行通道拼接后再进行卷积运算；对该9个部分进行两个方向的差分得到两个特征图中，其中，

请参考图7，进行一个方向的差分得到一个3×3特征图包括，将左上角2×2的135度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，即把x ₁ 、x ₂ 、x ₆ 和x ₇ 所在的区域作为一个像素点，将图5中x ₁ -x ₇ 的差作为这个像素点的灰度值；作为将右上角2×2的45度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，即把x ₄ 、x ₅ 、x ₉ 和x ₁₀ 所在的区域作为一个像素点，将图5中x ₅ -x ₉ 的差作为这个像素点的灰度值；将左下角2×2的45度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，即把x ₁₆ 、x ₁₇ 、x ₂₁ 和x ₂₂ 所在的区域作为一个像素点，将图5中x ₁₇ -x ₂₁ 的差作为这个像素点的灰度值；将右下角2×2的135度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，即把x ₁₉ 、x ₂₀ 、 x ₂₄ 和x ₂₅ 所在的区域作为一个像素点，将图5中x ₁₉ -x ₂₅ 的差作为这个像素点的灰度值；将上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，即把x ₃ 和x ₈ 所在的区域作为一个像素点，将图5中x ₃ -x ₈ 的差作为这个像素点的灰度值；将下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，即把x ₁₈ 和x ₂₃ 所在的区域作为一个像素点，将图5中x ₂₃ -x ₁₈ 的差作为这个像素点的灰度值；将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，即把x ₁₁ 和x ₁₂ 所在的区域作为一个像素点，将图5中x ₁₁ -x ₁₂ 的差作为这个像素点的灰度值；将右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，即把x ₁₄ 和x ₁₅ 所在的区域作为一个像素点，将图5中x ₁₅ -x ₁₄ 的差作为这个像素点的灰度值；将中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，即把x ₁₃ 所在的区域作为一个像素点，将x ₁₃ -x ₁₃ 的差即0作为这个像素点的灰度值；根据上述梯度差分从而得到的一个3×3特征图；需要说明的是，这里的作差中的两个数减数和被减数可以互换，灰度值取作差后的绝对值即可。

请参考图8，进行另一个方向的差分得到另一个3×3特征图包括，将左上角2×2的45度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，即把x ₁ 、x ₂ 、x ₆ 和x ₇ 所在的区域作为一个像素点，将图5中x ₂ -x ₆ 的差作为这个像素点的灰度值；将所述右上角2×2的135度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，即把x ₄ 、x ₅ 、x ₉ 和x ₁₀ 所在的区域作为一个像素点，将图5中x ₄ - x ₁₀ 的差作为这个像素点的灰度值；将左下角2×2的135度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，即把x ₁₆ 、x ₁₇ 、x ₂₁ 和x ₂₂ 所在的区域作为一个像素点，将图5中x ₁₆ -x ₂₂ 的差作为这个像素点的灰度值；将所述右下角2×2的45度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，即把x ₁₉ 、x ₂₀ 、x ₂₄ 和x ₂₅ 所在的区域作为一个像素点，将图5中x ₂₀ -x ₂₄ 的差作为这个像素点的灰度值；将上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，即把x ₃ 和x ₈ 所在的区域作为一个像素点，将图5中x ₃ -x ₈ 的差作为这个像素点的灰度值；将下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，即把x ₁₈ 和x ₂₃ 所在的区域作为一个像素点，将图5中x ₂₃ -x ₁₈ 的差作为这个像素点的灰度值；将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，即把x ₁₁ 和x ₁₂ 所在的区域作为一个像素点，将图5中x ₁₁ -x ₁₂ 的差作为这个像素点的灰度值；将右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，即把x ₁₄ 和x ₁₅ 所在的区域作为一个像素点，将图5中x ₁₅ -x ₁₄ 的差作为这个像素点的灰度值；将中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，即把x ₁₃ 所在的区域作为一个像素点，将x ₁₃ -x ₁₃ 的差即0作为这个像素点的灰度值；根据上述梯度差分从而得到所述的另一个3×3特征图；需要说明的是，这里的作差中的两个数减数和被减数可以互换，灰度值取作差后的绝对值即可。

对该两个3×3特征图进行通道拼接后再进行卷积运算包括，对该两个3×3特征图进行通道拼接后的特征图的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

本部分的Roberts梯度差分卷积考虑了5×5的灰度范围，再将5×5的灰度范围转换为3×3的特征值，再去做卷积，然后做通道拼接，在保证大小一致的情况下，可以考虑更大的灰度范围，降低噪声的影响，同时增加感受野。

基于上述三种梯度差分卷积处理方法：

一个实施例中，将第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和45度和135度方向梯度差分卷积处理后输出第二特征图；其中，一般卷积处理和45度和135度方向梯度差分卷积处理的处理顺序可调，即既可先进行一般卷积处理，再进行45度和135度方向梯度差分卷积处理，也可先进行45度和135度方向梯度差分卷积处理，再进行一般卷积处理；

一个实施例中，将第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和环形梯度差分卷积处理后输出第二特征图；其中，一般卷积处理和环形梯度差分卷积处理的处理顺序可调，即既可先进行一般卷积处理，再进行环形梯度差分卷积处理，也可先进行环形梯度差分卷积处理，再进行一般卷积处理；

一个实施例中，将第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和Roberts梯度差分卷积处理后输出第二特征图；其中，一般卷积处理和Roberts梯度差分卷积处理的处理顺序可调，即既可先进行一般卷积处理，再进行Roberts梯度差分卷积处理，也可先进行Roberts梯度差分卷积处理，再进行一般卷积处理；

一个实施例中，将第一特征图作为边缘特征抽取模块的输入，经一般卷积处理、45度和135度方向梯度差分卷积处理和环形梯度差分卷积处理后输出第二特征图；其中，一般卷积处理、45度和135度方向梯度差分卷积处理和环形梯度差分卷积处理的处理顺序可调，即既可先进行一般卷积处理，再进行45度和135度方向梯度差分卷积处理，再进行环形梯度差分卷积处理；也可先进行一般卷积处理，再进行环形梯度差分卷积处理，再进行45度和135度方向梯度差分卷积处理；也可先进行45度和135度方向梯度差分卷积处理，再进行一般卷积处理，再进行环形梯度差分卷积处理；也可先进行45度和135度方向梯度差分卷积处理，再进行环形梯度差分卷积处理，再进行一般卷积处理；

一个实施例中，将第一特征图作为边缘特征抽取模块的输入，经一般卷积处理、45度和135度方向梯度差分卷积处理和Roberts梯度差分卷积处理后输出第二特征图；同样地，其中，一般卷积处理、45度和135度方向梯度差分卷积处理和Roberts梯度差分卷积处理的处理顺序可调；

一个实施例中，请参考图9，将第一特征图作为边缘特征抽取模块的输入，经一般卷积处理、45度和135度方向梯度差分卷积处理、环形梯度差分卷积处理后和Roberts梯度差分卷积处理后输出第二特征图；同样地， 其中，一般卷积处理、45度和135度方向梯度差分卷积处理、环形梯度差分卷积处理和Roberts梯度差分卷积处理的处理顺序可调。

可以预见地，融入的角度越多，对各个角度的边缘的检测能力就越强，图像处理中，边缘检测网络的适应能力就越强。

一个实施例中，请参考图10，上述边缘检测方法中所基于的包括特征抽取器、边缘特征抽取模块、多尺度特征融合模块、空间注意力模块和通道拼接模块所组成的网络架构所组成的边缘检测模型，其训练中所结合的损失函数的构建方法可以使用现有的损失函数的构建方法，本发明申请还另外提供一种新的损失函数构建方法，请参考图11，包括：

S201，获取待训练图像的标注信息，该标注信息包括标注为边缘的位置信息和标注为边缘的置信度。

该标注信息的获取可在一开始获取待训练图像是一起获取，也可以之前或之后对应获取。

S202，获取每个局部预测结果，该局部预测结果包括训练过程中，通道拼接模块的每一个输入所对应的特征图作为一个特征图结果，得到的预测结果。

局部预测结果的获取，考虑了本层特征的预测结果的监督学习。

S203，获取全局预测结果，该全局预测结果包括训练过程中，通道拼接模块的输出进行1×1卷积运算后的特征图作为一个特征图结果，得到的预测结果。

全局预测结果的获取，考虑多层特征融合的结果分析。

S204，根据待训练图像的标注信息、每个局部预测结果中的像素点的预测概率和全局预测结果中的像素点的预测概率构建损失函数。

基于上述损失函数的构建方法所设计的边缘检测网络训练结构，既考虑了本层特征的预测结果的监督学习，又考虑多层特征融合的结果分析，加快了网络收敛的速度。

一个实施例中，上述损失函数可以表示为：

；

其中，y _s 为第s个像素点标注为边缘的置信度，α和β为预设权重，η为预设阈值，

为对于第d个预测结果中的第s个像素点的预测概率，整体的损失函数可以表示为：

。

一个实施例中，作为将第二特征图作为多尺度特征融合模块的输入，经多尺度特征融合处理后获得与输入的第二特征图分辨率大小相同的第三特征图的方法，可以使用现有的多尺度特征融合处理方法，本发明还另外提供一种新的多尺度特征融合处理方法，请参考图12和图13，包括：

S1041、第二特征图经卷积运算后获得预设通道的特征图。

S1042、将所获得的预设通道的特征图分别经过两个以上不同膨胀率的空洞卷积运算，膨胀率根据边缘检测模型网络结构的需求进行设定。

在图13的实施例中，对所获得的预设通道的特征图分别经过4个不同膨胀率的空洞卷积运算，4个不同膨胀率分别为3、5、7和9，需说明的是，该4个膨胀率只是一个举例说明，在别的应用和/或实例中，膨胀率可根据边缘检测模型网络的结构的需求进行具体设定。

S1043、将上述两个以上不同膨胀率的空洞卷积运算的结果进行求和得到第三特征图。

一个实施例中，作为将第三特征图作为空间注意力模块的输入，经空间注意力处理后获得第四特征图的方法，可以使用现有的空间注意力处理方法，本发明申请还提供了另外一种新的空间注意力处理方法，请参考图14，包括：

S1051、将第三特征图经过1×1卷积处理。

S1052、将上述1×1卷积处理的结果经3×3卷积处理后获得与第三特征图等大小的单通道的特征图。

S1053、将上述单通道的特征图进行sigmoid运算。

S1054、将上述sigmoid运算后的结果与第三特征图相乘，获得第四特征图。

在人体关键点提取、车辆跟踪、实例分割等场景下，也需要获取物体的轮廓形貌信息，以便进行后续的位子估计、VR游戏等场景落地应用。当前边缘检测获取的边缘，基本都是像素级边缘，边缘点的精度无法满足在高精度测量、位姿估计等场景下的应用。

为了提升边缘检测精度，本发明一些实施例中采用二阶曲面拟合，获取边缘的亚像素级别精度，采用亚像素的方法，可以进一步提升边缘检测的精度，在一些半导体、面板显示等高精度应用的场景，具有特殊的意义。

像素中心点的亚像素坐标可以使用现有的亚像素坐标计算方法获取。本发明还另外提供一种新的亚像素坐标计算方法，下面对其进行说明。

对于图像中任意一点的灰度值，对其进行二阶近似估计，可以表示为：

，

其中(x _I ,y _I )表示图像坐标，g(x _I ,y _I )为点(x _I ,y _I )的灰度值，g ₀ 为常数，g _x 和g _y 为点(x _I ,y _I )处的一阶导，g _xx 、g _xy 和g _yy 为点(x _I ,y _I )处的二阶导。

因此亚像素的灰度值的二阶近似估计可以表示为：

，

其中t为偏移参数，n _x 和n _y 分别为点(x _I ,y _I )处沿图像X轴和Y轴的灰度梯度值。

令其偏导数等于0可得：

，

可得：

，那么点(x _I ,y _I )的亚像素坐标为

。

因此对于图像坐标为(x _I ,y _I )的像素中心点，可以先获取像素中心点(x _I ,y _I )处沿图像X轴的灰度梯度值n _x 和沿图像Y轴的灰度梯度值n _y ，沿图像X轴的灰度梯度值n _x 和沿图像Y轴的灰度梯度值n _y 可以通过求解二阶导矩阵

最小特征值对应的特征向量获得；然后根据以下公式计算得到偏移参数t：

，

其中g _x 和g _y 为像素中心点处的一阶导，g _xx 、g _xy 和g _yy 为像素中心点处的二阶导，并且

，

，

，

，

其中⊗表示克罗内克积，g(x _I ,y _I )为像素中心点的灰度值，k _x 、k _y 、k _xx 、k _xy 和k _yy 为预设的卷积核，卷积核可根据实际需要设置。

那么像素中心点(x _I ,y _I )的亚像素坐标则为

。

获取各个像素点中心点的亚像素坐标，以实现对图像的亚像素边缘提取。

一个实施例中，预设的卷积核可按如下设置：

，

，

。

本发明一种实施例中提供一种边缘检测装置，请参考图15，本发明实施例仅以图15为例进行说明，并不表示本发明仅限于此，图15为本发明一实施例提供的边缘检测装置的结构示意图。如图15所示，该实施例提供的边缘检测设备包括：图像获取模块01、特征抽取器02、边缘特征抽取模块03、多尺度特征融合模块04、空间注意力模块05和边缘检测结果获取模块06。各模块可以分布于不同的处理器，也可以在同一个处理器中实现。处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，图像获取模块01，用于获取待检测图像。

该待检测图像可以是图像采集装置采集的二维彩色或灰度图像，本领域技术人员可以根据需要决定是否要对所采集的图像利用现有技术方法进行预处理和怎样预处理。

特征抽取器02，用于将上述待检测图像作为输入经特征抽取处理后，得到含有多个通道的第一特征图；边缘特征抽取模块03，用于将上述第一特征图作为输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图；多尺度特征融合模块04，用于将第二特征图作为输入，经多尺度特征融合处理后获得与输入的第二特征图分辨率大小相同的第三特征图；空间注意力模块05，用于将第三特征图作为输入，经空间注意力处理后获得第四特征图；边缘检测结果获取模块06，用于将第四特征图经1×1的卷积运算后获得边缘检测结果。

一个实施例中，边缘特征抽取模块03包括D个，D≥2，第d个边缘特征抽取模块输出的特征图作为第d+1个边缘特征抽取模块的输入以获得D个不同分辨率的第二特征图，1≤d≤D；每一个边缘特征抽取模块均对应有多尺度特征融合模块04，每一个多尺度特征融合模块04均对应有空间注意力模块05。

还包括通道拼接模块，d=1时所对应的第四特征图经过1×1的卷积运算后获得一个第五特征图，d≥2时所对应的各个所述第四特征图一一依次经过1×1的卷积运算和上采样运算后获得与所述一个第五特征图尺度相同的各个第五特征图；将所有的第五特征图输入到通道拼接模,作通道拼接处理，获得融合特征图，并将所述融合特征图经1×1的卷积运算后获得所述边缘检测结果。

根据第四方面，一种实施例中提供一种计算机可读存储介质，该介质上存储有程序，程序能够被处理器执行以实现上述任意的检测方法。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本申请进行阐述，只是用于帮助理解本申请技术方案，并不用以限制本申请。对于所属技术领域的技术人员，依据本申请的思想，还可以做出若干简单推演、变形或替换。

Claims (20)

1.一种边缘检测方法，其特征在于，包括，

获取待检测图像；

将所述待检测图像输入到特征抽取器，得到含有多个通道的第一特征图；

将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图；

将所述第二特征图作为多尺度特征融合模块的输入，经多尺度特征融合处理后获得与输入的所述第二特征图分辨率大小相同的第三特征图；

将所述第三特征图作为空间注意力模块的输入，经空间注意力处理后获得第四特征图；

将所述第四特征图经1×1的卷积运算后获得边缘检测结果。

2.如权利要求1所述的边缘检测方法，其特征在于，所述边缘特征抽取模块包括D个，D≥2，第d个边缘特征抽取模块输出的特征图作为第d+1个边缘特征抽取模块的输入以获得D个不同分辨率的第二特征图，1≤d≤D-1；每一个所述边缘特征抽取模块均对应有所述多尺度特征融合模块，每一个所述多尺度特征融合模块均对应有所述空间注意力模块；

d=1时所对应的第四特征图经过1×1的卷积运算后获得一个第五特征图，d≥2时所对应的各个所述第四特征图一一依次经过1×1的卷积运算和上采样运算后获得与所述一个第五特征图尺度相同的各个第五特征图；将所有的第五特征图输入到通道拼接模块作通道拼接处理，获得融合特征图，并将所述融合特征图经1×1的卷积运算后获得所述边缘检测结果。

3.如权利要求2所述的边缘检测方法，其特征在于，第d个边缘特征抽取模块输出的特征图经过池化处理后作为第d+1个边缘特征抽取模块的输入。

4.如权利要求1到3之一所述的边缘检测方法，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括45度和135度方向梯度差分卷积处理，包括，将3×3图像滤波核范围内的每个对应像素点的灰度值与中心像素点的灰度值作差获得新的所述每个像素点的灰度值，然后将所述新的所述每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

5.如权利要求1到3之一所述的边缘检测方法，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括环形梯度差分卷积处理，包括，将3×3图像滤波核范围内的每个对应像素点的坐标点对进行差分后的特征图进行卷积运算；所述每个对应像素点的坐标点对进行差分包括，中心像素点与自身构成所述坐标点对，中心像素点的灰度值与自身作差得到新的中心像素点的灰度值，在环形方向上，沿顺时针或逆势针方向，相邻地，第一个像素点所在坐标点与第二个像素点所在坐标点构成坐标点对，第一个像素点的灰度值与第二个像素点的灰度值作差获得新的第一个像素点的灰度值；第二个像素点所在坐标点与第三个像素点所在坐标点构成坐标点对，第二个像素点的灰度值与第三个像素点的灰度值作差获得新的第二个像素点的灰度值；以此类推，第八个像素点所在坐标点与第一个像素点所在坐标点构成坐标点对，第八个像素点的灰度值与第一个像素点的灰度值作差获得新的第八个像素点的灰度值；对所述差分后的特征图进行卷积运算包括，将新的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

6.如权利要求1到3之一所述的边缘检测方法，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括Roberts梯度差分卷积处理，包括，将5×5图像滤波核范围内的对应的像素点分为左上角2×2、右上角2×2、左下角2×2、右下角2×2、上中1×2、下中1×2、左中2×1、右中2×1和中间点共9个部分，对该9个部分进行两个方向的差分得到两个3×3特征图，对该两个3×3特征图进行通道拼接后再进行卷积运算；所述对该9个部分进行两个方向的差分得到两个特征图中，其中，

进行一个方向的差分得到一个3×3特征图包括，将所述左上角2×2的135度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的45度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的45度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的135度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的一个3×3特征图；

进行另一个方向的差分得到另一个3×3特征图包括，将所述左上角2×2的45度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的135度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的135度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的45度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的另一个3×3特征图；

所述对该两个3×3特征图进行通道拼接后再进行卷积运算包括，对所述该两个3×3特征图进行通道拼接后的特征图的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

7.如权利要求1到3之一所述的边缘检测方法，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括45度和135度方向梯度差分卷积处理和环形梯度差分卷积处理；

所述45度和135度方向梯度差分卷积处理包括，将3×3图像滤波核范围内的每个对应像素点的灰度值与中心像素点的灰度值作差获得新的所述每个像素点的灰度值，然后将所述新的所述每个像素点的灰度值与对应像素点的卷积核系数进行加权求和；

所述环形梯度差分卷积处理包括，将3×3图像滤波核范围内的每个对应像素点的坐标点对进行差分后的特征图进行卷积运算；所述每个对应像素点的坐标点对进行差分包括，中心像素点与自身构成所述坐标点对，中心像素点的灰度值与自身作差得到新的中心像素点的灰度值，在环形方向上，沿顺时针或逆势针方向，相邻地，第一个像素点所在坐标点与第二个像素点所在坐标点构成坐标点对，第一个像素点的灰度值与第二个像素点的灰度值作差获得新的第一个像素点的灰度值；第二个像素点所在坐标点与第三个像素点所在坐标点构成坐标点对，第二个像素点的灰度值与第三个像素点的灰度值作差获得新的第二个像素点的灰度值；以此类推，第八个像素点所在坐标点与第一个像素点所在坐标点构成坐标点对，第八个像素点的灰度值与第一个像素点的灰度值作差获得新的第八个像素点的灰度值；对所述差分后的特征图进行卷积运算包括，将新的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

8.如权利要求1到3之一所述的边缘检测方法，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括45度和135度方向梯度差分卷积处理和Roberts梯度差分卷积处理；

所述45度和135度方向梯度差分卷积处理包括，将3×3图像滤波核范围内的每个对应像素点的灰度值与中心像素点的灰度值作差获得新的所述每个像素点的灰度值，然后将所述新的所述每个像素点的灰度值与对应像素点的卷积核系数进行加权求和；

所述Roberts梯度差分卷积处理包括，将5×5图像滤波核范围内的对应的像素点分为左上角2×2、右上角2×2、左下角2×2、右下角2×2、上中1×2、下中1×2、左中2×1、右中2×1和中间点共9个部分，对该9个部分进行两个方向的差分得到两个3×3特征图，对该两个3×3特征图进行通道拼接后再进行卷积运算；所述对该9个部分进行两个方向的差分得到两个特征图中，其中，

进行一个方向的差分得到一个3×3特征图包括，将所述左上角2×2的135度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的45度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的45度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的135度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的一个3×3特征图；

进行另一个方向的差分得到另一个3×3特征图包括，将所述左上角2×2的45度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的135度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的135度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的45度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的另一个3×3特征图；

所述对该两个3×3特征图进行通道拼接后再进行卷积运算包括，对所述该两个3×3特征图进行通道拼接后的特征图的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

9.如权利要求1到3之一所述的边缘检测方法，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括环形梯度差分卷积处理和Roberts梯度差分卷积处理；

所述环形梯度差分卷积处理包括，将3×3图像滤波核范围内的每个对应像素的坐标点对进行差分后的特征图进行卷积运算；所述每个对应像素点的坐标点对进行差分包括，中心像素点与自身构成所述坐标点对，中心像素点的灰度值与自身作差得到新的中心像素点的灰度值，在环形方向上，沿顺时针或逆势针方向，相邻地，第一个像素点所在坐标点与第二个像素点所在坐标点构成坐标点对，第一个像素点的灰度值与第二个像素点的灰度值作差获得新的第一个像素点的灰度值；第二个像素点所在坐标点与第三个像素点所在坐标点构成坐标点对，第二个像素点的灰度值与第三个像素点的灰度值作差获得新的第二个像素点的灰度值；以此类推，第八个像素点所在坐标点与第一个像素点所在坐标点构成坐标点对，第八个像素点的灰度值与第一个像素点的灰度值作差获得新的第八个像素点的灰度值；对所述差分后的特征图进行卷积运算包括，将新的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和；

所述Roberts梯度差分卷积处理包括，将5×5图像滤波核范围内的对应的像素点分为左上角2×2、右上角2×2、左下角2×2、右下角2×2、上中1×2、下中1×2、左中2×1、右中2×1和中间点共9个部分，对该9个部分进行两个方向的差分得到两个3×3特征图，对该两个3×3特征图进行通道拼接后再进行卷积运算；所述对该9个部分进行两个方向的差分得到两个特征图中，其中，

进行一个方向的差分得到一个3×3特征图包括，将所述左上角2×2的135度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的45度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的45度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的135度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的一个3×3特征图；

进行另一个方向的差分得到另一个3×3特征图包括，将所述左上角2×2的45度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的135度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的135度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的45度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的另一个3×3特征图；

所述对该两个3×3特征图进行通道拼接后再进行卷积运算包括，对所述该两个3×3特征图进行通道拼接后的特征图的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

10.如权利要求1到3之一所述的边缘检测方法，所述将所述第一特征图作为边缘特征抽取模块的输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图，包括，通过一般卷积运算和多个角度方向的梯度差分卷积运算对所述第一特征图进行顺序卷积处理；所述顺序卷积处理所采用的一般卷积核和多个角度方向的梯度差分卷积核的顺序可调换；

所述多个角度方向的梯度差分卷积处理包括45度和135度方向梯度差分卷积处理、环形梯度差分卷积处理和Roberts梯度差分卷积处理；

所述45度和135度方向梯度差分卷积处理包括，将3×3图像滤波核范围内的每个对应像素点的灰度值与中心像素点的灰度值作差获得新的所述每个像素点的灰度值，然后将所述新的所述每个像素点的灰度值与对应像素点的卷积核系数进行加权求和；

所述环形梯度差分卷积处理包括，将3×3图像滤波核范围内的每个对应像素点的坐标点对进行差分后的特征图进行卷积运算；所述每个对应像素点的坐标点对进行差分包括，中心像素点与自身构成所述坐标点对，中心像素点的灰度值与自身作差得到新的中心像素点的灰度值，在环形方向上，沿顺时针或逆势针方向，相邻地，第一个像素点所在坐标点与第二个像素点所在坐标点构成坐标点对，第一个像素点的灰度值与第二个像素点的灰度值作差获得新的第一个像素点的灰度值；第二个像素点所在坐标点与第三个像素点所在坐标点构成坐标点对，第二个像素点的灰度值与第三个像素点的灰度值作差获得新的第二个像素点的灰度值；以此类推，第八个像素点所在坐标点与第一个像素点所在坐标点构成坐标点对，第八个像素点的灰度值与第一个像素点的灰度值作差获得新的第八个像素点的灰度值；对所述差分后的特征图进行卷积运算包括，将新的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和；

所述Roberts梯度差分卷积处理包括，将5×5图像滤波核范围内的对应的像素点分为左上角2×2、右上角2×2、左下角2×2、右下角2×2、上中1×2、下中1×2、左中2×1、右中2×1和中间点共9个部分，对该9个部分进行两个方向的差分得到两个3×3特征图，对该两个3×3特征图进行通道拼接后再进行卷积运算；所述对该9个部分进行两个方向的差分得到两个特征图中，其中，

进行一个方向的差分得到一个3×3特征图包括，将所述左上角2×2的135度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的45度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的45度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的135度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的一个3×3特征图；

进行另一个方向的差分得到另一个3×3特征图包括，将所述左上角2×2的45度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的135度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的135度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的45度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到所述的另一个3×3特征图；

所述对该两个3×3特征图进行通道拼接后再进行卷积运算包括，对所述该两个3×3特征图进行通道拼接后的特征图的每个像素点的灰度值与对应像素点的卷积核系数进行加权求和。

11.如权利要求4所述的边缘检测方法，其特征在于，所述45度和135度方向梯度差分卷积核具体为

，

其中，

为对应像素点的卷积核系数，f（i,j）为中心像素点的灰度值，（i,j）为中心像素点的坐标，f（i+k,j+l）为卷积核范围内的对应像素点的灰度值。

12.如权利要求5所述的边缘检测方法，其特征在于，所述环形梯度差分卷积核具体为

，

其中，

为对应像素点的卷积核系数，

和

为对应像素点的坐标点对的坐标，

和

为卷积核范围内的对应像素点的灰度值。

13.如权利要求2或3所述的边缘检测方法，其特征在于，所述边缘检测方法实现所基于的边缘检测模型是基于包括特征抽取器、边缘特征抽取模块、多尺度特征融合模块、空间注意力模块和通道拼接模块所组成的网络架构，结合损失函数进行训练得到；所述损失函数的构建方法包括：

根据待训练图像的标注信息和预测结果中的像素点的预测概率构建所述损失函数；所述标注信息包括标注为边缘的位置信息和标注为边缘的置信度；所述预测结果包括全局预测结果和局部预测结果；

所述局部预测结果的获取方法包括，根据训练过程中，所述通道拼接模块的每一个输入所对应的特征图作为一个特征图结果，得到对应的一个局部预测结果；

所述全局预测结果的获取方法包括，根据训练过程中，所述通道拼接模块的输出进行1×1卷积运算后的特征图作为一个特征图结果，得到对应的全局预测结果。

14.如权利要求13所述的边缘检测方法，其特征在于，所述损失函数根据如下表达式确定：

；

其中，y _s 为第s个像素点标注为边缘的置信度，α和β为预设权重，η为预设阈值，

为对于第d个预测结果中的第s个像素点的预测概率，整体的损失函数可以表示为：

。

15.如权利要求1到3之一所述的边缘检测方法，其特征在于，所述将所述第二特征图作为多尺度特征融合模块的输入，经多尺度特征融合处理后获得与输入的所述第二特征图分辨率大小相同的第三特征图，包括：

所述第二特征图经卷积运算后获得预设通道的特征图，再将所获得的预设通道的特征图分别经过两个以上不同膨胀率的空洞卷积运算，然后将对应的两个以上的空洞卷积运算的结果进行求和得到所述第三特征图；所述膨胀率根据边缘检测模型网络结构的需求进行设定。

16.如权利要求1到3之一所述的边缘检测方法，其特征在于，所述将所述第三特征图作为空间注意力模块的输入，经空间注意力处理后获得第四特征图，包括：

所述第三特征图依次经过1×1卷积和3×3卷积后获得与第三特征图等大小的单通道的特征图，将该单通道的特征图进行sigmoid运算后与所述第三特征图相乘，获得所述第四特征图。

17.一种边缘检测方法，其特征在于，包括，基于权利要求1到16之一中所得到的边缘检测结果进行亚像素边缘提取，包括：

获取像素点中心点处沿图像X轴的灰度梯度值n _x 和沿图像Y轴的灰度梯度值n _y ；

计算偏移参数t：

，

其中g _x 和g _y 为所述像素点中心点处的一阶导，g _xx 、g _xy 和g _yy 为所述像素点中心点处的二阶导，并且

，

，

，

，

其中⊗表示克罗内克积，(x _I ,y _I )为所述像素点中心点的图像坐标，g(x _I ,y _I )为所述像素点中心点的灰度值，k _x 、k _y 、k _xx 、k _xy 和k _yy 为预设的卷积核；

则像素点中心点的亚像素坐标为

；

获取各个像素点中心点的亚像素坐标，以实现对图像的亚像素边缘提取。

18.根据权利要求17所述的边缘检测方法，其特征在于，预设的卷积核可按如下设置：

，

，

。

19.一种边缘检测装置，其特征在于，包括，

图像获取模块，用于获取待检测图像；

特征抽取器，用于将所述待检测图像作为输入经特征抽取处理后，得到含有多个通道的第一特征图；

边缘特征抽取模块，用于将所述第一特征图作为输入，经一般卷积处理和多个角度方向的梯度差分卷积处理后获得第二特征图；

多尺度特征融合模块，用于将所述第二特征图作为输入，经多尺度特征融合处理后获得与输入的所述第二特征图分辨率大小相同的第三特征图；

空间注意力模块，用于将所述第三特征图作为输入，经空间注意力处理后获得第四特征图；

边缘检测结果获取模块，用于将所述第四特征图经1×1的卷积运算后获得边缘检测结果。

20.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-18之一所述的检测方法。

Images