CN116029942B - 一种深度学习图像边缘强化的方法、相关装置及存储介质 - Google Patents

Abstract

本申请公开了一种深度学习图像边缘强化的方法、相关装置及存储介质，用于加强图像的边缘特征，使得图像特征信息更加全面。本申请方法包括：将初始特征输入至目标神经网络中，通过第一卷积模块生成至少一个分层特征；对所述分层特征进行Canny算子处理和差分处理，得到第一中间特征通过叠加模块对所述第一中间特征和所述初始特征进行通道叠加处理，得到叠加结果；通过第二卷积模块对所述叠加结果进行特征融合处理，得到第二中间特征；对所述第二中间特征进行Canny算子处理和差分处理，输出边缘信息强化后的目标特征。

Description

一种深度学习图像边缘强化的方法、相关装置及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种深度学习图像边缘强化的方法、相关装置及存储介质。

背景技术

深度学习作为新兴技术在图像领域蓬勃发展，因其自主学习图像数据特征避免了人工设计算法的繁琐，精准的检测性能、高效的检测效率以及对各种不同类型的图像任务都有比较好的泛化性能，使得深度学习技术在图像领域得到广泛应用，包括图像检测、图像分类、图像重构等。而图像边缘检测作为图像样本的基本处理流程，在图像领域有着十分重要的地位，在深度学习图像处理中，图像边缘信息是整张图像特征信息的关键部分，在神经网络对图像特征提取方面有着不可替代的作用。

现有技术中，在深度学习中对图像边缘信息进行提取和强化一般采用前期图像边缘预处理的方式，即对原图像使用传统算子进行边缘强化处理，再将处理结果和原图一起直接送入神经网络。但这种方式将传统算法和深度学习分割开来，预处理信息只是和原图信息表面地拼接到一起，无法传递到神经网络提取图像特征的各个环节中，随着神经网络层次地加深，预处理的图像边缘信息逐渐丢失，最终导致图像特征信息的缺失，因此难以达到理想的检测效果。

发明内容

本申请提供了一种深度学习图像边缘强化的方法、相关装置及存储介质，用于加强图像的边缘特征，使得图像特征信息更加全面。

本申请第一方面提供了一种深度学习图像边缘强化的方法，包括：

将初始特征输入至目标神经网络中，通过第一卷积模块生成至少一个分层特征；

对所述分层特征进行Canny算子处理和差分处理，得到第一中间特征；

通过叠加模块对所述第一中间特征和所述初始特征进行通道叠加处理，得到叠加结果；

通过第二卷积模块对所述叠加结果进行特征融合处理，得到第二中间特征；

对所述第二中间特征进行Canny算子处理和差分处理，输出边缘信息强化后的目标特征。

可选的，所述对所述分层特征进行Canny算子处理和差分处理，得到第一中间特征包括：

对所述分层特征进行去噪处理，并计算得到所述分层特征的梯度图像；

根据所述梯度图像进行非极大值抑制处理、双阈值检测和滞后边界跟踪处理，得到边缘特征；

对所述边缘特征与所述分层特征进行差分处理，得到第一中间特征。

可选的，所述根据所述梯度图像进行非极大值抑制处理、双阈值检测和滞后边界跟踪处理，得到边缘特征，包括：

遍历所述梯度图像中的每个像素点，判断当前像素点是否为周围像素点中具有相同梯度方向的最大值，若是则保留，若否则将该像素点的值归零；

通过高低阈值确定强边缘像素和弱边缘像素；

根据所述强边缘像素和弱边缘像素的连接关系确定所述分层特征的边缘信息，得到边缘特征。

可选的，在所述通过叠加模块对所述第一中间特征和所述初始特征进行通道叠加处理，得到叠加结果之前，所述方法还包括：

对所述第一中间特征进行双线性插值处理，以使得所述第一中间特征的大小与所述初始特征相同。

可选的，所述第一卷积模块包括BatchNorm-3*3Conv-ReLU层，所述通过第一卷积模块生成至少一个分层特征包括：

通过所述第一卷积模块中的BatchNorm-3*3Conv-ReLU层对所述初始特征进行卷积特征提取，生成所述初始特征的分层特征，所述分层特征的大小为所述初始特征的一半，所述分层特征的通道数为所述初始特征的两倍。

可选的，所述第二卷积模块包括BatchNorm-1*1Conv-ReLU层，所述通过第二卷积模块对所述叠加结果进行特征融合处理，得到第二中间特征包括：

通过所述第二卷积模块中的BatchNorm-1*1Conv-ReLU层对所述叠加结果进行特征的通道融合，得到第二中间特征，所述第二中间特征的大小及通道数与所述初始特征相同。

可选的，所述通过第一卷积模块生成至少一个分层特征包括：

通过四个第一卷积模块依次生成四个分层特征，每个分层特征的大小为前一层的一半，每个分层特征的通道数为前一层的两倍。

本申请第二方面提供了一种深度学习图像边缘强化的装置，包括：

分层单元，用于将初始特征输入至目标神经网络中，通过第一卷积模块生成至少一个分层特征；

第一边缘强化单元，用于对所述分层特征进行Canny算子处理和差分处理，得到第一中间特征；

叠加单元，用于通过叠加模块对所述第一中间特征和所述初始特征进行通道叠加处理，得到叠加结果；

融合单元，用于通过第二卷积模块对所述叠加结果进行特征融合处理，得到第二中间特征；

第二边缘强化单元，用于对所述第二中间特征进行Canny算子处理和差分处理，输出边缘信息强化后的目标特征。

可选的，所述第一边缘强化单元具体用于：

对所述分层特征进行去噪处理，并计算得到所述分层特征的梯度图像；

根据所述梯度图像进行非极大值抑制处理、双阈值检测和滞后边界跟踪处理，得到边缘特征；

对所述边缘特征与所述分层特征进行差分处理，得到第一中间特征。

可选的，所述第一边缘强化单元具体还用于：

遍历所述梯度图像中的每个像素点，判断当前像素点是否为周围像素点中具有相同梯度方向的最大值，若是则保留，若否则将该像素点的值归零；

通过高低阈值确定强边缘像素和弱边缘像素；

根据所述强边缘像素和弱边缘像素的连接关系确定所述分层特征的边缘信息，得到边缘特征。

可选的，所述叠加单元还用于：

对所述第一中间特征进行双线性插值处理，以使得所述第一中间特征的大小与所述初始特征相同。

可选的，所述第一卷积模块包括BatchNorm-3*3Conv-ReLU层，所述分层单元具体用于：

通过所述第一卷积模块中的BatchNorm-3*3Conv-ReLU层对所述初始特征进行卷积特征提取，生成所述初始特征的分层特征，所述分层特征的大小为所述初始特征的一半，所述分层特征的通道数为所述初始特征的两倍。

可选的，所述第二卷积模块包括BatchNorm-1*1Conv-ReLU层，所述融合单元具体用于：

通过所述第二卷积模块中的BatchNorm-1*1Conv-ReLU层对所述叠加结果进行特征的通道融合，得到第二中间特征，所述第二中间特征的大小及通道数与所述初始特征相同。

可选的，所述分层单元具体用于：

通过四个第一卷积模块依次生成四个分层特征，每个分层特征的大小为前一层的一半，每个分层特征的通道数为前一层的两倍。

本申请第三方面提供了一种深度学习图像边缘强化的装置，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的深度学习图像边缘强化的方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的深度学习图像边缘强化的方法。

从以上技术方案可以看出，本申请具有以下优点：

将成熟的传统图像边缘信息提取算法Canny引入到深度学习神经网络中，将传统算法和深度学习融合起来，优势互补。具体通过在神经网络中图像特征提取的各个不同阶段同时引入Canny算子并通过差分处理，将图像各个特征阶段的边缘信息加以强化突出，使得神经网络在进行图像特征提取的各个不同阶段都能得到对应的图像边缘信息，最后再将各层的边缘信息叠加融合，得到更加全面整体的图像边缘信息，再将其融入到整张图像的特征信息中，能够得到更加全面的图像特征信息，从而提高后续图像检测的精度。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的深度学习图像边缘强化的方法一个实施例流程示意图；

图2为本申请提供的深度学习图像边缘强化的方法另一个实施例流程示意图；

图3为本申请提供的深度学习图像边缘强化的方法中第一卷积模块结构示意图；

图4为本申请提供的深度学习图像边缘强化的方法中第二卷积模块结构示意图；

图5为本申请提供的深度学习图像边缘强化的方法中目标神经网络的整体结构示意图；

图6为本申请提供的深度学习图像边缘强化的装置一个实施例结构示意图；

图7为本申请提供的深度学习图像边缘强化的装置另一个实施例结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请提供了一种深度学习图像边缘强化的方法、相关装置及存储介质，用于加强图像的边缘特征，使得图像特征信息更加全面。需要说明的是，本申请提供的深度学习图像边缘强化的方法，可以应用于终端，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。

请参阅图1，图1为本申请提供的深度学习图像边缘强化的方法的一个实施例，该方法包括：

101、将初始特征输入至目标神经网络中，通过第一卷积模块生成至少一个分层特征；

在大多数应用场景中，如果需要对图像进行前期的边缘预处理，会选择对原图像使用传统算子进行边缘强化处理，再将处理结果和原图一起直接送入神经网络，但这种方式将传统算法和深度学习分割开，预处理信息只是和原图信息表面地拼接到一起，无法传递到神经网络提取图像特征的各个环节中，随着神经网络层次地加深，预处理的图像边缘信息逐渐丢失。基于此，在本实施例中设计了一种强化图像中边缘信息的目标神经网络，通过目标神经网络在图像特征中逐层加入边缘信息，得到整张图像的整体边缘特征，最后融入到整张图像的特征信息中，以提高后续对图像中目标物体检测的精度。

具体的，终端将特征图，即本申请中的初始特征输入至该目标神经网络中，初始特征首先会经过至少一个第一卷积模块，生成至少一个分层特征。第一卷积模块的作用是提取图像中的特征信息，初始特征每经过一个第一卷积模块都会对应输出一组分层特征，每个分层特征对初始特征的描述不同。通过不断堆叠第一卷积模块，目标神经网络便可以提取到丰富的分层特征，第一次卷积可以提取出低层次的特征、第二次卷积可以提取出中层次的特征、第三次卷积则可以提取出高层次的特征，以此类推后图像特征不断被进行提取和压缩，最终能得到从低到高的多个分层特征。对于低层次的分层特征，其分辨率高，包含更多的细节信息，而对于高层次的分层特征，其分辨率低，但能够提取更多的语义信息。

102、对分层特征进行Canny算子处理和差分处理，得到第一中间特征；

在第一卷积模块输出分层特征后，终端则对该分层特征进行Canny算子处理，以捕捉该分层特征的边缘信息,提取边缘信息是底层数字图像处理的基本任务之一，边缘信息对进一步提取高层语义信息有很大的影响。具体的，Canny算子处理具体是指Canny边缘检测算法，Canny算法是目前图像边缘检测算法中最经典、先进的算法之一，其错误率低，能够标识出尽可能多的实际边缘，同时尽可能的减少了噪声产生的误报。

通过对该分层特征进行Canny算子处理，能够得到该分层特征的边缘信息，此时再将该边缘信息与分层特征进行差分处理，得到强化了边缘信息的第一中间特征。

103、通过叠加模块对第一中间特征和初始特征进行通道叠加处理，得到叠加结果；

终端通过叠加模块将该第一中间特征与初始特征进行通道叠加处理，即将第一中间特征与初始特征按照特征通道进行叠加，得到叠加结果。

需要说明的是，该步骤中的叠加处理是将第一中间特征与初始特征进行叠加，这是相对于初始特征仅经过一次卷积特征提取，即仅生成了一个分层特征来描述的，若初始特征经过多次的卷积特征提取，那么对应会生成多个分层特征，终端则需要按照从高层次到低层次的顺序，依次执行各个分层特征的Canny算子处理、差分处理和通道叠加处理等操作，即在得到每个分层特征的边缘信息后，是与上一层的分层特征进行叠加融合，直到最后一次与初始特征进行叠加融合。

104、通过第二卷积模块对叠加结果进行特征融合处理，得到第二中间特征；

终端将叠加结果送入第二卷积模块进行通道间的特征融合，得到第二中间特征，第二卷积模块的作用是使第一中间特征与初始特征之间的通道融合，因此第二中间特征在初始特征的基础上融入了该分层特征的边缘信息。

105、对第二中间特征进行Canny算子处理和差分处理，输出边缘信息强化后的目标特征。

终端再对第二中间特征进行一次Canny算子处理和差分处理，即捕捉第二中间特征中的边缘信息，再将该边缘信息与第二中间特征进行差分处理，得到强化了边缘信息后的第二中间特征，即本实施例中的目标特征，通过将图像的各层边缘信息叠加融合，该目标特征包含了整张图像的整体边缘特征。

在本实施例中，将成熟的传统图像边缘信息提取算法Canny引入到深度学习神经网络中，将传统算法和深度学习融合起来，优势互补。具体通过在神经网络中图像特征提取的各个不同阶段同时引入Canny算子并通过差分处理，将图像各个特征阶段的边缘信息加以强化突出，使得神经网络在进行图像特征提取的各个不同阶段都能得到对应的图像边缘信息，最后再将各层的边缘信息叠加融合，得到更加全面整体的图像边缘信息，再将其融入到整张图像的特征信息中，能够得到更加全面的图像特征信息，从而提高后续图像检测的精度。此外，本实施例中提供的目标神经网络可以直接加入其它神经网络的任何位置，不会造成神经网络结构的变化，并且可以在整个神经网络中多次使用，适用性强，具有广泛的应用前景。

下面对本申请提供的深度学习图像边缘强化的方法中的Canny算子检测方法和目标神经网络架构进行详细说明，请参阅图2，图2为本申请提供的深度学习图像边缘强化的方法的另一个实施例，该方法包括：

201、将初始特征输入至目标神经网络中，通过第一卷积模块生成至少一个分层特征；

在本实施例中，步骤201与前述实施例步骤101类似，此处不再赘述。

具体的，在本实施例中，第一卷积模块的结构如图3所示，该第一卷积模块包括BatchNorm-3*3Conv-ReLU层，即该第一卷积模块使用3×3卷积进行特征提取，使得输入的特征尺寸减半通道数加倍。初始特征经过若干个第一卷积模块，会对应生成若干个分层特征，每个分层特征的大小为前一层的一半，通道数是前一层的两倍。

202、对分层特征进行去噪处理，并计算得到分层特征的梯度图像；

在Canny边缘检测中，首先要进行去噪处理来平滑图像，去除噪声。优选的，终端可采用高斯平滑滤波来去除噪声，选用高斯滤波是因为在众多噪声滤波器中，高斯滤波为表现最好的一个，大小为(2k+1)x(2k+1)的高斯滤波器核的生成方程式由下式给出：

在去噪处理完成后，终端则可以计算得到该分层特征的梯度图像。对于一张图片来说，梯度能很好地反映其像素的变化情况，梯度变化越大，说明相邻像素之间存在着较大差异，放大到整张图片来说，就是在某一块区域存在边缘，从灰度图的视觉上来说就是由黑到白。具体的，梯度的计算分为大小和方向，首先需要求出各个方向上的梯度，然后求平方根和切线。以下是x、y方向上梯度的计算方式：

。

203、根据梯度图像进行非极大值抑制处理、双阈值检测和滞后边界跟踪处理，得到边缘特征；

终端根据计算得到的梯度图像，应用非最大抑制（non-maximum suppression）技术来消除边误检、应用双阈值的方法来决定可能的（潜在的）边界、最后利用滞后技术来跟踪边界，最终得到准确、高定位性的边缘特征，下面分别进行说明：

一、应用非最大抑制（non-maximum suppression）技术来消除边误检：

终端遍历梯度图像中的每个像素点，判断当前像素点是否为周围像素点中具有相同梯度方向的最大值，若是则保留，若否则将该像素点的值归零，这样可以抑制非极大值,保留局部梯度最大的点,以细化边缘。

具体的，终端将其梯度方向近似为以下值中的一个[0,45,90,135,180,225,270,315]（即对应上、下、左、右和45度方向），这一步是为了方便使用梯度；然后比较该像素点，和其梯度方向正负方向的像素点的梯度强度（比较的范围一般为像素点的八邻域）；如果该像素点梯度强度最大则保留，否则抑制(删除，即置为0)。

二、应用双阈值的方法来决定可能的（潜在的）边界：

在施加非极大值抑制之后,剩余的像素可以更准确地表示图像中的实际边缘，但仍然还会存在由于噪声和颜色变化引起的一些边缘像素。为了解决这些杂散响应,必须用弱梯度值过滤弱边缘像素，并保留具有高梯度值的强边缘像素，即通过高低阈值确定强边缘像素和弱边缘像素。具体的，可以设定一个阈值上界和阈值下界，图像中的像素点如果大于阈值上界则认为必然是边界（称为强边界，strong edge），小于阈值下界则认为必然不是边界，两者之间的则认为是候选项（称为弱边界，weak edge），需进行进一步处理。在实际应用中，上界一般设置为下界的2-3倍，能够得到较好的过滤效果。

三、利用滞后技术来跟踪边界：

终端根据强边缘像素和弱边缘像素的连接关系确定分层特征的边缘信息，即当弱边缘像素和强边缘像素相连时，才将该弱边缘像素包含在输出特征中，其它的弱边缘像素则被删除。

204、对边缘特征与分层特征进行差分处理，得到第一中间特征；

在本实施例中，步骤204与前述实施例步骤102类似，此处不再赘述。

205、对第一中间特征进行双线性插值处理，以使得第一中间特征的大小与初始特征相同；

由于后续要进行第一中间特征和初始特征的通道叠加处理，为了使第一中间特征的特征大小尺寸与初始特征相同，需要对该第一中间特征进行双线性插值处理。

206、通过叠加模块对第一中间特征和初始特征进行通道叠加处理，得到叠加结果；

在本实施例中，步骤206与前述实施例步骤103类似，此处不再赘述。

207、通过第二卷积模块对叠加结果进行特征融合处理，得到第二中间特征；

在本实施例中，步骤207与前述实施例步骤104类似，此处不再赘述。

具体的，在本实施例中，第二卷积模块的结构如图4所示，该第二卷积模块包括BatchNorm-1*1Conv-ReLU层，即该第一卷积模块使用1×1卷积进行特征的通道融合，使得输入的特征尺寸以及通道数不变。

208、对第二中间特征进行Canny算子处理和差分处理，输出边缘信息强化后的目标特征。

在本实施例中，步骤208与前述实施例步骤105类似，此处不再赘述。

在实际应用中，对初始特征进行多次卷积，即提取并叠加融合多层的边缘信息即可获得更为理想的边缘信息强化效果，下面以卷积四次为例，结合图5对本申请提供的深度学习图像边缘强化的方法进行说明：

请参阅图5，图5为本申请中目标神经网络的一种结构示意图，首先初始特征F1经过4个第一卷积模块（3*3卷积块）生成4个分层特征(F2-F5)，每个分层特征大小为前一层的一半，通道是前一层的两倍，F5特征层经过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D5（相当于本申请中的第一中间特征）。

D5经过双线性插值得到R5，使得特征大小尺寸和F4相同，R5再和F4按特征通道进行叠加，再经过一个第二卷积模块（1*1卷积块）进行通道间特征融合（融合结果相当于本申请中的第二中间特征），之后经过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D4。

D4和R5进行特征值相叠加，然后经过双线性插值得到R4，使得特征大小尺寸和F3相同，再和F3按特征通道进行叠加，再经过一个第二卷积模块进行通道间特征融合，之后经过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D3。

D3和R4进行特征值相加，然后经过双线性插值得到R3，使得特征大小尺寸和F2相同，再和F2按特征通道进行叠加，再经过一个第二卷积模块进行通道间特征融合，之后经过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D2。

D2和R3进行特征值相加，然后经过双线性插值得到R2，使得特征大小尺寸和F1相同，再和F1按特征通道进行叠加，再经过一个第二卷积模块进行通道间特征融合，之后经过Canny算子处理后与自身做差分，得到强化了边缘信息的中间结果特征层D1。最终D1和R2进行特征值相加得到R1，R1即为融合了整张图像的整体边缘特征后的图像，能更好地体现图像的整体信息。

请参阅图6，图6为本申请提供的深度学习图像边缘强化的装置一个实施例，该装置包括：

分层单元601，用于将初始特征输入至目标神经网络中，通过第一卷积模块生成至少一个分层特征；

第一边缘强化单元602，用于对分层特征进行Canny算子处理和差分处理，得到第一中间特征；

叠加单元603，用于通过叠加模块对第一中间特征和初始特征进行通道叠加处理，得到叠加结果；

融合单元604，用于通过第二卷积模块对叠加结果进行特征融合处理，得到第二中间特征；

第二边缘强化单元605，用于对第二中间特征进行Canny算子处理和差分处理，输出边缘信息强化后的目标特征。

可选的，第一边缘强化单元602具体用于：

对分层特征进行去噪处理，并计算得到分层特征的梯度图像；

根据梯度图像进行非极大值抑制处理、双阈值检测和滞后边界跟踪处理，得到边缘特征；

对边缘特征与分层特征进行差分处理，得到第一中间特征。

可选的，第一边缘强化单元602具体还用于：

遍历梯度图像中的每个像素点，判断当前像素点是否为周围像素点中具有相同梯度方向的最大值，若是则保留，若否则将该像素点的值归零；

通过高低阈值确定强边缘像素和弱边缘像素；

根据强边缘像素和弱边缘像素的连接关系确定分层特征的边缘信息，得到边缘特征。

可选的，叠加单元603还用于：

对第一中间特征进行双线性插值处理，以使得第一中间特征的大小与初始特征相同。

可选的，第一卷积模块包括BatchNorm-3*3Conv-ReLU层，分层单元601具体用于：

通过第一卷积模块中的BatchNorm-3*3Conv-ReLU层对初始特征进行卷积特征提取，生成初始特征的分层特征，分层特征的大小为初始特征的一半，分层特征的通道数为初始特征的两倍。

可选的，第二卷积模块包括BatchNorm-1*1Conv-ReLU层，融合单元604具体用于：

通过第二卷积模块中的BatchNorm-1*1Conv-ReLU层对叠加结果进行特征的通道融合，得到第二中间特征，第二中间特征的大小及通道数与初始特征相同。

可选的，分层单元601具体用于：

通过四个第一卷积模块依次生成四个分层特征，每个分层特征的大小为前一层的一半，每个分层特征的通道数为前一层的两倍。

本实施例装置中，各单元的功能与前述图1或图2所示方法实施例中的步骤对应，此处不再赘述。

本申请还提供了一种深度学习图像边缘强化的装置，请参阅图7，图7为本申请提供的深度学习图像边缘强化的装置一个实施例，该装置包括：

处理器701、存储器702、输入输出单元703、总线704；

处理器701与存储器702、输入输出单元703以及总线704相连；

存储器702保存有程序，处理器701调用程序以执行如上任一深度学习图像边缘强化的方法。

本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一深度学习图像边缘强化的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，randomaccess memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种深度学习图像边缘强化的方法，其特征在于，所述方法包括：

将初始特征输入至目标神经网络中，通过第一卷积模块生成至少一个分层特征；

对所述分层特征进行Canny算子处理和差分处理，得到第一中间特征；

通过叠加模块对所述第一中间特征和所述初始特征进行通道叠加处理，得到叠加结果；

通过第二卷积模块对所述叠加结果进行特征融合处理，得到第二中间特征；

对所述第二中间特征进行Canny算子处理和差分处理，输出边缘信息强化后的目标特征。

2.根据权利要求1所述的方法，其特征在于，所述对所述分层特征进行Canny算子处理和差分处理，得到第一中间特征包括：

对所述分层特征进行去噪处理，并计算得到所述分层特征的梯度图像；

根据所述梯度图像进行非极大值抑制处理、双阈值检测和滞后边界跟踪处理，得到边缘特征；

对所述边缘特征与所述分层特征进行差分处理，得到第一中间特征。

3.根据权利要求2所述的方法，其特征在于，所述根据所述梯度图像进行非极大值抑制处理、双阈值检测和滞后边界跟踪处理，得到边缘特征，包括：

遍历所述梯度图像中的每个像素点，判断当前像素点是否为周围像素点中具有相同梯度方向的最大值，若是则保留，若否则将该像素点的值归零；

通过高低阈值确定强边缘像素和弱边缘像素；

根据所述强边缘像素和弱边缘像素的连接关系确定所述分层特征的边缘信息，得到边缘特征。

4.根据权利要求1所述的方法，其特征在于，在所述通过叠加模块对所述第一中间特征和所述初始特征进行通道叠加处理，得到叠加结果之前，所述方法还包括：

对所述第一中间特征进行双线性插值处理，以使得所述第一中间特征的大小与所述初始特征相同。

5.根据权利要求1所述的方法，其特征在于，所述第一卷积模块包括BatchNorm-3*3Conv-ReLU层，所述通过第一卷积模块生成至少一个分层特征包括：

通过所述第一卷积模块中的BatchNorm-3*3Conv-ReLU层对所述初始特征进行卷积特征提取，生成所述初始特征的分层特征，所述分层特征的大小为所述初始特征的一半，所述分层特征的通道数为所述初始特征的两倍。

6.根据权利要求1所述的方法，其特征在于，所述第二卷积模块包括BatchNorm-1*1Conv-ReLU层，所述通过第二卷积模块对所述叠加结果进行特征融合处理，得到第二中间特征包括：

通过所述第二卷积模块中的BatchNorm-1*1Conv-ReLU层对所述叠加结果进行特征的通道融合，得到第二中间特征，所述第二中间特征的大小及通道数与所述初始特征相同。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述通过第一卷积模块生成至少一个分层特征包括：

通过四个第一卷积模块依次生成四个分层特征，每个分层特征的大小为前一层的一半，每个分层特征的通道数为前一层的两倍。

8.一种深度学习图像边缘强化的装置，其特征在于，所述装置包括：

分层单元，用于将初始特征输入至目标神经网络中，通过第一卷积模块生成至少一个分层特征；

第一边缘强化单元，用于对所述分层特征进行Canny算子处理和差分处理，得到第一中间特征；

叠加单元，用于通过叠加模块对所述第一中间特征和所述初始特征进行通道叠加处理，得到叠加结果；

融合单元，用于通过第二卷积模块对所述叠加结果进行特征融合处理，得到第二中间特征；

第二边缘强化单元，用于对所述第二中间特征进行Canny算子处理和差分处理，输出边缘信息强化后的目标特征。

9.一种深度学习图像边缘强化的装置，其特征在于，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至7中任一项所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至7中任一项所述方法。