CN108898609A

CN108898609A - 一种图像边缘检测方法、检测装置及计算机存储介质

Info

Publication number: CN108898609A
Application number: CN201810646001.1A
Authority: CN
Inventors: 邓亮; 姚杰; 陈先开; 冯良炳
Original assignee: Shenzhen Chen Shi Intelligent Technology Co Ltd
Current assignee: Shenzhen Chen Shi Intelligent Technology Co Ltd
Priority date: 2018-06-21
Filing date: 2018-06-21
Publication date: 2018-11-27

Abstract

本发明公开了一种图像边缘检测方法、检测装置及计算机存储介质，属于机器视觉领域。一种图像边缘检测方法，包括：生成同一物体的多曝光多尺度边缘图像；根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像；根据上述融合多曝光边缘图像，融合相邻尺度的边缘图像，生成融合多尺度边缘图像；根据上述融合多尺度边缘图像，生成边缘图像。本发明提供的一种图像边缘检测方法、检测装置及计算机存储介质，可以解决单次曝光图像无法完全捕捉不同反光率目标边缘，以及传统的采用多曝光图像融合生成HDRI图像中合成效率低的问题。

Description

一种图像边缘检测方法、检测装置及计算机存储介质

技术领域

本发明涉及机器视觉领域，特别涉及一种图像边缘检测方法、检测装置及计算机存储介质。

背景技术

近年来，机器视觉技术在工业得到了越来越多的关注与应用，其中目标检测与匹配，缺陷检测都是重要的应用。在这些应用当中，边缘检测通常都是一个重要的工具，提取出场景中一个或多个目标的边缘以方便进行后续处理。但是，不同材质由于目标反光率的不同，很难采用一个曝光时间来捕捉所有目标的边缘。

传统的做法是采用合成高动态图像(HDRI)然后再检测边缘的方法，这种方法存在两个问题：一是高动态图像合成比较低效，其中的很多考虑针对边缘检测是不必要的；二是高动态图像的合成并没有针对边缘信息，而是针对全局的颜色或灰度信息，这样的合成对边缘检测并不是一个最佳方案。

所以，需要提出一种新的图像边缘检测方法，以解决针对单次曝光图像无法完全捕捉不同反光率目标边缘，以及传统的采用多曝光图像融合生成HDRI图像中合成效率低的问题。

发明内容

有鉴于此，本发明的目的在于提供一种图像边缘检测方法、检测装置及计算机存储介质，可以解决单次曝光图像无法完全捕捉不同反光率目标边缘，以及传统的采用多曝光图像融合生成HDRI图像中合成效率低的问题。

本发明解决上述技术问题所采用的技术方案如下：

根据本发明的一个方面，提供一种图像边缘检测方法，包括：

生成同一物体的多曝光多尺度边缘图像；

根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像；

根据上述融合多曝光边缘图像，融合相邻尺度的边缘图像，生成融合多尺度边缘图像；

根据上述融合多尺度边缘图像，生成边缘图像。

在一个可能的设计中，所述生成同一物体的多曝光多尺度边缘图像，包括：生成同一物体的多曝光图像，形成多曝光图像I_i＝{I₁,I₂,…,I_N}，2≤N≤4。

在一个可能的设计中，对上述多曝光图像I_i生成多尺度边缘图像，形成多尺度边缘图像其中，2≤s≤6。

在一个可能的设计中，所述对上述多曝光图像I_i生成多尺度边缘图像，形成多尺度边缘图像，具体包括：

对上述每幅多曝光图像I_i进行高斯核平滑处理，得到平滑后的梯度图像；

对平滑后的梯度图像进行处理，生成多尺度边缘图像。

计算平滑后的梯度图像在横竖方向上的边缘梯度；

进行图像下采样，生成下一尺度图像；

重复上述两个步骤，直至得到预设指定s个尺度的横竖边缘图像。

在一个可能的设计中，所述根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像，包括：

以像素点(x,y)为中心，设置大小W x W像素的窗口，得到尺度j在所述窗口范围内的像素集合P_w(x,y)，其中，1≤j≤s；

在窗口范围内选取待计算的像素集合

计算像素集合中像素的模值均值N_i,j(x,y)和方向均值D_i,j(x,y)；

归一化各曝光图像的模值N_i,j(x,y)，归一化后模值为

标记归一化后的曝光图像i在尺度j的像素(x,y)_i,j上的像素坐标的有效性；

扫描尺度j上的所有曝光图像i的像素(x,y)_i,j位置，确定每个像素的有效曝光图像数C_j(x,y)、平均模值和平均方向

确定尺度j上的融合边缘图像为

在一个可能的设计中，所述根据上述融合多曝光边缘图像，融合相邻尺度的边缘图像，生成融合多尺度边缘图像；具体包括：

根据上述融合多曝光边缘图像E_j(x,y)，融合相邻尺度j与j+1上的边缘图像，具体融合过程为：

其中，为位置(x,y)处的梯度信息，尺度j+1中的位置为round(x)为四舍五入取整操作，取最顶层的融合图像为

依据上述融合方法，依次得到融合边缘图像

选取作为最终的融合多尺度边缘图像。

在一个可能的设计中，所述根据上述融合多尺度边缘图像，生成边缘图像；包括：在融合多尺度边缘图像上使用Canny检测的非极大值抑制、双阈值边缘选择及边缘连接，生成得到边缘图像。

根据本发明的另一个方面，提供一种图像边缘检测装置，应用于图像边缘检测方法，所述装置包括：多尺度边缘生成模块、多曝光融合模块、多尺度边缘融合模块及边缘生成模块；其中：

所述多尺度边缘生成模块，用于生成同一物体的多曝光多尺度边缘图像；

所述多曝光融合模块，用于根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像；

所述多尺度边缘融合模块，用于根据上述融合多曝光边缘图像，融合相邻尺度的边缘图像，生成融合多尺度边缘图像；

所述边缘生成模块，根据上述融合多尺度边缘图像，生成边缘图像。

根据本发明的另一个方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像边缘检测方法程序，所述图像边缘检测方法程序被处理器执行时实现本发明实施例所述的图像边缘检测方法的步骤。

与现有技术相比，本发明提供了一种图像边缘检测方法、检测装置及计算机存储介质，通过采用生成同一物体的多曝光多尺度边缘图像；根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像；根据上述融合多曝光边缘图像，融合相邻尺度的边缘图像，生成融合多尺度边缘图像；根据上述融合多尺度边缘图像，生成边缘图像的技术方案，通过采用多次曝光的方法，可以高效地融合同一场景中出现的不同反光率的目标边缘，并直接融合不同曝光条件下的多尺度梯度信息图像，然后采用Canny检测的方法提取出最终的边缘图像，能够更加高效并准确的提取场景中不同反光率的目标边缘。并且，针对单次曝光图像无法完全捕捉不同反光率目标边缘，以及传统的采用多曝光图像融合生成HDRI图像中的问题，本方法直接融合多次曝光图像的多尺度梯度信息，针对最终的边缘特征进行高效有效的融合。

附图说明

图1是本发明实施例提供的一种图像边缘检测方法的流程图；

图2是本发明实施例提供的一种图像边缘检测方法的流程示意图；

图3是本发明实施例提供的多尺度边缘图像生成的流程图；

图4是本发明实施例提供的融合多个曝光图像上的模值与方向的示意图；

图5是本发明实施例提供的一种图像边缘检测的结果图；

图6为本发明实施例提供的一种图像边缘检测装置的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

请参考图1和图2。本发明提供一种图像边缘检测方法，包括：

S1、生成同一物体的多曝光多尺度边缘图像；

S2、根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像；

S3、根据上述融合多曝光边缘图像，融合相邻尺度的边缘图像，生成融合多尺度边缘图像；

S4、根据上述融合多尺度边缘图像，生成边缘图像。

进一步地，生成同一物体的多曝光多尺度边缘图像的步骤S1，具体包括：

S11、生成同一物体的多曝光图像，形成多曝光图像I_i＝{I₁,I₂,…,I_N}，2≤N≤4，在本申请的实施例中，N＝3；其中，多曝光图像I_i通过对与相机相对静止的物体进行多次曝光成像得到。

S12、对上述多曝光图像I_i生成多尺度边缘图像，形成多尺度边缘图像其中，2≤s≤6；

具体生成步骤包括(请参考图3)：

S121、对上述每幅多曝光图像I_i进行高斯核平滑处理，得到平滑后的梯度图像；其中，采用以下高斯核函数对曝光图像进行处理：

其中，σ为尺度因子，根据具体需求决定，一般2.0≤σ≤10.0；T为和系数，保证核函数的和为1；(x,y)是像素点位置。

S122、对平滑后的梯度图像进行处理，生成多尺度边缘图像；

具体处理过程如下所述：

1)计算平滑后的梯度图像在横竖方向上的边缘梯度，边缘梯度用模值和方向来表示。具体计算过程如下：

采用Sobel算子计算每个像素点的边缘梯度(DX_i,j(x,y),DY_i,j(x,y))，其中，(x,y)为图像上的像素坐标，DX_i,j(x,y)表示x方向的梯度，DX_i,j(x,y)表示y方向的梯度，用模值与方向表示为：

模值：

方向：Φ_i,j(x,y)＝atan(DX_i,j(x,y),DY_i,j(x,y))

其中，atan()为反正切计算。

2)进行图像下采样，生成下一尺度图像，其中，下采样由采样系数a控制，优选地，a＝2。

重复上述两个步骤1)和2)，直至得到预设指定s个尺度的横竖边缘图像，其中，2≤s≤6。在本申请的实施例中，s＝3。

进一步地，根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像的步骤S2，具体包括：

请参考图4。针对每个尺度j(1≤j≤s)，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像；具体包括：

S21、以像素点(x,y)为中心，设置大小W x W像素(pixel)的窗口，得到该尺度j在该窗口范围内的像素集合P_w(x,y)，其中，窗口大小一般为3x3像素或5x5像素。在本申请的实施例中，窗口大小为3x3像素。

S22、在窗口范围内选取待计算的像素集合其中，像素集合由以下方式得到：

其中，norm_i,j(x,y)为曝光图像i在尺度j上的位置上的模值，β为系数，一般取0.1≤β≤0.6。在本申请的实施例中，β取值为0.4。

S23、计算像素集合中像素的模值均值N_i,j(x,y)和方向均值D_i,j(x,y)，其中：

模值均值N_i,j(x,y)采用以下公式确定：

方向均值D_i,j(x,y)采用以下公式确定：

其中，0≤D_i,j(x,y)＜π。

S24、归一化各曝光图像的模值为其中，采用以下公式进行归一化处理：

其中，ε为(0,1)范围内的系数，在本申请的实施例中，ε系数取值为0.2。上述公式将特别小的模值直接抑制为0，否则将其除以最大系数值进行归一化处理。

S25、标记归一化后的曝光图像i在尺度j的像素(x,y)_i,j上的像素坐标的有效性；其中，采用flag_i,j(x,y)来进行标记，flag_i,j(x,y)＝1表示像素坐标有效，flag_i,j(x,y)＝0表示像素坐标无效。当flag_i,j(x,y)＝0时，设置和D_i,j(x,y)＝1000分别表示无效的阈值与梯度方向。

标记的具体步骤如下：

S251、初始化所有flag_i,j(x,y)＝1；

S252、扫描尺度j的全部像素位置，如果归一化各曝光图像的模值则flag_i,j(x,y)＝0；

S253、尺度j上像素位置(x,y)处不同曝光图像上的有效像素方向集合为Dir_j(x,y)，在该集合Dir_j(x,y)上的角度差异值为diff(Dir_j(x,y))。如果集合Dir_j(x,y)上的角度差异值diff(Dir_j(x,y))大于角度差异阈值t_θ(diff(Dir_j(x,y))＞t_θ)，则flag_i,j(x,y)＝0。在本申请的实施例中，t_θ取值为π/10。其中：

有效像素方向集合Dir_j(x,y)由以下公式确定：

角度差异值diff(Dir_j(x,y))由以下公式确定：

其中，|Dir_j|为集合的大小。

S26、扫描尺度j上的所有曝光图像i的像素(x,y)_i,j位置，确定每个像素的有效曝光图像数C_j(x,y)、平均模值和平均方向其中：有效曝光图像数C_j(x,y)、平均模值和平均方向分别由以下公式确定：

其中，运算为计算任意两个方向的均值，其具体计算方式如下：

其中，方向角度θ₁与θ₂的有效范围为[0，π)，无效角度范围为[π，+∞)。

求任意两个角度均值运算为：

该运算将κ(θ₁,θ₂)中的有效角度从(-π/2，π/2)重新调整到[0，π)，无效角度强制设为1000，并且定义的该运算具有普通加法的交换律与结合率。

S27、确定尺度j上的融合边缘图像为即用模值与方向角度来描述边缘图像。

进一步地，根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像的步骤S3，具体包括：

S31、根据上述融合多曝光边缘图像E_j(x,y)，融合相邻尺度j与j+1上的边缘图像，具体融合过程如下：

其中，为位置(x,y)处的梯度信息，尺度j+1中的位置为round(x)为四舍五入取整操作，取最顶层的融合图像为融合后的边缘图像与尺度j上的边缘图像E_j(x,y)大小一致。

S32、依据S31的方法，依次得到融合的边缘图像

S33、选取作为最终的融合多尺度边缘图像。

进一步地，根据上述融合多尺度边缘图像，生成边缘图像的步骤S4，具体包括：

根据融合后的多尺度边缘图像采用以下方法，生成得到最终的边缘图像：

在最终融合的多尺度边缘图像上使用Canny检测的非极大值抑制、双阈值边缘选择及边缘连接等措施，得到最终的边缘图像。其中：

该非极大值抑制是将中的模值的局部极值点外的像素全部抑制为0，抑制方向为的垂直方向；

该双阈值边缘选择先选取模值大于较大阈值的边缘点，然后根据选取的边缘点的方向及连通性选择模值大于较小阈值的边缘点，并对最终的边缘进行连接。

请参考图5。图5是本发明实施例提供的一种图像边缘检测的结果图。在图5的场景中存在的硬币属于高反射率目标，需要低爆光才能检测出其纹理；塑料工件的边缘需要高曝光才能较为明显的检测出。

请参考图6。图6为本发明实施例提供的一种图像边缘检测装置的结构示意图。所述装置包括：多尺度边缘生成模块10、多曝光融合模块20、多尺度边缘融合模块30及边缘生成模块40。其中：

该多尺度边缘生成模块10，用于生成同一物体的多曝光多尺度边缘图像。多尺度边缘生成模块10输入的一组多曝光图像分别生成含有模值与方向的多尺度边缘图像梯度图。

该多曝光融合模块20，用于根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像。多曝光融合模块20将各个曝光图像的梯度图中含有模值与方向的多曝光多尺度边缘图像变成了一组多尺度的梯度图像信息。

该多尺度边缘融合模块30，用于根据上述融合多曝光边缘图像，融合相邻尺度的边缘图像，生成融合多尺度边缘图像；多尺度融合模块30将上述的一组多尺度梯度图像信息融合成一幅最高分辨率的梯度信息图像。

该边缘生成模块40，根据上述融合多尺度边缘图像，生成边缘图像。边缘生成模块40使用上述梯度信息图像生成最终的二进边缘图像。

需要说明的是，上述的图像边缘检测装置实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在图像边缘检测装置实施例中均对应适用，这里不再赘述。

另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像边缘检测方法的一个或者多个程序，所述图像边缘检测方法的一个或者多个程序被处理器执行时以实现本发明实施例提供的图像边缘检测方法的以下步骤：

S1、生成同一物体的多曝光多尺度边缘图像；

S4、根据上述融合多尺度边缘图像，生成边缘图像。

需要说明的是，上述计算机可读存储介质上的图像边缘检测方法实施例与方法实施例属于同一构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在上述计算机可读存储介质的实施例中均对应适用，这里不再赘述。

本发明提供了一种图像边缘检测方法、检测装置及计算机存储介质，通过采用生成同一物体的多曝光多尺度边缘图像；根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像；根据上述融合多曝光边缘图像，融合相邻尺度的边缘图像，生成融合多尺度边缘图像；根据上述融合多尺度边缘图像，生成边缘图像的技术方案，通过采用多次曝光的方法，可以高效地融合同一场景中出现的不同反光率的目标边缘，并直接融合不同曝光条件下的多尺度梯度信息图像，然后采用Canny检测的方法提取出最终的边缘图像，能够更加高效并准确的提取场景中不同反光率的目标边缘。并且，针对单次曝光图像无法完全捕捉不同反光率目标边缘，以及传统的采用多曝光图像融合生成HDRI图像中的问题，本方法直接融合多次曝光图像的多尺度梯度信息，针对最终的边缘特征进行高效有效的融合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种图像边缘检测方法，其特征在于，包括：

生成同一物体的多曝光多尺度边缘图像；

根据上述融合多尺度边缘图像，生成边缘图像。

2.根据权利要求1所述的方法，其特征在于，所述生成同一物体的多曝光多尺度边缘图像，包括：生成同一物体的多曝光图像，形成多曝光图像I_i＝{I₁,I₂,…,I_N}，2≤N≤4。

3.根据权利要求2所述的方法，其特征在于，对上述多曝光图像I_i生成多尺度边缘图像，形成多尺度边缘图像其中，2≤s≤6。

4.根据权利要求3所述的方法，其特征在于，所述对上述多曝光图像I_i生成多尺度边缘图像，形成多尺度边缘图像，具体包括：

对平滑后的梯度图像进行处理，生成多尺度边缘图像。

5.根据权利要求4所述的方法，其特征在于，所述对上述多曝光图像I_i生成多尺度边缘图像，形成多尺度边缘图像，具体包括：

计算平滑后的梯度图像在横竖方向上的边缘梯度；

进行图像下采样，生成下一尺度图像；

6.根据权利要求1所述的方法，其特征在于，所述根据上述生成的每个尺度边缘图像，融合不同曝光时间的边缘图像，生成融合多曝光边缘图像，包括：

以像素点(x,y)为中心，设置大小WxW像素的窗口，得到尺度j在所述窗口范围内的像素集合P_w(x,y)，其中，1≤j≤s；

在窗口范围内选取待计算的像素集合

归一化各曝光图像的模值N_i,j(x,y)，归一化后模值为

确定尺度j上的融合边缘图像为

7.根据权利要求6所述的方法，其特征在于，所述根据上述融合多曝光边缘图像，融合相邻尺度的边缘图像，生成融合多尺度边缘图像；具体包括：

依据上述融合方法，依次得到融合边缘图像

选取作为最终的融合多尺度边缘图像。

8.根据权利要求7所述的方法，其特征在于，所述根据上述融合多尺度边缘图像，生成边缘图像；包括：在融合多尺度边缘图像上使用Canny检测的非极大值抑制、双阈值边缘选择及边缘连接，生成得到边缘图像。

9.一种图像边缘检测装置，应用于权利要求1至8中任一项所述的图像边缘检测方法，其特征在于，所述装置包括：多尺度边缘生成模块、多曝光融合模块、多尺度边缘融合模块及边缘生成模块；其中：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像边缘检测方法程序，所述图像边缘检测方法程序被处理器执行时实现如权利要求1至8中任一项所述的图像边缘检测方法的步骤。