CN108682017B - 基于Node2Vec算法的超像素图像边缘检测方法 - Google Patents

基于Node2Vec算法的超像素图像边缘检测方法 Download PDF

Info

Publication number
CN108682017B
CN108682017B CN201810320566.0A CN201810320566A CN108682017B CN 108682017 B CN108682017 B CN 108682017B CN 201810320566 A CN201810320566 A CN 201810320566A CN 108682017 B CN108682017 B CN 108682017B
Authority
CN
China
Prior art keywords
center
superpixel
value
pixel
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810320566.0A
Other languages
English (en)
Other versions
CN108682017A (zh
Inventor
陈晋音
刘靓颖
郑海斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810320566.0A priority Critical patent/CN108682017B/zh
Publication of CN108682017A publication Critical patent/CN108682017A/zh
Application granted granted Critical
Publication of CN108682017B publication Critical patent/CN108682017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

一种基于Node2Vec算法的超像素图像边缘检测法,包括以下步骤:1)通过超像素简单线性迭代分割算法(SC++),运用k‑means++聚类算法自动找出初始化聚类中心,将像素点归类到距离自身欧式距离最近的聚类中心,并打上相应类标,提取超像素,2)计算中心点梯度值、梯度方向、欧氏距离、外切圆半径、内切圆半径,基于超像素中心节点及中心节点间的相似度关系,建立全连接稠密网络,3)运用双阈值和软阈值法稀疏全连接稠密网络,4)将网络节点转化为向量,找出边缘点。本发明检测效率较高,采用SC++算法提取超像素,运用双阈值和软阈值稀疏全连接网络及Node2Vec算法,实现图像边缘检测的方法。

Description

基于Node2Vec算法的超像素图像边缘检测方法
技术领域
本发明属于图像处理技术领域,具体涉及一种图像边缘的检测方法。
背景技术
图像中含有丰富的信息量。它所蕴含的形状、颜色、结构、边缘等信息,表达直观,易于信息传播以及利用,在现今多媒体图像处理技术中起到十分重要的作用。随着计算机技术的不断发展,通过计算机获取和处理图像信息愈发快捷便利。其中边缘是图像的基本特征之一,是图像信息最为集中的部分。
如今图像边缘检测技术在图像切割、图像识别等领域被广泛应用,有效提高了相关图像处理算法的精确度及鲁棒性,具有极大的应用价值。在现实生活中,图像边缘检测技术可以运用于桥梁等建筑物裂缝的查找,也可应用于日常修图工具和图像层次分析,与人们的生活息息相关。
目前图像的边缘提取算法中,常见的微分边缘检测算子有 Roberts算子、Prewitt算子、Sobel算子、Canny算子等,但是这些边缘提取算法都基于像素层面,具有较高的时间复杂度。
发明内容
为了克服已有图像边缘检测方法的检测速度较慢的不足,本发明提供一种能够实现聚类中心自动确定、检测速度更为快捷的基于 Node2Vec算法的超像素图像边缘检测方法。
本发明解决其技术问题所采用的技术方案是:
一种基于Node2Vec算法的超像素图像边缘检测方法,所述方法包括以下步骤:
1)对图片进行超像素分割,过程如下:
1.1)初始化超像素中心:
首先设计了超像素简单线性迭代分割算法(Superpixel Simple LinearIterative Clustering,SC++),进行图像的超像素分割,该算法基于简单线性迭代聚类算法(Simple Linear Iterative Clustering, SLIC),进行了进一步的优化;SC++算法采用了k-means++的聚类算法,降低初始化对算法的影响,找出k个聚类中心;
基于k-means++的聚类算法,根据样本随机选择k个初始聚类中心;
1.2)计算所有像素点到达初始超像素中心的欧式距离:
计算颜色空间的距离:
Figure GDA0002992567640000021
计算坐标空间的距离:
Figure GDA0002992567640000022
将式(1)和式(2)进行正则化,得到式(3):
Figure GDA0002992567640000023
图片读入的色彩空间为RGB颜色空间,RGB颜色空间以R(红色)、G(绿色)、B(蓝色)三种基本色为基础,每一种颜色通道按其亮度等级,进行不同程度的叠加,产生丰富而广泛的颜色;
式(1)中,j和i表示不同的像素点,R表示红色亮度等级,G 表示绿色亮度等级,B表示蓝色亮度等级;式(2)中,x表示坐标中的水平距离,y表示坐标中垂直距离;式子(3)中,dc表示颜色距离,ds表示空间距离,Ns是类内最大距离空间,定义为最远两像素点之间的距离,记为s;由于不同颜色空间的Nc值相差较大,因此用常数m代替,得到式(4):
Figure GDA0002992567640000031
计算每个像素点到种子中心的D'值,找出距离像素点最近的种子中心,作为它的聚类中心,并打上相应类标;
1.3)迭代优化,重复步骤1.2),计算每个像素中心到新聚类中心点的欧氏距离,找到最近的聚类中心后,打上新的类标值,并更新相关数据,计算新的超像素中心,直至超像素中心不再变化,则完成超像素提取,迭代次数达到设定次数时,就可获得最终超像素中心,否则,继续重复步骤1.2);
2)计算超像素中心属性值,建立全连接稠密网络,过程如下:
2.1)考虑接近人眼的生理特点,同时为了能够构建更加紧凑的网络,将图片灰度化;
Gray=0.299R+0.587G+0.114B (5)
2.2)计算超像素中心的属性值,建立相应连边关系:
由步骤1.2)可知超像素划分存在一定区域性,因此可计算超像素中心所在区块的内切圆、外切圆的半径。本发明规定,在每个超像素区域范围内,距离超像素中心最远的像素点距超像素中心的距离作为该超像素中心外切圆的半径Dimax,i=1,2,…,N,距离超像素中心最近的像素点距超像素中心的距离作为该超像素中心内切圆的半径Dimin,i=1,2,…,N;
2.3)用高斯滤波器平滑图片,获得超像素中心梯度值:
基于步骤1)中所提取的超像素,采用超像素中心代替局部区域策略降低图片处理复杂度,超像素中心代替局部区域策略是利用超像素的中心点含有丰富的表征该区域内像素特征信息的特点,以中心点代替局部区域;
首先通过二维高斯平滑算子平滑图片f(x,y),
Figure GDA0002992567640000041
则平滑后的图片F(x,y)可表示为G(x,y)*f(x,y),式(6)中表示 x和y方向上的位置值均为超像素中心点的位置值;
然后计算各个超像素中心梯度的大小和方向,为使梯度的计算更加准确,采用一阶计算x方向、y方向的偏微分;
梯度大小的计算:
Figure GDA0002992567640000042
梯度方向的计算:
Figure GDA0002992567640000043
2.4)基于步骤1.2)中所得到的颜色距离、坐标距离,步骤2.2) 中得到的超像素中心内切圆半径、外切圆半径,步骤2.3)中计算的各超像素中心梯度值,建立全连接稠密网络;将超像素区块作为全连接网络的节点,将各个超像素中心点间的相似度作为连边关系。其中中心点相似度的计算基于每条连边的权重值w,
Figure GDA0002992567640000051
其中Dimax、Dimin、D'分别代表超像素中心点外切圆半径、内切圆的半径,以及正则化后的欧式距离。将任意两个节点i、j的相似度大小自定义为
Figure GDA0002992567640000052
3)全连接稠密网络的稀疏化,过程如下:
由于全连接稠密网络的计算复杂性,采用双阈值和软阈值的方法使稠密网络稀疏化;
3.1)为使剩下的连边更具特征性,使用双阈值对全连接网络进行粗稀疏化:
3.1.1)对梯度进行非最大抑制:
由于图像进行超像素分割后,聚类中心不均匀分布,因此以超像素中心作为圆心,
Figure GDA0002992567640000053
长为半径作圆,其中s为步骤1.2)中提到的两点最远超像素中心距离,k为聚类中心个数,该圆作为中心点的邻域。
遍历各个超像素中心,将超像素中心梯度值M(x,y)与邻域内沿着梯度方向的其余超像素中心的梯度值进行比较,若偏小,则令 M(x,y)=0;
3.1.2)运用双阈值算法检测并减少连边数目:
基于步骤3.1.1),设定两个阈值T1和T2处理梯度响应,设置方法为:将各个中心点按照梯度相应由大到小排列,根据二八准则,将位于20%的点对应的梯度值作为高阈值T1,取位于50%的点对应的梯度值作为低阈值T2
若超像素中心点的梯度值M(x,y)>T1则将其梯度置为0,去除该超像素中心点的所有连边;若超像素中心点的梯度值M(x,y)<T1并且 M(x,y)>T2则考察其邻域,此邻域是半径为
Figure GDA0002992567640000061
的圆,若存在梯度已被置为零的点,则也将其连边去除;
3.2)为避免硬阈值“一刀切”,流失大量必要连边信息,在步骤3.1)双阈值粗稀疏化网络的基础上,本发明采用软阈值来进一步减少连边数量,对全连接网络做细稀疏化,软阈值函数的运用,基于如下公式:
Figure GDA0002992567640000062
式(9)中,w表示变量,λ表示所设阈值,w的取值为步骤 2.4)中所得到的权重值w,
Figure GDA0002992567640000063
将所有超像素中心的权重值由大到小排列,将阈值控制在较为合理的大小,取最大权重的60%作为λ的值,即λ=0.6|w|max,|w|若大于λ,那么将其值置零,去除该中心点的连边;
4)将网络节点(node)转化为向量(vector),找出边缘点,过程如下:
4.1)针对稀疏化后的全连接网络中的每个节点进行二阶随机游走,由步骤1)可知,对图片进行超像素提取后,共有k个超像素区块,则有k个节点,任意选定一个节点作为初始头结点T,并定义游走长度为lrandomwalk,用Ci表示游走时的第i个节点,并以C0=T开始,进行随机游走,Ci的生成满足以下概率分布:
Figure GDA0002992567640000071
式(10)中,x表示下一步可能游走的节点,v表示当前停留的节点,πvx表示节点v与x间未归一化的转移概率,Z表示归一化常数;定义πvx=f(t,x),其中t表示已游走的上一个节点,即Ci-2=t,其计算公式为:
Figure GDA0002992567640000072
式(11)中,f(t,x)可作为权重系数,dtx表示上一节点t与下一节点x间的最短直线路径,且规定dtx∈(0,1,2);基于步骤2.4)取 1.2|w|max和0.2|w|min,最大权重值的1.2倍和最小权重值的0.2倍,控制游走方向及范围;若πvx相等,则随机选择一个节点进行游走;
4.2)获得向量矩阵:根据步骤4.1)游走一个节点后将得到k条长度为lrandomwalk的游走序列,训练神经网络模型,调整参数;
先用特征向量表示全连接网络中的超像素节点,并使用该特征向量来表示网络节点间的连接概率函数;由于随机游走不一定会遍历所有节点,因此为了保证每条游走序列的初始头节点都不同,需要对整个网络进行k次重复游走。
而对于每一条游走序列来说,仅保留第一个重复游走的节点,将得到新的节点序列表示为{U1,U2,...,UT},UT∈A,其中A是大小为k的节点集合;为使得该模型满足
Figure GDA0002992567640000073
需满足唯一约束条件如下所示:
Figure GDA0002992567640000081
式(12)中,|V|为向量模长,函数f(i,Ut-1,…,Ut-n+1)分解为映射H(·) 和函数g(·)两个部分:第一部分映射H(·),H(i)表示节点集合中的每个节点的分布式特征向量,第二部分函数g(·),该函数将输入的节点特征向量θ,映射为节点θ前面n-1个节点的条件概率分布,如公式 (13):
f(i,Ut,...,Ut-n+1)=g(i,H(Ut),…,H(Ut-n+1)) (13)
完成训练后,当U=0时,得到首尾相连的特征向量 (H(Ut-1),H(Ut-2),···,H(Ut-n+1)),该矩阵H就是需要的节点特征向量,每一行代表该位置的节点的向量。训练结束的标志为寻找得到满足带惩罚项的训练序列的对数似然率最大的节点特征向量θ,如公式(14):
Figure GDA0002992567640000082
4.3)计算每个节点向量之间的距离值和密度值:将向量矩阵 (H(Ut-1),H(Ut-2),···,H(Ut-n+1))定义为
Figure GDA0002992567640000083
其中xi表示矩阵的每一行,即步骤4.2)位置节点的向量;
计算任意两行向量xi和xj之间的欧式距离δi
Figure GDA0002992567640000084
式(15)中,m表示向量的维度;
接着计算H中的任一向量xi的密度值,定义节点的密度是矩阵H 中与xi之间的距离小于dc的向量的个数,dc>0,记为ρi,其中dc为模长最大与模长最小的两个向量xmax与xmin之间欧式距离绝对值的 0.05,
4.4)基于步骤4.3)得到的H中每个向量的密度值和距离值 (ρii),i∈(1,2,...,k),将其密度值和向量值均由大到小排列,按照二八法则,取ρ0
Figure GDA0002992567640000091
中第0.8k个密度值的大小,取δ0
Figure GDA0002992567640000092
中第 0.2k个距离值的大小,将密度值小于ρ0,或距离值大于δ0的节点均标记为边缘点,将其相连,最终获得图像边缘。
进一步,在步骤1)中,所运用的SC++算法,是对简单线性迭代(SLIC)算法的优化,运用了k-means++的聚类算法,在设定好参数k后,自动确定聚类中心,极大地减少了初始化对于初始聚类中心选取的影响。
再进一步,在步骤2)中,利用超像素的中心点含有丰富的表征该区域内像素特征信息的特点,利用超像素中心点代替局部区域,从超像素层面,降低算法的计算复杂度。
更进一步,在步骤3.1.1)和步骤3.1.2)中,由于聚类中心不均匀分布,因此以超像素中心作为圆心,判断边缘点时,分别以
Figure GDA0002992567640000093
Figure GDA0002992567640000094
长为半径作圆,其中s为步骤1.2)中提到的两点最远超像素中心距离,k为聚类中心个数,如此分配可获得较为合适的领域。
最后,在步骤4)中,通过Node2Vec算法,对相关节点进行二阶随机游走,计算向量矩阵中的距离值和密度值,根据二八准则,找出边缘点,从而得到图像边缘。
本发明的技术构思为:针对自然图像,首先通过超像素分割SC++ 算法提取超像素中心,然后利用超像素的中心点含有丰富的表征该区域内像素特征信息的特点,用超像素中心代替局部区域,降低计算复杂度;然后基于超像素中心节点及中心节点间的相似度关系,建立全连接稠密网络,并运用双阈值和软阈值法稀疏化全连接稠密网络;接着基于Node2Vec算法,对相关节点进行二阶随机游走,计算向量矩阵中的密度值和距离值,根据二八准则,获得边缘点,最终得到图片边缘。
本发明的有益效果主要表现在:边缘检测作为图像处理和计算机视觉的重要分支,具有广泛的应用价值。通过运用k-means++算法,极大地减小了初始化对聚类中心的影响;对图像进行的边缘检测,是在超像素的基础上进行的,通过利用超像素的中心点含有丰富的表征该区域内像素特征信息的特点,代替局部区域,从而降低密度聚类算法的计算复杂度;通过双阈值、软阈值稀疏化连边网络,使得算法效率进一步得到提高。
附图说明
图1是基于Node2Vec算法的超像素图像边缘检测方法框图。
图2是基于Node2Vec算法的超像素图像边缘检测算法流程图。
图3(a)~图3(e)是实验结果图,图3(a)~图3(e)是五组图片,每一组图片分别为原图(1)、超像素提取图(2)、灰度图(3)、结果图(4)、全连接稠密网络(5)、稀疏化后的全连接网络图(6) 以及向量图(7)。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图3(e),一种基于Node2Vec算法的超像素图像边缘检测方法,包括以下步骤:
1)对图片进行超像素分割,过程如下:
1.1)初始化超像素中心:
首先设计了超像素简单线性迭代分割算法(Superpixel Simple LinearIterative Clustering,SC++),进行图像的超像素分割,该算法基于简单线性迭代聚类算法(Simple Linear Iterative Clustering, SLIC),进行了进一步的优化,SC++算法采用了k-means++的聚类算法,随意初始化聚类中心,极大地降低初始化对算法的影响;
基于k-means++的聚类算法,根据样本随机选择k个初始聚类中心;
1.2)计算所有像素点到达初始超像素中心的欧式距离:
计算颜色空间的距离:
Figure GDA0002992567640000111
计算坐标空间的距离:
Figure GDA0002992567640000112
将式(1)和式(2)进行正则化,得到式(3):
Figure GDA0002992567640000113
图片读入的色彩空间一般都为RGB颜色空间,RGB颜色空间是现有颜色空间中运用最广泛的一种,以R(红色)、G(绿色)、B(蓝色) 三种基本色为基础,每一种颜色通道按其亮度等级,进行不同程度的叠加,产生丰富而广泛的颜色,因此也称为三基色模式。
式(1)中,j和i表示不同的像素点,R表示红色亮度等级,G 表示绿色亮度等级,B表示蓝色亮度等级;式(2)中,x表示坐标中的水平距离,y表示坐标中垂直距离;式子(3)中,dc表示颜色距离,ds表示空间距离,Ns是类内最大距离空间,定义为最远两像素点之间的距离,记为s;由于不同颜色空间的Nc值相差较大,因此用常数m代替,得到式(4):
Figure GDA0002992567640000121
计算每个像素点到种子中心的D'值,并找出距离像素点最近的种子中心,作为它的聚类中心,打上相应类标,形成新的超像素区块;
1.3)迭代优化,重复步骤1.2),计算每个像素中心到新聚类中心点的欧氏距离,找到最近的聚类中心后,打上新的类标值,并更新相关数据,计算新的超像素中心,直至超像素中心不再变化,则完成超像素提取,迭代次数达到十次时,就可获得最终超像素中心,否则,继续重复步骤1.2);
2)计算超像素中心属性值,基于各中心点的相似度,建立全连接稠密网络,过程如下:
2.1)考虑接近人眼的生理特点,同时为了能够构建更加紧凑的网络,将RGB颜色空间转化为分为三种颜色通道,并将其乘上不同系数,使图片灰度化;
Gray=0.299R+0.587G+0.114B (5)
2.2)计算超像素中心的属性值:
由步骤1.2)可知超像素划分存在一定区域性,因此可得到超像素中心所在区块的内切圆、外切圆的半径。本发明规定,在每个超像素区域范围内,距离超像素中心最远的像素点距超像素中心的距离作为该超像素中心外切圆的半径Dimax,i=1,2,…,N,距离超像素中心最近的像素点距超像素中心的距离作为该超像素中心内切圆的半径Dimin,i=1,2,…,N;
2.3)用高斯滤波器平滑图片,获得超像素中心梯度值:
基于步骤1)中所提取的超像素,采用超像素中心代替局部区域策略降低图片处理复杂度,超像素中心代替局部区域策略是利用超像素的中心点含有丰富的表征该区域内像素特征信息的特点,以中心点代替局部区域,大大提高算法效率;
首先通过二维高斯平滑算子平滑图片f(x,y),
Figure GDA0002992567640000131
则平滑后的图片F(x,y)可表示为G(x,y)*f(x,y),式(6)中表示 x和y方向上的位置值均为超像素中心点的位置值;
然后计算各个超像素中心梯度的大小和方向,为使梯度的计算更加准确,采用一阶计算x方向、y方向的偏微分;
梯度大小的计算:
Figure GDA0002992567640000132
梯度方向的计算:
Figure GDA0002992567640000133
2.4)基于步骤1.2)中所得到的颜色距离、坐标距离,步骤2.2) 中得到的超像素中心内切圆半径、外切圆半径,步骤2.3)中计算的各超像素中心梯度值,建立全连接稠密网络;
将每一个超像素区块作为全连接网络的节点,将各个超像素中心点间的相似度作为连边关系。其中规定中心点相似度的计算基于每条连边的权重值w,
Figure GDA0002992567640000141
其中Dimax、Dimin、D' 分别代表超像素中心点外切圆半径、内切圆的半径,以及正则化后的欧式距离。将任意两个节点i、j的相似度大小自定义为
Figure GDA0002992567640000142
3)全连接稠密网络的稀疏化,过程如下:
由于全连接稠密网络的计算复杂性,采用双阈值和软阈值的方法使稠密网络稀疏化。
3.1)为使剩下的连边更具特征性,先使用双阈值对全连接稠密网络进行粗稀疏化:
3.1.1)对梯度进行非最大抑制:
由于图像进行超像素分割后,聚类中心不均匀分布,因此以超像素中心作为圆心,
Figure GDA0002992567640000143
长为半径作圆,其中s为步骤1.2)中提到的两点最远超像素中心距离,k为聚类中心个数,该圆作为相应中心点的邻域。
遍历各个超像素中心,将超像素中心梯度值M(x,y)与邻域内沿着梯度方向的其余超像素中心的梯度值进行比较,若偏小,则令梯度值M(x,y)=0,去除该中心点的连边关系;
3.1.2)运用双阈值算法检测并减少连边数目:
基于步骤3.1.1),设定两个阈值T1和T2处理梯度响应,设置方法为:将各个中心点按照梯度相应由大到小排列,根据二八准则,将位于20%的点对应的梯度值作为高阈值T1,取位于50%的点对应的梯度值作为低阈值T2
若超像素中心点的梯度值M(x,y)>T1则将其梯度置为0,去除该超像素中心点的所有连边;若超像素中心点的梯度值M(x,y)<T1并且 M(x,y)>T2则考察其邻域,此邻域是以超像素中心点为圆心,以
Figure GDA0002992567640000151
为半径的圆,若该邻域范围内存在梯度已被置为零的点,则也将其连边去除;
3.2)为避免硬阈值“一刀切”,流失大量必要连边信息,在步骤3.1)双阈值粗稀疏化网络的基础上,本发明采用软阈值来进一步减少连边数量,对全连接网络做细稀疏化,软阈值函数的运用基于如下公式:
Figure GDA0002992567640000152
式(9)中,w表示变量,λ表示所设阈值,本发明中w的取值为步骤2.4)中所得到的权重值w,
Figure GDA0002992567640000153
将所有超像素中心的权重值由大到小排列,取最大权重的60%作为λ的值,即λ=0.6|w|max,|w|若大于λ,那么将其值置零,去除该中心点的连边。
4)将网络节点(node)转化为向量(vector),找出边缘点,过程如下:
4.1)基于步骤3),针对稀疏化后的全连接网络中的每个节点进行二阶随机游走,由步骤1)可知,对图片进行超像素分割后,共有 k个超像素区块,由于我们把超像素区块作为节点,那么存在有k个节点,任意选定一个节点作为初始头结点T,并定义游走长度为lrandomwalk,用Ci表示游走时的第i个节点,并以C0=T开始,进行随机游走。Ci的生成满足以下概率分布:
Figure GDA0002992567640000161
式(10)中,x表示下一步可能游走的节点,v表示当前停留的节点,πvx表示节点v与x间未归一化的转移概率,Z表示归一化常数;定义πvx=f(t,x),其中t表示已游走的上一个节点,根据公式(10) 可以得到Ci-2=t,其计算公式为:
Figure GDA0002992567640000162
式(11)中,f(t,x)可作为权重系数,dtx表示上一节点t与下一节点x间的最短直线路径,且规定dtx∈(0,1,2);基于步骤2.4)取 1.2|w|max和0.2|w|min,最大权重值的1.2倍和最小权重值的0.2倍,控制游走方向及范围;若πvx与f(t,x)相等,则随机选择一个节点进行游走;
4.2)获得向量矩阵:根据步骤4.1)游走一个节点后将得到k条长度为lrandomwalk的游走序列,训练神经网络模型,调整参数;
先用特征向量表示全连接网络中的超像素节点,并使用该特征向量来表示网络节点间的连接概率函数;由步骤4.1)可知,随机游走不一定会遍历所有节点,因此为了保证每条游走序列的初始头节点都不同,需要对整个网络进行k次重复游走。
而对于每一条游走序列来说,仅保留第一个重复游走的节点,并将得到新的节点序列表示为{U1,U2,...,UT},UT∈A,其中A是大小为k的节点集合;为使得该模型满足
Figure GDA0002992567640000175
需满足唯一约束条件如下公式所示:
Figure GDA0002992567640000171
式(12)中,|V|为向量模长,且函数f(i,Ut-1,…,Ut-n+1)分解为映射H(·)和函数g(·)两个部分:第一部分映射H(·),H(i)表示节点集合中的每个节点的分布式特征向量,第二部分函数g(·),该函数将输入的节点特征向量θ,映射为节点θ前面n-1个节点的条件概率分布,即:
f(i,Ut,...,Ut-n+1)=g(i,H(Ut),…,H(Ut-n+1)) (13)
训练结束的标志为寻找得到满足带惩罚项的训练序列的对数似然率最大的节点特征向量θ,完成训练后,当U=0时,得到首尾相连的特征向量(H(Ut-1),H(Ut-2),···,H(Ut-n+1)),该矩阵H就是需要的节点特征向量,每一行代表该位置的节点的向量,如公式(14):
Figure GDA0002992567640000172
4.3)计算每个节点向量之间的距离值和密度值:不妨将向量矩阵(H(Ut-1),H(Ut-2),···,H(Ut-n+1))定义为
Figure GDA0002992567640000173
其中xi表示矩阵的每一行,即步骤4.2)位置节点的向量;
计算任意两行向量xi和xj之间的欧式距离δi
Figure GDA0002992567640000174
式(15)中,m表示向量的维度;
接着计算H中的任一向量xi的密度值,定义节点的密度是矩阵H 中与xi之间的距离小于dc的向量的个数,dc>0,记为ρi,其中定义dc大小等于模长最大与模长最小的两个向量xmax与xmin之间欧式距离绝对值的0.05,
4.4)基于步骤4.3)得到的向量矩阵H中每个向量的密度值和距离值(ρii),i∈(1,2,...,k),将其密度值和向量值均由大到小排列,按照二八法则,取ρ0
Figure GDA0002992567640000181
中第0.8k个密度值的大小,取δ0
Figure GDA0002992567640000182
中第0.2k个距离值的大小,将密度值小于ρ0,或距离值大于δ0的节点均标记为边缘点,将其相连,最终获得图像边缘。

Claims (5)

1.一种基于Node2Vec算法的超像素图像边缘检测方法,其特征在于,所述方法包括以下步骤:
1)对图片进行超像素分割,过程如下:
1.1)初始化超像素中心:基于k-means++的聚类算法,根据样本随机选择k个初始聚类中心;
1.2)计算所有像素点到达初始超像素中心的欧式距离:
计算颜色空间的距离:
Figure FDA0002992567630000011
计算坐标空间的距离:
Figure FDA0002992567630000012
将式(1)和式(2)进行正则化,得到式(3):
Figure FDA0002992567630000013
图片读入的色彩空间为RGB颜色空间;
式(1)中,j和i表示不同的像素点,R表示红色亮度等级,G表示绿色亮度等级,B表示蓝色亮度等级;式(2)中,x表示坐标中的水平距离,y表示坐标中垂直距离;式子(3)中,dc表示颜色距离,ds表示空间距离,Ns是类内最大距离空间,定义为最远两像素点之间的距离,记为s;由于不同颜色空间的Nc值相差较大,因此用常数m代替,得到式(4):
Figure FDA0002992567630000014
计算每个像素点到种子中心的D'值,找出距离像素点最近的种子中心,作为它的聚类中心,并打上相应类标;
1.3)迭代优化,重复步骤1.2),计算每个像素中心到新聚类中心点的欧氏距离,找到最近的聚类中心后,打上新的类标值,并更新相关数据,计算新的超像素中心,直至超像素中心不再变化,则完成超像素提取,迭代次数达到设定次数时,获得最终超像素中心,否则,继续重复步骤1.2);
2)计算超像素中心属性值,建立全连接稠密网络,过程如下:
2.1)将图片灰度化;
Gray=0.299R+0.587G+0.114B (5)
2.2)计算超像素中心的属性值,建立相应连边关系:
由步骤1.2)可知超像素划分存在一定区域性,因此计算超像素中心所在区块的内切圆、外切圆的半径,在每个超像素区域范围内,距离超像素中心最远的像素点距超像素中心的距离作为该超像素中心外切圆的半径Dimax,i=1,2,…,N,距离超像素中心最近的像素点距超像素中心的距离作为该超像素中心内切圆的半径Dimin,i=1,2,…,N;
2.3)用高斯滤波器平滑图片,获得超像素中心梯度值:
基于步骤1)中所提取的超像素,采用超像素中心代替局部区域策略降低图片处理复杂度,超像素中心代替局部区域策略是利用超像素的中心点含有丰富的表征该区域内像素特征信息的特点,以中心点代替局部区域;
首先通过二维高斯平滑算子平滑图片f(x,y),
Figure FDA0002992567630000021
则平滑后的图片F(x,y)表示为G(x,y)*f(x,y),式(6)中表示x和y方向上的位置值均为超像素中心点的位置值;
然后计算各个超像素中心梯度的大小和方向,为使梯度的计算更加准确,采用一阶计算x方向、y方向的偏微分;
梯度大小的计算:
Figure FDA0002992567630000031
梯度方向的计算:
Figure FDA0002992567630000032
2.4)基于步骤1.2)中所得到的颜色距离、坐标距离,步骤2.2)中得到的超像素中心内切圆半径、外切圆半径,步骤2.3)中计算的各超像素中心梯度值,建立全连接稠密网络;将超像素区块作为全连接网络的节点,将各个超像素中心点间的相似度作为连边关系,其中中心点相似度的计算基于每条连边的权重值w,
Figure FDA0002992567630000033
其中Dimax、Dimin、D'分别代表超像素中心点外切圆半径、内切圆的半径,以及正则化后的欧式距离,将任意两个节点i、j的相似度大小自定义为
Figure FDA0002992567630000034
3)全连接稠密网络的稀疏化,过程如下:
3.1)为使剩下的连边更具特征性,使用双阈值对全连接网络进行粗稀疏化:
3.1.1)对梯度进行非最大抑制:
由于图像进行超像素分割后,聚类中心不均匀分布,因此以超像素中心作为圆心,
Figure FDA0002992567630000035
长为半径作圆,其中s为步骤1.2)中提到的两点最远超像素中心距离,k为聚类中心个数,该圆作为中心点的邻域;
遍历各个超像素中心,将超像素中心梯度值M(x,y)与邻域内沿着梯度方向的其余超像素中心的梯度值进行比较,若偏小,则令M(x,y)=0;
3.1.2)运用双阈值算法检测并减少连边数目:
基于步骤3.1.1),设定两个阈值T1和T2处理梯度响应,设置方法为:将各个中心点按照梯度相应由大到小排列,根据二八准则,将位于20%的点对应的梯度值作为高阈值T1,取位于50%的点对应的梯度值作为低阈值T2
若超像素中心点的梯度值M(x,y)>T1则将其梯度置为0,去除该超像素中心点的所有连边;若超像素中心点的梯度值M(x,y)<T1并且M(x,y)>T2则考察其邻域,此邻域是半径为
Figure FDA0002992567630000041
的圆,若存在梯度已被置为零的点,则也将其连边去除;
3.2)采用软阈值来进一步减少连边数量,对全连接网络做细稀疏化,软阈值函数的运用,基于如下公式:
Figure FDA0002992567630000042
式(9)中,w表示变量,λ表示所设阈值,w的取值为步骤2.4)中所得到的权重值w,
Figure FDA0002992567630000043
将所有超像素中心的权重值由大到小排列,取最大权重的60%作为λ的值,即λ=0.6|w|max,|w|若大于λ,那么将其值置零,去除该中心点的连边;
4)将网络节点转化为向量,找出边缘点,过程如下:
4.1)针对稀疏化后的全连接网络中的每个节点进行二阶随机游走,由步骤1)可知,对图片进行超像素提取后,共有k个超像素区块,则有k个节点,任意选定一个节点作为初始头结点T,并定义游走长度为lrandomwalk,用Ci表示游走时的第i个节点,并以C0=T开始,进行随机游走;Ci的生成满足以下概率分布:
Figure FDA0002992567630000051
式(10)中,x表示下一步可能游走的节点,v表示当前停留的节点,πvx表示节点v与x间未归一化的转移概率,Z表示归一化常数;定义πvx=f(t,x),其中t表示已游走的上一个节点,即Ci-2=t,其计算公式为:
Figure FDA0002992567630000052
式(11)中,f(t,x)可作为权重系数,dtx表示上一节点t与下一节点x间的最短直线路径,且规定dtx∈(0,1,2);基于步骤2.4)取1.2|w|max和0.2|w|min,最大权重值的1.2倍和最小权重值的0.2倍,控制游走方向及范围;若πvx相等,则随机选择一个节点进行游走;
4.2)获得向量矩阵:根据步骤4.1)游走一个节点后将得到k条长度为lrandomwalk的游走序列,训练神经网络模型,调整参数;
先用特征向量表示全连接网络中的超像素节点,并使用该特征向量来表示网络节点间的连接概率函数;由于随机游走不一定会遍历所有节点,因此为了保证每条游走序列的初始头节点都不同,需要对整个网络进行k次重复游走;而对于每一条游走序列来说,仅保留第一个重复游走的节点,将得到新的节点序列表示为{U1,U2,...,UT},UT∈A,其中A是大小为k的节点集合;为使得该模型满足
Figure FDA0002992567630000061
需满足唯一约束条件如下所示:
Figure FDA0002992567630000062
式(12)中,|V|为向量模长,函数f(i,Ut-1,…,Ut-n+1)分解为映射H(·)和函数g(·)两个部分:第一部分映射H(·),H(i)表示节点集合中的每个节点的分布式特征向量,第二部分函数g(·),该函数将输入的节点特征向量θ,映射为节点θ前面n-1个节点的条件概率分布,即:
f(i,Ut,...,Ut-n+1)=g(i,H(Ut),…,H(Ut-n+1)) (13)
训练结束的标志为寻找得到满足带惩罚项的训练序列的对数似然率最大的节点特征向量θ,即:
Figure FDA0002992567630000063
完成训练后,当U=0时,得到首尾相连的特征向量(H(Ut-1),H(Ut-2),···,H(Ut-n+1)),该矩阵H就是需要的节点特征向量,每一行代表该位置的节点的向量;
4.3)计算每个节点向量之间的距离值和密度值:将向量矩阵(H(Ut-1),H(Ut-2),···,H(Ut-n+1))定义为
Figure FDA0002992567630000064
其中xi表示矩阵的每一行,即步骤4.2)位置节点的向量;
计算任意两行向量xi和xj之间的欧式距离δi
Figure FDA0002992567630000065
式(15)中,m表示向量的维度;
接着计算H中的任一向量xi的密度值,定义节点的密度是矩阵H中与xi之间的距离小于dc的向量的个数,dc>0,记为ρi,其中dc为模长最大与模长最小的两个向量xmax与xmin之间欧式距离绝对值的0.05,
4.4)基于步骤4.3)得到的H中每个向量的密度值和距离值(ρii),i∈(1,2,...,k),将其密度值和向量值均由大到小排列,按照二八法则,取ρ0
Figure FDA0002992567630000071
中第0.8k个密度值的大小,取δ0
Figure FDA0002992567630000072
中第0.2k个距离值的大小,将密度值小于ρ0,或距离值大于δ0的节点均标记为边缘点,将其相连,最终获得图像边缘。
2.如权利要求1所述的基于Node2Vec算法的超像素图像边缘检测方法,其特征在于:在步骤1)中,所运用的SC++算法,是对简单线性迭代SLIC算法的优化,运用了k-means++的聚类算法,在设定好参数k后,自动确定聚类中心。
3.如权利要求1或2所述的基于Node2Vec算法的超像素图像边缘检测方法,其特征在于:在步骤2)中,利用超像素的中心点含有丰富的表征该区域内像素特征信息的特点,利用超像素中心点代替局部区域。
4.如权利要求1或2所述的基于Node2Vec算法的超像素图像边缘检测方法,其特征在于:在步骤3.1.1)和步骤3.1.2)中,由于聚类中心不均匀分布,因此以超像素中心作为圆心,判断边缘点时,分别以
Figure FDA0002992567630000073
Figure FDA0002992567630000074
长为半径作圆,其中s为步骤1.2)中提到的两点最远超像素中心距离,k为聚类中心个数。
5.如权利要求1或2所述的基于Node2Vec算法的超像素图像边缘检测方法,其特征在于:在步骤4)中,基于Node2Vec算法,对节点进行二阶随机游走,获得向量矩阵,然后计算向量矩阵中的距离值和密度值,根据二八准则,将距离值过大或密度值过小的点标记为边缘点,连接边缘点得到图像边缘。
CN201810320566.0A 2018-04-11 2018-04-11 基于Node2Vec算法的超像素图像边缘检测方法 Active CN108682017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810320566.0A CN108682017B (zh) 2018-04-11 2018-04-11 基于Node2Vec算法的超像素图像边缘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810320566.0A CN108682017B (zh) 2018-04-11 2018-04-11 基于Node2Vec算法的超像素图像边缘检测方法

Publications (2)

Publication Number Publication Date
CN108682017A CN108682017A (zh) 2018-10-19
CN108682017B true CN108682017B (zh) 2021-06-18

Family

ID=63800953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810320566.0A Active CN108682017B (zh) 2018-04-11 2018-04-11 基于Node2Vec算法的超像素图像边缘检测方法

Country Status (1)

Country Link
CN (1) CN108682017B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635809B (zh) * 2018-11-02 2021-08-17 浙江工业大学 一种面向视觉退化图像的超像素分割方法
CN109658382B (zh) * 2018-11-16 2023-05-30 福建中医药大学 基于图像聚类和灰度投影的舌体定位方法
CN109657610A (zh) * 2018-12-18 2019-04-19 北京航天泰坦科技股份有限公司 一种高分辨率多源遥感影像的土地利用变化检测方法
CN110084163B (zh) * 2019-04-18 2020-06-30 南京信息工程大学 基于多视图局部线性表示保留鉴别嵌入的人脸识别方法
CN112172801B (zh) * 2020-03-03 2021-10-08 星空映画(武汉)科技有限公司 应用大数据处理的安全距离调整方法
CN113674346B (zh) * 2020-05-14 2024-04-16 北京京东乾石科技有限公司 图像检测方法、装置、电子设备和计算机可读存储介质
CN111652217B (zh) * 2020-06-03 2022-05-03 北京易真学思教育科技有限公司 文本检测方法、装置、电子设备及计算机存储介质
CN112580447B (zh) * 2020-12-04 2023-08-04 国网福建省电力有限公司泉州供电公司 一种基于边缘二阶统计与融合的电力线检测方法
CN112819844B (zh) * 2021-01-29 2023-03-14 山东建筑大学 一种图像边缘检测方法及装置
CN113112455A (zh) * 2021-03-24 2021-07-13 中汽数据有限公司 配准方法、装置、电子设备及介质
CN115018838B (zh) * 2022-08-08 2022-11-29 和诚精密管业(南通)有限公司 用于被氧化钢管材料表面麻点瑕疵的识别方法
CN115147416B (zh) * 2022-09-02 2022-11-15 山东大山不锈钢制品有限公司 一种倒绳机乱绳检测方法、装置和计算机设备
CN116152274B (zh) * 2023-04-23 2023-08-04 之江实验室 一种图像分割方法、装置、设备及存储介质
CN116400356B (zh) * 2023-06-07 2023-08-18 中山大学 一种基于同质区域联合的层析sar三维成像方法
CN116447977B (zh) * 2023-06-16 2023-08-29 北京航天计量测试技术研究所 一种基于激光雷达的圆孔特征测量与参数提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872415A (zh) * 2010-05-06 2010-10-27 复旦大学 适用于iptv的视频拷贝检测方法
CN102663754A (zh) * 2012-04-17 2012-09-12 北京博研新创数码科技有限公司 一种基于区域高斯加权的图像匹配计算方法
WO2014129116A1 (ja) * 2013-02-22 2014-08-28 国立大学法人東京工業大学 情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872415A (zh) * 2010-05-06 2010-10-27 复旦大学 适用于iptv的视频拷贝检测方法
CN102663754A (zh) * 2012-04-17 2012-09-12 北京博研新创数码科技有限公司 一种基于区域高斯加权的图像匹配计算方法
WO2014129116A1 (ja) * 2013-02-22 2014-08-28 国立大学法人東京工業大学 情報処理装置、情報処理方法及び非一時的なコンピュータ可読媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Improved Spectral Clustering Collaborative Filtering with Node2vec Technology;Jinyin Chen等;《IEEE》;20171231;第330-334页 *

Also Published As

Publication number Publication date
CN108682017A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108682017B (zh) 基于Node2Vec算法的超像素图像边缘检测方法
CN108537239B (zh) 一种图像显著性目标检测的方法
CN106920243B (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN111723675B (zh) 基于多重相似性度量深度学习的遥感图像场景分类方法
Massiceti et al. Random forests versus neural networks—what's best for camera localization?
Dornaika et al. Building detection from orthophotos using a machine learning approach: An empirical study on image segmentation and descriptors
CN109741341B (zh) 一种基于超像素和长短时记忆网络的图像分割方法
CN110853026B (zh) 一种融合深度学习与区域分割的遥感影像变化检测方法
Almogdady et al. A flower recognition system based on image processing and neural networks
CN108288035A (zh) 基于深度学习的多通道图像特征融合的人体动作识别方法
CN109086777B (zh) 一种基于全局像素特征的显著图精细化方法
CN107273905B (zh) 一种结合运动信息的目标主动轮廓跟踪方法
CN107066916B (zh) 基于反卷积神经网络的场景语义分割方法
CN108629783B (zh) 基于图像特征密度峰值搜索的图像分割方法、系统及介质
Poullis Tensor-Cuts: A simultaneous multi-type feature extractor and classifier and its application to road extraction from satellite images
CN106157330B (zh) 一种基于目标联合外观模型的视觉跟踪方法
CN108596240B (zh) 一种基于判别特征网络的图像语义分割方法
CN111310768B (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN112837344A (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
CN114359323A (zh) 一种基于视觉注意机制的图像目标区域检测方法
Li et al. A survey on natural image matting with closed-form solutions
CN109947960B (zh) 基于深度卷积的人脸多属性联合估计模型构建方法
CN110634142A (zh) 一种复杂车路图像边界优化方法
CN114495170A (zh) 一种基于局部抑制自注意力的行人重识别方法及系统
CN112329818B (zh) 基于图卷积网络嵌入表征的高光谱图像非监督分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant