CN108665470A - 一种交互式轮廓提取方法 - Google Patents

一种交互式轮廓提取方法 Download PDF

Info

Publication number
CN108665470A
CN108665470A CN201810457555.7A CN201810457555A CN108665470A CN 108665470 A CN108665470 A CN 108665470A CN 201810457555 A CN201810457555 A CN 201810457555A CN 108665470 A CN108665470 A CN 108665470A
Authority
CN
China
Prior art keywords
local configuration
node
line
point
configuration line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810457555.7A
Other languages
English (en)
Other versions
CN108665470B (zh
Inventor
聂勇伟
曹旭
李桂清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810457555.7A priority Critical patent/CN108665470B/zh
Publication of CN108665470A publication Critical patent/CN108665470A/zh
Application granted granted Critical
Publication of CN108665470B publication Critical patent/CN108665470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种交互式轮廓提取方法,包括步骤:1)建立l‑d轴坐标系,以用户交互草图为初始化,建立以初始曲线为中心的l‑d轴坐标系;2)局部轮廓线提取,将l‑d轴坐标系中寻找局部轮廓线的过程建模为最大化能量函数的问题,并使用动态规划求解局部最优解;3)多尺度局部轮廓线集合的生成,在初始化曲线上提取不同长度密集重叠的局部轮廓线集合;4)全局轮廓线融合,使用一种基于wPCA的方法,从冗余的局部轮廓线集合中提取出一条全局轮廓线。本发明方法能够表示任意复杂的物体轮廓,并且具有准确便捷,用户交互少,运行速度快,全局轮廓线连续和平滑的优点。

Description

一种交互式轮廓提取方法
技术领域
本发明涉及视频处理的技术领域,尤其是指一种交互式轮廓提取方法。
背景技术
随着计算机视觉和图像处理的快速发展,其相关技术的应用范围越来越广泛,尤其是在无人驾驶、人脸识别、增强现实(Augmented reality,简记为AR)、医学影像处理和工业控制等方面出现了很多新理论和新方法,并出现了很多优秀的商业化应用,使得这个领域被越来越多的人们所熟悉和关注。物体轮廓提取或检测是计算机视觉和图像处理中最重要的底层处理之一,它用于提取图像中对象的边界,提供图像中物体关键的轮廓信息。而这些信息可以用于图像分割、物体检测、遮挡和深度推理以及三维重建等很多领域,具有重要的研究意义和价值。
近年来计算机技术和光学摄影水平都得到了极大的提升,但是在实际中提取出精确的物体轮廓仍然有很大的困难。首先是场景、光照以及物体轮廓的复杂程度等物理条件方面的原因,在复杂场景和光照条件以及物体轮廓凹凸不平的情况下,提取物体轮廓本身就极具挑战性。另外是受摄影设备精度和图像数据压缩存储的影响,所处理的图像存在很多噪声。虽然可以通过图像去噪方法减轻这一问题,但难免会丢失细节信息,这对于提取精确的物体轮廓造成了干扰。目前提取出精确的物体轮廓仍然是一个十分具有挑战性的问题。
同时轮廓提取也是个经久不衰的研究领域,研究人员提出很多方法用于解决这个问题。早期的方法大都是一些局部分析方法,主要是使用显著的梯度信息定位图像的边缘。非常经典的局部方法有Robert,Sobel,Canny和Prewitt等。这些方法主要是用边缘检测模板来检测局部像素灰度的急剧变化。除了灰度信息,颜色和纹理信息也经常被用来帮助寻找图像边缘。局部轮廓提取方法得到的边缘信息经常是离散的,并不围成连续的闭合区域。所以全局方法则是试图将局部的边缘连接起来以获得完整的轮廓。全局方法通常使用图算法,将每个单独的边缘看作图的一个节点,然后将节点之间没有检测到的潜在边缘连接起来。全局的轮廓结构一般满足Gestalt准则,例如临近、闭合、对称等等。全局方法利用图算法,条件随机场、置信传播和特征值等方法,将上下文信息结合起来通过局部边缘推测全局结构。局部方法可以检测出边缘信息而无法提取出完整物体轮廓,全局方法的准确性和鲁棒性难以满足要求。
同时轮廓提取方法和图像分割技术十分相关,但是又不完全等同。图像分割是将图像分成不同的区域,每个区域对应着某个物体或者背景,而这块区域的边界就是物体的轮廓。轮廓提取常被用于辅助图像分割,但轮廓提取本身并不保证产生闭合的轮廓线,所以并不能将图像分为若干区域。反过来,根据图像分割的结果总是可以将所得区域的边界提取出来。图像分割的方法有很多种,例如图割(graph cuts),正则化切割(normalizedcuts),和均值漂移聚类(mean-shift clustering)等。但是图像分割的方法获得的轮廓质量较差,无法获得平滑精确的物体轮廓。
发明内容
本发明的目的在于克服现有技术的不足,提出了一种交互式轮廓提取的方法,可以灵活鲁棒地提取用户需要的物体轮廓。受素描技巧启发,本发明先通过动态规划生成局部轮廓线,然后基于主成分分析进行全局融合得到全局轮廓线,充分利用大量重叠局部轮廓线间的交叉验证,提高轮廓提取的有效性和准确性。
为实现上述目的,本发明所提供的技术方案为:一种交互式轮廓提取方法,包括以下步骤:
1)建立l-d轴坐标系,以用户交互草图为初始化,建立以初始曲线为中心的l-d轴坐标系;
2)局部轮廓线提取,将l-d轴坐标系中寻找局部轮廓线的过程建模为最大化能量函数的问题,并使用动态规划求解局部最优解;
3)多尺度局部轮廓线集合生成,在初始化曲线上提取不同长度密集重叠的局部轮廓线集合;
4)全局轮廓线融合,使用一种基于wPCA的方法,从冗余的局部轮廓线集合中提取出一条全局轮廓线。
在步骤1)中,所述的建立以初始曲线为中心的l-d轴坐标系,具体如下:
将初始化曲线的开始位置定义为l-d轴坐标系的原点O。沿着初始化曲线的是l坐标轴,垂直于初始化曲线的是d坐标轴。初始化曲线上的一个点p(x,y),p点沿着初始化曲线到O点的距离是l0。根据下面公式可以将l-d轴坐标系中的任意一点p'(l0,d0)转化到图像坐标系:
其中(xp',yp')是点p'在图像坐标系的坐标,表示将(l0,d0)转换到图像坐标系。p点是(l0,d0)在l坐标轴上对应的位置,可以通过计算,n是初始化曲线在点p处的法向量。
根据以上定义,对目标轮廓线进行采样,获取其在l-d轴坐标系中一系列的离散点。L是初始化曲线的总长度,在初始化曲线上均匀采样M个点{(li,0)|i∈{1,2,...,M}},其中目标轮廓线通过一系列离散点来表示:
其中是目标轮廓线,(li,di)是目标轮廓线上采样的点,M表示目标轮廓线点的数目。
l-d轴坐标系中的局部轮廓线则可以通过其中一部分点来表示:
其中是局部轮廓线,(li,di)是局部轮廓线上均匀的点,其开始的位置是s,结束的位置是t,s≥1并且t≤M。
最后将di的范围限制在[-r,r]之间,这样所有的局部轮廓线都是在以初始化曲线为中心轴,宽度为2r的带状区域之内。
在步骤2)中,所述的局部轮廓线的提取,具体如下:
通过最大化局部轮廓线的能量函数,确定所有的d轴坐标di就可以确定这条局部轮廓线所在的位置。局部轮廓线{di|i∈{s,s+1,..,t-1,t}}的能量函数由两部分组成:
E({di})=α·Ee({di})+β·Es({di}),
其中{di}是所求局部轮廓线,E({di})表示局部轮廓线的能量。Ee是梯度项,表示局部轮廓线处梯度的大小;Es是平滑项,表示局部轮廓线平滑的程度。α和β用于调节两项之间的权重。
然后使用动态规划求解能量函数的近似全局最优解。在l-d轴坐标系中,将d轴以的间隔离散成为2N+1个坐标获得了一个(t-s+1)×(2N+1)个节点的网格:{(li,di,j)|i∈{s,...,t-1,t},j∈{-N,...,0,...,N}}。在这些点上可以构建出一个网格图每个点(li,di,j)对应网格图中的一个节点ni,j。相邻两个节点ni-1,j'和ni,j通过边相连,其中|j-j'|≤cmax。在离散的网格图中,连续的优化问题转化为在网格图中寻找最佳路径的问题。
首先假设对于第i-1行所有节点,已经找到其从第1行到第i-1行的最佳路径。用表示以节点ni-1,j结尾的最佳路径。对于第i行任意一个节点ni,j,以其结尾的最佳路径一定来自于下面几个路径之一:符号表示将边添加到某一路径的尾部成为一个新的路径,其中δ={-cmax,-cmax+1,...,cmax},cmax为范围阈值。使用和ε(e)分别表示一条路径和一条边的能量值,则在节点ni,j处选择加入当前路径的最优边为:
其中δ*表示加入当前路径的最优边的索引,并且δ={-cmax,-cmax+1,...,cmax}。是第i-1行中节点ni-1,j结尾的最佳路径的能量值,是节点ni,j处的有方向的梯度值。边的能量值具体的含义是平滑项的能量:
其中平滑项由边与之前的一条边的向量内积表示,其中是路径上的倒数第二个点的索引。表示边的单位向量,通过以下方法计算:
其中表示边的单位向量,是对应节点的坐标。
最后得到节点ni,j处的最佳路径:
其中是节点ni,j处最佳路径,是节点ni-1,j+δ处最佳路径。同时获得节点ni,j处最佳路径的能量值:
通过对网格图的每个节点计算上式能量,最后可以算出对于最后一行每个节点结尾的最佳路径。选取其中能量值最大的一条就是所求的局部轮廓线。
在步骤3)中,所述的多尺度局部轮廓线集合的生成,具体如下:
因为参数s和t决定了一个局部轮廓线在l-d轴坐标系开始和结束的位置。多尺度局部轮廓线提取长度分别为t-s+1={24,30,39,51,66}的局部轮廓线。对于每一种长度的局部轮廓线,沿着初始化轮廓线以相邻两个重叠2/3的间隔采样。例如长度为24的局部轮廓线开始的位置应该是s={1,9,17,...},而长度为30的局部轮廓线开始的位置应该是s={1,11,21,...}。给定开始的位置s和结束的位置t,就可以使用之前的动态规划算法提取对应的局部轮廓线。
多尺度局部轮廓提取经常需要寻找上百条局部轮廓线,因而无法达到实时的效果。通过GPU加速并行计算多尺度的局部轮廓线计算过程,用CUDA中每一个线程计算一个局部轮廓线,将算法加速到实时的效果。
在步骤4)中,所述的基于wPCA的全局轮廓线融合,具体如下:
全局融合方法基于主成分分析从局部轮廓线集合中通过动态规划提取全局轮廓线。P是局部轮廓线上点的集合。对于P中任意的一个点pi,其协方差矩阵是:
其中将远离pi的点对其影响降低,r是两点之间的距离,σ是一个固定阈值。通过SVD分解这个协方差矩阵,可以获得其特征值和特征向量,对应最大特征值的特征向量就是pi点处的主方向。
在得到每个点处的wPCA方向之后,通过动态规划的全局轮廓线融合的方法如下:
对于任意一个节点ni,j,与其上一行的节点ni-1,j+δ通过边连接。则每个点节点处的能量值为:
其中表示节点ni,j处的能量,表示节点ni-1,j+δ处的能量值,表示边的单位向量,表示节点ni-1,j+δ处的wPCA的方向。通过对网格图中的每个节点计算能量,最终可以从可行路径中,找到一条基于wPCA方法的最优路径。
本发明与现有技术相比,具有如下优点与有益效果:
1、图像中物体轮廓通常是不规则的形状。在笛卡尔坐标系表示下,这种不规则的特性使得无法用一个简单的形式表示物体的轮廓线,以至于轮廓提取问题的建模变得异常复杂。本发明使用了以初始曲线为中心的l-d轴坐标系,能够非常便捷地表示任意复杂的物体轮廓。
2、本发明受画家常用的素描技巧启发,设计了一种新颖的物体轮廓提取方法。由局部轮廓提取和全局轮廓融合组成,其固有的交叉验证机制保证了本发明轮廓提取方法准确有效。
3、本发明轮廓提取方法使用了动态规划并使用CUDA进行加速,达到实时交互的效果,能够便捷准确地完成轮廓提取。
4、本发明提出了基于wPCA的全局轮廓线融合,保持了全局轮廓线的连续性和平滑性,并使用动态规划巧妙地舍弃了错误的局部轮廓线,从可行解中找了一条最优的全局轮廓线。
附图说明
图1是本发明交互式轮廓提取流程图。
图2是l-d轴坐标系及局部轮廓线示意图。
图3是动态规划方法求解网格图中最佳路径示意图。
图4是全局轮廓线融合方法示意图。
图5是本发明局部轮廓和全局轮廓结果图。
图6是本发明轮廓提取方法不同初始化位置的结果比较。
图7是本发明应用于轮廓提取的示例以及与PASCAL数据集原始标记对比图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
如图1所示,本实施例所提供的交互式轮廓提取方法,包括以下步骤:
1)建立l-d轴坐标系,以用户交互草图为初始化,建立以初始曲线为中心的l-d轴坐标系;
2)局部轮廓线提取,将l-d轴坐标系中寻找局部轮廓线的过程建模为最大化能量函数的问题,并使用动态规划求解局部最优解;
3)多尺度局部轮廓线集合生成,在初始化曲线上提取不同长度密集重叠的局部轮廓线集合;
4)全局轮廓线融合,使用一种基于wPCA的方法,从冗余的局部轮廓线集合中提取出一条全局轮廓线。
在步骤1)中,所述的建立以初始曲线为中心的l-d轴坐标系,具体如下:
如图2所示,将初始化曲线的开始位置定义为l-d轴坐标系的原点O。沿着初始化曲线的是l坐标轴,垂直于初始化曲线的是d坐标轴。初始化曲线上的一个点p(x,y),p点沿着初始化曲线到O点的距离是l0。根据下面公式可以将l-d轴坐标系中的任意一点p'(l0,d0)转化到图像坐标系:
其中(xp',yp')是点p'在图像坐标系的坐标,表示将(l0,d0)转换到图像坐标系。p点是(l0,d0)在l坐标轴上对应的位置,可以通过计算,n是初始化曲线在点p处的法向量。
根据以上定义,对目标轮廓线进行采样,获取其在l-d轴坐标系中一系列的离散点。L是初始化曲线的总长度,在初始化曲线上均匀采样M个点{(li,0)|i∈{1,2,...,M}},其中目标轮廓线通过一系列离散点来表示:
其中是目标轮廓线,(li,di)是目标轮廓线上采样的点,M表示目标轮廓线点的数目。
l-d轴坐标系中的局部轮廓线则可以通过其中一部分点来表示:
其中是局部轮廓线,(li,di)是局部轮廓线上均匀的点,其开始的位置是s,结束的位置是t,s≥1并且t≤M。
最后将di的范围限制在[-r,r]之间,这样所有的局部轮廓线都是在以初始化曲线为中心轴,宽度为2r的带状区域之内。
在步骤2)中,所述的局部轮廓线的提取,具体如下:
通过最大化局部轮廓线的能量函数,确定li处的di就可以确定这条局部轮廓线所在的位置。局部轮廓线{di|i∈{s,s+1,..,t-1,t}}的能量函数由两部分组成:
E({di})=α·Ee({di})+β·Es({di}),
其中{di}是所求局部轮廓线,E({di})表示局部轮廓线的能量。Ee是梯度项,表示局部轮廓线处梯度的大小;Es是平滑项,表示局部轮廓线平滑的程度。α和β用于调节两项之间的权重。
然后使用动态规划求解能量函数的近似全局最优解。如图3所示,在l-d轴坐标系中,将d轴以的间隔离散成为2N+1个坐标获得了一个(t-s+1)×(2N+1)个节点的网格:{(li,dij)|i∈{s,...,t-1,t},j∈{-N,...,0,...,N}}。在这些点上可以构建出一个网格图每个点(li,di,j)对应网格图中的一个节点ni,j。相邻两个节点ni-1,j'和ni,j通过边相连,其中|j-j'|≤cmax。在离散的网格图中,连续的优化问题转化为在网格图中寻找最佳路径的问题。
首先假设对于第i-1行所有节点,已经找到其从第1行到第i-1行的最佳路径。用表示以节点ni-1,j结尾的最佳路径。对于第i行任意一个节点ni,j,以其结尾的最佳路径一定来自于下面几个路径之一:符号表示将边添加到某一路径的尾部成为一个新的路径,其中δ={-cmax,-cmax+1,...,cmax},cmax为范围阈值。使用和ε(e)分别表示一条路径和一条边的能量值,则在节点ni,j处选择加入当前路径的最优边为:
其中δ*表示加入当前路径的最优边的索引,并且δ={-cmax,-cmax+1,...,cmax}。是第i-1行中节点ni-1,j结尾的最佳路径的能量值,是节点ni,j处的有方向的梯度值。边的能量值具体的含义是平滑项的能量:
其中平滑项由边与之前的一条边的向量内积表示,其中是路径上的倒数第二个点的索引。表示边的单位向量,通过以下方法计算:
其中表示边的单位向量,是对应节点的坐标。
最后得到节点ni,j处的最佳路径:
其中是节点ni,j处最佳路径,是节点ni-1,j+δ处最佳路径。同时获得节点ni,j处最佳路径的能量值:
通过对网格图的每个节点计算上式能量,最后可以算出对于最后一行每个节点结尾的最佳路径。选取其中能量值最大的一条就是所求的局部轮廓线。
在步骤3)中,所述的多尺度局部轮廓线集合的生成,具体如下:
因为参数s和t决定了一个局部轮廓线在l-d轴坐标系开始和结束的位置。本章的多尺度局部轮廓线提取长度分别为t-s+1={24,30,39,51,66}的局部轮廓线。对于每一种长度的局部轮廓线,沿着初始化轮廓线以相邻两个重叠2/3的间隔采样。例如长度为24的局部轮廓线开始的位置应该是s={1,9,17,...},而长度为30的局部轮廓线开始的位置应该是s={1,11,21,...}。给定开始的位置s和结束的位置t,就可以使用之前的动态规划算法提取对应的局部轮廓线。
多尺度的局部轮廓提取经常需要寻找上百条局部轮廓线,因而无法达到实时的效果。通过GPU加速并行计算多尺度的局部轮廓线计算过程,用CUDA中每一个线程计算一个局部轮廓线,将算法加速到实时的效果。
在步骤4)中,所述的基于wPCA的全局轮廓线融合,具体如下:
全局融合方法基于主成分分析从局部轮廓线集合中通过动态规划提取全局轮廓线。P是局部轮廓线上点的集合。对于P中任意的一个点pi,其协方差矩阵是:
其中将远离pi的点对其影响降低,r是两点之间的距离,σ是一个固定阈值。通过SVD分解这个协方差矩阵,可以获得其特征值和特征向量,对应最大特征值的特征向量就是pi点处的主方向。
在得到每个点处的wPCA方向之后,如图4所示,通过动态规划的全局轮廓线融合的方法如下:
对于任意一个节点ni,j,与其上一行的节点ni-1,j+δ通过边连接。则每个点节点处的能量值为:
其中表示节点ni,j处的能量,表示节点ni-1,j+δ处的能量值,表示边的单位向量,表示节点ni-1j+δ处的wPCA的方向。通过对网格图中的每个节点计算能量,最终可以从可行路径中,找到一条基于wPCA方法的最优路径。
图5展示了使用本文轮廓提取方法提取物体轮廓的一个例子,本发明轮廓提取方法准确有效,最终的全局轮廓线是从大量重叠的局部轮廓线上交叉验证得到的,即使一条局部的轮廓线偏离了正确的位置,很多附近的局部轮廓线能够矫正这一错误。
本发明对初始化位置鲁棒,如图6所示,使用不同的初始化均能获得准确的物体轮廓结果。图7展示了本发明应用于轮廓提取的示例以及与PASCAL数据集原始标记对比图。
以上所述实施例只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。

Claims (5)

1.一种交互式轮廓提取方法,其特征在于,包括以下步骤:
1)建立l-d轴坐标系,以用户交互草图为初始化,建立以初始曲线为中心的l-d轴坐标系;
2)局部轮廓线提取,将l-d轴坐标系中寻找局部轮廓线的过程建模为最大化能量函数的问题,并使用动态规划求解局部最优解;
3)多尺度局部轮廓线集合生成,在初始化曲线上提取不同长度密集重叠的局部轮廓线集合;
4)全局轮廓线融合,使用一种基于wPCA的方法,从冗余的局部轮廓线集合中提取出一条全局轮廓线。
2.根据权利要求1所述的一种交互式轮廓提取方法,其特征在于,在步骤1)中,所述的建立以初始曲线为中心的l-d轴坐标系,具体如下:
将初始化曲线的开始位置定义为l-d轴坐标系的原点O,沿着初始化曲线的是l坐标轴,垂直于初始化曲线的是d坐标轴,初始化曲线上的一个点p(x,y),p点沿着初始化曲线到O点的距离是l0,根据下面公式能够将l-d轴坐标系中的任意一点p'(l0,d0)转化到图像坐标系:
其中(xp',yp')是点p'在图像坐标系的坐标,表示将(l0,d0)转换到图像坐标系,p点是(l0,d0)在l坐标轴上对应的位置,能够通过计算,n是初始化曲线在点p处的法向量;
根据以上定义,对目标轮廓线进行采样,获取其在l-d轴坐标系中一系列的离散点,L是初始化曲线的总长度,在初始化曲线上均匀采样M个点{(li,0)|i∈{1,2,...,M}},其中目标轮廓线通过一系列离散点来表示:
其中是目标轮廓线,(li,di)是目标轮廓线上采样的点,M表示目标轮廓线点的数目;
l-d轴坐标系中的局部轮廓线则能够通过其中一部分点来表示:
其中是局部轮廓线,(li,di)是局部轮廓线上均匀的点,其开始的位置是s,结束的位置是t,s≥1并且t≤M;
最后将di的范围限制在[-r,r]之间,这样所有的局部轮廓线都是在以初始化曲线为中心轴,宽度为2r的带状区域之内。
3.根据权利要求1所述的一种交互式轮廓提取方法,其特征在于:在步骤2)中,所述的通过动态规划提取局部轮廓线,具体如下:
通过最大化局部轮廓线的能量函数,确定所有的d轴坐标di就能够确定这条局部轮廓线所在的位置,局部轮廓线{di|i∈{s,s+1,..,t-1,t}}的能量函数由两部分组成:
E({di})=α·Ee({di})+β·Es({di}),
其中{di}是所求局部轮廓线,E({di})表示局部轮廓线的能量;Ee是梯度项,表示局部轮廓线处梯度的大小;Es是平滑项,表示局部轮廓线平滑的程度;α和β用于调节两项之间的权重;
然后使用动态规划求解能量函数的近似全局最优解,在l-d轴坐标系中,将d轴以的间隔离散成为2N+1个坐标获得了一个(t-s+1)×(2N+1)个节点的网格:{(li,di,j)|i∈{s,...,t-1,t},j∈{-N,...,0,...,N}},在这些点上能够构建出一个网格图每个点(li,di,j)对应网格图中的一个节点ni,j,相邻两个节点ni-1,j'和ni,j通过边相连,其中|j-j'|≤cmax,在离散的网格图中,连续的优化问题转化为在网格图中寻找最佳路径的问题;
首先,假设对于第i-1行所有节点,已经找到其从第1行到第i-1行的最佳路径,用表示以节点ni-1,j结尾的最佳路径,对于第i行任意一个节点ni,j,以其结尾的最佳路径一定来自于下面几个路径之一:符号表示将边添加到某一路径的尾部成为一个新的路径,其中δ={-cmax,-cmax+1,...,cmax},cmax为范围阈值;使用和ε(e)分别表示一条路径和一条边的能量值,则在节点ni,j处选择加入当前路径的最优边为:
其中δ*表示加入当前路径的最优边的索引,并且δ={-cmax,-cmax+1,...,cmax};是第i-1行中节点ni-1,j结尾的最佳路径的能量值,是节点ni,j处的有方向的梯度值;边的能量值具体的含义是平滑项的能量:
其中平滑项由边与之前的一条边的向量内积表示,其中是路径上的倒数第二个点的索引;表示边的单位向量,通过以下方法计算:
其中表示边的单位向量,是对应节点的坐标;
最后得到节点ni,j处的最佳路径:
其中是节点ni,j处最佳路径,是节点ni-1,j+δ处最佳路径;同时获得节点ni,j处最佳路径的能量值:
通过对网格图的每个节点计算上式能量,最后能够算出对于最后一行每个节点结尾的最佳路径,选取其中能量值最大的一条就是所求的局部轮廓线。
4.根据权利要求1所述的一种交互式轮廓提取方法,其特征在于:在步骤3)中,所述的多尺度局部轮廓线集合的生成,具体如下:
因为参数s和t决定了一个局部轮廓线在l-d轴坐标系开始和结束的位置,多尺度局部轮廓线提取长度分别为t-s+1={24,30,39,51,66}的局部轮廓线,对于每一种长度的局部轮廓线,沿着初始化轮廓线以相邻两个重叠2/3的间隔采样,长度为24的局部轮廓线开始的位置应该是s={1,9,17,...},而长度为30的局部轮廓线开始的位置应该是s={1,11,21,...},给定开始的位置s和结束的位置t,就能够使用之前的动态规划算法提取对应的局部轮廓线;
多尺度局部轮廓提取经常需要寻找上百条局部轮廓线,因而无法达到实时的效果,通过GPU加速并行计算多尺度的局部轮廓线计算过程,用CUDA中每一个线程计算一个局部轮廓线,将算法加速到实时的效果。
5.根据权利要求1所述的一种交互式轮廓提取方法,其特征在于:在步骤4)中,所述的基于wPCA的全局轮廓线融合,具体如下:
全局融合方法基于主成分分析从局部轮廓线集合中通过动态规划提取全局轮廓线,P是局部轮廓线上点的集合,对于P中任意的一个点pi,其协方差矩阵是:
其中将远离pi的点对其影响降低,r是两点之间的距离,σ是一个固定阈值;通过SVD分解这个协方差矩阵,能够获得其特征值和特征向量,对应最大特征值的特征向量就是pi点处的主方向;
在得到每个点处的wPCA方向之后,通过动态规划的全局轮廓线融合的方法如下:
对于任意一个节点ni,j,与其上一行的节点ni-1,j+δ通过边连接,则每个点节点处的能量值为:
其中表示节点ni,j处的能量,表示节点ni-1,j+δ处的能量值,表示边的单位向量,表示节点ni-1,j+δ处的wPCA的方向,通过对网格图中的每个节点计算能量,最终能够从可行路径中,找到一条基于wPCA方法的最优路径。
CN201810457555.7A 2018-05-14 2018-05-14 一种交互式轮廓提取方法 Active CN108665470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810457555.7A CN108665470B (zh) 2018-05-14 2018-05-14 一种交互式轮廓提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810457555.7A CN108665470B (zh) 2018-05-14 2018-05-14 一种交互式轮廓提取方法

Publications (2)

Publication Number Publication Date
CN108665470A true CN108665470A (zh) 2018-10-16
CN108665470B CN108665470B (zh) 2020-09-22

Family

ID=63779431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810457555.7A Active CN108665470B (zh) 2018-05-14 2018-05-14 一种交互式轮廓提取方法

Country Status (1)

Country Link
CN (1) CN108665470B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493352A (zh) * 2018-10-18 2019-03-19 温州大学 一种基于gpu并行加速的立体图像区域轮廓生成方法
CN113362352A (zh) * 2021-06-04 2021-09-07 杭州展晖科技有限公司 一种基于plt文件融合重叠轮廓的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493953A (zh) * 2009-03-04 2009-07-29 中国科学院计算技术研究所 一种交互式三维卡通人脸生成方法及装置
CN101916381A (zh) * 2010-07-13 2010-12-15 北京大学 基于稀疏表示的物体轮廓提取方法
CN103279936A (zh) * 2013-06-21 2013-09-04 重庆大学 基于画像的人脸伪照片自动合成及修正方法
CN103886589A (zh) * 2014-02-27 2014-06-25 四川农业大学 面向目标的自动化高精度边缘提取方法
US20160070973A1 (en) * 2013-04-09 2016-03-10 Laboratoires Bodycad Inc. Concurrent active contour segmentation
CN106156739A (zh) * 2016-07-05 2016-11-23 华南理工大学 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
WO2017029488A3 (en) * 2015-08-14 2017-03-30 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN107452030A (zh) * 2017-08-04 2017-12-08 南京理工大学 基于轮廓检测和特征匹配的图像配准方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101493953A (zh) * 2009-03-04 2009-07-29 中国科学院计算技术研究所 一种交互式三维卡通人脸生成方法及装置
CN101916381A (zh) * 2010-07-13 2010-12-15 北京大学 基于稀疏表示的物体轮廓提取方法
US20160070973A1 (en) * 2013-04-09 2016-03-10 Laboratoires Bodycad Inc. Concurrent active contour segmentation
CN103279936A (zh) * 2013-06-21 2013-09-04 重庆大学 基于画像的人脸伪照片自动合成及修正方法
CN103886589A (zh) * 2014-02-27 2014-06-25 四川农业大学 面向目标的自动化高精度边缘提取方法
WO2017029488A3 (en) * 2015-08-14 2017-03-30 Metail Limited Methods of generating personalized 3d head models or 3d body models
CN106156739A (zh) * 2016-07-05 2016-11-23 华南理工大学 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
CN107452030A (zh) * 2017-08-04 2017-12-08 南京理工大学 基于轮廓检测和特征匹配的图像配准方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHONG XUE等: "《Facial feature extraction and image warping using PCA based statistic model》", 《PROCEEDINGS 2001 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
成思源等: "《基于可变形模型的轮廓提取方法与应用》", 《计算机工程与应用》 *
陈鹏飞等: "《基于形状识别的人脸轮廓线提取》", 《计算机工程与设计》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493352A (zh) * 2018-10-18 2019-03-19 温州大学 一种基于gpu并行加速的立体图像区域轮廓生成方法
CN109493352B (zh) * 2018-10-18 2020-01-14 温州大学 一种基于gpu并行加速的立体图像区域轮廓生成方法
CN113362352A (zh) * 2021-06-04 2021-09-07 杭州展晖科技有限公司 一种基于plt文件融合重叠轮廓的方法
CN113362352B (zh) * 2021-06-04 2022-07-22 杭州展晖科技有限公司 一种基于plt文件融合重叠轮廓的方法

Also Published As

Publication number Publication date
CN108665470B (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111797716A (zh) 一种基于Siamese网络的单目标跟踪方法
KR20200070409A (ko) 다중 특징 검색 및 변형에 기반한 인체 헤어스타일 생성 방법
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN106709568A (zh) 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN106203423B (zh) 一种融合上下文探测的弱结构感知视觉目标跟踪方法
JP6612822B2 (ja) モデルを修正するためのシステムおよび方法
CN111145228A (zh) 基于局部轮廓点与形状特征融合的异源图像配准方法
Zeng et al. Reference-based defect detection network
CN113177503A (zh) 基于yolov5的任意朝向目标十二参数检测方法
Rangesh et al. Ground plane polling for 6dof pose estimation of objects on the road
CN116310837B (zh) 一种sar舰船目标旋转检测方法及系统
JP4567660B2 (ja) 電子画像内で物体のセグメントを求める方法
Xu et al. HiSup: Accurate polygonal mapping of buildings in satellite imagery with hierarchical supervision
Vili et al. Texture based description of movements for activity analysis
CN117576079A (zh) 一种工业产品表面异常检测方法、装置及系统
CN108665470A (zh) 一种交互式轮廓提取方法
Tahoces et al. Deep learning method for aortic root detection
CN115018999A (zh) 一种多机器人协作的稠密点云地图构建方法及装置
Omidalizarandi et al. Segmentation and classification of point clouds from dense aerial image matching
Li et al. Stroke extraction of Chinese character based on deep structure deformable image registration
CN116935213A (zh) 一种基于知识蒸馏的轻量化sar图像目标检测方法
Anami et al. Combined Hu moments, orientation knowledge, and grid intersections feature based identification of Bharatanatyam mudra images
Bui et al. A texture-based local soft voting method for vanishing point detection from a single road image
Hrustic et al. Deep learning based traffic signs boundary estimation
Li et al. Combining shape and appearance for automatic pedestrian segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant