CN110189339A - 深度图辅助的主动轮廓抠图方法及系统 - Google Patents
深度图辅助的主动轮廓抠图方法及系统 Download PDFInfo
- Publication number
- CN110189339A CN110189339A CN201910474810.3A CN201910474810A CN110189339A CN 110189339 A CN110189339 A CN 110189339A CN 201910474810 A CN201910474810 A CN 201910474810A CN 110189339 A CN110189339 A CN 110189339A
- Authority
- CN
- China
- Prior art keywords
- depth
- value
- pixel
- map
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 238000006748 scratching Methods 0.000 claims abstract description 7
- 230000002393 scratching effect Effects 0.000 claims abstract description 7
- 229940097275 indigo Drugs 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20116—Active contour; Active surface; Snakes
Abstract
本发明公开了一种深度图辅助的主动轮廓抠图方法及系统，该方法包括如下步骤：获取彩色目标图像的深度图，采用修补算法对深度图进行处理，获得修补后的深度图；对修补后的深度图和目标图像进行置信计算，得到深度置信图和彩色置信图；利用深度置信图和彩色置信图进行水平集分割，获取最终的目标轮廓，得到所需的三分图；分别获取彩色图的抠图结果以及深度图得到的抠图结果，设置色彩差异度来度量前景与背景的距离值，当距离值小于给定阈值T时，采用彩色抠图结果，反之采用深度抠图结果。本发明能够较好的解决图像前后背景相似的情况，并且在分割的过程中更贴近待分割对象的边界，从而更好的保持物体的几何拓扑性，得到所需的二值分割结果。
Description
技术领域
本发明属于三维重建技术领域，涉及对目标对象进行前景估计实现前后背 景信息的分离(抠图)，具体涉及一种深度图辅助的主动轮廓抠图方法及系统。
背景技术
2017年被称为人工智能的元年，这得益于高速发展的计算能力。与此同时， 不断更新迭代的计算能力促进了计算机视觉的发展，而其中三维重建技术得到 了前所未有的关注。在三维重建中，关注的对象不仅仅再是现实生活中的物体， 更多的是使用虚拟的模型来表现生活中真实的对象。
那么，如何实现用虚拟模型来刻画真实物体呢？目前业界较为流行的主要 有两种方法：第一种即是使用精密仪器对物体进行三维重建，比较典型的有激 光扫描仪，其能较好的获取到物体的特征坐标，尤其是一些衡量距离的深度信 息等，此类方法比较适合室内物体或者是室外空间较大的物体；第二种是利用 多视图的方法，即是使用相机拍摄目标物体的一系列二维图像来恢复其三维信 息，其核心原理即是为人熟知的立体视觉方法。
使用多视图方法进行三维重建的基本步骤包括：数据预处理、稀疏重建、 稠密重建以及曲面重建等。数据预处理是三维重建的先序步骤，即是获取目标 物体的一系列二维图像，实际中获取到的二维图像往往会包含较多的噪点，这 对三维重建的后续步骤产生了一定的干扰。若能在获取二维图像这一先序步骤 中即将待测对象与背景进行分离，这样既保留目标物体的相关特征，又能去除 大量的噪点，则必然能够更好的辅助后续的三维重建过程。
抠图(matting)方法正可以用于解决三维重建的获取二维图这一先序步骤 中所存在的问题。抠图方法指的是在图像或是视频中进行准确的前景估计，其 是许多图像编辑以及电影制作中的关键技术之一，现如今已在学术界以及工业 界得到了广泛的应用，如视觉效果制作、目标检测、三维重建等。
针对抠图问题而言，国内外均早已对其进行了深入研究。抠图问题最早由 Smith等人定义，即是从自然图像中提取前景对象的不透明度信息。从数学上来 说，可以将一张图视作为前景和背景按照一定的不透明度(α)的合成，如下式 于是，抠图问题本质上变成了针对以下公式求解α的问题：
I＝αF+(1-α)B
其中，I指代原始图像、F是前景、B是背景、α则是不透明度，其为介于0 到1之间的浮点数。但是针对该式求解α是相当困难的，因为该式是欠约束的， 也即是在该式中，只有一个I已知，其余三个参数均为未知数。因此，Smith等 人提出了一种用于求解该式的Triangulation Matting方法，该方法是一种添 加额外约束的方法，即是假定上式中的I和B作为已知参数，那么就可以对F进 行求解，进一步的可以针对α进行求解。
因此，尽管上式是欠约束的，但是使用额外用户输入是可以针对上式进行 求解的。比较典型的用户输入有三分图(trimaps)以及划痕(scribbles)。 以trimaps为例，其将原始图像分为三个部分：背景区域、前景区域以及未知 区域。使用trimaps，就可以通过α已知的区域对α未知的区域进行求解，最终 计算出所有的α值。使用trimaps来进行抠图研究的方法已屡见不鲜，只要能提 供相对精确的trimaps，那么所得到的抠图结果也会相对较好，因为只要trimaps 越精确，那么需要估计的未知变量也就越少，而且在此过程中能够使用的前景 背景信息也就越多。
比如Chuang等人提出的基于贝叶斯框架来求解抠图问题的方法，他们的方 法首先使用贝叶斯框架形式化抠图中的各个参数，接着即将抠图问题转化为最 大似然的问题，而trimaps则用来针对贝叶斯框架下的每个前景-背景对来同时 对前景、背景、透明度进行估计。他们的方法针对前后背景颜色不重叠的情况 下是较为有效的，但是对于前后背景颜色重叠的情况效果欠佳。提供的trimaps 越好，那么最后的抠图效果也就会越好。但是仅仅使用trimaps以及传统的彩 色图像并不能较好的解决以下两种场景下的问题：其一是当前景和背景比较相 似时；其二则是trimaps没有预期的那样准确。这两者均会导致最后的抠图效 果达不到预期效果。
深度信息就是可提供额外信息的潜在对象之一。深度传感器出现于2006年， 一经问世，即引起人们的高度关注，因为其提供了一种新的方法来解决抠图问 题。深度传感器给传统的RGB图像提供了一个新的通道，也称为深度图，即由 RGB变成RGBD。因为深度图像的灰度值表示图像中物体与摄像机之间的距离， 值越大表示距离越远。那么针对前景背景相似但深度值不同的区域，就可以利 用深度信息进行分割，深度图还能提供较好的边界信息，这对trimaps生成具 有较大的意义。目前使用彩色信息结合深度信息来解决抠图问题方法主要分为 两类：a)将深度信息视作彩色图像的第四通道信息，并据此修改算法来统一处 理；b)独立对待深度信息和彩色信息并分别为其构造置信图。
但是，目前利用深度图像辅助图像分割或是抠图时，使用的大都是较为完 善的深度图。实际情况下，在深度图像的获取过程中，由于设备本身的限制和 外界环境因素的干扰，采集到的深度图像存在着很多问题，主要包括深度信息 缺失导致的图像空洞、深度值准确值不高及图像噪声问题，从而导致目前应用 深度图像进行分割的方法效果不佳。如何对深度图处理以期能满足抠图的需要， 如何在抠图过程中使用深度图，如何引入深度图进行辅助等问题就是亟需解决 的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种 深度图辅助的主动轮廓抠图方法及系统。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一 种深度图辅助的主动轮廓抠图方法，其包括如下步骤：
S1，获取彩色目标图像的深度图，采用修补算法对深度图进行处理，获得 修补后的深度图；
S2，对修补后的深度图和目标图像进行置信计算，得到深度置信图和彩色 置信图；
S3，利用深度置信图和彩色置信图进行水平集分割，获取最终的目标轮廓， 得到所需的三分图；
S4，分别获取彩色图的抠图结果以及深度图得到的抠图结果，设置色彩差 异度来度量前景与背景的距离值，当距离值小于给定阈值T时，采用彩色抠图结 果，反之采用深度抠图结果。
本发明采用深度图辅助的主动轮廓与水平集方法来对图像进行粗分割，能 够较好的解决图像前后背景相似的情况，并且在分割的过程中更贴近待分割对 象的边界，从而更好的保持物体的几何拓扑性，得到所需的二值分割结果。在 抠图阶段，本发明分别针对颜色信息以及深度信息得到其对应的抠图结果，然 后基于给定的判别规则对彩色抠图结果以及深度抠图结果进行融合，从而使最 后得到的抠图结果的边缘部分更符合实际情况。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一 种使用深度图辅助的主动轮廓抠图方法的系统，其包括控制器，控制器与图像 获取单元连接；所述控制器利用本发明所述的方法抠图。
本发明的系统能够对深度图进行修补，从而能够在深度图辅助的主动轮廓 与水平集方法的分割过程中得到较好的二值分割结果，即能够基于抠图方法得 到更符合实际情况的抠图结果，有效地去除实际获取到的二维图像的噪声点， 基于此到的三维重建模型更为完善。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描 述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中 将变得明显和容易理解，其中：
图1是本发明一种优选实施方式中深度图辅助的主动轮廓抠图方法的流程 图；
图2是本发明一种优选实施方式中不同方法的抠图结果的对比图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能 理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、 “相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以 是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对 于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
基于以上问题的讨论，本发明提出了一种深度图辅助的主动轮廓抠图方法， 其包括如下步骤：
S1，获取彩色目标图像的深度图，采用修补算法对深度图进行处理，获得 修补后的深度图。
S2，对修补后的深度图和目标图像进行置信计算，得到深度置信图和彩色 置信图。
S3，利用深度置信图和彩色置信图进行水平集分割，获取最终的目标轮廓， 得到所需的三分图。
S4，分别获取彩色图的抠图结果以及深度图得到的抠图结果，设置色彩差 异度来度量前景与背景的距离值，当距离值小于给定阈值T时，采用彩色抠图结 果，反之采用深度抠图结果。
深度图是一种由相机拍摄得到的距离图像，其上的每个像素点的值代表的 即是拍摄对象到相机的距离，这种距离信息能够更好地凸显具体场景的三维结 构信息。深度图的获取方式有两种，分别是被动测距传感以及主动测距传感。 被动测距主要方法为双目立体视觉，即是通过两个或是多个相机对同一场景进 行不同角度的拍摄，然后使用立体匹配算法来计算得到对应的深度图。而主动 测距则是一种需要设备发送能量到待测对象来计算距离，从而得到对应的距离 值，进而形成深度图。
在本实施方式中，可以采用主动方式或者被被动方式获得深度图，然后采 用修补算法对深度图进行处理，获得修补后的深度图。
本发明采用基于方向的联合双边滤波算法(Directional Joint BilateralFilter，DJBF)进行修补,具体公式在此不作赘述。本发明在DJBF算法的基础 上，具体处理的方法为：
S11，将深度图分为空洞区域和非空洞区域；
S12，为空洞区域内的所有未知像素设置优先级；
S13，将空洞区域内所有的空洞像素按照其优先级进行排序，填补空洞时， 根据每个待测像素的优先级顺序由大到小的顺序进行深度值计算并填补；
S14，待空洞区域中的像素填补完成后，再对深度图中存在的处于非空洞区 域的噪声进行去除，最后得到空洞修复后的图像。
具体计算优先级步骤如下：
S121，待测像素的优先级m定义为：m＝p+λ1q,λ1＞0,其中，支持度p是指 待测中心像素周围的已知邻域像素的个数，置信度q为邻域像素与中心像素之 间的相似度，λ1为置信度q所占的权重，优先级m设定一个初始阈值T；
S122，计算空洞区域内所有像素的优先级m；
S123，将所有大于T的空洞像素插入到优先级队列TSet中，并计算该队列 中各个像素的深度值；
S124，每填补完当前队列中所有空洞像素后，若所有空洞像素的深度值都 计算填补，则空洞填补完成，结束；否则对当前空洞区域的所有空洞像素重新 通过计算支持度和可信度来计算新的优先级m，并根据剩余所有空洞像素的优先 级更新阈值T，并按照新的阈值将空洞像素排列到队列中，如果队列中没有待补 像素，则将阈值降低，例如降低0.1；反之升高，例如升高0.1，返回步骤S123。
然后对修补后的深度图和目标图像进行置信计算，得到深度置信图和彩色 置信图，置信计算的方法为：
S21，初始化高斯模型其中，为高斯函数，K 为高斯模型的数量，Ic为得到的置信图，πk是每个高斯模型的权重，μk为高斯 模型的均值，是高斯模型的方差，pi为图像中的第i个像素点；
初始化令K＝2，Ic＝0，πk＝0.5，令p(pi,Gk)＝0；
S22，对图像中的每个像素点pi，计算第i个像素点对应第k个高斯模型计 算得出的值并同步更新μk和
S23，计算Sk＝∑i∈N'p(pi,Gk)，其中，N'为像素点的总个数；
S25，如果p(pi,G0)<p(pi,G1),则否则判断是否到达到最大迭 代条件，如果达到，则退出；否则返回步骤S22。
利用深度置信图和彩色置信图进行水平集分割的方法为：
将Ω定义为给定图像I上的一个二维空间，二维空间二维空间内的曲线C 为符号距离函数Φ的零水平集，即C＝{x|Φ(x)＝0},C的内部由平滑的Heaviside 函数HΦ(x)指定，而C外部的点则是由1-HΦ(x)来指定，HΦ(x)定义为：
其中，ε为距离阈值，取值为常数(例如1)，函数HΦ(x)的导数为Dirac 函数，定义为：
引入了一个函数B来代表两个点之间的关系，对于区间Ω上的两点x和y， 若点y在点x的弧度r的半径内，那么函数B值会为1，否则即为0，而 r＝dimy*dimx/16，其中dimy与dimx分别代表给定图片的高度与宽度，函数B的具 体定义如下：
定义能量泛函函数为：
Φ是一个闭合曲线，对于y点，如果y点在φ的外部则φ(y)＝-1，在内部则 φ(y)＝1，在曲线上则φ(y)＝0；
与此相对应的水平集演化的微分方程表达式为：
其中F是一种内部能量度量函数，用于保证轮廓上的每个点都遵循给定的模 型，I(y)是图像像素点的灰度值，是曲线演化时的正则因子，用 于保持演化曲线的平滑性，λ是对应的惩罚因子，对于F，其目的是使曲线内部 和外部的区别尽可能大，表达式如下：
F＝λo·(uc-vc)2+λd·(ud-vd)2，c是颜色，d是深度，
λc以及λd的值由计算出的置信图来确定，u是区域内部分的像素均值，v则是 区域外部的像素均值，
其中，C和D依次为深度置信图和彩色置信图中属于前景的值的个数，S为 给定图像区域的面积，α和β为常量，(α＝8和β＝4)
将函数F带入到演化方程中，得到对应的演化方程如下：
其中，Au以及Av分别表示局部区域的内部以及外部，其定义如下所示：
ux表示的是内部的全局平均强度，vx表达的是外部的全局平均强度，u以及v 的表达式如下所示：
选取的零水平集即是最终的目标轮廓，此时得到的分割结果是二值分割的， 在此基础上运用相关的图像处理知识即可得到所需的trimaps。
最后，分别获取彩色图的抠图结果以及深度图得到的抠图结果，设置色彩 差异度来度量前景与背景的距离值，当距离值小于给定阈值T时，采用彩色抠图 结果，反之采用深度抠图结果。
估计不透明度α，其表达式如下所示：
若用彩色图来计算的透明度，那么i值是彩色图像 中的像素点Pi，如果使用的是深度图计算透明度，i指的是深度图像中的像素 点Pi，代表未知区域，F代表前景，B代表背景，P就是像素点，设置色彩差异 度T来度量前景与背景的距离值，确定采用深度抠图结果还是换彩色抠图结果， 前景与背景的距离计算公式为：
Lf和Lb分别代表前景和背景，L代表明暗度，a代表红-绿轴，b代表黄-蓝轴，af代表前景的红-绿轴的值，ab是背景的红-绿轴的值，bf是前景的黄-蓝轴的值，bb是背景的黄-蓝轴的值；
对于图像上的任意像素点，其距离值由其八领域的均值计算得到，当其的 距离值小于给定阈值T时，就会采用彩色抠图结果，反之就会采用深度抠图结果， 判别式如下所示：
其中，I为图像，Ii为图像I的第i个点，C代表彩色抠图，Ii C是采用彩色 抠图的结果，D代表深度抠图，Ii D是采用深度抠图的结果。
本发明中具体抠图的方法可采用泊松方法，贝叶斯方法或者机器学习方法 等，在此不作赘述。
图2中示出了不同方法的分割结果，其中(a)、(b)、(c)分别是原始 彩色图、修补后深度图以及用于对比的标准图，(d)代表的是彩色分割结果， (e)是使用深度图得到的分割结果，最后的(f)是本发明深度图辅助的主动 轮廓与水平集方法得到的分割结果。
本发明还提供了一种抠图系统，其包括控制器，控制器与图像获取单元连 接；所述控制器利用本发明的方法抠图。其中，控制器还与三维重建系统连接， 控制器将抠图结构传输给三维重建系统进行三维重建。具体三维重建的方法可 采用现有技术。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示 例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述 的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。 在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。 而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例 或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解： 在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、 替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (8)
1.一种深度图辅助的主动轮廓抠图方法，其特征在于，包括如下步骤：
S1，获取彩色目标图像的深度图，采用修补算法对深度图进行处理，获得修补后的深度图；
S2，对修补后的深度图和目标图像进行置信计算，得到深度置信图和彩色置信图；
S3，利用深度置信图和彩色置信图进行水平集分割，获取最终的目标轮廓，得到所需的三分图；
S4，分别获取彩色图的抠图结果以及深度图得到的抠图结果，设置色彩差异度来度量前景与背景的距离值，当距离值小于给定阈值T时，采用彩色抠图结果，反之采用深度抠图结果。
2.根据权利要求1所述的深度图辅助的主动轮廓抠图方法，其特征在于，步骤S1中，采用修补算法对深度图进行处理的方法为：
S11，将深度图分为空洞区域和非空洞区域；
S12，为空洞区域内的所有未知像素设置优先级；
S13，将空洞区域内所有的空洞像素按照其优先级进行排序，填补空洞时，根据每个待测像素的优先级顺序由大到小的顺序进行深度值计算并填补；
S14，待空洞区域中的像素填补完成后，再对深度图中存在的处于非空洞区域的噪声进行去除，最后得到空洞修复后的图像。
3.根据权利要求2所述的深度图辅助的主动轮廓抠图方法，其特征在于，计算优先级步骤如下：
S121，待测像素的优先级m定义为：m＝p+λ1q,λ1＞0,其中，支持度p是指待测中心像素周围的已知邻域像素的个数，置信度q为邻域像素与中心像素之间的相似度，λ1为置信度q所占的权重，优先级m设定一个初始阈值T；
S122，计算空洞区域内所有像素的优先级m；
S123，将所有大于T的空洞像素插入到优先级队列TSet中，并计算该队列中各个像素的深度值；
S124，每填补完当前队列中所有空洞像素后，若所有空洞像素的深度值都计算填补，则空洞填补完成，结束；否则对当前空洞区域的所有空洞像素重新通过计算支持度和可信度来计算新的优先级m，并根据剩余所有空洞像素的优先级更新阈值T，并按照新的阈值将空洞像素排列到队列中，如果队列中没有待补像素，则将阈值降低，反之升高，返回步骤S123。
4.根据权利要求1所述的深度图辅助的主动轮廓抠图方法，其特征在于，步骤S2中置信计算的方法为：
S21，初始化高斯模型其中，为高斯函数，K为高斯模型的数量，Ic为得到的置信图，πk是每个高斯模型的权重，μk为高斯模型的均值，是高斯模型的方差，pi为图像中的第i个像素点；
初始化令K＝2，Ic＝0，πk＝0.5，令p(pi,Gk)＝0；
S22，对图像中的每个像素点pi，计算第i个像素点对应第k个高斯模型计算得出的值并同步更新μk和
S23，计算Sk＝∑i∈N'p(pi,Gk)，其中，N'为像素点的总个数；
S25，如果p(pi,G0)<p(pi,G1),则否则判断是否到达到最大迭代条件，如果达到，则退出；否则返回步骤S22。
5.根据权利要求1所述的深度图辅助的主动轮廓抠图方法，其特征在于，利用深度置信图和彩色置信图进行水平集分割的方法为：
将Ω定义为给定图像I上的一个二维空间，二维空间二维空间内的曲线C为符号距离函数Φ的零水平集，即C＝{x|Φ(x)＝0},C的内部由平滑的Heaviside函数HΦ(x)指定，而C外部的点则是由1-HΦ(x)来指定，HΦ(x)定义为：
其中，ε为距离阈值，取值为常数(例如1)，函数HΦ(x)的导数为Dirac函数，定义为：
引入了一个函数B来代表两个点之间的关系，对于区间Ω上的两点x和y，若点y在点x的弧度r的半径内，那么函数B值会为1，否则即为0，而r＝dimy*dimx/16，其中dimy与dimx分别代表给定图片的高度与宽度，函数B的具体定义如下：
定义能量泛函函数为：
Φ是一个闭合曲线，对于y点，如果y点在φ的外部则φ(y)＝-1，在内部则φ(y)＝1，在曲线上则φ(y)＝0；
与此相对应的水平集演化的微分方程表达式为：
其中F是一种内部能量度量函数，用于保证轮廓上的每个点都遵循给定的模型，I(y)是图像像素点的灰度值，是曲线演化时的正则因子，用于保持演化曲线的平滑性，λ是对应的惩罚因子，对于F，其目的是使曲线内部和外部的区别尽可能大，表达式如下：
F＝λc·(uo-vc)2+λd·(ud-vd)2，c是颜色，d是深度，
λc以及λd的值由计算出的置信图来确定，u是区域内部分的像素均值，v则是区域外部的像素均值，
其中，C和D依次为深度置信图和彩色置信图中属于前景的值的个数，S为给定图像区域的面积，α和β为常量，(α＝8和β＝4)
将函数F带入到演化方程中，得到对应的演化方程如下：
其中，Au以及Av分别表示局部区域的内部以及外部，其定义如下所示：
ux表示的是内部的全局平均强度，vx表达的是外部的全局平均强度，u以及v的表达式如下所示：
选取的零水平集即是最终的目标轮廓，此时得到的分割结果是二值分割的，在此基础上运用相关的图像处理知识即可得到所需的trimaps。
6.根据权利要求1所述的深度图辅助的主动轮廓抠图方法，其特征在于，步骤S4具体为：
估计不透明度α，其表达式如下所示：
若用彩色图来计算的透明度，那么i值是彩色图像中的像素点Pi，如果使用的是深度图计算透明度，i指的是深度图像中的像素点Pi，代表未知区域，F代表前景，B代表背景，P就是像素点，设置色彩差异度T来度量前景与背景的距离值，确定采用深度抠图结果还是换彩色抠图结果，前景与背景的距离计算公式为：
Lf和Lb分别代表前景和背景，L代表明暗度，a代表红-绿轴，b代表黄-蓝轴，af代表前景的红-绿轴的值，ab是背景的红-绿轴的值，bf是前景的黄-蓝轴的值，bb是背景的黄-蓝轴的值；
对于图像上的任意像素点，其距离值由其八领域的均值计算得到，当其的距离值小于给定阈值T时，就会采用彩色抠图结果，反之就会采用深度抠图结果，判别式如下所示：
其中，I为图像，Ii为图像I的第i个点，C代表彩色抠图，Ii C是采用彩色抠图的结果，D代表深度抠图，Ii D是采用深度抠图的结果。
7.一种使用权利要求1-6之一所述的深度图辅助的主动轮廓抠图方法的系统，其特征在于，包括控制器，控制器与图像获取单元连接；所述控制器利用权利要求1-6所述的方法抠图。
8.根据权利要求7所述的系统，其特征在于，控制器还与三维重建系统连接，控制器将抠图结构传输给三维重建系统进行三维重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910474810.3A CN110189339A (zh) | 2019-06-03 | 2019-06-03 | 深度图辅助的主动轮廓抠图方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910474810.3A CN110189339A (zh) | 2019-06-03 | 2019-06-03 | 深度图辅助的主动轮廓抠图方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110189339A true CN110189339A (zh) | 2019-08-30 |
Family
ID=67719760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910474810.3A Pending CN110189339A (zh) | 2019-06-03 | 2019-06-03 | 深度图辅助的主动轮廓抠图方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110189339A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091601A (zh) * | 2019-12-17 | 2020-05-01 | 香港中文大学深圳研究院 | 一种实时白天室外手机图像的pm2.5指数估计方法 |
| CN112241960A (zh) * | 2020-10-01 | 2021-01-19 | 深圳奥比中光科技有限公司 | 一种基于深度信息的抠图方法及系统 |
| CN112991210A (zh) * | 2021-03-12 | 2021-06-18 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和电子设备 |
| CN113344997A (zh) * | 2021-06-11 | 2021-09-03 | 山西方天圣华数字科技有限公司 | 快速获取只含有目标对象的高清前景图的方法及系统 |
| CN113781350A (zh) * | 2021-09-16 | 2021-12-10 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及存储介质 |
| WO2022001648A1 (zh) * | 2020-06-30 | 2022-01-06 | 维沃移动通信有限公司 | 图像处理方法、装置、设备及介质 |
| CN114648450A (zh) * | 2020-12-21 | 2022-06-21 | 北京的卢深视科技有限公司 | 深度图的空洞修复方法、电子设备及存储介质 |
| CN114882496A (zh) * | 2022-04-15 | 2022-08-09 | 武汉益模科技股份有限公司 | 基于深度图像的三维部件相似度计算方法 |
| CN115082699A (zh) * | 2022-07-28 | 2022-09-20 | 深圳市其域创新科技有限公司 | 一种轮廓形状提取方法、装置、电子设备及存储介质 |
| CN115880327A (zh) * | 2022-11-30 | 2023-03-31 | 珠海视熙科技有限公司 | 抠图方法、摄像设备、会议系统、电子设备、装置、介质 |
| CN116075148A (zh) * | 2023-03-14 | 2023-05-05 | 四川易景智能终端有限公司 | 一种基于人工智能的pcba板生产线智能监管系统 |
| CN117351118A (zh) * | 2023-12-04 | 2024-01-05 | 江西师范大学 | 一种结合深度信息的轻量化固定背景抠像方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596919A (zh) * | 2018-04-24 | 2018-09-28 | 重庆邮电大学 | 一种基于深度图的自动图像分割方法 |
| CN109345582A (zh) * | 2018-08-14 | 2019-02-15 | 西安电子科技大学 | 基于优化的置信传播算法和稀疏表示的深度图像获取方法 |
-
2019
- 2019-06-03 CN CN201910474810.3A patent/CN110189339A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596919A (zh) * | 2018-04-24 | 2018-09-28 | 重庆邮电大学 | 一种基于深度图的自动图像分割方法 |
| CN109345582A (zh) * | 2018-08-14 | 2019-02-15 | 西安电子科技大学 | 基于优化的置信传播算法和稀疏表示的深度图像获取方法 |
Non-Patent Citations (2)
| Title |
|---|
| JI LIU等: "《RGBD Image Matting Using Depth Assisted Active Contours》", 《2018 INTERNATIONAL CONFERENCE ON AUDIO, LANGUAGE AND IMAGE》 * |
| 刘骥等: "《深度图辅助的主动轮廓分割算法》", 《中国学术期刊（网络版）》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111091601B (zh) * | 2019-12-17 | 2023-06-23 | 香港中文大学深圳研究院 | 一种实时白天室外手机图像的pm2.5指数估计方法 |
| CN111091601A (zh) * | 2019-12-17 | 2020-05-01 | 香港中文大学深圳研究院 | 一种实时白天室外手机图像的pm2.5指数估计方法 |
| WO2022001648A1 (zh) * | 2020-06-30 | 2022-01-06 | 维沃移动通信有限公司 | 图像处理方法、装置、设备及介质 |
| CN112241960A (zh) * | 2020-10-01 | 2021-01-19 | 深圳奥比中光科技有限公司 | 一种基于深度信息的抠图方法及系统 |
| CN114648450A (zh) * | 2020-12-21 | 2022-06-21 | 北京的卢深视科技有限公司 | 深度图的空洞修复方法、电子设备及存储介质 |
| CN112991210A (zh) * | 2021-03-12 | 2021-06-18 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读存储介质和电子设备 |
| CN113344997A (zh) * | 2021-06-11 | 2021-09-03 | 山西方天圣华数字科技有限公司 | 快速获取只含有目标对象的高清前景图的方法及系统 |
| CN113781350A (zh) * | 2021-09-16 | 2021-12-10 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及存储介质 |
| CN113781350B (zh) * | 2021-09-16 | 2023-11-24 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及存储介质 |
| CN114882496A (zh) * | 2022-04-15 | 2022-08-09 | 武汉益模科技股份有限公司 | 基于深度图像的三维部件相似度计算方法 |
| CN115082699A (zh) * | 2022-07-28 | 2022-09-20 | 深圳市其域创新科技有限公司 | 一种轮廓形状提取方法、装置、电子设备及存储介质 |
| CN115082699B (zh) * | 2022-07-28 | 2022-11-04 | 深圳市其域创新科技有限公司 | 一种轮廓形状提取方法、装置、电子设备及存储介质 |
| CN115880327A (zh) * | 2022-11-30 | 2023-03-31 | 珠海视熙科技有限公司 | 抠图方法、摄像设备、会议系统、电子设备、装置、介质 |
| CN115880327B (zh) * | 2022-11-30 | 2023-10-31 | 珠海视熙科技有限公司 | 抠图方法、摄像设备、会议系统、电子设备、装置、介质 |
| CN116075148A (zh) * | 2023-03-14 | 2023-05-05 | 四川易景智能终端有限公司 | 一种基于人工智能的pcba板生产线智能监管系统 |
| CN116075148B (zh) * | 2023-03-14 | 2023-06-20 | 四川易景智能终端有限公司 | 一种基于人工智能的pcba板生产线智能监管系统 |
| CN117351118A (zh) * | 2023-12-04 | 2024-01-05 | 江西师范大学 | 一种结合深度信息的轻量化固定背景抠像方法及系统 |
| CN117351118B (zh) * | 2023-12-04 | 2024-02-23 | 江西师范大学 | 一种结合深度信息的轻量化固定背景抠像方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110189339A (zh) | 深度图辅助的主动轮廓抠图方法及系统 | |
| Zubizarreta et al. | Direct sparse mapping | |
| Wang et al. | Mvdepthnet: Real-time multiview depth estimation neural network | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| Hamzah et al. | Stereo matching algorithm based on per pixel difference adjustment, iterative guided filter and graph segmentation | |
| Kennedy et al. | Optical flow with geometric occlusion estimation and fusion of multiple frames | |
| Vaudrey et al. | Differences between stereo and motion behaviour on synthetic and real-world stereo sequences | |
| Papon et al. | Voxel cloud connectivity segmentation-supervoxels for point clouds | |
| CN104331699B (zh) | 一种三维点云平面化快速搜索比对的方法 | |
| CN110688905B (zh) | 一种基于关键帧的三维物体检测与跟踪方法 | |
| CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| CN110197505B (zh) | 基于深度网络及语义信息的遥感图像双目立体匹配方法 | |
| US9430840B1 (en) | Method and system for segmenting an image based on motion vanishing points | |
| CN111340881B (zh) | 一种动态场景下基于语义分割的直接法视觉定位方法 | |
| CN106952291B (zh) | 基于3维结构张量各向异性流驱动的场景流车流量统计与测速方法 | |
| US10249046B2 (en) | Method and apparatus for object tracking and segmentation via background tracking | |
| CN109087323A (zh) | 一种基于精细cad模型的图像车辆三维姿态估计方法 | |
| Kong et al. | A method for learning matching errors for stereo computation. | |
| CN102740096A (zh) | 一种基于时空结合的动态场景立体视频匹配方法 | |
| Zhang et al. | Robust stereo matching with surface normal prediction | |
| Yogeswaran et al. | 3d surface analysis for automated detection of deformations on automotive body panels | |
| Wang et al. | Feature based stereo matching using two-step expansion | |
| CN105590327A (zh) | 运动估计方法及装置 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| Kok et al. | A review on stereo vision algorithm: Challenges and solutions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190830 |
|
| RJ01 | Rejection of invention patent application after publication |