CN107240073A - 一种基于梯度融合与聚类的三维视频图像修复方法 - Google Patents
一种基于梯度融合与聚类的三维视频图像修复方法 Download PDFInfo
- Publication number
- CN107240073A CN107240073A CN201710333522.7A CN201710333522A CN107240073A CN 107240073 A CN107240073 A CN 107240073A CN 201710333522 A CN201710333522 A CN 201710333522A CN 107240073 A CN107240073 A CN 107240073A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mfrac
- gradient
- msub
- mover
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 8
- BATBOVZTQBLKIL-UHFFFAOYSA-N [1-(5,8-dihydroxy-1,4-dioxonaphthalen-2-yl)-4-methylpent-3-enyl] 3-methylbut-2-enoate Chemical compound C1=CC(O)=C2C(=O)C(C(OC(=O)C=C(C)C)CC=C(C)C)=CC(=O)C2=C1O BATBOVZTQBLKIL-UHFFFAOYSA-N 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000035772 mutation Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000013316 zoning Methods 0.000 claims description 3
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 description 15
- 230000008439 repair process Effects 0.000 description 12
- 239000000284 extract Substances 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000007812 deficiency Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000000205 computational method Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 231100000768 Toxicity label Toxicity 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于梯度融合与聚类的三维视频图像修复方法,其按如下步骤进行:步骤1、构建梯度图像;步骤2、利用K均值聚类获得前景标记;步骤3、提取前景及修复填充空洞。在传统的分水岭算法中,由于伪局部极小值对分割的影响,容易产生严重的过分割现象。本发明基于分水岭算法,标记提取、梯度图构建、前/背景提取等角度,提供一种基于梯度融合与聚类的三维视频图像空洞填充方法。结合彩色图和深度图的梯度信息能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征,能够有效地表达图像的梯度;采用K均值聚类对深度图进行前景标记,以抑制分水岭过分割现象。
Description
技术领域
本发明属于视频图像修复技术领域,具体一种基于梯度融合与聚类的三维视频图像修复方法。
背景技术
基于深度图像绘制(DIBR)的视图合成是三维(3D)视频中常用的重要技术。该技术的核心思想就是通过3D转换处理对参考视图的纹理图和深度图进行虚拟视图的合成。由于DIBR技术在生成的虚拟视点图像时,存在暴露区域(即空洞),严重影响了图像质量。因此,如何消除空洞的效果成为人们研究的热点。
为实现空洞的修复填充,大量的文献提出了不同的方法。一类是通过低通滤波器实现,常用的有高斯滤波器,双边滤波器等,但是这类方法主要通过平滑深度图像的梯度来减少空洞的面积,容易造成图像的结构信息的改变,引起几何扭曲。另一类方法是利用图像的纹理信息对空洞进行填充,主要利用各种图像修复技术来实,如各向同(异)性扩散、整体变分、偏微分方程(PDE)、光流场、纹理合成等方法。其中,PDE方法对平滑区域的恢复效果较好,但会模糊纹理细节。纹理合成技术则综合考虑了缺损区域边缘的结构和纹理,可以获得一个相对较好的效果,并且对于分别属于前景和背景区域的空洞,产生的原因不同,有针对性的采取不同的填充方式就能获得更好的效果。
为了从原始图像中获得可用于填充空洞的背景信息,需对图像进行分割,提取感兴趣的信息用于空洞填充。分水岭变换是近几年发展起来的形态学分割方法,它保留了传统分割方法的优点,能够准确地获得前景物体的边缘信息,为后期提供了较好的预分割图像的操作。然而,由于大多数自然彩色分布图像具有较多的细致纹理特征,若直接采用分水岭变换进行分割,将导致其局部最小值过多,对那些对比度不高的图像很可能造成重要的分割线丢失。
发明内容
本发明的目的是针对三维视频图像的空洞填充中的前景背景分割时,容易造成前景对象提取不准确而影响修复效果的不足,采用深度图的深度梯度结构信息对原有梯度图进行改进,并对深度图进行K均值聚类,获得标记图进行标记修正,提出了一种基于梯度融合与聚类的三维视频图像修复方法。
本发明解决其技术问题所采取以下技术方案:
一种基于梯度融合与聚类的三维视频图像修复方法,其针对三维视频图像的空洞填充中的前景背景分割时,容易造成前景对象提取不准确而影响修复效果的不足,本发明采用分水岭算法与标记相结合的办法,对图像进行分割;充分利用深度图像的深度梯度结构信息,采用K均值聚类对梯度图像进行标记修正,以增强对前景对象的辨别能力。具体的:结合彩色图像和深度图像的梯度提取,充分考虑彩色图像的颜色特性和融合深度图像的几何特征,引入融合梯度,有效地表达图像的梯度,更好地衡量富含结构及纹理部分区域样本块之间的特征差别;为了有效抑制分水岭过分割现象和提取图像的前/背景,采用标记图像进行梯度重构优化,较好地克服了分水岭算法的过分割现象。
与彩色图相比,由于深度图不受光源照射方向及物体表面的反射特性的影响,而且不存在阴影。所以,深度图可以更准确地表现物体目标表面的三维深度信息,故结合彩色图和深度图的梯度信息来获得融合梯度图,更好地衡量富含结构及纹理部分区域样本块之间的特征差别。由于在分水岭变换时,因为局部极小值对分割的影响,容易产生严重的过分割现象,为此,采用K均值聚类方法对深度图进行前景标记,并对融合梯度图进行修改优化。具体实现步骤如下:
步骤1、梯度图像的构建
分水岭计算方法的基本思想是把图像看作是测地学上的拓扑地貌,图像中每一像素的灰度值表示该点的海拔高度,每一个局部极小值及其影响区域称为集水盆地,而集水盆地的边界则形成分水岭。分水岭变换得到的是输入图像的集水盆图像,集水盆之间的边界点(即为分水岭)。
结合彩色梯度和深度梯度来描绘图像的结构几何信息:
梯度图像通常作为分水岭变换的直接处理对象。然而,对彩色图像的处理并不总是等于直接在颜色向量空间中的处理,分别计算图像梯度然后形成彩色图像可能得到与人眼视觉特性不一致的结果。因此,在彩色向量空间直接计算梯度比以单独的分量图像为基础计算梯度具有更高的准确度。本发明采用彩色向量空间梯度算法,直接在RGB向量空间计算梯度。设是RGB彩色空间沿R、G、B轴的单位向量,像素沿水平方向和垂直方向的彩色梯度可用向量来表述:
根据这些矢量的点积,分别定义gxx、gyy和gxy如下:
由此可得彩色图像的梯度图(简称彩色梯度图)为:
其中,变量θ的大小为:
与彩色图像相比,深度图像具有物体三维特征信息。由于深度图像不受光源照射方向及物体表面的反射特性的影响,而且不存在阴影。所以,深度图可以更准确地表现物体目标表面的三维深度信息。为了更好地衡量富含结构及纹理部分区域样本块之间的特征差别,本发明引入深度图的深度梯度信息。
对深度图进行梯度处理。令Gdepth为深度图像I的深度梯度图,其中任意像素点的梯度值为:
其中,Gx,Gy为水平方向梯度与垂直方向梯度,其大小分别利用模板Sobel算子与图像I进行卷积计算而得。结合彩色梯度图Gcolor与深度梯度图Gdepth,本发明对彩色图像的梯度图重新定义(简称融合梯度图)为:
G=αGcolor+βGdepth (9)
其中,α+β=1,在本发明中取α=0.4,β=0.6。
步骤2、利用K均值聚类获得前景标记,具体如下:
为了克服分水岭变换时,因为局部极小值对分割的影响,产生严重的过分割现象,还需进一步优化梯度图像。为此,本发明采用前景标记来解决这一问题。
前景标记是指对梯度图像中感兴趣目标的区域最小值进行标记,屏蔽去除其他最小值,以达到分割感兴趣区域的目的。为了能准确地提取标记,本发明采用K均值聚类方法对深度图进行初步提取前景,获取感兴趣的目标对象。
K均值聚类算法采用迭代式的过程对像素点分配到K类簇中,使每个像素点所在的类具有最接近的均值,具有良好的简捷性和较强的适应性。利用K均值聚类(K=2),将深度图粗糙的分为两类,白色区域为前景,黑色区域为背景。通过检测连续帧之间的前景区域的变化,对被遮挡的背景进行更新。当利用K均值聚类对第n帧的深度图像进行处理时,可获得第一个前景模板。对第n+1帧进行相同处理,获得第二个前景模板。比较第一个和第二个前景模板之间的差别,就可获得第n帧与第n+1帧之间的前景对象的移动区域,记为以此类推,用相同的方法处理第n帧与其它剩余帧之间的前景对象移动区域(j≠n),最后将获得的所有前景对象移动区域进行叠加,最终获得第n帧在整个视频序列中的前景对象移动区域(即)。在本发明中将所提取的前景对象移动区域简称为第n帧的标记图。
在获取第n帧的标记图后,对融合梯度图G进行修改优化。首先,根据标记图中的前景对象移动区域逐一找到融合梯度图G中对应的区域,并将该区域的梯度值强制标定为局部极小值,最后得到修改优化后的梯度图(简称为优化梯度图,记为G′)。利用标记图进行修改后的优化梯度图减少了融合梯度图中的前景区域的伪局部极小值的数量,从而消除由这些伪局部极小值产生的过分割现象。
步骤3、前景提取和空洞修复填充
当完成对梯度图优化后,利用分水岭变换,对优化梯度图进行分割,提取前景。令Iws分水岭变换结果,即
Iws=watershed(G′) (10)
其中,watershed(·)表示分水岭。
在此基础上,为了有效提取动态前景对象的区域,再次利用前景标记对分水岭变换后的图像Iws进行前景提取。若将分水岭变换后的图像Iws中的区域定义为Γi(i≥1),利用前景标记ΓK对区域Γi中的像素点p进行前景判断,并计算区域Γi内的前景像素点所占百分比:
然后,根据α的大小,按以下原则判断该区域是否为前景区域:当α≥0.5时,该区域为前景区域;当α<0.5时,该区域为背景区域。
由于前景的移动,会对背景产生遮挡,因此,仅利用某一帧来完成背景的提取难度较大。为此,本发明采用帧差法获取背景图,具体步骤如下:
(1)对视频序列中的每一帧进行分水岭变换,获得每一帧的前景区域和背景区域;
(2)选取其中一帧,逐一将该帧的前景区域与其他帧的前景区域进行比较,获得遮挡区域;
(3)利用其他帧的背景区域对遮挡区域进行填充,最后获得整个视频的背景图像。
利用式(11)对梯度图进行前景区域的提取,用同样的处理方法得到第n+j帧(j=1,2,…,j≠n)前景区域。然后,对这两帧的前景区域进行比较,由此得到因前景对象的移动产生的对背景的遮挡区域。该遮挡区域给出了从第n帧的前景区域转变成为第n+j帧的背景区域,故可利用第n+j帧的背景区域对该遮挡区域进行填充。用类似处理方法,利用剩余其他帧j的背景区域对第n帧的前景区域进行填充后,最后获得该视频的背景图像。
在对空洞进行修复填充时,对于分别属于前景和背景区域的空洞,由于产生的原因不同,有针对性的采取不同的填充方式就能获得更好的效果。本发明对空洞的修复填充原则是,对由前景移动产生的空洞,利用背景图像进行填充;对非前景移动产生的空洞,则利用Criminisi算法进行填充。
由于因前景移动产生的空洞主要出现前景和背景的交界处,即深度值产生大幅度跳变的区域,因此,可对深度图像中的深度值进行检测,确定出现空洞的位置,利用背景图像中的相应区域对空洞进行填充。检测深度值突变的公式如下所示:
其中,D(i,j)为点(i,j)处的深度值。对于Dmask=1,2的像素点,利用背景图像进行填充;对于Dmask=0的像素点,利用Criminisi算法进行填充。
本发明有益效果如下:
在传统的分水岭算法中,由于伪局部极小值对分割的影响,容易产生严重的过分割现象。本发明基于分水岭算法,标记提取、梯度图构建、前/背景提取等角度,提供一种基于梯度融合与聚类的三维视频图像空洞填充方法。结合彩色图和深度图的梯度信息能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征,能够有效地表达图像的梯度;采用K均值聚类对深度图进行前景标记,以抑制分水岭过分割现象。
附图说明
图1为本发明的流程图。
图2不同梯度图像的比较。
图3前景标记的获取。
图4优化前后的梯度图比较。
图5分水岭变换分割结果的比较。
图6本发明算法的背景图像的生成。
图7Ballet序列第1帧的前景区域。
图8Breakdancer序列第10帧的前景区域。
图9修复算法[2]和本发明算法所提取的背景图像的比较。
图10 Ballet序列和Breakdancer序列中被动态前景遮挡的区域(红色部分)。
图11修复算法[1]、修复算法[2]和本发明算法对空洞填充修复效果的比较。
注:在本发明实施例中,为了比较本发明算法的优越性,与下列相关修复算法进行了比较。
修复算法[1]:A.Criminisi,P.Perez and K.Toyama,"Region filling andobject removal by exemplar-based image inpainting,"in IEEE Transactions onImage Processing,vol.13,no.9,pp.1200-1212,Sept.2004.
修复算法[2]:C.Yao,T.Tillo,Y.Zhao,J.Xiao,H.Bai and C.Lin,"Depth MapDriven Hole Filling Algorithm Exploiting Temporal Correlation Information,"inIEEE Transactions on Broadcasting,vol.60,no.2,pp.394-404,June 2014.
具体实施说明
下面结合附图对本发明实施例作详细说明。
本发明基于梯度融合与聚类的三维视频图像修复方法,针对三维视频图像的空洞填充中的前景背景分割时,容易造成前景对象提取不准确而影响修复效果的不足,本发明采用分水岭算法与标记相结合的办法,对图像进行分割。首先,结合彩色图像的颜色梯度几何信息和深度图像的深度梯度结构信息获取视频图像的融合梯度图;接着,为了增强对前景对象的辨别能力,采用K均值聚类对融合梯度图进行标记修正,获得优化梯度图;然后,根据标记修正后的优化梯度图,利用分水岭变换对图像进行分割,并结合标记图提取前景;最后,根据邻帧间前景对象的移动区域获取背景图,结合背景图和Criminisi算法对空洞进行填充,获得最终的新视点图像。本发明较好地克服了原有分水岭算法在图像分割过程中易发生的过分割现象,完整提取了前景对象的纹理信息,使修复具有更好的视觉效果,证了相对较高的结构相似性(SSIM),峰值信噪比(PSNR)相比于其他修复方法提高了1~3dB。下面对本发明的优选实施例作详细说明。
在本实施例中,图1给出了本发明的流程图。
第一步:梯度图像的构建。
分水岭计算方法的基本思想是把图像看作是测地学上的拓扑地貌,图像中每一像素的灰度值表示该点的海拔高度,每一个局部极小值及其影响区域称为集水盆地,而集水盆地的边界则形成分水岭。分水岭变换得到的是输入图像的集水盆图像,集水盆之间的边界点(即为分水岭)。
梯度图像通常作为分水岭变换的直接处理对象。然而,对彩色图像的处理并不总是等于直接在颜色向量空间中的处理,分别计算图像梯度然后形成彩色图像可能得到与人眼视觉特性不一致的结果。因此,在彩色向量空间直接计算梯度比以单独的分量图像为基础计算梯度具有更高的准确度。本发明采用彩色向量空间梯度算法,直接在RGB向量空间计算梯度。设是RGB彩色空间沿R、G、B轴的单位向量,像素沿水平方向和垂直方向的彩色梯度可用向量来表述:
根据这些矢量的点积,分别定义gxx、gyy和gxy如下:
由此可得彩色图像的梯度图(简称彩色梯度图)为:
其中,变量θ的大小为:
与彩色图像相比,深度图像具有物体三维特征信息。由于深度图像不受光源照射方向及物体表面的反射特性的影响,而且不存在阴影。所以,深度图可以更准确地表现物体目标表面的三维深度信息。为了更好地衡量富含结构及纹理部分区域样本块之间的特征差别,本发明引入深度图的深度梯度信息。
对深度图进行梯度处理。令Gdepth为深度图像I的深度梯度图,其中任意像素点的梯度值为:
其中,Gx,Gy为水平方向梯度与垂直方向梯度,其大小分别利用模板Sobel算子与图像I进行卷积计算而得。结合彩色梯度图Gcolor与深度梯度图Gdepth,本发明对彩色图像的梯度图重新定义(简称融合梯度图)为:
G=αGcolor+βGdepth (9)
其中,α+β=1,在本发明中取α=0.4,β=0.6。
图2分别给出了改进前后提取彩色图像的梯度图,图2(a)是Ballet视频序列中第n帧的原始彩色图,图2(b)是该帧的深度图。从图2(c)和图(d)中可以看出,虽然在利用式(6)获取的彩色梯度图Gcolor中,较好地给出了彩色图像的细节信息,但是由于前景对象与背景的颜色相近,没有给出前景对象的边缘特征信息。而采用式(9)获得的融合梯度图G,不仅给出了彩色图像的细节信息,同时也较好地突出了前景对象。
步骤2:利用K均值聚类获得前景标记。
为了克服分水岭变换时,因为局部极小值对分割的影响,产生严重的过分割现象,还需进一步优化梯度图像。为此,本发明采用前景标记来解决这一问题。
前景标记是指对梯度图像中感兴趣目标的区域最小值进行标记,屏蔽去除其他最小值,以达到分割感兴趣区域的目的。为了能准确地提取标记,本发明采用K均值聚类方法对深度图进行初步提取前景,获取感兴趣的目标对象。
K均值聚类算法采用迭代式的过程对像素点分配到K类簇中,使每个像素点所在的类具有最接近的均值,具有良好的简捷性和较强的适应性。图3给出了采用K均值聚类算法对图2(b)深度图的分类结果。利用K均值聚类(K=2),将深度图粗糙的分为两类,白色区域为前景,黑色区域为背景。通过检测连续帧之间的前景区域的变化,对被遮挡的背景进行更新。当利用K均值聚类对第n帧的深度图像进行处理时,可获得第一个前景模板,如图3(a)所示(白色区域)。对第n+1帧进行相同处理,获得第二个前景模板,如图3(b)所示(白色区域)。比较第一个和第二个前景模板之间的差别,就可获得第n帧与第n+1帧之间的前景对象的移动区域,记为如图3(c)所示(白色区域)。以此类推,用相同的方法处理第n帧与其它剩余帧之间的前景对象移动区域(j≠n),最后将获得的所有前景对象移动区域进行叠加,最终获得第n帧在整个视频序列中的前景对象移动区域(即),如图3(d)所示(白色区域)。在本发明中将所提取的前景对象移动区域简称为第n帧的标记图。
在获取第n帧的标记图后,对融合梯度图G(如图2(d)所示)进行修改优化。首先,根据标记图中的前景对象移动区域(白色区域,说明:为了便于观察,图中改变了相应像素点的灰度级),逐一找到融合梯度图G中对应的区域,并将该区域的梯度值强制标定为局部极小值,最后得到修改优化后的梯度图(简称为优化梯度图,记为G′),如图4(b)所示。利用标记图进行修改后的优化梯度图减少了融合梯度图中的前景区域的伪局部极小值的数量,从而消除由这些伪局部极小值产生的过分割现象。
步骤3、前景提取和空洞修复填充。
当完成对梯度图优化后,利用分水岭变换,对优化梯度图进行分割,提取前景。令Iws分水岭变换结果,即
Iws=watershed(G′) (10)
其中,watershed(·)表示分水岭。图5分别给出了融合梯度图和优化梯度图进行分水岭变换后获得的图像分割效果。
在此基础上,为了有效提取动态前景对象的区域,再次利用前景标记对分水岭变换后的图像Iws进行前景提取。若将分水岭变换后的图像Iws中的区域定义为Γi(i≥1),利用前景标记ΓK对区域Γi中的像素点p进行前景判断,并计算区域Γi内的前景像素点所占百分比:
然后,根据α的大小,按以下原则判断该区域是否为前景区域:当α≥0.5时,该区域为前景区域;当α<0.5时,该区域为背景区域。
由于前景的移动,会对背景产生遮挡,因此,仅利用某一帧来完成背景的提取难度较大。为此,本发明采用帧差法获取背景图,具体步骤如下:
(1)对视频序列中的每一帧进行分水岭变换,获得每一帧的前景区域和背景区域;
(2)选取其中一帧,逐一将该帧的前景区域与其他帧的前景区域进行比较,获得遮挡区域;
(3)利用其他帧的背景区域对遮挡区域进行填充,最后获得整个视频的背景图像。
利用式(11)对梯度图进行前景区域的提取,用同样的处理方法得到第n+j帧(j=1,2,…,j≠n)前景区域。然后,对这两帧的前景区域进行比较,由此得到因前景对象的移动产生的对背景的遮挡区域。该遮挡区域给出了从第n帧的前景区域转变成为第n+j帧的背景区域,故可利用第n+j帧的背景区域对该遮挡区域进行填充。用类似处理方法,利用剩余其他帧j的背景区域对第n帧的前景区域进行填充后,最后获得该视频的背景图像。
在对空洞进行修复填充时,对于分别属于前景和背景区域的空洞,由于产生的原因不同,有针对性的采取不同的填充方式就能获得更好的效果。本发明对空洞的修复填充原则是,对由前景移动产生的空洞,利用背景图像进行填充;对非前景移动产生的空洞,则利用Criminisi算法进行填充。
由于因前景移动产生的空洞主要出现前景和背景的交界处,即深度值产生大幅度跳变的区域,因此,可对深度图像中的深度值进行检测,确定出现空洞的位置,利用背景图像中的相应区域对空洞进行填充。检测深度值突变的公式如下所示:
其中,D(i,j)为点(i,j)处的深度值。对于Dmask=1,2的像素点,利用背景图像进行填充;对于Dmask=0的像素点,利用Criminisi算法进行填充。
为了检验本发明算法的修复效果,对图像进行了模拟仿真,并与其他算法进行了对比实验。仿真实验在MATLAB环境下进行。在对图像修复效果进行评价时,除了采用主观评价外,同时也采用峰值信噪比(PSNR)和结构相似性(SSIM)进行客观评价。
图7、8分别给出了两个序列中的某一帧利用本发明算法提取的前景。图7(a)和8(a)是经过K均值聚类(K=2)后获得的前景标记,图7(b)和8(b)是利用优化梯度图进行分水岭变换得到的图像分割结果,图7(c)和8(c)是为了使分割结果可视化,将图7(b)和8(b)中的分割图像作为彩色图像进行显示,图7(d)和8(d)则为利用前景标记对分割图像进行前景提取获得前景区域。从图中可以看出,结合彩色图像和深度图像的梯度提取,能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征,有效地表达图像的梯度;利用标记图像进行梯度修改优化,能较好地抑制分水岭过分割现象和有效提取图像的前景。
图9分别给出了利用本发明算法提取的背景图像和修复算法[2]提取的背景图像。从图9(a)和9(c)中可以看出,修复算法[2]的背景图像仍存在多余的前景信息,而且也遗留了部分前景边缘,而利用本发明算法所获得的背景图像更加清晰,如图7(b)和7(d)所示,前景对象所遮挡的背景区域被还原得比较完整,且前景对象的边缘纹理也消除得比较完整。
图10给出了由前景移动产生的空洞(红色标记部分),图11给出了不同算法对该空洞修复填充的效果。从图11(a)和11(b)的修复算法[1]的空洞填充效果看,仅利用图像中相邻的像素进行填充,容易产生模糊的效果;修复算法[2]利用提取的背景图像进行空洞填充,却存在较多的前景边缘像素,如图11(c)、(d)所示。从图11(e)和11(f)可以看出,相比于前两种空洞填充修复方法,本发明算法填充修复的空洞区域被还原得比较完整,且前景对象的边缘纹理也消除得比较完整。
表1修复算法[1]、修复算法[2]和本发明算法的PSNR和SSIM的比较。
表1 PSNR和SSIM的比较结果
表1分别给出了三种算法对两个视频序列填充修复进行新视点图像合成的客观评价结果(统计平均值)。从表中数据可知,相较于其他两种空洞填充方法,本发明算法在PSNR上,有着较大改善,提高了1~3dB;在结构相似性(SSIM)上,本发明算法也与真正的视点图像有着较大的相似度。由此可以看出,对于由前景移动产生的空洞区域,本发明算法的填充修复能获得较好视觉效果,具有较高的信噪比(PSNR)和结构相似性(SSIM)。
从以上实验仿真数据可以看出,本发明能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征,能够有效地表达图像的梯度;利用优化梯度,能较好地抑制分水岭过分割现象;对于由前景移动产生的空洞区域,本发明算法的填充修复能获得较好视觉效果,保证了较高的结构相似性(SSIM),峰值信噪比(PSNR)改善了1-3dB。
以上对本发明的优选实施例及原理进行了详细说明,对本领域的普通技术人员而言,依据本发明提供的思想,在具体实施方式上会有改变之处,而这些改变也应视为本发明的保护范围。
Claims (5)
1.一种基于梯度融合与聚类的三维视频图像修复方法,其特征是按如下步骤进行:
步骤1、构建梯度图像;
步骤2、利用K均值聚类获得前景标记;
步骤3、提取前景及修复填充空洞。
2.如权利要求1所述基于梯度融合与聚类的三维视频图像修复方法,其特征是:
步骤1,采用彩色向量空间梯度算法,直接在RGB向量空间计算梯度;设是RGB彩色空间沿R、G、B轴的单位向量,像素沿水平方向和垂直方向的彩色梯度用向量来表述:
<mrow>
<mover>
<mi>&mu;</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mover>
<mi>r</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>+</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>G</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mover>
<mi>g</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>+</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>B</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mover>
<mi>z</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mover>
<mi>v</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mover>
<mi>r</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>+</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>G</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mover>
<mi>g</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>+</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>B</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mover>
<mi>b</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
根据这些矢量的点积,分别定义gxx、gyy和gxy如下:
<mrow>
<msub>
<mi>g</mi>
<mrow>
<mi>x</mi>
<mi>x</mi>
</mrow>
</msub>
<mo>=</mo>
<mover>
<mi>&mu;</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>&CenterDot;</mo>
<mover>
<mi>&mu;</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>=</mo>
<msup>
<mi>&mu;</mi>
<mi>T</mi>
</msup>
<mi>&mu;</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>G</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>B</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>g</mi>
<mrow>
<mi>y</mi>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<mover>
<mi>v</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>&CenterDot;</mo>
<mover>
<mi>v</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>=</mo>
<msup>
<mi>v</mi>
<mi>T</mi>
</msup>
<mi>v</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>G</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>B</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>|</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>g</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<mover>
<mi>&mu;</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>&CenterDot;</mo>
<mover>
<mi>v</mi>
<mo>&RightArrow;</mo>
</mover>
<mo>=</mo>
<msup>
<mi>&mu;</mi>
<mi>T</mi>
</msup>
<mi>v</mi>
<mo>=</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>R</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>G</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>G</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>B</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>x</mi>
</mrow>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<mfrac>
<mrow>
<mo>&part;</mo>
<mi>B</mi>
</mrow>
<mrow>
<mo>&part;</mo>
<mi>y</mi>
</mrow>
</mfrac>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
由此可得彩色图像的梯度图为:
<mrow>
<msub>
<mi>G</mi>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>l</mi>
<mi>o</mi>
<mi>r</mi>
</mrow>
</msub>
<mo>=</mo>
<mo>&dtri;</mo>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>&theta;</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mrow>
<mo>{</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>&lsqb;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mrow>
<mi>x</mi>
<mi>x</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>g</mi>
<mrow>
<mi>y</mi>
<mi>y</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mrow>
<mi>x</mi>
<mi>x</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>g</mi>
<mrow>
<mi>y</mi>
<mi>y</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mn>2</mn>
<mi>&theta;</mi>
<mo>+</mo>
<mn>2</mn>
<msub>
<mi>g</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mn>2</mn>
<mi>&theta;</mi>
<mo>&rsqb;</mo>
<mo>}</mo>
</mrow>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,变量θ的大小为:
<mrow>
<mi>&theta;</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mi>a</mi>
<mi>r</mi>
<mi>c</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mo>&lsqb;</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>g</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>g</mi>
<mrow>
<mi>x</mi>
<mi>x</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>g</mi>
<mrow>
<mi>y</mi>
<mi>y</mi>
</mrow>
</msub>
</mrow>
</mfrac>
<mo>&rsqb;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
对深度图进行梯度处理:
令Gdepth为深度图像I的深度梯度图,其中任意像素点的梯度值为:
<mrow>
<msub>
<mi>G</mi>
<mrow>
<mi>d</mi>
<mi>e</mi>
<mi>p</mi>
<mi>t</mi>
<mi>h</mi>
</mrow>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,Gx,Gy为水平方向梯度与垂直方向梯度,大小分别利用模板Sobel算子与图像I进行卷积计算而得;结合彩色梯度图Gcolor与深度梯度图Gdepth,对彩色图像的梯度图重新定义为:
G=αGcolor+βGdepth (9)
其中,α+β=1,取α=0.4,β=0.6。
3.如权利要求2所述基于梯度融合与聚类的三维视频图像修复方法,其特征是:
步骤2,采用K均值聚类方法对深度图进行初步提取前景,获取感兴趣的目标对象;
利用K均值聚类,K=2,将深度图粗糙的分为两类,白色区域为前景,黑色区域为背景;通过检测连续帧之间的前景区域的变化,对被遮挡的背景进行更新;当利用K均值聚类对第n帧的深度图像进行处理时,可获得第一个前景模板;对第n+1帧进行相同处理,获得第二个前景模板;比较第一个和第二个前景模板之间的差别,获得第n帧与第n+1帧之间的前景对象的移动区域,记为以此类推,用相同的方法处理第n帧与其它剩余帧之间的前景对象移动区域j≠n,最后将获得的所有前景对象移动区域进行叠加,最终获得第n帧在整个视频序列中的前景对象移动区域,即将所提取的前景对象移动区域简称为第n帧的标记图;
在获取第n帧的标记图后,对融合梯度图G进行修改优化;根据标记图中的前景对象移动区域逐一找到融合梯度图G中对应的区域,并将该区域的梯度值强制标定为局部极小值,得到修改优化后的梯度图,记为G′。
4.如权利要求3所述基于梯度融合与聚类的三维视频图像修复方法,其特征是:
步骤3,当完成对梯度图优化后,利用分水岭变换,对优化梯度图进行分割,提取前景;令Iws分水岭变换结果,即
Iws=watershed(G′) (10)
其中,watershed(·)表示分水岭;
在此基础上,再次利用前景标记对分水岭变换后的图像Iws进行前景提取;若将分水岭变换后的图像Iws中的区域定义为Γi(i≥1),利用前景标记ΓK对区域Γi中的像素点p进行前景判断,并计算区域Γi内的前景像素点所占百分比:
<mrow>
<mi>&alpha;</mi>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
<mo>&Element;</mo>
<msub>
<mi>&Gamma;</mi>
<mi>i</mi>
</msub>
<mo>&cap;</mo>
<msub>
<mi>&Gamma;</mi>
<mi>K</mi>
</msub>
</mrow>
</munder>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
</mrow>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>&Element;</mo>
<msub>
<mi>&Gamma;</mi>
<mi>i</mi>
</msub>
</mrow>
</munder>
<mi>p</mi>
</mrow>
</mfrac>
<mo>&times;</mo>
<mn>100</mn>
<mi>%</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
根据α的大小,按以下原则判断该区域是否为前景区域:当α≥0.5时,该区域为前景区域;当α<0.5时,该区域为背景区域;
获取背景图;
对空洞的修复填充原则是,对由前景移动产生的空洞,利用背景图像进行填充;对非前景移动产生的空洞,则利用Criminisi算法进行填充;
由于因前景移动产生的空洞主要出现前景和背景的交界处,即深度值产生大幅度跳变的区域,因此,对深度图像中的深度值进行检测,确定出现空洞的位置,利用背景图像中的相应区域对空洞进行填充;检测深度值突变的公式如下所示:
其中,D(i,j)为点(i,j)处的深度值;对于Dmask=1,2的像素点,利用背景图像进行填充;对于Dmask=0的像素点,利用Criminisi算法进行填充。
5.如权利要求4所述基于梯度融合与聚类的三维视频图像修复方法,其特征是:采用帧差法获取背景图,具体步骤如下:
(1)对视频序列中的每一帧进行分水岭变换,获得每一帧的前景区域和背景区域;
(2)选取其中一帧,逐一将该帧的前景区域与其他帧的前景区域进行比较,获得遮挡区域;
(3)利用其他帧的背景区域对遮挡区域进行填充,最后获得整个视频的背景图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710333522.7A CN107240073B (zh) | 2017-05-12 | 2017-05-12 | 一种基于梯度融合与聚类的三维视频图像修复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710333522.7A CN107240073B (zh) | 2017-05-12 | 2017-05-12 | 一种基于梯度融合与聚类的三维视频图像修复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107240073A true CN107240073A (zh) | 2017-10-10 |
CN107240073B CN107240073B (zh) | 2020-04-24 |
Family
ID=59985590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710333522.7A Active CN107240073B (zh) | 2017-05-12 | 2017-05-12 | 一种基于梯度融合与聚类的三维视频图像修复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107240073B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166125A (zh) * | 2018-07-06 | 2019-01-08 | 长安大学 | 一种基于多边缘融合机制的三维深度图像分割算法 |
CN109903322A (zh) * | 2019-01-24 | 2019-06-18 | 江苏大学 | 一种深度摄像头深度图像修复方法 |
CN110457990A (zh) * | 2019-06-19 | 2019-11-15 | 特斯联(北京)科技有限公司 | 一种机器学习的安防监控视频遮挡智能填补方法与系统 |
CN110532922A (zh) * | 2019-08-21 | 2019-12-03 | 成都电科慧安科技有限公司 | 一种在移动设备上进行实时分割深度图视频帧的方法 |
CN111507933A (zh) * | 2019-12-16 | 2020-08-07 | 曲阜师范大学 | 基于空洞和轮廓扩增的dibr合成图像质量评价方法 |
EP3703003A1 (en) * | 2019-02-28 | 2020-09-02 | Dolby Laboratories Licensing Corp. | Hole filling for depth image based rendering |
CN112907748A (zh) * | 2021-03-31 | 2021-06-04 | 山西大学 | 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法 |
CN114565608A (zh) * | 2022-04-26 | 2022-05-31 | 华伦医疗用品(深圳)有限公司 | 一种内窥镜Ai图像识别方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030068074A1 (en) * | 2001-10-05 | 2003-04-10 | Horst Hahn | Computer system and a method for segmentation of a digital image |
US20100119147A1 (en) * | 2005-06-17 | 2010-05-13 | Microsoft Corporation | Image segmentation |
CN104751449A (zh) * | 2015-04-28 | 2015-07-01 | 江西科技学院 | 一种基于粒子群优化的sar图像分割方法 |
CN104933694A (zh) * | 2014-03-17 | 2015-09-23 | 华为技术有限公司 | 前后景分割的方法及设备 |
-
2017
- 2017-05-12 CN CN201710333522.7A patent/CN107240073B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030068074A1 (en) * | 2001-10-05 | 2003-04-10 | Horst Hahn | Computer system and a method for segmentation of a digital image |
US20100119147A1 (en) * | 2005-06-17 | 2010-05-13 | Microsoft Corporation | Image segmentation |
CN104933694A (zh) * | 2014-03-17 | 2015-09-23 | 华为技术有限公司 | 前后景分割的方法及设备 |
CN104751449A (zh) * | 2015-04-28 | 2015-07-01 | 江西科技学院 | 一种基于粒子群优化的sar图像分割方法 |
Non-Patent Citations (2)
Title |
---|
徐蔚钦等: "结合聚类与改进分水岭算法的彩色图像分割", 《计算机系统应用》 * |
江怡: "基于改进分水岭变换的高分辨率遥感影像分割方法研究", 《中国优秀硕士学位论文全文数据库基础科学辑(月刊)》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109166125B (zh) * | 2018-07-06 | 2021-03-12 | 长安大学 | 一种基于多边缘融合机制的三维深度图像分割算法 |
CN109166125A (zh) * | 2018-07-06 | 2019-01-08 | 长安大学 | 一种基于多边缘融合机制的三维深度图像分割算法 |
CN109903322A (zh) * | 2019-01-24 | 2019-06-18 | 江苏大学 | 一种深度摄像头深度图像修复方法 |
CN109903322B (zh) * | 2019-01-24 | 2023-06-09 | 江苏大学 | 一种深度摄像头深度图像修复方法 |
US11393113B2 (en) | 2019-02-28 | 2022-07-19 | Dolby Laboratories Licensing Corporation | Hole filling for depth image based rendering |
EP3703003A1 (en) * | 2019-02-28 | 2020-09-02 | Dolby Laboratories Licensing Corp. | Hole filling for depth image based rendering |
CN110457990A (zh) * | 2019-06-19 | 2019-11-15 | 特斯联(北京)科技有限公司 | 一种机器学习的安防监控视频遮挡智能填补方法与系统 |
CN110532922A (zh) * | 2019-08-21 | 2019-12-03 | 成都电科慧安科技有限公司 | 一种在移动设备上进行实时分割深度图视频帧的方法 |
CN110532922B (zh) * | 2019-08-21 | 2023-04-14 | 成都电科慧安科技有限公司 | 一种在移动设备上进行实时分割深度图视频帧的方法 |
CN111507933A (zh) * | 2019-12-16 | 2020-08-07 | 曲阜师范大学 | 基于空洞和轮廓扩增的dibr合成图像质量评价方法 |
CN111507933B (zh) * | 2019-12-16 | 2023-08-01 | 曲阜师范大学 | 基于空洞和轮廓扩增的dibr合成图像质量评价方法 |
CN112907748A (zh) * | 2021-03-31 | 2021-06-04 | 山西大学 | 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法 |
CN112907748B (zh) * | 2021-03-31 | 2022-07-19 | 山西大学 | 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法 |
CN114565608A (zh) * | 2022-04-26 | 2022-05-31 | 华伦医疗用品(深圳)有限公司 | 一种内窥镜Ai图像识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107240073B (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107240073A (zh) | 一种基于梯度融合与聚类的三维视频图像修复方法 | |
CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
CN103927526B (zh) | 一种基于高斯差分多尺度边缘融合的车辆检测方法 | |
CN108875595A (zh) | 一种基于深度学习和多层特征融合的驾驶场景目标检测方法 | |
CN101312539B (zh) | 用于三维电视的分级图像深度提取方法 | |
CN104376535A (zh) | 一种基于样本的快速图像修复方法 | |
CN107679498A (zh) | 一种机载激光点云城区道路识别方法 | |
CN103578085B (zh) | 基于可变块的图像空洞区域修补方法 | |
CN105069808A (zh) | 基于图像分割的视频图像深度估计方法 | |
CN106485672A (zh) | 改进的块匹配修复和联合三边导向滤波图像增强方法 | |
CN104850850A (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
CN104952102B (zh) | 面向延迟着色的统一反走样方法 | |
CN109712247B (zh) | 基于混合现实技术的实景训练系统 | |
CN104751466B (zh) | 一种基于显著性的形变物体跟踪方法及其系统 | |
CN103955945B (zh) | 基于双目视差和活动轮廓的自适应彩色图像分割方法 | |
CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
CN104378619B (zh) | 一种基于前后景梯度过渡的快速高效的空洞填补算法 | |
CN106709964A (zh) | 基于梯度修正和多向纹理提取的素描画生成方法及装置 | |
CN103020970A (zh) | 玉米果穗图像籽粒分割方法 | |
CN112149495B (zh) | 一种基于视差追踪的视频关键帧提取方法 | |
CN108399403A (zh) | 一种基于车牌尺寸计算的车距检测方法 | |
CN101765019B (zh) | 一种用于运动模糊和光照变化图像的立体匹配方法 | |
CN110110682A (zh) | 遥感图像的语义立体重构方法 | |
CN105678792A (zh) | 一种人体轮廓提取方法及系统 | |
CN103826032A (zh) | 深度图后期处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |