CN107240073B - 一种基于梯度融合与聚类的三维视频图像修复方法 - Google Patents

一种基于梯度融合与聚类的三维视频图像修复方法 Download PDF

Info

Publication number
CN107240073B
CN107240073B CN201710333522.7A CN201710333522A CN107240073B CN 107240073 B CN107240073 B CN 107240073B CN 201710333522 A CN201710333522 A CN 201710333522A CN 107240073 B CN107240073 B CN 107240073B
Authority
CN
China
Prior art keywords
foreground
gradient
image
depth
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710333522.7A
Other languages
English (en)
Other versions
CN107240073A (zh
Inventor
唐向宏
来伊丽
李齐良
楼幸欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201710333522.7A priority Critical patent/CN107240073B/zh
Publication of CN107240073A publication Critical patent/CN107240073A/zh
Application granted granted Critical
Publication of CN107240073B publication Critical patent/CN107240073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于梯度融合与聚类的三维视频图像修复方法，其按如下步骤进行：步骤1、构建梯度图像；步骤2、利用K均值聚类获得前景标记；步骤3、提取前景及修复填充空洞。在传统的分水岭算法中，由于伪局部极小值对分割的影响，容易产生严重的过分割现象。本发明基于分水岭算法，标记提取、梯度图构建、前/背景提取等角度，提供一种基于梯度融合与聚类的三维视频图像空洞填充方法。结合彩色图和深度图的梯度信息能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征，能够有效地表达图像的梯度；采用K均值聚类对深度图进行前景标记，以抑制分水岭过分割现象。

Description

一种基于梯度融合与聚类的三维视频图像修复方法
技术领域
本发明属于视频图像修复技术领域，具体一种基于梯度融合与聚类的三维视频图像修复方法。
背景技术
基于深度图像绘制(DIBR)的视图合成是三维(3D)视频中常用的重要技术。该技术的核心思想就是通过3D转换处理对参考视图的纹理图和深度图进行虚拟视图的合成。由于DIBR技术在生成的虚拟视点图像时，存在暴露区域(即空洞)，严重影响了图像质量。因此，如何消除空洞的效果成为人们研究的热点。
为实现空洞的修复填充，大量的文献提出了不同的方法。一类是通过低通滤波器实现，常用的有高斯滤波器，双边滤波器等，但是这类方法主要通过平滑深度图像的梯度来减少空洞的面积，容易造成图像的结构信息的改变，引起几何扭曲。另一类方法是利用图像的纹理信息对空洞进行填充，主要利用各种图像修复技术来实，如各向同(异)性扩散、整体变分、偏微分方程(PDE)、光流场、纹理合成等方法。其中，PDE方法对平滑区域的恢复效果较好，但会模糊纹理细节。纹理合成技术则综合考虑了缺损区域边缘的结构和纹理，可以获得一个相对较好的效果，并且对于分别属于前景和背景区域的空洞，产生的原因不同，有针对性的采取不同的填充方式就能获得更好的效果。
为了从原始图像中获得可用于填充空洞的背景信息，需对图像进行分割，提取感兴趣的信息用于空洞填充。分水岭变换是近几年发展起来的形态学分割方法，它保留了传统分割方法的优点，能够准确地获得前景物体的边缘信息，为后期提供了较好的预分割图像的操作。然而，由于大多数自然彩色分布图像具有较多的细致纹理特征，若直接采用分水岭变换进行分割，将导致其局部最小值过多，对那些对比度不高的图像很可能造成重要的分割线丢失。
发明内容
本发明的目的是针对三维视频图像的空洞填充中的前景背景分割时，容易造成前景对象提取不准确而影响修复效果的不足，采用深度图的深度梯度结构信息对原有梯度图进行改进，并对深度图进行K均值聚类，获得标记图进行标记修正，提出了一种基于梯度融合与聚类的三维视频图像修复方法。
本发明解决其技术问题所采取以下技术方案：
一种基于梯度融合与聚类的三维视频图像修复方法，其针对三维视频图像的空洞填充中的前景背景分割时，容易造成前景对象提取不准确而影响修复效果的不足，本发明采用分水岭算法与标记相结合的办法，对图像进行分割；充分利用深度图像的深度梯度结构信息，采用K均值聚类对梯度图像进行标记修正，以增强对前景对象的辨别能力。具体的：结合彩色图像和深度图像的梯度提取，充分考虑彩色图像的颜色特性和融合深度图像的几何特征，引入融合梯度，有效地表达图像的梯度，更好地衡量富含结构及纹理部分区域样本块之间的特征差别；为了有效抑制分水岭过分割现象和提取图像的前/背景，采用标记图像进行梯度重构优化，较好地克服了分水岭算法的过分割现象。
与彩色图相比，由于深度图不受光源照射方向及物体表面的反射特性的影响，而且不存在阴影。所以，深度图可以更准确地表现物体目标表面的三维深度信息，故结合彩色图和深度图的梯度信息来获得融合梯度图，更好地衡量富含结构及纹理部分区域样本块之间的特征差别。由于在分水岭变换时，因为局部极小值对分割的影响，容易产生严重的过分割现象，为此，采用K均值聚类方法对深度图进行前景标记，并对融合梯度图进行修改优化。具体实现步骤如下：
步骤1、梯度图像的构建
分水岭计算方法的基本思想是把图像看作是测地学上的拓扑地貌，图像中每一像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆地，而集水盆地的边界则形成分水岭。分水岭变换得到的是输入图像的集水盆图像，集水盆之间的边界点(即为分水岭)。
结合彩色梯度和深度梯度来描绘图像的结构几何信息：
梯度图像通常作为分水岭变换的直接处理对象。然而，对彩色图像的处理并不总是等于直接在颜色向量空间中的处理，分别计算图像梯度然后形成彩色图像可能得到与人眼视觉特性不一致的结果。因此，在彩色向量空间直接计算梯度比以单独的分量图像为基础计算梯度具有更高的准确度。本发明采用彩色向量空间梯度算法，直接在RGB向量空间计算梯度。设
Figure BDA0001293181260000031
是RGB彩色空间沿R、G、B轴的单位向量，像素沿水平方向和垂直方向的彩色梯度可用向量来表述:
Figure BDA0001293181260000032
Figure BDA0001293181260000033
根据这些矢量的点积，分别定义gxx、gyy和gxy如下：
Figure BDA0001293181260000034
Figure BDA0001293181260000035
Figure BDA0001293181260000036
由此可得彩色图像的梯度图(简称彩色梯度图)为：
Figure BDA0001293181260000037
其中，变量θ的大小为：
Figure BDA0001293181260000041
与彩色图像相比，深度图像具有物体三维特征信息。由于深度图像不受光源照射方向及物体表面的反射特性的影响，而且不存在阴影。所以，深度图可以更准确地表现物体目标表面的三维深度信息。为了更好地衡量富含结构及纹理部分区域样本块之间的特征差别，本发明引入深度图的深度梯度信息。
对深度图进行梯度处理。令Gdepth为深度图像I的深度梯度图，其中任意像素点的梯度值为：
Figure BDA0001293181260000042
其中，Gx，Gy为水平方向梯度与垂直方向梯度，其大小分别利用模板Sobel算子与图像I进行卷积计算而得。结合彩色梯度图Gcolor与深度梯度图Gdepth，本发明对彩色图像的梯度图重新定义(简称融合梯度图)为：
G＝αGcolor+βGdepth (9)
其中，α+β＝1，在本发明中取α＝0.4，β＝0.6。
步骤2、利用K均值聚类获得前景标记，具体如下：
为了克服分水岭变换时，因为局部极小值对分割的影响，产生严重的过分割现象，还需进一步优化梯度图像。为此，本发明采用前景标记来解决这一问题。
前景标记是指对梯度图像中感兴趣目标的区域最小值进行标记，屏蔽去除其他最小值，以达到分割感兴趣区域的目的。为了能准确地提取标记，本发明采用K均值聚类方法对深度图进行初步提取前景，获取感兴趣的目标对象。
K均值聚类算法采用迭代式的过程对像素点分配到K类簇中，使每个像素点所在的类具有最接近的均值，具有良好的简捷性和较强的适应性。利用K均值聚类(K＝2)，将深度图粗糙的分为两类，白色区域为前景，黑色区域为背景。通过检测连续帧之间的前景区域的变化，对被遮挡的背景进行更新。当利用K均值聚类对第n帧的深度图像进行处理时，可获得第一个前景模板。对第n+1帧进行相同处理，获得第二个前景模板。比较第一个和第二个前景模板之间的差别，就可获得第n帧与第n+1帧之间的前景对象的移动区域，记为
Figure BDA0001293181260000051
以此类推，用相同的方法处理第n帧与其它剩余帧之间的前景对象移动区域
Figure BDA0001293181260000052
(j≠n)，最后将获得的所有前景对象移动区域
Figure BDA0001293181260000053
进行叠加，最终获得第n帧在整个视频序列中的前景对象移动区域(即
Figure BDA0001293181260000054
)。在本发明中将所提取的前景对象移动区域
Figure BDA0001293181260000055
简称为第n帧的标记图。
在获取第n帧的标记图后，对融合梯度图G进行修改优化。首先，根据标记图中的前景对象移动区域
Figure BDA0001293181260000056
逐一找到融合梯度图G中对应的区域，并将该区域的梯度值强制标定为局部极小值，最后得到修改优化后的梯度图(简称为优化梯度图，记为G′)。利用标记图进行修改后的优化梯度图减少了融合梯度图中的前景区域的伪局部极小值的数量，从而消除由这些伪局部极小值产生的过分割现象。
步骤3、前景提取和空洞修复填充
当完成对梯度图优化后，利用分水岭变换，对优化梯度图进行分割，提取前景。令Iws分水岭变换结果，即
Iws＝watershed(G′) (10)
其中，watershed(·)表示分水岭。
在此基础上，为了有效提取动态前景对象的区域，再次利用前景标记对分水岭变换后的图像Iws进行前景提取。若将分水岭变换后的图像Iws中的区域定义为Γi(i≥1)，利用前景标记ΓK对区域Γi中的像素点p进行前景判断，并计算区域Γi内的前景像素点
Figure BDA0001293181260000058
所占百分比：
Figure BDA0001293181260000059
然后，根据α的大小，按以下原则判断该区域是否为前景区域：当α≥0.5时，该区域为前景区域；当α<0.5时，该区域为背景区域。
由于前景的移动，会对背景产生遮挡，因此，仅利用某一帧来完成背景的提取难度较大。为此，本发明采用帧差法获取背景图，具体步骤如下：
(1)对视频序列中的每一帧进行分水岭变换，获得每一帧的前景区域和背景区域；
(2)选取其中一帧，逐一将该帧的前景区域与其他帧的前景区域进行比较，获得遮挡区域；
(3)利用其他帧的背景区域对遮挡区域进行填充，最后获得整个视频的背景图像。
利用式(11)对梯度图进行前景区域的提取，用同样的处理方法得到第n+j帧(j＝1,2,…,j≠n)前景区域。然后，对这两帧的前景区域进行比较，由此得到因前景对象的移动产生的对背景的遮挡区域。该遮挡区域给出了从第n帧的前景区域转变成为第n+j帧的背景区域，故可利用第n+j帧的背景区域对该遮挡区域进行填充。用类似处理方法，利用剩余其他帧j的背景区域对第n帧的前景区域进行填充后，最后获得该视频的背景图像。
在对空洞进行修复填充时，对于分别属于前景和背景区域的空洞，由于产生的原因不同，有针对性的采取不同的填充方式就能获得更好的效果。本发明对空洞的修复填充原则是，对由前景移动产生的空洞，利用背景图像进行填充；对非前景移动产生的空洞，则利用Criminisi算法进行填充。
由于因前景移动产生的空洞主要出现前景和背景的交界处，即深度值产生大幅度跳变的区域，因此，可对深度图像中的深度值进行检测，确定出现空洞的位置，利用背景图像中的相应区域对空洞进行填充。检测深度值突变的公式如下所示：
Figure BDA0001293181260000061
其中，D(i,j)为点(i,j)处的深度值。对于Dmask＝1,2的像素点，利用背景图像进行填充；对于Dmask＝0的像素点，利用Criminisi算法进行填充。
本发明有益效果如下：
在传统的分水岭算法中，由于伪局部极小值对分割的影响，容易产生严重的过分割现象。本发明基于分水岭算法，标记提取、梯度图构建、前/背景提取等角度，提供一种基于梯度融合与聚类的三维视频图像空洞填充方法。结合彩色图和深度图的梯度信息能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征，能够有效地表达图像的梯度；采用K均值聚类对深度图进行前景标记，以抑制分水岭过分割现象。
附图说明
图1为本发明的流程图。
图2不同梯度图像的比较。
图3前景标记的获取。
图4优化前后的梯度图比较。
图5分水岭变换分割结果的比较。
图6本发明算法的背景图像的生成。
图7Ballet序列第1帧的前景区域。
图8Breakdancer序列第10帧的前景区域。
图9修复算法[2]和本发明算法所提取的背景图像的比较。
图10Ballet序列和Breakdancer序列中被动态前景遮挡的区域(红色部分)。
图11修复算法[1]、修复算法[2]和本发明算法对空洞填充修复效果的比较。
注：在本发明实施例中，为了比较本发明算法的优越性，与下列相关修复算法进行了比较。
修复算法[1]：A.Criminisi,P.Perez and K.Toyama,"Region filling andobject removal by exemplar-based image inpainting,"in IEEE Transactions onImage Processing,vol.13,no.9,pp.1200-1212,Sept.2004.
修复算法[2]：C.Yao,T.Tillo,Y.Zhao,J.Xiao,H.Bai and C.Lin,"Depth MapDriven Hole Filling Algorithm Exploiting Temporal Correlation Information,"inIEEE Transactions on Broadcasting,vol.60,no.2,pp.394-404,June 2014.
具体实施说明
下面结合附图对本发明实施例作详细说明。
本发明基于梯度融合与聚类的三维视频图像修复方法，针对三维视频图像的空洞填充中的前景背景分割时，容易造成前景对象提取不准确而影响修复效果的不足，本发明采用分水岭算法与标记相结合的办法，对图像进行分割。首先，结合彩色图像的颜色梯度几何信息和深度图像的深度梯度结构信息获取视频图像的融合梯度图；接着，为了增强对前景对象的辨别能力，采用K均值聚类对融合梯度图进行标记修正，获得优化梯度图；然后，根据标记修正后的优化梯度图，利用分水岭变换对图像进行分割，并结合标记图提取前景；最后，根据邻帧间前景对象的移动区域获取背景图，结合背景图和Criminisi算法对空洞进行填充，获得最终的新视点图像。本发明较好地克服了原有分水岭算法在图像分割过程中易发生的过分割现象，完整提取了前景对象的纹理信息，使修复具有更好的视觉效果，证了相对较高的结构相似性(SSIM)，峰值信噪比(PSNR)相比于其他修复方法提高了1～3dB。下面对本发明的优选实施例作详细说明。
在本实施例中，图1给出了本发明的流程图。
第一步：梯度图像的构建。
分水岭计算方法的基本思想是把图像看作是测地学上的拓扑地貌，图像中每一像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆地，而集水盆地的边界则形成分水岭。分水岭变换得到的是输入图像的集水盆图像，集水盆之间的边界点(即为分水岭)。
梯度图像通常作为分水岭变换的直接处理对象。然而，对彩色图像的处理并不总是等于直接在颜色向量空间中的处理，分别计算图像梯度然后形成彩色图像可能得到与人眼视觉特性不一致的结果。因此，在彩色向量空间直接计算梯度比以单独的分量图像为基础计算梯度具有更高的准确度。本发明采用彩色向量空间梯度算法，直接在RGB向量空间计算梯度。设
Figure BDA0001293181260000091
是RGB彩色空间沿R、G、B轴的单位向量，像素沿水平方向和垂直方向的彩色梯度可用向量来表述:
Figure BDA0001293181260000092
Figure BDA0001293181260000093
根据这些矢量的点积，分别定义gxx、gyy和gxy如下：
Figure BDA0001293181260000094
Figure BDA0001293181260000095
Figure BDA0001293181260000096
由此可得彩色图像的梯度图(简称彩色梯度图)为：
Figure BDA0001293181260000097
其中，变量θ的大小为：
Figure BDA0001293181260000098
与彩色图像相比，深度图像具有物体三维特征信息。由于深度图像不受光源照射方向及物体表面的反射特性的影响，而且不存在阴影。所以，深度图可以更准确地表现物体目标表面的三维深度信息。为了更好地衡量富含结构及纹理部分区域样本块之间的特征差别，本发明引入深度图的深度梯度信息。
对深度图进行梯度处理。令Gdepth为深度图像I的深度梯度图，其中任意像素点的梯度值为：
Figure BDA0001293181260000101
其中，Gx，Gy为水平方向梯度与垂直方向梯度，其大小分别利用模板Sobel算子与图像I进行卷积计算而得。结合彩色梯度图Gcolor与深度梯度图Gdepth，本发明对彩色图像的梯度图重新定义(简称融合梯度图)为：
G＝αGcolor+βGdepth (9)
其中，α+β＝1，在本发明中取α＝0.4，β＝0.6。
图2分别给出了改进前后提取彩色图像的梯度图，图2(a)是Ballet视频序列中第n帧的原始彩色图，图2(b)是该帧的深度图。从图2(c)和图(d)中可以看出，虽然在利用式(6)获取的彩色梯度图Gcolor中，较好地给出了彩色图像的细节信息，但是由于前景对象与背景的颜色相近，没有给出前景对象的边缘特征信息。而采用式(9)获得的融合梯度图G，不仅给出了彩色图像的细节信息，同时也较好地突出了前景对象。
步骤2：利用K均值聚类获得前景标记。
为了克服分水岭变换时，因为局部极小值对分割的影响，产生严重的过分割现象，还需进一步优化梯度图像。为此，本发明采用前景标记来解决这一问题。
前景标记是指对梯度图像中感兴趣目标的区域最小值进行标记，屏蔽去除其他最小值，以达到分割感兴趣区域的目的。为了能准确地提取标记，本发明采用K均值聚类方法对深度图进行初步提取前景，获取感兴趣的目标对象。
K均值聚类算法采用迭代式的过程对像素点分配到K类簇中，使每个像素点所在的类具有最接近的均值，具有良好的简捷性和较强的适应性。图3给出了采用K均值聚类算法对图2(b)深度图的分类结果。利用K均值聚类(K＝2)，将深度图粗糙的分为两类，白色区域为前景，黑色区域为背景。通过检测连续帧之间的前景区域的变化，对被遮挡的背景进行更新。当利用K均值聚类对第n帧的深度图像进行处理时，可获得第一个前景模板，如图3(a)所示(白色区域)。对第n+1帧进行相同处理，获得第二个前景模板，如图3(b)所示(白色区域)。比较第一个和第二个前景模板之间的差别，就可获得第n帧与第n+1帧之间的前景对象的移动区域，记为
Figure BDA0001293181260000111
如图3(c)所示(白色区域)。以此类推，用相同的方法处理第n帧与其它剩余帧之间的前景对象移动区域
Figure BDA0001293181260000112
(j≠n)，最后将获得的所有前景对象移动区域
Figure BDA0001293181260000113
进行叠加，最终获得第n帧在整个视频序列中的前景对象移动区域(即
Figure BDA0001293181260000114
)，如图3(d)所示(白色区域)。在本发明中将所提取的前景对象移动区域
Figure BDA0001293181260000115
简称为第n帧的标记图。
在获取第n帧的标记图后，对融合梯度图G(如图2(d)所示)进行修改优化。首先，根据标记图中的前景对象移动区域
Figure BDA0001293181260000116
(白色区域，说明：为了便于观察，图中改变了相应像素点的灰度级)，逐一找到融合梯度图G中对应的区域，并将该区域的梯度值强制标定为局部极小值，最后得到修改优化后的梯度图(简称为优化梯度图，记为G′)，如图4(b)所示。利用标记图进行修改后的优化梯度图减少了融合梯度图中的前景区域的伪局部极小值的数量，从而消除由这些伪局部极小值产生的过分割现象。
步骤3、前景提取和空洞修复填充。
当完成对梯度图优化后，利用分水岭变换，对优化梯度图进行分割，提取前景。令Iws分水岭变换结果，即
Iws＝watershed(G′) (10)
其中，watershed(·)表示分水岭。图5分别给出了融合梯度图和优化梯度图进行分水岭变换后获得的图像分割效果。
在此基础上，为了有效提取动态前景对象的区域，再次利用前景标记
Figure BDA0001293181260000121
对分水岭变换后的图像Iws进行前景提取。若将分水岭变换后的图像Iws中的区域定义为Γi(i≥1)，利用前景标记ΓK对区域Γi中的像素点p进行前景判断，并计算区域Γi内的前景像素点
Figure BDA0001293181260000122
所占百分比：
Figure BDA0001293181260000123
然后，根据α的大小，按以下原则判断该区域是否为前景区域：当α≥0.5时，该区域为前景区域；当α<0.5时，该区域为背景区域。
由于前景的移动，会对背景产生遮挡，因此，仅利用某一帧来完成背景的提取难度较大。为此，本发明采用帧差法获取背景图，具体步骤如下：
(1)对视频序列中的每一帧进行分水岭变换，获得每一帧的前景区域和背景区域；
(2)选取其中一帧，逐一将该帧的前景区域与其他帧的前景区域进行比较，获得遮挡区域；
(3)利用其他帧的背景区域对遮挡区域进行填充，最后获得整个视频的背景图像。
利用式(11)对梯度图进行前景区域的提取，用同样的处理方法得到第n+j帧(j＝1,2,…,j≠n)前景区域。然后，对这两帧的前景区域进行比较，由此得到因前景对象的移动产生的对背景的遮挡区域。该遮挡区域给出了从第n帧的前景区域转变成为第n+j帧的背景区域，故可利用第n+j帧的背景区域对该遮挡区域进行填充。用类似处理方法，利用剩余其他帧j的背景区域对第n帧的前景区域进行填充后，最后获得该视频的背景图像。
在对空洞进行修复填充时，对于分别属于前景和背景区域的空洞，由于产生的原因不同，有针对性的采取不同的填充方式就能获得更好的效果。本发明对空洞的修复填充原则是，对由前景移动产生的空洞，利用背景图像进行填充；对非前景移动产生的空洞，则利用Criminisi算法进行填充。
由于因前景移动产生的空洞主要出现前景和背景的交界处，即深度值产生大幅度跳变的区域，因此，可对深度图像中的深度值进行检测，确定出现空洞的位置，利用背景图像中的相应区域对空洞进行填充。检测深度值突变的公式如下所示：
Figure BDA0001293181260000131
其中，D(i,j)为点(i,j)处的深度值。对于Dmask＝1,2的像素点，利用背景图像进行填充；对于Dmask＝0的像素点，利用Criminisi算法进行填充。
为了检验本发明算法的修复效果，对图像进行了模拟仿真，并与其他算法进行了对比实验。仿真实验在MATLAB环境下进行。在对图像修复效果进行评价时，除了采用主观评价外，同时也采用峰值信噪比(PSNR)和结构相似性(SSIM)进行客观评价。
图7、8分别给出了两个序列中的某一帧利用本发明算法提取的前景。图7(a)和8(a)是经过K均值聚类(K＝2)后获得的前景标记，图7(b)和8(b)是利用优化梯度图进行分水岭变换得到的图像分割结果，图7(c)和8(c)是为了使分割结果可视化，将图7(b)和8(b)中的分割图像作为彩色图像进行显示，图7(d)和8(d)则为利用前景标记对分割图像进行前景提取获得前景区域。从图中可以看出，结合彩色图像和深度图像的梯度提取，能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征，有效地表达图像的梯度；利用标记图像进行梯度修改优化，能较好地抑制分水岭过分割现象和有效提取图像的前景。
图9分别给出了利用本发明算法提取的背景图像和修复算法[2]提取的背景图像。从图9(a)和9(c)中可以看出，修复算法[2]的背景图像仍存在多余的前景信息，而且也遗留了部分前景边缘，而利用本发明算法所获得的背景图像更加清晰，如图7(b)和7(d)所示，前景对象所遮挡的背景区域被还原得比较完整，且前景对象的边缘纹理也消除得比较完整。
图10给出了由前景移动产生的空洞(红色标记部分)，图11给出了不同算法对该空洞修复填充的效果。从图11(a)和11(b)的修复算法[1]的空洞填充效果看，仅利用图像中相邻的像素进行填充，容易产生模糊的效果；修复算法[2]利用提取的背景图像进行空洞填充，却存在较多的前景边缘像素，如图11(c)、(d)所示。从图11(e)和11(f)可以看出，相比于前两种空洞填充修复方法，本发明算法填充修复的空洞区域被还原得比较完整，且前景对象的边缘纹理也消除得比较完整。
表1修复算法[1]、修复算法[2]和本发明算法的PSNR和SSIM的比较。
表1 PSNR和SSIM的比较结果
Figure BDA0001293181260000141
表1分别给出了三种算法对两个视频序列填充修复进行新视点图像合成的客观评价结果(统计平均值)。从表中数据可知，相较于其他两种空洞填充方法，本发明算法在PSNR上，有着较大改善，提高了1～3dB；在结构相似性(SSIM)上，本发明算法也与真正的视点图像有着较大的相似度。由此可以看出，对于由前景移动产生的空洞区域，本发明算法的填充修复能获得较好视觉效果，具有较高的信噪比(PSNR)和结构相似性(SSIM)。
从以上实验仿真数据可以看出，本发明能较好地考虑彩色图像的颜色特性和融合深度图像的几何特征，能够有效地表达图像的梯度；利用优化梯度，能较好地抑制分水岭过分割现象；对于由前景移动产生的空洞区域，本发明算法的填充修复能获得较好视觉效果，保证了较高的结构相似性(SSIM)，峰值信噪比(PSNR)改善了1-3dB。
以上对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (3)

1.一种基于梯度融合与聚类的三维视频图像修复方法，其特征是按如下步骤进行：
步骤1、构建梯度图像；
步骤2、利用K均值聚类获得前景标记；
步骤3、提取前景及修复填充空洞；
步骤1，采用彩色向量空间梯度算法，直接在RGB向量空间计算梯度；设
Figure FDA0002400971830000011
是RGB彩色空间沿R、G、B轴的单位向量，像素沿水平方向和垂直方向的彩色梯度用向量来表述：
Figure FDA0002400971830000012
Figure FDA0002400971830000013
根据这些矢量的点积，分别定义gxx、gyy和gxy如下：
Figure FDA0002400971830000014
Figure FDA0002400971830000015
Figure FDA0002400971830000016
由此可得彩色图像的梯度图为：
Figure FDA0002400971830000017
其中，变量θ的大小为：
Figure FDA0002400971830000018
对深度图进行梯度处理：
令Gdepth为深度图像I的深度梯度图，其中任意像素点的梯度值为：
Figure FDA0002400971830000021
其中，Gx，Gy为水平方向梯度与垂直方向梯度，大小分别利用模板Sobel算子与图像I进行卷积计算而得；结合彩色梯度图Gcolor与深度梯度图Gdepth，对彩色图像的梯度图重新定义为：
G＝αGcolor+βGdepth (9)
其中，α+β＝1，取α＝0.4，β＝0.6；
步骤2，采用K均值聚类方法对深度图进行初步提取前景，获取感兴趣的目标对象；
利用K均值聚类，K＝2，将深度图粗糙的分为两类，白色区域为前景，黑色区域为背景；通过检测连续帧之间的前景区域的变化，对被遮挡的背景进行更新；当利用K均值聚类对第n帧的深度图像进行处理时，可获得第一个前景模板；对第n+1帧进行相同处理，获得第二个前景模板；比较第一个和第二个前景模板之间的差别，获得第n帧与第n+1帧之间的前景对象的移动区域，记为
Figure FDA0002400971830000022
以此类推，用相同的方法处理第n帧与其它剩余帧之间的前景对象移动区域
Figure FDA0002400971830000023
最后将获得的所有前景对象移动区域
Figure FDA0002400971830000024
进行叠加，最终获得第n帧在整个视频序列中的前景对象移动区域，即
Figure FDA0002400971830000025
将所提取的前景对象移动区域
Figure FDA0002400971830000026
简称为第n帧的标记图；
在获取第n帧的标记图后，对融合梯度图G进行修改优化；根据标记图中的前景对象移动区域
Figure FDA0002400971830000027
逐一找到融合梯度图G中对应的区域，并将该区域的梯度值强制标定为局部极小值，得到修改优化后的梯度图，记为G′。
2.如权利要求1所述基于梯度融合与聚类的三维视频图像修复方法，其特征是：
步骤3，当完成对梯度图优化后，利用分水岭变换，对优化梯度图进行分割，提取前景；令Iws分水岭变换结果，即
Iws＝watershed(G′) (10)
其中，watershed(·)表示分水岭；
在此基础上，再次利用前景标记
Figure FDA0002400971830000031
对分水岭变换后的图像Iws进行前景提取；若将分水岭变换后的图像Iws中的区域定义为Γi(i≥1)，利用前景标记ΓK对区域Γi中的像素点p进行前景判断，并计算区域Γi内的前景像素点
Figure FDA0002400971830000032
所占百分比：
Figure FDA0002400971830000033
根据α的大小，按以下原则判断该区域是否为前景区域：当α≥0.5时，该区域为前景区域；当α＜0.5时，该区域为背景区域；
获取背景图；
对空洞的修复填充原则是，对由前景移动产生的空洞，利用背景图像进行填充；对非前景移动产生的空洞，则利用Criminisi算法进行填充；
由于因前景移动产生的空洞主要出现前景和背景的交界处，即深度值产生大幅度跳变的区域，因此，对深度图像中的深度值进行检测，确定出现空洞的位置，利用背景图像中的相应区域对空洞进行填充；检测深度值突变的公式如下所示：
Figure FDA0002400971830000034
其中，D(i’,j’)为点(i’,j’)处的深度值；对于Dmask＝1,2的像素点，利用背景图像进行填充；对于Dmask＝0的像素点，利用Criminisi算法进行填充。
3.如权利要求2所述基于梯度融合与聚类的三维视频图像修复方法，其特征是：采用帧差法获取背景图，具体步骤如下：
(1)对视频序列中的每一帧进行分水岭变换，获得每一帧的前景区域和背景区域；
(2)选取其中一帧，逐一将该帧的前景区域与其他帧的前景区域进行比较，获得遮挡区域；
(3)利用其他帧的背景区域对遮挡区域进行填充，最后获得整个视频的背景图像。
CN201710333522.7A 2017-05-12 2017-05-12 一种基于梯度融合与聚类的三维视频图像修复方法 Active CN107240073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710333522.7A CN107240073B (zh) 2017-05-12 2017-05-12 一种基于梯度融合与聚类的三维视频图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710333522.7A CN107240073B (zh) 2017-05-12 2017-05-12 一种基于梯度融合与聚类的三维视频图像修复方法

Publications (2)

Publication Number Publication Date
CN107240073A CN107240073A (zh) 2017-10-10
CN107240073B true CN107240073B (zh) 2020-04-24

Family

ID=59985590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710333522.7A Active CN107240073B (zh) 2017-05-12 2017-05-12 一种基于梯度融合与聚类的三维视频图像修复方法

Country Status (1)

Country Link
CN (1) CN107240073B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166125B (zh) * 2018-07-06 2021-03-12 长安大学 一种基于多边缘融合机制的三维深度图像分割算法
CN109903322B (zh) * 2019-01-24 2023-06-09 江苏大学 一种深度摄像头深度图像修复方法
US11393113B2 (en) 2019-02-28 2022-07-19 Dolby Laboratories Licensing Corporation Hole filling for depth image based rendering
CN110457990B (zh) * 2019-06-19 2020-06-12 特斯联（北京）科技有限公司 一种机器学习的安防监控视频遮挡智能填补方法与系统
CN110532922B (zh) * 2019-08-21 2023-04-14 成都电科慧安科技有限公司 一种在移动设备上进行实时分割深度图视频帧的方法
CN111507933B (zh) * 2019-12-16 2023-08-01 曲阜师范大学 基于空洞和轮廓扩增的dibr合成图像质量评价方法
CN112907748B (zh) * 2021-03-31 2022-07-19 山西大学 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法
CN114565608A (zh) * 2022-04-26 2022-05-31 华伦医疗用品(深圳)有限公司 一种内窥镜Ai图像识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751449A (zh) * 2015-04-28 2015-07-01 江西科技学院 一种基于粒子群优化的sar图像分割方法
CN104933694A (zh) * 2014-03-17 2015-09-23 华为技术有限公司 前后景分割的方法及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985612B2 (en) * 2001-10-05 2006-01-10 Mevis - Centrum Fur Medizinische Diagnosesysteme Und Visualisierung Gmbh Computer system and a method for segmentation of a digital image
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933694A (zh) * 2014-03-17 2015-09-23 华为技术有限公司 前后景分割的方法及设备
CN104751449A (zh) * 2015-04-28 2015-07-01 江西科技学院 一种基于粒子群优化的sar图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于改进分水岭变换的高分辨率遥感影像分割方法研究;江怡;《中国优秀硕士学位论文全文数据库基础科学辑（月刊）》;20140515;第29-41页 *
结合聚类与改进分水岭算法的彩色图像分割;徐蔚钦等;《计算机系统应用》;20110715;第20卷(第7期);第54-56页 *

Also Published As

Publication number Publication date
CN107240073A (zh) 2017-10-10

Similar Documents

Publication Publication Date Title
CN107240073B (zh) 一种基于梯度融合与聚类的三维视频图像修复方法
CN109636732B (zh) 一种深度图像的空洞修复方法以及图像处理装置
CN109712067B (zh) 一种基于深度图像的虚拟视点绘制方法
CN107481261B (zh) 一种基于深度前景跟踪的彩色视频抠图方法
US20180300937A1 (en) System and a method of restoring an occluded background region
CN107622480B (zh) 一种Kinect深度图像增强方法
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
KR20080040639A (ko) 비디오 객체 컷 앤 페이스트
US10249046B2 (en) Method and apparatus for object tracking and segmentation via background tracking
Mohanapriya et al. Adaptive Image Enhancement Using Hybrid Particle Swarm Optimization and Watershed Segmentation.
CN111242855B (zh) 基于rgb-d的ssim结构相似度的迭代深度图结构修复方法
CN104378619B (zh) 一种基于前后景梯度过渡的快速高效的空洞填补算法
Sharma et al. A flexible architecture for multi-view 3DTV based on uncalibrated cameras
Wu et al. Contrast enhancement of multiple tissues in MR brain images with reversibility
CN105335960A (zh) 结合边缘检测和分水岭算法的图像分割方法
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
Chen et al. The adaptive fractional order differential model for image enhancement based on segmentation
CN108805841B (zh) 一种基于彩色图引导的深度图恢复及视点合成优化方法
Shen et al. Depth map enhancement method based on joint bilateral filter
CN112365516A (zh) 一种增强现实中虚实遮挡处理方法
Luo et al. Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering
Song et al. Building extraction from high resolution color imagery based on edge flow driven active contour and JSEG
Fan et al. Collaborative three-dimensional completion of color and depth in a specified area with superpixels
CN111507933B (zh) 基于空洞和轮廓扩增的dibr合成图像质量评价方法
Grossauer Inpainting of movies using optical flow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant