CN104240275A - 图像修补方法和装置 - Google Patents

Abstract

本发明提供一种图像修补方法和装置，所述方法包括如下步骤：获取目标图像的空洞区域；提取所述空洞区域的边界纹理块；根据纹理信息和深度信息搜索与所述边界纹理块最匹配的无损纹理块；根据所述无损纹理块中的像素对所述边界纹理块中对应位置的像素进行修补。上述图像修补方法和装置，同时根据纹理信息和深度信息查找用于修补的参考像素，可以提高参考像素的准确性，从而提高对空洞区域进行填补的准确性，从而使2维图像转3维图像过程中输出的3D图像更加平滑自然。

Description

图像修补方法和装置

技术领域

本发明涉及数字图像处理技术，特别是涉及一种图像修补方法和装置。

背景技术

对2D图像转3D图像过程中产生的目标图像，通常使用的滤波器平滑等处理，虽然能够对空洞区域进行填补，但是由于缺乏对纹理信息的判断，导致采用空洞周围错误的像素点进行填补，图像修补不准确，产生质量较差的图像。

发明内容

基于此，有必要针对传统图像修补技术不够准确的问题，提供一种能够提高准确性的图像修补方法。

此外，还有必要针对传统图像修补技术不够准确的问题，提供一种能够提高准确性的图像修补装置。

一种图像修补方法，包括如下步骤：获取目标图像的空洞区域；提取所述空洞区域的边界纹理块；根据纹理信息和深度信息搜索与所述边界纹理块最匹配的无损纹理块；根据所述无损纹理块中的像素对所述边界纹理块中对应位置的像素进行修补。

在其中一个实施例中，所述提取所述空洞区域的边界纹理块的步骤包括：对空洞区域的边界纹理块分配优先级；根据所述优先级从高到低提取边界纹理块。

在其中一个实施例中，所述根据纹理信息和深度信息搜索与所述边界纹理块最匹配的无损纹理块的步骤包括：搜索与所述边界纹理块中的无损点区域纹理相似的无损纹理块；筛选出平均深度值大于无损点区域的平均深度值的一个无损纹理块，作为最匹配的无损纹理块。

在其中一个实施例中，所述根据纹理信息和深度信息搜索与所述边界纹理块最匹配的无损纹理块的步骤包括：获取所述边界纹理块与无损纹理块之间的差异系数d(A,B)＝SAD(A,B)+Lambda*ABS(AVG(Σdepth(a))-AVG(Σdepth(b)))，其中A为边界纹理块中的像素点集合，B为无损点纹理块中的像素点集合，SAD表示计算A与B之间的绝对差之和，a为A中的无损点，b为无损纹理块B中的无损点，a与b的位置相对应的相同，depth()表示像素点的深度值，Lambda为乘法因子；获取差异系数最小的无损纹理块作为与所述边界纹理块最匹配的无损纹理块。

在其中一个实施例中，所述乘法因子Lambda为：当满足表达式AVG((c))≤AVG((b))时，取值为LambdaB，而当满足表达式AVG((c))＞AVG((b))时，取值为LambdaF，其中LambdaB＜LambdaF，c为A的受损点。

一种图像修补装置，其特征在于，包括：获取模块，用于获取目标图像的空洞区域；提取模块，用于提取所述空洞区域的边界纹理块；搜索模块，用于根据纹理信息和深度信息搜索与所述边界纹理块最匹配的无损纹理块；修补模块，用于根据所述无损纹理块中的像素对所述边界纹理块中对应位置的像素进行修补。

在其中一个实施例中，所述提取模块包括：分配单元，用于对空洞区域的边界纹理块分配优先级；提取单元，用于根据所述优先级从高到低提取边界纹理块。

在其中一个实施例中，所述搜索模块包括：搜索单元，用于搜索与所述边界纹理块中的无损点区域纹理相似的无损纹理块；筛选单元，用于筛选出平均深度值大于无损点区域的平均深度值的一个无损纹理块，作为最匹配的无损纹理块。

在其中一个实施例中，所述搜索模块包括：匹配单元，用于获取所述边界纹理块与无损纹理块之间的差异系数d(A,B)＝SAD(A,B)+Lambda*ABS(AVG(Σdepth(a))-AVG(Σdepth(b)))，其中A为边界纹理块中的像素点集合，B为无损点纹理块中的像素点集合，SAD表示计算A与B之间的绝对差之和，a为A中的无损点，b为无损纹理块B中的无损点，a与b的位置相对应的相同，depth()表示像素点的深度值，Lambda为乘法因子；对比单元，用于获取差异系数最小的无损纹理块作为与所述边界纹理块最匹配的无损纹理块。

在其中一个实施例中，所述搜索模块还包括赋值单元，用于对乘法因子Lambda赋值：当满足表达式AVG((c))≤AVG((b))时，取值为LambdaB，而当满足表达式AVG((c))＞AVG((b))时，取值为LambdaF，其中LambdaB＜LambdaF，c为A的受损点。

上述图像修补方法和装置，通过获取目标图像的空洞区域，提取空洞区域的边界纹理块，根据纹理信息和深度信息搜索与边界纹理块最匹配的无损纹理块，根据无损纹理块对边界纹理块进行修补，同时根据纹理信息和深度信息查找用于修补的参考像素，可以提高参考像素的准确性，从而提高对空洞区域进行填补的准确性，从而使2维图像转3维图像过程中输出的3D图像更加平滑自然。

附图说明

图1为一个实施例中一种图像修补方法流程示意图；

图2为另一个实施例中一种图像修补方法流程示意图；

图3为又一个实施例中一种图像修补方法流程示意图；

图4为又一个实施例中一种图像修补方法流程示意图；

图5为一个实施例中一种图像修补装置结构示意图；

图6为另一个实施例中一种图像修补装置结构示意图；

图7为又一个实施例中一种图像修补装置结构示意图；

图8为又一个实施例中一种图像修补装置结构示意图。

具体实施方式

下面结合具体的实施例及附图对监护数据的波形形成方法及装置的技术方案进行详细的描述，以使其更加清楚。

如图1所示，一种图像修补方法，包括如下步骤：

步骤S110，获取目标图像的空洞区域。

本实施例中，在2D图像转3D图像后产生目标图像，由于对二维的场景有进行位移，所以在场景边缘位置会留下移动痕迹，即一些空洞区域，空洞区域通常为单一颜色，如灰色或者黑色，纹理比较单一，通过噪声分析即可检测出空洞区域所在，如将被噪声区域包围的噪声单一的像素区域作为空洞区域。

步骤S130，提取空洞区域的边界纹理块。

本实施例中，在空洞区域的边界部分往往包括受损点和无损点，通过对受损点和无损点的颜色进行对比，可以形成比较鲜明的边界。由于相邻的像素数据比较相似，所以保留边界区域中的无损点，用于对受损点的纹理结构进行预测。由于在不同边界段的纹理变化趋势是有所不同的，所以根据纹理变化程度对边界进行分段，以分段处理边界纹理块，提取边界段以及边界段两侧的受损点和无损点形成空洞区域的边界纹理块。

步骤S150，根据纹理信息和深度信息搜索与边界纹理块最匹配的无损纹理块。

本实施例中，搜索最匹配的无损纹理块时，不仅考虑纹理上的相似度，而且考虑图像深度上的匹配度，因为纹理可以分布在前景图像中，也可能分布在背景图像中，如果以前景图像来修补背景图像，将导致错误的修补，所以先根据纹理信息搜索相似的纹理块，然后，分析深度值的匹配程度，获取与边界纹理块最匹配的无损纹理块。

步骤S170，根据无损纹理块中的像素对边界纹理块中对应位置的像素进行修补。

本实施例中，获取搜索到的与边界纹理块最匹配的无损纹理块，边界纹理块与无损纹理块是大小形状相同的，所以可以根据位置的对应关系从无损纹理块中抽取像素点到边界纹理块中进行填充，将边界纹理块中的受损像素点进行修补，而边界纹理块中的无损点则保留原有像素值不变；另外还可以从无损纹理块中获取颜色变化趋势函数，然后根据该颜色变化趋势函数对边界纹理块中的受损像素进行预测，从而对受损点进行修补。对边界区域进行修补后，如果空洞区域还未修补完成，则重复上述步骤对新的边界区域进行修补，直到空洞区域没有边界区域，即空洞区域完全被修补完成。对一个空洞区域修补完成后根据相同的步骤对其他空洞区域进行修补，直到目标图像的空洞区域都修补完成。

上述图像修补方法，通过获取目标图像的空洞区域，提取空洞区域的边界纹理块，根据纹理信息和深度信息搜索与边界纹理块最匹配的无损纹理块，根据无损纹理块对边界纹理块进行修补，同时根据纹理信息和深度信息查找用于修补的参考像素，可以提高参考像素的准确性，从而提高对空洞区域进行填补的准确性，从而使2维图像转3维图像过程中输出的3D图像更加平滑自然。

如图2所示，在一个实施例中，上述步骤S130包括如下步骤：

步骤S131，对空洞区域的边界纹理块分配优先级。

本实施例中，在对边界区域分块后，由于不同位置的边界纹理块所涉及到的线条、形状或者颜色等明显程度有所差别，即图像内容的主次有所不同，所以需要对边界纹理块分配不同优先级，如根据可以根据边界纹理块周围的图像内容的丰富性对边界纹理块进行分配优先级。

步骤S133，根据优先级从高到低提取边界纹理块。

本实施例中，可以根据优先级的编号依序从高到低提取边界纹理块的图像内容，包括边界纹理块的无损点和受损点的颜色值、深度值或者像素位置等。

对边界纹理块分优先级处理，以便在边界区域修补完成后可以作为对空洞区域剩余部分进行修补的参考基础，以避免对目标图像中的明显内容进行错误修补。

如图3所示，在一个实施例中，上述步骤S150包括如下步骤：

步骤S151，搜索与边界纹理块中的无损点区域纹理相似的无损纹理块。

本实施例中，在整个目标图像中搜索与边界纹理块中的无损点区域纹理相似的无损纹理块，纹理即像素及周围像素空间的灰度分布，根据灰度分布特征搜索与边界纹理块纹理相似的像素块。

步骤S153，筛选出平均深度值大于无损点区域的平均深度值的一个无损纹理块，作为最匹配的无损纹理块。

本实施例中，在搜索到的纹理相似的像素块中，获取每个纹理块的深度平均值，与边界纹理块中的无损点区域的深度平均值进行对比，将大于无损点区域的深度平均值的无损纹理块作为最匹配的无损纹理块，对边界纹理块进行修补，如果有多个最匹配的无损纹理块，则随机抽取一个用于对边界纹理块进行修补。因为深度值相对较大的像素区域可以看作是背景图像的像素区域，用背景图像的像素点对空洞区域进行修补相比用前景图像对空洞区域进行修补，对主观效果影响相对较小，可以提高修补的准确性。

如图4所示，在另一个实施例中，上述步骤S150包括如下步骤：

步骤S155，获取所边界纹理块与无损纹理块之间的差异系数d(A,B)＝SAD(A,B)+Lambda*ABS(AVG(Σdepth(a))-AVG(Σdepth(b)))，其中A为边界纹理块中的像素点集合，B为无损点纹理块中的像素点集合，SAD表示计算A与B之间的绝对差之和，a为A中的无损点，b为无损纹理块B中的无损点，a与b的位置相对应的相同，depth()表示像素点的深度值，Lambda为乘法因子。

本实施例中，SAD(A,B)计算边界纹理块A与无损纹理块B之间的亮度值的绝对插值和，无损纹理块可以是目标图像中任意一块与边界纹理块形状和大小相同的没有无损像素点的像素区域，ABS是求绝对值，AVG是求平均值。Lambda*ABS(AVG(Σdepth(a))-AVG(Σdepth(b)))是深度项，Lambda为乘法因子，乘法因子根据实验经验和实际环境来选取。

具体的，乘法因子Lambda为：当满足表达式AVG((c))≤AVG((b))时，取值为LambdaB，而当满足表达式AVG((c))＞AVG((b))时，取值为LambdaF，其中LambdaB＜LambdaF，c为A的受损点，AVG((c))为受损点的平均深度值。即乘法因子还考虑边界纹理块中受损点的平均深度值，由于空洞区域也是基于图像前景或者背景形成的，所以空洞区域的平均深度值先对较大时，乘法因子相应按照预设倍数提高，进一步提高搜索无损纹理块的准确性。

步骤S157，获取差异系数最小的无损纹理块作为与边界纹理块最匹配的无损纹理块。

本实施例中，从目标图像中搜索使d(A,B)值最小的无损纹理块，差异系数越小，则与边界纹理块越匹配。

通过SAD项选择纹理相近的像素，同时通过深度项限定对深度的匹配，可以搜索到最匹配的像素点，提高对空洞修补的准确性。

如图5所示，一种图像修补装置，包括获取模块110、提取模块130、搜索模块150和修补模块170。其中：

获取模块110，用于获取目标图像的空洞区域。

本实施例中，在2D图像转3D图像后产生目标图像，由于对二维的场景有进行位移，所以在场景边缘位置会留下移动痕迹，即一些空洞区域，空洞区域通常为单一颜色，如灰色或者黑色，纹理比较单一，获取模块110通过噪声分析即可检测出空洞区域所在，如将被噪声区域包围的噪声单一的像素区域作为空洞区域。

提取模块130，用于提取空洞区域的边界纹理块。

本实施例中，在空洞区域的边界部分往往包括受损点和无损点，通过对受损点和无损点的颜色进行对比，可以形成比较鲜明的边界。由于相邻的像素数据比较相似，所以保留边界区域中的无损点，用于对受损点的纹理结构进行预测。由于在不同边界段的纹理变化趋势是有所不同的，提取模块130根据纹理变化程度对边界进行分段，以分段处理边界纹理块，提取边界段以及边界段两侧的受损点和无损点形成空洞区域的边界纹理块。

搜索模块150，用于根据纹理信息和深度信息搜索与边界纹理块最匹配的无损纹理块。

本实施例中，搜索最匹配的无损纹理块时，不仅考虑纹理上的相似度，而且考虑图像深度上的匹配度，因为纹理可以分布在前景图像中，也可能分布在背景图像中，如果以前景图像来修补背景图像，将导致错误的修补。搜索模块150先根据纹理信息搜索相似的纹理块，然后，分析深度值的匹配程度，获取与边界纹理块最匹配的无损纹理块。

修补模块170，用于根据无损纹理块中的像素对边界纹理块中对应位置的像素进行修补。

本实施例中，修补模块170获取搜索到的与边界纹理块最匹配的无损纹理块，边界纹理块与无损纹理块是大小形状相同的，所以可以根据位置的对应关系从无损纹理块中抽取像素点到边界纹理块中进行填充，将边界纹理块中的受损像素点进行修补，而边界纹理块中的无损点则保留原有像素值不变；另外还可以从无损纹理块中获取颜色变化趋势函数，然后根据该颜色变化趋势函数对边界纹理块中的受损像素进行预测，从而对受损点进行修补。对边界区域进行修补后，如果空洞区域还未修补完成，则重复上述步骤对新的边界区域进行修补，直到空洞区域没有边界区域，即空洞区域完全被修补完成。对一个空洞区域修补完成后根据相同的步骤对其他空洞区域进行修补，直到目标图像的空洞区域都修补完成。

上述图像修补装置，通过获取目标图像的空洞区域，提取空洞区域的边界纹理块，根据纹理信息和深度信息搜索与边界纹理块最匹配的无损纹理块，根据无损纹理块对边界纹理块进行修补，从而对目标图像的空洞区域进行修补，同时根据纹理信息和深度信息查找用于修补的参考像素，可以提高参考像素的准确性，从而提高对空洞区域进行填补的准确性，从而使2维图像转3维图像过程中输出的3D图像更加平滑自然。

如图6所示，在一个实施例中，上述提取模块130包括分配单元131和提取单元133。其中：

分配单元131，用于对空洞区域的边界纹理块分配优先级。

本实施例中，分配单元131在对边界区域分块后，由于不同位置的边界纹理块所涉及到的线条、形状或者颜色等明显程度有所差别，即图像内容的主次有所不同，所以需要对边界纹理块分配不同优先级，如根据可以根据边界纹理块周围的图像内容的丰富性对边界纹理块进行分配优先级。

提取单元133，用于根据优先级从高到低提取边界纹理块。

本实施例中，提取单元133可以根据优先级的编号依序从高到低提取边界纹理块的图像内容，包括边界纹理块的无损点和受损点的颜色值、深度值或者像素位置等。

对边界纹理块分优先级处理，以便在边界区域修补完成后可以作为对空洞区域剩余部分进行修补的参考基础，以避免对目标图像中的明显内容进行错误修补。

如图7所示，在一个实施例中，上述搜索模块150包括搜索单元151和筛选单元153。其中：

搜索单元151，用于搜索与边界纹理块中的无损点区域纹理相似的无损纹理块。

本实施例中，搜索单元151在整个目标图像中搜索与边界纹理块中的无损点区域纹理相似的无损纹理块，纹理即像素及周围像素空间的灰度分布，根据灰度分布特征搜索与边界纹理块纹理相似的像素块。

筛选单元153，用于筛选出平均深度值大于无损点区域的平均深度值的一个无损纹理块，作为最匹配的无损纹理块。

本实施例中，筛选单元153在搜索到的纹理相似的像素块中，获取每个纹理块的深度平均值，与边界纹理块中的无损点区域的深度平均值进行对比，将大于无损点区域的深度平均值的无损纹理块作为最匹配的无损纹理块，对边界纹理块进行修补，如果有多个最匹配的无损纹理块，则随机抽取一个用于对边界纹理块进行修补。因为深度值相对较大的像素区域可以看作是背景图像的像素区域，用背景图像的像素点对空洞区域进行修补相比用前景图像对空洞区域进行修补，对主观效果影响相对较小，可以提高修补的准确性。

如图8所示，在另一个实施例中，上述搜索模块150包括匹配单元155和对比单元157。其中：

匹配单元155，用于获取所边界纹理块与无损纹理块之间的差异系数d(A,B)＝SAD(A,B)+Lambda*ABS(AVG(Σdepth(a))-AVG(Σdepth(b)))，其中A为边界纹理块中的像素点集合，B为无损点纹理块中的像素点集合，SAD表示计算A与B之间的绝对差之和，a为A中的无损点，b为无损纹理块B中的无损点，a与b的位置相对应的相同，depth()表示像素点的深度值，Lambda为乘法因子。

本实施例中，SAD(A,B)计算边界纹理块A与无损纹理块B之间的亮度值的绝对插值和，无损纹理块可以是目标图像中任意一块与边界纹理块形状和大小相同的没有无损像素点的像素区域，ABS是求绝对值，AVG是求平均值。Lambda*ABS(AVG(Σdepth(a))-AVG(Σdepth(b)))是深度项，Lambda为乘法因子，乘法因子根据实验经验和实际环境来选取。

具体的，乘法因子Lambda为：当满足表达式AVG((c))≤AVG((b))时，取值为LambdaB，而当满足表达式AVG((c))＞AVG((b))时，取值为LambdaF，其中LambdaB＜LambdaF，c为A的受损点，AVG((c))为受损点的平均深度值。即乘法因子还考虑边界纹理块中受损点的平均深度值，由于空洞区域也是基于图像前景或者背景形成的，所以空洞区域的平均深度值先对较大时，乘法因子相应按照预设倍数提高，进一步提高搜索无损纹理块的准确性。

对比单元157，用于获取差异系数最小的无损纹理块作为与边界纹理块最匹配的无损纹理块。

本实施例中，对比单元157从目标图像中搜索使d(A,B)值最小的无损纹理块，差异系数越小，则与边界纹理块越匹配。

通过深度项的限定可以减弱SAD项中错误纹理的生长，由此综合在SAD项与深度项的共同作用下可以搜索到最匹配的像素点，使得修补空洞过程中错误纹理不会继续生长，又不会对主观效果有太大影响，可以提高对空洞修补的准确性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像修补方法，包括如下步骤：

获取目标图像的空洞区域；

提取所述空洞区域的边界纹理块；

根据纹理信息和深度信息搜索与所述边界纹理块最匹配的无损纹理块；

根据所述无损纹理块中的像素对所述边界纹理块中对应位置的像素进行修补。

2.根据权利要求1所述的图像修补方法，其特征在于，所述提取所述空洞区域的边界纹理块的步骤包括：

对空洞区域的边界纹理块分配优先级；

根据所述优先级从高到低提取边界纹理块。

3.根据权利要求1所述的图像修补方法，其特征在于，所述根据纹理信息和深度信息搜索与所述边界纹理块最匹配的无损纹理块的步骤包括：

搜索与所述边界纹理块中的无损点区域纹理相似的无损纹理块；

筛选出平均深度值大于所述无损点区域的平均深度值的一个无损纹理块，作为最匹配的无损纹理块。

4.根据权利要求1所述的图像修补方法，其特征在于，所述根据纹理信息和深度信息搜索与所述边界纹理块最匹配的无损纹理块的步骤包括：

获取所述边界纹理块与无损纹理块之间的差异系数d(A,B)＝SAD(A,B)+Lambda*ABS(AVG(Σdepth(a))-AVG(Σdepth(b)))，其中A为边界纹理块中的像素点集合，B为无损点纹理块中的像素点集合，SAD表示计算A与B之间的绝对差之和，a为A中的无损点，b为无损纹理块B中的无损点，a与b的位置相对应的相同，depth()表示像素点的深度值，Lambda为乘法因子；

获取差异系数最小的无损纹理块作为与所述边界纹理块最匹配的无损纹理块。

5.根据权利要求4所述的图像修补方法，其特征在于，所述乘法因子Lambda为：当满足表达式AVG((c))≤AVG((b))时，取值为LambdaB，而当满足表达式AVG((c))＞AVG((b))时，取值为LambdaF，其中LambdaB＜LambdaF，c为A的受损点。

6.一种图像修补装置，其特征在于，包括：

获取模块，用于获取目标图像的空洞区域；

提取模块，用于提取所述空洞区域的边界纹理块；

搜索模块，用于根据纹理信息和深度信息搜索与所述边界纹理块最匹配的无损纹理块；

修补模块，用于根据所述无损纹理块中的像素对所述边界纹理块中对应位置的像素进行修补。

7.根据权利要求6所述的图像修补装置，其特征在于，所述提取模块包括：

分配单元，用于对空洞区域的边界纹理块分配优先级；

提取单元，用于根据所述优先级从高到低提取边界纹理块。

8.根据权利要求6所述的图像修补装置，其特征在于，所述搜索模块包括：

搜索单元，用于搜索与所述边界纹理块中的无损点区域纹理相似的无损纹理块；

筛选单元，用于筛选出平均深度值大于所述无损点区域的平均深度值的一个无损纹理块，作为最匹配的无损纹理块。

9.根据权利要求6所述的图像修补装置，其特征在于，所述搜索模块包括：

匹配单元，用于获取所述边界纹理块与无损纹理块之间的差异系数d(A,B)＝SAD(A,B)+Lambda*ABS(AVG(Σdepth(a))-AVG(Σdepth(b)))，其中A为边界纹理块中的像素点集合，B为无损点纹理块中的像素点集合，SAD表示计算A与B之间的绝对差之和，a为A中的无损点，b为无损纹理块B中的无损点，a与b的位置相对应的相同，depth()表示像素点的深度值，Lambda为乘法因子；

对比单元，用于获取差异系数最小的无损纹理块作为与所述边界纹理块最匹配的无损纹理块。

10.根据权利要求9所述的图像修补装置，其特征在于，所述搜索模块还包括赋值单元，用于对乘法因子Lambda赋值：当满足表达式AVG((c))≤AVG((b))时，取值为LambdaB，而当满足表达式AVG((c))＞AVG((b))时，取值为LambdaF，其中LambdaB＜LambdaF，c为A的受损点。