CN111861943B - 一种多尺度像素级深度优化的图像修复方法 - Google Patents
一种多尺度像素级深度优化的图像修复方法 Download PDFInfo
- Publication number
- CN111861943B CN111861943B CN202010773876.5A CN202010773876A CN111861943B CN 111861943 B CN111861943 B CN 111861943B CN 202010773876 A CN202010773876 A CN 202010773876A CN 111861943 B CN111861943 B CN 111861943B
- Authority
- CN
- China
- Prior art keywords
- image
- image restoration
- pixels
- area
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000008439 repair process Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 9
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000008676 import Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 12
- 230000008859 change Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多尺度像素级深度优化的图像修复方法，包括以下步骤：利用纹理合成和自动结构延伸的图像修复方法对待修复区域进行图像修复，以得到图像修复区域；利用图像金字塔对图像修复区域和图像已知区域进行多尺度特征匹配；建立联合熵优化模型；获取图像修复区域的像素；将图像修复区域的像素依次导入到联合熵优化模型中；通过联合熵优化模型对图像修复区域的像素进行优化调整，生成像素优化结果；根据像素优化结果获取最终修复图像。本发明结合多尺度特征匹配和像素级联合熵修复，提高修复效果，有效减少修复过程中的人为痕迹，让修复后的颜色、纹理等特征保持高度一致，提升修复质量，并最大限度地减少计算资源、存储资源的消耗。
Description
技术领域
本发明涉及图像修复技术领域，具体而言，涉及一种多尺度像素级深度优化的图像修复方法。
背景技术
随着数字媒体时代的来临，数字媒体应用和我们的生活联系紧密。图像修复技术作为媒体应用中的一项重要技术，为数字媒体的更广泛应用提供了直接的技术支持。数字图像修复是估计并填充缺失信息部分的过程，它通过扩展延伸、连接边界、内容嵌入、纹理颜色合成等方法，来达到修复区域和已知区域的高度相似性和视觉一致性。然而，现代的修复技术仍然具有较为明显的不足之处：(1)明显的特征差异显著地存在于修复区域和已知区域，尤其修复边缘的人为痕迹非常显著，视觉的一致性较差；(2)高质量的修复结果往往需要更为复杂的修复算法或模型，更多地消耗了计算资源和存储资源。
发明内容
为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种多尺度像素级深度优化的图像修复方法，结合多尺度特征匹配和像素级联合熵修复，提高修复效果，有效减少修复过程中的人为痕迹，让修复后的颜色、纹理等特征保持高度一致，提升修复质量；并减少计算资源、存储资源的消耗。
本发明的实施例是这样实现的：
一种多尺度像素级深度优化的图像修复方法，包括以下步骤：
利用纹理合成和自动结构延伸的图像修复方法对待修复区域进行图像修复，以得到图像修复区域；
利用图像金字塔对图像修复区域和图像已知区域进行多尺度特征匹配；
建立联合熵优化模型；
获取图像修复区域的像素；
将图像修复区域的像素依次导入到联合熵优化模型中；
通过联合熵优化模型对图像修复区域的像素进行优化调整，生成像素优化结果；
根据像素优化结果获取最终修复图像。
在对图像进行修复时，首先通过现有技术中的纹理合成和自动结构延伸的图像修复方法对待修复区域进行图像修复，以得到图像修复区域，然后利用图像金字塔对图像修复区域和图像已知区域进行多尺度特征匹配，将图像修复区域和图像已知区域划分为多个尺度，在多个尺度下对图像修复区域和图像已知区域的颜色和纹理特征进行匹配，提高图像修复质量，然后建立联合熵优化模型，该联合熵优化模型是指通过各像素的关联性对图像修复区域的像素根据联合熵的熵值变化进行像素调整，然后将图像修复区域的像素依次导入到联合熵优化模型中，进行像素优化，通过联合熵优化模型对图像修复区域的像素进行优化调整，生成像素优化结果，当导入的像素使得联合熵优化模型中的联合熵增大时，保留该像素，生成像素保留优化结果，当导入的像素使得联合熵优化模型中的联合熵减小或不变时，删除该像素，生成像素删除优化结果，根据像素优化结果获取最终修复图像，完成图像修复。本方法结合多尺度特征匹配和像素级联合熵修复，提高修复效果，有效减少修复过程中的人为痕迹，让修复后的颜色、纹理等特征保持高度一致，提升修复质量；且本发明没有使用深度学习等复杂修复模型，有效地减少算法的复杂度，最大限度降低计算资源、存储资源的消耗。
在本发明的一些实施例中，一种多尺度像素级深度优化的图像修复方法，利用图像金字塔对图像修复区域和图像已知区域进行多尺度特征匹配的方法包括以下步骤：
通过图像金字塔将图像修复区域和图像已知区域分解为多个尺度；
对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像。
在本发明的一些实施例中，一种多尺度像素级深度优化的图像修复方法，还包括以下步骤：
利用全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域；
基于局部能量最小化的像素级深度优化方法对图像修复区域中的显著性区域进行像素级深度优化，获取优化图像；
利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建。
在本发明的一些实施例中，一种多尺度像素级深度优化的图像修复方法，对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像的方法包括以下步骤：
通过多特征向量的颜色匹配方式对每个尺度下的图像修复区域和图像已知区域进行颜色特征匹配；
利用基于马尔科夫随机场的纹理匹配算法对每个尺度下的图像修复区域和图像已知区域进行纹理特征匹配。
在本发明的一些实施例中，一种多尺度像素级深度优化的图像修复方法，建立联合熵优化模型的方法包括以下步骤：
建立基于联合分布概率的联合熵初始模型；
对联合熵初始模型中的联合熵通过巴斯熵进行简化表示；
通过巴斯熵对不同像素之间的关联性进行分析，以得到联合熵模型。
在本发明的一些实施例中，一种多尺度像素级深度优化的图像修复方法，通过联合熵优化模型对图像修复区域的像素进行优化调整，生成像素优化结果的方法包括以下步骤：
A1、通过联合熵优化模型判断图像修复区域的像素是否有效，如果是，则进入步骤A2；如果否，则进入步骤A3；
A2、保留该图像修复区域的像素，生成像素保留优化结果；
A3、删除该图像修复区域的像素，生成像素删除优化结果。
在本发明的一些实施例中，一种多尺度像素级深度优化的图像修复方法，步骤A1包括以下步骤：
图像修复区域的像素导入到联合熵优化模型后，判断联合熵优化模型的联合熵是否增大，如果是，则该图像修复区域的像素有效，进入步骤A2；如果否，则图像修复区域的像素无效，进入步骤A3。
在本发明的一些实施例中，一种多尺度像素级深度优化的图像修复方法，还包括以下步骤：
判断图像修复区域的所有像素是否全部导入到联合熵优化模型中，如果是，则结束导入；如果否，则继续将图像修复区域的像素依次导入到联合熵优化模型中。
在本发明的一些实施例中，一种多尺度像素级深度优化的图像修复方法，还包括以下步骤：
判断图像修复区域的所有像素是否已全部优化调整，如果是，则结束优化，获取最终修复图像；如果否，则继续通过联合熵优化模型对图像修复区域的像素进行优化调整。
在本发明的一些实施例中，一种多尺度像素级深度优化的图像修复方法，还包括以下步骤：
获取图像修复区域边缘的像素，并进重点标记。
本发明实施例至少具有如下优点或有益效果：
本发明实施例提供一种多尺度像素级深度优化的图像修复方法，在对图像进行修复时，首先通过现有技术中的纹理合成和自动结构延伸的图像修复方法对待修复区域进行图像修复，以得到图像修复区域，然后利用图像金字塔对图像修复区域和图像已知区域进行多尺度特征匹配，将图像修复区域和图像已知区域划分为多个尺度，在多个尺度下对图像修复区域和图像已知区域的颜色和纹理特征进行匹配，然后建立联合熵优化模型，该联合熵优化模型是指通过各像素的关联性对图像修复区域的像素根据联合熵的熵值变化进行像素调整，然后将图像修复区域的像素依次导入到联合熵优化模型中，进行像素优化，通过联合熵优化模型对图像修复区域的像素进行优化调整，生成像素优化结果，当导入的像素使得联合熵优化模型中的联合熵增大时，保留该像素，生成像素保留优化结果，当导入的像素使得联合熵优化模型中的联合熵减小或不变时，删除该像素，生成像素删除优化结果，根据像素优化结果获取最终修复图像，完成图像修复。本方法结合多尺度特征匹配和像素级联合熵修复，提高修复效果，有效减少修复过程中的人为痕迹，让修复后的颜色、纹理等特征保持高度一致，提升修复质量；且本发明实施例没有使用深度学习等复杂修复模型，有效地减少算法的复杂度，最大限度降低计算资源、存储资源的消耗。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一种多尺度像素级深度优化的图像修复方法的流程图；
图2为本发明实施例一种多尺度像素级深度优化的图像修复方法中对像素进行优化的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例
如图1所示，本实施例提供一种多尺度像素级深度优化的图像修复方法，包括以下步骤：
S1、利用纹理合成和自动结构延伸的图像修复方法对待修复区域进行图像修复，以得到图像修复区域；
S2、利用图像金字塔对图像修复区域和图像已知区域进行多尺度特征匹配；
S3、建立联合熵优化模型；
S4、获取图像修复区域的像素；
S5、将图像修复区域的像素依次导入到联合熵优化模型中；
S6、通过联合熵优化模型对图像修复区域的像素进行优化调整，生成像素优化结果；
S7、根据像素优化结果获取最终修复图像。
在对图像进行修复时，首先通过现有技术中的纹理合成和自动结构延伸的图像修复方法对待修复区域进行图像修复，以得到图像修复区域，然后利用图像金字塔对图像修复区域和图像已知区域进行多尺度特征匹配，将图像修复区域和图像已知区域划分为多个尺度，在多个尺度下对图像修复区域和图像已知区域的颜色和纹理特征进行匹配，提高图像修复质量，然后建立联合熵优化模型，该联合熵优化模型是指通过各像素的关联性对图像修复区域的像素根据联合熵的熵值变化进行像素调整，然后将图像修复区域的像素依次导入到联合熵优化模型中，进行像素优化，通过联合熵优化模型对图像修复区域的像素进行优化调整，生成像素优化结果，当导入的像素使得联合熵优化模型中的联合熵增大时，保留该像素，生成像素保留优化结果，当导入的像素使得联合熵优化模型中的联合熵减小或不变时，删除该像素，生成像素删除优化结果，根据像素优化结果获取最终修复图像，完成图像修复。本方法结合多尺度特征匹配和像素级联合熵修复，提高修复效果，有效减少修复过程中的人为痕迹，让修复后的颜色、纹理等特征保持高度一致，提升修复质量；且本发明没有使用深度学习等复杂修复模型，有效地减少算法的复杂度，最大限度降低计算资源、存储资源的消耗。
在其中一个实施例中，利用图像金字塔对图像修复区域和图像已知区域进行多尺度特征匹配的方法包括以下步骤：
通过图像金字塔将图像修复区域和图像已知区域分解为多个尺度；
对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像。
根据图像金字塔将图像修复区域和图像已知区域进行尺度划分，划分为多个尺度，图像修复区域的尺度和已知区域的尺度一一对应，在每个尺度下，将图像修复区域与图像已知区域进行颜色和纹理特征匹配，对图像修复区域进行修复比对，匹配完成后，获取修复匹配完成后的图像修复区域的图像，即获取匹配图像。将图像分为多个尺度，将多个尺度的图像进行特征进行匹配，提高修复效果。
在其中一个实施例中，还包括以下步骤：
利用全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域；
基于局部能量最小化的像素级深度优化方法对图像修复区域中的显著性区域进行像素级深度优化，获取优化图像；
利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建。
在对图像进行修复时，还对利用全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域，以便后续对图像修复区域的显著性区域进行进一步优化，采用全局对比度的显著性检测方法对图像修复区域进行显著性检测，保证检测的全面准确性。上述全局对比度的显著性检测方法具体包括：将图像修复区域划分为多个待检测区域，对于每个区域，赋予每个待检测区域原始显著值，将每个待检测区域与其余待检测区域进行一一对比，获取每个区域与其他区域的空间距离值，主要利用每个区域与其它区域的空间距离来度量显著值，以得到待检测区域的显著值，先预设定一个显著阈值，根据预设定的显著阈值和待检测区域的显著值进行对比，生成对比结果，根据对比结果获取图像修复区域中的显著性区域，并基于局部能量最小化的像素级深度优化方法对图像修复区域中的显著性区域进行像素级深度优化，获取优化图像，基于局部能量最小化的像素级深度优化方法具体包括：获取每个尺度下的图像修复区域中的显著性区域的像素，预先设定每个像素对应的标准区域能量，即最小区域能量，对显著性区域的像素进行调整，使得显著性区域对应的像素区域能量最小，固定此时的像素，完成对显著性区域的像素级深度优化；当所有像素都进行了调整，都满足或接近上述使得显著性区域对应的像素区域能量最小条件时，停止像素的优化过程，完成整个显著性区域的像素级深度优化。对显著性区域进行像素级深度优化进一步提高修复效果。利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建的方法包括先对获取匹配图像和优化图像的多个尺度信息，然后，在不同尺度下通过图像金字塔的逆变换分别对匹配图像和优化图像进行重建，最终完成图像修复区域和图像已知区域的修复。
在其中一个实施例中，对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像的方法包括以下步骤：
通过多特征向量的颜色匹配方式对每个尺度下的图像修复区域和图像已知区域进行颜色特征匹配；
利用基于马尔科夫随机场的纹理匹配算法对每个尺度下的图像修复区域和图像已知区域进行纹理特征匹配。
对每个尺度下的图像修复区域和图像已知区域进行颜色和纹理特征匹配，保证匹配的全面性，提高修复精度。
在其中一个实施例中，建立联合熵优化模型的方法包括以下步骤：
建立基于联合分布概率的联合熵初始模型；
对联合熵初始模型中的联合熵通过巴斯熵进行简化表示；
通过巴斯熵对不同像素之间的关联性进行分析，以得到联合熵模型。
基于联合分布概率建立一个联合熵初始模型，然后通过巴斯熵对联合熵初始模型中的联合熵进行简化表示，通过巴斯熵利用不同像素的空间分布概率对不同像素之间的关联性进行充分考量，获取对不同像素之间的关联性强度，并根据不同像素之间的关联性强度建立得到联合熵模型。
需要说明的是，上述巴斯熵为现有技术，本发明实施例仅仅是通过现有技术中的巴斯熵对对不同像素之间的关联性进行充分考量分析，以建立联合熵模型对图像像素进行修复调整。
在其中一个实施例中，如图2所示，通过联合熵优化模型对图像修复区域的像素进行优化调整，生成像素优化结果的方法包括以下步骤：
A1、通过联合熵优化模型判断图像修复区域的像素是否有效，如果是，则进入步骤A2；如果否，则进入步骤A3；
A2、保留该图像修复区域的像素，生成像素保留优化结果；
A3、删除该图像修复区域的像素，生成像素删除优化结果。
通过联合熵优化模型对图像修复区域的像素进行优化调整，该优化调整的方法包括：通过联合熵优化模型判断图像修复区域的像素是否有效，当像素能够使得联合熵增加时，即表明该像素有效，保留该像素，生成像素保留优化结果，当像素能够使得联合熵减小或者不变时，即表明该像素无效，删除该像素，生成像素删除优化结果，避免后续进行无效修复，提高修复效率。
在其中一个实施例中，步骤A1包括以下步骤：
图像修复区域的像素导入到联合熵优化模型后，判断联合熵优化模型的联合熵是否增大，如果是，则该图像修复区域的像素有效，进入步骤A2；如果否，则图像修复区域的像素无效，进入步骤A3。
判断图像修复区域的像素是否有效即判断图像修复区域的像素导入到联合熵优化模型后，判断联合熵优化模型的联合熵是否增大，如果是该图像修复区域的像素有效，保留该像素，生成像素保留优化结果；如果否，则表明图像修复区域的像素无效，删除该像素，生成像素删除优化结果。通过联合熵优化模型中的联合熵的熵值的变化来对图像修复区域的像素进行调整，简单高效。
在其中一个实施例中，还包括以下步骤：
判断图像修复区域的所有像素是否全部导入到联合熵优化模型中，如果是，则结束导入；如果否，则继续将图像修复区域的像素依次导入到联合熵优化模型中。
对图像修复区域进行像素调整修复时，实时判断图像修复区域的所有像素是否全部导入到联合熵优化模型中，如果没有全部导入，则继续将图像修复区域的像素依次导入到联合熵优化模型中，直至图像修复区域所有像素全部导入，保证图像修复区域的所有像素都导入到联合熵优化模型，保证后续进行全面的像素优化调整。
在其中一个实施例中，还包括以下步骤：
判断图像修复区域的所有像素是否已全部优化调整，如果是，则结束优化，获取最终修复图像；如果否，则继续通过联合熵优化模型对图像修复区域的像素进行优化调整。
对图像修复区域进行像素调整修复时，实时判断图像修复区域的所有像素是否已全部优化调整，如果否，则继续通过联合熵优化模型对图像修复区域的像素进行优化调整，直至图像修复区域的所有像素全部优化调整完毕，保证像素优化效果，提高图像修复质量。
在其中一个实施例中，还包括以下步骤：
获取图像修复区域边缘的像素，并进重点标记。
在对图像修复区域进行像素检测获取其像素时，还要对图像修复区域边缘的像素进行检测，并进行重点标记，以便后续对其进行重点优化调整，提高图像边缘修复效果。
综上，本发明的实施例提供一种多尺度像素级深度优化的图像修复方法，在对图像进行修复时，首先通过现有技术中的纹理合成和自动结构延伸的图像修复方法对待修复区域进行图像修复，以得到图像修复区域，然后根据图像金字塔将图像修复区域和图像已知区域进行尺度划分，划分为多个尺度，图像修复区域的尺度和已知区域的尺度一一对应，在每个尺度下，将图像修复区域与图像已知区域进行颜色和纹理特征匹配，对图像修复区域进行修复比对，匹配完成后，获取修复匹配完成后的图像修复区域的图像，即获取匹配图像，将图像分为多个尺度，将多个尺度的图像进行特征进行匹配，提高修复效果，然后建立联合熵优化模型，该联合熵优化模型是指通过各像素的关联性对图像修复区域的像素根据联合熵的熵值变化进行像素调整，然后将图像修复区域的像素依次导入到联合熵优化模型中，进行像素优化，通过联合熵优化模型对图像修复区域的像素进行优化调整，该优化调整的方法包括：通过联合熵优化模型判断图像修复区域的像素是否有效，当像素能够使得联合熵增加时，即表明该像素有效，保留该像素，生成像素保留优化结果，当像素能够使得联合熵减小或者不变时，即表明该像素无效，删除该像素，生成像素删除优化结果，避免后续进行无效修复，提高修复效率，当导入的像素使得联合熵优化模型中的联合熵增大时，保留该像素，生成像素保留优化结果，当导入的像素使得联合熵优化模型中的联合熵减小或不变时，删除该像素，生成像素删除优化结果，根据像素优化结果获取最终修复图像，实时判断图像修复区域的所有像素是否全部导入到联合熵优化模型中，如果没有全部导入，则继续将图像修复区域的像素依次导入到联合熵优化模型中，直至图像修复区域所有像素全部导入，保证图像修复区域的所有像素都导入到联合熵优化模型，保证后续进行全面的像素优化调整，同时，实时判断图像修复区域的所有像素是否已全部优化调整，如果否，则继续通过联合熵优化模型对图像修复区域的像素进行优化调整，直至图像修复区域的所有像素全部优化调整完毕，完成图像修复，保证像素优化效果，提高图像修复质量。本方法结合多尺度特征匹配和像素级联合熵修复，提高修复效果，有效减少修复过程中的人为痕迹，让修复后的颜色、纹理等特征保持高度一致，提升修复质量；且本发明没有使用深度学习等复杂修复模型，有效地减少算法的复杂度，最大限度降低计算资源、存储资源的消耗。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (8)
1.一种多尺度像素级深度优化的图像修复方法，其特征在于，包括以下步骤：
利用纹理合成和自动结构延伸的图像修复方法对待修复区域进行图像修复，以得到图像修复区域；
通过图像金字塔将图像修复区域和图像已知区域分解为多个尺度；
对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像；
利用全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域；
基于局部能量最小化的像素级深度优化方法对图像修复区域中的显著性区域进行像素级深度优化，获取优化图像，包括：获取每个尺度下的图像修复区域中的显著性区域的像素，预先设定每个像素对应的标准区域能量，即最小区域能量，对显著性区域的像素进行调整，使得显著性区域对应的像素区域能量最小，固定此时的像素，完成对显著性区域的像素级深度优化；当所有像素都进行了调整，都满足上述使得显著性区域对应的像素区域能量最小条件时，停止像素的优化过程，完成整个显著性区域的像素级深度优化，以得到优化图像；
利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建，以得到初步修复图像；
建立联合熵优化模型；
获取初步修复图像的像素；
将初步修复图像的像素依次导入到联合熵优化模型中；
通过联合熵优化模型对初步修复图像的像素进行优化调整，生成像素优化结果；
根据像素优化结果获取最终修复图像。
2.根据权利要求1所述的一种多尺度像素级深度优化的图像修复方法，其特征在于，所述对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像的方法包括以下步骤：
通过多特征向量的颜色匹配方式对每个尺度下的图像修复区域和图像已知区域进行颜色特征匹配；
利用基于马尔科夫随机场的纹理匹配算法对每个尺度下的图像修复区域和图像已知区域进行纹理特征匹配。
3.根据权利要求1所述的一种多尺度像素级深度优化的图像修复方法，其特征在于，所述建立联合熵优化模型的方法包括以下步骤：
建立基于联合分布概率的联合熵初始模型；
对联合熵初始模型中的联合熵通过巴斯熵进行简化表示；
通过巴斯熵对不同像素之间的关联性进行分析，以得到联合熵模型。
4.根据权利要求1所述的一种多尺度像素级深度优化的图像修复方法，其特征在于，所述通过联合熵优化模型对图像修复区域的像素进行优化调整，生成像素优化结果的方法包括以下步骤：
A1、通过联合熵优化模型判断图像修复区域的像素是否有效，如果是，则进入步骤A2；如果否，则进入步骤A3；
A2、保留该图像修复区域的像素，生成像素保留优化结果；
A3、删除该图像修复区域的像素，生成像素删除优化结果。
5.根据权利要求4所述的一种多尺度像素级深度优化的图像修复方法，其特征在于，步骤A1包括以下步骤：
图像修复区域的像素导入到联合熵优化模型后，判断联合熵优化模型的联合熵是否增大，如果是，则该图像修复区域的像素有效，进入步骤A2；如果否，则图像修复区域的像素无效，进入步骤A3。
6.根据权利要求1所述的一种多尺度像素级深度优化的图像修复方法，其特征在于，还包括以下步骤：
判断图像修复区域的所有像素是否全部导入到联合熵优化模型中，如果是，则结束导入；如果否，则继续将图像修复区域的像素依次导入到联合熵优化模型中。
7.根据权利要求1所述的一种多尺度像素级深度优化的图像修复方法，其特征在于，还包括以下步骤：
判断图像修复区域的所有像素是否已全部优化调整，如果是，则结束优化，获取最终修复图像；如果否，则继续通过联合熵优化模型对图像修复区域的像素进行优化调整。
8.根据权利要求1所述的一种多尺度像素级深度优化的图像修复方法，其特征在于，还包括以下步骤：
获取图像修复区域边缘的像素，并进重点标记。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010773876.5A CN111861943B (zh) | 2020-08-04 | 2020-08-04 | 一种多尺度像素级深度优化的图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010773876.5A CN111861943B (zh) | 2020-08-04 | 2020-08-04 | 一种多尺度像素级深度优化的图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111861943A CN111861943A (zh) | 2020-10-30 |
| CN111861943B true CN111861943B (zh) | 2024-02-20 |
Family
ID=72954455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010773876.5A Active CN111861943B (zh) | 2020-08-04 | 2020-08-04 | 一种多尺度像素级深度优化的图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111861943B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569872B (zh) * | 2021-08-10 | 2024-03-19 | 大连海事大学 | 一种基于压力显著性的多分辨穿鞋足迹序列识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484866A (zh) * | 2014-12-15 | 2015-04-01 | 天津大学 | 一种基于旋转及尺度空间拓展的图像修复方法 |
| CN106023102A (zh) * | 2016-05-16 | 2016-10-12 | 西安电子科技大学 | 一种基于多尺度结构块的图像修复方法 |
| CN110189265A (zh) * | 2019-05-06 | 2019-08-30 | 中国科学院半导体研究所 | 距离能量相关三维成像超级像素修复方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101429365B1 (ko) * | 2012-12-26 | 2014-08-13 | 중앙대학교 산학협력단 | 라플라시안 피라미드를 이용한 다중 해상도 예제 기반 인페인팅 방법 및 장치 |
| TWI607901B (zh) * | 2015-11-06 | 2017-12-11 | 財團法人工業技術研究院 | 影像修補系統及其方法 |
-
2020
- 2020-08-04 CN CN202010773876.5A patent/CN111861943B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104484866A (zh) * | 2014-12-15 | 2015-04-01 | 天津大学 | 一种基于旋转及尺度空间拓展的图像修复方法 |
| CN106023102A (zh) * | 2016-05-16 | 2016-10-12 | 西安电子科技大学 | 一种基于多尺度结构块的图像修复方法 |
| CN110189265A (zh) * | 2019-05-06 | 2019-08-30 | 中国科学院半导体研究所 | 距离能量相关三维成像超级像素修复方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于样本和深度学习的图像修复方法研究;强振平;《中国博士学位论文全文数据库 信息科技辑》(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111861943A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Joint contrast enhancement and exposure fusion for real-world image dehazing | |
| Jiang et al. | Unsupervised decomposition and correction network for low-light image enhancement | |
| CN110610509B (zh) | 可指定类别的优化抠图方法及系统 | |
| CN109584327B (zh) | 人脸老化模拟方法、装置以及设备 | |
| CN109920021A (zh) | 一种基于正则化宽度学习网络的人脸素描合成方法 | |
| CN110599411A (zh) | 一种基于条件生成对抗网络的图像修复方法及系统 | |
| CN111652233A (zh) | 一种针对复杂背景的文本验证码自动识别方法 | |
| CN111062426A (zh) | 一种建立训练集的方法、装置、电子设备以及介质 | |
| CN112017263B (zh) | 基于深度学习的试卷智能生成方法和系统 | |
| CN109978907A (zh) | 一种面向家居场景的学生坐姿检测方法 | |
| CN111861943B (zh) | 一种多尺度像素级深度优化的图像修复方法 | |
| CN109492697B (zh) | 图片检测网络训练方法及图片检测网络训练装置 | |
| CN116310095A (zh) | 一种基于深度学习的多视图三维重建方法 | |
| Hovhannisyan et al. | AED-Net: A single image dehazing | |
| Sari et al. | Interactive image inpainting of large-scale missing region | |
| Liu et al. | Shadow removal of text document images using background estimation and adaptive text enhancement | |
| CN117541546A (zh) | 图像裁剪效果的确定方法和装置、存储介质及电子设备 | |
| CN111815543B (zh) | 一种面向图像修复的多尺度特征匹配方法 | |
| CN117217997A (zh) | 一种基于上下文感知边缘增强的遥感图像超分辨率方法 | |
| CN116612280A (zh) | 车辆分割方法、装置、计算机设备和计算机可读存储介质 | |
| CN107292840B (zh) | 图像复原方法及装置、计算机可读存储介质、终端 | |
| CN116030346A (zh) | 基于马尔可夫判别器的非成对弱监督云检测方法及系统 | |
| Chen et al. | Overview of digital image restoration | |
| Zhou et al. | An improved algorithm using weighted guided coefficient and union self‐adaptive image enhancement for single image haze removal | |
| CN112348807B (zh) | 一种基于轮廓像素统计的内窥镜高亮点修复方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |