CN111815543B - 一种面向图像修复的多尺度特征匹配方法 - Google Patents

一种面向图像修复的多尺度特征匹配方法 Download PDF

Info

Publication number
CN111815543B
CN111815543B CN202010774710.5A CN202010774710A CN111815543B CN 111815543 B CN111815543 B CN 111815543B CN 202010774710 A CN202010774710 A CN 202010774710A CN 111815543 B CN111815543 B CN 111815543B
Authority
CN
China
Prior art keywords
image
scale
region
area
image restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010774710.5A
Other languages
English (en)
Other versions
CN111815543A (zh
Inventor
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huilang Times Technology Co Ltd
Original Assignee
Beijing Huilang Times Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huilang Times Technology Co Ltd filed Critical Beijing Huilang Times Technology Co Ltd
Priority to CN202010774710.5A priority Critical patent/CN111815543B/zh
Publication of CN111815543A publication Critical patent/CN111815543A/zh
Application granted granted Critical
Publication of CN111815543B publication Critical patent/CN111815543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/46—Analysis of texture based on statistical description of texture using random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向图像修复的多尺度特征匹配方法，包括以下步骤：利用显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域；通过图像金字塔将图像修复区域和图像已知区域分解为多个尺度；对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像；对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像；利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复。本发明将图像分为多个尺度，将多个尺度的图像进行特征进行匹配，提高修复效果，有效减少修复过程中的人为痕迹。

Description

一种面向图像修复的多尺度特征匹配方法
技术领域
本发明涉及图像修复技术领域，具体而言，涉及一种面向图像修复的多尺度特征匹配方法。
背景技术
随着数字媒体时代的来临，媒体应用已经成为生活中不可或缺的部分，在媒体应用过程中，多种图像处理技术发挥了重要作用。图像修复作为其中一项重要的技术，为媒体应用提供了重要的技术支持。图像修复技术旨在对图像中损坏或遗失部分进行修复，使得到的图像能接近或恢复原图的视觉效果。数字图像修复是估计并填充缺失信息部分的过程，从视觉角度来说，根据区域周围的信息按进行连接边界、扩展延伸、纹理颜色合成、内容嵌入，来达到高度相似性和视觉的一致性。
由于修复过程中，需要保持修复后的结果保持高度相似性和视觉的一致性，现代的修复技术仍然存在较为明显的缺陷：修复区域和已知区域往往存在着明显的特征差异，修复边缘人为痕迹非常明显，显著地降低了视觉的一致性。
发明内容
为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种面向图像修复的多尺度特征匹配方法，将图像分为多个尺度，将多个尺度的图像进行特征进行匹配，提高修复效果，有效减少修复过程中的人为痕迹。
本发明的实施例是这样实现的：
一种面向图像修复的多尺度特征匹配方法，包括以下步骤：
利用显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域；
通过图像金字塔将图像修复区域和图像已知区域分解为多个尺度；
对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像；
对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像；
利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复。
在对图像进行修复时，首先，利用显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域，以便后续对图像修复区域的显著性区域进行进一步优化，根据图像金字塔将图像修复区域和图像已知区域进行尺度划分，划分为多个尺度，图像修复区域的尺度和已知区域的尺度一一对应，在每个尺度下，将图像修复区域与图像已知区域进行颜色和纹理特征匹配，对图像修复区域进行修复比对，匹配完成后，获取修复匹配完成后的图像修复区域的图像，即获取匹配图像；对每个尺度下的图像修复区域中的显著性区域不仅仅要进行颜色和纹理特征匹配，还要对其显著性区域进行像素级深度优化，该像素级深度优化是指对显著性区域的像素进行调整，使得显著性区域对应的像素区域能量最小，固定此时的像素，完成对显著性区域的像素级深度优化，以获取优化后的图像修复区域的显著性区域图像，即获取优化图像；在对图像修复区域与已知区域进行特征匹配得到了匹配图像以及对显著性区域进行像素级优化后得到优化图像后，利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复。本方法将图像分为多个尺度，将多个尺度的图像进行特征进行匹配，提高修复效果，有效减少修复过程中的人为痕迹。
在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，利用显著性检测方法对图像修复区域进行显著性检测，以获取显著性区域的方法包括以下步骤：
通过全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取显著性区域。
在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，通过全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取显著性区域的方法包括以下步骤：
将图像修复区域划分为多个待检测区域；
赋予每个待检测区域原始显著值；
将每个待检测区域与其余待检测区域进行一一对比，获取每个区域与其他区域的空间距离值，以得到待检测区域的显著值；
根据预设定的显著阈值和待检测区域的显著值进行对比，生成对比结果；
根据对比结果获取显著性区域。
在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，根据预设定的显著阈值和待检测区域的显著值进行对比，生成对比结果的方法包括以下步骤：
获取预设定的显著阈值；
判断待检测区域的显著值是否大于预设定的显著阈值，如果是，则生成显著性结果；如果否，则生成非显著性结果。
在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像的方法包括以下步骤：
通过多特征向量的颜色匹配方式对每个尺度下的图像修复区域和图像已知区域进行颜色特征匹配；
利用基于马尔科夫随机场的纹理匹配算法对每个尺度下的图像修复区域和图像已知区域进行纹理特征匹配。
在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像的方法包括以下步骤：
基于局部能量最小化的像素级深度优化方法对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像。
在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，基于局部能量最小化的像素级深度优化方法对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像的方法包括以下步骤：
A1、获取每个尺度下的图像修复区域中的显著性区域的像素；
A2、设定每个像素的标准区域能量；
A3、对每个显著性区域的像素值进行调整使得对应的像素区域能量小于或等于对应的标准区域能量，固定此时的显著性区域的像素值以进行显著性区域像素优化；
A4、判断是否所有的显著性区域的像素值都进行了优化调整，如果是，则结束优化，完成对每个显著性区域的像素级深度优化，获取优化图像；如果否，则进入步骤A3。
在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复的方法包括以下步骤：
利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建。
在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建的方法包括以下步骤：
分别获取匹配图像和优化图像的多个尺度信息；
根据匹配图像的不同尺度信息，在每个尺度下通过图像金字塔的逆变换对匹配图像进行处理，以得到重建后的匹配图像区域；
根据优化图像的不同尺度信息，在每个尺度下通过图像金字塔的逆变换对优化图像进行处理，以得到重建后的优化图像区域。
在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，还包括以下步骤：
对图像修复区域进行除噪。
本发明实施例至少具有如下优点或有益效果：
本发明实施例提供一种在本发明的一些实施例中，一种面向图像修复的多尺度特征匹配方法，在对图像进行修复时，首先，利用显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域，以便后续对图像修复区域的显著性区域进行进一步优化，根据图像金字塔将图像修复区域和图像已知区域进行尺度划分，划分为多个尺度，图像修复区域的尺度和已知区域的尺度一一对应，在每个尺度下，将图像修复区域与图像已知区域进行颜色和纹理特征匹配，对图像修复区域进行修复比对，匹配完成后，获取修复匹配完成后的图像修复区域的图像，即获取匹配图像；对每个尺度下的图像修复区域中的显著性区域不仅仅要进行颜色和纹理特征匹配，还要对其显著性区域进行像素级深度优化，该像素级深度优化是指对显著性区域的像素进行调整，使得显著性区域对应的像素区域能量最小，固定此时的像素，完成对显著性区域的像素级深度优化，以获取优化后的图像修复区域的显著性区域图像，即获取优化图像；在对图像修复区域与已知区域进行特征匹配得到了匹配图像以及对显著性区域进行像素级优化后得到优化图像后，利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复。本方法将图像分为多个尺度，将多个尺度的图像进行特征进行匹配，提高修复效果，有效减少修复过程中的人为痕迹。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一种面向图像修复的多尺度特征匹配方法的流程图；
图2为本发明实施例一种面向图像修复的多尺度特征匹配方法中进行显著性区域检测的流程图；
图3为本发明实施例一种面向图像修复的多尺度特征匹配方法中对显著性区域进行像素级深度优化的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例
如图1所示，本实施例提供一种面向图像修复的多尺度特征匹配方法，包括以下步骤：
S1、利用显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域；
S2、通过图像金字塔将图像修复区域和图像已知区域分解为多个尺度；
S3、对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像；
S4、对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像；
S5、利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复。
在对图像进行修复时，首先，利用显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域，以便后续对图像修复区域的显著性区域进行进一步优化，根据图像金字塔将图像修复区域和图像已知区域进行尺度划分，划分为多个尺度，图像修复区域的尺度和已知区域的尺度一一对应，在每个尺度下，将图像修复区域与图像已知区域进行颜色和纹理特征匹配，对图像修复区域进行修复比对，匹配完成后，获取修复匹配完成后的图像修复区域的图像，即获取匹配图像；对每个尺度下的图像修复区域中的显著性区域不仅仅要进行颜色和纹理特征匹配，还要对其显著性区域进行像素级深度优化，该像素级深度优化是指对显著性区域的像素进行调整，使得显著性区域对应的像素区域能量最小，固定此时的像素，完成对显著性区域的像素级深度优化，以获取优化后的图像修复区域的显著性区域图像，即获取优化图像；在对图像修复区域与已知区域进行特征匹配得到了匹配图像以及对显著性区域进行像素级优化后得到优化图像后，利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复。本方法将图像分为多个尺度，将多个尺度的图像进行特征进行匹配，提高修复效果，有效减少修复过程中的人为痕迹。
在其中一个实施例中，利用显著性检测方法对图像修复区域进行显著性检测，以获取显著性区域的方法包括以下步骤：
通过全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取显著性区域。
采用全局对比度的显著性检测方法对图像修复区域进行显著性检测，保证检测的全面准确性，也可采用其他显著性检测方法对图像修复区域进行显著性检测。全局对比度的显著性检测方法是指将单个区域分别于其他区域进行全局对比，最终的得到最为全面准确的显著性区域。
在其中一个实施例中，如图2所示，通过全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取显著性区域的方法包括以下步骤：
E1、将图像修复区域划分为多个待检测区域；
E2、赋予每个待检测区域原始显著值；
E3、将每个待检测区域与其余待检测区域进行一一对比，获取每个区域与其他区域的空间距离值，以得到待检测区域的显著值；
E4、根据预设定的显著阈值和待检测区域的显著值进行对比，生成对比结果；
E5、根据对比结果获取显著性区域。
上述全局对比度的显著性检测方法具体包括：将图像修复区域划分为多个待检测区域，对于每个区域，赋予每个待检测区域原始显著值，将每个待检测区域与其余待检测区域进行一一对比，获取每个区域与其他区域的空间距离值，主要利用每个区域与其它区域的空间距离来度量显著值，以得到待检测区域的显著值，先预设定一个显著阈值，根据预设定的显著阈值和待检测区域的显著值进行对比，生成对比结果，根据对比结果获取图像修复区域中的显著性区域。
在其中一个实施例中，根据预设定的显著阈值和待检测区域的显著值进行对比，生成对比结果的方法包括以下步骤：
获取预设定的显著阈值；
判断待检测区域的显著值是否大于预设定的显著阈值，如果是，则生成显著性结果；如果否，则生成非显著性结果。
在利用全局对比度的显著性检测方法对图像修复区域的显著性区域进行检测之前，首先根据历史经验设定一个显著阈值，进行检测时先获取预设定的显著阈值，判断待检测区域的显著值是否大于预设定的显著阈值，如果待检测区域的显著值大于预设定的显著阈值，则生成显著性结果，表明该区域是显著性区域；如果待检测区域的显著值小于或等于预设定的显著阈值，则生成非显著性结果，表明该区域不是显著性区域。
在其中一个实施例中，对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像的方法包括以下步骤：
通过多特征向量的颜色匹配方式对每个尺度下的图像修复区域和图像已知区域进行颜色特征匹配；
利用基于马尔科夫随机场的纹理匹配算法对每个尺度下的图像修复区域和图像已知区域进行纹理特征匹配。
对每个尺度下的图像修复区域和图像已知区域进行颜色和纹理特征匹配，保证匹配的全面性，提高修复精度。
在其中一个实施例中，对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像的方法包括以下步骤：
基于局部能量最小化的像素级深度优化方法对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像。
基于局部能量最小化的像素级深度优化方法是指对显著性区域的像素进行调整，使得显著性区域对应的像素区域能量最小，固定此时的像素，完成对显著性区域的像素级深度优化。
在其中一个实施例中，如图3所示，基于局部能量最小化的像素级深度优化方法对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像的方法包括以下步骤：
A1、获取每个尺度下的图像修复区域中的显著性区域的像素；
A2、设定每个像素的标准区域能量；
A3、对每个显著性区域的像素值进行调整使得对应的像素区域能量小于或等于对应的标准区域能量，固定此时的显著性区域的像素值以进行显著性区域像素优化；
A4、判断是否所有的显著性区域的像素值都进行了优化调整，如果是，则结束优化，完成对每个显著性区域的像素级深度优化，获取优化图像；如果否，则进入步骤A3。
基于局部能量最小化的像素级深度优化方法具体包括：获取每个尺度下的图像修复区域中的显著性区域的像素，预先设定每个像素对应的标准区域能量，即最小区域能量，对显著性区域的像素进行调整，使得显著性区域对应的像素区域能量最小，固定此时的像素，完成对显著性区域的像素级深度优化；当所有像素都进行了调整，都满足或接近上述使得显著性区域对应的像素区域能量最小条件时，停止像素的优化过程，完成整个显著性区域的像素级深度优化。对显著性区域进行像素级深度优化进一步提高修复效果。
在其中一个实施例中，利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复的方法包括以下步骤：
利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建。
在对图像修复区域与已知区域进行特征匹配得到了匹配图像以及对显著性区域进行像素级优化后得到优化图像后，利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建，完成图像修复。
在其中一个实施例中，利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建的方法包括以下步骤：
分别获取匹配图像和优化图像的多个尺度信息；
根据匹配图像的不同尺度信息，在每个尺度下通过图像金字塔的逆变换对匹配图像进行处理，以得到重建后的匹配图像区域；
根据优化图像的不同尺度信息，在每个尺度下通过图像金字塔的逆变换对优化图像进行处理，以得到重建后的优化图像区域。
在进行图像重建时，先对获取匹配图像和优化图像的多个尺度信息，然后，在不同尺度下通过图像金字塔的逆变换分别对匹配图像和优化图像进行重建，最终完成图像修复区域和图像已知区域的修复。
在其中一个实施例中，还包括以下步骤：
对图像修复区域进行除噪。
当图像修复区域有噪声时，对图像修复区域进行除燥，进而提高图像修复效果。
综上，本发明的实施例提供一种面向图像修复的多尺度特征匹配方法，在对图像进行修复时，首先，采用全局对比度的显著性检测方法对图像修复区域进行显著性检测，保证检测的全面准确性，也可采用其他显著性检测方法对图像修复区域进行显著性检测。全局对比度的显著性检测方法是指将单个区域分别于其他区域进行全局对比，最终的得到最为全面准确的显著性区域，以便后续对图像修复区域的显著性区域进行进一步优化，根据图像金字塔将图像修复区域和图像已知区域进行尺度划分，划分为多个尺度，图像修复区域的尺度和已知区域的尺度一一对应，在每个尺度下，通过多特征向量的颜色匹配方式对每个尺度下的图像修复区域和图像已知区域进行颜色特征匹配，利用基于马尔科夫随机场的纹理匹配算法对每个尺度下的图像修复区域和图像已知区域进行纹理特征匹配，对每个尺度下的图像修复区域和图像已知区域进行颜色和纹理特征匹配，保证匹配的全面性，提高修复精度，对图像修复区域进行修复比对，匹配完成后，获取修复匹配完成后的图像修复区域的图像，即获取匹配图像；对每个尺度下的图像修复区域中的显著性区域不仅仅要进行颜色和纹理特征匹配，还要对其显著性区域进行像素级深度优化，基于局部能量最小化的像素级深度优化方法对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，以获取优化后的图像修复区域的显著性区域图像，即获取优化图像；在对图像修复区域与已知区域进行特征匹配得到了匹配图像以及对显著性区域进行像素级优化后得到优化图像后，利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建，完成图像修复；当图像修复区域有噪声时，对图像修复区域进行除燥，进而提高图像修复效果。本方法将图像分为多个尺度，将多个尺度的图像进行特征进行匹配，提高修复效果，有效减少修复过程中的人为痕迹。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种面向图像修复的多尺度特征匹配方法，其特征在于，包括以下步骤：
利用显著性检测方法对图像修复区域进行显著性检测，以获取图像修复区域中的显著性区域；
通过图像金字塔将图像修复区域和图像已知区域分解为多个尺度；
对每个尺度下的图像修复区域和图像已知区域进行特征匹配，获取匹配图像，包括：通过多特征向量的颜色匹配方式对每个尺度下的图像修复区域和图像已知区域进行颜色特征匹配；利用基于马尔科夫随机场的纹理匹配算法对每个尺度下的图像修复区域和图像已知区域进行纹理特征匹配；
对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像，包括：基于局部能量最小化的像素级深度优化方法对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像；
利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复；
其中：所述基于局部能量最小化的像素级深度优化方法对每个尺度下的图像修复区域中的显著性区域进行像素级深度优化，获取优化图像的方法包括以下步骤：
A1、获取每个尺度下的图像修复区域中的显著性区域的像素；
A2、设定每个像素的标准区域能量；
A3、对每个显著性区域的像素值进行调整使得对应的像素区域能量小于或等于对应的标准区域能量，固定此时的显著性区域的像素值以进行显著性区域像素优化；
A4、判断是否所有的显著性区域的像素值都进行了优化调整，如果是，则结束优化，完成对每个显著性区域的像素级深度优化，获取优化图像；如果否，则进入步骤A3。
2.根据权利要求1所述的一种面向图像修复的多尺度特征匹配方法，其特征在于，所述利用显著性检测方法对图像修复区域进行显著性检测，以获取显著性区域的方法包括以下步骤：
通过全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取显著性区域。
3.根据权利要求2所述的一种面向图像修复的多尺度特征匹配方法，其特征在于，所述通过全局对比度的显著性检测方法对图像修复区域进行显著性检测，以获取显著性区域的方法包括以下步骤：
将图像修复区域划分为多个待检测区域；
赋予每个待检测区域原始显著值；
将每个待检测区域与其余待检测区域进行一一对比，获取每个区域与其他区域的空间距离值，以得到待检测区域的显著值；
根据预设定的显著阈值和待检测区域的显著值进行对比，生成对比结果；
根据对比结果获取显著性区域。
4.根据权利要求3所述的一种面向图像修复的多尺度特征匹配方法，其特征在于，所述根据预设定的显著阈值和待检测区域的显著值进行对比，生成对比结果的方法包括以下步骤：
获取预设定的显著阈值；
判断待检测区域的显著值是否大于预设定的显著阈值，如果是，则生成显著性结果；如果否，则生成非显著性结果。
5.根据权利要求1所述的一种面向图像修复的多尺度特征匹配方法，其特征在于，所述利用多尺度重建方法将匹配图像和优化图像进行多尺度重建，以完成图像修复的方法包括以下步骤：
利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建。
6.根据权利要求5所述的一种面向图像修复的多尺度特征匹配方法，其特征在于，所述利用图像金字塔的逆变换重建方法将匹配图像和优化图像进行多尺度重建的方法包括以下步骤：
分别获取匹配图像和优化图像的多个尺度信息；
根据匹配图像的不同尺度信息，在每个尺度下通过图像金字塔的逆变换对匹配图像进行处理，以得到重建后的匹配图像区域；
根据优化图像的不同尺度信息，在每个尺度下通过图像金字塔的逆变换对优化图像进行处理，以得到重建后的优化图像区域。
7.根据权利要求1所述的一种面向图像修复的多尺度特征匹配方法，其特征在于，还包括以下步骤：
对图像修复区域进行除噪。
CN202010774710.5A 2020-08-04 2020-08-04 一种面向图像修复的多尺度特征匹配方法 Active CN111815543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010774710.5A CN111815543B (zh) 2020-08-04 2020-08-04 一种面向图像修复的多尺度特征匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010774710.5A CN111815543B (zh) 2020-08-04 2020-08-04 一种面向图像修复的多尺度特征匹配方法

Publications (2)

Publication Number Publication Date
CN111815543A CN111815543A (zh) 2020-10-23
CN111815543B true CN111815543B (zh) 2024-02-09

Family

ID=72863558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010774710.5A Active CN111815543B (zh) 2020-08-04 2020-08-04 一种面向图像修复的多尺度特征匹配方法

Country Status (1)

Country Link
CN (1) CN111815543B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569872B (zh) * 2021-08-10 2024-03-19 大连海事大学 一种基于压力显著性的多分辨穿鞋足迹序列识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847255A (zh) * 2010-04-21 2010-09-29 天津大学 一种综合结构信息的图像补全方法
CN105957027A (zh) * 2016-04-22 2016-09-21 西南石油大学 一种基于所需方向结构特征统计的mrf样图像修复方法
CN107945120A (zh) * 2017-11-03 2018-04-20 天津大学 基于样本块的旋转及缩放图像修复算法
CN109859125A (zh) * 2019-01-14 2019-06-07 广东工业大学 基于形态学检测与小波变换的图像高光修复方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731324B1 (en) * 2012-11-02 2014-05-20 Cyberlink Corp. Systems and methods for performing image inpainting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847255A (zh) * 2010-04-21 2010-09-29 天津大学 一种综合结构信息的图像补全方法
CN105957027A (zh) * 2016-04-22 2016-09-21 西南石油大学 一种基于所需方向结构特征统计的mrf样图像修复方法
CN107945120A (zh) * 2017-11-03 2018-04-20 天津大学 基于样本块的旋转及缩放图像修复算法
CN109859125A (zh) * 2019-01-14 2019-06-07 广东工业大学 基于形态学检测与小波变换的图像高光修复方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Yiqun Mei et al.Pyramid Attention Networks for Image Restoration.《arxiv.org/abs/2004.13824》.2020,全文. *
唐露新 ; 张宇维 ; 宋有聚 ; 王小桂 ; 于丽敏 ; .基于形态和小波的低纹理图序列高光修复研究.中国测试.2019,(第04期),全文. *
杜永强 ; .过度曝光图像缺失信息修复算法.科技通报.2016,(第08期),全文. *

Also Published As

Publication number Publication date
CN111815543A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111553858A (zh) 基于生成对抗网络的图像修复方法、系统及其应用
CN111553960B (zh) 一种基于投影均值图像的环状伪影快速校正方法
CN106663315A (zh) 用于对含噪图像去噪的方法
Liu et al. Reconstruction from edge image combined with color and gradient difference for industrial surface anomaly detection
CN111311515B (zh) 一种错误区域自动检测的深度图像快速迭代修复方法
CN111815543B (zh) 一种面向图像修复的多尺度特征匹配方法
Liu et al. Fabric defect detection based on sparse representation of main local binary pattern
Sari et al. Interactive image inpainting of large-scale missing region
CN114913148A (zh) 基于无监督学习的丝印疵点检测方法、装置及存储介质
Dang et al. Multi-resolution patch and window-based priority for digital image inpainting problem
CN111861943B (zh) 一种多尺度像素级深度优化的图像修复方法
Liu et al. Shadow removal of text document images using background estimation and adaptive text enhancement
CN112288680B (zh) 汽车轮毂x射线图像的缺陷区域自动提取方法及系统
Dosselmann et al. A formal assessment of the structural similarity index
CN114529543B (zh) 一种航空发动机外周螺钉垫片的安装检测方法及装置
CN114581433B (zh) 一种获取金属球腔内表面形貌检测图像的方法及系统
CN116188765A (zh) 检测方法、检测装置、检测设备和计算机可读存储介质
Wu et al. A novel hybrid image inpainting model
CN114529515A (zh) 一种自动识别太阳能电池内部缺陷的方法
CN114240915A (zh) 一种基于图像三维重构的裂纹检测算法
CN113160180A (zh) 一种基于深度学习的磁共振图像相位复原方法
Jini et al. Image Inpainting Using Image Interpolation-An Analysis
CN110751658A (zh) 一种基于互信息和点扩散函数的抠图方法
RU2718426C1 (ru) Устройство восстановления папиллярных узоров оптечатка пальца
Qian et al. Depth Restoration with Normal-Guided Multiresolution Superpixel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant