CN111968059A - 一种多补丁匹配的金相图修复方法及装置 - Google Patents
一种多补丁匹配的金相图修复方法及装置 Download PDFInfo
- Publication number
- CN111968059A CN111968059A CN202010879968.1A CN202010879968A CN111968059A CN 111968059 A CN111968059 A CN 111968059A CN 202010879968 A CN202010879968 A CN 202010879968A CN 111968059 A CN111968059 A CN 111968059A
- Authority
- CN
- China
- Prior art keywords
- repaired
- golden
- patch
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000007906 compression Methods 0.000 claims abstract description 31
- 230000006835 compression Effects 0.000 claims abstract description 29
- 238000012216 screening Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000006837 decompression Effects 0.000 claims abstract description 6
- 238000010587 phase diagram Methods 0.000 claims description 58
- 238000004422 calculation algorithm Methods 0.000 claims description 46
- 238000001914 filtration Methods 0.000 claims description 10
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 7
- 239000010931 gold Substances 0.000 claims description 7
- 229910052737 gold Inorganic materials 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 abstract description 10
- 230000006872 improvement Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000008439 repair process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000007769 metal material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种多补丁匹配的金相图修复方法及装置，涉及图像处理技术领域。该方法包括：将金相图转换成灰度图像，加强其边缘信息，以强化边缘数据来确定金相图中的待修复区域。然后通过离散余弦金字塔压缩算法对待修复金相图进行压缩,得到第一待修复金相图，再通过本发明所提算法对第一待修复金相图中的修复边缘区域进行优先级判定，以最优点为补丁中心向其他区域进行搜索并执行多补丁规则匹配，得到第二待修复金相图，最后对第二待修复金相图进行逆离散余弦变换解压，并得到修复后的金相图。上述实现过程中，提出多层金字塔压缩，多补丁优选匹配，欧氏距离筛选等改进对金相图的修复速度与效果均有较好提升，该方法针对金相图像修复问题具有较强的针对性。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种多补丁匹配的金相图修复方法及装置。
背景技术
金相图是金属材料研究的重要数字化工具，但由于在实际制样采集过程中，存在的各类外界因素的干扰，导致金相图的效果较差，对人工观察分析金属材料以及基于计算机的自动定量分析均会造成较大干扰，因此需要对金相图进行修复操作。
目前针对金相图的修复工作，多以各类滤波算法为主，但滤波算法的基本原理决定了该类修复方法只能适用于金相图中小范围噪声的去除，无法对实际制样工艺中引入的大范围噪声进行去除。且金相图中灰度相似区域的噪声去除难度十分大，滤波算法无法区分真实噪声或球形晶界，易在金相图合理区域又重新引入干扰。因此，金相图如有较大污染噪声时，实验人员通常会重新对样品进行相应的制样工序，极大的浪费了人力物力。
发明内容
本发明的目的在于提供一种多补丁匹配的金相图修复方法及装置，用以改善现有技术中无法准确地对包括大范围噪声的金相图进行修复的问题。
第一方面，本申请实施例提供一种多补丁匹配的金相图修复方法，方法包括：确定待修复金相图中的待修复区域。通过压缩算法对待修复金相图进行压缩，得到第一待修复金相图。采用补丁匹配算法对第一待修复金相图中的待修复区域进行修复，得到第二待修复金相图。对第二待修复金相图进行解压，并得到修复后的金相图。
上述实现过程中，先通过压缩算法对待修复金相图进行压缩，以提高后续修复的处理速度，在后续进行修复处理时，采用补丁匹配算法进行修复，能够保证修复后的金相图的准确性，同时还保证了修复后的金相图的修复效果。最后进行解压缩的步骤可以保证得到完整的修复后的金相图。
在本发明的一些实施例中，确定待修复金相图中的待修复区域的步骤之前，方法包括：获取原始金相图，并将原始金相图转换为灰度图像；对灰度图像进行中值滤波处理，以得到待修复金相图。
在本发明的一些实施例中，通过压缩算法对待修复金相图进行压缩，得到第一待修复金相图的步骤，包括：采用余弦离散变换公式对待修复金相图进行多次压缩，余弦离散变换公式为：
(0≤u≤M-1，0≤v≤N-1)，其中，z(u，v)表示待修复金相图，x和y表示待修复金相图中每个像素点的空间域坐标，u和v表示频率域坐标，M×N表示所述待修复金相图中的像素点的个数，
和
均为补偿系数，Z(u,v)表示压缩后的金相图。
上述实现过程中，余弦离散变换多次压缩技术融合补丁匹配算法，可以极大的提高金相图的修复速度，且其相较于机器学习修复方法对计算机配置要求更低，且能达到很好的修复效果。
在本发明的一些实施例中，采用补丁匹配算法对第一待修复金相图中的待修复区域进行修复，得到第二待修复金相图的步骤，包括：确定待修复区域中的目标像素；在补丁库中查找与目标像素匹配的多个补丁；采用结构相似性算法从多个补丁中确定目标补丁；根据目标补丁对待修复区域进行填充。
在本发明的一些实施例中，确定待修复区域中的目标像素的步骤，包括：获取待修复区域的边缘以及边缘上的所有像素点；计算所有像素点的优先级；根据优先级确定目标像素。
在本发明的一些实施例中，根据目标像素在补丁库中查找匹配的多个补丁的步骤之后，采用结构相似性算法从多个补丁中确定目标补丁的步骤之前，还包括：采用欧式距离对多个补丁进行初步筛选。
在本发明的一些实施例中，根据目标像素在补丁库中查找匹配的多个补丁的步骤，包括：根据近似最邻近算法以及筛选规则在所述补丁库中查找与所述目标像素匹配的多个补丁，其中，所述筛选规则包括差值的平方和指标以及结构相似性指标。
第二方面，本申请实施例提供一种多补丁匹配的金相图修复装置，装置包括：待修复区域确定模块，用于确定待修复金相图中的待修复区域。压缩模块，用于通过压缩算法对待修复金相图进行压缩，得到第一待修复金相图。修复模块，用于采用补丁匹配算法对第一待修复金相图中的待修复区域进行修复，得到第二待修复金相图。解压模块，用于对第二待修复金相图进行解压，并得到修复后的金相图。
在本发明的一些实施例中，该装置还包括：灰度转换模块，用于获取原始金相图，并将原始金相图转换为灰度图像；滤波模块，用于对灰度图像进行中值滤波处理，以得到待修复金相图。
在本发明的一些实施例中，压缩模块包括：压缩单元，用于采用余弦离散变换公式对待修复金相图进行多次压缩，余弦离散变换公式为：
(0≤u≤M-1，0≤v≤N-1)，其中，z(u，v)表示待修复金相图，x和y表示待修复金相图中每个像素点的空间域坐标，u和v表示频率域坐标，M×N表示所述待修复金相图中的像素点的个数，
和
均为补偿系数，Z(u,v)表示压缩后的金相图。
在本发明的一些实施例中，修复模块包括：目标像素确定单元，用于确定待修复区域中的目标像素。补丁查找单元，用于在补丁库中查找与目标像素匹配的多个补丁。目标补丁确定单元，用于采用结构相似性算法从多个补丁中确定目标补丁。填充单元，用于根据目标补丁对待修复区域进行填充。
在本发明的一些实施例中，目标像素确定单元包括：像素点获取子单元，用于获取待修复区域的边缘以及边缘上的所有像素点；优先级计算子单元，用于计算所有像素点的优先级；目标像素计算子单元，用于根据优先级确定目标像素。
在本发明的一些实施例中，修复模块还包括：筛选单元，用于采用欧式距离对多个补丁进行初步筛选。
在本发明的一些实施例中，补丁查找单元包括：补丁查找子单元，用于根据近似最邻近算法以及筛选规则在所述补丁库中查找与所述目标像素匹配的多个补丁，其中，所述筛选规则包括差值的平方和指标以及结构相似性指标。
第三方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种多补丁匹配的金相图修复方法的流程图；
图2为本发明实施例提供的一种大规模噪声修复效果图；
图3为本发明实施例提供的一种小规模噪声修复效果图；
图4为本发明实施例提供的一种多补丁匹配的金相图修复装置的结构框图；
图5为本发明实施例提供的一种电子设备的结构框图。
图标：100-多补丁匹配的金相图修复装置；110-待修复区域确定模块；120-压缩模块；130-修复模块；140-解压模块；101-存储器；102-处理器；103-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
请参看图1，图1为本发明实施例提供的一种多补丁匹配的金相图修复方法的流程图，该多补丁匹配的金相图修复方法包括如下步骤：
步骤S110：确定待修复金相图中的待修复区域。
待修复金相图中的待修复区域可以根据用户的选择进行确定。例如，用户在待修复金相图中用具有一定形状的框选工具选择出待修复区域。待修复金相图中的待修复区域还可以根据图像识别的方法进行确定。例如，可以利用图像识别模型对待修复金相图进行识别，得到的识别结果则可确定为待修复区域。其中，为了避免待修复区域在修复时被其他因素影响，可以将待修复区域设置为白色区域，以保证在后续进行修复时，仅对待修复区域进行修复。此外，待修复区域可以是大面积研磨液残留的区域、有水滴痕迹的区域以及研磨划痕的区域等。
步骤S120：通过压缩算法对待修复金相图进行压缩，得到第一待修复金相图。
由于图像类型的数据中存在很多冗余信息，如，空间冗余信息、时间冗余信息以及视觉冗余信息等。其中，一幅图像表面上各采样点的颜色之间往往存在着空间连贯性，其中有颜色相同的块，因此可以对颜色相同的块进行压缩，从而避免空间冗余信息。时间冗余信息一般是针对于视频或者运动图像，运动图像或者视频一般为位于一时间轴区间的一组连续画面，其中的相邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略有不同，所以后一帧的数据与前一帧的数据有许多共同的地方，这种共同性是由于相邻帧记录了相邻时刻的同一场景画面，所以称为时间冗余。人类的视觉系统由于受生理特性的限制，对于图像场的注意是非均匀的，人对细微的颜色差异感觉不明显，也就产生了视觉冗余。
通过压缩算法可以减少待修复金相图中的冗余信息，从而减少图像数据量，以提高后续对其进行处理的效率。可以理解地，第一待修复金相图中也包括有修复区域。
步骤S130：采用补丁匹配算法对第一待修复金相图中的待修复区域进行修复，得到第二待修复金相图。
采用补丁匹配算法进行修复时，由于可以根据待修复区域直接匹配相对应的补丁，并将匹配的补丁填充在待修复区域中，大大的提高了修复的速度。此外，采用补丁匹配算法对待修复区域进行修复时，根据待修复区域确定好的补丁对待修复区域进行填充，直至待修复区域填充完毕。其中，选择的补丁的大小需要合适，如在对金相图进行修复时，由于金相图像中部分纹理细节修复要求较高，补丁越大，修复后的局部细节展示越不充分，因此选用的补丁大小一般为3-9个单位像素。
步骤S140：对第二待修复金相图进行解压，并得到修复后的金相图。
解压后可以得到整体的修复后的金相图，能够得到更完整的金相图，以便于用户进行后续的处理。其中，可以根据反离散余弦变换公式IDCT完成压缩图像的还原，得到最终的修复后金相图，其中IDCT公式为
0≤x≤M-1，0≤y≤N-1。
上述实现过程中，先通过压缩算法对待修复金相图进行压缩，以提高后续修复的处理速度，在后续进行修复处理时，采用补丁匹配算法进行修复，能够保证修复后的金相图的准确性，同时还保证了修复后的金相图的修复效果。最后进行解压缩的步骤可以保证得到完整的修复后的金相图。
在本发明的一些实施例中，在确定待修复金相图中的待修复区域之前，可以通过以下步骤获取待修复的金相图。首先获取原始金相图，并将原始金相图转换为灰度图像，然后对灰度图像进行中值滤波处理，以得到待修复金相图。
在本发明的一些实施例中，通过压缩算法对待修复金相图进行压缩，得到第一待修复金相图的步骤，包括：采用余弦离散变换公式对待修复金相图进行多次压缩，余弦离散变换公式为：
(0≤u≤M-1，0≤v≤N-1)，其中，z(u，v)表示待修复金相图，x和y表示待修复金相图中每个像素点的空间域坐标，u和v表示频率域坐标，M×N表示所述待修复金相图中的像素点的个数，
和
均为补偿系数，Z(u,v)表示压缩后的金相图。
余弦离散变换(Discrete Cosine Transform，DCT)主要运用于数据或图像的压缩。由于DCT能够将空域的信号转换到频域上，因此具有良好的去相关性的性能。DCT变换本身是无损的且具有对称性。
其中，为了保证出力速度与压缩后的处理效果，可以采用余弦离散变换公式对待修复金相图进行三次至五次的压缩。余弦离散变换多次压缩技术融合补丁匹配算法，可以极大的提高金相图的修复速度，且其相较于机器学习修复方法对计算机配置要求更低，且能达到很好的修复效果。
在本发明的一些实施例中，在采用补丁匹配算法对第一待修复金相图中的待修复区域进行修复时，可以先确定待修复区域中的目标像素，然后在补丁库中查找与目标像素匹配的多个补丁，再使用结构相似性指标从多个补丁中确定目标补丁，最后根据目标补丁对待修复区域进行填充。
其中，在根据目标像素在补丁库中查找匹配的多个补丁时，可以根据近似最邻近算法以及筛选规则在所述补丁库中查找与所述目标像素匹配的多个补丁，其中，所述筛选规则包括差值的平方和指标以及结构相似性指标。
其中，差值的平方和指标SSD的计算公式为：
其中，i、j分别代表本文所提补丁库中的补丁以及查找到的补丁。
结构相似性指标SSIM的计算公式为：
其中μx、μy分别表示样本X和Y的均值，σx、σy分别表示样本X和Y的方差，σxy表示图像X和Y的协方差。
在本发明的一些实施例中，确定待修复区域中的目标像素时，可以先获取待修复区域的边缘以及边缘上的所有像素点，然后计算所有像素点的优先级，最后根据优先级确定目标像素。
在本发明的一些实施例中，根据目标像素在补丁库中查找匹配的多个补丁的步骤之后，采用结构相似性算法从多个补丁中确定目标补丁的步骤之前，还包括：采用欧式距离对多个补丁进行初步筛选。
其中，欧式距离的计算公式为：
PT,PX分别代表两个补丁，X、Y则代表相应补丁中心像素点的欧式坐标轴的像素坐标。
以压缩后的待修复金相图的待修复区域的边缘像素点为中心，根据以该边缘像素点的中心范围内的已知区域与受损区域比例，计算整体边缘的修复优先级。如，设待修复金相图为Ω，则δΩ为已知区域与受损区域的边界，p为当前优先值最高的像素，Ψp为以p点为中心的区域，
为p点的等照度线方向，np为过p点垂直于边界的单位法向量，9×9为默认补丁大小，p点优先权P(p)的优先级计算公式为P(p)＝C(p)*D(p)，其中，置信度项C(p)和梯度数据项D(p)的计算为：
根据中心点位置，以近似最近邻搜索算法寻找最优补丁候选。例如，设优先级最高的样本块为Ψp，Ψq为图像已知区域中的样本块，最优匹配块应满足下式：Ψ'q＝arg min(SSD(Ψ'q,Ψp))，其中SSD表示差值的平方和指标。根据该近似最近邻搜索算法可以寻找出多个最优补丁，从其中确定出一个目标补丁。如，根据上述方法选出10个最优补丁，然后分别计算各个补丁与待修复区域的欧式距离进行初步筛选，减少候选补丁数，最后根据结构相似性指标，计算出各补丁与目标区域的相似度，选出最优补丁，以上述中心点进行补丁填充。重复该过程，直至完成待修复区域的修复工作。请参看图2以及图3，图2中的原始图为原始金相图，经过本申请提供的多补丁匹配的金相图修复方法对其进行修复后，可以得到图2中的修复图，可以看到原始图中大范围的噪声被修复，且修复效果好。图3中的原始图中包括有多个小规模的噪声a、b、c、d以及e，经过本方法的修复后，得到图3中的修复图。
基于同样的发明构思，本发明还提出一种多补丁匹配的金相图修复装置100，请参看图4，图4为本发明实施例提供的一种多补丁匹配的金相图修复装置100的结构框图。该多补丁匹配的金相图修复装置100包括：
待修复区域确定模块110，用于确定待修复金相图中的待修复区域。
压缩模块120，用于通过压缩算法对待修复金相图进行压缩，得到第一待修复金相图。
修复模块130，用于采用补丁匹配算法对第一待修复金相图中的待修复区域进行修复，得到第二待修复金相图。
解压模块140，用于对第二待修复金相图进行解压，并得到修复后的金相图。
在本发明的一些实施例中，该装置还包括：
灰度转换模块，用于获取原始金相图，并将原始金相图转换为灰度图像。
滤波模块，用于对灰度图像进行中值滤波处理，以得到待修复金相图。
在本发明的一些实施例中，压缩模块包括：
压缩单元，用于采用余弦离散变换公式对待修复金相图进行多次压缩，余弦离散变换公式为：
其中，z(u，v)表示待修复金相图，x和y表示待修复金相图中每个像素点的空间域坐标，u和v表示频率域坐标，M×N表示所述待修复金相图中的像素点的个数，
和
均为补偿系数，Z(u,v)表示压缩后的金相图。
在本发明的一些实施例中，修复模块包括：
目标像素确定单元，用于确定待修复区域中的目标像素。
补丁查找单元，用于在补丁库中查找与目标像素匹配的多个补丁。
目标补丁确定单元，用于采用结构相似性算法从多个补丁中确定目标补丁。
填充单元，用于根据目标补丁对待修复区域进行填充。
在本发明的一些实施例中，目标像素确定单元包括：
像素点获取子单元，用于获取待修复区域的边缘以及边缘上的所有像素点。
优先级计算子单元，用于计算所有像素点的优先级。
目标像素计算子单元，用于根据优先级确定目标像素。
在本发明的一些实施例中，修复模块还包括：
筛选单元，用于采用欧式距离对多个补丁进行初步筛选。
在本发明的一些实施例中，补丁查找单元包括：
补丁查找子单元，用于根据近似最邻近算法以及筛选规则在所述补丁库中查找与所述目标像素匹配的多个补丁，其中，所述筛选规则包括差值的平方和指标以及结构相似性指标。
请参阅图5，图5为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，如本申请实施例所提供的多补丁匹配的金相图修复装置100对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解，图5所示的结构仅为示意，电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上，本申请实施例提供的一种多补丁匹配的金相图修复方法及装置，方法包括：确定待修复金相图中的待修复区域。通过压缩算法对待修复金相图进行压缩，得到第一待修复金相图。采用补丁匹配算法对第一待修复金相图中的待修复区域进行修复，得到第二待修复金相图。对第二待修复金相图进行解压，并得到修复后的金相图。上述实现过程中，先通过压缩算法对待修复金相图进行压缩，以提高后续修复的处理速度，在后续进行修复处理时，采用补丁匹配算法进行修复，能够保证修复后的金相图的准确性，同时还保证了修复后的金相图的修复效果。最后进行解压缩的步骤可以保证得到完整的修复后的金相图。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种多补丁匹配的金相图修复方法，其特征在于，所述方法包括：
确定待修复金相图中的待修复区域；
通过压缩算法对所述待修复金相图进行压缩，得到第一待修复金相图；
采用补丁匹配算法对所述第一待修复金相图中的待修复区域进行修复，得到第二待修复金相图；
对所述第二待修复金相图进行解压，并得到修复后的金相图。
2.如权利要求1所述的方法，其特征在于，确定待修复金相图中的待修复区域的步骤之前，所述方法包括：
获取原始金相图，并将所述原始金相图转换为灰度图像；
对所述灰度图像进行中值滤波处理，以得到待修复金相图。
3.如权利要求1所述的方法，其特征在于，通过压缩算法对所述待修复金相图进行压缩，得到第一待修复金相图的步骤，包括：
采用余弦离散变换公式对所述待修复金相图进行多次压缩，所述余弦离散变换公式为：
(0≤u≤M-1，0≤v≤N-1)
其中，z(u，v)表示所述待修复金相图，x和y表示所述待修复金相图中每个像素点的空间域坐标，u和v表示频率域坐标，M×N表示所述待修复金相图中的像素点的个数，
和
均为补偿系数，Z(u,v)表示压缩后的金相图。
4.如权利要求1所述的方法，其特征在于，采用补丁匹配算法对所述第一待修复金相图中的待修复区域进行修复，得到第二待修复金相图的步骤，包括：
确定所述待修复区域中的目标像素；
在补丁库中查找与所述目标像素匹配的多个补丁；
采用结构相似性算法从所述多个补丁中确定目标补丁；
根据所述目标补丁对所述待修复区域进行填充。
5.如权利要求4所述的方法，其特征在于，确定所述待修复区域中的目标像素的步骤，包括：
获取所述待修复区域的边缘以及所述边缘上的所有像素点；
计算所述所有像素点的优先级；
根据所述优先级确定所述目标像素。
6.如权利要求4所述的方法，其特征在于，所述根据所述目标像素在补丁库中查找匹配的多个补丁的步骤之后，所述采用结构相似性算法从所述多个补丁中确定目标补丁的步骤之前，还包括：
采用欧式距离对所述多个补丁进行初步筛选。
7.如权利要求4所述的方法，其特征在于，根据所述目标像素在补丁库中查找匹配的多个补丁的步骤，包括：
根据近似最邻近算法以及筛选规则在所述补丁库中查找与所述目标像素匹配的多个补丁，其中，所述筛选规则包括差值的平方和指标以及结构相似性指标。
8.一种多补丁匹配的金相图修复装置，其特征在于，所述装置包括：
待修复区域确定模块，用于确定待修复金相图中的待修复区域；
压缩模块，用于通过压缩算法对所述待修复金相图进行压缩，得到第一待修复金相图；
修复模块，用于采用补丁匹配算法对所述第一待修复金相图中的待修复区域进行修复，得到第二待修复金相图；
解压模块，用于对所述第二待修复金相图进行解压，并得到修复后的金相图。
9.一种电子设备，其特征在于，包括：
存储器，用于存储一个或多个程序；
处理器；
当所述一个或多个程序被所述处理器执行时，实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879968.1A CN111968059B (zh) | 2020-08-27 | 2020-08-27 | 一种多补丁匹配的金相图修复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010879968.1A CN111968059B (zh) | 2020-08-27 | 2020-08-27 | 一种多补丁匹配的金相图修复方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111968059A true CN111968059A (zh) | 2020-11-20 |
| CN111968059B CN111968059B (zh) | 2024-03-08 |
Family
ID=73399600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010879968.1A Active CN111968059B (zh) | 2020-08-27 | 2020-08-27 | 一种多补丁匹配的金相图修复方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968059B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6049632A (en) * | 1995-10-27 | 2000-04-11 | University Of Strathclyde | Data compression |
| JP2006279442A (ja) * | 2005-03-29 | 2006-10-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| US20070248272A1 (en) * | 2006-04-19 | 2007-10-25 | Microsoft Corporation | Vision-Based Compression |
| KR101361075B1 (ko) * | 2012-08-17 | 2014-02-10 | 한림대학교 산학협력단 | 구조행렬을 이용한 예제기반 영상 인페인팅 방법 |
| US20140064614A1 (en) * | 2012-09-06 | 2014-03-06 | Cyberlink Corp. | Systems and Methods for Multi-Resolution Inpainting |
| CN104376535A (zh) * | 2014-11-04 | 2015-02-25 | 徐州工程学院 | 一种基于样本的快速图像修复方法 |
| US10127631B1 (en) * | 2017-03-02 | 2018-11-13 | Snap Inc. | Automatic image inpainting using local patch statistics |
| CN109544465A (zh) * | 2018-10-23 | 2019-03-29 | 天津大学 | 基于尺度变换的图像损坏块修复方法 |
-
2020
- 2020-08-27 CN CN202010879968.1A patent/CN111968059B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6049632A (en) * | 1995-10-27 | 2000-04-11 | University Of Strathclyde | Data compression |
| JP2006279442A (ja) * | 2005-03-29 | 2006-10-12 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
| US20070248272A1 (en) * | 2006-04-19 | 2007-10-25 | Microsoft Corporation | Vision-Based Compression |
| KR101361075B1 (ko) * | 2012-08-17 | 2014-02-10 | 한림대학교 산학협력단 | 구조행렬을 이용한 예제기반 영상 인페인팅 방법 |
| US20140064614A1 (en) * | 2012-09-06 | 2014-03-06 | Cyberlink Corp. | Systems and Methods for Multi-Resolution Inpainting |
| CN104376535A (zh) * | 2014-11-04 | 2015-02-25 | 徐州工程学院 | 一种基于样本的快速图像修复方法 |
| US10127631B1 (en) * | 2017-03-02 | 2018-11-13 | Snap Inc. | Automatic image inpainting using local patch statistics |
| CN109544465A (zh) * | 2018-10-23 | 2019-03-29 | 天津大学 | 基于尺度变换的图像损坏块修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111968059B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jam et al. | A comprehensive review of past and present image inpainting methods | |
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| CN109840556B (zh) | 一种基于孪生网络的图像分类识别方法 | |
| CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| CN109583345B (zh) | 道路识别方法、装置、计算机装置及计算机可读存储介质 | |
| CN111681273A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN104751147A (zh) | 一种图像识别方法 | |
| CN111814753A (zh) | 针对雾天条件下的目标检测方法和装置 | |
| CN110782424B (zh) | 图像融合方法、装置、电子设备及计算机可读存储介质 | |
| CN111131688B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN109829925B (zh) | 一种在抠图任务中提取干净前景的方法及模型训练方法 | |
| CN114627244A (zh) | 三维重建方法及装置、电子设备、计算机可读介质 | |
| JP2019125203A (ja) | 目標認識装置、目標認識方法、プログラム及び畳み込みニューラルネットワーク | |
| CN114758145A (zh) | 一种图像脱敏方法、装置、电子设备及存储介质 | |
| CN111445388A (zh) | 一种图像超分辨重建模型训练方法、船只跟踪方法及装置 | |
| Frantc et al. | Machine learning approach for objective inpainting quality assessment | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| Liu et al. | Image super-resolution via hierarchical and collaborative sparse representation | |
| CN113570725A (zh) | 基于聚类的三维表面重建方法、装置、服务器及存储介质 | |
| CN111968059B (zh) | 一种多补丁匹配的金相图修复方法及装置 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN115861922A (zh) | 一种稀疏烟火检测方法、装置、计算机设备及存储介质 | |
| Mathur et al. | A real-time super-resolution for surveillance thermal cameras using optimized pipeline on embedded edge device | |
| CN114723973A (zh) | 大尺度变化鲁棒的图像特征匹配方法及装置 | |
| Voronin et al. | A vision system using depth inpainting for virtual content reconstruction in Augmented Reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |