CN116843572A - 一种基于坐标的图像修复方法 - Google Patents

一种基于坐标的图像修复方法 Download PDF

Info

Publication number
CN116843572A
CN116843572A CN202310811272.9A CN202310811272A CN116843572A CN 116843572 A CN116843572 A CN 116843572A CN 202310811272 A CN202310811272 A CN 202310811272A CN 116843572 A CN116843572 A CN 116843572A
Authority
CN
China
Prior art keywords
texture
incomplete
repaired
area
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310811272.9A
Other languages
English (en)
Other versions
CN116843572B (zh
Inventor
陈刚
邹国霞
张丽英
喻强
蔡斌
姚剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Institute
Original Assignee
Guangdong Polytechnic Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Institute filed Critical Guangdong Polytechnic Institute
Priority to CN202310811272.9A priority Critical patent/CN116843572B/zh
Publication of CN116843572A publication Critical patent/CN116843572A/zh
Application granted granted Critical
Publication of CN116843572B publication Critical patent/CN116843572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于坐标的图像修复方法，通过先对待修复图像的纹理进行识别，在能够识别出过渡区域中的残缺纹理时，通过获取识别结果对应的图样以及残缺纹理的坐标来对待修复区域进行修复。在无法识别出过渡区域中的残缺纹理时，则是直接通过残缺纹理对待修复区域进行修复。因此本申请可以在无法识别出纹理特征的时候完成修复，适用范围更广。同时两种情况都会基于残缺纹理来对待修复区域进行修复，考虑了图像本身的纹理特征，修复的纹理更加符合待修复图像本身的特征，保留了更多的图像信息，减少了信息失真的情况。

Description

一种基于坐标的图像修复方法
技术领域
本发明涉及图像修复技术领域，具体是一种基于坐标的图像修复方法。
背景技术
许多学科，如医学、植物学、设计学，都会采集事物的纹理图像，并依靠纹理图像来进行工作。例如医学中会利用病人的肺部纹理来进行症状推断，植物学中会利用叶片纹理来研究植物形态等。
但是在一些情况下，这些纹理图像会因为各种原因(如噪声)丢失部分细节。从而导致图像的信息丢失。现有的图像修复方法，如通过神经网络预测图像进行修复，需要对纹理图像中的纹理成功识别后，才能进行修复，适用范围不广。同时，现有的图像修复神经网络，如生成对抗网络，在对图像进行修复时，没有根据具体图像的实际结构进行修复，容易造成图像信息的失真。
发明内容
有鉴于此，本发明的目的是提供一种基于坐标的图像修复方法，以解决现有图像修复技术中适用范围不广、且容易造成图像信息失真的问题。
为了实现上述目的，本发明采用了如下技术方案：
本发明的一种基于坐标的图像修复方法，包括步骤：
确定待修复图像的待修复区域和完整区域；并确定所述待修复区域和所述完整区域之间的过渡区域，其中，所述过渡区域包括残缺纹理，所述过渡区域围绕所述待修复区域分布；
通过预先建立的识别模型对所述过渡区域中的纹理特征进行识别；
在所述过渡区域中存在可识别的残缺纹理时，确定残缺纹理的类别；从预先建立的纹理库中得到与所述残缺纹理的类别对应的纹理图样，并结合所述纹理图样以及所述残缺纹理的坐标对所述待修复区域进行修复；
在所述过渡区域中不存在可识别的所述残缺纹理时，基于所述残缺纹理对所述待修复区域进行修复。
在本申请一实施例中，结合所述纹理图样以及所述残缺纹理的坐标对所述待修复区域进行修复，包括：
将所述纹理图像与所述残缺纹理进行叠加，得到待修复区域的第一修复纹理；
基于所述残缺纹理的坐标生成进行纹理预测，得到待修复区域的第二修复纹理；
将所述第一修复纹理与所述第二修复纹理进行融合，完成对所述待修复区域的修复。
在本申请一实施例中，将所述纹理图像与所述残缺纹理进行叠加，得到待修复区域的第一修复纹理，包括：
建立重叠的第一图层和第二图层，并将所述纹理图样放置在所述第一图层，以及将所述待修复图像放置在所述第二图层；
对所述第一图层中的纹理图样进行处理，以使得所述纹理图样与所述过渡区域中所述部分缺失的纹理特征对应重合，其中，处理方式包括拉伸、旋转、镜像、缩放其中之一或者多个组合，所述纹理图样的像素点与所述过渡区域中所述部分缺失的纹理特征的像素点重合率超过预设阈值时，判定所述纹理图样与所述过渡区域中所述部分缺失的纹理特征对应重合；
将所述第一图层中与所述待修复图像的完整区域对应的部分去除，并将所述第一图层、以及所述第二图层合并，得到待修复区域的第一修复纹理。
在本申请一实施例中，所述待修复图像的灰度图像，其中，基于所述残缺纹理的坐标生成进行纹理预测，得到待修复区域的第二修复纹理，包括：
提取所述残缺纹理的边缘像素点的坐标；
以所述边缘像素点的坐标为输入，并结合预先建立的预测模型，得到预测纹理的边缘像素点的坐标；
基于所述预测纹理的边缘像素点的坐标确定所述预测纹理的边缘。
在本申请一实施例中，还包括如下方法建立预测模型：
获取与所述残缺纹理类别相同的多个纹理样本图像；
确定所述多个纹理样本图像中的纹理边缘像素点的坐标，并基于每一个纹理样本图像的纹理边缘像素点的坐标建立序列，其中，所述序列包括多个按照顺时针或者逆时针排列的纹理边缘像素点的坐标；
将每一个序列拆分为多个训练数据和与训练数据对应的验证数据，其中，训练数据包括一部分纹理边缘像素点的坐标，验证数据包括另一部分纹理边缘像素点的坐标；
基于所述训练数据集对循环神经网络进行训练，得到纹理像素点预测模型，其中，所述循环神经网络的输入和输出的关系为多对多。
在本申请一实施例中，将所述第一修复纹理与所述第二修复纹理进行融合，包括：
获得所述残缺纹理的平均灰度值，其中，所述平均灰度值为所述残缺纹理中多个第一采样点的灰度值的平均值；
确定所述第二修复纹理的目标边缘的像素点An(i1,j1)；
从所述第一修复纹理中的对应边缘中确定与每一个像素点An(i1,j1)距离最近的像素点Am(i2,j2)，其中，所述目标边缘与所述对应边缘的形状一致或者近似；
确定融合像素点Rn(i3,j3)的坐标，其中，所述融合像素点Rn(i3,j3)的数学表达式为：
其中，l1为所述目标边缘中的第一目标点与所述过渡区域的最短直线距离，l2为所述目标边缘中的第二目标点与所述过渡区域的最短直线距离，所述第一目标点为所述目标边缘中距离所述过渡区域最近的点，所述第二目标点为所述目标边缘中距离所述过渡区域最远的点；
基于多个融合像素点建立融合边缘，并在所述融合边缘形成封闭区域时，基于所述平均灰度值对所述封闭区域内的所有像素点进行赋值，完成融合。
在本申请一实施例中，确定待修复图像的待修复区域和完整区域，包括：
将待修复图像中像素的RGB值转换为灰度值，得到灰度图像，其中，灰度转换的数学表达式为：
Gray(i,j)＝R(i,j)×0.3+G(i,j)×0.59+B(i,j)×0.11
其中，(i,j)为像素点的坐标，Gray(i,j)为像素点的灰度值，R(i,j)为像素点的红色通道值，G(i,j)为像素点的绿色通道值，B(i,j)为像素点的蓝色通道值
对所述灰度图像的破损区域进行框选，并对所述框选部分的像素点进行涂抹，得到待修复区域；并将框选外的区域作为完整区域；对所述框选部分的像素点进行涂抹，得到待修复区域，包括：对所述过渡区域的背景部分进行采样，得到多个第二采样点的灰度值；对所述多个第二采样点的灰度值求平均值，得到目标灰度值；基于所述目标灰度值对框选区域内的像素点进行赋值，得到待修复区域。
在本申请一实施例中，基于所述残缺纹理对所述待修复区域进行修复，包括：
确定所述过渡区域内的所有独立残缺纹理，其中，所述过渡区域内的相邻独立残缺纹理相互分离，所述确定所述残缺纹理与所述框选窗口相交的一条或者多条相交线；
从所述独立残缺纹理中截取宽度为n个像素点的纹理段，其中，所述纹理段包括与所述相交线平行的第一切口边和与所述相交线重合的第二切口边；
对所述纹理段进行平移和缩放，以使得所述纹理段的第一切口边与所述相交线完全重合，得到新的独立残缺纹理；
从所述新的独立残缺纹理中截取宽度为n个像素点的纹理段，并回到对所述纹理段进行平移和缩放，直至满足目标条件之一，完成对所述待修复区域的修复，所述目标条件包括：
所述新的残缺纹理的末端宽度收敛至一个像素；
所述新的残缺纹理的末端到达所述框选窗口。
在本申请一实施例中，还包括：
确定任意两个相邻的纹理段的连接点；
对所有连接点进行圆角处理，以使得新的残缺纹理的边缘为平滑曲线。
在本申请一实施例中，还包括如下过程建立识别模型：
获取预先建立的纹理库，所述纹理库中包括多个纹理图样以及所述多个纹理图样的标签，其中，所述标签用于标识纹理图样的类别；
提取所述纹理图样的纹理边缘；
对所述纹理图样的纹理边缘进行处理，并将所述纹理图样的纹理边缘、以及处理后的纹理图样的纹理边缘进行裁切，得到训练数据，其中，处理方式包括拉伸、旋转、镜像、缩放其中之一或者多个组合，裁切的训练数据的宽度为目标值；
基于所述训练数据以及所述训练数据对应的标签对人工神经网络进行训练，得到识别模型。
本发明的有益效果是：本发明的一种基于坐标的图像修复方法，通过先对待修复图像的纹理进行识别，在能够识别出过渡区域中的残缺纹理时，通过获取识别结果对应的图样以及残缺纹理的坐标来对待修复区域进行修复。在无法识别出过渡区域中的残缺纹理时，则是直接通过残缺纹理对待修复区域进行修复。因此本申请可以在无法识别出纹理特征的时候完成修复，适用范围更广。同时两种情况都会基于残缺纹理来对待修复区域进行修复，考虑了图像本身的纹理特征，修复的纹理更加符合待修复图像本身的特征，保留了更多的图像信息，减少了信息失真的情况。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1是本申请一实施例中示出的一种基于坐标的图像修复方法的流程图；
图2为本申请一实施例中示出的待修复区域和完整区域的确定过程图；
图3为本申请一实施例中示出的对框选部分进行涂抹的流程图；
图4为本申请一实施例中示出的对纹理进行识别的流程图；
图5为本申请一实施例中示出的纹理修复的流程图；
图6为本申请一实施例中示出的第一修复纹理的生成流程图；
图7为本申请一实施例中示出的第一修复纹理的生成流程图；
图8为本申请一实施例中示出的第一修复纹理与第二修复纹理融合的流程图
图9为本申请另一实施例中示出的纹理修复的流程图；
图10是本申请一实施例中示出的一种基于坐标的图像修复系统的结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的层而非按照实际实施时的层数目、形状及尺寸绘制，其实际实施时各层的型态、数量及比例可为一种随意的改变，且其层布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的。
图1是本申请一实施例中示出的一种基于坐标的图像修复方法的流程图，如图1所示：本实施例的一种基于坐标的图像修复方法，可以包括步骤S110至步骤S140：
S110，确定待修复图像的待修复区域和完整区域；并确定所述待修复区域和所述完整区域之间的过渡区域，其中，所述过渡区域包括残缺纹理，所述过渡区域围绕所述待修复区域分布；
在本申请中，待修复图像的待修复区域为人工标注的区域，由于待修复图像的破损部分难以通过图像识别进行自动标注。为了便于后续图像处理，本实施例中，采用人工标注的方式来确定待修复图像的待修复区域和完整区域。
为了减少本申请中的图像处理数据量，本实施例中，通过圈定一个过渡区域来对待修复区域进行修复。过渡区域中包括了残缺纹理，残缺纹理即为本申请实际需要修复的对象。因此圈定了包含残缺纹理的过渡区域，不考虑其他完整区域的图像信息，可以有效地减少需要处理的信息量，提交修复效率。
图2为本申请一实施例中示出的待修复区域和完整区域的确定过程图。如图2所示，确定过程可以包括步骤S111至步骤S113：
S111，将待修复图像中像素的RGB值转换为灰度值，得到灰度图像，其中，灰度转换的数学表达式为：
Gray(i,j)＝R(i,j)×0.3+G(i,j)×0.59+B(i,j)×0.11
其中，(i,j)为像素点的坐标，Gray(i,j)为像素点的灰度值，R(i,j)为像素点的红色通道值，G(i,j)为像素点的绿色通道值，B(i,j)为像素点的蓝色通道值；
通过上述公式可以将彩色图像转换为灰度图像，并使得图像的亮度信息更加突出，以便于后续的图像处理和分析。
S112，对所述灰度图像的破损区域进行框选，并对所述框选部分的像素点进行涂抹，得到待修复区域；并将框选外的区域作为完整区域；对所述框选部分的像素点进行涂抹，得到待修复区域，包括：对所述过渡区域的背景部分进行采样，得到多个第二采样点的灰度值；对所述多个第二采样点的灰度值求平均值，得到目标灰度值；
在本实施例中，采用矩形框来对破损区域进行规范化处理。矩形框的每一条边均与破损区域的边缘相切，可以使得待修复区域的面积最小。
S113，基于所述目标灰度值对框选区域内的像素点进行赋值，得到待修复区域。
在本实施例中，对框选部分的像素点进行赋值(涂抹)是为了将待修复区域的内部信息重置。以便于后续修复纹理时，不会存在原有的图像信息对修复信息进行干扰。
具体地，本申请在进行涂抹时，会参考待修复图像的背景部分，直接将背景部分的灰度值赋予至框选部分中，后续在修复纹理时。只需要修复纹理，不需要再对背景进行处理。
图3为本申请一实施例中示出的对框选部分进行赋值的流程图，如图3所示，对框选部分进行涂抹的步骤包括步骤11301-步骤S11302：
步骤11301，对所述过渡区域的背景部分进行采样，得到多个采样点的灰度值。
步骤11302，对所述多个采样点的灰度值求平均值，得到目标灰度值。
步骤11303，基于所述目标灰度值对框选区域内的像素点进行赋值，得到待修复区域。
在本实施例中，通过对背景部分进行采样，然后求平均值。得到大致的背景信息，然后将背景信息赋予至框选部分，即可使得待修复区域的灰度与待修复图像的背景一致。后续只需要对纹理进行修复即可。
背景部分与纹理，可以采样灰度值进行区分。例如，灰度值范围在(0-120)像素点为纹理像素点，灰度值范围在(200-240)的像素点为背景像素点。具体的取值范围可以根据图片类型提前进行设定。
S120，通过预先建立的识别模型对所述过渡区域中的纹理特征进行识别；
在本申请中，通过建立识别模型的方式来对纹理特征进行识别。由于纹理特征包含的信息较多，为了简化纹理的内部信息，提高识别速度。本实施例中，提取纹理的边缘进行识别，即将纹理内部的信息简化，只保留纹理的轮廓信息进行识别。
本申请通过如下过程建立识别模型：
获取预先建立的纹理库，所述纹理库中包括多个纹理图样以及所述多个纹理图样的标签，其中，所述标签用于标识纹理图样的类别；
提取所述纹理图样的纹理边缘；
对所述纹理图样的纹理边缘进行处理，并将所述纹理图样的纹理边缘、以及处理后的纹理图样的纹理边缘进行裁切，得到训练数据，其中，处理方式包括拉伸、旋转、镜像、缩放其中之一或者多个组合，裁切的训练数据的宽度为目标值；
基于所述训练数据以及所述训练数据对应的标签对人工神经网络进行训练，得到识别模型。
纹理库是从现有的纹理图像中提取的若干具有代表性的纹理图样构建的数据库。每一个纹理图样都标注有标签，以标注纹理的类型，如“橡树纵切纹理0021”。由于在本申请图像修复的过程中，需要对残缺纹理的边缘进行识别，因此需要把完整纹理图像进行边缘提取后再进行裁切，以使得训练出的模型具有对残缺纹理的边缘进行识别的能力。通过对纹理图样的纹理边缘进行拉伸、旋转、镜像、缩放等方式的处理，可以增加训练数据的多样性，提高模型识别的泛化性。
本申请由于是对图像进行识别，因此可以采用CNN卷积神经网络进行训练。
得到识别模型后，再通过识别模型对为纹理进行识别。
图4为本申请一实施例中示出的对纹理进行识别的流程图，具体的识别过程包括步骤S121-步骤S122：
步骤S121，根据预先建立的边缘提取算子提取灰度转换后的待修复图像，得到待修复图像的纹理边缘；
步骤S122，根据预先建立的识别模型对所述待修复图像的纹理边缘进行识别。
本申请中的边缘提取算子可以是Roberts算子、Sobe l算子等。通过边缘提取算子提取过渡区域中的纹理边缘，然后对纹理边缘进行识别。从而实现对待修复图像中的所有纹理特征进行识别。
S130，在所述过渡区域中存在可识别的残缺纹理时，确定残缺纹理的类别；从预先建立的纹理库中得到与所述残缺纹理的类别对应的纹理图样，并结合所述纹理图样以及所述残缺纹理的坐标对所述待修复区域进行修复；
过渡区域中的残缺纹理如果被成功识别出，也就是说可以利用纹理库中的纹理图样对残缺纹理进行修复。但是纹理图像的图像信息并不会完全与原图像中的残缺纹理一致。因此，本实施例中，采用纹理图样覆盖+基于神经网络预测的方式来融合修复信息，从而使得修复的纹理更接近原有纹理。
图5为本申请一实施例中示出的纹理修复的流程图，如图5所示，具体的修复过程包括步骤S131-步骤S133：
S131，将所述纹理图像与所述残缺纹理进行叠加，得到待修复区域的第一修复纹理；
S132，基于所述残缺纹理的坐标生成进行纹理预测，得到待修复区域的第二修复纹理；
S133，将所述第一修复纹理与所述第二修复纹理进行融合，完成对所述待修复区域的修复。
本实施例中，第一修复纹理通过纹理图像与残缺纹理叠加得到，更有利于保留纹理的图形整体性。第二修复纹理则是通过基于残缺纹理预测生成，与残缺纹理的衔接自然。通过融合第一修复纹理和第二修复纹理便可以同时得到上述两个优点。
图6为本申请一实施例中示出的第一修复纹理的生成流程图，如图6所示，第一修复纹理的生成过程包括：
步骤S13101，建立重叠的第一图层和第二图层，并将所述纹理图样放置在所述第一图层，以及将所述待修复图像放置在所述第二图层；
步骤S13102，对所述第一图层中的纹理图样进行处理，以使得所述纹理图样与所述过渡区域中所述部分缺失的纹理特征对应重合，其中，处理方式包括拉伸、旋转、镜像、缩放其中之一或者多个组合；
所述纹理图样的像素点与所述过渡区域中所述部分缺失的纹理特征的像素点重合率超过预设阈值时，判定所述纹理图样与所述过渡区域中所述部分缺失的纹理特征对应重合；
在本实施例中，通过对第一图层中的纹理图样进行拉伸、旋转、镜像、缩放等处理，使得第一图层中纹理图样与第二图层中超过80％的纹理特征的像素点重合，即可判定二者重合到位。
步骤S13103，将所述第一图层中与所述待修复图像的完整区域的部分去除，并将所述第一图层、以及所述第二图层合并，得到待修复区域的第一修复纹理。
重合到位后，由于待修复区域中已经存在了背景灰度，因此直接保留待修复区域中的纹理图样，去除纹理图样的其他部分，即可利用纹理图样对待修复区域进行初次修复。
图7为本申请一实施例中示出的第二修复纹理的生成流程图，如图7所示，所述待修复图像的灰度图像，其中，基于所述残缺纹理的坐标生成进行纹理预测，得到待修复区域的第二修复纹理，包括：
步骤S13201，提取所述残缺纹理的边缘像素点的坐标；
步骤S13202，以所述边缘像素点的坐标为输入，并结合预先建立的预测模型，得到预测纹理的边缘像素点的坐标；
步骤S13203，基于所述预测纹理的边缘像素点的坐标确定所述预测纹理的边缘。
本申请基于RNN循环神经网络来建立预测模型，基于残缺纹理的边缘像素点的坐标来生成预测纹理的边缘像素点坐标，从而得到预测的第二修复纹理。
在本申请一实施例中，还包括如下方法建立预测模型：
获取与所述残缺纹理类别相同的多个纹理样本图像；
确定所述多个纹理样本图像中的纹理边缘像素点的坐标，并基于每一个纹理样本图像的纹理边缘像素点的坐标建立序列，其中，所述序列包括多个按照顺时针或者逆时针排列的纹理边缘像素点的坐标；
将每一个序列拆分为多个训练数据和与训练数据对应的验证数据，其中，训练数据包括一部分纹理边缘像素点的坐标，验证数据包括另一部分纹理边缘像素点的坐标；
基于所述训练数据集对循环神经网络进行训练，得到纹理像素点预测模型，其中，所述循环神经网络的输入和输出的关系为多对多。
循环神经网络(Recurrent Neural Network,RNN)是一类以序列(sequence)数据为输入，在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)。
循环神经网络已经运用到各种序列预测场景中，因此，具体的预测原理本申请不再赘述。
在本申请中，由于纹理的复杂度较高，因此距离残缺纹理越远，第二修复纹理的准确度越差。但是本申请通过融合第一修复纹理的方法解决这一问题。在融合策略上，基于与残缺纹理的距离设定第一修复纹理和第二修复纹理的权重，以使得与残缺纹理距离越近的地方，第二修复纹理的权重越高，与残缺纹理的衔接更加自然，与残缺纹理距离越远的地方，第一修复纹理的权重越高，使得修复的纹理整体性更强。
图8为本申请一实施例中示出的第一修复纹理与第二修复纹理融合的流程图，如图8所示，将所述第一修复纹理与所述第二修复纹理进行融合，包括：
获得所述残缺纹理的平均灰度值，其中，所述平均灰度值为所述残缺纹理中多个第一采样点的灰度值的平均值；
步骤S13301，确定所述第二修复纹理的目标边缘的像素点An(i1,j1)；
步骤S13302，从所述第一修复纹理中的对应边缘中确定与每一个像素点An(i1,j1)距离最近的像素点Am(i2,j2)，其中，所述目标边缘与所述对应边缘的形状一致或者近似；
步骤S13303，确定融合像素点Rn(i3,j3)的坐标，其中，所述融合像素点Rn(i3,j3)的数学表达式为：
其中，l1为所述目标边缘中的第一目标点与所述过渡区域的最短直线距离，l2为所述目标边缘中的第二目标点与所述过渡区域的最短直线距离，所述第一目标点为所述目标边缘中距离所述过渡区域最近的点，所述第二目标点为所述目标边缘中距离所述过渡区域最远的点；
上述融合公式中，需要先将第二修复纹理中的像素点与第一修复纹理中的像素点进行配对，然后基于配对的像素点进行位置融合，重新确定边缘像素点的位置。因此，本申请中通过手动标注的方式将第一修复纹理和第二修复纹理中形状相近或者形状一致的边缘进行配对，然后将配对的边缘中距离最近的像素点进行配对。
配对之后，确定目标边缘中与过渡区域(残缺纹理)直线距离最近和最远的两个像素点，这两个像素点代表了目标边缘中像素点与过渡区域的距离范围。利用这个距离进行加权，使得融合像素点Rn(i3,j3)的坐标与残缺纹理越近时，与第二修复纹理越近似，融合像素点Rn(i3,j3)的坐标与残缺纹理越远时，与第一修复纹理越近似。从而既能使得融合纹理距离第二修复纹理的衔接自然的优点，又能保证较强的整体性。
步骤S13304，基于多个融合像素点建立融合边缘，并在所述融合边缘形成封闭区域时，基于所述平均灰度值对所述封闭区域内的所有像素点进行赋值，完成融合。
最后，对得到的融合边缘内的像素点进行赋值，使得融合边缘内的灰度值与残缺纹理一致，即可得到融合后的修复纹理。
S140，在所述过渡区域中不存在可识别的所述残缺纹理时，基于所述残缺纹理对所述待修复区域进行修复。
在过渡区域中的残缺纹理不可识别时，便无法利用现有的纹理库进行处理。由于无法识别，也无法使用同类的纹理图像来训练预测模型。因此本实施例采用如下过程进行修复。
图9为本申请另一实施例中示出的纹理修复的流程图，如图9所示，包括：
步骤S141，确定所述过渡区域内的所有独立残缺纹理，其中，所述过渡区域内的相邻独立残缺纹理相互分离，所述确定所述残缺纹理与所述框选窗口相交的一条或者多条相交线；
在本实施例中，需要对每一个分离的纹理进行单独修复，因此需要将在过渡区域内分离的各个纹理进行单独处理。从而保证每一个独立残缺纹理都能得到对应的修复。
步骤S142，从所述独立残缺纹理中截取宽度为n个像素点的纹理段，其中，所述纹理段包括与所述相交线平行的第一切口边和与所述相交线重合的第二切口边；
本实施例中，通过对每一个独立残缺纹理进行切段，得到保留切口两侧形状信息的纹理段。例如，其中一个独立残缺纹理的走势是向右的。切割出来纹理段就接近一个向右偏的平行四边形。如果独立残缺纹理的边缘纹理是曲线，那么纹理段还会保留其中的曲线特征。
步骤S143，对所述纹理段进行平移和缩放，以使得所述纹理段的第一切口边与所述相交线完全重合，得到新的独立残缺纹理；
步骤S144，从所述新的独立残缺纹理中截取宽度为n个像素点的纹理段，并回到对所述纹理段进行平移和缩放，直至满足目标条件之一，完成对所述待修复区域的修复，所述目标条件包括：
(1)所述新的残缺纹理的末端宽度收敛至一个像素；
(2)所述新的残缺纹理的末端到达所述框选窗口。
在本实施例中，通过不断地对纹理段进行采集，并将纹理段重合至独立残缺纹理中，便可以顺着原有残缺纹理的方向进行修复。同时还能保留其边缘特征，从而使得修复得到纹理能够保留原有信息。
在不断进行修复后，如果待修复区域中的纹理收敛至一个像素，表明将原来处于收敛趋势的残缺纹理修复至一个尖端，无法进行再次修复，此时完成修复。此外，如果无法修复至一个尖端，在新的残缺纹理的末端到达所述框选窗口时，表明修复的纹理已经与过渡区域内的原有纹理融合，此时完成修复。
在本申请一实施例中，还包括：
确定任意两个相邻的纹理段的连接点；
对所有连接点进行圆角处理，以使得新的残缺纹理的边缘为平滑曲线。
由于本实施例中是通过不断地叠加纹理段的方式进行修复，修复得到的纹理边缘容易出现毛刺，因此通过进一步地曲线拟合，灰度值填充，可以使得修复效果更佳。
本发明的一种基于坐标的图像修复方法，通过先对待修复图像的纹理进行识别，在能够识别出过渡区域中的残缺纹理时，通过获取识别结果对应的图样以及残缺纹理的坐标来对待修复区域进行修复。在无法识别出过渡区域中的残缺纹理时，则是直接通过残缺纹理对待修复区域进行修复。因此本申请可以在无法识别出纹理特征的时候完成修复，适用范围更广。同时两种情况都会基于残缺纹理来对待修复区域进行修复，考虑了图像本身的纹理特征，修复的纹理更加符合待修复图像本身的特征，保留了更多的图像信息，减少了信息失真的情况。
如图10所示，本申请还提供一种基于坐标的图像修复系统，包括：
确定模块，用于确定待修复图像的待修复区域和完整区域；并确定所述待修复区域和所述完整区域之间的过渡区域，其中，所述过渡区域包括残缺纹理，所述过渡区域围绕所述待修复区域分布；
识别模块，用于通过预先建立的识别模型对所述过渡区域中的纹理特征进行识别；
第一修复模块，用于在所述过渡区域中存在可识别的残缺纹理时，确定残缺纹理的类别；从预先建立的纹理库中得到与所述残缺纹理的类别对应的纹理图样，并结合所述纹理图样以及所述残缺纹理的坐标对所述待修复区域进行修复；
第二修复模块，用于在所述过渡区域中不存在可识别的所述残缺纹理时，基于所述残缺纹理对所述待修复区域进行修复。
本发明的一种基于坐标的图像修复系统，通过先对待修复图像的纹理进行识别，在能够识别出过渡区域中的残缺纹理时，通过获取识别结果对应的图样以及残缺纹理的坐标来对待修复区域进行修复。在无法识别出过渡区域中的残缺纹理时，则是直接通过残缺纹理对待修复区域进行修复。因此本申请可以在无法识别出纹理特征的时候完成修复，适用范围更广。同时两种情况都会基于残缺纹理来对待修复区域进行修复，考虑了图像本身的纹理特征，修复的纹理更加符合待修复图像本身的特征，保留了更多的图像信息，减少了信息失真的情况。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
存储器用于存储计算机程序，处理器用于执行存储器存储的计算机程序，以使终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于坐标的图像修复方法，其特征在于，包括步骤：
确定待修复图像的待修复区域和完整区域；并确定所述待修复区域和所述完整区域之间的过渡区域，其中，所述过渡区域包括残缺纹理，所述过渡区域围绕所述待修复区域分布；
通过预先建立的识别模型对所述过渡区域中的纹理特征进行识别；
在所述过渡区域中存在可识别的残缺纹理时，确定残缺纹理的类别；从预先建立的纹理库中得到与所述残缺纹理的类别对应的纹理图样，并结合所述纹理图样以及所述残缺纹理的坐标对所述待修复区域进行修复；
在所述过渡区域中不存在可识别的所述残缺纹理时，基于所述残缺纹理对所述待修复区域进行修复。
2.根据权利要求1所述的一种基于坐标的图像修复方法，其特征在于，结合所述纹理图样以及所述残缺纹理的坐标对所述待修复区域进行修复，包括：
将所述纹理图像与所述残缺纹理进行叠加，得到待修复区域的第一修复纹理；
基于所述残缺纹理的坐标生成进行纹理预测，得到待修复区域的第二修复纹理；
将所述第一修复纹理与所述第二修复纹理进行融合，完成对所述待修复区域的修复。
3.根据权利要求2所述的一种基于坐标的图像修复方法，其特征在于，将所述纹理图像与所述残缺纹理进行叠加，得到待修复区域的第一修复纹理，包括：
建立重叠的第一图层和第二图层，并将所述纹理图样放置在所述第一图层，以及将所述待修复图像放置在所述第二图层；
对所述第一图层中的纹理图样进行处理，以使得所述纹理图样与所述过渡区域中所述部分缺失的纹理特征对应重合，其中，处理方式包括拉伸、旋转、镜像、缩放其中之一或者多个组合，所述纹理图样的像素点与所述过渡区域中所述部分缺失的纹理特征的像素点重合率超过预设阈值时，判定所述纹理图样与所述过渡区域中所述部分缺失的纹理特征对应重合；
将所述第一图层中与所述待修复图像的完整区域对应的部分去除，并将所述第一图层、以及所述第二图层合并，得到待修复区域的第一修复纹理。
4.根据权利要求2所述的一种基于坐标的图像修复方法，其特征在于，所述待修复图像的灰度图像，其中，基于所述残缺纹理的坐标生成进行纹理预测，得到待修复区域的第二修复纹理，包括：
提取所述残缺纹理的边缘像素点的坐标；
以所述边缘像素点的坐标为输入，并结合预先建立的预测模型，得到预测纹理的边缘像素点的坐标；
基于所述预测纹理的边缘像素点的坐标确定所述预测纹理的边缘。
5.根据权利要求4所述的一种基于坐标的图像修复方法，其特征在于，还包括如下方法建立预测模型：
获取与所述残缺纹理类别相同的多个纹理样本图像；
确定所述多个纹理样本图像中的纹理边缘像素点的坐标，并基于每一个纹理样本图像的纹理边缘像素点的坐标建立序列，其中，所述序列包括多个按照顺时针或者逆时针排列的纹理边缘像素点的坐标；
将每一个序列拆分为多个训练数据和与训练数据对应的验证数据，其中，训练数据包括一部分纹理边缘像素点的坐标，验证数据包括另一部分纹理边缘像素点的坐标；
基于所述训练数据集对循环神经网络进行训练，得到纹理像素点预测模型，其中，所述循环神经网络的输入和输出的关系为多对多。
6.根据权利要求2所述的一种基于坐标的图像修复方法，其特征在于，将所述第一修复纹理与所述第二修复纹理进行融合，包括：
获得所述残缺纹理的平均灰度值，其中，所述平均灰度值为所述残缺纹理中多个第一采样点的灰度值的平均值；
确定所述第二修复纹理的目标边缘的像素点An(i1,j1)；
从所述第一修复纹理中的对应边缘中确定与每一个像素点An(i1,j1)距离最近的像素点Am(i2,j2)，其中，所述目标边缘与所述对应边缘的形状一致或者近似；
确定融合像素点Rn(i3,j3)的坐标，其中，所述融合像素点Rn(i3,j3)的数学表达式为：
其中，l1为所述目标边缘中的第一目标点与所述过渡区域的最短直线距离，l2为所述目标边缘中的第二目标点与所述过渡区域的最短直线距离，所述第一目标点为所述目标边缘中距离所述过渡区域最近的点，所述第二目标点为所述目标边缘中距离所述过渡区域最远的点；
基于多个融合像素点建立融合边缘，并在所述融合边缘形成封闭区域时，基于所述平均灰度值对所述封闭区域内的所有像素点进行赋值，完成融合。
7.根据权利要求1所述的一种基于坐标的图像修复方法，其特征在于，确定待修复图像的待修复区域和完整区域，包括：
将待修复图像中像素的RGB值转换为灰度值，得到灰度图像，其中，灰度转换的数学表达式为：
Gray(i,j)＝R(i,j)×0.3+G(i,j)×0.59+B(i,j)×011
其中，(i,j)为像素点的坐标，Gray(i,j)为像素点的灰度值，R(i,j)为像素点的红色通道值，G(i,j)为像素点的绿色通道值，B(i,j)为像素点的蓝色通道值
对所述灰度图像的破损区域进行框选，并对所述框选部分的像素点进行涂抹，得到待修复区域；并将框选外的区域作为完整区域；对所述框选部分的像素点进行涂抹，得到待修复区域，包括：对所述过渡区域的背景部分进行采样，得到多个第二采样点的灰度值；对所述多个第二采样点的灰度值求平均值，得到目标灰度值；基于所述目标灰度值对框选区域内的像素点进行赋值，得到待修复区域。
8.根据权利要求7所述的一种基于坐标的图像修复方法，其特征在于，基于所述残缺纹理对所述待修复区域进行修复，包括：
确定所述过渡区域内的所有独立残缺纹理，其中，所述过渡区域内的相邻独立残缺纹理相互分离，所述确定所述残缺纹理与所述框选窗口相交的一条或者多条相交线；
从所述独立残缺纹理中截取宽度为n个像素点的纹理段，其中，所述纹理段包括与所述相交线平行的第一切口边和与所述相交线重合的第二切口边；
对所述纹理段进行平移和缩放，以使得所述纹理段的第一切口边与所述相交线完全重合，得到新的独立残缺纹理；
从所述新的独立残缺纹理中截取宽度为n个像素点的纹理段，并回到对所述纹理段进行平移和缩放，直至满足目标条件之一，完成对所述待修复区域的修复，所述目标条件包括：
所述新的残缺纹理的末端宽度收敛至一个像素；
所述新的残缺纹理的末端到达所述框选窗口。
9.根据权利要求8所述的一种基于坐标的图像修复方法，其特征在于，还包括：
确定任意两个相邻的纹理段的连接点；
对所有连接点进行圆角处理，以使得新的残缺纹理的边缘为平滑曲线。
10.根据权利要求1所述的一种基于坐标的图像修复方法，其特征在于，还包括如下过程建立识别模型：
获取预先建立的纹理库，所述纹理库中包括多个纹理图样以及所述多个纹理图样的标签，其中，所述标签用于标识纹理图样的类别；
提取所述纹理图样的纹理边缘；
对所述纹理图样的纹理边缘进行处理，并将所述纹理图样的纹理边缘、以及处理后的纹理图样的纹理边缘进行裁切，得到训练数据，其中，处理方式包括拉伸、旋转、镜像、缩放其中之一或者多个组合，裁切的训练数据的宽度为目标值；
基于所述训练数据以及所述训练数据对应的标签对人工神经网络进行训练，得到识别模型。
CN202310811272.9A 2023-07-03 2023-07-03 一种基于坐标的图像修复方法 Active CN116843572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310811272.9A CN116843572B (zh) 2023-07-03 2023-07-03 一种基于坐标的图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310811272.9A CN116843572B (zh) 2023-07-03 2023-07-03 一种基于坐标的图像修复方法

Publications (2)

Publication Number Publication Date
CN116843572A true CN116843572A (zh) 2023-10-03
CN116843572B CN116843572B (zh) 2024-04-05

Family

ID=88166553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310811272.9A Active CN116843572B (zh) 2023-07-03 2023-07-03 一种基于坐标的图像修复方法

Country Status (1)

Country Link
CN (1) CN116843572B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724327A (zh) * 2020-06-29 2020-09-29 成都数之联科技有限公司 图像修复模型训练方法及系统及图像修复方法
CN113129234A (zh) * 2021-04-20 2021-07-16 河南科技学院 一种场内外特征融合的残缺图像精细修复方法
US20220076459A1 (en) * 2019-05-16 2022-03-10 Samsung Electronics Co., Ltd. Image optimization method, apparatus, device and storage medium
CN116051407A (zh) * 2022-10-21 2023-05-02 昆明理工大学 一种图像修复方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220076459A1 (en) * 2019-05-16 2022-03-10 Samsung Electronics Co., Ltd. Image optimization method, apparatus, device and storage medium
CN111724327A (zh) * 2020-06-29 2020-09-29 成都数之联科技有限公司 图像修复模型训练方法及系统及图像修复方法
CN113129234A (zh) * 2021-04-20 2021-07-16 河南科技学院 一种场内外特征融合的残缺图像精细修复方法
CN116051407A (zh) * 2022-10-21 2023-05-02 昆明理工大学 一种图像修复方法

Also Published As

Publication number Publication date
CN116843572B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN108230339B (zh) 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
US11556797B2 (en) Systems and methods for polygon object annotation and a method of training an object annotation system
Wang et al. Densefusion: 6d object pose estimation by iterative dense fusion
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN110070536B (zh) 一种基于深度学习的pcb板元器件检测方法
CN111382785B (zh) 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN114898352A (zh) 一种同时实现图像去雾与车牌检测的方法
CN114677502B (zh) 一种任意倾斜角度的车牌检测方法
CN111582021A (zh) 场景图像中的文本检测方法、装置及计算机设备
CN112149535B (zh) 一种结合SegNet和U-Net的车道线检测方法和装置
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN112819840B (zh) 一种融合深度学习与传统处理的高精度图像实例分割方法
CN112883795B (zh) 一种基于深度神经网络的表格快速自动提取方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN115512169B (zh) 基于梯度和区域亲和力优化的弱监督语义分割方法及装置
CN113673482B (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及系统
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN113077419A (zh) 用于髋关节ct影像识别的信息处理方法及装置
CN113793357A (zh) 一种基于深度学习的支气管肺段图像分割方法及系统
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN114359286A (zh) 一种基于人工智能的绝缘子缺陷识别方法、设备及介质
CN114820541A (zh) 基于重构网络的缺陷检测方法
CN114241344A (zh) 一种基于深度学习的植物叶片病虫害严重程度评估方法
CN113935961A (zh) 一种鲁棒性乳腺钼靶mlo视角图像胸肌分割方法
CN116843572B (zh) 一种基于坐标的图像修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant