CN116630205B - 一种图像处理方法、智能终端及存储介质 - Google Patents

一种图像处理方法、智能终端及存储介质 Download PDF

Info

Publication number
CN116630205B
CN116630205B CN202310885619.4A CN202310885619A CN116630205B CN 116630205 B CN116630205 B CN 116630205B CN 202310885619 A CN202310885619 A CN 202310885619A CN 116630205 B CN116630205 B CN 116630205B
Authority
CN
China
Prior art keywords
image
area
restoration
target image
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310885619.4A
Other languages
English (en)
Other versions
CN116630205A (zh
Inventor
高群
叶碧发
郑富文
吕福康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jiadi Technology Co ltd
Original Assignee
Shenzhen Jiadi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jiadi Technology Co ltd filed Critical Shenzhen Jiadi Technology Co ltd
Priority to CN202310885619.4A priority Critical patent/CN116630205B/zh
Publication of CN116630205A publication Critical patent/CN116630205A/zh
Application granted granted Critical
Publication of CN116630205B publication Critical patent/CN116630205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、智能终端及存储介质，属于图像修复领域，其方法包括：获取目标图像，并计算目标图像中异常区域的区域面积；判断区域面积是否大于预设的面积阈值；若大于，通过神经网络对目标图像进行图像修复，得到第一修复图像；若不大于，通过修复算法对目标图像进行图像修复，得到第二修复图像。本申请首先确定目标图像的区域面积，并基于区域面积选择图像修复方式，在区域面积大于面积阈值时，表明图像较复杂，此时采用神经网络对目标图像进行图像修复，神经网络相比于修复算法，可以通过学习从真实图像到受损图像之间的映射关系，生成自然的第一修复图像，并且可以修复大面积的图像受损，从而实现更好的图像修复效果。

Description

一种图像处理方法、智能终端及存储介质
技术领域
本申请涉及图像修复领域，尤其是涉及一种图像处理方法、智能终端及存储介质。
背景技术
图像修复技术作为图像处理技术中的一种，主要用于恢复和改善图像质量，以及提高图像的清晰度和细节等方面，目前被广泛应用于计算机视觉、医学影像、文化遗产保护、电影视频后期制作等领域。
在现有的图像修复技术中，通常采用插值、边缘保持等算法修复图像。在对图像进行修复时，需要根据图像复原过程的基本假设模型选择相应的修复算法，例如图像复原过程的基本假设为假设边缘具有一定的几何和统计规律，则相应的修复算法为边缘保持算法。
由于图像修复需要根据图像复原过程的基本假设模型选择相应的修复算法，但在处理复杂的图像时，基于图像复原过程的基本假设模型的图像修复算法可能无法准确地捕捉到图像的真实特征和信息，从而导致修复结果出现不自然的纹理或噪声添加，造成图像修复效果较差。
发明内容
为了有效提高图像修复效果，本申请提供一种图像处理方法、智能终端及存储介质。
第一方面，本申请提供的一种图像处理方法采用如下的技术方案：
一种图像处理方法，包括：
获取目标图像，并计算所述目标图像中异常区域的区域面积；
判断所述区域面积是否大于预设的面积阈值；
若大于，通过神经网络对所述目标图像进行图像修复，得到第一修复图像；
若不大于，通过修复算法对所述目标图像进行图像修复，得到第二修复图像。
通过采用上述技术方案，首先确定目标图像的区域面积，并基于区域面积选择图像修复方式，在区域面积大于面积阈值时，表明图像较复杂，此时采用神经网络对目标图像进行图像修复，神经网络相比于修复算法，可以通过学习从真实图像到受损图像之间的映射关系，生成自然的第一修复图像，并且可以修复大面积的图像受损，从而实现更好的图像修复效果。
可选的，所述计算所述目标图像中异常区域的区域面积，包括：
将所述目标图像分割为多个待测图像块；
分别计算每个所述待测图像块上异常待测区域的待测面积；
将每个所述异常待测区域的所述待测面积相加，得到所述目标图像中异常区域的区域面积。
通过采用上述技术方案，通过将目标图像分割成多个待测图像块，并分别计算每个待测图像块中异常待测区域的面积，最终将所有异常待测区域的待测面积相加，得到整个目标图像中异常区域的区域面积，有效降低计算复杂度，同时，便于有效统计目标图像上的异常区域的区域面积。
可选的，所述通过神经网络对所述目标图像进行图像修复，得到第一修复图像，包括：
获取训练数据集；
基于所述训练数据集，构建生成器和判决器网络；
对所述生成器和判决器网络进行对抗性训练；
在训练后将所述生成器和判决器网络作为神经网络对所述目标图像进行图像修复，得到第一修复图像。
通过采用上述技术方案，利用神经网络进行图像修复，便于自动学习图像的纹理、结构和特征等信息；通过对抗性训练，使生成器和判决器网络相互协作，便于提高修复效果的真实性和自然度。
可选的，在所述在训练后将所述生成器和判决器网络作为神经网络对所述目标图像进行图像修复，得到第一修复图像之后，包括：
获取所述第一修复图像的评价区域，并获取所述目标图像中与所述评价区域对应的原始评价区域；
基于第一图像质量评价指标，计算所述评价区域与所述原始评价区域的图像误差值；
基于第二图像质量评价指标，计算所述评价区域与所述原始评价区域的图像相似度值；
基于所述图像误差值和所述图像相似度值，得到所述第一修复图像与所述目标图像的第一差异程度。
通过采用上述技术方案，图像误差值和图像质量评价指标的计算便于定量评估第一修复图像与目标图像之间的第一差异程度，同时便于客观地评估图像修复效果。
可选的，所述第一差异程度包括严重差异和轻微差异；
所述基于所述图像误差值和所述图像相似度值，得到所述第一修复图像与所述目标图像的第一差异程度，包括：
若所述图像误差值大于预设的误差值阈值，且所述图像相似度值小于预设的相似度阈值，判定所述第一修复图像与所述目标图像的第一差异程度为所述严重差异；
若所述图像误差值小于或等于所述误差值阈值，且所述图像相似度值大于或等于所述相似度阈值，判定所述第一修复图像与所述目标图像的第一差异程度为所述轻微差异。
通过采用上述技术方案，将第一修复图像与目标图像的差异程度分为严重差异和轻微差异两类，便于更加准确地评估图像修复的效果；根据预设的误差值阈值和相似度阈值进行分类判定，避免了主观判断的偏差和误差，使评估结果更加客观和准确。
可选的，在所述基于所述图像误差值和所述图像相似度值，得到所述第一修复图像与所述目标图像的第一差异程度之后，包括：
若所述第一差异程度为所述严重差异，按照预设的缩小比例缩小所述评价区域，得到缩小评价区域，并获取所述目标图像中与所述缩小评价区域对应的原始缩小评价区域；
获取所述缩小评价区域的缩小区域面积；
在所述缩小区域面积大于预设的缩小面积阈值时，基于所述第一图像质量评价指标，计算所述缩小评价区域与所述原始缩小评价区域的缩小图像误差值；
基于所述第二图像质量评价指标，计算所述缩小评价区域与所述原始缩小评价区域的缩小图像相似度值；
基于所述缩小图像误差值和所述缩小图像相似度值，得到所述第一修复图像与所述目标图像的第二差异程度。
通过采用上述技术方案，根据第一差异程度将评价区域进行缩小，便于更加准确地评估图像修复的效果；根据第一图像质量评价指标和第二图像质量评价指标，定量地计算缩小评价区域与原始缩小评价区域的图像误差值和相似性值，便于更加准确地评估图像修复效果。
可选的，所述修复算法包括去噪算法和去纹理算法；
所述通过修复算法对所述目标图像进行图像修复，得到第二修复图像，包括：
基于所述去噪算法对所述目标图像进行去噪，得到去噪图像；
基于所述去纹理算法对所述去噪图像的不自然纹理进行去除，得到所述第二修复图像。
通过采用上述技术方案，去噪算法便于有效消除图像中的噪声，提高图像质量，去纹理算法便于去除图像中的不自然纹理，使图像更加真实，通过综合考虑去噪算法和去纹理算法，便于有效地修复目标图像，从而有效提高图像修复效率。
第二方面，本申请提供的一种智能终端采用如下的技术方案：
一种智能终端，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了上述的图像处理方法。
通过采用上述技术方案，通过将上述的图像处理方法生成计算机程序，并存储于存储器中，以被处理器加载并执行，从而，根据存储器及处理器制作智能终端，方便使用。
第三方面，本申请提供的一种计算机可读存储介质采用如下的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，采用了上述的图像处理方法。
通过采用上述技术方案，通过将上述的图像处理方法生成计算机程序，并存储于计算机可读存储介质中，以被处理器加载并执行，通过计算机可读存储介质，方便计算机程序的可读及存储。
综上所述，本申请具有以下至少一种有益技术效果：
1．首先确定目标图像的区域面积，并基于区域面积选择图像修复方式，在区域面积大于面积阈值时，表明图像较复杂，此时采用神经网络对目标图像进行图像修复，神经网络相比于修复算法，可以通过学习从真实图像到受损图像之间的映射关系，生成自然的第一修复图像，并且可以修复大面积的图像受损，从而实现更好的图像修复效果。
2．将第一修复图像与目标图像的差异程度分为严重差异和轻微差异两类，便于更加准确地评估图像修复的效果；根据预设的误差值阈值和相似度阈值进行分类判定，避免了主观判断的偏差和误差，使评估结果更加客观和准确。
3．通过将目标图像分割成多个待测图像块，并分别计算每个待测图像块中异常待测区域的面积，最终将所有异常待测区域的待测面积相加，得到整个目标图像中异常区域的区域面积，有效降低计算复杂度，同时，便于有效统计目标图像上的异常区域的区域面积。
附图说明
图1是本申请实施例一种图像处理方法的其中一种实施方式的流程示意图。
图2是本申请实施例一种图像处理方法的其中一种实施方式的流程示意图。
图3是本申请实施例一种图像处理方法的其中一种实施方式的流程示意图。
图4是本申请实施例一种图像处理方法的其中一种实施方式的流程示意图。
图5是本申请实施例一种图像处理方法的其中一种实施方式的流程示意图。
图6是本申请实施例一种图像处理方法的其中一种实施方式的流程示意图。
图7是本申请实施例一种图像处理方法的其中一种实施方式的流程示意图。
具体实施方式
以下结合附图1至7对本申请作进一步详细说明。
本申请实施例公开一种图像处理方法。
参照图1，一种图像处理方法包括如下步骤：
S101、获取目标图像，并计算目标图像中异常区域的区域面积。
目标图像为受损图像，例如被污染的图像、一部分区域被遮挡的图像等。目标图像中的异常区域指受损区域，例如若目标图像为一部分区域被遮挡的图像，则异常区域为被遮挡的区域，区域面积为被遮挡区域的面积。
本实施例中，可通过图像处理软件，例如MATLAB或ImageJ等计算目标图像中异常区域的区域面积。
S102、判断区域面积是否大于预设的面积阈值。
若区域面积大于面积阈值，表明目标图像的异常区域的区域面积较大，导致目标图像的复杂度较高；若区域面积不大于面积阈值，表明目标图像的异常区域的区域面积较小，导致目标图像的复杂度较低。
S103、若大于，通过神经网络对目标图像进行图像修复，得到第一修复图像。
在本实施例中，若区域面积大于面积阈值，则通过生成对抗网络（GAN）对目标图像进行图像修复，修复后的图像为第一修复图像。具体的，生成对抗网络（GAN）是一种基于神经网络的生成模型，其由两个神经网络组成：生成器网络和判决器网络。生成器网络和判决器网络通过对抗学习的方式进行训练，使生成器网络能够生成逼真的样本数据，而判决器网络则能够准确地区分真实数据和生成数据。生成对抗网络（GAN）基于对抗性训练的方式，可通过学习从真实图像到受损图像之间的映射关系，生成自然的修复图像，并且可修复大面积的图像受损，提高图像修复效率。
S104、若不大于，通过修复算法对目标图像进行图像修复，得到第二修复图像。
若区域面积小于面积阈值，则通过修复算法对目标图像进行图像，修复后的图像为第二修复图像。具体的，修复算法可以为双线性插值、双立方插值等算法，即通过对目标图像的异常区域进行插值实现图像修复。
本实施例的实施原理为：首先确定目标图像的区域面积，并基于区域面积选择图像修复方式，在区域面积大于面积阈值时，表明图像较复杂，此时采用神经网络对目标图像进行图像修复，神经网络相比于修复算法，可以通过学习从真实图像到受损图像之间的映射关系，生成自然的第一修复图像，并且可以修复大面积的图像受损，从而实现更好的图像修复效果。
在本实施例的其中一种实施方式中，参照图2，计算目标图像中异常区域的区域面积，包括如下步骤：
S201、将目标图像分割为多个待测图像块。
将目标图像分割为多个待测图像块采用图像分割算法，图像分割算法可以为基于区域生长的算法、基于边缘的算法、基于聚类的算法。具体的，基于区域生长的算法指将目标图像分成若干个连续的区域，每个区域具有一定的相似性，此算法从种子点开始，不断将与其相邻的像素加入同一区域，直到无法添加更多像素；基于边缘的算法指将图像分成若干个边缘或轮廓，每个边缘或轮廓分别表示不同的图像区域。该算法通常使用边缘检测算法提取图像的边缘信息，并根据不同的边缘连接方式和区域合并规则来实现图像分割；基于聚类的算法指将图像像素分成若干个聚类，每个聚类包含具有相似像素值的像素点，通常使用聚类算法来实现图像分割，如K均值聚类、谱聚类等。
S202、分别计算每个待测图像块上异常待测区域的待测面积。
每个待测图像块上异常待测区域的待测面积可根据图像处理工具进行计算，图像处理工具可为MATLAB或ImageJ等图像处理软件。
S203、将每个异常待测区域的待测面积相加，得到目标图像中异常区域的区域面积。
目标图像中异常区域的区域面积为每个异常待测区域的待测面积相加的和。
本实施方式提供的图像处理方法，通过将目标图像分割成多个待测图像块，并分别计算每个待测图像块中异常待测区域的面积，最终将所有异常待测区域的待测面积相加，得到整个目标图像中异常区域的区域面积，有效降低计算复杂度，同时，便于有效统计目标图像上的异常区域的区域面积。
在本实施例的其中一种实施方式中，参照图3，通过神经网络对目标图像进行图像修复，得到第一修复图像，包括如下步骤：
S301、获取训练数据集。
训练数据集指输入的大量受损图像和对应的原始图像。
S302、基于训练数据集，构建生成器和判决器网络。
生成器和判决器网络包括生成器网络和判决器网络。
向生成器网络输入受损图像，生成器网络输出修复后非图像；向判决器网络输入修复后的图像和原始图像，判决器网络输出二进制值，二进制值用于判断修复后的图像是否与原始图像相似。
S303、对生成器和判决器网络进行对抗性训练。
对抗性训练指通过交替训练生成器和判决器网络，使生成器网络不断生成修复图像，并使判决器网络不断提高识别修复图像与原始图像的能力。
S304、在训练后将生成器和判决器网络作为神经网络对目标图像进行图像修复，得到第一修复图像。
将生成器和判决器网络作为神经网络，由于生成器和判决器网络包括生成器网络和判决器网络，故神经网络包括生成器网络和判决器网络。
通过生成器和判决器网络对目标图像进行修复，即可得到第一修复图像。
本实施方式提供的图像处理方法，利用神经网络进行图像修复，便于自动学习图像的纹理、结构和特征等信息；通过对抗性训练，使生成器和判决器网络相互协作，便于提高修复效果的真实性和自然度。
在本实施例的其中一种实施方式中，参照图4，在在训练后将生成器和判决器网络作为神经网络对目标图像进行图像修复，得到第一修复图像之后，包括如下步骤：
S401、获取第一修复图像的评价区域，并获取目标图像中与评价区域对应的原始评价区域。
评价区域指人为设定的需要进行评价的第一修复图像的部分区域或全部区域，由于第一修复图像为对目标图像进行修复后的图像，故第一修复图像的大小形状与目标图像的大小形状一致，且第一修复图像的区域与目标图像的区域一一对应，故在确定第一修复图像的评价区域后，即可确定目标图像中与评价区域一一对应的原始评价区域。
S402、基于第一图像质量评价指标，计算评价区域与原始评价区域的图像误差值。
本实施例中，第一图像质量评价指标指PSNR指标，PSNR指标为峰值信噪比，是一种衡量图像压缩后失真程度的指标。PSNR值越高，表示失真程度越小，图像质量越好。PSNR的计算公式为：PSNR=10*log10(MAX2/MSE)，其中MAX为原始评价区域的像素值的最大值，MSE为均方误差，计算公式为MSE=1/MN*∑∑(I(i,j)-K(i,j))2，其中MN为原始评价区域的像素总数，I为原始评价区域的像素值，K为评价区域的像素值。本实施例中，像素值、像素总数均通过预设的图像处理软件获取得到。
基于PSNR的计算公式即可计算得到评价区域与原始评价区域的图像误差值。
S403、基于第二图像质量评价指标，计算评价区域与原始评价区域的图像相似度值。
本实施例中，第二图像质量评价指标指SSIM指标，SSIM指标为结构相似性指标，是一种衡量图像相似性的指标。SSIM指标考虑了亮度、对比度和结构三个方面，其值在[0,1]之间，且值越大表示图像相似度越高。SSIM的计算公式为：SSIM=(2μIμK+C1)(2σIK+C2)/(μI2+μK2+C1)(σI2+σK2+C2)，其中μ为像素值的平均值，σ为像素值的标准差，I为原始评价区域的像素值，K为评价区域的像素值，C1和C2为常数。
基于SSIM的计算公式即可计算得到评价区域与原始评价区域的图像相似度值。
S404、基于图像误差值和图像相似度值，得到第一修复图像与目标图像的第一差异程度。
已知图像误差值和图像相似度值，本实施例中，分别将图像误差值与预设的误差值阈值，图像相似度值与预设的相似度阈值进行比较，即可得到第一修复图像与目标图像的第一差异程度。
本实施方式提供的图像处理方法，图像误差值和图像质量评价指标的计算便于定量评估第一修复图像与目标图像之间的第一差异程度，同时便于客观地评估图像修复效果。
在本实施例的其中一种实施方式中，第一差异程度包括严重差异和轻微差异，参照图5，基于图像误差值和图像相似度值，得到第一修复图像与目标图像的第一差异程度，包括如下步骤：
S501、若图像误差值大于预设的误差值阈值，且图像相似度值小于预设的相似度阈值，判定第一修复图像与目标图像的第一差异程度为严重差异。
严重差异指第一修复图像与目标图像的相似度低，当图像误差值大于预设的误差值阈值，且图像相似度值小于预设的相似度阈值时，即判定第一修复图像与目标图像的第一差异程度为严重差异。
S502、若图像误差值小于或等于误差值阈值，且图像相似度值大于或等于相似度阈值，判定第一修复图像与目标图像的第一差异程度为轻微差异。
轻微差异指第一修复图像与目标图像的相似度高，当图像误差值小于或等于误差值阈值，且图像相似度值大于或等于相似度阈值时，即判定第一修复图像与目标图像的第一差异程度为轻微差异。
本实施方式提供的图像处理方法，将第一修复图像与目标图像的差异程度分为严重差异和轻微差异两类，便于更加准确地评估图像修复的效果；根据预设的误差值阈值和相似度阈值进行分类判定，避免了主观判断的偏差和误差，使评估结果更加客观和准确。
在本实施例的其中一种实施方式中，参照图6，在基于图像误差值和图像相似度值，得到第一修复图像与目标图像的第一差异程度之后，包括如下步骤：
S601、若第一差异程度为严重差异，按照预设的缩小比例缩小评价区域，得到缩小评价区域，并获取目标图像中与缩小评价区域对应的原始缩小评价区域。
本实施例中，缩小比例为预设，即在第一差异程度为严重差异时，即第一修复图像与目标图像的相似度低时，则按照缩小比例缩小评价区域，即选择更小的区域进行评价，用于提高缩小评价区域的准确性。由于第一修复图像的区域与目标图像的区域一一对应，故在确定第一修复图像的缩小评价区域后，即可确定目标图像中与评价区域一一对应的原始缩小评价区域。
S602、获取缩小评价区域的缩小区域面积。
缩小评价区域的缩小区域面积可根据图像处理工具进行计算，图像处理工具可为MATLAB或ImageJ等图像处理软件。
S603、在缩小区域面积大于预设的缩小面积阈值时，基于第一图像质量评价指标，计算缩小评价区域与原始缩小评价区域的缩小图像误差值。
在缩小区域面积小于或等于预设的缩小面积阈值时，表明此时缩小区域进行评价仍无法改变第一差异程度为严重差异的结果，故此时需尝试调整模型的参数，如学习率、迭代次数、网络结构等，以提高修复效果和指标评价结果，或尝试改进数据预处理方法，如更好的裁剪、缩放、归一化等操作，以提高模型的输入质量和稳定性。
在缩小区域面积大于预设的缩小面积阈值时，则基于第一图像质量评价指标，计算缩小评价区域与原始缩小评价区域的缩小图像误差值，具体的，第一图像质量评价指标指PSNR指标，PSNR指标为峰值信噪比，是一种衡量图像压缩后失真程度的指标。PSNR值越高，表示失真程度越小，图像质量越好。PSNR的计算公式为：PSNR=10*log10(MAX2/MSE)，其中MAX为原始缩小评价区域的像素值的最大值，MSE为均方误差，计算公式为MSE=1/MN*∑∑(I(i,j)-K(i,j))2，其中MN为原始缩小评价区域的像素总数，I为原始缩小评价区域的像素值，K为缩小评价区域的像素值。本实施例中，像素值、像素总数均通过预设的图像处理软件获取得到。
基于PSNR的计算公式即可计算得到缩小评价区域与原始缩小评价区域的缩小图像误差值。
S604、基于第二图像质量评价指标，计算缩小评价区域与原始缩小评价区域的缩小图像相似度值。
第二图像质量评价指标指SSIM指标，SSIM指标为结构相似性指标，是一种衡量图像相似性的指标。SSIM指标考虑了亮度、对比度和结构三个方面，其值在[0,1]之间，且值越大表示图像相似度越高。SSIM的计算公式为：SSIM=(2μIμK+C1)(2σIK+C2)/(μI2+μK2+C1)(σI2+σK2+C2)，其中μ为像素值的平均值，σ为像素值的标准差，I为原始缩小评价区域的像素值，K为缩小评价区域的像素值，C1和C2为常数。
基于SSIM的计算公式即可计算得到缩小评价区域与原始缩小评价区域的缩小图像相似度值。
S605、基于缩小图像误差值和缩小图像相似度值，得到第一修复图像与目标图像的第二差异程度。
与步骤S501至S502同理，第二差异程度包括严重差异和轻微差异，若缩小图像误差值大于预设的缩小误差值阈值，且缩小图像相似度值小于预设的缩小相似度阈值，判定第一修复图像与目标图像的第二差异程度为严重差异；若缩小图像误差值小于或等于缩小误差值阈值，且缩小图像相似度值大于或等于缩小相似度阈值，判定第一修复图像与目标图像的第二差异程度为轻微差异。
本实施方式提供的图像处理方法，根据第一差异程度将评价区域进行缩小，便于更加准确地评估图像修复的效果；根据第一图像质量评价指标和第二图像质量评价指标，定量地计算缩小评价区域与原始缩小评价区域的图像误差值和相似性值，便于更加准确地评估图像修复效果。
在本实施例的其中一种实施方式中，修复算法包括去噪算法和去纹理算法，参照图7，通过修复算法对目标图像进行图像修复，得到第二修复图像，包括如下步骤：
S701、基于去噪算法对目标图像进行去噪，得到去噪图像。
本实施例中，去噪算法包括均值滤波、中值滤波、小波去噪等算法，用于对目标图像进行去噪，得到去噪图像。
S702、基于去纹理算法对去噪图像的不自然纹理进行去除，得到第二修复图像。
本实施例中，去纹理算法包括基于局部相似性的纹理去除、基于小波变换的纹理去除等算法，用于对去噪图像的不自然纹理进行去除，得到第二修复图像。
本实施方式提供的图像处理方法，去噪算法便于有效消除图像中的噪声，提高图像质量，去纹理算法便于去除图像中的不自然纹理，使图像更加真实，通过综合考虑去噪算法和去纹理算法，便于有效地修复目标图像，从而有效提高图像修复效率。
本申请实施例还公开一种智能终端，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，其中，处理器执行计算机程序时，采用了上述实施例中的图像处理方法。
其中，智能终端可以采用台式电脑、笔记本电脑或者云端服务器等计算机设备，并且，智能终端包括但不限于处理器以及存储器，例如，智能终端还可以包括输入输出设备、网络接入设备以及总线等。
其中，处理器可以采用中央处理单元（CPU），当然，根据实际的使用情况，也可以采用其他通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以采用微处理器或者任何常规的处理器等，本申请对此不做限制。
其中，存储器可以为智能终端的内部存储单元，例如，智能终端的硬盘或者内存，也可以为智能终端的外部存储设备，例如，智能终端上配备的插接式硬盘、智能存储卡（SMC）、安全数字卡（SD）或者闪存卡（FC）等，并且，存储器还可以为智能终端的内部存储单元与外部存储设备的组合，存储器用于存储计算机程序以及智能终端所需的其他程序和数据，存储器还可以用于暂时地存储已经输出或者将要输出的数据，本申请对此不做限制。
其中，通过本智能终端，将上述实施例中的图像处理方法存储于智能终端的存储器中，并且，被加载并执行于智能终端的处理器上，方便使用。
本申请实施例还公开一种计算机可读存储介质，并且，计算机可读存储介质存储有计算机程序，其中，计算机程序被处理器执行时，采用了上述实施例中的图像处理方法。
其中，计算机程序可以存储于计算机可读介质中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间件形式等，计算机可读介质包括能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM）、随机存取存储器（RAM）、电载波信号、电信信号以及软件分发介质等，需要说明的是，计算机可读介质包括但不限于上述元器件。
其中，通过本计算机可读存储介质，将上述实施例中的图像处理方法存储于计算机可读存储介质中，并且，被加载并执行于处理器上，以方便上述方法的存储及应用。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (4)

1.一种图像处理方法，其特征在于，包括：
获取目标图像，并计算所述目标图像中异常区域的区域面积；
判断所述区域面积是否大于预设的面积阈值；
若大于，通过神经网络对所述目标图像进行图像修复，得到第一修复图像；
若不大于，通过修复算法对所述目标图像进行图像修复，得到第二修复图像；
其中，所述计算所述目标图像中异常区域的区域面积，包括：
将所述目标图像分割为多个待测图像块；
分别计算每个所述待测图像块上异常待测区域的待测面积；
将每个所述异常待测区域的所述待测面积相加，得到所述目标图像中异常区域的区域面积；
其中，所述通过神经网络对所述目标图像进行图像修复，得到第一修复图像，包括：
获取训练数据集；
基于所述训练数据集，构建生成器和判决器网络；
对所述生成器和判决器网络进行对抗性训练；
在训练后将所述生成器和判决器网络作为神经网络对所述目标图像进行图像修复，得到第一修复图像；
其中，在所述在训练后将所述生成器和判决器网络作为神经网络对所述目标图像进行图像修复，得到第一修复图像之后，包括：
获取所述第一修复图像的评价区域，并获取所述目标图像中与所述评价区域对应的原始评价区域；
基于第一图像质量评价指标，计算所述评价区域与所述原始评价区域的图像误差值；
基于第二图像质量评价指标，计算所述评价区域与所述原始评价区域的图像相似度值；
基于所述图像误差值和所述图像相似度值，得到所述第一修复图像与所述目标图像的第一差异程度；
其中，所述第一差异程度包括严重差异和轻微差异；
所述基于所述图像误差值和所述图像相似度值，得到所述第一修复图像与所述目标图像的第一差异程度，包括：
若所述图像误差值大于预设的误差值阈值，且所述图像相似度值小于预设的相似度阈值，判定所述第一修复图像与所述目标图像的第一差异程度为所述严重差异；
若所述图像误差值小于或等于所述误差值阈值，且所述图像相似度值大于或等于所述相似度阈值，判定所述第一修复图像与所述目标图像的第一差异程度为所述轻微差异；
其中，在所述基于所述图像误差值和所述图像相似度值，得到所述第一修复图像与所述目标图像的第一差异程度之后，包括：
若所述第一差异程度为所述严重差异，按照预设的缩小比例缩小所述评价区域，得到缩小评价区域，并获取所述目标图像中与所述缩小评价区域对应的原始缩小评价区域；
获取所述缩小评价区域的缩小区域面积；
在所述缩小区域面积大于预设的缩小面积阈值时，基于所述第一图像质量评价指标，计算所述缩小评价区域与所述原始缩小评价区域的缩小图像误差值；
基于所述第二图像质量评价指标，计算所述缩小评价区域与所述原始缩小评价区域的缩小图像相似度值；
基于所述缩小图像误差值和所述缩小图像相似度值，得到所述第一修复图像与所述目标图像的第二差异程度。
2.根据权利要求1所述的一种图像处理方法，其特征在于，所述修复算法包括去噪算法和去纹理算法；
所述通过修复算法对所述目标图像进行图像修复，得到第二修复图像，包括：
基于所述去噪算法对所述目标图像进行去噪，得到去噪图像；
基于所述去纹理算法对所述去噪图像的不自然纹理进行去除，得到所述第二修复图像。
3.一种智能终端，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，其特征在于，所述处理器加载并执行计算机程序时，采用了权利要求1至2中任一项所述的方法。
4.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器加载并执行时，采用了权利要求1至2中任一项所述的方法。
CN202310885619.4A 2023-07-19 2023-07-19 一种图像处理方法、智能终端及存储介质 Active CN116630205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310885619.4A CN116630205B (zh) 2023-07-19 2023-07-19 一种图像处理方法、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310885619.4A CN116630205B (zh) 2023-07-19 2023-07-19 一种图像处理方法、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN116630205A CN116630205A (zh) 2023-08-22
CN116630205B true CN116630205B (zh) 2024-03-12

Family

ID=87602857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310885619.4A Active CN116630205B (zh) 2023-07-19 2023-07-19 一种图像处理方法、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN116630205B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201111A (zh) * 2011-05-26 2011-09-28 重庆大学 自适应图像修复方法
CN103295199A (zh) * 2013-05-29 2013-09-11 西安建筑科技大学 古壁画的裂缝智能修复辅助系统
CN111105370A (zh) * 2019-12-09 2020-05-05 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111784602A (zh) * 2020-06-28 2020-10-16 江西理工大学 一种生成对抗网络用于图像修复的方法
CN114155171A (zh) * 2021-12-14 2022-03-08 云南大学 一种基于密集多尺度融合的图像修复方法及系统
CN114820418A (zh) * 2021-01-29 2022-07-29 深圳市万普拉斯科技有限公司 图像异常处理方法、装置、终端设备和可读存储介质
CN116205799A (zh) * 2022-12-21 2023-06-02 深圳大学 图像修复方法、装置及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10859657B2 (en) * 2018-05-31 2020-12-08 The Board Of Trustees Of The Leland Stanford Junior University MRI reconstruction using deep learning, generative adversarial network and acquisition signal model

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201111A (zh) * 2011-05-26 2011-09-28 重庆大学 自适应图像修复方法
CN103295199A (zh) * 2013-05-29 2013-09-11 西安建筑科技大学 古壁画的裂缝智能修复辅助系统
CN111105370A (zh) * 2019-12-09 2020-05-05 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111784602A (zh) * 2020-06-28 2020-10-16 江西理工大学 一种生成对抗网络用于图像修复的方法
CN114820418A (zh) * 2021-01-29 2022-07-29 深圳市万普拉斯科技有限公司 图像异常处理方法、装置、终端设备和可读存储介质
CN114155171A (zh) * 2021-12-14 2022-03-08 云南大学 一种基于密集多尺度融合的图像修复方法及系统
CN116205799A (zh) * 2022-12-21 2023-06-02 深圳大学 图像修复方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN116630205A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
Jiao et al. Local stereo matching with improved matching cost and disparity refinement
Sulaiman et al. Denoising-based clustering algorithms for segmentation of low level salt-and-pepper noise-corrupted images
CN105335947A (zh) 图像去噪方法和图像去噪装置
Zhang et al. The Bayesian operating point of the Canny edge detector
CN113610862B (zh) 一种屏幕内容图像质量评估方法
Zhang et al. Joint integral histograms and its application in stereo matching
CN115131351B (zh) 基于红外图像的机油散热器检测方法
Haq et al. An edge-aware based adaptive multi-feature set extraction for stereo matching of binocular images
CN111325728B (zh) 产品缺陷检测方法、装置、设备及存储介质
CN115471682A (zh) 一种基于SIFT融合ResNet50的图像匹配方法
Kumar et al. Automatic image segmentation using wavelets
Mukherjee et al. A hybrid algorithm for disparity calculation from sparse disparity estimates based on stereo vision
Samanta et al. Novel Shannon’s entropy based segmentation technique for SAR images
CN116630205B (zh) 一种图像处理方法、智能终端及存储介质
CN117011703A (zh) 一种输电线路巡检图像去重方法
CN110728692A (zh) 一种基于Scharr算子改进的图像边缘检测方法
CN115880181A (zh) 一种增强图像对比度的方法、装置及终端
Lindblad et al. Exact linear time euclidean distance transforms of grid line sampled shapes
CN111753723B (zh) 一种基于密度校准的指纹识别方法及装置
CN115619800A (zh) 基于自适应阈值分割的covid-19 ct图像的分割方法及装置
CN114529742A (zh) 图像相似度确定方法、装置、设备及计算机可读存储介质
Delon et al. A patch-based approach for random-valued impulse noise removal
Chehdi et al. A blind system to identify and filter degradations affecting an image
Hassan et al. Texture based Image Splicing Forgery Recognition using a Passive Approach
CN115496778B (zh) 一种提高边缘光滑性的图像二值化方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant