CN113706392A - 摩尔纹处理方法、计算机可读存储介质及终端设备 - Google Patents

摩尔纹处理方法、计算机可读存储介质及终端设备 Download PDF

Info

Publication number
CN113706392A
CN113706392A CN202010429152.9A CN202010429152A CN113706392A CN 113706392 A CN113706392 A CN 113706392A CN 202010429152 A CN202010429152 A CN 202010429152A CN 113706392 A CN113706392 A CN 113706392A
Authority
CN
China
Prior art keywords
image
moire
training data
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010429152.9A
Other languages
English (en)
Inventor
马岚
杨顺
俞大海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202010429152.9A priority Critical patent/CN113706392A/zh
Publication of CN113706392A publication Critical patent/CN113706392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于图像处理技术领域,尤其涉及一种摩尔纹处理方法、计算机可读存储介质及终端设备。所述方法包括:获取待处理的原始图像,所述原始图像为含有摩尔纹的图像;使用预设的生成对抗网络模型中的生成模型对所述原始图像进行处理以去除摩尔纹,输出对应的图像。本申请引入了生成对抗网络模型来减弱图像中的摩尔纹,所述生成对抗网络模型由预设的训练数据集训练得到,所述训练数据集中包括若干训练数据对,通过所述训练数据集的训练,所述生成对抗网络模型中的生成模型可以从中逐步学习到从含有摩尔纹的图像到不含摩尔纹的图像的转换规律,从而可以在保证图像质量不受影响的同时,达到减弱原始图像中的摩尔纹的效果。

Description

摩尔纹处理方法、计算机可读存储介质及终端设备
技术领域
本申请属于图像处理技术领域,尤其涉及一种摩尔纹处理方法、计算机可读存储介质及终端设备。
背景技术
如今,手机摄影已广泛应用于人们的生活中,在实际应用中,用户经常遇到需要用手机拍摄屏幕并将屏幕内容传输给另一方的情况。而当用户使用手机拍摄屏幕时,有时会出现类似于水的涟漪。这种水状波纹会严重影响照片样张的成像效果,甚至掩盖拍摄内容。这种在拍摄具有密集且重复的细节的物体时出现的水状云纹,即所谓的摩尔纹。出现摩尔纹是因为手机和数码相机的感光元件在拍摄过程中会受到频率混叠的现象,进而照片上出现这种不规则形状的条纹。产生原理是当两个频率接近的等幅正弦波叠加时,合成信号的幅度将根据两个频率之间的差异而变化,如果手机或数码相机的感光元件中像素的空间频率接近捕获图像中条纹的空间频率,则可能会出现波纹。
尽管在捕获图像时摩尔纹图案的出现是一个非常普遍的问题,但几乎没有有效的解决方案。避免或者去除摩尔纹有两种方式:硬件方式以及软件方式。目前,通过硬件消除摩尔纹的常用方法是在传感器前面增加一个低通滤波器,以减少摩尔纹的产生,但是,这种解决方案会牺牲图像的清晰度,从而影响图像质量。现有的软件自动去除摩尔纹的技术非常少,基本也是基于较简单的加入低通滤波器的方式,所以还是会很大程度上影响图像质量。
发明内容
有鉴于此,本申请实施例提供了一种摩尔纹处理方法、计算机可读存储介质及终端设备,以解决现有的摩尔纹处理方法会影响图像质量的问题。
本申请实施例的第一方面提供了一种摩尔纹处理方法,可以包括:
获取待处理的原始图像,所述原始图像为含有摩尔纹的图像;
使用预设的生成对抗网络模型中的生成模型对所述原始图像进行处理以去除摩尔纹,输出对应的图像,所述生成对抗网络模型由预设的训练数据集训练得到,所述训练数据集中包括若干训练数据对,每个训练数据对均包括一个含有摩尔纹的第一图像和一个不含摩尔纹的第二图像。
进一步地,在使用预设的生成对抗网络模型中的生成模型对所述原始图像进行处理之前,所述摩尔纹处理方法还可以包括:
获取屏幕拍摄图像集,所述屏幕拍摄图像集中包括若干对屏幕进行拍摄得到的图像;
根据所述屏幕拍摄图像集构造所述训练数据集,其中,所述屏幕拍摄图像集中的每一个拍摄图像均生成所述训练数据集中的一个训练数据对;
使用所述训练数据集对初始的生成对抗网络模型进行训练,直至满足预设的训练条件,以得到已训练的生成对抗网络模型。
进一步地,所述根据所述屏幕拍摄图像集构造所述训练数据集可以包括:
针对所述屏幕拍摄图像集中的每个拍摄图像,对所述拍摄图像进行下采样处理,得到与所述拍摄图像对应的第一图像;
对所述拍摄图像进行去网格处理,得到与所述拍摄图像对应的去网格图像;
对所述去网格图像进行下采样处理,得到与所述拍摄图像对应的第二图像;
将所述第一图像和所述第二图像作为一个训练数据对添加入所述训练数据集中。
可选地,所述生成对抗网络模型包括生成模型和判别模型,所述使用所述训练数据集对初始的生成对抗网络模型进行训练包括:
针对所述训练数据集中的每个训练数据对,使用所述生成模型对该训练数据对中的第一图像进行处理,得到第三图像;
使用所述判别模型对所述第三图像和该训练数据对中的第二图像进行判别,并根据判别结果计算判别损失值;
根据所述判别损失值对所述生成对抗网络模型的模型参数进行调整。
优选地,所述生成对抗网络模型包括生成模型、判别模型和重建模型,所述使用所述训练数据集对初始的生成对抗网络模型进行训练包括:
针对所述训练数据集中的每个训练数据对,使用所述生成模型对该训练数据对中的第一图像进行去摩尔纹处理,得到第三图像;
使用所述判别模型对所述第三图像和该训练数据对中的第二图像进行判别,并根据判别结果计算判别损失值;
使用所述重建模型对所述第三图像进行摩尔纹重建处理,得到第四图像,并根据所述第一图像和所述第四图像计算重建损失值;
根据所述判别损失值和所述重建损失值对所述生成对抗网络模型的模型参数进行调整。
进一步地,所述根据判别结果计算判别损失值包括:
根据判别结果计算所述第三图像被判定为不含摩尔纹的图像的概率,并将该概率的负对数值确定为所述判别损失值。
进一步地,所述根据所述第一图像和所述第四图像计算重建损失值包括:
计算所述第一图像和所述第四图像之间的平方误差,并将该平方误差确定为所述重建损失值。
本申请实施例的第二方面提供了一种摩尔纹处理装置,可以包括:
原始图像获取模块,用于获取待处理的原始图像,所述原始图像为含有摩尔纹的图像;
模型处理模块,用于使用预设的生成对抗网络模型中的生成模型对所述原始图像进行处理以去除摩尔纹,输出对应的图像,所述生成对抗网络模型由预设的训练数据集训练得到,所述训练数据集中包括若干训练数据对,每个训练数据对均包括一个含有摩尔纹的第一图像和一个不含摩尔纹的第二图像。
进一步地,所述摩尔纹处理装置还可以包括:
拍摄图像集获取模块,用于获取屏幕拍摄图像集,所述屏幕拍摄图像集中包括若干对屏幕进行拍摄得到的图像;
训练数据集构造模块,用于根据所述屏幕拍摄图像集构造所述训练数据集,其中,所述屏幕拍摄图像集中的每一个拍摄图像均生成所述训练数据集中的一个训练数据对;
模型训练模块,用于使用所述训练数据集对初始的生成对抗网络模型进行训练,直至满足预设的训练条件,以得到已训练的生成对抗网络模型。
进一步地,所述训练数据集构造模块可以包括:
第一下采样单元,用于针对所述屏幕拍摄图像集中的每个拍摄图像,对所述拍摄图像进行下采样处理,得到与所述拍摄图像对应的第一图像;
去网格处理单元,用于对所述拍摄图像进行去网格处理,得到与所述拍摄图像对应的去网格图像;
第二下采样单元,用于对所述去网格图像进行下采样处理,得到与所述拍摄图像对应的第二图像;
训练数据对添加单元,用于将所述第一图像和所述第二图像作为一个训练数据对添加入所述训练数据集中。
可选地,所述生成对抗网络模型可以包括生成模型和判别模型,所述模型训练模块可以包括:
图像生成单元,用于针对所述训练数据集中的每个训练数据对,使用所述生成模型对该训练数据对中的第一图像进行处理,得到第三图像;
图像判别单元,用于使用所述判别模型对所述第三图像和该训练数据对中的第二图像进行判别,并根据判别结果计算判别损失值;
模型参数调整单元,用于根据所述判别损失值对所述生成对抗网络模型的模型参数进行调整。
优选地,所述生成对抗网络模型可以包括生成模型、判别模型和重建模型,所述模型训练模块可以包括:
图像生成单元,用于针对所述训练数据集中的每个训练数据对,使用所述生成模型对该训练数据对中的第一图像进行去摩尔纹处理,得到第三图像;
图像判别单元,用于使用所述判别模型对所述第三图像和该训练数据对中的第二图像进行判别,并根据判别结果计算判别损失值;
图像重建单元,用于使用所述重建模型对所述第三图像进行摩尔纹重建处理,得到第四图像,并根据所述第一图像和所述第四图像计算重建损失值;
模型参数调整单元,用于根据所述判别损失值和所述重建损失值对所述生成对抗网络模型的模型参数进行调整。
进一步地,所述图像判别单元还可以包括:
判别损失值计算子单元,用于根据判别结果计算所述第三图像被判定为不含摩尔纹的图像的概率,并将该概率的负对数值确定为所述判别损失值。
进一步地,所述图像重建单元还可以包括:
重建损失值计算子单元,用于计算所述第一图像和所述第四图像之间的平方误差,并将该平方误差确定为所述重建损失值。
本申请实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种摩尔纹处理方法的步骤。
本申请实施例的第四方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一种摩尔纹处理方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述任一种摩尔纹处理方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:本申请实施例中引入了生成对抗网络模型来减弱图像中的摩尔纹,所述生成对抗网络模型由预设的训练数据集训练得到,所述训练数据集中包括若干训练数据对,每个训练数据对均包括一个含有摩尔纹的第一图像和一个不含摩尔纹的第二图像。通过所述训练数据集的训练,所述生成对抗网络模型中的生成模型可以从中逐步学习到从含有摩尔纹的图像到不含摩尔纹的图像的转换规律,从而可以在保证图像质量不受影响的同时,达到减弱原始图像中的摩尔纹的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为生成对抗网络模型的训练过程的流程图;
图2为生成训练数据对的流程图;
图3为下采样处理的示意图;
图4为训练数据对构造过程的示意图;
图5为训练数据集的示意图;
图6为生成对抗网络模型的框架示意图;
图7为摩尔纹处理方法的流程图;
图8为摩尔纹处理的效果示意图;
图9为摩尔纹处理装置的结构示意图;
图10为进行摩尔纹处理的终端设备的示意框图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本申请一部分实施例,而非全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本申请实施例引入了生成对抗网络(Generative Adversarial Network,GAN)模型来减弱图像中的摩尔纹。需要注意的是,常见的摩尔纹有两种,一种是“缩放”摩尔纹,这种摩尔纹出现在缩放被拍摄图像时,会随着缩放比例连续变化,这种摩尔纹可以使用去除网格的方法去除;而另一种是真性摩尔纹,在某些特定距离和角度下拍摄屏幕时会出现,且在缩放的时候无论缩放的尺度如何变化,真性摩尔纹的形状不会改变,且已经融入到图像纹理内容中,成为了原始图像的一部分,这些特征使得很难在不损坏原始图像内容的情况下去除真性摩尔纹。本申请实施例主要是对图像中的真性摩尔纹进行处理,为了叙述方便,如无特殊说明,后文所提及的摩尔纹均为真性摩尔纹。
为了使得所述生成对抗网络模型可以达到较好的减弱摩尔纹的效果,可以预先通过大量的数据对其进行训练。如图1所示,所述生成对抗网络模型的训练过程具体可以包括:
步骤S101、获取屏幕拍摄图像集。
所述屏幕拍摄图像集中包括若干对屏幕进行拍摄得到的图像,拍摄图像的数目可以根据实际情况进行设置,为了能过达到较好的训练效果,可以将该数目设置为一个较大的取值,即获取数千、数万、数十万甚至更多的拍摄图像。
步骤S102、根据所述屏幕拍摄图像集构造训练数据集。
其中,所述屏幕拍摄图像集中的每一个拍摄图像均生成训练数据集中的一个训练数据对。最终构造出的训练数据集中包括若干训练数据对,每个训练数据对均包括一个含有摩尔纹的图像和一个不含摩尔纹的图像。为了叙述方便,此处将这一含有摩尔纹的图像记为第一图像,将这一不含摩尔纹的图像记为第二图像。
为了得到较好的处理效果、避免过拟合,深度学习需要大量数据进行网络训练。但是目前大规模的摩尔纹配对数据集非常少,这是因为配对数据较难采集,且后续对齐较为困难,高质量数据对的准备是使用深度学习方法减弱摩尔纹的关键。目前的公开数据集是通过拍摄ImageNet数据库中的图像,将拍摄的图像与原ImageNet数据库中的图像对齐后作为配对数据。但是,此数据集有两个缺陷,一个是此数据集还是没有办法回避对齐问题,还会有对齐不准的情况,从而可能导致训练的结果产生模糊失真。另一个是此数据集并不符合真正的摩尔纹数据对的情况,真正的摩尔纹数据对应该是一组数据对同为拍摄屏幕的图像,一个图像包含摩尔纹,而另一个图像没有摩尔纹;且两个图像内容完全一致且正确的进行了对齐。相反,此数据集创建的数据对是呈现在屏幕上的图像,与其成对的是拍摄屏幕的内容。使用这样的数据对作为训练数据将导致训练网络不仅去除摩尔纹,而且去除了包括屏幕在内的一些成像物理介质,不可避免地导致产生与去除摩尔纹无关的额外效果。简而言之,缺乏高质量的数据集已成为使用基于学习的方法去除或减弱摩尔纹的瓶颈。
针对这一问题,本申请实施例提出了一种基于频域重构的生成大规模成对摩尔纹数据集的新方法,其最大优势是不需要对齐,只通过频域重构就可以完成配对数据的准备。具体地,针对所述屏幕拍摄图像集中的每个拍摄图像,可以通过如图2所示的过程生成与其对应的训练数据对:
步骤S1021、对所述拍摄图像进行下采样(Down-sample)处理,得到与所述拍摄图像对应的第一图像。
在所述拍摄图像进行较小比例的下采样时,“缩放”摩尔纹会固化成为真性摩尔纹并成为图像纹理的一部分。图3示出了对分辨率4032*3024的拍摄图像下采样为分辨率200*200的图像的情况,其中,左图为原始的拍摄图像,右图为对其进行下采样后得到的图像,从图中可以看出,下采样后得到的图像中产生了明显的摩尔纹,可以将其作为训练数据对中的第一图像。
步骤S1022、对所述拍摄图像进行去网格(Descreen)处理,得到与所述拍摄图像对应的去网格图像。
在本申请实施例的一种具体实现中,可以通过频域重构的方式来实现去网格的效果,具体地,对所述拍摄图像进行傅里叶变换,在变换后的频域中去除其中的高频部分,再通过逆傅里叶变换即可得到所述去网格图像,在该图像中,由网点引起的相对高频范围内的周期性图案已被消除。
需要注意的是,以上的去网格过程仅为示例,在实际应用中,可以根据具体情况采用现有技术中其它的去网格方法,例如,基于小波分解的去网格方法等,本申请实施例对此不作具体限定。
步骤S1023、对所述去网格图像进行下采样处理,得到与所述拍摄图像对应的第二图像。
此处的下采样处理的具体过程与步骤S1021中的过程相同,具体可以参见前述内容,此处不再赘述。但需要注意的是,由于预先经过了去网格处理,下采样后得到的图像中不会产生明显的摩尔纹,可以将其作为训练数据对中的第二图像。
步骤S1024、将所述第一图像和所述第二图像作为一个训练数据对添加入所述训练数据集中。
图4所示即为一个训练数据对构造过程的示意图,从中可以看出,该训练数据对中的两个图像均来自同一张拍摄图像,但产生于两条不同的路径。一条路径是直接对拍摄图像进行下采样,把“缩放”摩尔纹变成真性摩尔纹,因此,通过此路径会产生含有摩尔纹的图像。另一条路径,在对拍摄图像进行下采样之前,添加一个去网格的过程,从而在频域中重构该图像,然后,再进行相同的下采样操作,该路径生成的图像为不含有摩尔纹图像。由于成对的图像是从同一拍摄图像生成的,因此无需对齐,通过使用此流程生成的摩尔纹配对数据来训练减弱摩尔纹的深度学习网络,不会发生模糊现象。
对所述屏幕拍摄图像集中的各个拍摄图像遍历这一过程,即可得到完整的训练数据集。图5所示即为所述训练数据集的局部示例,其中,每一行均为由同一拍摄图像生成的训练数据对,(a)列为含有摩尔纹的第一图像,(b)列为不含摩尔纹的第二图像。
步骤S103、使用所述训练数据集对初始的生成对抗网络模型进行训练,直至满足预设的训练条件,以得到已训练的生成对抗网络模型。
如图6所示,在本申请实施例的一种具体实现中,所述生成对抗网络模型可以包括两个生成模型(Generative Model)和一个判别模型(Discriminative Model),其中,第一个生成模型用于将含有摩尔纹的图像转换为不含摩尔纹的图像,第二个生成模型用于将不含摩尔纹的图像转换为含有摩尔纹的图像,为了便于区分,此处将第一个生成模型仍称为生成模型,将第二个生成模型称为重建模型。
在训练的过程中,针对所述训练数据集中的每个训练数据对,可以首先使用所述生成模型对该训练数据对中的第一图像进行去摩尔纹处理,得到不含摩尔纹的图像,此处将其记为第三图像。
然后,使用所述判别模型对所述第三图像和该训练数据对中的第二图像进行判别,并根据判别结果计算判别损失值(Discriminator Loss)。优选地,在本申请实施例的一种具体实现中,可以根据判别结果计算所述第三图像被判定为不含摩尔纹的图像的概率,并将该概率的负对数值确定为所述判别损失值。
接着,使用所述重建模型对所述第三图像进行摩尔纹重建处理,得到含有摩尔纹的图像,此处将其记为第四图像。根据所述第一图像和所述第四图像可以进行重建损失值(Reconstruction Loss)的计算,优选地,在本申请实施例的一种具体实现中,可以计算所述第一图像和所述第四图像之间的平方误差,并将该平方误差确定为所述重建损失值。
最后,可以将所述判别损失值和所述重建损失值之和作为模型的训练损失值,并根据所述训练损失值对所述生成对抗网络模型的模型参数进行调整。
在本申请实施例中,假设所述生成对抗模型的模型参数为W1,将所述训练损失值反向传播修改所述生成对抗模型的模型参数W1,得到修改后的参数W2。修改参数之后再继续执行下一次的训练过程,在该次训练过程中,重新计算得到训练损失值,将该训练损失值反向传播修改所述生成对抗模型的模型参数W2,得到修改后的参数W3,……,以此类推,不断重复以上过程,每次训练过程均可对模型参数进行修改,直至满足预设的训练条件,其中,所述训练条件可以是训练次数达到预设的次数阈值,所述次数阈值可以根据实际情况进行设置,例如,可以将其设置为数千、数万、数十万甚至更大的数值;所述训练条件也可以是所述生成对抗模型收敛;由于可能出现训练次数还未达到所述次数阈值,但所述生成对抗模型已经收敛,可能导致重复不必要的工作;或者所述生成对抗模型始终无法收敛,可能导致无限循环,无法结束训练的过程,基于上述两种情况,所述训练条件还可以是训练次数达到所述次数阈值或所述生成对抗模型收敛。当满足所述训练条件,即可得到已训练的生成对抗模型。
在本申请实施例的一种具体实现中,所述生成对抗网络模型可以只包括所述生成模型和所述判别模型,而不包括所述重建模型。对应地,在这种情况下,训练的过程也将不再包括重建处理以及重建损失值的计算过程,仅需使用所述生成模型对训练数据对中的第一图像进行去摩尔纹处理,得到不含摩尔纹的第三图像,然后使用所述判别模型对所述第三图像和训练数据对中的第二图像进行判别,根据判别结果计算判别损失值,并将所述判别损失值作为模型的训练损失值,根据所述训练损失值对所述生成对抗网络模型的模型参数进行调整即可。容易理解地,在这种不包括重建模型的情况下,训练过程较为简单,计算量较小,但最终得到的模型的性能会略差,而在包括重建模型的情况下,训练过程较为复杂,计算量较大,但最终得到的模型的性能较好。在实际应用中,可以根据具体情况进行选择。
在得到已训练的生成对抗模型之后,即可通过如图7所示的过程来减弱图像中的摩尔纹:
步骤S701、获取待处理的原始图像。
所述原始图像为含有摩尔纹的图像,该图像可以是用户通过手机、平板电脑等终端设备的摄像头对屏幕进行拍摄即时采集到的图像。在本实施例的一种具体使用场景中,当用户想要即时进行摩尔纹处理时,可以在采集原始图像之前,通过点击特定的物理按键或者虚拟按键的方式打开终端设备的摩尔纹处理模式,在这种模式下,所述终端设备可以对用户采集的每一个原始图像均按照步骤S702进行处理,减弱这些原始图像中的摩尔纹。
所述原始图像还可以是原本已存储在所述终端设备中的图像,或者是所述终端设备通过网络从云服务器或者其它终端设备处所获取到的图像。在本实施例的另一种具体使用场景中,当用户想要对已有的某一个或者多个原始图像进行摩尔纹处理时,可以通过点击特定的物理按键或者虚拟按键的方式打开终端设备的摩尔纹处理模式,并选定这些原始图像(点击按键和选定图像的顺序可以互换,即也可以先选定图像,再打开终端设备的摩尔纹处理模式),则所述终端设备可以对这些原始图像按照步骤S702进行处理,减弱这些原始图像中的摩尔纹。
步骤S702、使用已训练的生成对抗网络模型中的生成模型对所述原始图像进行处理以去除摩尔纹,输出对应的图像。
图8所示即为使用所述生成对抗网络减弱摩尔纹的效果示意图,其中,第一列为输入的原始图像,第二列为输出图像,第三列为预期的目标图像,从中可以看出,与原始图像相比,输出图像中的摩尔纹已得到了明显的减弱,而且其图像质量并未受到明显的影响。
综上所述,本申请实施例中引入了生成对抗网络模型来减弱图像中的摩尔纹,所述生成对抗网络模型由预设的训练数据集训练得到,所述训练数据集中包括若干训练数据对,每个训练数据对均包括一个含有摩尔纹的第一图像和一个不含摩尔纹的第二图像。通过所述训练数据集的训练,所述生成对抗网络模型中的生成模型可以从中逐步学习到从含有摩尔纹的图像到不含摩尔纹的图像的转换规律,从而可以在保证图像质量不受影响的同时,达到减弱原始图像中的摩尔纹的效果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的一种摩尔纹处理方法,图9示出了本申请实施例提供的一种摩尔纹处理装置的一个实施例结构图。
本实施例中,一种摩尔纹处理装置可以包括:
原始图像获取模块901,用于获取待处理的原始图像,所述原始图像为含有摩尔纹的图像;
模型处理模块902,用于使用预设的生成对抗网络模型中的生成模型对所述原始图像进行处理以去除摩尔纹,输出对应的图像,所述生成对抗网络模型由预设的训练数据集训练得到,所述训练数据集中包括若干训练数据对,每个训练数据对均包括一个含有摩尔纹的第一图像和一个不含摩尔纹的第二图像。
进一步地,所述摩尔纹处理装置还可以包括:
拍摄图像集获取模块,用于获取屏幕拍摄图像集,所述屏幕拍摄图像集中包括若干对屏幕进行拍摄得到的图像;
训练数据集构造模块,用于根据所述屏幕拍摄图像集构造所述训练数据集,其中,所述屏幕拍摄图像集中的每一个拍摄图像均生成所述训练数据集中的一个训练数据对;
模型训练模块,用于使用所述训练数据集对初始的生成对抗网络模型进行训练,直至满足预设的训练条件,以得到已训练的生成对抗网络模型。
进一步地,所述训练数据集构造模块可以包括:
第一下采样单元,用于针对所述屏幕拍摄图像集中的每个拍摄图像,对所述拍摄图像进行下采样处理,得到与所述拍摄图像对应的第一图像;
去网格处理单元,用于对所述拍摄图像进行去网格处理,得到与所述拍摄图像对应的去网格图像;
第二下采样单元,用于对所述去网格图像进行下采样处理,得到与所述拍摄图像对应的第二图像;
训练数据对添加单元,用于将所述第一图像和所述第二图像作为一个训练数据对添加入所述训练数据集中。
可选地,所述生成对抗网络模型可以包括生成模型和判别模型,所述模型训练模块可以包括:
图像生成单元,用于针对所述训练数据集中的每个训练数据对,使用所述生成模型对该训练数据对中的第一图像进行处理,得到第三图像;
图像判别单元,用于使用所述判别模型对所述第三图像和该训练数据对中的第二图像进行判别,并根据判别结果计算判别损失值;
模型参数调整单元,用于根据所述判别损失值对所述生成对抗网络模型的模型参数进行调整。
优选地,所述生成对抗网络模型可以包括生成模型、判别模型和重建模型,所述模型训练模块可以包括:
图像生成单元,用于针对所述训练数据集中的每个训练数据对,使用所述生成模型对该训练数据对中的第一图像进行去摩尔纹处理,得到第三图像;
图像判别单元,用于使用所述判别模型对所述第三图像和该训练数据对中的第二图像进行判别,并根据判别结果计算判别损失值;
图像重建单元,用于使用所述重建模型对所述第三图像进行摩尔纹重建处理,得到第四图像,并根据所述第一图像和所述第四图像计算重建损失值;
模型参数调整单元,用于根据所述判别损失值和所述重建损失值对所述生成对抗网络模型的模型参数进行调整。
进一步地,所述图像判别单元还可以包括:
判别损失值计算子单元,用于根据判别结果计算所述第三图像被判定为不含摩尔纹的图像的概率,并将该概率的负对数值确定为所述判别损失值。
进一步地,所述图像重建单元还可以包括:
重建损失值计算子单元,用于计算所述第一图像和所述第四图像之间的平方误差,并将该平方误差确定为所述重建损失值。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图10示出了本申请实施例提供的一种终端设备的示意框图,为了便于说明,仅示出了与本申请实施例相关的部分。
如图10所示,该实施例的终端设备10包括:处理器100、存储器101以及存储在所述存储器101中并可在所述处理器100上运行的计算机程序102。所述处理器100执行所述计算机程序102时实现上述各个摩尔纹处理方法实施例中的步骤。或者,所述处理器100执行所述计算机程序102时实现上述各装置实施例中各模块/单元的功能。
示例性的,所述计算机程序102可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器101中,并由所述处理器100执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序102在所述终端设备10中的执行过程。
所述终端设备10可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解,图10仅仅是终端设备10的示例,并不构成对终端设备10的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备10还可以包括输入输出设备、网络接入设备、总线等。
所述处理器100可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器101可以是所述终端设备10的内部存储单元,例如终端设备10的硬盘或内存。所述存储器101也可以是所述终端设备10的外部存储设备,例如所述终端设备10上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器101还可以既包括所述终端设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序以及所述终端设备10所需的其它程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种摩尔纹处理方法,其特征在于,包括:
获取待处理的原始图像,所述原始图像为含有摩尔纹的图像;
使用预设的生成对抗网络模型中的生成模型对所述原始图像进行处理以去除摩尔纹,输出对应的图像,所述生成对抗网络模型由预设的训练数据集训练得到,所述训练数据集中包括若干训练数据对,每个训练数据对均包括一个含有摩尔纹的第一图像和一个不含摩尔纹的第二图像。
2.根据权利要求1所述的摩尔纹处理方法,其特征在于,在使用预设的生成对抗网络模型中的生成模型对所述原始图像进行处理之前,还包括:
获取屏幕拍摄图像集,所述屏幕拍摄图像集中包括若干对屏幕进行拍摄得到的图像;
根据所述屏幕拍摄图像集构造所述训练数据集,其中,所述屏幕拍摄图像集中的每一个拍摄图像均生成所述训练数据集中的一个训练数据对;
使用所述训练数据集对初始的生成对抗网络模型进行训练,直至满足预设的训练条件,以得到已训练的生成对抗网络模型。
3.根据权利要求2所述的摩尔纹处理方法,其特征在于,所述根据所述屏幕拍摄图像集构造所述训练数据集包括:
针对所述屏幕拍摄图像集中的每个拍摄图像,对所述拍摄图像进行下采样处理,得到与所述拍摄图像对应的第一图像;
对所述拍摄图像进行去网格处理,得到与所述拍摄图像对应的去网格图像;
对所述去网格图像进行下采样处理,得到与所述拍摄图像对应的第二图像;
将所述第一图像和所述第二图像作为一个训练数据对添加入所述训练数据集中。
4.根据权利要求2所述的摩尔纹处理方法,其特征在于,所述生成对抗网络模型包括生成模型和判别模型,所述使用所述训练数据集对初始的生成对抗网络模型进行训练包括:
针对所述训练数据集中的每个训练数据对,使用所述生成模型对该训练数据对中的第一图像进行处理,得到第三图像;
使用所述判别模型对所述第三图像和该训练数据对中的第二图像进行判别,并根据判别结果计算判别损失值;
根据所述判别损失值对所述生成对抗网络模型的模型参数进行调整。
5.根据权利要求2所述的摩尔纹处理方法,其特征在于,所述生成对抗网络模型包括生成模型、判别模型和重建模型,所述使用所述训练数据集对初始的生成对抗网络模型进行训练包括:
针对所述训练数据集中的每个训练数据对,使用所述生成模型对该训练数据对中的第一图像进行去摩尔纹处理,得到第三图像;
使用所述判别模型对所述第三图像和该训练数据对中的第二图像进行判别,并根据判别结果计算判别损失值;
使用所述重建模型对所述第三图像进行摩尔纹重建处理,得到第四图像,并根据所述第一图像和所述第四图像计算重建损失值;
根据所述判别损失值和所述重建损失值对所述生成对抗网络模型的模型参数进行调整。
6.根据权利要求5所述的摩尔纹处理方法,其特征在于,所述根据判别结果计算判别损失值包括:
根据判别结果计算所述第三图像被判定为不含摩尔纹的图像的概率,并将该概率的负对数值确定为所述判别损失值。
7.根据权利要求5所述的摩尔纹处理方法,其特征在于,所述根据所述第一图像和所述第四图像计算重建损失值包括:
计算所述第一图像和所述第四图像之间的平方误差,并将该平方误差确定为所述重建损失值。
8.根据权利要求5至7中任一项所述的摩尔纹处理方法,其特征在于,所述根据所述判别损失值和所述重建损失值对所述生成对抗网络模型的模型参数进行调整包括:
将所述判别损失值和所述重建损失值之和作为所述生成对抗网络模型的训练损失值;
根据所述训练损失值对所述生成对抗网络模型的模型参数进行调整。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的摩尔纹处理方法的步骤。
10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的摩尔纹处理方法的步骤。
CN202010429152.9A 2020-05-20 2020-05-20 摩尔纹处理方法、计算机可读存储介质及终端设备 Pending CN113706392A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010429152.9A CN113706392A (zh) 2020-05-20 2020-05-20 摩尔纹处理方法、计算机可读存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010429152.9A CN113706392A (zh) 2020-05-20 2020-05-20 摩尔纹处理方法、计算机可读存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN113706392A true CN113706392A (zh) 2021-11-26

Family

ID=78645466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010429152.9A Pending CN113706392A (zh) 2020-05-20 2020-05-20 摩尔纹处理方法、计算机可读存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113706392A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132479A (zh) * 2023-04-28 2023-11-28 荣耀终端有限公司 摩尔纹的消除方法、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564550A (zh) * 2018-04-25 2018-09-21 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN109064428A (zh) * 2018-08-01 2018-12-21 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN110060216A (zh) * 2019-04-17 2019-07-26 广东工业大学 一种基于生成对抗网络的图像修复方法、装置以及设备
CN110163813A (zh) * 2019-04-16 2019-08-23 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110738609A (zh) * 2019-09-11 2020-01-31 北京大学 一种去除图像摩尔纹的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875766A (zh) * 2017-11-29 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108564550A (zh) * 2018-04-25 2018-09-21 Oppo广东移动通信有限公司 图像处理方法、装置及终端设备
CN109064428A (zh) * 2018-08-01 2018-12-21 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN110163813A (zh) * 2019-04-16 2019-08-23 中国科学院深圳先进技术研究院 一种图像去雨方法、装置、可读存储介质及终端设备
CN110060216A (zh) * 2019-04-17 2019-07-26 广东工业大学 一种基于生成对抗网络的图像修复方法、装置以及设备
CN110738609A (zh) * 2019-09-11 2020-01-31 北京大学 一种去除图像摩尔纹的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132479A (zh) * 2023-04-28 2023-11-28 荣耀终端有限公司 摩尔纹的消除方法、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN108805840B (zh) 图像去噪的方法、装置、终端及计算机可读存储介质
Yang et al. BM3D-Net: A convolutional neural network for transform-domain collaborative filtering
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
CN107424123B (zh) 一种摩尔纹去除方法及装置
CN111383186B (zh) 一种图像处理方法、装置及终端设备
CN111340109B (zh) 图像匹配方法、装置、设备及存储介质
WO2011097697A1 (en) Method and system for determining a quality measure for an image using multi-level decomposition of images
CN108846818B (zh) 去除摩尔纹的方法、装置、终端及计算机可读存储介质
CN108564550B (zh) 图像处理方法、装置及终端设备
WO2014070273A1 (en) Recursive conditional means image denoising
Teng et al. Modified pyramid dual tree direction filter‐based image denoising via curvature scale and nonlocal mean multigrade remnant filter
Tomita et al. Denoising multi-view images by soft thresholding: A short-time DFT approach
CN112700376A (zh) 图像的摩尔纹去除方法、装置、终端设备及存储介质
CN113706392A (zh) 摩尔纹处理方法、计算机可读存储介质及终端设备
John et al. A review on application of fourier transform in image restoration
Cristóbal et al. Superresolution imaging: a survey of current techniques
Fry et al. Validation of modulation transfer functions and noise power spectra from natural scenes
Zin et al. Local image denoising using RAISR
Sheta Restoration of medical images using genetic algorithms
CN111222446A (zh) 人脸识别方法、人脸识别装置及移动终端
CN115689947A (zh) 一种图像锐化的方法、系统、电子装置和存储介质
Chilukuri et al. Analysing Of Image Quality Computation Models Through Convolutional Neural Network
Shi et al. Non-Gaussian Noise Removal via Gaussian Denoisers with the Gray Level Indicator
Ojansivu et al. Object recognition using frequency domain blur invariant features
CN114119377A (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination