CN111429374A - 图像中摩尔纹的消除方法及装置 - Google Patents

图像中摩尔纹的消除方法及装置 Download PDF

Info

Publication number
CN111429374A
CN111429374A CN202010228114.7A CN202010228114A CN111429374A CN 111429374 A CN111429374 A CN 111429374A CN 202010228114 A CN202010228114 A CN 202010228114A CN 111429374 A CN111429374 A CN 111429374A
Authority
CN
China
Prior art keywords
image
moire
generator
eliminating
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010228114.7A
Other languages
English (en)
Other versions
CN111429374B (zh
Inventor
李铁岭
钟华
李兆佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010228114.7A priority Critical patent/CN111429374B/zh
Publication of CN111429374A publication Critical patent/CN111429374A/zh
Application granted granted Critical
Publication of CN111429374B publication Critical patent/CN111429374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像中摩尔纹的消除方法及装置，方法包括：获取包含有摩尔纹的目标图像；将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像；其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络。本申请能够有效提高图像中摩尔纹的消除效率，能够有效提高经摩尔纹消除后的图像质量，并能够有效提高经摩尔纹消除后的图像的清晰度。

Description

图像中摩尔纹的消除方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及图像中摩尔纹的消除方法及装置。
背景技术
数码设备使我们可以方便地记录生活中美好的时刻。随着硬件性能的迭代提升，虽然数字图像的质量不断提高，但是拍摄屏幕依然难以得到高质量的图像。由于相机传感器和屏幕之间的采样频率不同步，相机的像素网格和屏幕之间的叠加效果，使得相机输出的图像受到摩尔纹的干扰。
目前，在计算机视觉领域，有两类主要的摩尔纹去除算法：基于传统图像处理的频段分离算法和基于卷积神经网络的摩尔纹消除算法，这两类算法均存在处理后的图像信息损失严重且耗时长等缺陷。
发明内容
针对现有技术中的问题，本申请提供一种图像中摩尔纹的消除方法及装置，能够有效提高图像中摩尔纹的消除效率，能够有效提高经摩尔纹消除后的图像质量，并能够有效提高经摩尔纹消除后的图像的清晰度。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种图像中摩尔纹的消除方法，包括：
获取包含有摩尔纹的目标图像；
将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像；
其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络。
进一步地，所述获取包含有摩尔纹的目标图像，包括：
接收由具有拍摄功能的设备采集的具有显示功能的设备的屏拍图像，所述屏拍图像中包含有摩尔纹；
相对应的，在所述将该生成器的输出作为所述目标图像对应的摩尔纹消除图像之后，还包括：
显示和/或输出所述屏拍图像对应的摩尔纹消除图像。
进一步地，若所述屏拍图像中包含有文字信息，则在所述将该生成器的输出作为所述目标图像对应的摩尔纹消除图像之后，还包括：
对所述屏拍图像对应的摩尔纹消除图像进行文字识别处理，并输出对应的文字识别结果。
进一步地，在所述将所述目标图像输入预设的生成器之前，还包括：
获取多个包含有摩尔纹的历史摩尔纹图像以及各个所述历史摩尔纹图像各自对应的不包含有摩尔纹的历史原始图像；
应用多个所述历史摩尔纹图像依次输入预设的生成对抗网络中的生成器中以对该生成器进行训练，并将所述生成器的输出的摩尔纹抑制图像标记为负样本；
以及，将各个所述历史原始图像均标记为正样本，并应用标记为正样本的历史原始图像与标记为负样本的摩尔纹抑制图像训练所述生成对抗网络中的判别器，以通过所述生成器与判别器的对抗过程来迭代所述生成器，直至所述生成器与判别器之间达到纳什均衡状态后，停止训练所述生成器与判别器，其中，所述判别器为深度卷积神经网络。
进一步地，所述判别器的损失函数为相对对抗损失函数；
其中，所述相对对抗损失函数应用所述判别器的非线性映射函数以及批量数据的生成样本经过所述判别器打分的平均值表达式形成。
进一步地，所述生成器包括多个依次连接的基本模块；
所述基本模块为由多个层对依次连接而成的残差块，且所述层对包含有卷积层和激活层。
第二方面，本申请提供一种图像中摩尔纹的消除装置，包括：
图像获取模块，用于获取包含有摩尔纹的目标图像；
摩尔纹消除模块，用于将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像；
其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络。
进一步地，所述图像获取模块包括：
屏拍图像接收单元，用于接收由具有拍摄功能的设备采集的具有显示功能的设备的屏拍图像，所述屏拍图像中包含有摩尔纹；
相对应的，所述图像中摩尔纹的消除装置还包括：
摩尔纹消除图像输出模块，用于显示和/或输出所述屏拍图像对应的摩尔纹消除图像。
进一步地，若所述屏拍图像中包含有文字信息，则所述图像中摩尔纹的消除装置还包括：
图像文字识别模块，用于对所述屏拍图像对应的摩尔纹消除图像进行文字识别处理，并输出对应的文字识别结果。
进一步地，还包括：
历史数据获取模块，用于获取多个包含有摩尔纹的历史摩尔纹图像以及各个所述历史摩尔纹图像各自对应的不包含有摩尔纹的历史原始图像；
生成器训练模块，用于应用多个所述历史摩尔纹图像依次输入预设的生成对抗网络中的生成器中以对该生成器进行训练，并将所述生成器的输出的摩尔纹抑制图像标记为负样本；
判别器训练及生成器迭代模块，用于将各个所述历史原始图像均标记为正样本，并应用标记为正样本的历史原始图像与标记为负样本的摩尔纹抑制图像训练所述生成对抗网络中的判别器，以通过所述生成器与判别器的对抗过程来迭代所述生成器，直至所述生成器与判别器之间达到纳什均衡状态后，停止训练所述生成器与判别器，其中，所述判别器为深度卷积神经网络。
进一步地，所述判别器的损失函数为相对对抗损失函数；
其中，所述相对对抗损失函数应用所述判别器的非线性映射函数以及批量数据的生成样本经过所述判别器打分的平均值表达式形成。
进一步地，所述生成器包括多个依次连接的基本模块；
所述基本模块为由多个层对依次连接而成的残差块，且所述层对包含有卷积层和激活层。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的图像中摩尔纹的消除方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的图像中摩尔纹的消除方法的步骤。
由上述技术方案可知，本申请提供的一种图像中摩尔纹的消除方法及装置，方法包括：获取包含有摩尔纹的目标图像；将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像；其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络，克服了现有算法生成的图像信息损失严重、耗时长等缺陷，避免了马尔科夫链中采样和推断的学习机制，直接进行采样和推断，很大程度上降低了计算复杂度，能够有效提高图像中摩尔纹的消除效率及消除过程的可靠性，能够有效提高经摩尔纹消除后的图像质量，并能够输出更清晰、摩尔纹消除更加彻底的图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中的图像中摩尔纹的消除方法的流程示意图。
图2是本申请实施例中的包含有步骤101的图像中摩尔纹的消除方法的流程示意图。
图3是本申请实施例中的包含有步骤300的图像中摩尔纹的消除方法的流程示意图。
图4是本申请实施例中的包含有步骤400的图像中摩尔纹的消除方法的流程示意图。
图5是本申请实施例中的图像中摩尔纹的消除方法中步骤001至步骤003的具体流程示意图。
图6是本申请应用实例中的生成器网络的结构示意图。
图7是本申请应用实例中的生成器网络的主要组成部分中的基本Basic Block模型的结构示意图。
图8是本申请应用实例中的判别器网络的结构示意图。
图9是本申请实施例中的图像中摩尔纹的消除装置的第一种结构示意图。
图10是本申请实施例中的图像中摩尔纹的消除装置的第二种结构示意图。
图11是本申请实施例中的图像中摩尔纹的消除装置的第三种结构示意图。
图12是本申请实施例中的图像中摩尔纹的消除装置的第四种结构示意图。
图13是本申请实施例中的图像中摩尔纹的消除装置的第五种结构示意图。
图14是本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在计算机视觉领域，有两类主要的摩尔纹去除算法：基于传统图像处理的频段分离算法和基于卷积神经网络的摩尔纹消除算法，这两类算法存在缺陷如下：
1、基于传统图像处理的算法(如：频段分离算法)，存在缺陷为：传统图像处理算法认为摩尔纹主要包括色彩干扰和纹理干扰。色彩特征和纹理特征都属于图像的低级特征，频段分离法假设摩尔纹图像与原图像仅在视觉上存在差异(色彩和纹理)，忽略了摩尔纹产生的成像原理，未考虑摩尔纹图像与原图像在结构等高级图像特征上的差异，而且算法分为摩尔纹色彩消除和摩尔纹纹理消除两个阶段，图像处理耗时长，同时会损失图像本身的质感和色彩细节，需要寻求更精细的纹理控制算法弥补，困难较大。
2、基于卷积神经网络的算法(如：多分辨率完全卷积网络)，存在缺陷为：算法简单地设计卷积神经网络去优化预测值与真实值之间像素点的欧几里得距离，使得网络会产生模糊的实验结果。这是由于欧式距离对所有可行输出进行了取平均操作。需要提出合理的损失函数来迫使神经网络生成我们真正需要的结果，例如输出清晰逼真的图像，这对研究者的要求较高，需要丰富的专业知识积累。而且消除图像各个频段包含的摩尔纹效应，多分辨率完全卷积网络引入多分辨率金字塔结构，每一频段都进行非线性滤波操作，计算时间复杂度较高。
针对上述内容，本申请提供一种图像中摩尔纹的消除方法、图像中摩尔纹的消除装置、电子设备和计算机可读存储介质，通过获取包含有摩尔纹的目标图像；将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像；其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络，涉及计算机视觉和人工智能深度学习技术，基于生成对抗网络的摩尔纹去除技术，克服了现有算法生成的图像信息损失严重、耗时长等缺陷。生成对抗网络具有如下优势：第一，避免了马尔科夫链中采样和推断的学习机制，直接进行采样和推断，很大程度上降低了计算复杂度。第二，生成对抗网络框架比较灵活，可以融合任意结构的神经网络模型。第三，受生成对抗网络的对抗损失函数约束，网络在训练过程中，输入的摩尔纹图像经过生成器生成的目标图像会不断逼近清晰图像的分布。通过拟合不同图像域图像的分布信息以达到摩尔纹去除的效果，生成更加逼真和清晰的图像。
具体通过下述多个实施例分别进行详细说明。
为了有效提高图像中摩尔纹的消除效率，能够有效提高经摩尔纹消除后的图像质量，并能够有效提高经摩尔纹消除后的图像的清晰度，本申请提供一种图像中摩尔纹的消除方法的实施例，参见图1，所述图像中摩尔纹的消除方法具体包含有如下内容：
步骤100：获取包含有摩尔纹的目标图像。
可以理解的是，所述包含有摩尔纹的目标图像是指当前待进行摩尔纹消除处理的图像，此类图像由于相机传感器和屏幕之间的采样频率不同步，相机的像素网格和屏幕之间的叠加效果，使得相机输出的图像受到摩尔纹的干扰。
步骤200：将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像，其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络。
在步骤200中，所述生成器为预先应用生成对抗网络训练得到的，首先准备摩尔纹图像及其对应的清晰原图若干图像对，划分为训练集和测试集。训练过程中，摩尔纹图像作为生成器的输入，输出接近原始清晰图像的伪真实图像，标记为负样本，与标记为正样本的真实清晰图像共同送入到判别器中进行训练，通过生成器与判别器的对抗博弈，迭代生成器，使其生成的图像不断逼近真实的清晰图像，直到生成器和判别器达到纳什均衡状态后停止训练。最后，训练结束得到的生成器用于输入摩尔纹图像，并输出对应的摩尔纹消除后的清晰图像。
为了实现针对具有拍摄功能的设备采集的具有显示功能的设备的屏拍图像的摩尔纹消除，提高针对用户发送的屏拍图像的摩尔纹消除的效率及可靠性的同时，能够直观且快速将摩尔纹消除图像发送至用户进行查看，以有效提高用户体验，在本申请提供的图像中摩尔纹的消除方法的实施例中，参见图2，所述图像中摩尔纹的消除方法中的步骤100具体包含有如下内容：
步骤101：接收由具有拍摄功能的设备采集的具有显示功能的设备的屏拍图像，所述屏拍图像中包含有摩尔纹。
相对应的，在所述将该生成器的输出作为所述目标图像对应的摩尔纹消除图像之后，参见图3，所述图像中摩尔纹的消除方法中的步骤200之后还具体包含有如下内容：
步骤300：显示和/或输出所述屏拍图像对应的摩尔纹消除图像。
由于部分银行内的OCR识别技术涉及的大部分业务场景都包含对屏拍图像的处理，如代发工资的文字内容识别等，在应用OCR识别技术对屏拍样本进行文字识别的过程中，摩尔纹的存在会造成较差的矩形框检测结果，最终的识别成功率自然不会高。
针对上述问题，为了有效提高针对包含有文字信息的屏拍图像的摩尔纹消除效率及可靠性，以有效提高包含有文字信息的屏拍图像的文字识别的准确性及效率，在本申请提供的图像中摩尔纹的消除方法的实施例中，参见图4，所述图像中摩尔纹的消除方法中的步骤200之后还具体包含有如下内容：
步骤400：对所述屏拍图像对应的摩尔纹消除图像进行文字识别处理，并输出对应的文字识别结果。
为了有效提高生成器的应用可靠性，以进一步有效提高经摩尔纹消除后的图像质量，在本申请提供的图像中摩尔纹的消除方法的实施例中，参见图5，所述图像中摩尔纹的消除方法中的步骤100之前还具体包含有如下内容：
步骤001：获取多个包含有摩尔纹的历史摩尔纹图像以及各个所述历史摩尔纹图像各自对应的不包含有摩尔纹的历史原始图像。
步骤002：应用多个所述历史摩尔纹图像依次输入预设的生成对抗网络中的生成器中以对该生成器进行训练，并将所述生成器的输出的摩尔纹抑制图像标记为负样本。
步骤003：将各个所述历史原始图像均标记为正样本，并应用标记为正样本的历史原始图像与标记为负样本的摩尔纹抑制图像训练所述生成对抗网络中的判别器，以通过所述生成器与判别器的对抗过程来迭代所述生成器，直至所述生成器与判别器之间达到纳什均衡状态后，停止训练所述生成器与判别器，其中，所述判别器为深度卷积神经网络。
为了进一步提高有效提高图像中摩尔纹的消除效率，不仅能够使得生成器可以合成让判别器打高分的图像，还能够达到使判别器对真实图像降低打分的目标，在本申请提供的图像中摩尔纹的消除方法的实施例中，所述图像中摩尔纹的消除方法中的所述判别器的损失函数为相对对抗损失函数；其中，所述相对对抗损失函数应用所述判别器的非线性映射函数以及批量数据的生成样本经过所述判别器打分的平均值表达式形成。
具体的，相对对抗损失函数对应的判别器使其对真实图像ir估计的概率比对生成图像if估计的概率尽可能的高。如果将传统判别器D表示为D(i)＝σ(R(i))，其中σ表示判别器最后的sigmoid激活层，R(i)表示判别器网络的非线性映射函数。那么判别器可以表示为
Figure BDA0002428392880000081
其中
Figure BDA0002428392880000082
表示一个批量数据的生成样本经过判别器打分的平均值。最终，改进后的判别器的损失函数定义为：
Figure BDA0002428392880000083
拥有对抗损失的生成器的损失函数具有与判别器对称的形式：
Figure BDA0002428392880000084
其中，if＝G(im)，im代表摩尔纹图像样本。
为了直接将所有层连接起来不仅可以减轻梯度消失问题，还可以保证网络中层与层之间最大程度的信息传输，以输出更为逼近清晰原图的目标图像，在本申请提供的图像中摩尔纹的消除方法的实施例中，所述图像中摩尔纹的消除方法中的所述生成器包括多个依次连接的基本模块；所述基本模块为由多个层对依次连接而成的残差块，且所述层对包含有卷积层和激活层。
为了进一步说明本方案，本申请还提供一种图像中摩尔纹的消除方法的具体应用实例，首先准备摩尔纹图像及其对应的清晰原图若干图像对，划分为训练集和测试集。训练过程中，摩尔纹图像作为生成器的输入，输出接近原始清晰图像的伪真实图像，标记为负样本，与标记为正样本的真实清晰图像共同送入到判别器中进行训练，通过生成器与判别器的对抗博弈，迭代生成器，使其生成的图像不断逼近真实的清晰图像，直到生成器和判别器达到纳什均衡状态后停止训练。最后，训练结束得到的生成器，用于输入摩尔纹图像，输出对应的摩尔纹消除后的清晰图像，所述具体应用实例的内容如下：
(一)构建数据集
使用3种手机(参见表1)以及3种显示器(参见表2)，组合有9种，共收集100000对图像。
表1手机型号明细
生产商 型号 像素
APPLE iPhone 6 8MP
SAMSUNG Galaxy S7 Edge 12MP
SONY Xperia Z5 Premium Dual 23MP
表2显示器型号明细
生产商 型号 分辨率 屏幕大小
APPLE Macbook Pro Retina 2560x 1600 13.3寸
DELL U2410LCD 1920x 1200 24寸
DELL SE198WFP LCD 1280x 800 19寸
(二)网络结构设计
参见图6，生成器网络由若干个Basic Block模块组成。受DenseNet和ResNet启发，基本模块Basic Block(如图7所示)是由多个卷积层Conv和激活层LReLU对通过密集连接组合成的残差块。在深度神经网络中，随着网络深度的加深，梯度消失问题会愈加明显。直接将所有层连接起来不仅可以减轻梯度消失问题，还可以保证网络中层与层之间最大程度的信息传输。因此，包含该模块的网络可以使用较浅的层数达到深层网络的提取特征效果。生成器的输入为摩尔纹图像，输出为逼近清晰原图的目标图像。
参见图8，判别器采用典型的VGG网络，其中涉及多个卷积层Conv、激活层ReLU、池化层Pool、全连接层FC、删除层Drop和概率层Prob，各个层若有多个，则分别用不同的编号表示。在VGG网络中，使用3个3x3卷积核来代替7x7卷积核，2个3x3卷积核来代替5x5卷积核，保证具有相同感受野的条件下，提升了网络的深度，通过不断加深网络结构提升网络性能。
可以理解的是，VGG网络是一种深度卷积神经网络。VGG主要探究了卷积神经网络的深度和其性能之间的关系，通过反复堆叠3*3的小卷积核和2*2的最大池化层，VGG网络成功的搭建了16-19层的深度卷积神经网络。
(三)损失函数设计
生成对抗网络的原始损失函数——对抗损失函数如下：
Figure BDA0002428392880000101
整体训练过程，首先固定生成器G，尽可能地让判别器能够最大化地判别出样本符合真实数据分布还是生成数据分布。然后固定判别器D的参数，训练生成器G，最小化G生成的目标与真实样本之间的差异。也即判别器D用于输出数据为真实样本的概率，而生成器用于提高数据以假乱真的概率。
本申请使用一种相对对抗损失函数来代替传统的对抗损失，可以使生成对抗网络的训练更加稳定，而且可以生成更高分辨率、更接近目标域图像的结果。
具体的，相对对抗损失函数对应的判别器使其对真实图像ir估计的概率比对生成图像if估计的概率尽可能的高。如果将传统判别器D表示为D(i)＝σ(R(i))，其中σ表示判别器最后的sigmoid激活层，R(i)表示判别器网络的非线性映射函数。那么判别器可以表示为
Figure BDA0002428392880000102
其中
Figure BDA0002428392880000103
表示一个批量数据的生成样本经过判别器打分的平均值。最终，改进后的判别器的损失函数定义为：
Figure BDA0002428392880000104
拥有对抗损失的生成器的损失函数具有与判别器对称的形式：
Figure BDA0002428392880000105
其中，if＝G(im)，im代表摩尔纹图像样本。由上述公式我们可以得出，改进后的对抗损失函数不仅要求生成器可以合成让判别器打高分的图像，还需要达到使判别器对真实图像降低打分的目标。实验结果表明这样设计的对抗损失可以帮助网络学习到更加锐化的边缘信息和更细节的纹理信息，使得生成的消除摩尔纹的图像更逼真。
从上述描述可知，本申请具体应用实例设计了一种基于生成对抗网络的摩尔纹消除模型(本申请中一个多个实施例中提及的生成器)，相对于目前现存的摩尔纹消除算法而言，该模型的创新点主要有以下三点：
1.将摩尔纹消除任务归结为图像翻译课题。图像翻译任务是两个不同图像域之间的图像互相转换的过程。对于摩尔纹消除任务，即是将摩尔纹图像集作为源图像域，将无摩尔纹的清晰图像作为目标图像域，从源图像域的图像中提取特征，生成目标域中图像，学习不同图像域之间转换的一个映射函数。近两年，随着生成对抗网络的提出，许多图像翻译任务引入生成对抗网络模型并取。得了突破性的研究进展。本申请同样使用生成对抗网络模型解决摩尔纹消除任务。
2.输出更清晰、摩尔纹消除更加彻底的图像。传统的生成对抗网络模型中，生成器采用通用的卷积神经网络结构，其中包含的批量标准化层导致合成图像中容易产生伪影，本申请移除生成器网络结构中的批量标准化层，直接采用Conv-LReLU结构。同时，引入相对对抗损失函数代替传统的对抗损失，生成器的任务不仅是合成可以以假乱真的图像，还包括降低判别器对真实图像的置信度，使合成的图像更细节化，同时可以保证生成对抗网络训练过程的稳定性。
3.引入密集连接组合成的残差块，更好地解决网络训练中普遍存在的梯度消失问题。直接将所有层连接起来，可以保证各网络层之间最大程度的信息传输，浅层网络模型就可以达到较高的特征提取效果，一定程度上避免了由于网络层数较多而带来的梯度消失问题，提高了模型的训练效率。
进而使得应用上述摩尔纹消除模型的图像中摩尔纹的消除方法，克服了现有算法生成的图像信息损失严重、耗时长等缺陷，避免了马尔科夫链中采样和推断的学习机制，直接进行采样和推断，很大程度上降低了计算复杂度，能够有效提高图像中摩尔纹的消除效率及消除过程的可靠性，能够有效提高经摩尔纹消除后的图像质量，并能够输出更清晰、摩尔纹消除更加彻底的图像。
从软件层面来说，为了有效提高图像中摩尔纹的消除效率，能够有效提高经摩尔纹消除后的图像质量，并能够有效提高经摩尔纹消除后的图像的清晰度，本申请提供一种用于实现所述图像中摩尔纹的消除方法中全部或部分内容的图像中摩尔纹的消除装置的实施例，参见图9，所述图像中摩尔纹的消除装置具体包含有如下内容：
图像获取模块10，用于获取包含有摩尔纹的目标图像。
摩尔纹消除模块20，用于将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像。
可以理解的是，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络。
为了实现针对具有拍摄功能的设备采集的具有显示功能的设备的屏拍图像的摩尔纹消除，提高针对用户发送的屏拍图像的摩尔纹消除的效率及可靠性的同时，能够直观且快速将摩尔纹消除图像发送至用户进行查看，以有效提高用户体验，在本申请提供的图像中摩尔纹的消除装置的实施例中，参见图10，所述图像中摩尔纹的消除装置中的图像获取模块10具体包含有如下内容：
屏拍图像接收单元11，用于接收由具有拍摄功能的设备采集的具有显示功能的设备的屏拍图像，所述屏拍图像中包含有摩尔纹。
相对应的，在所述将该生成器的输出作为所述目标图像对应的摩尔纹消除图像之后，参见图11，所述图像中摩尔纹的消除装置中还具体包含有如下内容：
摩尔纹消除图像输出模块30，用于显示和/或输出所述屏拍图像对应的摩尔纹消除图像。
由于部分银行内的OCR识别技术涉及的大部分业务场景都包含对屏拍图像的处理，如代发工资的文字内容识别等，在应用OCR识别技术对屏拍样本进行文字识别的过程中，摩尔纹的存在会造成较差的矩形框检测结果，最终的识别成功率自然不会高。
针对上述问题，为了有效提高针对包含有文字信息的屏拍图像的摩尔纹消除效率及可靠性，以有效提高包含有文字信息的屏拍图像的文字识别的准确性及效率，在本申请提供的图像中摩尔纹的消除装置的实施例中，参见图12，所述图像中摩尔纹的消除装置中还具体包含有如下内容：
图像文字识别模块40，用于对所述屏拍图像对应的摩尔纹消除图像进行文字识别处理，并输出对应的文字识别结果。
为了有效提高生成器的应用可靠性，以进一步有效提高经摩尔纹消除后的图像质量，在本申请提供的图像中摩尔纹的消除装置的实施例中，参见图13，所述图像中摩尔纹的消除装置中还具体包含有如下内容：
历史数据获取模块01，用于获取多个包含有摩尔纹的历史摩尔纹图像以及各个所述历史摩尔纹图像各自对应的不包含有摩尔纹的历史原始图像。
生成器训练模块02，用于应用多个所述历史摩尔纹图像依次输入预设的生成对抗网络中的生成器中以对该生成器进行训练，并将所述生成器的输出的摩尔纹抑制图像标记为负样本。
判别器训练及生成器迭代模块03，用于将各个所述历史原始图像均标记为正样本，并应用标记为正样本的历史原始图像与标记为负样本的摩尔纹抑制图像训练所述生成对抗网络中的判别器，以通过所述生成器与判别器的对抗过程来迭代所述生成器，直至所述生成器与判别器之间达到纳什均衡状态后，停止训练所述生成器与判别器，其中，所述判别器为深度卷积神经网络。
为了进一步提高有效提高图像中摩尔纹的消除效率，不仅能够使得生成器可以合成让判别器打高分的图像，还能够达到使判别器对真实图像降低打分的目标，在本申请提供的图像中摩尔纹的消除装置的实施例中，所述图像中摩尔纹的消除装置中的所述判别器的损失函数为相对对抗损失函数；其中，所述相对对抗损失函数应用所述判别器的非线性映射函数以及批量数据的生成样本经过所述判别器打分的平均值表达式形成。
为了直接将所有层连接起来不仅可以减轻梯度消失问题，还可以保证网络中层与层之间最大程度的信息传输，以输出更为逼近清晰原图的目标图像，在本申请提供的图像中摩尔纹的消除装置的实施例中，所述图像中摩尔纹的消除装置中的所述生成器包括多个依次连接的基本模块；所述基本模块为由多个层对依次连接而成的残差块，且所述层对包含有卷积层和激活层。
从硬件层面来说，为了有效提高图像中摩尔纹的消除效率，能够有效提高经摩尔纹消除后的图像质量，并能够有效提高经摩尔纹消除后的图像的清晰度，本申请提供一种用于实现所述图像中摩尔纹的消除方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现电子设备与用户终端以及相关数据库等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例中的图像中摩尔纹的消除方法的实施例，以及，图像中摩尔纹的消除装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图14为本申请实施例的电子设备9600的系统构成的示意框图。如图14所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图14是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
在一实施例中，图像中摩尔纹的消除功能可以被集成到中央处理器中。其中，中央处理器可以被配置为进行如下控制：
步骤100：获取包含有摩尔纹的目标图像。
可以理解的是，所述包含有摩尔纹的目标图像是指当前待进行摩尔纹消除处理的图像，此类图像由于相机传感器和屏幕之间的采样频率不同步，相机的像素网格和屏幕之间的叠加效果，使得相机输出的图像受到摩尔纹的干扰。
步骤200：将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像，其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络。
在步骤200中，所述生成器为预先应用生成对抗网络训练得到的，首先准备摩尔纹图像及其对应的清晰原图若干图像对，划分为训练集和测试集。训练过程中，摩尔纹图像作为生成器的输入，输出接近原始清晰图像的伪真实图像，标记为负样本，与标记为正样本的真实清晰图像共同送入到判别器中进行训练，通过生成器与判别器的对抗博弈，迭代生成器，使其生成的图像不断逼近真实的清晰图像，直到生成器和判别器达到纳什均衡状态后停止训练。最后，训练结束得到的生成器用于输入摩尔纹图像，并输出对应的摩尔纹消除后的清晰图像。
从上述描述可知，本申请实施例提供的电子设备，克服了现有算法生成的图像信息损失严重、耗时长等缺陷，避免了马尔科夫链中采样和推断的学习机制，直接进行采样和推断，很大程度上降低了计算复杂度，能够有效提高图像中摩尔纹的消除效率及消除过程的可靠性，能够有效提高经摩尔纹消除后的图像质量，并能够输出更清晰、摩尔纹消除更加彻底的图像。
在另一个实施方式中，图像中摩尔纹的消除装置可以与中央处理器9100分开配置，例如可以将图像中摩尔纹的消除装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现图像中摩尔纹的消除功能。
如图14所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图14中所示的所有部件；此外，电子设备9600还可以包括图14中没有示出的部件，可以参考现有技术。
如图14所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的图像中摩尔纹的消除方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的图像中摩尔纹的消除方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：获取包含有摩尔纹的目标图像。
可以理解的是，所述包含有摩尔纹的目标图像是指当前待进行摩尔纹消除处理的图像，此类图像由于相机传感器和屏幕之间的采样频率不同步，相机的像素网格和屏幕之间的叠加效果，使得相机输出的图像受到摩尔纹的干扰。
步骤200：将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像，其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络。
在步骤200中，所述生成器为预先应用生成对抗网络训练得到的，首先准备摩尔纹图像及其对应的清晰原图若干图像对，划分为训练集和测试集。训练过程中，摩尔纹图像作为生成器的输入，输出接近原始清晰图像的伪真实图像，标记为负样本，与标记为正样本的真实清晰图像共同送入到判别器中进行训练，通过生成器与判别器的对抗博弈，迭代生成器，使其生成的图像不断逼近真实的清晰图像，直到生成器和判别器达到纳什均衡状态后停止训练。最后，训练结束得到的生成器用于输入摩尔纹图像，并输出对应的摩尔纹消除后的清晰图像。
从上述描述可知，本申请实施例提供的计算机可读存储介质，克服了现有算法生成的图像信息损失严重、耗时长等缺陷，避免了马尔科夫链中采样和推断的学习机制，直接进行采样和推断，很大程度上降低了计算复杂度，能够有效提高图像中摩尔纹的消除效率及消除过程的可靠性，能够有效提高经摩尔纹消除后的图像质量，并能够输出更清晰、摩尔纹消除更加彻底的图像。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种图像中摩尔纹的消除方法，其特征在于，包括：
获取包含有摩尔纹的目标图像；
将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像；
其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络。
2.根据权利要求1所述的图像中摩尔纹的消除方法，其特征在于，所述获取包含有摩尔纹的目标图像，包括：
接收由具有拍摄功能的设备采集的具有显示功能的设备的屏拍图像，所述屏拍图像中包含有摩尔纹；
相对应的，在所述将该生成器的输出作为所述目标图像对应的摩尔纹消除图像之后，还包括：
显示和/或输出所述屏拍图像对应的摩尔纹消除图像。
3.根据权利要求2所述的图像中摩尔纹的消除方法，其特征在于，若所述屏拍图像中包含有文字信息，则在所述将该生成器的输出作为所述目标图像对应的摩尔纹消除图像之后，还包括：
对所述屏拍图像对应的摩尔纹消除图像进行文字识别处理，并输出对应的文字识别结果。
4.根据权利要求1所述的图像中摩尔纹的消除方法，其特征在于，在所述将所述目标图像输入预设的生成器之前，还包括：
获取多个包含有摩尔纹的历史摩尔纹图像以及各个所述历史摩尔纹图像各自对应的不包含有摩尔纹的历史原始图像；
应用多个所述历史摩尔纹图像依次输入预设的生成对抗网络中的生成器中以对该生成器进行训练，并将所述生成器的输出的摩尔纹抑制图像标记为负样本；
以及，将各个所述历史原始图像均标记为正样本，并应用标记为正样本的历史原始图像与标记为负样本的摩尔纹抑制图像训练所述生成对抗网络中的判别器，以通过所述生成器与判别器的对抗过程来迭代所述生成器，直至所述生成器与判别器之间达到纳什均衡状态后，停止训练所述生成器与判别器，其中，所述判别器为深度卷积神经网络。
5.根据权利要求4所述的图像中摩尔纹的消除方法，其特征在于，所述判别器的损失函数为相对对抗损失函数；
其中，所述相对对抗损失函数应用所述判别器的非线性映射函数以及批量数据的生成样本经过所述判别器打分的平均值表达式形成。
6.根据权利要求1至5任一项所述的图像中摩尔纹的消除方法，其特征在于，所述生成器包括多个依次连接的基本模块；
所述基本模块为由多个层对依次连接而成的残差块，且所述层对包含有卷积层和激活层。
7.一种图像中摩尔纹的消除装置，其特征在于，包括：
图像获取模块，用于获取包含有摩尔纹的目标图像；
摩尔纹消除模块，用于将所述目标图像输入预设的生成器，并将该生成器的输出作为所述目标图像对应的摩尔纹消除图像；
其中，所述生成器为应用预设的生成对抗网络训练得到的一种用于消除图像中摩尔纹的深度卷积神经网络。
8.根据权利要求7所述的图像中摩尔纹的消除装置，其特征在于，所述图像获取模块包括：
屏拍图像接收单元，用于接收由具有拍摄功能的设备采集的具有显示功能的设备的屏拍图像，所述屏拍图像中包含有摩尔纹；
相对应的，所述图像中摩尔纹的消除装置还包括：
摩尔纹消除图像输出模块，用于显示和/或输出所述屏拍图像对应的摩尔纹消除图像。
9.根据权利要求8所述的图像中摩尔纹的消除装置，其特征在于，若所述屏拍图像中包含有文字信息，则所述图像中摩尔纹的消除装置还包括：
图像文字识别模块，用于对所述屏拍图像对应的摩尔纹消除图像进行文字识别处理，并输出对应的文字识别结果。
10.根据权利要求7所述的图像中摩尔纹的消除装置，其特征在于，还包括：
历史数据获取模块，用于获取多个包含有摩尔纹的历史摩尔纹图像以及各个所述历史摩尔纹图像各自对应的不包含有摩尔纹的历史原始图像；
生成器训练模块，用于应用多个所述历史摩尔纹图像依次输入预设的生成对抗网络中的生成器中以对该生成器进行训练，并将所述生成器的输出的摩尔纹抑制图像标记为负样本；
判别器训练及生成器迭代模块，用于将各个所述历史原始图像均标记为正样本，并应用标记为正样本的历史原始图像与标记为负样本的摩尔纹抑制图像训练所述生成对抗网络中的判别器，以通过所述生成器与判别器的对抗过程来迭代所述生成器，直至所述生成器与判别器之间达到纳什均衡状态后，停止训练所述生成器与判别器，其中，所述判别器为深度卷积神经网络。
11.根据权利要求10所述的图像中摩尔纹的消除装置，其特征在于，所述判别器的损失函数为相对对抗损失函数；
其中，所述相对对抗损失函数应用所述判别器的非线性映射函数以及批量数据的生成样本经过所述判别器打分的平均值表达式形成。
12.根据权利要求7至11任一项所述的图像中摩尔纹的消除装置，其特征在于，所述生成器包括多个依次连接的基本模块；
所述基本模块为由多个层对依次连接而成的残差块，且所述层对包含有卷积层和激活层。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的图像中摩尔纹的消除方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的图像中摩尔纹的消除方法的步骤。
CN202010228114.7A 2020-03-27 2020-03-27 图像中摩尔纹的消除方法及装置 Active CN111429374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010228114.7A CN111429374B (zh) 2020-03-27 2020-03-27 图像中摩尔纹的消除方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010228114.7A CN111429374B (zh) 2020-03-27 2020-03-27 图像中摩尔纹的消除方法及装置

Publications (2)

Publication Number Publication Date
CN111429374A true CN111429374A (zh) 2020-07-17
CN111429374B CN111429374B (zh) 2023-09-22

Family

ID=71548899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010228114.7A Active CN111429374B (zh) 2020-03-27 2020-03-27 图像中摩尔纹的消除方法及装置

Country Status (1)

Country Link
CN (1) CN111429374B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233614A (zh) * 2020-11-03 2021-01-15 卡莱特（深圳）云科技有限公司 图像摩尔纹消除方法、装置及led显示屏校正方法
WO2023019995A1 (zh) * 2021-08-17 2023-02-23 北京百度网讯科技有限公司 训练方法、译文展示方法、装置、电子设备以及存储介质
CN117291857A (zh) * 2023-11-27 2023-12-26 武汉精立电子技术有限公司 图像处理方法、摩尔纹消除方法、设备及装置
CN117333399A (zh) * 2023-10-27 2024-01-02 天津大学 基于通道和空间调制的Raw域图像及视频去摩尔纹方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204314A1 (en) * 2017-01-18 2018-07-19 Nvidia Corporation Filtering image data using a neural network
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN110738609A (zh) * 2019-09-11 2020-01-31 北京大学 一种去除图像摩尔纹的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204314A1 (en) * 2017-01-18 2018-07-19 Nvidia Corporation Filtering image data using a neural network
CN109191402A (zh) * 2018-09-03 2019-01-11 武汉大学 基于对抗生成神经网络的图像修复方法和系统
CN110738609A (zh) * 2019-09-11 2020-01-31 北京大学 一种去除图像摩尔纹的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUJING SUN等: "Moiré Photo Restoration Using Multiresolution Convolutional Neural Networks" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233614A (zh) * 2020-11-03 2021-01-15 卡莱特（深圳）云科技有限公司 图像摩尔纹消除方法、装置及led显示屏校正方法
CN112233614B (zh) * 2020-11-03 2021-09-17 卡莱特云科技股份有限公司 图像摩尔纹消除方法、装置及led显示屏校正方法
WO2023019995A1 (zh) * 2021-08-17 2023-02-23 北京百度网讯科技有限公司 训练方法、译文展示方法、装置、电子设备以及存储介质
CN117333399A (zh) * 2023-10-27 2024-01-02 天津大学 基于通道和空间调制的Raw域图像及视频去摩尔纹方法
CN117333399B (zh) * 2023-10-27 2024-04-23 天津大学 基于通道和空间调制的Raw域图像及视频去摩尔纹方法
CN117291857A (zh) * 2023-11-27 2023-12-26 武汉精立电子技术有限公司 图像处理方法、摩尔纹消除方法、设备及装置
CN117291857B (zh) * 2023-11-27 2024-03-22 武汉精立电子技术有限公司 图像处理方法、摩尔纹消除方法、设备及装置

Also Published As

Publication number Publication date
CN111429374B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
US20220261960A1 (en) Super-resolution reconstruction method and related apparatus
CN111429374B (zh) 图像中摩尔纹的消除方法及装置
Chen et al. Image blind denoising with generative adversarial network based noise modeling
WO2018177379A1 (zh) 手势识别、控制及神经网络训练方法、装置及电子设备
CN110706179B (zh) 一种图像处理方法及电子设备
KR20200140713A (ko) 이미지 디테일 향상을 위한 신경 네트워크 모델 학습 방법 및 장치
CN112669197A (zh) 图像处理方法、装置、移动终端及存储介质
CN115187706B (zh) 一种人脸风格迁移的轻量化方法、系统、存储介质和电子设备
CN111985281A (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN110610467A (zh) 一种基于深度学习的多帧视频去压缩噪声方法
Kim et al. Exposing fake faces through deep neural networks combining content and trace feature extractors
CN110570375B (zh) 一种图像处理方法、装置、电子设置以及存储介质
CN115953533A (zh) 三维人体重建方法及装置
CN110991325A (zh) 一种模型训练的方法、图像识别的方法以及相关装置
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN116310105B (zh) 基于多视图的物体三维重建方法、装置、设备及存储介质
Lemarchand et al. Opendenoising: an extensible benchmark for building comparative studies of image denoisers
CN115984949B (zh) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN116704200A (zh) 图像特征提取、图像降噪方法及相关装置
CN111489300A (zh) 基于无监督学习的屏幕图像去摩尔纹方法
CN112308202A (zh) 一种确定卷积神经网络的决策因素的方法及电子设备
CN110349108A (zh) 处理图像的方法、装置、电子设备、及存储介质
CN113205464B (zh) 图像去模糊模型的生成方法、图像去模糊方法和电子设备
CN112200721B (zh) 一种图像处理方法、系统、设备及介质
CN114022931A (zh) 一种图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant