CN112785507A - 图像处理方法及装置、存储介质、终端 - Google Patents

图像处理方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN112785507A
CN112785507A CN201911083065.6A CN201911083065A CN112785507A CN 112785507 A CN112785507 A CN 112785507A CN 201911083065 A CN201911083065 A CN 201911083065A CN 112785507 A CN112785507 A CN 112785507A
Authority
CN
China
Prior art keywords
image
processed
screen
network model
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911083065.6A
Other languages
English (en)
Inventor
范诗清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Harvest Intelligence Tech Co Ltd
Original Assignee
Shanghai Harvest Intelligence Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Harvest Intelligence Tech Co Ltd filed Critical Shanghai Harvest Intelligence Tech Co Ltd
Priority to CN201911083065.6A priority Critical patent/CN112785507A/zh
Priority to US17/090,674 priority patent/US11610289B2/en
Publication of CN112785507A publication Critical patent/CN112785507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理方法及装置、存储介质、终端，图像处理方法包括：获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；输出所述处理后图像。本发明技术方案能够提升屏下摄像头采集图像的图像质量。

Description

图像处理方法及装置、存储介质、终端
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、存储介质、终端。
背景技术
随着手机屏幕技术的发展，全面屏成为了新的发展趋势。目前大多数手机产品都受到前置摄像头的限制，不得不在正面屏幕上留出前置摄像头的位置，只能无限趋近于全面屏概念。而为了实现真正的全面屏，前置摄像头需要设置在屏幕的下方。
但是，对于真正的全面屏设备，由于摄像头设置在屏幕下方，因此屏下摄像头采集图像时要透过屏幕，导致采集到的图像存在重影、模糊等现象，图像质量较差。
发明内容
本发明解决的技术问题是如何提升屏下摄像头采集图像的图像质量。
为解决上述技术问题，本发明实施例提供一种图像处理方法，图像处理方法包括：获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；输出所述处理后图像。
可选的，所述处理后图像中包括人脸，所述输出所述处理后图像包括：将所述处理后图像进行输出，以用于进行人脸识别。
可选的，所述输出所述处理后图像包括：将所述处理后图像输出至显示界面进行显示。
可选的，采用以下方式对所述生成对抗网络模型进行训练：构建初始述生成对抗网络模型；将所述预设训练数据输入至所述初始述生成对抗网络模型，并计算损失度，直至所述损失度达到预设值。
可选的，所述对抗网络模型为最小二乘对抗网络模型。
可选的，所述清晰图片是拍摄设备直接针对拍摄背景拍摄得到的，所述模糊图片是所述拍摄设备透过测试屏幕针对所述拍摄背景拍摄得到的，所述测试屏幕与所述设备屏幕具备相同的光学参数。
可选的，所述清晰图片以及所述模糊图片具备相同分辨率。
为解决上述技术问题，本发明实施例还公开了一种图像处理装置，图像处理装置包括：图像获取模块，用以获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；图像处理模块，用以将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；图像输出模块，用以输出所述处理后图像。
本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述图像处理方法的步骤。
本发明实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述图像处理方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明技术方案中，训练完成的生成对抗网络能够针对输入的模糊图片生成对应的清晰图片，通过将屏下摄像头拍摄得到的待处理图像输入至训练完成的生成对抗网络模型，可以获得具备较高清晰度的处理后图像。本发明技术方案利用深度学习模型对待处理图像进行处理，相对于传统图像处理算法，不需要先验条件，可以在复杂状况下实现对图像质量的提升；此外，通过对屏下摄像头拍摄得到的图像进行后期图像处理，相对于在屏下摄像头采集图像的过程中对成像过程进行处理，在实现图像质量提升的基础上，无需增加硬件组件，还可以避免对设备屏幕的挖孔操作，减小设备成本。
附图说明
图1是本发明实施例一种图像处理方法的流程图；
图2是本发明实施例一种训练生成对抗网络模型的流程图；
图3是本发明实施例一种图像处理装置的结构示意图。
具体实施方式
如背景技术中所述，对于真正的全面屏设备，由于摄像头设置在屏幕下方，因此屏下摄像头采集图像时要透过屏幕，导致采集到的图像存在重影、模糊等现象，图像质量较差。
本发明技术方案中，训练完成的生成对抗网络能够针对输入的模糊图片生成对应的清晰图片，通过将屏下摄像头拍摄得到的待处理图像输入至训练完成的生成对抗网络模型，可以获得具备较高清晰度的处理后图像。本发明技术方案利用深度学习模型对待处理图像进行处理，相对于传统图像处理算法，不需要先验条件，可以在复杂状况下实现对图像质量的提升；此外，通过对屏下摄像头拍摄得到的图像进行后期图像处理，相对于在屏下摄像头采集图像的过程中对成像过程进行处理，在实现图像质量提升的基础上，无需增加硬件组件，还可以避免对设备屏幕的挖孔操作，减小设备成本。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图1是本发明实施例一种像处理方法的流程图。
所述图像处理方法可以用于任意具有屏下摄像头的终端设备，例如手机、平板电脑等，也即可以由所述终端设备执行图1所示方法的各个步骤。
图1所示图像处理方法可以包括以下步骤：
步骤S101：获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；
步骤S102：将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；
步骤S103：输出所述处理后图像。
需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
本实施例中所称屏下摄像头是指设置在设备屏幕的下方的摄像头，例如，手机屏幕为全面屏，屏下摄像头为设置在全面屏下方的前置摄像头。
在步骤S101的具体实施中，可以获取待处理图像。具体可以是直接从屏下摄像头获取待处理图像；或者，从缓存中获取待处理图像，所述缓存中存储有屏下摄像头采集到的图像。
由于屏下摄像头在采集图像时，光线需要透过设备屏幕到达摄像头传感器，而设备屏幕会对到达摄像头传感器的光线产生遮挡、折射等作用，削弱进光量或出现杂光，导致采集到的待处理图像的图像质量较差，例如出现重影、模糊等现象。
在步骤S102的具体实施中，生成对抗网络(Generative Adversarial Networks,GAN)模型是采用预设训练数据预先训练得到的。其中，预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片。具体地，在训练过程中，生成对抗网络模型的输入为模糊图片，输出为与所述清晰图片一致的图片。由此，将一张模糊图片输入至训练完成的生成对抗网络模型，该生成对抗网络模型能够输出一张对应的清晰图片。
需要说明的是，所述清晰图片可以是指分辨率大于第一预设阈值的图片，所述模糊图片可以是指分辨率小于第二预设阈值的图片，所述第一预设阈值大于等于所述第二预设阈值。第一预设阈值以及第二预设阈值的具体数值可以根据实际的应用环境进行设置，本发明实施例对此不作限制。
具体而言，生成对抗网络模型可以包括生成器和判别器，生成器可以由模糊图片生成清晰图片，判别器判断生成器所生成图片的真假。生成器的优化过程为提升所生成图片被判别器预测为真的概率，并使得生成的图片接近每组图像中的清晰图片。而判别器的优化过程则为尽量提高判别生成器所生成图片为假、每组图像中的清晰图片为真的概率。
本领域技术人员应当理解的是，关于GAN模型及其具体算法原理的具体描述可以参照现有技术，本发明实施例对此不作限制。
通过将待处理图像输入至生成对抗网络模型，可以获得处理后图像，相对于所述待处理图像，所述处理后图像为具备较高清晰度的图像。至此，通过上述步骤实现了对待处理图像的图像质量的提升。
进而在步骤S103的具体实施中，可以将处理后图像进行输出，以进行后续的处理流程。例如，将处理后图像展示给用户，或者将处理后图像用于身份验证流程。
本发明实施例中，训练完成的生成对抗网络能够针对输入的模糊图片生成对应的清晰图片，通过将屏下摄像头拍摄得到的待处理图像输入至训练完成的生成对抗网络模型，可以获得具备较高清晰度的处理后图像。本发明实施例利用深度学习模型对待处理图像进行处理，相对于传统图像处理算法，不需要先验条件，可以在复杂状况下实现对图像质量的提升；此外，通过对屏下摄像头拍摄得到的图像进行后期图像处理，相对于在屏下摄像头采集图像的过程中对成像过程进行处理，在实现图像质量提升的基础上，无需增加硬件组件，还可以避免对设备屏幕的挖孔操作，减小设备成本。
在本发明一个非限制性的实施例中，所述处理后图像中包括人脸，图1所示步骤S103可以包括以下步骤：将所述处理后图像进行输出，以用于进行人脸识别。
本实施例中，待处理图像可以是人脸图像，也即待处理图像是屏下摄像头拍摄用户的脸部所获得的图像。待处理图像和处理后图像中均包括人脸。
由此，在步骤S102中得到处理后图像后，由于处理后图像为具备较高清晰度的图像，因此处理后图像中的人脸也具备较高的清晰度。在这种情况下，可以利用处理后图像执行人脸识别操作，从而提升人脸识别的成功率以及准确性。
在一个具体应用场景中，设备需要采集用户的人脸进行身份验证，以开启设备。如果直接采用屏下摄像头采集的待处理图像，则会导致验证失败，因为待处理图像的图像质量较差。故而，可以通过上述步骤S101和步骤S102获得的处理后图像进行人脸识别，能够大大提升人脸识别的准确率，提升用户体验。
在本发明一个非限制性的实施例中，图1所示步骤S103可以包括以下步骤：将所述处理后图像输出至显示界面进行显示。
本实施例中，在步骤S102中得到处理后图像后，可以将所述处理后图像输出至设备的显示界面，例如设备屏幕进行显示，以展示给用户。相较于直接将屏下摄像头采集到的图像展示给用户，本发明实施例可以将具备较高清晰度的处理后图像展示给用户，提升用户体验。
在本发明一个非限制性的实施例中，请参照图2，可以采用以下方式对所述生成对抗网络模型进行训练：
步骤S201：构建初始述生成对抗网络模型；
步骤S202：将所述预设训练数据输入至所述初始述生成对抗网络模型，并计算损失度，直至所述损失度达到预设值。
本实施例中，在训练生成对抗网络模型时，可以先构建初始生成对抗网络模型。具体地，如前所述，生成对抗网络模型可以包括生成器和判别器，生成器可以由模糊图片生成清晰图片，判别器判断生成器所生成图片的真假。生成器的优化过程为提升所生成图片被判别器预测为真的概率，并使得生成的图片接近每组图像中的清晰图片。而判别器的优化过程则为尽量提高判别生成器所生成图片为假、每组图像中的清晰图片为真的概率。
进而可以将所述预设训练数据输入至所述初始述生成对抗网络模型，并计算损失度，直至所述损失度达到预设值。
可以理解的是，所述预设值可以是根据实际的应用场景设置的经验值，本发明实施例对此不作限制。
在一个具体应用场景中，生成对抗网络模型训练完成之后，可以获得训练完成的模型参数；将训练完成的生成对抗模型以及模型参数植入到设备中，例如手机、平板电脑等，通过在设备中运行该生成对抗模型，可以执行上述图像处理方法的各个步骤，对设备的屏下摄像头采集的图像进行处理，获得具备较高清晰度的处理后图像。
本发明一个非限制性的实施例中，本发明实施例中所称生成对抗网络模型可以是最小二乘(Least squares)生成对抗网络模型(LSGAN)。采用LSGAN执行上述图像处理过程，可以获得较好的图像处理效果且速度较快。
需要说明的是，根据实际应用场景以及训练数据的不同，可以适应性地选择不同的生成对抗网络模型，例如可以是传统生成对抗网络模型、加入梯度惩罚(Gradientpenalty)的生成对抗网络模型(WGAN-GP)等，本发明实施例对此不作限制。
本发明一个非限制性的实施例中，所述清晰图片是拍摄设备直接针对拍摄背景拍摄得到的，所述模糊图片是所述拍摄设备透过测试屏幕针对所述拍摄背景拍摄得到的，所述测试屏幕与所述设备屏幕具备相同的光学参数。
本实施例中，对于用于训练生成对抗模型的每组图像，清晰图像和模糊图像是针对同一拍摄背景拍摄得到的。并且，清晰图片是拍摄设备直接针对拍摄背景拍摄得到的，所述模糊图片是所述拍摄设备透过测试屏幕针对所述拍摄背景拍摄得到的。由于测试屏幕本身具备光学参数，例如折射率、透光率等，因此拍摄设备透过测试屏幕时，测试屏幕会对拍摄设备的成像造成干扰。故而相较于模糊图片，清晰图片具备较高的清晰度。
进一步地，为了模拟设备屏幕对屏下摄像头成像的影响，测试屏幕与设备屏幕具备相同的光学参数，例如测试屏幕与设备屏幕具备相同的折射率、透光率等等。
在本发明一个非限制性的实施例中，为了获得更好的模型训练效果，所述清晰图片以及所述模糊图片具备相同分辨率。
也就是说，用于训练生成对抗网络模型的每组图像中的清晰图片和模糊图片具备相同的分辨率，也即清晰图片和模糊图片具备相同的大小。并且，清晰图片和模糊图片之间无缩放关系以及放大关系。
本发明实施例还公开了一种图像处理装置，请参照图3，图像处理装置30可以包括图像获取模块301、图像处理模块302和图像输出模块303。
其中，图像获取模块301用以获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；
图像处理模块302用以将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；
图像输出模块303用以输出所述处理后图像。
本发明实施例中，训练完成的生成对抗网络能够针对输入的模糊图片生成对应的清晰图片，通过将屏下摄像头拍摄得到的待处理图像输入至训练完成的生成对抗网络模型，可以获得具备较高清晰度的处理后图像。本发明实施例利用深度学习模型对待处理图像进行处理，相对于传统图像处理算法，不需要先验条件，可以在复杂状况下实现对图像质量的提升；此外，通过对屏下摄像头拍摄得到的图像进行后期图像处理，相对于在屏下摄像头采集图像的过程中对成像过程进行处理，在实现图像质量提升的基础上，无需增加硬件组件，还可以避免对设备屏幕的挖孔操作，减小设备成本。
在本发明一个非限制性的实施例中，处理后图像中包括人脸，图像输出模块303可以将所述处理后图像进行输出，以用于进行人脸识别。
在本发明另一个非限制性的实施例中，图像输出模块303可以将所述处理后图像输出至显示界面进行显示。
在本发明一个非限制性的实施例中，可以采用以下模块对所述生成对抗网络模型进行训练：构建模块(图未示)，用以构建初始述生成对抗网络模型；训练模块(图未示)，用以将所述预设训练数据输入至所述初始述生成对抗网络模型，并计算损失度，直至所述损失度达到预设值。
在本发明一个非限制性的实施例中，所述清晰图片是拍摄设备直接针对拍摄背景拍摄得到的，所述模糊图片是所述拍摄设备透过测试屏幕针对所述拍摄背景拍摄得到的，所述测试屏幕与所述设备屏幕具备相同的光学参数。
进一步而言，所述清晰图片以及所述模糊图片具备相同分辨率。
关于所述图像处理装置30的工作原理、工作方式的更多内容，可以参照图1至图2中的相关描述，这里不再赘述。
本发明实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行图1或图2中所示的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
本发明实施例还公开了一种终端，所述终端可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令。所述处理器运行所述计算机指令时可以执行图1或图2中所示的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；
将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；
输出所述处理后图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述处理后图像中包括人脸，所述输出所述处理后图像包括：
将所述处理后图像进行输出，以用于进行人脸识别。
3.根据权利要求1所述的图像处理方法，其特征在于，所述输出所述处理后图像包括：
将所述处理后图像输出至显示界面进行显示。
4.根据权利要求1所述的图像处理方法，其特征在于，采用以下方式对所述生成对抗网络模型进行训练：
构建初始述生成对抗网络模型；
将所述预设训练数据输入至所述初始述生成对抗网络模型，并计算损失度，直至所述损失度达到预设值。
5.根据权利要求1所述的图像处理方法，其特征在于，所述对抗网络模型为最小二乘对抗网络模型。
6.根据权利要求1所述的图像处理方法，其特征在于，所述清晰图片是拍摄设备直接针对拍摄背景拍摄得到的，所述模糊图片是所述拍摄设备透过测试屏幕针对所述拍摄背景拍摄得到的，所述测试屏幕与所述设备屏幕具备相同的光学参数。
7.根据权利要求1所述的图像处理方法，其特征在于，所述清晰图片以及所述模糊图片具备相同分辨率。
8.一种图像处理装置，其特征在于，包括：
图像获取模块，用以获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；
图像处理模块，用以将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；
图像输出模块，用以输出所述处理后图像。
9.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至7中任一项所述图像处理方法的步骤。
10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至7中任一项所述图像处理方法的步骤。
CN201911083065.6A 2019-11-07 2019-11-07 图像处理方法及装置、存储介质、终端 Pending CN112785507A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911083065.6A CN112785507A (zh) 2019-11-07 2019-11-07 图像处理方法及装置、存储介质、终端
US17/090,674 US11610289B2 (en) 2019-11-07 2020-11-05 Image processing method and apparatus, storage medium, and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911083065.6A CN112785507A (zh) 2019-11-07 2019-11-07 图像处理方法及装置、存储介质、终端

Publications (1)

Publication Number Publication Date
CN112785507A true CN112785507A (zh) 2021-05-11

Family

ID=75747941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911083065.6A Pending CN112785507A (zh) 2019-11-07 2019-11-07 图像处理方法及装置、存储介质、终端

Country Status (2)

Country Link
US (1) US11610289B2 (zh)
CN (1) CN112785507A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409207A (zh) * 2021-06-15 2021-09-17 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN116416656A (zh) * 2021-12-29 2023-07-11 荣耀终端有限公司 基于屏下图像的图像处理方法、装置及存储介质
WO2023240898A1 (zh) * 2022-06-16 2023-12-21 昆山国显光电有限公司 一种显示装置及屏下拍照处理方法
CN118175238A (zh) * 2024-05-14 2024-06-11 威海凯思信息科技有限公司 一种基于aigc的图像生成方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373093B2 (en) * 2019-06-26 2022-06-28 International Business Machines Corporation Detecting and purifying adversarial inputs in deep learning computing systems
US11042799B2 (en) 2019-08-20 2021-06-22 International Business Machines Corporation Cohort based adversarial attack detection
CN113362304B (zh) * 2021-06-03 2023-07-21 北京百度网讯科技有限公司 清晰度预测模型的训练方法和确定清晰等级的方法
CN115147394A (zh) * 2022-07-21 2022-10-04 重庆西山科技股份有限公司 模型训练方法、图像处理方法、内窥镜装置和存储介质
CN115936980B (zh) * 2022-07-22 2023-10-20 北京字跳网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN117218452B (zh) * 2023-11-02 2024-02-06 临沂市兰山区自然资源开发服务中心 一种土地图像自动分类管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765340A (zh) * 2018-05-29 2018-11-06 Oppo（重庆）智能科技有限公司 模糊图像处理方法、装置及终端设备
CN109685032A (zh) * 2018-12-29 2019-04-26 联想(北京)有限公司 图像处理方法、装置、电子设备以及存储介质
CN110012136A (zh) * 2019-04-02 2019-07-12 北京旷视科技有限公司 显示装置、显示屏及终端设备
CN110223254A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于对抗生成网络的图像去噪方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853072B2 (en) * 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9158995B2 (en) * 2013-03-14 2015-10-13 Xerox Corporation Data driven localization using task-dependent representations
US9454807B2 (en) * 2014-03-25 2016-09-27 Spreadtrum Communications (Shanghai) Co., Ltd. Methods and systems for denoising images
CN105912975B (zh) * 2015-02-20 2021-10-26 空中客车集团印度私人有限公司 使用视频分析来管理在过站期间出现的飞行器舱内行为
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US20170330059A1 (en) * 2016-05-11 2017-11-16 Xerox Corporation Joint object and object part detection using web supervision
US10289951B2 (en) * 2016-11-02 2019-05-14 Adobe Inc. Video deblurring using neural networks
US10796178B2 (en) * 2016-12-15 2020-10-06 Beijing Kuangshi Technology Co., Ltd. Method and device for face liveness detection
US20180204076A1 (en) * 2017-01-13 2018-07-19 The Regents Of The University Of California Moving object detection and classification image analysis methods and systems
CA3056498A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
US11354577B2 (en) * 2017-03-15 2022-06-07 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
US11244226B2 (en) * 2017-06-12 2022-02-08 Nvidia Corporation Systems and methods for training neural networks with sparse data
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
US10769411B2 (en) * 2017-11-15 2020-09-08 Qualcomm Technologies, Inc. Pose estimation and model retrieval for objects in images
US10970765B2 (en) * 2018-02-15 2021-04-06 Adobe Inc. Generating user-customized items using a visually-aware image generation network
US20200097818A1 (en) * 2018-09-26 2020-03-26 Xinlin LI Method and system for training binary quantized weight and activation function for deep neural networks
CN110265439A (zh) * 2019-06-06 2019-09-20 武汉华星光电半导体显示技术有限公司 有机发光二极管显示面板及电子设备
US11580333B2 (en) * 2019-11-12 2023-02-14 Objectvideo Labs, Llc Training image classifiers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765340A (zh) * 2018-05-29 2018-11-06 Oppo（重庆）智能科技有限公司 模糊图像处理方法、装置及终端设备
CN109685032A (zh) * 2018-12-29 2019-04-26 联想(北京)有限公司 图像处理方法、装置、电子设备以及存储介质
CN110012136A (zh) * 2019-04-02 2019-07-12 北京旷视科技有限公司 显示装置、显示屏及终端设备
CN110223254A (zh) * 2019-06-10 2019-09-10 大连民族大学 一种基于对抗生成网络的图像去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭达志等: "空间信息技术与资源环境保护", 北京：地质出版社, pages: 214 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409207A (zh) * 2021-06-15 2021-09-17 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN113409207B (zh) * 2021-06-15 2023-12-08 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN116416656A (zh) * 2021-12-29 2023-07-11 荣耀终端有限公司 基于屏下图像的图像处理方法、装置及存储介质
WO2023240898A1 (zh) * 2022-06-16 2023-12-21 昆山国显光电有限公司 一种显示装置及屏下拍照处理方法
CN118175238A (zh) * 2024-05-14 2024-06-11 威海凯思信息科技有限公司 一种基于aigc的图像生成方法和装置

Also Published As

Publication number Publication date
US11610289B2 (en) 2023-03-21
US20210142450A1 (en) 2021-05-13

Similar Documents

Publication Publication Date Title
CN112785507A (zh) 图像处理方法及装置、存储介质、终端
US10755173B2 (en) Video deblurring using neural networks
US10977530B2 (en) ThunderNet: a turbo unified network for real-time semantic segmentation
CN110008817B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
US9430817B2 (en) Blind image deblurring with cascade architecture
EP3526765B1 (en) Iterative multiscale image generation using neural networks
US20140307950A1 (en) Image deblurring
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
CN111105375B (zh) 图像生成方法及其模型训练方法、装置及电子设备
CN108108676A (zh) 人脸识别方法、卷积神经网络生成方法及装置
CN108875931B (zh) 神经网络训练及图像处理方法、装置、系统
CN111667420B (zh) 图像处理方法及装置
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN113554726B (zh) 基于脉冲阵列的图像重构方法、装置、存储介质及终端
Dutta Depth-aware blending of smoothed images for bokeh effect generation
CN111968052B (zh) 图像处理方法、图像处理装置及存储介质
JP2023166444A (ja) 拡大画像の取得およびストレージ
US10521918B2 (en) Method and device for filtering texture, using patch shift
JP2018133110A (ja) 画像処理装置及び画像処理プログラム
KR101528244B1 (ko) 액체 매질에서 난류 효과를 포함한 이미지 데이터의 처리
CN112801890B (zh) 一种视频处理方法、装置及设备
CN116506732B (zh) 一种图像抓拍防抖的方法、装置、系统和计算机设备
CN116309158A (zh) 网络模型的训练方法、三维重建方法、装置、设备和介质
CN111292234A (zh) 一种全景图像生成方法及装置
TWI841803B (zh) 圖像處理方法及裝置、記憶媒體、電子設備

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210511