CN113592733A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113592733A
CN113592733A CN202110833269.8A CN202110833269A CN113592733A CN 113592733 A CN113592733 A CN 113592733A CN 202110833269 A CN202110833269 A CN 202110833269A CN 113592733 A CN113592733 A CN 113592733A
Authority
CN
China
Prior art keywords
image
detail enhancement
sample
processed
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110833269.8A
Other languages
English (en)
Inventor
万韶华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd, Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110833269.8A priority Critical patent/CN113592733A/zh
Publication of CN113592733A publication Critical patent/CN113592733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种图像处理方法、装置、存储介质及电子设备。该图像处理方法包括:响应于用户的输入操作,获取所述用户输入的针对待处理图像的画质调整需求信息;将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型,得到所述图像处理模型输出的目标图像,以使所述目标图像的画质满足用户需求。本公开的这种方法,可基于用户的画质调整需求信息得到符合用户需求的目标图像。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
智能手机上的相机与单反相机相比较,手机相机因受手机物理尺寸的限制导致手机相机的图像传感器尺寸较小,而图像传感器的尺寸越小拍摄得到的图像的分辨率越低。并且,手机相机的光圈也因手机物理尺寸的限制而无法做到足够大,使得手机相机镜头通光量较少、聚光能力较弱,这导致用手机拍摄得到的图像的信噪比更低。此外,利用相机拍摄得到的图像可以认为是利用光学成像设备对原始高分辨率场景进行观测的结果,而观测过程不可避免的会受到镜头光学模糊、欠釆样(即传感器像素大于细节所需要的像素,也就是采样率没有达到奈奎斯特频率)、噪声等降质因素的影响。这些客观因素均导致使用手机相机拍摄得到的图像画质不高。
相关技术中,为了提升智能手机拍摄的图像的画质,常对拍摄的原始图像进行去噪处理,但是图像去噪处理伴随着图像细节的模糊,因而去噪后的图像可能因细节丢失而不符合用户的画质需求。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像处理方法、装置、存储介质及电子设备,以解决相关技术中存在的问题,得到符合用户需求的图像画质。
根据本公开实施例的第一方面,提供一种图像处理方法,所述方法包括:
响应于用户的输入操作,获取所述用户输入的针对待处理图像的画质调整需求信息;
将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型,得到所述图像处理模型输出的目标图像,以使所述目标图像的画质满足用户需求。
可选地,所述画质调整需求信息包括噪声抑制值,所述噪声抑制值是所述用户参考噪声抑制参考值输入的,其中,所述噪声抑制参考值是根据拍摄所述待处理图像的摄像机的感光度,和/或所述待处理图像的像素方差值确定的;
其中,所述噪声抑制值的大小与所述图像处理模型对图像中的噪声抑制程度成正相关。
可选地,所述画质调整需求信息包括图像细节增强值,所述图像细节增强值是所述用户参考所述待处理图像的模糊程度进行确定的,所述模糊程度表征所述待处理图像的锐化程度、亮度、对比度中的至少一种图像参数。
可选地,所述画质调整需求信息还包括图像细节增强值,所述图像细节增强值是所述用户参考图像细节增强参考值输入的,所述图像细节增强参考值是根据所述用户输入的所述噪声抑制值,以及噪声抑制值与图像细节增强值之间预设的对应关系进行确定的。
可选地,所述图像处理模型的训练包括:
获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
计算所述样本待处理图像的噪声强度;
对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
可选地,所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的,或者,所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
可选地,所述画质调整需求信息包括噪声抑制值和图像细节增强值,所述图像处理模型为深度卷积神经网络模型,包括卷积模块、图像细节增强模块、图像重建模块;
所述卷积模块用于,根据所述噪声抑制值、所述图像细节增强值对所述待处理图像进行卷积处理,得到第一特征数据;
所述图像细节增强模块用于,对所述第一特征数据进行归一化处理,得到目标特征数据;
所述图像重建模块用于,根据所述目标特征数据重建得到所述目标图像。
可选地,所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层,其中,所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联;
所述特征提取层用于,提取该图像细节增强模块的输入数据的特征信息,得到第二特征数据;
所述归一化处理层用于,对该图像细节增强模块的输入数据进行归一化处理,得到归一化特征数据;
所述同位点乘处理层用于,对所述归一化特征数据与所述第二特征数据进行同位点乘处理,得到第三特征数据;
所述同位相加处理层用于,将所述第三特征数据与所述第二特征数据进行同位相加处理,得到该图像细节增强模块的输出数据。
可选地,所述图像细节增强模块为串联的多个图像细节增强模块,所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述第一特征数据,所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,所述目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
根据本公开实施例的第二方面,提供一种图像处理模型的训练方法,所述方法包括:
获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
计算所述样本待处理图像的噪声强度;
对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
可选地,所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的,或者,所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
可选地,所述图像处理模型为深度卷积神经网络模型,包括卷积模块、图像细节增强模块、图像重建模块;
所述卷积模块用于,根据所述噪声强度、所述细节增强强度对所述样本待处理图像进行卷积处理,得到样本第一特征数据;
所述图像细节增强模块用于,对所述样本第一特征数据进行归一化处理,得到样本目标特征数据;
所述图像重建模块用于,根据所述样本目标特征数据重建得到模型生成的样本目标图像。
可选地,所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层,其中,所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联;
所述特征提取层用于,提取该图像细节增强模块的输入数据的特征信息,得到样本第二特征数据;
所述归一化处理层用于,对该图像细节增强模块的输入数据进行归一化处理,得到归一化特征数据;
所述同位点乘处理层用于,对所述归一化特征数据与所述样本第二特征数据进行同位点乘处理,得到样本第三特征数据;
所述同位相加处理层用于,将所述样本第三特征数据与所述样本第二特征数据进行同位相加处理,得到该图像细节增强模块的输出数据。
可选地,所述图像细节增强模块为串联的多个图像细节增强模块,所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述样本第一特征数据,所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,所述样本目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
根据本公开实施例的第三方面,提供一种图像处理装置,所述装置包括:
获取模块,被配置为响应于用户的输入操作,获取所述用户输入的针对待处理图像的画质调整需求信息;
执行模块,被配置为将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型,得到所述图像处理模型输出的目标图像,以使所述目标图像的画质满足用户需求。
可选地,所述画质调整需求信息包括噪声抑制值,所述噪声抑制值是所述用户参考噪声抑制参考值输入的,其中,所述噪声抑制参考值是根据拍摄所述待处理图像的摄像机的感光度,和/或所述待处理图像的像素方差值确定的;
其中,所述噪声抑制值的大小与所述图像处理模型对图像中的噪声抑制程度成正相关。
可选地,所述画质调整需求信息包括图像细节增强值,所述图像细节增强值是所述用户参考所述待处理图像的模糊程度进行确定的,所述模糊程度表征所述待处理图像的锐化程度、亮度、对比度中的至少一种图像参数。
可选地,所述画质调整需求信息还包括图像细节增强值,所述图像细节增强值是所述用户参考图像细节增强参考值输入的,所述图像细节增强参考值是根据所述用户输入的所述噪声抑制值,以及噪声抑制值与图像细节增强值之间预设的对应关系进行确定的。
可选地,所述装置还包括训练模块,被配置为:
获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
计算所述样本待处理图像的噪声强度;
对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
可选地,所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的,或者,所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
可选地,所述画质调整需求信息包括噪声抑制值和图像细节增强值,所述图像处理模型为深度卷积神经网络模型,包括卷积模块、图像细节增强模块、图像重建模块;
所述卷积模块用于,根据所述噪声抑制值、所述图像细节增强值对所述待处理图像进行卷积处理,得到第一特征数据;
所述图像细节增强模块用于,对所述第一特征数据进行归一化处理,得到目标特征数据;
所述图像重建模块用于,根据所述目标特征数据重建得到所述目标图像。
可选地,所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层,其中,所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联;
所述特征提取层用于,提取该图像细节增强模块的输入数据的特征信息,得到第二特征数据;
所述归一化处理层用于,对该图像细节增强模块的输入数据进行归一化处理,得到归一化特征数据;
所述同位点乘处理层用于,对所述归一化特征数据与所述第二特征数据进行同位点乘处理,得到第三特征数据;
所述同位相加处理层用于,将所述第三特征数据与所述第二特征数据进行同位相加处理,得到该图像细节增强模块的输出数据。
可选地,所述图像细节增强模块为串联的多个图像细节增强模块,所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述第一特征数据,所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,所述目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
根据本公开实施例的第四方面,提供一种图像处理模型的训练装置,所述装置包括:
获取模块,被配置为获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
计算模块,被配置为计算所述样本待处理图像的噪声强度;
增强模块,被配置为对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
训练模块,被配置为将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
可选地,所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的,或者,所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
可选地,所述图像处理模型为深度卷积神经网络模型,包括卷积模块、图像细节增强模块、图像重建模块;
所述卷积模块用于,根据所述噪声强度、所述细节增强强度对所述样本待处理图像进行卷积处理,得到样本第一特征数据;
所述图像细节增强模块用于,对所述样本第一特征数据进行归一化处理,得到样本目标特征数据;
所述图像重建模块用于,根据所述样本目标特征数据重建得到模型生成的样本目标图像。
可选地,所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层,其中,所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联;
所述特征提取层用于,提取该图像细节增强模块的输入数据的特征信息,得到样本第二特征数据;
所述归一化处理层用于,对该图像细节增强模块的输入数据进行归一化处理,得到归一化特征数据;
所述同位点乘处理层用于,对所述归一化特征数据与所述样本第二特征数据进行同位点乘处理,得到样本第三特征数据;
所述同位相加处理层用于,将所述样本第三特征数据与所述样本第二特征数据进行同位相加处理,得到该图像细节增强模块的输出数据。
可选地,所述图像细节增强模块为串联的多个图像细节增强模块,所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述样本第一特征数据,所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,所述样本目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
根据本公开实施例的第五方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的图像处理方法或第二方面提供的图像处理模型的训练方法的步骤。
根据本公开实施例的第六方面,提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所提供的图像处理方法或第二方面提供的图像处理模型的训练方法的步骤。
采用上述技术方案,至少可以达到如下的技术效果:
通过响应于用户的输入操作,获取用户输入的针对待处理图像的画质调整需求信息。将待处理图像以及画质调整需求信息一起输入已经训练完成的图像处理模型,得到图像处理模型输出的目标图像。如此,可基于用户的画质调整需求信息得到符合用户画质需求的目标图像。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2是根据一示例性实施例示出的一种图像处理模型的框图。
图3是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图。
图4是根据一示例性实施例示出的一种图像处理装置的框图。
图5是根据一示例性实施例示出的一种图像处理模型的训练装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中,为了提升智能手机拍摄的图像的画质,常对拍摄的原始图像进行去噪处理,但是图像去噪处理伴随着图像细节的模糊,因而去噪后的图像可能因细节丢失严重反而降低图像画质。本领域普通技术人员应当知悉的是,画质的高低是人眼视觉系统对图像质量进行主观判断的结果。而人眼视觉系统对图像质量进行主观判断的依据是人眼视觉下拍摄得到的图像与该图像的源场景之间的差异越小,画质则越高。画质不仅受到图像中噪声的影响,还受图像分辨率、人对图像中细节的感知程度影响。举例来说,高噪声的图像看起来很脏,通过抑制图像中的噪声,可使得图像看起来更加干净。然而图像去噪处理伴随着图像细节丢失,过度抑制噪声可能导致图像细节丢失严重,导致图像看起来很模糊。
为了得到高画质图像,目前流行的方案是使用深度学习模型进行超分辨率图像恢复处理,示例地,基于深度学习的超分辨率算法有SRCNN、DRCN、ESPCN、VESPCN、和SRGAN等。基于超分辨率算法的深度学习模型,以低画质图像样本作为模型输入、以高画质图像样本作为模型输出进行模型训练。然后利用训练完成的模型通过提升低画质图像的分辨率来提升图像画质。然而,模型在训练完成后,模型参数固定,在给定输入的低画质图像的条件下,模型输出的高画质图像也是相对固定的(也就是说,将同一张低画质图像在两个不同时间点或由两个不同用户输入训练完成的模型,得到的两张高画质图像是一样的),这导致该种模型不能适应于用户的需求得到不同画质的图像。其中更容易理解的是,显然该基于超分辨率算法的模型不能适应于用户的需求得到分辨率不变化的高画质图像。
有鉴于此,本公开实施例提供一种图像处理方法、装置、存储介质及电子设备,以解决相关技术中存在的问题,实现适应于不同用户的画质需求得到符合用户需求的图像画质的目的。
图1是根据一示例性实施例示出的一种图像处理方法的流程图,该图像处理方法用于终端或服务器,一种可能的实施方式,该图像处理方法用于摄像机/相机,例如用于智能终端中的摄像机。如图1所示,该图像处理方法包括以下步骤:
在步骤S11中,响应于用户的输入操作,获取所述用户输入的针对待处理图像的画质调整需求信息。
待处理图像可以为一张图像,也可以为多张同场景图像。对此本公开不作具体的限制。在响应于用户的输入操作之前,所述方法还包括确定待处理图像。
一种可能的实施方式,所述画质调整需求信息包括噪声抑制值,所述噪声抑制值是所述用户参考噪声抑制参考值输入的,其中,所述噪声抑制参考值是根据拍摄所述待处理图像的摄像机的感光度,和/或所述待处理图像的像素方差值确定的;其中,所述噪声抑制值的大小与所述图像处理模型对图像中的噪声抑制程度成正相关。
示例地,所述画质调整需求信息包括噪声抑制值,在步骤S11之前,所述方法还可以包括:
根据拍摄所述待处理图像的摄像机的感光度,和/或所述待处理图像的像素方差值,确定噪声抑制参考值;显示所述噪声抑制参考值,所述噪声抑制参考值为所述用户在输入噪声抑制值时的参考信息,其中,所述噪声抑制值的大小与所述图像处理模型对图像中的噪声抑制程度成正相关。
其中,摄像机的感光度即ISO,用于表示相机的电荷藕荷器件对光的敏感程度。由于ISO的数值越大,随之导致的噪点就越多,因此,一种可实现的实施方式,可根据拍摄待处理图像的摄像机的感光度,确定或预估待处理图像的噪声。另一种可实现的实施方式,由于单位像素面积(传感器面积除以像素数)越大,随之产生的噪声越小,单位像素面积越小,随之产生的噪声越大。因此,可根据待处理图像的像素方差值,确定待处理图像的噪声。再一种可实现的实施方式,可根据拍摄待处理图像的摄像机的感光度和待处理图像的像素方差值,共同确定待处理图像的噪声。应当说明的是,确定或预估待处理图像的噪声的方式,不限于本公开上述实施例中的方式。
在确定待处理图像的噪声之后,可根据待处理图像的噪声确定噪声抑制参考值。容易理解的是,在知晓图像中有多少噪声的情况下,可知晓应去除图像中的多少噪声。因此,一种可实现的实施方式,可将确定/预估的待处理图像的噪声乘以预设系数如1、0.9等得到噪声抑制参考值。
进一步地,在用户操作页面显示噪声抑制参考值,如此可使用户知道该待处理图像的噪声大小。根据显示的噪声抑制参考值,可辅助用户输入想要图像处理模型对图像中的噪声抑制程度。
其中,噪声抑制值的大小与图像处理模型对图像中的噪声抑制程度成正相关。示例地,当噪声抑制参考值为待处理图像中的噪声量时,若用户输入的噪声抑制值等于噪声抑制参考值,那么表征用户希望图像处理模型对待处理图像中的噪声进行完全抑制(即百分百抑制噪声)。若用户输入的噪声抑制值小于噪声抑制参考值,那么可表征用户希望图像处理模型对待处理图像中的噪声不用完全抑制(如抑制百分之八十的噪声)。若用户输入的噪声抑制值大于噪声抑制参考值,那么可表征用户希望图像处理模型对图像中的噪声高度抑制(如抑制百分之一百二的噪声)。若用户输入的噪声抑制值为0,那么可表征用户希望图像处理模型不对图像中的噪声进行抑制。也就是说,采用这种方式,便于用户根据需求通过调整噪声抑制值的大小,来对待处理图像进行不同程度的去噪,得到用户需求的画质图像。
另一种可能的实施方式,所述画质调整需求信息包括图像细节增强值,所述方法还包括:
根据拍摄所述待处理图像的摄像机的感光度,和/或所述待处理图像的像素方差值,确定噪声抑制参考值;根据所述噪声抑制参考值、噪声抑制值与图像细节增强值之间的预设对应关系,确定图像细节增强参考值;显示所述图像细节增强参考值,所述图像细节增强参考值为所述用户在输入图像细节增强值时的参考信息,其中,所述图像细节增强值的大小表征所述图像处理模型对图像细节增强的强度。
值得解释的是,图像细节增强的核心是将原图像表示为基本分量(base layer)与细节分量(detail layer)之和,在此基础上单独增强细节分量从而与基本分量结合得到增强图像。图像细节增强即为图像增强,用于增强图像中的有用信息,它可以是一个失真的过程,其目的是要改善图像的视觉效果,针对给定图像的应用场合,有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果,满足某些特殊分析的需要。图像细节增强方法分为频率域法和空间域法,包括图像锐化、清晰度增强、对比度增强等等。在此值得说明的是,本公开不限制图像细节增强的细节维度,可包括图像锐化、清晰度增强、对比度增强中的任一种或多种。
由于图像去噪处理伴随着图像细节的丢失,因而一种可实现的实施方式,可先对不同分辨率、信噪比的图像进行去噪和细节增强实验,以确定不同分辨率、信噪比的图像在画质最优时噪声抑制值与图像细节增强值的对应关系。在此基础上之上,可以根据拍摄待处理图像的摄像机的感光度,和/或待处理图像的像素方差值,确定噪声抑制参考值。再根据实验得到的噪声抑制参考值和噪声抑制值与图像细节增强值的之间的对应关系,确定图像细节增强参考值。并在用户操作页面显示该图像细节增强参考值,以供用户进行参考。也就是说,采用这种方式,便于用户根据需求通过调整图像细节增强值的大小,以得到进行不同强度的细节增强后的图像。其中,通过调整图像细节增强值的大小以得到不同强度的细节增强后的图像的示例说明与前述通过调整噪声抑制值的大小以得到不同噪点量的图像的示例说明相类似,此处不再举例说明。
再一种可能的实施方式,所述画质调整需求信息包括图像细节增强值,所述图像细节增强值是所述用户参考所述待处理图像的模糊程度进行确定的,所述模糊程度表征所述待处理图像的锐化程度、亮度、对比度中的至少一种图像参数。
另一种可能的实施方式,所述画质调整需求信息还包括图像细节增强值,所述图像细节增强值是所述用户参考图像细节增强参考值输入的,所述图像细节增强参考值是根据所述用户输入的所述噪声抑制值,以及噪声抑制值与图像细节增强值之间预设的对应关系进行确定的。
在具体实施时,所述画质调整需求信息包括噪声抑制值和图像细节增强值,上述步骤S11响应于用户的输入操作,获取所述用户输入的针对待处理图像的画质调整需求信息,具体可以包括:
获取所述用户输入的所述噪声抑制值,根据噪声抑制值与图像细节增强值之间预设的对应关系,确定与所述用户输入的所述噪声抑制值对应的图像细节增强参考值;显示所述图像细节增强参考值,所述图像细节增强参考值为所述用户在输入图像细节增强值时的参考信息;获取所述用户输入的所述图像细节增强值。
示例地,先获取用户输入的噪声抑制值,然后根据噪声抑制值与图像细节增强值之间预设的对应关系,确定与用户输入的噪声抑制值对应的图像细节增强参考值。显示图像细节增强参考值,以使用户知悉当前用户输入的噪声抑制值对应的较优的图像细节增强参考值。然后用户可根据需求在当前较优的图像细节增强参考值的基础上,或增大或减小该图像细节增强参考值,以改变图像处理模型对图像增强的强度,得到用户需求的细节增强后的图像。其中,在获取用户输入的噪声抑制值之前,也可先显示噪声抑制参考值,以供用户进行参考。
也就是说,在用户输入画质调整需求信息之前,可先显示画质调整需求信息中各个参数的参考值,如上述的噪声抑制值和图像细节增强值的参考值。在用户输入噪声抑制值之后,可基于用户输入的噪声抑制值动态更新图像细节增强值的参考值,如此可为用户实时提供最优的参考信息,方便用户操作。即就是说,采用这种方式,可便于用户根据需求,通过调整噪声抑制值、图像细节增强值等画质调空参数的大小,得到不同信噪比、不同细节增强后的图像。
在步骤S12中,将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型,得到所述图像处理模型输出的目标图像,以使所述目标图像的画质满足用户需求。
一种可能的实施方式,在所述画质调整需求信息包括噪声抑制值和图像细节增强值的情况下,所述图像处理模型的训练包括:
获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;计算所述样本待处理图像的噪声强度;对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
其中,所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的,或者,所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
根据连续多帧样本待处理图像合成一张高画质样本待处理图像的实现方式类似于超分辨率图像恢复处理,此处不再赘述。
在本公开中,计算样本待处理图像的噪声强度(指噪声强度估计图sigma)的方法不限于根据拍摄样本待处理图像的摄像机的感光度ISO值,和/或样本待处理图像的像素方差值,确定噪声强度的方法。
对高画质样本待处理图像进行图像细节增强处理的方法,可以为与LocalLaplacian Pyramid算法相类似的方法。也可以为其它的图像锐化处理、提高图像对比度的方法。对此本公开不作具体的限制。
在得到样本待处理图像、样本待处理图像的噪声强度、细节增强后的样本目标图像、以及样本目标图像对应的细节增强强度之后,将样本待处理图像、噪声强度以及细节增强强度作为待训练的图像处理模型的输入,将样目标图像作为待训练的图像处理模型的输出,以对待训练的图像处理模型进行训练,直到模型的误差损失的平均值不再下降时,得到训练完成的图像处理模型。
其中,在待训练的图像处理模型的训练过程中,将样本待处理图像、噪声强度以及细节增强强度输入待训练的图像处理模型中进行正向传播,得到模型预测的输出图像(模型生成的样本目标图像),将该输出图像与样本目标图像进行损失计算,得到损失信息。基于损失信息,通过反向传播(反向求导)来确定梯度向量,通过梯度向量来调整模型参数,如此往复,直到误差函数趋于0或收敛,得到训练完成的图像处理模型。
在步骤S12中,将待处理图像以及用户的画质调整需求信息输入已经训练完成图像处理模型,可得到图像处理模型输出的画质满足用户需求的目标图像。也就是说,该图像处理模型能够基于用户的需求,生成符合用户需求的目标图像。
采用本公开的上述方法,通过响应于用户的输入操作,获取用户输入的针对待处理图像的画质调整需求信息。将待处理图像以及画质调整需求信息一起输入已经训练完成的图像处理模型,得到图像处理模型输出的目标图像。如此,可基于用户的画质调整需求信息得到符合用户需求的目标图像。示例地,在画质调整需求信息包括噪声抑制值和图像细节增强值的情况下,可通过用户平衡噪声抑制程度和图像细节增强强度,得到符合用户需求的高画质图像。
本公开上述技术方案的一种应用方式,在基于用户第一次输入的画质调整需求信息,得到目标图像之后,该用户可将该目标图像作为待处理图像,进一步地根据第二次输入的画质调整需求信息,得到新的目标图像。采用这种方式,可便于用户精调图像画质。
一种可能的实施方式,所述图像处理模型为深度卷积神经网络模型,包括卷积模块、图像细节增强模块、图像重建模块;所述卷积模块用于,根据所述噪声抑制值、所述图像细节增强值对所述待处理图像进行卷积处理,得到第一特征数据;所述图像细节增强模块用于,对所述第一特征数据进行归一化处理,得到目标特征数据;所述图像重建模块用于,根据所述目标特征数据重建得到所述目标图像。
其中,卷积模块可以包括卷积层conv和非线性激活层relu。卷积模块根据噪声抑制值、图像细节增强值对待处理图像进行卷积处理,得到第一特征数据的一种具体实施方式为:分别根据噪声抑制值、图像细节增强值构建像素与待处理图像像素相同的噪声抑制图像、图像细节增强图像。其中,噪声抑制图像中各像素的值为噪声抑制值;图像细节增强图像中各像素的值为图像细节增强值。卷积层对噪声抑制图像、图像细节增强图像和待处理图像进行卷积处理,得到卷积输出数据,非线性激活层进一步定义神经网络的神经元在线性变化之后的非线性输出结果,得到第一特征数据。
进一步地,图像细节增强模块对第一特征数据进行归一化处理(如对输入的特征数据进行减均值除方差操作),得到目标特征数据。由于归一化处理的目的是利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响。也就是转换成唯一的标准形式以抵抗仿射变换,图像归一化处理使得图像可以抵抗几何变换的攻击,因而它能够找出图像中的那些不变量,而图像重建模块根据这些不变量即目标特征数据可重构图像得到目标图像。其中,图像重建模块使用与相关技术中相类似的图像重建模型。
一种可能的实施方式,如图2所示,所述图像细节增强模块包括特征提取层、归一化处理层norm、同位点乘处理层、同位相加处理层,其中,所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联;所述特征提取层用于,提取该图像细节增强模块的输入数据的特征信息,得到第二特征数据;所述归一化处理层用于,对该图像细节增强模块的输入数据进行归一化处理,得到归一化特征数据;所述同位点乘处理层用于,对所述归一化特征数据与所述第二特征数据进行同位点乘处理,得到第三特征数据;所述同位相加处理层用于,将所述第三特征数据与所述第二特征数据进行同位相加处理,得到该图像细节增强模块的输出数据。
其中,应当说明的是,特征提取层的架构可以与图像处理模型中的卷积模块相同,都为conv+relu架构。
值得说明的是,在本公开的实施方式中,同位点乘处理层eltwise-prod用于,对归一化特征数据与第二特征数据进行同位点乘处理,也就是针对归一化特征数据中的每一元素,将该元素与第二特征数据中与该元素同位置的元素相乘,从而得到第三特征数据。本公开中这种同位点乘处理层的处理方式与相关技术的同位点乘处理层中利用归一化结果与模型学习到的参量进行同位相乘的方式相比,利用本公开的这种方式得到的第三特征数据能够使图像处理模型输出的图像画质更优、更符合用户的需求。
进一步地,同位相加处理层eltwise-add用于,针对第三特征数据中的每一元素,将该元素与第二特征数据中与该元素相同位置的元素相加,以得到该图像细节增强模块的输出数据。本公开中这种同位相加处理层的处理方式与相关技术的同位相加处理层中利用eltwise-prod输出结果与模型学习到的参量进行同位相加的方式相比,利用本公开的这种方式得到的图像细节增强模块输出数据能够进一步优化图像处理模型输出的图像画质,得到更符合用户需求的目标图像。
一种可能的实施方式,所述图像细节增强模块为串联的多个图像细节增强模块,所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述第一特征数据,所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,所述目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
具体地,图像处理模型包括多个串联的如图2所示的图像细节增强模块。多个图像细节增强模块中的首个图像细节增强模块(即与卷积模块连接的图像细节增强模块)的输入数据为卷积模块输出的第一特征数据,多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,目标特征数据为多个图像细节增强模块中的最后一个图像细节增强模块(即与图像重建模块连接的图像细节增强模块)的输出数据。
一种可能的实施方式,本公开中的图像处理模型还可以为基于超分辨率算法的深度卷积神经网络模型。在基于超分辨率算法的深度卷积神经网络模型中采用图2所示的图像细节增强模块,可极大的增强图像细节增强网络的处理能力,提升了整个模型的学习效果和输出的超分画质效果。
图3是根据一示例性实施例示出的一种图像处理模型的训练方法的流程图,如图3所示,图像处理模型的训练方法可以包括以下步骤:
在步骤S31中,获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
在步骤S32中,计算所述样本待处理图像的噪声强度;
在步骤S33中,对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
在步骤S34中,将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
根据连续多帧样本待处理图像合成一张高画质样本待处理图像的实现方式类似于超分辨率图像恢复处理,此处不再赘述。
在本公开中,计算样本待处理图像的噪声强度(指噪声强度估计图sigma)的方法不限于根据拍摄样本待处理图像的摄像机的感光度ISO值,和/或样本待处理图像的像素方差值,确定噪声强度的方法。
对高画质样本待处理图像进行图像细节增强处理的方法,可以为与LocalLaplacian Pyramid算法相类似的方法。也可以为其它的图像锐化处理、提高图像对比度的方法。对此本公开不作具体的限制。
在得到样本待处理图像、样本待处理图像的噪声强度、细节增强后的样本目标图像、以及样本目标图像对应的细节增强强度之后,将样本待处理图像、噪声强度以及细节增强强度作为待训练的图像处理模型的输入,将样目标图像作为待训练的图像处理模型的输出,以对待训练的图像处理模型进行训练,直到模型的误差损失的平均值不再下降时,得到训练完成的图像处理模型。
其中,在待训练的图像处理模型的训练过程中,将样本待处理图像、噪声强度以及细节增强强度输入待训练的图像处理模型中进行正向传播,得到模型预测的输出图像(模型生成的样本目标图像),将该输出图像与样本目标图像进行损失计算,得到损失信息。基于损失信息,通过反向传播(反向求导)来确定梯度向量,通过梯度向量来调整模型参数,如此往复,直到误差函数趋于0或收敛,得到训练完成的图像处理模型。
一种可能的实施方式,所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的,或者,所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
一种可能的实施方式,所述图像处理模型为深度卷积神经网络模型,包括卷积模块、图像细节增强模块、图像重建模块;
所述卷积模块用于,根据所述噪声强度、所述细节增强强度对所述样本待处理图像进行卷积处理,得到样本第一特征数据;
所述图像细节增强模块用于,对所述样本第一特征数据进行归一化处理,得到样本目标特征数据;
所述图像重建模块用于,根据所述样本目标特征数据重建得到模型生成的样本目标图像。
一种可能的实施方式,所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层,其中,所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联;
所述特征提取层用于,提取该图像细节增强模块的输入数据的特征信息,得到样本第二特征数据;
所述归一化处理层用于,对该图像细节增强模块的输入数据进行归一化处理,得到归一化特征数据;
所述同位点乘处理层用于,对所述归一化特征数据与所述样本第二特征数据进行同位点乘处理,得到样本第三特征数据;
所述同位相加处理层用于,将所述样本第三特征数据与所述样本第二特征数据进行同位相加处理,得到该图像细节增强模块的输出数据。
一种可能的实施方式,所述图像细节增强模块为串联的多个图像细节增强模块,所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述样本第一特征数据,所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,所述样本目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
关于上述各个步骤执行的具体操作,已经在有关该图像处理模型的应用方法中进行了详细的阐述,此处不在赘述。
图4是根据一示例性实施例示出的一种图像处理装置的框图。参照图3,该装置300包括获取模块310、执行模块320。
该获取模块310,被配置为响应于用户的输入操作,获取所述用户输入的针对待处理图像的画质调整需求信息;
该执行模块320,被配置为将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型,得到所述图像处理模型输出的目标图像,以使所述目标图像的画质满足用户需求。
采用这种装置,通过响应于用户的输入操作,获取用户输入的针对待处理图像的画质调整需求信息。将待处理图像以及画质调整需求信息一起输入已经训练完成的图像处理模型,得到图像处理模型输出的目标图像。如此,可基于用户的画质调整需求信息得到符合用户需求的目标图像。
可选地,所述画质调整需求信息包括噪声抑制值,所述噪声抑制值是所述用户参考噪声抑制参考值输入的,其中,所述噪声抑制参考值是根据拍摄所述待处理图像的摄像机的感光度,和/或所述待处理图像的像素方差值确定的;
其中,所述噪声抑制值的大小与所述图像处理模型对图像中的噪声抑制程度成正相关。
可选地,所述画质调整需求信息包括图像细节增强值,所述图像细节增强值是所述用户参考所述待处理图像的模糊程度进行确定的,所述模糊程度表征所述待处理图像的锐化程度、亮度、对比度中的至少一种图像参数。
可选地,所述画质调整需求信息包括噪声抑制值,所述装置还包括:
确定模块,被配置为根据拍摄所述待处理图像的摄像机的感光度,和/或所述待处理图像的像素方差值,确定噪声抑制参考值;
显示模块,被配置为显示所述噪声抑制参考值,所述噪声抑制参考值为所述用户在输入噪声抑制值时的参考信息,其中,所述噪声抑制值的大小与所述图像处理模型对图像中的噪声抑制程度成正相关。
可选地,所述画质调整需求信息还包括图像细节增强值,所述图像细节增强值是所述用户参考图像细节增强参考值输入的,所述图像细节增强参考值是根据所述用户输入的所述噪声抑制值,以及噪声抑制值与图像细节增强值之间预设的对应关系进行确定的。
可选地,所述画质调整需求信息包括噪声抑制值和图像细节增强值,所述输入模块310,包括:
第一获取子模块,被配置为获取所述用户输入的所述噪声抑制值,根据噪声抑制值与图像细节增强值之间预设的对应关系,确定与所述用户输入的所述噪声抑制值对应的图像细节增强参考值;
显示子模块,被配置为显示所述图像细节增强参考值,所述图像细节增强参考值为所述用户在输入图像细节增强值时的参考信息;
第二获取子模块,被配置为获取所述用户输入的所述图像细节增强值。
可选地,所述装置包括训练模块,被配置为:
获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
计算所述样本待处理图像的噪声强度;
对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
可选地,所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的,或者,所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
可选地,所述画质调整需求信息包括噪声抑制值和图像细节增强值,所述图像处理模型为深度卷积神经网络模型,包括卷积模块、图像细节增强模块、图像重建模块;
所述卷积模块用于,根据所述噪声抑制值、所述图像细节增强值对所述待处理图像进行卷积处理,得到第一特征数据;
所述图像细节增强模块用于,对所述第一特征数据进行归一化处理,得到目标特征数据;
所述图像重建模块用于,根据所述目标特征数据重建得到所述目标图像。
可选地,所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层,其中,所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联;
所述特征提取层用于,提取该图像细节增强模块的输入数据的特征信息,得到第二特征数据;
所述归一化处理层用于,对该图像细节增强模块的输入数据进行归一化处理,得到归一化特征数据;
所述同位点乘处理层用于,对所述归一化特征数据与所述第二特征数据进行同位点乘处理,得到第三特征数据;
所述同位相加处理层用于,将所述第三特征数据与所述第二特征数据进行同位相加处理,得到该图像细节增强模块的输出数据。
可选地,所述图像细节增强模块为串联的多个图像细节增强模块,所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述第一特征数据,所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,所述目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种图像处理模型的训练装置的框图。如图5所示,图像处理模型的训练装置400包括:
获取模块410,被配置为获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
计算模块420,被配置为计算所述样本待处理图像的噪声强度;
增强模块430,被配置为对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
训练模块440,被配置为将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
可选地,所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的,或者,所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
可选地,所述图像处理模型为深度卷积神经网络模型,包括卷积模块、图像细节增强模块、图像重建模块;
所述卷积模块用于,根据所述噪声强度、所述细节增强强度对所述样本待处理图像进行卷积处理,得到样本第一特征数据;
所述图像细节增强模块用于,对所述样本第一特征数据进行归一化处理,得到样本目标特征数据;
所述图像重建模块用于,根据所述样本目标特征数据重建得到模型生成的样本目标图像。
可选地,所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层,其中,所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联;
所述特征提取层用于,提取该图像细节增强模块的输入数据的特征信息,得到样本第二特征数据;
所述归一化处理层用于,对该图像细节增强模块的输入数据进行归一化处理,得到归一化特征数据;
所述同位点乘处理层用于,对所述归一化特征数据与所述样本第二特征数据进行同位点乘处理,得到样本第三特征数据;
所述同位相加处理层用于,将所述样本第三特征数据与所述样本第二特征数据进行同位相加处理,得到该图像细节增强模块的输出数据。
可选地,所述图像细节增强模块为串联的多个图像细节增强模块,所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述样本第一特征数据,所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,所述样本目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的图像处理方法的步骤。
图5是根据一示例性实施例示出的一种用于图像处理的电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理、相机等。
参照图5,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的图像处理方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述图像处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述图像处理方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像处理方法,其特征在于,所述方法包括:
响应于用户的输入操作,获取所述用户输入的针对待处理图像的画质调整需求信息;
将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型,得到所述图像处理模型输出的目标图像,以使所述目标图像的画质满足用户需求。
2.根据权利要求1所述的方法,其特征在于,所述画质调整需求信息包括噪声抑制值,所述噪声抑制值是所述用户参考噪声抑制参考值输入的,其中,所述噪声抑制参考值是根据拍摄所述待处理图像的摄像机的感光度,和/或所述待处理图像的像素方差值确定的;
其中,所述噪声抑制值的大小与所述图像处理模型对图像中的噪声抑制程度成正相关。
3.根据权利要求1所述的方法,其特征在于,所述画质调整需求信息包括图像细节增强值,所述图像细节增强值是所述用户参考所述待处理图像的模糊程度进行确定的,所述模糊程度表征所述待处理图像的锐化程度、亮度、对比度中的至少一种图像参数。
4.根据权利要求2所述的方法,其特征在于,所述画质调整需求信息还包括图像细节增强值,所述图像细节增强值是所述用户参考图像细节增强参考值输入的,所述图像细节增强参考值是根据所述用户输入的所述噪声抑制值,以及噪声抑制值与图像细节增强值之间预设的对应关系进行确定的。
5.根据权利要求1所述的方法,其特征在于,所述图像处理模型的训练包括:
获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
计算所述样本待处理图像的噪声强度;
对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
6.根据权利要求5所述的方法,其特征在于,所述高画质样本待处理图像是由对应的连续多帧样本待处理图像合成的,或者,所述高画质样本待处理图像是根据所述噪声强度对所述样本待处理图像进行去噪处理后得到的。
7.根据权利要求1所述的方法,其特征在于,所述画质调整需求信息包括噪声抑制值和图像细节增强值,所述图像处理模型为深度卷积神经网络模型,包括卷积模块、图像细节增强模块、图像重建模块;
所述卷积模块用于,根据所述噪声抑制值、所述图像细节增强值对所述待处理图像进行卷积处理,得到第一特征数据;
所述图像细节增强模块用于,对所述第一特征数据进行归一化处理,得到目标特征数据;
所述图像重建模块用于,根据所述目标特征数据重建得到所述目标图像。
8.根据权利要求7所述的方法,其特征在于,所述图像细节增强模块包括特征提取层、归一化处理层、同位点乘处理层、同位相加处理层,其中,所述特征提取层和所述归一化处理层并联后依次与所述同位点乘处理层和所述同位相加处理层串联;
所述特征提取层用于,提取该图像细节增强模块的输入数据的特征信息,得到第二特征数据;
所述归一化处理层用于,对该图像细节增强模块的输入数据进行归一化处理,得到归一化特征数据;
所述同位点乘处理层用于,对所述归一化特征数据与所述第二特征数据进行同位点乘处理,得到第三特征数据;
所述同位相加处理层用于,将所述第三特征数据与所述第二特征数据进行同位相加处理,得到该图像细节增强模块的输出数据。
9.根据权利要求8所述的方法,其特征在于,所述图像细节增强模块为串联的多个图像细节增强模块,所述多个图像细节增强模块中的首个图像细节增强模块的输入数据为所述第一特征数据,所述多个图像细节增强模块中的非首个图像细节增强模块的输入数据为上一图像细节增强模块的输出数据,所述目标特征数据为所述多个图像细节增强模块中的最后一个图像细节增强模块的输出数据。
10.一种图像处理模型的训练方法,其特征在于,所述方法包括:
获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
计算所述样本待处理图像的噪声强度;
对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
11.一种图像处理装置,其特征在于,所述装置包括:
获取模块,被配置为响应于用户的输入操作,获取所述用户输入的针对待处理图像的画质调整需求信息;
执行模块,被配置为将所述待处理图像以及所述画质调整需求信息输入训练完成的图像处理模型,得到所述图像处理模型输出的目标图像,以使所述目标图像的画质满足用户需求。
12.一种图像处理模型的训练装置,其特征在于,所述装置包括:
获取模块,被配置为获取样本待处理图像,以及与所述样本待处理图像对应的高画质样本待处理图像;
计算模块,被配置为计算所述样本待处理图像的噪声强度;
增强模块,被配置为对所述高画质样本待处理图像进行图像细节增强处理,得到图像细节增强后的样本目标图像以及细节增强强度;
训练模块,被配置为将所述样本待处理图像、所述噪声强度以及所述细节增强强度作为待训练的图像处理模型的输入,将所述样本目标图像作为所述待训练的图像处理模型的输出,以对所述待训练的图像处理模型进行训练得到训练完成的图像处理模型。
13.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1-10中任一项所述方法的步骤。
14.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-10中任一项所述方法的步骤。
CN202110833269.8A 2021-07-22 2021-07-22 图像处理方法、装置、存储介质及电子设备 Pending CN113592733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110833269.8A CN113592733A (zh) 2021-07-22 2021-07-22 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110833269.8A CN113592733A (zh) 2021-07-22 2021-07-22 图像处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113592733A true CN113592733A (zh) 2021-11-02

Family

ID=78249376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110833269.8A Pending CN113592733A (zh) 2021-07-22 2021-07-22 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113592733A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837948A (zh) * 2021-11-29 2021-12-24 阿里巴巴达摩院(杭州)科技有限公司 图像生成方法、设备及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322813A (zh) * 2018-03-01 2018-07-24 马艺 防干扰式音频播放通道选择平台
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN109769143A (zh) * 2019-02-03 2019-05-17 广州视源电子科技股份有限公司 视频图像处理方法、装置、视频系统、设备和存储介质
CN110782413A (zh) * 2019-10-30 2020-02-11 北京金山云网络技术有限公司 一种图像处理方法、装置、设备及存储介质
CN110856044A (zh) * 2019-11-19 2020-02-28 深圳市迅雷网络技术有限公司 视频画质增强传输方法以及相关装置
CN110930314A (zh) * 2019-10-21 2020-03-27 西安电子科技大学 图像条带噪声抑制方法及其装置、电子设备、存储介质
CN111045816A (zh) * 2019-11-06 2020-04-21 腾讯科技(深圳)有限公司 一种性能优化的方法以及相关装置
CN111325692A (zh) * 2020-02-21 2020-06-23 厦门美图之家科技有限公司 画质增强方法、装置、电子设备和可读存储介质
CN111696064A (zh) * 2020-06-15 2020-09-22 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111709891A (zh) * 2020-06-12 2020-09-25 北京小米松果电子有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN112308803A (zh) * 2020-11-25 2021-02-02 哈尔滨工业大学 一种基于深度学习的自监督低照度图像增强及去噪方法
CN112395635A (zh) * 2021-01-18 2021-02-23 北京灵汐科技有限公司 图像处理、密钥生成、训练方法及装置、计算机可读介质
CN112449085A (zh) * 2019-08-30 2021-03-05 北京小米移动软件有限公司 图像处理方法及装置、电子设备、可读存储介质
CN112465726A (zh) * 2020-12-07 2021-03-09 北京邮电大学 基于参考亮度指标指导的低照度可调节亮度增强方法
CN112529768A (zh) * 2020-12-04 2021-03-19 中山大学 一种基于生成对抗网络的服装编辑和生成方法
CN112669231A (zh) * 2020-12-23 2021-04-16 北京小米松果电子有限公司 图像处理方法、图像处理模型的训练方法、装置、介质
WO2021114184A1 (zh) * 2019-12-12 2021-06-17 华为技术有限公司 神经网络模型的训练方法、图像处理方法及其装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322813A (zh) * 2018-03-01 2018-07-24 马艺 防干扰式音频播放通道选择平台
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
EP3579180A1 (en) * 2018-06-07 2019-12-11 Beijing Kuangshi Technology Co., Ltd. Image processing method and apparatus, electronic device and non-transitory computer-readable recording medium for selective image enhancement
CN109769143A (zh) * 2019-02-03 2019-05-17 广州视源电子科技股份有限公司 视频图像处理方法、装置、视频系统、设备和存储介质
CN112449085A (zh) * 2019-08-30 2021-03-05 北京小米移动软件有限公司 图像处理方法及装置、电子设备、可读存储介质
CN110930314A (zh) * 2019-10-21 2020-03-27 西安电子科技大学 图像条带噪声抑制方法及其装置、电子设备、存储介质
CN110782413A (zh) * 2019-10-30 2020-02-11 北京金山云网络技术有限公司 一种图像处理方法、装置、设备及存储介质
CN111045816A (zh) * 2019-11-06 2020-04-21 腾讯科技(深圳)有限公司 一种性能优化的方法以及相关装置
CN110856044A (zh) * 2019-11-19 2020-02-28 深圳市迅雷网络技术有限公司 视频画质增强传输方法以及相关装置
WO2021114184A1 (zh) * 2019-12-12 2021-06-17 华为技术有限公司 神经网络模型的训练方法、图像处理方法及其装置
CN111325692A (zh) * 2020-02-21 2020-06-23 厦门美图之家科技有限公司 画质增强方法、装置、电子设备和可读存储介质
CN111709891A (zh) * 2020-06-12 2020-09-25 北京小米松果电子有限公司 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN111696064A (zh) * 2020-06-15 2020-09-22 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN112308803A (zh) * 2020-11-25 2021-02-02 哈尔滨工业大学 一种基于深度学习的自监督低照度图像增强及去噪方法
CN112529768A (zh) * 2020-12-04 2021-03-19 中山大学 一种基于生成对抗网络的服装编辑和生成方法
CN112465726A (zh) * 2020-12-07 2021-03-09 北京邮电大学 基于参考亮度指标指导的低照度可调节亮度增强方法
CN112669231A (zh) * 2020-12-23 2021-04-16 北京小米松果电子有限公司 图像处理方法、图像处理模型的训练方法、装置、介质
CN112395635A (zh) * 2021-01-18 2021-02-23 北京灵汐科技有限公司 图像处理、密钥生成、训练方法及装置、计算机可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI ZHANG等: "FFDNet: Toward a Fast and Flexible Solution for CNN-Based Image Denoising", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 27, no. 9, 25 May 2018 (2018-05-25), pages 4608 *
王加等: "一种基于粗糙集的红外图像多维降噪算法", 红外技术, vol. 43, no. 1, 31 January 2021 (2021-01-31), pages 44 - 50 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837948A (zh) * 2021-11-29 2021-12-24 阿里巴巴达摩院(杭州)科技有限公司 图像生成方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
CN109345485B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN108154465B (zh) 图像处理方法及装置
CN109118430B (zh) 超分辨率图像重建方法及装置、电子设备及存储介质
CN110060215B (zh) 图像处理方法及装置、电子设备和存储介质
CN111709891B (zh) 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN111275653B (zh) 图像去噪方法及装置
CN111401411B (zh) 获取样本图像集的方法及装置
CN110580688B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN109784164B (zh) 前景识别方法、装置、电子设备及存储介质
CN112614064B (zh) 图像处理方法、装置、电子设备及存储介质
CN111968052B (zh) 图像处理方法、图像处理装置及存储介质
CN112634160A (zh) 拍照方法及装置、终端、存储介质
CN110827219B (zh) 图像处理模型的训练方法、装置及介质
CN113706421B (zh) 一种图像处理方法及装置、电子设备和存储介质
CN111583142A (zh) 图像降噪方法及装置、电子设备和存储介质
CN109509195B (zh) 前景处理方法、装置、电子设备及存储介质
CN113177890B (zh) 图像处理方法及装置、电子设备和存储介质
CN112669231B (zh) 图像处理方法、图像处理模型的训练方法、装置、介质
CN113660531A (zh) 视频处理方法及装置、电子设备和存储介质
CN111741187B (zh) 图像处理方法、装置及存储介质
CN113592733A (zh) 图像处理方法、装置、存储介质及电子设备
CN110807745B (zh) 图像处理方法及装置、电子设备
CN112288657A (zh) 图像处理方法、图像处理装置及存储介质
CN110728180A (zh) 图像处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination