CN112866505A - 图像处理方法、装置及存储介质 - Google Patents

图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN112866505A
CN112866505A CN202110064187.1A CN202110064187A CN112866505A CN 112866505 A CN112866505 A CN 112866505A CN 202110064187 A CN202110064187 A CN 202110064187A CN 112866505 A CN112866505 A CN 112866505A
Authority
CN
China
Prior art keywords
image
weight value
frames
value
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110064187.1A
Other languages
English (en)
Other versions
CN112866505B (zh
Inventor
张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Pinecone Electronic Co Ltd
Original Assignee
Beijing Xiaomi Pinecone Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Pinecone Electronic Co Ltd filed Critical Beijing Xiaomi Pinecone Electronic Co Ltd
Priority to CN202110064187.1A priority Critical patent/CN112866505B/zh
Publication of CN112866505A publication Critical patent/CN112866505A/zh
Application granted granted Critical
Publication of CN112866505B publication Critical patent/CN112866505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开是关于一种图像处理方法、装置及存储介质。该方法应用于包含有图像采集模组的电子设备，包括：将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；根据预测标签与已标注图像帧的标注标签之间的差异，得到训练损失值；基于训练损失值和针对已标注图像帧设定的第一权重值，得到目标损失值；基于目标损失值，更新预设去噪模型的模型参数；基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。这样，不仅不需要针对每个噪声级别图像设置专门的网络，能够简化去噪模型，还能够调整各个训练损失值在调节模型参数的过程中所占的比重，提升了训练得到的去噪模型的去噪效果。

Description

图像处理方法、装置及存储介质
技术领域
本公开涉及图像技术领域，尤其涉及一种图像处理方法、装置及存储介质。
背景技术
高质量无噪声画质是当今手机拍照和相机拍照追求的终极目标。但是在进行拍照的过程中，图像中噪声的来源有许多种。例如，这些噪声可以来源于图像采集、传输、压缩等各个方面，这个问题对于在低光环境下拍摄的图像和视频来说更加严重，对于小光圈摄像头的智能手机更是如此。图像去噪是一个将带有噪声的低质量图像处理成一个高质量无噪声的图像的过程，是计算机视觉领域一个非常重要的任务。
目前随着深度学习快速发展，开始使用深度神经网络来学习这个过程，而不是依赖手工的选择和加权平均策略，依赖于大量训练数据中的自然图像先验，学习从有噪声的图像到期望的清晰输出的映射函数，直接从有噪声的输入中学习映射函数，得到去噪结果。
但是相关技术中的去噪模型难以应用于不同噪声级别的图像，针对不同级别的噪声图像泛化性低，因此在解决宽噪声水平范围问题上，大部分去噪模型需要自己去拟合得到输入图像的噪声水平，然后针对某特定噪声水平固定一个模型参数，最终每个噪声级别图像都需要专门的网络，处理过程复杂且处理结果不精确。
发明内容
本公开提供一种图像处理方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，应用于包含有图像采集模组的电子设备，包括：
将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；
根据所述预测标签与所述已标注图像帧的标注标签之间的差异，得到训练损失值；
基于所述训练损失值和针对所述已标注图像帧设定的第一权重值，得到目标损失值；
基于所述目标损失值，更新所述预设去噪模型的模型参数；
基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。
可选的，包括：
基于所述图像采集模组在设定应用场景下采集M个图像帧；
将M个所述图像帧的梯度值按照设定顺序进行排序，并根据排序结果从M个所述图像帧中选取N个图像帧作为参考帧，其中，M和N均为正整数，且N小于M；
基于N个所述参考帧和除N个所述参考帧之外的M-N个非参考帧，得到所述已标注图像帧，并基于所述已标注图像帧构建所述训练集。
可选的，所述基于N个所述参考帧和除N个所述参考帧之外的M-N个非参考帧，得到所述已标注图像帧，包括：
将N个所述参考帧与M-N个所述非参考帧进行融合处理，得到标注标签；
基于所述标注标签对所述参考帧进行标注，得到所述已标注图像帧。
可选的，所述方法还包括：
确定各个所述已标注图像帧的图像参数所处的参数阈值区间；
基于所述参数阈值区间和预设映射关系，确定各个所述已标注图像帧所对应的第一权重值；
其中，所述预设映射关系用于表征所述参数阈值区间与所述第一权重值之间的关联关系，且图像参数位于所述参数阈值区间内的图像帧的个数与所述第一权重值负相关。
可选的，所述方法还包括：
确定各个所述已标注图像帧的图像参数，以及所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数；
基于所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数占所述训练集中所有已标注图像帧的总个数的比例，确定各个所述参数阈值区间所对应的第一权重值；
建立各个所述参数阈值区间与各个所述第一权重值之间的所述预设映射关系。
可选的，所述基于所述训练损失值和第一权重值，得到目标损失值，包括：
基于所述第一权重值以及预设的第二权重值对所述训练损失值进行加权，得到所述目标损失值。
可选的，所述基于所述第一权重值以及预设的第二权重值对所述训练损失值进行加权，得到所述目标损失值，包括：
基于所述第一权重值、所述第二权重值以及所述训练损失值的乘积，得到所述目标损失值；
其中，所述第二权重值大于所述第一权重值。
可选的，所述方法还包括：
当所述目标损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预设去噪模型。
根据本公开实施例的第二方面，提供一种图像处理装置，应用于包含有图像采集模组的电子设备，包括：
输入模块，配置为将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；
第一确定模块，配置为根据所述预测标签与所述已标注图像帧的标注标签之间的差异，得到训练损失值；
第二确定模块，配置为基于所述训练损失值和针对所述已标注图像帧设定的第一权重值，得到目标损失值；
更新模块，配置为基于所述目标损失值，更新所述预设去噪模型的模型参数；
去噪模块，配置为基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。
可选的，所述装置还包括：
采集模块，配置为基于所述图像采集模组在设定应用场景下采集M个图像帧；
排序模块，配置为将M个所述图像帧的梯度值按照设定顺序进行排序，并根据排序结果从M个所述图像帧中选取N个图像帧作为参考帧，其中，M和N均为正整数，且N小于M；
第三确定模块，配置为基于N个所述参考帧和除N个所述参考帧之外的M-N个非参考帧，得到所述已标注图像帧，并基于所述已标注图像帧构建所述训练集。
可选的，所述第三确定模块，还配置为：
将N个所述参考帧与M-N个所述非参考帧进行融合处理，得到标注标签；
基于所述标注标签对所述参考帧进行标注，得到所述已标注图像帧。
可选的，所述装置还包括：
第四确定模块，配置为确定各个所述已标注图像帧的图像参数所处的参数阈值区间；
第五确定模块，配置为基于所述参数阈值区间和预设映射关系，确定各个所述已标注图像帧所对应的第一权重值；
其中，所述预设映射关系用于表征所述参数阈值区间与所述第一权重值之间的关联关系，且图像参数位于所述参数阈值区间内的图像帧的个数与所述第一权重值负相关。
可选的，所述装置还包括：
个数确定模块，配置为确定各个所述已标注图像帧的图像参数，以及所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数；
权重确定模块，配置为基于所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数占所述训练集中所有已标注图像帧的总个数的比例，确定各个所述参数阈值区间所对应的第一权重值；
建立模块，配置为建立各个所述参数阈值区间与各个所述第一权重值之间的所述预设映射关系。
可选的，所述第二确定模块，还配置为：
基于所述第一权重值以及预设的第二权重值对所述训练损失值进行加权，得到所述目标损失值。
可选的，所述第二确定模块，还配置为：
基于所述第一权重值、所述第二权重值以及所述训练损失值的乘积，得到所述目标损失值；
其中，所述第二权重值大于所述第一权重值。
可选的，所述装置还包括：
停止模块，配置为当所述目标损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预设去噪模型。
根据本公开实施例的第三方面，提供一种图像处理装置，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述第一方面中任一种图像处理方法中的步骤。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得所述装置能够执行上述第一方面中任一种图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本公开通过将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；根据预测标签与已标注图像帧的标注标签之间的差异，得到训练损失值；基于训练损失值和针对已标注图像帧设定的第一权重值，得到目标损失值；基于目标损失值，更新预设去噪模型的模型参数；基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。
本公开实施例中，通过针对不同的已标注图像帧赋予不同的第一权重值，并根据得到的训练损失值和第一权重值计算得到目标损失值，以基于目标损失值对预设去噪模型的模型参数进行更新，基于更新后的预设去噪模型对待处理图像进行处理。
本公开通过训练损失值的再平衡策略，即通过第一权重值实现各训练损失值的再平衡。这样，不仅不需要针对每个噪声级别图像设置专门的网络，能够简化去噪模型，还能够调整各个训练损失值在调节模型参数的过程中所占的比重，提升了训练得到的去噪模型的去噪效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程示意图。
图2是根据一示例性实施例示出的另一种图像处理方法的流程示意图。
图3是根据一示例性实施例示出的图像帧示意图一。
图4是根据一示例性实施例示出的图像帧示意图二。
图5是根据一示例性实施例示出的iso数值分布示意图。
图6是根据一示例性实施例示出的预设去噪模型的结构示意图。
图7是根据一示例性实施例示出的图像对比示意图。
图8是根据一示例性实施例示出的一种图像处理装置框图。
图9是根据一示例性实施例示出的一种用于图像处理装置的框图。
图10是根据一示例性实施例示出的另一种用于图像处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例中提供了一种图像处理方法，图1是根据一示例性实施例示出的一种图像处理方法的流程示意图，如图1所示，该方法主要包括以下步骤：
在步骤101中，将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；
在步骤102中，根据所述预测标签与所述已标注图像帧的标注标签之间的差异，得到训练损失值；
在步骤103中，基于所述训练损失值和针对所述已标注图像帧设定的第一权重值，得到目标损失值；
在步骤104中，基于所述目标损失值，更新所述预设去噪模型的模型参数；
在步骤105中，基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。
本公开实施例中所涉及的图像处理方法可以应用于电子设备，这里电子设备包括移动终端和固定终端，其中，移动终端包括：手机、平板电脑、笔记本电脑等；固定终端包括：个人计算机。在其他可选的实施例中，该图像处理方法也可以运行于网络侧设备，其中，网络侧设备包括：服务器、处理中心等。
本公开实施例中，在对预设去噪模型进行训练的过程中，首先需要将训练集中的各个已标注图像帧输入待训练的预设去噪模型，并更新预定模型的模型参数。
在一些实施例中，模型参数可以包括：结构参数和/或网络参数。其中，结构参数包括用于表征预设去噪模型中各个网络结构的结构特征的参数，该结构特征包括：各个网络结构的连接关系等特征。网络参数可以包括用于训练该预设去噪模型中各个网络结构的权重参数，例如，如果预设去噪模型包含有能够构成卷积神经网络的网络结构，则各个网络结构可以看作是构成卷积神经网络的滤波器(卷积核)，这时，网络参数可以是各滤波器的权重。
本公开实施例中，可以将训练集中各个已标注图像帧输入预设去噪模型，得到预测标签；然后再利用预设损失函数，基于预测标签与已标注图像帧的标注标签之间的差异，得到预设去噪模型在训练集上的训练损失值。
这里，预设损失函数是用于衡量预设去噪模型所输出预测结果的好坏的算法，本公开实施例中，可以基于预先构建的预设损失函数，例如使用梯度下降法来反向调整预设去噪模型的模型参数，使模型收敛，即使得最终获得的模型更优。而其中，损失函数的选取，也在一定程度上影响了模型的好坏，预设损失函数可以包括：二元互熵损失以及叉熵损失函数。
本公开实施例中，在得到训练损失值之后，可以基于训练损失值和针对该已标注图像帧设定的第一权重值，得到目标损失值。这里，第一权重值可以根据该已标注图像帧的图像参数确定。例如，可以根据该已标注图像帧的感光度确定第一权重值。再例如，如果该已标注图像帧的感光度为3045，则第一权重值可以为0.16。
本公开实施例中，在确定出针对该已标注图像帧的第一权重值之后，可以基于该第一权重值对确定出的训练损失值进行加权，得到目标损失值。如，可以将第一权重值与该训练损失值相乘，得到该目标损失值。
本公开实施例中，通过针对不同的已标注图像帧赋予不同的第一权重值，并根据得到的训练损失值和第一权重值计算得到目标损失值，以基于目标损失值对预设去噪模型的模型参数进行更新，基于更新后的预设去噪模型对待处理图像进行处理。
本公开通过训练损失值的再平衡策略，即通过第一权重值实现各训练损失值的再平衡。这样，不仅不需要针对每个噪声级别图像设置专门的网络，能够简化去噪模型，还能够调整各个训练损失值在调节模型参数的过程中所占的比重，提升了训练得到的去噪模型的去噪效果。
在一些实施例中，所述方法还包括：
基于所述图像采集模组在设定应用场景下采集M个图像帧；
将M个所述图像帧的梯度值按照设定顺序进行排序，并根据排序结果从M个所述图像帧中选取N个图像帧作为参考帧，其中，M和N均为正整数，且N小于M；
基于N个所述参考帧和除N个所述参考帧之外的M-N个非参考帧，得到所述已标注图像帧，并基于所述已标注图像帧构建所述训练集。
这里，以电子设备是手机为例，图像采集模组可以是安装在手机上的摄像头。本公开实施例中，可以基于电子设备上的图像采集模组采集图像帧。例如，可以基于电子设备的图像采集模组在多个不同的设定应用场景下采集图像帧。再例如，可以在每个设定应用场景下采集M个图像帧。也就是说，在有K个设定应用场景的情况下，可以采集M*K个图像帧。
再例如，在有500个应用场景的情况下，可以在第一应用场景下采集M个图像帧，在第二应用场景下采集M个图像帧，在第三应用场景下采集M个图像帧，……，在第五百应用场景下采集M个图像帧。其中，M可以根据需要设定，例如，可以是20等。
以电子设备是手机为例，在采集图像帧的过程中，可以将手机固定在三脚架上，通过自动或者手动的方式在不同的应用场景下进行图像帧的采集。
本公开实施例中，在一个应用场景下采集到M个图像帧之后，可以根据各个图像帧的清晰度选择参考帧。由于梯度值可以用于表征各个图像帧的清晰度，即梯度值与清晰度正相关，本公开实施例中，可以确定出各个图像帧的梯度值，例如，可以通过拉普拉斯算子得到各个图像帧的梯度值。
在得到各个图像帧的梯度值之后，可以将该M个图像帧的梯度值按照设定顺序进行排序，并根据排序结果从M个图像帧中选取N个图像帧作为参考帧。例如，可以将该M个图像帧的梯度值按照从大至小的顺序进行排序，并将M个图像帧中梯度值最大的N个图像帧确定为参考帧。这里，N可以根据需要设定，例如，N可以等于1。在另一些实施例中，N也可以为其它数值。
另一些实施例中，也可以将该M个图像帧的梯度值按照从小至大的顺序进行排序，只要能够从该M个图像帧中选出梯度值最大的N个图像帧即可，在此不做具体限定。
本公开实施例中，在得到N个参考帧之后，可以基于该N个参考帧和除该N个参考帧之外的M-N个非参考帧，得到已标注图像帧，并基于已标注图像帧构建训练集。
在一些实施例中，所述基于N个所述参考帧和除N个所述参考帧之外的M-N个非参考帧，得到所述已标注图像帧，包括：
将N个所述参考帧与M-N个所述非参考帧进行融合处理，得到标注标签；
基于所述标注标签对所述参考帧进行标注，得到所述已标注图像帧。
这里，可以基于对齐融合的方式将N个参考帧与M-N个非参考帧进行融合，得到标注标签。以M等于20，N等于1为例，在确定出该一个参考帧之后，则可以将该一个参考帧与剩下的19个图像帧进行对齐融合，得到标注标签。这里，标注标签可以是基于融合得到的一个无噪声图像。在得到该标注标签之后，可以将该一个参考帧与该标注标签构成一个训练对，即构成一个已标注图像帧，在得到该已标注图像帧之后，可以将该已标注图像帧加入训练集中。
在实现的过程中，在有500个应用场景的情况下，可以基于上述方式形成500个已标注图像帧，进而构建具有500个已标注图像帧的训练集。
由于相关技术中对去噪模型进行训练的数据不是真实噪声，而是基于模拟的方式得到的噪声，在将基于模拟噪声训练得到的去噪模型应用于真实的噪声图像处理时，模型处理数据的性能较低，且去噪效果差。
相较于模拟生成的图像以及图像的噪声，并基于模拟的数据对预设去噪模型进行训练，本公开可以通过电子设备所具有的图像采集模组在不同的应用场景下采集图像帧，由于图像帧是在真实场景下获取的，最终基于采集的图像帧所形成的已标注图像帧以及图像帧的噪声更加真实，能够使得最终训练得到的去噪模型更加贴近实际的应用场景，去噪效果更优。
且由于相关技术中模拟的噪声样本比较单一，可能会导致训练得到的去噪模型精确度不高。本公开实施例中，能够采集各种不同场景下的图像帧，能够使得噪声样本更丰富，提高训练得到的去噪模型的去噪精确度。
在一些实施例中，所述方法还包括：
确定各个所述已标注图像帧的图像参数所处的参数阈值区间；
基于所述参数阈值区间和预设映射关系，确定各个所述已标注图像帧所对应的第一权重值；
其中，所述预设映射关系用于表征所述参数阈值区间与所述第一权重值之间的关联关系，且图像参数位于所述参数阈值区间内的图像帧的个数与所述第一权重值负相关。
本公开实施例中，在采集各个图像帧的同时，能够获取各个图像帧的图像参数。在实现的过程中，可以先确定已标注图像帧的图像参数，在确定出该已标注图像帧的图像参数之后，可以确定该图像参数所处的参数阈值区间。在确定出该图像参数所处的参数阈值区间之后，可以基于该参数阈值区间和预设映射关系，确定出该已标注图像帧所对应的第一权重值。其中，图像参数至少包括：感光度。
例如，在图像参数位于第一参数阈值区间时，可以确定已标注图像帧所对应的第一权重值为第一数值；在图像参数位于第二参数阈值区间时，可以确定已标注图像帧所对应的第一权重值为第二数值；在图像参数位于第三参数阈值区间时，可以确定已标注图像帧所对应的第一权重值为第三数值等。
以已标注图像帧的图像参数是感光度为例，如果已标注图像帧的感光度为3045，且第一参数阈值区间为1001-2000，对应的第一权重值，即第一数值是0.132；第二参数阈值区间为2001-3000，对应的第一权重值，即第二数值是0.208；第三参数阈值区间为3001-4000，对应的第一权重值，即第三数值是0.16。由于3045位于3001-4000之间，则可以确定出已标注图像帧对应的第一权重值是0.16。
在一些实施例中，所述方法还包括：确定图像参数位于各个参数阈值区间内的图像帧的个数，基于图像参数位于各个参数阈值区间内的图像帧的个数，确定各个参数阈值区间所对应的第一权重值，并建立各个参数阈值区间与各个第一权重值之间的预设映射关系。在一些实施例中，图像参数位于各个参数阈值区间内的图像帧的个数与所述第一权重值负相关。
相关技术中，由于一个去噪模型难以应用于不同噪声级别的图像，针对不同级别的噪声图像泛化性低，因此在解决宽噪声水平范围问题上，大部分去噪模型需要自己去拟合得到输入图像的噪声水平，然后针对某特定噪声水平固定一个模型参数，最终每个噪声级别图像都需要设置专门的去噪模型。
本公开实施例中，能够预先设置各个参数阈值区间和第一权重值之间的预设映射关系，在实现的过程中，能够直接基于该预设映射关系确定出各个已标注图像帧所对应的第一权重值。这样，就不需要针对每个噪声级别的图像专门设置去噪模型，能够减少去噪模型的复杂度。
在一些实施例中，所述基于所述训练损失值和第一权重值，得到目标损失值，包括：
基于所述第一权重值以及预设的第二权重值对所述训练损失值进行加权，得到所述目标损失值。
本公开实施例中，考虑到长尾现象，即实际拍摄时，大部分用户拍摄的图像帧的图像参数主要分布在设定数值范围内，例如，图像帧的感光度大部分位于0-1000的数值范围内，为了提升实际拍摄时的去噪效果，可以基于先验信息，适当增加在该设定数值范围内的图像帧在训练去噪模型的过程中所占的比重。
这里，第二权重值(长尾权重)可以是根据经验确定的数值，在此不做具体限定。在一些实施例中，第二权重值大于1。这里，通过将第二权重值设置为大于1的数值。
在一些实施例中，所述基于所述第一权重值以及预设的第二权重值对所述训练损失值进行加权，得到所述目标损失值，包括：
基于所述第一权重值、所述第二权重值以及所述训练损失值的乘积，得到所述目标损失值；
其中，所述第二权重值大于所述第一权重值。
在一些实施例中，目标损失值的计算公式如下：
lossi＝Wi*Mi*L1loss (1)；
公式(1)中，lossi表示目标损失值；Wi表示第一权重值；Mi表示第二权重值；L1loss表示训练损失值。
本公开实施例中，在计算目标损失值的过程中，通过将第一权重值和第二权重值考虑进去，在训练去噪模型时，能够灵活调整各个已标注图像帧对在训练去噪模型的过程中所占的比重，使得最终训练得到的去噪模型更加贴近实际应用场景，且去噪效果更佳。
在其他可选的实施例中，所述方法还包括：
当所述目标损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预设去噪模型。
本公开实施例中，可以基于预先构建的预设损失函数计算预设去噪模型在训练集上的训练损失值，并基于该训练损失值与第一权重值计算得到目标损失值。例如，在确定出目标损失值之后，可以基于目标损失值，利用梯度下降法来反向调整预设去噪模型的模型参数，使模型收敛，能够使得最终获后的预设去噪模型更优。例如，当目标损失值在设定时长内的数值变化小于设定变化阈值时，则表示模型收敛，这时，可以停止预设去噪模型。
本公开实施例中，采用真实的噪声数据进行模型训练，使得模型适用于真实噪声图像；通过对具有不同图像参数(例如，iso(International Standards Organization)数值)的图像帧赋予不同的权重系数，能够实现数据再平衡；通过数据再平衡策略，提升了去噪模型的去噪效果。其中，iso数值是对感光度(Sensitivity)的表征值。
在一些实施例中，数码相机和手机可以根据光源的不同强度调节相机的感光能力。在快门时间和光圈大小固定的情况下，只能通过调节感光度来保证画质。而调整感光度的过程，其实就是通过调整信号的放大倍率来实现信息的放大的过程。但是，调整感光度可能会带来两个问题：(1)因为需要放大信号，使得电路暗电流增加，本身会导致画面产生更多杂色斑点，这就噪点；(2)信号放大，放大器也会把信号中的噪声放大，会产生粗微粒的影。由此可知，感光度基本与噪声大小呈正比，而且感光度直接由传感器提供，无需人为干预，准确性可靠。因此，本公开可以通过感光度表征图像噪声水平，另外，本公开采用的噪声图像属于真实场景噪声数据，不是人为模拟的噪声，因此进一步保证了基于感光度就可以表征噪声水平。
图2是根据一示例性实施例示出的另一种图像处理方法的流程示意图，如图2所示，该方法主要包括以下步骤：
在步骤201中，在设定应用场景下采集M个图像帧。
这里，可以在设定应用场景下采集M个图像帧。例如，可以在第一应用场景下采集20个图像帧。在一些实施例中，在采集各个图像帧的同时，可以获取各个图像帧的图像参数(例如，感光度)。
以电子设备是手机为例，在采集图像帧的过程中，可以将手机固定在三脚架上，通过自动或者手动的方式在不同的应用场景下进行图像帧的采集。例如，在固定好场景目标之后，可以基于固定在三脚架上的手机连续拍摄20个图像帧Ai,(i＝1......20)，由于需要涵盖各种噪声级别的图像帧，因此在采集的过程中，需要尽可能采集感光度(iso数值)各不相同的图像帧。图3是根据一示例性实施例示出的图像帧示意图一，如图3所示，图像帧301的iso数值为100，图像帧302的iso数值为2606，图像帧303的iso数值为3122。
在步骤202中，构建训练集。
这里，以电子设备是手机为例，图像采集模组可以是安装在手机上的摄像头。本公开实施例中，可以基于电子设备上的图像采集模组采集图像帧。例如，可以基于电子设备的图像采集模组在多个不同的设定应用场景下采集图像帧。再例如，可以在每个设定应用场景下采集M个图像帧。也就是说，在有K个设定应用场景的情况下，可以采集M*K个图像帧。
例如，在M等于10的情况下，可以从该10个图像帧中选择清晰度最高的一个图像帧作为参考帧，并将该参考帧与除该参考帧之外的9个参考帧进行图像融合，获得无噪声图像，并将该无噪声图像作为标注标签(label)。
再例如，每一个应用场景有20个图像帧，则可以在该20个图像帧中根据清晰度选择参考帧，然后对该参考帧与除该参考帧之外的图像帧进行对齐融合，得到无噪声图像(标注标签)。然后将该参考帧与对应的标注标签构成一个训练对，得到已标注图像帧，并将该已标注图像帧加入训练集。在一些实施例中，如果有500个应用场景，则可以形成有500个已标注图像帧，进而可以构造500组样本形成训练集。
这里，可以将M个设定数值范围图像帧的梯度值按照设定顺序进行排序，并根据排序结果从M个设定数值范围图像帧中选取N个图像帧作为参考帧。本公开实施例中，在一个应用场景下采集到M个图像帧之后，可以根据各个图像帧的清晰度选择参考帧。由于梯度值可以用于表征各个图像帧的清晰度，即梯度值与清晰度正相关，本公开实施例中，可以确定出各个图像帧的梯度值，例如，可以通过拉普拉斯算子得到各个图像帧的梯度值。
在得到各个图像帧的梯度值之后，可以将该M个图像帧的梯度值按照设定顺序进行排序，并根据排序结果从M个图像帧中选取N个图像帧作为参考帧。例如，可以将该M个图像帧的梯度值按照从大至小的顺序进行排序，并将M个图像帧中梯度值最大的N个图像帧确定为参考帧。这里，N可以根据需要设定，例如，N可以等于1。在另一些实施例中，N也可以为其它数值。
图4是根据一示例性实施例示出的图像帧示意图二，如图4所示，图像帧401为未进行融合处理的图像，图像帧402为融合得到的无噪声图像。
在步骤203中，确定已标注图像帧的图像参数所处的参数阈值区间。
还是以电子设备是手机为例，由于在利用手机进行拍照时，采用的是自动曝光，因此图像参数会受到环境影响，各个图像帧的图像参数(iso数值)参差不齐。图5是根据一示例性实施例示出的iso数值分布示意图，如图5所示，横坐标是表示iso数值，纵坐标表示iso数值的个数，iso数值的分布范围为0到6400。
在步骤204中，构建预设去噪模型。
本公开实施例中，可以基于稠密连接和残差学习，设计一个单帧预设去噪模型。在一些实施例中，预设去噪模型至少包括：卷积神经网络(Convolutional Neural Networks，NN)，如，预设去噪模型可以是前馈去噪卷积神经网络(DnCNN)。图6是根据一示例性实施例示出的预设去噪模型的结构示意图，如图6所示，预设去噪模型包括：模块A(卷积和激活函数)，模型块B(残差块)，模型块C(长连接向)。
在步骤205中，基于第一权重值以及预设的第二权重值对训练损失值进行加权，得到目标损失值，并基于目标损失值更新预设去噪模型的模型参数。
在一些实施例中，目标损失值的计算公式如下：
lossi＝Wi*Mi*L1loss i∈(0,6400)； (2)；
公式(2)中，lossi表示目标损失值；Wi表示第一权重值；Mi表示第二权重值；L1loss表示训练损失值；i表示图像参数。
在一些实施例中，所述方法还包括：
确定各个所述已标注图像帧的图像参数，以及所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数；
基于所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数占所述训练集中所有已标注图像帧的总个数的比例，确定各个所述参数阈值区间所对应的第一权重值；
建立各个所述参数阈值区间与各个所述第一权重值之间的所述预设映射关系。
这里，在确定出各个已标注图像帧的图像参数之后，可以确定图像参数位于各个参数阈值区间内的已标注图像帧的个数，然后，基于图像参数位于各个参数阈值区间内的已标注图像帧的个数占训练集中所有已标注图像帧的总个数的比例，确定各个参数阈值区间所对应的第一权重值，并建立各个参数阈值区间与各个第一权重值之间的预设映射关系。在一些实施例中，可以根据图像参数为i的图像帧的个数和训练集中所有图像帧的总个数，得到图像参数为i的图像帧对应的第一权重值。例如，可以确定图像参数为i的图像帧的个数占训练集中所有图像帧的总个数的比例，并根据图像参数为i的图像帧的个数占训练集中所有图像帧的总个数的比例，得到图像参数为i的图像帧对应的第一权重值。其中，第一权重值的计算公式如下：
Figure BDA0002903733410000141
公式(3)中，Wi表示第一权重值；pi表示图像参数为i的图像帧的个数占训练集中所有图像帧的总个数的比例，可以称为概率值。这里，可以对每一个概率值取以常数e为底数的对数即自然对数，最后求出每种图像参数对应的自然对数值占总的对数和的比值，即能得到第一权重值。
在一些实施例中，pi的计算公式如下：
Figure BDA0002903733410000142
公式(4)中，pi表示图像参数为i的图像帧的个数占训练集中所有图像帧的总个数的比例，可以称为概率值；Bi表示图像参数为i的图像帧的个数；A表示训练集中所有图像帧的总个数；i表示图像参数。
本公开实施例中，通过公式(3)获得第一权重值，通过公式(4)图像参数为i的图像帧的个数占训练集中所有图像帧的总个数的比例(概率值)。
在一些实施例中，考虑到长尾现象，即实际拍摄时，大部分用户拍摄的图像帧的图像参数主要分布在设定数值范围内，例如，图像帧的感光度大部分位于0-1000的数值范围内，为了提升实际拍摄时的去噪效果，可以基于先验信息，适当增加在该设定数值范围内的图像帧在训练去噪模型的过程中所占的比重。
这里，第二权重值(长尾权重)可以是根据经验确定的数值，在此不做具体限定。在一些实施例中，第二权重值大于1。这里，通过将第二权重值设置为大于1的数值。
在一些实施例中，Mi的计算公式如下：
Mi＝f(i) i∈(0,6400) (5)；
公式(5)中，Mi表示第二权重值；i表示图像参数，函数f()可以根据需要设定。
本公开实施例中，可以基于iso数值在训练去噪模型的过程中对各个已标注图像帧进行再平衡，在计算目标损失值的时候，考虑当前待处理的已标注图像帧的iso数值的分布区间，如果该已标注图像帧在训练集中的占比较大，则在计算该已标注图像帧的目标损失值的时候，适当降低该已标注图像帧的目标损失值，减少预设去噪模型一味的学习当前iso数值的已标注图像帧的可能性，从而达到样本平衡的效果。
在另一些实施例中，目标损失值的计算公式还可以表示如下：
Loss＝L1lossW(P(iso_value))) (6)；
公式(6)中，Loss表示目标损失值；L1loss表示训练损失值；P表示iso数值的分布函数；iso_value表示当前待处理的已标注图像帧的iso数值，W表示预设映射关系。
在一些实施例中，由于iso数值的分布范围较大，可以对iso数值进行分区间统计，以1000为一个区间。如表1所示，已标注图像帧的总个数为200，图像参数位于各个不同的参数阈值区间的图像帧的个数分布、对应的第一权重值以及第二权重值如下表所示。在一些实施例中，第二权重值可以默认为1，由于用户平时拍照的iso数值主要分布在0-1000这个参数阈值区间内，因此可以针对0-1000这个参数阈值区间设置较大的第二权重值，例如，第二权重值可以设置为1.6。
Figure BDA0002903733410000151
表1：不同iso数值对应的权重系数
如表1所示，如果已标注图像帧的iso数值为3045，该已标注图像帧对应到3001-4000的参数阈值区间，该参数阈值区间对应的第一权重值为0.160，对应的第二权重值为1，假设此时计算的L1loss为0.5，则可以确定出目标损失值为：loss＝0.5*0.160*1＝0.08。
图7是根据一示例性实施例示出的图像对比示意图，如图7所示，图像701为未进行去噪处理的待处理图像，且图像701的iso数值为3140；图像702为通过相关技术中的去噪模型进行去噪处理之后得到的图像；图像703为通过本公开的技术方案训练得到的去噪模型进行去噪处理之后得到的目标图像，通过对比可知，通过本公开的技术方案训练得到的去噪模型的去噪效果更优。
通过本公开的技术方案对预设去噪模型进行训练，可以提升去噪模型的去噪效果。
第一方面，本公开中的技术方案可应用于真实场景，本公开解决的是真实场景下的噪声问题，而不是模拟生成的噪声，可以基于尽可能多的噪声输入图像进行多帧融合得到一个理想的期望输出图作为标注标签。在一些实施例中，本公开采集的图像帧经过图像信号处理ISP(Image Signal Processing)后，不经过其它处理。
第二方面，由于在利用手机进行拍照时，采用的是自动曝光，因此图像参数(例如，iso数值)会受到环境影响，使得采集较为丰富的噪声水平图像比较难，本公开通过给不同图像参数的图像帧赋予不同的第一权重值，从而提升了去噪模型的泛化性，进而提升了图像整体去噪效果。
第三方面，由于本公开是尽可能采集各种图像参数的图像帧来构建训练集的，并通过数据再平衡的方法使得训练集中的已标注图像帧基本覆盖各种噪声水平的图像，可以使得最终训练得到的去噪模型可以应用于任意噪声水平的图像。
图8是根据一示例性实施例示出的一种图像处理装置框图，如图8所示，该图像处理装置800应用于包含有图像采集模组的电子设备，主要包括：
输入模块801，配置为将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；
第一确定模块802，配置为根据所述预测标签与所述已标注图像帧的标注标签之间的差异，得到训练损失值；
第二确定模块803，配置为基于所述训练损失值和针对所述已标注图像帧设定的第一权重值，得到目标损失值；
更新模块804，配置为基于所述目标损失值，更新所述预设去噪模型的模型参数；
去噪模块805，配置为基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。
在其他可选的实施例中，所述装置800还包括：
采集模块，配置为基于所述图像采集模组在设定应用场景下采集M个图像帧；
排序模块，配置为将M个所述图像帧的梯度值按照设定顺序进行排序，并根据排序结果从M个所述图像帧中选取N个图像帧作为参考帧，其中，M和N均为正整数，且N小于M；
第三确定模块，配置为基于N个所述参考帧和除N个所述参考帧之外的M-N个非参考帧，得到所述已标注图像帧，并基于所述已标注图像帧构建所述训练集。
在其他可选的实施例中，所述第三确定模块，还配置为：
将N个所述参考帧与M-N个所述非参考帧进行融合处理，得到标注标签；
基于所述标注标签对所述参考帧进行标注，得到所述已标注图像帧。
在其他可选的实施例中，所述装置800还包括：
第四确定模块，配置为确定所述已标注图像帧的图像参数所处的参数阈值区间；
第五确定模块，配置为基于所述参数阈值区间和预设映射关系，确定所述已标注图像帧所对应的第一权重值；
其中，所述预设映射关系用于表征所述参数阈值区间与所述第一权重值之间的关联关系，且图像参数位于所述参数阈值区间内的图像帧的个数与所述第一权重值负相关。
在其他可选的实施例中，所述装置还包括：
个数确定模块，配置为确定各个所述已标注图像帧的图像参数，以及所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数；
权重确定模块，配置为基于所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数占所述训练集中所有已标注图像帧的总个数的比例，确定各个所述参数阈值区间所对应的第一权重值；
建立模块，配置为建立各个所述参数阈值区间与各个所述第一权重值之间的所述预设映射关系。
在其他可选的实施例中，所述第二确定模块803，还配置为：
基于所述第一权重值以及预设的第二权重值对所述训练损失值进行加权，得到所述目标损失值。
在其他可选的实施例中，还配置为：
基于所述第一权重值、所述第二权重值以及所述训练损失值的乘积，得到所述目标损失值；
其中，所述第二权重值大于所述第一权重值。
在其他可选的实施例中，所述装置800还包括：
停止模块，配置为当所述目标损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预设去噪模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种用于图像处理装置1200的框图。例如，装置1200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，装置1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电力组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)接口1212，传感器组件1214，以及通信组件1216。
处理组件1202通常控制装置1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在装置1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件1206为装置1200的各种组件提供电力。电力组件1206可以包括电源管理系统，一个或多个电源，及其他与为装置1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在所述装置1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当装置1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器，用于为装置1200提供各个方面的状态评估。例如，传感器组件1214可以检测到设备1200的打开/关闭状态，组件的相对定位，例如所述组件为装置1200的显示器和小键盘，传感器组件1214还可以检测装置1200或装置1200一个组件的位置改变，用户与装置1200接触的存在或不存在，装置1200方位或加速/减速和装置1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1216被配置为便于装置1200和其他设备之间有线或无线方式的通信。装置1200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由装置1200的处理器1220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得图像处理装置能够执行一种图像处理方法，所述方法包括：
将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；
根据所述预测标签与所述已标注图像帧的标注标签之间的差异，得到训练损失值；
基于所述训练损失值和针对所述已标注图像帧设定的第一权重值，得到目标损失值；
基于所述目标损失值，更新所述预设去噪模型的模型参数；
基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。
图10是根据一示例性实施例示出的另一种用于图像处理装置1300的框图。例如，装置1300可以被提供为一服务器。参照图10，装置1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述图像处理方法，所述方法包括：
将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；
根据所述预测标签与所述已标注图像帧的标注标签之间的差异，得到训练损失值；
基于所述训练损失值和针对所述已标注图像帧设定的第一权重值，得到目标损失值；
基于所述目标损失值，更新所述预设去噪模型的模型参数；
基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。
装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理，一个有线或无线网络接口1350被配置为将装置1300连接到网络，和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (18)

1.一种图像处理方法，其特征在于，应用于包含有图像采集模组的电子设备，包括：
将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；
根据所述预测标签与所述已标注图像帧的标注标签之间的差异，得到训练损失值；
基于所述训练损失值和针对所述已标注图像帧设定的第一权重值，得到目标损失值；
基于所述目标损失值，更新所述预设去噪模型的模型参数；
基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述图像采集模组在设定应用场景下采集M个图像帧；
将M个所述图像帧的梯度值按照设定顺序进行排序，并根据排序结果从M个所述图像帧中选取N个图像帧作为参考帧，其中，M和N均为正整数，且N小于M；
基于N个所述参考帧和除N个所述参考帧之外的M-N个非参考帧，得到所述已标注图像帧，并基于所述已标注图像帧构建所述训练集。
3.根据权利要求2所述的方法，其特征在于，所述基于N个所述参考帧和除N个所述参考帧之外的M-N个非参考帧，得到所述已标注图像帧，包括：
将N个所述参考帧与M-N个所述非参考帧进行融合处理，得到标注标签；
基于所述标注标签对所述参考帧进行标注，得到所述已标注图像帧。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定各个所述已标注图像帧的图像参数所处的参数阈值区间；
基于所述参数阈值区间和预设映射关系，确定各个所述已标注图像帧所对应的第一权重值；
其中，所述预设映射关系用于表征所述参数阈值区间与所述第一权重值之间的关联关系，且图像参数位于所述参数阈值区间内的图像帧的个数与所述第一权重值负相关。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
确定各个所述已标注图像帧的图像参数，以及所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数；
基于所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数占所述训练集中所有已标注图像帧的总个数的比例，确定各个所述参数阈值区间所对应的第一权重值；
建立各个所述参数阈值区间与各个所述第一权重值之间的所述预设映射关系。
6.根据权利要求1所述的方法，其特征在于，所述基于所述训练损失值和第一权重值，得到目标损失值，包括：
基于所述第一权重值以及预设的第二权重值对所述训练损失值进行加权，得到所述目标损失值。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一权重值以及预设的第二权重值对所述训练损失值进行加权，得到所述目标损失值，包括：
基于所述第一权重值、所述第二权重值以及所述训练损失值的乘积，得到所述目标损失值；
其中，所述第二权重值大于所述第一权重值。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：
当所述目标损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预设去噪模型。
9.一种图像处理装置，其特征在于，应用于包含有图像采集模组的电子设备，包括：
输入模块，配置为将预先构建的训练集中的各个已标注图像帧输入待训练的预设去噪模型，得到预测标签；
第一确定模块，配置为根据所述预测标签与所述已标注图像帧的标注标签之间的差异，得到训练损失值；
第二确定模块，配置为基于所述训练损失值和针对所述已标注图像帧设定的第一权重值，得到目标损失值；
更新模块，配置为基于所述目标损失值，更新所述预设去噪模型的模型参数；
去噪模块，配置为基于训练后的预设去噪模型对待处理图像进行去噪处理，得到目标图像。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
采集模块，配置为基于所述图像采集模组在设定应用场景下采集M个图像帧；
排序模块，配置为将M个所述图像帧的梯度值按照设定顺序进行排序，并根据排序结果从M个所述图像帧中选取N个图像帧作为参考帧，其中，M和N均为正整数，且N小于M；
第三确定模块，配置为基于N个所述参考帧和除N个所述参考帧之外的M-N个非参考帧，得到所述已标注图像帧，并基于所述已标注图像帧构建所述训练集。
11.根据权利要求10所述的装置，其特征在于，所述第三确定模块，还配置为：
将N个所述参考帧与M-N个所述非参考帧进行融合处理，得到标注标签；
基于所述标注标签对所述参考帧进行标注，得到所述已标注图像帧。
12.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第四确定模块，配置为确定各个所述已标注图像帧的图像参数所处的参数阈值区间；
第五确定模块，配置为基于所述参数阈值区间和预设映射关系，确定各个所述已标注图像帧所对应的第一权重值；
其中，所述预设映射关系用于表征所述参数阈值区间与所述第一权重值之间的关联关系，且图像参数位于所述参数阈值区间内的图像帧的个数与所述第一权重值负相关。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
个数确定模块，配置为确定各个所述已标注图像帧的图像参数，以及所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数；
权重确定模块，配置为基于所述图像参数位于各个所述参数阈值区间内的已标注图像帧的个数占所述训练集中所有已标注图像帧的总个数的比例，确定各个所述参数阈值区间所对应的第一权重值；
建立模块，配置为建立各个所述参数阈值区间与各个所述第一权重值之间的所述预设映射关系。
14.根据权利要求9所述的装置，其特征在于，所述第二确定模块，还配置为：
基于所述第一权重值以及预设的第二权重值对所述训练损失值进行加权，得到所述目标损失值。
15.根据权利要求14所述的装置，其特征在于，所述第二确定模块，还配置为：
基于所述第一权重值、所述第二权重值以及所述训练损失值的乘积，得到所述目标损失值；
其中，所述第二权重值大于所述第一权重值。
16.根据权利要求9至15任一项所述的装置，其特征在于，所述装置还包括：
停止模块，配置为当所述目标损失值在设定时长内的数值变化小于设定变化阈值时，停止训练所述预设去噪模型。
17.一种图像处理装置，其特征在于，包括：
处理器；
配置为存储处理器可执行指令的存储器；
其中，所述处理器配置为：执行时实现上述权利要求1至8中任一种图像处理方法中的步骤。
18.一种非临时性计算机可读存储介质，当所述存储介质中的指令由图像处理装置的处理器执行时，使得所述装置能够执行上述权利要求1至8中任一种图像处理方法。
CN202110064187.1A 2021-01-18 2021-01-18 图像处理方法、装置及存储介质 Active CN112866505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110064187.1A CN112866505B (zh) 2021-01-18 2021-01-18 图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110064187.1A CN112866505B (zh) 2021-01-18 2021-01-18 图像处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112866505A true CN112866505A (zh) 2021-05-28
CN112866505B CN112866505B (zh) 2023-04-25

Family

ID=76006685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110064187.1A Active CN112866505B (zh) 2021-01-18 2021-01-18 图像处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112866505B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827253A (zh) * 2019-10-30 2020-02-21 北京达佳互联信息技术有限公司 一种目标检测模型的训练方法、装置及电子设备
CN111260665A (zh) * 2020-01-17 2020-06-09 北京达佳互联信息技术有限公司 图像分割模型训练方法和装置
CN111753895A (zh) * 2020-06-12 2020-10-09 北京小米松果电子有限公司 数据处理方法、装置及存储介质
CN111861931A (zh) * 2020-07-27 2020-10-30 北京金山云网络技术有限公司 模型训练、图像增强方法和装置、电子设备及存储介质
US20200349391A1 (en) * 2019-04-30 2020-11-05 Shenzhen Sensetime Technology Co., Ltd. Method for training image generation network, electronic device, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200349391A1 (en) * 2019-04-30 2020-11-05 Shenzhen Sensetime Technology Co., Ltd. Method for training image generation network, electronic device, and storage medium
CN110827253A (zh) * 2019-10-30 2020-02-21 北京达佳互联信息技术有限公司 一种目标检测模型的训练方法、装置及电子设备
CN111260665A (zh) * 2020-01-17 2020-06-09 北京达佳互联信息技术有限公司 图像分割模型训练方法和装置
CN111753895A (zh) * 2020-06-12 2020-10-09 北京小米松果电子有限公司 数据处理方法、装置及存储介质
CN111861931A (zh) * 2020-07-27 2020-10-30 北京金山云网络技术有限公司 模型训练、图像增强方法和装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112866505B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
CN109345485B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN109379572B (zh) 图像转换方法、装置、电子设备及存储介质
CN113472994B (zh) 拍照方法及装置、移动终端及存储介质
JP7152598B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN108154465B (zh) 图像处理方法及装置
CN111709891B (zh) 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN111462268A (zh) 图像重建方法及装置、电子设备和存储介质
CN110619350B (zh) 图像检测方法、装置及存储介质
CN103546683A (zh) 相机控制系统、具有该系统的移动装置及相机控制方法
CN111160448B (zh) 一种图像分类模型的训练方法及装置
CN113411498B (zh) 图像拍摄方法、移动终端及存储介质
CN111340731A (zh) 图像处理方法及装置、电子设备和存储介质
CN109784164B (zh) 前景识别方法、装置、电子设备及存储介质
CN112150457A (zh) 视频检测方法、装置及计算机可读存储介质
CN112200040A (zh) 遮挡图像检测方法、装置及介质
CN112669231B (zh) 图像处理方法、图像处理模型的训练方法、装置、介质
CN109784327B (zh) 边界框确定方法、装置、电子设备及存储介质
CN108629814B (zh) 相机调整方法及装置
CN107730443B (zh) 图像处理方法、装置及用户设备
CN112750081A (zh) 图像处理方法、装置及存储介质
CN112866505B (zh) 图像处理方法、装置及存储介质
CN113989387A (zh) 相机拍摄参数调整方法、装置及电子设备
CN111385400A (zh) 背光亮度调节方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant