CN113706402A - 神经网络训练方法、装置及电子设备 - Google Patents

神经网络训练方法、装置及电子设备 Download PDF

Info

Publication number
CN113706402A
CN113706402A CN202110838140.6A CN202110838140A CN113706402A CN 113706402 A CN113706402 A CN 113706402A CN 202110838140 A CN202110838140 A CN 202110838140A CN 113706402 A CN113706402 A CN 113706402A
Authority
CN
China
Prior art keywords
image
neural network
degradation
parameter
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110838140.6A
Other languages
English (en)
Inventor
刘行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Hangzhou Co Ltd
Original Assignee
Vivo Mobile Communication Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Hangzhou Co Ltd filed Critical Vivo Mobile Communication Hangzhou Co Ltd
Priority to CN202110838140.6A priority Critical patent/CN113706402A/zh
Publication of CN113706402A publication Critical patent/CN113706402A/zh
Priority to PCT/CN2022/106274 priority patent/WO2023001110A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种神经网络训练方法、装置及电子设备，属于图像处理与深度学习领域。能够解决相关技术中的深度学习网络对图像的处理效果差的技术问题。该方法包括：根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；基于每个退化程度，对每个退化程度对应的第一图像分别进行退化处理，得到每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像；基于每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集；基于N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。

Description

神经网络训练方法、装置及电子设备
技术领域
本申请属于图像处理与深度学习领域，具体涉及一种神经网络训练方法、装置及电子设备。
背景技术
随着人工智能技术的不断发展，电子设备越来越普及，用户对电子设备(如智能终端)的拍摄质量的要求越来越高。目前提升电子设备的拍摄质量的方案主要是通过卷积神经网络学习人脸质量增强的深度网络来实现。
在相关技术中，是通过训练集训练单一输入分辨率(如256，512)和单一图像退化的深度网络，来对拍摄的图像进行图像增强处理。采用上述图像处理方式，在一些特殊场景下，例如在低照度场景中，拍摄时进光量较小，受噪声影响较大，相较正常亮度的场景，低照度场景中拍摄的图像的质量退化的更严重(即，图像质量更低)。又例如，在拍摄群体人像时，镜头中大小不一致的各个人脸的退化程度也不同。
因此，如果依然采用相关技术中训练单一输入分辨率、单一数据退化的深度学习网络对拍摄的图像进行处理，会导致训练后的深度学习网络对于不同退化程度的图像无法针对性地进行增强处理，从而导致难以取得显性的人脸质量增强效果，进而导致对图像的处理效果较差。
发明内容
本申请实施例的目的是提供一种神经网络训练方法、装置及电子设备，能够解决相关技术中的深度学习网络对图像的处理效果差的技术问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种神经网络训练方法，该方法包括：根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；基于每个退化程度，对每个退化程度对应的第一图像分别进行退化处理，得到每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像；基于每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集；基于N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。
第二方面，本申请实施例提供了一种神经网络训练装置，该装置包括：所述装置包括：确定模块、处理模块、生成模块和训练模块，其中：确定模块，用于根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；上述处理模块，用于基于确定模块确定的每个退化程度，对每个退化程度对应的第一图像分别进行退化处理，得到每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像；上述生成模块，用于基于处理模块得到的每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集；上述训练模块，用于基于生成模块得到的N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在非易失的存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，神经网络训练装置根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；并基于每个退化程度，对每个退化程度对应的第一图像分别进行退化处理，得到每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像，然后，基于上述每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集，最后，基于上述N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。通过该方法，神经网络训练装置可以对不同环境参数下的第一图像进行相应的退化程度(即有差异)的退化，以得到第一图像在有差异地退化后对应的退化图像(即第二图像)，从而构建出符合多种环境参数下的拍摄质量的(即不同退化程度)的训练样本集，进而可以得到适用于对不同环境参数下的拍摄图像进行针对性处理的神经网络，提高对图像的增强处理效果。
附图说明
图1是本申请实施例提供的一种神经网络训练方法的流程图；
图2是本申请实施例提供的一种多强度退化模块进行处理的流程示意图；
图3是本申请实施例提供的一种低清-高清训练集构建示意图；
图4是本申请实施例提供的一种ISO与人脸大小信息处理示意图；
图5是本申请实施例提供的一种多复杂度GAN网络流程示意图；
图6是本申请实施例提供的一种图像处理方法的流程图；
图7是本申请实施例提供的一种神经网络训练装置的结构示意图；
图8是本申请实施例提供的一种图像处理装置的结构示意图；
图9是本申请实施例提供的一种电子设备的硬件结构示意图之一；
图10是本申请实施例提供的一种电子设备的硬件结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的神经网络训练方法进行详细地说明。
本申请实施例提供了一种神经网络训练方法，该神经网络训练方法可以应用于电子设备，图1示出了本申请实施例提供的神经网络训练方法的流程图。如图1所示，本申请实施例提供的神经网络训练方法可以包括如下步骤101至步骤104：
步骤101：根据获取的M张第一图像的M个环境参数，确定N个退化程度。
其中，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数。
可选地，在本申请实施例中，上述神经网络训练方法可以为人脸增强GAN网络(faceEnhanceGAN)训练方法，由于人脸增强GAN网络(faceEnhanceGAN)训练方法是一种有监督的AI训练方法，需要成对的图像对(即，低清图-高清图)构成训练数据集。但是由于像素无法对齐等因素，无法直接拍摄得到一一对应的低清-高清图像对。因此，可以通过对获取到的高清图片(如单反拍摄的高清图)进行多种退化处理(如，模糊，加噪声等处理)来获取低清图片，以得到低清-高清图像对，即LQ-HQ数据集。
在本申请实施例中，上述第一图像可以为高清图片。示例性的，上述第一图像可以为通过高质量成像设备(如单反相机)的摄像头拍摄得到的高清图片，或者，上述第一图像可以为对低质量图像进行图像增强后得到的高清图片。
需要说明的是，图片的清晰度以及质量可以通过模糊程度和噪声来衡量，上述高清图片指的是模糊程度以及噪声较小的图片。
示例性的，神经网络训练装置在获取到上述M张第一图像的情况下，可以将每张第一图像和该第一图像对应的环境参数保存在数据库中，当需要使用时神经网络训练装置可以从数据库中调用该M张第一图像。
可选地，在本申请实施例中，上述环境参数可以包括以下至少一项：感光度ISO值，亮度。
需要说明的是，感光度是指用数字表示对光线的敏感度，当ISO值越高，表示对光线的敏感度越强，反之则越弱。
可选地，在本申请实施例中，可以通过将M张第一图像输入到ISO与人脸大小信息处理模块进行处理后，获取到M张第一图像的M个环境参数。
示例性的，神经网络训练装置可以根据第一图像的环境参数和第一阈值的大小关系，确定第一图像的退化程度。进一步地，上述第一阈值为ISO阈值，具体可以为ISO的大小。例如，当图像1的ISO值大于第一阈值时，该图像1对应第一退化程度(即，较高的退化程度)。
进一步地，可以通过采集用户的拍照数据和分析场景黑暗程度，来合理设定多阶段的ISO阈值(ISO_threshold)。
需要说明的是，上述环境参数(即ISO)可以称为先验信息，上述ISO与人脸大小信息处理模块为获取该先验信息的预处理模块。
可选地，在本申请实施例中，上述N个退化程度可以为预设的L个退化程度中的一个或者多个退化程度。示例性的，上述L个退化程度可以包括：第一退化程度和第二退化程度。进一步地，上述第一退化程度可以为高退化程度，上述第二退化程度可以为低退化程度。需要说明的是，上述退化程度具体可以根据实际情况灵活确定，例如，可以设置三个或者更多的退化程度，本申请实施例对此不做任何限定。
可选地，在本申请实施例中，上述N个退化程度分别对应N个退化模块，每个退化模块用于对第一图像进行相应的退化处理，并且每个退化模块的退化算法不同，即，每个退化模块对应的退化效果不同。
示例性的，上述N个退化模块可以包括：高ISO段退化模块和低ISO段退化模块。进一步地，高ISO段退化模块可以对应上述第一退化程度，低ISO段退化模块可以对应上述第二退化程度。
需要说明的是，上述N个退化模块还可以根据实际需求细化为更多ISO段的退化模块，本申请实施例对此不做任何限定。
需要说明的是，高ISO段退化模块用于处理ISO值较大的第一图像，其退化程度较高，低ISO段退化模块用于处理ISO值较大的第一图像，其退化程度较低。
示例性的，神经网络训练装置可以根据M张第一图像中的每张第一图像的环境参数，确定与该环境参数对应的退化程度，以确定每张第一图像的退化程度。例如，以ISO值低于50为低感光度，对应第一退化程度(如，低退化程度)为例，若图像1的ISO值为45，则该图像1对应的退化程度为第一退化程度，即，该图像1对应低退化程度。
步骤102：基于每个退化程度，对每个退化程度对应的第一图像分别进行退化处理，得到每个退化程度对应的第二图像。
其中，每个第二图像分别对应一个第一图像。
在本申请实施例中，神经网络训练装置可以采用每个退化程度对应的退化模块，对每个退化程度对应的第一图像进行质量退化处理，得到第一图像对应的低质量图像或者低清图像(即，上述第二图像)。
可选地，在本申请实施例中，神经网络训练装置可以通过多强度数据退化模块，根据第一图像对应的退化程度确定相应的不同强度的数据退化模块，对第一图像进行相应的质量退化处理。
示例性的，神经网络训练装置可以通过上述ISO与人脸大小信息处理模块，确定ISO标志位信息，然后通过上述多强度数据退化模块，基于ISO标志位信息确定相应的退化模块。进一步地，上述ISO标志位用于表征ISO的高低，例如，ISO标志位为高标志位(即highISO_flag)，或者，ISO标志位为低标志位(即lowISO_flag)。
进一步地，在通过上述ISO与人脸大小信息处理模块，确定ISO标志位信息时，可以判断第一图像的ISO值与上述ISO阈值(即，ISO_threshold)的大小关系，若ISO值大于ISO_threshold，则将高ISO标志位(或者高ISO符号位)置为1，若ISO值小于ISO_threshold，则将低ISO标志位置为1。
进一步地，在通过上述多强度数据退化模块，基于ISO标志位信息确定相应的退化模块时，可以识别ISO与人脸大小信息处理模块中的ISO标志位信息，然后基于识别到的标志位信息，确定相应的退化模块。
示例1，在将多张高清图像输入至ISO与人脸大小信息处理模块以及多强度数据退化模块后，如果从该ISO与人脸大小信息处理模块中识别到高ISO标志位highISO_flag等于1，则说明进入的是高ISO段，这时进入高ISO段退化模块，通过该退化模块可以在退化过程中对该图像(即待退化图像)加入强度更大的多类型噪声，并且加入多种强度更大的模型操作，比如，三角模型、高斯模型、线性模型、运动模糊等模糊函数的模糊程度全部加大。另外，对输入的高清图进行随机压暗处理以模拟暗光下的图片亮度。
示例2，在将多张高清图像输入至ISO与人脸大小信息处理模块以及多强度数据退化模块后，如果从该ISO与人脸大小信息处理模块中识别到低ISO标志位lowISO_flag等于1，则说明进入的是低ISO段，这时进入低ISO段退化模块，通过该退化模块可以对该图像加入强度较小的噪声，以及加入较少类型的模糊函数进行较轻程度的模糊处理。
结合上述示例1和示例2的过程，图2为采用多强度退化模块进行处理的流程示意图。如图2所示，若高清图像对应的低ISO标志位lowISO_flag等于1，则进入低ISO退化模块对该高清图像进行处理，得到对应的低清图像1；若高清图像对应的高ISO标志位highISO_flag等于1，则进入高ISO退化模块对该高清图像进行处理，得到对应的低清图像2。
示例性的，上述退化处理包括但不限于以下至少一项：加噪处理、模糊处理(散焦模糊、运动模糊、高斯模糊、线性模糊)、降低/提高亮度(3D打光)、增加/减少阴影(随机阴影)、区域感知退化。
进一步地，在使用退化模块对第一图像进行处理时，可以加入多种模糊处理的模型，以通过多种模糊函数对第一图像进行模糊处理，例如，散焦模型、高斯模型、线性模型、运动模型等模糊函数。
示例性的，上述退化程度可以包括以下至少一项：退化强度和退化模式。进一步地，上述退化强度指的处理程度的大小，例如，加入噪声的大小，模糊程度的大小；上述退化模式指的是处理方式，例如，对图像1加噪处理，对图像2模糊处理，即为两种不同的处理模式。
需要说明的是，在实际的拍摄场景中，不同ISO场景拍摄得到的图片质量退化程度通常不同，高ISO场景交低ISO场景图像质量退化程度更高，得到的图像的质量更差。具体的，通过多次试验测试发现，高ISO场景下图像质量更差主要表现为：1)图像更加模糊，对焦更加不准，2)图像中的噪声更大且噪声不均匀。因此，本申请实施例通过设计多强度退化模块来对不同ISO(即高ISO和低ISO)的第一图像根据退化强度和退化模式来进行有差异的图像质量退化，从而构建数据集更好地模拟电子设备自不同ISO段下的拍摄图像质量。图3示出了低清-高清训练集构建示意图，如图3所示，图像训练装置对若干张高清图像进行上述退化处理中的一种或者多种，得到若干张质量退化图像(即，低清图像)，从而得到高清-低清训练集。
举例说明，以M张第一图像为100张高清图像为例。假设该100张高清图像中的40张图像的ISO值大于ISO阈值，对应第一退化程度，除该40张图像之外的60张图像的ISO值小于ISO阈值，对应第二退化程度，则将该40张图像输入至第一退化程度对应的高ISO段退化模块进行处理，将该60张图像输入至第二退化程度对应的低ISO段退化模块进行处理，以得到对应的不同退化程度的低清图像。
步骤103：基于每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集。
在本申请实施例中，一个退化程度对应一个样本集，N个退化程度对应N个样本集，即，上述N个样本集分别对应N个退化程度，N个样本集构成训练数据集。
可选地，在本申请实施例中，一个样本集中包括至少一张第一图像和至少一张第二图像，即每个样本集中包括至少一个低清-高清图像对，即，LQ-HQ数据集。
可选地，在本申请实施例中，一个退化程度对应一个训练数据集。示例性的，神经网络训练装置可以将第一图像和第一图像对应的第二图像，作为训练样本图像关联保存至对应的训练数据集。
需要说明的是，在实际拍摄场景中，ISO值越大表明拍摄的场景越暗，而在越暗的场景中拍摄得到的图片的质量退化越严重，比如更加模糊、噪声更大等；ISO值越小表明拍摄场景越明亮，而在明亮的场景中拍摄得到的图片的质量退化程度要明显弱于高ISO的场景。基于此，在训练神经网络来对电子设备拍摄的图像进行增强处理时，从算法角度分析，如果可以更加接近地模拟出电子设备的图像信号处理(即，ISP)过程和拍摄过程中的图像质量退化模式，则可以构建出高质量的训练集，就可以训练出具备更佳的人脸增强效果的神经网络。
步骤104：基于上述N个样本集，分别对Q个神经网络进行训练。
其中，一个样本集对应至少一个神经网络，Q为正整数。
在本申请实施例中，上述Q个神经网络可以包括生成对抗网络(GAN网络)。
示例性的，上述Q个神经网络可以为预设的多个不同复杂度的神经网络中的神经网络。
可选地，在本申请实施例中，神经网络训练装置可以在多复杂度GAN网络模块中，基于上述N个样本集，分别对Q个神经网络进行训练。示例性的，上述多复杂度GAN网络模块包括P个神经网络，神经网络训练装置可以从P个神经网络中确定Q个神经网络进行训练。进一步地，神经网络训练装置根据N个样本集对应的退化程度，从P个神经网络中确定Q个神经网络进行训练，P大于Q，P为正整数。
示例性的，神经网络训练装置可以分别将上述N个样本集输入至Q神经网络对神经网络进行训练，得到训练后的Q个神经网络。进一步地，上述Q个神经网络可以相同，不同或者部分相同。
需要说明的是，相同的神经网络指的是复杂度以及输入分辨率相同的神经网络。
需要说明的是，由于上述N个样本集的退化程度不同，因此，分别基于N个样本集中的每个样本集对神经网络训练后，得到的训练后的神经网络的参数(即权值)不同，即，不同样本集训练得到的神经网络对图像的增强处理效果不同。
在本申请实施例提供的神经网络训练方法中，神经网络训练装置根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；并采用每个退化程度，对每个退化程度对应的第一图像分别进行退化处理，得到每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像，然后，基于上述每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集，最后，基于上述N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。通过该方法，神经网络训练装置可以对不同环境参数下的第一图像进行相应的退化程度(即有差异)的退化，以得到第一图像在有差异地退化后对应的退化图像(即第二图像)，从而构建出符合多种环境参数下的拍摄质量的(即不同退化程度)的训练样本集，进而可以得到适用于对不同环境参数下的拍摄图像进行针对性处理的神经网络，提高对图像的增强处理效果。
可选地，在本申请实施例中，上述步骤101的过程可以包括如下步骤101a和步骤101b：
步骤101a：从X个参数范围中，确定出上述M个环境参数对应的N个目标参数范围。
其中，每个参数范围分别对应一个退化程度，一个目标参数范围对应至少一个环境参数。
步骤101b：将N个目标参数范围中的第i个目标参数范围对应的退化程度，确定为第i个退化程度。
其中，上述第i个目标参数范围为：按照对应的退化程度由小到大的顺序，对上述N个目标参数范围排序后的第i个目标参数范围，i为正整数；上述第i个目标参数范围对应的环境参数，小于第i+1个目标参数范围对应的环境参数。
可选地，上述X个参数范围可以为预设的参数范围，该参数范围指的是ISO值的范围。例如，该X个参数范围可以包括ISO值小于50，ISO值大于等于50，小于200，以及ISO值大于等于200三个参数范围。
需要说明的是，图像对应的环境参数越大，表示该图像对应的拍摄场景越黑暗，则拍摄到的该图像的退化程度越大。因此，需要对该图像进行较大程度的退化，以得到能够更好的模拟真实拍摄场景的训练数据集。即，第一图像的环境参数所处的参数范围中的环境参数(ISO值)越大，第一图像的ISO值越大，则第一图像对应的退化程度越高。
可选地，在本申请实施例中，上述M张第一图像中的每张第一图像中包括至少一个人脸元素。
可选地，上述步骤104的过程之前，本申请实施例提供的神经网络训练方法还包括如下步骤A1和步骤B1：
步骤A1：获取上述M张第一图像中的人脸元素对应的R个区域尺寸参数。
其中，每个区域尺寸参数分别为：一张第一图像中的人脸元素所处的区域的尺寸参数，R为正整数，R大于等于M。
步骤B1：根据上述M个环境参数和上述R个区域尺寸参数，确定上述Q个神经网络。
其中，一个神经网络对应：至少一个环境参数和至少一个区域尺寸参数。
可选地，一张第一图像中可以包括一个或者多个人脸元素。例如，图像2为一张三人合照，则该图像2中包括三个人脸元素，则该图像2对应3个区域尺寸参数。
可选地，上述区域尺寸参数可以包括以下至少一项：长度、宽度、面积。
示例性的，神经网络训练装置可以获取上述M张第一图像中，每个第一图像中的至少一个人脸元素对应的区域尺寸参数，以得到R个区域尺寸参数，其中，每张第一图像可以对应上述R个区域尺寸参数中的一个或者多个。
可选地，神经网络训练装置可以根据上述M个环境参数和上述R个区域尺寸参数，分别确定对应的环境参数等级和区域尺寸等级。进一步地，上述环境参数等级可以包括低ISO场景和高ISO场景，上述区域尺寸等级可以包括大面积和小面积。示例性的，可以通过人脸检测算法来获取第一图像中的人脸的位置信息。进一步地，可以采用矩形框对第一图像中的人脸元素进行框选，并对矩形框信息进行一定比例的扩充得到人脸元素对应的人脸区域的宽(即，face_width)和高(即，face_height)，从而可以计算人脸大小的面积(face_area)为face_area＝face_width*face_height。
示例性的，可以通过上述ISO与人脸大小信息处理模块，确定人脸面积标志位信息。进一步地，人脸面积标志位用于表征人脸元素的面积的大小，例如，人脸面积标志位为大面积标志位(即，bigFace_flag)，或者，人脸面积标志位为小面积标志位(即，smallFace_flag)。
进一步地，在通过上述ISO与人脸大小信息处理模块，确定人脸面积标志位信息时，可以判断第一图像的人脸元素的面积与面积阈值(即，area_threshold)的大小关系，若face_area大于area_threshold，则将大面积标志位(或者大面积符号位)置为1，若face_area小于area_threshold，则将小面积标志位置为1。进一步地，上述面积阈值为提前设定的多阶段面积阈值，可以通过采集用户拍照数据来确定具体的面积阈值。
进一步地，神经网络训练装置可以通过识别ISO与人脸大小信息处理模块中的人脸面积的标志位信息，然后基于识别到的标志位信息，确定人脸面积的大小的等级。例如，识别到bigFace_flag为1，则确定该人脸元素为大面积人脸元素。
示例性的，神经网络训练装置可以通过比较第一图像的环境参数(即，ISO值)与ISO阈值，来确定ISO标志位。例如，若ISO值大于ISO_threshold，则将高ISO标志位(或者高ISO符号位)置为1，若ISO值小于ISO_threshold，则将低ISO标志位置为1。
进一步地，神经网络训练装置可以通过识别ISO与人脸大小信息处理模块中的ISO的标志位信息，然后基于识别到的标志位信息，确定ISO的等级。例如，识别到highISO_flag等于1，则确定第一图像对应低ISO值，即低ISO场景。如图4所示为ISO与人脸大小信息处理示意图。
示例性的，神经网络训练装置可以根据识别到的每个样本集对应的人脸面积的标志位信息和ISO的标志位信息，确定每个样本集对应的神经网络。
进一步地，神经网络装置可以对N个样本集逐个识别，在识别到某一样本集中的第一图像的人脸面积的标志位信息指示大面积人脸元素(即bigFace_flag等于1)的情况下，神经网络训练装置将该样本集输入至第一复杂度(即高复杂度)的神经网络中，并对该第一复杂度的神经网络进行训练，得到训练后的神经网络；在识别到某一样本集中的第一图像的人脸面积的标志位信息指示小面积人脸元素(即smallFace_flag等于1)的情况下，将该样本集输入至低复杂度的神经网络中进行训练。
进一步可选地，在本申请实施例中，上述Q个神经网络中，复杂度大的神经网络对应的目标参数，大于复杂度小的神经网络对应的目标参数；
其中，上述目标参数包括：环境参数和区域尺寸参数。
可选地，上述复杂度大的神经网络指的是时间复杂度和/或空间复杂度较大的神经网络。进一步地，神经网络的复杂度可以体现在神经网络的深度和广度。
示例性的，对于环境参数(即ISO值)较大的第一图像，即，处于高ISO场景的第一图像，由于对其实施了更为复杂(即退化程度更高)的退化处理，此时会得到与其对应的退化更严重的图像组成一组高清-低清数据集，因此，可以使用更深、更大的复杂度更高的神经网络，而对于低ISO场景，由于对其实施了较简单(即退化程度较低)的退化处理，此时会得到其对应的退化相对较轻的图像组成一组高清-低清数据集，因此，可以使用较浅、较小的神经网络。即，可以为退化程度高训练集的选择复杂度高的神经网络进行训练，为退化程度低的数据集选择复杂度较低的神经网络进行训练，如此，在保证较好的处理效果的同时，可以降低运算复杂度，加快算法的处理时间，从而提高训练效率。
示例性的，图5为多复杂度GAN网络流程示意图，如图5所示，假设图像1的ISO值对应低ISO场景，则将其输入简单的GAN网络进行训练，以得到对低ISO场景的待处理图像具有更佳的处理效果的训练后的神经网络；假设图像1的ISO值对应高ISO场景，则将其输入复杂的GAN网络进行训练，以得到对理高ISO场景的待处理图像具有更佳的处理效果的训练后的神经网络。
进一步可选地，在本申请实施例中，每个样本集分别对应至少两个神经网络。
可选地，上述步骤B1的过程，可以包括如下步骤C1：
步骤C1：根据第一环境参数和第一区域尺寸参数，确定第一神经网络；
其中，上述第一环境参数为：上述N个样本集中，任一个样本集中的第一图像的环境参数中的；上述第一区域尺寸参数为：上述任一个样本集中的第一图像对应的区域尺寸参数中的。
上述第一神经网络为：上述任一个样本集对应的神经网络中的。
可选地，上述一个样本集中的第一图像对应一个退化程度，该一个退化程度可以对应一个神经网络。
需要说明的是，每个样本集为一个高清-低清图像对，每个样本集中的低清图像为对高清图像退化后的图像。
示例性的，当一个样本集中的第一图像的人脸元素的区域尺寸参数(即，人脸面积)不尽相同时，例如，该一个样本集中存在包括大面积人脸元素和小面积人脸元素的第一图像时，可以对包括大面积的人脸元素的第一图像选择输入分辨率较大且复杂度较高的神经网络进行训练，对包括小面积的人脸元素的第一图像选择输入分辨率较小且复杂度较低的神经网络进行训练。如此，可以在取得更好地训练效果的同时提高训练效率。
本申请实施例提供了一种图像处理方法，该图像处理方法可以应用于电子设备，该电子设备可以包括上述神经网络训练方法训练后的Q个神经网络，Q为正整数。图6示出了本申请实施例提供的图像处理方法的流程图。如图6所示，本申请实施例提供的神经网络训练方法可以包括如下步骤201和步骤202：
步骤201：在显示上述电子设备的摄像头采集的预览图像的情况下，根据上述预览图像的目标环境参数，和上述预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络。
在本申请实施例中，上述目标环境参数包括以下至少一项：ISO值、亮度值；上述目标区域尺寸参数包括以下至少一项：宽度、高度、面积。
示例性的，在显示有预览图像的情况下，可以获取摄像头的当前ISO值，并将摄像头的当前ISO值确定为预览图像的ISO值，以及，可以获取预览图像中的人脸元素的人脸面积信息。
进一步地，图像处理装置可以基于上述获取的ISO值确定当前拍摄场景为高ISO场景，或是低ISO场景，以及，基于获取的人脸面积信息确定待处理的人脸元素为大面积或是小面积。
可选地，在本申请实施例中，上述目标神经网络为与上述目标环境参数以及目标区域尺寸参数匹配的训练后的对抗神经网络。上述目标神经网络用于对摄像头拍摄的图像进行图像增强处理。
步骤202：将上述摄像头拍摄的第三图像输入上述目标神经网络进行图像处理，得到处理后的图像。
其中，上述第三图像为：摄像头在预定时间段内拍摄的图像，上述预定时间段为：摄像头采集上述预览图像的时刻至摄像头停止采集预览图像的时刻之间的时间段。
可选地，在本申请实施例中，上述第三图像可以为包括人脸元素的图像。
可选地，在本申请实施例中，上述图像处理可以为图像增强处理，例如，通过去噪、去除模糊、提升亮度、提升对比度等方式来对图像中的人脸区域进行增强处理。
在本申请实施例提供的图像处理方法中，图像处理装置可以在显示电子设备的摄像头采集的预览图像的情况下，根据预览图像的目标环境参数，和预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络。通过该方法，图像处理装置可以基于拍摄图像时的环境参数和拍摄图像中的人脸的尺寸大小，智能地选择符合当前拍摄的环境参数与人脸尺寸的神经网络进行图像增强处理，从而极大提升对拍摄图像的人脸增强的效果和性能。
可选地，在本申请实施例中，上述步骤201中根据上述预览图像的目标环境参数，和上述预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络之前，本申请实施例提供的图像处理方法还包括如下步骤D1：
步骤D1：在上述预览图像包含人脸元素的情况下，获取目标环境参数和人脸元素对应的目标区域尺寸参数。
示例性的，可以通过进行轮廓获取的方式来检测预览图像中是否包含人脸元素。
可选地，在本申请实施例中，上述步骤201中根据上述预览图像的目标环境参数，和上述预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络的过程，可以包括如下步骤201a：
步骤201a：基于预存的Q个对应关系，确定上述目标环境参数和上述目标区域尺寸参数所对应的上述目标神经网络。
其中，每个对应关系分别为：至少一个环境参数、至少一个区域尺寸参数和一个训练后的神经网络间的对应关系。
或者，上述每个对应关系分别为：一个环境参数等级、一个区域尺寸等级和一个训练后的神经网络间的对应关系。
示例性的，上述对应关系可以是在对一个神经网络训练结束后，得到一个训练后的神经网络的情况下建立的。
例如，训练后的神经网络A对应的低ISO场景，训练后的神经网络B对应的高ISO场景，假设上述目标环境参数对应低ISO场景，则上述目标神经网络可以为神经网络A。
再例如，训练后的神经网络C对应的大面积人脸元素，训练后的神经网络D对应小面积人脸元素，假设上述目标环境参数对应大面积人脸元素，则上述目标神经网络可以为神经网络C。
需要说明的是，本申请实施例提供的神经网络训练方法，执行主体可以为神经网络训练装置，或者该神经网络训练装置中的用于执行神经网络训练方法的控制模块。本申请实施例中以神经网络训练装置执行神经网络训练方法为例，说明本申请实施例提供的神经网络训练装置。
本申请实施例提供一种神经网络训练装置600，如图7所示，该装置包括：确定模块601、处理模块602、生成模块603和训练模块604，其中：
上述确定模块601，用于根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；上述处理模块602，用于基于上述确定模块601确定的每个退化程度，对上述每个退化程度对应的第一图像分别进行退化处理，得到上述每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像；上述生成模块603，用于基于上述处理模块602得到的每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集；上述训练模块604，用于基于上述生成模块603得到的上述N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。
可选地，在本申请实施例中，上述确定模块601，具体用于从X个参数范围中，确定出上述M个环境参数对应的N个目标参数范围，每个参数范围分别对应一个退化程度，一个目标参数范围对应至少一个环境参数；上述确定模块601，具体用于将上述N个目标参数范围中的第i个目标参数范围对应的退化程度，确定为第i个退化程度；其中，上述第i个目标参数范围为：按照对应的退化程度由小到大的顺序，对上述N个目标参数范围排序后的第i个目标参数范围，i为正整数；上述第i个目标参数范围对应的环境参数，小于第i+1个目标参数范围对应的环境参数。
可选地，在本申请实施例中，上述M张第一图像中的每张第一图像中包括至少一个人脸元素；
上述装置还包括：获取模块605；
上述获取模块605，用于获取上述M张第一图像中的人脸元素对应的R个区域尺寸参数，每个区域尺寸参数分别为：一张第一图像中的人脸元素所处的区域的尺寸参数，R为正整数，R大于等于M；上述确定模块601，还用于根据上述获取模块605获取的M个环境参数和上述R个区域尺寸参数，确定上述Q个神经网络；其中，一个神经网络对应：至少一个环境参数和至少一个区域尺寸参数。
可选地，在本申请实施例中，上述Q个神经网络中，复杂度大的神经网络对应的目标参数，大于复杂度小的神经网络对应的目标参数；其中，上述目标参数包括：环境参数和区域尺寸参数。
可选地，在本申请实施例中，每个样本集分别对应至少一个神经网络；
上述确定模块601，具体用于根据第一环境参数和第一区域尺寸参数，确定第一神经网络；其中，上述第一环境参数为：上述N个样本集中，任一个样本集中的第一图像的环境参数中的；上述第一区域尺寸参数为：上述任一个样本集中的第一图像对应的区域尺寸参数中的；
上述第一神经网络为：上述任一个样本集对应的神经网络中的。
在本申请实施例提供的神经网络训练装置中，神经网络训练装置根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；并采用每个退化程度，对每个退化程度对应的第一图像分别进行退化处理，得到每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像，然后，基于上述每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集，最后，基于上述N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。通过该方法，神经网络训练装置可以对不同环境参数下的第一图像进行相应的退化程度(即有差异)的退化，以得到第一图像在有差异地退化后对应的退化图像(即第二图像)，从而构建出符合多种环境参数下的拍摄质量的(即不同退化程度)的训练样本集，进而可以得到适用于对不同环境参数下的拍摄图像进行针对性处理的神经网络，提高对图像的增强处理效果。
需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。
本申请实施例提供一种图像处理装置700，如图8所示，该装置包括如上述神经网络训练方法训练后的Q个神经网络，Q为正整数；该装置包括：确定模块701和处理模块702，其中：
上述确定模块701，用于在显示电子设备的摄像头采集的预览图像的情况下，根据预览图像的目标环境参数，和预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络；
上述处理模块702，用于将摄像头拍摄的第三图像输入确定模块701确定的目标神经网络进行图像处理，得到处理后的图像，上述第三图像为：摄像头在预定时间段内拍摄的图像，上述预定时间段为：摄像头采集预览图像的时刻至摄像头停止采集预览图像的时刻之间的时间段。
可选地，在本申请实施例中，该装置700还包括获取模块703，上述获取模块703，用于在上述预览图像包含人脸元素的情况下，则获取目标环境参数和人脸元素对应的目标区域尺寸参数。
可选地，在本申请实施例中，上述确定模块701，具体用于基于预存的Q个对应关系，确定上述目标环境参数和上述目标区域尺寸参数所对应的目标神经网络；其中，每个对应关系分别为：至少一个环境参数、至少一个区域尺寸参数和一个训练后的神经网络间的对应关系。
在本申请实施例提供的图像处理装置中，图像处理装置可以在显示电子设备的摄像头采集的预览图像的情况下，根据预览图像的目标环境参数，和预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络。通过该方法，图像处理装置可以基于拍摄图像时的环境参数和拍摄图像中的人脸的尺寸大小，智能地选择符合当前拍摄的环境参数与人脸尺寸的神经网络进行图像增强处理，从而极大提升对拍摄图像的人脸增强的效果和性能。
本申请实施例中的神经网络训练装置和图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的神经网络训练装置和图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的神经网络训练装置能够实现图1至图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。本申请实施例提供的图像处理装置能够实现图6和图7的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选的，如图9所示，本申请实施例还提供一种电子设备800，包括处理器801，存储器802，存储在存储器802上并可在上述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述神经网络训练方法或者上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述上述的移动电子设备和非移动电子设备。
图10为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。
本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，上述处理器110，用于根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；上述处理器110，用于基于每个退化程度，对上述每个退化程度对应的第一图像分别进行退化处理，得到上述每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像；上述处理器110，用于基于上述每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集；上述处理器110，用于基于上述N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。
可选地，在本申请实施例中，上述处理器110，具体用于从X个参数范围中，确定出上述M个环境参数对应的N个目标参数范围，每个参数范围分别对应一个退化程度，一个目标参数范围对应至少一个环境参数；上述处理器110，具体用于将N个目标参数范围中的第i个目标参数范围对应的退化程度，确定为第i个退化程度；其中，上述第i个目标参数范围为：按照对应的退化程度由小到大的顺序，对上述N个目标参数范围排序后的第i个目标参数范围，i为正整数；上述第i个目标参数范围对应的环境参数，小于第i+1个目标参数范围对应的环境参数。
可选地，在本申请实施例中，上述M张第一图像中的每张第一图像中包括至少一个人脸元素；处理器110，用于获取上述M张第一图像中的人脸元素对应的R个区域尺寸参数，每个区域尺寸参数分别为：一张第一图像中的人脸元素所处的区域的尺寸参数，R为正整数，R大于等于M；上述处理器110，还用于根据上述M个环境参数和上述R个区域尺寸参数，确定上述Q个神经网络；其中，一个神经网络对应：至少一个环境参数和至少一个区域尺寸参数。
可选地，在本申请实施例中，上述Q个神经网络中，复杂度大的神经网络对应的目标参数，大于复杂度小的神经网络对应的目标参数；其中，上述目标参数包括：环境参数和区域尺寸参数。
可选地，在本申请实施例中，每个样本集分别对应至少一个神经网络；
上述处理器110，具体用于根据第一环境参数和第一区域尺寸参数，确定第一神经网络；其中，上述第一环境参数为：上述N个样本集中，任一个样本集中的第一图像的环境参数中的；上述第一区域尺寸参数为：上述任一个样本集中的第一图像对应的区域尺寸参数中的；
上述第一神经网络为：上述任一个样本集对应的神经网络中的。
在本申请实施例提供的电子设备中，电子设备根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；并采用每个退化程度，对每个退化程度对应的第一图像分别进行退化处理，得到每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像，然后，基于上述每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集，最后，基于上述N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。通过该方法，电子设备可以对不同环境参数下的第一图像进行相应的退化程度(即有差异)的退化，以得到第一图像在有差异地退化后对应的退化图像(即第二图像)，从而构建出符合多种环境参数下的拍摄质量的(即不同退化程度)的训练样本集，进而可以得到适用于对不同环境参数下的拍摄图像进行针对性处理的神经网络，提高对图像的增强处理效果。
或者，上述处理器110，用于在显示电子设备的摄像头采集的预览图像的情况下，根据预览图像的目标环境参数，和预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络；将摄像头拍摄的第三图像输入确定模块701确定的目标神经网络进行图像处理，得到处理后的图像，上述第三图像为：摄像头在预定时间段内拍摄的图像，上述预定时间段为：摄像头采集预览图像的时刻至摄像头停止采集预览图像的时刻之间的时间段。
可选地，在本申请实施例中，上述处理器110，用于在所述预览图像包含人脸元素的情况下，获取目标环境参数和人脸元素对应的目标区域尺寸参数。
可选地，在本申请实施例中，上述处理器110，具体用于基于预存的Q个对应关系，确定目标环境参数和目标区域尺寸参数所对应的目标神经网络；其中，每个对应关系分别为：至少一个环境参数、至少一个区域尺寸参数和一个训练后的神经网络间的对应关系。
在本申请实施例提供的电子设备中，电子设备可以在显示电子设备的摄像头采集的预览图像的情况下，根据预览图像的目标环境参数，和预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络。通过该方法，电子设备可以基于拍摄图像时的环境参数和拍摄图像中的人脸的尺寸大小，智能地选择符合当前拍摄的环境参数与人脸尺寸的神经网络进行图像增强处理，从而极大提升对拍摄图像的人脸增强的效果和性能。
应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述神经网络训练方法实施例的各个过程，或者上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述神经网络训练方法实施例的各个过程，或者上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在非易失的存储介质中，该程序产品被至少一个处理器执行以实现上述神经网络训练方法实施例的各个过程，或者上述图像处理方法实施例的各个过程，且能达到相同的技术效果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种神经网络训练方法，其特征在于，所述方法包括：
根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；
基于每个退化程度，对所述每个退化程度对应的第一图像分别进行退化处理，得到所述每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像；
基于所述每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集；
基于所述N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。
2.根据权利要求1所述的方法，其特征在于，所述根据获取的M张第一图像的M个环境参数，确定N个退化程度，包括：
从X个参数范围中，确定出所述M个环境参数对应的N个目标参数范围，每个参数范围分别对应一个退化程度，一个目标参数范围对应至少一个环境参数；
将所述N个目标参数范围中的第i个目标参数范围对应的退化程度，确定为第i个退化程度。
3.根据权利要求1所述的方法，其特征在于，所述M张第一图像中的每张第一图像中包括至少一个人脸元素；
所述基于所述N个样本集，分别对Q个神经网络进行训练之前，所述方法还包括：
获取所述M张第一图像中的人脸元素对应的R个区域尺寸参数，每个区域尺寸参数分别为：一张第一图像中的人脸元素所处区域的尺寸参数，R为正整数，R大于等于M；
根据所述M个环境参数和所述R个区域尺寸参数，确定所述Q个神经网络；
其中，一个神经网络对应：至少一个环境参数和至少一个区域尺寸参数。
4.根据权利要求3所述的方法，其特征在于，所述Q个神经网络中，复杂度大的神经网络对应的目标参数，大于复杂度小的神经网络对应的目标参数；
其中，所述目标参数包括：环境参数和区域尺寸参数。
5.根据权利要求3所述的方法，其特征在于，每个样本集分别对应至少两个神经网络；
所述根据所述M个环境参数和所述R个区域尺寸参数，确定所述Q个神经网络，包括：
根据第一环境参数和第一区域尺寸参数，确定第一神经网络；
其中，所述第一环境参数为：所述N个样本集中，任一个样本集中的第一图像的环境参数中的；所述第一区域尺寸参数为：所述任一个样本集中的第一图像对应的区域尺寸参数中的；
所述第一神经网络为：所述任一个样本集对应的神经网络中的。
6.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括如权利要求1至5中任一项所述的神经网络训练方法训练后的Q个神经网络，Q为正整数；所述方法包括：
在显示所述电子设备的摄像头采集的预览图像的情况下，根据所述预览图像的目标环境参数，和所述预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络；
将所述摄像头拍摄的第三图像输入所述目标神经网络进行图像处理，得到处理后的图像，所述第三图像为：所述摄像头在预定时间段内拍摄的图像，所述预定时间段为：所述摄像头采集所述预览图像的时刻至所述摄像头停止采集预览图像的时刻之间的时间段。
7.根据权利要求6所述的方法，其特征在于，所述根据所述预览图像的目标环境参数，和所述预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络之前，所述方法还包括：
在所述预览图像包含人脸元素的情况下，获取目标环境参数和所述人脸元素对应的目标区域尺寸参数。
8.根据权利要求6所述的方法，其特征在于，所述根据所述预览图像的目标环境参数，和所述预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络，包括：
基于预存的Q个对应关系，确定所述目标环境参数和所述目标区域尺寸参数所对应的所述目标神经网络；
其中，每个对应关系分别为：至少一个环境参数、至少一个区域尺寸参数和一个训练后的神经网络间的对应关系。
9.一种神经网络训练装置，其特征在于，所述装置包括：确定模块、处理模块、生成模块和训练模块，其中：
所述确定模块，用于根据获取的M张第一图像的M个环境参数，确定N个退化程度，一个退化程度对应至少一个环境参数，一个退化程度对应至少一张第一图像，M、N均为正整数；
所述处理模块，用于基于所述确定模块确定的每个退化程度，对所述每个退化程度对应的第一图像分别进行退化处理，得到所述每个退化程度对应的第二图像，每个第二图像分别对应一个第一图像；
所述生成模块，用于基于所述处理模块得到的每个退化程度对应的第一图像和第二图像，分别生成一个样本集，得到N个样本集；
所述训练模块，用于基于所述生成模块得到的所述N个样本集，分别对Q个神经网络进行训练，一个样本集对应至少一个神经网络，Q为正整数。
10.一种图像处理装置，其特征在于，所述装置包括如权利要求1至5中任一项所述的神经网络训练方法训练后的Q个神经网络，Q为正整数；所述装置包括：确定模块和处理模块，其中：
所述确定模块，用于在显示所述电子设备的摄像头采集的预览图像的情况下，根据所述预览图像的目标环境参数，和所述预览图像中人脸元素对应的目标区域尺寸参数，从训练后的Q个神经网络中，确定出目标神经网络；
所述处理模块，用于将所述摄像头拍摄的第三图像输入所述确定模块确定的所述目标神经网络进行图像处理，得到处理后的图像，所述第三图像为：所述摄像头在预定时间段内拍摄的图像，所述预定时间段为：所述摄像头采集所述预览图像的时刻至所述摄像头停止采集预览图像的时刻之间的时间段。
11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的神经网络训练方法的步骤，或如权利要求6-8任一项所述的图像处理方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的神经网络训练方法的步骤，或如权利要求6-8任一项所述的图像处理方法的步骤。
CN202110838140.6A 2021-07-23 2021-07-23 神经网络训练方法、装置及电子设备 Pending CN113706402A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110838140.6A CN113706402A (zh) 2021-07-23 2021-07-23 神经网络训练方法、装置及电子设备
PCT/CN2022/106274 WO2023001110A1 (zh) 2021-07-23 2022-07-18 神经网络训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110838140.6A CN113706402A (zh) 2021-07-23 2021-07-23 神经网络训练方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113706402A true CN113706402A (zh) 2021-11-26

Family

ID=78650358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110838140.6A Pending CN113706402A (zh) 2021-07-23 2021-07-23 神经网络训练方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN113706402A (zh)
WO (1) WO2023001110A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023001110A1 (zh) * 2021-07-23 2023-01-26 维沃移动通信（杭州）有限公司 神经网络训练方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109285119A (zh) * 2018-10-23 2019-01-29 百度在线网络技术（北京）有限公司 超分辨图像生成方法及装置
US20200364508A1 (en) * 2019-05-14 2020-11-19 Nvidia Corporation Using decay parameters for inferencing with neural networks
KR20190110965A (ko) * 2019-09-11 2019-10-01 엘지전자 주식회사 이미지 해상도를 향상시키기 위한 방법 및 장치
CN111105375B (zh) * 2019-12-17 2023-08-22 北京金山云网络技术有限公司 图像生成方法及其模型训练方法、装置及电子设备
CN113706402A (zh) * 2021-07-23 2021-11-26 维沃移动通信（杭州）有限公司 神经网络训练方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023001110A1 (zh) * 2021-07-23 2023-01-26 维沃移动通信（杭州）有限公司 神经网络训练方法、装置及电子设备

Also Published As

Publication number Publication date
WO2023001110A1 (zh) 2023-01-26

Similar Documents

Publication Publication Date Title
CN110059642B (zh) 人脸图像筛选方法与装置
CN111833340B (zh) 图像检测方法、装置、电子设备及存储介质
KR101662846B1 (ko) 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
CN112767392B (zh) 图像清晰度确定方法、装置、设备及存储介质
CN106981054B (zh) 一种图像处理方法及电子设备
CN109815881A (zh) 行为识别模型的训练方法、行为识别方法、装置及设备
CN111667420B (zh) 图像处理方法及装置
CN109472193A (zh) 人脸检测方法及装置
CN110572636B (zh) 摄像头脏污检测方法、装置、存储介质及电子设备
CN112308797B (zh) 角点检测方法、装置、电子设备及可读存储介质
CN109816694A (zh) 目标跟踪方法、装置及电子设备
Yang et al. Underwater image enhancement using scene depth-based adaptive background light estimation and dark channel prior algorithms
Khan et al. A deep hybrid few shot divide and glow method for ill-light image enhancement
WO2023001110A1 (zh) 神经网络训练方法、装置及电子设备
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN113989387A (zh) 相机拍摄参数调整方法、装置及电子设备
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
CN112419218A (zh) 图像处理方法、装置及电子设备
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
CN111539420B (zh) 基于注意力感知特征的全景图像显著性预测方法及系统
Van Vo et al. High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation
CN113658118A (zh) 图像噪声程度估计方法、装置、电子设备及存储介质
CN112767446A (zh) 一种提高红外图像跟踪的目标跟踪准确率的图像跟踪系统
CN112734658A (zh) 图像增强方法、装置及电子设备
CN114143448B (zh) 拍摄方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination