CN114037838A - 神经网络的训练方法、电子设备及计算机程序产品 - Google Patents

神经网络的训练方法、电子设备及计算机程序产品 Download PDF

Info

Publication number
CN114037838A
CN114037838A CN202111221268.4A CN202111221268A CN114037838A CN 114037838 A CN114037838 A CN 114037838A CN 202111221268 A CN202111221268 A CN 202111221268A CN 114037838 A CN114037838 A CN 114037838A
Authority
CN
China
Prior art keywords
image
value
score
discriminator
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111221268.4A
Other languages
English (en)
Inventor
邓苏桃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd, Beijing Megvii Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202111221268.4A priority Critical patent/CN114037838A/zh
Publication of CN114037838A publication Critical patent/CN114037838A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种神经网络的训练方法、电子设备及计算机程序产品，涉及图像处理技术领域。其中，该方法包括：首先对训练图像进行预测得到预测图像，对预测图像及标签图像进行特征提取，得到预测特征图及标签特征图，并进一步根据预测图像、预测特征图、标签图像以及标签特征图确定生成器损失值，然后根据预测图像与标签图像确定判别器损失值，最后根据生成器损失值和判别器损失值训练神经网络。本发明在确定生成器损失值的过程中，不仅考虑了预测图像与标签图像的差异，还考虑了预测特征图与标签特征图的差异，在特征层面对损失值进行约束，减少了噪声对图像预测的干扰，从而使得网络生成的图像能够体现更多细节信息，提高图像精度。

Description

神经网络的训练方法、电子设备及计算机程序产品
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种神经网络的训练方法、电子设备及计算机程序产品。
背景技术
在涉及到金融、财务、电商等领域的安防业务中，经常需要对人脸的身份进行认证，以确保信息核对流程的顺利进行。一般情况下的人脸图像数据足够清晰、干净，能够满足身份认证、人脸比对等算法的输入需求，而对于一些特殊情况，如人脸图像带水印，会直接造成后续认证、比对算法精度的下降。对于这一类数据，需要在认证前去除图像中的水印部分，同时还原被水印遮挡部分的人脸信息。
目前在深度学习研究领域存在一些算法，如基于条件生成对抗网络(cGAN)的pix2pix网络，可以实现图像到图像间的转换，如图像修复、简单分割图像或简笔画到真实图像的生成等，并且图像处理速度较快。但是，由于GAN网络的训练较为困难，通常的GAN网络在像素级别上对输出的图像计算偏移的损失，这在一定程度上具有局限性，容易使得网络更注重于像素的平均损失，而导致生成的图像趋于模糊，噪声较多。
发明内容
有鉴于此，本发明的目的在于提供一种神经网络的训练方法、电子设备及计算机程序产品，以提高神经网络输出图像的精度。
第一方面，本发明实施例提供一种神经网络的训练方法，该神经网络包括生成器和判别器；该方法包括：通过生成器对样本图像对中的训练图像进行图像预测，得到预测图像；其中，样本图像对包括训练图像及其对应的标签图像，训练图像为包含水印的图像，标签图像为不包含水印的图像；根据预测图像、预测特征图、标签图像以及标签特征图，确定生成器的生成器损失值；其中，预测特征图通过对预测图像进行特征提取得到；标签特征图为通过对标签图像进行特征提取得到；根据训练图像对应的预测图像以及训练图像对应的标签图像，确定判别器的判别器损失值；根据生成器损失值和判别器损失值对神经网络进行训练。
进一步地，上述根据预测图像、预测特征图、标签图像以及标签特征图，确定生成器的生成器损失值的步骤，包括：确定预测图像与标签图像之间的图像差异值；以及，确定预测特征图与标签特征图之间的特征图差异值；根据图像差异值和特征图差异值，确定生成器的生成器损失值。
进一步地，上述确定预测图像与标签图像之间的图像差异值的步骤，包括：根据预测图像中各个像素点的像素值与标签图像中对应位置处的像素点的像素值，确定预测图像与标签图像之间的像素差异值；其中，像素差异值用于表征预测图像中的像素点与标签图像中对应位置的像素点之间的差异；通过判别器对预测图像进行得分预测，得到预测图像对应的第一预测得分；第一预测得分用于表征预测图像为真实图像的概率值；根据第一预测得分与第一目标得分阈值之间的差值，确定第一得分差异值；其中，第一目标得分阈值在第一数值和第二数值之间，第一数值和第二数值为0.5至1之间的数值；根据像素差异值以及第一得分差异值，确定预测图像与标签图像之间的图像差异值。
进一步地，上述根据预测图像中各个像素点的像素值与标签图像中对应位置处的像素点的像素值，确定预测图像与标签图像之间的像素差异值的步骤，包括：计算预测特征图中的像素点与标签特征图中对应位置处的像素点之间的像素值的差异值；根据像素点的差异值的均值，确定预测图像与标签图像之间的像素差异值。
进一步地，上述根据训练图像对应的预测图像以及训练图像对应的标签图像，确定判别器的判别器损失值的步骤，包括：通过判别器对标签图像进行得分预测，得到标签图像对应的第二预测得分；其中，第二预测得分用于表征标签图像为真实图像的概率值；根据第一预测得分以及第二预测得分确定判别器的判别器损失值。
进一步地，上述通过判别器对预测图像进行得分预测，得到预测图像对应的第一预测得分的步骤，包括：通过判别器对预测图像进行卷积操作，得到第一卷积特征；对第一卷积特征进行归一化操作，得到预测图像对应的第一归一化值；对第一归一化值进行激活操作，得到预测图像对应的第一判别得分；判断是否满足停止条件，如果不满足，再次进行得分计算操作；如果满足，将最后一次得分计算操作得到的第一判别得分确定为预测图像对应的第一预测得分。
进一步地，上述通过判别器对标签图像进行得分预测，得到标签图像对应的第二预测得分的步骤，包括：通过判别器对标签图像进行卷积操作，得到第二卷积特征；对第二卷积特征进行归一化操作，得到标签图像对应的第二归一化值；对第二归一化值进行激活操作，得到标签图像对应的第二判别得分；判断是否满足停止条件，如果不满足，再次进行得分计算操作；如果满足，将最后一次得分计算操作得到的第二判别得分确定为标签图像对应的第二预测得分。
进一步地，上述根据第一预测得分以及第二预测得分确定判别器的判别器损失值的步骤，包括：通过二分类交叉熵损失函数确定第一预测得分与第二目标得分阈值之间的第二得分差异值；通过二分类交叉熵损失函数确定第二预测得分与第一目标得分阈值之间的第三得分差异值；根据第二得分差异值以及第三得分差异值，确定判别器的判别器损失值；其中，第二目标得分阈值在第三数值和第四数值之间，第三数值和第四数值为0至0.5之间的数值。
进一步地，上述归一化操作为谱归一化操作。
进一步地，上述生成器的第一更新速率大于判别器的第二更新速率，且第一更新速率与第二更新速率的比值大于第一比值阈值；其中，第一更新速率用于表征进行网络迭代的次数与更新生成器的次数的比值，的第二更新速率用于表征进行网络迭代的次数与更新判别器的次数的比值。
进一步地，上述神经网络中的生成器的第一学习率大于判别器的第二学习率，且第一学习率与第二学习率的比值大于第二比值阈值；其中，第一学习率用于表征每次更新生成器的参数的梯度大小，第二学习率用于表征每次更新判别器的参数的梯度大小。
第二方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面的神经网络的训练方法。
第三方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面的神经网络的训练方法。
第四方面，本发明实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述第一方面的神经网络的训练方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的上述神经网络的训练方法、电子设备及计算机程序产品，首先对训练图像进行预测得到预测图像，对预测图像及标签图像进行特征提取，得到预测特征图及标签特征图，并进一步根据预测图像、预测特征图、标签图像以及标签特征图确定生成器损失值，然后根据预测图像与标签图像确定判别器损失值，最后根据生成器损失值和判别器损失值训练神经网络，由于在确定生成器损失值的过程中，不仅考虑了预测图像与标签图像之间的差异，还考虑了预测特征图与标签特征图之间的差异，在特征层面对损失值进行约束，减少了噪声对图像预测的干扰，从而使得网络生成的图像能够体现更多细节信息，提高图像精度。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为带有水印的人脸图像和不带有水印的人脸图像的对比图；
图2为本发明实施例提供的一种电子系统的结构示意图；
图3为本发明实施例提供的一种神经网络的训练方法的流程图；
图4为本发明实施例提供的另一种神经网络的训练方法的流程图；
图5为本发明实施例提供的一种神经网络的训练装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
在进行身份认证时，通过人脸和图像进行匹配是较为常用的一种方法。在很多情况下，系统获取的人脸图像会带有水印信息，如图1所示，左侧为可以进行人脸识别的没有水印的图像，右侧为带有水印的图像。为了通过人脸图像进行准确的身份认证，需要使用图像去水印技术去除图像中的水印。目前主流的图像去水印的方法主要包括PhotoShop软件以及opencv图形学方法。使用PhotoShop处理速度慢，无法实现批量去水印；图形学方法包括对水印区域进行模糊处理，在水印遮挡区域纹理较光滑时效果较好，但无法处理复杂纹理情况；或者通过opencv方法估计图像J中水印位置W及透明度a逆向计算无水印图像I＝(J-a*W)/(1-a)，该方法对于多张图间存在相同水印的情况效果较好，但处理速度仍然较慢，且无法处理不透明水印情况。总的来说，现有去水印方法存在速度慢、局限性强、无法处理不透明水印的问题。
目前深度学习研究领域存在一些算法，如基于条件生成对抗网络(cGAN)的pix2pix网络，可以实现图像到图像间的转换，如图像修复、简单分割图像或简笔画到真实图像的生成等，并且图像处理速度较快。该方法具有一定的应用前景，但目前没有尝试过特定的去水印任务。另一方面，GAN网络的稳定性较差，在工业界的应用存在一定的挑战。
基于以上问题，本发明实施例提供一种神经网络的训练方法、电子设备及计算机程序产品，以提高神经网络输出的去水印图像的图像精度。
参照图2所示的电子系统200的结构示意图。该电子系统可以用于实现本发明实施例的神经网络的训练方法和装置。
如图2所示的一种电子系统的结构示意图，电子系统200包括一个或多个处理设备202、一个或多个存储装置204、输入装置206、输出装置208以及一个或多个图像采集设备210，这些组件通过总线系统212和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子系统200的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。
处理设备202可以为服务器、智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统200中的其它组件的数据进行处理，还可以控制电子系统200中的其它组件以执行神经网络的训练。
存储装置204可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。
输入装置206可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
输出装置208可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
图像采集设备210可以获取带有水印的待处理图像，并且将该待处理图像存储在存储装置204中以供其它组件使用。
示例性地，用于实现根据本发明实施例的神经网络的训练方法、电子设备及计算机程序产品中的各器件可以集成设置，也可以分散设置，诸如将处理设备202、存储装置204、输入装置206和输出装置208集成设置于一体，而将图像采集设备210设置于可以采集到图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
图3为本发明实施例提供的一种神经网络的训练方法的流程图，该神经网络包括生成器和判别器，在人脸图像的去水印处理过程中，为了得到不带水印的清晰的人脸图像，需要对带有水印的人脸图像进行去水印处理，目前使用神经网络来实现人脸图像的去水印处理可以取的较好的效果，而去水印后的人脸图像的清晰程度很大程度上取决于神经网络的预测效果，本申请实施例提供了一种神经网络的训练方法，该神经网络是图像处理神经网络，具体地，该神经网络可以基于条件生成对抗网络(cGAN)的pix2pix网络结构进行改进而得到，通过该神经网络可以实现图像到图像间的转换。
该神经网络包括一个生成器和一个判别器，其中，生成器用于根据输入的带有水印的图像预测一个不带有水印的图像，判别器用于判断预测图像与真实的不带水印的图像之间的差异，以及预测图像与带有水印的图像之间的差异，以通过上述差异调整生成器和判别器的参数。
参见图3，该方法包括以下步骤：
S302：通过生成器对样本图像对中的训练图像进行图像预测，得到预测图像；其中，样本图像对包括训练图像及其对应的标签图像，训练图像为包含水印的图像，标签图像为不包含水印的图像；
本步骤中，通过生成器对样本图像对中的训练图像进行图像预测，得到预测图像。神经网络的训练过程往往需要样本图像，样本图像包括多组样本图像对，每个样本图像对中包括一个训练图像和一个标签图像，训练图像可以是与神经网络的任务对应的待处理的图像，本申请实施例中的训练图像即为带有水印的人脸图像，而与训练图像对应的标签图像就是不带有水印的人脸图像，本步骤中通过生成器得到的预测图像，是与训练图像对应的不带有水印的人脸图像，但是其图像精度和去水印效果低于标签图像，而训练神经网络的目的就是使网络输出的预测图像更加接近标签图像。
本发明实施例中的神经网络的训练过程，需要数据集进行训练，在实际的应用及业务场景中，涉及到隐私问题，能够直接采集到的带水印人脸图片比较有限，约为2000张，数据集的规模不足以支撑模型的训练，因此需要通过人工合成的方式扩增数据集。另一方面，待合成的人脸图像一般没有对齐，人脸的大小、位置等信息并不统一，需要进行相应的预处理。
针对上述情况，本发明实施例在对神经网络进行训练之前，首先制作用于训练的数据集。具体地，可以首先采集多张无水印人脸数据(例如20000张)，利用人脸检测算法(如MTCNN)对图像中人脸位置进行定位，然后扣取出人脸位置的图片，实现了人脸图像的对齐，扣取后的图片大小为300*240，最后利用opencv将水印模板与人脸图像进行叠加，合成水印图片，构建扩充数据集。
S304：根据预测图像、预测特征图、标签图像以及标签特征图，确定生成器的生成器损失值；其中，预测特征图通过对预测图像进行特征提取得到；标签特征图为通过对标签图像进行特征提取得到；
神经网络的训练目的是使网络生成的预测图像更加接近标签图像，因此，生成器的损失值需要通过预测图像与标签图像来确定，并且为了使得去水印的效果更好，可以对预测图像进行特征提取，得到预测特征图，对标签图像进行特征提取，得到标签特征图，通过预测特征图和标签特征图来进一步确定生成器的损失值。具体的生成器损失值的计算过程，将在下文具体阐述，在此不再赘述。
S306：根据训练图像对应的预测图像以及训练图像对应的标签图像，确定判别器的判别器损失值；
判别器的损失值可以通过BCEWithLogitsLoss损失函数来计算。具体地，判别器会输出两个得分，一个是预测图像的得分，一个是标签图像的得分，通过预测图像的得分和0(对应标签)的距离，以及标签图像的得分和1的距离，确定最终的判别器损失值。具体的判别器损失值的计算过程将在下文详细说明，在此不再赘述。
S308：根据生成器损失值和判别器损失值对神经网络进行训练。
根据生成器损失值和判别器损失值对神经网络进行训练，即，每次得到生成器损失值和判别器损失值后，判断是否满足训练停止条件，如果满足，则完成训练，否则，继续将预测图像作为输入，重新得到生成器损失值和判别器损失值。
本发明实施例提供的上述神经网络的训练方法，首先对训练图像进行预测得到预测图像，对预测图像及标签图像进行特征提取，得到预测特征图及标签特征图，并进一步根据预测图像、预测特征图、标签图像以及标签特征图确定生成器损失值，然后根据预测图像与标签图像确定判别器损失值，最后根据生成器损失值和判别器损失值训练神经网络，由于在确定生成器损失值的过程中，不仅考虑了预测图像与标签图像之间的差异，还考虑了预测特征图与标签特征图之间的差异，在特征层面对损失值进行约束，减少了噪声对图像预测的干扰，从而使得网络生成的图像能够体现更多细节信息，提高图像精度。
由于现有的pix2pix方法的生成器的性能低于判别器，导致通过该方法得到的神经网络在处理带有水印的图像时水印去除不干净，存在噪声等问题，为了提升神经网络的图像预测性能，本发明实施例还提供了另一种神经网络的训练方法，该方法侧重于如何缓解判别器对生成器的对抗性，如图4所示，该方法包括：
S402：通过生成器对样本图像对中的训练图像进行图像预测，得到预测图像；
S404：确定预测图像与标签图像之间的图像差异值；
在一些可能的实施方式中，上述图像差异值的计算可以通过以下方法实现：
(1)根据预测图像中各个像素点的像素值与标签图像中对应位置处的像素点的像素值，确定预测图像与标签图像之间的像素差异值；其中，像素差异值用于表征预测图像中的像素点与标签图像中对应位置的像素点之间的差异；
在一些可能的实施方式中，可以计算预测图像中的像素点与标签图像中对应位置上的像素点之间的像素值的差异值；根据像素点的差异值的均值，确定预测图像与标签图像之间的像素差异值。具体地，可以通过L1Loss(回归损失函数)，来计算预测图像和标签图像的像素差异值，即计算预测图像与标签图像的L1距离(像素之差)。需要注意的是，L1Loss计算的像素差异值，可以是基于预测图像中的所有的像素点对应的像素值进行像素差异值计算，也可以是提取预测图像中的一部分像素点对应的像素值进行像素差异值计算。
(2)通过判别器对预测图像进行得分预测，得到预测图像对应的第一预测得分；第一预测得分用于表征预测图像为真实图像的概率值；
在生成器损失值的计算过程中，除了考虑图像之间的像素差异，还需要考虑预测图像本身的预测质量，因此，通过判别器对预测图像进行得分预测，得到预测图像对应的第一预测得分，第一预测得分是一个在(0,1)之间的小数，其中，1代表真图像，0代表假图像，第一预测得分的值越接近1，说明预测图像越接近真实图像。
(3)根据第一预测得分与第一目标得分阈值之间的差异，确定第一得分差异值；
其中的第一目标得分阈值，在第一数值和第二数值之间，且第一数值和第二数值均为0.5至1之间的数值，可以是整数，也可以是小数。例如，可以将第一数值确定为0.6，第二数值确定为0.9，那么在0.6-0.9之间确定第一目标得分阈值，例如可以确定第一目标得分阈值为0.8。
(4)根据像素差异值以及第一得分差异值，确定预测图像与标签图像之间的图像差异值。
S406：确定预测特征图与标签特征图之间的特征图差异值；
预测特征图和标签特征图是通过VGG16模型对预测图像及标签图像进行处理得到的，在得到预测特征图和标签特征图后，通过计算预测特征图和标签特征图之间的感知损失来进一步约束图像的特征层面，使得网络生成的图像更加清晰，体现更多的细节信息。具体地，可以采用预训练的特征提取网络(例如VGG16)分别对网络输出的预测图像和标签图像提取图像特征，然后对两个特征图计算L1 loss。即：
Lper＝L1(F(Ipred),F(Igt))，
其中，Ipred为预测图像，Igt为标签图像，F为特征提取网络。
S408：根据图像差异值和特征图差异值，确定生成器的生成器损失值；
上述的图像差异值，是针对预测图像和标签图像的，特征图差异值是针对预测特征图与标签特征图的，进一步地，通上述的方法可以得到预测图像和标签图像之间的两个损失值，第一个损失值可以是L1损失值，第二个损失值可以是GANLoss损失值。而特征图差异值是预测特征图与标签特征图之间的L1损失值，因此，在得到上述三个损失值之后，可以直接将三个损失值融合，得到生成器损失值，也可以先将两个L1损失值加权求和，再与GANLoss损失值融合，得到生成器损失值。
S410：通过判别器对标签图像进行得分预测，得到标签图像对应的第二预测得分；其中，第二预测得分用于表征标签图像为真实图像的概率值；
本发明实施例中的判别器，包括多层卷积结构，例如可以是三层卷积结构，在每一个卷积层后，对卷积结果进行归一化操作，并进一步地对归一化结果进行激活操作，例如使用激活函数(Relu)完成激活操作，基于以上判别器结构，上述的预测图像对应的第一预测得分可以通过以下方法确定：
(1)通过判别器对预测图像进行卷积操作，得到第一卷积特征；
(2)对第一卷积特征进行归一化操作，得到预测图像对应的第一归一化值；
LBCE＝-(yn*logσ(xn)+(1-yn)*log(1-σ(xn)))
在一些可能的实施方式中，上述的归一化操作为谱归一化操作。谱归一化可以采用如下公式完成：
Fout＝Relu(SN(Conv(Fin)))
(3)对第一归一化值进行激活操作，得到预测图像对应的第一判别得分；激活操作可以采用如下公式完成：
Fout＝Relu(Conv(Fin))
(4)判断是否满足停止条件，如果不满足，再次进行得分计算操作；
(5)如果满足，将最后一次得分计算操作得到的第一判别得分确定为预测图像对应的第一预测得分。
在一些可能的实施方式中，上述标签图像对应的第二预测得分可以具体通过判别器对标签图像进行以下得分预测操作：
(1)通过判别器对标签图像进行卷积操作，得到第二卷积特征；
(2)对第二卷积特征进行归一化操作，得到标签图像对应的第二归一化值；
LBCE＝-(yn*logσ(xn)+(1-yn)*log(1-σ(xn)))
(3)对第二归一化值进行激活操作，得到标签图像对应的第二判别得分；激活操作可以采用如下公式完成：
Fout＝Relu(Conv(Fin))
(4)判断是否满足停止条件，如果不满足，再次进行得分计算操作；
(5)如果满足，将最后一次得分计算操作得到的第二判别得分确定为标签图像对应的第二预测得分。
S412：根据第一预测得分以及第二预测得分确定判别器的判别器损失值；
在一些可能的实施方式中，在得到第一预测得分以及第二预测得分后，可以进一步通过二分类交叉熵损失函数对第一预测得分以及第二预测得分进行损失值计算，具体地：
(1)通过二分类交叉熵损失函数确定第一预测得分与第二目标得分阈值之间的第二得分差异值；
(2)通过二分类交叉熵损失函数确定第三预测得分与第一目标得分阈值之间的第三得分差异值；
(3)根据第二得分差异值以及第三得分差异值，确定判别器的判别器损失值；其中，第二目标得分阈值在第三数值和第四数值之间，第三数值和第四数值为0至0.5之间的数值。
例如，二分类交叉熵损失函数可以具体是BCEWithLogitsLoss函数，对于值为[0,1]的预测，该函数可以简单的表示为：
LBCE＝-(yn*logσ(xn)+(1-yn)*log(1-σ(xn)))
其中，σ()为sigmoid激活函数，xn为预测值，yn为标签值。通常，yn的值只可能是0或者1，但在模型的训练优化过程中，如果判别器性能太强，则可以采用标签平滑的方式，将yn的真值调整为非0非1的数值，例如可以将yn设置为0.1和0.9，这样使得网络在进行判别时，仅需要输出较为中间的值即可得到较小的损失，从而减缓判别器对于生成器的冲击。
第三数值和第四数值是0至0.5之间的数值，可以是整数，也可以是小数，例如，可以将第三数值设置成0.05，第四数值设置成0.45，那么在0.1-0.45之间可以确定第二目标得分阈值，例如0.1。
相比于单纯的卷积操作，经过归一化的每一层输出均满足1-Lipschitz(Lipschitz continuity，利普希茨连续条件)，根据神经网络链式法则的传递性，整个判别器网络满足1-Lipschitz。
S414：根据生成器损失值和判别器损失值对神经网络进行训练。
在一些可能的实施方式中，生成器的第一更新速率大于判别器的第二更新速率，且第一更新速率与第二更新速率的比值大于第一比值阈值。
其中，第一更新速率用于表征进行网络迭代的次数与更新生成器的次数的比值，第二更新速率用于表征进行网络迭代的次数与更新判别器的次数的比值。平衡梯度更新速率策略的目的是限制判别器的收敛速度，以保证生成器和判别器之间更加良好的对抗效果。在一般情况下，模型会在每次迭代过程中进行参数权重的更新，包括生成器权重和判别器权重，为了实现对判别器性能的抑制，本发明实施例对判别器的更新速率进行了控制，让判别器以0.5的概率进行梯度更新，即平均两次迭代更新一次判别器参数。
在一些可能的实施方式中，上述神经网络中的生成器的第一学习率大于判别器的第二学习率，且第一学习率与第二学习率的比值大于第二比值阈值。
其中，第一学习率用于表征每次更新生成器的参数的梯度大小，第二学习率用于表征每次更新判别器的参数的梯度大小。神经网络的学习率默认情况下为0.0002，但在判别器性能较强的情况下，同样的学习率会使得判别器的损失能够更容易收敛到局部最优。为了抑制判别器的性能，本发明实施例中将判别器学习率调整为生成器的4倍，以增大判别器的收敛难度。
需要注意的是，在完成神经网络的训练后，为了通过神经网络完成具体的业务任务(例如去除水印任务)，需要将pytorch模型转换为线上可用的tflite模型，本发明实施例中采用pytorch模型->onnx模型->tflite模型的策略，实现了对线上业务算法调用的支持。
为了便于理解，本发明实施例还提供了一种实际应用场景中神经网络的训练方法，该方法融合了上述所有优化策略，可以有效提升神经网络的预测图像的精度，该方法包括：
步骤1：构建初始神经网络，包括生成器和判别器。
其中，判别器中的网络结构为三层的卷积(Conv)结构，每一层接激活函数(Relu)，即：
Fout＝Relu(Conv(Fin))
将谱归一化加入到每一层的卷积操作后，激活函数之前，即：
Fout＝Relu(SN(Conv(Fin)))
上述的谱归一化是一种让模型更加稳定的归一化技巧，其基本的原理是通过将判别器
Figure BDA0003312732720000171
每次更新后的权重W除以W的最大奇异值(spectral norm)，使得网络的输出满足1-Lipschitz，即对于图像空间中的任意x和y，有：
||D(x)-D(y)||≤K||x-y||
其中||·||为L2距离，K为Lipschitz constant(利普希茨常数)，当K为1时，称D满足1-Lipschitz。满足1-Lipschitz的判别器D能够实现更加稳定的判别，即对于比较接近的x和y，判别器的结果也是比较接近的，而不会出现较大的抖动。
这样相比于单纯的卷积操作，经过归一化的每一层输出均满足1-Lipschitz，根据神经网络链式法则的传递性，整个判别器网络满足1-Lipschitz。
步骤2：将训练图像输入神经网络，通过生成器得到预测图像A。
步骤3：通过神经网络中的特征提取模块VGG16对预测图像进行特征提取，得到预测特征图A1。并且，通过VGG16对标签图像B进行特征提取，得到标签特征图B1。
步骤4：计算预测图像A和标签图像B之间的L1Loss，得到loss1。
步骤5：计算预测特征图A1和标签特征图B1之间的L1Loss，得到loss2。
具体地，可以采用如下公式计算loss1和loss2：
Lper＝L1(F(Ipred),F(Igt))
步骤6：将loss1和loss2加权求和，得到图像损失值loss3。
步骤7：计算预测图像A和标签图像B之间的GANloss，得到loss4。
步骤8：将loss3和loss4相加，得到生成器损失值LossD。
步骤9：计算预测图像A和标签图像B之间的GANloss，得到判别器的损失值LossJ。
本步骤计算的loss5，是针对判别器的损失值，具体地，采用了BCEWithLogitsLoss，对于值为[0,1]的预测，其可以简单的表示为：
LBCE＝-(yn*logσ(xn)+(1-yn)*log(1-σ(xn)))
其中σ()为sigmoid激活函数，xn为预测值，yn为标签值。在一般情况下，yn的值只可能时0或者1，但在模型的训练优化过程中，如果判别器性能太强，则可以采用标签平滑的方式，将yn的真值调整为0.1和0.9，这样使得网络在进行判别时，仅需要输出较为中间的值即可得到较小的损失，从而减缓判别器对于生成器的冲击。
步骤10：将判别器的学习率设置成生成器的学习率的4倍。
可以将生成器的学习率默认情况下设置为0.0002，判别器的学习率设置成生成器学习率的4倍，可以增大判别器的收敛难度，以有效抑制判别器的性能。
步骤11：将判别器的更新速率设置成0.5。
一般情况下，模型会在每个迭代过程中进行参数权重的更新，包括生成器权重和判别器权重，为了实现对判别器性能的抑制，本发明实施例对判别器的更新速率进行了控制，让判别器以0.5的概率进行梯度更新，即平均两次迭代更新一次参数。平衡梯度更新速率策略同样是限制判别器的收敛速度，以保证生成器和判别器之间更加良好的对抗效果。
以上每个优化方法都是对网络模型的微调，由于数据集以及任务本身难度的限制，单独采用一个策略对模型性能的优化幅度有限，而如果过分的夸大调整参数则可能会导致模型难以收敛。因此本发明的上述实施例采用了多个优化策略相结合的方式，从不同角度稳定模型的训练过程，并提升模型的性能。
为了量化神经网络性能的好坏，本发明实施例通过计算去水印算法在人脸比对实验上的性能实现了评估指标的量化。人脸比对算法是现有的成熟算法，该算法能够准确计算两张人脸数据为同一个人的置信度，一般置信度在80以上的情况下，可以判定为同一个人。
本发明实施例性能量化评估的过程主要包括以下几步：
(1)将未去水印的人脸数据与同一人脸数据进行比对，统计置信度大于80的图片比例r0。
(2)将采用本发明实施例提供的神经网络去除水印后的人脸数据与同一人脸数据进行比对，统计置信度大于80的图片比例r1。
(3)计算r1-r0，得到的结果即为本发明实施例提供的神经网络的性能提升幅度。
由于人脸比对算法本身的准确性，r0本身已经可以达到92.86％，本发明实施例提供的神经网络将r1提升到94.02％，整体精度进一步提升约1.16％，提升幅度十分明显。
基于上述方法实施例，本发明实施例还提供一种神经网络的训练装置，该神经网络包括生成器和判别器，图5为本发明实施例提供的一种神经网络的训练装置的结构示意图，如图所示，该装置包括：
预测图像确定模块502，用于通过生成器对样本图像对中的训练图像进行图像预测，得到预测图像；其中，样本图像对包括训练图像及其对应的标签图像，训练图像为包含水印的图像，标签图像为不包含水印的图像；
第一损失值确定模块504，用于根据预测图像、预测特征图、标签图像以及标签特征图，确定生成器的生成器损失值；其中，预测特征图通过对预测图像进行特征提取得到；标签特征图为通过对标签图像进行特征提取得到；
第二损失值确定模块506，用于根据训练图像对应的预测图像以及训练图像对应的标签图像，确定判别器的判别器损失值；
训练模块508，用于根据生成器损失值和判别器损失值对神经网络进行训练。
本发明实施例提供的上述神经网络的训练装置，首先对训练图像进行预测得到预测图像，对预测图像及标签图像进行特征提取，得到预测特征图及标签特征图，并进一步根据预测图像、预测特征图、标签图像以及标签特征图确定生成器损失值，然后根据预测图像与标签图像确定判别器损失值，最后根据生成器损失值和判别器损失值训练神经网络，由于在确定生成器损失值的过程中，不仅考虑了预测图像与标签图像之间的差异，还考虑了预测特征图与标签特征图之间的差异，在特征层面对损失值进行约束，减少了噪声对图像预测的干扰，从而使得网络生成的图像能够体现更多细节信息，提高图像精度。
上述第一损失值确定模块504还用于，确定预测图像与标签图像之间的图像差异值；以及，确定预测特征图与标签特征图之间的特征图差异值；根据图像差异值和特征图差异值，确定生成器的生成器损失值。
上述确定预测图像与标签图像之间的图像差异值的过程，包括：根据预测图像中各个像素点的像素值与标签图像中对应位置处的像素点的像素值，确定预测图像与标签图像之间的像素差异值；其中，像素差异值用于表征预测图像中的像素点与标签图像中对应位置的像素点之间的差异；通过判别器对预测图像进行得分预测，得到预测图像对应的第一预测得分；第一预测得分用于表征预测图像为真实图像的概率值；根据第一预测得分与第一目标得分阈值之间的差值，确定第一得分差异值；其中，第一目标得分阈值在第一数值和第二数值之间，第一数值和第二数值为0.5至1之间的数值；根据像素差异值以及第一得分差异值，确定预测图像与标签图像之间的图像差异值。
上述根据预测图像中各个像素点的像素值与标签图像中对应位置处的像素点的像素值，确定预测图像与标签图像之间的像素差异值的过程，包括：计算预测特征图中的像素点与标签特征图中对应位置处的像素点之间的像素值的差异值；根据像素点的差异值的均值，确定预测图像与标签图像之间的像素差异值。
上述根据训练图像对应的预测图像以及训练图像对应的标签图像，确定判别器的判别器损失值的过程，包括：通过判别器对标签图像进行得分预测，得到标签图像对应的第二预测得分；其中，第二预测得分用于表征标签图像为真实图像的概率值；根据第一预测得分以及第二预测得分确定判别器的判别器损失值。
上述通过判别器对预测图像进行得分预测，得到预测图像对应的第一预测得分的过程，包括：通过判别器对预测图像进行卷积操作，得到第一卷积特征；对第一卷积特征进行归一化操作，得到预测图像对应的第一归一化值；对第一归一化值进行激活操作，得到预测图像对应的第一判别得分；判断是否满足停止条件，如果不满足，再次进行得分计算操作；如果满足，将最后一次得分计算操作得到的第一判别得分确定为预测图像对应的第一预测得分。
上述通过判别器对标签图像进行得分预测，得到标签图像对应的第二预测得分的过程，包括：通过判别器对标签图像进行卷积操作，得到第二卷积特征；对第二卷积特征进行归一化操作，得到标签图像对应的第二归一化值；对第二归一化值进行激活操作，得到标签图像对应的第二判别得分；判断是否满足停止条件，如果不满足，再次进行得分计算操作；如果满足，将最后一次得分计算操作得到的第二判别得分确定为标签图像对应的第二预测得分。
上述根据第一预测得分以及第二预测得分确定判别器的判别器损失值的过程，包括：通过二分类交叉熵损失函数确定第一预测得分与第二目标得分阈值之间的第二得分差异值；通过二分类交叉熵损失函数确定第二预测得分与第一目标得分阈值之间的第三得分差异值；根据第二得分差异值以及第三得分差异值，确定判别器的判别器损失值；其中，第二目标得分阈值在第三数值和第四数值之间，第三数值和第四数值为0至0.5之间的数值。
上述归一化操作为谱归一化操作。
上述生成器的第一更新速率大于判别器的第二更新速率，且第一更新速率与第二更新速率的比值大于第一比值阈值；其中，第一更新速率用于表征进行网络迭代的次数与更新生成器的次数的比值，第二更新速率用于表征进行网络迭代的次数与更新判别器的次数的比值。
上述神经网络中的生成器的第一学习率大于判别器的第二学习率，且第一学习率与第二学习率的比值大于第二比值阈值；其中，第一学习率用于表征每次更新生成器的参数的梯度大小，第二学习率用于表征每次更新判别器的参数的梯度大小。
本发明实施例提供的神经网络的训练装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，上述装置的实施例部分未提及之处，可参考前述神经网络的训练方法实施例中的相应内容。
本发明实施例还提供了一种电子设备，如图6所示，为该电子设备的结构示意图，其中，该电子设备包括处理器601和存储器602，该存储器602存储有能够被该处理器601执行的计算机可执行指令，该处理器601执行该计算机可执行指令以实现上述神经网络的训练方法。
在图6示出的实施方式中，该电子设备还包括总线603和通信接口604，其中，处理器601、通信接口604和存储器602通过总线603连接。
其中，存储器602可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口604(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线603可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器601读取存储器中的信息，结合其硬件完成前述实施例的神经网络的训练方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述神经网络的训练方法，具体实现可参见前述方法实施例，在此不再赘述。
本发明实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现上述神经网络的训练方法，具体实现可参见前述方法实施例，在此不再赘述。
本发明实施例所提供的神经网络的训练方法、电子设备及计算机程序产品的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种神经网络的训练方法，其特征在于，所述神经网络包括生成器和判别器；所述方法包括：
通过所述生成器对样本图像对中的训练图像进行图像预测，得到预测图像；其中，所述样本图像对包括所述训练图像及其对应的标签图像，所述训练图像为包含水印的图像，所述标签图像为不包含水印的图像；
根据所述预测图像、预测特征图、所述标签图像以及标签特征图，确定所述生成器的生成器损失值；其中，所述预测特征图通过对所述预测图像进行特征提取得到；所述标签特征图为通过对所述标签图像进行特征提取得到；
根据所述训练图像对应的预测图像以及所述训练图像对应的标签图像，确定所述判别器的判别器损失值；
根据所述生成器损失值和所述判别器损失值对所述神经网络进行训练。
2.根据权利要求1所述的方法，其特征在于，根据所述预测图像、预测特征图、所述标签图像以及标签特征图，确定所述生成器的生成器损失值的步骤，包括：
确定所述预测图像与所述标签图像之间的图像差异值；以及，确定预测特征图与标签特征图之间的特征图差异值；
根据所述图像差异值和所述特征图差异值，确定所述生成器的生成器损失值。
3.根据权利要求1所述的方法，其特征在于，确定所述预测图像与所述标签图像之间的图像差异值的步骤，包括：
根据预测图像中各个像素点的像素值与标签图像中对应位置处的像素点的像素值，确定预测图像与标签图像之间的像素差异值；其中，所述像素差异值用于表征所述预测图像中的像素点与所述标签图像中对应位置的像素点之间的差异；
通过所述判别器对所述预测图像进行得分预测，得到所述预测图像对应的第一预测得分；所述第一预测得分用于表征所述预测图像为真实图像的概率值；
根据所述第一预测得分与第一目标得分阈值之间的差值，确定第一得分差异值；其中，所述第一目标得分阈值在第一数值和第二数值之间，所述第一数值和第二数值为0.5至1之间的数值；
根据所述像素差异值以及所述第一得分差异值，确定所述预测图像与所述标签图像之间的图像差异值。
4.根据权利要求3所述的方法，其特征在于，根据预测图像中各个像素点的像素值与标签图像中对应位置处的像素点的像素值，确定预测图像与标签图像之间的像素差异值的步骤，包括：
计算所述预测特征图中的像素点与所述标签特征图中对应位置处的像素点之间的像素值的差异值；
根据所述像素点的所述差异值的均值，确定所述预测图像与所述标签图像之间的像素差异值。
5.根据权利要求3所述的方法，其特征在于，根据所述训练图像对应的预测图像以及所述训练图像对应的标签图像，确定所述判别器的判别器损失值的步骤，包括：
通过所述判别器对所述标签图像进行得分预测，得到所述标签图像对应的第二预测得分；其中，所述第二预测得分用于表征所述标签图像为真实图像的概率值；
根据所述第一预测得分以及所述第二预测得分确定所述判别器的判别器损失值。
6.根据权利要求3所述的方法，其特征在于，通过所述判别器对所述预测图像进行得分预测，得到所述预测图像对应的第一预测得分的步骤，包括：
通过所述判别器对所述预测图像进行卷积操作，得到第一卷积特征；
对所述第一卷积特征进行归一化操作，得到所述预测图像对应的第一归一化值；
对所述第一归一化值进行激活操作，得到所述预测图像对应的第一判别得分；
判断是否满足停止条件，如果不满足，再次进行得分计算操作；
如果满足，将最后一次所述得分计算操作得到的所述第一判别得分确定为所述预测图像对应的第一预测得分。
7.根据权利要求5所述的方法，其特征在于，通过所述判别器对所述标签图像进行得分预测，得到所述标签图像对应的第二预测得分的步骤，包括：
通过所述判别器对所述标签图像进行卷积操作，得到第二卷积特征；
对所述第二卷积特征进行归一化操作，得到所述标签图像对应的第二归一化值；
对所述第二归一化值进行激活操作，得到所述标签图像对应的第二判别得分；
判断是否满足停止条件，如果不满足，再次进行得分计算操作；
如果满足，将最后一次所述得分计算操作得到的所述第二判别得分确定为所述标签图像对应的第二预测得分。
8.根据权利要求5所述的方法，其特征在于，根据所述第一预测得分以及所述第二预测得分确定所述判别器的判别器损失值的步骤，包括：
通过二分类交叉熵损失函数确定所述第一预测得分与第二目标得分阈值之间的第二得分差异值；
通过所述二分类交叉熵损失函数确定所述第二预测得分与所述第一目标得分阈值之间的第三得分差异值；
根据所述第二得分差异值以及所述第三得分差异值，确定所述判别器的判别器损失值；其中，所述第二目标得分阈值在第三数值和第四数值之间，所述第三数值和所述第四数值为0至0.5之间的数值。
9.根据权利要求6任一项所述的方法，其特征在于，所述归一化操作为谱归一化操作。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述生成器的第一更新速率大于所述判别器的第二更新速率，且所述第一更新速率与所述第二更新速率的比值大于第一比值阈值；其中，所述第一更新速率用于表征进行网络迭代的次数与更新所述生成器的次数的比值，所述第二更新速率用于表征进行网络迭代的次数与更新所述判别器的次数的比值。
11.根据权利要求1-9任一项所述的方法，其特征在于，所述神经网络中的所述生成器的第一学习率大于所述判别器的第二学习率，且所述第一学习率与所述第二学习率的比值大于第二比值阈值；其中，所述第一学习率用于表征每次更新所述生成器的参数的梯度大小，所述第二学习率用于表征每次更新所述判别器的参数的梯度大小。
12.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1-11中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1-11中任一项所述的方法。
14.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时，实现如权利要求1至11中任一项所述的方法。
CN202111221268.4A 2021-10-20 2021-10-20 神经网络的训练方法、电子设备及计算机程序产品 Pending CN114037838A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111221268.4A CN114037838A (zh) 2021-10-20 2021-10-20 神经网络的训练方法、电子设备及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111221268.4A CN114037838A (zh) 2021-10-20 2021-10-20 神经网络的训练方法、电子设备及计算机程序产品

Publications (1)

Publication Number Publication Date
CN114037838A true CN114037838A (zh) 2022-02-11

Family

ID=80141550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111221268.4A Pending CN114037838A (zh) 2021-10-20 2021-10-20 神经网络的训练方法、电子设备及计算机程序产品

Country Status (1)

Country Link
CN (1) CN114037838A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081920A (zh) * 2022-07-08 2022-09-20 华南农业大学 考勤签到调度管理方法、系统、设备及存储介质
CN115793490A (zh) * 2023-02-06 2023-03-14 南通弈匠智能科技有限公司 基于大数据的智能家居节能控制方法
CN117173438A (zh) * 2023-09-04 2023-12-05 之江实验室 一种深度耦合多源传感特性的景象匹配方法
CN117268345A (zh) * 2023-11-20 2023-12-22 启元实验室 一种高实时性单目深度估计测量方法、装置及电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081920A (zh) * 2022-07-08 2022-09-20 华南农业大学 考勤签到调度管理方法、系统、设备及存储介质
CN115081920B (zh) * 2022-07-08 2024-07-12 华南农业大学 考勤签到调度管理方法、系统、设备及存储介质
CN115793490A (zh) * 2023-02-06 2023-03-14 南通弈匠智能科技有限公司 基于大数据的智能家居节能控制方法
CN115793490B (zh) * 2023-02-06 2023-04-11 南通弈匠智能科技有限公司 基于大数据的智能家居节能控制方法
CN117173438A (zh) * 2023-09-04 2023-12-05 之江实验室 一种深度耦合多源传感特性的景象匹配方法
CN117173438B (zh) * 2023-09-04 2024-02-27 之江实验室 一种深度耦合多源传感特性的景象匹配方法
CN117268345A (zh) * 2023-11-20 2023-12-22 启元实验室 一种高实时性单目深度估计测量方法、装置及电子设备
CN117268345B (zh) * 2023-11-20 2024-03-29 启元实验室 一种高实时性单目深度估计测量方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Lin et al. FPGAN: Face de-identification method with generative adversarial networks for social robots
CN114913565B (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
CN111274916B (zh) 人脸识别方法和人脸识别装置
EP3757905A1 (en) Deep neural network training method and apparatus
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN114037838A (zh) 神经网络的训练方法、电子设备及计算机程序产品
CN104424634B (zh) 对象跟踪方法和装置
CN110222717B (zh) 图像处理方法和装置
CN112560753B (zh) 基于特征融合的人脸识别方法、装置、设备及存储介质
CN112639828A (zh) 数据处理的方法、训练神经网络模型的方法及设备
CN106548159A (zh) 基于全卷积神经网络的网纹人脸图像识别方法与装置
CN113705769A (zh) 一种神经网络训练方法以及装置
CN110222718B (zh) 图像处理的方法及装置
CN113569598A (zh) 图像处理方法和图像处理装置
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
CN113673505A (zh) 实例分割模型的训练方法、装置、系统及存储介质
KR20230169104A (ko) 기계 학습 및 등록 데이터를 사용한 개인화된 생체인식 안티-스푸핑 보호
CN115147705B (zh) 人脸翻拍检测方法、装置、电子设备及存储介质
CN116977674A (zh) 图像匹配方法、相关设备、存储介质及程序产品
CN116453232A (zh) 人脸活体检测方法、人脸活体检测模型的训练方法和装置
CN112861743A (zh) 一种掌静脉图像防伪方法、装置和设备
CN115620054A (zh) 一种缺陷分类方法、装置、电子设备及存储介质
CN115311723A (zh) 活体检测方法、装置及计算机可读存储介质
CN114373071A (zh) 目标检测方法、装置及电子设备
CN114120050A (zh) 地表生态数据提取方法及装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination