CN108229526A - 网络训练、图像处理方法、装置、存储介质和电子设备 - Google Patents
网络训练、图像处理方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN108229526A CN108229526A CN201710458606.3A CN201710458606A CN108229526A CN 108229526 A CN108229526 A CN 108229526A CN 201710458606 A CN201710458606 A CN 201710458606A CN 108229526 A CN108229526 A CN 108229526A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- parameter
- effect
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 116
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 285
- 238000013528 artificial neural network Methods 0.000 claims abstract description 247
- 230000009466 transformation Effects 0.000 claims abstract description 190
- 238000001514 detection method Methods 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims description 105
- 230000006854 communication Effects 0.000 claims description 46
- 238000004891 communication Methods 0.000 claims description 45
- 238000002372 labelling Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 18
- 230000001131 transforming effect Effects 0.000 claims description 8
- 230000001537 neural effect Effects 0.000 abstract 1
- 230000000153 supplemental effect Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 24
- 238000011176 pooling Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 230000003796 beauty Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种网络训练、图像处理方法、装置、存储介质和电子设备。图像处理神经网络的训练方法，包括：通过参数生成神经网络，获取第一样本图像的图像效果变换参数；根据图像效果变换参数，将所述第一样本图像变换为第二样本图像；通过分类神经网络，获取第二样本图像的效果分类检测数据；根据第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练参数生成神经网络。基于生成对抗网络，仅基于图像效果分类的简单、直观标注数据作为训练的监督信息，而无需对选取的样本图像进行精准的图像效果参数数据标注，通过弱监督学习方式来训练用于生成图像效果变换参数的参数生成神经网络。
Description
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像处理神经网络的训练方法、图像处理方法、装置、存储介质和电子设备。
背景技术
在各种与图像相关的应用中，根据应用场景的需要对拍摄的图像需要进行相应的图像效果处理，例如，对手机拍摄到的人像进行美颜处理、背景虚化处理、剪裁处理等。
这里，图像美学增强(Image Aesthetic Enhancement)是一种尝试通过计算机基于美观美学提高图像质量或图像美感度的图像增强技术。在现有的图像美学增强技术中，主要使用少量样本图像进行图像特征提取，并基于强监督的机器学习方法训练用于生成增强参数的模型。
然而，在例如图像美学增强的图像效果处理任务上，需要采集相当数量高质量的训练数据并进行图像处理参数的标注极为困难，因此现有的强监督的学习方法都具有很大的局限性。
发明内容
本发明实施例的目的在于，提供一种用于图像效果变换的图像处理神经网络的训练技术以及图像处理技术。
根据本发明实施例的第一方面，提供一种图像处理神经网络的训练方法，包括：通过参数生成神经网络，获取第一样本图像的图像效果变换参数，所述第一样本图像含有图像效果分类标注信息，所述参数生成神经网络用于生成图像效果变换参数；根据所述图像效果变换参数，将所述第一样本图像变换为第二样本图像；通过分类神经网络，获取所述第二样本图像的效果分类检测数据，所述分类神经网络用于对图像效果进行分类；根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练所述参数生成神经网络。
可选地，所述图像效果分类标注信息包括指示高质量图像的标注信息或指示低质量图像的标注信息；或者，所述图像效果分类标注信息包括指示图像质量正样本的标注信息或指示图像质量负样本的标注信息。
可选地，所述通过分类神经网络，获取所述第二样本图像的效果分类检测数据包括：通过所述分类神经网络，获取所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据，其中，所述第二样本图像为负样本，所述第三样本图像为正样本；所述方法还包括：根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络。
可选地，所述参数生成神经网络通过对通用分类神经网络进行变换得到，所述变换包括，移除所述通用分类神经网络末端的分类器层和池化层，获取图像特征提取器，通过将所述图像特征提取器作为第一基准网络并在所述第一基准网络的末端添加用于生成图像效果变换参数的卷积层，构建所述参数生成神经网络。
可选地，在移除所述通用分类神经网络末端的分类器层和池化层，获取图像特征提取器之后，所述方法还包括：通过将所述图像特征提取器作为第二基准网络并在所述第二基准网络的末端添加第一池化层和分类器层，构建所述分类神经网络。
可选地，所述图像效果变换参数包括至少一种以下参数：用于图像剪裁的第一参数和用于图像色彩增强的第二参数。
可选地，所述用于图像剪裁的第一参数包括图像剪裁坐标数据，以及/或者，所述用于图像色彩增强的第二参数包括LAB颜色空间的L分量变换参数、A分量变换参数和B分量变换参数。
可选地，L分量变换参数包括像素值的L分量变换阈值，A分量变换参数包括像素值的A分量变换阈值，B分量变换参数包括像素值的B分量变换阈值。
可选地，所述根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练所述参数生成神经网络包括：计算获取到的各个第二样本图像的效果分类检测数据的平均损失值，以及/或者，通过所述分类神经网络获取所述第一样本图像的效果分类检测数据，并且确定获取到的各个第二样本图像的效果分类检测数据和相应的第一样本图像的效果分类检测数据之间的第一差异损失值；根据所述平均损失值和/或所述第一差异损失值，调整所述参数生成神经网络的网络参数。
可选地，所述根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络包括：计算所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据之间的第二差异损失值；根据所述第二差异损失值，调整所述分类神经网络的网络参数。
可选地，在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支。
可选地，所述根据获取到的各个第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息训练所述参数生成神经网络包括：训练所述参数生成神经网络的第一输出分支或第二输出分支。
可选地，在所述第一输出分支和所述第二输出分支的末端还设有用于筛选参数的第二池化层。
根据本发明实施例的第二方面，还提供一种图像处理方法，包括：通过用于生成图像效果变换参数的参数生成神经网络，获取待处理图像的图像效果变换参数的预测数据，所述参数生成神经网络为根据前述任一训练方法训练获得的参数生成神经网络；根据所述图像效果变换参数的预测数据，对所述待处理图像进行图像效果变换处理。
可选地，所述图像效果变换参数包括至少一种以下参数：用于图像剪裁的第一参数和用于图像色彩增强的第二参数。
可选地，在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支。
可选地，所述根据所述图像效果变换参数的预测数据，对所述待处理图像进行图像效果变换处理包括：根据所述图像剪裁的参数的预测数据，对所述待处理图像进行剪裁；根据所述用于图像色彩增强的第二参数的预测数据，对经过剪裁的待处理图像中相应的图像像素进行色彩变换。
可选地，所述根据所述图像效果变换参数的预测数据，对所述待处理图像进行图像效果变换处理包括：根据所述用于图像色彩增强的第二参数的预测数据，对所述待处理图像中的图像像素进行色彩变换；根据所述图像剪裁的参数的预测数据，对所述经过色彩变换的待处理图像进行剪裁。
根据本发明实施例的第三方面，还提供一种图像处理神经网络的训练装置，包括：参数检测模块，用于通过参数生成神经网络，获取第一样本图像的图像效果变换参数，所述第一样本图像含有图像效果分类标注信息，所述参数生成神经网络用于生成图像效果变换参数；样本图像变换模块，用于根据所述图像效果变换参数，将所述第一样本图像变换为第二样本图像；分类检测模块，用于通过分类神经网络，获取所述第二样本图像的效果分类检测数据，所述分类神经网络用于对图像效果进行分类；第一网络训练模块，用于根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练所述参数生成神经网络。
可选地，所述图像效果分类标注信息包括指示高质量图像的标注信息或指示低质量图像的标注信息；或者，所述图像效果分类标注信息包括指示图像质量正样本的标注信息或指示图像质量负样本的标注信息。
可选地，所述分类检测模块用于通过所述分类神经网络，获取所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据，其中，所述第二样本图像为负样本，所述第三样本图像为正样本；所述装置还包括：第二网络训练模块，用于根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络。
可选地，所述装置还包括：参数生成网络生成模块，用于移除通用分类神经网络末端的分类器层和池化层，获取图像特征提取器，通过将所述图像特征提取器作为第一基准网络并在所述第一基准网络的末端添加用于生成图像效果变换参数的卷积层，构建所述参数生成神经网络。
可选地，所述装置还包括：分类网络生成模块，用于通过将所述图像特征提取器作为第二基准网络并在所述第二基准网络的末端添加第一池化层和分类器层，构建所述分类神经网络。
可选地，所述图像效果变换参数包括至少一种以下参数：用于图像剪裁的第一参数和用于图像色彩增强的第二参数。
可选地，所述用于图像剪裁的第一参数包括图像剪裁坐标数据，以及/或者，所述用于图像色彩增强的第二参数包括LAB颜色空间的L分量变换参数、A分量变换参数和B分量变换参数。
可选地，L分量变换参数包括像素值的L分量变换阈值，A分量变换参数包括像素值的A分量变换阈值，B分量变换参数包括像素值的B分量变换阈值。
可选地，所述第一网络训练模块包括：第一计算单元，用于计算获取到的各个第二样本图像的效果分类检测数据的平均损失值，以及/或者，第二计算单元，用于通过所述分类神经网络获取所述第一样本图像的效果分类检测数据，并且确定获取到的各个第二样本图像的效果分类检测数据和相应的第一样本图像的效果分类检测数据之间的第一差异损失值；第一训练单元，用于根据所述平均损失值和/或所述第一差异损失值，调整所述参数生成神经网络的网络参数。
可选地，所述第二网络训练模块包括：第三计算单元，用于计算所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据之间的第二差异损失值；第二训练单元，用于根据所述第二差异损失值，调整所述分类神经网络的网络参数。
可选地，在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支。
可选地，所述第一网络训练模块用于根据所述第二样本图像的效果分类检测数据训练所述参数生成神经网络的第一输出分支或第二输出分支。
可选地，在所述第一输出分支和所述第二输出分支的末端还设有用于筛选参数的第二池化层。
根据本发明实施例的第四方面，还提供一种图像处理装置，包括：参数获取模块，用于通过用于生成图像效果变换参数的参数生成神经网络，获取待处理图像的图像效果变换参数的预测数据，所述参数生成神经网络为前述任一训练方法训练获得的参数生成神经网络；待检图像变换模块，用于根据所述图像效果变换参数的预测数据，对所述待处理图像进行图像效果变换处理。
可选地，所述图像效果变换参数包括至少一种以下参数：用于图像剪裁的第一参数和用于图像色彩增强的第二参数。
可选地，在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支。
可选地，所述待检图像变换模块包括：第一剪裁单元，用于根据所述图像剪裁的参数的预测数据，对所述待处理图像进行剪裁；第一色彩变换单元，用于根据所述用于图像色彩增强的第二参数的预测数据，对经过剪裁的待处理图像中相应的图像像素进行色彩变换。
可选地，所述待检图像变换模块包括：第二色彩变换单元，用于根据所述用于图像色彩增强的第二参数的预测数据，对所述待处理图像中的图像像素进行色彩变换；第二剪裁单元，用于根据所述图像剪裁的参数的预测数据，对所述经过色彩变换的待处理图像进行剪裁。
根据本发明实施例的第五方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一图像处理神经网络的训练方法的步骤。
根据本发明实施例的第六方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一图像处理方法的步骤。
根据本发明实施例的第七方面，还提供一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行前述任一项图像处理神经网络的训练方法对应的操作。
根据本发明实施例的第八方面，还提供一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行前述任一图像处理方法对应的操作。
根据本发明实施例提供的图像处理神经网络的训练方案，基于生成对抗网络，仅基于图像效果分类的简单、直观标注数据作为训练的监督信息，而无需对选取的(第一样本图像)进行精准的图像效果参数数据标注，通过弱监督学习方式来训练用于生成图像效果变换参数的参数生成神经网络，因此便于选取大量的训练样本来训练参数生成神经网络，从而获得质量较高的图像效果变换参数的数据。
此外，不同于现有的生成对抗网络架构生成期望的图像，通过本发明训练的图像处理神经网络生成更细颗粒度的图像效果变换参数，更有利于提高图像效果变换的效果。
根据本发明实施例提供的图像处理方案，通过基于生成对抗网络的弱监督学习方法训练得到的图像处理神经网络，为待处理图像生成质量好、颗粒度的图像效果变换参数，并且根据生成的图像效果变换参数，对所述待处理图像进行图像效果变换处理，从而能够自动地获得具有预期图像效果的图像。
附图说明
图1是示出根据本发明实施例一的图像处理神经网络的训练方法的流程图；
图2是示出根据本发明实施例二的构建参数生成神经网络和分类神经网络的示例性处理的流程图；
图3是示出根据本发明实施例三的图像处理神经网络的训练方法的流程图；
图4示例性地示出各个第一样本图像通过参数生成神经网络和分类神经网络的检测处理获得的检测结果；
图5示出从第一样本图像检测用于图像剪裁的第一参数并根据检测得到的第一参数对第一样本图像进行剪裁获得第二样本图像的示例性处理；
图6示出根据获取到的用于图像色彩增强的第二参数对图像像素的L、A、B分量分别进行的示例性色彩变换处理；
图7是示出根据本发明实施例四的图像处理方法的流程图；
图8是示出根据本发明实施例五的图像处理方法的流程图；
图9示出根据本发明实施例六的图像处理神经网络的训练装置的逻辑框图；
图10示出根据本发明实施例七的图像处理神经网络的训练装置的逻辑框图；
图11示出根据本发明实施例八的图像处理装置的逻辑框图；
图12示出根据本发明实施例九的图像处理装置的逻辑框图；
图13是示出根据本发明实施例十一的第一电子设备的结构示意图；
图14是示出根据本发明实施例十二的第二电子设备的结构示意图。
具体实施方式
下面结合附图详细描述本发明实施例的示例性实施例。
在本申请中，“多个”指两个或两个以上，“至少一个”指一个、两个或两个以上。对于本申请中提及的任一部件、数据或结构，在没有明确限定一个的情况下，可理解为一个或多个。
实施例一
图1是示出根据本发明实施例一的图像处理神经网络的训练方法的流程图。
本发明的实施例提出一种考量图像效果分类和图像效果变换的关系，基于生成对抗网络的弱监督学习方法，用于训练具有较强图像效果变换能力的图像处理神经网络。该图像处理神经网络仅基于图像效果分类的标注数据作为训练的监督信息，学习到用于图像效果变换处理的参数。在此过程中，无需对样本图像进行精细的效果增强数据标注，实现弱监督的图像效果变换参数的学习。例如，在用于图像美学增强处理的任务中，可仅需对样本图像进行图像美学质量分类(如，美/不美)的较为简单直观的标注，来监督用于图像美学增强的神经网络的训练，而不需要对这些样本图像进行例如各个像素的色彩变换值的繁琐而精细的标注来训练该神经网络。
生成对抗网络(Generative Adversarial Network)包括相互对抗/竞争的两个网络，用于生成数据集的生成器(Generator)和用于对生成器生成的数据集进行验证的鉴别器(Discriminator)，目标是生成与训练集中的数据点类似的数据点。
在本发明实施例提出的图像处理神经网络中，以用于生成图像效果变换参数的参数生成神经网络作为生成器并且以用于图像效果分类的分类神经网络作为鉴别器，通过两者之间的对抗训练获得该图像处理神经网络。该基于生成对抗网络的包括作为生成器的和作为鉴别器的。用于生成参数，用于对的学习结果进行鉴别。训练的目标是，使得分类神经网络(鉴别器)最终无法区分出实际具有预期图像效果的图像和根据(参数生成神经网络生成的)参数图像效果变换参数进行图像效果变换得到的图像。
以下参照图1详细说明实施例一的图像处理神经网络的训练方法。
参照图1，在步骤S110，通过参数生成神经网络，获取第一样本图像的图像效果变换参数，所述第一样本图像含有图像效果分类标注信息，该参数生成神经网络用于生成图像效果变换参数。
具体地，对选取的第一样本图像进行图像效果分类的标注，将标注信息作为训练参数生成神经网络的监督信息。图像效果分类标注信息指示第一样本图像的图像效果，其可以是例如美/不美的二分类信息，也可以是多个美学质量级别的多分类信息。
由于不对选取的第一样本图像进行图像效果变换参数的标注，因此通过图像效果分类标注信息对参数生成神经网络的训练进行弱监督，而不是强监督，但是无需对使用的第一样本图像进行耗时、精确的图像效果变换参数的标注，容易采集到大量的训练样本进行训练。
通过使用参数生成神经网络对各个第一样本图像进行检测，获取到各个第一样本图像的图像效果变换参数的检测数据。
这里，图像效果变换参数是用于对图像执行效果处理(如美学增强处理)的参数，可包括例如，图像色彩渲染参数、图像剪切参数、图像对比度调整参数、图像亮度调整参数、图像缩放比例参数等，但不限于此。
在步骤S120，根据所述图像效果变换参数，将所述第一样本图像变换为第二样本图像。
可通过任何适用的图像处理方法，根据检测到的各个第一样本图像的图像效果变换参数，对各个第一样本图像执行图像效果变换处理，将第一样本图像分别变换为具有某种预期图像效果的第二样本图像。
在步骤S130，通过分类神经网络，获取所述第二样本图像的效果分类检测数据，所述分类神经网络用于对图像效果进行分类。
在该步骤，通过分类神经网络对各个前述经过效果变换处理的第二样本图像进行检测，获取到各个第二样本图像的效果分类检测数据，以对参数生成神经网络的检测结果进行鉴别、评估。
在步骤S140，根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练所述参数生成神经网络。
也就是说，根据作为鉴别器的分类神经网络生成的效果分类检测数据以及第一样本图像的图像效果分类标注信息生成表征图像效果分类误差的监督信号，来训练作为生成器的参数生成神经网络，从而基于生成对抗网络，以弱监督的学习方式来训练该图像处理神经网络。
根据本发明实施例一的图像处理神经网络的训练方法，基于生成对抗网络，仅基于图像效果分类的简单、直观标注数据作为训练的监督信息，而无需对选取的(第一样本图像)进行精准的图像效果参数数据标注，通过弱监督学习方式来训练用于生成图像效果变换参数的参数生成神经网络，因此便于选取大量的训练样本来训练参数生成神经网络，从而获得质量较高的图像效果变换参数的数据。
此外，不同于现有的生成对抗网络架构生成期望的图像，通过本发明训练的图像处理神经网络生成更细颗粒度的图像效果变换参数，更有利于提高图像效果变换的效果。
实施例二
以下介绍一种构建作为生成器的参数生成神经网络和作为鉴别器的分类神经网络的一种示例性方式。
根据本发明实施例二，参数生成神经网络通过对通用分类神经网络进行变换得到。该通用分类神经网络可以是，例如，用于生成图像分类的通用神经网络或用于生成某种图像效果分类的通用神经网络。
可使用适用的机器学习方法预先训练该通用分类神经网络，也可以使用训练好的通用分类神经网络。由于用于图像效果分类的通用分类神经网络具有良好的与预期的图像效果相关的特征提取能力，因此，可基于通用分类神经网络的特征提取能力来构建参数生成神经网络(和分类神经网络)。
图2是示出根据本发明实施例二的构建参数生成神经网络和分类神经网络的示例性处理的流程图。
参照图2，在步骤S210，移除所述通用分类神经网络末端的分类器层和池化层，获取图像特征提取器。
该通用分类神经网络通常具有分类器层和池化层，在该步骤，将末端的分类器层和池化层移除，获得用于图像效果特征提取的图像特征提取器。
在步骤S220，通过将所述图像特征提取器作为第一基准网络并在所述第一基准网络的末端添加用于生成图像效果变换参数的卷积层，构建所述参数生成神经网络。
可选地，步骤S220还包括：通过将所述图像特征提取器作为第二基准网络并在所述第二基准网络的末端添加第一池化层和分类器层，构建所述分类神经网络。
以上仅介绍了一种示例性的参数生成神经网络和分类神经网络的构建方式。需要理解，本领域的普通技术人员可以通过任一适用的方法来构建参数生成神经网络和分类神经网络，而不限于在此介绍的构建方式。
通过从同一用于生成图像分类的通用分类神经网络获取特征提取器，基于该特征提取器来分别构建参数生成神经网络和分类神经网络，能够基于相同的特征提取能力进行对抗训练相互关联的生成器(参数生成神经网络)和鉴别器(分类神经网络)，并且简化了网络训练的过程。
实施例三
根据本发明的示例性实施例，图像效果变换参数可包括，但不限于，至少一种以下参数：用于图像剪裁的第一参数和用于图像色彩增强的第二参数。需要指出，本发明提出的训练方法适用于任何已有的或可能适用的图像效果变换参数的图像处理神经网络的训练，而不限于上述两种参数。
相应地，可在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支。
以下针对分类神经网络以及用于生成第一参数或第二参数的参数生成神经网络的示例性训练给予详细说明。
图3是示出根据本发明实施例三的图像处理神经网络的训练方法的流程图。
参照图3，在步骤S310，通过用于生成图像效果变换参数的参数生成神经网络，获取第一样本图像的第一参数或第二参数，所述第一样本图像含有图像效果分类标注信息。
具体地，所述图像效果分类标注信息包括指示高质量图像的标注信息或指示低质量图像的标注信息，或者，所述图像效果分类标注信息包括指示图像质量正样本的标注信息或指示图像质量负样本的标注信息。例如，所述图像效果分类标注信息可包括指示高美学质量图像的标注信息或指示低美学质量图像的标注信息。
具体地，所述用于图像剪裁的第一参数可包括，例如图像剪裁坐标数据或剪裁区域掩模数据。
具体地，用于图像色彩增强的第二参数可包括LAB颜色空间的L分量变换参数、A分量变换参数和B分量变换参数。当然，第二参数也可以是基于例如RGB颜色空间的R分量变换参数、G分量变换参数和B分量变换参数。为第一样本图像的各个图像像素点设置第二参数。当然，也可以采用RGB色彩模式的变换参数作为用于图像色彩增强的第二参数，而不限于LAB颜色空间的各个分量变换参数。
例如，L分量变换参数可包括像素值的L分量变换阈值，A分量变换参数包括像素值的A分量变换阈值，B分量变换参数包括像素值的B分量变换阈值。
此外，参数生成神经网络在对任一第一样本图像进行检测时，可生成检测准确性或美学质量不同的多个/多组图像效果变换参数。为此，根据本发明的可选实施方式，在所述第一输出分支的末端和/或所述第二输出分支的末端还设有用于筛选参数的第二池化层。
例如，设置在第一输出分支的末端的第二池化层可使用Top-K平均值池化方法，对多个/多组第一参数的检测数据进行筛选，选取预测准确概率最高的K个/K组第一参数的检测数据作为第一输出分支的输出数据。同理，可通过类似的方法，通过设置在第二输出分支的末端的第二池化层对多个/多组第二参数的检测数据进行筛选。
也就是说，针对任一第一样本图像，可通过参数生成神经网络获取一个/组或多个/组第一参数的检测数据。
在步骤S320，根据获取到的第一参数，对第一样本图像进行剪裁，或者，根据获取到的第二参数，对第一样本图像进行色彩变换，以获得第二样本图像。
图4示例性地示出各个第一样本图像通过参数生成神经网络和分类神经网络的检测处理获得的检测结果。其中，图4的上半部分示出第一样本图像410通过参数生成神经网络GN的检测，获得第一参数或第二参数的检测结果D1。根据第一参数或第二参数的检测结果D1，对第一样本图像进行剪裁处理或色彩变换，得到第二样本图像420。
例如，如果获取到图像剪裁坐标数据，则根据图像剪裁坐标数据从第一样本图像剪裁得到图像剪裁坐标数据定义的区域的第二样本图像。
图5示出通过对第一样本图像I进行检测获取到用于图像剪裁的第一参数θcrop，并且根据第一参数θcrop从第一样本图像I剪裁出第二样本图像的示例性处理。可以看出，经过剪裁得到的第二样本图像更好地突出了拍摄目标(如女孩的区域)，具有更好的图像美感。
再例如，如果获取到各个图像像素的L分量变换参数、A分量变换参数和B分量变换参数，则可分别通过每个图像像素的这三个分量变换参数计算其L、A、B分量的变换量，并且根据计算出的L、A、B分量的变换量对该图像像素执行色彩变换。
以下介绍一种L、A、B分量的变换量的示例性计算方式。
假设针对任一图像像素v，通过步骤S310获得的该图像像素v的L分量变换阈值为a和b、A分量变换阈值为α、B分量变换阈值为β。
其中，k3＝1-a。m为图像像素v的L分量像素值，为经过变换得到的L分量像素值。将p设为大于等于1的常量，以淡化深色区域；将q设置为0<q<1的值，以将过度曝光的区域加深。
其中，m为图像像素v的A分量像素值，为经过变换得到的A分量像素值。
同理，m为图像像素v的A分量像素值，为经过变换得到的B分量像素值。
图6示出根据获取到的用于图像色彩增强的第二参数对图像像素的L、A、B分量分别进行的示例性色彩变换处理。
在步骤S330，通过所述分类神经网络，获取所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据，其中，所述第二样本图像为负样本，所述第三样本图像为正样本。
如图4的下半部分所示，通过具有残差网络模块、池化层和全连接层的分类神经网络，分别对作为负样本的第二样本图像420和作为负样本的第三样本图像430进行检测，获得低美学质量或高美学质量的检测结果D2。
在步骤S340，根据获取到的各个第二样本图像的效果分类检测数据训练所述参数生成神经网络，并且根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络。
根据本发明的一种可选实施方式，在步骤S340中，根据获取到的各个第二样本图像的效果分类检测数据训练所述参数生成神经网络的处理可包括操作S341和/或操作S343，以及操作S345。
在操作S341，计算获取到的各个第二样本图像的效果分类检测数据的平均损失值。
这里，由于第二样本图像作为训练分类神经网络的负样本，因此通过各个第二样本图像的效果分类检测数据计算出的平均损失值表征通过参数生成神经网络生成的图像效果变换参数的质量。
在操作S343，通过所述分类神经网络获取所述第一样本图像的效果分类检测数据，并且确定获取到的各个第二样本图像的效果分类检测数据和相应的第一样本图像的效果分类检测数据之间的第一差异损失值。
通过对原始的第一样本图像进行图像效果分类检测，并且将从各个第一样本图像检测到的效果分类检测数据和相应的各个第二样本图像的效果分类检测数据进行比较，获取第一差异损失值，该第一差异损失值表征通过参数生成神经网络得到的检测结果处理得到的第二样本图像在图像效果上是否有提高。
在操作S345，根据所述平均损失值和/或所述第一差异损失值，调整所述参数生成神经网络的网络参数。
具体地，在计算获得平均损失值和第一差异损失值的情况下，可对两者进行加权求和或取两者的平均值，再通过这两种的加权和或者平均值来调整所述参数生成神经网络的网络参数。例如，向参数生成神经网络反向传输正的梯度，使用该加权和或者平均值来迭代地训练参数生成神经网络，从而可通过多于一种评估指标来训练参数生成神经网络。
另一方面，根据本发明的一种可选实施方式，在步骤S340中，根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络的处理可包括操作S347以及操作S349。
在操作S347，计算所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据之间的第二差异损失值。
具体地，根据获取到的第二样本图像(负样本)的效果分类检测数据和第三样本图像(正样本)的效果分类检测数据来计算指示图像效果分类检测的第二差异损失值，例如，计算从分类神经网络获取到的正样本的效果分类检测数据和负样本的效果分类检测数据之间的差值，将获得的差值作为第二差异损失值；或者，可将获取到的正样本的效果分类检测数据的平均值和负样本的效果分类检测数据的平均值相减，再将相减获得的差值作为第二差异损失值。由于对于负样本来说，获取到的效果分类检测数据通常较正样本的效果分类检测数据低，因此，当从作为负样本的第二样本图像获取到的效果分类检测数据接近正样本的效果分类检测数据时，第二差异损失值变小，训练得到的分类神经网络接近预期。
在操作S349，根据所述第二差异损失值，调整所述分类神经网络的网络参数。
对于作为正样本的第三样本图像，向分类神经网络反向传播值为正的梯度；对于作为负样本的第二样本图像，向分类神经网络反向传播值为负的梯度，使用计算得到的第二差异损失值来迭代地训练分类神经网络。
具体地，通过步骤S340的处理，对参数生成神经网络中与第一输出分支相关的网络参数或与第二输出分支相关的网络参数进行调整。
此外，在参数生成神经网络同时设有第一输出分支和第二输出分支的情况下，可先通过步骤S310～S340的处理训练与其中一个输出分支相关的网络参数，从而使得参数生成神经网络能够生成较佳的一种图像效果变换参数；此后，再通过步骤S310～S340的处理训练与另一个输出分支相关的网络参数，使得参数生成神经网络能够生成较佳的另一种图像效果变换参数。由此，实现多任务、多阶段的用于图像效果变换的神经网络的训练。
根据本发明实施例三的图像处理神经网络的训练方法，在实施例一的基础上，可基于生成对抗网络的弱监督学习方法，仅基于图像效果分类的标注数据作为训练的监督信息，训练用于生成多种图像效果变换参数的图像处理神经网络(参数生成神经网络)。具体地，可先完成与一种图像效果变换参数的生成相关的网络参数的训练，然后再训练与另一种图像效果变换参数的生成相关的网络参数，以此类推，从此多任务、多阶段地训练能够生成多种图像效果变换参数的图像处理神经网络。
实施例四
图7是示出根据本发明实施例四的图像处理方法的流程图。
参照图7，在步骤S710，通过前述参数生成神经网络，获取待处理图像的图像效果变换参数。
具体地，将待处理图像输入已训练好的参数生成神经网络，来获取例如图像剪裁数据、色彩变换数据、图像缩放数据等的图像效果变换参数的预测数据。
在步骤S720，根据所述图像效果变换参数，对所述待处理图像进行效果变换处理。
该步骤的处理与前述步骤S120的处理类似，在此不予赘述。
根据本发明实施例四的图像处理方法，通过基于生成对抗网络的弱监督学习方法训练得到的图像处理神经网络，为待处理图像生成质量好、颗粒度的图像效果变换参数，并且根据生成的图像效果变换参数，对所述待处理图像进行图像效果变换处理，从而能够自动地获得具有预期图像效果的图像。
实施例五
图8是示出根据本发明实施例五的图像处理方法的流程图。
如前所述，图像效果变换参数可包括，但不限于，至少一种以下参数：用于图像剪裁的第一参数和用于图像色彩增强的第二参数。
相应地，在参数生成神经网络的末端可分别设置有用于图像剪裁的第一参数的第一输出分支和/或用于图像色彩增强的第二参数的第二输出分支。
参照图8，在步骤S810，通过前述参数生成神经网络，获取待处理图像的第一参数和/或第二参数。
如果参数生成神经网络设置有第一输出分支，则通过步骤S810的处理，获取待处理图像的第一参数的预测数据；如果参数生成神经网络设置有第二输出分支，则通过步骤S810的处理，获取待处理图像的第二参数的预测数据；参数生成神经网络设置有第一输出分支和第二输出分支，则通过步骤S810的处理，从第一输出分支和第二输出分支分别获取到待处理图像的第一参数和第二参数的预测数据。
在步骤S820，根据获取到的第一参数和/或第二参数，对对所述待处理图像进行效果变换理。
具体地，如果通过步骤S810的处理，获取到第一参数，则在步骤S820，根据第一参数的预测数据，对所述待处理图像进行剪裁，以得到经过尺寸剪裁、美感更高的图像。
如果通过步骤S810的处理，获取到第二参数，则在步骤S820，根据第二参数的预测数据，对待处理图像进行色彩变换，以获得色彩增强、美学质量更高的图像。
如果通过步骤S810的处理，获取到第一参数和第二参数，则可先根据第一参数对待处理图像进行尺寸剪裁，再根据第二参数对经过剪裁的待处理图像中的相应像素进行色彩变换；或者，可根据第二参数对待处理图像中的像素进行色彩变换，再根据第一参数对经过色彩变换的待处理图像进行尺寸剪裁。可根据应用的需要，确定先执行图像剪裁处理还是色彩变换处理。
根据本发明实施例五的图像处理方法，通过基于生成对抗网络的弱监督学习方法训练得到的图像处理神经网络，为待处理图像生成质量好、颗粒度的多种图像效果变换参数，并且根据生成的图像效果变换参数，对所述待处理图像进行多种图像效果变换处理，从而能够自动地获得具有预期图像处理效果的图像。
实施例六
图9示出根据本发明实施例六的图像处理神经网络的训练装置的逻辑框图。
参照图9，实施例六的图像处理神经网络的训练装置包括参数检测模块910、样本图像变换模块920、分类检测模块930和第一网络训练模块940。
参数检测模块910用于通过参数生成神经网络，获取第一样本图像的图像效果变换参数，所述第一样本图像含有图像效果分类标注信息，所述参数生成神经网络用于生成图像效果变换参数。
样本图像变换模块920用于根据所述图像效果变换参数，将所述第一样本图像变换为第二样本图像。
分类检测模块930用于通过分类神经网络，获取所述第二样本图像的效果分类检测数据，所述分类神经网络用于对图像效果进行分类。
第一网络训练模块940用于根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练所述参数生成神经网络。
本实施例的图像处理神经网络的训练装置用于实现前述方法实施例中相应的图像处理神经网络的训练方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例七
图10示出根据本发明实施例七的图像处理神经网络的训练装置的逻辑框图。
根据本发明实施例七，可选地，所述图像效果分类标注信息包括指示高质量图像的标注信息或指示低质量图像的标注信息；或者，所述图像效果分类标注信息包括指示图像质量正样本的标注信息或指示图像质量负样本的标注信息。
可选地，分类检测模块930用于通过所述分类神经网络，获取所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据，其中，所述第二样本图像为负样本，所述第三样本图像为正样本。
参照图10，实施例七的图像处理神经网络的训练装置还包括第二网络训练模块950。
第二网络训练模块950用于根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络。
可选地，该装置还包括：参数生成网络生成模块960，用于移除通用分类神经网络末端的分类器层和池化层，获取图像特征提取器，通过将所述图像特征提取器作为第一基准网络并在所述第一基准网络的末端添加用于生成图像效果变换参数的卷积层，构建所述参数生成神经网络。
在此基础上，可选地，所述装置还包括：分类网络生成模块970，用于通过将所述图像特征提取器作为第二基准网络并在所述第二基准网络的末端添加第一池化层和分类器层，构建所述分类神经网络。
可选地，所述图像效果变换参数包括至少一种以下参数：用于图像剪裁的第一参数和用于图像色彩增强的第二参数。
可选地，所述用于图像剪裁的第一参数包括图像剪裁坐标数据，以及/或者，所述用于图像色彩增强的第二参数包括LAB颜色空间的L分量变换参数、A分量变换参数和B分量变换参数。
可选地，L分量变换参数包括像素值的L分量变换阈值，A分量变换参数包括像素值的A分量变换阈值，B分量变换参数包括像素值的B分量变换阈值。
可选地，第一网络训练模块940包括：第一计算单元941，用于计算获取到的各个第二样本图像的效果分类检测数据的平均损失值，以及/或者，第二计算单元942，用于通过所述分类神经网络获取所述第一样本图像的效果分类检测数据，并且确定获取到的各个第二样本图像的效果分类检测数据和相应的第一样本图像的效果分类检测数据之间的第一差异损失值；第一训练单元943，用于根据所述平均损失值和/或所述第一差异损失值，调整所述参数生成神经网络的网络参数。
可选地，第二网络训练模块950包括：第三计算单元951，用于计算所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据之间的第二差异损失值；第二训练单元952，用于根据所述第二差异损失值，调整所述分类神经网络的网络参数。
可选地，在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支。
可选地，第一网络训练模块940用于根据所述第二样本图像的效果分类检测数据训练所述参数生成神经网络的第一输出分支或第二输出分支。
可选地，在所述第一输出分支和所述第二输出分支的末端还设有用于筛选参数的第二池化层。
本实施例的图像处理神经网络的训练装置用于实现前述方法实施例中相应的图像处理神经网络的训练方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例八
图11示出根据本发明实施例八的图像处理装置的逻辑框图。
参照图11，实施例八的图像处理装置包括参数获取模块1110和待检图像变换模块1120。
参数获取模块1110用于通过用于生成图像效果变换参数的参数生成神经网络，获取待处理图像的图像效果变换参数的预测数据，所述参数生成神经网络为根据前述任一训练方法训练获得的参数生成神经网络。
待检图像变换模块1120用于根据所述图像效果变换参数的预测数据，对所述待处理图像进行图像效果变换处理。
本实施例的图像处理装置用于实现前述方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例九
图12示出根据本发明实施例九的图像处理装置的逻辑框图。
根据本发明实施例九，可选地，所述图像效果变换参数包括至少一种以下参数：用于图像剪裁的第一参数和用于图像色彩增强的第二参数。
可选地，在所述参数生成神经网络的末端分别设置有用于图像剪裁的第一参数的第一输出分支和用于图像色彩增强的第二参数的第二输出分支。
可选地，待检图像变换模块1120包括：
第一剪裁单元1121，用于根据所述图像剪裁的参数的预测数据，对所述待处理图像进行剪裁；
第一色彩变换单元1123，用于根据所述用于图像色彩增强的第二参数的预测数据，对经过剪裁的待处理图像中相应的图像像素进行色彩变换。
可选地，待检图像变换模块1120包括：
第二色彩变换单元1125，用于根据所述用于图像色彩增强的第二参数的预测数据，对所述待处理图像中的图像像素进行色彩变换；
第二剪裁单元1127，用于根据所述图像剪裁的参数的预测数据，对所述经过色彩变换的待处理图像进行剪裁。
本实施例的图像处理装置用于实现前述方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例十
根据本发明实施例十二提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一图像处理神经网络的训练方法的步骤。
根据本发明实施例十二还提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一图像处理方法的步骤。
实施例十一
图13是示出根据本发明实施例十一的第一电子设备的结构示意图。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图13，其示出了适于用来实现本发明实施例的终端设备或服务器的第一电子设备1300的结构示意图。
如图13所示，第一电子设备1300包括一个或多个第一处理器、第一通信元件等，所述一个或多个第一处理器例如：一个或多个第一中央处理单元(CPU)1301，和/或一个或多个第一图像处理器(GPU)1313等，第一处理器可以根据存储在第一只读存储器(ROM)1302中的可执行指令或者从第一存储部分1308加载到第一随机访问存储器(RAM)1303中的可执行指令而执行各种适当的动作和处理。第一通信元件包括第一通信组件1312和第一通信接口1309。其中，第一通信组件1312可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，第一通信接口1309包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，第一通信接口1309经由诸如因特网的网络执行通信处理。
第一处理器可与第一只读存储器1702和/或第一随机访问存储器1730中通信以执行可执行指令，通过第一总线1704与第一通信组件1712相连、并经第一通信组件1712与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，通过参数生成神经网络，获取第一样本图像的图像效果变换参数，所述第一样本图像含有图像效果分类标注信息，所述参数生成神经网络用于生成图像效果变换参数；根据所述图像效果变换参数，将所述第一样本图像变换为第二样本图像；通过分类神经网络，获取所述第二样本图像的效果分类检测数据，所述分类神经网络用于对图像效果进行分类；根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练所述参数生成神经网络。
此外，在第一RAM 1303中，还可存储有装置操作所需的各种程序和数据。第一CPU1301、第一ROM1302以及第一RAM1303通过第一总线1304彼此相连。在有第一RAM1303的情况下，第一ROM1302为可选模块。第一RAM1303存储可执行指令，或在运行时向第一ROM1302中写入可执行指令，可执行指令使第一处理器1301执行上述通信方法对应的操作。第一输入/输出(I/O)接口1305也连接至第一总线1304。第一通信组件1312可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至第一I/O接口1305：包括键盘、鼠标等的第一输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的第一输出部分1307；包括硬盘等的第一存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的第一通信接口1309。第一驱动器1310也根据需要连接至第一I/O接口1305。第一可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在第一驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入第一存储部分1308。
需要说明的是，如图13所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图13的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，第一通信组件1312可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，用于通过参数生成神经网络，获取第一样本图像的图像效果变换参数的可执行代码，所述第一样本图像含有图像效果分类标注信息，所述参数生成神经网络用于生成图像效果变换参数；用于根据所述图像效果变换参数，将所述第一样本图像变换为第二样本图像的可执行代码；用于通过分类神经网络，获取所述第二样本图像的效果分类检测数据的可执行代码，所述分类神经网络用于对图像效果进行分类；用于根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练所述参数生成神经网络的可执行代码。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从第一可拆卸介质1311被安装。在该计算机程序被第一中央处理单元(CPU)1301执行时，执行本发明实施例的方法中限定的上述功能。
本发明实施例十一提供的电子设备，基于生成对抗网络，仅基于图像效果分类的简单、直观标注数据作为训练的监督信息，而无需对选取的(第一样本图像)进行精准的图像效果参数数据标注，通过弱监督学习方式来训练用于生成图像效果变换参数的参数生成神经网络，因此便于选取大量的训练样本来训练参数生成神经网络，从而获得质量较高的图像效果变换参数的数据。
实施例十二
图14是示出根据本发明实施例十二的第二电子设备的结构示意图。
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图14，其示出了适于用来实现本发明实施例的终端设备或服务器的第二电子设备1400的结构示意图。
如图14所示，第二电子设备1400包括一个或多个第二处理器、第二通信元件等，所述一个或多个第二处理器例如：一个或多个第二中央处理单元(CPU)1401，和/或一个或多个第二图像处理器(GPU)1413等，第二处理器可以根据存储在第二只读存储器(ROM)1402中的可执行指令或者从第二存储部分1408加载到第二随机访问存储器(RAM)1403中的可执行指令而执行各种适当的动作和处理。第二通信元件包括第二通信组件1412和第二通信接口1409。其中，第二通信组件1412可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，第二通信接口1409包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，第二通信接口1409经由诸如因特网的网络执行通信处理。
第二处理器可与第二只读存储器1402和/或第二随机访问存储器1430中通信以执行可执行指令，通过第二总线1404与第二通信组件1412相连、并经第二通信组件1412与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，通过用于生成图像效果变换参数的参数生成神经网络，获取待处理图像的图像效果变换参数的预测数据，所述参数生成神经网络为根据前述任一训练方法训练获得的参数生成神经网络；根据所述图像效果变换参数的预测数据，对所述待处理图像进行图像效果变换处理。
此外，在第二RAM 1403中，还可存储有装置操作所需的各种程序和数据。第二CPU1401、第二ROM1402以及第二RAM1403通过第二总线1404彼此相连。在有第二RAM1403的情况下，第二ROM1402为可选模块。第二RAM1403存储可执行指令，或在运行时向第二ROM1402中写入可执行指令，可执行指令使第二处理器1401执行上述通信方法对应的操作。第二输入/输出(I/O)接口1405也连接至第二总线1404。第二通信组件1412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至第二I/O接口1405：包括键盘、鼠标等的第二输入部分1406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的第二输出部分1407；包括硬盘等的第二存储部分1408；以及包括诸如LAN卡、调制解调器等的网络接口卡的第二通信接口1409。第二驱动器1410也根据需要连接至第二I/O接口1405。第二可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在第二驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入第二存储部分1408。
需要说明的是，如图14所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图14的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，第二通信组件1412可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，用于通过用于生成图像效果变换参数的参数生成神经网络，获取待处理图像的图像效果变换参数的预测数据的可执行代码，所述参数生成神经网络为根据前述任一训练方法训练获得的参数生成神经网络；用于根据所述图像效果变换参数的预测数据，对所述待处理图像进行图像效果变换处理的可执行代码。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从第二可拆卸介质1411被安装。在该计算机程序被第二中央处理单元(CPU)1401执行时，执行本发明实施例的方法中限定的上述功能。
本发明实施例十二提供的电子设备，通过基于生成对抗网络的弱监督学习方法训练得到的图像处理神经网络，为待处理图像生成质量好、颗粒度的多种图像效果变换参数，并且根据生成的图像效果变换参数，对所述待处理图像进行多种图像效果变换处理，从而能够自动地获得具有预期图像处理效果的图像。
需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明实施例的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明实施例的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (10)
1.一种图像处理神经网络的训练方法，包括：
通过参数生成神经网络，获取第一样本图像的图像效果变换参数，所述第一样本图像含有图像效果分类标注信息，所述参数生成神经网络用于生成图像效果变换参数；
根据所述图像效果变换参数，将所述第一样本图像变换为第二样本图像；
通过分类神经网络，获取所述第二样本图像的效果分类检测数据，所述分类神经网络用于对图像效果进行分类；
根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练所述参数生成神经网络。
2.根据权利要求1所述的方法，其中，所述通过分类神经网络，获取所述第二样本图像的效果分类检测数据包括：
通过所述分类神经网络，获取所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据，其中，所述第二样本图像为负样本，所述第三样本图像为正样本；
所述方法还包括：
根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络。
3.一种图像处理方法，包括：
通过用于生成图像效果变换参数的参数生成神经网络，获取待处理图像的图像效果变换参数的预测数据，所述参数生成神经网络为根据权利要求1～2中任一项所述的训练方法训练获得的参数生成神经网络；
根据所述图像效果变换参数的预测数据，对所述待处理图像进行图像效果变换处理。
4.一种图像处理神经网络的训练装置，包括：
参数检测模块，用于通过参数生成神经网络，获取第一样本图像的图像效果变换参数，所述第一样本图像含有图像效果分类标注信息，所述参数生成神经网络用于生成图像效果变换参数；
样本图像变换模块，用于根据所述图像效果变换参数，将所述第一样本图像变换为第二样本图像；
分类检测模块，用于通过分类神经网络，获取所述第二样本图像的效果分类检测数据，所述分类神经网络用于对图像效果进行分类；
第一网络训练模块，用于根据所述第二样本图像的效果分类检测数据及所述第一样本图像的图像效果分类标注信息，训练所述参数生成神经网络。
5.根据权利要求4所述的装置，其中，所述分类检测模块用于通过所述分类神经网络，获取所述第二样本图像的效果分类检测数据和第三样本图像的效果分类检测数据，其中，所述第二样本图像为负样本，所述第三样本图像为正样本；
所述装置还包括：
第二网络训练模块，用于根据获取到的各个第二样本图像的效果分类检测数据和各个第三样本图像的效果分类检测数据训练所述分类神经网络。
6.一种图像处理装置，包括：
参数获取模块，用于通过用于生成图像效果变换参数的参数生成神经网络，获取待处理图像的图像效果变换参数的预测数据，所述参数生成神经网络为根据权利要求1～2中任一项所述的训练方法训练获得的参数生成神经网络；
待检图像变换模块，用于根据所述图像效果变换参数的预测数据，对所述待处理图像进行图像效果变换处理。
7.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求1～2中任一项所述图像处理神经网络的训练方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求3所述图像处理方法的步骤。
9.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1～2中任一项所述图像处理神经网络的训练方法对应的操作。
10.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求3所述图像处理方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710458606.3A CN108229526B (zh) | 2017-06-16 | 2017-06-16 | 网络训练、图像处理方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710458606.3A CN108229526B (zh) | 2017-06-16 | 2017-06-16 | 网络训练、图像处理方法、装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108229526A true CN108229526A (zh) | 2018-06-29 |
| CN108229526B CN108229526B (zh) | 2020-09-29 |
Family
ID=62658164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710458606.3A Active CN108229526B (zh) | 2017-06-16 | 2017-06-16 | 网络训练、图像处理方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108229526B (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583497A (zh) * | 2018-11-29 | 2019-04-05 | 中电科嘉兴新型智慧城市科技发展有限公司 | 一种对抗生成网络智能判断的数据质量规则自动生成方法及系统 |
| CN109859116A (zh) * | 2018-12-29 | 2019-06-07 | 北京三快在线科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN109871883A (zh) * | 2019-01-24 | 2019-06-11 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置、电子设备和存储介质 |
| CN110135583A (zh) * | 2019-05-23 | 2019-08-16 | 北京地平线机器人技术研发有限公司 | 标注信息的生成方法、标注信息的生成装置和电子设备 |
| CN110189303A (zh) * | 2019-05-07 | 2019-08-30 | 上海珍灵医疗科技有限公司 | 一种基于深度学习和图像增强的nbi图像处理方法及其应用 |
| CN110322002A (zh) * | 2019-04-30 | 2019-10-11 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
| CN110728188A (zh) * | 2019-09-11 | 2020-01-24 | 北京迈格威科技有限公司 | 图像处理方法、装置、系统和存储介质 |
| CN111382061A (zh) * | 2018-12-29 | 2020-07-07 | 北京搜狗科技发展有限公司 | 一种测试方法、装置、介质和电子设备 |
| CN111461246A (zh) * | 2020-04-09 | 2020-07-28 | 北京爱笔科技有限公司 | 一种图像分类方法及装置 |
| CN111507362A (zh) * | 2019-01-30 | 2020-08-07 | 中强光电股份有限公司 | 神经网络的训练方法、基于神经网络的分类方法及其装置 |
| CN112446396A (zh) * | 2019-08-30 | 2021-03-05 | 北京地平线机器人技术研发有限公司 | 用于目标检测的神经网络训练方法、目标检测方法及装置 |
| CN112703509A (zh) * | 2018-08-07 | 2021-04-23 | 布赖凯科技股份有限公司 | 用于图像增强的人工智能技术 |
| CN113099121A (zh) * | 2021-04-15 | 2021-07-09 | 西安交通大学 | 一种基于弱监督学习的isp实现方法 |
| CN113283467A (zh) * | 2021-04-14 | 2021-08-20 | 南京大学 | 一种基于平均损失和逐类选择的弱监督图片分类方法 |
| CN113454649A (zh) * | 2021-06-17 | 2021-09-28 | 商汤国际私人有限公司 | 目标检测方法、装置、电子设备和计算机可读存储介质 |
| CN113474769A (zh) * | 2019-02-20 | 2021-10-01 | 日立产业控制解决方案有限公司 | 图像检索装置以及监督数据提取方法 |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11410344B2 (en) | 2019-02-02 | 2022-08-09 | Shenzhen Sensetime Technology Co., Ltd. | Method for image generation, electronic device, and storage medium |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| WO2022263904A1 (en) * | 2021-06-17 | 2022-12-22 | Sensetime International Pte. Ltd. | Target detection methods, apparatuses, electronic devices and computer-readable storage media |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| WO2023071793A1 (zh) * | 2021-10-29 | 2023-05-04 | 华为技术有限公司 | 神经网络的构建方法和装置 |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| WO2020077117A1 (en) | 2018-10-11 | 2020-04-16 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106803082A (zh) * | 2017-01-23 | 2017-06-06 | 重庆邮电大学 | 一种基于条件式生成对抗网络的在线笔迹识别方法 |
-
2017
- 2017-06-16 CN CN201710458606.3A patent/CN108229526B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106803082A (zh) * | 2017-01-23 | 2017-06-06 | 重庆邮电大学 | 一种基于条件式生成对抗网络的在线笔迹识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHAO DONG ET AL: "Accelerating the Super-Resolution Convolutional Neural Network", 《ECCV 2016》 * |
| CHAO DONG ET AL: "Boosting Optical Character Recognition:A Super-Resolution Approach", 《ARXIV:1506.02211V1 [CS.CV]》 * |
| CHRISTIAN LEDIG ET AL: "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network", 《ARXIV:1609.04802V1 [CS.CV]》 * |
Cited By (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12020476B2 (en) | 2017-03-23 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US12086097B2 (en) | 2017-07-24 | 2024-09-10 | Tesla, Inc. | Vector computational unit |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US12079723B2 (en) | 2018-07-26 | 2024-09-03 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11995800B2 (en) | 2018-08-07 | 2024-05-28 | Meta Platforms, Inc. | Artificial intelligence techniques for image enhancement |
| CN112703509A (zh) * | 2018-08-07 | 2021-04-23 | 布赖凯科技股份有限公司 | 用于图像增强的人工智能技术 |
| US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| CN109583497A (zh) * | 2018-11-29 | 2019-04-05 | 中电科嘉兴新型智慧城市科技发展有限公司 | 一种对抗生成网络智能判断的数据质量规则自动生成方法及系统 |
| CN109583497B (zh) * | 2018-11-29 | 2023-07-04 | 中电科嘉兴新型智慧城市科技发展有限公司 | 一种对抗生成网络智能判断的数据质量规则自动生成方法及系统 |
| US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| CN109859116B (zh) * | 2018-12-29 | 2020-11-10 | 北京三快在线科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN111382061A (zh) * | 2018-12-29 | 2020-07-07 | 北京搜狗科技发展有限公司 | 一种测试方法、装置、介质和电子设备 |
| CN109859116A (zh) * | 2018-12-29 | 2019-06-07 | 北京三快在线科技有限公司 | 图像处理模型的训练方法、装置、电子设备及存储介质 |
| CN111382061B (zh) * | 2018-12-29 | 2024-05-17 | 北京搜狗科技发展有限公司 | 一种测试方法、装置、介质和电子设备 |
| CN109871883B (zh) * | 2019-01-24 | 2022-04-05 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置、电子设备和存储介质 |
| CN109871883A (zh) * | 2019-01-24 | 2019-06-11 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置、电子设备和存储介质 |
| CN111507362A (zh) * | 2019-01-30 | 2020-08-07 | 中强光电股份有限公司 | 神经网络的训练方法、基于神经网络的分类方法及其装置 |
| CN111507362B (zh) * | 2019-01-30 | 2023-12-19 | 中强光电股份有限公司 | 神经网络的训练方法、基于神经网络的分类方法及其装置 |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11410344B2 (en) | 2019-02-02 | 2022-08-09 | Shenzhen Sensetime Technology Co., Ltd. | Method for image generation, electronic device, and storage medium |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| CN113474769A (zh) * | 2019-02-20 | 2021-10-01 | 日立产业控制解决方案有限公司 | 图像检索装置以及监督数据提取方法 |
| CN110322002B (zh) * | 2019-04-30 | 2022-01-04 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
| CN110322002A (zh) * | 2019-04-30 | 2019-10-11 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
| CN110189303B (zh) * | 2019-05-07 | 2020-12-25 | 武汉楚精灵医疗科技有限公司 | 一种基于深度学习和图像增强的nbi图像处理方法及其应用 |
| CN110189303A (zh) * | 2019-05-07 | 2019-08-30 | 上海珍灵医疗科技有限公司 | 一种基于深度学习和图像增强的nbi图像处理方法及其应用 |
| CN110135583A (zh) * | 2019-05-23 | 2019-08-16 | 北京地平线机器人技术研发有限公司 | 标注信息的生成方法、标注信息的生成装置和电子设备 |
| CN112446396A (zh) * | 2019-08-30 | 2021-03-05 | 北京地平线机器人技术研发有限公司 | 用于目标检测的神经网络训练方法、目标检测方法及装置 |
| CN110728188B (zh) * | 2019-09-11 | 2022-12-02 | 北京迈格威科技有限公司 | 图像处理方法、装置、系统和存储介质 |
| CN110728188A (zh) * | 2019-09-11 | 2020-01-24 | 北京迈格威科技有限公司 | 图像处理方法、装置、系统和存储介质 |
| CN111461246A (zh) * | 2020-04-09 | 2020-07-28 | 北京爱笔科技有限公司 | 一种图像分类方法及装置 |
| CN113283467A (zh) * | 2021-04-14 | 2021-08-20 | 南京大学 | 一种基于平均损失和逐类选择的弱监督图片分类方法 |
| CN113099121A (zh) * | 2021-04-15 | 2021-07-09 | 西安交通大学 | 一种基于弱监督学习的isp实现方法 |
| AU2021204563A1 (en) * | 2021-06-17 | 2023-01-19 | Sensetime International Pte. Ltd. | Target detection methods, apparatuses, electronic devices and computer-readable storage media |
| WO2022263904A1 (en) * | 2021-06-17 | 2022-12-22 | Sensetime International Pte. Ltd. | Target detection methods, apparatuses, electronic devices and computer-readable storage media |
| CN113454649B (zh) * | 2021-06-17 | 2024-05-24 | 商汤国际私人有限公司 | 目标检测方法、装置、电子设备和计算机可读存储介质 |
| CN113454649A (zh) * | 2021-06-17 | 2021-09-28 | 商汤国际私人有限公司 | 目标检测方法、装置、电子设备和计算机可读存储介质 |
| WO2023071793A1 (zh) * | 2021-10-29 | 2023-05-04 | 华为技术有限公司 | 神经网络的构建方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108229526B (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229526B (zh) | 网络训练、图像处理方法、装置、存储介质和电子设备 | |
| CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
| CN108229490B (zh) | 关键点检测方法、神经网络训练方法、装置和电子设备 | |
| JP4590471B2 (ja) | 背景色を推定する方法およびシステム | |
| US20140286527A1 (en) | Systems and methods for accelerated face detection | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN111597845A (zh) | 一种二维码检测方法、装置、设备及可读存储介质 | |
| JP2020197915A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US20220414827A1 (en) | Training apparatus, training method, and medium | |
| CN118134788B (zh) | 图像融合方法、装置、存储介质以及终端 | |
| CN112348809A (zh) | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 | |
| US11928799B2 (en) | Electronic device and controlling method of electronic device | |
| CN113743378B (zh) | 一种基于视频的火情监测方法和装置 | |
| WO2011033744A1 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
| CN111899239A (zh) | 图像处理方法和装置 | |
| Zou et al. | Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery | |
| CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
| US20210374480A1 (en) | Arithmetic device, arithmetic method, program, and discrimination system | |
| Hung et al. | Moran’s I for impulse noise detection and removal in color images | |
| CN114998172A (zh) | 图像处理方法及相关系统 | |
| CN113470028A (zh) | 染色体核型图像质量评估方法、染色体分析仪和存储介质 | |
| CN115914765A (zh) | 一种画质调节方法、装置、设备及介质 | |
| CN114764839A (zh) | 动态视频生成方法、装置、可读存储介质及终端设备 | |
| CN114742741A (zh) | 视频画面质量评价方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |