CN109961102A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN109961102A
CN109961102A CN201910253934.9A CN201910253934A CN109961102A CN 109961102 A CN109961102 A CN 109961102A CN 201910253934 A CN201910253934 A CN 201910253934A CN 109961102 A CN109961102 A CN 109961102A
Authority
CN
China
Prior art keywords
processing method
parameter
image data
feature parameter
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910253934.9A
Other languages
English (en)
Other versions
CN109961102B (zh
Inventor
潘新钢
罗平
石建萍
汤晓鸥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910253934.9A priority Critical patent/CN109961102B/zh
Publication of CN109961102A publication Critical patent/CN109961102A/zh
Priority to PCT/CN2019/121180 priority patent/WO2020199619A1/zh
Priority to JP2020563944A priority patent/JP2021526678A/ja
Priority to KR1020207032622A priority patent/KR102428054B1/ko
Priority to SG11202010734RA priority patent/SG11202010734RA/en
Priority to US17/086,713 priority patent/US20210049403A1/en
Application granted granted Critical
Publication of CN109961102B publication Critical patent/CN109961102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，其中方法包括：根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，所述处理方法集合中包括白化方法和/或标准化方法中的至少两种，所述待处理图像数据中包括至少一个图像数据；根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均；根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理，可以实现图像处理中的自适应白化操作，提升图像处理效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
卷积神经网络已经成为计算机视觉领域的主流方法。对于不同的计算机视觉任务，研究者们开发出了不同的标准化(normalization)及白化(whitening)方法。图像标准化是将数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果,数据标准化是数据预处理的常见方法之一。而白化的目的是去除输入数据的冗余信息。
可见在计算机视觉任务中标准化及白化的应用十分重要。目前，在图像处理中多样的标准化和白化方法各有优缺点，图像处理效果不够全面，此外也使设计卷积神经网络模型的空间和难度较大。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，可以提高图像配准的精度和实时性。
本申请实施例第一方面提供一种图像处理方法，包括：
根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，所述处理方法集合中包括白化方法和/或标准化方法中的至少两种，所述待处理图像数据中包括至少一个图像数据；
根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均；
根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理。
在一种可选的实施方式中，所述第一特征参数为均值向量，所述第二特征参数为协方差矩阵。
在一种可选的实施方式中，根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理的步骤，是由神经网络执行的；
预设的处理方法集合中的一种处理方法的第一特征参数的权重系数采用下述方法确定：预设的处理方法集合中的该处理方法的第一特征参数的权重系数是利用所述神经网络中该处理方法的第一控制参数的值根据归一化指数函数确定的；
预设的处理方法集合中的一种处理方法的第二特征参数的权重系数采用下述方法确定：该处理方法的第二特征参数的权重系数是利用所述神经网络中该处理方法的第二控制参数的值根据归一化指数函数确定的。
在一种可选的实施方式中，所述预设的处理方法集合中的各处理方法的第一控制参数和第二控制参数采用以下步骤获得：
基于神经网络模型的反向传播方法，通过最小化待训练的神经网络的损失函数对所述待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数进行联合优化；
将所述待训练神经网络的损失函数最小时的各第一控制参数的值作为训练完成的神经网络的各第一控制参数的值；
将所述待训练神经网络的损失函数最小时的各第二控制参数的值作为训练完成的神经网络的各第二控制参数的值。
在一种可选的实施方式中，基于神经网络模型的反向传播方法，通过最小化待训练的神经网络的损失函数对所述待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数进行联合优化，包括：
所述待训练的神经网络根据所述预设的处理方法集合中的各处理方法的第一特征参数的加权平均和各处理方法的第二特征参数的加权平均，对训练用的图像数据进行白化处理，并输出预测结果；其中，所述预设的处理方法集合中的第一处理方法的第一控制参数的初始值为第一预设值，所述预设的处理方法集合中的第一处理方法的第二控制参数的初始值为第二预设值；
根据所述待训练的神经网络输出的预测结果和所述训练用的图像数据的标注结果确定所述神经网络的损失函数；
根据所述待训练的神经网络的损失函数调整所述待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数。
在一种可选的实施方式中，所述根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理包括：
根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，以及所述待处理图像数据的通道数量、高度和宽度，对所述待处理图像数据中的各个图像数据进行白化处理。
在一种可选的实施方式中，所述标准化方法包括以下至少一种：批标准化方法、实例标准化方法、层标准化方法。
在一种可选的实施方式中，所述白化方法包括以下至少一种：批白化方法、实例白化方法。
本申请实施例第二方面提供一种图像处理装置，包括：确定模块、加权模块和白化处理模块，其中：
所述确定模块，用于根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，所述处理方法集合中包括白化方法和/或标准化方法中的至少两种，所述待处理图像数据中包括至少一个图像数据；
所述加权模块，用于根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均；
所述白化处理模块，用于根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理。
在一种可选的实施方式中，所述第一特征参数为均值向量，所述第二特征参数为协方差矩阵。
在一种可选的实施方式中，所述白化处理模块的功能由神经网络执行；
预设的处理方法集合中的一种处理方法的第一特征参数的权重系数是利用所述神经网络中该处理方法的第一控制参数的值根据归一化指数函数确定的；
该处理方法的第二特征参数的权重系数是利用所述神经网络中该处理方法的第二控制参数的值根据归一化指数函数确定的。
在一种可选的实施方式中，本申请实施例第二方面提供一种图像处理装置还包括训练模块，所述第一控制参数和所述第二控制参数是在所述训练模块对所述神经网络进行训练时获得，所述训练模块用于：
基于神经网络模型的反向传播方法，通过最小化所述神经网络的损失函数对所述第一控制参数、所述第二控制参数和所述神经网络的网络参数进行联合优化；
将所述神经网络的损失函数最小时的第一控制参数的值作为所述神经网络的第一控制参数的值；
将所述神经网络的损失函数最小时的第二控制参数的值作为所述神经网络的第二控制参数的值。
在一种可选的实施方式中，所述训练模块具体用于：
根据待训练的神经网络中预设的处理方法集合中的各处理方法的第一特征参数的加权平均和各处理方法的第二特征参数的加权平均，对训练用的图像数据进行白化处理，并输出预测结果；其中，所述预设的处理方法集合中的第一处理方法的第一控制参数的初始值为第一预设值，所述预设的处理方法集合中的第一处理方法的第二控制参数的初始值为第二预设值；
根据所述待训练的神经网络输出的预测结果和所述训练用的图像数据的标注结果确定所述神经网络的损失函数；
根据所述待训练的神经网络的损失函数调整所述待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数。
在一种可选的实施方式中，所述白化处理模块具体用于：
根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，以及所述待处理图像数据的通道数量、高度和宽度，对所述待处理图像数据中的各个图像数据进行白化处理。
在一种可选的实施方式中，所述标准化方法包括以下至少一种：批标准化方法、实例标准化方法、层标准化方法。
在一种可选的实施方式中，所述白化方法包括以下至少一种：批白化方法、实例白化方法。
本申请实施例第三方面提供一种电子设备，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，所述程序包括用于执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
本申请实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
本申请实施例通过根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，所述处理方法集合中包括白化方法和/或标准化方法中的至少两种，所述待处理图像数据中包括至少一个图像数据，再根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均，然后，根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理，与一般的标准化和白化方法单独使用相比，使得各个方法的优势可以结合，提升图像处理效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是本申请实施例公开的一种图像处理方法的流程示意图；
图2是本申请实施例公开的一种控制参数训练方法的流程示意图；
图3是本申请实施例公开的不同标准化层的风格转换可视化示意图。
图4是本申请实施例公开的一种图像处理装置的结构示意图；
图5是本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的图像处理装置可以允许多个其他终端设备进行访问。上述图像处理装置可以为电子设备，包括终端设备，具体实现中，上述终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
本申请实施例中的深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素点强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
下面对本申请实施例进行详细介绍。
请参阅图1，图1是本申请实施例公开的一种图像处理的流程示意图，如图1所示，该图像处理方法可以由上述图像处理装置执行，包括如下步骤：
101、根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，上述处理方法集合中包括白化方法和/或标准化方法中的至少两种，上述待处理图像数据中包括至少一个图像数据。
对图像数据的标准化(normalization)也称作归一化，是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。
一幅图像最终成像会受环境照明强度、物体反射、拍摄相机等多因素的影响。为了能获得图像中包含的那些不受外界影响的恒定信息，我们需要对图像进行白化处理。
本申请实施例中提到的图像白化(whitening)可用于对过度曝光或低曝光的图片进行处理，一般为了去除这些因素的影响，处理的方式一般是改变图像的平均像素值为0，改变图像的方差为单位方差1，具体可以通过均值向量和协方差矩阵来实现，即将像素值转化成零均值和单位方差。
而对于不同的计算机视觉任务，研究者们开发出了不同的标准化及白化(whitening)方法。例如，批标准化(batch normalization)和批白化(batch whitening)被运用于图像分类，物体检测等任务；实例标准化(instance normalization)和实例白化(instance whitening)被用于图像风格转换和图像生成；层标准化(layernormalization)被用于循环神经网络。
为方便表述，本申请实施例中批白化、实例白化、批标准化、实例标准化和层标准化可分别简称为bw、iw、bn、in和ln。
本申请实施例中，可以预先设置上述处理方法集合，该处理方法集合包含哪些白化和标准化方法，可以依据待处理的图像数据选择设置上述处理方法集合，比如可以包括批标准化、批白化、实例标准化、实例白化和层标准化，也可以只包含其中的部分方法，但应当包含白化方法和/或标准化方法中的至少两种方法。
首先根据待处理的图像数据以及预设的处理方法集合中的各处理方法确定各处理方法的第一特征参数和第二特征参数，即获得用于进行加权平均的特征参数。
本申请实施例中的步骤可以基于训练后的卷积神经网络实现。卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。
在步骤101中，可以基于各处理方法的计算公式，获得各处理方法的第一特征参数和第二特征参数，此处由于处理方法集合中包含了至少两种处理方法，所以获得的第一特征参数和第二特征参数均为至少两个。对于图像白化或者图像标准化，输出的第一特征参数可以为均值向量，第二特征参数可以为协方差矩阵。即图像处理装置可以获取待处理的图像数据的至少两个均值向量和至少两个协方差矩阵，这两个参数是基于图像数据及预设的处理方法计算得到的。
均值向量的加权平均为其中，Ω为上述处理方法集合，ωk为第一权重系数，上述μk为处理方法集合中的各处理方法的均值向量；
协方差矩阵的加权平均为其中，Ω为上述处理方法集合，ωk′为第二权重系数，上述Σk为上述协方差矩阵。
在一种可选的实施方式中，预设的处理方法集合可包括批白化处理，批白化处理的第一特征参数和第二特征参数的计算公式包括：
其中，上述μbw为该方法的第一特征参数(均值向量)，上述Σbw为该方法的第二特征参数(协方差矩阵)；上述X为待处理图像数据中的一批图像数据，上述X∈RC×NHW，上述N为图像数据的数量，上述1为一个元素都为1的列向量，I为单位矩阵，单位矩阵中对角线元素为1，其余为0，上述ε为正数。
具体的，ε可以是一个小的正数，用于防止出现奇异的协方差矩阵。批白化是将一批数据白化，即φ(X)φ(X)T＝Ι。
在一种可选的实施方式中，上述处理方法可包括实例白化处理，实例白化处理的第一特征参数和第二特征参数的计算公式包括：
其中，上述μiw为该方法的第一特征参数(均值向量)，上述Σiw为该方法的第二特征参数(协方差矩阵)；上述1为一个元素都为1的列向量，上述I为单位矩阵，上述ε为正数。
具体的，实例白化是将单个图像数据白化，即φ(Xn)φ(Xn)T＝Ι。
批标准化又叫批量归一化，是一种用于改善人工神经网络的性能和稳定性的技术。这是一种为神经网络中的任何层提供零均值/单位方差输入的技术。批标准化通过居中(center)和放缩(scale)操作使得整个批的数据的均值和方差分别为0和1。因此均值与批白化相同，即μbn＝μbw；此外，由于批标准化只需要除以数据的方差而不需要白化，协方差矩阵只需要保留对角线元素，即Σbn＝diag(Σbw)，其中diag()是保留对角线元素并将非对角线元素置为0。
相似的，实例标准化对单个图像数据进行处理，μin＝μiw，Σin＝diag(Σiw)。
层标准化用单个图像数据的所有通道的均值和方差进行标准化，令μln和σln为该均值和方差，则μln＝μln1，Σln＝σlnΙ。
在获取上述第一特征参数和第二特征参数之后，可以执行步骤102。
102、根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均。
本申请实施例中，图像处理装置中可以存储有上述权重系数，在获得上述至少两个第一特征参数和上述至少两个第二特征参数之后，可以根据上述各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均。
在一种可选的实施方式中，根据上述至少两个第一特征参数的加权平均和上述至少两个第二特征参数的加权平均，对上述待处理的图像数据进行白化处理的步骤，是由神经网络执行的。权重系数指，在数学上，为了显示若干量数在总量中所具有的重要程度，分别给予不同的比例系数。
在一种可选的实施方式中，预设的处理方法集合中的一种处理方法的第一特征参数的权重系数可以采用下述方法确定：
预设的处理方法集合中的该处理方法的第一特征参数的权重系数是利用上述神经网络中该处理方法的第一控制参数的值根据归一化指数函数确定的。
可选的，预设的处理方法集合中的一种处理方法的第二特征参数的权重系数可以采用下述方法确定：
该处理方法的第二特征参数的权重系数是利用上述神经网络中该处理方法的第二控制参数的值根据归一化指数函数确定的。
其中，上述预设的处理方法集合中各处理方法的第一控制参数和第二控制参数也就是神经网络的各个第一控制参数和第二控制参数。
具体的，可以基于归一化指数函数(Softmax函数)进行归一化变换，Softmax函数实际上是有限项离散概率分布的梯度对数归一化。本申请实施例中，控制参数实质上是不同处理方法计算的统计量(均值向量或者协方差矩阵)所占的比重。
可选的，上述第一控制参数和第二控制参数可以基于神经网络的随机梯度下降(stochastic gradient descent，SGD)算法和/或反向传播(Backpropagation，BP)算法学习获得。
反向传播算法是适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。反向传播算法主要由两个环节(激励传播、权重更新)反复循环迭代，直到网络的对输入的响应达到预定的目标范围为止。BP算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中。如果在输出层得不到期望的输出值，则取输出与期望的误差的平方和作为目标函数，转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，作为修改权值的依据，网络的学习在权值修改过程中完成，在误差达到所期望值时，网络学习结束。
在获得上述加权平均之后，可以执行步骤103。
103、根据上述至少两个第一特征参数的加权平均和上述至少两个第二特征参数的加权平均，对上述待处理的图像数据进行白化处理。
其中，上述白化处理可以理解为通过计算处理方法集合中的各处理方法的均值向量的加权平均，以及各处理方法的协方差矩阵的加权平均，将加权平均后得到的均值向量和协方差矩阵作为白化处理的参数，对待处理的图像数据进行白化处理，从而实现对不同处理方法的结合，各个方法的权值(上述权重系数)可以通过对神经网络进行训练获得。
需要注意的是，当待处理的图像数据中包括一个以上图像数据，预设的处理方法集合包含不同的处理方法时，不同图像数据的处理方法可能是不同的。比如，若预设的处理方法集合包含批白化方法和批标准化方法，每一小批图像数据的均值向量的加权平均是相同的，每一小批图像数据的协方差矩阵的加权平均是相同的，对待处理的图像数据进行白化处理可以理解为对每一小批图像数据采用类似批白化方法进行处理。而若预设的处理方法集合包含批白化方法和实例白化方法，则每个图像数据的均值向量的加权平均是不同的，每个图像数据的协方差矩阵的加权平均也是不同的，对待处理的图像数据进行白化处理可以理解为对单个图像数据采用类似实例白化方法进行处理。
在一种可选的实施方式中，可以根据上述至少两个第一特征参数的加权平均和上述至少两个第二特征参数的加权平均，以及上述待处理图像数据的通道数量、高度和宽度，对上述待处理图像数据中的各个图像数据进行白化处理。
在卷积神经网络中，数据通常以四维的形式存储，令X∈RC×NHW为一批图像数据，其中N、C、H和W分别代表图像数据数量、通道数量、高度和宽度。为方便起见，其中N、H、W三个维度在这里的讨论中被视作一维。令Xn∈RC×HW为这一批数据中的第n个图像数据(训练过程可以理解为样本数据)，那么对该图像数据的白化操作可以表示为：
φ(Xn)＝Σ-1/2(Xn-μ·1T)；
其中，μ和Σ是从该图像数据计算得到的均值向量和协方差矩阵。1是一个元素都为1的列向量，不同的白化和标准化方法可以通过用不同的集计算μ和Σ，例如，对于批白化和批标准化，是利用每批图像数据来计算μ和Σ，对于层标准化、实例标准化和实例白化，是利用每个图像数据来计算μ和Σ。
进一步地，上述SW(Xn)中的协方差矩阵的负平方根可以通过零相位分量分析(Zero-phase Component Analysis，ZCA)或者白化处理分主成分分析(principalcomponent analysis，PCA)白化求得。其中，优选的，可以通过ZCA白化求得，即：
Σ-1/2＝DΛ-1/2DT
其中，Λ＝diag(σ1,...,σc)和D＝[d1,...,dc]是Σ的特征值和特征向量，即Σ＝DΛDT，这可以通过特征分解(Eigendecomposition)得到。
上述特征分解又称谱分解(Spectral decomposition)，是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。
具体的，PCA白化保证数据各维度的方差为1，而ZCA白化保证数据各维度的方差相同。PCA白化可以用于降维也可以去相关性，而ZCA白化主要用于去相关性，且尽量使白化后的数据接近原始输入数据。
可以理解为在步骤102中获得的是用于最终进行白化处理的目标均值向量和目标协方差矩阵，是各图像数据对应的不同的白化和标准化方法的特征参数通过加权平均计算得到，则可以基于该目标均值向量和目标协方差矩阵，来实现白化处理。
具体的，对上述待处理的图像数据进行白化处理的公式可以如下：
上述Xn为上述待处理图像数据中的第n个图像数据，上述Xn∈RC×HW，其中，上述为加权平均计算后获得的均值向量，上述为加权计算后获得的协方差矩阵；上述C、上述H和上述W分别为上述图像数据的通道数量、高度和宽度。
在一种应用场景中，预设的处理方法集合包含批白化方法和批标准化方法，当待处理的图像数据中包括一个以上图像数据时，每一小批图像数据的均值向量的加权平均相同，不同批图像数据的均值向量的加权平均不同，每一小批图像数据的协方差矩阵的加权平均相同，不同批图像数据的协方差矩阵的加权平均不同，对待处理的图像数据进行白化处理可以理解为将每一小批图像数据的均值向量的加权平均和协方差矩阵的加权平均分别作为批白化方法中的均值向量和协方差矩阵，对该批图像数据进行批白化方法处理。
在另一种应用场景中，预设的处理方法集合包含批白化方法和批标准化方法中的至少一种以及层标准化方法、实例标准化方法和实例白化方法中的至少一种时，则每个图像数据的均值向量的加权平均∧
μ是不同的，每个图像数据的协方差矩阵的加权平均也是不同的，对待处理的图像数据进行白化处理可以理解为利用每个图像数据的均值向量的加权平均和协方差矩阵的加权平均分别作为实例白化方法中的均值向量和协方差矩阵，对该图像数据进行实例白化方法处理。
在一种可选的实施方式中，上述待处理的图像数据可以包括各种终端设备采集的图像数据，比如自动驾驶中摄像头采集的人脸图像数据、监控系统中采集的监控图像数据、进行智能视频分析时待分析的视频图像数据、人脸识别产品中采集的人脸图像数据等。具体的，比如对于移动终端中待美化的照片，上述方法可以应用于移动终端中安装的美颜类应用程序，提升图像处理的准确率，比如可以使图像分类，语义分割，图像风格转换等方面性能更佳。
目前，标准化方法和白化方法通常单独使用，使得各个方法的优势难以结合。此外，多样的标准化和白化方法增大了模型设计的空间和难度。
而本申请实施例中的图像处理方法可以将不同的标准化方法和白化方法结合为一层，比如包括批标准化、批白化、实例标准化、实例白化、层标准化等方法，能够自适应地学习各种标准化和白化操作的比例，并可以和卷积神经网络一起实现端到端训练。
本申请实施例通过根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，上述处理方法集合中包括白化方法和/或标准化方法中的至少两种，上述待处理图像数据中包括至少一个图像数据，再根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均，然后，根据上述至少两个第一特征参数的加权平均和上述至少两个第二特征参数的加权平均，对上述待处理的图像数据进行白化处理，可以实现图像处理中的各种处理方法(标准化和/或白化)相结合的操作，提升图像处理效果。
可选地，103由神经网络来执行，此时，预设的处理方法集合中的一种处理方法的第一特征参数的权重系数是利用所述神经网络中该处理方法的第一控制参数的值根据归一化指数函数确定的；预设的处理方法集合中的一种处理方法的第二特征参数的权重系数是利用所述神经网络中该处理方法的第二控制参数的值根据归一化指数函数确定的。
在一种可选的实施方式中，一种处理方法的第一特征参数的权重系数ωk的计算公式包括：
其中，λk为上述第一控制参数，上述Ω为上述处理方法集合，比如Ω＝{bw，iw，bn，in，ln}。
类似的，一种处理方法的第一特征参数的权重系数ωk′的计算公式包括：
其中，λk′为第二控制参数，上述Ω为上述处理方法集合。
可选地，预设的处理方法集合中的各处理方法的第一控制参数和第二控制参数(也就是神经网络中的各第一控制参数和各第二控制参数)采用图2所示的方法获得：
201、基于神经网络模型的反向传播方法，通过最小化待训练的神经网络的损失函数对待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数进行联合优化。
本申请实施例中，控制参数实质上是不同处理方法计算的统计量(均值向量或者协方差矩阵)所占的比重。可选的，上述控制参数可以在训练神经网络的过程中基于卷积神经网络的随机梯度下降算法和反向传播算法学习获得。
而对神经网络的训练过程如下：
待训练的神经网络根据预设的处理方法集合中的各处理方法的第一特征参数的加权平均和各处理方法的第二特征参数的加权平均，对训练用的图像数据进行白化处理，并输出预测结果；
根据待训练的神经网络输出的预测结果和上述训练用的图像数据的标注结果确定上述神经网络的损失函数；
根据上述待训练的神经网络的损失函数调整上述待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数。
其中，预设的处理方法集合中的第一处理方法的第一控制参数的初始值为第一预设值，上述预设的处理方法集合中的第一处理方法的第二控制参数的初始值为第二预设值；具体的，在卷积神经网络开始训练之前，可以预先设置上述第一控制参数的初始值和第二控制参数的初始值，比如第一预设值和第二预设值均为1；而在神经网络训练之初，可以根据第一处理方法的第一控制参数的初始值计算第一处理方法的第一特征参数的权重系数，根据第一处理方法的第二控制参数的初始值计算第一处理方法的第二特征参数的权重系数，从而可以计算出训练之初各处理方法的第一特征参数的加权平均和各处理方法的第二特征参数的加权平均，进而开始进行神经网络的训练；其中，第一处理方法可以是预设的处理方法集合中的任意一种处理方法。
在神经网络的训练过程中，神经网络的各第一控制参数和各第二控制参数以及各网络参数利用损失函数通过随机梯度下降算法和反向传播算法不断更新，重复执行上述训练过程，直至损失函数最小，神经网络完成训练。
202、将上述待训练神经网络的损失函数最小时的各第一控制参数的值作为训练完成的神经网络的各第一控制参数的值；将上述待训练神经网络的损失函数最小时的各第二控制参数的值作为训练完成的神经网络的各第二控制参数的值。
根据上述待训练的神经网络的损失函数调整上述参数，损失函数最小时，神经网络完成训练。在训练完成后，已经学习得到了神经网络的各第一控制参数和各第二控制参数以及各网络参数，在测试或者实际图像处理应用时，这些参数是固定不变的。具体的，在上述神经网络的训练时需要进行前向计算和反向传播计算，而在测试或者实际图像处理应用时只需要进行前向计算，输入图像即可获得处理结果。
在一种可选的实施方式中，可以用训练用的图像数据和标注的结果训练神经网络，然后用训练后的神经网络处理采集到的图像数据，从而进行图像中的物体识别。具体可以将不同的标准化方法和白化方法统一起来，使得卷积神经网络能够根据特定的任务自适应地学习各种标准化和白化操作的比例，从而能够结合各个方法的优势，并使得对标准化和白化操作的选择能够自动进行。
在应用中，基于丰富的统计数据，软件不仅可以在高层次的视觉任务中工作，而且可以在低层次的视觉任务中工作，例如图像样式的转换。
可以参考图3，图3是本申请实施例公开的不同标准化层的风格转换可视化示意图，其中采用一种流行的样式转换算法对待处理图像进行风格转换，它有一个图像风格网络训练内容损失和风格损失计算的损失网络，可以采用不同图像标准化和白化处理。将MS-COCO数据集用于图像，而所选待处理图像的图像样式为烛光和星光之夜，遵循与上述样式转换算法中相同的训练方法，并对图像样式化网络采用不同的标准化层(批标准化、实例白化和本申请实施例中的图像处理方法)，即图3中第二行图像为使用不同处理方法处理后的效果示意图，第一行图像为同时进行风格转换后的效果示意图。
具体如图3所示，批标准化生成的图像效果较差，实例白化生成的图像效果相对更加令人满意。而与实例白化相比，本申请实施例中的图像处理方法其处理方法集合包含批标准化和实例白化，两者比例已由神经网络学习确定，其图像处理效果最好，说明申请实施例中的图像处理方法可以实现根据任务结合合适的处理方法进行图像处理。
一般而言，标准化和白化方法通常单独使用，使得各个方法的优势难以结合，另外，多种标准化和白化方法增大了神经网络模型设计的空间和难度。可见，相比较仅采用某一种标准化方法或白化方法的卷积神经网络，本申请中的图像处理可以实现自适应地学习各种标准化和白化操作的比例，消除了人工设计的需要，并且能够结合各个方法的优势，在多种计算机视觉任务上具有更好的性能。
在一种可选的实施方式中，上述待处理的图像数据可以包括各种终端设备采集的图像数据，比如自动驾驶中摄像头采集的人脸图像数据、监控系统中采集的监控图像数据、进行智能视频分析时待分析的视频图像数据、人脸识别产品中采集的人脸图像数据等。具体的，比如对于移动终端中待美化的照片，上述方法可以应用于移动终端中安装的美颜类应用程序，提升图像处理的准确率，比如可以使图像分类，语义分割，图像风格转换等方面性能更佳。
在实际应用中，本申请实施例中的图像处理操作可以运用在卷积神经网络的卷积层后，可以理解为卷积神经网络中的自适配白化层(自适配白化层与传统白化层的区别在于具有自适配白化层的卷积神经网络可以在模型训练阶段根据训练数据自适应地学习各种标准化和白化操作的比例，得到最佳比例)，也可以运用在网络中的任何位置。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本申请实施例可以根据上述方法示例对图像处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
请参阅图4，图4是本申请实施例公开的一种图像处理装置的结构示意图。如图4所示，该图像处理装置300包括：确定模块310、加权模块320和白化处理模块330，其中：
所述确定模块310，用于根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，所述处理方法集合中包括白化方法和/或标准化方法中的至少两种，所述待处理图像数据中包括至少一个图像数据；
所述加权模块320，用于根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均；
所述白化处理模块330，用于根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理。
可选的，所述第一特征参数为均值向量，所述第二特征参数为协方差矩阵。
可选的，所述白化处理模块330的功能由神经网络执行；
预设的处理方法集合中的一种处理方法的第一特征参数的权重系数是利用所述神经网络中该处理方法的第一控制参数的值根据归一化指数函数确定的；
该处理方法的第二特征参数的权重系数是利用所述神经网络中该处理方法的第二控制参数的值根据归一化指数函数确定的。
可选的，上述图像处理装置300还包括训练模块340，所述第一控制参数和所述第二控制参数是在所述训练模块对所述神经网络进行训练时获得，所述训练模块340用于：
基于神经网络模型的反向传播方法，通过最小化所述神经网络的损失函数对所述第一控制参数、所述第二控制参数和所述神经网络的网络参数进行联合优化；
将所述神经网络的损失函数最小时的第一控制参数的值作为所述神经网络的第一控制参数的值；
将所述神经网络的损失函数最小时的第二控制参数的值作为所述神经网络的第二控制参数的值。
可选的，所述训练模块340具体用于：
根据待训练的神经网络中预设的处理方法集合中的各处理方法的第一特征参数的加权平均和各处理方法的第二特征参数的加权平均，对训练用的图像数据进行白化处理，并输出预测结果；其中，所述预设的处理方法集合中的第一处理方法的第一控制参数的初始值为第一预设值，所述预设的处理方法集合中的第一处理方法的第二控制参数的初始值为第二预设值；
根据所述待训练的神经网络输出的预测结果和所述训练用的图像数据的标注结果确定所述神经网络的损失函数；
根据所述待训练的神经网络的损失函数调整所述待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数。
可选的，所述白化处理模块330具体用于：
根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，以及所述待处理图像数据的通道数量、高度和宽度，对所述待处理图像数据中的各个图像数据进行白化处理。
可选的，所述标准化方法包括以下至少一种：批标准化方法、实例标准化方法、层标准化方法。
可选的，所述白化方法包括以下至少一种：批白化方法、实例白化方法。
图4所示的实施例中的图像处理装置300可以执行图1和/或图2所示实施例中的部分或全部方法。
实施图4所示的图像处理装置300，图像处理装置300可以根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，所述处理方法集合中包括白化方法和/或标准化方法中的至少两种，所述待处理图像数据中包括至少一个图像数据，再根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均，然后，根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理，可以实现图像处理中的自适应白化操作，提升图像处理效果。
请参阅图5，图5是本申请实施例公开的一种电子设备的结构示意图。如图5所示，该电子设备400包括处理器401和存储器402，其中，电子设备400还可以包括总线403，处理器401和存储器402可以通过总线403相互连接，总线403可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，简称EISA)总线等。总线403可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，电子设备400还可以包括输入输出设备404，输入输出设备404可以包括显示屏，例如液晶显示屏。存储器402用于存储包含指令的一个或多个程序；处理器401用于调用存储在存储器402中的指令执行上述图1和图2实施例中提到的部分或全部方法步骤。上述处理器401可以对应实现图5中的电子设备400中的各模块的功能。
电子设备400可以根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，所述处理方法集合中包括白化方法和/或标准化方法中的至少两种，所述待处理图像数据中包括至少一个图像数据，再根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均，然后，根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理，可以实现图像处理中的自适应白化操作，提升图像处理效果。
本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述模块(或单元)的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，所述处理方法集合中包括白化方法和/或标准化方法中的至少两种，所述待处理图像数据中包括至少一个图像数据；
根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均；
根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第一特征参数为均值向量，所述第二特征参数为协方差矩阵。
3.根据权利要求1或2所述的图像处理方法，其特征在于，根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理的步骤，是由神经网络执行的；
预设的处理方法集合中的一种处理方法的第一特征参数的权重系数采用下述方法确定：预设的处理方法集合中的该处理方法的第一特征参数的权重系数是利用所述神经网络中该处理方法的第一控制参数的值根据归一化指数函数确定的；
预设的处理方法集合中的一种处理方法的第二特征参数的权重系数采用下述方法确定：该处理方法的第二特征参数的权重系数是利用所述神经网络中该处理方法的第二控制参数的值根据归一化指数函数确定的。
4.根据权利要求3所述的图像处理方法，其特征在于，所述预设的处理方法集合中的各处理方法的第一控制参数和第二控制参数采用以下步骤获得：
基于神经网络模型的反向传播方法，通过最小化待训练的神经网络的损失函数对所述待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数进行联合优化；
将所述待训练神经网络的损失函数最小时的各第一控制参数的值作为训练完成的神经网络的各第一控制参数的值；
将所述待训练神经网络的损失函数最小时的各第二控制参数的值作为训练完成的神经网络的各第二控制参数的值。
5.根据权利要求4所述的图像处理方法，其特征在于，基于神经网络模型的反向传播方法，通过最小化待训练的神经网络的损失函数对所述待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数进行联合优化，包括：
所述待训练的神经网络根据所述预设的处理方法集合中的各处理方法的第一特征参数的加权平均和各处理方法的第二特征参数的加权平均，对训练用的图像数据进行白化处理，并输出预测结果；其中，所述预设的处理方法集合中的第一处理方法的第一控制参数的初始值为第一预设值，所述预设的处理方法集合中的第一处理方法的第二控制参数的初始值为第二预设值；
根据所述待训练的神经网络输出的预测结果和所述训练用的图像数据的标注结果确定所述神经网络的损失函数；
根据所述待训练的神经网络的损失函数调整所述待训练的神经网络的各第一控制参数、各第二控制参数和各网络参数。
6.根据权利要求1-5任一项所述的图像处理方法，其特征在于，所述根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理包括：
根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，以及所述待处理图像数据的通道数量、高度和宽度，对所述待处理图像数据中的各个图像数据进行白化处理。
7.根据权利要求1-6任一项所述的图像处理方法，其特征在于，所述标准化方法包括以下至少一种：批标准化方法、实例标准化方法、层标准化方法。
8.一种图像处理装置，其特征在于，包括：确定模块、加权模块和白化处理模块，其中：
所述确定模块，用于根据待处理的图像数据，确定预设的处理方法集合中的各处理方法的第一特征参数和第二特征参数，所述处理方法集合中包括白化方法和/或标准化方法中的至少两种，所述待处理图像数据中包括至少一个图像数据；
所述加权模块，用于根据各个第一特征参数的权重系数确定至少两个第一特征参数的加权平均，并根据各个第二特征参数的权重系数确定至少两个第二特征参数的加权平均；
所述白化处理模块，用于根据所述至少两个第一特征参数的加权平均和所述至少两个第二特征参数的加权平均，对所述待处理的图像数据进行白化处理。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至7任一项所述的方法。
CN201910253934.9A 2019-03-30 2019-03-30 图像处理方法、装置、电子设备及存储介质 Active CN109961102B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910253934.9A CN109961102B (zh) 2019-03-30 2019-03-30 图像处理方法、装置、电子设备及存储介质
PCT/CN2019/121180 WO2020199619A1 (zh) 2019-03-30 2019-11-27 图像处理方法、装置、电子设备及存储介质
JP2020563944A JP2021526678A (ja) 2019-03-30 2019-11-27 画像処理方法、装置、電子装置及び記憶媒体
KR1020207032622A KR102428054B1 (ko) 2019-03-30 2019-11-27 화상 처리 방법, 장치, 전자 장치 및 저장 매체
SG11202010734RA SG11202010734RA (en) 2019-03-30 2019-11-27 Method and device for image processing, electronic device, and storage medium
US17/086,713 US20210049403A1 (en) 2019-03-30 2020-11-02 Method and device for image processing, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910253934.9A CN109961102B (zh) 2019-03-30 2019-03-30 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN109961102A true CN109961102A (zh) 2019-07-02
CN109961102B CN109961102B (zh) 2021-06-22

Family

ID=67025391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910253934.9A Active CN109961102B (zh) 2019-03-30 2019-03-30 图像处理方法、装置、电子设备及存储介质

Country Status (6)

Country Link
US (1) US20210049403A1 (zh)
JP (1) JP2021526678A (zh)
KR (1) KR102428054B1 (zh)
CN (1) CN109961102B (zh)
SG (1) SG11202010734RA (zh)
WO (1) WO2020199619A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199619A1 (zh) * 2019-03-30 2020-10-08 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN112541857A (zh) * 2020-12-24 2021-03-23 南开大学 基于增强表现力神经网络批归一化的图像表征方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108228696B (zh) * 2017-08-31 2021-03-23 深圳市商汤科技有限公司 人脸图像检索方法和系统、拍摄装置、计算机存储介质
US11080834B2 (en) * 2019-12-26 2021-08-03 Ping An Technology (Shenzhen) Co., Ltd. Image processing method and electronic device
CN115460346B (zh) * 2022-08-17 2024-01-23 山东浪潮超高清智能科技有限公司 一种自动调整角度的数据采集装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130202202A1 (en) * 2012-02-03 2013-08-08 Seiko Epson Corporation Image processing device and electronic apparatus using the same
CN104021558A (zh) * 2014-06-16 2014-09-03 哈尔滨工业大学 一种基于归一Zernike矩和灰度匹配的液晶仪表图案视觉检测方法
CN104240200A (zh) * 2014-09-02 2014-12-24 西安电子科技大学 基于散射模型和非局部均值相结合的极化sar相干斑抑制方法
CN105574829A (zh) * 2016-01-13 2016-05-11 合肥工业大学 针对极化sar图像的自适应双边滤波算法
CN106529428A (zh) * 2016-10-31 2017-03-22 西北工业大学 基于深度学习的水下目标识别方法
CN107273845A (zh) * 2017-06-12 2017-10-20 大连海事大学 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN107690663A (zh) * 2015-06-05 2018-02-13 谷歌有限责任公司 白化神经网络层
US20180082172A1 (en) * 2015-03-12 2018-03-22 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
CN108780508A (zh) * 2016-03-11 2018-11-09 高通股份有限公司 用于归一化图像的系统和方法
CN108875787A (zh) * 2018-05-23 2018-11-23 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质
CN109165698A (zh) * 2018-10-16 2019-01-08 中国电子科技集团公司信息科学研究院 一种面向智慧交通的图像分类识别方法及其存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700353B (zh) * 2015-02-11 2017-12-05 小米科技有限责任公司 图像滤镜生成方法及装置
CN106803054B (zh) * 2015-11-26 2019-04-23 腾讯科技（深圳）有限公司 人脸模型矩阵训练方法和装置
CN107633293A (zh) * 2016-07-19 2018-01-26 北京图森未来科技有限公司 一种领域自适应方法及装置
US10691975B2 (en) * 2017-07-19 2020-06-23 XNOR.ai, Inc. Lookup-based convolutional neural network
WO2020061489A1 (en) * 2018-09-20 2020-03-26 Nvidia Corporation Training neural networks for vehicle re-identification
US10791310B2 (en) * 2018-10-02 2020-09-29 Intel Corporation Method and system of deep learning-based automatic white balancing
CN109146825B (zh) * 2018-10-12 2020-11-27 深圳美图创新科技有限公司 摄影风格转换方法、装置及可读存储介质
US11138469B2 (en) * 2019-01-15 2021-10-05 Naver Corporation Training and using a convolutional neural network for person re-identification
CN109961102B (zh) * 2019-03-30 2021-06-22 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130202202A1 (en) * 2012-02-03 2013-08-08 Seiko Epson Corporation Image processing device and electronic apparatus using the same
CN104021558A (zh) * 2014-06-16 2014-09-03 哈尔滨工业大学 一种基于归一Zernike矩和灰度匹配的液晶仪表图案视觉检测方法
CN104240200A (zh) * 2014-09-02 2014-12-24 西安电子科技大学 基于散射模型和非局部均值相结合的极化sar相干斑抑制方法
US20180082172A1 (en) * 2015-03-12 2018-03-22 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
CN107690663A (zh) * 2015-06-05 2018-02-13 谷歌有限责任公司 白化神经网络层
CN105574829A (zh) * 2016-01-13 2016-05-11 合肥工业大学 针对极化sar图像的自适应双边滤波算法
CN108780508A (zh) * 2016-03-11 2018-11-09 高通股份有限公司 用于归一化图像的系统和方法
CN106529428A (zh) * 2016-10-31 2017-03-22 西北工业大学 基于深度学习的水下目标识别方法
CN107273845A (zh) * 2017-06-12 2017-10-20 大连海事大学 一种基于置信区域和多特征加权融合的人脸表情识别方法
CN108875787A (zh) * 2018-05-23 2018-11-23 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质
CN109165698A (zh) * 2018-10-16 2019-01-08 中国电子科技集团公司信息科学研究院 一种面向智慧交通的图像分类识别方法及其存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CHEN L C 等: "DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
GUILLAUME DESJARDINS 等: "Natural Neural Networks", 《HTTPS://ARXIV.ORG/ABS/1507.00210》 *
LEI HUANG 等: "Decorrelated Batch Normalization", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
LUO PING 等: "Differentiable Learning-to-Normalize via Switchable Normalization", 《HTTPS://ARXIV.ORG/ABS/1806.10779》 *
XINGANG PAN 等: "Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net", 《HTTPS://ARXIV.ORG/ABS/1807.09441V2》 *
YIJUN LI 等: "Universal Style Transfer via Feature Transforms", 《HTTPS://ARXIV.ORG/ABS/1705.08086》 *
杨学志 等: "采用散射特征相似性的极化SAR图像相干斑抑制", 《遥感学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199619A1 (zh) * 2019-03-30 2020-10-08 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN112541857A (zh) * 2020-12-24 2021-03-23 南开大学 基于增强表现力神经网络批归一化的图像表征方法及系统

Also Published As

Publication number Publication date
JP2021526678A (ja) 2021-10-07
SG11202010734RA (en) 2020-11-27
WO2020199619A1 (zh) 2020-10-08
US20210049403A1 (en) 2021-02-18
CN109961102B (zh) 2021-06-22
KR102428054B1 (ko) 2022-08-01
KR20200143450A (ko) 2020-12-23

Similar Documents

Publication Publication Date Title
CN109961102A (zh) 图像处理方法、装置、电子设备及存储介质
CN108510194A (zh) 风控模型训练方法、风险识别方法、装置、设备及介质
KR20180060257A (ko) 객체 인식 방법 및 장치
CN109034206A (zh) 图像分类识别方法、装置、电子设备及计算机可读介质
CN110222717A (zh) 图像处理方法和装置
CN110879982A (zh) 一种人群计数系统及方法
CN108549685A (zh) 行为分析方法、装置、系统及可读存储介质
WO2005022343A2 (en) System and methods for incrementally augmenting a classifier
CN110647974A (zh) 深度神经网络中的网络层运算方法及装置
Gastaldo et al. Machine learning solutions for objective visual quality assessment
CN110263809A (zh) 池化特征图处理方法、目标检测方法、系统、装置和介质
CN111126464A (zh) 一种基于无监督域对抗领域适应的图像分类方法
CN116051388A (zh) 经由语言请求的自动照片编辑
CN110321962A (zh) 一种数据处理方法及装置
Borbon et al. Coral health identification using image classification and convolutional neural networks
Oyedotun et al. Banknote recognition: investigating processing and cognition framework using competitive neural network
CN110210380A (zh) 基于表情识别与心理学测试生成性格的分析方法
Heywood et al. A framework for improved training of Sigma-Pi networks
CN113836804A (zh) 基于卷积神经网络的动物识别模型建立方法及其应用系统
CN111832787B (zh) 教师风格预测模型的训练方法及计算机存储介质
CN116739071A (zh) 一种模型训练方法及相关装置
CN116543433A (zh) 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置
CN110826726B (zh) 目标处理方法、目标处理装置、目标处理设备及介质
CN117649631B (zh) 一种基于改进卷积神经网络的客户端图像处理方法及系统
EP4116874A1 (en) A method for training a machine learning model to recognize a pattern in an input signal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant