CN112166455A - 图像处理方法、装置、可移动平台及机器可读存储介质 - Google Patents

图像处理方法、装置、可移动平台及机器可读存储介质 Download PDF

Info

Publication number
CN112166455A
CN112166455A CN201980033198.4A CN201980033198A CN112166455A CN 112166455 A CN112166455 A CN 112166455A CN 201980033198 A CN201980033198 A CN 201980033198A CN 112166455 A CN112166455 A CN 112166455A
Authority
CN
China
Prior art keywords
image
channel
original
images
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980033198.4A
Other languages
English (en)
Inventor
梁哲通
曹子晟
胡攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
SZ DJI Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112166455A publication Critical patent/CN112166455A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理方法、装置、可移动平台及机器可读存储介质，所述方法包括：获取原始训练图像、与所述原始训练图像对应的目标图像(201)；对所述原始训练图像进行去相关操作，得到多通道训练图像(202)；根据所述多通道训练图像和所述目标图像对预设神经网络进行训练(203)。该方法具有高效的成像性能，获得高质量的成像结果，用户使用感受很好。

Description

图像处理方法、装置、可移动平台及机器可读存储介质
技术领域
本发明涉及图像处理领域，尤其是涉及一种图像处理方法、装置、可移动平台及机器可读存储介质。
背景技术
在传统方式中，在采集到原始图像后，可以对原始图像进行解马赛克、去噪、白平衡、颜色空间转换、图像锐化和彩色增强等处理，得到sRGB(standard Red Green Blue，标准红绿蓝)彩色图像。但是，上述方式得到的sRGB彩色图像，其图像质量仍然比较低，图像质量有提高的可能。
发明内容
本发明第一方面，提供一种图像处理方法，所述方法包括：
获取原始训练图像、与所述原始训练图像对应的目标图像；
对所述原始训练图像进行去相关操作，得到多通道训练图像；
根据所述多通道训练图像和所述目标图像对预设神经网络进行训练。
本发明第二方面，提供一种图像处理方法，所述方法包括：
获取待处理图像；
对所述待处理图像进行去相关操作，得到多通道图像；
通过预设神经网络对所述多通道图像进行处理，以生成画质提升图像。
本发明第三方面，提供一种图像处理方法，所述方法包括：
根据原始训练图像获取多通道训练图像；
根据所述多通道训练图像对预设神经网络进行训练；其中，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络用于获取所述多通道训练图像中的每一通道的训练图像的多个尺度特征。
本发明第四方面，提供一种图像处理方法，所述方法包括：
获取待处理图像、与所述待处理图像对应的多通道图像；
通过预设神经网络对所述多通道图像进行处理，以生成画质提升图像；
其中，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络用于获取所述多通道图像中的每一通道的图像的多个尺度特征。
本发明第五方面，提供一种图像处理装置，所述装置包括处理器和存储器；所述存储器，用于存储所述处理器可执行的计算机指令；所述处理器，用于从所述存储器读取所述计算机指令以实现上述的方法步骤。
本发明第六方面，提供一种可移动平台，包括：
机体；
动力系统，设于所述机体，所述动力系统用于为所述可移动平台提供动力；
传感系统，用于拍摄图像帧；
以及，如以上所述的图像处理装置，用于对所述传感系统拍摄的图像帧进行处理。
本发明第七方面，提供一种相机，包括：
外壳；
镜头组件，安装在所述外壳内部；
传感器组件，安装在所述外壳内部，用于感知通过所述镜头组件的光并生成电信号；以及，上述的图像处理装置。
本发明第八方面，提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现上述的方法。
基于上述技术方案，本发明实施例中，可以对原始训练图像进行去相关操作，得到多通道训练图像，并根据多通道训练图像和目标图像对预设神经网络进行训练。这样，可以基于预设神经网络对待处理图像进行处理，以生成画质提升图像，从而能够提高图像质量。上述方式能够训练高性能的预设神经网络，并将采集到的低质量原始图像转换成高质量的彩色图像，具有高效的成像性能，获得高质量的成像结果，用户使用感受很好。
附图说明
图1A和图1B是对原始图像进行处理得到sRGB彩色图像的示意图；
图2是一种实施方式中的图像处理方法的实施例示意图；
图3A是一种实施方式中的对多个原始图像进行处理的示意图；
图3B是一种实施方式中的颜色解相关处理的示意图；
图3C是一种实施方式中的多尺度相关处理的示意图；
图3D是一种实施方式中的多尺度相关处理的示意图；
图3E是一种实施方式中的多尺度提取网络的结构示意图；
图3F是一种实施方式中的对比效果示意图；
图4是另一种实施方式中的图像处理方法的实施例示意图；
图5是另一种实施方式中的图像处理方法的实施例示意图；
图6是另一种实施方式中的图像处理方法的实施例示意图；
图7是一种实施方式中的图像处理装置的实施例框图；
图8是一种实施方式中的可移动平台的实施例框图；
图9是一种实施方式中的相机的实施例框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明。本发明和权利要求书所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。应当理解，本文中使用的术语“和/或”是指包含一个或者多个相关联的列出项目的任何或所有可能的组合。
尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”，或者“当……时”，或者“响应于确定”。
为了将原始图像转换为高质量的sRGB彩色图像，在一种可能的实现方式中，参见图1A所示，在采集到原始图像(如raw图像)后，可以对原始图像进行解马赛克、去噪、颜色处理(如白平衡和颜色空间转换)、图像增强(如图像锐化和彩色增强)等处理，得到sRGB彩色图像。但是，上述方式得到的sRGB彩色图像，其图像质量仍然比较低，图像质量有提高的可能。
与上述方式不同的是，本发明实施例中，参见图1B所示，可以利用目标相机采集大规模的数据集，所述数据集包括原始图像(如raw图像)和目标图像，然后利用所述数据集对预设神经网络进行训练，基于训练后的预设神经网络，能够对采集到的原始图像进行处理，继而产生高质量的图像。
基于上述方式，能够训练高性能的预设神经网络，并将采集到的低质量原始图像转换成高质量的sRGB彩色图像，具有高效的成像性能，获得高质量的成像结果。在数据集构建过程中，采用多曝光融合的方法产生高质量的目标图像，并采用特定的神经网络结构进行训练，获得高质量的成像结果。
以下结合具体实施例，对本发明实施例的技术方案进行说明。
实施例1：参见图2所示，为图像处理方法的流程示意图，该方法包括：
步骤201，获取原始训练图像、与该原始训练图像对应的目标图像。
具体的，可以获取多个原始图像，不同原始图像的曝光可以相同，或者，不同原始图像的曝光可以不同。然后，从多个原始图像中选择一个原始图像作为原始训练图像，并对多个原始图像进行多图融合处理，得到目标图像。
示例性的，多个原始图像包括采用包围曝光模式采集的多个原始图像。其中，包围曝光模式(Bracketing)是相机的高级功能，基于包围曝光模式，在按下快门时，不是采集一个原始图像，而是以不同的曝光组合连续采集多个原始图像，从而保证有原始图像符合曝光意图。包围曝光模式的实现方式是：先按照测光值曝光采集一个原始图像，然后在其基础上增加和减少曝光量各采集一个或者多个原始图像，不同原始图像的曝光量不同。
示例性的，可以获取每个原始图像的曝光补偿信息，并根据每个原始图像的曝光补偿信息，从多个原始图像中选择一个原始图像作为原始训练图像。
示例性的，可以获取多个原始图像中的每个原始图像对应的RGB图像，对多个原始图像对应的多个RGB图像进行多图融合处理，得到目标图像。
在一个例子中，获取多个原始图像中的每个原始图像对应的RGB图像，可以包括：针对多个原始图像中的每个原始图像，对该原始图像进行解马赛克、去噪、自动白平衡、图像锐化、彩色增强、颜色空间转换、预去噪中的至少一种处理，得到该原始图像对应的RGB(即红绿蓝)图像。
在一个例子中，对多个原始图像对应的多个RGB图像进行多图融合处理，得到目标图像，可以包括但不限于：对多个原始图像对应的多个RGB图像进行配准处理和融合处理，生成目标图像。或者，对多个原始图像对应的多个RGB图像进行配准处理和融合处理，并对处理后的图像进行对比度增强和/或颜色空间转换，生成目标图像。当然，上述方式只是示例，对此不做限制。
综上所述，可以将多个RGB图像融合成目标图像，目标图像能够满足低噪声和高动态范围的质量要求，是能够满足高质量要求的目标图像。
参见图1B所示，本发明实施例中，需要根据数据集对预设神经网络进行训练，所述数据集包括原始图像和目标图像，因此，需要构建数据集，且数据集能够满足图像的高质量要求，如低噪声水平、高动态范围、准确的彩色呈现、有效的对比度增强结果等。为此，数据集的构建过程可以包括：
1、采集多个原始图像，不同原始图像的曝光可以相同或者不同。
具体的，对于目标相机来说，可以利用目标相机的自动模式，采集多个场景的原始图像(如Raw图像)，对此场景的数量不做限制，例如，场景的数量为500时，则采集500个场景的原始图像，如白天场景的原始图像、夜晚场景的原始图像、雨天场景的原始图像等，对此场景的类型不做限制。
针对每个场景来说，可以采用包围曝光模式采集多个不同曝光的原始图像，对每个场景的原始图像的数量不做限制，不同场景的原始图像的数量可以相同，也可以不同。例如，针对每个场景来说，可以采用包围曝光模式采集7-11个不同曝光的原始图像，当然，7-11只是一个示例，对此不做限制。
例如，针对白天场景来说，可以使用手持或三脚架拍摄方式，采用包围曝光模式采集最少7个不同曝光的原始图像，针对夜晚场景，可以采用三脚架拍摄方式，采用包围曝光模式采集最少11个不同曝光的原始图像。
其中，针对每个场景来说，通过采用包围曝光模式采集多个不同曝光的原始图像，可以包含整个场景的动态范围。而且，通过这些不同曝光的原始图像，方便后期图像配准和融合，以便后期图像融合过程中消除噪声。
其中，在采用包围曝光模式采集多个不同曝光的原始图像时，允许画面中的物体有小幅位移，且不拍摄具有大幅度运动位移的原始图像。
2、对多个原始图像进行多图融合处理，得到目标图像。
目标图像是训练预设神经网络的图像，具有参考级的图像质量，需要提供能够满足高质量要求的目标图像。基于此，为了有效实现低噪声和高动态范围的质量要求，可以对多个原始图像进行多图融合处理，得到目标图像。
参见图3A所示，针对每个场景的多个原始图像来说，可以采用编辑软件(如Photoshop等)对多个原始图像进行处理，得到每个原始图像对应的RGB图像。例如，针对每个原始图像，对该原始图像进行解马赛克、自动白平衡、去噪、图像锐化、彩色增强、颜色空间转换操作等处理，得到该原始图像对应的RGB图像，如16bit的通用颜色空间的RGB图像(如Adobe RGB图像)。采用去噪软件对每个RGB图像进行预去噪处理，得到去噪后的RGB图像。然后，采用HDR软件(如Aurora HDR等)对去噪后的多个RGB图像进行多图融合处理，得到目标图像。例如，对去噪后的多个RGB图像进行配准、融合、对比度增强和颜色空间空间转换等处理，得到目标图像。颜色空间空间转换用于将RGB图像转换到sRGB空间，即目标图像为sRGB彩色图像。
3、从多个原始图像中选择一个原始图像作为原始训练图像。
具体的，可以获取每个原始图像的曝光补偿信息，并根据每个原始图像的曝光补偿信息，从多个原始图像中选择一个原始图像作为原始训练图像。
例如，针对每个场景来说，可以从该场景的多个原始图像中选择一个原始图像作为原始训练图像。当原始图像的曝光补偿信息越大时，则说明这个原始图像的拍摄环境不好，需要进行曝光补偿，当原始图像的曝光补偿信息越小时，则说明这个原始图像的拍摄环境比较好，不需要进行曝光补偿或者只进行比较小的曝光补偿，因此，可以根据每个原始图像的曝光补偿信息，从多个原始图像中选择曝光补偿信息小的原始图像作为原始训练图像。
综上所述，可以得到每个场景的原始训练图像和目标图像，且每个场景的处理过程相同，后续以一个场景的原始训练图像和目标图像为例。
步骤202，对原始训练图像进行去相关操作，得到多通道训练图像。
具体的，可以根据原始训练图像获取R通道图像、G通道图像、B通道图像；然后，去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到多通道训练图像。其中，所述多通道训练图像可以包括亮度分量和色度分量，且所述色度分量包括第一色度分量和第二色度分量。
其中，根据原始训练图像获取R通道图像、G通道图像、B通道图像，可以包括但不限于：对原始训练图像进行上采样操作(如2倍的双线性上采样操作)，得到R通道图像、G通道图像和B通道图像。
其中，去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到多通道训练图像，可以包括但不限于：根据第一转换矩阵去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到多通道训练图像；其中，第一转换矩阵用于解除图像之间相关性。
在一个例子中，可以采用如下方式获取第一转换矩阵：获取原始输入图像，并根据原始输入图像获取R通道输入图像、G通道输入图像、B通道输入图像；进一步的，基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取第一转换矩阵。
示例性的，基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取第一转换矩阵，可以包括但不限于：从R通道输入图像、G通道输入图像、B通道输入图像中各采集多个像素向量，并将采集的多个像素向量构成像素向量矩阵；对所述像素向量矩阵进行主成分分析，得到三个基向量；根据三个基向量获取第一转换矩阵。
在一个例子中，考虑到彩色图像所表达的信息具有冗余性，一个像素点的三维颜色向量的各个元素之间具有线性相关性，若解除这样的相关性，就会将一个三维映射问题转化为3个独立的一维映射问题，使得问题得到简化，并提升算法的性能。基于此，本发明实施例中，可以进行颜色解相关处理。
参见图3B所示，为颜色解相关处理的示意图。首先，可以获取第一转换矩阵，第一转换矩阵用于解除图像之间的相关性。然后，通过第一转换矩阵对原始训练图像进行去相关操作，得到多通道训练图像，多通道训练图像包括亮度分量和色度分量，且所述色度分量包括第一色度分量和第二色度分量。
1、获取第一转换矩阵，第一转换矩阵用于解除图像之间的相关性。
首先，获取原始输入图像，例如，将数据集中的多个原始图像作为原始输入图像。针对每个原始输入图像，对该原始输入图像进行解相关运算，得到三通道的RGB图像(即相机颜色空间的RGB图像)。例如，可以对原始输入图像进行2倍的双线性上采样运算，得到三通道的RGB图像，所述三通道的RGB图像包括R通道输入图像、G通道输入图像、B通道输入图像。
然后，针对每个RGB图像，从该RGB图像的R通道输入图像中采集多个像素向量，从该RGB图像的G通道输入图像中采集多个像素向量，从该RGB图像的B通道输入图像中采集多个像素向量，并将采集的像素向量构成像素向量矩阵。例如，从R通道输入图像中采集N个像素向量，从G通道输入图像中采集N个像素向量，从B通道输入图像中采集N个像素向量，这样，可以将采集的所有像素向量构成一个N*3的像素向量矩阵，N为像素样本数量。N的取值根据经验配置，如N可以大于或等于1000，对此不做限制。
然后，对该像素向量矩阵进行主成分分析，得到三个基向量，并根据三个基向量获取第一转换矩阵。例如，可以采用PCA算法对该像素向量矩阵进行主成分分析，得到三个基向量(也可以称为坐标基列向量)，这三个基向量可以分别为X1、X2和X3，X1为样本在该坐标上方差最大的主分量。将这三个基向量构成第一转换矩阵M，M＝[X1,X2,X3]T，T用于表示转置。
其中，PCA(Principal Component Analysis，主成分分析)算法是一种使用广泛的数据降维算法，主要思想是将n维特征映射到k维上，这k维是全新的正交特征，也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。关于对像素向量矩阵进行主成分分析，得到三个基向量的过程，可以采用PCA算法实现，对此不再赘述，只要能够得到三个基向量即可。
2、通过第一转换矩阵对原始训练图像进行去相关操作，得到多通道训练图像，多通道训练图像可以包括亮度分量、第一色度分量和第二色度分量。
先根据原始训练图像获取R通道图像、G通道图像、B通道图像。例如，对原始训练图像进行上采样操作(如双线性上采样操作)，得到三通道的RGB图像，三通道的RGB图像包括R通道图像、G通道图像和B通道图像。
然后，根据第一转换矩阵去除R通道图像、G通道图像、B通道图像之间的相关性，得到多通道训练图像；所述多通道训练图像可以包括亮度分量和色度分量，所述色度分量包括第一色度分量和第二色度分量。
例如，在得到R通道图像、G通道图像和B通道图像之后，可以采用如下公式进行转换：I’＝M·I，I表示R通道图像、G通道图像和B通道图像中的像素值，而I’表示多通道训练图像中的像素值，M表示第一转换矩阵。显然，上述公式是根据第一转换矩阵去除R通道图像、G通道图像、B通道图像之间的相关性，得到亮度分量、第一色度分量和第二色度分量。
步骤203，根据多通道训练图像和目标图像对预设神经网络进行训练。
具体的，可以以多通道训练图像作为预设神经网络的输入，生成输出图像；根据输出图像和目标图像对预设神经网络的网络参数进行更新。
在一个例子中，多通道训练图像可以包括亮度分量和色度分量，预设神经网络可以包括多尺度提取网络，多尺度提取网络包括第一多尺度提取网络和第二多尺度提取网络，该第一多尺度提取网络用于获取亮度分量的多个尺度特征，该第二多尺度提取网络用于获取色度分量的多个尺度特征。
示例性的，色度分量可以包括第一色度分量和第二色度分量，第二多尺度提取网络可以包括用于获取第一色度分量的多个尺度特征的多尺度提取网络、用于获取第二色度分量的多个尺度特征的多尺度提取网络。
示例性的，第一多尺度提取网络可以包括但不限于：卷积层和/或池化层；第二多尺度提取网络可以包括但不限于：卷积层和/或池化层。
示例性的，预设神经网络还可以包括多个依次连接的拼接层；拼接层用于对同一尺度的亮度分量和色度分量进行通道拼接操作；或，拼接层用于对同一尺度的亮度分量和色度分量，以及上一拼接层的输出图像进行通道拼接操作。进一步的，相邻的拼接层之间通过预设的转置卷积层连接，转置卷积层用于将上一拼接层的输出图像进行转置卷积操作后输出至下一拼接层。
在一个例子中，根据输出图像和目标图像对预设神经网络的网络参数进行更新，可以包括但不限于：根据第二转换矩阵对所述输出图像进行转换，得到相机RGB图像；利用相机元数据将所述相机RGB图像转换为标准RGB图像；根据标准RGB图像和目标图像对预设神经网络的网络参数进行更新。
示例性的，可以根据第一转换矩阵确定第二转换矩阵；其中，第一转换矩阵为[X1,X2,X3]T，T用于表示转置，第二转换矩阵为[X1,X2,X3]。
参见图3B所示，步骤202中，可以得到多通道训练图像，多通道训练图像可以包括亮度分量和色度分量，且色度分量包括第一色度分量和第二色度分量。步骤201中，可以得到目标图像。基于此，在步骤203中，将多通道训练图像和目标图像作为预设神经网络的输入，对预设神经网络进行训练。
参见图3C和图3D所示(图3D是图3C的一个示例，示出了原始训练图像(图3D中将原始训练图像称为Raw图像)、亮度分量、色度分量和输出图像等)，预设神经网络可以包括多尺度提取网络，多尺度提取网络包括第一多尺度提取网络和第二多尺度提取网络。第一多尺度提取网络用于获取亮度分量的多个尺度特征，因此，第一多尺度提取网络也可以称为亮度分量多尺度提取网络。第二多尺度提取网络用于获取色度分量的多个尺度特征，因此，第二多尺度提取网络也可以称为色度分量多尺度提取网络。
其中，由于色度分量可以包括第一色度分量和第二色度分量，因此，第二多尺度提取网络可以包括用于获取第一色度分量的多个尺度特征的多尺度提取网络、用于获取第二色度分量的多个尺度特征的多尺度提取网络。
参见图3C所示，将多通道训练图像的亮度分量作为第一多尺度提取网络的输入，将多通道训练图像的色度分量作为第二多尺度提取网络的输入，基于第一多尺度提取网络和第二多尺度提取网络对亮度分量和色度分量进行处理，如卷积、池化、通道拼接、转置卷积等处理，最终，得到输出图像。
然后，根据第二转换矩阵对输出图像进行转换，得到相机RGB图像，并利用相机元数据将相机RGB图像转换为标准RGB图像，并根据标准RGB图像和目标图像对预设神经网络的网络参数进行更新，对此参数更新过程不做限制，只要是基于标准RGB图像和目标图像对网络参数进行更新即可。
例如，标准RGB图像的格式是sRGB，目标图像的格式也是sRGB，通过不断调整预设神经网络的网络参数，使得标准RGB图像与目标图像越来越接近，这个过程就是网络参数的更新过程，最终得到最优的网络参数。其中，预设神经网络的网络参数包括卷积层参数、池化层参数等，对此不做限制。
参见上述实施例，已经介绍第一转换矩阵的获取过程，第一转换矩阵可以为[X1,X2,X3]T，基于第一转换矩阵能够得到第二转换矩阵，第二转换矩阵可以为[X1,X2,X3]，例如，第二转换矩阵为M’，且M’＝[X1,X2,X3]。
综上所述，基于第一多尺度提取网络和第二多尺度提取网络得到输出图像后，可以根据第二转换矩阵M’对输出图像进行转换，得到相机RGB空间的图像，本文称为相机RGB图像。然后，利用相机元数据计算颜色转换矩阵，并根据颜色转换矩阵对相机RGB图像进行转换，得到sRGB空间的图像，本文称为标准RGB图像。基于标准RGB图像和目标图像对网络参数进行更新。
参见图3E所示，为第一多尺度提取网络和第二多尺度提取网络的结构示意图，通过第一多尺度提取网络和第二多尺度提取网络进行多尺度处理，第一多尺度提取网络和第二多尺度提取网络均具有多分辨率的处理结构，以便在不同尺度的图像上进行处理。例如，可以在小尺度的图像上可以进行去噪操作和锐化操作，可以在大尺度的图像上可以进行局部光照调整操作。
首先，参见上述实施例，可以通过第一转换矩阵对原始训练图像进行去相关操作，得到多通道训练图像，多通道训练图像可以包括亮度分量L、第一色度分量a和第二色度分量b，亮度分量L为图像在最大主分量上的投影，是图像的亮度分量，第一色度分量a和第二色度分量b是图像的色度分量。
然后，将亮度分量输出给第一多尺度提取网络，第一多尺度提取网络可以包括卷积层和/或池化层。参见图3E所示，第一多尺度提取网络包括多个卷积层和多个池化层，针对尺寸为W*H的亮度分量，由卷积层11对该亮度分量进行卷积处理，由池化层12对卷积处理后的亮度分量进行池化(如2倍最大值池化)处理，得到W/2*H/2的图像，即为原有图像的一半。针对尺寸为W/2*H/2的亮度分量，由卷积层13对该亮度分量进行卷积处理，由池化层14对卷积处理后的亮度分量进行池化(如2倍最大值池化)处理，得到W/4*H/4的图像。针对尺寸为W/4*H/4的亮度分量，由卷积层15对该亮度分量进行卷积处理。当然，上述是以3个卷积层、2个池化层为例，对此不做限制。
此外，将色度分量(如第一色度分量a和第二色度分量b，后续以色度分量为例进行说明)输出给第二多尺度提取网络，第二多尺度提取网络可以包括卷积层和/或池化层。参见图3E所示，第二多尺度提取网络包括多个卷积层和多个池化层，针对尺寸为W*H的色度分量，由卷积层21对该色度分量进行卷积处理，由池化层22对卷积处理后的色度分量进行池化(如2倍最大值池化)处理，得到W/2*H/2的图像，即为原有图像的一半。针对尺寸为W/2*H/2的色度分量，由卷积层23对该色度分量进行卷积处理，由池化层24对卷积处理后的色度分量进行池化(如2倍最大值池化)处理，得到W/4*H/4的图像。针对尺寸为W/4*H/4的色度分量，由卷积层25对该色度分量进行卷积处理。当然，上述是以3个卷积层、2个池化层为例，对此不做限制。
其中，第一多尺度提取网络对亮度分量进行卷积和池化处理，与第二多尺度提取网络对色度分量进行卷积和池化处理，二者是相互独立的。
参见图3E所示，预设神经网络还可以包括多个拼接层(即通道拼接层)、多个转置卷积层、多个卷积层。例如，可以将W/4*H/4的亮度分量和W/4*H/4的色度分量输出给拼接层31，由拼接层31对W/4*H/4的亮度分量和W/4*H/4的色度分量(即同一尺度的亮度分量和色度分量)进行通道拼接操作，将通道拼接操作后的图像输出给卷积层32，由卷积层32对图像进行卷积处理，由转置卷积层33对卷积处理后的图像进行转置卷积操作(如2倍转置卷积操作)，对此转置卷积操作的实现过程不做限制，得到W/2*H/2的图像。
将转置卷积层33的W/2*H/2的图像、卷积层13的W/2*H/2的亮度分量、卷积层23的W/2*H/2的色度分量，输出给拼接层34，由拼接层34对W/2*H/2的图像、W/2*H/2的亮度分量、W/2*H/2的色度分量进行通道拼接操作，将通道拼接操作后的图像输出给卷积层35，由卷积层35对图像进行卷积处理，由转置卷积层36对卷积处理后的图像进行转置卷积操作，得到W*H的图像。
进一步的，将转置卷积层36的W*H的图像、卷积层11的W*H的亮度分量、卷积层13的W*H的色度分量，输出给拼接层37，由拼接层37对W*H的图像、W*H的亮度分量、W*H的色度分量进行通道拼接操作，将通道拼接操作后的图像输出给卷积层38，由卷积层38对图像进行卷积处理，最终输出W*H的输出图像。然后，根据第二转换矩阵对输出图像进行转换，得到相机RGB图像，并利用相机元数据将相机RGB图像转换为标准RGB图像，并根据标准RGB图像和目标图像对预设神经网络的网络参数进行更新。
在上述实施例中，亮度分量和色度分量是以通道拼接的方式连接在一起，合成一条上采样的通道。为了保留图像的纹理细节，按照各自的尺度，亮度分量和色调分量的图像会以通道拼接的方式合并到上采样的卷积操作中。
在上述实施例中，各卷积层可以由多个Conv层(即卷积层)和多个ReLU(RectifiedLinear Unit，修正线性单元)层组成，参见图3E所示。
在上述实施例中，预设神经网络可以为任意架构的卷积神经网络(CNN)，对此预设神经网络的结构不做限制。预设神经网络可以实现颜色解相关处理和多分辨率处理，颜色解相关处理参见步骤202，多分辨率处理参见步骤203。
基于上述技术方案，本发明实施例中，可以对原始训练图像进行去相关操作，得到多通道训练图像，并根据多通道训练图像和目标图像对预设神经网络进行训练。这样，可以基于预设神经网络对待处理图像进行处理，以生成画质提升图像，从而能够提高图像质量。上述方式能够训练高性能的预设神经网络，并将采集到的低质量原始图像转换成高质量的sRGB彩色图像，具有高效的成像性能，获得高质量的成像结果，用户使用感受很好。
例如，基于预设神经网络生成的画质提升图像，具有更少的噪声、更高的动态范围、更加高的局部细节呈现，在视觉效果上更好。
参见图3F所示，是本发明图像与现有图像的对比效果图。左上角的图像和右上角的图像是现有图像。左下角的图像是基于预设神经网络生成的画质提升图像，右下角的图像是目标图像。显然，画质提升图像的图像质量很高，具有更少的噪声、更高的动态范围、更加高的局部细节呈现。
在上述实施例中，介绍了预设神经网络的训练，基于训练的预设神经网络，可以对待处理图像进行处理，得到画质提升图像，以下对此进行说明。
实施例2：参见图4所示，为图像处理方法的流程图，该方法可以包括：
步骤401，获取待处理图像，即需要提升质量的图像。
具体的，对于目标相机来说，可以采集待处理图像，对此不做限制。
步骤402，对该待处理图像进行去相关操作，得到多通道图像。
具体的，可以根据待处理图像获取R通道图像、G通道图像、B通道图像，然后，去除R通道图像、G通道图像、B通道图像之间的相关性，得到多通道图像。其中，所述多通道图像可以包括亮度分量和色度分量，且所述色度分量可以包括第一色度分量和第二色度分量。
其中，根据待处理图像获取R通道图像、G通道图像、B通道图像，可以包括但不限于：对待处理图像进行上采样操作(如2倍的双线性上采样操作)，得到R通道图像、G通道图像、B通道图像。
去除R通道图像、G通道图像、B通道图像之间的相关性，得到多通道图像，包括：根据第一转换矩阵去除R通道图像、G通道图像、B通道图像之间的相关性，得到多通道图像；第一转换矩阵用于解除图像之间相关性。
在一个例子中，可以采用如下方式获取第一转换矩阵：获取原始输入图像，并根据原始输入图像获取R通道输入图像、G通道输入图像、B通道输入图像；进一步的，基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取第一转换矩阵。
示例性的，基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取第一转换矩阵，可以包括但不限于：从R通道输入图像、G通道输入图像、B通道输入图像中各采集多个像素向量，并将采集的多个像素向量构成像素向量矩阵；对所述像素向量矩阵进行主成分分析，得到三个基向量；根据三个基向量获取第一转换矩阵。
在一个例子中，考虑到彩色图像所表达的信息具有冗余性，一个像素点的三维颜色向量的各个元素之间具有线性相关性，若解除这样的相关性，就会将一个三维映射问题转化为3个独立的一维映射问题，使得问题得到简化，并提升算法的性能。基于此，本实施例可以进行颜色解相关处理。具体的，获取第一转换矩阵，第一转换矩阵用于解除图像之间的相关性。然后，通过第一转换矩阵对待处理图像进行去相关操作，得到多通道图像，多通道图像包括亮度分量和色度分量，且色度分量包括第一色度分量和第二色度分量。
1、获取第一转换矩阵，第一转换矩阵用于解除图像之间的相关性。需要注意的是，第一转换矩阵是在执行步骤401之前，便已经获取的。
首先，获取原始输入图像，例如，将数据集中的多个原始图像作为原始输入图像。针对每个原始输入图像，对该原始输入图像进行解相关运算，得到三通道的RGB图像(即相机颜色空间的RGB图像)。例如，可以对原始输入图像进行2倍的双线性上采样运算，得到三通道的RGB图像，所述三通道的RGB图像包括R通道输入图像、G通道输入图像、B通道输入图像。
然后，针对每个RGB图像，从该RGB图像的R通道输入图像中采集多个像素向量，从该RGB图像的G通道输入图像中采集多个像素向量，从该RGB图像的B通道输入图像中采集多个像素向量，并将采集的像素向量构成像素向量矩阵。例如，从R通道输入图像中采集N个像素向量，从G通道输入图像中采集N个像素向量，从B通道输入图像中采集N个像素向量，这样，可以将采集的所有像素向量构成一个N*3的像素向量矩阵，N为像素样本数量。N的取值根据经验配置，如N可以大于或等于1000，对此不做限制。
然后，对该像素向量矩阵进行主成分分析，得到三个基向量，并根据三个基向量获取第一转换矩阵。例如，可以采用PCA算法对该像素向量矩阵进行主成分分析，得到三个基向量(也可以称为坐标基列向量)，这三个基向量可以分别为X1、X2和X3，X1为样本在该坐标上方差最大的主分量。将这三个基向量构成第一转换矩阵M，M＝[X1,X2,X3]T，T用于表示转置。
2、在步骤402中，通过第一转换矩阵对待处理图像进行去相关操作，得到多通道图像，多通道图像包括亮度分量、第一色度分量和第二色度分量。
具体的，先根据待处理图像获取R通道图像、G通道图像、B通道图像。例如，对待处理图像进行上采样操作(如双线性上采样操作)，得到三通道的RGB图像，三通道的RGB图像包括R通道图像、G通道图像和B通道图像。
然后，根据第一转换矩阵去除R通道图像、G通道图像、B通道图像之间的相关性，得到多通道图像；所述多通道图像可以包括亮度分量和色度分量，所述色度分量包括第一色度分量和第二色度分量。
例如，在得到R通道图像、G通道图像和B通道图像之后，可以采用如下公式进行转换：I’＝M·I，I表示R通道图像、G通道图像和B通道图像中的像素值，而I’表示多通道图像中的像素值，M表示第一转换矩阵。显然，上述公式是根据第一转换矩阵去除R通道图像、G通道图像、B通道图像之间的相关性，得到亮度分量、第一色度分量和第二色度分量。
步骤403，通过预设神经网络对多通道图像进行处理，以生成画质提升图像。具体的，以多通道图像作为预设神经网络的输入，生成输出图像；根据预设神经网络的网络参数对输出图像进行处理，生成画质提升图像。
在一个例子中，多通道图像可以包括亮度分量和色度分量，预设神经网络可以包括多尺度提取网络，该多尺度提取网络可以包括第一多尺度提取网络和第二多尺度提取网络，第一多尺度提取网络用于获取亮度分量的多个尺度特征，第二多尺度提取网络用于获取色度分量的多个尺度特征。
其中，色度分量可以包括第一色度分量和第二色度分量；第二多尺度提取网络可以包括用于获取第一色度分量的多个尺度特征的多尺度提取网络、用于获取第二色度分量的多个尺度特征的多尺度提取网络。
示例性的，第一多尺度提取网络可以包括但不限于：卷积层和/或池化层；第二多尺度提取网络可以包括但不限于：卷积层和/或池化层。
在一个例子中，根据预设神经网络的网络参数对输出图像进行处理，生成画质提升图像，可以包括：根据第二转换矩阵对输出图像进行转换，得到相机RGB图像；利用相机元数据将相机RGB图像转换为标准RGB图像；根据预设神经网络的网络参数对标准RGB图像进行处理，生成画质提升图像。
示例性的，可以根据第一转换矩阵确定第二转换矩阵；其中，第一转换矩阵为[X1,X2,X3]T，T用于表示转置，第二转换矩阵为[X1,X2,X3]。
示例性的，预设神经网络还可以包括多个依次连接的拼接层；拼接层用于对同一尺度的亮度分量和色度分量进行通道拼接操作；或，拼接层用于对同一尺度的亮度分量和色度分量，以及上一拼接层的输出图像进行通道拼接操作。进一步的，相邻的拼接层之间通过预设的转置卷积层连接，转置卷积层用于将上一拼接层的输出图像进行转置卷积操作后输出至下一拼接层。
步骤402中，可以得到多通道图像，该多通道图像可以包括亮度分量和色度分量，且色度分量可以包括第一色度分量和第二色度分量。步骤403中，可以将多通道图像作为预设神经网络的输入，生成输出图像。
具体的，预设神经网络包括第一多尺度提取网络和第二多尺度提取网络，第一多尺度提取网络用于获取亮度分量的多个尺度特征，第二多尺度提取网络用于获取色度分量的多个尺度特征，将多通道图像的亮度分量作为第一多尺度提取网络的输入，将多通道图像的色度分量作为第二多尺度提取网络的输入，基于第一多尺度提取网络和第二多尺度提取网络对亮度分量和色度分量进行处理，如卷积、池化、通道拼接、转置卷积等，最终得到输出图像。
然后，根据第二转换矩阵对输出图像进行转换，得到相机RGB图像，并利用相机元数据将相机RGB图像转换为标准RGB图像。在得到标准RGB图像后，由于上述实施例中已经训练预设神经网络的网络参数，因此，可以根据预设神经网络的网络参数对标准RGB图像进行处理，生成画质提升图像。
综上所述，基于第一多尺度提取网络和第二多尺度提取网络得到输出图像后，可以根据第二转换矩阵M’对输出图像进行转换，得到相机RGB空间的图像，本文称为相机RGB图像。然后，利用相机元数据计算颜色转换矩阵，并根据颜色转换矩阵对相机RGB图像进行转换，得到sRGB空间的图像，本文称为标准RGB图像。然后，根据预设神经网络的网络参数对标准RGB图像进行处理，生成画质提升图像，对此预设神经网络的处理过程不做限制。
参见图3E所示，为第一多尺度提取网络和第二多尺度提取网络的结构示意图，通过第一多尺度提取网络和第二多尺度提取网络进行多尺度处理，第一多尺度提取网络和第二多尺度提取网络均具有多分辨率的处理结构，以便在不同尺度的图像上进行处理。例如，可以在小尺度的图像上可以进行去噪操作和锐化操作，可以在大尺度的图像上可以进行局部光照调整操作。
首先，参见上述实施例，可以通过第一转换矩阵对待处理图像进行去相关操作，得到多通道图像，多通道图像可以包括亮度分量L、第一色度分量a和第二色度分量b，亮度分量L为图像在最大主分量上的投影，是图像的亮度分量，第一色度分量a和第二色度分量b是图像的色度分量。
然后，将亮度分量输出给第一多尺度提取网络，第一多尺度提取网络可以包括卷积层和/或池化层。参见图3E所示，第一多尺度提取网络包括多个卷积层和多个池化层，针对尺寸为W*H的亮度分量，由卷积层11对该亮度分量进行卷积处理，由池化层12对卷积处理后的亮度分量进行池化(如2倍最大值池化)处理，得到W/2*H/2的图像，即为原有图像的一半。针对尺寸为W/2*H/2的亮度分量，由卷积层13对该亮度分量进行卷积处理，由池化层14对卷积处理后的亮度分量进行池化(如2倍最大值池化)处理，得到W/4*H/4的图像。针对尺寸为W/4*H/4的亮度分量，由卷积层15对该亮度分量进行卷积处理。当然，上述是以3个卷积层、2个池化层为例，对此不做限制。
此外，将色度分量(如第一色度分量a和第二色度分量b，后续以色度分量为例进行说明)输出给第二多尺度提取网络，第二多尺度提取网络可以包括卷积层和/或池化层。参见图3E所示，第二多尺度提取网络包括多个卷积层和多个池化层，针对尺寸为W*H的色度分量，由卷积层21对该色度分量进行卷积处理，由池化层22对卷积处理后的色度分量进行池化(如2倍最大值池化)处理，得到W/2*H/2的图像，即为原有图像的一半。针对尺寸为W/2*H/2的色度分量，由卷积层23对该色度分量进行卷积处理，由池化层24对卷积处理后的色度分量进行池化(如2倍最大值池化)处理，得到W/4*H/4的图像。针对尺寸为W/4*H/4的色度分量，由卷积层25对该色度分量进行卷积处理。当然，上述是以3个卷积层、2个池化层为例，对此不做限制。
其中，第一多尺度提取网络对亮度分量进行卷积和池化处理，与第二多尺度提取网络对色度分量进行卷积和池化处理，二者是相互独立的。
参见图3E所示，预设神经网络还可以包括多个拼接层(即通道拼接层)、多个转置卷积层、多个卷积层。例如，可以将W/4*H/4的亮度分量和W/4*H/4的色度分量输出给拼接层31，由拼接层31对W/4*H/4的亮度分量和W/4*H/4的色度分量(即同一尺度的亮度分量和色度分量)进行通道拼接操作，将通道拼接操作后的图像输出给卷积层32，由卷积层32对图像进行卷积处理，由转置卷积层33对卷积处理后的图像进行转置卷积操作(如2倍转置卷积操作)，对此转置卷积操作的实现过程不做限制，得到W/2*H/2的图像。
将转置卷积层33的W/2*H/2的图像、卷积层13的W/2*H/2的亮度分量、卷积层23的W/2*H/2的色度分量，输出给拼接层34，由拼接层34对W/2*H/2的图像、W/2*H/2的亮度分量、W/2*H/2的色度分量进行通道拼接操作，将通道拼接操作后的图像输出给卷积层35，由卷积层35对图像进行卷积处理，由转置卷积层36对卷积处理后的图像进行转置卷积操作，得到W*H的图像。
进一步的，将转置卷积层36的W*H的图像、卷积层11的W*H的亮度分量、卷积层13的W*H的色度分量，输出给拼接层37，由拼接层37对W*H的图像、W*H的亮度分量、W*H的色度分量进行通道拼接操作，将通道拼接操作后的图像输出给卷积层38，由卷积层38对图像进行卷积处理，最终输出W*H的输出图像。然后，根据第二转换矩阵对输出图像进行转换，得到相机RGB图像，并利用相机元数据将相机RGB图像转换为标准RGB图像，并根据预设神经网络的网络参数对标准RGB图像进行处理，生成画质提升图像。
在上述实施例中，亮度分量和色度分量是以通道拼接的方式连接在一起，合成一条上采样的通道。为了保留图像的纹理细节，按照各自的尺度，亮度分量和色调分量的图像会以通道拼接的方式合并到上采样的卷积操作中。
在上述实施例中，各卷积层可以由多个Conv层(即卷积层)和多个ReLU(RectifiedLinear Unit，修正线性单元)层组成。上述实施例中，预设神经网络可以为任意架构的卷积神经网络，对此预设神经网络的结构不做限制。
基于上述技术方案，本发明实施例中，能够训练高性能的预设神经网络，并将采集到的低质量原始图像转换成高质量的sRGB彩色图像，具有高效的成像性能，获得高质量的成像结果，用户使用感受很好。
实施例3：在另一种预设神经网络的训练过程中，可以根据多通道训练图像对预设神经网络进行训练，参见图5所示，为该图像处理方法的流程图。
步骤501，根据原始训练图像获取多通道训练图像。
其中，根据原始训练图像获取多通道训练图像的过程，参见实施例1。
步骤502，根据多通道训练图像对预设神经网络进行训练；其中，该预设神经网络包括多尺度提取网络，多尺度提取网络用于获取多通道训练图像中的每一通道的训练图像的多个尺度特征。例如，多通道训练图像可以包括亮度分量和色度分量，多尺度提取网络可以包括第一多尺度提取网络和第二多尺度提取网络，第一多尺度提取网络用于获取亮度分量的多个尺度特征，第二多尺度提取网络用于获取色度分量的多个尺度特征。
在一个例子中，可以获取原始训练图像、与原始训练图像对应的目标图像。基于此，可以根据多通道训练图像和目标图像对预设神经网络进行训练。
获取原始训练图像、与原始训练图像对应的目标图像，包括：获取多个原始图像；不同原始图像的曝光相同或不同；从多个原始图像中选择一个原始图像作为原始训练图像，对多个原始图像进行多图融合处理，得到目标图像。原始训练图像、目标图像的获取方式，参见实施例1，在此不再赘述。
其中，关于预设神经网络的结构，可以参见实施例1，在此不再赘述。
在一个例子中，根据多通道训练图像和目标图像对预设神经网络进行训练，可以包括：以多通道训练图像作为预设神经网络的输入，生成输出图像；根据输出图像和目标图像对预设神经网络的网络参数进行更新。
其中，根据输出图像和目标图像对预设神经网络的网络参数进行更新，可以包括：根据第二转换矩阵对输出图像进行转换，得到相机RGB图像；利用相机元数据将相机RGB图像转换为标准RGB图像；进一步的，根据标准RGB图像和目标图像对预设神经网络的网络参数进行更新。
基于上述技术方案，本发明实施例中，能够训练高性能的预设神经网络，并将采集到的低质量原始图像转换成高质量的sRGB彩色图像，具有高效的成像性能，获得高质量的成像结果，用户使用感受很好。
在上述实施例3中，介绍了预设神经网络的训练，基于训练的预设神经网络，可以对待处理图像进行处理，得到画质提升图像，以下对此进行说明。
实施例4：参见图6所示，为图像处理方法的流程图，该方法可以包括：
步骤601，获取待处理图像、与待处理图像对应的多通道图像。
步骤602，通过预设神经网络对多通道图像进行处理，以生成画质提升图像；其中，该预设神经网络可以包括多尺度提取网络，所述多尺度提取网络用于获取多通道图像中的每一通道的图像的多个尺度特征。
其中，通过预设神经网络对多通道图像进行处理，以生成画质提升图像，可以包括：以多通道图像作为预设神经网络的输入，生成输出图像；根据预设神经网络的网络参数对输出图像进行处理，生成画质提升图像。
其中，关于预设神经网络的结构，可以参见实施例1，在此不再赘述。
其中，根据预设神经网络的网络参数对输出图像进行处理，生成画质提升图像，包括：根据第二转换矩阵对输出图像进行转换，得到相机RGB图像；利用相机元数据将相机RGB图像转换为标准RGB图像；根据预设神经网络的网络参数对标准RGB图像进行处理，生成画质提升图像。
基于上述技术方案，本发明实施例中，能够训练高性能的预设神经网络，并将采集到的低质量原始图像转换成高质量的sRGB彩色图像，具有高效的成像性能，获得高质量的成像结果，用户使用感受很好。
实施例5：
基于与上述方法同样的构思，本发明实施例中还提供一种图像处理装置70，参见图7所示，图像处理装置70包括处理器71和存储器72；所述存储器72，用于存储所述处理器71可执行的计算机指令；所述处理器71，用于从所述存储器72读取所述计算机指令，以实现上述的图像处理方法。具体的，所述处理器71可以从所述存储器72读取所述计算机指令，以实现如下操作：
获取原始训练图像、与所述原始训练图像对应的目标图像；
对所述原始训练图像进行去相关操作，得到多通道训练图像；
根据所述多通道训练图像和所述目标图像对预设神经网络进行训练。
所述处理器71获取原始训练图像、与所述原始训练图像对应的目标图像时具体用于：获取多个原始图像；其中，不同原始图像的曝光相同或不同；
从所述多个原始图像中选择一个原始图像作为所述原始训练图像；
对所述多个原始图像进行多图融合处理，得到所述目标图像。
所述处理器71从多个原始图像中选择一个原始图像作为所述原始训练图像时具体用于：获取每个原始图像的曝光补偿信息，根据每个原始图像的曝光补偿信息，从多个原始图像中选择一个原始图像作为所述原始训练图像。
所述处理器71对所述多个原始图像进行多图融合处理，得到所述目标图像时具体用于：获取多个原始图像中的每个原始图像对应的RGB图像，对所述多个原始图像对应的多个RGB图像进行多图融合处理，得到所述目标图像。
所述处理器71获取所述多个原始图像中的每个原始图像对应的RGB图像时具体用于：针对所述多个原始图像中的每个原始图像，对所述原始图像进行解马赛克、去噪、自动白平衡、图像锐化、彩色增强、颜色空间转换、预去噪中的至少一种处理，得到所述原始图像对应的RGB图像。
所述处理器71对所述多个原始图像对应的多个RGB图像进行多图融合处理，得到所述目标图像时具体用于：对所述多个原始图像对应的多个RGB图像进行配准处理和融合处理，生成所述目标图像。或者，对所述多个原始图像对应的多个RGB图像进行配准处理和融合处理，并对处理后的图像进行对比度增强和/或颜色空间转换，生成所述目标图像。
所述处理器71对所述原始训练图像进行去相关操作，得到多通道训练图像时具体用于：根据所述原始训练图像获取R通道图像、G通道图像、B通道图像；去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道训练图像。所述处理器71根据所述原始训练图像获取R通道图像、G通道图像、B通道图像时具体用于：对所述原始训练图像进行上采样操作，得到所述R通道图像、所述G通道图像和所述B通道图像。
所述处理器71去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道训练图像时具体用于：根据第一转换矩阵去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道训练图像；其中，所述第一转换矩阵用于解除图像之间相关性。
所述处理器71还用于：根据如下方式获取所述第一转换矩阵；
获取原始输入图像，并根据所述原始输入图像获取R通道输入图像、G通道输入图像、B通道输入图像；基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取所述第一转换矩阵。
所述处理器71基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取所述第一转换矩阵时具体用于：
从所述R通道输入图像、所述G通道输入图像、所述B通道输入图像中各采集多个像素向量，并将采集的多个像素向量构成像素向量矩阵；
对所述像素向量矩阵进行主成分分析，得到三个基向量；
根据所述三个基向量获取所述第一转换矩阵。
所述处理器71根据多通道训练图像和目标图像对预设神经网络进行训练时具体用于：以多通道训练图像作为所述预设神经网络的输入，生成输出图像；根据所述输出图像和所述目标图像对预设神经网络的网络参数进行更新。
所述多通道训练图像包括亮度分量和色度分量，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络包括第一多尺度提取网络和第二多尺度提取网络，所述第一多尺度提取网络用于获取所述亮度分量的多个尺度特征，所述第二多尺度提取网络用于获取所述色度分量的多个尺度特征。
所述色度分量包括第一色度分量和第二色度分量。
所述第一多尺度提取网络包括卷积层和/或池化层；
所述第二多尺度提取网络包括卷积层和/或池化层。
所述预设神经网络还包括多个依次连接的拼接层；所述拼接层用于对同一尺度的亮度分量和色度分量进行通道拼接操作；或，拼接层用于对同一尺度的亮度分量和色度分量，以及上一拼接层的输出图像进行通道拼接操作。
相邻的所述拼接层之间通过预设的转置卷积层连接，所述转置卷积层用于将上一拼接层的输出图像进行转置卷积操作后输出至下一拼接层。
所述处理器71根据所述输出图像和所述目标图像对预设神经网络的网络参数进行更新时具体用于：根据第二转换矩阵对所述输出图像进行转换，得到相机RGB图像；利用相机元数据将所述相机RGB图像转换为标准RGB图像；根据标准RGB图像和目标图像对预设神经网络的网络参数进行更新。
所述处理器71还用于：根据第一转换矩阵确定第二转换矩阵；所述第一转换矩阵为[X1,X2,X3]T，T用于表示转置，第二转换矩阵为[X1,X2,X3]。
所述处理器71可以从所述存储器72读取所述计算机指令，以实现如下操作：获取待处理图像；对所述待处理图像进行去相关操作，得到多通道图像；通过预设神经网络对所述多通道图像进行处理，以生成画质提升图像。
所述处理器71对所述待处理图像进行去相关操作，得到多通道图像时具体用于：根据所述待处理图像获取R通道图像、G通道图像、B通道图像；去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道图像。所述处理器71通过预设神经网络对所述多通道图像进行处理，以生成画质提升图像时具体用于：以所述多通道图像作为所述预设神经网络的输入，生成输出图像；根据所述预设神经网络的网络参数对所述输出图像进行处理，生成画质提升图像。
又例如，所述处理器71可以从所述存储器72读取所述计算机指令，以实现如下操作：根据原始训练图像获取多通道训练图像；
根据所述多通道训练图像对预设神经网络进行训练；其中，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络用于获取所述多通道训练图像中的每一通道的训练图像的多个尺度特征。
所述处理器71还用于：获取原始训练图像、与所述原始训练图像对应的目标图像；所述处理器71根据所述多通道训练图像对预设神经网络进行训练时具体用于：根据多通道训练图像和所述目标图像对预设神经网络进行训练。
又例如，所述处理器71可以从所述存储器72读取所述计算机指令，以实现如下操作：获取待处理图像、与所述待处理图像对应的多通道图像；
通过预设神经网络对所述多通道图像进行处理，以生成画质提升图像；
其中，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络用于获取所述多通道图像中的每一通道的图像的多个尺度特征。
基于与上述方法同样的构思，本发明实施例中还提供一种可移动平台，参见图8所示，该可移动平台80包括：机体81；动力系统82，所述动力系统82安装在所述机体81内部，所述动力系统82用于为所述可移动平台80提供动力；传感系统83，用于拍摄图像帧；以及，上述的图像处理装置70，用于对所述传感系统拍摄的图像帧进行处理后。优选地，所述图像处理装置70的处理器71还用于根据处理后的图像帧控制所述动力系统82。
以无人机为例，无人机的动力系统可以包括电子调速器(简称为电调)、螺旋桨以及与螺旋桨相对应的电机。电机连接在电子调速器与螺旋桨之间，电机和螺旋桨设置在对应的机臂上；电子调速器用于接收控制系统产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速。电机用于驱动螺旋桨旋转，从而为无人机的飞行提供动力。
基于与上述方法同样的构思，本发明实施例中还提供一种相机，参见图9所示，相机90包括：外壳91；镜头组件92，所述镜头组件92安装在所述外壳91内部；传感器组件93，所述传感器组件93安装在所述外壳91内部，用于感知通过所述镜头组件92的光并生成电信号；以及，上述图像处理装置70。
基于与上述方法同样的构思，本发明实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，在所述计算机指令被执行时，实现上述的图像处理方法，即上述各实施例的图像处理方法。
上述实施例阐明的系统、装置、模块或单元，可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进，均应包含在本发明的权利要求范围之内。

Claims (60)

1.一种图像处理方法，其特征在于，所述方法包括：
获取原始训练图像、与所述原始训练图像对应的目标图像；
对所述原始训练图像进行去相关操作，得到多通道训练图像；
根据所述多通道训练图像和所述目标图像对预设神经网络进行训练。
2.根据权利要求1所述的方法，其特征在于，
获取原始训练图像、与所述原始训练图像对应的目标图像，包括：
获取多个原始图像；其中，不同原始图像的曝光相同或不同；
从所述多个原始图像中选择一个原始图像作为所述原始训练图像；
对所述多个原始图像进行多图融合处理，得到所述目标图像。
3.根据权利要求2所述的方法，其特征在于，
所述多个原始图像包括采用包围曝光模式采集的多个原始图像。
4.根据权利要求2所述的方法，其特征在于，
从所述多个原始图像中选择一个原始图像作为所述原始训练图像，包括：
获取每个原始图像的曝光补偿信息，并根据每个原始图像的曝光补偿信息，从所述多个原始图像中选择一个原始图像作为所述原始训练图像。
5.根据权利要求2所述的方法，其特征在于，
对所述多个原始图像进行多图融合处理，得到所述目标图像，包括：
获取所述多个原始图像中的每个原始图像对应的RGB图像，对所述多个原始图像对应的多个RGB图像进行多图融合处理，得到所述目标图像。
6.根据权利要求5所述的方法，其特征在于，
获取所述多个原始图像中的每个原始图像对应的RGB图像，包括：
针对所述多个原始图像中的每个原始图像，对所述原始图像进行解马赛克、去噪、自动白平衡、图像锐化、彩色增强、颜色空间转换、预去噪中的至少一种处理，得到所述原始图像对应的RGB图像。
7.根据权利要求5所述的方法，其特征在于，对所述多个原始图像对应的多个RGB图像进行多图融合处理，得到所述目标图像，包括：
对所述多个原始图像对应的多个RGB图像进行配准处理和融合处理，生成所述目标图像。
8.根据权利要求5所述的方法，其特征在于，对所述多个原始图像对应的多个RGB图像进行多图融合处理，得到所述目标图像，包括：
对所述多个原始图像对应的多个RGB图像进行配准处理和融合处理，并对处理后的图像进行对比度增强和/或颜色空间转换，生成所述目标图像。
9.根据权利要求1所述的方法，其特征在于，
对所述原始训练图像进行去相关操作，得到多通道训练图像，包括：
根据所述原始训练图像获取R通道图像、G通道图像、B通道图像；
去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道训练图像。
10.根据权利要求9所述的方法，其特征在于，所述根据所述原始训练图像获取R通道图像、G通道图像、B通道图像，包括：
对所述原始训练图像进行上采样操作，得到所述R通道图像、所述G通道图像和所述B通道图像。
11.根据权利要求9所述的方法，其特征在于，
所述去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道训练图像，包括：
根据第一转换矩阵去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道训练图像；
其中，所述第一转换矩阵用于解除图像之间相关性。
12.根据权利要求11所述的方法，其特征在于，所述根据第一转换矩阵去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性之前，所述方法还包括：根据如下方式获取所述第一转换矩阵；
获取原始输入图像，并根据所述原始输入图像获取R通道输入图像、G通道输入图像、B通道输入图像；基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取所述第一转换矩阵。
13.根据权利要求12所述的方法，其特征在于，
所述基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取所述第一转换矩阵，包括：
从所述R通道输入图像、所述G通道输入图像、所述B通道输入图像中各采集多个像素向量，并将采集的多个像素向量构成像素向量矩阵；
对所述像素向量矩阵进行主成分分析，得到三个基向量；
根据所述三个基向量获取所述第一转换矩阵。
14.根据权利要求1所述的方法，其特征在于，所述根据所述多通道训练图像和所述目标图像对预设神经网络进行训练，包括：
以所述多通道训练图像作为所述预设神经网络的输入，生成输出图像；根据所述输出图像和所述目标图像对预设神经网络的网络参数进行更新。
15.根据权利要求14所述的方法，其特征在于，
所述多通道训练图像包括亮度分量和色度分量，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络包括第一多尺度提取网络和第二多尺度提取网络，所述第一多尺度提取网络用于获取所述亮度分量的多个尺度特征，所述第二多尺度提取网络用于获取所述色度分量的多个尺度特征。
16.根据权利要求15所述的方法，其特征在于，
所述色度分量包括第一色度分量和第二色度分量。
17.根据权利要求15所述的方法，其特征在于，
所述第一多尺度提取网络包括卷积层和/或池化层；
所述第二多尺度提取网络包括卷积层和/或池化层。
18.根据权利要求15所述的方法，其特征在于，
所述预设神经网络还包括多个依次连接的拼接层；所述拼接层用于对同一尺度的亮度分量和色度分量进行通道拼接操作；或，
所述拼接层用于对同一尺度的亮度分量和色度分量，以及上一拼接层的输出图像进行通道拼接操作。
19.根据权利要求18所述的方法，其特征在于，
相邻的所述拼接层之间通过预设的转置卷积层连接，所述转置卷积层用于将上一拼接层的输出图像进行转置卷积操作后输出至下一拼接层。
20.根据权利要求14所述的方法，其特征在于，所述根据所述输出图像和所述目标图像对预设神经网络的网络参数进行更新，包括：
根据第二转换矩阵对所述输出图像进行转换，得到相机RGB图像；
利用相机元数据将所述相机RGB图像转换为标准RGB图像；
根据标准RGB图像和目标图像对预设神经网络的网络参数进行更新。
21.根据权利要求20所述的方法，其特征在于，所述方法还包括：
根据第一转换矩阵确定第二转换矩阵；其中，所述第一转换矩阵为[X1,X2,X3]T，T用于表示转置，所述第二转换矩阵为[X1,X2,X3]。
22.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
对所述待处理图像进行去相关操作，得到多通道图像；
通过预设神经网络对所述多通道图像进行处理，以生成画质提升图像。
23.根据权利要求22所述的方法，其特征在于，
对所述待处理图像进行去相关操作，得到多通道图像，包括：
根据所述待处理图像获取R通道图像、G通道图像、B通道图像；
去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道图像。
24.根据权利要求23所述的方法，其特征在于，所述根据所述待处理图像获取R通道图像、G通道图像、B通道图像，包括：
对所述待处理图像进行上采样操作，得到所述R通道图像、所述G通道图像、所述B通道图像。
25.根据权利要求23所述的方法，其特征在于，
所述去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道图像，包括：
根据第一转换矩阵去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性，得到所述多通道图像；
其中，所述第一转换矩阵用于解除图像之间相关性。
26.根据权利要求25所述的方法，其特征在于，所述根据第一转换矩阵去除所述R通道图像、所述G通道图像、所述B通道图像之间的相关性之前，所述方法还包括：根据如下方式获取所述第一转换矩阵；
获取原始输入图像，并根据所述原始输入图像获取R通道输入图像、G通道输入图像、B通道输入图像；基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取所述第一转换矩阵。
27.根据权利要求26所述的方法，其特征在于，
所述基于主成分分析，根据所述R通道输入图像、所述G通道输入图像、所述B通道输入图像获取所述第一转换矩阵，包括：
从所述R通道输入图像、所述G通道输入图像、所述B通道输入图像中各采集多个像素向量，并将采集的多个像素向量构成像素向量矩阵；
对所述像素向量矩阵进行主成分分析，得到三个基向量；
根据所述三个基向量获取所述第一转换矩阵。
28.根据权利要求22所述的方法，其特征在于，所述通过预设神经网络对所述多通道图像进行处理，以生成画质提升图像，包括：
以所述多通道图像作为所述预设神经网络的输入，生成输出图像；根据所述预设神经网络的网络参数对所述输出图像进行处理，生成画质提升图像。
29.根据权利要求28所述的方法，其特征在于，
所述多通道图像包括亮度分量和色度分量，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络包括第一多尺度提取网络和第二多尺度提取网络，所述第一多尺度提取网络用于获取所述亮度分量的多个尺度特征，所述第二多尺度提取网络用于获取所述色度分量的多个尺度特征。
30.根据权利要求29所述的方法，其特征在于，
所述色度分量包括第一色度分量和第二色度分量；
所述第一多尺度提取网络包括卷积层和/或池化层；
所述第二多尺度提取网络包括卷积层和/或池化层。
31.根据权利要求29所述的方法，其特征在于，
所述预设神经网络还包括多个依次连接的拼接层；所述拼接层用于对同一尺度的亮度分量和色度分量进行通道拼接操作；或，
所述拼接层用于对同一尺度的亮度分量和色度分量，以及上一拼接层的输出图像进行通道拼接操作。
32.根据权利要求31所述的方法，其特征在于，
相邻的所述拼接层之间通过预设的转置卷积层连接，所述转置卷积层用于将上一拼接层的输出图像进行转置卷积操作后输出至下一拼接层。
33.根据权利要求28所述的方法，其特征在于，所述根据所述预设神经网络的网络参数对所述输出图像进行处理，生成画质提升图像，包括：
根据第二转换矩阵对所述输出图像进行转换，得到相机RGB图像；
利用相机元数据将所述相机RGB图像转换为标准RGB图像；根据所述预设神经网络的网络参数对所述标准RGB图像进行处理，生成画质提升图像。
34.一种图像处理方法，其特征在于，所述方法包括：
根据原始训练图像获取多通道训练图像；
根据所述多通道训练图像对预设神经网络进行训练；其中，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络用于获取所述多通道训练图像中的每一通道的训练图像的多个尺度特征。
35.根据权利要求34所述的方法，其特征在于，所述方法还包括：
获取原始训练图像、与所述原始训练图像对应的目标图像；
所述根据所述多通道训练图像对预设神经网络进行训练，包括：
根据所述多通道训练图像和所述目标图像对预设神经网络进行训练。
36.根据权利要求35所述的方法，其特征在于，
获取多个原始图像；其中，不同原始图像的曝光相同或不同；
从所述多个原始图像中选择一个原始图像作为所述原始训练图像；
对所述多个原始图像进行多图融合处理，得到所述目标图像。
37.根据权利要求36所述的方法，其特征在于，
所述多个原始图像包括采用包围曝光模式采集的多个原始图像。
38.根据权利要求36所述的方法，其特征在于，
从所述多个原始图像中选择一个原始图像作为所述原始训练图像，包括：
获取每个原始图像的曝光补偿信息，并根据每个原始图像的曝光补偿信息，从所述多个原始图像中选择一个原始图像作为所述原始训练图像。
39.根据权利要求36所述的方法，其特征在于，
对所述多个原始图像进行多图融合处理，得到所述目标图像，包括：
获取所述多个原始图像中的每个原始图像对应的RGB图像，对所述多个原始图像对应的多个RGB图像进行多图融合处理，得到所述目标图像。
40.根据权利要求39所述的方法，其特征在于，
获取所述多个原始图像中的每个原始图像对应的RGB图像，包括：
针对所述多个原始图像中的每个原始图像，对所述原始图像进行解马赛克、去噪、自动白平衡、图像锐化、彩色增强、颜色空间转换、预去噪中的至少一种处理，得到所述原始图像对应的RGB图像。
41.根据权利要求39所述的方法，其特征在于，对所述多个原始图像对应的多个RGB图像进行多图融合处理，得到所述目标图像，包括：
对所述多个原始图像对应的多个RGB图像进行配准处理和融合处理，生成所述目标图像。
42.根据权利要求39所述的方法，其特征在于，对所述多个原始图像对应的多个RGB图像进行多图融合处理，得到所述目标图像，包括：
对所述多个原始图像对应的多个RGB图像进行配准处理和融合处理，并对处理后的图像进行对比度增强和/或颜色空间转换，生成所述目标图像。
43.根据权利要求34所述的方法，其特征在于，
所述多通道训练图像包括亮度分量和色度分量，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络包括第一多尺度提取网络和第二多尺度提取网络，所述第一多尺度提取网络用于获取所述亮度分量的多个尺度特征，所述第二多尺度提取网络用于获取所述色度分量的多个尺度特征。
44.根据权利要求43所述的方法，其特征在于，
所述色度分量包括第一色度分量和第二色度分量。
45.根据权利要求43所述的方法，其特征在于，
所述第一多尺度提取网络包括卷积层和/或池化层；
所述第二多尺度提取网络包括卷积层和/或池化层。
46.根据权利要求43所述的方法，其特征在于，
所述预设神经网络还包括多个依次连接的拼接层；所述拼接层用于对同一尺度的亮度分量和色度分量进行通道拼接操作；或，
所述拼接层用于对同一尺度的亮度分量和色度分量，以及上一拼接层的输出图像进行通道拼接操作。
47.根据权利要求46所述的方法，其特征在于，
相邻的所述拼接层之间通过预设的转置卷积层连接，所述转置卷积层用于将上一拼接层的输出图像进行转置卷积操作后输出至下一拼接层。
48.根据权利要求35所述的方法，其特征在于，所述根据所述多通道训练图像和所述目标图像对预设神经网络进行训练，包括：
以所述多通道训练图像作为所述预设神经网络的输入，生成输出图像；根据所述输出图像和所述目标图像对预设神经网络的网络参数进行更新。
49.根据权利要求48所述的方法，其特征在于，所述根据所述输出图像和所述目标图像对所述预设神经网络的网络参数进行更新，包括：
根据第二转换矩阵对所述输出图像进行转换，得到相机RGB图像；
利用相机元数据将所述相机RGB图像转换为标准RGB图像；
根据标准RGB图像和目标图像对预设神经网络的网络参数进行更新。
50.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像、与所述待处理图像对应的多通道图像；
通过预设神经网络对所述多通道图像进行处理，以生成画质提升图像；
其中，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络用于获取所述多通道图像中的每一通道的图像的多个尺度特征。
51.根据权利要求50所述的方法，其特征在于，所述通过预设神经网络对所述多通道图像进行处理，以生成画质提升图像，包括：
以所述多通道图像作为所述预设神经网络的输入，生成输出图像；根据所述预设神经网络的网络参数对所述输出图像进行处理，生成画质提升图像。
52.根据权利要求51所述的方法，其特征在于，
所述多通道图像包括亮度分量和色度分量，所述预设神经网络包括多尺度提取网络，所述多尺度提取网络包括第一多尺度提取网络和第二多尺度提取网络，所述第一多尺度提取网络用于获取所述亮度分量的多个尺度特征，所述第二多尺度提取网络用于获取所述色度分量的多个尺度特征。
53.根据权利要求52所述的方法，其特征在于，
所述色度分量包括第一色度分量和第二色度分量；
所述第一多尺度提取网络包括卷积层和/或池化层；
所述第二多尺度提取网络包括卷积层和/或池化层。
54.根据权利要求52所述的方法，其特征在于，
所述预设神经网络还包括多个依次连接的拼接层；所述拼接层用于对同一尺度的亮度分量和色度分量进行通道拼接操作；或，
所述拼接层用于对同一尺度的亮度分量和色度分量，以及上一拼接层的输出图像进行通道拼接操作。
55.根据权利要求53所述的方法，其特征在于，
相邻的所述拼接层之间通过预设的转置卷积层连接，所述转置卷积层用于将上一拼接层的输出图像进行转置卷积操作后输出至下一拼接层。
56.根据权利要求51所述的方法，其特征在于，所述根据所述预设神经网络的网络参数对所述输出图像进行处理，生成画质提升图像，包括：
根据第二转换矩阵对所述输出图像进行转换，得到相机RGB图像；
利用相机元数据将所述相机RGB图像转换为标准RGB图像；根据所述预设神经网络的网络参数对所述标准RGB图像进行处理，生成画质提升图像。
57.一种图像处理装置，其特征在于，所述装置包括处理器和存储器；
所述存储器，用于存储所述处理器可执行的计算机指令；
所述处理器，用于从所述存储器读取所述计算机指令以实现：权利要求1-21任一项所述的方法；或，权利要求22-33任一项所述的方法；或，权利要求34-49任一项所述的方法；或，权利要求50-56任一项所述的方法。
58.一种可移动平台，其特征在于，包括：
机体；
动力系统，设于所述机体，所述动力系统用于为所述可移动平台提供动力；
传感系统，用于拍摄图像帧；
以及，如权利要求57所述的图像处理装置，用于对所述传感系统拍摄的图像帧进行处理。
59.一种相机，其特征在于，包括：
外壳；
镜头组件，安装在所述外壳内部；
传感器组件，安装在所述外壳内部，用于感知通过所述镜头组件的光并生成电信号；以及，如权利要求57所述的图像处理装置。
60.一种机器可读存储介质，其特征在于，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现：权利要求1-21任一项所述的方法；或，权利要求22-33任一项所述的方法；或，权利要求34-49任一项所述的方法；或，权利要求50-56任一项所述的方法。
CN201980033198.4A 2019-09-26 2019-09-26 图像处理方法、装置、可移动平台及机器可读存储介质 Pending CN112166455A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/108039 WO2021056304A1 (zh) 2019-09-26 2019-09-26 图像处理方法、装置、可移动平台及机器可读存储介质

Publications (1)

Publication Number Publication Date
CN112166455A true CN112166455A (zh) 2021-01-01

Family

ID=73859374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980033198.4A Pending CN112166455A (zh) 2019-09-26 2019-09-26 图像处理方法、装置、可移动平台及机器可读存储介质

Country Status (2)

Country Link
CN (1) CN112166455A (zh)
WO (1) WO2021056304A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139914A (zh) * 2021-03-16 2021-07-20 哈尔滨工业大学（深圳） 图像去噪方法、装置、电子设备及存储介质
CN113808043A (zh) * 2021-09-16 2021-12-17 北京拙河科技有限公司 相机成像方法、装置、介质及设备
WO2023016468A1 (zh) * 2021-08-11 2023-02-16 北京旷视科技有限公司 解马赛克方法、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037632B (zh) * 2021-07-02 2024-08-02 合肥工业大学 基于lab色彩空间的多尺度残差注意力图像去雾方法
CN114913085B (zh) * 2022-05-05 2024-07-23 福州大学 基于灰度提升的双路卷积低光照图像增强方法
CN115205177A (zh) * 2022-06-22 2022-10-18 京东方科技集团股份有限公司 图像获取方法、装置、设备和非瞬态计算机存储介质
CN115316982B (zh) * 2022-09-02 2024-08-20 中国科学院沈阳自动化研究所 一种基于多模态传感的肌肉形变智能检测系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108513672A (zh) * 2017-07-27 2018-09-07 深圳市大疆创新科技有限公司 增强图像对比度的方法、设备及存储介质
WO2018233708A1 (zh) * 2017-06-23 2018-12-27 华为技术有限公司 图像显著性物体检测方法和装置
CN110096981A (zh) * 2019-04-22 2019-08-06 长沙千视通智能科技有限公司 一种基于深度学习的视频大数据交通场景分析方法
CN110163855A (zh) * 2019-05-17 2019-08-23 武汉大学 一种基于多路深度卷积神经网络的彩色图像质量评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233708A1 (zh) * 2017-06-23 2018-12-27 华为技术有限公司 图像显著性物体检测方法和装置
CN108513672A (zh) * 2017-07-27 2018-09-07 深圳市大疆创新科技有限公司 增强图像对比度的方法、设备及存储介质
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN110096981A (zh) * 2019-04-22 2019-08-06 长沙千视通智能科技有限公司 一种基于深度学习的视频大数据交通场景分析方法
CN110163855A (zh) * 2019-05-17 2019-08-23 武汉大学 一种基于多路深度卷积神经网络的彩色图像质量评价方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139914A (zh) * 2021-03-16 2021-07-20 哈尔滨工业大学（深圳） 图像去噪方法、装置、电子设备及存储介质
WO2023016468A1 (zh) * 2021-08-11 2023-02-16 北京旷视科技有限公司 解马赛克方法、电子设备及存储介质
CN113808043A (zh) * 2021-09-16 2021-12-17 北京拙河科技有限公司 相机成像方法、装置、介质及设备

Also Published As

Publication number Publication date
WO2021056304A1 (zh) 2021-04-01

Similar Documents

Publication Publication Date Title
CN112166455A (zh) 图像处理方法、装置、可移动平台及机器可读存储介质
EP3499863B1 (en) Method and device for image processing
CN110574025B (zh) 用于合并交错通道数据的卷积引擎
JP5036599B2 (ja) 撮像装置
US20160171672A1 (en) Method for dynamic range editing
KR101204727B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기억 매체
US9684988B2 (en) Imaging device, image processing method, and recording medium
JP5126344B2 (ja) 撮像装置、撮像方法及びプログラム
JP2009282979A (ja) 画像処理装置及び画像処理方法
JP6257285B2 (ja) 複眼撮像装置
CN108024054A (zh) 图像处理方法、装置及设备
JP2023056056A (ja) データ生成方法、学習方法及び推定方法
JP5534832B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009017223A (ja) 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
CN107633497A (zh) 一种图像景深渲染方法、系统及终端
JP2013061850A (ja) ノイズ低減のための画像処理装置及び画像処理方法
JP6087612B2 (ja) 画像処理装置および画像処理方法
CN113168673A (zh) 图像处理方法、装置和电子设备
WO2017182789A1 (en) Blending images
CN118382876A (zh) 使用运动数据生成更高分辨率图像
CN117593633A (zh) 面向海洋场景的图像识别方法、系统、设备和存储介质
JP7057079B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN113287147A (zh) 一种图像处理方法及装置
US20230098437A1 (en) Reference-Based Super-Resolution for Image and Video Enhancement
JP2005071223A (ja) 多重画像作成装置、多重画像作成方法、多重画像作成プログラム及びプログラム記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210101