CN115835034A - 白平衡处理方法与电子设备 - Google Patents

白平衡处理方法与电子设备 Download PDF

Info

Publication number
CN115835034A
CN115835034A CN202111560454.0A CN202111560454A CN115835034A CN 115835034 A CN115835034 A CN 115835034A CN 202111560454 A CN202111560454 A CN 202111560454A CN 115835034 A CN115835034 A CN 115835034A
Authority
CN
China
Prior art keywords
image
color
white balance
sample
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111560454.0A
Other languages
English (en)
Other versions
CN115835034B (zh
Inventor
钱彦霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to US18/006,180 priority Critical patent/US20240129446A1/en
Priority to PCT/CN2022/117586 priority patent/WO2023040725A1/zh
Priority to EP22839975.4A priority patent/EP4175275A4/en
Publication of CN115835034A publication Critical patent/CN115835034A/zh
Application granted granted Critical
Publication of CN115835034B publication Critical patent/CN115835034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种白平衡处理方法与电子设备，涉及图像处理领域；该白平衡处理方法包括：显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取第一图像，第一图像是指多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像；对第一图像进行分解处理与去马赛克处理，得到第二图像与第三图像，第二图像是第一颜色模式的图像，第三图像是第二颜色模式的图像；根据第二图像与第三图像得到颜色校正矩阵，颜色校正矩阵用于表示将第二图像转换为第三图像的像素变化量；将颜色校正矩阵输入至白平衡模型，得到白平衡参数；根据白平衡参数对第一图像进行图像处理，得到第四图像。基于本申请的技术方案，能够提高图像中颜色的准确性。

Description

白平衡处理方法与电子设备
技术领域
本申请涉及图像处理领域，具体地，涉及一种白平衡处理方法与电子设备。
背景技术
电子设备在获取图像时，图像中物体的颜色会受到光源颜色的影响；对于图像传感器而言，无法在任何颜色的光源下，均能够对物体的颜色做出准确的判断；因此，需要通过白平衡处理、颜色转换矩阵以及三维查找表等一系列的操作对图像颜色进行调整；白平衡处理是指通过对光源颜色的准确估计，将图像中光源颜色产生的影响进行反向消除的操作，从而达到一种白色光拍摄的效果。
目前，现有的图像白平衡处理依赖于单帧图像，比如，3通道的图像信息；对于一些拍摄场景，比如近距离拍摄纯色物体的场景，现有的白平衡处理的准确性还有待提高；因此，如何对图像进行白平衡处理，提高图像的颜色准确性成为一个亟需解决的问题。
发明内容
本申请提供了一种白平衡处理方法与电子设备，能够提高图像中颜色的准确性。
第一方面，提供了一种白平衡处理方法，应用于电子设备，包括：
显示第一界面，所述第一界面包括第一控件；
检测到对所述第一控件的第一操作；
响应于所述第一操作，获取第一图像，所述第一图像是指多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像；
对所述第一图像进行分解处理与去马赛克处理，得到第二图像与第三图像，所述第二图像是第一颜色模式的图像，所述第三图像是第二颜色模式的图像；
根据所述第二图像与所述第三图像得到颜色校正矩阵，所述颜色校正矩阵用于表示将所述第二图像转换为所述第三图像的像素变化量；
将颜色校正矩阵输入至白平衡模型，得到白平衡参数；
根据所述白平衡参数对所述第一图像进行图像处理，得到第四图像；
其中，所述白平衡模型用于计算白平衡处理的参数，所述白平衡模型是通过以样本颜色校正矩阵为输入数据，以第一像素信息为目标数据训练得到的，所述样本颜色校正矩阵是根据第三样本图像与第四样本图像得到的，所述样本颜色校正矩阵用于表示将所述第三样本图像转换为所述第四样本图像的像素变化量，所述第三样本图像与所述第四样本图像是对第一样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一像素信息是指第五样本图像中色卡包括的中性色块对应的像素值，所述第五样本图像是对第二样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一样本图像与所述第二样本图像是指在同一光源场景下所述多光谱色彩过滤器阵列传感器采集的所述第一颜色空间的图像，所述第二样本图像中包括所述色卡。
示例性地，第一颜色空间可以是Raw颜色空间；色卡可以是指包括不同颜色的色板，色板中包括中性色；中性色可以是指由黑色、白色及由黑白调和的各种深浅不同的灰色系列。
应理解，色彩过滤器阵列(color filter array，CFA)传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器，用于采集图像的色彩信息；一般的光电传感器只能感应光的强度，不能区分光的波长(色彩)；过滤器阵列传感器可以通过色彩过滤(colorfilter)以获取像素点的色彩信息。
可选地，色彩过滤器阵列传感器可以采集的Raw图像可以包括RGB颜色模式与其他颜色模式；例如，采集的Raw图像可以是指RGBCYM图像，或者，RGBCYGM图像，或者其他颜色模式的图像。
应理解，由于中性色块的中性材料对各种波长的光反射是均匀的，因此任何颜色的光照射在色卡上就反射该颜色的光；比如，红光照射在色卡的中性色块上就反射红光；绿光照射在色卡的中性色块上就反射绿光；因此可以采用色卡的中性色卡来标记光源的颜色。
在本申请的实施例中，通过多光谱色彩过滤器阵列传感器采集第一图像，通过对第一图像进行分解处理与去马赛克处理可以得到不同颜色模式的第二图像与第三图像；根据第二图像与第三图像可以得到颜色校正矩阵，将颜色校正矩阵输入至预先训练的白平衡模型可以得到白平衡参数；通过白平衡参数对第一图像进行图像处理，得到第四图像；由于多光谱色彩过滤器阵列传感器采集的图像(例如，6通道Raw图)中的颜色信息多于单帧图像(例如，3通道图像)的颜色信息，因此通过第一图像得到的白平衡参数能够提高白平衡处理的准确性，提高图像的颜色准确性。
结合第一方面，在第一方面的某些实现方式中，所述对所述第一图像进行分解处理与去马赛克处理，得到第二图像与第三图像，包括：
对所述第一图像进行所述分解处理，得到第一拜耳阵列图像与第二拜耳阵列图像，所述第一拜耳阵列图像为所述第一颜色模式的拜耳阵列图像，所述第二拜耳阵列图像为所述第二颜色模式的拜耳阵列图像；
对所述第一拜耳阵列图像进行所述去马赛克处理，得到所述第二图像；
对所述第二拜耳阵列图像进行所述去马赛克处理，得到所述第三图像。
可选地，在一种可能的实现方式中，第一颜色模式可以是指RGB颜色模式，第一拜耳阵列图像可以是指RGGB图像；第二颜色模式可以是指CYM颜色模式，第二拜耳阵列图像可以是指CYYM图像。
可选地，在一种可能的实现方式中，第一颜色模式可以是指RGB颜色模式，第一拜耳阵列图像可以是指RGGB图像；第二颜色模式可以是指CYGM颜色模式，第二拜耳阵列图像可以是指CYGM图像。
需要说明的是，多光谱色彩过滤器阵列传感器采集第一图像可以包括RGB颜色模式与其他颜色模式，其他颜色模式可以是指CYM颜色模式、CYGM颜色模式或者其他颜色模式。
结合第一方面，在第一方面的某些实现方式中，所述第二图像包括第一像素、第二像素与第三像素，所述第三图像包括第四像素、第五像素与第六像素，所述根据所述第二图像与所述第三图像得到颜色校正矩阵，包括：
根据所述第一像素与所述第四像素之间的差值得到第一向量；
根据所述第二像素与所述第五像素之间的差值得到第二向量；
根据所述第三像素与所述第六像素直接的差值得到第三向量；
由所述第一向量、所述第二向量与所述第三向量组成所述颜色校正矩阵。
可选地，在一种可能的实现方式中，第一拜耳阵列图像为RGGB图像，第二拜耳阵列图像为CMMY图像；对于RGB图像中的每个像素可以对应一组RGB值，CMY图像中的每个像素可以对应一组CMY值；将R像素对应的RGB值转换为C像素对应的CMY值可以得到一个3×1的矩阵；同理，将G像素对应的RGB值转换为M像素对应的CMY值可以得到一个3×1的矩阵；将B像素对应的RGB值转换为Y像素对应的CMY值可以得到一个3×1的矩阵；通过3个一维矩阵得到一个3×3的颜色校正矩阵。
结合第一方面，在第一方面的某些实现方式中，所述白平衡模型的参数是根据预测像素信息与所述第一像素信息之间的差异通过反向传播算进行迭代得到的，所述预测像素信息是指将所述样本颜色校正矩阵输入所述白平衡模型得到的输出信息。
结合第一方面，在第一方面的某些实现方式中，所述多光谱色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器。
结合第一方面，在第一方面的某些实现方式中，所述白平衡模型为全连接神经网络。
结合第一方面，在第一方面的某些实现方式中，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。
可选地，在一种可能的实现方式中，第一操作是指点击相机应用程序的操作。
结合第一方面，在第一方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。
可选地，在一种可能的实现方式中，第一操作是指点击用于指示拍照的控件的操作。
结合第一方面，在第一方面的某些实现方式中，所述第一界面是指拍摄视频界面，所述第一控件是指用于指示拍摄视频的控件。
可选地，在一种可能的实现方式中，第一操作是指点击指示拍摄视频的控件的操作。
上述以第一操作为点击操作为例进行举例说明；第一操作还可以包括语音指示操作，或者其它的指示电子设备进行拍照或者拍摄视频的操作；上述为举例说明，并不对本申请作任何限定。
第二方面，提供了二种白平衡模型的训练方法，包括：
获取训练数据，其中，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像与所述第二样本图像是指在同一光源场景下多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像，所述第二样本图像中包括色卡；
对所述第一样本图像进行分解处理与去马赛克处理，得到第三样本图像与第四样本图像，所述第三样本图像为第一颜色模式的图像，所述第四样本图像为第二颜色模式的图像；
根据所述第三样本图像与所述第四样本图像得到样本颜色校正矩阵，所述样本颜色校正矩阵用于表示将所述第三样本图像转换为所述第四样本图像的像素变化量；
对所述第二样本图像进行分解处理与去马赛克处理，得到第五样本图像，所述第五样本图像为所述第一颜色模式的图像；
以所述样本颜色校正矩阵为输入数据，以所述第五样本图像中的第一像素信息为目标数据训练白平衡模型，得到训练后的白平衡模型，其中，所述白平衡模型用于计算白平衡处理的参数，所述第一像素信息是指所述第五样本图像中所述色卡包括的中性色块对应的像素值。
示例性地，第一颜色空间可以是Raw颜色空间；色卡可以是指包括不同颜色的色板，色板中包括中性色；中性色可以是指由黑色、白色及由黑白调和的各种深浅不同的灰色系列。
应理解，色彩过滤器阵列(color filter array，CFA)传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器，用于采集图像的色彩信息；一般的光电传感器只能感应光的强度，不能区分光的波长(色彩)；过滤器阵列传感器可以通过色彩过滤(colorfilter)以获取像素点的色彩信息。
可选地，色彩过滤器阵列传感器可以采集的Raw图像可以包括RGB颜色模式与其他颜色模式；例如，采集的Raw图像可以是指RGBCYM图像，或者，RGBCYGM图像，或者其他颜色模式的图像。
可选地，多光谱色彩过滤器阵列传感器获取的Raw图像可以是RGBCMY图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、M表示深红色(mayenta)、Y表示黄色(yellow)。
可选地，多光谱色彩过滤器阵列传感器获取的Raw图像可以是RGBCYGM图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、Y表示黄色(yellow)、M表示深红色(mayenta)。
应理解，由于中性色块的中性材料对各种波长的光反射是均匀的，因此任何颜色的光照射在色卡上就反射该颜色的光；比如，红光照射在色卡的中性色块上就反射红光；绿光照射在色卡的中性色块上就反射绿光；因此可以采用色卡的中性色卡来标记光源的颜色。
可选地，在一种可能的实现方式中，在获取训练白平衡模型的目标数据时，还可以是对第二样本图像进行去马赛克算法处理，得到处理后的图像；在处理后的图像中获取色卡的中性色块对应的像素值中RGB的像素值。
在本申请的实施例中，通过多光谱色彩过滤器阵列传感器采集同一光源，相同场景下不包括色卡的第一样本图像与包括色卡的第二样本图像；通过对第一样本图像处理可以得到训练白平衡模型的输入数据；通过第二样本图像可以得到训练白平衡模型的目标数据；通过本申请实施例的白平衡模型的训练方法得到的训练后的白平衡模型可以用于计算白平衡处理的参数，根据参数可以多光谱色彩过滤器阵列传感器采集的Raw图进行白平衡处理；在本申请实施例中，由于训练白平衡模型的训练数据是通过多光谱色彩过滤器阵列传感器采集的图像，多光谱色彩过滤器阵列传感器采集的图像(例如，6通道Raw图)中的颜色信息多于单帧图像(例如，3通道图像)的颜色信息，因此训练得到的白平衡模型输出的用于白平衡处理的参数能够提高白平衡处理的准确性，提高图像的颜色准确性。
结合第二方面，在第二方面的某些实现方式中，所述以所述样本颜色校正矩阵为输入数据，以所述第五样本图像中的第一像素信息为目标数据训练白平衡模型，包括：
将所述样本颜色校正矩阵输入所述白平衡模型，得到预测像素信息；
根据所述预测像素信息与所述第一像素信息训练所述白平衡模型，得到所述训练后的白平衡模型。
应理解，预测像素信息是指预测的光源RGB值。
结合第二方面，在第二方面的某些实现方式中，所述训练后的白平衡模型的参数是根据所述预测像素信息与所述第一像素信息之间的差异通过反向传播算进行迭代得到的。
可选地，可以预测像素信息与所述第一像素信息之间的角误差损失(AngularError Loss)反向迭代训练白平衡模型。
结合第二方面，在第二方面的某些实现方式中，所述多光谱色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器。
结合第二方面，在第二方面的某些实现方式中，所述白平衡模型为全连接神经网络。
第三方面，提供一种电子设备，包括用于执行第一方面或第一方面中任一种方法的模块/单元。
第四方面，提供一种电子设备，包括用于执行第二方面或第二方面中任一种训练方法的模块/单元。
第五方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
显示第一界面，所述第一界面包括第一控件；
检测到对所述第一控件的第一操作；
响应于所述第一操作，获取第一图像，所述第一图像是指多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像；
对所述第一图像进行分解处理与去马赛克处理，得到第二图像与第三图像，所述第二图像是第一颜色模式的图像，所述第三图像是第二颜色模式的图像；
根据所述第二图像与所述第三图像得到颜色校正矩阵，所述颜色校正矩阵用于表示将所述第二图像转换为所述第三图像的像素变化量；
将颜色校正矩阵输入至白平衡模型，得到白平衡参数；
根据所述白平衡参数对所述第一图像进行图像处理，得到第四图像；
其中，所述白平衡模型用于计算白平衡处理的参数，所述白平衡模型是通过以样本颜色校正矩阵为输入数据，以第一像素信息为目标数据训练得到的，所述样本颜色校正矩阵是根据第三样本图像与第四样本图像得到的，所述样本颜色校正矩阵用于表示将所述第三样本图像转换为所述第四样本图像的像素变化量，所述第三样本图像与所述第四样本图像是对第一样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一像素信息是指第五样本图像中色卡包括的中性色块对应的像素值，所述第五样本图像是对第二样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一样本图像与所述第二样本图像是指在同一光源场景下所述多光谱色彩过滤器阵列传感器采集的所述第一颜色空间的图像，所述第二样本图像中包括所述色卡。
结合第五方面，在第五方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
对所述第一图像进行所述分解处理，得到第一拜耳阵列图像与第二拜耳阵列图像，所述第一拜耳阵列图像为所述第一颜色模式的拜耳阵列图像，所述第二拜耳阵列图像为所述第二颜色模式的拜耳阵列图像；
对所述第一拜耳阵列图像进行所述去马赛克处理，得到所述第二图像；
对所述第二拜耳阵列图像进行所述去马赛克处理，得到所述第三图像。
结合第五方面，在第五方面的某些实现方式中，所述第二图像包括第一像素、第二像素与第三像素，所述第三图像包括第四像素、第五像素与第六像素，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
根据所述第一像素与所述第四像素之间的差值得到第一向量；
根据所述第二像素与所述第五像素之间的差值得到第二向量；
根据所述第三像素与所述第六像素直接的差值得到第三向量；
由所述第一向量、所述第二向量与所述第三向量组成所述颜色校正矩阵。
结合第五方面，在第五方面的某些实现方式中，所述白平衡模型的参数是根据预测像素信息与所述第一像素信息之间的差异通过反向传播算进行迭代得到的，所述预测像素信息是指将所述样本颜色校正矩阵输入所述白平衡模型得到的输出信息。
结合第五方面，在第五方面的某些实现方式中，所述多光谱色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器。
结合第五方面，在第五方面的某些实现方式中，所述白平衡模型为全连接神经网络。
结合第五方面，在第五方面的某些实现方式中，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。
结合第五方面，在第五方面的某些实现方式中，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。
结合第五方面，在第五方面的某些实现方式中，所述第一界面是指拍摄视频界面，所述第一控件是指用于指示拍摄视频的控件。
第六方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
获取训练数据，其中，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像与所述第二样本图像是指在同一光源场景下多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像，所述第二样本图像中包括色卡；
对所述第一样本图像进行分解处理与去马赛克处理，得到第三样本图像与第四样本图像，所述第三样本图像为第一颜色模式的图像，所述第四样本图像为第二颜色模式的图像；
根据所述第三样本图像与所述第四样本图像得到样本颜色校正矩阵，所述样本颜色校正矩阵用于表示将所述第三样本图像转换为所述第四样本图像的像素变化量；
对所述第二样本图像进行分解处理与去马赛克处理，得到第五样本图像，所述第五样本图像为所述第一颜色模式的图像；
以所述样本颜色校正矩阵为输入数据，以所述第五样本图像中的第一像素信息为目标数据训练白平衡模型，得到训练后的白平衡模型，其中，所述白平衡模型用于计算白平衡处理的参数，所述第一像素信息是指所述第五样本图像中所述色卡包括的中性色块对应的像素值。
结合第六方面，在第六方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：
将所述样本颜色校正矩阵输入所述白平衡模型，得到预测像素信息；
根据所述预测像素信息与所述第一像素信息训练所述白平衡模型，得到所述训练后的白平衡模型。
结合第六方面，在第六方面的某些实现方式中，所述训练后的白平衡模型的参数是根据所述预测像素信息与所述第一像素信息之间的差异通过反向传播算进行迭代得到的。
结合第六方面，在第六方面的某些实现方式中，所述多光谱色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器。
结合第六方面，在第六方面的某些实现方式中，所述白平衡模型为全连接神经网络。
第七方面，提供了一种电子设备，该电子设备用于白平衡处理，所述电子设备包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面中或第一方面中的任一种方法。
第八方面，提供了一种电子设备，该电子设备用于白平衡模型的训练，所述电子设备包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第二方面或者第二方面中的任一种训练方法。
第九方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第二方面中的任一种方法。
第十方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第二方面中的任一种方法。
第十一方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第二方面中的任一种方法。
在本申请的实施例中，通过多光谱色彩过滤器阵列传感器采集同一光源，相同场景下不包括色卡的第一样本图像与包括色卡的第二样本图像；通过对第一样本图像处理可以得到训练白平衡模型的输入数据；通过第二样本图像可以得到训练白平衡模型的目标数据；通过本申请实施例的白平衡模型的训练方法得到的训练后的白平衡模型可以用于计算白平衡处理的参数，根据参数可以多光谱色彩过滤器阵列传感器采集的Raw图进行白平衡处理；在本申请实施例中，由于训练白平衡模型的训练数据是通过多光谱色彩过滤器阵列传感器采集的图像，多光谱色彩过滤器阵列传感器采集的图像(例如，6通道Raw图)中的颜色信息多于单帧图像(例如，3通道图像)的颜色信息，因此训练得到的白平衡模型输出的用于白平衡处理的参数能够提高白平衡处理的准确性，提高图像的颜色准确性。
附图说明
图1是本申请提供一种全连接神经网络的示意图；
图2是一种适用于本申请的电子设备的硬件系统的示意图；
图3是一种适用于本申请实施例的应用场景的示意图；
图4是一种适用于本申请实施例的应用场景的示意图；
图5是一种适用于本申请的白平衡处理方法的系统架构的示意图；
图6是本申请提供的一种多光谱图像的光谱响应曲线的示意图；
图7是一种适用于本申请的白平衡处理方法的示意图；
图8是本申请实施例提供的一种白平衡模型的训练方法的示意图；
图9是本申请实施例提供的白平衡处理方法的效果示意图；
图10是本申请实施例提供的一种电子设备的显示界面的示意图；
图11是本申请实施例提供的一种电子设备的显示界面的示意图；
图12是本申请实施例提供的一种电子设备的结构示意图；
图13是本申请实施例提供的一种电子设备的结构示意图；
图14是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请的实施例中，以下术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。
1、白平衡
白平衡是描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标。相机设备的白平衡设置是确保获得理想的画面色彩的重要保证；白平衡处理是指通过对光源颜色的准确估计，将图像中光源颜色产生的影响进行反向消除的操作，从而达到一种白色光拍摄的效果。
2、拜耳阵列
拜耳阵列是实现电荷耦合器件(charge-coupled device，CCD)或者互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)传感器拍摄彩色图像的主要技术之一；它可以是一个4×4阵列，比如，由8个绿色、4个蓝色和4个红色像素组成，在将灰度图形转换为彩色图片时会以2×2矩阵进行9次运算，最后生成一幅彩色图像。
3、色彩过滤器阵列(color filter array，CFA)传感器
色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器，色彩过滤器阵列传感器用于采集图像的色彩信息；一般的光电传感器只能感应光的强度，不能区分光的波长(色彩)；过滤器阵列传感器可以通过色彩过滤(color filter)以获取像素点的色彩信息。
4、颜色模式
颜色模式是将某种颜色表现为数字形式的模型，或者是一种记录图像颜色的方式。
5、去马赛克(demosaic)
去马赛克是指将Raw图像转换为RGB图像的图像处理过程。
6、中性色
中性色可以是指由黑色、白色及由黑白调和的各种深浅不同的灰色系列。
7、神经网络
神经网络是指将多个单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入；每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
8、全连接神经网络
全连接神经网络又可以称为深度神经网络(deep neural network，DNN)或者多层神经网络，可以理解为是具有多层隐含层的神经网络。按照不同层的位置对全连接神经网络进行划分，全连接神经网络内部的神经网络可以分为三类：输入层，隐含层，输出层；通常，第一层是输入层，最后一层是输出层，中间的层数都是隐含层；层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。
全连接神经网络的工作原理可以通过如下线性关系表达式表示：y＝a(w·x+b)；其中，x表示输入向量，y表示输出向量，b表示偏移向量，w表示权重矩阵(也称为系数)，a()表示激活函数。每一层是对输入向量x经过线性表达式的操作得到输出向量y。
由于DNN层数多，系数w和偏移向量b的数量也比较多；这些参数在DNN中的定义如下所述：
如图1所示，假设在一个三层的DNN中；该三层的DNN包括输入层(第一层)、隐藏层(第二层)与输出层(第三层)；比如，第二层的第4个神经元到第三层的第1个神经元的线性系数定义可以表示为w78，下标78表示对应的是输入的第二层索引7和输出的第三层索引8。
9、反向传播算法
神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
下面将结合附图，对本申请实施例中的白平衡处理方法与电子设备进行描述。
图2示出了一种适用于本申请的电子设备的硬件系统。
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对电子设备100的具体类型不作任何限制。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
需要说明的是，图2所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图2所示的部件更多或更少的部件，或者，电子设备100可以包括图2所示的部件中某些部件的组合，或者，电子设备100可以包括图2所示的部件中某些部件的子部件。图2示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
示例性地，处理器110可以用于执行本申请实施例的白平衡处理方法；例如，显示第一界面，第一界面包括第一控件；检测到对第一控件的第一操作；响应于第一操作，获取第一图像，第一图像是指多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像；对第一图像进行分解处理与去马赛克处理，得到第二图像与第三图像，第二图像是第一颜色模式的图像，第三图像是第二颜色模式的图像；根据第二图像与第三图像得到颜色校正矩阵，颜色校正矩阵用于表示将第二图像转换为第三图像的像素变化量；将颜色校正矩阵输入至白平衡模型，得到白平衡参数；根据白平衡参数对第一图像进行图像处理，得到第四图像。
示例性地，处理器110可以用于执行本申请实施例的白平衡模型的训练方法；例如，获取训练数据，其中，训练数据包括第一样本图像与第二样本图像，第一样本图像与第二样本图像是指在同一光源场景下多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像，第二样本图像中包括色卡；对第一样本图像进行分解处理与去马赛克处理，得到第三样本图像与第四样本图像，第三样本图像为第一颜色模式的图像，第四样本图像为第二颜色模式的图像；根据第三样本图像与第四样本图像得到样本颜色校正矩阵，样本颜色校正矩阵用于表示将第三样本图像转换为第四样本图像的像素变化量；对第二样本图像进行分解处理与去马赛克处理，得到第五样本图像，第五样本图像为第一颜色模式的图像；以样本颜色校正矩阵为输入数据，以第五样本图像中的第一像素信息为目标数据训练白平衡模型，得到训练后的白平衡模型，其中，白平衡模型用于计算白平衡处理的参数，第一像素信息是指第五样本图像中色卡包括的中性色块对应的像素值。
图2所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
示例性地，在本申请的实施例中陀螺仪传感器180B可以用于采集的抖动信息，抖动信息可以用于表示电子设备在拍摄过程中的位姿变化。
加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。
距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180F测距以实现快速对焦。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
触摸传感器180K，也称为触控器件。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。
电子设备在获取图像时图像中物体的颜色会受到光源颜色的影响；对于图像传感器而言，无法在任何颜色的光源下，均能够对物体的颜色做出准确的判断；因此，需要通过白平衡处理、颜色转换矩阵以及三维查找表等一系列的操作对图像颜色进行调整；白平衡处理是指通过对光源颜色的准确估计，将图像中光源颜色产生的影响进行反向消除的操作，从而达到一种白色光拍摄的效果。目前，现有的图像白平衡处理依赖于单帧图像，比如，3通道的图像信息；对于一些拍摄场景，比如近距离拍摄纯色物体的场景，现有的白平衡处理的准确性还有待提高。
有鉴于此，本申请实施例提供了一种白平衡处理方法与电子设备，在本申请的实施例中，通过多光谱色彩过滤器阵列传感器采集第一图像，通过对第一图像进行分解处理与去马赛克处理可以得到不同颜色模式的第二图像与第三图像；根据第二图像与第三图像可以得到颜色校正矩阵，将颜色校正矩阵输入至预先训练的白平衡模型可以得到白平衡参数；通过白平衡参数对第一图像进行图像处理，得到第四图像；由于多光谱色彩过滤器阵列传感器采集的图像(例如，6通道Raw图)中的颜色信息多于单帧图像(例如，3通道图像)的颜色信息，因此通过第一图像得到的白平衡参数能够提高白平衡处理的准确性，提高图像的颜色准确性。
下面结合图3与图4对本申请实施例提供的白平衡处理方法的应用场景进行举例说明。
示例性地，本申请实施例中的白平衡处理方法可以应用于拍照领域、录制视频领域、视频通话领域或者其他图像处理领域；通过本申请实施例中的白平衡处理方法对图像进行白平衡处理，能够提高图像的颜色准确性。
应用场景一：拍照领域
如图3所示，在暗光场景下(例如，夜景环境)拍照时，电子设备的进光量少导致图像的信噪比较低；现有的白平衡处理即基于单帧图像的白平衡算法容易错误，从而导致获取的图像存在较明显的颜色失真；图3中的(a)所示的是采样现有的白平衡处理方法得到拍摄对象210的预览图像；图3中的(b)所示的是通过本申请实施例提供的白平衡处理方法得到拍摄对象210的预览图像；图3中的(b)所示的预览图像与图3中的(a)所示的预览图像相比，图3中的(b)所示的预览图像中拍摄对象210的颜色还原度更高；因此，通过本申请实施例的白平衡处理方法对图像进行白平衡处理，能够提高图像的颜色准确性。
应用场景二：视频通话
如图4所示，图4中的(a)所示的是采样现有的白平衡处理方法得到视频通话的拍摄对象220的预览图像；图4中的(b)是通过本申请实施例提供的白平衡处理方法得到视频通话的拍摄对象220的预览图像；图4中的(b)所示的预览图像与图4中的(a)所示的预览图像相比，图4中的(b)所示的预览图像中拍摄对象220的预览图像的颜色还原性更高；因此，通过本申请实施例的白平衡处理方法对图像进行白平衡处理，能够提高图像的颜色准确性。
应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。
下面结合图5与图11对本申请实施例提供的白平衡处理方法进行详细描述。
图5是一种适用于本申请的白平衡处理方法的系统架构的示意图。
如图5所示，系统架构300中可以包括多光谱色彩过滤器阵列传感器310、分解模块320、白平衡参数计算模块330与图像信号处理器340；其中，图像信号处理器340中还可以包括白平衡模块341。
示例性地，多光谱色彩过滤器阵列传感器310可以用于获取Raw图像；比如，多光谱色彩过滤器阵列传感器310采集的Raw图像可以包括RGB颜色模式与其他颜色模式。
示例性地，多光谱色彩过滤器阵列传感器310采集的Raw图像可以是指RGBCYM图像，或者，RGBCYGM图像，或者其他颜色模式的图像。
在一个示例中，多光谱色彩过滤器阵列传感器310获取的Raw图像可以是RGBCMY图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、M表示深红色(mayenta)、Y表示黄色(yellow)。
在一个示例中，多光谱色彩过滤器阵列传感器310获取的Raw图像可以是RGBCYGM图像；其中，R表示红色(red)、G表示绿色(green)、B表示蓝色(blue)、C表示青色(cyan)、Y表示黄色(yellow)、M表示深红色(mayenta)。
应理解，上述以RGBCMY图像与RGBCYGM图像进行举例说明，本申请对此不作任何限定。
示例性地，多光谱色彩过滤器阵列传感器310获取的Raw图像可以是多通道的图像；比如，6通道的Raw图像、8通道的Raw图像，或者其他通道数量的Raw图像。
应理解，多光谱色彩过滤器阵列传感器采集的Raw图像可以分解为RGB颜色模式的图像与其他颜色模式的图像，两个图像的光谱响应曲线满足任意两个曲线不相同。
例如，图6所示的为6通道的RGBCMY图像的光谱响应曲线，其中，曲线1表示蓝色(blue，B)对应的光谱响应曲线；曲线2表示青色(cyan，C)对应的光谱响应曲线；曲线3表示深红色(mayenta，M)对应的光谱响应曲线；曲线4表示黄色(yellow，Y)对应的光谱响应曲线；曲线5表示绿色(green，G)对应的光谱响应曲线；曲线6表示红色(red，R)对应的光谱响应曲线；图6所示的RGBCMY图像的光谱响应曲线中，曲线6与曲线3、曲线5与曲线4、曲线1与曲线2分别两两对应；从图6中可以看出，曲线3比曲线6的光谱范围更宽，则曲线3比曲线6的进光量更好；曲线4比曲线5的光谱范围更宽，则曲线4比曲线5的进光量更好；曲线2比曲线1的光谱范围更宽，则曲线2比曲线1的进光量更好。
示例性地，分解模块320用于将多光谱色彩过滤器阵列传感器310采集的Raw图像分解为第一拜耳阵列图像与第二拜耳阵列图像，其中，第一拜耳阵列图像可以是指第一颜色模式(例如，RGB颜色模式)的拜耳阵列图像，第二拜耳阵列图像可以是指第二颜色模式(例如，CYM颜色模式，CYGM颜色模式或者其他颜色模式)的拜耳阵列图像。
应理解，第一拜耳阵列图像的光谱响应曲线与第二拜耳阵列图像的光谱响应曲线中任意两个曲线的不同。
示例性地，分解模块320可以对多光谱色彩过滤器阵列传感器采集的Raw图像先进行去马赛克处理(demosaic)，再进行缩放处理(resize)。例如，第一拜耳阵列图像与第二拜耳阵列图像的尺寸可以是68*48*3。
可选地，第一拜耳阵列图像可以是指RGB颜色模式的图像；第二拜耳阵列图像可以是指其他颜色模式的图像；比如，第二拜耳阵列图像可以是指CMY颜色模式的图像；或者第二拜耳阵列图像可以是指CYGM颜色模式的图像。
示例性地，多光谱色彩过滤器阵列传感器310采集的Raw图像可以是多通道的图像；将多通道的图像可以分为3通道的第一拜耳阵列图像(例如，RGB颜色模式)与其他通道数的第二拜耳阵列图像。
可选地，多光谱色彩过滤器阵列传感器310采集的Raw图像可以是6通道的RGBCMY图像，则可以分解为3通道的第一拜耳阵列图像(RGB图像)与3通道的第二拜耳阵列图像(CMY图像)。
可选地，多光谱色彩过滤器阵列传感器310采集的Raw图像可以是7通道的RGBCYGM图像，则可以分解为3通道的第一拜耳阵列图像(RGB图像)与4通道的第二拜耳阵列图像(CYGM图像)。
可选地，多光谱色彩过滤器阵列传感器310采集的Raw图像可以是8通道的Raw图像，则可以分解为3通道的第一拜耳阵列图像(RGB图像)与5通道的第二拜耳阵列图像。
应理解，上述为对多光谱色彩过滤器阵列传感器310采集的Raw图像进行举例描述，本申请对此不作任何限定。
示例性地，白平衡参数计算模块330用于根据第一拜耳阵列图像与第二拜耳阵列图像计算白平衡参数，具体过程可以参见后续图7所示的步骤S430至步骤S450。
可选地，白平衡参数计算模块330还可以将得到的白平衡参数传输至图像信号处理器340。
示例性地，图像信号处理器340获取白平衡参数后白平衡模块341可以根据白平衡参数对多光谱色彩过滤器阵列传感器310采集的图像进行白平衡处理，得到处理后的图像。
例如，白平衡模块341可以根据白平衡参数进行对多光谱色彩过滤器阵列传感器310采集的Raw图像进行自动白平衡处理(automatic white balance，AWB)。
可选地，白平衡参数计算模块330可以是CPU、GPU或者其他算例硬件中的模块；或者，白平衡参数计算模块330可以是图像信号处理器340中的模块；或者，白平衡参数计算模块330的功能也可以在白平衡模块341中执行。
需要说明的是，图5所示的系统架构可以是如图2所示的电子设备中的系统架构；图5所示的系统架构可以执行图7所示的白平衡处理方法，下面对图7所示的白平衡处理方法进行详细描述。
图7是本申请实施例提供的一种白平衡处理方法的示意图；该方法400包括步骤S410至步骤S470，下面分别对步骤S410至步骤S470进行详细的描述。
步骤S410、获取Raw图像(第一图像的一个示例)；其中，Raw图像是指如图5所示的多光谱色彩过滤器阵列传感器310采集的Raw图像。
例如，多光谱色彩过滤器阵列传感器310可以采集6通道的Raw图像，该Raw图像可以包括RGB颜色模式与其他颜色模式。
应理解，色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器，用于采集图像的色彩信息；通过色彩过滤器阵列传感器可以获取更多通道的Raw图像；色彩过滤器阵列传感器采集的Raw图像的光谱响应曲线的光谱范围更宽，即色彩过滤器阵列传感器的进光量更多，使得图像的亮度值更好。
步骤S420、对多光谱色彩过滤器阵列传感器采集的Raw图像进行分解处理。
示例性地，在Raw图像的预设位置抽取出两个拜耳阵列图像，分别为第一拜耳阵列图像与第二拜耳阵列图像。
步骤S430、根据分解处理得到第一拜耳阵列图像。
步骤S440、根据分解处理得到第二拜耳阵列图像。
示例性地，可以根据Raw图像的RGB掩膜(mask)抽取出对应的像素(pixel)组成RGGB拜耳图像，得到第一样本拜耳阵列图像；可以根据Raw图像的CYM掩膜(mask)抽取出对应的像素(pixel)组成CYYM拜耳图像，得到第二样本拜耳阵列图像。
示例性地，可以根据Raw图像的RGB掩膜(mask)抽取出对应的像素(pixel)组成RGGB拜耳图像，得到第一样本拜耳阵列图像；可以根据Raw图像的CYGM掩膜(mask)抽取出对应的像素(pixel)组成CYGM拜耳图像，得到第二样本拜耳阵列图像。
应理解，第一拜耳阵列图像是指RGGB图像，第二拜耳阵列图像可以是指CYYM图像、CYGM图像或者其他颜色模式的图像；第二拜阵列图像与第一拜耳阵列图像满足光谱响应曲线中任意两两曲线不同，本申请对第二拜耳阵列图像的颜色模式不作任何限定。
步骤S450、根据第一拜耳阵列图像与第二拜耳阵列图像计算颜色校正矩阵。
示例性地，可以对第一拜耳阵列图像与第二拜耳阵列图像进行去马赛克处理，得到第一颜色模式的图像(第二图像的一个示例)与第二颜色模式的图像(第三图像的一个示例)；根据第一颜色模式的图像与第二颜色模式的图像之间的像素差值可以得到颜色校正矩阵，其中，颜色校正矩阵可以用于表示将第一颜色模式的图像转换为第二颜色模式的图像的像素变化量。
例如，第一拜耳阵列图像为RGGB图像，第二拜耳阵列图像为CMMY图像；第一颜色模式的图像可以为RGB图像，第二颜色模式的图像可以为CMY图像；对于RGB图像中的每个像素可以对应一组RGB值(第一像素、第二像素与第三像素的一个示例)，CMY图像中的每个像素可以对应一组CMY值(第四像素、第五像素与第六像素的一个示例)；将R像素对应的RGB值转换为C像素对应的CMY值可以得到一个3×1的矩阵(第一向量的一个示例)；同理，将G像素对应的RGB值转换为M像素对应的CMY值可以得到一个3×1的矩阵(第二向量的一个示例)；将B像素对应的RGB值转换为Y像素对应的CMY值可以得到一个3×1的矩阵(第三向量的一个示例)；通过3个一维矩阵得到一个3×3的颜色校正矩阵。
步骤S460、将颜色校正矩阵输入至白平衡模型得到白平衡参数。
其中，白平衡模型可以根据输入的颜色校正矩阵得到对应的白平衡参数；白平衡模型可以是一个预先训练的全连接神经网络模型，白平衡模型的训练方法可以参见后续图8所示。
应理解，白平衡参数可以是指光源的颜色信息；比如，可以是指光源的RGB值；将光源的颜色信息应用到图像中可以消除光源对拍摄物体颜色产生的影响，从而避免拍摄物体的颜色失真；根据光源的颜色信息可以对图像中拍摄物体的颜色信息进行修正，从而提高图像中拍摄物体颜色的准确性。
步骤S470、根据白平衡参数对Raw图像进行白平衡处理(图像处理的一个示例)，得到处理后的图像(第四图像的一个示例)。
在本申请的实施例中，通过多光谱色彩过滤器阵列传感器采集第一图像，通过对第一图像进行分解处理与去马赛克处理可以得到不同颜色模式的第二图像与第三图像；根据第二图像与第三图像可以得到颜色校正矩阵，将颜色校正矩阵输入至预先训练的白平衡模型可以得到白平衡参数；通过白平衡参数对第一图像进行图像处理，得到第四图像；由于多光谱色彩过滤器阵列传感器采集的图像(例如，6通道Raw图)中的颜色信息多于单帧图像(例如，3通道图像)的颜色信息，因此通过第一图像得到的白平衡参数能够提高白平衡处理的准确性，提高图像的颜色准确性。
图8是本申请实施例提供的白平衡模型的训练方法的示意图；该训练方法可以由图2所示的电子设备执行；该训练方法500包括步骤S510至步骤S560，下面分别对步骤S510至步骤S560进行详细的描述。
步骤S510、获取不同光源场景的训练数据。
可选地，对于同一个拍摄场景，训练数据可以包括同一光源场景中，不包括色卡的第一样本图像与包括色卡的第二样本图像，第二样本图像用于标定不同光源的真值(Ground truth)。
需要说明的是，获取样本图像时色卡可以放置在主要光源的照射下进行拍摄。
可选地，对于颜色闪色和颜色偏色的场景，说明当前场景的自动白平衡较差；可以针对该场景重点进行样本图像的采集。
步骤S520、对第一样本图像进行分解，得到第一样本拜耳阵列图像与第二样本拜耳阵列图像。
示例性地，可以根据第一样本图像的RGB掩膜(mask)抽取出对应的像素(pixel)组成RGGB拜耳图像，得到第一样本拜耳阵列图像；可以根据第一样本图像的CYM掩膜(mask)抽取出对应的像素(pixel)组成CYYM拜耳图像，得到第二样本拜耳阵列图像。
示例性地，可以根据第一样本图像的RGB掩膜(mask)抽取出对应的像素(pixel)组成RGGB拜耳图像，得到第一样本拜耳阵列图像；可以根据第一样本图像的CYGM掩膜(mask)抽取出对应的像素(pixel)组成CYGM拜耳图像，得到第二样本拜耳阵列图像。
应理解，第一样本拜耳阵列图像可以是指RGGB图像，第二样本拜耳阵列图像可以是指CYYM图像、CYGM图像或者其他颜色模式的图像；第二样本拜阵列图像与第一样本拜耳阵列图像满足光谱响应曲线中任意两两曲线不同，本申请对第二样本拜耳阵列图像的颜色模式不作任何限定。
步骤S530、对第一样本拜耳阵列图像与第二样本拜耳阵列图像进行去马赛克处理，得到第三样本图像与第四样本图像。
其中，第三样本图像可以是指第一颜色模式的图像，第四样本图像可以是指第二颜色模式的图像。
例如，第一颜色模式可以是指RGB颜色模式，第二颜色模式可以是指CMY颜色模式；或者，第二颜色模式还可以是指其他颜色模式。
示例性地，第一样本拜耳阵列图像可以是RGGB图像，对RGGB图像进行去马赛克处理，得到RGB图像；第二样本拜耳阵列图像可以是CYYM图像，对CYYM图像进行去马赛克处理，得到CYM图像。
示例性地，第一样本拜耳阵列图像可以是RGGB图像，对RGGB图像进行去马赛克处理，得到RGB图像；第二样本拜耳阵列图像可以是CYGM图像，对CYGM图像进行去马赛克处理，得到CYGM图像。
步骤S540、根据第三样本图像与第四样本图像，得到样本颜色校正矩阵。
例如，通过将第三样本图像中的像素转换为第四样本图像中的像素，可以得到样本颜色校正矩阵。
示例性地，第三样本图像可以是RGB图像，第四样本图像可以是CMY图像；对于RGB图像中的每个像素可以对应一组RGB值，CMY图像中的每个像素可以对应一组CMY值；将R像素对应的RGB值转换为C像素对应的CMY值可以得到一个3×1的矩阵；同理，将G像素对应的RGB值转换为M像素对应的CMY值可以得到一个3×1的矩阵；将B像素对应的RGB值转换为Y像素对应的CMY值可以得到一个3×1的矩阵；通过3个一维矩阵得到一个3×3的样本颜色校正矩阵。
可选地，为了便于对白平衡模型的训练，可以将3×3的样本颜色校正矩阵进行重组，得到一维向量即9×1的样本颜色校正矩阵。
步骤S550、对第二样本图像中色卡包括的中性色块对应的颜色值进行标定，将该颜色值标定为光源的颜色值。
应理解，由于中性色块的中性材料对各种波长的光反射是均匀的，因此任何颜色的光照射在中性色块上就反射该颜色的光；比如，红光照射在色卡的中性色块上就反射红光；绿光照射在色卡的中性色块上就反射绿光；因此可以采用色卡的中性色卡来标记光源的颜色。
示例性地，中性色块可以是指色卡中的灰色色块；比如，将目标图像中灰色色块的RGB像素值标定为该光源的光源颜色，即该光源的RGB像素值。
示例性地，光源的颜色值的标定过程包括以下步骤：
步骤一：对第二样本图像进行分解，得到第三样本拜耳阵列图像(RGGB拜耳阵列图像)与第四样本拜耳阵列图像；
步骤二：对第三样本拜耳阵列图像与第四样本拜耳阵列图像进行去马赛克处理，得到RGB图像(第五样本图像的一个示例)与其他颜色模式的图像；
步骤三：对RGGB图像中包括的色卡的中性色块对应的RGB像素值标定为光源的颜色值(第一像素信息的一个示例)。
示例性地，中性色块可以是指色卡中的灰色色块；比如，将目标图像中灰色色块的RGB像素值标定为该光源的光源颜色，即该光源的RGB像素值。
可选地，在一种可能的实现方式中，可以是对第二样本图像进行去马赛克算法处理，得到处理后的图像；在处理后的图像中获取色卡的中性色块对应的像素值中RGB的像素值。
步骤S560、通过以样本颜色校正矩阵为输入数据，以光源的颜色值为目标值对白平衡模型进行训练，得到训练后的白平衡模型。
示例性地，将样本颜色校正矩阵输入白平衡模型，得到预测白平衡参数(预测像素信息的一个示例)；根据预测白平衡参数与光源的颜色值进行比较；通过反向传播算法对白平衡模型的参数进行迭代，直至白平衡模型收敛，得到训练后的白平衡模型。
例如，可以通过预测白平衡参数与光源的颜色值之间的角误差损失(AngularError Loss)反向迭代训练白平衡模型。
可选地，在本申请的实施例中白平衡模型可以是全连接神经网络。
在本申请的实施例中，通过多光谱色彩过滤器阵列传感器采集同一光源，相同场景下不包括色卡的第一样本图像与包括色卡的第二样本图像；通过对第一样本图像处理可以得到训练白平衡模型的输入数据；通过第二样本图像可以得到训练白平衡模型的目标数据；通过本申请实施例的白平衡模型的训练方法得到的训练后的白平衡模型可以用于白平衡处理，根据白平衡模型输出的白平衡参数可以对多光谱色彩过滤器阵列传感器采集的Raw图进行白平衡处理；在本申请实施例中，由于训练白平衡模型的训练数据是通过多光谱色彩过滤器阵列传感器采集的图像，多光谱色彩过滤器阵列传感器采集的图像(例如，6通道Raw图)中的颜色信息多于单帧图像(例如，3通道图像)的颜色信息，因此训练得到的白平衡模型输出的用于白平衡处理的参数能够提高白平衡处理的准确性，提高图像的颜色准确性。
图9根据是本申请实施例提供的白平衡处理方法的效果示意图。
如图9所示，图9中的(a)是通过现有技术中的白平衡处理方法得到的输出图像；图9中的(b)是通过本申请实施例提供的白平衡处理方法得到的输出图像；如图9中的(a)所示的预览图像可以看出色卡601的颜色出现了严重失真；与图9中的(a)所示的预览图像相比，图9中的(b)所示的预览图像对色卡601的颜色还原性较高，即通过本申请实施例提供的白平衡处理方法对图像进行白平衡处理，能够提高图像的颜色准确性。
在一个示例中，可以在电子设备的相机应用程序中开启色彩还原模式，则在电子设备可以通过本申请实施例提供的白平衡模型可以得到白平衡参数，并根据白平衡参数对多光谱色彩过滤器阵列传感器采集的Raw图像进行白平衡处理，从而输出处理后的图像或者视频。
图10示出了电子设备的一种图形用户界面(graphical user interface，GUI)。
图10中的(a)所示的GUI为电子设备的桌面610；当电子设备检测到用户点击桌面610上的相机应用(application，APP)的图标620的操作后，可以启动相机应用，显示如图10中的(b)所示的另一GUI；图10中的(b)所示的GUI可以是相机APP在拍照模式下的显示界面，在GUI可以包括拍摄界面630；拍摄界面630中可以包括取景框631与控件；比如，拍摄界面630中可以包括用于指示拍摄的控件632与用于指示设置的控件633；在预览状态下，该取景框631内可以实时显示预览图像；其中，预览状态下可以是指用户打开相机且未按下拍照/录像按钮之前，此时取景框内可以实时显示预览图。
在电子设备检测到用户点击设置控件633的操作后，显示如图10中的(c)所示的设置界面；在设置界面中可以包括色彩还原模式控件634；检测到用户点击色彩还原模式控件634的操作后，电子设备可以开启色彩还原模式；在电子设备可以开启色彩还原模式后，可以通过本申请实施例提供的白平衡模型得到白平衡参数，并根据白平衡参数对多光谱色彩过滤器阵列传感器采集的Raw图像进行白平衡处理，从而输出处理后的图像。
在一个示例中，如图11所示在拍照模式下，拍摄界面631中还可以包括控件635，控件635用于指示开启/关闭色彩还原模式；在电子设备检测到用户点击控件635的操作后，电子设备可以开启色彩还原模式，通过本申请实施例提供的白平衡模型得到白平衡参数，并根据白平衡参数对多光谱色彩过滤器阵列传感器采集的Raw图像进行白平衡处理，从而输出处理后的图像或者视频。
应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。
上文结合图1至图11详细描述了本申请实施例提供的白平衡模型的训练方法与白平衡处理方法；下面将结合图12至图14详细描述本申请的装置实施例。应理解，本申请实施例中的装置可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
图12是本申请实施例提供的一种电子设备的结构示意图。该电子设备700可以执行如图8所示的训练方法；该电子设备700包括获取模块710与处理模块720。
其中，所述获取模块710用于获取训练数据，其中，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像与所述第二样本图像是指在同一光源场景下多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像，所述第二样本图像中包括色卡；所述处理模块720用于对对所述第一样本图像进行分解处理与去马赛克处理，得到第三样本图像与第四样本图像，所述第三样本图像为第一颜色模式的图像，所述第四样本图像为第二颜色模式的图像；根据所述第三样本图像与所述第四样本图像得到样本颜色校正矩阵，所述样本颜色校正矩阵用于表示将所述第三样本图像转换为所述第四样本图像的像素变化量；对所述第二样本图像进行分解处理与去马赛克处理，得到第五样本图像，所述第五样本图像为所述第一颜色模式的图像；以所述样本颜色校正矩阵为输入数据，以所述第五样本图像中的第一像素信息为目标数据训练白平衡模型，得到训练后的白平衡模型，其中，所述白平衡模型用于计算白平衡处理的参数，所述第一像素信息是指所述第五样本图像中所述色卡包括的中性色块对应的像素值。
可选地，作为一个实施例，所述处理模块720具体用于：
将所述样本颜色校正矩阵输入所述白平衡模型，得到预测像素信息；
根据所述预测像素信息与所述第一像素信息训练所述白平衡模型，得到所述训练后的白平衡模型。
可选地，作为一个实施例，所述训练后的白平衡模型的参数是根据所述预测像素信息与所述第一像素信息之间的差异通过反向传播算进行迭代得到的。
可选地，作为一个实施例，所述多光谱色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器。
可选地，作为一个实施例，所述白平衡模型为全连接神经网络。
需要说明的是，上述电子设备700以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。
例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
图13是本申请实施例提供的一种电子设备的结构示意图。该电子设备800可以执行如图7所示的白平衡处理方法；该电子设备800包括显示模块810与处理模块820。
其中，所述显示模块810用于显示第一界面，所述第一界面包括第一控件；处理模块820用于检测到对所述第一控件的第一操作；响应于所述第一操作，获取第一图像，所述第一图像是指多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像；对所述第一图像进行分解处理与去马赛克处理，得到第二图像与第三图像，所述第二图像是第一颜色模式的图像，所述第三图像是第二颜色模式的图像；根据所述第二图像与所述第三图像得到颜色校正矩阵，所述颜色校正矩阵用于表示将所述第二图像转换为所述第三图像的像素变化量；将颜色校正矩阵输入至白平衡模型，得到白平衡参数；根据所述白平衡参数对所述第一图像进行图像处理，得到第四图像；其中，所述白平衡模型用于计算白平衡处理的参数，所述白平衡模型是通过以样本颜色校正矩阵为输入数据，以第一像素信息为目标数据训练得到的，所述样本颜色校正矩阵是根据第三样本图像与第四样本图像得到的，所述样本颜色校正矩阵用于表示将所述第三样本图像转换为所述第四样本图像的像素变化量，所述第三样本图像与所述第四样本图像是对第一样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一像素信息是指第五样本图像中色卡包括的中性色块对应的像素值，所述第五样本图像是对第二样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一样本图像与所述第二样本图像是指在同一光源场景下所述多光谱色彩过滤器阵列传感器采集的所述第一颜色空间的图像，所述第二样本图像中包括所述色卡。
可选地，作为一个实施例，所述处理模块820具体用于：
对所述第一图像进行所述分解处理，得到第一拜耳阵列图像与第二拜耳阵列图像，所述第一拜耳阵列图像为所述第一颜色模式的拜耳阵列图像，所述第二拜耳阵列图像为所述第二颜色模式的拜耳阵列图像；
对所述第一拜耳阵列图像进行所述去马赛克处理，得到所述第二图像；
对所述第二拜耳阵列图像进行所述去马赛克处理，得到所述第三图像。
可选地，作为一个实施例，所述第二图像包括第一像素、第二像素与第三像素，所述第三图像包括第四像素、第五像素与第六像素，所述处理模块820具体用于：
根据所述第一像素与所述第四像素之间的差值得到第一向量；
根据所述第二像素与所述第五像素之间的差值得到第二向量；
根据所述第三像素与所述第六像素直接的差值得到第三向量；
由所述第一向量、所述第二向量与所述第三向量组成所述颜色校正矩阵。
可选地，作为一个实施例，所述白平衡模型的参数是根据预测像素信息与所述第一像素信息之间的差异通过反向传播算进行迭代得到的，所述预测像素信息是指将所述样本颜色校正矩阵输入所述白平衡模型得到的输出信息。
可选地，作为一个实施例，所述多光谱色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器。
可选地，作为一个实施例，所述白平衡模型为全连接神经网络。
可选地，作为一个实施例，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。
可选地，作为一个实施例，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。
可选地，作为一个实施例，所述第一界面是指拍摄视频界面，所述第一控件是指用于指示拍摄视频的控件。
需要说明的是，上述电子设备800以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。
例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
图14示出了本申请提供的一种电子设备的结构示意图。图14中的虚线表示该单元或该模块为可选的；电子设备900可以用于实现上述方法实施例中描述的方法。
电子设备900包括一个或多个处理器901，该一个或多个处理器901可支持电子设备900实现方法实施例中的白平衡模型的训练方法，或者白平衡处理方法。处理器901可以是通用处理器或者专用处理器。例如，处理器901可以是中央处理器(central processingunit，CPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。
处理器901可以用于对电子设备900进行控制，执行软件程序，处理软件程序的数据。电子设备900还可以包括通信单元905，用以实现信号的输入(接收)和输出(发送)。
例如，电子设备900可以是芯片，通信单元905可以是该芯片的输入和/或输出电路，或者，通信单元905可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。
又例如，电子设备900可以是终端设备，通信单元905可以是该终端设备的收发器，或者，通信单元905可以是该终端设备的收发电路。
电子设备900中可以包括一个或多个存储器902，其上存有程序904，程序904可被处理器901运行，生成指令903，使得处理器901根据指令903执行上述方法实施例中描述的训练方法，或者白平衡处理方法。
可选地，存储器902中还可以存储有数据。可选地，处理器901还可以读取存储器902中存储的数据，该数据可以与程序904存储在相同的存储地址，该数据也可以与程序904存储在不同的存储地址。
处理器901和存储器902可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片(system on chip，SOC)上。
示例性地，存储器902可以用于存储本申请实施例中提供的白平衡模型的训练方法的相关程序904，处理器901可以用于在执行训练白平衡模型时调用存储器902中存储的白平衡模型的训练方法的相关程序904，执行本申请实施例的白平衡模型的训练方法；例如，获取训练数据，其中，所述训练数据包括第一样本图像与第二样本图像，所述第一样本图像与所述第二样本图像是指在同一光源场景下多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像，所述第二样本图像中包括色卡；对所述第一样本图像进行分解处理与去马赛克处理，得到第三样本图像与第四样本图像，所述第三样本图像为第一颜色模式的图像，所述第四样本图像为第二颜色模式的图像；根据所述第三样本图像与所述第四样本图像得到样本颜色校正矩阵，所述样本颜色校正矩阵用于表示将所述第三样本图像转换为所述第四样本图像的像素变化量；对所述第二样本图像进行分解处理与去马赛克处理，得到第五样本图像，所述第五样本图像为所述第一颜色模式的图像；以所述样本颜色校正矩阵为输入数据，以所述第五样本图像中的第一像素信息为目标数据训练白平衡模型，得到训练后的白平衡模型，其中，所述白平衡模型用于计算白平衡处理的参数，所述第一像素信息是指所述第五样本图像中所述色卡包括的中性色块对应的像素值。
示例性地，存储器902可以用于存储本申请实施例中提供的白平衡处理方法的相关程序904，处理器901可以用于在执行白平衡处理时调用存储器902中存储的白平衡处理方法的相关程序904，执行本申请实施例的白平衡处理方法；例如，显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，获取第一图像，所述第一图像是指多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像；对所述第一图像进行分解处理与去马赛克处理，得到第二图像与第三图像，所述第二图像是第一颜色模式的图像，所述第三图像是第二颜色模式的图像；根据所述第二图像与所述第三图像得到颜色校正矩阵，所述颜色校正矩阵用于表示将所述第二图像转换为所述第三图像的像素变化量；将颜色校正矩阵输入至白平衡模型，得到白平衡参数；根据所述白平衡参数对所述第一图像进行图像处理，得到第四图像；其中，所述白平衡模型用于计算白平衡处理的参数，所述白平衡模型是通过以样本颜色校正矩阵为输入数据，以第一像素信息为目标数据训练得到的，所述样本颜色校正矩阵是根据第三样本图像与第四样本图像得到的，所述样本颜色校正矩阵用于表示将所述第三样本图像转换为所述第四样本图像的像素变化量，所述第三样本图像与所述第四样本图像是对第一样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一像素信息是指第五样本图像中色卡包括的中性色块对应的像素值，所述第五样本图像是对第二样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一样本图像与所述第二样本图像是指在同一光源场景下所述多光谱色彩过滤器阵列传感器采集的所述第一颜色空间的图像，所述第二样本图像中包括所述色卡。
本申请还提供了一种计算机程序产品，该计算机程序产品被处理器901执行时实现本申请中任一方法实施例所述的训练方法或者白平衡处理方法。
该计算机程序产品可以存储在存储器902中，例如是程序904，程序904经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器901执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的白平衡处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。
该计算机可读存储介质例如是存储器902。存储器902可以是易失性存储器或非易失性存储器，或者，存储器902可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamicRAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和设备的具体工作过程以及产生的技术效果，可以参考前述方法实施例中对应的过程和技术效果，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例的一些特征可以忽略，或不执行。以上所描述的装置实施例仅仅是示意性的，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统。另外，各单元之间的耦合或各个组件之间的耦合可以是直接耦合，也可以是间接耦合，上述耦合包括电的、机械的或其它形式的连接。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种白平衡处理方法，其特征在于，应用于电子设备，包括：
显示第一界面，所述第一界面包括第一控件；
检测到对所述第一控件的第一操作；
响应于所述第一操作，获取第一图像，所述第一图像是指多光谱色彩过滤器阵列传感器采集的第一颜色空间的图像；
对所述第一图像进行分解处理与去马赛克处理，得到第二图像与第三图像，所述第二图像是第一颜色模式的图像，所述第三图像是第二颜色模式的图像；
根据所述第二图像与所述第三图像得到颜色校正矩阵，所述颜色校正矩阵用于表示将所述第二图像转换为所述第三图像的像素变化量；
将所述颜色校正矩阵输入至白平衡模型，得到白平衡参数；
根据所述白平衡参数对所述第一图像进行图像处理，得到第四图像；
其中，所述白平衡模型用于计算白平衡处理的参数，所述白平衡模型是通过以样本颜色校正矩阵为输入数据，以第一像素信息为目标数据训练得到的，所述样本颜色校正矩阵是根据第三样本图像与第四样本图像得到的，所述样本颜色校正矩阵用于表示将所述第三样本图像转换为所述第四样本图像的像素变化量，所述第三样本图像与所述第四样本图像是对第一样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一像素信息是指第五样本图像中色卡包括的中性色块对应的像素值，所述第五样本图像是对第二样本图像进行所述分解处理与所述去马赛克处理得到的，所述第一样本图像与所述第二样本图像是指在同一光源场景下所述多光谱色彩过滤器阵列传感器采集的所述第一颜色空间的图像，所述第二样本图像中包括所述色卡。
2.如权利要求1所述的白平衡处理方法，其特征在于，所述对所述第一图像进行分解处理与去马赛克处理，得到第二图像与第三图像，包括：
对所述第一图像进行所述分解处理，得到第一拜耳阵列图像与第二拜耳阵列图像，所述第一拜耳阵列图像为所述第一颜色模式的拜耳阵列图像，所述第二拜耳阵列图像为所述第二颜色模式的拜耳阵列图像；
对所述第一拜耳阵列图像进行所述去马赛克处理，得到所述第二图像；
对所述第二拜耳阵列图像进行所述去马赛克处理，得到所述第三图像。
3.如权利要求1或2所述的白平衡处理方法，其特征在于，所述第二图像包括第一像素、第二像素与第三像素，所述第三图像包括第四像素、第五像素与第六像素，所述根据所述第二图像与所述第三图像得到颜色校正矩阵，包括：
根据所述第一像素与所述第四像素之间的差值得到第一向量；
根据所述第二像素与所述第五像素之间的差值得到第二向量；
根据所述第三像素与所述第六像素直接的差值得到第三向量；
由所述第一向量、所述第二向量与所述第三向量组成所述颜色校正矩阵。
4.如权利要求1至3中任一项所述的白平衡处理方法，其特征在于，所述白平衡模型的参数是根据预测像素信息与所述第一像素信息之间的差异通过反向传播算进行迭代得到的，所述预测像素信息是指将所述样本颜色校正矩阵输入所述白平衡模型得到的输出信息。
5.如权利要求1至4中任一项所述的白平衡处理方法，其特征在于，所述多光谱色彩过滤器阵列传感器是指在像素传感器上方覆盖马赛克滤色镜阵列的传感器。
6.如权利要求1至5中任一项所述的白平衡处理方法，其特征在于，所述白平衡模型为全连接神经网络。
7.如权利要求1至6中任一项所述的白平衡处理方法，其特征在于，所述第一界面是指所述电子设备的主屏界面，所述主屏界面包括相机应用程序，所述第一控件是指所述相机应用程序对应的控件。
8.如权利要求1至6中任一项所述的白平衡处理方法，其特征在于，所述第一界面是指拍照界面，所述第一控件是指用于指示拍照的控件。
9.如权利要求1至6中任一项所述的白平衡处理方法，其特征在于，所述第一界面是指拍摄视频界面，所述第一控件是指用于指示拍摄视频的控件。
10.一种电子设备，其特征在于，应用于白平衡处理，所述电子设备包括：
一个或多个处理器和存储器；
所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的白平衡处理方法。
11.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至9中任一项所述的方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序代码，当所述计算机程序代码被处理器执行时，使得处理器执行权利要求1至9中任一项所述的方法。
CN202111560454.0A 2021-09-15 2021-12-20 白平衡处理方法与电子设备 Active CN115835034B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/006,180 US20240129446A1 (en) 2021-09-15 2022-09-07 White Balance Processing Method and Electronic Device
PCT/CN2022/117586 WO2023040725A1 (zh) 2021-09-15 2022-09-07 白平衡处理方法与电子设备
EP22839975.4A EP4175275A4 (en) 2021-09-15 2022-09-07 WHITE BALANCE PROCESSING METHOD AND ELECTRONIC DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111081629 2021-09-15
CN202111081629X 2021-09-15

Publications (2)

Publication Number Publication Date
CN115835034A true CN115835034A (zh) 2023-03-21
CN115835034B CN115835034B (zh) 2024-04-05

Family

ID=85382660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111560454.0A Active CN115835034B (zh) 2021-09-15 2021-12-20 白平衡处理方法与电子设备

Country Status (4)

Country Link
US (1) US20240129446A1 (zh)
EP (1) EP4175275A4 (zh)
CN (1) CN115835034B (zh)
WO (1) WO2023040725A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117692788A (zh) * 2023-08-31 2024-03-12 上海荣耀智慧科技开发有限公司 一种图像处理方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116761082B (zh) * 2023-08-22 2023-11-14 荣耀终端有限公司 图像处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1331828A1 (en) * 2000-10-31 2003-07-30 Sony Corporation Color reproduction corrector for image input device and color reproduction correction method
US20120263379A1 (en) * 2011-04-13 2012-10-18 Nina Bhatti Method and system for dynamic color correction
JP2013158025A (ja) * 2013-03-25 2013-08-15 Canon Inc 画像処理装置及び方法、及び撮像装置
CN108377373A (zh) * 2018-05-10 2018-08-07 杭州雄迈集成电路技术有限公司 一种基于像素的色彩还原装置及方法
CN111314684A (zh) * 2020-04-13 2020-06-19 杭州国芯科技股份有限公司 一种基于同色异谱的白平衡校正的方法
US20210058596A1 (en) * 2019-08-22 2021-02-25 Mahmoud Afifi Systems and methods for sensor-independent illuminant determination

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
CN107578390B (zh) * 2017-09-14 2020-08-07 长沙全度影像科技有限公司 一种使用神经网络进行图像白平衡校正的方法及装置
CN109523485B (zh) * 2018-11-19 2021-03-02 Oppo广东移动通信有限公司 图像颜色校正方法、装置、存储介质及移动终端
GB201903816D0 (en) * 2019-03-20 2019-05-01 Spectral Edge Ltd Multispectral image decorrelation method and system
CN112565728B (zh) * 2020-12-22 2022-10-11 京东方科技集团股份有限公司 白平衡调整方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1331828A1 (en) * 2000-10-31 2003-07-30 Sony Corporation Color reproduction corrector for image input device and color reproduction correction method
US20120263379A1 (en) * 2011-04-13 2012-10-18 Nina Bhatti Method and system for dynamic color correction
JP2013158025A (ja) * 2013-03-25 2013-08-15 Canon Inc 画像処理装置及び方法、及び撮像装置
CN108377373A (zh) * 2018-05-10 2018-08-07 杭州雄迈集成电路技术有限公司 一种基于像素的色彩还原装置及方法
US20210058596A1 (en) * 2019-08-22 2021-02-25 Mahmoud Afifi Systems and methods for sensor-independent illuminant determination
CN111314684A (zh) * 2020-04-13 2020-06-19 杭州国芯科技股份有限公司 一种基于同色异谱的白平衡校正的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117692788A (zh) * 2023-08-31 2024-03-12 上海荣耀智慧科技开发有限公司 一种图像处理方法及电子设备

Also Published As

Publication number Publication date
CN115835034B (zh) 2024-04-05
EP4175275A4 (en) 2024-02-07
WO2023040725A1 (zh) 2023-03-23
US20240129446A1 (en) 2024-04-18
EP4175275A1 (en) 2023-05-03

Similar Documents

Publication Publication Date Title
WO2023040725A1 (zh) 白平衡处理方法与电子设备
US10516860B2 (en) Image processing method, storage medium, and terminal
CN115550570B (zh) 图像处理方法与电子设备
CN114693580B (zh) 图像处理方法及其相关设备
CN113850367A (zh) 网络模型的训练方法、图像处理方法及其相关设备
CN116438804A (zh) 帧处理和/或捕获指令系统及技术
CN115802183B (zh) 图像处理方法及其相关设备
CN108141530A (zh) 图像处理装置、图像处理方法及程序
CN117135293B (zh) 图像处理方法和电子设备
CN116668862B (zh) 图像处理方法与电子设备
EP4231621A1 (en) Image processing method and electronic device
CN115550575B (zh) 图像处理方法及其相关设备
CN116437198B (zh) 图像处理方法与电子设备
CN117135471A (zh) 一种图像处理方法和电子设备
EP4195679A1 (en) Image processing method and electronic device
CN116258633A (zh) 图像去反光的方法、图像去反光模型的训练方法与装置
US11989863B2 (en) Method and device for processing image, and storage medium
CN115767290A (zh) 图像处理方法和电子设备
US20230058472A1 (en) Sensor prioritization for composite image capture
CN116128739A (zh) 下采样模型的训练方法、图像处理方法及装置
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
CN115955611B (zh) 图像处理方法与电子设备
JP2020191546A (ja) 画像処理装置、画像処理方法、およびプログラム
CN116029914B (zh) 图像处理方法与电子设备
CN116668838B (zh) 图像处理方法与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant