CN115633260B - 一种色度信息的确定方法及相关电子设备 - Google Patents

一种色度信息的确定方法及相关电子设备 Download PDF

Info

Publication number
CN115633260B
CN115633260B CN202110925200.8A CN202110925200A CN115633260B CN 115633260 B CN115633260 B CN 115633260B CN 202110925200 A CN202110925200 A CN 202110925200A CN 115633260 B CN115633260 B CN 115633260B
Authority
CN
China
Prior art keywords
color temperature
distance
chromaticity
correlated color
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110925200.8A
Other languages
English (en)
Other versions
CN115633260A (zh
Inventor
钱彦霖
郗东苗
金萌
王梓蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202410645824.8A priority Critical patent/CN118632134A/zh
Priority to CN202110925200.8A priority patent/CN115633260B/zh
Priority to US18/042,274 priority patent/US20230342977A1/en
Priority to PCT/CN2022/091965 priority patent/WO2023015993A1/zh
Priority to EP22850697.8A priority patent/EP4181510A4/en
Publication of CN115633260A publication Critical patent/CN115633260A/zh
Application granted granted Critical
Publication of CN115633260B publication Critical patent/CN115633260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本申请提供了一种色度信息的确定方法及相关电子设备，其中，所述方法包括：所述电子设备启动相机应用；所述多光谱传感器获取第一通道值，其中，所述多光谱传感器包括第一通道，所述第一通道值为所述第一通道获取的值；将所述第一通道值发送到自动白平衡模块；根据所述第一通道值，所述自动白平衡模块从所述多个算法中选择目标算法；所述电子设备根据所述目标算法确定目标色度信息。

Description

一种色度信息的确定方法及相关电子设备
技术领域
本申请涉及图像处理领域，尤其涉及一种色度信息的确定方法及相关电子设备。
背景技术
白平衡是数码相机设备或相关软件能够对捕获图像进行的一种调整，用于确保图像中的白色能够适当地反映拍摄图像的真实世界场景中的实际白色。白平衡与色温相关，色温是基于图像和场景中的蓝光量与红光量的比率来衡量光的质量，以开尔文为单位。具有较高色温的图像或场景比具有较低色温的图像和场景具有更多的蓝色。因此，“较冷”的光具有较高的色温，“较热”的光具有较低的色温。
人眼和大脑可以适应不同的色温。例如，不管是在阳光下还是在各种灯光下，人眼将白色的物体视为白色，即人眼具有颜色恒常性。由于摄像机内用于将光信号转化为电信号的电荷耦合元件电路(Charge-coupled Device，CCD)或CMOS电路没有办法像人眼一样会对光源的颜色变化进行修正。因此，需要通过白平衡算法来估计捕获图像光源的色度，并通过估计的光源色度来调整图像颜色，使得调整后的图像的色彩与人眼真实观察的色彩一致。如何提高白平衡算法的准确度，是技术人员日益关注的问题。
发明内容
本申请实施例提供了一种色度信息的确定方法，解决了通过AWB和AI AWB融合算法计算出来的色度信息准确度不高的问题。
第一方面，本申请实施例提供了一种色度信息的确定方法，应用于电子设备，该电子设备包括多光谱传感器、自动白平衡模块和AI自动白平衡模块，自动白平衡模块包括多个算法，该方法包括：电子设备启动相机应用；多光谱传感器获取第一通道值，其中，多光谱传感器包括第一通道，第一通道值为第一通道获取的值；将第一通道值发送到自动白平衡模块；根据第一通道值，自动白平衡模块从多个算法中选择目标算法；电子设备根据所述目标算法确定目标色度信息。在上述实施例中，由于自动白平衡模块可以根据第一通道值选择目标算法，这个目标算法为与当前拍摄环境相匹配的AWB算法，电子设备基于该目标算法计算得到的目标色度信息的准确度更高，当电子设备使用该目标色度信息对图像进行白平衡调节时，调节的效果更好。
结合第一方面，在一种实施方式中，该方法还包括：多光谱传感器获取第一相关色温；将第一相关色温发送到AI自动白平衡模块；AI自动白平衡模块确定第一相关色温与第二相关色温的差值，第二相关色温为AI自动白平衡模块根据相机采集的图像得到的相关色温值；当该差值大于预设阈值时，将AI自动白平衡模块输出的置信度调整为第一置信度；电子设备根据所述第一置信度确定目标色度信息。在上述实施例中，电子设备根据第一相关色温与第二相关色温的差值调整AI自动白平衡输出的置信度，得到第一置信度，提高了第一置信度的准确度，使得基于第一置信度计算得到的目标色度信息准确度更高，当电子设备使用该目标色度信息对图像进行白平衡调节时，调节的效果更好。
结合第一方面，在一种实施方式中，该方法还包括：当该启动为冷启动时，多光谱传感器获取第一色度信息；所述电子设备确定所述目标色度信息为所述第一色度信息。这样，电子设备可以使用第一色度信息对相机输出的首帧或前几帧图像进行白平衡调节，使得该首帧或前几帧图像不会出现偏色。
结合第一方面，在一种实施方式中，该方法还包括：当自动白平衡模块或所述AI自动白平衡模块确定相机采集的图像为纯色图像时，电子设备确定目标色度信息为第二色度信息，第二色度信息为多光谱传感器获取的色度信息。这样，在自动白平衡模块或所述AI自动白平衡模块不能准确计算纯色图像色度信息的情况下，电子设备也能调用准确度较高的第二色度信息对图像进行白平衡调节，从而解决图像的偏色问题。
结合第一方面，在一种实施方式中，所述第一通道值包括以下一项或多项：可见光通道值、NIR通道值、Clear通道值。
结合第一方面，在一种实施方式中，电子设备根据第一置信度确定目标色度信息，具体包括：自动白平衡模块将相机采集的图像通过目标算法进行计算，得到第三相关色温与第一色度距离；AI自动白平衡模块基于相机采集的图像，得到第四相关色温与第二色度距离；所述电子设备将所述第一置信度进行修正，得到第二置信度；电子设备根据所述第二置信度将第三相关色温与第四相关色温进行融合，得到第五相关色温；电子设备根据第二置信度将第一色度距离与第二色度距离进行融合，得到第三色度距离；电子设备基于第五相关色温和第三色度距离得到目标色度信息。在上述实施例中，由于自动白平衡模块使用目标算法计算得到第一色度距离和第三相关色温，因此，计算出的第一色度距离和第三相关色温的准确度很高。由于电子设备根据第一相关色温与第二相关色温的差值调整AI自动白平衡输出的置信度，得到第一置信度，提高了第一置信度的准确度，且第二置信度是由第一置信度修正得到，因此第二置信度的准确度也有所提高。由于第三色度距离是电子设备根据第二置信度将第一色度距离和第二色度距离进行融合得到的，第五相关色温是电子设备根据第二置信度将第三相关色温和第四相关色温进行融合得到的，因此第三色度距离和第五相关色温的准确性也有所提高，使得基于第三色度距离和第五相关色温得到的目标色度信息的准确性也有所提高。当电子设备使用该目标色度信息对图像进行白平衡调节时，能够更加有效地解决图像的偏色问题。
结合第一方面，在一种实施方式中，电子设备基于第五相关色温和第三色度距离得到目标色度信息，具体包括：将第五相关色温进行倾向度调节得到第六相关色温；将第三色度距离进行倾向度调节，得到第四色度距离；基于第六相关色温和第四色度距离，得到所述目标色度信息。这样，电子设备可以根据第六相关色温和第四色度距离得到准确度高的目标色度信息，当电子设备使用该目标色度信息对图像进行白平衡调节时，能够更加有效地解决图像的偏色问题。
结合第一方面，在一种实施方式中，AI自动白平衡模块基于相机采集的图像，得到第四相关色温与第二色度距离，具体包括：AI自动白平衡模块根据相机采集的图像，输出第二相关色温和初始色度距离；将第二相关色温与初始色度距离进行修正，得到修正后的第二相关色温和修正后的初始色度距离；基于修正后的第二相关色温和修正后的初始色度距离，进行时序滤波，得到第四相关色温和第二色度距离。这样，通过时序滤波得到的第四相关色温和第二色度距离的准确性更高。
结合第一方面，在一种实施方式中，所述基于修正后的第二相关色温和修正后的初始色度距离，进行时序滤波，得到第四相关色温和第二色度距离，具体包括：根据公式更新第一协方差矩阵，得到更新后的第一协方差矩阵；Sigma′1为更新后的第一协方差矩阵，Sigma1为第一协方差矩阵，λ1为第一参数，第一协方差矩阵为所述AI自动白平衡模块根据相机采集的图像输出的协方差矩阵或者第一协方差矩阵为基于第二置信度计算得到的协方差矩阵；根据公式更新第二协方差矩阵，得到更新后的第二协方差矩阵；第二协方差矩阵为第二图像的协方差矩阵，第二图像为所述相机采集的上一帧图像，Sigma′2为所述更新后的第二协方差矩阵，Sigma2为第二协方差矩阵，λ2为第二参数；基于修正后的第二相关色温和修正后的初始色度距离计算，得到第一滤波向量；根据公式Mu＝Mu1*(Sigma′1)-1+Mu2*(Sigma′2)-1，得到第二滤波向量；Mu1为第一滤波向量，Mu2为第二图像的滤波向量，Mu为第二滤波向量；基于第二滤波向量进行计算处理，得到第四相关色温和所述第二色度距离。这样，通过时序滤波得到的第四相关色温和第二色度距离的准确性更高。
结合第一方面，在一种实施方式中，电子设备根据第二置信度将第三相关色温与第四相关色温进行融合，得到第五相关色温，具体包括：根据相机采集的图像的亮度值、第四相关色温以及第二色度距离，确定第一概率值；根据公式CCT5＝Conf_2*X′*CCT4+(1-Conf_2*X′)*CCT3计算得到第五相关色温；其中，所述Conf_2为第二置信度，X′为第一概率值，CCT4为第四相关色温，CCT3为第三相关色温，CCT5为第五相关色温。这样，电子设备可以根据第五相关色温和第三色度距离得到准确度高的目标色度信息，当电子设备使用该目标色度信息对图像进行白平衡调节时，能够更加有效地解决图像的偏色问题。
结合第一方面，在一种实施方式中，电子设备根据所述第二置信度将第一色度距离与第二色度距离进行融合，得到第三色度距离，具体包括：根据相机采集的图像的亮度值、第四相关色温以及第二色度距离，确定第二概率值；根据公式Duv3＝Conf_2*Y′*Duv2+(1-Conf_2*Y′)*Duv1v1，计算得到第三色度距离；其中，Conf_2为第二置信度，Y′为第二概率值，Duv1v1为第一色度距离，Duv2为第二色度距离，Duv3为第三色度距离。这样，电子设备可以根据第五相关色温和第三色度距离得到准确度高的目标色度信息，当电子设备使用该目标色度信息对图像进行白平衡调节时，能够更加有效地解决图像的偏色问题。
结合第一方面，在一种实施方式中，将第五相关色温进行倾向度调节得到第六相关色温，具体包括：根据相机采集的图像的亮度值、第五相关色温以及第三色度距离确定第一相关色温调节值；根据公式CCT6＝CCT5+Delta_CCT′，得到第六相关色温，CCT5为第五相关色温，CCT6为第六相关色温，Delta_CCT′为第一相关色温调节值。这样，当电子设备使用基于第六相关色温和第四色度距离计算出的目标色度信息对图像进行白平衡调节时，在解决图像色偏的基础上使得图像颜色更符合用户的视觉习惯。
结合第一方面，在一种实施方式中，将第三色度距离进行倾向度调节，得到第四色度距离，具体包括：根据相机采集的图像的亮度值、第五相关色温以及第三色度距离确定第一色度距离调节值；根据公式Duv4＝Duv3+Delta_Duv′，得到第四色度距离，Duv4为第四色度距离，Duv3为第三色度距离，Delta_Duv′为第一色度距离调节值。这样，当电子设备使用基于第六相关色温和第四色度距离计算出的目标色度信息对图像进行白平衡调节时，在解决图像色偏的基础上使得图像颜色更符合用户的视觉习惯。
第二方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行：电子设备启动相机应用；多光谱传感器获取第一通道值，其中，多光谱传感器包括第一通道，第一通道值为第一通道获取的值；将第一通道值发送到自动白平衡模块；根据第一通道值，自动白平衡模块从多个算法中选择目标算法；电子设备根据所述目标算法确定目标色度信息。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：多光谱传感器获取第一相关色温；将第一相关色温发送到AI自动白平衡模块；AI自动白平衡模块确定第一相关色温与第二相关色温的差值，第二相关色温为AI自动白平衡模块根据相机采集的图像得到的相关色温值；当该差值大于预设阈值时，将AI自动白平衡模块输出的置信度调整为第一置信度；电子设备根据所述第一置信度确定目标色度信息。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：当该启动为冷启动时，多光谱传感器获取第一色度信息；所述电子设备确定所述目标色度信息为所述第一色度信息。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：当自动白平衡模块或所述AI自动白平衡模块确定相机采集的图像为纯色图像时，电子设备确定目标色度信息为第二色度信息，第二色度信息为多光谱传感器获取的色度信息。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：自动白平衡模块将相机采集的图像通过目标算法进行计算，得到第三相关色温与第一色度距离；AI自动白平衡模块基于相机采集的图像，得到第四相关色温与第二色度距离；所述电子设备将所述第一置信度进行修正，得到第二置信度；电子设备根据所述第二置信度将第三相关色温与第四相关色温进行融合，得到第五相关色温；电子设备根据第二置信度将第一色度距离与第二色度距离进行融合，得到第三色度距离；电子设备基于第五相关色温和第三色度距离得到目标色度信息。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：将第五相关色温进行倾向度调节得到第六相关色温；将第三色度距离进行倾向度调节，得到第四色度距离；基于第六相关色温和第四色度距离，得到所述目标色度信息。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：AI自动白平衡模块根据相机采集的图像，输出第二相关色温和初始色度距离；将第二相关色温与初始色度距离进行修正，得到修正后的第二相关色温和修正后的初始色度距离；基于修正后的第二相关色温和修正后的初始色度距离，进行时序滤波，得到第四相关色温和第二色度距离。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：根据公式更新第一协方差矩阵，得到更新后的第一协方差矩阵；Sigma′1为更新后的第一协方差矩阵，Sigma1为第一协方差矩阵，λ1为第一参数，第一协方差矩阵为所述AI自动白平衡模块根据相机采集的图像输出的协方差矩阵或者第一协方差矩阵为基于第二置信度计算得到的协方差矩阵；根据公式更新第二协方差矩阵，得到更新后的第二协方差矩阵；第二协方差矩阵为第二图像的协方差矩阵，第二图像为所述相机采集的上一帧图像，Sigma′2为所述更新后的第二协方差矩阵，Sigma2为第二协方差矩阵，λ2为第二参数；基于修正后的第二相关色温和修正后的初始色度距离计算，得到第一滤波向量；根据公式Mu＝Mu1*(Sigma′1)-1+Mu2*(Sigma′2)-1，得到第二滤波向量；Mu1为第一滤波向量，Mu2为第二图像的滤波向量，Mu为第二滤波向量；基于第二滤波向量进行计算处理，得到第四相关色温和所述第二色度距离。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：根据相机采集的图像的亮度值、第四相关色温以及第二色度距离，确定第一概率值；根据公式CCT5＝Conf_2*X′*CCT4+(1-Conf_2*X′)*CCT3，计算得到第五相关色温；其中，所述Conf_2为第二置信度，X′为第一概率值，CCT4为第四相关色温，CCT3为第三相关色温，CCT5为第五相关色温。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：根据相机采集的图像的亮度值、第四相关色温以及第二色度距离，确定第二概率值；根据公式Duv3＝Conf_2*Y′*Duv2+(1-Conf_2*Y′)*Duv1v1，计算得到第三色度距离；其中，Conf_2为第二置信度，Y′为第二概率值，Duv1v1为第一色度距离，Duv2为第二色度距离，Duv3为第三色度距离。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：根据相机采集的图像的亮度值、第五相关色温以及第三色度距离确定第一相关色温调节值；根据公式CCT6＝CCT5+Delta_CCT′，得到第六相关色温，CCT5为第五相关色温，CCT6为第六相关色温，Delta_CCT′为第一相关色温调节值。
结合第二方面，在一种实施方式中，该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：根据相机采集的图像的亮度值、第五相关色温以及第三色度距离确定第一色度距离调节值；根据公式Duv4＝Duv3+Delta_Duv′，得到第四色度距离，Duv4为第四色度距离，Duv3为第三色度距离，Delta_Duv′为第一色度距离调节值。
第三方面，本申请实施例提供了一种电子设备，包括：触控屏、摄像头、一个或多个处理器和一个或多个存储器；所述一个或多个处理器与所述触控屏、所述摄像头、所述一个或多个存储器耦合，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第四方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，包括指令，当该指令在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
附图说明
图1是本申请实施例提供的一种电子设备100的硬件结构示意图；
图2A-图2C是本申请实施例提供的一组拍摄界面图；
图2D是本申请实施例提供的通过自动白平衡算法调节后的图像的对比效果图；
图3是本申请实施例提供的一种确定色度信息的方法的流程图；
图4是本申请实施例提供的拍摄界面图；
图5是本申请实施例提供的预览图像与其RGB调节值的对应图；
图6A是本申请实施例提供的一种CCT转换表；
图6B是本申请实施例提供的一种CCT Shift Table三维空间坐标系；
图7A是本申请实施例提供的一种Duv转换表；
图7B是本申请实施例提供的一种DuvShift Table三维空间坐标系；
图8A是本申请实施例提供的一种Confidence转换表；
图8B是本申请实施例提供的一种Confidence Shift Table三维空间坐标系；
图9是本申请实施例提供的一种(CCT，Duv)转换成色度信息的示意图；
图10是本申请实施例提供的一种CCT融合表；
图11是本申请实施例提供的一种Duv融合表；
图12是本申请实施例提供的一种CCT倾向度调节表；
图13是本申请实施例提供的一种Duv倾向度调节表。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或者特性可以包含在本实施例申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是相同的实施例，也不是与其它实施例互斥的独立的或是备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中术语“第一”、“第二”、“第三”等是区别于不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元，或者可选地，还包括没有列出的步骤或单元，或者可选地还包括这些过程、方法、产品或设备固有的其它步骤或单元。
附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在本说明书中使用的术语“部件”、“模块”、“系统”、“单元”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件或执行中的软件。例如，单元可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或分布在两个或多个计算机之间。此外，这些单元可从在上面存储有各种数据结构的各种计算机可读介质执行。单元可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一单元交互的第二单元数据。例如，通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
下面，对本申请实施例涉及的一些专有名词进行解释。
(1)普朗克轨迹：在辐射作用下既不反射也不完全投射，而能把落在它上面的辐射全部吸收的物体称为黑体或完全辐射体。当黑体连续加热时，它的相对光谱功率分布的最大值将向短波方向移动，相应的光色将按照红、黄、白、蓝的顺序进行变化，在不同温度下，黑体对应的光色变化在色度图上形成的弧形轨迹，叫做黑体轨迹或普朗克轨迹。
(2)相关色温(Correlated Colour Temperature，CCT)：是指与具有相同亮度刺激的颜色最相近的黑体辐射体的温度，用K氏温度表示，用于描述位于普朗克轨迹附近的光的颜色的度量。除热辐射光源以外的其它光源具有线状光谱，其辐射特性与黑体辐射特性差别较大，所以这些光源的光色在色度图上不一定准确地落在黑体轨迹上，对这样一类光源，通常用CCT来描述光源的颜色特性。
(3)色度距离(Duv)：是指从测试光源的色度值(u，v)到普朗克轨迹上的最近点的距离，Duv表征了测试光源的色度值(u，v)与普朗克轨迹的颜色偏移(绿色或粉红色)和方向的信息。
(4)亮度值(Lighting Value，LV)：用于估计环境亮度，其具体计算公式如下：
其中，Exposure为曝光时间，Aperture为光圈大小，Iso为感光度，Luma为图像在XYZ颜色空间中，Y的平均值。
(5)XYZ空间：本申请实施例中的RGB值是DeviceRGB，DeviceRGB颜色空间是与设备相关的颜色空间，即：不同设备对RGB值的理解不同。因此，DeviceRGB不适合用于计算亮度值等参数。计算LV需要将DeviceRGB颜色空间转换为与设备无关的XYZ空间，即：将RGB值转换为XYZ值。
RGB颜色空间转换为XYZ空间的常用方法为：在不同光源环境下(典型的光源包括A、H、U30、TL84、D50、D65、D75等等)标定出一个大小为3*3的颜色校正矩阵(ColorCorrection Matrix，CCM)，并将不同光源的CCM存储在电子设备的内存中，通过公式：
得到图像在XYZ空间对应的三维向量，从而实现RGB空间到XYZ空间的转化。在拍摄过程中，往往根据图像中的白平衡基准点来匹配对应的光源，并选择该光源对应的CCM。若存在白平衡基准点的RGB值在两个光源之间(例如图像的RGB值落在D50和D65之间)，CCM可由D50和D65进行双线性插值所得到。例如，D50的颜色校正矩阵为CCM1，相关色温为CCT1，D60的颜色校正矩阵为CCM2，相关色温为CCT2，图像光源的相关色温为CCTa。电子设备可以根据公式：
计算出比例值g，基于比例值，根据公式：
CCM＝g*CCM1+(1-g)*CCM2
可以计算出图像的CCM。
请参见图1，图1是本申请实施例提供的一种电子设备100的硬件结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(Universal Serial Bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
由于，数码相机或手机等电子设备中的CCD电路或CMOS电路不能对光源的颜色变化作出修正，为了防止拍摄出的图像出现色温等问题，需要将图像进行白平衡处理。目前，使用最多的白平衡算法包括传统的自动白平衡(Automatic White Balance，AWB)算法和人工智能自动白平衡算法(AI AWB算法)。AWB算法包括灰度世界等算法，而AI AWB算法通常是通过训练好的AI AWB模型来计算图像光源白点的颜色描述值(例如图像光源白点的RGB值、图像光源白点的R/G和B/G、图像光源白点的色度值)。其中，AI AWB模型可以是神经网络模型，也可以是快速傅里叶颜色恒常性(Fast Fourier Color Constancy，FFCC)模型，还可以是其它具有计算图像光源白点的颜色描述值功能的模型，本申请实施例对此不限制。图像光源白点的颜色为图像光源的颜色，当计算出白点的RGB值或者R/G、B/G，可以基于该白点的RGB值或R/G、B/G调节图像像素的RGB值或R/G、B/G，从而实现对图像的白平衡调节。
使用AWB算法对图像进行白平衡处理，其优点是计算量小、应用场景的范围较广。但是，由于其计算逻辑简单且计算量小，当拍摄场景的光源环境复杂时，通过AWB算法计算出的图像光源白点的RGB值的准确性不高，进而导致基于图像光源白点的RGB值对图像进行白平衡处理的效果不明显。
对于AI AWB算法，由于其使用的AI AWB模型对输入图像进行复杂的计算处理，在与训练场景类似的拍摄场景下，AI AWB模型计算出的图像光源白点的RGB值的准确度是非常高的。但是，由于在对AI AWB模型进行训练的过程中，训练样本有限，使得AI AWB模型不能适用所有的拍摄环境。当用户在泛化场景不好的拍摄场景下进行拍照时，AI AWB模型计算图像光源白点的RGB值的准确度极低，当ISP基于图像光源白点的RGB值对图像进行白平衡调节时，调节效果不明显。
为了解决AWB算法计算图像光源白点的RGB值准确度不高，AI AWB算法的应用场景有限的问题，本申请实施例提供了一种确定色度信息的方法，该方法的原理为：多光谱传感器将其计算的待处理图像的光源白点的第一色度信息下发到内存。由于多光谱传感器的启动速度快，在相机进行冷启动的过程中，电子设备可以使用第一色度信息对首帧或前几帧的图像进行白平衡调节，使得首帧或前几帧的图像不会出现偏色问题。此外，在电子设备将图像的原始数据通过AWB算法以及AI AWB算法计算图像的色度信息的过程中，若统计图像光源白点的个数小于一定的阈值，电子设备判断当前拍摄场景为纯色场景，在纯色场景下，电子设备通过AWB算法和AI AWB算法计算出的图像光源白点的色度信息不准确。因此，电子设备也可以调用多光谱传感器就计算的第一色度信息对图像进行白平衡调节。电子设备将相机输出的待处理图像的原始数据以及多光谱传感器输出的光谱数据和相关色温CCT通过AWB算法进行处理，得到图像的光源白点的RGB值，基于该RGB值可以得到该图像光源白点的R(红色)颜色通道与G(绿色)颜色通道的比值R11/G11以及B(蓝色)颜色通道与G(绿色)颜色通道的比值B11/G11。同时，电子设备将相机输出的待处理图像的原始数据以及多光谱传感器输出的光谱数据和CCT通过人工智能自动白平衡算法(AIAWB算法)进行计算处理，得到该图像光源白点的RGB值，基于该RGB值可以得到该图像光源白点的R(红色)颜色通道与G(绿色)颜色通道的比值R21/G21以及B(蓝色)颜色通道与G(绿色)颜色通道的比值B21/G21。然后，电子设备基于R11/G11和B11/G11计算所述图像光源白点的相关色温CCT11和色度距离Duv11，基于R21/G21和B21/G21计算所述图像光源白点的相关色温CCT21和色度距离Duv21。然后，电子设备将CCT11和CCT21进行融合，得到融合后的CCT，将Duv11和Duv21进行融合，得到融合后的Duv。最后，电子设备基于融合后的CCT和融合后的Duv得到第四色度信息，并将第四色度信息下发到内存中，以便ISP基于第四色度信息对图像进行白平衡调节。
下面，结合图2A-图2D对该确定色度信息的方法的应用场景进行介绍。
如图2A所示，电子设备100可以显示有主屏幕的界面210，该界面210中包括多个应用图标。例如，天气应用图标、视频应用图标、备忘录图标、设置应用图标、相机应用图标211。当电子设备100检测到针对相机应用图标211的输入操作后(例如单击)，响应该输入操作，电子设备100可以显示如图2B所示的拍摄界面220。
如图2B所示，拍摄界面220包括拍摄预览界面221、拍照控件222以及回显控件223。其中，拍摄预览界面221用于显示当前拍摄环境，当电子设备100检测到针对回显控件223的输入操作(例如单击)，电子设备100会显示历史拍摄照片。当电子设备100检测到针对拍照控件222的输入操作(例如单击)后，响应该操作，电子设备显示如图2C所示的照片预览界面230。这样，用户可以在照片预览界面230中预览拍摄照片。
当电子设备100检测到针对图2B中拍照控件222的输入操作后，电子设备100开始拍照，并对图像进行白平衡处理。如图2D所示，由于拍摄环境光源的色温的不同，导致处理前图像1出现色偏(图像1颜色整体偏灰)，当电子设备100对图像1进行白平衡进行处理后，处理后的图像1的整体颜色不再偏灰，与人眼真实观察的颜色一致。
下面，结合附图介绍一种确定色度信息方法的流程图。请参见图3，图3是本申请实施例提供的一种确定色度信息方法的流程图，具体流程如下：
步骤S301：相机应用启动。
示例性的，在上述图2A实施例中，当电子设备检测到针对相机应用图标211的输入操作(例如，单击)后，相机应用启动。
步骤S302：电子设备将多光谱传感器计算出的图像光源白点的第一色度信息发送到内存中。
具体地，多光谱传感器用于获取图像光源的光谱数据，并根据这些光谱数据计算图像光源白点的相关色温CCT和RGB值的等颜色描述值，以便ISP可以基于这些颜色描述值进行图像处理(例如，对图像进行白平衡调节)。本申请实施例以包括8个可见光通道(F1通道～F8通道)、一个全通通道(Clear通道)以及近红外通道(NIRValue通道)的多光谱传感器进行举例说明，多光谱传感器每个通道对应不同的波长范围，当器件受到光线照射后，在单位时间内，每个通道会产生通道响应值，这个响应值就是多光谱传感器获取的光谱数据。其中，全通通道的响应值用于表征所述图像的亮度，近红外通道的响应值用于表征红外光的强度。多光谱传感器可以基于其获取的光谱数据计算第一色度信息，第一色度信息可以为图像光源白点的R1G1B1值，也可以为所述图像光源白点的R1/G1和B1/G1，还可以为该图像光源白点的色度值(u1，v1)，本申请实施例对此不做限制。其中，R1G1B1值用于表征图像光源白点在红、绿、蓝三颜色通道上的通道响应值，R1G1B1可以与色度值(u1，v1)相互转换。
当相机冷启动时，多光谱传感器会计算图像光源白点的第一色度信息、光谱数据以及所述图像光源的相关色温CCT。在相机启动到拍照这段时间，多光谱传感器会每隔一帧或多帧计算预览图像的第一色度信息，并将第一色度信息下放到内存中。其中，预览图像为相机应用启动后，显示在电子设备预览界面的图像。示例性的，当相机应用启动后，电子设备会显示如图4所示的拍摄界面410，在该拍摄界面410中包括预览界面411，预览界面411用于显示当前拍摄环境的实时影像。在预览界面411中显示的实时影像是以图像帧为单位展示给用户的，该图像帧为预览图像。与此同时，多光谱传感器会计算每一帧图像的光谱数据和光源相关色温(CCT)，电子设备会将图像的光谱数据、原始数据以及相关色温分别通过AWB算法和AI AWB算法进行计算处理，得到每帧图像的色度信息。但是，相机出图的速度相较于电子设备通过AWB算法和AI AWB算法计算图像色度信息的速度要快，且多光谱传感器的启动速度快。因此，在相机启动后，电子设备使用多光谱传感计算的第一色度信息来对首帧或前几帧预览图像进行白平衡调节，使得所述首帧或前几帧预览图像不会发生偏色问题。例如，如图5所示，相机启动后依次输出图像1～图像8，在相机启动的同时，电子设备开始使用AWB算法和AIAWB算法计算每一帧预览图像光源白点的RGB值(色度信息)，由于相机出图的速度快于电子设备通过AWB算法和AI AWB算法计算预览图像光源白点的RGB值的速度，当相机输出图像3时，电子设备才过AWB算法和AI AWB算法计算出图像1光源白点的RGB1值，当相机输出图像4时，电子设备才计算出图像2光源白点的RGB2值。由于图像1与图像3、图像2与图像4之间的时序差异极小，电子设备在输出图像3后，可以使用图像1的RGB1值对图像3进行白平衡的调节，电子设备在输出图像4后，可以使用RGB2值对图像4进行白平衡调节，但是，相机输出图像1(首帧图像)和图像2时，电子设备未计算出其光源白点的RGB值，因此，在相机输出图像1和图像2后，电子设备使用多光谱传感器的下发到内存的第一色度信息(RGB值)对图像1和图像2进行白平衡调节，从而解决图像1和图像2的偏色问题。
在一些拍摄环境中，在相机将图像的原始数据以及多光谱传感器输出的相关色温CCT、光谱数据通过AWB算法和AI AWB算法进行计算处理的过程中，当检测到所述图像接近普朗克轨迹附近的有效图像光源白点数目小于第一阈值时，电子设备判断当前的拍摄场景为纯色场景，在纯色场景下，不管是AWB算法还是AI AWB算法计算光源白点的色度信息的准确度不高。因此，在纯色场景下，电子设备可以基于多光谱传感器计算的第一色度信息来对预览图像进行白平衡的调节。其中，第一阈值可以基于经验值得到，也可以基于历史值得到，还可以基于实验数据得到，本申请实施例对此不做限制。
步骤S303：电子设备将相机输出的原始数据和光谱传感器输出的光谱数据、CCT通过AWB算法进行计算处理，得到所述图像光源白点的第二色度信息。
具体地，原始数据是相机内的图像传感器将其捕捉到的光源信号转换为数字信号的数据。在图像传感器中包括多个像敏单元，每个像敏单元进行采样和量化后，得到RGB值，电子设备对像敏单元进行下采样所得到的RGB值为原始数据。
例如，如果传感器有6400x4800个像敏单元，电子设备对其进行100倍的下采样，得到64x48个像敏单元的RGB值，那么电子设备获取的原始数据是一个大小为64x48x3的向量。其中，64x48为像敏单元的个数，3为每个像敏单元计算得到的RGB值。
电子设备将原始数据作为AWB模块的输入，通过AWB算法进行计算处理，可以得到图像光源白点的色度信息，这个色度信息为图像光源白点的第二色度信息。其中，第二色度信息可以为图像光源白点的R2G2B2值，也可以为图像光源白点的R2/G2、B2/G2，还可以为图像光源白点的色度值(u2，v2)，本申请实施例对此不做限制。
光谱数据包括多光谱传感器输出的8个可见光通道输出的通道响应值，全通通道的响应值以及近红外通道的响应值。在电子设备内存储有多套AWB算法，每套AWB算法对应不同的拍摄场景，电子设备基于多光谱传感器输出的光谱数据可以判断当前的拍摄出场景的类型，并根据当前拍摄场景的类型选择对应的AWB算法来计算第二色度信息。这样，计算出的第二色度信息的准确度更高。示例性的，电子设备可以根据光谱数据中NIR通道输出的NIR值来判断多个拍摄场景，NIR值与拍摄场景及其相关的AWB算法的对应表如表1所示：
表1
NIR值 拍摄场景 AWB算法
100-200 蓝天白云 算法1
201-401 室外绿植 算法2
402-402 城市夜景 算法3
…… …… ……
若NIR值为150，电子设备可以基于表1判断当前拍摄场景的类型为蓝天白云，选择算法1计算第二色度信息。
步骤S304：电子设备将所述第二色度信息转换为所述图像光源白点的第一相关色温和所述图像光源白点的第一色度距离。
具体地，所述第一相关色温为CCT1，所述第一色度距离为Duv1。
示例性的，电子设备计算Duv1的方法可以为：
当第二色度信息为R2/G2和B2/G2或R2G2B2值时，电子设备可以根据公式(1)计算该帧图像的色度值(u2，v2)，公式(1)如下：
其中，为转换矩阵，本申请实施例对该转换矩阵仅做示例性说明，对转换矩阵的具体内容不做限制。
然后，电子设备在色度图上获取在普朗克轨迹上与(u2，v2)最短距离点的坐标(u′2，v′2)。最后，根据公式(2)计算Duv1，公式(2)如下所示：
Duv1＝sgn(v2-v′2)*[(u2-u′2)2+(v2-v′2)2]1/2 (2)
其中，当v2-v′2≥0时，sgn(v2-v′2)＝1；当v2-v′2＜0时，sgn(v2-v′2)＝-1。
示例性的，电子设备计算CCT1的方法可以为：
当第二色度信息为R2/G2和B2/G2或R2G2B2值时，电子设备可以参考公式(1)计算该帧图像的色度值(u2，v2)。然后，电子设备在色度图上获取在普朗克轨迹上与(u2，v2)最短距离点M，点M对应的CCT为CCT1。
步骤S305：电子设备将相机输出的原始数据和多光谱传感器输出的光谱数据和相关色温通过AIAWB算法进行计算处理，得到所述图像光源白点的第三色度信息和第一置信度。
具体地，在AI AWB算法中包括已训练好的AI AWB模型，电子设备将原始数据和光谱数据以及多光谱传感器计算的相关色温CCT作为输入，通过AI AWB模型进行计算处理后，得到图像光源白点的第三色度信息。其中，第三色度信息可以为图像光源白点的R3G3B3值，也可以为所述图像光源白点的R3/G3和B3/G3，还可以为所述图像光源白点的色度值(u3，v3)，本申请实施例对此不做限制。第一置信度用于表征AI AWB模型的可靠程度。
步骤S306：电子设备将所述第三色度信息转换为第二相关色温和第二色度距离。
具体地，所述第二相关色温为CCT2，所述第二色度距离为Duv2。电子设备计算CCT2和Duv2的方法和过程请参见步骤S304中电子设备将第二色度信息转换成CCT1和Duv1的相关叙述，本申请实施例在此不做赘述。
步骤S307：电子设备基于多光谱传感器输出的CCT，调整所述第一置信度，得到第二置信度。
具体地，电子设备基于多光谱传感器输出的CCT和CCT2计算偏差值Fn，所述Fn用于表征多光谱传感器输出的CCT与CCT2的偏差程度，Fn越大，多光谱传感器输出的CCT和CCT2的偏差程度就越大，当偏差值超过了预设的范围时，电子设备判断AI AWB计算模型(例如，AIAWB模型)输出的第一置信度不准确，电子设备会基于Fn调整第一置信度，得到第二置信度。
示例性的，若Fn预设的范围为500K，第一置信度Conf_1为70％，多光谱传感器输出的CCT为3500K，CCT2为4500K，则偏差值Fn为1000K。此时，Fn超过了预设范围，电子设备判断AI AWB模型输出的第一置信度不准确，电子设备将第一置信度从70％下调至60％。因此，第二置信度Conf_2为60％。
步骤S308：电子设备将第二相关色温、第二色度距离以及第二置信度进行修正，得到第三相关色温、第三色度距离以及第三置信度。
具体地，AI AWB算法中的AI AWB模型是预先训练好的模型，在训练过程中，由于训练样本有限，使得AI AWB模型不能适用所有的拍摄环境。当用户在泛化场景不好的场景下进行拍照时，通过AI AWB算法计算得到的CCT2、Duv2以及Conf_2准确度极低。为了有效解决上述问题，电子设备需要将CCT2、Duv2以及Conf_2进行修正，在CCT2、Duv2以及Conf_2中任意一项与其修正值偏离程度过大的情况下，电子设备能够对其进行修正，使得CCT2、Duv2以及Conf_2在合理的数值范围之内。
电子设备对CCT2的修正过程为：在电子设备内存储有CCT转换表(CCT ShiftTable)。如图6A所示，CCTShift Table是一个三维坐标表，有三个坐标轴，分别是：CCT轴、Duv轴以及LV轴。在CCTShift Table的三维空间中，存在许多单元格，每个单元格对应一个CCT修正值。电子设备基于所述图像光源白点的LV、CCT2以及Duv2在CCTShift Table三维坐标系中找到对应的点，确定与这个点相邻的单元格。然后，通过Trilinear插值(三线性插值)计算每个相邻单元格的权值，并将单元格的权值与其对应的CCT修正值相乘，得到每个相邻的单元格的乘积，将每个相邻的单元格的乘积进行求和，得到CCT3，CCT3为第三相关色温。
示例性的，如图6B所示，若电子设备基于图像光源白点的LV、CCT2以及Duv2在CCTShift Table三维坐标系中找到点M，点M为线段XY的中点。其中，X为单元格1～单元4的交点，Y为单元格5-单元格8的交点。电子设备基于点M在CCTShift Table的坐标位置，确定单元格1～单元格8为点M的相邻单元格，电子设备对单元格1～单元格8进行Trilinear插值，得到单元格1-单元格8的权值f1～权值f8，然后根据公式(3)计算CCT3，公式(3)如下所示：
CCT3＝CCT11*f1+...+CCT13*f3+CCT14*f4+CCT21*f5+...+CCT24*f8 (3)
其中，CCT11～CCT14、CCT21～CCT24分别为单元格1～单元格8的CCT修正值，f1～f8分别为单元格1～单元格8的权值，且f1+…+f8＝1。
电子设备对Duv2的修正过程为：在电子设备内存储有Duv转换表(DuvShift Table)。如图7A所示，DuvShift Table是一个三维坐标表，有三个坐标轴，分别是：Duv轴、CCT轴以及LV轴。在DuvShift Table的三维空间中，存在许多单元格，每个单元格对应一个Duv修正值。电子设备基于所述图像光源白点的LV、Duv2以及CCT2在DuvShift Table三维坐标系中找到对应的点，确定与这个点相邻的单元格。其中，每个相邻的单元格对应一个Duv修正值。然后，电子设备通过Trilinear插值(三线性插值)计算每个相邻的单元格的权值，并将单元格的权值与其对应的Duv修正值相乘，得到每个相关单元格的乘积，将每个相关单元格的乘积进行求和，得到Duv3，Duv3为第三色度距离。
示例性的，如图7B所示，若电子设备基于图像光源白点的LV、CCT2以及Duv2在DuvShift Table三维坐标系中找到点M′，点M′为线段X′Y′的中点。其中，X′为单元格1～单元格4的交点，Y′为单元格5-单元格8的交点。电子设备基于点M′在CCTShift Table的坐标位置，确定单元格1～单元格8为点M′的相邻单元格，电子设备对单元格1-单元格8进行Trilinear插值，得到单元格1-单元格8的权值f′1～权值f′8，然后根据公式(4)计算第三色度距离，公式(4)如下所示：
Duv3＝Duv11*f′1+...+Duv13*f′3+Duv14*f′4+Duv21*f′5+...+Duv24*f′8 (4)
其中，Duv11～Duv14、Duv21～Duv21分别为单元格1～单元格8的Duv修正值，f′1～f′8分别为单元格1～单元格8的权值，且f′1+...+f′8＝1，Duv3为第三色度距离。
电子设备对Conf_2的修正过程为：在电子设备内存储有置信度转换表(Confidence Shift Table)。如图8A所示，Confidence Shift Table是一个三维坐标表，有三个坐标轴，分别是：CCT轴、Duv轴以及LV轴。在Confidence Shift Tble的三维空间中，存在许多单元格，每个单元格对应一个置信度调节值(Mult_Conf)。电子设备基于所述图像的LV、Duv2以及CCT2在Confidence Shift Table这个三维坐标系中找到对应的点，确定与这个点相邻的单元格。然后，电子设备通过Trilinear插值(三线性插值)计算每个相邻的单元格的权值，并将单元格的权值与其对应的Mult_Conf相乘，得到每个相邻的单元格的乘积，将每个相邻的单元格的乘积进行求和，得到Mult_Conf_new。然后，电子设备根据公式Conf_3＝Conf_2+Mult_Conf_new计算得到第三置信度。其中，Conf_3为第三置信度。需要说明的是，Conf_3可能存在大于1的情况，当Conf_3大于1时，电子设备将Conf_3置1，当Conf_3小于0时，电子设备将Conf_3置0。
示例性的，如图8B所示，若电子设备基于图像光源白点的LV、CCT2以及Duv2在ConfidenceShift Table三维坐标系中找到点M″，点M″为线段X″Y″的中点。其中，X″为单元格1～单元格4的交点，Y″为单元格5-单元格8的交点。电子设备基于点M″在ConfidenceShift Table的坐标位置，确定单元格1～单元格8为点M″的相邻单元格，电子设备根据Trilinear插值计算单元格1～单元格8的权值f″1～权值f″8，然后根据公式(5)计算Mult_Conf_new，公式(5)如下所示：
Mult_Conf_new＝Mult_Conf11*f″1+...+Mult_Conf14*f″4+Mult_Conf21*f″5+...+Mult_Conf24*f″8 (5)
其中，Mult_Conf11～Mult_Conf14、Mult_Conf21～Mult_Conf24分别为单元格1～单元格8的置信度调节值，f″1～f″8分别为单元格1～单元格8的权值，且f″1+...+f″8＝1。
最后，电子设备根据公式Conf_3＝Mult_Conf_new+Conf_2得到第三置信度。
步骤S309：电子设备基于第三相关色温和第三色度距离计算第一滤波向量。
具体地，电子设备对CCT2、Duv2以及Conf_2进行修正后，得到CCT3和Duv3。电子设备会将CCT3和Duv3转换为第一滤波向量Mu1，以便进行时序滤波。
其中，所述Mu1为[log(R4/G4)，log(B4/G4)]，在Mu1中包括了图像光源白点的色度信息(R4B4G4值)。
示例性的，电子设备基于CCT3和Duv3，得到Mu1的过程如图9所示，电子设备基于CCT3在色度图的普朗克轨迹上确定点D，点D的色度值为(u′4，v′4)，然后，计算普朗克轨迹上相关色温为CCT3+ΔT的点E的坐标(u″4，v″4)。其中，ΔT为CCT3的微小增量(例如，ΔT＝0.001K)。然后，电子设备计算倾角θ，并根据公式(6)～公式(9)得到du、dv、sinθ和cosθ，公式(6)～公式(9)如下所示：
du＝u′4-u″4 (6)；
dv＝v′4-v″4 (7)；
然后，电子设备根据公式(10)和公式(11)计算色度值(u4，v4)，公式(10)和公式(11)如下所示：
u3＝u′4-Duv3*sinθ (10)；
v3＝v′4+Duv3*cosθ (11)；
然后，电子设备根据公式(12)，计算R4G4B4，公式(12)如下所示：
其中，为转换矩阵，本申请实施例对该转换矩阵仅做示例性说明，对转换矩阵的具体内容不做任何限制。
最后，电子设备基于R4G4B4值计算第一滤波向量Mu1。
步骤S310：电子设备将第一滤波向量进行时序滤波，得到第二滤波向量。
具体地，时序滤波就是将时序上的多帧信号融合为多帧平稳信号，电子设备将进行时序滤波的目的是将该帧图像的色度信息与其上一帧图像的色度信息进行融合，得到融合后的色度信息，以此来提高该帧图像的第三色度信息的准确度。
本申请实施例以电子设备通过卡尔曼滤波器对Mu1进行时序滤波为例，进行说明，时序滤波的过程为：电子设备首先获取第一协方差矩阵Sigma1，其中，Sigma1用于表征AIAWB模型输出该帧图像光源白点的色度信息的可靠程度，可以与置信度相互转化。Sigma1可以由AIAWB模型输出，也可以由电子设备基于Conf_3计算得到Sigma1。然后，电子设备根据公式(13)更新Sigma1，得到更新后的Sigma1，公式(13)如下所示：
其中，Sigma′1为更新后的Sigma1，λ1为第一参数。
然后，电子设备基于公式(14)更新第二协方差矩阵Sigma2，Sigma2为AIAWB模型计算上一帧图像光源白点的色度信息所得到的协方差矩阵，公式(14)如下所示：
其中，Sigma′2为更新后的Sigma2，λ2为第二参数。其中，λ1和λ2可以由经验值得到，也可以由历史数据得到，还可以由实验测试数据得到，本申请实施例对此不作限制。
最后，电子设备根据公式(15)对Mu1进行时序滤波，得到第二滤波向量Mu，公式(15)如下所示：
Mu＝Mu1*(Sigma′1)-1+Mu2*(Sigma′2)-1 (15)
其中，Mu2为上一帧图像的滤波向量，Mu为第二滤波向量。
步骤S311：电子设备基于第二滤波向量，计算出第四相关色温和第四色度距离。
具体地，电子设备计算出Mu后，可以Mu根据计算得到所述图像光源白点的R5G5B5值，并将R5G5B5值转换为第四相关色温CCT4和第四色度距离Duv4。电子设备将R5G5B5值转换为CCT4和Duv4的过程请参见上述步骤S303中，电子设备将所述第二色度信息转换为CCT1和Duv1的相关叙述，本申请实施例对此不再赘述。CCT4和Duv4的准确度相较于CCT3和Duv3更高。
步骤S312：电子设备基于第一相关色温和第四相关色温，得到第五相关色温。
具体地，在电子设备内存储有相关色温融合表(CCTMetging Table)。如图10所示，CCT Merging Table是一个三维坐标表，有三个坐标轴，分别是：Dmv轴、CCT轴以及LV轴。在CCTMerging Table的三维空间中，存在许多单元格，每个单元格对应一个概率值X。电子设备基于所述图像的LV、CCT4以及Duv4在CCTMerging Table三维坐标系中找到对应的点，确定与这个点相邻的单元格。然后，电子设备通过Trilinear插值(三线性插值)计算每个相邻的单元格的权值，并将单元格的权值与其对应的概率值X相乘，得到每个相关单元格的乘积，将每个相关单元格的乘积进行求和，得到第一概率值v′。最后，电子设备通过公式(16)计算第五相关色温CCT5。公式(16)如下所示：
CCT5＝Conf_3*X′*CCT4+(1-Conf_3*X′)*CCT1 (16)
步骤S313：电子设备基于第一色度距离和第四色度距离，得到第五色度距离。
具体地，在电子设备内存储有色度距离融合表(Duv Merging Table)。如图11所示，DuvMerging Table是一个三维坐标表，有三个坐标轴，分别是：Duv轴、CCT轴以及LV轴。在DuvMerging Table的三维空间中，存在许多单元格，每个单元格对应一个概率值Y。电子设备基于所述图像的LV、CCT4以及Duv4在DuvMerging Table三维坐标系中找到对应的点，确定与这个点相邻的单元格。然后，电子设备通过Trilinear插值(三线性插值)计算每个相邻的单元格的权值，并将单元格的权值与其对应的概率值Y相乘，得到每个相关单元格的乘积，将每个相关单元格的乘积进行求和，得到第二概率值Y′。最后，电子设备通过公式(17)计算，得到第五色度距离Duv5，公式(17)如下所示：
Duv5＝Conf_3*Y′*Duv4+(1-Conf_3*Y′)*Duv1 (17)
步骤S314：电子设备将第五相关色温进行倾向度调节，得到第六相关色温。
具体地，对于部分用户而言，在使用电子设备拍照后，对图像的颜色有其他的要求。例如，有些用户希望图像的颜色整体呈现暖色系，有些用户希望图像的颜色整体呈现冷色系等等。为了令图像的整体颜色更倾向于用户希望的颜色，电子设备需要对CCT5和Duv5进行倾向度的调节。电子设备对CCT5进行倾向度调节的具体过程为：在电子设备中存储有如图12所示的CCTPropensity Table(相关色温倾向度调节表)，CCTPropensity Table是一个三维坐标表，有三个坐标轴，分别是：CCT轴、Duv轴以及LV轴。在CCTPropensity Table的三维空间中，存在许多单元格，每个单元格对应一个CCT调节值(Delta_CCT)。电子设备基于所述图像的LV、CCT5以及Duv5在CCT Propensity Table这个三维坐标系中找到对应的点，确定与这个点相邻的单元格。然后通过Trilinear插值(三线性插值)计算每个相邻的单元格的权值，并将单元格的权值与其对应的Delta_CCT相乘，得到每个相关单元格的乘积，将每个相关单元格的乘积进行求和，得到第一相关色温调节值Delta_CCT′。然后，电子设备根据公式(18)计算第六相关色温，公式(18)如下所示：
CCT6＝CCT5+Delta_CCT′ (18)
在公式(18)中，CCT6为第六相关色温。
步骤S315：电子设备将第五色度距离进行倾向度调节，得到第六色度距离。
具体地，电子设备对Duv5进行倾向度调节的具体过程为：在电子设备中存储有如图13所示的DuvPropensity Table(色度距离倾向度调节表)，DuvPropensity Table是一个三维坐标表，有三个坐标轴，分别是：CCT轴、Duv轴以及LV轴。在DuvPropensity Table的三维空间中，存在许多单元格，每个单元格对应一个Duv调节值(Delta_Duv)。电子设备基于所述图像的LV、Duv5以及CCT5在DuvPropensity Table这个三维坐标系中找到对应的点，确定与这个点相邻的单元格。然后通过Trilinear插值(三线性插值)计算每个相邻的单元格的权值，并将单元格的权值与其对应的Delta_Duv相乘，得到每个相关单元格的乘积，将每个相关单元格的乘积进行求和，得到第一色度距离调节值Delta_Duv′。然后，电子设备根据公式(19)计算调节后的色度距离，公式(19)如下所示：
Duv6＝Duv5+Delta_Duv′ (19)
在公式(19)中，Duv6为第六色度距离。
步骤S316：电子设备基于第六相关色温和第六色度距离计算第三滤波向量。
具体地，第三滤波向量为Mu3，电子设备基于CCT6和Duv6计算Mu3的方法请参见步骤S309中电子设备基于CCT3和Duv3计算Mu1的相关叙述，本申请实施例在此不再赘述。
步骤S317：电子设备将第三滤波向量进行时序滤波，得到第四滤波向量。
具体地，为了防止相邻两帧图像的色度信息差异过大，导致相邻两帧图像的颜色发生骤变，电子设备将本帧图像的滤波向量与上一帧图像的滤波向量进行时序滤波，从而得到融合后的滤波向量(第四滤波向量)，电子设备能够基于第四滤波向量得到第四色度信息。这样，电子设备使用第四色度信息对本帧图像进行白平衡调节后，调节后的图像的整体颜色与上一帧图像的整体颜色不会发生较大的差异，不会产生相邻两帧图像颜色骤变的问题。首先，电子设备根据公式(20)更新所述图像的第一协方差矩阵，得到第三协方差矩阵，公式(20)如下所示：
其中，Sigma3为第三协方差矩阵，Sigma1为第一协方差矩阵，a1为第三参数。
然后，电子设备根据公式(21)更新第二协方差矩阵，得到第四协方差矩阵，公式(21)如下所示：
其中，Sigma4为第四协方差矩阵，Sigma2为第二协方差矩阵，a1为第三参数，a1可以由历史值得到，也可以由经验值得到，还可以由实验数据得到，本申请实施例不做限制。
然后，电子设备根据公式(22)对Mu3进行时序滤波，得到第四滤波向量Mu5，公式(22)如下所示：
Mu5＝Mu3**(Sigma3)-1+Mu4*(Sigma4)-1 (22)
其中，Mu4为上一帧图像的滤波向量，且Mu4是电子设备基于CCT′2和D′uv2计算得到的。其中，CCT′2为上一帧图像通过CCT倾向度调节后的相关色温，D′uv2为上一帧图像通过Duv倾向度调节后的色度距离。
步骤S318：电子设备基于第四滤波向量，计算出第四色度信息。
具体地，Mu5＝[log(R6/G6)，log(B6/G6)]。其中，第四色度信息可以为图像光源白点的R6G6B6值，也可以为图像光源白点的R6/G6和B6/G6，本申请实施例对此不做限制。
步骤S319：电子设备将第四色度信息发送到内存中。
具体地，所述第四色度信息用于在非纯色场景下，调节图像的颜色。
本申请实施例，电子设备基于多光谱传感器输出的光谱数据选择对应的AWB算法计算第二色度信息，从而提高基于第二色度信息计算得到的第一相关色温以及第一色度距离的准确度。电子设备基于多光谱传感器输出的CCT调节AIAWB算法输出的置信度，从而提高了该置信度的准确度。由于第一相关色温、第一色度距离以及AI AWB算法输出的置信度的准确度都有提升，当电子设备将第一相关色温与基于AI AWB算法计算得到的第四相关色温进行融合后，得到的第五相关色温的准确度也提升了，电子设备将第一色度距离与基于AI AWB算法计算得到的第四色度距离进行融合后，得到的第五色度距离的准确度也提升了，从而使得下放到内存中的、基于第五相关色温和第五色度距离的第四色度信息的准确度也有所提升。由于，第四色度信息的准确度有所提升，当电子设备使用第四色度信息对图像进行白平衡调节的效果更好。此外，由于多光谱传感器在相机冷启动到电子设备拍照的这段时间内，一直向内存下发其计算的图像的第一色度值，当相机在冷启动的过程中，由于相机的出图速度较快，电子设备可以使用第一色度信息调节首帧或前几帧预览图像的白平衡，从而避免首帧或前几帧预览图像出现偏色问题。或者，在电子设备检测当前拍摄场景为纯色场景(图像光源白点数量不足)的情况下，由于AWB算法和AI AWB算法计算出的第四色度信息准确度不高，电子设备也可以调用第一色度信息调节图像的白平衡。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之，以上所述仅为本发明技术方案的实施例而已，并非用于限定本发明的保护范围。凡根据本发明的揭露，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (31)

1.一种色度信息的确定方法，其特征在于，应用于电子设备，所述电子设备包括多光谱传感器、自动白平衡模块和AI自动白平衡模块，所述自动白平衡模块包括多个算法，所述方法包括：
所述电子设备启动相机应用；
当相机采集的图像为非纯色图像时，所述多光谱传感器获取第一通道值和第一相关色温，其中，所述多光谱传感器包括第一通道，所述第一通道值为所述第一通道获取的值；
将所述第一通道值发送到自动白平衡模块；
根据所述第一通道值，所述自动白平衡模块从所述多个算法中选择目标算法；
将所述第一相关色温发送到AI自动白平衡模块；
所述AI自动白平衡模块确定所述第一相关色温与第二相关色温的差值，所述第二相关色温为所述AI自动白平衡模块根据所述相机采集的图像得到的相关色温值；
当所述差值大于预设阈值时，将所述AI自动白平衡模块输出的置信度调整为第一置信度；
所述电子设备根据所述第一置信度和所述目标算法确定目标色度信息；所述目标色度信息用于调节图像的颜色。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
当所述启动为冷启动时，所述多光谱传感器获取第一色度信息；所述第一色度信息用于对首帧或前几帧预览图像进行白平衡调节；
所述电子设备确定所述目标色度信息为所述第一色度信息。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
当相机采集的图像为纯色图像时，所述电子设备确定所述目标色度信息为第二色度信息，所述第二色度信息为所述多光谱传感器获取的色度信息。
4.如权利要求2所述的方法，其特征在于，所述方法还包括：
当相机采集的图像为纯色图像时，所述电子设备确定所述目标色度信息为第二色度信息，所述第二色度信息为所述多光谱传感器获取的色度信息。
5.如权利要求1所述的方法，其特征在于，所述第一通道值包括以下一项或多项：可见光通道值、NIR通道值、Clear通道值。
6.如权利要求2所述的方法，其特征在于，所述第一通道值包括以下一项或多项：可见光通道值、NIR通道值、Clear通道值。
7.如权利要求3所述的方法，其特征在于，所述第一通道值包括以下一项或多项：可见光通道值、NIR通道值、Clear通道值。
8.如权利要求4所述的方法，其特征在于，所述第一通道值包括以下一项或多项：可见光通道值、NIR通道值、Clear通道值。
9.如权利要求1-8任一项所述的方法，其特征在于，所述电子设备根据所述第一置信度和所述目标算法确定目标色度信息，具体包括：
所述自动白平衡模块将所述相机采集的图像通过所述目标算法进行计算，得到第三相关色温与第一色度距离；
所述AI自动白平衡模块基于所述相机采集的图像，得到第四相关色温与第二色度距离；
所述电子设备将所述第一置信度进行修正，得到第二置信度；
所述电子设备根据所述第二置信度将所述第三相关色温与所述第四相关色温进行融合，得到第五相关色温；
所述电子设备根据所述第二置信度将所述第一色度距离与所述第二色度距离进行融合，得到第三色度距离；
所述电子设备基于所述第五相关色温和所述第三色度距离得到所述目标色度信息。
10.如权利要求9所述的方法，其特征在于，所述电子设备基于所述第五相关色温和所述第三色度距离得到所述目标色度信息，具体包括：
将所述第五相关色温进行倾向度调节，得到第六相关色温；
将所述第三色度距离进行倾向度调节，得到第四色度距离；
基于所述第六相关色温和所述第四色度距离，得到所述目标色度信息。
11.如权利要求9所述的方法，其特征在于，所述AI自动白平衡模块基于所述相机采集的图像，得到第四相关色温与第二色度距离，具体包括：
所述AI自动白平衡模块根据所述相机采集的图像，输出所述第二相关色温和初始色度距离；
将所述第二相关色温与所述初始色度距离进行修正，得到修正后的第二相关色温和修正后的初始色度距离；
基于所述修正后的第二相关色温和所述修正后的初始色度距离，进行时序滤波，得到所述第四相关色温和所述第二色度距离。
12.如权利要求10所述的方法，其特征在于，所述AI自动白平衡模块基于所述相机采集的图像，得到第四相关色温与第二色度距离，具体包括：
所述AI自动白平衡模块根据所述相机采集的图像，输出所述第二相关色温和初始色度距离；
将所述第二相关色温与所述初始色度距离进行修正，得到修正后的第二相关色温和修正后的初始色度距离；
基于所述修正后的第二相关色温和所述修正后的初始色度距离，进行时序滤波，得到所述第四相关色温和所述第二色度距离。
13.如权利要求11所述的方法，其特征在于，所述基于所述修正后的第二相关色温和所述修正后的初始色度距离，进行时序滤波，得到所述第四相关色温和所述第二色度距离，具体包括：
根据公式=+*更新第一协方差矩阵，得到更新后的第一协方差矩阵；所述为所述更新后的第一协方差矩阵，所述为第一协方差矩阵，所述为第一参数，所述第一协方差矩阵为所述AI自动白平衡模块根据所述相机采集的图像输出的协方差矩阵或者所述第一协方差矩阵为基于所述第二置信度计算得到的协方差矩阵；
根据公式=+*更新第二协方差矩阵，得到更新后的第二协方差矩阵；所述第二协方差矩阵为第二图像的协方差矩阵，所述第二图像为所述相机采集的上一帧图像，所述为所述更新后的第二协方差矩阵，所述为第二协方差矩阵，所述为第二参数；
基于所述修正后的第二相关色温和所述修正后的初始色度距离计算，得到第一滤波向量；
根据公式=+，得到第二滤波向量；所述为第一滤波向量，所述为所述第二图像的滤波向量，所述为第二滤波向量；
基于所述第二滤波向量进行计算处理，得到所述第四相关色温和所述第二色度距离。
14.如权利要求12所述的方法，其特征在于，所述基于所述修正后的第二相关色温和所述修正后的初始色度距离，进行时序滤波，得到所述第四相关色温和所述第二色度距离，具体包括：
根据公式=+*更新第一协方差矩阵，得到更新后的第一协方差矩阵；所述为所述更新后的第一协方差矩阵，所述为第一协方差矩阵，所述为第一参数，所述第一协方差矩阵为所述AI自动白平衡模块根据所述相机采集的图像输出的协方差矩阵或者所述第一协方差矩阵为基于所述第二置信度计算得到的协方差矩阵；
根据公式=+*更新第二协方差矩阵，得到更新后的第二协方差矩阵；所述第二协方差矩阵为第二图像的协方差矩阵，所述第二图像为所述相机采集的上一帧图像，所述为所述更新后的第二协方差矩阵，所述为第二协方差矩阵，所述为第二参数；
基于所述修正后的第二相关色温和所述修正后的初始色度距离计算，得到第一滤波向量；
根据公式=+，得到第二滤波向量；所述为第一滤波向量，所述为所述第二图像的滤波向量，所述为第二滤波向量；
基于所述第二滤波向量进行计算处理，得到所述第四相关色温和所述第二色度距离。
15.如权利要求9所述的方法，其特征在于，所述电子设备根据所述第二置信度将所述第三相关色温与所述第四相关色温进行融合，得到第五相关色温，具体包括：
根据所述相机采集的图像的亮度值、所述第四相关色温以及所述第二色度距离，确定第一概率值；
根据公式=，计算得到所述第五相关色温；其中，所述为第二置信度，所述为第一概率值，所述为第四相关色温，所述为第三相关色温，所述为第五相关色温。
16.如权利要求11或13所述的方法，其特征在于，所述电子设备根据所述第二置信度将所述第三相关色温与所述第四相关色温进行融合，得到第五相关色温，具体包括：
根据所述相机采集的图像的亮度值、所述第四相关色温以及所述第二色度距离，确定第一概率值；
根据公式=，计算得到所述第五相关色温；其中，所述为第二置信度，所述为第一概率值，所述为第四相关色温，所述为第三相关色温，所述为第五相关色温。
17.如权利要求10、12或14所述的方法，其特征在于，所述电子设备根据所述第二置信度将所述第三相关色温与所述第四相关色温进行融合，得到第五相关色温，具体包括：
根据所述相机采集的图像的亮度值、所述第四相关色温以及所述第二色度距离，确定第一概率值；
根据公式=，计算得到所述第五相关色温；其中，所述为第二置信度，所述为第一概率值，所述为第四相关色温，所述为第三相关色温，所述为第五相关色温。
18.根据权利要求9所述的方法，其特征在于，所述电子设备根据所述第二置信度将所述第一色度距离与所述第二色度距离进行融合，得到第三色度距离，具体包括：
根据所述相机采集的图像的亮度值、所述第四相关色温以及所述第二色度距离，确定第二概率值；
根据公式=，计算得到所述第三色度距离；其中，所述为第二置信度，所述为第二概率值，所述为第一色度距离，所述为第二色度距离，所述为第三色度距离。
19.根据权利要求11、13或15所述的方法，其特征在于，所述电子设备根据所述第二置信度将所述第一色度距离与所述第二色度距离进行融合，得到第三色度距离，具体包括：
根据所述相机采集的图像的亮度值、所述第四相关色温以及所述第二色度距离，确定第二概率值；
根据公式=，计算得到所述第三色度距离；其中，所述为第二置信度，所述为第二概率值，所述为第一色度距离，所述为第二色度距离，所述为第三色度距离。
20.根据权利要求10、12或14所述的方法，其特征在于，所述电子设备根据所述第二置信度将所述第一色度距离与所述第二色度距离进行融合，得到第三色度距离，具体包括：
根据所述相机采集的图像的亮度值、所述第四相关色温以及所述第二色度距离，确定第二概率值；
根据公式=，计算得到所述第三色度距离；其中，所述为第二置信度，所述为第二概率值，所述为第一色度距离，所述为第二色度距离，所述为第三色度距离。
21.根据权利要求16所述的方法，其特征在于，所述电子设备根据所述第二置信度将所述第一色度距离与所述第二色度距离进行融合，得到第三色度距离，具体包括：
根据所述相机采集的图像的亮度值、所述第四相关色温以及所述第二色度距离，确定第二概率值；
根据公式=，计算得到所述第三色度距离；其中，所述为第二置信度，所述为第二概率值，所述为第一色度距离，所述为第二色度距离，所述为第三色度距离。
22.根据权利要求17所述的方法，其特征在于，所述电子设备根据所述第二置信度将所述第一色度距离与所述第二色度距离进行融合，得到第三色度距离，具体包括：
根据所述相机采集的图像的亮度值、所述第四相关色温以及所述第二色度距离，确定第二概率值；
根据公式=，计算得到所述第三色度距离；其中，所述为第二置信度，所述为第二概率值，所述为第一色度距离，所述为第二色度距离，所述为第三色度距离。
23.如权利要求10、12、14或22所述的方法，其特征在于，所述将所述第五相关色温进行倾向度调节得到第六相关色温，具体包括：
根据所述相机采集的图像的亮度值、所述第五相关色温以及第三色度距离确定第一相关色温调节值；
根据公式=，得到第六相关色温，所述为第五相关色温，所述为第六相关色温，所述为第一相关色温调节值。
24.如权利要求17所述的方法，其特征在于，所述将所述第五相关色温进行倾向度调节得到第六相关色温，具体包括：
根据所述相机采集的图像的亮度值、所述第五相关色温以及第三色度距离确定第一相关色温调节值；
根据公式=，得到第六相关色温，所述为第五相关色温，所述为第六相关色温，所述为第一相关色温调节值。
25.如权利要求20所述的方法，其特征在于，所述将所述第五相关色温进行倾向度调节得到第六相关色温，具体包括：
根据所述相机采集的图像的亮度值、所述第五相关色温以及第三色度距离确定第一相关色温调节值；
根据公式=，得到第六相关色温，所述为第五相关色温，所述为第六相关色温，所述为第一相关色温调节值。
26.如权利要求10、12、14、22、24或25所述的方法，其特征在于，所述将所述第三色度距离进行倾向度调节，得到第四色度距离，具体包括：
根据所述相机采集的图像的亮度值、所述第五相关色温以及第三色度距离确定第一色度距离调节值；
根据公式=，得到第四色度距离，所述为第四色度距离，所述为第三色度距离，所述为第一色度距离调节值。
27.如权利要求17所述的方法，其特征在于，所述将所述第三色度距离进行倾向度调节，得到第四色度距离，具体包括：
根据所述相机采集的图像的亮度值、所述第五相关色温以及第三色度距离确定第一色度距离调节值；
根据公式=，得到第四色度距离，所述为第四色度距离，所述为第三色度距离，所述为第一色度距离调节值。
28.如权利要求20所述的方法，其特征在于，所述将所述第三色度距离进行倾向度调节，得到第四色度距离，具体包括：
根据所述相机采集的图像的亮度值、所述第五相关色温以及第三色度距离确定第一色度距离调节值；
根据公式=，得到第四色度距离，所述为第四色度距离，所述为第三色度距离，所述为第一色度距离调节值。
29.如权利要求23所述的方法，其特征在于，所述将所述第三色度距离进行倾向度调节，得到第四色度距离，具体包括：
根据所述相机采集的图像的亮度值、所述第五相关色温以及第三色度距离确定第一色度距离调节值；
根据公式=，得到第四色度距离，所述为第四色度距离，所述为第三色度距离，所述为第一色度距离调节值。
30.一种电子设备，其特征在于，包括：触控屏、摄像头、一个或多个处理器和一个或多个存储器；所述一个或多个处理器与所述触控屏、所述摄像头、所述一个或多个存储器耦合，所述一个或多个存储器用于存储计算机程序，当所述一个或多个处理器执行所述计算机程序时，使得所述电子设备执行如权利要求1-29中的任一项所述的方法。
31.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备的处理器运行时，使得所述电子设备执行如权利要求1-29中任一项所述的方法。
CN202110925200.8A 2021-08-12 2021-08-12 一种色度信息的确定方法及相关电子设备 Active CN115633260B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202410645824.8A CN118632134A (zh) 2021-08-12 2021-08-12 一种色度信息的确定方法及相关电子设备
CN202110925200.8A CN115633260B (zh) 2021-08-12 2021-08-12 一种色度信息的确定方法及相关电子设备
US18/042,274 US20230342977A1 (en) 2021-08-12 2022-05-10 Method for Determining Chromaticity Information and Related Electronic Device
PCT/CN2022/091965 WO2023015993A1 (zh) 2021-08-12 2022-05-10 一种色度信息的确定方法及相关电子设备
EP22850697.8A EP4181510A4 (en) 2021-08-12 2022-05-10 METHOD FOR DETERMINING CHROMATICITY INFORMATION AND ASSOCIATED ELECTRONIC DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110925200.8A CN115633260B (zh) 2021-08-12 2021-08-12 一种色度信息的确定方法及相关电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410645824.8A Division CN118632134A (zh) 2021-08-12 2021-08-12 一种色度信息的确定方法及相关电子设备

Publications (2)

Publication Number Publication Date
CN115633260A CN115633260A (zh) 2023-01-20
CN115633260B true CN115633260B (zh) 2024-06-07

Family

ID=84902717

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110925200.8A Active CN115633260B (zh) 2021-08-12 2021-08-12 一种色度信息的确定方法及相关电子设备
CN202410645824.8A Pending CN118632134A (zh) 2021-08-12 2021-08-12 一种色度信息的确定方法及相关电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410645824.8A Pending CN118632134A (zh) 2021-08-12 2021-08-12 一种色度信息的确定方法及相关电子设备

Country Status (4)

Country Link
US (1) US20230342977A1 (zh)
EP (1) EP4181510A4 (zh)
CN (2) CN115633260B (zh)
WO (1) WO2023015993A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117316122B (zh) * 2023-11-21 2024-04-09 荣耀终端有限公司 一种色温校准方法、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982059A (zh) * 2017-12-28 2019-07-05 英特尔公司 自动白平衡中的照度色度的估计
CN111551266A (zh) * 2020-05-25 2020-08-18 吉林求是光谱数据科技有限公司 一种基于多光谱图像探测技术的环境色温测试方法及系统
WO2021037934A1 (en) * 2019-08-28 2021-03-04 ams Sensors Germany GmbH Systems for characterizing ambient illumination
CN112866656A (zh) * 2019-11-26 2021-05-28 Oppo广东移动通信有限公司 一种白平衡校正方法、装置、存储介质及终端设备
WO2021105398A1 (en) * 2019-11-27 2021-06-03 ams Sensors Germany GmbH Ambient light source classification

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106879B2 (en) * 2011-10-04 2015-08-11 Samsung Electronics Co., Ltd. Apparatus and method for automatic white balance with supplementary sensors
JP6462990B2 (ja) * 2014-03-07 2019-01-30 キヤノン株式会社 画像処理装置およびその方法
KR102281256B1 (ko) * 2014-12-04 2021-07-23 삼성전자주식회사 화이트 밸런스 제어 방법 및 그 전자 장치
KR20170014357A (ko) * 2015-07-29 2017-02-08 엘지전자 주식회사 카메라를 구비하는 이동 단말기 및 그 제어방법
US9762878B2 (en) * 2015-10-16 2017-09-12 Google Inc. Auto white balance using infrared and/or ultraviolet signals
US10791310B2 (en) * 2018-10-02 2020-09-29 Intel Corporation Method and system of deep learning-based automatic white balancing
US20200228769A1 (en) * 2019-01-11 2020-07-16 Qualcomm Incorporated Lens rolloff assisted auto white balance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982059A (zh) * 2017-12-28 2019-07-05 英特尔公司 自动白平衡中的照度色度的估计
WO2021037934A1 (en) * 2019-08-28 2021-03-04 ams Sensors Germany GmbH Systems for characterizing ambient illumination
CN112866656A (zh) * 2019-11-26 2021-05-28 Oppo广东移动通信有限公司 一种白平衡校正方法、装置、存储介质及终端设备
WO2021105398A1 (en) * 2019-11-27 2021-06-03 ams Sensors Germany GmbH Ambient light source classification
CN111551266A (zh) * 2020-05-25 2020-08-18 吉林求是光谱数据科技有限公司 一种基于多光谱图像探测技术的环境色温测试方法及系统

Also Published As

Publication number Publication date
CN115633260A (zh) 2023-01-20
US20230342977A1 (en) 2023-10-26
WO2023015993A1 (zh) 2023-02-16
EP4181510A1 (en) 2023-05-17
EP4181510A4 (en) 2024-06-12
WO2023015993A8 (zh) 2023-11-02
CN118632134A (zh) 2024-09-10
WO2023015993A9 (zh) 2023-08-03

Similar Documents

Publication Publication Date Title
CN107613191B (zh) 一种拍照方法、设备及计算机可读存储介质
US20200051225A1 (en) Fast Fourier Color Constancy
CN112887582A (zh) 一种图像色彩处理方法、装置及相关设备
WO2023040725A1 (zh) 白平衡处理方法与电子设备
WO2022067761A1 (zh) 图像处理方法、装置、拍摄设备、可移动平台及计算机可读存储介质
CN115633260B (zh) 一种色度信息的确定方法及相关电子设备
CN113727085B (zh) 一种白平衡处理方法、电子设备、芯片系统和存储介质
CN115514948B (zh) 图像调节方法以及电子设备
CN116668656B (zh) 图像处理方法及电子设备
CN116055699B (zh) 一种图像处理方法及相关电子设备
CN106878606A (zh) 一种基于电子设备的图像生成方法和电子设备
CN116668862B (zh) 图像处理方法与电子设备
EP4231621A1 (en) Image processing method and electronic device
CN115955611B (zh) 图像处理方法与电子设备
CN116051434B (zh) 一种图像处理方法及相关电子设备
US20230058472A1 (en) Sensor prioritization for composite image capture
CN115514947B (zh) 一种ai自动白平衡的算法和电子设备
CN114125408A (zh) 图像处理方法及装置、终端和可读存储介质
CN116437060B (zh) 一种图像处理方法及相关电子设备
CN113766206A (zh) 一种白平衡调整方法、装置及存储介质
CN116029914B (zh) 图像处理方法与电子设备
WO2023124165A1 (zh) 一种图像处理方法及相关电子设备
CN116668838B (zh) 图像处理方法与电子设备
CN116723409A (zh) 自动曝光方法与电子设备
CN116016882A (zh) 图像的白平衡处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40078736

Country of ref document: HK

GR01 Patent grant