CN111314683A - 白平衡调节方法及相关设备 - Google Patents

白平衡调节方法及相关设备 Download PDF

Info

Publication number
CN111314683A
CN111314683A CN202010186947.1A CN202010186947A CN111314683A CN 111314683 A CN111314683 A CN 111314683A CN 202010186947 A CN202010186947 A CN 202010186947A CN 111314683 A CN111314683 A CN 111314683A
Authority
CN
China
Prior art keywords
value
camera
target
initial
white balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010186947.1A
Other languages
English (en)
Other versions
CN111314683B (zh
Inventor
吴晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010186947.1A priority Critical patent/CN111314683B/zh
Publication of CN111314683A publication Critical patent/CN111314683A/zh
Application granted granted Critical
Publication of CN111314683B publication Critical patent/CN111314683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种白平衡调节方法及相关设备,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述方法包括:当检测到第一摄像头切换到第二摄像头的操作指令时,电子设备可获取第一摄像头针对目标场景拍摄的第一图像以及第二摄像头针对目标场景的第二图像,在第一摄像头切换到第二摄像头时,计算保持第二图像与第一图像颜色一致性的第一白平衡值,通过第一白平衡值初始化预设滤波器,得到目标滤波器,获取第二图像对应的第二白平衡值,基于第二白平衡值和目标滤波器,对第二图像进行白平衡调节,得到输出图像;如此,可保证摄像头在颜色转换时的流畅度,有利于提高用户体验。

Description

白平衡调节方法及相关设备
技术领域
本申请涉及图像处理领域,尤其涉及一种白平衡调节方法及相关设备。
背景技术
光变白平衡算法是指通过对两个摄像头之间的自动白平衡(Automatic whitebalance,AWB)信息同步并初始化,使得在摄像头切换的瞬间颜色保持一致和流畅。但是,在切换的过程中,应用于电子设备端,容易出现颜色跳变的现象,用户体验低。
发明内容
本申请实施例提供一种白平衡调节方法及相关设备,有利于提高用户体验。
第一方面,本申请实施例提供一种白平衡调节方法,应用于电子设备,所述电子设备包括至少第一摄像头和第二摄像头,所述方法包括:
当检测到所述第一摄像头切换到所述第二摄像头的操作指令时,获取所述第一摄像头针对目标场景拍摄的第一图像以及所述第二摄像头针对所述目标场景拍摄的第二图像;
在所述第一摄像头切换到所述第二摄像头时,计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值;
通过所述第一白平衡值初始化预设滤波器,得到目标滤波器;
获取所述第二图像对应的第二白平衡值;
基于所述第二白平衡值和所述目标滤波器,对所述第二图像进行白平衡调节,得到输出图像。
第二方面,本申请实施例提供一种白平衡调节装置,应用于电子设备,所述电子设备包括至少第一摄像头和第二摄像头,所述装置包括:获取单元、计算单元、初始化单元和调节单元,其中,
所述获取单元,用于当检测到所述第一摄像头切换到所述第二摄像头的操作指令时,获取所述第一摄像头针对目标场景拍摄的第一图像以及所述第二摄像头针对所述目标场景拍摄的第二图像;
所述计算单元,用于在所述第一摄像头切换到所述第二摄像头时,计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值;
所述初始化单元,用于通过所述第一白平衡值初始化预设滤波器,得到目标滤波器;
所述获取单元,还用于获取所述第二图像对应的第二白平衡值;
所述调节单元,用于基于所述第二白平衡值和所述目标滤波器,对所述第二图像进行白平衡调节,得到输出图像。
第三方面,本申请实施例提供一种电子设备,该电子设备包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质用于存储计算机程序,其中,上述计算机程序被处理器执行,以实现如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,在本申请实施例中,当检测到第一摄像头切换到第二摄像头的操作指令时,电子设备可获取第一摄像头针对目标场景拍摄的第一图像以及第二摄像头针对目标场景的第二图像,在第一摄像头切换到第二摄像头时,计算保持第二图像与第一图像颜色一致性的第一白平衡值,通过第一白平衡值初始化预设滤波器,得到目标滤波器,获取第二图像对应的第二白平衡值,基于第二白平衡值和目标滤波器,对第二图像进行白平衡调节,得到输出图像;如此,可在两个摄像头进行切换时,计算保持两个摄像头所拍摄图像的颜色一致性的白平衡值增益值(第一白平衡值),最后可通过第一白平衡值初始化预设滤波器,得到目标滤波器,并基于目标滤波器对该第二白平衡值进行处理,以保持在颜色转换时的流畅度,有利于提高用户体验。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备硬件的结构示意图;
图1B是本申请实施例提供的一种白平衡调节方法的流程示意图;
图1C是本申请实施例提供的一种摄像头模组的结构示意图;
图1D是本申请实施例提供的一种光源光谱分布的示意图;
图1E是本申请实施例提供的一种预设神经网络模型的结构示意图;
图1F是本申请实施例提供的一种白平衡调节方法的程序时序图;
图2是本申请实施例提供的一种白平衡调节方法的流程架构图;
图3是本申请实施例提供的一种电子设备的结构示意图;
图4是本申请实施例提供的一种白平衡调节装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
请参阅图1A,图1A是本申请实施例公开的一种电子设备的结构示意图,电子设备100包括存储和处理电路110,以及与所述存储和处理电路110连接的传感器170,传感器170包括摄像头,其中:
电子设备100可以包括控制电路,该控制电路可以包括存储和处理电路110。该存储和处理电路110可以存储器,例如硬盘驱动存储器,非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等),易失性存储器(例如静态或动态随机存取存储器等)等,本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器,微控制器,数字信号处理器,基带处理器,功率管理单元,音频编解码器芯片,专用集成电路,显示驱动器集成电路等来实现。
存储和处理电路110可用于运行电子设备100中的软件,例如互联网浏览应用程序,互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序,电子邮件应用程序,媒体播放应用程序,操作系统功能等。这些软件可以用于执行一些控制操作,例如,基于照相机的图像采集,基于环境光传感器的环境光测量,基于接近传感器的接近传感器测量,基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能,基于触摸传感器的触摸事件检测,与在多个(例如分层的)显示屏上显示信息相关联的功能,与执行无线通信功能相关联的操作,与收集和产生音频信号相关联的操作,与收集和处理按钮按压事件数据相关联的控制操作,以及电子设备100中的其它功能等,本申请实施例不作限制。
电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出,即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括环境光传感器,基于光和电容的接近传感器,指纹识别模组,触摸传感器(例如,基于光触摸传感器和/或电容式触摸传感器,其中,触摸传感器可以是触控显示屏的一部分,也可以作为一个触摸传感器结构独立使用),加速度传感器,摄像头,和其它传感器等,摄像头可以为前置摄像头或者后置摄像头。
输入-输出电路150还可以包括一个或多个显示屏,例如显示屏130。显示屏130可以包括液晶显示屏,有机发光二极管显示屏,电子墨水显示屏,等离子显示屏,使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即,显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器,或者可以是使用其它触摸技术形成的触摸传感器,例如音波触控,压敏触摸,电阻触摸,光学触摸等,本申请实施例不作限制。
电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器,麦克风,蜂鸣器,音调发生器以及其它用于产生和检测声音的组件。
通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路,和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication,NFC)的电路。例如,通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。
电子设备100还可以进一步包括电池,电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮,操纵杆,点击轮,滚动轮,触摸板,小键盘,键盘,照相机,发光二极管和其它状态指示器等。
用户可以通过输入-输出电路150输入命令来控制电子设备100的操作,并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。
基于上述图1A所描述的电子设备,可以用于实现如下功能:
当检测到所述第一摄像头切换到所述第二摄像头的操作指令时,获取所述第一摄像头针对目标场景拍摄的第一图像以及所述第二摄像头针对所述目标场景拍摄的第二图像;
在所述第一摄像头切换到所述第二摄像头时,计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值;
通过所述第一白平衡值初始化预设滤波器,得到目标滤波器;
获取所述第二图像对应的第二白平衡值;
基于所述第二白平衡值和所述目标滤波器,对所述第二图像进行白平衡调节,得到输出图像。
如图1B所示,图1B是本申请实施例提供的一种白平衡调节方法的流程示意图,电子设备包括第一摄像头和第二摄像头,应用于如图1A所示的电子设备,所述方法包括:
101、当检测到所述第一摄像头切换到所述第二摄像头的操作指令时,获取所述第一摄像头针对目标场景拍摄的第一图像以及所述第二摄像头针对所述目标场景拍摄的第二图像。
其中,在本申请实施例中,电子设备可包括摄像头模组,如图1C所示,为一种摄像头模组的结构示意图,该摄像头模组中可包括第一摄像头和第二摄像头,上述第一摄像头和/或第二摄像头可为广角摄像头、长焦摄像头或者主摄,例如,当第一摄像头为主摄像头时,第二摄像头可为长焦摄像头,上述目标场景可为摄像头拍摄下的任意一个场景,例如,可为人物拍摄场景或者景色拍摄场景等等,在此不作限定。
具体实现中,当电子设备检测到第一摄像头切换到第二摄像头的操作指令时,可分别获取第一摄像头针对上述目标场景拍摄的第一图像,以及第二摄像头针对该目标场景拍摄的第二图像,例如,若第一摄像头为主摄像头,第二摄像头为长焦摄像头,当用户在进行拍摄时,可以根据拍摄环境参数,进行两个摄像头之间的切换指令的判定,例如,在变焦倍数大于2倍时,可做变焦操作,则会触发第一摄像头切换到第二摄像头的操作指令,具体的切换摄像头的条件在此不作限定。
102、在所述第一摄像头切换到所述第二摄像头时,计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值。
其中,由于不同的摄像头的光谱响应是不同的,即相同的颜色在不同的摄像头上计算出的AWB的值应该是不一致的,造成不同摄像头的自动白平衡(Auto White Balance,AWB)存在差异性,当任意两个摄像头进行切换时,其分别对应的AWB值会产生跳变,会带来图像之间的颜色跳变,用户体验差,因此,为了保证用户体验,让用户在无感的情况下完成摄像头的切换,可在第一摄像头切换到第二摄像头时,缓慢的逐步的保持第二图像与第一图像颜色一致性,而不是在切换的一瞬间去保持第二图像与第一图像的颜色一致性,电子设备中可事先预设算法,基于该预设算法,计算得到满足上述条件的第一白平衡值,由于环境光变的影响,可在切换过程中,实时的调整该第一白平衡值,以保持两个摄像头所拍摄图像的颜色一致性,同时,在切换时,才触发计算保持第二图像与第一图像颜色一致性的第一白平衡值,可减少后台运算时间,从而有利于减少电子设备的功耗。
在一种可能的示例中,上述步骤102,计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值,可包括如下步骤:
21、获取预设存储的所述第一摄像头和所述第二摄像头之间的颜色映射关系,所述颜色映射关系基于所述第一摄像头对应的第一光谱响应函数和所述第二摄像头对应的第二光谱响应函数确定;
22、基于所述颜色映射关系,计算保持所述第二图像与所述第一图像颜色一致性的所述第一白平衡值。
其中,由于在第一摄像头切换到第二摄像头时,存在两个摄像头分别对应的色彩空间的转换,因此,可事先预设两个摄像头之间的颜色映射关系,该颜色映射关系可基于第一摄像头对应的光谱函数和第二摄像头对应的第二光谱函数确定,并基于该颜色映射关系,计算保持第二图像与第一图像颜色一致性的第一白平衡值,如此,可直接将事先预设的颜色映射关系拿出来用,不需要去重新的计算颜色映射关系,有利于减少电子设备的功耗。
进一步地,上述光谱响应函数是指的关于波长的函数,可理解为摄像头中的传感器在每个波长处接收的辐亮度与入射的辐亮度的比值。由于不同的光源环境下,其波长是不同的,且每个摄像头的传感器参数不同,因此,不同的摄像头对应的光谱响应函数是不同的,可获取第一摄像头和第二摄像头所分别对应的第一光谱响应函数和第二光谱响应函数,通过第一光谱响应函数和第二光谱响应函数,得到两个不同摄像头所对应的色彩空间的颜色映射关系,上述第一光谱响应函数和第二光谱响应函数具体可通过光电探测器测量得到。
可选地,在上述步骤21中,所述颜色映射关系基于所述第一摄像头对应的第一光谱响应函数和所述第二摄像头对应的第二光谱响应函数确定,可包括如下步骤:
211、获取环境光的环境光参数;
212、基于所述环境光参数,确定所述目标场景针对被拍摄物体表面的反射率;
213、基于所述反射率、所述第一光谱响应和所述第二光谱响应函数,确定所述第一摄像头与所述第二摄像头之间的颜色映射关系。
其中,上述环境光参数可包括以下至少一项:波长、入射角度、折射率、光谱范围、光谱分布等等,在此不做限定,由于不同物体本身的特性,以及不同的光源照射在物体表面的入射角以及波长的不同,造成不同物体表面的反射率也不同,因此,可基于环境光参数中对应的折射率、入射角度等参数,确定在目标场景下,被拍摄物体表面上任一点所对应的反射率,又由于不同波长的光源照射在物体表面的反射率是不同的,且由于不同摄像头的光谱响应函数不同,且在不同光源对应的波长下,光谱响应函数对应的函数值是不同的,那么,在同一目标场景下对同一物体进行拍摄时,不同摄像头计算得到的R值、G值和B值是不同的,因此,可基于反射率和第一摄像头对应的光谱响应函数和第二摄像头对应的第二光谱响应函数,确定两个摄像头之间的颜色映射关系。
在一种可能的示例中,上述步骤213,基于所述反射率、所述第一光谱响应和所述第二光谱响应函数,确定所述第一摄像头与所述第二摄像头之间的颜色映射关系,可包括如下步骤:
2131、将所述反射率、所述第一光谱响应函数以及所述环境光对应的光谱光源分布输入预设的郎伯特反射模型,得到所述第一摄像头对应的第一初始R值、第一初始G值和第一初始B值;
2132、将所述反射率、所述第二光谱响应函数以及所述环境光对应的光谱光源分布输入所述郎伯特反射模型,得到所述第二摄像头对应的第二初始R值、第二初始G值和第二初始B值;
2133、基于所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系。
其中,电子设备中可事先预设朗伯特反射模型:
Figure BDA0002414528120000091
其中,ω为环境光的光谱范围,λ为环境光的波长,e(λ)为环境光的光谱分布,s(x,λ)为x点处的物体表面的反射率,c(λ)为光谱响应函数,上述x点为物体表面的任意一个点;如图1D所示,为一种光源光谱分布示意图,图中所示的光源光谱分布图为D65标准下的白炽灯所对应的D65光源光谱分布图,其中,横坐标为可见光的波长范围,纵坐标为不同波长对应的功率相对值,同一个光源在不同波长的情况下,人眼识别得到的颜色不同,由于物体的表面反射均发生理想化的漫反射:表面反射是各向同性的,即表面反射强度在各个方向上相同,而不随着入射方向或观察方向而改变,因此,可选取被拍摄物体表面的任意一个点对应的反射率。
进一步地,RGB色彩模式是工业界的一种颜色标准,是通过对红(Red,R)、绿(Green,G)和蓝(Blue,B)三个颜色通道的变化以及他们相互之间的叠加来得到各式各样的颜色的,RGB即代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一,因此,在本申请实施例中,目标场景在图像上体现的颜色可表示为关于R、G和B三个参数的向量或者矩阵或者具体数值。
再进一步地,可将上述第一光谱响应函数、光源光谱分布以及反射率等各种参数输入到预设的朗波特反射模型中,得到第一摄像头对应的RGB值为f1(x(R,G,B),λ),由于不同光源的波长的是不同的,则其对应的光谱响应函数也是变化的,因此,通过摄像头拍摄得到的图像的RGB值也不同,可通过上述预设的朗波特反射模型,得到第一摄像头拍摄得到的第一图像对应的第一初始R值、第一初始G值和第一初始B值,同样的,也可得到第二摄像头对应的RGB值为f2(x(R,G,B),λ),同理,也可得到在一段时间内,第二摄像头拍摄得到的第二图像对应的第二初始R值、第二初始G值和第二初始B值,需要说明的是,由于RGB值所对应的表现形式可能为一个数值或者为一个向量值或者为一个矩阵,因此,由于表现形式的不同,此处第一摄像头也可对应有多个第一初始R值、多个第一初始G值和多个第一初始B值,同样的,第二摄像头可对应有多个第二初始R值、多个第二初始G值和多个第二初始B值。
在一种可能的示例中,上述步骤2133,基于所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系,可包括如下步骤:
21331、获取多个预设光源对应的多个预设光源光谱分布和多个预设物体在多个预设光源下的多个预设物体反射率,每一预设光源对应一个预设光源光谱分布,每一预设物体在每一预设光源下对应一个反射率;
21332、基于所述多个预设光源光谱分布和多个预设物体反射率,将所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值分别进行校准,得到第一目标R值、第一目标G值、第一目标B值、第二目标R值、第二目标G值和第二目标B值;
21333、基于所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系。
其中,电子设备中可预先存储多个预设光源,可针对不同的场景预设光源,每一光源可对应一种光源场景,该预设光源可包括以下至少一种:蓝天时的太阳光、太阳光、商铺内的灯光,平均日光、下雨时的日光等等,在此不做限定,由于物体在不同的光源环境下对应的反射率不同,因此,可针对不同的预设光源设定同一预设物体在不同预设光源下的多个反射率,上述预设物体可包括以下至少一种:桌子、树木、花草、动物、湖泊等等,在此不做限定。
进一步地,电子设备上述第一初始R值、第一初始G值、第一初始B值、第二初始R值、第二初始G值和第二初始B值分别为第一摄像头和第二摄像头识别并拍摄得到的第一图像和第二图像中的色彩标准,与实际人眼识别的颜色可能会存在偏差,例如,摄像头拍摄得到的苹果颜色为绿色,而实际上苹果的颜色为红色,此时该摄像头拍摄得到的图像的色彩则出现颜色偏差,因此,可基于先验知识,例如,苹果为红色,对上述第一初始R值、第一初始G值、第一初始B值、第二初始R值、第二初始G值和第二初始B值分别进行校准,得到第一目标R值、第一目标G值、第一目标B值、第二目标R值、第二目标G值和第二目标B值。
具体实现中,可根据多个预设光源光谱分布和多个预设物体反射率,确定上述实时变化的目标场景下的对应的预设光谱分布和针对上述被拍摄物体表面对应的预设反射率,基于该预设光谱分布和预设反射率以及上述郎伯特反射模型,计算得到第一摄像头和第二摄像头分别对应的真实情况下的第一R值、第一G值和第一B值以及第二R值、第二G值和第二B值,最后,得到第一R增益值、第一G增益值、第一B增益值以及第二R增益值、第二G增益值、第二B增益值,最后可基于第一R增益值、第一G增益值、第一B增益值以及第二R增益值、第二G增益值、第二B增益值,对上述第一目标R值、第一目标G值、第一目标B值、第二目标R值、第二目标G值和第二目标B值进行校准。
最后,可根据第一摄像头对应的第一目标R值、第一目标G值、第一目标B值,以及第二摄像头对应的第二目标R值、第二目标G值和第二目标B值,确定第一摄像头与第二摄像头所对应的两个色彩空间所对应的颜色映射关系,如此,可通过校准上述摄像头拍摄得到的图像所对应的RGB值,减少后续颜色不准确的问题,从而,有助于减少两个摄像头之间的颜色跳变的情况的发生。
在一种可能的示例中,上述步骤21333,基于所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系,可包括如下步骤:
213331、将所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值作为训练集合输入到预设神经网络模型,对所述预设神经网络模型对应的参数进行调整,得到目标参数;
213332、基于所述目标参数,对所述预设神经网络模型进行拟合,得到目标网络模型,所述目标网络模型即为所述第一摄像头和所述第二摄像头之间的颜色映射关系。
其中,上述预设神经网络模型可为用户自行设置或者系统默认,在此不作限定,该预设神经网络模型可为卷积神经网络或者全连接神经网络等等,若为全连接神经网络,如图1E所示,为一种预设神经网络模型的结构示意图,具体实现中,可基于第一目标R值、第一目标G值、第一目标B值、第二目标R值、第二目标G值和第二目标B值作为训练集合输入到该全连接神经网络模型(预设神经网络模型)中,经过两层全连接层的训练,具体的网络结构在此不作限定。
可选地,为了得到能让上述全连接神经网络模型对应的结果收敛的情况,可在训练的过程中,通过迭代优化损失函数,以达到对上述模型的优化,可实现让上述全连接神经网络模型对应的结果收敛,可将该模型的损失函数设定为:
Figure BDA0002414528120000121
其中,arccos表示的是反三角函数中的反余弦,上述损失函数对于不同色域的场景下有不同的表现形式,并不限于本申请实施例中所表示的损失函数。
另外,在本申请实施例中,由于不同设备或者不同场景下,对色域的需求是不同的,色域主要体现了不同设备或者场景下的色彩倾向,以及色彩的丰富程度,或者显示屏能够呈现色彩的种类,以及同种颜色不同色彩的区别是否明显等等,因此,为了提高用户体验,可根据不同场景或者不同设备对上述损失函数进行调整,具体实现中,电子设备中可预设场景与预设的损失函数之间的映射关系,也就是说,不同的场景对应有不同的预设损失函数,在对预设神经网络模型进行拟合的过程中具体的,可在对上述预设神经网络模型进行训练的过程中,可基于预设的场景与预设的损失函数之间的映射关系,确定目标场景对应的目标损失函数,并基于该目标损失函数对上述预设神经网络模型进行拟合,以得到让结果收敛的目标网络模型,上述损失函数可设置为不同的表现形式,具体的表现形式在此不做限定,例如,上述损失函数还可设置为:
Figure BDA0002414528120000122
其中,Mse为计算均方误差函数;又或者,上述损失函数还可设定为:
Figure BDA0002414528120000123
其中,Mse为计算均方误差函数,log为计算对数。
进而,可对预设神经网络模型对应的初始的参数进行调整,在具体的调整过程中,可通过上述损失函数,对该模型进行参数调整,以使得整个系统处于收敛状态,最后,可得到适应于当前目标场景所对应的目标参数。
进一步地,可基于上述目标参数,对上述预设神经网络模型进行拟合,得到目标网络模型,该目标神经网络模型可采用矩阵的表达方式,例如,该目标网络模型可为:
f(R1,G1,B1)=[R2,G2,B2],
如上述模型所示,该模型表示了第一摄像头与第二摄像头之间的颜色映射关系,可将第一摄像头对应的R1值、G1值和B1值输入上述目标网络模型,可得到保持第二图像与第一图像颜色一致性的第二摄像头所对应的R2值、G2值和B2值,在实际应用中,由于环境光可能是在变化的,则其对应的光谱响应函数也一直在变化,同样的,则可基于上述方法得到不同光谱响应函数所对应的颜色映射关系。
在一种可能的示例中,上述步骤22,基于所述颜色映射关系,计算保持所述第二图像与所述第一图像颜色一致性的所述第一白平衡值,可包括如下步骤:
221、根据所述第一目标R值、所述第一目标G值和所述第一目标B值,确定所述第一摄像头所对应的AWB值;
222、基于所述颜色映射关系和所述第一摄像头所对应的AWB值,得到所述第二摄像头所对应的目标AWB值,所述目标AWB值即为所述第一白平衡值。
其中,在得到上述颜色映射关系之后,可基于上述第一目标R值、第一目标G值和第一目标B值,确定第一摄像头所对应的AWB值,也就是说,可通过将第一摄像头所对应的的全部的第一目标R值、第一目标G值和第一目标B值进行三色分量统计,得到上述第一摄像头对应的AWB值,进而,可基于上述颜色映关系,也就是将AWB值作为上述映射矩阵的输入,得到该映射矩阵的输出,该输出即为第二摄像头所对应的目标AWB值,该目标AWB值即为上述保持第二图像与第一图像颜色一致性的第一白平衡值。
103、通过所述第一白平衡值初始化预设滤波器,得到目标滤波器;。
其中,上述预设滤波器可为用户自行设备或者系统默认,在此不作限定,该预设滤波器可为时域滤波器,由于目标环境所对应的环境光可能是实时变化的,则第一摄像头和第二摄像头所对应的白平衡也是变化的,因此,为了增加用户体验,以使保持在光变同步时颜色过渡的自然平滑,可增加一个滤波器,以柔和整个白平衡调节过程,如此,可基于第一白平衡值,得到适合于目标场景使用的一个目标滤波器。具体实现中,可通过上述计算得到的第一白平衡值初始化该预设滤波器,以使第一白平衡值与预设滤波器中的初始值进行融合,得到包含第一白平衡值的目标滤波器。
104、获取所述第二图像对应的第二白平衡值。
其中,上述计算得到的第一白平衡值实际上是基于两个摄像头的分别对应的不同的色彩空间进行拟合得到,该第一白平衡值可理解为排除两个摄像头硬件影响而得到的一个白平衡增益值,而并不是真正需要调节的第二摄像头所拍摄图像的白平衡值,因此,可获取第二图像对应的第二白平衡值,并基于上述第一白平衡值,对该第二白平衡值进行调节,也就是对第二摄像头所拍摄的第二图像进行白平衡调节。
105、基于所述第二白平衡值和所述目标滤波器,对所述第二图像进行白平衡调节,得到输出图像。
其中,电子设备可并将该第二白平衡值输入该目标滤波器,由于初始化后的目标滤波器中包含第一白平衡值,该第一白平衡值可理解为一个增益白平衡值,则上述第二白平衡值在经过目标滤波器后,可逐步的与第一白平衡值进行一个融合,并缓慢逐步调节为目标白平衡值,基于该目标白平衡值,可对第二摄像头拍摄得到的第二图像进行白平衡调节,通过目标滤波器可实现在用户无感的情况下,从第一图像逐步过渡到保持与第一图像颜色一致性的输出图像。
可选地,如图1F所示,为一种白平衡调节方法的程序时序图,在本申请实施例中,电子设备中可包括3个摄像头,分别为主摄像头、长焦摄像头和广角摄像头,当电子设备检测到打开摄像头的指令时,可初始化程序,该程序可指整个白平衡调节方法所对应的程序,并初始化上述3个摄像头,则用户通过电子设备显示屏中展现的是主摄像头的所对应的第一图像,但是,此时另外2个摄像头也可在后台一起运行,当电子设备检测到将主摄像头切换到长焦摄像头的操作指令时,可获取主摄像头针对目标场景拍摄的第一图像,以及长焦摄像头针对目标场景拍摄的第二图像,当用户开始通过显示屏从主摄像头往长焦摄像头滑动时,可触发白平衡调节算法(可对应上述步骤102-步骤103所描述的方法),可在第一图像切换到第二图像的瞬间,基于该算法,可得到保持第二图像与第一图像颜色一致性的第一白平衡值,为了保持画面切换时的颜色流畅性,可将通过第一白平衡值初始化上述时域滤波器,得到目标滤波器,最后,可基于目标滤波器对第二图像对应的第二白平衡值进行调节,得到输出图像,最后,可结束整个程序。
可以看出,本申请实施例所描述的白平衡调节方法,当检测到第一摄像头切换到第二摄像头的操作指令时,电子设备可获取第一摄像头针对目标场景拍摄的第一图像以及第二摄像头针对目标场景的第二图像,在第一摄像头切换到第二摄像头时,计算保持第二图像与第一图像颜色一致性的第一白平衡值,通过第一白平衡值初始化预设滤波器,得到目标滤波器,获取第二图像对应的第二白平衡值,基于第二白平衡值和目标滤波器,对第二图像进行白平衡调节,得到输出图像;如此,可在两个摄像头进行切换时,计算保持两个摄像头所拍摄图像的颜色一致性的白平衡值增益值(第一白平衡值),最后可通过第一白平衡值初始化预设滤波器,得到目标滤波器,并基于目标滤波器对该第二白平衡值进行处理,以保证在颜色转换时的流畅度,有利于提高用户体验。
与上述一致的,请参阅图2,图2是本申请实施例提供的一种白平衡调节方法的流程示意图,应用于电子设备,所述方法包括:
201、当检测到所述第一摄像头切换到所述第二摄像头的操作指令时,获取所述第一摄像头针对目标场景拍摄的第一图像以及所述第二摄像头针对所述目标场景拍摄的第二图像。
202、在所述第一摄像头切换到所述第二摄像头时,获取预设存储的所述第一摄像头和所述第二摄像头之间的颜色映射关系,所述颜色映射关系基于所述第一摄像头对应的第一光谱响应函数和所述第二摄像头对应的第二光谱响应函数确定。
203、基于所述颜色映射关系,计算保持所述第二图像与所述第一图像颜色一致性的所述第一白平衡值。
204、通过所述第一白平衡值初始化预设滤波器,得到目标滤波器。
205、获取所述第二图像对应的第二白平衡值;
206、基于所述第二白平衡值和所述目标滤波器,对所述第二图像进行白平衡调节,得到输出图像。
其中,上述步骤201-206的具体实现过程可参照图1B所示的方法中相应的描述,在此不再赘述。
可以看出,本申请实施例所描述的白平衡调节方法,当检测到第一摄像头切换到第二摄像头的操作指令时,电子设备可获取第一摄像头针对目标场景拍摄的第一图像以及第二摄像头针对目标场景的第二图像,在第一摄像头切换到第二摄像头时,获取预设存储的第一摄像头和第二摄像头之间的颜色映射关系,该颜色映射关系基于第一摄像头对应的第一光谱响应函数和第二摄像头对应的第二光谱响应函数确定,基于颜色映射关系,计算保持第二图像与第一图像颜色一致性的第一白平衡值,通过第一白平衡值初始化预设滤波器,得到目标滤波器,获取第二图像对应的第二白平衡值,基于第二白平衡值,对第二图像进行白平衡调节,得到输出图像;如此,电子设备在目标环境中的光源下,考虑到不同摄像头对应的色彩空间不同,则可根据第一摄像头和第二摄像头分别对应的第一光谱响应函数和第二光谱响应函数,预先确定两个摄像头分别对应的两个色彩空间之间的颜色映射关系,并基于该预设的颜色映射关系,计算得到保持第二图像与第一图像颜色一致性的第一白平衡值,有利于提高计算精度,最后可通过第一白平衡值初始化预设滤波器,得到目标滤波器,并基于目标滤波器对该第二白平衡值进行过滤,以保证在颜色转换时的流畅度,有利于提高用户体验。
与上述实施例一致的,请参阅图3,图3是本申请实施例提供的一种电子设备的结构示意图,如图所示,所述电子设备包括第一摄像头和第二摄像头,该电子设备包括存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
当检测到所述第一摄像头切换到所述第二摄像头的操作指令时,获取所述第一摄像头针对目标场景拍摄的第一图像以及所述第二摄像头针对所述目标场景拍摄的第二图像;
在所述第一摄像头切换到所述第二摄像头时,计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值;
通过所述第一白平衡值初始化预设滤波器,得到目标滤波器;
获取所述第二图像对应的第二白平衡值;
基于所述第二白平衡值和所述目标滤波器,对所述第二图像进行白平衡调节,得到输出图像。
可以看出,本申请实施例所描述的电子设备,当检测到第一摄像头切换到第二摄像头的操作指令时,可获取第一摄像头针对目标场景拍摄的第一图像以及第二摄像头针对目标场景的第二图像,在第一摄像头切换到第二摄像头时,计算保持第二图像与第一图像颜色一致性的第一白平衡值,通过第一白平衡值初始化预设滤波器,得到目标滤波器,获取第二图像对应的第二白平衡值,基于第二白平衡值和目标滤波器,对第二图像进行白平衡调节,得到输出图像;如此,可在两个摄像头进行切换时,计算保持两个摄像头所拍摄图像的颜色一致性的白平衡值增益值(第一白平衡值),最后可通过第一白平衡值初始化预设滤波器,得到目标滤波器,并基于目标滤波器对该第二白平衡值进行处理,以保证在颜色转换时的流畅度,有利于提高用户体验。
在一个可能的示例中,在所述计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值方面,上述程序包括具体用于执行以下步骤的指令:
获取预设存储的所述第一摄像头和所述第二摄像头之间的颜色映射关系,所述颜色映射关系基于所述第一摄像头对应的第一光谱响应函数和所述第二摄像头对应的第二光谱响应函数确定;
基于所述颜色映射关系,计算保持所述第二图像与所述第一图像颜色一致性的所述第一白平衡值。
在一个可能的示例中,在所述颜色映射关系基于所述第一摄像头对应的第一光谱响应函数和所述第二摄像头对应的第二光谱响应函数确定方面,上述程序包括具体用于执行以下步骤的指令:
获取环境光的环境光参数;
基于所述环境光参数,确定所述目标场景针对被拍摄物体表面的反射率;
基于所述反射率、所述第一光谱响应和所述第二光谱响应函数,确定所述第一摄像头与所述第二摄像头之间的颜色映射关系。
在一个可能的示例中,在所述基于所述反射率、所述第一光谱响应和所述第二光谱响应函数,确定所述第一摄像头与所述第二摄像头之间的颜色映射关系方面,上述程序包括具体用于执行以下步骤的指令:
将所述反射率、所述第一光谱响应函数以及所述环境光对应的光谱光源分布输入预设的郎伯特反射模型,得到所述第一摄像头对应的第一初始R值、第一初始G值和第一初始B值;
将所述反射率、所述第二光谱响应函数以及所述环境光对应的光谱光源分布输入所述郎伯特反射模型,得到所述第二摄像头对应的第二初始R值、第二初始G值和第二初始B值;
基于所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系。
在一个可能的示例中,在所述基于所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系方面,上述程序包括具体用于执行以下步骤的指令:
获取多个预设光源对应的多个预设光源光谱分布和多个预设物体在多个预设光源下的多个预设物体反射率,每一预设光源对应一个预设光源光谱分布,每一预设物体在每一预设光源下对应一个反射率;
基于所述多个预设光源光谱分布和多个预设物体反射率,将所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值分别进行校准,得到第一目标R值、第一目标G值、第一目标B值、第二目标R值、第二目标G值和第二目标B值;
基于所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系。
在一个可能的示例中,在所述基于所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系方面,上述程序包括具体用于执行以下步骤的指令:
将所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值作为训练集合输入到预设神经网络模型,对所述预设神经网络模型对应的参数进行调整,得到目标参数;
基于所述目标参数,对所述预设神经网络模型进行拟合,得到目标网络模型,所述目标网络模型即为所述第一摄像头和所述第二摄像头之间的颜色映射关系。
在一个可能的示例中,在所述基于所述颜色映射关系,计算保持所述第二图像与所述第一图像颜色一致性的所述第一白平衡值方面,上述程序包括具体用于执行以下步骤的指令:
根据所述第一目标R值、所述第一目标G值和所述第一目标B值,确定所述第一摄像头所对应的AWB值;
基于所述颜色映射关系和所述第一摄像头所对应的AWB值,得到所述第二摄像头所对应的目标AWB值,所述目标AWB值即为所述第一白平衡值。
需要说明的是,本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程,在此不再叙述。
上述实施例主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据所述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。所述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
下面为本申请装置实施例,本申请装置实施例用于执行本申请方法实施例所实现的方法。
请参阅图4,图4是本申请实施例提供的一种白平衡调节装置的结构示意图,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述装置包括:获取单元401、计算单元402、初始化单元403和调节单元404,其中,
所述获取单元401,用于当检测到所述第一摄像头切换到所述第二摄像头的操作指令时,获取所述第一摄像头针对目标场景拍摄的第一图像以及所述第二摄像头针对所述目标场景拍摄的第二图像;
所述计算单元402,用于在所述第一摄像头切换到所述第二摄像头时,计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值;
所述初始化单元403,用于通过所述第一白平衡值初始化预设滤波器,得到目标滤波器;
所述获取单元401,还用于获取所述第二图像对应的第二白平衡值;
所述调节单元404,用于基于所述第二白平衡值和所述目标滤波器,对所述第二图像进行白平衡调节,得到输出图像。
需要说明的是,获取单元401、计算单元402、初始化单元403和调节单元404可通过处理器实现。
在一种可能的示例中,在所述计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值方面,上述计算单元402具体可用于:
获取预设存储的所述第一摄像头和所述第二摄像头之间的颜色映射关系,所述颜色映射关系基于所述第一摄像头对应的第一光谱响应函数和所述第二摄像头对应的第二光谱响应函数确定;
基于所述颜色映射关系,计算保持所述第二图像与所述第一图像颜色一致性的所述第一白平衡值。
在一种可能的示例中,所述颜色映射关系基于所述第一摄像头对应的第一光谱响应函数和所述第二摄像头对应的第二光谱响应函数确定方面,上述计算单元402具体还可用于:
获取环境光的环境光参数;
基于所述环境光参数,确定所述目标场景针对被拍摄物体表面的反射率;
基于所述反射率、所述第一光谱响应和所述第二光谱响应函数,确定所述第一摄像头与所述第二摄像头之间的颜色映射关系。
在一个可能的示例中,在所述基于所述反射率、所述第一光谱响应和所述第二光谱响应函数,确定所述第一摄像头与所述第二摄像头之间的颜色映射关系方面,上述计算单元402具体还可用于:
将所述反射率、所述第一光谱响应函数以及所述环境光对应的光谱光源分布输入预设的郎伯特反射模型,得到所述第一摄像头对应的第一初始R值、第一初始G值和第一初始B值;
将所述反射率、所述第二光谱响应函数以及所述环境光对应的光谱光源分布输入所述郎伯特反射模型,得到所述第二摄像头对应的第二初始R值、第二初始G值和第二初始B值;
基于所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系。
在一个可能的示例中,在所述基于所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系方面,上述计算单元402具体还可用于:
获取多个预设光源对应的多个预设光源光谱分布和多个预设物体在多个预设光源下的多个预设物体反射率,每一预设光源对应一个预设光源光谱分布,每一预设物体在每一预设光源下对应一个反射率;
基于所述多个预设光源光谱分布和多个预设物体反射率,将所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值分别进行校准,得到第一目标R值、第一目标G值、第一目标B值、第二目标R值、第二目标G值和第二目标B值;
基于所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系。
在一个可能的示例中,在所述基于所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系方面,上述计算单元402具体还可用于:
将所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值作为训练集合输入到预设神经网络模型,对所述预设神经网络模型对应的参数进行调整,得到目标参数;
基于所述目标参数,对所述预设神经网络模型进行拟合,得到目标网络模型,所述目标网络模型即为所述第一摄像头和所述第二摄像头之间的颜色映射关系。
在一个可能的示例中,在所述基于所述颜色映射关系,计算保持所述第二图像与所述第一图像颜色一致性的所述第一白平衡值方面,上述计算单元402具体还可用于:
根据所述第一目标R值、所述第一目标G值和所述第一目标B值,确定所述第一摄像头所对应的AWB值;
基于所述颜色映射关系和所述第一摄像头所对应的AWB值,得到所述第二摄像头所对应的目标AWB值,所述目标AWB值即为所述第一白平衡值。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种白平衡调节方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,包括:
当检测到所述第一摄像头切换到所述第二摄像头的操作指令时,获取所述第一摄像头针对目标场景拍摄的第一图像以及所述第二摄像头针对所述目标场景拍摄的第二图像;
在所述第一摄像头切换到所述第二摄像头时,计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值;
通过所述第一白平衡值初始化预设滤波器,得到目标滤波器;
获取所述第二图像对应的第二白平衡值;
基于所述第二白平衡值和所述目标滤波器,对所述第二图像进行白平衡调节,得到输出图像。
2.根据权利要求1所述的方法,其特征在于,所述计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值,包括:
获取预设存储的所述第一摄像头和所述第二摄像头之间的颜色映射关系,所述颜色映射关系基于所述第一摄像头对应的第一光谱响应函数和所述第二摄像头对应的第二光谱响应函数确定;
基于所述颜色映射关系,计算保持所述第二图像与所述第一图像颜色一致性的所述第一白平衡值。
3.根据权利要求2所述的方法,其特征在于,所述颜色映射关系基于所述第一摄像头对应的第一光谱响应函数和所述第二摄像头对应的第二光谱响应函数确定,包括:
获取环境光的环境光参数;
基于所述环境光参数,确定所述目标场景针对被拍摄物体表面的反射率;
基于所述反射率、所述第一光谱响应和所述第二光谱响应函数,确定所述第一摄像头与所述第二摄像头之间的颜色映射关系。
4.根据权利要求3所述的方法,其特征在于,基于所述反射率、所述第一光谱响应和所述第二光谱响应函数,确定所述第一摄像头与所述第二摄像头之间的颜色映射关系,包括:
将所述反射率、所述第一光谱响应函数以及所述环境光对应的光谱光源分布输入预设的郎伯特反射模型,得到所述第一摄像头对应的第一初始R值、第一初始G值和第一初始B值;
将所述反射率、所述第二光谱响应函数以及所述环境光对应的光谱光源分布输入所述郎伯特反射模型,得到所述第二摄像头对应的第二初始R值、第二初始G值和第二初始B值;
基于所述第一初始R值、所述第一初始G值、所述第一初始B值、第二初始R值、所述第二初始G值和所述第二初始B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系,包括:
获取多个预设光源对应的多个预设光源光谱分布和多个预设物体在多个预设光源下的多个预设物体反射率,每一预设光源对应一个预设光源光谱分布,每一预设物体在每一预设光源下对应一个反射率;
基于所述多个预设光源光谱分布和多个预设物体反射率,将所述第一初始R值、所述第一初始G值、所述第一初始B值、所述第二初始R值、所述第二初始G值和所述第二初始B值分别进行校准,得到第一目标R值、第一目标G值、第一目标B值、第二目标R值、第二目标G值和第二目标B值;
基于所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值,确定所述第一摄像头和所述第二摄像头之间的颜色映射关系,包括:
将所述第一目标R值、所述第一目标G值、所述第一目标B值、所述第二目标R值、所述第二目标G值和所述第二目标B值作为训练集合输入到预设神经网络模型,对所述预设神经网络模型对应的参数进行调整,得到目标参数;
基于所述目标参数,对所述预设神经网络模型进行拟合,得到目标网络模型,所述目标网络模型即为所述第一摄像头和所述第二摄像头之间的颜色映射关系。
7.根据权利要求5或6任一项所述的方法,其特征在于,所述基于所述颜色映射关系,计算保持所述第二图像与所述第一图像颜色一致性的所述第一白平衡值,包括:
根据所述第一目标R值、所述第一目标G值和所述第一目标B值,确定所述第一摄像头所对应的AWB值;
基于所述颜色映射关系和所述第一摄像头所对应的AWB值,得到所述第二摄像头所对应的目标AWB值,所述目标AWB值即为所述第一白平衡值。
8.一种白平衡调节装置,其特征在于,应用于电子设备,所述电子设备包括至少第一摄像头和第二摄像头,所述装置包括:获取单元、计算单元、初始化单元和调节单元,其中,
所述获取单元,用于当检测到所述第一摄像头切换到所述第二摄像头的操作指令时,获取所述第一摄像头针对目标场景拍摄的第一图像以及所述第二摄像头针对所述目标场景拍摄的第二图像;
所述计算单元,用于在所述第一摄像头切换到所述第二摄像头时,计算保持所述第二图像与所述第一图像颜色一致性的第一白平衡值;
所述初始化单元,用于通过所述第一白平衡值初始化预设滤波器,得到目标滤波器;
所述获取单元,还用于获取所述第二图像对应的第二白平衡值;
所述调节单元,用于基于所述第二白平衡值和所述目标滤波器,对所述第二图像进行白平衡调节,得到输出图像。
9.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1-7任一项所述的方法。
CN202010186947.1A 2020-03-17 2020-03-17 白平衡调节方法及相关设备 Active CN111314683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010186947.1A CN111314683B (zh) 2020-03-17 2020-03-17 白平衡调节方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010186947.1A CN111314683B (zh) 2020-03-17 2020-03-17 白平衡调节方法及相关设备

Publications (2)

Publication Number Publication Date
CN111314683A true CN111314683A (zh) 2020-06-19
CN111314683B CN111314683B (zh) 2022-04-15

Family

ID=71147180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010186947.1A Active CN111314683B (zh) 2020-03-17 2020-03-17 白平衡调节方法及相关设备

Country Status (1)

Country Link
CN (1) CN111314683B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866483A (zh) * 2020-07-06 2020-10-30 Oppo广东移动通信有限公司 颜色还原方法及装置、计算机可读介质和电子设备
CN112492191A (zh) * 2020-12-18 2021-03-12 浙江大华技术股份有限公司 一种图像采集方法、装置、设备及介质
CN112598594A (zh) * 2020-12-24 2021-04-02 Oppo(重庆)智能科技有限公司 颜色一致性矫正方法及相关装置
CN112689140A (zh) * 2020-12-18 2021-04-20 Oppo(重庆)智能科技有限公司 白平衡同步方法及装置、电子设备和存储介质
CN112702589A (zh) * 2020-12-18 2021-04-23 Oppo(重庆)智能科技有限公司 白平衡同步方法及装置、电子设备和存储介质
CN113676713A (zh) * 2021-08-11 2021-11-19 维沃移动通信(杭州)有限公司 图像处理方法、装置、设备及介质
CN113766141A (zh) * 2021-09-29 2021-12-07 维沃移动通信有限公司 图像信息的处理方法及装置
CN113891004A (zh) * 2021-11-18 2022-01-04 展讯通信(上海)有限公司 图像处理方法、装置、设备及存储介质
CN114339022A (zh) * 2020-09-30 2022-04-12 北京小米移动软件有限公司 摄像头拍摄参数确定方法、神经网络模型的训练方法
WO2022103121A1 (en) * 2020-11-16 2022-05-19 Samsung Electronics Co., Ltd. Electronic device for estimating camera illuminant and method of the same
CN114554169A (zh) * 2022-02-24 2022-05-27 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN115118946A (zh) * 2021-03-22 2022-09-27 北京小米移动软件有限公司 一种白平衡校正方法、装置及存储介质
WO2023077431A1 (zh) * 2021-11-05 2023-05-11 深圳市大疆创新科技有限公司 图像处理方法、装置、图像采集设备及存储介质
WO2023178653A1 (en) * 2022-03-25 2023-09-28 Qualcomm Incorporated Automatic white balancing (awb) in variable aperture (va) camera systems
CN117880643A (zh) * 2024-03-09 2024-04-12 深圳市富尼数字科技有限公司 一种摄像头切换方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030218677A1 (en) * 2002-05-27 2003-11-27 Tomoyuki Nishimura Auto white balance controlling method and electronic camera
US20050052547A1 (en) * 2003-09-09 2005-03-10 Konica Minolta Holdings Inc. Image-sensing apparatus
CN1846447A (zh) * 2003-09-04 2006-10-11 索尼株式会社 图像处理方法、图像处理装置和计算机程序
US20080049115A1 (en) * 2006-08-28 2008-02-28 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method
CN101292542A (zh) * 2005-08-30 2008-10-22 美光科技公司 用于白平衡统计的改进的色度滤波器
CN107277480A (zh) * 2017-07-10 2017-10-20 广东欧珀移动通信有限公司 白平衡同步方法、装置和终端设备
CN107343190A (zh) * 2017-07-25 2017-11-10 广东欧珀移动通信有限公司 白平衡调节方法、装置和终端设备
US10200599B1 (en) * 2017-09-07 2019-02-05 Qualcomm Incorporated Image capture setting determination in devices having access to multiple cameras
CN109379575A (zh) * 2018-11-28 2019-02-22 维沃移动通信(杭州)有限公司 一种白平衡处理方法及移端
US10587809B2 (en) * 2017-03-07 2020-03-10 Olympus Corporation Continuous shooting device, continuous shooting method and continuous shooting control method using preliminary and calculated parameter values

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030218677A1 (en) * 2002-05-27 2003-11-27 Tomoyuki Nishimura Auto white balance controlling method and electronic camera
CN1846447A (zh) * 2003-09-04 2006-10-11 索尼株式会社 图像处理方法、图像处理装置和计算机程序
US20050052547A1 (en) * 2003-09-09 2005-03-10 Konica Minolta Holdings Inc. Image-sensing apparatus
CN101292542A (zh) * 2005-08-30 2008-10-22 美光科技公司 用于白平衡统计的改进的色度滤波器
US20080049115A1 (en) * 2006-08-28 2008-02-28 Sanyo Electric Co., Ltd. Image pickup apparatus and image pickup method
US10587809B2 (en) * 2017-03-07 2020-03-10 Olympus Corporation Continuous shooting device, continuous shooting method and continuous shooting control method using preliminary and calculated parameter values
CN107277480A (zh) * 2017-07-10 2017-10-20 广东欧珀移动通信有限公司 白平衡同步方法、装置和终端设备
CN107343190A (zh) * 2017-07-25 2017-11-10 广东欧珀移动通信有限公司 白平衡调节方法、装置和终端设备
US10200599B1 (en) * 2017-09-07 2019-02-05 Qualcomm Incorporated Image capture setting determination in devices having access to multiple cameras
CN109379575A (zh) * 2018-11-28 2019-02-22 维沃移动通信(杭州)有限公司 一种白平衡处理方法及移端

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866483A (zh) * 2020-07-06 2020-10-30 Oppo广东移动通信有限公司 颜色还原方法及装置、计算机可读介质和电子设备
CN114339022B (zh) * 2020-09-30 2024-02-02 北京小米移动软件有限公司 摄像头拍摄参数确定方法、神经网络模型的训练方法
CN114339022A (zh) * 2020-09-30 2022-04-12 北京小米移动软件有限公司 摄像头拍摄参数确定方法、神经网络模型的训练方法
WO2022103121A1 (en) * 2020-11-16 2022-05-19 Samsung Electronics Co., Ltd. Electronic device for estimating camera illuminant and method of the same
CN112492191A (zh) * 2020-12-18 2021-03-12 浙江大华技术股份有限公司 一种图像采集方法、装置、设备及介质
CN112689140A (zh) * 2020-12-18 2021-04-20 Oppo(重庆)智能科技有限公司 白平衡同步方法及装置、电子设备和存储介质
CN112702589A (zh) * 2020-12-18 2021-04-23 Oppo(重庆)智能科技有限公司 白平衡同步方法及装置、电子设备和存储介质
CN112689140B (zh) * 2020-12-18 2023-04-07 Oppo(重庆)智能科技有限公司 白平衡同步方法及装置、电子设备和存储介质
CN112492191B (zh) * 2020-12-18 2022-02-18 浙江大华技术股份有限公司 一种图像采集方法、装置、设备及介质
CN112598594A (zh) * 2020-12-24 2021-04-02 Oppo(重庆)智能科技有限公司 颜色一致性矫正方法及相关装置
CN115118946A (zh) * 2021-03-22 2022-09-27 北京小米移动软件有限公司 一种白平衡校正方法、装置及存储介质
CN113676713A (zh) * 2021-08-11 2021-11-19 维沃移动通信(杭州)有限公司 图像处理方法、装置、设备及介质
WO2023016320A1 (zh) * 2021-08-11 2023-02-16 维沃移动通信(杭州)有限公司 图像处理方法、装置、设备及介质
CN113766141B (zh) * 2021-09-29 2023-06-16 维沃移动通信有限公司 图像信息的处理方法及装置
CN113766141A (zh) * 2021-09-29 2021-12-07 维沃移动通信有限公司 图像信息的处理方法及装置
WO2023077431A1 (zh) * 2021-11-05 2023-05-11 深圳市大疆创新科技有限公司 图像处理方法、装置、图像采集设备及存储介质
CN113891004A (zh) * 2021-11-18 2022-01-04 展讯通信(上海)有限公司 图像处理方法、装置、设备及存储介质
CN114554169A (zh) * 2022-02-24 2022-05-27 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
WO2023178653A1 (en) * 2022-03-25 2023-09-28 Qualcomm Incorporated Automatic white balancing (awb) in variable aperture (va) camera systems
CN117880643A (zh) * 2024-03-09 2024-04-12 深圳市富尼数字科技有限公司 一种摄像头切换方法及系统
CN117880643B (zh) * 2024-03-09 2024-05-17 深圳市富尼数字科技有限公司 一种摄像头切换方法及系统

Also Published As

Publication number Publication date
CN111314683B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN111314683B (zh) 白平衡调节方法及相关设备
CN107256555B (zh) 一种图像处理方法、装置及存储介质
WO2020103570A1 (zh) 图像颜色校正方法、装置、存储介质及移动终端
US20150312453A1 (en) Switchable Camera Mirror Apparatus
CN110809115B (zh) 拍摄方法及电子设备
CN107302663A (zh) 一种图像亮度调整方法、终端及计算机可读存储介质
CN109361867B (zh) 一种滤镜处理方法及移动终端
CN110113515B (zh) 拍照控制方法及相关产品
CN107438163A (zh) 一种拍照方法、终端及计算机可读存储介质
CN114631306B (zh) 用于提供预览的方法和用于显示预览的电子装置
CN108040240B (zh) 一种白平衡调整的方法、装置以及移动终端
CN107580209A (zh) 一种移动终端的拍照成像方法及装置
CN108513067B (zh) 一种拍摄控制方法及移动终端
CN112840636A (zh) 一种图像处理方法和装置
CN111445413B (zh) 图像处理方法、装置、电子设备及存储介质
CN106331487A (zh) 一种屏幕补光方法、装置及移动终端
CN110675839A (zh) 一种屏幕调节方法、电子设备及相关装置
CN109729281A (zh) 图像处理方法、装置、存储介质及终端
CN107343143A (zh) 一种图像处理方法、装置、终端及计算机可读存储介质
CN107644396A (zh) 一种唇色调整方法和装置
CN108200352A (zh) 一种调解图片亮度的方法、终端及存储介质
CN111343321B (zh) 背光亮度调节方法及相关产品
CN116668656B (zh) 图像处理方法及电子设备
CN111901519B (zh) 屏幕补光方法、装置及电子设备
WO2018133305A1 (zh) 一种图像处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant