CN115442536B

CN115442536B - 一种曝光参数的确定方法、装置、影像系统和电子设备

Info

Publication number: CN115442536B
Application number: CN202210951496.5A
Authority: CN
Inventors: 许集润
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-08-09
Filing date: 2022-08-09
Publication date: 2023-05-30
Anticipated expiration: 2042-08-09
Also published as: CN115442536A

Abstract

本申请实施例提供了一种曝光参数的确定方法、装置、影像系统和电子设备。其中，该方法包括：根据图像传感器曝光产生的原始图像生成第一图像和第二图像，其中图像传感器包括第一色彩模式和第二色彩模式，第一图像为第一色彩模式的图像，第二图像为第二色彩模式的图像；将第二图像从第二色彩模式转换至第一色彩模式，得到第二转换图像；获取第一图像的亮度和第二转换图像的亮度；根据第一图像的亮度和第二转换图像的亮度，调整图像传感器对第二色彩模式的曝光参数。本申请实施例提供的技术方案，可以根据不同色彩模式对应图像的亮度，对图像传感器的曝光参数进行调整，从而得到多路亮度相同的图像，有利于对多路图像进行融合，提高成像质量。

Description

一种曝光参数的确定方法、装置、影像系统和电子设备

技术领域

本申请涉及影像技术领域，尤其涉及一种曝光参数的确定方法、装置、影像系统和电子设备。

背景技术

近年来，影像技术在手机等电子设备中发展迅速。电子设备在拍摄图像时，需要利用其安装的图像传感器(image sensor)对采集到的光信号进行光电转换，并结合后续的其他处理电路得到图像数据。其中，图像传感器根据其采用的色彩模式的不同可以包括多个类型，例如：采用红色R、绿色G、蓝色B色彩模式的RGB传感器，采用青色C、品红Y和黄色Y色彩模式的CMY传感器，以及同时采用RGB色彩模式和CMY色彩模式的RGB/CMY传感器等。

与传统的RGB传感器相比，RGB/CMY传感器作为一种多色彩模式的传感器，色域范围更高，能够更好地还原色彩，提高成像质量。然而，在RGB/CMY传感器中，由于RGB单元的彩色滤光片color filter和CMY单元的彩色滤光片对不同光源光谱的采样结果存在差异，因此，即使对RGB单元和CMY单元设置相同的曝光参数，得到的RGB图像和CMY图像的亮度也是不同的，不利于对两路图像进行合成，降低成像质量。

发明内容

为了使多色彩模式的传感器(例如：RGB/CMY传感器)能够得到多路亮度相同的图像，以利于对多路图像进行融合，提高成像质量，本申请实施例提供了一种曝光参数的确定方法、装置、影像系统和电子设备。

第一方面，本申请实施例提供了一种曝光参数的确定方法，包括：根据图像传感器曝光产生的原始图像生成第一图像和第二图像，其中图像传感器包括第一色彩模式和第二色彩模式，第一图像为第一色彩模式的图像，第二图像为第二色彩模式的图像，第一色彩模式和第二色彩模式不同；将第二图像从第二色彩模式转换至第一色彩模式，得到第二转换图像；获取第一图像的亮度和第二转换图像的亮度；根据第一图像的亮度和第二转换图像的亮度，调整图像传感器对第二色彩模式的曝光参数。

本申请实施例提供的曝光参数的调整方法，当图像传感器包括多个色彩模式时，可以根据不同色彩模式对应图像的亮度，对图像传感器的曝光参数进行调整，从而得到多路亮度相同的图像，有利于对多路图像进行融合，提高成像质量。

在一种实现方式中，图像传感器为采用RGB色彩模式和CMY色彩模式的RGB/CMY传感器，第一色彩模式为RGB色彩模式，第二色彩模式为CMY色彩模式。

在一种实现方式中，获取第一图像的亮度，包括：将第一图像划分为多个预设大小的像素区块；获取第一图像中的每个像素区块的亮度，像素区块的亮度为像素区块内的所有像素的亮度的平均值；计算第一图像中的所有像素区块的亮度的平均值，得到第一图像的亮度。

在一种实现方式中，获取第二转换图像的亮度，包括：将第二转换图像划分为多个预设大小的像素区块；获取第二转换图像中的每个像素区块的亮度，像素区块的亮度为像素区块内的所有像素的亮度的平均值；计算第二转换图像中的所有像素区块的亮度的平均值，得到第二转换图像的亮度。

在一种实现方式中，根据第一图像的亮度和第二转换图像的亮度，调整图像传感器对第二色彩模式的曝光参数，包括：将图像传感器当前对第二色彩模式的曝光参数与第一比值的乘积，作为图像传感器下一次曝光对第二色彩模式的曝光参数，其中，第一比值为第一图像的亮度与第二转换图像的亮度的比值。

这样，如果第一图像的亮度大于第二转换图像的亮度，可以提高图像传感器下一次曝光对第二色彩模式的曝光参数，如果第一图像的亮度小于第二转换图像的亮度，可以降低图像传感器下一次曝光对第二色彩模式的曝光参数，使下一次曝光得到的第二图像的亮度与第一图像的亮度相同或者接近相同，从而有以利于对第一图像和第二图像进行融合。

在一种实现方式中，将第二图像从第二色彩模式转换至第一色彩模式，得到第二转换图像，包括：将第二图像从CMY色彩模式转换至RGB色彩模式，得到第二转换图像。

在一种实现方式中，采用以下公式获取第一图像和第二转换图像中各像素的亮度：

Y_pixel＝awbRGain×a1×R+awbGGain×a2×G+awbBGain×a3×B

其中，Y_pixel为像素的亮度，awbRGain为图像传感器在RGB色彩模式以及D65光源下标定的R通道的自动白平衡AWB的增益Gain值，awbGGain为图像传感器在RGB色彩模式以及D65光源下标定的G通道的AWB的Gain值，awbBGain为图像传感器在RGB色彩模式以及D65光源下标定的B通道的AWB的Gain值，a1、a2、a3为权重系数。

在一种实现方式中，获取第一图像中的每个像素区块的亮度，采用以下公式实现：

其中，Y_RGBblk[i]为第一图像中的第i个像素区块的亮度，Y_RGB[k]为第一图像的第i个像素区块中的第k个像素的亮度，blk_pixel_num为像素区块中的像素数量。

在一种实现方式中，计算第一图像中的所有像素区块的亮度的平均值，得到第一图像的亮度，采用以下公式实现：

其中，Y_RGB为第一图像的亮度，blk_num为像素区块的数量。

在一种实现方式中，获取第二转换图像中的每个像素区块的亮度，采用以下公式实现：

其中，Y_CMY-RGBblk[i]为第二转换图像中的第i个像素区块的亮度，Y_CMγ-RGB[k]为第二转换图像的第i个像素区块中的第k个像素的亮度，blk_pixel_num为像素区块中的像素数量。

在一种实现方式中，计算第二转换图像中的所有像素区块的亮度的平均值，得到第二转换图像的亮度，采用以下公式实现：

其中，Y_CMY-RGB为第二转换图像的亮度，blk_num为像素区块的数量。

在一种实现方式中，将图像传感器当前对第二色彩模式的曝光参数与第一比值的乘积，作为图像传感器下一次曝光对第二色彩模式的曝光参数，采用以下公式实现：

exopValueCMYNext＝exopValueCMYCur×Y_RGB/Y_CMY-RGB

其中，exopVaueCMYNext为图像传感器下一次曝光对第二色彩模式的曝光参数，exopValueCMYCur为图像传感器当前对第二色彩模式的曝光参数，Y_RGB为第一图像的亮度，Y_CMY-RGB为第二转换图像的亮度。

第二方面，本申请实施例提供了一种曝光参数的确定装置，包括：图像处理模块，用于根据图像传感器曝光产生的原始图像生成第一图像和第二图像，其中图像传感器包括第一色彩模式和第二色彩模式，第一图像为第一色彩模式的图像，第二图像为第二色彩模式的图像，第一色彩模式和第二色彩模式不同；图像转换模块，用于将第二图像从第二色彩模式转换至第一色彩模式，得到第二转换图像；亮度统计模块，用于获取第一图像的亮度和第二转换图像的亮度；曝光同步算法模块，用于根据第一图像的亮度和第二转换图像的亮度，调整图像传感器对第二色彩模式的曝光参数。

本申请实施例提供的曝光参数的调整装置，当图像传感器包括多个色彩模式时，可以根据不同色彩模式对应图像的亮度，对图像传感器的曝光参数进行调整，从而得到多路亮度相同的图像，有利于对多路图像进行融合，提高成像质量。

第三方面，本申请实施例提供了一种影像系统，包括：一个或者多个处理器、一个或者多个图像传感器、以及存储器；存储器存储有算法程序，当算法程序被一个或者多个处理器执行时，使得影像系统执行上述第一方面及其各实现方式中的方法。

第四方面，本申请实施例提供了一种电子设备，该电子设备包括上述第三方面提供的影像系统。

第五方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面及其各个实现方式的方法。

第六方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面及其各个实现方式的方法。

附图说明

图1是本申请实施例提供的一种影像系统的硬件结构示意图；

图2是本申请实施例提供的电子设备的硬件结构示意图；

图3是本申请实施例提供的一种曝光参数的确定方法的流程图；

图4是本申请实施例提供的一种曝光参数的确定方法的算法框架图；

图5是本申请实施例提供的一种曝光参数的确定装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是本申请实施例提供的一种影像系统的硬件结构示意图。

如图1所示，该影像系统可以包括一个或者多个图像传感器10、一个或者多个前端图像信号处理器Pre ISP 20，以及一个或者多个图像信号处理器(image signalprocessor，ISP)30。

本申请实施例提供的影像系统可以应用于各类电子设备中，该影像系统可以独立、或者与相应的软件系统相结合，以实现电子设备的拍照、摄像等影像功能。其中，电子设备包括但不限于手机、平板电脑、笔记本电脑、大屏设备(例如：智能电视、智慧屏)、个人计算机(persona1computer，PC)、手持计算机、上网本、个人数字助理(personal digitalassistant，PDA)、可穿戴电子设备、车载设备、虚拟现实设备等。

图像传感器10可以是互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)图像传感器CIS或者其他类型的图像传感器，本申请实施例对此不做限定。当影像系统包括一个图像传感器10时，该图像传感器10可以是多色彩模式的传感器，例如RGB/CMY传感器，或者其他多色彩模式的传感器。当影像系统包括多个图像传感器10时，多个图像传感器10可以是色彩模式不同的单色彩模式的传感器，例如，其中一个图像传感器10可以是RGB传感器，另一个图像传感器10可以是CMY传感器。图像传感器10用户通过曝光采集光信号，将光信号转换成电信号，并将电信号发送给前端图像信号处理器进行处理。

其中，当影像系统包括多色彩模式的图像传感器10时，多色彩模式的图像传感器10可以将采集的光信号转换成电信号，得到多路原始图像。例如：RGB/CMY传感器曝光后可以产生两路原始图像，一路是RGB色彩模式下的原始图像，另一路是CMY色彩模式下的原始图像。当影像系统包括多个单色彩模式的图像传感器10时，每个图像传感器10可以产生一路原始图像，例如：RGB传感器可以产生一路RGB色彩模式下的原始图像，CMY传感器可以产生一路CMY色彩模式下的原始图像。

前端图像信号处理器20可以对图像传感器10输出的每一路原始图像进行处理，得到相应的图像。例如：可以对RGB色彩模式下的原始图像进行处理，得到RGB图像，还可以对CMY色彩模式下的原始图像进行处理，得到CMY图像。前端图像信号处理器20还可以对各路图像(例如：RGB图像和CMY图像)进行融合，得到融合后的图像，并将融合后的图像输出至图像信号处理器30继续处理。

图像信号处理器30可以融合后的图像进行一系列处理，得到处理后的图像。其中，图像信号处理器对图像的处理内容包括但不限于：自动白平衡、自动增益控制、色彩校正、镜头校正、去除坏点、Gamma校正等。

图2是本申请实施例提供的电子设备的硬件结构示意图。该设备既可以作为多设备协同中的主设备，也可以作为多设备协同中的从设备。如图2所示，电子设备100可以包括处理器110，存储器120，通用串行总线(universal serial bus，USB)接口130，射频电路140，移动通信模块150，无线通信模块160，摄像头170，显示屏180，触摸传感器190，

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用程序处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器，前端图像信号处理器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中，例如集成在系统芯片(system on a chip，SoC)中。处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

存储器120可以用于存储计算机可执行程序代码，可执行程序代码包括指令。存储器120可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统、至少一个功能所需的应用程序程序等。存储数据区可存储电子设备100使用过程中所创建的数据等。此外，存储器120可以包括一个或者多个存储单元，例如可以包括易失性存储器(volatilememory)，如：动态随机存取存储器(dynamic random access memory，DRAM)、静态随机存取存储器(static random access memory，SRAM)等；还可以包括非易失性存储器(non-volatile memory，NVM)，如：只读存储器(read-only memory，ROM)、闪存(flash memory)等。处理器110通过运行存储在存储器120的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用程序以及数据处理。

这里需要补充说明的是，本申请实施例所指的操作系统，包括但不限于Android操作系统、IOS操作系统、iPad OS、Windows操作系统、Linux操作系统、MAC OS操作系统、嵌入式系统等。

电子设备100的无线通信功能可以通过射频电路140、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。

射频电路140可以包括至少一个天线141，用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。在一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用程序在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线141接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线141转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用程序处理器。应用程序处理器通过音频设备(包括但不限于扬声器，受话器等)输出声音信号，或通过显示屏180显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以包括无线保真(wireless fidelity，Wi-Fi)模块，蓝牙(bluetooth，BT)模块、GNSS模块、近距离无线通信技术(near field communication，NFC)模块、红外(infrared，IR)模块等。无线通信模块160可以是集成上述至少一个模块的一个或多个器件。无线通信模块160经由天线141接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线141转为电磁波辐射出去。

本申请实施例中，电子设备100的无线通信功能例如可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packetradio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-divisioncode division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，第五代移动通信技术新空口(5th generation mobile networks new radio，5G NR)，BT，GNSS，WLAN，NFC，FM，和/或IR等功能。GNSS可以包括全球卫星定位系统(globalpositioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite basedaugmentation systems，SBAS)。

摄像头170用于捕获静态图像或视频。摄像头170包括镜头和图像传感器，物体通过镜头生成光学图像投射到图像传感器。图像传感器可以是COMS图像传感器CIS。图像传感器把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，CMY，YUV，RYYB等格式的图像信号。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用程序，例如：图像识别，人脸识别，语音识别，文本理解等。

显示屏180用于显示图像，视频等。显示屏180包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，MiniLED，MicroLED，Micro-OLED，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏180，N为大于1的正整数。

触摸传感器190，也称“触控器件”。触摸传感器190可以设置于显示屏180，由触摸传感器190与显示屏180组成触摸屏，也称“触控屏”。触摸传感器190用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用程序处理器，以确定触摸事件类型。可以通过显示屏180提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器190也可以设置于电子设备100的表面，与显示屏180所处的位置不同。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件组合实现。

目前，在多色彩模式的传感器(例如：RGB/CMY传感器)中，由于不同色彩模式的像素单元的彩色滤光片color filter对不同光源光谱的采样结果存在差异，因此，即使对不同色彩模式的像素单元(例如：RGB单元和CMY单元)设置相同的曝光参数，得到多路图像(例如：RGB图像和CMY图像)的亮度也是不同的，不利于对多路图像进行合成，降低成像质量。

为了使多色彩模式的传感器(例如：RGB/CMY传感器)能够得到多路亮度相同的图像，以利于对多路图像进行融合，提高成像质量，本申请实施例提供了一种曝光参数的确定方法。该方法可以应用于图1所示的影像系统，具体可以由图1所示的影像系统中的各个硬件结合相应的算法程序实现，也可以由图1所示的影像系统中的各个硬件及其算法程序结合电子设备中的其他硬件及其算法程序实现，本申请实施例对此不做限定。

图3是本申请实施例提供的一种曝光参数的确定方法的流程图。如图3所示，该方法可包括以下步骤：

步骤S101，根据图像传感器曝光产生的原始图像生成第一图像和第二图像。

其中，图像传感器可以包括第一色彩模式和第二色彩模式，第一图像为第一色彩模式的图像，第二图像为第二色彩模式的图像，第一色彩模式和第二色彩模式不同。

示例性的，第一色彩模式可以是RGB色彩模式，第二色彩模式可以是CMY色彩模式。那么，第一图像可以是RGB图像，第二图像可以是CMY图像。

示例性的，第一色彩模式可以是CMY色彩模式，第二色彩模式可以是RGB色彩模式。那么，第一图像可以是CMY图像，第二图像可以是RGB图像。

在一种实现方式中，图像传感器可以是一个双色彩模式的传感器，这样，图像传感器可以曝光得到两路原始图像。

示例性的，图像传感器可以是RGB/CMY传感器，RGB/CMY传感器可以曝光得到一路RGB色彩模式下的原始图像，以及一路CMY色彩模式下的原始图像。前端图像信号处理器对RGB色彩模式下的原始图像进行处理，可以得到RGB图像，对CMY色彩模式下的原始图像进行处理，可以得到CMY图像。

在另一种实现方式中，图像传感器可以包括两个色彩模式不同的单色彩模式的传感器，这样，每个图像传感器曝光之后，可以分别得到一路原始图像。

示例性的，其中一个图像传感器可以是RGB传感器，另一个传感器可以是CMY传感器。其中：RGB传感器每次曝光，可以得到一路RGB色彩模式下的原始图像，前端图像信号处理器对RGB色彩模式下的原始图像进行处理，可以得到RGB图像。CMY传感器每次曝光，可以得到一路CMY色彩模式下的原始图像，前端图像信号处理器对CMY色彩模式下的原始图像进行处理，可以得到CMY图像。

这里需要补充说明的是，本申请实施例提供的方法可以适用于任意对两路或者多路不同色彩模式的图像进行融合的场景，因此，除上述RGB色彩模式和CMY色彩模式之外，图像传感器、第一图像和第二图像等还可以对应其他的色彩模式，例如：YUV色彩模式、RYYB色彩模式等，这些均没有超出本申请实施例的保护范围。

步骤S102，将第二图像从第二色彩模式转换至第一色彩模式，得到第二转换图像。

由于第一图像和第二图像的色彩模式不同，不利于直接进行亮度比较。因此，在步骤S102中，可以首先将第一图像和第二图像的色彩模式进行统一。例如，前端图像信号处理器可以将第二图像从第二色彩模式转换至第一色彩模式，得到与第一图像具有相同色彩模式的第二转换图像。这样，后续就可以直接对第一图像和第二转换图像进行亮度比较。

示例性的，如果第一图像是RGB图像，第二图像是CMY图像，那么，在步骤S102中，可以将第二图像从CMY色彩模式转换至RGB色彩模式，得到RGB色彩模式的第二转换图像。这样，第一图像与第二转换图像均为RGB图像。

示例性的，如果第一图像是CMY图像，第二图像是CMY图像，那么，在步骤S102中，可以将第二图像从RGB色彩模式转换至CMY色彩模式，得到CMY色彩模式的第二转换图像。这样，第一图像与第二转换图像均为CMY图像。

步骤S103，获取第一图像的亮度和第二转换图像的亮度。

具体实现中，前端图像信号处理器可以在其硬件算法中增加亮度统计模块。亮度统计模块可以分别对第一图像和第二转换图像中的各个像素的亮度进行统计，以得到第一图像的亮度和第二转换图像的亮度。

以获取第一图像的亮度为例，亮度统计模块可以将第一图像划分为多个预设尺寸的像素区块，例如：宽度为32像素、高度为32像素的32×32大小的像素区块；然后，分别计算每一个像素区块的亮度，其中，任一像素区块的亮度可以是该像素区块中的所有像素的亮度的平均值；最后，计算第一图像所有像素区块的亮度的平均值，得到第一图像的亮度。

以获取第二转换图像的亮度为例，亮度统计模块可以将第二转换图像划分为多个预设尺寸的像素区块，例如：宽度为32像素、高度为32像素的32×32大小的像素区块；然后，分别计算每一个像素区块的亮度，其中，任一像素区块的亮度可以是该像素区块中的所有像素的亮度的平均值；最后，计算第二转换图像的所有像素区块的亮度的平均值，得到第二转换图像的亮度。

以上像素区块的大小仅做示例，本申请实施例对此不做具体限定。

步骤S104，根据第一图像的亮度和第二转换图像的亮度，调整图像传感器的第二色彩模式的曝光参数。

其中，曝光参数包括但不限于图像传感器的曝光时间和感光度等。

在一种实现方式中，影像系统还可以包括曝光同步算法模块。亮度统计模块计算得到第一图像和第二转换图像的亮度之后，可以将第一图像和第二转换图像的亮度发送给曝光同步算法模块。曝光同步算法模块可以根据第一图像的亮度和第二转换图像的亮度之间的关系，对第二色彩模式对应的曝光参数进行调整。

在一种实现方式中，图像传感器下一次曝光对第二色彩模式的曝光参数等于图像传感器当前对第二色彩模式的曝光参数乘以第一图像的亮度与第二转换图像的亮度的比值。

如果第一图像的亮度大于第二转换图像的亮度，那么，曝光同步算法模块可以在图像传感器当前对第二色彩模式的曝光参数的基础上，提高图像传感器下一次曝光时，对第二色彩模式的曝光参数。示例性的，如果图像传感器是RGB/CMY传感器，第二色彩模式是CMY色彩模式，那么，曝光同步算法模块可以提高RGB/CMY传感器的CMY路下一次曝光的曝光参数，例如：延长曝光时间、提高感光度等。图像传感器可以基于提高后的第二色彩模式的曝光参数进行下一次曝光，由于曝光参数提高，下一次曝光得到的第二图像的亮度更高，使下一次曝光得到的第二图像的亮度与第一图像的亮度相同或者接近相同，从而有以利于对第一图像和第二图像进行融合。

如果第一图像的亮度小于第二转换图像的亮度，那么，曝光同步算法模块可以在图像传感器当前对第二色彩模式的曝光参数的基础上，降低图像传感器下一次曝光时，第二色彩模式的曝光参数。示例性的，如果图像传感器是RGB/CMY传感器，第二色彩模式是CMY色彩模式，那么，曝光同步算法模块可以降低RGB/CMY传感器的CMY路下一次曝光的曝光参数，例如：减少曝光时间、降低感光度等。这样，图像传感器可以基于降低后的第二色彩模式的曝光参数进行下一次曝光，由于曝光参数降低，下一次曝光得到的第二图像的亮度更低，使下一次曝光得到的第二图像的亮度与第一图像的亮度相同或者接近相同，从而有以利于对第一图像和第二图像进行融合。

本申请实施例中，前端图像信号处理器还可以对第一图像和第二转换图像进行融合，得到融合图像，并将融合图像发送给图像信号处理器进行进一步处理。其中，融合图像的色彩模式与第一图像和第二转换图像的色彩模式相同。例如：如果第一图像和第二转换图像是RGB图像，那么融合图像也是RGB图像；如果第一图像和第二转换图像是CMY图像，那么融合图像也是CMY图像。

在一种实现方式中，图像信号处理器可以对融合图像的各像素的亮度进行统计，以得到融合图像的自动曝光AE亮度统计值。

在一种实现方式中，影像系统还可以包括AE计算模块。图像信号处理器可以将计算得到的融合图像的AE亮度统计值发送给AE计算模块，AE计算模块可以基于融合图像的AE亮度统计值和AE算法，计算第一色彩模式的曝光参数。

示例性的，如果图像传感器是RGB/CMY传感器，第一色彩模式是RGB色彩模式，那么，AE计算模块可以基于融合图像的亮度统计值和AE算法，计算图像传感器下一次曝光时的RGB路的曝光参数。

需要补充说明的是，在传统的方案中，由于图像传感器对不同色彩模式的曝光参数相同，因此，AE计算模块计算出的第一色彩模式的曝光参数同时也是第二色彩模式的曝光参数。而在本申请实施例的方案中，如果曝光同步算法模块对第二色彩模式的曝光参数进行了调整，那么，第二色彩模式的曝光参数与第一色彩模式的曝光参数可能是不同的。

可以理解的是，当图像传感器包括更多色彩模式时，例如：包括第N色彩模式时(N为大于2的正整数)，基于本申请实施例提供的方法，可以将第N色彩模式对应的第N图像转换至第一色彩模式，得到第N转换图像，然后基于第一图像和第N转换图像的亮度，调整图像传感器的第N色彩模式的曝光参数，使下一次曝光得到的第N图像的亮度与第一图像的亮度相同或者接近相同，从而有以利于对第一图像和第N图像进行融合。

由以上技术方案可知，本申请实施例提供的曝光参数的调整方法，当图像传感器包括多个色彩模式时，可以根据不同色彩模式对应图像的亮度，对图像传感器的曝光参数进行调整，从而得到多路亮度相同的图像，有利于对多路图像进行融合，提高成像质量。

图4是本申请实施例提供的一种曝光参数的确定方法的算法框架图。

下面结合图4，以图像传感器为RGB/CMY传感器、第一图像为RGB图像、第二图像为CMY图像为例，对本申请实施例提供的曝光参数的确定方法的算法流程进行更具体地说明。

如图4所示，该算法框架可以包括：配置于前端图像信号处理器中的RGB处理模块、CMY处理模块、图像转换模块、融合模块和亮度统计模块，以及，AE算法模块和CMY曝光同步算法模块。其中：

RGB/CMY传感器可以曝光得到两路原始图像，分别为RGB路的原始图像和CMY路的原始图像，该原始图像可以是Bayer格式，或者其他格式，本申请实施例对此不做限定。

RGB/CMY传感器将两路原始图像发送给前端图像信号处理器之后，RGB处理模块和CMY处理模块可以分别对其对应路的原始图像进行处理，例如：RGB处理模块可以将RGB路的原始图像转换成RGB图像，CMY处理模块可以将CMY路的原始图像转换成CMY图像。

接下来，图像转换模块可以将CMY图像转换成RGB格式，得到RGB格式的CMY-RGB转换图像。

具体实现中，图像转换模块可以将CMY图像的每一个CMY像素转换为RGB像素，从而得到CMY-RGB转换图像。以8bit的数据为例，CMY像素中C、M、Y像素值与RGB像素中的R、G、B像素值具有以下对应关系：

R＝255-C

G＝255-M

B＝255-Y

融合模块可以对RGB图像和CMY-RGB转换图像进行融合，得到RGB融合图像，并将RGB融合图像发送给图像信号处理器继续处理。图像信号处理器可以对RGB融合图像进行亮度统计，以得到融合图像的AE亮度统计值，并将AE亮度统计值发送给AE计算模块，AE计算模块可以基于RGB融合图像的AE亮度统计值和AE算法，计算RGB路的曝光参数。

本申请实施例中，亮度统计模块以RGB图像和CMY-RGB转换图像作为输入，可以对RGB图像和CMY-RGB转换图像进行亮度统计，得到RGB图像的亮度和CMY-RGB转换图像的亮度。

具体实现中，亮度统计模块可以首先计算RGB图像和CMY-RGB转换图像中的每个像素的亮度，具体可以采用以下公式：

Y_pixel＝awbRGain×a1×R+awbGGain×a2×G+awbBGain×a3×B

其中：

Y_pixel为像素的亮度。

awbRGain为图像传感器在RGB色彩模式以及D65光源下标定的R通道的自动白平衡(Auto White Balance，AWB)的增益Gain值；awbGGain为图像传感器在RGB色彩模式以及D65光源下标定的G通道的AWB的Gain值awbBGain为图像传感器在RGB色彩模式以及D65光源下标定的B通道的AWB的Gain值。

a1、a2、a3为权重系数。一般来说，a1、a2、a3之和为1。示例性的，在本申请实施例中，a1＝0.299，a2＝0.587，a3＝0.114，该数值仅做示例，不构成对a1、a2、a3的具体限定。

亮度统计模块分别对RGB图像和CMY-RGB转换图像中的每个像素进行亮度计算，得到RGB图像中的每个像素的亮度，以及，得到CMY-RGB转换图像中的每个像素的亮度之后，可以对RGB图像中的各个像素的亮度进行统计，得到RGB图像的亮度Y_RGB，以及，可以对CMY-RGB转换图像中的各个像素的亮度进行统计，得到CMY-RGB转换图像的亮度Y_CMY-RGB。

以RGB图像为例，具体实现中，亮度统计模块可以将RGB图像划分为多个预设尺寸的像素区块，例如：宽度为32像素、高度为32像素的32×32大小的像素区块，然后分别计算RBG图像的每个像素区块的亮度，其中，任一像素区块的亮度可以是该像素区块中的所有像素的亮度的平均值。具体可以采用以下公式计算：

其中，Y_RGBblk[i]为RGB图像中的第i个像素区块的亮度；Y_RGB[k]为RGB图像的第i个像素区块中的第k个像素的亮度；blk_pixel_num为像素区块中的像素数量。

接下来，亮度统计模块可以计算RGB图像中的各个像素区块的亮度的平均值，得到RGB图像的亮度Y_RGB。具体可以采用以下公式计算：

其中，Y_RGBblk[i]为RGB图像中的第i个像素区块的亮度，blk_num为RGB图像中的像素区块的数量。

CMY-RGB转换图像为例，具体实现中，亮度统计模块可以将CMY-RGB转换图像划分为多个预设尺寸的像素区块，例如：宽度为32像素、高度为32像素的32×32大小的像素区块，然后分别计算CMY-RGB转换图像的每个像素区块的亮度，其中，任一像素区块的亮度可以是该像素区块中的所有像素的亮度的平均值。具体可以采用以下公式计算：

其中，Y_CMY-RGBblk[i]为CMY-RGB转换图像中的第i个像素区块的亮度；Y_CMY-RGB[k]为CMY-RGB转换图像的第i个像素区块中的第k个像素的亮度；blk_pixel_num为像素区块中的像素数量。

接下来，亮度统计模块可以计算CMY-RGB转换图像中的各个像素区块的亮度的平均值，得到CMY-RGB转换图像的亮度Y_CMY-RGB。具体可以采用以下公式计算：

其中，Y_CMY-RGBblk[i]为CMY-RGB转换图像中的第i个像素区块的亮度，blk_num为像素区块的数量。

CMY曝光同步算法模块可以对亮度统计模块计算得到的RGB图像的亮度和CMY-RGB转换图像的亮度进行实时监控，以调整RGB/CMY传感器的CMY路下一次曝光的曝光参数。具体可以采用以下公式计算：

exopValueCMYNext＝exopValueCMYCur×Y_RGB/Y_CMY-RGB

其中，exopValueCMYNext为CMY路下一次曝光的曝光参数，exopValueCMYCur为CMY路当前的曝光参数，Y_RGB为RGB图像的亮度，Y_CMY-RGB为CMY-RGB转换图像的亮度。

另外，融合模块还可以对RGB图像和CMY-RGB转换图像进行融合，得到RGB融合图像，并将RGB融合图像发送给图像信号处理器继续处理。

上述本申请提供的实施例对本申请提供的曝光参数的确定方法的各方案进行了介绍。可以理解的是，影像系统或电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

如图5所示，该曝光参数的确定装置可以包括：图像处理模块501、图像转换模块502、亮度统计模块503和曝光同步算法模块504。其中，上述模块可以是硬件模块，也可以是软件模块，还可以是硬件与软件相结合的模块。

其中：图像处理模块501，用于根据图像传感器曝光产生的原始图像生成第一图像和第二图像，其中图像传感器包括第一色彩模式和第二色彩模式，第一图像为第一色彩模式的图像，第二图像为第二色彩模式的图像，第一色彩模式和第二色彩模式不同；图像转换模块502，用于将第二图像从第二色彩模式转换至第一色彩模式，得到第二转换图像；亮度统计模块503，用于获取第一图像的亮度和第二转换图像的亮度；曝光同步算法模块504，用于根据第一图像的亮度和第二转换图像的亮度，调整图像传感器对第二色彩模式的曝光参数。

在一种实现方式中，亮度统计模块503具体用于：将第一图像划分为多个预设大小的像素区块；获取第一图像中的每个像素区块的亮度，像素区块的亮度为像素区块内的所有像素的亮度的平均值；计算第一图像中的所有像素区块的亮度的平均值，得到第一图像的亮度。

在一种实现方式中，亮度统计模块503具体用于：将第二转换图像划分为多个预设大小的像素区块；获取第二转换图像中的每个像素区块的亮度，像素区块的亮度为像素区块内的所有像素的亮度的平均值；计算第二转换图像中的所有像素区块的亮度的平均值，得到第二转换图像的亮度。

在一种实现方式中，曝光同步算法模块504具体用于：将图像传感器当前对第二色彩模式的曝光参数与第一比值的乘积，作为图像传感器下一次曝光对第二色彩模式的曝光参数，其中，第一比值为第一图像的亮度与第二转换图像的亮度的比值。

在一种实现方式中，图像转换模块502具体用于：将第二图像从CMY色彩模式转换至RGB色彩模式，得到第二转换图像。

在一种实现方式中，图像转换模块502具体用于：采用以下公式获取第一图像和第二转换图像中各像素的亮度：

Y_pixel＝awbRGain×a1×R+awbGGain×a2×G+awbBGain×a3×B

在一种实现方式中，亮度统计模块503用于获取第一图像中的每个像素区块的亮度，采用以下公式实现：

在一种实现方式中，亮度统计模块503用于计算第一图像中的所有像素区块的亮度的平均值，得到第一图像的亮度，采用以下公式实现：

其中，Y_RGB为第一图像的亮度，blk_num为像素区块的数量。

在一种实现方式中，亮度统计模块503用于获取第二转换图像中的每个像素区块的亮度，采用以下公式实现：

其中，Y_CMY-RGBblk[i]为第二转换图像中的第i个像素区块的亮度，Y_CMY-RGB[k]为第二转换图像的第i个像素区块中的第k个像素的亮度，blk_pixel_num为像素区块中的像素数量。

在一种实现方式中，亮度统计模块503用于计算第二转换图像中的所有像素区块的亮度的平均值，得到第二转换图像的亮度，采用以下公式实现：

在一种实现方式中，曝光同步算法模块504用于将图像传感器当前对第二色彩模式的曝光参数与第一比值的乘积，作为图像传感器下一次曝光对第二色彩模式的曝光参数，采用以下公式实现：

exopValueCMYNext＝exopValueCMYCur×Y_RGB/Y_CMY-RGB

其中，exopValueCMYNext为图像传感器下一次曝光对第二色彩模式的曝光参数，exopValueCMYCur为图像传感器当前对第二色彩模式的曝光参数，Y_RGB为第一图像的亮度，Y_CMY-RGB为第二转换图像的亮度。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面的方法。

以上的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。

Claims

1.一种曝光参数的确定方法，其特征在于，包括：

根据图像传感器曝光产生的原始图像生成第一图像和第二图像，其中所述图像传感器包括第一色彩模式和第二色彩模式，所述第一图像为所述第一色彩模式的图像，所述第二图像为所述第二色彩模式的图像，所述第一色彩模式和所述第二色彩模式不同；

将所述第二图像从所述第二色彩模式转换至所述第一色彩模式，得到第二转换图像；

获取所述第一图像的亮度和所述第二转换图像的亮度；

将所述图像传感器当前对所述第二色彩模式的曝光参数与第一比值的乘积，作为所述图像传感器下一次曝光对所述第二色彩模式的曝光参数，其中，所述第一比值为所述第一图像的亮度与所述第二转换图像的亮度的比值。

2.根据权利要求1所述的方法，其特征在于，所述图像传感器为采用RGB色彩模式和CMY色彩模式的RGB/CMY传感器，所述第一色彩模式为RGB色彩模式，所述第二色彩模式为CMY色彩模式。

3.根据权利要求2所述的方法，其特征在于，所述获取所述第一图像的亮度，包括：

将所述第一图像划分为多个预设大小的像素区块；

获取所述第一图像中的每个所述像素区块的亮度，所述像素区块的亮度为所述像素区块内的所有像素的亮度的平均值；

计算所述第一图像中的所有所述像素区块的亮度的平均值，得到所述第一图像的亮度。

4.根据权利要求2所述的方法，其特征在于，所述获取所述第二转换图像的亮度，包括：

将所述第二转换图像划分为多个预设大小的像素区块；

获取所述第二转换图像中的每个所述像素区块的亮度，所述像素区块的亮度为所述像素区块内的所有像素的亮度的平均值；

计算所述第二转换图像中的所有所述像素区块的亮度的平均值，得到所述第二转换图像的亮度。

5.根据权利要求2-4任一项所述的方法，其特征在于，所述将所述第二图像从所述第二色彩模式转换至所述第一色彩模式，得到所述第二转换图像，包括：

将所述第二图像从CMY色彩模式转换至RGB色彩模式，得到所述第二转换图像。

6.根据权利要求2或3所述的方法，其特征在于，采用以下公式获取所述第一图像和所述第二转换图像中各像素的亮度：

Y_pixel＝awbRGain×a1×R+awbGGain×a2×G+awbBGain×a3×B

其中，Y_pixel为像素的亮度，awbRGain为所述图像传感器在RGB色彩模式以及D65光源下标定的R通道的自动白平衡AWB的增益Gain值，awbGGain为所述图像传感器在RGB色彩模式以及D65光源下标定的G通道的AWB的Gain值，awbBGain为所述图像传感器在RGB色彩模式以及D65光源下标定的B通道的AWB的Gain值，所述a1、a2、a3为权重系数，R为像素的R通道的像素值，G为像素的G通道的像素值，B为像素的B通道的像素值。

7.根据权利要求3所述的方法，其特征在于，所述获取所述第一图像中的每个所述像素区块的亮度，采用以下公式实现：

其中，Y_RGBblk[i]为所述第一图像中的第i个像素区块的亮度，Y_RGB[k]为所述第一图像的第i个像素区块中的第k个像素的亮度，blk_pixel_num为所述像素区块中的像素数量。

8.根据权利要求7所述的方法，其特征在于，所述计算所述第一图像中的所有所述像素区块的亮度的平均值，得到所述第一图像的亮度，采用以下公式实现：

其中，Y_RGB为所述第一图像的亮度，blk_num为像素区块的数量。

9.根据权利要求4所述的方法，其特征在于，所述获取所述第二转换图像中的每个所述像素区块的亮度，采用以下公式实现：

其中，Y_CMY-RGBblk[i]为所述第二转换图像中的第i个像素区块的亮度，Y_CMY-RGB[k]为所述第二转换图像的第i个像素区块中的第k个像素的亮度，blk_pixel_num为所述像素区块中的像素数量。

10.根据权利要求9所述的方法，其特征在于，所述计算所述第二转换图像中的所有所述像素区块的亮度的平均值，得到所述第二转换图像的亮度，采用以下公式实现：

其中，Y_CMY-RGB为所述第二转换图像的亮度，blk_num为像素区块的数量。

11.根据权利要求2所述的方法，其特征在于，所述将所述图像传感器当前对所述第二色彩模式的曝光参数与第一比值的乘积，作为所述图像传感器下一次曝光对所述第二色彩模式的曝光参数，采用以下公式实现：

exopValueCMYNext＝exopValueCMYCur×Y_RGB/Y_CMY-RGB

其中，exopValueCMYNext为所述图像传感器下一次曝光对所述第二色彩模式的曝光参数，exopValueCMYCur为所述图像传感器当前对所述第二色彩模式的曝光参数，Y_RGB为第一图像的亮度，Y_CMY-RGB为第二转换图像的亮度。

12.一种曝光参数的确定装置，其特征在于，包括：

图像处理模块，用于根据图像传感器曝光产生的原始图像生成第一图像和第二图像，其中所述图像传感器包括第一色彩模式和第二色彩模式，所述第一图像为所述第一色彩模式的图像，所述第二图像为所述第二色彩模式的图像，所述第一色彩模式和所述第二色彩模式不同；

图像转换模块，用于将所述第二图像从所述第二色彩模式转换至所述第一色彩模式，得到第二转换图像；

亮度统计模块，用于获取所述第一图像的亮度和所述第二转换图像的亮度；

曝光同步算法模块，用于将所述图像传感器当前对所述第二色彩模式的曝光参数与第一比值的乘积，作为所述图像传感器下一次曝光对所述第二色彩模式的曝光参数，其中，所述第一比值为所述第一图像的亮度与所述第二转换图像的亮度的比值。

13.一种影像系统，其特征在于，包括：一个或者多个处理器、一个或者多个图像传感器、以及存储器；所述存储器存储有算法程序，当所述算法程序被所述一个或者多个处理器执行时，使得所述影像系统执行权利要求1-11任一项所述的方法。

14.一种电子设备，其特征在于，包括权利要求13所述的影像系统。