CN114630108A - 感光数据校正电路、方法、装置、电子设备及介质 - Google Patents
感光数据校正电路、方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN114630108A CN114630108A CN202210195674.6A CN202210195674A CN114630108A CN 114630108 A CN114630108 A CN 114630108A CN 202210195674 A CN202210195674 A CN 202210195674A CN 114630108 A CN114630108 A CN 114630108A
- Authority
- CN
- China
- Prior art keywords
- image sensor
- spectral response
- correction
- response function
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 227
- 238000000034 method Methods 0.000 title claims abstract description 83
- 239000011159 matrix material Substances 0.000 claims abstract description 133
- 238000005316 response function Methods 0.000 claims abstract description 117
- 238000001228 spectrum Methods 0.000 claims abstract description 104
- 230000006870 function Effects 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 206010070834 Sensitisation Diseases 0.000 claims abstract description 6
- 230000008313 sensitization Effects 0.000 claims abstract description 6
- 230000003595 spectral effect Effects 0.000 claims description 226
- 230000004044 response Effects 0.000 claims description 76
- 238000003860 storage Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 16
- 238000005070 sampling Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000000354 decomposition reaction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 201000005569 Gout Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请公开了一种感光数据校正电路、方法、装置、电子设备、介质及传感器标定方法、装置，属于数据处理技术领域。所述感光数据校正电路包括：第一电路，所述第一电路包括N个第一输入接口、第一计算模块和N个第一输出接口；所述N个第一输入接口适于与第一图像传感器的N个感光通道一一对应地电连接；所述第一计算模块的输入端与所述N个第一输入接口进行电连接，所述第一计算模块的输出端与所述N个第一输出接口进行电连接；所述第一计算模块用于基于光谱校正矩阵校正所述第一图像传感器的感光数据，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
Description
技术领域
本申请属于数据处理技术领域，具体涉及一种感光数据校正电路、方法、装置、电子设备、介质及传感器标定方法和装置。
背景技术
目前，大多数移动终端采用了不同焦距段的图像传感器，以尽量覆盖更大的拍摄物距范围。而在用户切换不同的图像传感器时，会存在不同图像传感器的感光曲线不同而导致的拍摄图像亮度或颜色发生变化的情况，从而影响用户对拍摄图像的整体观感。例如：用户在拍摄图像时，若放大预览图像的细节，则需要切换不同放大倍率的图像传感器。由于不同图像传感器的感光曲线不同，用户在切换图像传感器的前后时刻，会看到亮度不一致或颜色不一致的预览图像。
发明内容
本申请实施例的目的是提供一种感光数据校正电路、方法、装置、电子设备及介质，能够解决不同图像传感器生成的拍摄图像之间亮度或颜色的差异问题。
第一方面，本申请实施例提供了一种感光数据校正电路，该电路包括：
第一电路，所述第一电路包括N个第一输入接口、第一计算模块和N个第一输出接口；所述N个第一输入接口适于与第一图像传感器的N个感光通道一一对应地电连接；所述第一计算模块的输入端与所述N个第一输入接口进行电连接，所述第一计算模块的输出端与所述N个第一输出接口进行电连接；
所述第一计算模块用于基于光谱校正矩阵校正所述第一图像传感器的感光数据，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
第二方面，本申请实施例提供了一种感光数据校正方法，该方法包括：
获取第一图像传感器采集的图像；
基于光谱校正矩阵，校正所述图像对应的感光数据；
其中，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
第三方面，本申请实施例提供了一种感光数据校正装置，该装置包括：
第一获取模块，用于获取第一图像传感器采集的第一图像；
校正模块，用于基于光谱校正矩阵，校正所述第一图像对应的感光数据；
其中，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
第四方面，本申请实施例提供了一种电子设备，该电子设备包括如第一方面所述的感光数据校正电路。
第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第二方面所述的方法的步骤。
第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第二方面所述的方法的步骤。
第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第二方面所述的方法。
第八方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第二方面所述的方法。
第九方面，本申请实施例提供了一种传感器标定方法，该方法包括：
获取第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数；
根据所述第一图像传感器的光谱响应函数和所述第二图像传感器的光谱响应函数，确定所述第一图像传感器相对于第二图像传感器的光谱校正矩阵；
将所述光谱校正矩阵标定为所述第一图像传感器的校正参数。
第十方面，本申请实施例提供了一种传感器标定装置，该装置包括：
第二获取模块，用于获取第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数；
确定模块，用于根据所述第一图像传感器的光谱响应函数和所述第二图像传感器的光谱响应函数，确定所述第一图像传感器相对于第二图像传感器的光谱校正矩阵；
标定模块，用于将所述光谱校正矩阵标定为所述第一图像传感器的校正参数。
在本申请实施例中，通过第一电路的第一输入接口与第一图像传感器的感光通道进行电连接，使第一电路中的第一计算模块可以采用光谱校正矩阵校正第一图像传感器的感光数据，以降低不同图像传感器之间的光谱响应差异，从而减小不同图像传感器生成的拍摄图像之间亮度或颜色的差异，可以保证不同图像传感器采集的图像亮度和图像颜色的一致性；同时，基于不同图像传感器的光谱响应函数可以确定光谱校正矩阵，从而可以实现不同图像传感器之间的相互校正。
附图说明
图1是本申请实施例提供的感光数据校正电路的电路结构示意图；
图2是本申请实施例提供的感光数据校正电路的部署示意图；
图3是应用本申请实施例提供的感光数据校正电路的光谱响应曲线示意图；
图4是本申请实施例提供的感光数据校正电路中的第一计算模块的电路结构示意图；
图5是应用本申请实施例提供的感光数据校正电路中的第一计算模块的电路结构示意图；
图6是本申请实施例提供的感光数据校正方法的流程示意图；
图7是本申请实施例提供的感光数据校正装置的结构示意图；
图8是本申请实施例提供的传感器标定方法的流程示意图；
图9是本申请实施例提供的传感器标定装置的结构示意图；
图10是本申请实施例提供的电子设备的结构示意图；
图11是本申请实施例提供的电子设备的硬件示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的感光数据校正电路、方法、装置、电子设备及介质进行详细地说明。
如图1所示，该感光数据校正电路包括：第一电路。
第一电路包括N个第一输入接口110、第一计算模块120和N个第一输出接口130。
N个第一输入接口110适于与第一图像传感器的N个感光通道一一对应地电连接；第一计算模块120的输入端与N个第一输入接口110进行电连接，第一计算模块120的输出端与N个第一输出接口130进行电连接。
第一计算模块120用于基于光谱校正矩阵校正第一图像传感器的感光数据，光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的第一图像传感器的光谱响应函数的校正矩阵。
第一电路还可以包括第一电路开关140，第一电路开关140用于控制第一电路的接通或断开。
在实际执行中，通过第一电路开关140接通第一电路后，第一图像传感器将采集到的感光数据经由N个感光通道输入至第一电路的N个第一输入接口110。第一图像传感器可以是移动终端中采集光信号的传感器，可以包括N个感光通道，每个感光通道可以采集不同波长的光信号，即感光数据。
例如：第一图像传感器的N个感光通道可以是基于RGB域的感光通道，例如包括：R(红色)通道、G(绿色)通道和B(蓝色)通道，则感光数据可以为红光、绿光和蓝光；也可以是其他不同颜色域的感光通道，例如包括：W(白色)通道或Y(黄色)通道等，则感光数据可以为白光或黄光；或者还可以是根据人眼感光的色彩基数确定的感光通道，本申请实施例不作具体限定。
相关技术中，单纯通过白平衡进行图像传感器间的颜色校正，只能够对R、B两个维度进行拉伸变换，但是人眼的色觉系统是xyz三维的仿生模型，所以至少要引入三个自由度的校正模型，才有可能对光谱差异问题进行还原。白平衡指的是根据画面的统计信息(G/R和G/B)，配置不同比例的R、B增益，使画面达到近似于人脑感受到的“白色”的理想分布。
因此，本申请实施例通过采用的N个感光通道可以确保在更高的数据维度上对多路传感器一致性进行优化。
第一电路接收到感光数据后，可以利用第一计算模块120中存储的光谱校正矩阵对第一图像传感器的感光数据进行校正，并通过N个第一输出接口130输出至后续处理模块中。
光谱校正矩阵可以是预先存储的数据，也可以是在第一图像传感器使用过程中实时计算的数据，本申请实施例不作具体限定。
其中，光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵，光谱校正矩阵可以反映第一图像传感器与第二图像传感器的光谱响应差异。
可以理解的是，移动终端的主摄传感器和副摄传感器会因为成本等因素使用不同厂家、不同工艺的图像传感器，这就会导致图像传感器之间的基础素质不同。其中由于不同的镀膜工艺和材料差异，会导致贝尔阵列(Bayer Pattern)上的滤光片对于相同频率的光存在响应的差异，从而产生不同传感器之间的光谱响应差异。贝尔阵列为CMOS传感器设计的像素排列格式，多以2x2为基本单元，并进行周期排列。一般常用有四种格式：RGGB、GRBG、BGGR、GBRG。
需要说明的是，现有技术是通过提前统计特征色温点下传感器统计值G/R和G/B的差异，进而得到标定的知识先验，并在后续指导白平衡增益的分配，以降低不同图像传感器生成的拍摄图像之间亮度或颜色的差异。
传统模型在标定过程中多使用自动白平衡(Automatic white balance，AWB)方案，但是AWB方案无法从根本上解释多摄一致性差异的成因，缺乏理论支撑。且标定使用的统计信息，是特征色温光谱经过传感器积分后降维的结果，数据维度的退化会导致知识先验的不可靠。所以统计得到的知识先验是不能表征两颗传感器之间的光谱响应差异的。
上述方案还依赖白平衡算法估算的色温值，一旦色温判断不准，之前的先验关系可能存在调用错误的情况，甚至存在出现适得其反的可能。
而本申请实施例是从图像传感器成像的原理出发，不需要依赖传统的色温判断，给出了影响多摄之间亮度、颜色一致性的根本原因，并确定了不同图像传感器之间的光谱响应差异是影响多摄一致性的根本因素。分析过程如下：
由图像传感器感光模型可知：
其中，A表示第一图像传感器的数字信号响应函数，B表示第二图像传感器的数字信号响应函数，Q为传感器的光谱响应函数，R为物体的反射率函数，I为被照射物体自身的光谱函数。也就是说图像传感器的数字信号响应函数实际就是图像传感器自身的光谱响应函数、物体反射率函数和被照射物体自身的光谱函数在不同光谱波段下的积分。
又因为在第一图像传感器和第二图像传感器拍摄物体相同的情况下，有RA(λ)＝RB(λ)且IA(λ)＝IB(λ)，因此可以通过计算第一图像传感器和第二图像传感器之间光谱响应函数的差异，来解决图像传感器最终数据的数字信号响应不一致的问题，即不同图像传感器生成的拍摄图像之间亮度或颜色的差异问题。
对于光谱响应函数的差异，可以通过如下方式来求解。先对第一图像传感器和第二图像传感器在不同波长处的光谱响应数据分别进行采样，并可以根据离散的光谱响应数据构建一个[N×M]矩阵，N为感光通道的个数，M为采样点的个数。再通过构建对公式[N×N]QE[N×M]B＝[N×M]A或[N×N]QE[N×M]A＝[N×M]B进行求解，则可以确定光谱校正矩阵[N×N]QE。
可以理解的是，在确定第一图像传感器A的光谱响应函数为目标函数的情况下，可以根据[N×N]QE[N×M]B＝[N×M]A，确定第二图像传感器B的光谱校正矩阵，进而可以对第二图像传感器B的感光数据进行校正。
在确定第二图像传感器B的光谱响应函数为目标函数的情况下，可以根据[N×N]QE[N×M]A＝[N×M]B，确定第一图像传感器A的光谱校正矩阵，进而可以对第一图像传感器A的感光数据进行校正。
光谱校正矩阵具体可以使用最小二乘法或者奇异值分解法(Singular ValueDecomposition，SVD)进行求解。通过离散抽样的方法，可以得到不同图像传感器的光谱响应矩阵并通过构建图像传感器矩阵之间的线性关系确定光谱校正矩阵，在不需要依赖传统的色温判断的情况下，可以确保在更底层、更高的数据维度上对多路图像传感器输出的一致性。
需要说明的是，最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。SVD指的是将矩阵A分解成U∑VT的形式，其中U是一个M×M的矩阵，∑是一个M×N的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足：
UTU＝I，VTV＝I。
在一个实施例中，本申请实施例描述的第一图像传感器为被校正的图像传感器。
由于第一图像传感器和第二图像传感器得到的数据都是积分量化后的结果，无法将光谱校正矩阵直接部署到第一图像传感器和第二图像传感器的光谱响应函数上。所以通过如下公式可以重新确定部署该感光校正数据电路的位置。
由图像传感器感光模型可知：
QA(λ)*RA(λ)＝QB(λ)*RB(λ)＝K(λ) (3)
IB(λ)＝IA(λ)*QEcorrect (4)
将(3)和(4)带入(1)中得到：
又因为矩阵满足乘法结合律：
则可以得到：
B＝A*QEcorrect；
其中，QEcorrect为光谱校正矩阵。
由B＝A*QEcorrect可知，可以将存储光谱校正矩阵的感光数据校正电路部署在第一图像传感器A的图像信号处理(Image Signal Processing，ISP)通路中，不会因为数据积分降维而影响最终的校正效果。例如可以设置在去马赛克Demosaic模块后，如图2所示。
因为贝尔阵列每个像素只能表示一个颜色，所以贝尔域的图像数据看上去是存在一个个的格子，与马赛克类似。Demosaic就是将这种马赛克图像插值成RGB图像，将每个格子的数据，插值成由它本身和周围另外两种颜色共同表示的数据。
在保留原有ISP通路的基础上，可以将感光数据校正电路通过可编程的集成电路(Field Programmable Gate Array，FPGA)实现或者流片固化到片上系统芯片(System onChip，SoC)中。由于算法比较简单，所以系统对于数据流处理的实时性和功耗都没有压力。
其中，ISP可以将图像传感器采集的感光数据解析为颜色信号和亮度信号；针对图像传感器采集到的数字图像，ISP还可以进行提亮、滤波、色域还原等操作，使得图像传感器采集的数据更贴近甚至超越人眼感受到的实际画面。
在进行校正之前，需要先确定第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数。
由于图像传感器可采集的光谱波长范围有限，则可以选择目标波长范围内的目标光谱进行光谱响应数据的采样。采样的目标步进波长可以根据实际需求确定一个合适的值，不能过大或过小。目标步进波长过大，采样数据太多，导致计算量增大，影响校正效率；目标步进波长过小，采样数据过少，影响校正精度。
在一个实施例中，可见光的波长范围一般为380nm-780nm，但是由于普通的相机或摄像装置只能捕获红绿蓝三色波段信息，并且只覆盖400nm-700nm的波段范围，所以取400nm-700nm可见光波段范围为目标波长范围。
根据第一图像传感器A的信号响应值dA(λ)、测量仪器上的目标光谱对应的第一光谱响应值rA(λ)和第一曝光时间tA(λ)，以及第二图像传感器B的信号响应值dB(λ)、测量仪器上的目标光谱对应的第二光谱响应值rB(λ)和第二曝光时间tB(λ)。基于公式q(λ)＝d(λ)/(r(λ)*t(λ))，可以分别得到第一图像传感器A和第二图像传感器B的R、G、B三个感光通道的光谱响应函数。通过最小二乘法或者SVD分解的方法，求得A相较于B最接近的近似解。
将第二图像传感器的光谱响应函数作为目标函数，可以确定第一图像传感器的光谱响应函数的光谱校正矩阵，具体计算公式如下：qA(λ)*QEcorrect＝qB(λ)，求解该公式可得到光谱校正矩阵QEcorrect。
如图3所示，在感光数据校正电路基于RGB域生效的情况下，上图为校正前的第一图像传感器A和第二图像传感器B的光谱响应曲线。下图为校正后的第一图像传感器A和第二图像传感器B的光谱响应曲线。虚线表示第一图像传感器A的R通道、G通道、B通道分别在400nm-700nm的光谱响应曲线，实线表示第二图像传感器B的R通道、G通道、B通道分别在400nm-700nm的光谱响应曲线。其中，光谱响应曲线是基于光谱响应函数确定的。
由图3可知，本申请实施例以第二图像传感器B的光谱响应函数为目标函数，则可以将第二图像传感器B的光谱响应曲线作为基准，校正第一图像传感器的光谱响应曲线。
经过校正后，第一图像传感器A的光谱响应曲线更贴合于第二图像传感器B的光谱响应曲线，即第一图像传感器A和第二图像传感器B的光谱响应曲线的重合程度变高，表示第一图像传感器A和第二图像传感器B之间的光谱响应差异变小。
可以理解的是，在本申请实施例中，同样也可以将第一图像传感器的光谱响应函数作为目标函数，则可以将第一图像传感器A的光谱响应曲线作为基准，校正第二图像传感器B的光谱响应曲线。
本申请实施例提供的感光装置校正电路，通过第一电路的第一输入接口与第一图像传感器的感光通道进行电连接，使第一电路中的第一计算模块可以采用光谱校正矩阵校正第一图像传感器的感光数据，以降低不同图像传感器之间的光谱响应差异，从而减小不同图像传感器生成的拍摄图像之间亮度或颜色的差异，可以保证不同图像传感器采集的图像亮度和图像颜色的一致性；同时，基于不同图像传感器的光谱响应函数可以确定光谱校正矩阵，从而可以实现不同图像传感器之间的相互校正。
在一个实施例中，第一计算模块120包括N×N个第一寄存器410、N个第一加法器420和N个第一乘法器430。
N个第一乘法器430的输入端与N个第一输入接口110一一对应地电连接，每个第一乘法器430的输出端均与N个第一寄存器410的输入端电连接，且任一第一寄存器410与单个第一乘法器430电连接。
N个第一加法器420的输入端与N个第一寄存器410的输出端一一对应地电连接，且任一第一寄存器410与单个第一加法器420电连接。
任一第一加法器所连接的N个第一寄存器410分别与N个第一乘法器430一一对应地电连接；N个第一加法器420的输出端与N个第一输出接口130一一对应地电连接。
其中，光谱校正矩阵为N行N列的矩阵；N×N个第一寄存器410用于一一对应地存储光谱校正矩阵对应的校正参数。
在实际执行中，根据上述实施例中确定的光谱校正矩阵[N×N]QE，采用N×N个第一寄存器410一一对应地存储光谱校正矩阵对应的校正参数。
如图4所示，第一计算模块120包括：N×N个第一寄存器410：DR1、DR2、DR3……DRN……DRN×N；N个第一加法器420：A1、A2、A3……AN；N个第一乘法器430：M1、M2、M3……MN。第一图像传感器采集的感光数据通过N个第一输入接口110输入至第一电路中的N个乘法器430中，每个第一乘法器430的输出端均与N个第一寄存器410的输入端电连接，且每个乘法器430连接的N个第一寄存器410存储的校正参数均与光谱校正矩阵中的每一行的校正参数一一对应。
进一步地，与光谱校正矩阵中的每一列的校正参数一一对应的N个第一寄存器410连接了N个第一加法器420，则有第一图像传感器的感光数据分别经过每个乘法器430连接的N个第一寄存器410，N个第一乘法器430一一对应地电连接的N个第一寄存器410共同输入至任意一个第一加法器420中，并通过N个第一输出接口130输出，从而输出校正后的感光数据。
例如：如图5所示，3×3个第一寄存器510对应存储的光谱校正矩阵中的校正参数，即有光谱校正矩阵为[3×3]QE，具体为：
则有：
Rout＝Rin*Rr+Gin*Rg+Bin*Rb；
Gout＝Rin*Gr+Gin*Gg+Bin*Gb；
Bout＝Rin*Br+Gin*Bg+Bin*Bb。
其中，Rin、Gin和Bin分别为3个感光通道的输入数据，Rout、Gout和Bout分别为3个感光通道的输出数据。
本申请实施例提供的感光数据校正电路，通过设置结构简单的第一计算模块，不仅容易部署，还可以简化每一个感光通道的感光数据的校正过程。
在一个实施例中，感光数据校正电路还包括：
第二电路，第二电路包括N个第二输入接口、第二计算模块和N个第二输出接口；N个第二输入接口适于与第二图像传感器的N个感光通道一一对应地电连接；第二计算模块的输入端与N个第二输入接口进行电连接，第二计算模块的输出端与N个第二输出接口进行电连接；
第二计算模块用于基于基准校正矩阵调整第二图像传感器的感光数据。
感光数据校正电路还可以包括第二电路，第二电路与第一电路的电路元件和电路结构与第一电路一致，在此不再赘述。不同的是，第二计算模块中N×N个第二寄存器一一对应地存储了基准校正矩阵对应的校正参数。基准校正矩阵可以是单位矩阵或者是其他标准矩阵。单位矩阵为从左上角到右下角的对角线上的元素均为1，除此以外的元素全都为0的方形矩阵。其他标准矩阵可以是标准光谱响应曲线对应的矩阵。
可以理解的是，第一计算模块与第二计算模块均可以存储光谱校正矩阵和基准校正矩阵。即有在校正第一图像传感器的情况下，第一电路中的第一计算模块存储光谱校正矩阵，第二电路的第二计算模块存储基准校正矩阵；在校正第图像传感器的情况下，第二电路中的第二计算模块存储光谱校正矩阵，第一电路的第一计算模块存储基准校正矩阵。
在实际执行中，可以根据实际需求确定需要校正的目标图像传感器，并可以通过设置多组感光数据校正电路，结合多组电路开关来实现。或者是可以在一组感光数据校正电路中，第一电路和第二电路内部设置参数切换装置，基于需要校正的目标图像传感器来切换需要使用的校正参数。
本申请实施例提供的感光数据校正电路，通过设置第二电路，可以实现第一图像传感器和第二图像传感器的相互校正，可以使得用户在切换不同图像传感器的过程中看到的是平滑无色差的拍摄图像，从而实现图像传感器的无感知切换。
如图6所示，本申请实施例提供的感光数据校正方法，包括：步骤610和步骤620。
步骤610、获取第一图像传感器采集的第一图像；
步骤620、基于光谱校正矩阵，校正所述第一图像对应的感光数据；
其中，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
该感光数据校正方法的执行主体可以为电子设备或者电子设备中能够实现该感光数据校正方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机、可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的感光数据校正方法进行说明。
可以理解的是，电子设备可以配置有多个摄像模块，不同的摄像模块对应设置有不同的图像传感器。用户在使用电子设备进行拍摄的过程中，可能会切换图像传感器，并会存在由于不同图像传感器的感光曲线不同导致图像亮度或者图像颜色发生变化的情况。
例如：当用户需要放大图像的细节时，一般需要用户通过手势对屏幕进行视场角(Field of View，FOV)的缩小，进而达到细节放大的作用。上述过程就需要切换不同的图像传感器来实现，而在切换过程中，图像细节放大会导致画面基础素质的下降。
需要说明的是，FOV多指用户在使用手机的时候，会通过食指和拇指的收张滑动屏幕，控制手机视场角的缩小和放大。但是因为手机的镜头传感器的广角和主摄均为定焦视场角是固定的，所以为了匹配客户的这种需求，手机预览的视场变化是通过视场角更大的传感器通过的电子裁剪再做缩放实现的像素插值，等达到下一档传感器设计的目标倍率后，取景框再切换到下一颗传感器的视场，以达到类似光学变焦的效果。
为了解决此问题，在步骤610中，先获取第一图像传感器采集的第一图像。第一图像为电子设备拍摄界面显示的原始预览图像。
在步骤620中，在第一图像传感器切换至第二图像传感器的情况下，基于电子设备中的光谱校正矩阵，可以对第一图像对应的感光数据进行校正，得到第二图像传感器的第二图像，第二图像即为校正后的第一图像。
在电子设备拍摄预览界面上，将第一图像传感器切换至第二图像传感器表现为第一图像变换为第二图像。在没有进行校正时，用户可以明显感觉到拍摄图像的变化。而在进行校正后，第一图像和第二图像的颜色差异和亮度差异变小。
其中，光谱校正矩阵是基于所述第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数确定的，具体通过如下方式获取。
由图像传感器感光模型可知：
其中，A表示第一图像传感器的数字信号响应函数，B表示第二图像传感器的数字信号响应函数，Q为传感器的光谱响应函数，R为物体的反射率函数，I为被照射物体自身的光谱函数。也就是说图像传感器的数字信号响应函数实际就是图像传感器自身的光谱响应函数、物体反射率函数和被照射物体自身的光谱函数在不同光谱波段下的积分。
又因为在第一图像传感器和第二图像传感器拍摄物体相同的情况下，有RA(λ)＝RB(λ)且IA(λ)＝IB(λ)，因此可以通过计算第一图像传感器和第二图像传感器之间光谱响应函数的差异，来解决图像传感器最终数据的数字信号响应不一致的问题，即不同图像传感器生成的拍摄图像之间亮度或颜色的差异问题。
对于光谱响应函数的差异，可以通过如下方式来求解。先对第一图像传感器和第二图像传感器在不同波长处的光谱响应数据分别进行采样，并可以根据离散的光谱响应数据构建一个[N×M]矩阵，N为感光通道的个数，M为采样点的个数。再通过构建对公式[N×N]QE[N×M]B＝[N×M]A或[N×N]QE[N×M]A＝[N×M]B进行求解，则可以确定光谱校正矩阵。
在一个实施例中，光谱校正矩阵可以预先标定在图像传感器中，便于用户直接基于本申请实施例提供的感光数据校正方法进行拍摄。
可以理解的是，光谱校正矩阵可通过上述实施例中的感光数据校正电路确定，也可在实验室中借助标定设备预先确定，在此不作具体限定。
在实际执行中，可以使用单色仪配合积分球发射目标波长范围内的目标光谱。单色仪为光谱仪器中产生单色光的部件。单色仪与光谱摄谱仪的结构相似，为从宽波段的辐射束中分离出一系列狭窄波段的电磁辐射。
例如可以按照5nm为步进，分61次发射从400nm-700nm的光谱。记录第一图像传感器A的信号响应值dA(λ)、测量仪器上的目标光谱对应的第一光谱响应值rA(λ)和第一曝光时间tA(λ)。记录第二图像传感器B的信号响应值dB(λ)、测量仪器上的目标光谱对应的第二光谱响应值rB(λ)和第二曝光时间tB(λ)。同时记录光谱辐射计(例如：PR655)上环境光的光谱响应值r(λ)。对dA(λ)和dB(λ)进行数据的预处理，即减掉黑电平(Black LevelSubstaction，BLS)。
图像传感器内部为了保留低电压信号的数据，会在模拟信号转换数字信号之前给信号增加一个基底值，防止量化过程低位信号的丢失。但是这会导致信号数据的位移，所以BLS就是将最终输入到ISP通路的数据减去之前的基底值，使信号还原成原始的数据。
基于公式q(λ)＝d(λ)/(r(λ)*t(λ))，可以分别测量得到第一图像传感器A和第二图像传感器B的光谱响应函数。通过最小二乘法或者SVD分解的方法，求得A相较于B最接近的近似解，该近似解即为光谱校正矩阵。
将第二图像传感器的光谱响应函数作为目标函数，可以确定第一图像传感器的光谱响应函数的光谱校正矩阵，具体计算公式如下：qA(λ)*QEcorrect＝qB(λ)，求解该公式可得到光谱校正矩阵QEcorrect。
装置部署与参数标定过程如下：将光谱校正矩阵存储在第一图像传感器A的光谱校正装置中，并将基准校正矩阵存储在第一图像传感器B的光谱校正装置中。光谱校正装置可以部署在第一图像传感器A和第二图像传感器B的ISP处理通路中。
在一个实施例中，分别打开第一图像传感器A和第二图像传感器B的ISP处理通路中光谱校正装置的总开关。
其中，第一图像传感器A对应的光谱校正装置配置的校正参数为光谱校正矩阵，第二图像传感器B对应的光谱校正装置配置的校正参数为单位矩阵。
当第一图像传感器A和第二图像传感器B的感光数据分别流入两个光谱校正装置时，第一图像传感器A的光谱校正装置会根据光谱校正矩阵对输入的三个感光通道的感光数据进行加权并输出给后续图像处理模块；而第二图像传感器B中的光谱校正装置不会对第一图像传感器A的R、G、B三个感光通道的感光数据做任何改变，保持原始数值输出，从而实现校正第一图像传感器A的感光数据。
本申请实施例提供的感光数据校正方法，通过基于光谱校正矩阵校正第一图像传感器的感光数据，可以降低不同图像传感器之间的光谱响应差异，从而减小不同图像传感器生成的拍摄图像之间亮度或颜色的差异，可以保证不同图像传感器采集的图像亮度和图像颜色的一致性。
在一个实施例中，第一图像传感器的光谱响应函数根据第一图像传感器在目标光谱下的第一光谱响应值和第一曝光时间确定；
第二图像传感器的光谱响应函数根据第二图像传感器在目标光谱下的第二光谱响应值和第二曝光时间确定。
可以理解的是，由于图像传感器可采集的光谱波长范围有限，则可以选择目标波长范围内的目标光谱进行光谱响应数据的采样。采样的目标步进波长可以根据实际需求确定一个合适的值，不能过大或过小。目标步进波长过大，采样数据太多，导致计算量增大，影响校正效率；目标步进波长过小，采样数据过少，影响校正精度。
在一个实施例中，可见光的波长范围一般为380nm-780nm，但是由于普通的相机或摄像装置只能捕获红绿蓝三色波段信息，并且只覆盖400nm-700nm的波段范围，所以取400nm-700nm可见光波段范围为目标波长范围。
根据第一图像传感器A的信号响应值dA(λ)、测量仪器上的目标光谱对应的第一光谱响应值rA(λ)和第一曝光时间tA(λ)，以及第二图像传感器B的信号响应值dB(λ)、测量仪器上的目标光谱对应的第二光谱响应值rB(λ)和第二曝光时间tB(λ)。基于公式q(λ)＝d(λ)/(r(λ)*t(λ))，可以分别得到第一图像传感器A和第二图像传感器B的光谱响应函数。通过最小二乘法或者SVD分解的方法，求得A相较于B最接近的近似解，即光谱校正矩阵。
假设第一图像传感器和第二图像传感器都包括了3个感光通道，基于采样点的个数M和二者的光谱响应函数，第一图像传感器的光谱响应数据对应构建的矩阵为[3×M]A，第二图像传感器的光谱响应数据对应构建的矩阵为[3×M]B。在采样的目标步进波长为5nm的情况下，M＝61。进而可以根据[3×3]QE[3×M]A＝[3×M]B，可以求出使得A矩阵最逼近B矩阵的量子效率(Quantum Efficiency，QE)QE校正矩阵，QE校正矩阵即为光谱校正矩阵。其中，QE主要指图像传感器对于不同波段的光信号进行光电转换的效率。
本申请实施例提供的感光装置校正方法，基于第一图像传感器和第二图像传感器在目标光谱下的光谱响应值和曝光时间，确定第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数，可以确保校正精度，提高校正效率。
需要说明的是，本申请实施例提供的感光数据校正方法，执行主体可以为感光数据校正装置，或者该感光数据校正装置中的用于执行感光数据校正方法的控制模块。本申请实施例中以感光数据校正装置执行感光数据校正方法为例，说明本申请实施例提供的感光数据校正装置。
如图7所示，该感光数据校正装置包括：第一获取模块710和校正模块720。
第一获取模块710，用于获取第一图像传感器采集的第一图像；
校正模块720，用于基于光谱校正矩阵，校正所述第一图像对应的感光数据；
其中，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
本申请实施例提供的感光数据校正装置，通过基于光谱校正矩阵校正第一图像传感器的感光数据，可以降低不同图像传感器之间的光谱响应差异，从而减小不同图像传感器生成的拍摄图像之间亮度或颜色的差异，可以保证不同图像传感器采集的图像亮度和图像颜色的一致性。
在一些实施例中，所述第一图像传感器的光谱响应函数根据所述第一图像传感器在目标光谱下的第一光谱响应值和第一曝光时间确定；
所述第二图像传感器的光谱响应函数根据所述第二图像传感器在所述目标光谱下的第二光谱响应值和第二曝光时间确定。
本申请实施例中的感光数据校正装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的感光数据校正装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的感光数据校正装置能够实现图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。
在一个实施例中，本申请实施例还提供一种电子设备，包括上述实施例中个所述的感光数据校正电路，为避免重复，这里不再赘述。
如图8所示，本申请实施例还提供一种传感器标定方法，包括：步骤810、步骤820和步骤830。
步骤810、获取第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数；
步骤820、根据第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数，确定第一图像传感器相对于第二图像传感器的光谱校正矩阵；
步骤830、将光谱校正矩阵标定为第一图像传感器的校正参数。
本申请实施例中的传感器标定方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明不作具体限定。
下面以服务器作为执行主体为例对本申请实施例提供的传感器标定方法进行说明。
在步骤810中，可以使用单色仪配合积分球发射目标波长范围内的目标光谱。例如可以按照5nm为步进，分61次发射从400nm-700nm的光谱。记录第一图像传感器A的信号响应值dA(λ)、测量仪器上的目标光谱对应的第一光谱响应值rA(λ)和第一曝光时间tA(λ)。记录第二图像传感器B的信号响应值dB(λ)、测量仪器上的目标光谱对应的第二光谱响应值rB(λ)和第二曝光时间tB(λ)。同时记录光谱辐射计(例如：PR655)上环境光的光谱响应值r(λ)。对dA(λ)和dB(λ)进行数据的预处理，即减掉黑电平。
基于公式q(λ)＝d(λ)/(r(λ)*t(λ))，可以分别测量得到第一图像传感器的光谱响应函数和第二图像传感器B的光谱响应函数。
在步骤820中，基于第一图像传感器A的光谱响应函数和第二图像传感器B的光谱响应函数。通过最小二乘法或者SVD分解的方法，求得A相较于B最接近的近似解，即光谱校正矩阵。具体计算公式为：qA(λ)*QEcorrect＝qB(λ)，求解该公式可得到光谱校正矩阵QEcorrect。
在步骤830中，将光谱校正矩阵存储在第一图像传感器A的光谱校正装置中，并将基准校正矩阵存储在第一图像传感器B的光谱校正装置中。光谱校正装置可以部署在第一图像传感器A和第二图像传感器B的ISP处理通路中。
在实际执行中，分别打开第一图像传感器A和第二图像传感器B的ISP处理通路中光谱校正装置的总开关。
其中，第一图像传感器A对应的光谱校正装置配置的校正参数为光谱校正矩阵，第二图像传感器B对应的光谱校正装置配置的校正参数为单位矩阵。
当第一图像传感器A和第二图像传感器B的感光数据分别流入两个光谱校正装置时，第一图像传感器A的光谱校正装置会根据光谱校正矩阵对输入的感光通道的感光数据进行加权并输出给后续图像处理模块；而第二图像传感器B中的光谱校正装置不会对第一图像传感器A的感光数据做任何改变，保持原始数值输出，从而实现校正第一图像传感器A的感光数据。
本申请实施例提供的传感器标定方法，通过将光谱校正矩阵标定为第一图像传感器的校正参数，可以实现降低不同图像传感器之间的光谱响应差异，从而减小不同图像传感器生成的拍摄图像之间亮度或颜色的差异，可以保证不同图像传感器采集的图像亮度和图像颜色的一致性。
在一个实施例中，获取第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数，包括：
根据第一图像传感器在目标光谱下的第一光谱响应值和第一曝光时间，获取第一图像传感器的光谱响应函数；
根据第二图像传感器在目标光谱下的第二光谱响应值和第二曝光时间，获取第二图像传感器的光谱响应函数。
在本申请实施例中，第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数的获取方式与上述实施例中光谱响应函数的确定方式相同，在此不再赘述。
需要说明的是，本申请实施例提供的传感器标定方法，执行主体可以为传感器标定装置，或者该传感器标定装置中的用于执行传感器标定方法的控制模块。本申请实施例中以传感器标定装置执行传感器标定方法为例，说明本申请实施例提供的传感器标定装置。
如图9所示，该传感器标定装置包括：第二获取模块910、确定模块920和标定模块930。
第二获取模块910，用于获取第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数；
确定模块920，用于根据所述第一图像传感器的光谱响应函数和所述第二图像传感器的光谱响应函数，确定所述第一图像传感器相对于第二图像传感器的光谱校正矩阵；
标定模块930，用于将所述光谱校正矩阵标定为所述第一图像传感器的校正参数。
本申请实施例提供的传感器标定装置，通过将光谱校正矩阵标定为第一图像传感器的校正参数，可以实现降低不同图像传感器之间的光谱响应差异，从而减小不同图像传感器生成的拍摄图像之间亮度或颜色的差异，可以保证不同图像传感器采集的图像亮度和图像颜色的一致性。
可选地，所述第二获取模块910，具体用于：
根据所述第一图像传感器在目标光谱下的第一光谱响应值和第一曝光时间，获取所述第一图像传感器的光谱响应函数；
根据所述第二图像传感器在所述目标光谱下的第二光谱响应值和第二曝光时间，获取所述第二图像传感器的光谱响应函数。
本申请实施例中的传感器标定装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的传感器标定装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的传感器标定装置能够实现图8的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图10所示，本申请实施例还提供一种电子设备1000，包括处理器1001，存储器1002，存储在存储器1002上并可在所述处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述感光数据校正方法或传感器标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109以及处理器1110等部件。
本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器1110，用于获取第一图像传感器采集的第一图像；
基于光谱校正矩阵，校正所述第一图像对应的感光数据；
其中，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
本申请实施例提供的电子设备，通过基于光谱校正矩阵校正第一图像传感器的感光数据，可以降低不同图像传感器之间的光谱响应差异，从而减小不同图像传感器生成的拍摄图像之间亮度或颜色的差异，可以保证不同图像传感器采集的图像亮度和图像颜色的一致性。
可选地，所述第一图像传感器的光谱响应函数根据所述第一图像传感器在目标光谱下的第一光谱响应值和第一曝光时间确定；
所述第二图像传感器的光谱响应函数根据所述第二图像传感器在所述目标光谱下的第二光谱响应值和第二曝光时间确定。
或者，处理器1110，用于获取第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数；
根据所述第一图像传感器的光谱响应函数和所述第二图像传感器的光谱响应函数，确定所述第一图像传感器相对于第二图像传感器的光谱校正矩阵；
将所述光谱校正矩阵标定为所述第一图像传感器的校正参数。
本申请实施例提供的电子设备，通过将光谱校正矩阵标定为第一图像传感器的校正参数，可以实现降低不同图像传感器之间的光谱响应差异，从而减小不同图像传感器生成的拍摄图像之间亮度或颜色的差异，可以保证不同图像传感器采集的图像亮度和图像颜色的一致性。
可选地，处理器1110，还用于根据所述第一图像传感器在目标光谱下的第一光谱响应值和第一曝光时间，获取所述第一图像传感器的光谱响应函数；
根据所述第二图像传感器在所述目标光谱下的第二光谱响应值和第二曝光时间，获取所述第二图像传感器的光谱响应函数。
应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072。触控面板11071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述感光数据校正方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述感光数据校正方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (13)
1.一种感光数据校正电路，其特征在于，包括：
第一电路，所述第一电路包括N个第一输入接口、第一计算模块和N个第一输出接口；
所述N个第一输入接口适于与第一图像传感器的N个感光通道一一对应地电连接；
所述第一计算模块的输入端与所述N个第一输入接口进行电连接，所述第一计算模块的输出端与所述N个第一输出接口进行电连接；
所述第一计算模块用于基于光谱校正矩阵校正所述第一图像传感器的感光数据，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
2.根据权利要求1所述的感光数据校正电路，其特征在于，所述第一计算模块包括N×N个第一寄存器、N个第一加法器和N个第一乘法器；
所述N个第一乘法器的输入端与所述N个第一输入接口一一对应地电连接，每个所述第一乘法器的输出端均与N个所述第一寄存器的输入端电连接，且任一所述第一寄存器与单个所述第一乘法器电连接；
所述N个第一加法器的输入端与N个所述第一寄存器的输出端一一对应地电连接，且任一所述第一寄存器与单个所述第一加法器电连接；
任一所述第一加法器所连接的N个所述第一寄存器分别与N个所述第一乘法器一一对应地电连接；
所述N个第一加法器的输出端与所述N个第一输出接口一一对应地电连接；
其中，所述光谱校正矩阵为N行N列的矩阵；所述N×N个第一寄存器用于一一对应地存储所述光谱校正矩阵对应的校正参数。
3.根据权利要求1或2所述的感光数据校正电路，其特征在于，所述感光数据校正电路还包括：
第二电路，所述第二电路包括N个第二输入接口、第二计算模块和N个第二输出接口；
所述N个第二输入接口适于与第二图像传感器的N个感光通道一一对应地电连接；
所述第二计算模块的输入端与所述N个第二输入接口进行电连接，所述第二计算模块的输出端与所述N个第二输出接口进行电连接；
所述第二计算模块用于基于基准校正矩阵调整所述第二图像传感器的感光数据。
4.一种感光数据校正方法，其特征在于，包括：
获取第一图像传感器采集的第一图像；
基于光谱校正矩阵，校正所述第一图像对应的感光数据；
其中，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
5.根据权利要求4所述的感光数据校正方法，其特征在于，所述方法还包括：
所述第一图像传感器的光谱响应函数根据所述第一图像传感器在目标光谱下的第一光谱响应值和第一曝光时间确定；
所述第二图像传感器的光谱响应函数根据所述第二图像传感器在所述目标光谱下的第二光谱响应值和第二曝光时间确定。
6.一种感光数据校正装置，其特征在于，包括：
第一获取模块，用于获取第一图像传感器采集的第一图像；
校正模块，用于基于光谱校正矩阵，校正所述第一图像对应的感光数据；
其中，所述光谱校正矩阵是以第二图像传感器的光谱响应函数为目标函数确定的所述第一图像传感器的光谱响应函数的校正矩阵。
7.根据权利要求6所述的感光数据校正装置，其特征在于，
所述第一图像传感器的光谱响应函数根据所述第一图像传感器在目标光谱下的第一光谱响应值和第一曝光时间确定；
所述第二图像传感器的光谱响应函数根据所述第二图像传感器在所述目标光谱下的第二光谱响应值和第二曝光时间确定。
8.一种电子设备，其特征在于，包括权利要求1-3任一项所述的感光数据校正电路。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求4或5所述的感光数据校正方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求4或5所述的感光数据校正方法。
11.一种传感器标定方法，其特征在于，包括：
获取第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数；
根据所述第一图像传感器的光谱响应函数和所述第二图像传感器的光谱响应函数，确定所述第一图像传感器相对于第二图像传感器的光谱校正矩阵；
将所述光谱校正矩阵标定为所述第一图像传感器的校正参数。
12.根据权利要求11所述的传感器标定方法，其特征在于，所述获取第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数，包括：
根据所述第一图像传感器在目标光谱下的第一光谱响应值和第一曝光时间，获取所述第一图像传感器的光谱响应函数；
根据所述第二图像传感器在所述目标光谱下的第二光谱响应值和第二曝光时间，获取所述第二图像传感器的光谱响应函数。
13.一种传感器标定装置，其特征在于，包括：
第二获取模块，用于获取第一图像传感器的光谱响应函数和第二图像传感器的光谱响应函数；
确定模块，用于根据所述第一图像传感器的光谱响应函数和所述第二图像传感器的光谱响应函数，确定所述第一图像传感器相对于第二图像传感器的光谱校正矩阵；
标定模块，用于将所述光谱校正矩阵标定为所述第一图像传感器的校正参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210195674.6A CN114630108A (zh) | 2022-03-01 | 2022-03-01 | 感光数据校正电路、方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210195674.6A CN114630108A (zh) | 2022-03-01 | 2022-03-01 | 感光数据校正电路、方法、装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114630108A true CN114630108A (zh) | 2022-06-14 |
Family
ID=81900974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210195674.6A Pending CN114630108A (zh) | 2022-03-01 | 2022-03-01 | 感光数据校正电路、方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114630108A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101330564A (zh) * | 2007-06-21 | 2008-12-24 | 联詠科技股份有限公司 | 信号修正方法及其电路及图像信号修正方法及其电路 |
| US20110058072A1 (en) * | 2008-05-22 | 2011-03-10 | Yu-Wei Wang | Camera sensor correction |
| CN111859273A (zh) * | 2017-12-29 | 2020-10-30 | 华为技术有限公司 | 矩阵乘法器 |
| CN113639881A (zh) * | 2021-08-23 | 2021-11-12 | Oppo广东移动通信有限公司 | 色温测试方法及装置、计算机可读介质和电子设备 |
-
2022
- 2022-03-01 CN CN202210195674.6A patent/CN114630108A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101330564A (zh) * | 2007-06-21 | 2008-12-24 | 联詠科技股份有限公司 | 信号修正方法及其电路及图像信号修正方法及其电路 |
| US20110058072A1 (en) * | 2008-05-22 | 2011-03-10 | Yu-Wei Wang | Camera sensor correction |
| CN111859273A (zh) * | 2017-12-29 | 2020-10-30 | 华为技术有限公司 | 矩阵乘法器 |
| CN113639881A (zh) * | 2021-08-23 | 2021-11-12 | Oppo广东移动通信有限公司 | 色温测试方法及装置、计算机可读介质和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| "星智云图"工作室: "矩阵乘法的多种理解形式（硬件设计的基础）（FPGA）", Retrieved from the Internet <URL:https://blog.csdn.net/Gentleman_Qin/article/details/79999858> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108650497B (zh) | 具有透明滤波器像素的成像系统 | |
| EP2436187B1 (en) | Four-channel color filter array pattern | |
| US8237831B2 (en) | Four-channel color filter array interpolation | |
| US8253832B2 (en) | Interpolation for four-channel color filter array | |
| US8125546B2 (en) | Color filter array pattern having four-channels | |
| US7911505B2 (en) | Detecting illuminant flicker | |
| US20070177004A1 (en) | Image creating method and imaging device | |
| CN112118388B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| US20090087087A1 (en) | Pattern conversion for interpolation | |
| CN113676628B (zh) | 成像装置和图像处理方法 | |
| CN113676639B (zh) | 图像处理方法、处理装置、电子设备及介质 | |
| US20120127301A1 (en) | Adaptive spectral imaging by using an imaging assembly with tunable spectral sensitivities | |
| EP2800381A1 (en) | Image processing device and method, and imaging device | |
| KR20120114021A (ko) | 불량 픽셀 보정 방법 | |
| US8149292B2 (en) | Automatic white balance using non-uniform averaging | |
| JP4295149B2 (ja) | 色シェーディング補正方法および固体撮像装置 | |
| CN115701128A (zh) | 一种图像处理方法及相关设备 | |
| JP5776481B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
| CN114630108A (zh) | 感光数据校正电路、方法、装置、电子设备及介质 | |
| US11153467B2 (en) | Image processing | |
| TWI536765B (zh) | 具有透明濾波器像素之成像系統 | |
| CN115134498A (zh) | 一种图像传感器、摄像头模组、电子设备及图像处理方法 | |
| TWI601427B (zh) | 具有透明濾波器像素之成像系統 | |
| CN118233766A (zh) | 图像数据的处理方法、装置、终端、存储介质及程序产品 | |
| CN117479025A (zh) | 视频处理方法、视频处理装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |