CN112655193A - 相机及其对齐方法和装置、云台 - Google Patents

相机及其对齐方法和装置、云台 Download PDF

Info

Publication number
CN112655193A
CN112655193A CN202080004936.5A CN202080004936A CN112655193A CN 112655193 A CN112655193 A CN 112655193A CN 202080004936 A CN202080004936 A CN 202080004936A CN 112655193 A CN112655193 A CN 112655193A
Authority
CN
China
Prior art keywords
white balance
camera
color
color temperature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080004936.5A
Other languages
English (en)
Inventor
严毅民
陈安秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112655193A publication Critical patent/CN112655193A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种相机对齐方法及装置。该方法包括：从多个摄像头中确定一参考摄像头；确定参考摄像头的白平衡增益；确定与白平衡增益对应的当前色温；针对多个摄像头中除参考摄像头之外的其他摄像头中的一个或多个目标摄像头，执行以下操作使每个目标摄像头与参考摄像头之间实现白平衡对齐：确定与当前色温对应的白平衡增益映射矩阵，其中，白平衡增益映射矩阵用于表征在当前色温下参考摄像头的白平衡增益与目标摄像头的白平衡增益之间的映射关系；以及使参考摄像头的白平衡增益与白平衡增益映射矩阵相乘，以得到目标摄像头的第一白平衡增益。本申请根据参考摄像头的白平衡增益，通过白平衡增益映射矩阵直接进行映射得到其他摄像头的白平衡增益，由此其他摄像头与参考摄像头之间的颜色差异在于映射时的精度误差，而映射时的精度误差通常比较小而且比较稳定，因此本申请采用的相机对齐方法可以保证不同摄像头之间的色差较小而且比较稳定。

Description

相机及其对齐方法和装置、云台
技术领域
本申请涉及相机技术领域，尤其涉及一种相机对齐方法、一种相机对齐装置、一种相机、一种云台、一种计算机可读存储介质、一种计算机程序。
背景技术
近年来，支持双摄像头或多摄像头的相机系统越来越多。不同摄像头之间由于镜头、滤光片、光学传感器响应等差异，使得不同摄像头拍摄的照片或视频的颜色存在明显差异。
发明内容
本申请实施例提供了一种相机对齐方法及装置，可以解决同一相机系统中不同摄像头拍摄的照片或视频的颜色存在明显差异的技术问题。
第一方面，本申请实施例提供一种相机对齐方法，所述相机具有多个摄像头，所述方法包括：从所述多个摄像头中确定一参考摄像头；确定所述参考摄像头的白平衡增益；确定与所述白平衡增益对应的当前色温；针对所述多个摄像头中除所述参考摄像头之外的其他摄像头中的一个或多个目标摄像头，执行以下操作使每个所述目标摄像头与所述参考摄像头之间实现白平衡对齐：确定与所述当前色温对应的白平衡增益映射矩阵，其中，所述白平衡增益映射矩阵用于表征在所述当前色温下所述参考摄像头的白平衡增益与所述目标摄像头的白平衡增益之间的映射关系；以及使所述参考摄像头的白平衡增益与所述白平衡增益映射矩阵相乘，以得到所述目标摄像头的第一白平衡增益。
第二方面，本申请实施例提供一种相机对齐装置，所述相机具有多个摄像头，所述装置包括处理器和存储器，所述存储器用于存储指令，所述处理器调用所述存储器中存储的所述指令，用于实现以下操作：从所述多个摄像头中确定一参考摄像头；确定所述参考摄像头的白平衡增益；确定与所述白平衡增益对应的当前色温；针对所述多个摄像头中除所述参考摄像头之外的其他摄像头中的一个或多个目标摄像头，执行以下操作使每个所述目标摄像头与所述参考摄像头之间实现白平衡对齐：确定与所述当前色温对应的白平衡增益映射矩阵，其中，所述白平衡增益映射矩阵用于表征在所述当前色温下所述参考摄像头的白平衡增益与所述目标摄像头的白平衡增益之间的映射关系；以及使所述参考摄像头的白平衡增益与所述白平衡增益映射矩阵相乘，以得到所述目标摄像头的第一白平衡增益。
第三方面，本申请实施例提供一种相机，包括：多个摄像头；以及上述第二方面任一项所述的相机对齐装置。
第四方面，本申请实施例提供一种云台，包括：上述第三方面任一项所述的相机。
第五方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得所述计算机执行上述第一方面任一项所述的相机对齐方法。
第六方面，本申请实施例提供一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使得所述计算机执行上述第一方面任一项所述的相机对齐方法。
本申请实施例提供了一种相机对齐方法及装置，根据参考摄像头的白平衡增益，并通过白平衡增益映射矩阵直接进行映射得到其他摄像头的白平衡增益，由此使得其他摄像头与参考摄像头拍摄的照片或视频存在颜色偏差的原因在于映射时的精度误差，而映射时的精度误差通常比较小而且比较稳定，因此本申请采用的相机对齐方法可以保证不同摄像头拍摄的照片或视频的颜色偏差较小而且比较稳定。
附图说明
图1A为本申请实施例提供的相机对齐方法的应用场景示意图一；
图1B为本申请实施例提供的相机对齐方法的应用场景示意图二；
图2为本申请一实施例提供的相机对齐方法的流程示意图；
图3A和图3B为本申请一实施例提供的实现白平衡对齐的示意图；
图4为本申请一实施例提供的实现白平衡对齐和色彩对齐的示意图；
图5为本申请实施例提供的相机的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供的相机对齐方法可以应用于任何需要进行白平衡对齐和色彩对齐的相机对齐过程中，该相机对齐方法具体可以由相机对齐装置执行。该相机对齐装置可以为应用于具有两个摄像头的相机系统的装置，相应的，本申请实施例提供的相机对齐方法的应用场景示意图可以如图1A所示。具体的，该相机对齐装置的处理器可以以相机系统的一个摄像头作为参考摄像头，对该相机系统的另一个摄像头采用本申请实施例提供的相机对齐方法进行处理。
或者，该相机对齐装置也可以为应用于具有三个及三个以上摄像头的相机系统的装置，相应的，本申请实施例提供的相机对齐方法的应用场景示意图可以如图1B所示(图中示出了三个摄像头的情况)。具体的，该相机对齐装置的处理器可以以相机系统的一个摄像头作为参考摄像头，对该相机系统的其他摄像头采用本申请实施例提供的相机对齐方法进行处理。
需要说明的是，图1A和图1B仅为示意图，并不对相机的结构作限定。例如相机还可以包括存储器，用于存储白平衡增益等相关参数。
需要说明的是，对于包括该相机对齐装置的设备的类型，本申请实施例可以不做限定，该设备例如可以为智能相机、智能手机、智能机器人、平板电脑等。
本申请实施例提供的相机对齐方法，可以根据参考摄像头的白平衡增益，并通过白平衡增益映射矩阵直接进行映射得到其他摄像头的白平衡增益，由此使得其他摄像头与参考摄像头所拍摄的照片或视频的颜色存在差异的原因在于映射时的精度误差，而映射时的精度误差通常比较小而且比较稳定，因此本申请采用的相机对齐方法可以保证不同摄像头拍摄的照片或视频的颜色偏差较小而且比较稳定。
需要说明的是，本申请实施例提供的相机对齐方法，可以应用于相机领域，以及具有相机功能的电子设备等领域，本申请在此不做限定。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图2为本申请一实施例提供的相机对齐方法的流程示意图，本实施例的执行主体可以为相机对齐装置，具体可以为相机对齐装置的处理器。如图2所示，本实施例的方法例如可以应用于具有多个摄像头的相机，且该方法例如可以包括S201至S206。
S201，从多个摄像头中确定一参考摄像头。
在一个实施例中，可以将相机中的任意一个摄像头确定为本申请的参考摄像头，同时将剩余的其他摄像头确定为本申请的目标摄像头。例如，可以将相机中的主摄像头确定为本申请的参考摄像头，同时将副摄像头确定为本申请的目标摄像头。
在另一个实施例中，可以将用户指定的一个摄像头确定为本申请的参考摄像头，同时将剩余的其他摄像头确定为本申请的目标摄像头。
S202，确定参考摄像头的白平衡增益。
在本公开实施例中，可以利用各种白平衡算法计算参考摄像头的白平衡增益(即白平衡值)。在一个实施例中，例如可以利用自适应白平衡算法计算参考摄像头的白平衡增益。
S203，确定与白平衡增益对应的当前色温。
在本公开实施例中，在S203中，可以利用各种色温估计算法计算与参考摄像头的白平衡增益对应的当前色温(以下简称当前色温CT)。在一个实施例中，例如可以利用自适应色温估计算法计算当前色温。
S204，针对多个摄像头中除参考摄像头之外的其他摄像头中的一个或多个目标摄像头，执行以下操作(如S205和S206)使每个目标摄像头与参考摄像头之间实现白平衡对齐。
S205，确定与当前色温对应的白平衡增益映射矩阵。
在本公开实施例中，与当前色温对应的白平衡增益映射矩阵用于表征在当前色温下参考摄像头的白平衡增益与目标摄像头的白平衡增益之间的映射关系。应该理解，在相同色温下，不同目标摄像头与同一参考摄像头之间的白平衡增益映射关系可能相同，也可能不同。
在本公开实施例中，在S205之前，可以预先标定用于表征不同色温下参考摄像头的白平衡增益与各目标摄像头的白平衡增益之间的映射关系的一系列白平衡增益矩阵。
在S205，可以先利用当前色温CT从预先标定的一系列白平衡增益映射矩阵中筛选出与当前色温CT相邻或者相近的色温对应的白平衡增益映射矩阵，然后对选出的白平衡增益映射矩阵进行线性插值，从而求出与当前色温CT对应的白平衡增益映射矩阵。
具体地，作为一个可选的实施例，S205例如可以包括如下操作：
确定与当前色温临近的色温。
确定针对该临近的色温标定的白平衡增益映射矩阵。
基于针对该临近的色温标定的白平衡增益映射矩阵确定与当前色温对应的白平衡增益映射矩阵。
例如，一相机系统具有摄像头A和摄像头B两个摄像头，其中以摄像头A为参考摄像头，以摄像头B为目标摄像头，在对摄像头A和摄像头B进行白平衡对齐时，可以先利用自适应白平衡算法计算出摄像头A的白平衡增益，接着利用自适应色温估计算法计算出与该摄像头A的白平衡增益对应的当前色温CT1，然后从预先标定的白平衡增益映射矩阵中选择与该当前色温CT1相邻或者相近的色温对应的白平衡增益映射矩阵，进而对选出的白平衡增益映射矩阵进行线性插值，从而求出与当前色温CT1对应的白平衡增益映射矩阵。
比如当前色温CT1为4000K，现有与4000K相邻的3000K和5000K两个色温已标定了对应的两个白平衡增益映射矩阵，该两个白平衡增益映射矩阵将被选出用于计算与当前色温CT1对应的白平衡增益映射矩阵。并且由于4000K点位于3000K和5000K两点中心，因此与4000K对应的白平衡增益映射矩阵例如可以为分别与3000K和5000K对应的两个白平衡增益映射矩阵的平均。
再比如当前色温CT1为2000K，现有与2000K相邻的3000K一个色温已标定了对应的白平衡增益映射矩阵，该白平衡增益映射矩阵将被选出用于计算与当前色温CT1对应的白平衡增益映射矩阵。由于2000K点位于3000K点以下，因此可以直接将与3000K对应的白平衡增益映射矩阵作为与2000K对应的白平衡增益映射矩阵。
再比如当前色温CT1为6000K，现有与6000K相邻的5000K一个色温已标定了对应的白平衡增益映射矩阵，该白平衡增益映射矩阵将被选出用于计算与当前色温CT1对应的白平衡增益映射矩阵。由于6000K点位于5000K点以上，因此可以直接将与5000K对应的白平衡增益映射矩阵作为与6000K对应的白平衡增益映射矩阵。
在本公开实施例中，如果存在多个目标摄像头，计算方法类似，只是不同目标摄像头与参考摄像头之间具有各自的白平衡增益映射矩阵，本申请在此不再赘述。
进一步，在本公开实施例中，在不同色温下标定各目标摄像头与参考摄像头之间的白平衡增益映射矩阵例如可以包括在不同色温下执行以下操作：
控制参考摄像头和各目标摄像头分别针对白平衡卡采集图像。
基于参考摄像头采集的图像数据计算白平衡卡中心区域的RGB三个通道的平均值的第一比值。
基于各目标摄像头采集的图像数据计算白平衡卡中心区域的RGB三个通道的平均值的第二比值。
基于第一比值和与各目标摄像头对应的第二比值之间的映射关系，确定对应色温下用于表征参考摄像头与对应的目标摄像头之间的白平衡增益映射关系的白平衡增益映射矩阵。
以具有主、副两个摄像头的相机系统为例，可以在不同光源下(如D65、TL84、A等常见光源以及其他可调色温色调的光源)使用主摄像头和副摄像头分别拍摄白平衡卡，并分别基于两个摄像头所拍摄的图片计算白平衡卡中心区域的RGB三个通道的平均值的比值，即，Rgain＝G/R、Ggain＝G/G、Bgain＝G/B(或Rgain＝R/G，Ggain＝G/G，Bgain＝B/G)。进而使用对应色温下及该色温附近的Rgain和Bgain计算该色温下用于表征主摄像头与副摄像头之间的白平衡增益映射关系的白平衡增益映射矩阵。需要说明的是，在利用Rgain和Bgain计算白平衡增益映射矩阵时，常见光源的Rgain和Bgain的权重可以配置地更高一些。计算白平衡增益映射矩阵的方法可以包括多项式拟合法，其中本申请不限定多项式的阶数。
例如，一相机系统具有摄像头A和摄像头B两个摄像头，其中以摄像头A为参考摄像头，以摄像头B为目标摄像头，在针对摄像头A和摄像头B标定白平衡增益映射矩阵时，可以分别在不同光源下计算摄像头A的RgainA、BgainA以及摄像头B的RgainB、BgainB，并使用对应色温下及该色温附近的Rgain和Bgain计算该色温用于表征摄像头A与摄像头B之间的白平衡增益映射关系的白平衡增益映射矩阵(比如要计算4000K对应的白平衡增益映射矩阵，可使用3500K至4500K范围内光源下对应的摄像头A、摄像头B的Rgain和Bgain参与计算，越靠近4000K分配的权重越高)。下面的公式1为一阶多项式拟合(也可以使用更高阶的多项式拟合)，可以用于计算本申请的白平衡增益映射矩阵。
公式1：
RgainB＝α11RgainA+α12GgainA+α13BgainA
GgainB＝α21RgainA+α22GgainA+α23BgainA
BgainB＝α21RgainA+α32GgainA+α33BgainA
公式1可写成矩阵形式：
wbgainB＝T*wbgainA
因此，本申请的白平衡增益映射矩阵T可通过下式即公式2求得：
公式2：
Figure BDA0002961380370000071
其中，W为权重矩阵。该权重矩阵为对角矩阵，即在W矩阵的对角线上的每一个值为一个权重值，而每一个权重值对应于一个色温。
在本公开实施例中，通过参考摄像头的白平衡增益估计当前的色温，再利用当前的色温和预先标定的白平衡增益映射矩阵计算与当前色温对应的白平衡增益映射矩阵，进而利用参考摄像头的白平衡增益和计算得到的白平衡增益映射矩阵映射出目标摄像头的白平衡增益。由于该种映射方案并不是强依赖于色温的简单的线性映射，而是依赖于白平衡增益映射矩阵的映射，而白平衡增益映射矩阵一方面是针对多个不同的光源标定的，另一方面还可以进行平移、旋转等多种形式的运算，因而依赖于白平衡增益映射矩阵的映射属于复杂的多项式拟合，因此本申请的白平衡增益转换精度更高。
此外，由于预先标定的白平衡增益映射矩阵是在不同光源下标定的，因此本申请提供的相机对齐方案的白平衡更加稳定。即，无论是在同温异谱光源下还是在同温同谱光源下，无论是在不同规格的摄像头之间还是在相同规格的摄像头之间，在通过本申请提供的相机对齐方案实现白平衡对齐后，相机系统的多个摄像头所拍摄的照片和视频都不容易出现偏色。
S206，使参考摄像头的白平衡增益与白平衡增益映射矩阵相乘，以得到目标摄像头的第一白平衡增益。
需要说明的是，在本公开实施例中，除了可以利用如图3A所示的一条通路(以下称为第一通路，即利用白平衡增益映射矩阵)计算目标摄像头的白平衡增益以便使目标摄像头与参考摄像头实现白平衡对齐之外，还可以利用如图3B所示的另一条通路(以下称为第二通路，即利用白平衡统计值映射矩阵)计算目标摄像头的另一白平衡增益，进而对通过两条通路各自计算得到的白平衡增益进行融合，以便使目标摄像头与参考摄像头实现白平衡对齐。
需要说明的是，使用双通路融合的方案，由于第一通路可以有效增强白平衡的稳定性，而第二路存在较大的可调空间，因而本申请使得不同摄像头之间的白平衡对齐可以同时兼顾稳定性和可调性。并且，第一通路和第二通路可以分别直接在白平衡增益空间与白平衡统计值空间上进行映射，两种映射都不强依赖于色温，因而可以有效改善不同规格的摄像头在同温异谱光源下存在的偏色的问题。
在本公开实施例中，第一通路的发明构思在于直接基于参考摄像头的白平衡增益进行映射得到目标摄像头的白平衡增益，其主要误差在于映射时的精度误差，因此误差比较稳定，不会有误差突变的情况。另外，对于目标摄像头由于变焦而形成画面视角变化，进而导致白平衡统计值变化的情况，第一通路给出的白平衡对齐结果并不受影响，可以保持稳定性。即，本申请通过第一通路可以有效解决同一摄像头进行变焦时变焦前后画面变化容易导致颜色跳变的问题。
在本公开实施例中，第二通路的发明构思在于基于参考摄像头的白平衡统计值进行映射得到目标摄像头的白平衡统计值，接着将目标摄像头的白平衡统计值作为自适应白平衡算法的输入进行计算得到目标摄像头的白平衡增益。由于自适应白平衡算法中存在许多可调节的参数，因此第二通路的可调空间较大，可以通过调整这些参数来提高白平衡增益的换算精调，进而提高最终的白平衡对齐结果的准确性。
以下将结合具体实施例详细阐述双通路融合的白平衡对齐方案。
作为一个可选的实施例，该方法除了包括上述步骤(即第一通路的相关步骤)之外，例如还可以包括如下操作(即第二通路的相关步骤)：
确定与当前色温对应的白平衡统计值映射矩阵。其中，与当前色温对应的白平衡统计值映射矩阵用于表征在当前色温下参考摄像头的白平衡统计值与各目标摄像头的白平衡统计值之间的映射关系。应该理解，在相同色温下，不同目标摄像头与同一参考摄像头之间的白平衡统计值映射关系可能相同，也可能不同。
确定参考摄像头在当前色温下的白平衡统计值。
使参考摄像头的白平衡统计值与前述步骤确定的与当前色温对应的白平衡统计值映射矩阵相乘，以得到各目标摄像头的第二白平衡增益。
基于第一白平衡增益和对应的第二白平衡增益确定各目标摄像头在当前色温下的白平衡增益。
在本公开实施例中，在确定与当前色温对应的白平衡统计值映射矩阵之前，可以预先标定用于表征不同色温下参考摄像头的白平衡统计值与各目标摄像头的白平衡统计值之间的映射关系的一系列白平衡统计值映射矩阵。
在确定与当前色温对应的白平衡统计值映射矩阵时，可以先利用当前色温CT从预先标定的一系列白平衡统计值映射矩阵中筛选出与当前色温CT相邻或者相近的色温对应的白平衡统计值映射矩阵，然后对选出的白平衡统计值映射矩阵进行线性插值，从而求出与当前色温CT对应的白平衡统计值映射矩阵。
在本公开实施例中，白平衡统计值是分色块统计的。白平衡统计值例如可以包括Rgain＝G/R、Bgain＝G/B(或Rgain＝R/G、Bgain＝B/G；或RGB三通道的平均值，其中RGB三通道的平均值可以转换为Rgain和Bgain)。
以白平衡统计值为Rgain＝G/R、Bgain＝G/B为例，将参考摄像头的各色块对应的白平衡统计值乘上对应的白平衡统计值映射矩阵可以得到目标摄像头的各色块对应的白平衡统计值。然后，使用自适应白平衡算法在校准后的目标摄像头的白平衡统计值的基础上计算目标摄像头的白平衡增益。需要说明的是，在自适应白平衡算法中，可以将越接近当前色温CT的色温对应的白平衡统计值的权重分配的越高一些。
具体地，作为一个可选的实施例，确定与当前色温对应的白平衡统计值映射矩阵例如可以包括如下操作：
确定与当前色温临近的色温。
确定针对该临近的色温标定的白平衡统计值映射矩阵。
基于针对该临近的色温标定的白平衡统计值映射矩阵确定与当前色温对应的白平衡统计值映射矩阵。
例如，一相机系统具有摄像头A和摄像头B两个摄像头，其中以摄像头A为参考摄像头，以摄像头B为目标摄像头，在对摄像头A和摄像头B进行白平衡对齐时，可以先利用自适应白平衡算法计算出摄像头A的白平衡增益，接着利用自适应色温估计算法计算出与该摄像头A的白平衡增益对应的当前色温CT2，然后从预先标定的白平衡统计值映射矩阵中选择与该当前色温CT2相邻或者相近的色温对应的白平衡统计值映射矩阵，进而对选出的白平衡统计值映射矩阵进行线性插值，从而求出与当前色温CT2对应的白平衡统计值映射矩阵。
比如当前色温CT2为4000K，现有与4000K相邻的3000K和5000K两个色温已标定了对应的两个白平衡统计值映射矩阵，该两个白平衡统计值映射矩阵将被选出用于计算与当前色温CT2对应的白平衡统计值映射矩阵。并且由于4000K点位于3000K和5000K两点中心，因此与4000K对应的白平衡统计值映射矩阵例如可以为与3000K和5000K分别对应的两个白平衡统计值映射矩阵的平均。
再比如当前色温CT2为2000K，现有与2000K相邻的3000K一个色温已标定了对应的白平衡统计值映射矩阵，该白平衡统计值映射矩阵将被选出用于计算与当前色温CT2对应的白平衡统计值映射矩阵。由于2000K点位于3000K点以下，因此可以直接将与3000K对应的白平衡统计值映射矩阵作为与2000K对应的白平衡统计值映射矩阵。
再比如当前色温CT2为6000K，现有与6000K相邻的5000K一个色温已标定了对应的白平衡统计值映射矩阵，该白平衡统计值映射矩阵将被选出用于计算与当前色温CT2对应的白平衡统计值映射矩阵。由于6000K点位于5000K点以上，因此可以直接将与5000K对应的白平衡统计值映射矩阵作为与6000K对应的白平衡统计值映射矩阵。
在本公开实施例中，如果存在多个目标摄像头，计算方法类似，只是不同目标摄像头与参考摄像头之间具有各自的白平衡统计值映射矩阵，本申请在此不再赘述。
进一步，在确定参考摄像头在当前色温下的白平衡统计值(例如，假设共32*32个白平衡统计值，且每个白平衡统计值包括G/R和G/B)以及与当前色温对应的白平衡统计值映射矩阵之后，将每个白平衡统计值乘上所求得的白平衡统计值映射矩阵，即可得到目标摄像头在当前色温下的校准后的32*32个白平衡统计值。接着，将这些校准后的统计值作为自适应白平衡算法的输入进行计算，即可得到目标摄像头的白平衡增益。其中，在计算目标摄像头的白平衡增益的自适应白平衡算法中，可以根据参考摄像头计算的当前色温来分配各白平衡统计值的权重。例如与白平衡统计值对应的色温越接近当前色温，该白平衡统计值被分配的权重可以越高。
在本公开实施例中，如果存在多个目标摄像头，计算方法类似，只是不同目标摄像头与参考摄像头之间具有各自的白平衡统计值映射矩阵，本申请在此不再赘述。
进一步，在本公开实施例中，在不同色温下标定白平衡统计值映射矩阵例如可以包括不同色温下执行以下操作：
控制参考摄像头和各目标摄像头分别针对第二目标色卡采集图像。
基于参考摄像头采集的图像数据计算第二目标色卡上各色块中心区域的RGB三个通道的平均值的第三比值。
基于各目标摄像头采集的图像数据计算第二目标色卡上各色块中心区域的RGB三个通道的平均值的第四比值。
基于第二比值和第四比值之间的映射关系，确定对应色温下的白平衡统计值映射矩阵。
以具有主、副两个摄像头的相机系统为例，可以在不同光源下(如D65、TL84、A等常见光源以及其他可调色温色调的光源)使用主摄像头和副摄像头分别拍摄Classic ColorChecker色卡或Digital SG Color Checker色卡(或其他色卡)，并分别基于这两个摄像头所拍摄的图片计算色卡上各个色块的中心区域的RGB三个通道的平均值的比值，即，Rgain＝G/R、Bgain＝G/B(或Rgain＝R/G，Bgain＝B/G)。进而使用对应色温下及该色温附近的Rgain和Bgain计算该色温下用于表征主摄像头与副摄像头之间的白平衡统计值的映射关系的白平衡统计值映射矩阵。需要说明的是，在利用Rgain和Bgain计算白平衡统计值映射矩阵时，常见光源的Rgain和Bgain的权重可以配置地更高一些。计算白平衡统计值映射矩阵的方法可以包括多项式拟合法，其中本申请不限定多项式的阶数。
应该理解，“白平衡统计值映射矩阵的标定方法”与“白平衡增益映射矩阵的标定方法”类似，不同之处在于标定“白平衡增益映射矩阵”时使用的是白平衡卡的数据，而标定“白平衡统计值映射矩阵”时使用的是含有多种色块的色卡数据(如Classic ColorChecker色卡或Digital SG Color Checker色卡)。更具体地说，标定“白平衡统计值映射矩阵”使用的是色卡上不同色块区域的数据。
此外，作为一个可选的实施例，基于第一白平衡增益和第二白平衡增益确定目标摄像头在当前色温下的白平衡增益例如可以包括如下操作：
基于当前色温、以及第一白平衡增益和第二白平衡增益之间的欧式距离，确定第一白平衡增益的第一权重和第二白平衡增益的第二权重。
基于第一白平衡增益和第二白平衡增益、以及第一权重和第二权重，确定目标摄像头在当前色温下的白平衡增益。
在本公开实施例中，在通过上述两个通路分别得到两个白平衡增益后，根据当前色温、以及这两个白平衡增益之间的欧式距离可以调整融合这两个白平衡增益所使用的权重，最终得到各目标摄像头的白平衡增益。
例如，这两个白平衡增益之间的欧式距离越大，则可以将第一白平衡增益的权重配置的越高。第一白平衡增益是直接对参考摄像头的白平衡增益进行映射得到的目标摄像头的白平衡增益，其主要误差在于映射时的精度误差，虽然有误差但是比较稳定，因此可以用于白平衡对齐的初步定位。而第二白平衡增益是先对参考摄像头的白平衡统计值进行映射得到目标摄像头的白平衡统计值，再将目标摄像头的白平衡统计值作为自适应白平衡算法的输入进行计算得到的目标摄像头的白平衡增益值。由于自适应白平衡算法中存在许多可调节的参数，因此第二通路的可调空间较大，可以通过精调提高最终得到的目标摄像头的白平衡增益值的准确性。在得到第一白平衡增益和第二白平衡增益的权重后，即可通过加权平均得到这两个白平衡增益的融合结果。
进一步，在本公开实施例中，除了可以实现白平衡对齐之外，还可以在此基础上实现色彩对齐。
具体地，在本公开实施例中，如图4所示，该方法例如还可以包括：在每个目标摄像头与参考摄像头之间实现白平衡对齐后，针对每个目标摄像头，执行目标摄像头与参考摄像头的色彩对齐操作。
更具体地，在本公开实施例中，该色彩对齐操作例如可以包括如下操作：
获取在不同色温下对参考摄像头标定的第一颜色查找表(如3DLUT)。
获取在不同色温下对目标摄像头标定的第二颜色查找表，其中，在不同色温下对目标摄像头标定的第一颜色查找表与在不同色温下对参考摄像头标定的第二颜色查找表已对齐。
基于获取的第一颜色查找表，针对参考摄像头确定与当前色温对应的颜色查找表(以下称为3DLUT1)，并基于获取的第二颜色查找表，针对目标摄像头确定与当前色温对应的颜色查找表(以下称为3DLUT2)，使得目标摄像头与参考摄像头实现色彩对齐。
需要说明的是，在本公开实施例中，在得到3DLUT1和3DLUT2后，参考摄像头基于3DLUT1拍摄的照片和录制的视频的色彩与目标摄像头基于3DLUT2拍摄的照片和录制的视频的色彩便可实现对齐。
进一步，在本公开实施例中，在不同色温下对目标摄像头进行颜色查找表标定包括在不同色温下执行以下操作：
控制参考摄像头和目标摄像头在相同环境下分别针对第一目标色卡进行图像采集。
基于参考摄像头采集的图像数据，对参考摄像头先进行CCM矩阵(色彩校正矩阵)标定，再进行颜色查找表标定。需要说明的是，在针对参考摄像头标定颜色查找表时，目标值可以使用国际标准规定的目标值，也可以使用用户指定的目标值(例如已经应用在某款产品上的目标值等)。
基于目标摄像头采集的图像数据和对参考摄像头标定的CCM矩阵，对目标摄像头进行CCM矩阵标定，以使目标摄像头与参考摄像头对齐色域。
在使目标摄像头与参考摄像头对齐色域后，基于对目标摄像头标定的CCM矩阵和对参考摄像头标定的颜色查找表，对目标摄像头进行颜色查找表标定，使得在相同温度下对参考摄像头标定的颜色查找表与对目标摄像头标定的颜色查找表对齐。需要说明的是，在针对目标摄像头标定颜色查找表时，可以将相同色温下参考摄像头基于其已标定的颜色查找表的输出值作为目标值。
需要说明的是，在本公开实施例中，在将参考摄像头基于其已标定的颜色查找表的输出值作为目标值，在相同色温下对目标摄像头自动标定颜色查找表后，目标摄像头与参考摄像头的色彩对齐程度可以达到较高水平，例如色彩对齐程度可以达到70以上。
为了使参考摄像头和目标摄像头的色彩对齐程度达到更高水平，在另一个可选的实施例中，在基于上述操作自动标定目标摄像头的颜色查找表后，还可以对针对参考摄像头和目标摄像头已标定的颜色查找表进行手动调整。例如经手动调整后色彩对齐程度可以达到90以上。
此外，在本公开实施例中，为了达到更好的色彩对齐效果，在参考摄像头的输出值作为目标摄像头的目标值时，可以对输出值的参数范围进行限制，例如，使所得到的颜色查找表的对角线为直线，使实际值与目标值之间的位移不超出位移阈值，使色彩的整体亮度不发生变化，使颜色查找表中每个点的映射距离不超出预设值，等等。
具体地，在白平衡对齐的基础上，可以先在相同环境和光照下，使用参考摄像头和目标摄像头分别针对相同的色卡采集色卡图像。然后基于参考摄像头采集的图像对参考摄像头进行CCM矩阵标定并确定色域。进而针对色卡上(如24色卡上)每个色块的实际值和目标值之间的差别，首先将RGB空间转换为LAB空间，然后在LAB空间使用优化算法(如公式3)得到3x3矩阵，使得色卡上每个色块的实际值逼近目标值。
公式3：
Figure BDA0002961380370000141
在得到参考摄像头的3x3矩阵后，基于目标摄像头采集的图像对目标摄像头进行相同的CCM矩阵标定，并针对色卡(如24色卡)进行相同的处理。其中此时的目标值换成相同色温下前述参考摄像头基于其已标定的定颜色查找表的输出值。
对参考摄像头进行3DLUT标定包括，拍摄24色卡和144色卡，并通过优化算法对拍摄的原始数据进行优化得到16x16x16的RGB域的映射3DLUT，即得到参考摄像头最终的色彩，同时得到参考摄像头的3DLUT标定数据。
在参考摄像头上应用3x3矩阵和3DLUT之后，得到参考摄像头色彩，提取其RGB值，使用目标摄像头拍摄24色卡和144色卡，应用3x3矩阵对目标摄像头拍摄的原始数据进行处理得到中间色彩，再对中间色彩进行优化得到16x16x16的RGB域的映射3DLUT，即最终得到目标摄像头最终的色彩，同时得到目标摄像头的3DLUT标定数据。
之后根据不同的色温对3DLUT进行线性插值，这时由于参考摄像头与目标摄像头的白平衡已经对齐，所以此处可以直接使用基于白平衡增益计算得到的色温对3DLUT进行插值(如公式4)即可得到与参考摄像头相同的色彩。
公式4：
result3dlut＝(hightemp-ct)*hightemp3dlut+(ct-lowtemp)*lowtemp3d1ut
图5为本申请实施例提供的相机的框图，如图5所示，该相机500例如可以包括：多个摄像头510和相机对齐装置520，进一步该相机对齐装置520包括处理器521和存储器522。
具体地，存储器522用于存储指令，处理器521调用存储器522中存储的所述指令，用于执行以下操作：从多个摄像头中确定一参考摄像头；确定参考摄像头的白平衡增益；确定与白平衡增益对应的当前色温；针对多个摄像头中除参考摄像头之外的其他摄像头中的一个或多个目标摄像头，执行以下操作使每个目标摄像头与参考摄像头之间实现白平衡对齐：确定与当前色温对应的白平衡增益映射矩阵，其中，白平衡增益映射矩阵用于表征在当前色温下参考摄像头的白平衡增益与目标摄像头的白平衡增益之间的映射关系；以及使参考摄像头的白平衡增益与白平衡增益映射矩阵相乘，以得到目标摄像头的第一白平衡增益。
作为一个可选的实施例，该处理器还用于：确定与当前色温对应的白平衡统计值映射矩阵，其中，白平衡统计值映射矩阵用于表征在当前色温下参考摄像头的白平衡统计值与目标摄像头的白平衡统计值之间的映射关系；确定参考摄像头在当前色温下的白平衡统计值；使参考摄像头的白平衡统计值与白平衡统计值映射矩阵相乘，以得到目标摄像头的第二白平衡增益；以及基于第一白平衡增益和第二白平衡增益确定目标摄像头在当前色温下的白平衡增益。
作为一个可选的实施例，该处理器还用于：基于当前色温、以及第一白平衡增益和第二白平衡增益之间的欧式距离，确定第一白平衡增益的第一权重和第二白平衡增益的第二权重；以及基于第一白平衡增益和第二白平衡增益、以及第一权重和第二权重，确定目标摄像头在当前色温下的白平衡增益。
作为一个可选的实施例，该处理器还用于：在每个目标摄像头与参考摄像头之间实现白平衡对齐后，针对每个目标摄像头，执行目标摄像头与参考摄像头的色彩对齐操作。
作为一个可选的实施例，色彩对齐操作包括：获取在不同色温下对参考摄像头标定的第一颜色查找表；获取在不同色温下对目标摄像头标定的第二颜色查找表，其中，在不同色温下对目标摄像头标定的第一颜色查找表与在不同色温下对参考摄像头标定的第二颜色查找表已对齐；基于获取的第一颜色查找表，针对参考摄像头确定与当前色温对应的颜色查找表，并基于获取的第二颜色查找表，针对目标摄像头确定与当前色温对应的颜色查找表，使得目标摄像头与参考摄像头实现色彩对齐。
作为一个可选的实施例，该处理器还用于在不同色温下：控制参考摄像头和目标摄像头在相同环境下分别针对第一目标色卡进行图像采集；基于参考摄像头采集的图像数据，对参考摄像头先进行CCM矩阵标定，再进行颜色查找表标定；基于目标摄像头采集的图像数据和对参考摄像头标定的CCM矩阵，对目标摄像头进行CCM矩阵标定，以使目标摄像头与参考摄像头对齐色域；以及在使目标摄像头与参考摄像头对齐色域后，基于对目标摄像头标定的CCM矩阵和对参考摄像头标定的颜色查找表，对目标摄像头进行颜色查找表标定，使得在相同温度下对参考摄像头标定的颜色查找表与对目标摄像头标定的颜色查找表对齐。
作为一个可选的实施例，该处理器还用于：确定与当前色温临近的色温；确定针对临近的色温标定的白平衡增益映射矩阵；以及基于针对临近的色温标定的白平衡增益映射矩阵确定与当前色温对应的白平衡增益映射矩阵。
作为一个可选的实施例，该处理器还用于不同色温下：控制参考摄像头和目标摄像头分别针对白平衡卡采集图像；基于参考摄像头采集的图像数据计算白平衡卡中心区域的RGB三个通道的平均值的第一比值；基于目标摄像头采集的图像数据计算白平衡卡中心区域的RGB三个通道的平均值的第二比值；以及基于第一比值和第二比值之间的映射关系，确定对应色温下的白平衡增益映射矩阵。
作为一个可选的实施例，该处理器还用于：确定与当前色温临近的色温；确定针对临近的色温标定的白平衡统计值映射矩阵；以及基于针对临近的色温标定的白平衡统计值映射矩阵确定与当前色温对应的白平衡统计值映射矩阵。
作为一个可选的实施例，该处理器还用于不同色温下：控制参考摄像头和目标摄像头分别针对第二目标色卡采集图像；基于参考摄像头采集的图像数据计算第二目标色卡上各色块中心区域的RGB三个通道的平均值的第三比值；基于目标摄像头采集的图像数据计算第二目标色卡上各色块中心区域的RGB三个通道的平均值的第四比值；以及基于第二比值和第四比值之间的映射关系，确定对应色温下的白平衡统计值映射矩阵。
应该理解，本实施例提供的相机对齐装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果与方法实施例类似，在此不再赘述。
本申请实施例还提供了一种云台，包括：上述实施例所述的相机。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (24)

1.一种相机对齐方法，所述相机具有多个摄像头，其特征在于，所述方法包括：
从所述多个摄像头中确定一参考摄像头；
确定所述参考摄像头的白平衡增益；
确定与所述白平衡增益对应的当前色温；
针对所述多个摄像头中除所述参考摄像头之外的其他摄像头中的一个或多个目标摄像头，执行以下操作使每个所述目标摄像头与所述参考摄像头之间实现白平衡对齐：
确定与所述当前色温对应的白平衡增益映射矩阵，其中，所述白平衡增益映射矩阵用于表征在所述当前色温下所述参考摄像头的白平衡增益与所述目标摄像头的白平衡增益之间的映射关系；以及
使所述参考摄像头的白平衡增益与所述白平衡增益映射矩阵相乘，以得到所述目标摄像头的第一白平衡增益。
2.根据权利要求1所述的方法，其特征在于，还包括：
确定与所述当前色温对应的白平衡统计值映射矩阵，其中，所述白平衡统计值映射矩阵用于表征在所述当前色温下所述参考摄像头的白平衡统计值与所述目标摄像头的白平衡统计值之间的映射关系；
确定所述参考摄像头在所述当前色温下的白平衡统计值；
使所述参考摄像头的所述白平衡统计值与所述白平衡统计值映射矩阵相乘，以得到所述目标摄像头的第二白平衡增益；以及
基于所述第一白平衡增益和所述第二白平衡增益确定所述目标摄像头在所述当前色温下的白平衡增益。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一白平衡增益和所述第二白平衡增益确定所述目标摄像头在所述当前色温下的白平衡增益，包括：
基于所述当前色温、以及所述第一白平衡增益和所述第二白平衡增益之间的欧式距离，确定所述第一白平衡增益的第一权重和所述第二白平衡增益的第二权重；以及
基于所述第一白平衡增益和所述第二白平衡增益、以及所述第一权重和所述第二权重，确定所述目标摄像头在所述当前色温下的白平衡增益。
4.根据权利要求1至3中任一项所述的方法，其特征在于，还包括：在每个所述目标摄像头与所述参考摄像头之间实现白平衡对齐后，针对每个所述目标摄像头，
执行目标摄像头与所述参考摄像头的色彩对齐操作。
5.根据权利要求4所述的方法，其特征在于，所述色彩对齐操作包括：
获取在不同色温下对所述参考摄像头标定的第一颜色查找表；
获取在不同色温下对所述目标摄像头标定的第二颜色查找表，其中，在不同色温下对所述目标摄像头标定的第一颜色查找表与在不同色温下对所述参考摄像头标定的第二颜色查找表已对齐；
基于获取的第一颜色查找表，针对所述参考摄像头确定与所述当前色温对应的颜色查找表，并基于获取的第二颜色查找表，针对所述目标摄像头确定与所述当前色温对应的颜色查找表，使得所述目标摄像头与所述参考摄像头实现色彩对齐。
6.根据权利要求5所述的方法，其特征在于，在不同色温下对所述目标摄像头进行颜色查找表标定包括：在不同色温下，
控制所述参考摄像头和所述目标摄像头在相同环境下分别针对第一目标色卡进行图像采集；
基于所述参考摄像头采集的图像数据，对所述参考摄像头先进行CCM矩阵标定，再进行颜色查找表标定；
基于所述目标摄像头采集的图像数据和对所述参考摄像头标定的CCM矩阵，对所述目标摄像头进行CCM矩阵标定，以使所述目标摄像头与所述参考摄像头对齐色域；以及
在使所述目标摄像头与所述参考摄像头对齐色域后，基于对所述目标摄像头标定的CCM矩阵和对所述参考摄像头标定的颜色查找表，对所述目标摄像头进行颜色查找表标定，使得在相同温度下对所述参考摄像头标定的颜色查找表与对所述目标摄像头标定的颜色查找表对齐。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述确定与所述当前色温对应的白平衡增益映射矩阵，包括：
确定与所述当前色温临近的色温；
确定针对所述临近的色温标定的白平衡增益映射矩阵；以及
基于所述针对临近的色温标定的白平衡增益映射矩阵确定与所述当前色温对应的白平衡增益映射矩阵。
8.根据权利要求7所述的方法，其特征在于，在不同色温下标定白平衡增益映射矩阵包括：不同色温下，
控制所述参考摄像头和所述目标摄像头分别针对白平衡卡采集图像；
基于所述参考摄像头采集的图像数据计算白平衡卡中心区域的RGB三个通道的平均值的第一比值；
基于所述目标摄像头采集的图像数据计算白平衡卡中心区域的RGB三个通道的平均值的第二比值；以及
基于所述第一比值和所述第二比值之间的映射关系，确定对应色温下的白平衡增益映射矩阵。
9.根据权利要求2至8中任一项所述的方法，其特征在于，所述确定与所述当前色温对应的白平衡统计值映射矩阵，包括：
确定与所述当前色温临近的色温；
确定针对所述临近的色温标定的白平衡统计值映射矩阵；以及
基于所述针对临近的色温标定的白平衡统计值映射矩阵确定与所述当前色温对应的白平衡统计值映射矩阵。
10.根据权利要求9所述的方法，其特征在于，在不同色温下标定白平衡统计值映射矩阵包括：不同色温下，
控制所述参考摄像头和所述目标摄像头分别针对第二目标色卡采集图像；
基于所述参考摄像头采集的图像数据计算第二目标色卡上各色块中心区域的RGB三个通道的平均值的第三比值；
基于所述目标摄像头采集的图像数据计算第二目标色卡上各色块中心区域的RGB三个通道的平均值的第四比值；以及
基于所述第二比值和所述第四比值之间的映射关系，确定对应色温下的白平衡统计值映射矩阵。
11.一种相机对齐装置，所述相机具有多个摄像头，其特征在于，所述装置包括处理器和存储器，所述存储器用于存储指令，所述处理器调用所述存储器中存储的所述指令，用于实现以下操作：
从所述多个摄像头中确定一参考摄像头；
确定所述参考摄像头的白平衡增益；
确定与所述白平衡增益对应的当前色温；
针对所述多个摄像头中除所述参考摄像头之外的其他摄像头中的一个或多个目标摄像头，执行以下操作使每个所述目标摄像头与所述参考摄像头之间实现白平衡对齐：
确定与所述当前色温对应的白平衡增益映射矩阵，其中，所述白平衡增益映射矩阵用于表征在所述当前色温下所述参考摄像头的白平衡增益与所述目标摄像头的白平衡增益之间的映射关系；以及
使所述参考摄像头的白平衡增益与所述白平衡增益映射矩阵相乘，以得到所述目标摄像头的第一白平衡增益。
12.根据权利要求11所述的装置，其特征在于，所述处理器还用于：
确定与所述当前色温对应的白平衡统计值映射矩阵，其中，所述白平衡统计值映射矩阵用于表征在所述当前色温下所述参考摄像头的白平衡统计值与所述目标摄像头的白平衡统计值之间的映射关系；
确定所述参考摄像头在所述当前色温下的白平衡统计值；
使所述参考摄像头的所述白平衡统计值与所述白平衡统计值映射矩阵相乘，以得到所述目标摄像头的第二白平衡增益；以及
基于所述第一白平衡增益和所述第二白平衡增益确定所述目标摄像头在所述当前色温下的白平衡增益。
13.根据权利要求12所述的装置，其特征在于，所述处理器还用于：
基于所述当前色温、以及所述第一白平衡增益和所述第二白平衡增益之间的欧式距离，确定所述第一白平衡增益的第一权重和所述第二白平衡增益的第二权重；以及
基于所述第一白平衡增益和所述第二白平衡增益、以及所述第一权重和所述第二权重，确定所述目标摄像头在所述当前色温下的白平衡增益。
14.根据权利要求11至13中任一项所述的装置，其特征在于，所述处理器还用于：在每个所述目标摄像头与所述参考摄像头之间实现白平衡对齐后，针对每个所述目标摄像头，执行目标摄像头与所述参考摄像头的色彩对齐操作。
15.根据权利要求14所述的装置，其特征在于，所述色彩对齐操作包括：
获取在不同色温下对所述参考摄像头标定的第一颜色查找表；
获取在不同色温下对所述目标摄像头标定的第二颜色查找表，其中，在不同色温下对所述目标摄像头标定的第一颜色查找表与在不同色温下对所述参考摄像头标定的第二颜色查找表已对齐；
基于获取的第一颜色查找表，针对所述参考摄像头确定与所述当前色温对应的颜色查找表，并基于获取的第二颜色查找表，针对所述目标摄像头确定与所述当前色温对应的颜色查找表，使得所述目标摄像头与所述参考摄像头实现色彩对齐。
16.根据权利要求15所述的装置，其特征在于，所述处理器还用于：在不同色温下，
控制所述参考摄像头和所述目标摄像头在相同环境下分别针对第一目标色卡进行图像采集；
基于所述参考摄像头采集的图像数据，对所述参考摄像头先进行CCM矩阵标定，再进行颜色查找表标定；
基于所述目标摄像头采集的图像数据和对所述参考摄像头标定的CCM矩阵，对所述目标摄像头进行CCM矩阵标定，以使所述目标摄像头与所述参考摄像头对齐色域；以及
在使所述目标摄像头与所述参考摄像头对齐色域后，基于对所述目标摄像头标定的CCM矩阵和对所述参考摄像头标定的颜色查找表，对所述目标摄像头进行颜色查找表标定，使得在相同温度下对所述参考摄像头标定的颜色查找表与对所述目标摄像头标定的颜色查找表对齐。
17.根据权利要求11至16中任一项所述的装置，其特征在于，所述处理器还用于：
确定与所述当前色温临近的色温；
确定针对所述临近的色温标定的白平衡增益映射矩阵；以及
基于所述针对临近的色温标定的白平衡增益映射矩阵确定与所述当前色温对应的白平衡增益映射矩阵。
18.根据权利要求17所述的装置，其特征在于，所述处理器还用于：不同色温下，
控制所述参考摄像头和所述目标摄像头分别针对白平衡卡采集图像；
基于所述参考摄像头采集的图像数据计算白平衡卡中心区域的RGB三个通道的平均值的第一比值；
基于所述目标摄像头采集的图像数据计算白平衡卡中心区域的RGB三个通道的平均值的第二比值；以及
基于所述第一比值和所述第二比值之间的映射关系，确定对应色温下的白平衡增益映射矩阵。
19.根据权利要求12至18中任一项所述的装置，其特征在于，所述处理器还用于：
确定与所述当前色温临近的色温；
确定针对所述临近的色温标定的白平衡统计值映射矩阵；以及
基于所述针对临近的色温标定的白平衡统计值映射矩阵确定与所述当前色温对应的白平衡统计值映射矩阵。
20.根据权利要求19所述的装置，其特征在于，所述处理器还用于：不同色温下，
控制所述参考摄像头和所述目标摄像头分别针对第二目标色卡采集图像；
基于所述参考摄像头采集的图像数据计算第二目标色卡上各色块中心区域的RGB三个通道的平均值的第三比值；
基于所述目标摄像头采集的图像数据计算第二目标色卡上各色块中心区域的RGB三个通道的平均值的第四比值；以及
基于所述第二比值和所述第四比值之间的映射关系，确定对应色温下的白平衡统计值映射矩阵。
21.一种相机，包括：
多个摄像头；以及
权利要求11至20中任一项所述的相机对齐装置。
22.一种云台，包括：
权利要求21所述的相机。
23.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得所述计算机执行如权利要求1-10任一项所述的相机对齐方法。
24.一种包含指令的计算机程序产品，其特征在于，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1-10任一项所述的相机对齐方法。
CN202080004936.5A 2020-05-07 2020-05-07 相机及其对齐方法和装置、云台 Pending CN112655193A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/089055 WO2021223185A1 (zh) 2020-05-07 2020-05-07 相机及其对齐方法和装置、云台

Publications (1)

Publication Number Publication Date
CN112655193A true CN112655193A (zh) 2021-04-13

Family

ID=75368412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080004936.5A Pending CN112655193A (zh) 2020-05-07 2020-05-07 相机及其对齐方法和装置、云台

Country Status (2)

Country Link
CN (1) CN112655193A (zh)
WO (1) WO2021223185A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125419A (zh) * 2021-11-26 2022-03-01 西安诺瓦星云科技股份有限公司 多相机系统中的相机调整方法及装置、多相机系统
CN114449243A (zh) * 2022-01-28 2022-05-06 青岛海信移动通信技术股份有限公司 一种白平衡方法和终端设备
CN114554170A (zh) * 2022-03-08 2022-05-27 三星半导体(中国)研究开发有限公司 多传感器白平衡同步的方法和使用该方法的电子装置
TWI806681B (zh) * 2022-06-28 2023-06-21 宏碁股份有限公司 白平衡係數校正方法及電子裝置
CN117014733A (zh) * 2023-10-08 2023-11-07 荣耀终端有限公司 拍摄校正方法、装置及设备
CN114554170B (zh) * 2022-03-08 2024-06-11 三星半导体(中国)研究开发有限公司 多传感器白平衡同步的方法和使用该方法的电子装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272471B (zh) * 2022-08-30 2023-07-28 杭州微影软件有限公司 一种光心位置的确定方法、装置及设备
CN115460391B (zh) * 2022-09-13 2024-04-16 浙江大华技术股份有限公司 图像的模拟方法、装置、存储介质及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137272A (zh) * 2011-03-21 2011-07-27 西安理工大学 一种开放环境下的多相机间的颜色校准方法
US20140211041A1 (en) * 2013-01-25 2014-07-31 Research In Motion Limited Reduce operating environment effect using multiple cameras
CN106131527A (zh) * 2016-07-26 2016-11-16 深圳众思科技有限公司 双摄像头颜色同步方法、装置及终端
CN109218561A (zh) * 2018-11-30 2019-01-15 豪威科技(上海)有限公司 多摄像头的同步方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI524760B (zh) * 2014-04-18 2016-03-01 聚晶半導體股份有限公司 照相機陣列校正方法
US9741117B2 (en) * 2014-12-22 2017-08-22 Motorola Mobility Llc Multiple camera apparatus and method for synchronized auto white balance
CN106713887B (zh) * 2017-01-03 2018-11-20 Tcl通讯科技（成都）有限公司 移动终端及白平衡调节方法
CN109672871B (zh) * 2017-10-17 2020-08-14 华为技术有限公司 白平衡信息同步方法、装置及计算机可读介质
CN107820023A (zh) * 2017-11-05 2018-03-20 信利光电股份有限公司 一种多摄像头模组的色彩同步方法
CN107979726B (zh) * 2017-11-28 2020-05-22 信利光电股份有限公司 一种全景镜头的配对方法和全景镜头

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137272A (zh) * 2011-03-21 2011-07-27 西安理工大学 一种开放环境下的多相机间的颜色校准方法
US20140211041A1 (en) * 2013-01-25 2014-07-31 Research In Motion Limited Reduce operating environment effect using multiple cameras
CN106131527A (zh) * 2016-07-26 2016-11-16 深圳众思科技有限公司 双摄像头颜色同步方法、装置及终端
CN109218561A (zh) * 2018-11-30 2019-01-15 豪威科技(上海)有限公司 多摄像头的同步方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125419A (zh) * 2021-11-26 2022-03-01 西安诺瓦星云科技股份有限公司 多相机系统中的相机调整方法及装置、多相机系统
CN114449243A (zh) * 2022-01-28 2022-05-06 青岛海信移动通信技术股份有限公司 一种白平衡方法和终端设备
CN114449243B (zh) * 2022-01-28 2023-12-12 青岛海信移动通信技术有限公司 一种白平衡方法和终端设备
CN114554170A (zh) * 2022-03-08 2022-05-27 三星半导体(中国)研究开发有限公司 多传感器白平衡同步的方法和使用该方法的电子装置
CN114554170B (zh) * 2022-03-08 2024-06-11 三星半导体(中国)研究开发有限公司 多传感器白平衡同步的方法和使用该方法的电子装置
TWI806681B (zh) * 2022-06-28 2023-06-21 宏碁股份有限公司 白平衡係數校正方法及電子裝置
CN117014733A (zh) * 2023-10-08 2023-11-07 荣耀终端有限公司 拍摄校正方法、装置及设备
CN117014733B (zh) * 2023-10-08 2024-04-12 荣耀终端有限公司 拍摄校正方法、装置及设备

Also Published As

Publication number Publication date
WO2021223185A1 (zh) 2021-11-11

Similar Documents

Publication Publication Date Title
CN112655193A (zh) 相机及其对齐方法和装置、云台
CN110830778B (zh) 成像设备色彩校正方法、装置、电子设备及存储介质
US8890974B2 (en) Methods and systems for automatic white balance
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
US8164649B2 (en) White balance adjusting device, imaging apparatus, and recording medium storing white balance adjusting program
JP2006339931A (ja) 撮像装置及び撮像装置における撮像結果の処理方法
WO2004032524A1 (ja) 画像処理装置
KR20080113950A (ko) 감마 보정 곡선의 자동 산출 장치 및 방법
CN111292246A (zh) 图像颜色校正方法、存储介质及内窥镜
CN108234971A (zh) 白平衡参数确定方法、白平衡调整方法及装置、存储介质、终端
WO2019104047A1 (en) Global tone mapping
CN111669560A (zh) 一种基于fpga的实时自动白平衡校正方法、系统及存储介质
KR20110016812A (ko) 촬상장치 및 촬상방법
JP4549704B2 (ja) 画像に対する色み補正を調整するための方法および画像に対する色み補正量の調節方法
TWI782481B (zh) 自動白平衡調整方法及自動白平衡調整系統
CN117014733B (zh) 拍摄校正方法、装置及设备
KR102285756B1 (ko) 전자 시스템 및 영상 처리 방법
US8115834B2 (en) Image processing device, image processing program and image processing method
Kao et al. Color reproduction for digital imaging systems
KR101137611B1 (ko) 이미지 데이터 변환 절차를 효과적으로 수행하는 시스템 및 방법
KR101143834B1 (ko) 화이트 밸런스 보정 장치 및 방법
US20230421916A1 (en) White balance coefficient correction method and electronic device
US20140176743A1 (en) Method, apparatus and system for publishing creative looks as three-dimensional lookup tables
TWI821947B (zh) 自動白平衡調整方法及自動白平衡調整系統
CN115514947B (zh) 一种ai自动白平衡的算法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210413