CN110009701B - 一种针对多镜头拍摄的白平衡调整方法 - Google Patents

一种针对多镜头拍摄的白平衡调整方法 Download PDF

Info

Publication number
CN110009701B
CN110009701B CN201910286335.7A CN201910286335A CN110009701B CN 110009701 B CN110009701 B CN 110009701B CN 201910286335 A CN201910286335 A CN 201910286335A CN 110009701 B CN110009701 B CN 110009701B
Authority
CN
China
Prior art keywords
camera
image
white balance
cameras
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910286335.7A
Other languages
English (en)
Other versions
CN110009701A (zh
Inventor
廖志梁
陶亮
王道宁
张亚东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing E Credence Information Technology Co ltd
Original Assignee
Beijing E Credence Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing E Credence Information Technology Co ltd filed Critical Beijing E Credence Information Technology Co ltd
Priority to CN201910286335.7A priority Critical patent/CN110009701B/zh
Publication of CN110009701A publication Critical patent/CN110009701A/zh
Application granted granted Critical
Publication of CN110009701B publication Critical patent/CN110009701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明公开了一种针对多镜头拍摄的白平衡调整方法，包括：1、对多相机拍照的重合区域进行标定；2、对重合区域进行白平衡差异评估；3、基于白平衡差异相机进行相机间色偏调整。其基于重合区域的标定、判定、白平衡调整，不需要做基于全局图像的统计特征分析，提高了分析效率，省去了不必要的调整环节，保证了调整过程的实时性与泛化能力，同时，调整过程中采用的模型简单，以自然过渡为主，对实时处理以及嵌入式处理都没有限制，可实现性强，满足了全景图拼接、多目视觉、多焦距拍摄等多镜头拍摄过程中拍摄图像的白平衡协调调整要求。

Description

一种针对多镜头拍摄的白平衡调整方法
技术领域
本发明涉及一种调整方法，特别涉及一种针对相机、手机等多镜头拍摄时的白平衡调整方法，属于相机或手机图像质量评价领域。
背景技术
随着手机、相机的普及，多镜头成像功能开始被广泛使用。多镜头成像过程主要包括全景图拼接、多目视觉、多焦距拍摄等。针对这种多镜头成像功能需要对多个拍照过程进行白平衡统一调整，以实现不同相机拍摄的图像白平衡状态保持一致。
现阶段，多镜头拍摄时白平衡调整方法包括：
1) 基于离线标定的方法
在拍摄前对所有相机都做一次基于标识物的白平衡调整，通过调整后，认为相机间不存在白平衡不统一的问题，即可进行多镜头拍摄。
2) 同步自动白平衡方法
通过外部色彩传感器进行检测、同步每个相机的白平衡数据，提供公共白平衡结果给图像信号处理流水线，在使用公共白平衡结果执行白平衡和色彩校正之后，通过组合每个相机单元的帧而获得合并的帧。如专利申请号：201510970897.5，专利名称：用于同步自动白平衡的多相机装置和方法。
上述方式存在的问题：
1) 离线标定方法存在假设，即相机的白平衡属性不会随着拍摄对象的变化而变化，该假设是不成立的，对于拍摄物发生变化时，不同相机呈现出的色彩敏感度不同，因此可能会出现白平衡没有适应特性，泛化能力弱，造成白平衡调整效果的不稳定。
2) 用外部色彩传感器做白平衡评估和感知，前提是要处理好传感器之间的同步与属性差异，毕竟相机也是一种传感器，因此，这种传感器要能感知真实色域，即传感器与色域信号相关，但不能过度相关，过度相关的结果跟相机呈现出的效果是一样的，即可能会随着拍摄场景变换而发生变化，如此，这种方式不属于方法的范畴，应属于传感器设计或者优化范畴。
于是，为使多镜头拍照时各角度相机白平衡状态保持一致，设计一种全新的针对多镜头拍摄的白平衡调整方法就成为本发明想要解决的问题。
发明内容
鉴于上述现有情况，在多个拍摄相机相对位置固定的前提下，本发明的目的是：提供一种在拍照时可对多个相机进行实时白平衡状态调整，并给出每个相机最优白平衡调整策略，使多相机拍摄出的图像不会受到拍摄对象色调改变而发生变化，最终实现不同相机的白平衡状态保持一致。
本发明是通过以下技术方案来实现的：
一种针对多镜头拍摄的白平衡调整方法，具体步骤包括：
步骤1、对多相机拍照的重合区域进行标定，标定过程包括：
步骤1-1、设有
Figure DEST_PATH_IMAGE002
个相机，每个相机的拍摄图像为
Figure DEST_PATH_IMAGE004
，i为相机标号，
Figure DEST_PATH_IMAGE006
。
步骤1-2、以
Figure 911233DEST_PATH_IMAGE004
中图像信息熵最大的图像为基准图
Figure DEST_PATH_IMAGE008
，并以拍摄
Figure DEST_PATH_IMAGE010
的相机为参考相机，r为相机标号，
Figure DEST_PATH_IMAGE012
。
步骤1-3、确定空间位置上与参考相机拍摄区域有重叠的相机，并按照离参考相机空间位置的远近对与参考相机拍摄区域有重叠的相机进行排序，确定空间位置最接近参考相机的相机及其拍摄的图像
Figure DEST_PATH_IMAGE014
，k为相机标号，
Figure DEST_PATH_IMAGE016
。
步骤1-4、设
Figure 679338DEST_PATH_IMAGE008
与
Figure DEST_PATH_IMAGE018
之间的重合区域的坐标集合
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE026
分别为重合区域的高、宽的最大值。
步骤1-5、设图像
Figure DEST_PATH_IMAGE028
在图像
Figure 640603DEST_PATH_IMAGE010
坐标系下的重合图像
Figure DEST_PATH_IMAGE030
与图像
Figure DEST_PATH_IMAGE032
的空间交集图像。
步骤1-6、设图像
Figure DEST_PATH_IMAGE034
在图像
Figure DEST_PATH_IMAGE036
坐标系下的重合图像
Figure DEST_PATH_IMAGE038
与图像
Figure DEST_PATH_IMAGE040
的空间交集图像
Figure DEST_PATH_IMAGE042
。
步骤1-7、利用参考相机和上述过程确定的空间位置最接近参考相机的相机进行有规律图像标志信息的实景拍摄，提取拍摄图像的RTS不变特征，包括SIFT、HARRIS、SURF或者HOG特征，利用提取到的特征来做特征匹配，得到匹配的特征点位置描述，根据匹配的特征点位置描述估算
Figure DEST_PATH_IMAGE044
、
Figure DEST_PATH_IMAGE046
与
Figure DEST_PATH_IMAGE048
。
步骤2、对重合区域
Figure DEST_PATH_IMAGE050
和
Figure DEST_PATH_IMAGE052
进行白平衡差异评估，评估过程包括：
将重合区域变换至Lab颜色空间，假设
Figure DEST_PATH_IMAGE054
的宽度与高度分别为
Figure DEST_PATH_IMAGE056
、
Figure DEST_PATH_IMAGE058
，同时
Figure DEST_PATH_IMAGE060
的宽度与高度也分别为
Figure 182574DEST_PATH_IMAGE056
、
Figure 323705DEST_PATH_IMAGE058
，其中：
Figure DEST_PATH_IMAGE062
表示
Figure DEST_PATH_IMAGE064
在
Figure DEST_PATH_IMAGE066
处a通道的值；
Figure DEST_PATH_IMAGE068
表示
Figure 385464DEST_PATH_IMAGE064
在
Figure 157111DEST_PATH_IMAGE066
处b通道的值；
Figure DEST_PATH_IMAGE070
表示
Figure DEST_PATH_IMAGE072
在
Figure 170066DEST_PATH_IMAGE066
处a通道的值；
Figure DEST_PATH_IMAGE074
表示
Figure 114889DEST_PATH_IMAGE072
在
Figure 467373DEST_PATH_IMAGE066
处b通道的值。
计算
Figure DEST_PATH_IMAGE076
与
Figure DEST_PATH_IMAGE078
在a、b通道的平均差值，计算公式如下：
Figure DEST_PATH_IMAGE080
；
Figure DEST_PATH_IMAGE082
；
计算色调平均差值
Figure DEST_PATH_IMAGE084
。
若
Figure DEST_PATH_IMAGE086
，
Figure DEST_PATH_IMAGE088
为相机间色调敏感门限阈值，
Figure DEST_PATH_IMAGE090
，相机间需进行白平衡调整，进入步骤3。
否则，相机间不需进行白平衡调整，返回步骤1-3中，以上述过程确定的空间位置最接近参考相机的相机为新的参考相机，继续进行下一相邻相机间重合区域的评估，直至所有评估完成。
步骤3、基于白平衡差异相机进行相机间色偏调整，调整过程包括：
步骤3-1、计算
Figure 98336DEST_PATH_IMAGE034
的R、B与G通道的比值
Figure DEST_PATH_IMAGE092
与
Figure DEST_PATH_IMAGE094
，同时，计算
Figure DEST_PATH_IMAGE096
的R、B与G通道的比值
Figure DEST_PATH_IMAGE098
与
Figure DEST_PATH_IMAGE100
。
Figure DEST_PATH_IMAGE102
步骤3-2、设
Figure DEST_PATH_IMAGE104
分别为与
Figure 660905DEST_PATH_IMAGE040
大小相等的三个矩阵。
对于
Figure DEST_PATH_IMAGE106
与
Figure DEST_PATH_IMAGE108
中重合区域相同位置的元素值为
Figure DEST_PATH_IMAGE110
；对于
Figure DEST_PATH_IMAGE112
中的其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到。
对于
Figure DEST_PATH_IMAGE114
与
Figure 707620DEST_PATH_IMAGE096
中重合区域相同位置的元素值为
Figure DEST_PATH_IMAGE116
；对于
Figure DEST_PATH_IMAGE118
中其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到。
Figure DEST_PATH_IMAGE120
中的所有元素值为1。
步骤3-3、设
Figure DEST_PATH_IMAGE122
调整后图像在
Figure 242507DEST_PATH_IMAGE066
处R、G、B通道的灰度值分别是
Figure DEST_PATH_IMAGE124
，
Figure DEST_PATH_IMAGE126
和
Figure DEST_PATH_IMAGE128
，计算方法为：
Figure DEST_PATH_IMAGE130
步骤3-4、以
Figure 982055DEST_PATH_IMAGE122
白平衡调整后的图作为新基准图，将拍摄新基准图的相机作为新的参考相机，返回步骤1-3中，继续进行下一相邻相机间重合区域的评估，直至所有评估和调整完成。
所述步骤1-2中，计算熵的方法为通过统计直方图计算有效灰度范围，有效灰度范围越广，图像信息熵越大。
本发明所述的一种针对多镜头拍摄的白平衡调整方法的有益效果包括：
1、基于重合区域标定和判定，然后调整白平衡，不需要做基于全局图像的统计特征分析，提高了分析效率；
2、利用Lab色域计算重合区域色调平均差值来判定是否需要做白平衡调整，与现有方法相比，极大地省去了不必要的调整环节，保证了调整过程的实时性与泛化能力；
3、本方法与现有方法相比，调整过程中采用的模型简单，以自然过渡为主，对实时处理以及嵌入式处理都没有限制，可实现性强。
4、对有规律图像标志信息的实景进行拍摄，可以避免对固定样本图像拍摄带来的不便，方便实际评估和白平衡调整过程，提高了拍摄图像的灵活性。
5、可适合全景图拼接、多目视觉、多焦距拍摄等多镜头拍摄过程中拍摄图像的白平衡协调调整。
具体实施方式
本发明的中心是：在多个拍摄相机相对位置固定的条件下，在保证每个相机可以实时调整白平衡的前提下，通过本方法给出每个相机的最优白平衡实时调整策略，使多相机拍摄出的图像不会受到拍摄对象色调改变而发生变化，进而实现拍摄到的每个图像色调一致。
本发明所述的一种针对多镜头拍摄的白平衡调整方法主要包括三个部分：1、对多相机拍照的重合区域进行标定；2、对重合区域进行白平衡差异评估；3、基于白平衡差异相机进行相机间色偏调整。
下面以C个相机组成的多相机拍照过程为例，对本发明所述的一种针对多镜头拍摄的白平衡调整方法作进一步的详细描述，具体方法包括：
步骤1、对多相机拍照的重合区域进行标定，标定过程包括：
步骤1-1、设有
Figure 907286DEST_PATH_IMAGE002
个相机，每个相机的拍摄图像为
Figure DEST_PATH_IMAGE132
，i为相机标号，
Figure DEST_PATH_IMAGE134
。
在进行白平衡调整前，需要先将C个相机的位置相对固定，使相机间形成固定的位置和相邻关系，为后续拍摄图像的位置判断和白平衡调整提供必要的物质条件。本例中，每个相机的拍摄图像分别记为
Figure DEST_PATH_IMAGE136
，其中，i为相机的标号，
Figure 193911DEST_PATH_IMAGE134
。
步骤1-2、以
Figure 317724DEST_PATH_IMAGE004
中图像信息熵最大的图像为基准图
Figure 602075DEST_PATH_IMAGE008
，并以拍摄
Figure 14602DEST_PATH_IMAGE010
的相机为参考相机，r为相机标号，
Figure 104918DEST_PATH_IMAGE012
。其中，计算熵的方法为通过统计直方图计算有效灰度范围，有效灰度范围越广，图像信息熵越大。
步骤1-3、确定空间位置上与参考相机拍摄区域有重叠的相机，并按照离参考相机空间位置的远近对与参考相机拍摄区域有重叠的相机进行排序，确定空间位置最接近参考相机的相机及其拍摄的图像
Figure 286500DEST_PATH_IMAGE014
，k为相机标号，
Figure 476173DEST_PATH_IMAGE016
。
本步骤以参考相机为基础，对与参考相机拍摄区域有重叠的相机进行远近空间位置的排序，从而确定出哪个相机离参考相机最近，哪个相机与参考相机最远，列出相应的排列顺序，为后续由近向远的拍摄图像比对和调整过程提供依据。本例中，被确定空间位置最接近参考相机的相机标号为k，其拍摄的图像为
Figure 375996DEST_PATH_IMAGE014
。
步骤1-4、设
Figure 505888DEST_PATH_IMAGE008
与
Figure 807557DEST_PATH_IMAGE018
之间的重合区域的坐标集合
Figure 168131DEST_PATH_IMAGE020
，
Figure 617567DEST_PATH_IMAGE022
，
Figure 987368DEST_PATH_IMAGE024
，
Figure 877964DEST_PATH_IMAGE026
分别为重合区域的高、宽的最大值。
步骤1-5、设图像
Figure 675019DEST_PATH_IMAGE028
在图像
Figure 346171DEST_PATH_IMAGE010
坐标系下的重合图像
Figure 519664DEST_PATH_IMAGE030
与图像
Figure 530345DEST_PATH_IMAGE032
的空间交集图像
Figure DEST_PATH_IMAGE138
。
步骤1-6、设图像
Figure 560618DEST_PATH_IMAGE034
在图像
Figure 656750DEST_PATH_IMAGE036
坐标系下的重合图像
Figure 943855DEST_PATH_IMAGE038
与图像
Figure 809042DEST_PATH_IMAGE040
的空间交集图像
Figure 947900DEST_PATH_IMAGE042
。
步骤1-7、利用参考相机和上述过程确定的空间位置最接近参考相机的相机进行有规律图像标志信息的实景拍摄，提取拍摄图像的RTS不变特征，包括SIFT、HARRIS、SURF或者HOG特征，利用提取到的特征来做特征匹配，得到匹配的特征点位置描述，根据匹配的特征点位置描述估算
Figure 531328DEST_PATH_IMAGE044
、
Figure DEST_PATH_IMAGE140
与
Figure 843360DEST_PATH_IMAGE048
。
其中，有规律图像标志信息包括建筑、植物、动物、山川、连续的图案、几何图形等等。而对实景进行拍摄，可以避免对固定样本图像拍摄带来的不便，方便实际评估和白平衡调整过程。通过匹配特征点确定拍摄图像位置关系，进而得出准确的重合区域图像位置描述。
步骤2、对重合区域
Figure DEST_PATH_IMAGE142
和
Figure DEST_PATH_IMAGE144
进行白平衡差异评估，评估过程包括：
将重合区域变换至Lab颜色空间，假设
Figure DEST_PATH_IMAGE146
的宽度与高度分别为
Figure 890951DEST_PATH_IMAGE056
、
Figure 200709DEST_PATH_IMAGE058
，同时，
Figure DEST_PATH_IMAGE148
的宽度与高度也分别为、
Figure 333751DEST_PATH_IMAGE058
，其中，
Figure 387157DEST_PATH_IMAGE062
表示
Figure 790719DEST_PATH_IMAGE064
在
Figure 271379DEST_PATH_IMAGE066
处a通道的值；
Figure 563820DEST_PATH_IMAGE068
表示
Figure 483234DEST_PATH_IMAGE064
在
Figure 177521DEST_PATH_IMAGE066
处b通道的值；
Figure 829082DEST_PATH_IMAGE070
表示
Figure 874399DEST_PATH_IMAGE072
在
Figure 331925DEST_PATH_IMAGE066
处a通道的值；
Figure 880718DEST_PATH_IMAGE074
表示
Figure 968759DEST_PATH_IMAGE072
在
Figure 298110DEST_PATH_IMAGE066
处b通道的值；
计算
Figure 497010DEST_PATH_IMAGE076
与
Figure 900309DEST_PATH_IMAGE078
在a、b通道的平均差值，计算公式如下：
Figure 723034DEST_PATH_IMAGE080
；
Figure 477363DEST_PATH_IMAGE082
；
计算色调平均差值
Figure 214375DEST_PATH_IMAGE084
；
若
Figure 800077DEST_PATH_IMAGE086
，
Figure 229922DEST_PATH_IMAGE088
为相机间色调敏感门限阈值，
Figure 205968DEST_PATH_IMAGE090
，相机间需进行白平衡调整，进入步骤3；否则，相机间不需进行白平衡调整，返回步骤1-3中，以上述过程确定的空间位置最接近参考相机的相机为新的参考相机，继续进行下一相邻相机间重合区域的评估，直至所有评估完成。
步骤3、基于白平衡差异相机进行相机间色偏调整，调整过程包括：
步骤3-1、计算
Figure 808988DEST_PATH_IMAGE034
的R、B与G通道的比值
Figure 452459DEST_PATH_IMAGE092
与
Figure 787625DEST_PATH_IMAGE094
，同时，计算
Figure 516547DEST_PATH_IMAGE096
的R、B与G通道的比值
Figure 657678DEST_PATH_IMAGE098
与
Figure 155655DEST_PATH_IMAGE100
：
Figure 661723DEST_PATH_IMAGE102
步骤3-2、设
Figure 441722DEST_PATH_IMAGE104
分别为与
Figure 324228DEST_PATH_IMAGE040
大小相等的三个矩阵。
对于
Figure 676712DEST_PATH_IMAGE106
与
Figure 681577DEST_PATH_IMAGE108
中重合区域相同位置的元素值为
Figure 119511DEST_PATH_IMAGE110
；对于
Figure 540128DEST_PATH_IMAGE112
中的其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到。
对于
Figure 12698DEST_PATH_IMAGE114
与
Figure 922885DEST_PATH_IMAGE096
中重合区域相同位置的元素值为
Figure 848116DEST_PATH_IMAGE116
；对于
Figure 72424DEST_PATH_IMAGE118
中其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到。
Figure 461817DEST_PATH_IMAGE120
中的所有元素值为1。
步骤3-3、设
Figure 434583DEST_PATH_IMAGE122
调整后图像在
Figure 909427DEST_PATH_IMAGE066
处R、G、B通道的灰度值分别是
Figure 671847DEST_PATH_IMAGE124
，
Figure 853429DEST_PATH_IMAGE126
和
Figure 872463DEST_PATH_IMAGE128
，计算方法为：
Figure 772286DEST_PATH_IMAGE130
步骤3-4、以
Figure 338397DEST_PATH_IMAGE122
白平衡调整后的图作为新基准图，将拍摄新基准图的相机作为新的参考相机，返回步骤1-3中，继续进行下一相邻相机间重合区域的评估，直至所有评估和调整完成。
至此，位置固定的所有C个相机拍摄的图像在基于重合区域图像基础上的白平衡调整过程完成，其避免了基于全局图像的统计特征分析，省去了不必要的调整环节，保证了调整过程的实时性与泛化能力。

Claims (2)

1.一种针对多镜头拍摄的白平衡调整方法，其特征在于，具体步骤包括：
步骤1、对多相机拍照的重合区域进行标定，标定过程包括：
步骤1-1、设有
Figure 932244DEST_PATH_IMAGE001
个相机，每个相机的拍摄图像为
Figure 513398DEST_PATH_IMAGE002
，i为相机标号，
Figure 848565DEST_PATH_IMAGE003
；
步骤1-2、以
Figure 515169DEST_PATH_IMAGE002
中图像信息熵最大的图像为基准图
Figure 593984DEST_PATH_IMAGE004
，并以拍摄
Figure 26715DEST_PATH_IMAGE005
的相机为参考相机，r为相机标号，
Figure 798362DEST_PATH_IMAGE006
；
步骤1-3、确定空间位置上与参考相机拍摄区域有重叠的相机，并按照离参考相机空间位置的远近对与参考相机拍摄区域有重叠的相机进行排序，确定空间位置最接近参考相机的相机及其拍摄的图像
Figure 686683DEST_PATH_IMAGE007
，k为相机标号，
Figure 569189DEST_PATH_IMAGE008
；
步骤1-4、设
Figure 921673DEST_PATH_IMAGE004
与
Figure 801904DEST_PATH_IMAGE009
之间的重合区域的坐标集合
Figure 239838DEST_PATH_IMAGE010
，
Figure 598139DEST_PATH_IMAGE011
，
Figure 70708DEST_PATH_IMAGE012
，
Figure 184158DEST_PATH_IMAGE013
分别为重合区域的高、宽的最大值；
步骤1-5、设图像
Figure 47072DEST_PATH_IMAGE014
在图像
Figure 271379DEST_PATH_IMAGE005
坐标系下的重合图像
Figure 270559DEST_PATH_IMAGE015
与图像
Figure 554910DEST_PATH_IMAGE016
的空间交集图像
Figure 967437DEST_PATH_IMAGE017
；
步骤1-6、设图像
Figure 933119DEST_PATH_IMAGE018
在图像
Figure 114702DEST_PATH_IMAGE019
坐标系下的重合图像
Figure 304375DEST_PATH_IMAGE020
与图像
Figure 204197DEST_PATH_IMAGE021
的空间交集图像
Figure 707991DEST_PATH_IMAGE022
；
步骤1-7、利用参考相机和上述过程确定的空间位置最接近参考相机的相机进行有规律图像标志信息的实景拍摄，提取拍摄图像的RTS不变特征，包括SIFT、HARRIS、SURF或者HOG特征，利用提取到的特征来做特征匹配，得到匹配的特征点位置描述，根据匹配的特征点位置描述估算
Figure 9659DEST_PATH_IMAGE023
、
Figure 370234DEST_PATH_IMAGE024
与
Figure 692106DEST_PATH_IMAGE025
；
步骤2、对重合区域
Figure 61908DEST_PATH_IMAGE026
和
Figure 952503DEST_PATH_IMAGE027
进行白平衡差异评估，评估过程包括：
将重合区域变换至Lab颜色空间，假设
Figure 687241DEST_PATH_IMAGE028
的宽度与高度分别为
Figure 296077DEST_PATH_IMAGE029
、
Figure 469569DEST_PATH_IMAGE030
，同时
Figure 417934DEST_PATH_IMAGE031
的宽度与高度也分别为
Figure 385890DEST_PATH_IMAGE029
、
Figure 482022DEST_PATH_IMAGE030
，其中，
Figure 193626DEST_PATH_IMAGE032
表示
Figure 996497DEST_PATH_IMAGE033
在
Figure 135354DEST_PATH_IMAGE034
处a通道的值；
Figure 718782DEST_PATH_IMAGE035
表示
Figure 906181DEST_PATH_IMAGE033
在
Figure 891454DEST_PATH_IMAGE034
处b通道的值；
Figure 201213DEST_PATH_IMAGE036
表示
Figure 209620DEST_PATH_IMAGE037
在
Figure 263027DEST_PATH_IMAGE034
处a通道的值；
Figure 102807DEST_PATH_IMAGE038
表示
Figure 583467DEST_PATH_IMAGE037
在
Figure 813591DEST_PATH_IMAGE034
处b通道的值；
计算
Figure 670689DEST_PATH_IMAGE039
与
Figure 364975DEST_PATH_IMAGE040
在a、b通道的平均差值，计算公式如下：
Figure 954219DEST_PATH_IMAGE041
；
Figure 999536DEST_PATH_IMAGE042
；
计算色调平均差值
Figure 394745DEST_PATH_IMAGE043
；
若
Figure 878292DEST_PATH_IMAGE044
，
Figure 966333DEST_PATH_IMAGE045
为相机间色调敏感门限阈值，
Figure 233367DEST_PATH_IMAGE046
，相机间需进行白平衡调整，进入步骤3；
否则，相机间不需进行白平衡调整，返回步骤1-3中，以上述过程确定的空间位置最接近参考相机的相机为新的参考相机，继续进行下一相邻相机间重合区域的评估，直至所有评估完成；
步骤3、基于白平衡差异相机进行相机间色偏调整，调整过程包括：
步骤3-1、计算
Figure 432267DEST_PATH_IMAGE018
的R、B与G通道的比值
Figure 773249DEST_PATH_IMAGE047
与
Figure 32192DEST_PATH_IMAGE048
，同时，计算
Figure 786522DEST_PATH_IMAGE049
的R、B与G通道的比值
Figure 461217DEST_PATH_IMAGE050
与
Figure 984602DEST_PATH_IMAGE051
：
Figure 414446DEST_PATH_IMAGE052
步骤3-2、设
Figure 390492DEST_PATH_IMAGE053
分别为与
Figure 868878DEST_PATH_IMAGE021
大小相等的三个矩阵；
对于
Figure 512349DEST_PATH_IMAGE054
与
Figure 847516DEST_PATH_IMAGE055
中重合区域相同位置的元素值为
Figure 514120DEST_PATH_IMAGE056
；对于
Figure 592935DEST_PATH_IMAGE057
中的其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到；
对于
Figure 90912DEST_PATH_IMAGE058
与
Figure 534663DEST_PATH_IMAGE049
中重合区域相同位置的元素值为
Figure 750881DEST_PATH_IMAGE059
；对于
Figure 633386DEST_PATH_IMAGE060
中其它元素以重合区域的元素值为拟合目标，通过曲面拟合得到；
Figure 923553DEST_PATH_IMAGE061
中的所有元素值为1；
步骤3-3、设
Figure 866101DEST_PATH_IMAGE062
调整后图像在
Figure 304036DEST_PATH_IMAGE034
处R、G、B通道的灰度值分别是
Figure 724653DEST_PATH_IMAGE063
，
Figure 134906DEST_PATH_IMAGE064
和，计算方法为：
Figure 982776DEST_PATH_IMAGE065
步骤3-4、以
Figure 908007DEST_PATH_IMAGE062
白平衡调整后的图作为新基准图，将拍摄新基准图的相机作为新的参考相机，返回步骤1-3中，继续进行下一相邻相机间重合区域的评估，直至所有评估和调整完成。
2.根据权利要求1所述的一种针对多镜头拍摄的白平衡调整方法，其特征在于，所述步骤1-2中，计算熵的方法为通过统计直方图计算有效灰度范围，有效灰度范围越广，图像信息熵越大。
CN201910286335.7A 2019-04-10 2019-04-10 一种针对多镜头拍摄的白平衡调整方法 Active CN110009701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910286335.7A CN110009701B (zh) 2019-04-10 2019-04-10 一种针对多镜头拍摄的白平衡调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910286335.7A CN110009701B (zh) 2019-04-10 2019-04-10 一种针对多镜头拍摄的白平衡调整方法

Publications (2)

Publication Number Publication Date
CN110009701A CN110009701A (zh) 2019-07-12
CN110009701B true CN110009701B (zh) 2021-03-30

Family

ID=67170937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910286335.7A Active CN110009701B (zh) 2019-04-10 2019-04-10 一种针对多镜头拍摄的白平衡调整方法

Country Status (1)

Country Link
CN (1) CN110009701B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312108B (zh) * 2019-08-02 2022-09-13 浙江宇视科技有限公司 一种白平衡的异常确定方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014013853A1 (en) * 2012-07-16 2014-01-23 Mitsubishi Electric Corporation Method and apparatus for extracting depth edges from a set of images and camera
CN106303473A (zh) * 2016-08-23 2017-01-04 宁波江丰生物信息技术有限公司 一种白平衡调节方法及相机
CN107948618A (zh) * 2017-12-11 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108259877A (zh) * 2018-03-07 2018-07-06 浙江大华技术股份有限公司 一种白平衡处理方法及装置
CN108419067A (zh) * 2018-06-05 2018-08-17 上海小蚁科技有限公司 白平衡参数记录、调整方法及装置、存储介质、终端、相机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651795A (zh) * 2016-12-03 2017-05-10 北京联合大学 一种利用光照估计来校正图像颜色的方法
CN108063933B (zh) * 2017-12-25 2020-01-10 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014013853A1 (en) * 2012-07-16 2014-01-23 Mitsubishi Electric Corporation Method and apparatus for extracting depth edges from a set of images and camera
CN106303473A (zh) * 2016-08-23 2017-01-04 宁波江丰生物信息技术有限公司 一种白平衡调节方法及相机
CN107948618A (zh) * 2017-12-11 2018-04-20 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108259877A (zh) * 2018-03-07 2018-07-06 浙江大华技术股份有限公司 一种白平衡处理方法及装置
CN108419067A (zh) * 2018-06-05 2018-08-17 上海小蚁科技有限公司 白平衡参数记录、调整方法及装置、存储介质、终端、相机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vision-based real-time detection of objects with non-homogeneous color distributions using a fuzzy classifier;Guo-Cyuan Chen等;《SICE Annual Conference 2011》;20111027;第2817-2821页 *
全景图像拼接关键技术研究;倪霄龙;《中国优秀硕士学位论文全文数据库》;20170215;第I138-2895页 *

Also Published As

Publication number Publication date
CN110009701A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN105979238B (zh) 一种多摄像头全局成像一致性控制方法
WO2017092631A1 (zh) 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法
CN106899781B (zh) 一种图像处理方法及电子设备
US20170347088A1 (en) Systems and Methods for Multiscopic Noise Reduction and High-Dynamic Range
JP5512550B2 (ja) デジタルカメラデバイスのホワイトバランス較正
CN108419014A (zh) 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
CN112396562B (zh) 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法
US20060239579A1 (en) Non Uniform Blending of Exposure and/or Focus Bracketed Photographic Images
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN102892010A (zh) 一种多光源下的白平衡处理方法和装置
US20130258139A1 (en) Imaging apparatus
CN108012078A (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN109712177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110850109B (zh) 一种基于模糊图像测量车速的方法
CN109922325B (zh) 图像处理设备及其控制方法和计算机可读存储介质
CN102006485B (zh) 图像处理装置及图像处理方法
CN106412534A (zh) 一种图像亮度调节方法及装置
CN107948511A (zh) 图像亮度处理方法、装置、存储介质和电子设备
CN110009701B (zh) 一种针对多镜头拍摄的白平衡调整方法
CN107920205B (zh) 图像处理方法、装置、存储介质和电子设备
US20160088266A1 (en) Automatic image color correciton using an extended imager
CN104038752B (zh) 基于三维高斯混合模型的多视点视频直方图颜色校正
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
JP2000121319A5 (ja) 画像処理装置および画像処理方法、並びに記録媒体
CN112788322A (zh) 自适应白平衡处理方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190712

Assignee: Zhongguancun Technology Leasing Co.,Ltd.

Assignor: BEIJING E-CREDENCE INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2022980003097

Denomination of invention: A white balance adjustment method for multi shot shooting

Granted publication date: 20210330

License type: Exclusive License

Record date: 20220323

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A white balance adjustment method for multi shot shooting

Effective date of registration: 20220324

Granted publication date: 20210330

Pledgee: Zhongguancun Technology Leasing Co.,Ltd.

Pledgor: BEIJING E-CREDENCE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980003183

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Zhongguancun Technology Leasing Co.,Ltd.

Assignor: BEIJING E-CREDENCE INFORMATION TECHNOLOGY Co.,Ltd.

Contract record no.: X2022980003097

Date of cancellation: 20240329

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20210330

Pledgee: Zhongguancun Technology Leasing Co.,Ltd.

Pledgor: BEIJING E-CREDENCE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980003183

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A White Balance Adjustment Method for Multi lens Shooting

Granted publication date: 20210330

Pledgee: Zhongguancun Branch of Bank of Beijing Co.,Ltd.

Pledgor: BEIJING E-CREDENCE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2024980018852