CN111526351B - 白平衡同步方法、系统、电子设备、介质及数字成像设备 - Google Patents

白平衡同步方法、系统、电子设备、介质及数字成像设备 Download PDF

Info

Publication number
CN111526351B
CN111526351B CN202010346624.4A CN202010346624A CN111526351B CN 111526351 B CN111526351 B CN 111526351B CN 202010346624 A CN202010346624 A CN 202010346624A CN 111526351 B CN111526351 B CN 111526351B
Authority
CN
China
Prior art keywords
key
synchronous
target
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010346624.4A
Other languages
English (en)
Other versions
CN111526351A (zh
Inventor
郭逸汀
熊佳
彭晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Semiconductor Nanjing Co Ltd
Original Assignee
Spreadtrum Semiconductor Nanjing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Semiconductor Nanjing Co Ltd filed Critical Spreadtrum Semiconductor Nanjing Co Ltd
Priority to CN202010346624.4A priority Critical patent/CN111526351B/zh
Publication of CN111526351A publication Critical patent/CN111526351A/zh
Application granted granted Critical
Publication of CN111526351B publication Critical patent/CN111526351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明提供一种白平衡同步方法、系统、电子设备、介质及数字成像设备,该方法包括:获取关键摄像头与同步摄像头的像素比例及像素位置映射关系;获取关键摄像头采集的关键目标图像、及同步摄像头采集的同步目标图像;对关键目标图像进行白平衡处理;从关键目标图像中提取目标感兴趣区域;根据所述像素比例及像素位置映射关系,从同步目标图像中获取与所述目标感兴趣区域位置对应的目标映射区域;根据目标感兴趣区域内各颜色分量的平均值、以及目标映射区域内所述各颜色分量的平均值,对同步目标图像进行白平衡调整。本发明在实现不同摄像头之间白平衡同步的同时,减少前期调试工作量,降低计算复杂度,并且适用于不同摄像头同时采集相同场景。

Description

白平衡同步方法、系统、电子设备、介质及数字成像设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种白平衡同步方法、系统、电子设备、介质及数字成像设备。
背景技术
由于不同光源的光谱特性不同,在不同色温的光照下,物体所呈现的色调是不同的,色温越高,物体越偏蓝,色温越低,则越偏黄。白色场景对红、绿、蓝三原色通道的反射相同,即白色场景的真实颜色中红、绿、蓝三通道值相等,因此以白色为基准就能矫正不同色温光源带来的偏色。现有技术中存在多种自动白平衡(Automatic white balance,AWB)算法,如灰度世界法、白点检测法、色温估计法及直方图法等。以白点检测法为例,首先找到图像中的白色图像块(如白色像素点),分别计算所有白色图像块在红、绿、蓝三个通道的平均值,以绿通道为基准,矫正图像中的红、蓝通道,经过矫正,使得图像中所有白色图像块在红、绿、蓝三个通道值相等,图像即可还原真实色彩。
目前,为了获得更好的拍摄体验,拍摄终端(例如手机)上多摄像头的使用越来越广泛。由于同一拍摄终端上的多个摄像头往往采用的是不同型号、甚至是不同厂家的摄像头,这就导致不同摄像头在感光特性方面可能有明显差异。根据多摄像头的应用需求,多个摄像头之间需要进行拍摄效果的同步,以避免多个摄像头拍摄的图像色彩存在差异,影响图像合成后的效果。由于白平衡效果是否一致在很大程度上决定了多个摄像头拍摄的图像颜色是否一致,因而需要实现多个摄像头的自动白平衡同步。对此,现有技术主要有以下两种解决方案:
第一种方案,首先利用各自的白平衡算法对不同摄像头拍摄的图像分别进行白平衡处理,由于不同摄像头的镜头、感光芯片等器件不同,分别经过白平衡处理的各个图像的色彩会存在差异,于是再利用同步逻辑算法或者色温同步映射等方式获取公共白平衡增益,而后根据公共白平衡增益对各个图像进行校正处理,实现白平衡同步。本方案前期需要针对不同摄像头分别调试各自的白平衡算法,调试工作量大,计算量也大。
第二种方案,当切换镜头时,利用切换前摄像头的白平衡增益作为切换后摄像头的白平衡增益初始值进行收敛,得到切换后摄像头的白平衡增益,进而实现白平衡同步。本方案以切换前摄像头的白平衡结果作为切换后摄像头的白平衡初始值进行收敛,较前一种方案提高了计算速度,但仍需针对不同摄像头分别调试各自的白平衡算法,调试工作量仍较大,且不适用于多个摄像头同时采集图像的场景。
发明内容
针对上述现有技术的不足,本发明提供一种白平衡同步方法、系统、电子设备、介质及数字成像设备,以在实现不同摄像头之间白平衡同步的同时,减少前期调试工作量,降低计算复杂度,并且适用于不同摄像头同时采集相同场景的情况。
为了实现上述目的,本发明提供一种白平衡同步方法,该方法包括:
获取关键摄像头与同步摄像头的像素比例及像素位置映射关系;
获取所述关键摄像头采集的关键目标图像、以及所述同步摄像头采集的同步目标图像,所述关键目标图像与所述同步目标图像为针对同一拍摄目标同时采集的图像;
对所述关键目标图像进行白平衡处理;
从所述关键目标图像中提取目标感兴趣区域;
根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述目标感兴趣区域位置对应的目标映射区域;
根据白平衡处理后的所述目标感兴趣区域内的各颜色分量、以及所述目标映射区域内的所述各颜色分量,对所述同步目标图像进行白平衡调整,以使所述同步目标图像与所述关键目标图像同步达到白平衡。
在本发明一个实施例中,所述获取所述关键摄像头与同步摄像头的像素比例及像素位置映射关系的步骤包括:
获取所述关键摄像头采集的关键先验图像、以及所述同步摄像头采集的同步先验图像,所述关键先验图像与所述同步先验图像为同时拍摄同一定标物的图像;
根据所述定标物在所述关键先验图像与所述同步先验图像中占据的像素大小,获取所述关键摄像头与同步摄像头的像素比例;
根据所述像素比例,获取所述关键先验图像及所述同步先验图像的像素位置偏移比例;
确定所述定标物上的定标点,并根据所述定标点在所述关键先验图像及所述同步先验图像中的位置、以及所述像素位置偏移比例,计算所述关键摄像头与同步摄像头的像素位置映射关系。
在本发明一个实施例中,所述对所述关键目标图像进行白平衡处理的步骤包括:
利用灰度世界法、白点检测法、色温估计法及直方图法中的任意一种对所述关键目标图像进行白平衡处理。
在本发明一个实施例中,所述从所述关键目标图像中提取目标感兴趣区域的步骤包括:
从所述关键目标图像中,提取初始感兴趣区域;
检测所述初始感兴趣区域的各颜色分量是否满足预定条件;
当满足预定条件时,将所述初始感兴趣区域确定为目标感兴趣区域;
当不满足预定条件时,获取所述初始感兴趣区域的可移动范围,并在关键目标图像内移动所述初始感兴趣区域,同时获取所述初始感兴趣区域的移动方向和移动距离;
判断所述初始感兴趣区域在按照所述移动方向和移动距离移动后是否超出所述可移动范围,当未超出时,返回所述检测所述初始感兴趣区域的各颜色分量是否满足预定条件的步骤。
在本发明一个实施例中,所述获取所述初始感兴趣区域的可移动范围的步骤包括:
根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述初始感兴趣区域位置对应的初始映射区域;
计算所述初始映射区域在所述同步目标图像中的移动范围,记为同步移动范围;
根据所述像素比例,获取所述同步移动范围映射至所述关键目标图像中得到的范围为所述初始感兴趣区域的可移动范围。
在本发明一个实施例中,所述根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述目标感兴趣区域位置对应的目标映射区域的步骤包括:
确定所述目标感兴趣区域上的关键点,并根据所述像素位置映射关系,从所述同步目标图像中获取与所述关键点对应的点为基准点;
以所述基准点为基准,按所述像素比例提取与所述目标感兴趣区域对应的目标映射区域。
在本发明一个实施例中,所述根据白平衡处理后的所述目标感兴趣区域内的各颜色分量、以及所述目标映射区域内的所述各颜色分量,对所述同步目标图像进行白平衡调整,以使所述同步目标图像与所述关键目标图像同步达到白平衡的步骤包括:
获取白平衡处理后的所述目标感兴趣区域内各颜色分量的平均值、与所述目标映射区域内对应颜色分量的平均值的比值,作为对应颜色分量的增益;
将所述同步目标图像中每个像素点的各颜色分量分别与对应的增益相乘。
为了实现上述目的,本发明还提供一种白平衡同步系统,所述系统包括:
先验模块,用于获取关键摄像头与同步摄像头的像素比例及像素位置映射关系;
目标图像获取模块,用于获取所述关键摄像头采集的关键目标图像、以及所述同步摄像头采集的同步目标图像,所述关键目标图像与所述同步目标图像为针对同一拍摄目标同时采集的图像;
白平衡处理模块,对所述关键目标图像进行白平衡处理;
目标区域提取模块,用于从所述关键目标图像中提取目标感兴趣区域;
映射区域提取模块,用于根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述目标感兴趣区域位置对应的目标映射区域;
白平衡调整模块,用于根据白平衡处理后的所述目标感兴趣区域内的各颜色分量、以及所述目标映射区域内的所述各颜色分量,对所述同步目标图像进行白平衡调整,以使所述同步目标图像与所述关键目标图像同步达到白平衡。
在本发明一个实施例中,所述先验模块包括:
先验图像获取单元,用于获取所述关键摄像头采集的关键先验图像、以及所述同步摄像头采集的同步先验图像,所述关键先验图像与所述同步先验图像为同时拍摄同一定标物的图像;
像素比例获取单元,用于根据所述定标物在所述关键先验图像与所述同步先验图像中占据的像素大小,获取所述关键摄像头与同步摄像头的像素比例;
偏移比例获取单元,用于根据所述像素比例,获取所述关键先验图像及所述同步先验图像的像素位置偏移比例;
映射关系获取单元,用于确定所述定标物上的定标点,并根据所述定标点在所述关键先验图像及所述同步先验图像中的位置、以及所述像素位置偏移比例,计算所述关键摄像头与同步摄像头的像素位置映射关系。
在本发明一个实施例中,所述白平衡处理模块具体用于利用灰度世界法、白点检测法、色温估计法及直方图法中的任意一种对所述关键目标图像进行白平衡处理。
在本发明一个实施例中,所述目标区域提取模块包括:
初始区域提取单元,用于从所述关键目标图像中,提取初始感兴趣区域;
颜色检测单元,用于检测所述初始感兴趣区域的各颜色分量是否满足预定条件;
目标区域确定单元,用于在所述初始感兴趣区域的各颜色分量满足所述预定条件时,将所述初始感兴趣区域确定为目标感兴趣区域;
移动单元,用于在所述初始感兴趣区域的各颜色分量不满足所述预定条件时,在所述关键目标图像内移动所述初始感兴趣区域;
移动参数获取单元,用于获取所述初始感兴趣区域的移动方向和移动距离;
移动范围获取单元,用于获取所述初始感兴趣区域的可移动范围;
超范围判断单元,用于判断所述初始感兴趣区域在按照所述移动方向和移动距离移动后是否超出所述可移动范围,当未超出所述可移动范围时,重新调用所述颜色检测单元。
在本发明一个实施例中,所述移动范围获取单元具体用于:
根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述初始感兴趣区域位置对应的初始映射区域;
计算所述初始映射区域在所述同步目标图像中的移动范围,记为同步移动范围;
根据所述像素比例,获取所述同步移动范围映射至所述关键目标图像中得到的范围为所述初始感兴趣区域的可移动范围。
在本发明一个实施例中,所述映射区域提取模块包括:
基准点获取单元,用于确定所述目标感兴趣区域上的关键点,并根据所述像素位置映射关系,从所述同步目标图像中获取与所述关键点对应的点为基准点;
区域提取单元,用于以所述基准点为基准,按所述像素比例提取与所述目标感兴趣区域对应的目标映射区域。
在本发明一个实施例中,所述白平衡调整模块包括:
增益获取单元,用于获取白平衡处理后的所述目标感兴趣区域内各颜色分量的平均值、与所述目标映射区域内对应颜色分量的平均值的比值,作为对应颜色分量的增益;
调整单元,用于将所述同步目标图像中每个像素点的各颜色分量分别与对应的增益相乘。
为了实现上述目的,本发明还提供一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现前述方法的步骤。
为了实现上述目的,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述方法的步骤。
为了实现上述目的,本发明还提供一种数字成像设备,包括上述任一种所述的白平衡同步系统。
通过采用上述技术方案,本发明具有如下有益效果:
由于关键目标图像、同步目标图像为针对同一拍摄目标同时采集的两幅图像,两者对应的光源信息应相同,因而当关键目标图像达到白平衡时,只要将关键目标图像、同步目标图像中内容相同的区域调整为颜色一致,即可实现关键目标图像、同步目标图像白平衡同步。基于此,本发明对所述关键目标图像进行白平衡处理后,从关键目标图像、同步目标图像中提取内容相同的目标感兴趣区域和目标映射区域,并根据所述目标感兴趣区域内各颜色分量的平均值、及所述目标映射区域内所述各颜色分量的平均值,对所述同步目标图像进行白平衡调整,即可使得同步目标图像同步达到白平衡,快速实现白平衡同步。与现有技术相比,本发明只需对所述关键目标图像进行白平衡处理,因而前期只需针对关键摄像头进行白平衡算法调试,减少了前期调试工作量,并且降低了计算复杂度,能够适用于不同摄像头同时采集相同场景的情况。
附图说明
图1为本发明实施例1的白平衡同步方法的流程图;
图2为本发明实施例1中步骤S1的流程图;
图2A为本发明实施例1的步骤S1中同一定标物成像于不同图像中的示意图;
图3为本发明实施例1中步骤S4的流程图;
图3A为本发明实施例1的步骤S4中初始映射区域在同步目标图像中的位置示意图;
图4为本发明实施例1中步骤S5的流程图;
图5为本发明实施例1中步骤S6的流程图;
图6为本发明实施例2中白平衡同步系统的结构框图;
图7为本发明实施例3中电子设备的硬件架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任意或所有可能组合。
实施例1
本实施例提供一种白平衡同步方法,如图1所示,包括以下步骤:
S1,获取关键摄像头与同步摄像头的像素比例及像素位置映射关系。
在本实施例中,关键摄像头和同步摄像头可以是设置于同一个拍摄终端的同一侧面的不同摄像头。其中,拍摄终端可以是手机、平板电脑、摄像机、相机、笔记本电脑等设备。关键摄像头和同步摄像头在拍摄终端上相邻设置,同一时间两者对应的光源信息应相同。可以理解,拍摄终端的同一侧面可设置多个摄像头,选取其中一个焦距适中且没有明显畸变的摄像头为关键摄像头,其它摄像头为同步摄像。
具体地,如图2所示,本实施例通过如下步骤获取关键摄像头与同步摄像头的像素比例及像素位置映射关系:
S11,获取关键摄像头采集的关键先验图像、以及同步摄像头采集的同步先验图像,其中关键先验图像与同步先验图像为同时拍摄同一定标物的图像。
在图2A所示的示例中,定标物呈正方形,应该理解,定标物也可以是其它任意合适的形状,本申请对此不作任意限定。关键摄像头、同步摄像头在同一时间分别从正面对定标物进行拍摄,得到关键、同步先验图像。由于不同摄像头焦距、像素不一致,并且处于不同的位置,所以同一定标物在不同图像中成像的位置和大小也不一致。
S12,根据定标物在关键、同步先验图像中占据的像素大小,获取关键摄像头与同步摄像头的像素比例。
例如,假设图2A中的定标物在关键先验图像中占据m1个像素,在同步关键先验图像中占据mn个像素,则关键摄像头与同步摄像头的像素比例为
Figure BDA0002470358930000091
S13,根据前述像素比例,获取关键先验图像及同步先验图像的像素位置偏移比例。由于定标物为正方形,则关键先验图像与同步先验图像的像素位置偏移比例为
Figure BDA0002470358930000092
S14,确定定标物上的定标点,并根据定标点在关键先验图像及同步先验图像中的位置、以及前述像素位置偏移比例,计算关键摄像头与同步摄像头的像素位置映射关系。
在本实施例中,定标点优选取定标物的顶点和中心,当然本申请并不对定标点的具体位置作任意限定,可以选择其它任意合适的点。以定标点为定标物的中心点为例,关键先验图像及同步先验图像的每个像素点对应一个坐标点,定标物的中心在关键先验图像中的位置可表示为(x1,y1),定标物的中心在同步先验图像中的位置可表示为(xn,yn),则对于关键先验图像中任意一点(x1 ,y1 ),其映射在同步先验图像中的位置为:
Figure BDA0002470358930000101
Figure BDA0002470358930000102
(x1 ,y1 )与
Figure BDA0002470358930000103
的对应关系即为关键摄像头与同步摄像头的像素位置映射关系。
S2,获取关键摄像头采集的关键目标图像、以及同步摄像头采集的同步目标图像,其中关键目标图像与同步目标图像为针对同一拍摄目标同时采集的图像。在本实施例中,关键、同步目标图像可以是RGB、Bayer等格式中的任一种,本实施例对图像格式不作任意限定。
S3,对关键目标图像进行白平衡处理,以使关键目标图像中还原真实色彩。
具体地,当前,常用的白平衡算法包括灰度世界法、白点检测法、色温估计法及直方图法等。本步骤中,可以采用现有的任一种白平衡算法实现,在此不作任意限定。
应该理解,在利用白平衡算法对关键目标图像进行白平衡处理前,需预先对白平衡算法进行调试,以将算法的参数调试到目标值。
S4,从关键目标图像中提取目标感兴趣区域,当提取成功时,执行步骤S5,当提取失败时,执行步骤S7。
具体地,如图3所示,本实施例通过如下步骤提取关键目标图像中的目标感兴趣区域:
S41,从关键目标图像中,提取初始感兴趣区域。优选地,提取的初始感兴趣区域是以关键目标图像的中心点为中心的正方形区域。
S42,检测初始感兴趣区域的各颜色分量是否满足预定条件。本实施例中,前述预定条件可以是:初始感兴趣区域中红、绿、蓝颜色分量的平均值是否在预定阈值范围内。执行本步骤的目的是为了防止获得过曝或者欠曝的目标感兴趣区域。
S43,当初始感兴趣区域的各颜色分量满足预定条件时,将初始感兴趣区域确定为目标感兴趣区域。
S44,当初始感兴趣区域的各颜色分量不满足预定条件时,获取初始感兴趣区域的可移动范围,并在关键目标图像内移动初始感兴趣区域,同时获取初始感兴趣区域的移动方向和移动距离。
具体地,通过如下步骤获取初始感兴趣区域的可移动范围:首先,根据关键摄像头与同步摄像头的像素比例及像素位置映射关系,从同步目标图像中获取与当前初始感兴趣区域位置对应的初始映射区域;而后,计算移动前的初始映射区域在同步目标图像中的移动范围,记为同步移动范围,如图3A所示,包括:初始映射区域(即图3A中虚框区域)的最上边至同步目标图像的上边界之间的向上可移动距离d1、最下边至同步目标图像的下边界之间的向下可移动距离d2、最左边至同步目标图像的左边界之间的向左可移动距离d3、最右边至同步目标图像的右边界之间的向右可移动距离d4;最后,根据关键目标图像及同步目标图像的像素比例,获取同步移动范围映射至关键目标图像中得到的范围为初始感兴趣区域的可移动范围。
S45,判断所述初始感兴趣区域在按照所述移动方向和移动距离移动后是否超出所述可移动范围。具体地,当初始感兴趣区域在移动方向的移动距离超出可移动范围中对应方向的可移动距离时,认为超出可移动范围,反之,认为未超出可移动范围。例如,假设预设的移动规则为向左移动10个像素,而初始感兴趣区域的可移动范围中向左可移动距离为12个像素,则认为初始感兴趣区域的可移动范围与预设移动规则匹配;假设预设的移动规则为向上移动10个像素,而初始感兴趣区域的可移动范围中向上可移动距离为8个像素,则认为初始感兴趣区域的可移动范围与预设移动规则不匹配。当初始感兴趣区域的移动未超出前述可移动范围时,返回步骤S42,以检测移动后的初始感兴趣区域的各颜色分量是否满足预定条件。
S46,当初始感兴趣区域的移动超出前述可移动范围时,则认为提取目标感兴趣区域失败,执行步骤S7。S5,当目标感兴趣区域提取成功时,根据关键摄像头与同步摄像头的像素比例及像素位置映射关系,从同步目标图像中获取与目标感兴趣区域位置对应的目标映射区域。优选地,如图4所示,本步骤的实现过程如下:
S51,确定目标感兴趣区域上的关键点,并根据关键摄像头与同步摄像头的位置映射关系,从同步目标图像中获取与关键点位置对应的点为基准点;
S52,以前述基准点为基准,根据关键摄像头与同步摄像头的像素比例提取与目标感兴趣区域对应的目标映射区域。
在本实施例中,关键点优选取目标感兴趣区域的顶点或中心点,当然本申请并不对关键点的具体位置作任意限定,可以选择其它任意合适的点为关键点。以关键点为目标感兴趣区域的中心点为例,假设目标感兴趣区域是边长为m的正方形区域,目标感兴趣区域的中心点在同步目标图像中对应的同步点为(x″n,y″n),当关键摄像头与同步摄像头的像素比例为
Figure BDA0002470358930000121
时,提取的目标映射区域是以(x″n,y″n)为中心、边长为
Figure BDA0002470358930000122
的正方形区域。
S6,根据白平衡处理后的目标感兴趣区域内的各颜色分量、以及目标映射区域内的各颜色分量,对同步目标图像进行白平衡调整。
在本实施例中,如图5所示,本步骤可通过如下步骤实现:
S61,获取白平衡处理后的目标感兴趣区域内各颜色分量的平均值、与目标映射区域内对应颜色分量的平均值的比值,作为对应颜色分量的增益。
具体地,首先,从经过白平衡处理的关键目标图像中,获取目标感兴趣区域内红、绿、蓝颜色分量的平均值,记为第一平均值;同时,从同步目标图像中,获取目标映射区域内红、绿、蓝颜色分量的平均值,记为第二平均值。
例如,假定关键、同步目标图像为RGB格式,目标感兴趣区域包含N*M个像素点,每个像素点对应一个坐标点,(x,y)代表该目标感兴趣区域中某个像素点的坐标点。当目标感兴趣区域中坐标点为(x,y)的像素点的R(红)颜色分量、G(绿)颜色分量和B(蓝)颜色分量分别表示为Rsensor(x,y)、Gsensor(x,y)以及Bsensor(x,y)时,则可以采用如下公式计算R颜色分量的平均值:
Figure BDA0002470358930000131
其中,Ravg表示R颜色分量的平均值,即目标感兴趣区域内各像素点R颜色分量的平均值。同理,可以计算得到目标感兴趣区域内G颜色分量的平均值Gavg和B颜色分量的平均值Bavg,还可计算得到目标映射区域内R颜色分量的平均值Ravg′、G颜色分量的平均值Gavg′和B颜色分量的平均值Bavg′。
当关键、同步目标图像为Bayer或其它格式时,可以先将图像转换成RGB格式,再计算目标感兴趣区域和目标映射区域内各颜色分量的平均值;当然,也可以直接计算目标感兴趣区域和目标映射区域各颜色分量的平均值,计算方法为本领域已知算法,在此不再赘述。
而后,计算各颜色分量的第一平均值与第二平均值的比值,作为对应颜色分量的增益,即R颜色分量的增益
Figure BDA0002470358930000132
G颜色分量的增益
Figure BDA0002470358930000133
B颜色分量的增益
Figure BDA0002470358930000134
S62,通过将同步目标图像中每个像素点的各颜色分量分别与对应的增益相乘,对同步目标图像进行白平衡调整。
由于关键目标图像、同步目标图像为针对同一拍摄目标同时采集的两幅图像,两者对应的光源信息相同,因而当关键目标图像达到白平衡时,只要将同步目标图像中每个像素点的各颜色分量分别与对应的增益相乘,使得将目标感兴趣区域与目标映射区域的颜色达到一致,即可实现关键目标图像、同步目标图像白平衡同步。
S7,当提取目标感兴趣区域失败时,根据关键摄像头与同步摄像头采集的前一帧图像实现白平衡同步时各颜色分量的增益,对同步目标图像进行白平衡调整。
与现有技术相比,本发明前期只需针对关键摄像头进行白平衡算法调试,减少了前期调试工作量,并且降低了计算复杂度,能够适用于不同摄像头同时采集相同场景的情况。
需要说明的是,对于本实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明所必须的。
实施例2
本实施例提供一种白平衡同步系统,如图6所示,该系统10包括:
先验模块11,用于获取关键摄像头与同步摄像头的像素比例及像素位置映射关系;
目标图像获取模块12,用于获取关键摄像头采集的关键目标图像、以及同步摄像头采集的同步目标图像,关键目标图像与同步目标图像为针对同一拍摄目标同时采集的图像;
白平衡处理模块13,对关键目标图像进行白平衡处理;
目标区域提取模块14,用于从关键目标图像中提取目标感兴趣区域;
映射区域提取模块15,用于根据像素比例及像素位置映射关系,从同步目标图像中获取与目标感兴趣区域位置对应的目标映射区域;
白平衡调整模块16,用于根据白平衡处理后的目标感兴趣区域内的各颜色分量、以及目标映射区域内的各颜色分量,对同步目标图像进行白平衡调整,以使同步目标图像与关键目标图像同步达到白平衡。
在本实施例中,先验模块11可以包括:
先验图像获取单元111,用于获取关键摄像头采集的关键先验图像、以及同步摄像头采集的同步先验图像,关键先验图像与同步先验图像为同时拍摄同一定标物的图像;
像素比例获取单元112,用于根据定标物在关键先验图像与同步先验图像中占据的像素大小,获取关键摄像头与同步摄像头的像素比例;
偏移比例获取单元113,用于根据像素比例,获取关键先验图像及同步先验图像的像素位置偏移比例;
映射关系获取单元114,用于确定定标物上的定标点,并根据定标点在关键先验图像及同步先验图像中的位置、以及像素位置偏移比例,计算关键摄像头与同步摄像头的像素位置映射关系。
在本实施例中,白平衡处理模块13具体用于利用灰度世界法、白点检测法、色温估计法及直方图法中的任意一种对关键目标图像进行白平衡处理。
在本实施例中,目标区域提取模块14可以包括:
初始区域提取单元141,用于从关键目标图像中,提取初始感兴趣区域;
颜色检测单元142,用于检测初始感兴趣区域的各颜色分量是否满足预定条件;
目标区域确定单元143,用于在初始感兴趣区域的各颜色分量满足预定条件时,将初始感兴趣区域确定为目标感兴趣区域;
移动单元144,用于在初始感兴趣区域的各颜色分量不满足预定条件时,在关键目标图像内移动初始感兴趣区域;
移动参数获取单元145,用于获取初始感兴趣区域的移动方向和移动距离;
移动范围获取单元146,用于获取初始感兴趣区域的可移动范围;
超范围判断单元147,用于判断所述初始感兴趣区域在按照所述移动方向和移动距离移动后是否超出所述可移动范围,当未超出所述可移动范围时,重新调用所述颜色检测单元142。
在本实施例中,移动范围获取单元146具体用于:
根据像素比例及像素位置映射关系,从所述同步目标图像中获取与所述初始感兴趣区域位置对应的初始映射区域;
计算所述初始映射区域在所述同步目标图像中的移动范围,记为同步移动范围;
根据所述像素比例,获取所述同步移动范围映射至所述关键目标图像中得到的范围为初始感兴趣区域的可移动范围。
在本实施例中,映射区域提取模块15可以包括:
基准点获取单元151,用于确定目标感兴趣区域上的关键点,并根据前述像素位置映射关系,从同步目标图像中获取与关键点对应的点为基准点;
区域提取单元152,用于以基准点为基准,按前述像素比例提取与目标感兴趣区域对应的目标映射区域。
在本实施例中,白平衡调整模块16可以包括:
增益获取单元161,用于获取白平衡处理后的目标感兴趣区域内各颜色分量的平均值、与目标映射区域内对应颜色分量的平均值的比值,作为对应颜色分量的增益;
调整单元162,用于将同步目标图像中每个像素点的各颜色分量分别与对应的增益相乘。
对于本系统实施例而言,由于其与前述方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的模块作并不一定是本发明所必须的。
实施例3
本实施例提供一种电子设备,电子设备可以通过计算设备的形式表现(例如可以为服务器设备),包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中处理器执行计算机程序时可以实现实施例1提供的白平衡同步方法。
图7示出了本实施例的硬件结构示意图,如图7所示,电子设备9具体包括:
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93,其中:
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器,例如随机存取存储器(RAM)921和/或高速缓存存储器922,还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925,这样的程序模块924包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序,从而执行各种功能应用以及数据处理,例如本发明实施例1所提供的白平衡同步方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且,电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备9使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现实施例1所提供的白平衡同步方法的步骤。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行实现实施例1所述的白平衡同步方法的步骤。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
实施例5
本实施例提供一种数字成像设备,如智能手机、平板电脑、笔记本电脑、台式计算机、数码摄像机、数码相机等,其中本实施例的数字成像设备包括实施例二的白平衡同步系统10。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (17)

1.一种白平衡同步方法,其特征在于,该方法包括:
获取关键摄像头与同步摄像头的像素比例及像素位置映射关系;
获取所述关键摄像头采集的关键目标图像、以及所述同步摄像头采集的同步目标图像,所述关键目标图像与所述同步目标图像为针对同一拍摄目标同时采集的图像;
对所述关键目标图像进行白平衡处理;
从所述关键目标图像中提取目标感兴趣区域;
根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述目标感兴趣区域位置对应的目标映射区域;
根据白平衡处理后的所述目标感兴趣区域内的各颜色分量、以及所述目标映射区域内的所述各颜色分量,对所述同步目标图像进行白平衡调整,以使所述同步目标图像与所述关键目标图像同步达到白平衡。
2.根据权利要求1所述的白平衡同步方法,其特征在于,所述获取所述关键摄像头与同步摄像头的像素比例及像素位置映射关系的步骤包括:
获取所述关键摄像头采集的关键先验图像、以及所述同步摄像头采集的同步先验图像,所述关键先验图像与所述同步先验图像为同时拍摄同一定标物的图像;
根据所述定标物在所述关键先验图像与所述同步先验图像中占据的像素大小,获取所述关键摄像头与同步摄像头的像素比例;
根据所述像素比例,获取所述关键先验图像及所述同步先验图像的像素位置偏移比例;
确定所述定标物上的定标点,并根据所述定标点在所述关键先验图像及所述同步先验图像中的位置、以及所述像素位置偏移比例,计算所述关键摄像头与同步摄像头的像素位置映射关系。
3.根据权利要求1所述的白平衡同步方法,其特征在于,所述对所述关键目标图像进行白平衡处理的步骤包括:
利用灰度世界法、白点检测法、色温估计法及直方图法中的任意一种对所述关键目标图像进行白平衡处理。
4.根据权利要求1所述的白平衡同步方法,其特征在于,所述从所述关键目标图像中提取目标感兴趣区域的步骤包括:
从所述关键目标图像中,提取初始感兴趣区域;
检测所述初始感兴趣区域的各颜色分量是否满足预定条件;
当满足预定条件时,将所述初始感兴趣区域确定为目标感兴趣区域;
当不满足预定条件时,获取所述初始感兴趣区域的可移动范围,并在所述关键目标图像内移动所述初始感兴趣区域,同时获取所述初始感兴趣区域的移动方向和移动距离;
判断所述初始感兴趣区域在按照所述移动方向和移动距离移动后是否超出所述可移动范围,当未超出所述可移动范围时,返回所述检测所述初始感兴趣区域的各颜色分量是否满足预定条件的步骤。
5.根据权利要求4所述的白平衡同步方法,其特征在于,所述获取所述初始感兴趣区域的可移动范围的步骤包括:
根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述初始感兴趣区域位置对应的初始映射区域;
计算所述初始映射区域在所述同步目标图像中的移动范围,记为同步移动范围;
根据所述像素比例,获取所述同步移动范围映射至所述关键目标图像中得到的范围为所述初始感兴趣区域的可移动范围。
6.根据权利要求1所述的白平衡同步方法,其特征在于,所述根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述目标感兴趣区域位置对应的目标映射区域的步骤包括:
确定所述目标感兴趣区域上的关键点,并根据所述像素位置映射关系,从所述同步目标图像中获取与所述关键点对应的点为基准点;
以所述基准点为基准,根据所述像素比例提取与所述目标感兴趣区域对应的目标映射区域。
7.根据权利要求1所述的白平衡同步方法,其特征在于,所述根据白平衡处理后的所述目标感兴趣区域内的各颜色分量、以及所述目标映射区域内的所述各颜色分量,对所述同步目标图像进行白平衡调整,以使所述同步目标图像与所述关键目标图像同步达到白平衡的步骤包括:
获取白平衡处理后的所述目标感兴趣区域内各颜色分量的平均值、与所述目标映射区域内对应颜色分量的平均值的比值,作为对应颜色分量的增益;
将所述同步目标图像中每个像素点的各颜色分量分别与对应的增益相乘。
8.一种白平衡同步系统,其特征在于,所述系统包括:
先验模块,用于获取关键摄像头与同步摄像头的像素比例及像素位置映射关系;
目标图像获取模块,用于获取所述关键摄像头采集的关键目标图像、以及所述同步摄像头采集的同步目标图像,所述关键目标图像与所述同步目标图像为针对同一拍摄目标同时采集的图像;
白平衡处理模块,对所述关键目标图像进行白平衡处理;
目标区域提取模块,用于从所述关键目标图像中提取目标感兴趣区域;
映射区域提取模块,用于根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述目标感兴趣区域位置对应的目标映射区域;
白平衡调整模块,用于根据白平衡处理后的所述目标感兴趣区域内的各颜色分量、以及所述目标映射区域内的所述各颜色分量,对所述同步目标图像进行白平衡调整,以使所述同步目标图像与所述关键目标图像同步达到白平衡。
9.根据权利要求8所述的白平衡同步系统,其特征在于,所述先验模块包括:
先验图像获取单元,用于获取所述关键摄像头采集的关键先验图像、以及所述同步摄像头采集的同步先验图像,所述关键先验图像与所述同步先验图像为同时拍摄同一定标物的图像;
像素比例获取单元,用于根据所述定标物在所述关键先验图像与所述同步先验图像中占据的像素大小,获取所述关键摄像头与同步摄像头的像素比例;
偏移比例获取单元,用于根据所述像素比例,获取所述关键先验图像及所述同步先验图像的像素位置偏移比例;
映射关系获取单元,用于确定所述定标物上的定标点,并根据所述定标点在所述关键先验图像及所述同步先验图像中的位置、以及所述像素位置偏移比例,计算所述关键摄像头与同步摄像头的像素位置映射关系。
10.根据权利要求8所述的白平衡同步系统,其特征在于,所述白平衡处理模块具体用于利用灰度世界法、白点检测法、色温估计法及直方图法中的任意一种对所述关键目标图像进行白平衡处理。
11.根据权利要求8所述的白平衡同步系统,其特征在于,所述目标区域提取模块包括:
初始区域提取单元,用于从所述关键目标图像中,提取初始感兴趣区域;
颜色检测单元,用于检测所述初始感兴趣区域的各颜色分量是否满足预定条件;
目标区域确定单元,用于在所述初始感兴趣区域的各颜色分量满足所述预定条件时,将所述初始感兴趣区域确定为目标感兴趣区域;
移动单元,用于在所述初始感兴趣区域的各颜色分量不满足所述预定条件时,在所述关键目标图像内移动所述初始感兴趣区域;
移动参数获取单元,用于获取所述初始感兴趣区域的移动方向和移动距离;
移动范围获取单元,用于获取所述初始感兴趣区域的可移动范围;
超范围判断单元,用于判断所述初始感兴趣区域在按照所述移动方向和移动距离移动后是否超出所述可移动范围,当未超出所述可移动范围时,重新调用所述颜色检测单元。
12.根据权利要求11所述的白平衡同步系统,其特征在于,所述移动范围获取单元具体用于:
根据所述像素比例及所述像素位置映射关系,从所述同步目标图像中获取与所述初始感兴趣区域位置对应的初始映射区域;
计算所述初始映射区域在所述同步目标图像中的移动范围,记为同步移动范围;
根据所述像素比例,获取所述同步移动范围映射至所述关键目标图像中得到的范围为所述初始感兴趣区域的可移动范围。
13.根据权利要求8所述的白平衡同步系统,其特征在于,所述映射区域提取模块包括:
基准点获取单元,用于确定所述目标感兴趣区域上的关键点,并根据所述像素位置映射关系,从所述同步目标图像中获取与所述关键点对应的点为基准点;
区域提取单元,用于以所述基准点为基准,根据所述像素比例提取与所述目标感兴趣区域对应的目标映射区域。
14.根据权利要求8所述的白平衡同步系统,其特征在于,所述白平衡调整模块包括:
增益获取单元,用于获取白平衡处理后的所述目标感兴趣区域内各颜色分量的平均值、与所述目标映射区域内对应颜色分量的平均值的比值,作为对应颜色分量的增益;
调整单元,用于将所述同步目标图像中每个像素点的各颜色分量分别与对应的增益相乘。
15.一种电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
17.一种数字成像设备,其特征在于,包括根据权利要求8-14中任一项所述的系统。
CN202010346624.4A 2020-04-27 2020-04-27 白平衡同步方法、系统、电子设备、介质及数字成像设备 Active CN111526351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010346624.4A CN111526351B (zh) 2020-04-27 2020-04-27 白平衡同步方法、系统、电子设备、介质及数字成像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010346624.4A CN111526351B (zh) 2020-04-27 2020-04-27 白平衡同步方法、系统、电子设备、介质及数字成像设备

Publications (2)

Publication Number Publication Date
CN111526351A CN111526351A (zh) 2020-08-11
CN111526351B true CN111526351B (zh) 2022-02-11

Family

ID=71903406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010346624.4A Active CN111526351B (zh) 2020-04-27 2020-04-27 白平衡同步方法、系统、电子设备、介质及数字成像设备

Country Status (1)

Country Link
CN (1) CN111526351B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422942B (zh) * 2020-12-09 2022-08-16 Oppo(重庆)智能科技有限公司 白平衡同步方法、镜头模组、电子设备
CN112702589A (zh) * 2020-12-18 2021-04-23 Oppo(重庆)智能科技有限公司 白平衡同步方法及装置、电子设备和存储介质
CN112950635A (zh) * 2021-04-26 2021-06-11 Oppo广东移动通信有限公司 灰点检测方法、灰点检测装置、电子设备及存储介质
CN113810615A (zh) * 2021-09-26 2021-12-17 展讯通信(上海)有限公司 对焦处理方法、装置、电子设备和存储介质
CN113766141B (zh) * 2021-09-29 2023-06-16 维沃移动通信有限公司 图像信息的处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131527A (zh) * 2016-07-26 2016-11-16 深圳众思科技有限公司 双摄像头颜色同步方法、装置及终端
KR102636272B1 (ko) * 2016-07-26 2024-02-14 삼성전자주식회사 영상 촬상 장치 및 이를 포함하는 전자 시스템

Also Published As

Publication number Publication date
CN111526351A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111526351B (zh) 白平衡同步方法、系统、电子设备、介质及数字成像设备
US10715773B2 (en) Method and system of lens shading color correction using block matching
US10074165B2 (en) Image composition device, image composition method, and recording medium
JP6395810B2 (ja) 動きゴーストフィルタリングのための基準画像選択
JP5791336B2 (ja) 画像処理装置及びその制御方法
WO2018136373A1 (en) Image fusion and hdr imaging
US8106958B2 (en) Image processing apparatus and image processing method and image capturing apparatus
US7868915B2 (en) Photographing apparatus, method and computer program product
CN110574026A (zh) 用于交织通道数据的可配置卷积引擎
KR102636272B1 (ko) 영상 촬상 장치 및 이를 포함하는 전자 시스템
CN109922275B (zh) 曝光参数的自适应调整方法、装置及一种拍摄设备
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
WO2006072671A1 (en) Automatic white balancing of colour gain values
US9367916B1 (en) Method and system of run-time self-calibrating lens shading correction
CN111491149B (zh) 基于高清视频的实时抠像方法、装置、设备及存储介质
CN110881108B (zh) 图像处理方法及图像处理装置
CN113132695B (zh) 镜头阴影校正方法、装置及电子设备
CN112261292B (zh) 图像获取方法、终端、芯片及存储介质
CN114429191A (zh) 基于深度学习的电子防抖方法、系统及存储介质
WO2021022820A1 (zh) 白平衡异常的确定方法、装置、存储介质及电子设备
CN110930340B (zh) 一种图像处理方法及装置
US20230132230A1 (en) Efficient Video Execution Method and System
CN116614716A (zh) 图像处理方法、图像处理装置、存储介质及电子设备
JPWO2019021412A1 (ja) 位置推定装置、位置推定方法及びプログラム記録媒体
CN115118947B (zh) 图像的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant