CN114222105B - 白平衡调整方法、系统、白平衡终端及存储介质 - Google Patents
白平衡调整方法、系统、白平衡终端及存储介质 Download PDFInfo
- Publication number
- CN114222105B CN114222105B CN202111543412.6A CN202111543412A CN114222105B CN 114222105 B CN114222105 B CN 114222105B CN 202111543412 A CN202111543412 A CN 202111543412A CN 114222105 B CN114222105 B CN 114222105B
- Authority
- CN
- China
- Prior art keywords
- white
- color temperature
- curve
- white balance
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011088 calibration curve Methods 0.000 claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000012216 screening Methods 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 27
- 230000009467 reduction Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 7
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000007787 solid Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100351256 Caenorhabditis elegans ccm-3 gene Proteins 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本发明提供一种白平衡调整方法、系统、白平衡终端及存储介质,该方法通过预先标定第一区域和色温标定曲线对待处理图像中的白点分别进行筛选,然后根据色温区间划分子区间,根据子区间中的白点数量选取参与增益计算的子区间作为有效数据块,计算得到目标增益,并进一步计算得到色温值和还原矩阵,结合色温增益曲线用以进行图像的白平衡调整。本发明通过采用与拍照设备直接相关的白点分布范围和色温标定曲线、色温增益曲线来筛选白点,提高了白平衡调节与设备的适配性,实现不同设备的独有的白平衡调节,同时利用子区间划分来选择合适数量的白点进行增益和色温值的计算,提高了白平衡调节在光源适应性和精度之间的平衡,实现白平衡的精准调节。
Description
技术领域
本发明涉及白平衡调整领域,具体涉及用于白平衡调整方法、系统、白平衡终端及存储介质。
背景技术
白平衡是描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标。白平衡是电视摄像领域一个非常重要的概念,通过它可以解决色彩还原和色调处理的一系列问题。白平衡是随着电子影像再现色彩真实而产生的,能够使摄像机图像精确反映被摄物的色彩状况。
调整白平衡的过程叫做白平衡调整。白平衡调整在前期设备上一般有三种方式:预置白平衡、手动白平衡调整和自动跟踪白平衡调整。通常按照白平衡调整的程序,推动白平衡的调整开关,白平衡调整电路开始工作,自动完成调校工作,并记录调校结果。
现有技术中,数码相机中白平衡调整原理是:找到画面中的中性点,把这些点矫正成中性状态。然而,对于大部分场景中,由于光源的复杂性,中性点的分布很离散,并不会集中分布在某个标定光源区域内,或者也有很多不存在中性色表面的场景。因此,上述白平衡调整方法容易出现偏差甚至异常。
发明内容
有鉴于此,本发明实施例提供了一种白平衡调整方法、系统、白平衡终端及存储介质,以解决现有技术中存在的问题。
第一方面,本发明提供一种白平衡调整方法,包括如下步骤:获取一帧待处理图像以及所述待处理图像的白平衡统计信息,其中,所述白平衡统计信息包括对所述待处理图像划分的多个区块中白点的三色分量值;根据预先标定的第一区域和所述白平衡统计信息对所述待处理图像进行筛选,得到第一区域白点,其中,所述第一区域为拍摄所述待处理图像的拍照设备对应各色温下标定得到的白点分布范围;根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,其中,所述色温标定曲线为根据所述拍照设备实验标定得出的色温曲线所划定的双曲线,其中,所述第二区域白点位于所述色温标定曲线的划定范围内;根据预设色温区间将第二区域进行划分为n个子区间;统计每一子区间中包含的白点的个数,根据所述不同子区间的白点数量确定进行增益计算的有效数据块,所述有效数据块包括n个子区间中的至少1个;基于所述有效数据块计算得到目标增益;根据所述目标增益和预先标定的色温增益曲线确定当前的色温值;以及通过当前的色温值计算还原矩阵,并根据目标增益及还原矩阵进行白平衡调整。
可选地,通过以下步骤标定得到所述第一区域:在不同色温下用于所述拍照设备拍摄24色卡的每个色卡并获取相应的R、G、B三色分量值;计算每个色卡在不同色温下所对应的R/G、B/G的值;建立以R/G为横坐标、B/G的为纵坐标的第一坐标系;在第一坐标系中确定白色色卡与灰色色卡对应的R/G、B/G范围作为所述第一区域。
可选地,通过以下步骤得到所述色温标定曲线:采用不同色温下的第一标定参数对所述拍照设备进行标定,得到所述拍照设备对应的色温曲线;将所述色温曲线向上平移第一预设值得到第一曲线,将所述色温曲线向下平移第二预设值得到第二曲线,所述第一曲线和所述第二曲线构成所述色温标定曲线。
可选地,所述根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,包括:将所述第一曲线和所述第二曲线之间的区域与第一区域的做交集,筛选出位于所述第一曲线和所述第二曲线之间的白点,作为所述第二区域白点。
可选地,在将所述第一曲线和所述第二曲线之间的区域与所述第一区域的做交集,筛选出位于所述第一曲线和所述第二曲线之间的白点之后,还包括:基于实验数据确定出各个色温下的绿区分布范围;将所述第一曲线和所述第二曲线之间中包含的绿区分布范围的区块白点去除,得到所述第二区域白点。
可选地,所述根据所述不同子区间的白点数量范围确定进行增益计算的有效数据块,包括:统计每个子区间的白点数量,并计算每个子区间的白点数量在总数量的占比;根据每个子区间的所述占比选择出至少1个子区间作为所述有效数据块。
可选地,所述基于所述有效数据块计算得到目标增益,包括:分别统计有效数据块中每个子区间的三色分量的各单分量总和;根据每个子区间的所述各单分量总和以及白点数量计算每种分量的单分量增益参数,得到每个单分量对应的单分量增益参数;利用所述单分量增益参数计算得到所述目标增益。
可选地,通过以下公式计算所述单分量增益参数:
XSUM=(count_block[1]*Xsum_block[1]+...+count_block[n]*Xsum_block[n])/(count_block[1]+…+count_block[n])
通过以下公式计算得到所述目标增益:
r/g=RSUM/GSUM;b/g=BSUM/GSUM
其中,所述XSUM为单分量增益参数,其包括RSUM、BSUM和GSUM;count_block[1]表示所述有效数据块中白点个数最多的区块对应的白点数量;count_block[n]表示所述有效数据块中白点个数最少的区块对应的白点数量;Xsum_block[1]表示所述有效数据块中白点个数最多的区块对应的白点的单分量总和;Xsum_block[n]表示所述有效数据块中白点个数最多的区块对应的白点的单分量总和。
本发明实施例的另一方面,提供了一种白平衡调整系统,包括:获取模块,用于获取一帧待处理图像以及所述待处理图像的白平衡统计信息,其中,所述白平衡统计信息包括对所述待处理图像划分的多个区块中白点的三色分量值;第一筛选模块,用于根据预先标定的第一区域和所述白平衡统计信息对所述待处理图像进行筛选,得到第一区域白点,其中,所述第一区域为拍摄所述待处理图像的拍照设备对应各色温下标定得到的白点分布范围;第二筛选模块,用于根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,其中,所述色温标定曲线为根据所述拍照设备实验标定得出的色温曲线所划定的双曲线,其中,所述第二区域白点位于所述色温标定曲线的划定范围内;划分模块,用于根据预设色温区间将第二区域进行划分为n个子区间;第一确定模块,用于统计每一子区间中包含的白点的个数,根据所述不同子区间的白点数量确定进行增益计算的有效数据块,所述有效数据块包括n个子区间中的至少1个;计算模块,用于基于所述有效数据块计算得到目标增益;第二计算模块,用于根据所述目标增益和预先标定的色温增益曲线确定当前的色温值;以及第三计算模块,用于通过当前的色温值计算还原矩阵,并根据目标增益及还原矩阵进行白平衡调整。
本发明实施例的另一方面,提供了一种白平衡终端,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而上述的白平衡调整方法。
本发明实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行上述的白平衡调整方法。
本发明技术方案,具有如下优点:
根据本发明实施例,通过预先标定第一区域和色温标定曲线对待处理图像中的白点分别进行筛选,然后根据色温区间划分子区间,根据子区间中的白点数量选取参与增益计算的子区间作为有效数据块,计算得到目标增益,并进一步计算得到色温值和还原矩阵,结合色温增益曲线用以进行图像的白平衡调整。本发明通过采用与拍照设备直接相关的白点分布范围和色温标定曲线、色温增益曲线来筛选白点,提高了白平衡调节与设备的适配性,实现不同设备的独有的白平衡调节,同时利用子区间划分来选择合适数量的白点进行增益和色温值的计算,从而提高了白平衡调节在光源适应性和精度之间的平衡,实现白平衡的精准调节。
本发明提供的白平衡系统及白平衡终端的技术效果与白平衡调整方法相同,在此不再赘述。
为使本发明的上述目的、特征及优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的白平衡调整方法的流程图;
图2是根据本发明实施例提供的坐标系构建第一区域的示意图;
图3是根据本发明实施例提供的色温标定曲线的示意图;
图4是根据本发明实施例提供的色温区间划分的示意图;
图5是根据本发明实施例提供的色温增益曲线的示意图;
图6是根据本发明实施例提供的白平衡调整系统的结构框图;
图7是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
如图1所示,本发明提供一种白平衡调整方法,通过标定参数对图像数据进行两次白点的筛选,最后根据色温区间进行划分,根据标定参数选取进行增益的子区间,具体地,所述方法包括如下步骤:
步骤S101,获取一帧待处理图像以及所述待处理图像的白平衡统计信息,其中,所述白平衡统计信息包括对所述待处理图像划分的多个区块中白点的三色分量值。
本实施例中,待处理图像可以是采用不同的拍照设备拍摄得到,不同的拍照设备采用的图像传感器可以相同,也可以不同。本发明实施例的待处理图像可以是采用HISI平台的IPC网络摄像机拍摄到的图像。获取的待处理图像可以是直接获取RAW图像,RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。
白平衡统计信息可以包括该待处理图像中白点的R、G、B三色分量。具体地,本发明实施例中,可以根据不同的图像传感器对图像进行区块划分,例如,在HISI平台上的AWB模块是在Bayer域上计算并生效的,ISP芯片会把图像传感器获取的Bayer图像划分为15行17列,共划分为255个区块,然后计算每个区块中白点的R、G、B分量的平均值,作为白平衡统计信息。本申请的白平衡调整方法则是直接从HISI平台提供的API接口,直接获取上述划分区块后的图像数据,获取区块划分相关信息以及各个区块中白点的R、G、B分量的平均值等白平衡统计信息。用以作进一步的白平衡调节。
步骤S102,根据预先标定的第一区域和所述白平衡统计信息对所述待处理图像进行筛选,得到第一区域白点,其中,所述第一区域为拍摄所述待处理图像的拍照设备对应各色温下标定得到的白点分布范围。
本发明实施例中,第一区域是指通过拍照设备的固有参数确定的,也即是说,不同的拍照设备,其对应的第一区域不同。该第一区域可以在各色温下通过实验标定的方式得到。该第一区域是指在色温坐标系(R/G、B/G为横纵坐标轴建立的坐标系)上的区域。然后基于白平衡统计信息中白点的R、G、B分量的平均值确定出该区域内的白点。
本发明实施例中,在上述坐标系下,第一区域也可以称为白点分布区域范围,第一区域白点是指在第一区域内的白点,用以作为后续白平衡调节的基础。
步骤S103,根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,其中,所述色温标定曲线为根据所述拍照设备实验标定得出的色温曲线所划定的双曲线,其中,所述第二区域白点位于所述色温标定曲线的划定范围内。
本发明实施例中,色温标定曲线是根据色温曲线得到的,其中,色温曲线与所述拍照设备直接相关,不同的拍照设备所采用的图像传感器不同,不同的图像传感器搭配不同的镜头,因此,拍摄设备都有自己特有的色温曲线。本申请的白平衡调整方法也正是基于这一点,实现对不同的拍照设备实现相适应的白平衡调节。
其中,如何对拍照设备的色温曲线进行标定是现有的比较常见的实验测试手段,本实施例不做详细介绍。对于色温标定曲线,可以是基于色温曲线分别进行上下一定阈值的平移之后得到的双曲线,通过该双曲线也即是色温标定曲线可以进一步确定白点所在区域,也即是第二区域。
本发明实施例,通过结合拍摄设备的第一区域和色温标定曲线,实现对白点的多重筛选,达到精确筛选白点的效果。并且,充分结合拍照设备的固有参数,从而为不同设备实现更优的白平衡调节提供基础。
步骤S104,根据预设色温区间将第二区域进行划分为n个子区间。
如上所述,由于色温标定曲线为双曲线,其范围为一开放式空间,如图6中双虚线之间的范围。本发明实施例通过预设色温区间来划定一个白点所在的范围,然后对该范围进行划分,得到n个子区间。可以将该预设色温区间内第二区域进行平均划分,n的值可以根据需要进行设置;当然,也可以采用图7所示的方式进行划分,两端的子区间的间隔相比于其他的子区间要大,例如是其他子区间面积或者间隔的m倍。具体地,如图7所示,将2000k到8000k这一段的色温区间对应到曲线上,将曲线平分为13个区域(起始和结束区间是其他区间间隔的2倍),低于或高于此区间的色温暂不考虑。
这样,通过增加两端的子区间面积来增加其在白平衡中的权重(因为面积越大,包含的白点越多,那个该子区间参与白平衡调节的权重越大),从而提高白平衡的调节效果。
步骤S105,统计每一子区间中包含的白点的个数,根据所述不同子区间的白点数量确定进行增益计算的有效数据块,所述有效数据块包括n个子区间中的至少1个。
有效数据块是指实际参与到后续白平衡调节中增益值计算的子区间。本发明实施例中,并不是所有的白点都作为最终增益计算的。由于选取的白点较少是,对光源的支持范围较窄,但精度较高;当白点较多时,支持更多的光源,但是精度降低。基于此,可以根据子区间内的白点数量,选择合适的白点数量来进行增益计算,从而达到光源支持和精度方面的平衡。
步骤S106,基于所述有效数据块计算得到目标增益。
目标增益是指用于进行白平衡调整的增益量计算的参数,具体地,可以利用所述目标增益计算得到白平衡增益。基于有效数据块计算得到目标增益可以是指利用有效数据块确定出的白点数量以及相应的三色分量等参数计算得到目标增益。当然,本发明实施例的目标增益也可以是指白平衡增益,用于进行白平衡调节。具体地,如果目标增益是过程参数的话,计算得到的值可以是r/g和b/g;若目标增益为白平衡增益,白平衡增益计算为RGain=g/r;BGain=g/b。
步骤S107,根据所述目标增益和预先标定的色温增益曲线确定当前的色温值。
因为b/g、r/g值随着色温的变化,存在一定的规律,可通过之前获取的灯箱中不同色温的b/g、r/g标定值(为实验数据),拟合出两条对应的曲线。横坐标是色温,如图5所示,线1代表b/g随色温变化的趋势,线2代表r/g随色温变化的趋势。通过上一步得到目标增益,可以得到对应在两条曲线上的一个色温区间,通过求均值,即可得到目前的色温值。具体如何计算可以采用现有的计算方式,本发明实施例不做赘述。
步骤S108,通过当前的色温值计算还原矩阵,并根据目标增益及还原矩阵进行白平衡调整。
所述计算还原矩阵的步骤具体可以包括:根据当前的色温值以及通过实验数据标定的色彩还原矩阵确定实际的色彩还原矩阵;根据当前的白平衡增益以及通过实验数据标定的饱和度矩阵确定实际的饱和度矩阵;将所述实际的色彩还原矩阵与所述的实际的饱和度矩阵相乘,得到所述还原矩阵。
具体地,计算还原矩阵(CCM);CCM矩阵分为两个部分,第一个是色彩还原矩阵(colorCCM),一个是饱和度矩阵(satCCM)。最后的还原矩阵等于colorCCM*satCCM。(1)colorCCM:根据实验数据中b/g、r/g标定值,我们即得到对应色温下的colorCCM矩阵。所以在上一步得到当前色温后,即可判断当前色温落入哪个色温区间。并算出对应色彩还原矩阵。例如:在标定的6个色温下的实际色温A,A[6]={7455,6528,4802,3779,2794,2305}。当前色温为5000k时,落在了A[2]~A[3],已知这两个标定色温对应的色彩还原矩阵CCM[2]、CCM[3],通过插值即可得到当前的实际色彩还原矩阵。
饱和度矩阵:因为饱和度操作是通过调整CCM矩阵来实现的,所以最后生效的CCM矩阵里必须包含饱和度信息。可以先标定若干饱和度的satCCM矩阵,当通过当前环境增益计算出实时的饱和度后,通过插值计算即可得到实际的satCCM矩阵。最后CCM=colorCCM*satCCM。
根据本发明实施例,通过预先标定白点分布范围和色温标定曲线对待处理图像中的白点分别进行筛选,然后根据色温区间划分子区间,根据子区间中的白点数量选取参与增益计算的子区间作为有效数据块,计算得到目标增益,并进一步计算得到色温值和还原矩阵,结合色温增益曲线用以进行图像的白平衡调整。本发明通过采用与拍照设备直接相关的白点分布范围和色温标定曲线、色温增益曲线来筛选白点,由于白点分布范围、色温标定曲线、色温增益曲线均是基于拍照设备来确定的,因此提高了白平衡调节与设备的适配性,实现不同设备的独有的白平衡调节,同时利用子区间划分来选择合适数量的白点进行增益和色温值的计算,从而提高了白平衡调节在光源适应性和精度之间的平衡,实现白平衡的精准调节。
作为一种可选实施方式,本发明实施例中,通过以下步骤标定得到所述第一区域:
S11,在不同色温下用所述拍照设备拍摄24色卡的每个色卡并获取相应的R、G、B三色分量值;
S12,计算每个色卡在不同色温下所对应的R/G、B/G的值;
S13,建立以R/G为横坐标、B/G的为纵坐标的第一坐标系;
S14,在第一坐标系中确定白色色卡与灰色色卡对应的R/G、B/G范围作为所述第一区域。
本发明实施例中,采用上述方式确定的第一区域通常为六边形,在六边形以内的为有效数据,以外的数据不参数与后续计算。通过在不同色温下抓取24色卡各个颜色块,计算出对应的R/G、B/G值,原则上希望24色卡最后一行的灰色块全部在六边形内,而其他颜色块在六边形外。按照这个原则即可得到对应的六边形区域。如图2中的六边形。图2中六边形区域中浅色的点是白色块和灰色块的分布位置,黑色点是其他色块的分布位置,我们的六边形在包含所有的浅色的点情况下,尽量少的包含黑色点。实际情况下,可以将六边形稍微设置大一些。本发明实施例中,对于六边形中两条斜边的确定可以采用现有的相关技术,本发明不做具体限定。
本发明实施例中,利用拍照设备拍摄的24色卡来获取RGB三色分量,从而利用该三色分量计算得到白色色卡和灰色色卡对应的范围,作为第一区域,将白点分布范围与拍照设备绑定形成初步筛选的条件,减少后续白平衡调节中白点筛选过程中的数据处理量。
作为一种可选实施方式,本实施例通过以下步骤得到所述色温标定曲线:
S21,采用不同色温下的第一标定参数对所述拍照设备进行标定,得到所述拍照设备对应的色温曲线;
S22,将所述色温曲线向上平移第一预设值得到第一曲线,将所述色温曲线向下平移第二预设值得到第二曲线,所述第一曲线和所述第二曲线构成所述色温标定曲线。
具体地,如图3所示,其中实线部分是通过实验数据标定之后,确定的色温曲线。6个黑色的叉代表通过离线校准工具HISIcalibration计算出的6个不同色温下的b/g,r/g值,从而可以拟合出一条该设备的色温曲线(图中的实线),为了避免过亮、过暗等情况下的数据对最后增益计算的影响,会对上一步六边形筛选出的白点,再次筛选出介于两条蓝色的线之内的点,进行下一步计算。两条蓝线之外的点不参与计算。
本发明实施例中,第一预设值和第二预设值可以相同也可以不同,其值的选择可以通过反复实验结果获得,也可以根据实际场景进行设置。通过利用拍照设备的色温曲线来确定色温标定曲线,实现对白点的筛选,从而使白平衡调节能够适应不同的设备,根据不同的设备做出相适应的白平衡调节。
作为一种可选实施方式,所述根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,包括:将所述第一曲线和所述第二曲线之间的区域与所述第一区域的做交集,筛选出位于所述第一曲线和所述第二曲线之间的白点,作为所述第二区域白点,其中,第二区域是指第一曲线和第二曲线之间的区域。
如图3所示,将所述色温曲线(坐标系中实线曲线)向上平移第一预设值得到第一曲线(位于实线曲线上方的虚线曲线),将所述色温曲线向下平移第二预设值得到第二曲线(位于实线曲线下方的虚线曲线);其中,所述第一曲线与所述第二曲线构建成的区域与所述第一区域做交集,确定位于两曲线之间的白点作为所述第二区域白点。
本实施例中,在第一区域内进一步选择第一曲线和第二曲线之间的区域内的白点,从而进一步筛选出准确的白点数据,由于第一曲线和第二曲线为利用拍照设备标定的,因此,加强了选择的白点与拍照设备的关系,进一步提高了白平衡调节与拍照设备之间的适应性。
作为一种可替换的或者进一步优选的实施方式,所述根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,包括:
将所述第一曲线和所述第二曲线之间的区域与所述第一区域的做交集,筛选出位于所述第一曲线和所述第二曲线之间的白点;
基于实验数据确定出各个色温下的绿区分布范围;
将所述第一曲线和所述第二曲线之间中包含的绿区分布范围的区块内的点去除,得到所述第二区域白点。
考虑到实际绿色场景,有部分区域也需要挖去,不做统计,如图4所示的框3所述的绿区分布范围,该范围是对拍照设备进行实验数据标定得到的结果。通过排除绿区分布范围,提高白点筛选的精度和准确率。
作为一种可选实施方式,本发明实施例中,所述根据所述不同子区间的白点数量范围确定进行增益计算的有效数据块,包括:统计每个子区间的白点数量,并计算每个子区间的白点数量在总数量的占比;根据每个子区间的所述占比选择出至少1个子区间作为所述有效数据块。
本发明实施例利用子区间中白点数量占总数量的占比来选择合适的子区间,用做后续的增益计算。由于白点数量的多少,直接影响到白平衡调节的适应性和准确性,选择合适比例的白点数量尤为重要。
本发明实施例中,可以具体采用以下方式筛选有效数据块:当Ratio1>0.6且Ratio2<0.15时,则只选取白点数最多的子区间进行增益计算;当Ratio1+Ratio2>0.7&&Ratio3<0.15时,则选取白点数最多和第二多的子区间进行增益计算;当Ratio1+Ratio2+Ratio3>0.8且Ratio4<0.15时,则选取白点数最多、第二多和第三多的子区间进行增益计算;其中,Ratio1表示为白点数最多的色温区间中白点占总白点数的比例;Ratio2表示为白点数第二多的色温区间中白点占总白点数的比例;Ratio3表示为白点数第三多的色温区间中白点占总白点数的比例;Ratio4表示为白点数第四多的区块中白点占总白点数的比例。若以上三种情况都不符合,则选取白点数最多和第二多和第三多及第四多的区块进行增益计算。
作为本发明实施例的一种可选实施方式,所述基于所述有效数据块计算得到目标增益,包括:
S31,分别统计有效数据块中每个子区间的三色分量的各单分量总和。
S32,根据每个子区间的所述各单分量总和以及白点数量计算每种分量的单分量增益参数,得到每个单分量对应的单分量增益参数。
S33,利用所述单分量增益参数计算得到所述目标增益。
单分量总和包括R分量的总和、G分量的总和和B分量的总和,相应的单分量增益参数也包括R、G、B三个分量的增益参数,利用这三个参数计算得到目标增益。
以R分量为例,可以分别统计有效数据块中所有的子区间的R分量总和,也即是白点的R分量总和,然后相加得到所有白点的总和,R分量增益参数则可以是有所有白点的R分量总和除以总白点得到,然后再结合其他分量增益参数计算得到目标增益。上述中所有白点均是指有效数据块中的白点。
具体地,本发明实施例中,可以通过以下公式计算所述单分量增益参数:
XSUM=(count_block[1]*Xsum_block[1]+...+count_block[n]*Xsum_block[n])/(count_block[1]+…+count_block[n])
通过以下公式计算得到所述目标增益:
r/g=RSUM/GSUM;b/g=BSUM/GSUM
其中,所述XSUM为单分量增益参数,其包括RSUM、BSUM和GSUM;count_block[1]表示所述有效数据块中白点个数最多的区块对应的白点数量;count_block[n]表示所述有效数据块中白点个数最少的区块对应的白点数量;Xsum_block[1]表示所述有效数据块中白点个数最多的区块对应的白点的单分量总和;Xsum_block[n]表示所述有效数据块中白点个数最多的区块对应的白点的单分量总和。
以R分量为例:
RSUM=(count_block[1]*Rsum_block[1]+...+count_block[4]*Rsum_block[4])/(count_block[1]+…+count_block[4]);其中,count_block[i]代表子区间的白点数、Rsum_block[i]代表子区间的白点所有红色通道R分量的总和。
例如当目前参与计算的有效数据块为3块时,则RSUM如下公式计算:RSUM=(count_block[1]*Rsum_block[1]+count_block[2]*Rsum_block[2]+count_block[3]*Rsum_block[3])/(count_block[1]+count_block[2]+count_block[3]);其中count_block[1]是白点数最多的区块中的白点数,Rsum_block[1]是白点数最多的区块的R分量的和。count_block[2]是白点数排第二的区块中白点数,Rsum_block[2]是白点数排第二的区块的R分量的和。count_block[3]是白点数排第三的区块中白点数,Rsum_block[3]是白点数排第三的区块的R分量的和。GSUM、BSUM同理可得。即子区间中白点数越多,计算增益的权重越大。则目标增益即为r/g=RSUM/GSUM;b/g=BSUM/GSUM;白平衡增益计算为RGain=g/r;BGain=g/b。
根据本发明实施例,通过有效数据块中子区间的选择,使得计算得到的目标增益相对准确,并且适应性较高,实现适应性和准确性双重效果。
本发明提供一种白平衡调整方法,通过标定参数对图像数据进行第一次以及第二次对白点的筛选,最后根据色温区间进行划分,根据标定参数选取进行增益的子区间。本发明找到画面中的白点分布集中,通过标定参数进行三次筛选,因此筛选的可靠性较强。可适用大部分场景中。
实施例2
如图6所示,本发明提供一种白平衡调整系统,包括:
获取模块11,用于获取一帧待处理图像以及所述待处理图像的白平衡统计信息,其中,所述白平衡统计信息包括对所述待处理图像划分的多个区块中白点的三色分量值;
第一筛选模块12,用于根据预先标定的第一区域和所述白平衡统计信息对所述待处理图像进行筛选,得到第一区域白点,其中,所述第一区域为拍摄所述待处理图像的拍照设备对应各色温下标定得到的白点分布范围;
第二筛选模块13,用于根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,其中,所述色温标定曲线为根据所述拍照设备实验标定得出的色温曲线所划定的双曲线,其中,所述第二区域白点位于所述色温标定曲线的划定范围内;
划分模块14,用于根据预设色温区间将第二区域进行划分为n个子区间;
第一确定模块15,用于统计每一子区间中包含的白点的个数,根据所述不同子区间的白点数量确定进行增益计算的有效数据块,所述有效数据块包括n个子区间中的至少1个;
计算模块16,用于基于所述有效数据块计算得到目标增益;
第二计算模块17,用于根据所述目标增益和预先标定的色温增益曲线确定当前的色温值;以及
第三计算模块18,用于通过当前的色温值计算还原矩阵,并根据目标增益及还原矩阵进行白平衡调整。
根据本发明实施例,通过预先标定白点分布范围和色温标定曲线对待处理图像中的白点分别进行筛选,然后根据色温区间划分子区间,根据子区间中的白点数量选取参与增益计算的子区间作为有效数据块,计算得到目标增益,并进一步计算得到色温值和还原矩阵,结合色温增益曲线用以进行图像的白平衡调整。本发明通过采用与拍照设备直接相关的白点分布范围和色温标定曲线、色温标定曲线来筛选白点,提高了白平衡调节与设备的适配性,实现不同设备的独有的白平衡调节,同时利用子区间划分来选择合适数量的白点进行增益和色温值的计算,从而提高了白平衡调节在光源适应性和精度之间的平衡,实现白平衡的精准调节。
在本实施例中还提供了一种白平衡调整系统,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例中的定时开关机装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
实施例3
如图7所示,本发明实施例还提供一种白平衡终端,具有上述图6所示的白平衡调整系统。
请参阅图7,图7是本发明可选实施例提供的一种电子设备的结构示意图,该电子设备可以包括:至少一个处理器51,例如CPU(CentralProcessingUnit,中央处理器),至少一个通信接口53,存储器54,至少一个通信总线52。其中,通信总线52用于实现这些组件之间的连接通信。其中,通信接口53可以包括显示屏(Display)、键盘(Keyboard),可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速RAM存储器(RandomAccessMemory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图6所描述的系统,存储器54中存储应用程序,且处理器51调用存储器54中存储的程序代码,以用于执行上述图1实施例的方法步骤。
其中,通信总线52可以是外设部件互连标准(peripheralcomponentinterconnect,简称PCI)总线或扩展工业标准结构(extendedindustrystandardarchitecture,简称EISA)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器54可以包括易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-accessmemory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatilememory),例如快闪存储器(英文:flashmemory),硬盘(英文:harddiskdrive,缩写:HDD)或固态硬盘(英文:solid-statedrive,缩写:SSD);存储器54还可以包括上述种类的存储器的组合。
其中,处理器51可以是中央处理器(英文:centralprocessingunit,缩写:CPU),网络处理器(英文:networkprocessor,缩写:NP)或者CPU和NP的组合。
其中,处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specificintegratedcircuit,缩写:ASIC),可编程逻辑器件(英文:programmablelogicdevice,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complexprogrammablelogicdevice,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmablegatearray,缩写:FPGA),通用阵列逻辑(英文:genericarraylogic,缩写:GAL)或其任意组合。
可选地,存储器54还用于存储程序指令。处理器51可以调用程序指令,实现如本发明所示的白平衡调整方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的白平衡调整方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)、随机存储记忆体(RandomAccessMemory,RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive,缩写:HDD)或固态硬盘(Solid-StateDrive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (11)
1.一种白平衡调整方法,其特征在于,包括如下步骤:
获取一帧待处理图像以及所述待处理图像的白平衡统计信息,其中,所述白平衡统计信息包括对所述待处理图像划分的多个区块中白点的三色分量值;
根据预先标定的第一区域和所述白平衡统计信息对所述待处理图像进行筛选,得到第一区域白点,其中,所述第一区域为拍摄所述待处理图像的拍照设备对应各色温下标定得到的白点分布范围;
根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,其中,所述色温标定曲线为根据所述拍照设备实验标定得出的色温曲线所划定的双曲线,其中,所述第二区域白点位于所述色温标定曲线的划定范围内;其中,基于实验数据确定出各个色温下的绿区分布范围;将所述色温标定曲线的划定范围内包含的绿区分布范围的区块白点去除,得到所述第二区域白点;
根据预设色温区间将第二区域进行划分为n个子区间;其中,两端的子区间的间隔相比于其他的子区间要大,以增加两端的子区间在白平衡中的权重;
统计每一子区间中包含的白点的个数,根据不同子区间的白点数量确定进行增益计算的有效数据块,所述有效数据块包括n个子区间中的至少1个;
基于所述有效数据块计算得到目标增益;
根据所述目标增益和预先标定的色温增益曲线确定当前的色温值;以及
通过当前的色温值计算还原矩阵,并根据目标增益及还原矩阵进行白平衡调整。
2.根据权利要求1所述的白平衡调整方法,其特征在于,通过以下步骤标定得到所述第一区域:
在不同色温下用于所述拍照设备拍摄24色卡的每个色卡并获取相应的R、G、B三色分量值;
计算每个色卡在不同色温下所对应的R/G、B/G的值;
建立以R/G为横坐标、B/G的为纵坐标的第一坐标系;
在第一坐标系中确定白色色卡与灰色色卡对应的R/G、B/G范围作为所述第一区域。
3.根据权利要求1所述的白平衡调整方法,其特征在于,通过以下步骤得到所述色温标定曲线:
采用不同色温下的第一标定参数对所述拍照设备进行标定,得到所述拍照设备对应的色温曲线;
将所述色温曲线向上平移第一预设值得到第一曲线,将所述色温曲线向下平移第二预设值得到第二曲线,所述第一曲线和所述第二曲线构成所述色温标定曲线。
4.根据权利要求3所述的白平衡调整方法,其特征在于,所述根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,包括:
将所述第一曲线和所述第二曲线之间的区域与所述第一区域的做交集,筛选出位于所述第一曲线和所述第二曲线之间的白点,作为所述第二区域白点。
5.根据权利要求4所述的白平衡调整方法,其特征在于,在将所述第一曲线和所述第二曲线之间的区域与所述第一区域的做交集,筛选出位于所述第一曲线和所述第二曲线之间的白点之后,还包括:
将所述第一曲线和所述第二曲线之间中包含的绿区分布范围的区块白点去除,得到所述第二区域白点。
6.根据权利要求3所述的白平衡调整方法,其特征在于,所述根据所述不同子区间的白点数量范围确定进行增益计算的有效数据块,包括:
统计每个子区间的白点数量,并计算每个子区间的白点数量在总数量的占比;
根据每个子区间的所述占比选择出至少1个子区间作为所述有效数据块。
7.根据权利要求1所述的白平衡调整方法,其特征在于,所述基于所述有效数据块计算得到目标增益,包括:
分别统计有效数据块中每个子区间的三色分量的各单分量总和;
根据每个子区间的所述各单分量总和以及白点数量计算每种分量的单分量增益参数,得到每个单分量对应的单分量增益参数;
利用所述单分量增益参数计算得到所述目标增益。
8.根据权利要求7所述的白平衡调整方法,其特征在于,通过以下公式计算所述单分量增益参数:
XSUM=(count_block[1]*Xsum_block[1]+...+count_block[n]*Xsum_block[n])/(count_block[1]+…+count_block[n])
通过以下公式计算得到所述目标增益:
r/g=RSUM/GSUM;b/g=BSUM/GSUM
其中,所述XSUM为单分量增益参数,其包括RSUM、BSUM和GSUM;count_block[1]表示所述有效数据块中白点个数最多的区块对应的白点数量;count_block[n]表示所述有效数据块中白点个数最少的区块对应的白点数量;Xsum_block[1]表示所述有效数据块中白点个数最多的区块对应的白点的单分量总和;Xsum_block[n]表示所述有效数据块中白点个数最多的区块对应的白点的单分量总和。
9.一种白平衡调整系统,其特征在于,包括:
获取模块,用于获取一帧待处理图像以及所述待处理图像的白平衡统计信息,其中,所述白平衡统计信息包括对所述待处理图像划分的多个区块中白点的三色分量值;
第一筛选模块,用于根据预先标定的第一区域和所述白平衡统计信息对所述待处理图像进行筛选,得到第一区域白点,其中,所述第一区域为拍摄所述待处理图像的拍照设备对应各色温下标定得到的白点分布范围;
第二筛选模块,用于根据预先标定的色温标定曲线对所述第一区域白点进行筛选得到第二区域白点,其中,所述色温标定曲线为根据所述拍照设备实验标定得出的色温曲线所划定的双曲线,其中,所述第二区域白点位于所述色温标定曲线的划定范围内;其中,基于实验数据确定出各个色温下的绿区分布范围;将所述色温标定曲线的划定范围内包含的绿区分布范围的区块白点去除,得到所述第二区域白点;
划分模块,用于根据预设色温区间将第二区域进行划分为n个子区间;其中,两端的子区间的间隔相比于其他的子区间要大,以增加两端的子区间在白平衡中的权重;
第一确定模块,用于统计每一子区间中包含的白点的个数,根据不同子区间的白点数量确定进行增益计算的有效数据块,所述有效数据块包括n个子区间中的至少1个;
计算模块,用于基于所述有效数据块计算得到目标增益;
第二计算模块,用于根据所述目标增益和预先标定的色温增益曲线确定当前的色温值;以及
第三计算模块,用于通过当前的色温值计算还原矩阵,并根据目标增益及还原矩阵进行白平衡调整。
10.一种白平衡终端,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-8中任一项所述的白平衡调整方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-8中任一项所述的白平衡调整方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111543412.6A CN114222105B (zh) | 2021-12-16 | 2021-12-16 | 白平衡调整方法、系统、白平衡终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111543412.6A CN114222105B (zh) | 2021-12-16 | 2021-12-16 | 白平衡调整方法、系统、白平衡终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114222105A CN114222105A (zh) | 2022-03-22 |
CN114222105B true CN114222105B (zh) | 2024-05-03 |
Family
ID=80702942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111543412.6A Active CN114222105B (zh) | 2021-12-16 | 2021-12-16 | 白平衡调整方法、系统、白平衡终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114222105B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114866754B (zh) * | 2022-04-27 | 2023-12-19 | 北京奕斯伟计算技术股份有限公司 | 自动白平衡方法、装置及计算机可读存储介质和电子设备 |
CN115190283B (zh) * | 2022-07-05 | 2023-09-19 | 北京地平线信息技术有限公司 | 一种白平衡调整方法及装置 |
CN116052568B (zh) * | 2022-07-25 | 2023-10-10 | 荣耀终端有限公司 | 一种显示屏校准方法及相关设备 |
CN115379186B (zh) * | 2022-08-19 | 2023-11-03 | 福州鑫图光电有限公司 | 一种图像自动白平衡的方法及终端 |
CN117316122B (zh) * | 2023-11-21 | 2024-04-09 | 荣耀终端有限公司 | 一种色温校准方法、电子设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990028044A (ko) * | 1997-09-30 | 1999-04-15 | 윤종용 | 디지털 스틸 카메라의 화이트 밸런스 조절방법 |
CN105430367A (zh) * | 2015-12-30 | 2016-03-23 | 浙江宇视科技有限公司 | 一种自动白平衡的方法和装置 |
US10986322B1 (en) * | 2020-05-19 | 2021-04-20 | Realtek Semiconductor Corp. | Image white balance processing method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5066398B2 (ja) * | 2007-06-29 | 2012-11-07 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
TWI660633B (zh) * | 2018-04-13 | 2019-05-21 | 瑞昱半導體股份有限公司 | 基於膚色資訊的白平衡校正方法及其影像處理裝置 |
-
2021
- 2021-12-16 CN CN202111543412.6A patent/CN114222105B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990028044A (ko) * | 1997-09-30 | 1999-04-15 | 윤종용 | 디지털 스틸 카메라의 화이트 밸런스 조절방법 |
CN105430367A (zh) * | 2015-12-30 | 2016-03-23 | 浙江宇视科技有限公司 | 一种自动白平衡的方法和装置 |
US10986322B1 (en) * | 2020-05-19 | 2021-04-20 | Realtek Semiconductor Corp. | Image white balance processing method |
Also Published As
Publication number | Publication date |
---|---|
CN114222105A (zh) | 2022-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114222105B (zh) | 白平衡调整方法、系统、白平衡终端及存储介质 | |
US7236190B2 (en) | Digital image processing using white balance and gamma correction | |
US7173663B2 (en) | Automatic exposure control system for a digital camera | |
CN101621705B (zh) | 自动白平衡的方法及装置 | |
KR100983037B1 (ko) | 자동 화이트 밸런스 조정 방법 | |
CN102970488A (zh) | 图像处理设备、图像处理方法以及程序 | |
CN100553301C (zh) | 亮度的修正方法 | |
CN112752023B (zh) | 一种图像调整方法、装置、电子设备及存储介质 | |
CN106851138B (zh) | 一种基于hdr的图像处理方法 | |
US9019392B1 (en) | Image capture system and method for gathering statistics for captured image data | |
KR101639664B1 (ko) | 촬상장치 및 촬상방법 | |
US20190082153A1 (en) | Method, apparatus, computer-readable storage medium, and terminal for calibrating automatic white balance | |
CN111861922A (zh) | 颜色校正矩阵的调整方法及装置、存储介质 | |
CN111163301B (zh) | 色彩调整方法、装置及计算机可读存储介质 | |
US8149292B2 (en) | Automatic white balance using non-uniform averaging | |
US20100238317A1 (en) | White balance processing apparatus, method for processing white balance, and white balance processing program | |
CN111587573B (zh) | 一种图像处理方法、装置及计算机存储介质 | |
US20070211165A1 (en) | Imaging device, method for controlling imaging device, program of method for controlling imaging device, recording medium in which program of method for controlling imaging device is recorded | |
JPH11262029A (ja) | 撮像装置および信号処理装置 | |
US6741285B2 (en) | Apparatus which adjusts exposure on luminance value of photoelectrically converted image pickup screen | |
CN108632582B (zh) | 图像的白平衡调整方法和装置 | |
CN114500968A (zh) | 色温估计方法、白平衡调整方法、装置及存储介质 | |
US20120154625A1 (en) | Image processing apparatus, image processing method, and program recording medium | |
US7656441B2 (en) | Hue correction for electronic imagers | |
CN114866755B (zh) | 自动白平衡方法、装置和计算机存储介质、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |