CN111670575B - 图像的白平衡处理方法和装置 - Google Patents
图像的白平衡处理方法和装置 Download PDFInfo
- Publication number
- CN111670575B CN111670575B CN201980006940.2A CN201980006940A CN111670575B CN 111670575 B CN111670575 B CN 111670575B CN 201980006940 A CN201980006940 A CN 201980006940A CN 111670575 B CN111670575 B CN 111670575B
- Authority
- CN
- China
- Prior art keywords
- color
- light source
- plane
- color feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000012417 linear regression Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 7
- 235000019557 luminance Nutrition 0.000 description 47
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 239000003086 colorant Substances 0.000 description 12
- 238000011161 development Methods 0.000 description 11
- 230000018109 developmental process Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 230000001154 acute effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
本申请提供图像的白平衡处理方法和装置,其中,方法包括:将第一图像对应的多个色彩特征划分为近色彩特征和远色彩特征,近色彩特征在色彩平面与一个或多个光源标定点的距离小于或等于一个或多个光源标定点各自对应的距离阈值,远色彩特征在色彩平面中与至少一个光源标定点中的每个光源标定点的距离分别大于每个光源标定点对应的距离阈值;根据近色彩特征确定第一标准光源,并根据远色彩特征确定第二标准光源;根据第一标准光源的色彩特征和第二标准光源的色彩特征,确定白平衡增益;根据白平衡增益对第一图像进行白平衡处理,以得到第二图像。该技术方案,可以使得白平衡处理得到的图像的物体的颜色能够接近于图像中的物体的真实颜色。
Description
技术领域
本申请涉及图像处理领域,尤其涉及图像的白平衡处理方法和装置。
背景技术
白平衡,是指在对图像处理的过程中,对图像中的物体进行色彩还原,以去除外部光源的颜色对图像中的物体的颜色的影响,使物体在处理得到的图像中呈现为物体原本的颜色,例如,使得原本颜色为白色的物体在处理后的图像中呈现的颜色为白色,使得原本颜色为红色的物体在处理后的图像中呈现的颜色为红色等。自动白平衡(auto whitebalance,AWB),是指计算机模仿人眼的视觉系统自动调整图像的色彩分量以使白色物体在成像时表现为白色的过程,其中,计算机可以计算出在图像对应的拍摄环境下的光源的颜色,然后根据光源的颜色计算出白平衡增益,利用白平衡增益对图像进行修正,使得图像中的物体的真实颜色能够再现于修正后的图像中。
用于对图像进行AWB的方法有多种,目前的方法一般是找到图像中的白色物体或颜色接近于白色的物体,以该白色物体或颜色接近于白色的物体呈现在图像中的色彩特征为参考,确定外部光源(指图像对应的拍摄环境下的光源)的颜色,然后再根据外部光源的颜色确定白平衡增益,并利用该白平衡增益对图像的颜色进行修正。这种方法的问题在于,当图像中没有白色物体或颜色接近于白色的物体时,例如,图像为红色的图像,利用这种方法确定的外部光源的颜色会存在极大的误差,进而导致修正得到的图像与真实情况差距较大,无法真实反映物体的实际颜色。
发明内容
本申请提供图像的白平衡处理方法和装置,用以提高AWB的性能。
第一方面,提供一种图像的白平衡处理方法,包括:将第一图像中多个图像块各自对应的多个色彩特征划分为至少一个近色彩特征和至少一个远色彩特征,每个近色彩特征在色彩平面中与至少一个光源标定点中的一个或多个光源标定点的距离小于或等于该一个或多个光源标定点各自对应的第一距离阈值,每个远色彩特征在色彩平面中与该至少一个光源标定点中的每个光源标定点的距离分别大于每个光源标定点各自对应的第一距离阈值,该色彩平面是反映色彩特征的二维平面且包括该多个色彩特征和该至少一个光源标定点,每个光源标定点反映一标准光源的色彩特征;根据至少一个近色彩特征确定第一标准光源,并根据至少一个远色彩特征确定至少一个第二标准光源;根据第一标准光源的第一色彩特征和至少一个第二标准光源的第二色彩特征,确定第一白平衡增益;根据第一白平衡增益对第一图像进行白平衡处理,以得到第二图像。
在该技术方案中,将第一图像中的多个图像块各自对应的多个色彩特征划分为与光源标定点的距离较近的近色彩特征以及与光源标定点的距离较远的远色彩特征,与光源标定点的距离较近的近色彩特征对应的图像的内容为白色物体的可能性较大,与光源标定点的距离较远的远色彩特征对应的图像的内容不为白色物体的可能性较大,分别根据近色彩特征确定第一标准光源和根据远色彩特征确定一个或多个第二标准光源,相当于是分别根据白色物体和非白色物体分别确定多个环境光源,然后根据多个标准光源的颜色确定图像的白平衡增益,并利用该白平衡增益对图像进行修正,在确定白平衡增益时,同时结合了根据白色物体和非白色物体确定的环境光源的颜色,由于并不是完全参考白色物体确定环境光源的颜色,即使在图像中没有白色物体的情况下,也可以根据非白色物体确定环境光源,并根据环境光源的颜色对图像进行修正,从而保证了修正得到的图像的颜色可以接近于真实情况。
结合第一方面,在一种可能的实现方式中,可以分别确定多种环境光源的权重,然后根据多种环境光源各自对应的权重确定白平衡增益,上述根据第一标准光源的第一色彩特征和至少一个第二标准光源的第二色彩特征,确定第一白平衡增益的一种可行的实施方式为:确定第一标准光源的第一权重和至少一个第二标准光源的第二权重;以第一权重和至少一个第二标准光源的第二权重,对第一标准光源的第一色彩特征和至少一个第二标准光源的第二色彩特征进行加权求和计算,以得到融合色彩特征;根据该融合色彩特征,确定第一白平衡增益。通过分别为多种不同的标准光源的色彩特征赋予权重,得到一个综合性的环境光源的色彩特征,进而可以根据综合性的环境光源的色彩特征确定白平衡增益。
可选地,上述根据第一标准光源的第一色彩特征和至少一个第二标准光源的第二色彩特征,确定第一白平衡增益的另一种可行的实施方式为:根据第一标准光源的第一色彩特征确定第二白平衡增益;根据至少一个第二标准光源的第二色彩特征确定至少一个第三白平衡增益;确定第一标准光源的第一权重和至少一个第二标准光源的第二权重;以第一权重和至少一个第二标准光源的第二权重,对第二白平衡增益和该至少一个第三白平衡增益进行加权求和计算,以确定第一白平衡增益。通过分别确定多种不同的标准光源对应的白平衡增益,给这多个白平衡增益赋予权重,则可以确定一个综合性的白平衡增益,即确定第一图像的白平衡增益。
结合第一方面,在一种可能的实现方式中,上述根据至少一个远色彩特征确定至少一个第二标准光源,包括:在色彩平面上对该至少一个远色彩特征进行划分,以得到至少一个远色彩特征群;确定该至少一个远色彩特征对应的亮度和该至少一个光源标定点对应的亮度;根据至少一个远色彩特征对应的亮度和该至少一个光源标定点对应的亮度,将该至少一个远色彩特征和该至少一个光源标定点映射至亮度色彩空间,该亮度色彩空间为色彩平面与亮度维度形成的三维空间;在亮度色彩空间中分别对该至少一个远色彩特征群进行线性回归,得到该至少一个远色彩特征群对应的至少一个回归平面;根据该至少一个回归平面,确定至少一个第二标准光源。通过将远色彩特征划分为远色彩特征群,可以将图像中颜色相近的物体对应的色彩特征划分在一起,通过对每个色彩特征群进行线性回归,可以确定该颜色相近的物体所具备的颜色的趋势和发展,进而根据颜色的趋势和发展确定环境光源的颜色。
结合第一方面,在一种可能的实现方式中,上述每个远色彩特征群包括的远色彩特征的数量大于或等于第一数量,且该远色彩特征群中的任一远色彩特征与其他至少一个远色彩特征在色彩平面上的距离小于或等于第二距离阈值。通过在色彩平面中将两两之间的距离小于距离阈值的远色彩特征划分到一个远色彩特征群中,可以完成对远色彩特征的划分,从而得到一个或多个远色彩特征群。
结合第一方面,在一种可能的实现方式中,上述根据至少一个回归平面,确定至少一个第二标准光源,包括:分别确定各个回归平面对应的第一参数、第二参数以及第三参数,其中,第一参数用于指示各个回归平面中的远色彩特征接近于任一标定光源点的颜色的概率,第二参数用于指示各个回归平面相对于色彩平面的倾斜程度,第三参数用于指示各个回归平面对应的图像在第一图像中的面积占比;分别根据各个回归平面对应的第一参数、第二参数以及第三参数,确定各个回归平面的可靠度;将可靠度处于前N位的回归平面确定为至少一个指向平面,N为大于或等于1的正整数,将至少一个第一光源标定点对应的标准光源确定为第二标准光源,该至少一个第一光源标定点为在亮度色彩空间中分别与该至少一个指向平面的距离最小的光源标定点。通过确定可靠度高的回归平面并将其确定为指向平面,可靠度高说明该指向平面对应的物体的颜色的趋势发展趋近于标准光源的颜色的可能性大,与指向平面距离最近的光源标定点可反映环境光源的颜色,将该光源标定点对应的标准光源确定为第二标准光源,可预测环境光源。
结合第一方面,在一种可能的实现方式中,上述分别根据各个回归平面对应的第一参数、第二参数以及第三参数,确定各个回归平面的可靠度,包括:根据各个回归平面对应的第一参数的权重、各个回归平面对应的第二参数的权重以及各个回归平面对应的第三参数的权重,分别对各个回归平面对应的第一参数、各个回归平面对应的第二参数以及各个回归平面对应的第三参数进行加权求和计算,以分别确定各个回归平面的可靠度。通过从三个方面对回归平面进行评估,并赋予三个方面的参数不同的权重,可确定各个回归平面对应的物体的颜色趋势和发展趋近于标定光源点的颜色的可能性。
结合第一方面,在一种可能的实现方式中,上述确定第一标准光源的第一权重和至少一个第二标准光源的第二权重,包括:确定该至少一个指向平面中的各个指向平面对应的第一可靠度、第二可靠度以及第三可靠度,其中,第一可靠度为各个指向平面对应的第一参数,第二可靠度为各个指向平面对应的第二参数,第三可靠度为第二数量与第三数量的比值,第二数量为至少一个远色彩特征的总数量,第三数量为第一图像对应的多个色彩特征的总数量;根据各个指向平面对应的第一可靠度、第二可靠度以及第三可靠度,确定至少一个第二标准光源中各个第二标准光源的第二权重;根据各个第二标准光源的第二权重确定第一标准光源的第一权重。通过对远色彩特征群进行可靠度分析,可确定根据各个远色彩特征群确定的第二标准光源为环境光源的可能性,进而可确定第一标准光源为环境光源的可能性。
结合第一方面,在一种可能的实现方式中,上述根据各个指向平面对应的第一可靠度、第二可靠度以及第三可靠度,确定至少一个第二标准光源中各个标准光源的第二权重,包括:根据各个指向平面对应的第一可靠度的权重、第二可靠度的权重以及第三可靠度的权重,对各个指向平面对应的第一可靠度、第二可靠度以及第三可靠度进行加权求和计算,以确定各个标准光源的第二权重。通过分别赋予三种可靠度不同的权重,对三种可靠度进行加权求和计算,可以确定各个第二标准光源为环境光源的可能性。
结合第一方面,在一种可能的实现方式中,将第一图像中多个图像块对应的多个色彩特征划分为至少一个近色彩特征和至少一个远色彩特征之前,还包括:对第一图像进行图像分割,得到多个图像块;分别确定多个图像块中的各个图像块对应的色彩特征;根据各个图像块对应的色彩特征形成色彩平面。通过对第一图像进行分割处理和色彩特征化,可以确定第一图像对应的多个色彩特征和得到色彩平面。
第二方面,提供一种图像的白平衡处理装置,用于执行上述第一方面描述的图像的白平衡处理方法。该图像的白平衡处理装置可包括:存储器以及与该存储器耦合的处理器,其中:该存储器用于存储上述第一方面描述的图像的白平衡处理方法的程序代码,该处理器用于执行该存储器中存储的程序代码,即执行上述第一方面所提供的方法,或者上述第一方面可能的实现方式中的任意一种所提供的方法。
第三方面,提供另一种图像的白平衡处理装置,该装置可包括多个功能模块,用于相应的执行上述第一方面所提供的方法,或者上述第一方面可能的实现方式中的任意一种所提供的方法。
第四方面,提供一种计算机可读存储介质,该计算机可读存储介质上存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述第一方面描述的图像的白平衡处理方法。
第五方面,提供一种包含指令的计算机程序产品,当其在计算机或处理器上运行时,使得计算机或处理器执行上述第一方面描述的图像的白平衡处理方法。
实施本申请的技术方案,在图像中没有白色物体的情况下,也可以使得白平衡处理得到的图像的物体的颜色能够接近于图像中的物体的真实颜色,提高了白平衡处理的准确度。
附图说明
图1是本申请实施例提供的一种图像的白平衡处理方法的流程示意图;
图2是本申请实施例提供的一种色彩特征分布示意图;
图3是本申请实施例提供的根据远色彩特征确定第二标准光源的流程示意图;
图4是本申请实施例提供的色彩平面中的色彩特征与亮度色彩空间中的三维数据的映射示意图;
图5是本申请实施例提供的在色彩亮度空间中对各个远色彩特征群进行线性回归得到回归平面的示意图;
图6是本申请实施例提供的图像中的像素颜色分布示意图;
图7是本申请实施例提供的一种图像的白平衡处理装置的结构示意图;
图8是本申请实施例提供的一种图像的白平衡处理装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。本申请的方案适用于对通过拍摄装置拍摄得到的并且未经处理的图像进行白平衡处理,使得经过白平衡处理得到的图像能够反映图像的真实颜色的场景。具体地,本申请的方案可适用于具有拍摄功能的设备在通过摄像头或相机镜头等成像部件拍摄得到图像后对图像进行AWB处理,以使得最后呈现在该设备中的图像中的物体的色彩接近于物体的真实色彩(即接近于人眼看到的物体色彩)的场景,该具有拍摄功能的设备可以为具备拍摄功能的手机、单反相机、数码相机、录像机,等等,不限于这里的描述。或者,本申请的方案也可适用于对自身不具备AWB处理功能的并且具备拍摄功能的设备拍摄得到的图像进行AWB处理,以使得处理得到的图像中的物体的色彩接近于物体的真实色彩的场景,如可以利用电脑、服务器等设备对监控摄像头等设备拍摄得到的图像进行AWB处理,以使得处理得到的图像中的物体的色彩接近于物体的真实色彩的场景。又或者,本申请的方案还可以适用于对自身AWB处理效果不够好的并且具备拍摄功能的设备拍摄得到的图像进行进一步AWB处理,以使得处理得到的图像中的物体的色彩接近于物体的真实色彩的场景。
本申请通过根据图像中可能为白色物体的图像区域所对应的近色彩特征和图像中不为白色物体的图像区域所对应的远色彩特征分别确定一种或多种标准光源,以得到多种标准光源,根据多种标准光源确定该图像对应的拍摄环境中的环境光源,并根据该环境光源确定白平衡增益,然后根据该白平衡增益对图像进行白平衡处理,使得经过白平衡处理得到的图像中物体的色彩可以与物体的真实色彩相同或接近于物体的真实色彩,由于同时结合了白色物体和非白色物体所对应的色彩特征确定白平衡增益,即使在没有白色物体的情况下,也可以根据非白色物体所对应的远色彩特征确定环境光源,使得经过白平衡处理得到的图像的物体的颜色能够接近于图像中的物体的真实颜色,提高了白平衡处理的准确度。以下具体介绍本申请的方案。为便于理解本申请的方案,首先对本申请涉及的一些概念进行介绍。
1、色彩特征
本申请中,色彩特征为用于定量表示颜色特征的特征数据,色彩特征对应多个色彩分量,多个色彩分量对应的色彩分量经过组合、转换后可得到该色彩特征对应的颜色,一个色彩特征可用于表示一种颜色。色彩分量与色彩特征可以有多种表现形式。具体地,色彩分量的表现形式可以为红(R)、绿(G)、蓝(B)各个颜色通道的数值,那么,色彩特征可以表示为(R/G,B/G)的格式,R/G和B/G分别为色彩特征的两个分量。色彩分量的表现形式也可以为颜色空间中的各个种类对应的数值,那么,色彩特征可以表示为(U,V)、(Cb,Cr)、(Pb,Pr)等格式,U和V,或,Cb和Cr,或,Pb和Pr分别为色彩特征的两个分量。
2、色彩平面
本申请中,色彩平面为以色彩特征的两个分量分别作为两个维度形成的二维平面,色彩平面中的每个点可以用于定量表示一种颜色的色度,色彩平面中的每个点均可以表示为色彩特征的格式,一个点反映一种颜色的色彩特征。具体地,如果色彩特征的格式为(R/G,B/G),则色彩平面可以为以R/G为X坐标轴,以B/G为Y坐标轴的二维坐标平面,即可以用X坐标轴的数值表示色彩特征的R/G分量的数值,用Y坐标轴的数值表示色彩特征的B/G分量的数值;色彩平面也可以为以B/G为X坐标轴,以R/G为Y坐标轴的二维坐标平面,即可以用X坐标轴的数值表示色彩特征的B/G分量的数值,用Y坐标轴的数值表示色彩特征的R/G分量的数值。如果色彩特征的格式为(U,V),则色彩平面可以为以U为X坐标轴、以V为Y坐标轴的二维坐标平面,即可以用X坐标轴的数值表示色彩特征的U分量的数值,用Y坐标轴的数值表示色彩特征的V分量的数值;色彩平面也可以为以V为X坐标轴,以U为Y坐标轴的二维坐标平面,即可以用X坐标轴的数值表示色彩特征的V分量的数值,用Y坐标轴的数值表示色彩特征的U分量的数值。如果色彩特征的格式为(Cb,Cr),则色彩平面可以为以Cb为X坐标轴,以Cr为Y坐标轴的二维坐标平面,即可以用X坐标轴的数值表示色彩特征的Cb分量的数值,用Y坐标轴的数值表示色彩特征的Cr分量的数值;色彩平面也可以为以Cr为X坐标轴,以Cb为Y坐标轴的二维坐标平面,即可以用X坐标轴的数值表示色彩特征的Cr分量的数值,用Y坐标轴的数值表示色彩特征的Cb分量的数值。如果色彩特征的格式为(Pb,Pr),则色彩平面可以为以Pb为X坐标轴,以Pr为Y坐标轴的二维坐标平面,即可以用X坐标轴的数值表示色彩特征的Pb分量的数值,用Y坐标轴的数值表示色彩特征的Pr分量的数值;色彩平面也可以为以Pr为X坐标轴,以Pb为Y坐标轴的二维坐标平面,即可以用X坐标轴的数值表示色彩特征的Pr分量的数值,用Y坐标轴的数值表示色彩特征的Pb分量的数值。
3、亮度色彩空间
本申请中,亮度色彩空间为以色彩特征对应的两个分量作为其中两个维度,并以色彩特征对应的亮度作为第三个维度形成的三维空间,该亮度色彩空间中的每个点可以用于定量表示一种颜色的亮度和色度,该三维空间中的每个点均可以表示为色彩特征与亮度的格式,一个点反映一种颜色。如果色彩特征的格式为(R/G,B/G),则亮度色彩空间中的点可以表示为(Y,R/G,B/G)的格式;如果色彩特征的格式为(U,V),则该亮度色彩空间中的点可以表示为(Y,U,V)的格式;如果色彩特征的格式为(Cb,Cr),则亮度色彩空间中的点可以表示为(Y,Cb,Cr)的格式;如果色彩特征的格式为(Pb,Pr),则亮度色彩空间中的点可以表示为(Y,Pb,Pr)的格式。在亮度色彩空间中的点对应的各种格式中,Y为色彩特征对应的亮度。具体地,可以分别用三维坐标空间中的X坐标轴的数值、Y坐标轴的数值以及Z坐标轴的数值分别表示Y分量的数值、R/G分量和B/G分量的数值,或者,用三维坐标空间中的X坐标轴的数值、Y坐标轴的数值以及Z坐标轴的数值分别表示Y分量的数值、U分量和V分量的数值,或者,用三维坐标空间中的X坐标轴的数值、Y坐标轴的数值以及Z坐标轴的数值分别表示Y分量的数值、Cb分量和Cr分量的数值,或者,用三维坐标空间中的X坐标轴的数值、Y坐标轴的数值以及Z坐标轴的数值分别表示Y分量的数值、Pb分量和Pr分量的数值,具体用哪个坐标轴的数值代表哪个分量的数值,本申请不作限制。
接下来介绍本申请的技术方案。参见图1,图1是本申请实施例提供的一种图像的白平衡处理方法的流程示意图,该方法可以实现在前述介绍的具有拍摄功能的设备、电脑、服务器等设备上,如图所示,该方法包括如下步骤:S101,将第一图像中多个图像块各自对应的多个色彩特征划分为至少一个近色彩特征和至少一个远色彩特征。S102,根据至少一个近色彩特征确定第一标准光源,并根据至少一个远色彩特征确定至少一个第二标准光源。S103,根据第一标准光源的第一色彩特征和至少一个第二标准光源的第二色彩特征,确定第一白平衡增益。S104,根据第一白平衡增益对第一图像进行白平衡处理,以得到第二图像。
上述步骤S101和步骤S104中涉及的第一图像为需要进行白平衡处理的图像。第一图像例如可以为前述提到的具有拍摄功能的设备通过摄像头或相机镜头等成像部件拍摄得到的图像;第一图像也可以为前述提到的自身不具备AWB处理功能的并且具备拍摄功能的设备拍摄得到的图像;第一图像还可以为自身AWB处理效果不够好并且具备拍摄功能的设备拍摄得到的图像。不限于这里的描述。
这里,请参考前述对色彩特征的描述,上述步骤S101涉及的第一图像中多个图像块对应的多个色彩特征为用于分别定量表示第一图像的各个图像区域的颜色特征的特征数据,例如,第一图像中的一个图像区域对应一个色彩特征。该多个色彩特征的格式可以为前述提到的色彩特征的格式中的任意一种格式。上述步骤S101中涉及的色彩平面为以色彩特征的两个分量分别作为两个维度形成的二维平面,色彩平面包括第一图像对应的多个色彩特征和至少一个光源标定点,每个光源标定点反映一个标准光源的色彩特征。第一图像对应的多个色彩特征和多个光源标定点以点的形式存在于该色彩平面中。
本申请实施例中,标准光源是指国际照明委员会为统一颜色测量所规定的用于模拟各种环境光线的光源。色彩平面中的至少一个光源标定点所对应的标准光源可包括D75光源、D65光源、D55光源、D50光源、CWF光源、TL84光源、U30光源、F光源、A光源以及H光源等光源中的部分或全部标准光源。其中,D75光源是指用于模拟北方平均太阳光的光源,D75光源的色温为7500开尔文(K);D75光源是指用于模拟蓝天日光的标准光源,D65的色温为6500K;D55光源是指用于模拟广告灯光箱的光源,D55的色温为5500K;D50光源为模拟太阳光的光源,D50光源的色温为5000K;CWF光源为模拟美国来白商店灯光(cool whitefluorescent)的光源,CWF光源的色温为4100K;TL84光源为模拟欧洲、日本以及中国商店灯光的光源,TL84的色温为4000K;U30光源为模拟美国暖白商店灯光(warm whitefluorescent)的光源,U30光源的色温为3000K;F光源为模拟家庭酒店暖色灯光的光源,F光源的色温为2700K,A光源为模拟美式橱窗射灯灯光的光源,A光源的色温为2800K;H光源为模拟水平日光的光源,H光源的色温为2300K。可选地,色彩平面中还可以包括除了上述提到的标准光源之外的其他标准光源对应的光源标定点。色彩平面中具体包括多少个光源标定点以及分别包括哪些标准光源对应的光源标定点可根据实际需求和设计确定。例如,可选用上述提到的标准光源中的D75光源、D65光源、D55光源、D50光源、CWF光源、TL84光源、U30光源、A光源、H光源作为进行白平衡处理时的标准光源,那么,色彩平面中的光源标定点可包括反映D75光源的色彩特征的光源标定点、反映D65光源的色彩特征的光源标定点、反映D55光源的色彩特征的光源标定点、反映D50光源的色彩特征的光源标定点、反映CWF光源的色彩特征的光源标定点、反映TL84光源的色彩特征的光源标定点、反映U30光源的色彩特征的标定点、反映A光源的色彩特征的光源标定点以及反映H光源的色彩特征的光源标定点。具体实现中,可通过感光元件确定各个标准光源的色彩特征所对应的色彩分量,从而确定多个光源标定点。
上述步骤S101和步骤S102中涉及的近色彩特征是指在色彩平面中与色彩平面中的一个或多个光源标定点的距离小于或等于该一个或多个光源标定点对应的第一距离阈值的色彩特征。远色彩特征是指在色彩平面中与每个光源标定点的距离分别大于该每个光源标定点各自对应的第一距离阈值的色彩特征。即,如果目标色彩特征在色彩平面中与任一光源标定点的距离小于或等于该光源标定点对应的第一距离阈值,那么该目标色彩特征即为近色彩特征;如果目标色彩特征在色彩平面中与每个光源标定点的距离均大于每个光源标定点各自对应的第一距离阈值,那么该目标色彩特征即为远色彩特征。
其中,各个光源标定点可对应同一个第一距离阈值,即,各个光源标定点对应的第一距离阈值相同。在各个光源标定点对应的同一个第一距离阈值的情况下,第一距离阈值只有一个。例如,各个光源标定点对应的第一距离阈值均为第二光源标定点与第三光源标定点在该色彩平面中的距离,第二光源标定点例如可以为D75光源对应的色彩特征,第三光源标定点例如可以为D65光源对应的色彩特征。各个光源标定点也可以对应不同的第一距离阈值,即各个光源标定点对应的第一距离阈值不同。在各个光源标定点对应不同的第一距离阈值的情况下,第一距离阈值有多个。例如,第三光源标定点对应的距离阈值为第二光源标定点与第三光源标定点在该色彩平面中的距离,第四光源标定点对应的距离阈值为第三光源标定点与第四光源标定点在该色彩平面中的距离,第二光源标定点例如可以为D75光源对应的色彩特征,第三光源标定点例如可以为D65光源对应的色彩特征,第四光源标定点例如可以为D50光源对应的色彩特征。
示例性地,近色彩特征和远色彩特征在色彩平面的分布示意图可以如图2所示,图2是本申请实施例提供一种色彩特征分布示意图。图2中以色彩特征的分量为R/G分量和B/G分量为例,色彩平面的X坐标轴代表了色彩特征的R/G分量的数值,Y坐标轴代表了色彩特征的B/G分量的数值。在该色彩平面中,光源标定点分别为D75光源、D65光源、D55光源、D50光源、CWF光源、TL84光源、U30光源、A光源、H光源的色彩特征。除了光源标定点外,其他的点均表示第一图像对应的色彩特征。分别以各个光源标定对应的第一距离阈值为半径,可得到各个光源标定点对应的圆形区域。其中,处于圆形区域内的色彩特征与该圆形区域中的光源标定点的距离小于该光源标定点对应的第一距离阈值,在圆形区域的边界上的色彩特征与该圆形区域对应的光源标定点的距离等于该光源标定点对应的第一距离阈值,那么处于任一圆形区域内或任一圆形区域的边界上的色彩特征即为近色彩特征。处于圆形区域外的色彩特征与该圆形区域对应的光源标定点的距离大于该光源标定点对应的第一距离阈值,那么处于圆形区域外的色彩特征即为远色彩特征。在图2中,各个圆形区域的集合组成了近光源范围,在近光源范围内的浅灰色点所表示的色彩特征即为近色彩特征,在近光源范围外的黑色点所表示的色彩特征即为远色彩特征。
对于上述步骤S101,在一种具体实现方式中,可分别确定第一图像中多个图像块各自对应的多个色彩特征中的各个色彩特征的两个分量以及各个光源标定点表示的色彩特征的两个分量,根据各个色彩特征的两个分量与各个光源标定点的两个分量分别确定各个色彩特征与各个光源标定点的距离,再将各个色彩特征与各个光源标定点的距离分别与各个光源标定点对应的第一距离阈值进行比较,以分别确定各个色彩特征为近色彩特征还是远色彩特征。其中,第一图像对应的色彩特征的两个分量与光源标定点的色彩特征的两个分量的类型相同,例如均为R/G分量和B/G分量,或者均为U分量和V分量。具体地,可按照公式(1)分别确定第一图像对应的色彩特征与各个光源标定点的距离。
在公式(1)中,X1和Y1分别为标准光源表示的色彩特征的两个分量,即一个光源标定点的值,X2和Y2分别为第一图像对应的一个色彩特征的两个分量。
以下举例对确定色彩特征具体为近色彩特征还是远色彩特征进行说明。
例如,第一图像对应的多个色彩特征分别为色彩特征1~色彩特征100,色彩特征的两个分量分别为R/G分量和B/G分量,则色彩特征1~色彩特征100可以表示为(R1/G1,B1/G1),(R2/G2,B2/G2),(R3/G3,B3/G3),.......,(R99/G99,B99/G99),(R100/G100,B100/G100)。假定选用了前述介绍的标准光源中的9种标准光源,9种标准光源分别为D75光源、D65光源、D55光源、D50光源、CWF光源、TL84光源、U30光源、A光源以及H光源。其中,D75光源的色彩特征为(Rl1/Gl1,Bl1/Gl1),D75光源对应的第一距离阈值为D1;D65光源的色彩特征为(Rl2/Gl2,Bl2/Gl2),D65光源对应的第一距离阈值为D2;D55光源的色彩特征为(Rl3/Gl3,Bl3/Gl3),D55光源对应的第一距离阈值为D3;D50光源的色彩特征为(Rl4/Gl4,Bl4/Gl4),D50光源对应的第一距离阈值为D4;CWF光源的色彩特征为(Rl5/Gl5,Bl5/Gl5),CWF光源对应的第一距离阈值为D5;TL84光源的色彩特征为(Rl6/Gl6,Bl6/Gl6),TL84光源对应的第一距离阈值为D6;U30光源的色彩特征为(Rl7/Gl7,Bl7/Gl7),U30光源对应的第一距离阈值为D7;A光源的色彩特征为(Rl8/Gl8,Bl8/Gl8),A光源对应的第一距离阈值为D8;H光源的色彩特征为(Rl9/Gl9,Bl9/Gl9),H光源对应的第一距离阈值为D9。
对色彩特征1~色彩特征100进行划分的过程可以如下:
1)分别计算色彩特征1与各个光源标定点的距离,色彩特征1与各个光源标定点的距离分别为d11~d19,其中:
2)如果d11大于D1,以及,d12大于D2,以及d13大于D3,以及,d14大于D4,以及d15大于D5,以及,d16大于D6,以及,d17大于D7,以及,d18大于D8,以及d19大于D9,则确定色彩特征1为远色彩特征;否则,则确定色彩特征1为近色彩特征。
3)按1)的方式分别计算色彩特征2~色彩特征100与各个光源标定点的距离,色彩特征2与各个光源标定点的距离分别为d21~d29,色彩特征3与各个光源标定点的距离分别为d31~d39,……,色彩特征100与各个光源标定点的距离分别为d1001~d1009。
4)参考2)的方式分别确定色彩特征2~色彩特征100具体为哪种色彩特征。
可选地,在确定各个色彩特征具体为哪种色彩特征的过程中,如果确定该色彩特征与某个光源标定点的距离小于该光源标定点对应的第一距离阈值,可直接确定该色彩特征为近色彩特征,省去计算该色彩特征与其他还未被用于计算的光源标定点之间的距离。例如,在上述过程1)~4)中,当计算得到d11后,确定d11小于D1,则直接确定色彩特征1为近色彩特征,省去后续计算d12~d19的过程。
对于上述步骤S101,在另一种具体实现方式中,也可以将第一图像对应的多个色彩特征、各个光源标定点以及分别以各个光源标定点为圆心、以各个光源标定点对应的第一距离阈值为半径的圆形区域分别标示在二维坐标平面上,将第一图像对应的多个色彩特征中位于圆形区域内的色彩特征确定为近色彩特征,并将第一图像对应的多个色彩特征中位于圆形区域外的色彩特征确定为远色彩特征。
对于上述步骤S102,可以分别根据该至少一个近色彩特征和该至少一个远色彩特征的变化规律确定该至少一个近色彩特征和该至少一个远色彩特征的趋势与发展,然后分别根据该至少一个近色彩特征和该至少一个远色彩特征的趋势与发展分别确定匹配于该至少一个近色彩特征和该至少一个远色彩特征的趋势发展的光源标定点,最后分别将匹配于该至少一个近色彩特征和该至少一个远色彩特征的趋势发展的一个或多个光源标定点对应的标准光源确定为第一标准光源和第二标准光源。其中,确定第一标准光源和第二标准光源的方法将可参见图3所示的方法实施例的介绍,此处不做过多描述。
上述步骤S103和步骤S104中涉及的第一白平衡增益包括R通道、G通道以及B通道三个通道的增益,R通道、G通道以及B通道三个通道的增益分别为R1-gain、G1-gain以及B1-gain,即第一白平衡增益为(R1-gain,G1-gain,B1-gain)。
对于上述步骤S103,可确定第一标准光源的第一权重和第二标准光源的第二权重,然后根据第一光源的权重第一权重以及第二标准光源的第二权重并结合第一色彩特征和第二色彩特征,确定第一白平衡增益。其中,第一权重与第二权重的总和为1或等同于1的固定常数。例如,第一权重与第二权重之和可以设置为固定常数1024。在一种可能的情况中,第一权重与第二权重可以为预设的权重,即第一权重与第二权重的数值为固定值,并且第一权重与第二权重的总和为1或等同于1的固定常数。例如,固定常数为1024,则第一权重为512,第二权重为512。在另一种可能的情况中,第一权重与第二权重也可以不为预设的权重,第一权重和第二权重可以为根据近色彩特征以及远色彩特征的具体情况确定的权重,其中,根据近色彩特征以及远色彩特征的具体情况确定第一权重和第二权重的方式可参见后续方法实施例的介绍。
在确定第一标准光源的第一权重和该至少一个第二标准光源的第二权重后,根据第一权重、第二权重并结合第一色彩特征和第二色彩特征,确定第一白平衡增益的方式可以有以下两种。
第一种方式:可以以第一权重和该至少一个第二标准光源的第二权重,对第一色彩特征和第二色彩特征进行加权求和计算,得到融合色彩特征;然后根据该融合色彩特征,确定第一白平衡增益。
具体地,对第一色彩特征和第二色彩特征进行加权求和计算的公式为:融合色彩特征=第一权重×第一色彩特征+第二权重×第二色彩特征。
可选地,在确定的第二标准光源的数量为多个的情况下,第二色彩特征也有多个,则对第一色彩特征和第二色彩特征进行加权求和计算的公式为:融合色彩特征=第一权重×第一色彩特征+第二权重1×第二色彩特征1+第二权重2×第二色彩特征2+…+第二权重M×第二色彩特征M,其中,M为第二标准光源的数量,第一权重与第二权重1、第二权重2、…、第二权重M的总和等于1或等同于1的固定常数。
在一种可行的实施方式中,如果第一色彩特征与第二色彩特征的格式为(R/G,B/G)的格式,则可以分别根据第一色彩特征的R/G分量和第二色彩特征的R/G分量,确定融合色彩特征的R/G分量;再分别根据第一色彩特征的B/G分量和第二色彩特征的B/G分量,确定融合色彩特征的B/G分量;然后根据融合色彩特征的R/G分量和B/G分量确定第一白平衡增益,其中,R1-gain可以为融合色彩特征的R/G分量的倒数,即R1-Gain=1/A1(R/G),A1(R/G)为融合色彩特征的R/G分量;G1-gain可以为1;B1-gain可以为融合色彩特征的B/G分量的倒数,即B1-gain=1/A1(B/G),A1(B/G)为融合色彩特征的B/G分量。
例如,第一权重与第二权重均为0.5,第一色彩特征的R/G分量为3,第一色彩特征的B/G分量为4,第二色彩特征的数量为一个,第二色彩特征的R/G分量为5,第二色彩特征的B/G分量为6,则确定融合色彩特征的R/G分量为3×0.5+5×0.5=4,确定融合色彩特征的B/G分量为4×0.5+6×0.5=5,进而确定R1-gain为1/4,G1-gain为1,B1-gain为1/5。
在另一种可行的实施方式中,如果第一色彩特征与第二色彩特征的格式不为(R/G,B/G)的格式,则可以根据第一色彩特征将第一色彩特征转换为格式为(R/G,B/G)的色彩特征F1,根据第二色彩特征将第二色彩特征转换为格式为(R/G,B/G)的色彩特征F2,然后根据色彩特征F1和色彩特征F2结合上述实施方式介绍的方式确定第一白平衡增益。
其中,根据第一色彩特征将第一色彩特征转换为格式为(R/G,B/G)的色彩特征F1的方式为:根据第一色彩特征和第一色彩特征对应的亮度确定第一色彩特征的R分量、G分量以及B分量,并根据第一色彩特征的R分量、G分量以及B分量确定色彩特征F1的R/G分量和B/G分量,色彩特征F1的R/G分量为第一色彩特征的R分量与第一色彩特征的G分量之商,色彩特征F1的B/G分量为第一色彩特征的B分量与第一色彩特征的G分量之商。根据第二色彩特征将第二色彩特征转换为格式为(R/G,B/G)的色彩特征F2的方式为:根据第二色彩特征和第二色彩特征对应的亮度确定第二色彩特征的R分量、G分量以及B分量,并根据第二色彩特征的R分量、G分量以及B分量确定色彩特征F2的R/G分量和B/G分量,色彩特征F2的R/G分量为第二色彩特征的R分量与第二色彩特征的G分量之商,色彩特征F2的B/G分量为第二色彩特征的B分量与第二色彩特征的G分量之商。
具体地,如果第一色彩特征和第二色彩特征的格式为(U,V)格式,则可根据公式(2)确定第一色彩特征和第二色彩特征的R分量、G分量以及B分量。
在公式(2)中,R、G、B分别为R分量、G分量以及B分量,Y为亮度,U和V分别为色彩特征的两个分量。
具体地,如果第一色彩特征和第二色彩特征的格式为(Cb,Cr)格式,则可根据公式(3)确定第一色彩特征和第二色彩特征的R分量、G分量以及B分量。
在公式(3)中,R、G、B分别为R分量、G分量以及B分量,Y为亮度,Cb和Cr分别为色彩特征的两个分量。
具体地,如果第一色彩特征和第二色彩特征的格式为(Pb,Pr)格式,则可根据公式(4)确定第一色彩特征和第二色彩特征的R分量、G分量以及B分量。
在公式(4)中,R、G、B分别为R分量、G分量以及B分量,Y为亮度,Pb和Pr分别为色彩特征的两个分量。
不限于这里的描述,当用其他的格式表示色彩特征时,均可以根据该其他的格式对应的分量与R分量、G分量、B分量之间的转换关系将其他格式的色彩特征转换为(R/G,B/G)格式的色彩特征后再确定白平衡增益。
第二种方式:可以根据第一色彩特征确定第二白平衡增益;根据第二色彩特征确定至少一个第三白平衡增益,然后以第一权重和该至少一个第二标准光源的第二权重,对第二白平衡增益和该至少一个第三白平衡增益进行加权求和计算,确定第一白平衡增益。
具体地,对第二白平衡增益和至少一个第三白平衡增益进行加权求和计算的公式为:第一白平衡增益=第一权重×第二白平衡增益+第二权重×第三白平衡增益。其中,第二白平衡增益为(R2-gain,G2-gain,B2-gain),第三白平衡增益为(R3-gain,G3-gain,B3-gain),即R1-gain=第一权重×R2-gain+第二权重×R3-gain,G1-gain=第一权重×G2-gain+第二权重×G3-gain,B1-gain=第一权重×B2-gain+第二权重×B3-gain。
可选地,在确定的第二标准光源的数量为多个的情况下,第二色彩特征有多个,那么,第三白平衡增益也有多个,第一白平衡增益=第一权重×第二白平衡增益+第二权重1×第三白平衡增益1+第二权重2×第三白平衡增益2+…+第二权重M×第三白平衡增益M,其中,M为第二标准光源的数量,第一权重与第二权重1、第二权重2、…、第二权重M的总和等于1或等同于1的固定常数。
在一种可行的实施方式中,如果第一色彩特征与第二色彩特征的格式为(R/G,B/G)的格式,则可以确定第一色彩特征的R/G分量和B/G分量,然后根据第一色彩特征的R/G分量和B/G分量确定第二白平衡增益,其中,R2-gain可以为第一色彩特征的R/G分量的倒数,即R2-Gain=1/A2(R/G),A2(R/G)为第一色彩特征的R/G分量;G2-gain可以为1;B2-gain可以为第一色彩特征的B/G分量的倒数,即B2-gain=1/A2(B/G),A2(B/G)为第一色彩特征的B/G分量。再确定第二色彩特征的R/G分量和B/G分量,并根据第二色彩特征的R/G分量和B/G分量确定第三白平衡增益,其中,R3-gain可以为第一色彩特征的R/G分量的倒数,即R3-Gain=1/A3(R/G),A3(R/G)为第一色彩特征的B/G分量;G3-gain可以为1;B3-gain可以为第一色彩特征的B/G分量的倒数,即B3-gain=1/A3(B/G),A3(B/G)为第一色彩特征的B/G分量。
例如,第一权重与第二权重均为512,第一色彩特征的R/G分量为3,第一色彩特征的B/G分量为4,第二色彩特征只有一个,第二色彩特征的R/G分量为5,第二色彩特征的B/G分量为6,则确定R2-gain为1/3,G1-gain为1,B2-gain为1/4,R3-gain为1/5,G1-gain为1,B1-gain为1/6,进而确定R1-gain为230.4,G1-gain为1024,B1-gain为213.3。
在另一种可行的实施方式中,如果第一色彩特征与第二色彩特征的格式不为(R/G,B/G)的格式,则可以根据第一色彩特征将第一色彩特征转换为格式为(R/G,B/G)的色彩特征F1,再根据色彩特征F1确定第二白平衡增益;根据第二色彩特征将第二色彩特征转换为格式为(R/G,B/G)的色彩特征F2,再根据色彩特征F2确定第三白平衡增益。其中,根据第一色彩特征将第一色彩特征转换为格式为(R/G,B/G)的色彩特征F1、根据第二色彩特征将第二色彩特征转换为(R/G,B/G)的色彩特征F2、根据色彩特征F1确定第二白平衡增益以及根据色彩特征F2确定第三白平衡增益的方式可参考前述描述,这里不再赘述。
对于上述步骤S104,可以将第一白平衡增益对应的R通道、G通道、B通道三个通道的增益分别与第一图像中的每个像素对应的R分量、G分量以及B分量相乘,将三个通道的增益与每个像素的R分量、G分量以及B分量相乘得到的R分量、G分量以及B分量作为每个像素的R分量、G分量以及B分量,以得到第二图像,即第二图像中的每个像素的R分量等于第一图像中的该像素的R分量与R1-gain之积,第二图像中的每个像素的G分量等于第一图像中的该像素的G分量与G1-gain之积,第二图像中的每个像素的B分量等于第一图像中的该像素的B分量与B1-gain之积。
结合上述描述可知,在图1对应的实施例中,将第一图像中多个图像块各自对应的多个色彩特征划分为与光源标定点的距离较近的近色彩特征和与光源标定点的距离较远的远色彩特征,与光源标定点的距离较近的近色彩特征对应的图像的内容为白色物体的可能性较大,与光源标定点的距离较远的远色彩特征对应的图像的内容不为白色物体的可能性较大,分别根据近色彩特征确定第一标准光源和根据远色彩特征确定至少一个第二标准光源,相当于是分别根据白色物体和非白色物体分别确定多个标准光源,然后根据多个标准光源的颜色特征确定图像的白平衡增益,并利用该白平衡增益对图像进行修正,在确定白平衡增益时,同时结合了根据白色物体和非白色物体确定的环境光源的颜色,由于并不是完全参考白色物体确定环境光源的颜色,即使在图像中没有白色物体的情况下,也可以根据非白色物体确定环境光源,并根据环境光源的颜色对图像进行修正,从而保证了修正得到的图像的颜色可以接近于真实情况。
在一些可能的实现方式中,可以通过线性回归的方式确定近色彩特征和远色彩特征的变化规律,以确定上述至少一个近色彩特征和至少一个远色彩特征的趋势与发展,从而确定匹配于该至少一个近色彩特征和该至少一个远色彩特征的趋势发展的光源标定点,以下进行具体介绍。
参见图3,图3是本申请实施例提供的根据远色彩特征确定第二标准光源的流程示意图,如图所示,该流程包括如下步骤:S301,在色彩平面上对第一图像对应的至少一个远色彩特征进行划分,以得到至少一个远色彩特征群。S302,确定至少一个远色彩特征对应的亮度和至少一个光源标定点对应的亮度。S303,根据至少一个远色彩特征对应的亮度和至少一个光源标定点对应的亮度,将至少一个远色彩特征和至少一个光源标定点映射至亮度色彩空间。S304,在亮度色彩空间中分别对至少一个远色彩特征群进行线性回归,得到至少一个远色彩特征群对应的至少一个回归平面。S305,根据至少一个远色彩特征群对应的至少一个回归平面,确定至少一个第二标准光源。
对于上述步骤S301,可以根据各个远色彩特征相互之间在色彩平面上的距离对第一图像对应的远色彩特征进行划分,以将第一图像对应的远色彩特征划分为一个或多个远色彩特征群。其中,每个远色彩特征群包括的远色彩特征的数量大于或等于第一数量,并且,每个远色彩特征群中的任一远色彩特征与该远色彩特征群中其他至少一个远色彩特征在色彩平面上的距离小于第二距离阈值。具体地,如果在该至少一个远色彩特征中,存在一种远色彩特征集合,该远色彩特征集合中的任一远色彩特征与该远色彩特征集合中其他至少一个远色彩特征在色彩平面上的距离小于第二距离阈值,并且,该远色彩特征集合中的远色彩特征的数量大于或等于第一数量,则该远色彩特征集合为远色彩特征群;如果在该至少一个远色彩特征中,存在另一种远色彩特征集合,该远色彩特征集合中的任一远色彩特征与该远色彩特征集合中其他至少一个远色彩特征在色彩平面上的距离小于第二距离阈值,并且,该远色彩特征集合中的远色彩特征的数量小于第一数量,则确定该远色彩特征集合中的远色彩特征为噪声,该远色彩特征集合中的远色彩特征不用于确定第二标准光源。
这里,第二距离阈值为用于衡量两个远色彩特征是否属于同一个远色彩特征集合的远色彩特征的距离。如果两个远色彩特征之间的距离大于该第二距离阈值,则确定该两个远色彩特征属于不同的远色彩特征集合。如果两个远色彩特征之间的距离小于或等于该第二距离阈值,则确定该两个远色彩特征属于同一远色彩特征集合。第二距离阈值可以与前述介绍的各个光源标定点对应的第一距离阈值相关联,例如,各个光源标定点对应的第一距离阈值均为第二光源标定点与第三光源标定点在该色彩平面中的距离的1.2倍,第二距离阈值可以为第二光源标定点与第三光源标定点在该色彩平面中的距离的0.05倍,即第二距离阈值为各个光源标定点对应的第一距离阈值的1/24。第二距离阈值也可以与前述介绍的各个光源标定点对应的第一距离阈值为相对独立的距离阈值。
这里,第一数量为用于衡量远色彩特征集合中的远色彩特征是否能够形成远色彩特征群的基准。如果远色彩特征集合中的远色彩特征的数量小于第一数量,则确定远色彩特征集合中的远色彩特征不能形成远色彩特征群。如果远色彩特征集合中的远色彩特征的数量大于或等于第一数量,则确定该远色彩特征集合中的远色彩特征的可以形成远色彩特征群。第一数量可以为大于或等于2的数值,例如,第一数量可以为5。
具体实现中,可分别确定各个远色彩特征的两个分量,根据各个远色彩特征的两个分量确定各个远色彩特征两两之间的距离,再将各个远色彩特征两两之间的距离与第二距离阈值进行比较,以确定各个远色彩特征是否属于同一个远色彩特征集合,并确定每个远色彩特征集合中的远色彩特征的数量是否大于或等于第一数量,以确定远色彩特征集合中的远色彩特征能否形成群。其中,可按照以下公式(5)确定各个远色彩特征两两之间的距离。
在公式(5)中,X3和Y3分别为两个远色彩特征中的其中一个远色彩特征对应的两个分量,X4和Y4分别为两个远色彩特征中的另一个远色彩特征对应的两个分量。
对于上述步骤S302,在一种可行的实施方式中,如果第一图像对应的色彩特征的格式为(R/G,B/G)格式,则可以按照公式Y=0.299×R+0.587×G+0.114×B,确定该至少一个远色彩特征对应的亮度,并在该至少一个远色彩特征对应的亮度中确定数值最大的亮度,将该数值最大的亮度与第一系数的乘积确定为该至少一个光源标定点中的各个光源标定点对应的亮度。
例如,第一图像对应的至少一个色彩特征为远色彩特征1~远色彩特征5,第一系数为1,其中,远色彩特征1的R、G、B分量分别为1、2、1;远色彩特征2的R、G、B分量分别为2、3、2;远色彩特征3的R、G、B分量分别为3、4、3;远色彩特征4的R、G、B分量分别为4、5、4;远色彩特征5的R、G、B分量分别为5、6、5。则可以确定远色彩特征1对应的亮度为1.587,远色彩特征2对应的亮度为2.587,远色彩特征3对应的亮度为3.587,远色彩特征4对应的亮度为4.587,远色彩特征对应的亮度为5.587,将数值最大的亮度与第一系数的乘积确定各个光源标定点对应的亮度,即将5.587确定为该至少一个光源标定点中的各个光源标定点对应的亮度。
对于上述步骤S302,在另一种可行的实施方式中,如果第一图像对应的色彩特征的格式不为(R/G,B/G)格式,则可以将在确定该至少一个远色彩特征所对应的两个分量的同时确定的亮度分别确定为该至少一个色彩特征对应的亮度,然后在该至少一个远色彩特征对应的亮度中确定数值最大的亮度,将该数值最大的亮度与第一系数和乘积确定为该至少一个光源标定点中的各个光源标定点对应的亮度。
这里,请参考前述对亮度色彩空间的描述,上述步骤S303和步骤S304中涉及的亮度色彩空间为以色彩特征对应的格式对应的两个分量作为其中两个维度,并以色彩特征对应的亮度作为第三个维度形成的三维空间。
对于上述步骤S303,根据至少一个远色彩特征对应的亮度和至少一个光源标定点对应的亮度,将至少一个远色彩特征和至少一个光源标定点映射至亮度色彩空间可以理解为结合各个远色彩特征和各个光源标定点各自对应的两个分量以及各个远色彩特征和各个光源标定点各自对应的亮度,得到各个远色彩特征和各个光源标定点对应的三维数据。例如,远色彩特征对应的两个分量分别为1/2,1/2,远色彩特征对应的亮度为1.587,则远色彩特征对应的三维数据为(1/2,1/2,1.587)。进一步地,还可以理解为将各个远色彩特征和各个光源标定点对应的三维数据以点的形式标示在亮度色彩三维空间,即在亮度色彩空间中,该至少一个远色彩特征和该至少一个光源标定点以点的形式存在与该亮度色彩空间中,该亮度色彩空间中的点对应的三个数值分别为各个色彩特征的两个分量的数值和各个色彩特征对应的亮度的数值。
示例性地,将色彩特征对应的三维数据以点的形式标示在亮度色彩空间的示意图可以参见图4。图4是本申请实施例提供的色彩平面中的色彩特征与亮度色彩空间中的三维数据的映射示意图。在图4的A中,各个色彩特征以点的形式标示在色彩平面上,色彩特征分别为色彩特征1~色彩特征5,色彩特征1~色彩特征5的R、G、B分量,色彩特征1~5对应的亮度以及光源标定点对应的亮度如前述介绍步骤S302所述,将A所示的各个色彩特征对应的三维数据以点的形式标示在亮度色彩空间后如图4中的B所示,色彩平面中的一个点对应亮度色彩空间的一个点。
对于上述步骤S304,在一种可行的实施方式中,可以预先建立多元线性回归模型,然后以该至少一个远色彩特征群中的各个远色彩特征群中的各个远色彩特征对应的三维数据分别作为数据样本,基于最小二乘法使得基于多元回归线性模型求得的数据与实际数据之间误差的平方和最小,将该平方和最小时多元回归线性模型的参数作为各个远色彩特征群对应的归回平面的对应的回归方程的参数,然后分别根据各个回归平面对应的回归方程确定各个回归平面。在另一种可行的实施方式中,也可以通过一阶自回归的方法对该至少一个远色彩特征群中的各个远色彩特征群进行线性回归,得到各个远色彩特征群对应的回归平面,从而得到至少一个远色彩特征群对应的至少一个回归平面。具体采用何种方式对各个远色彩特征群进行线性回归,得到回归平面,本申请实施例不做限制。
示例性地,各个远色彩特征群对应的回归平面的示意图可以参见图5,图5是本申请实施例提供的在色彩亮度空间中对各个远色彩特征群进行线性回归得到回归平面的示意图。在图5中,远色彩特征被分为远色彩特征群1和远色彩特征群2,如图5中的A所示,经过线性回归后,远色彩特征群1对应回归平面1,远色彩特征群2对应回归平面2,回归平面1和回归平面2如图5中的B所示。
对于上述步骤S305,根据各个远色彩特征群对应的回归平面确定第二标准光源的数量可以有一个或多个。
其中,可以在各个远色彩特征群对应的回归平面中确定可靠度高的回归平面作为指向平面,可靠度用于反映指向平面对应的物体的颜色趋势发展趋近于标准光源的颜色的可能性,然后根据指向平面确定一个或多个标准光源,其中,可以从以下三个方面评估回归平面的可靠度:1)如果回归平面距离任一光源标定点越近,则回归平面的可靠度越高,那么该回归平面越可成为指向平面;2)如果回归平面与色彩平面的夹角越接近于90度,则回归平面的可靠度越高,那么该回归平面越可成为指向平面;3)如果回归平面中包含的远色彩特征的数量越多,则回归平面的可靠度越高,那么该回归平面越可成为指向平面。
在一种可行的实施方式中,可分别用三个参数分别作为上述三个方面对应的量化值,则可以分别确定各个回归平面对应的第一参数、第二参数以及第三参数,其中,各个回归平面对应的第一参数分别用于指示各个回归平面中的色彩特征对应的颜色接近于任一标定光源点的颜色的概率,该概率反映了该回归平面对应的远色彩特征群所对应的图像的颜色与第一标准光源的颜色相同的可能性,该第一标准光源指该至少一个光源标定点对应的标准光源中最有可能为该回归平面对应的远色彩特征群所对应的图像的环境光源的标准光源。第二参数用于指示各个回归平面相对于色彩平面(这里指色彩特征的两个分量所对应的平面)的倾斜程度,第三参数用于指示回归平面对应的图像在第一图像中的面积占比;然后分别根据各个回归平面对应的第一参数、第二参数以及第三参数,确定各个回归平面的可靠度;将可靠度处于前N位的回归平面确定为至少一个指向平面,N为大于或等于1的正整数;将至少一个第一光源标定点对应的标准光源确定为第二标准光源,该至少一个第一光源标定点为在亮度色彩空间中分别与该至少一个指向平面的距离最小的光源标定点。通过分别从三个方面对回归平面进行评估,可以找到颜色的发展趋势相对更趋近于环境光源的颜色的指向平面,与指向平面接近的光源标定点的颜色相对更接近于环境光源的颜色,根据与指向平面最近的光源标定点,可预测环境光源的颜色。
具体地,在N为1的情况下,确定的第一光源标定点的数量为一个,相应地,确定的第二标准光源的数量也为一个。在N大于1的情况下,确定的第一光源标定点的数量为多个,相应地,确定的第二标准光源的数量也为多个。即,第一光源标定点与第二标准光源的数量等于N。
在一些可能的实施方式中,根据上述三个方面对回归平面的影响程度,可以分别为第一参数、第二参数以及第三参数赋予不同的权重,然后根据第一参数的权重、第二参数的权重、第三参数的权重,分别对各个回归平面对应的第一参数、第二参数以及第三参数进行加权求和计算,以分别确定各个回归平面的可靠度。这里,对一个回归平面对应的第一参数、第二参数以及第三参数进行加权求和计算的公式可以为:可靠度=参数权重1×第一参数+参数权重2×第二参数+参数权重3×第三参数。其中,参数权重1、参数权重2以及参数权重3分别为第一参数的权重、第二参数的权重以及第三参数的权重。其中,参数权重1、参数权重2以及参数权重3的总和为1或等同于1的固定常数。例如,参数权重1、参数权重2以及参数权重3的总和为1024。具体实现中,可以通过多次实验的方式确定第一参数、第二参数以及第三参数的权重,其中,可根据在不同的权重下对图像进行处理得到的图像的颜色与图像的真实颜色之间的差距,调整第一参数、第二参数以及第三参数的权重,以得到图像的颜色接近于图像的真实颜色时第一参数、第二参数以及第三参数各自的权重,将其分别确定为第一参数、第二参数以及第三参数的权重。
为了便于统一衡量各个回归平面的可靠度,各个回归平面对应的第一参数、第二参数以及第三参数可以为统一数值标准所对应的参数,即第一参数、第二参数以及第三参数对应的参数范围相同。在一种具体实现方式中,第一参数、第二参数以及第三参数对应的参数范围可以为0至1。在第一参数、第二参数以及第三参数的参数范围为0至1的情况下,第一参数可以为d1,d1=D/dmin,其中,D可以为前述介绍的第一距离阈值与预设倍数之商,dmin可以为各个光源标定点与回归平面的距离中的最小距离,dmin越小,第一参数越大,回归平面越可成为指向平面;第二参数可以为d2,d2=θ/90,其中,θ为回归平面与色彩平面的锐夹角(指回归平面与色彩平面所形成的两个夹角中为锐角的夹角),θ越大,说明回归平面相对于色彩平面越垂直,回归平面越可成为指向平面;第三参数可以为d3,d3=p/t,其中,p为回归平面中的远色彩特征的数量,t为各个回归平面中的远色彩特征的数量的总和。在可选的实现方式中,第一参数、第二参数以及第三参数对应的参数范围也可以不为0至1,例如,第一参数、第二参数以及第三参数对应的参数范围也可以为1至10,本申请实施例不做限制。
举例来对根据各个远色彩特征群对应的回归平面确定第二标准光源进行说明。
假设光源标定点有3个,分别为光源标定点1~光源标定点3,远色彩特征群的数量为5个,则回归平面的数量为5个,回归平面分别为回归平面1~回归平面5,其中,回归平面1与光源标定点1的距离为0.005,回归平面1与光源标定点2的距离为0.002,回归平面1与光源标定点3的距离为0.004,回归平面1中的远色彩特征的数量为500,回归平面1与色彩平面的锐夹角为63度;回归平面2与光源标定点1的距离为0.003,回归平面2与光源标定点2的距离为0.002,回归平面2与光源标定点3的距离为0.006,回归平面2中的远色彩特征的数量为300,回归平面2与色彩平面的锐夹角为54度;回归平面3与光源标定点1的距离为0.002,回归平面3与光源标定点2的距离为0.007,回归平面3与光源标定点3的距离为0.004,回归平面3中的远色彩特征的数量为400,回归平面3与色彩平面的锐夹角为45度;回归平面4与光源标定点1的距离为0.008,回归平面4与光源标定点2的距离为0.004,回归平面4与光源标定点3的距离为0.009,回归平面4中的远色彩特征的数量为800,回归平面4与色彩平面的锐夹角为72度;回归平面5与光源标定点1的距离为0.01,回归平面5与光源标定点2的距离为0.02,回归平面5与光源标定点3的距离为0.005,回归平面5中的远色彩特征的数量为750,回归平面5与色彩平面的锐夹角为36度。假设第一距离阈值为0.2,预设倍数为200。第一参数的权重为384,第二参数的权重为512,第三参数的权重为128。N=1。
确定第二标准光源的过程如下:
1、确定回归平面1~回归平面5的第一参数:回归平面1的第一参数为(0.2/200)/0.002=1/2;回归平面2的第一参数为(0.2/200)/0.002=1/2;回归平面3的第一参数为(0.2/200)/0.002=1/2;回归平面4的第一参数为(0.2/200)/0.004=1/4;回归平面5的第一参数为(0.2/200)/0.005=1/5。
2、确定回归平面1~回归平面5的第二参数:回归平面1的第二参数为63/90=0.7;回归平面2的第二参数为54/90=0.6;回归平面3的第二参数为45/90=0.5;回归平面4的第二参数为72/90=0.8;回归平面5的第二参数为36/90=0.4。
3、确定回归平面1~回归平面5的第三参数:各个回归平面的远色彩特征的数量的总和为500+300+400+800+750=2750,则回归平面1的第三参数为500/2750=10/55;回归平面2的第三参数为300/2750=6/55;回归平面3的第三参数为400/2750=8/55;回归平面4的第三参数为800/2750=16/55;回归平面5的第三参数为750/2750=15/55。
4、确定回归平面1~回归平面5的可靠度:
回归平面1的可靠度为384×1/2+512×0.7+128×10/55=573.67;
回归平面2的可靠度为384×1/2+512×0.6+128×6/55=513.16;
回归平面3的可靠度为384×1/2+512×0.5+128×8/55=446.62;
回归平面4的可靠度为384×1/4+512×0.8+128×16/55=542.83;
回归平面5的可靠度为384×1/5+512×0.4+128×15/55=316.5。
5、将回归平面1确定为指向平面,将光源标定点2对应的标准光源确定为第二标准光源。
可选地,如果N为3,则可以将回归平面1、回归平面4以及回归平面2均确定为指向平面,与回归平面1、回归平面4以及回归平面2最近的光源标定点均为光源标定点2,进一步则将光源标定点2对应的标准光源确定为第二标准光源。
结合上述描述可知,在图3对应的实施例中,通过将远色彩特征划分为一个或多个远色彩特征群,可以将第一图像中颜色相近的物体对应的色彩特征划分在一起,对每个色彩特征群进行线性归回归得到每个色彩特征群对应的回归平面,通过回归平面可以确定第一图像中颜色相近的物体的颜色的发展趋势,根据线性归回平面确定指向平面可确定颜色发展趋势趋近于标准光源的颜色所对应的平面,与指向平面最近的光源标定点的颜色相对更接近于环境光源的颜色,根据与指向平面最近的光源标定点,可预测环境光源的颜色,从而确定颜色不为白色的物体所对应的环境光源。
可选地,在一种可行的实施方式中,还可以参考上述步骤S301~S302的具体实现方式确定第一标准光源,其中,将步骤S301~S302中的远色彩特征替换为近色彩特征即可确定近色彩特征对应的标准光源,根据近色彩特征确定的标准光源即为第一标准光源。在另一些实施方式中,也可以参考其他以图像中的白色物体或颜色接近于白色的物体呈现中的色彩特征为参考确定标准光源的方法确定第一标准光源,例如,可以根据各个近色彩特征计算近色彩特征的均值,将该均值确定为第一标准光源的色彩特征。对于具体采用何种方式根据近色彩特征确定第一标准光源,本申请实施例不做限制。
可选地,在根据上述图3对应的实施例确定出至少一个指向平面后,还可以根据该至少一个指向平面的相关情况确定该至少一个指向平面对应的标准光源的权重。在一种可行的实施方式中,可以确定该至少一个指向平面中的各个指向平面对应的第一可靠度、第二可靠度以及第三可靠度,其中,第一可靠度为各个指向平面对应的第一参数,第二可靠度为各个指向平面对应的第二参数,第三可靠度为第二数量与第三数量的比值,第二数量为该至少一个远色彩特征的总数量,第三数量为第一图像对应的多个色彩特征的总数量;然后根据各个指向平面对应的第一可靠度、第二可靠度以及第三可靠度确定该至少一个标准光源中各个第二标准光源的第二权重;最后根据各个第二标准光源的第二权重确定第一标准光源的第一权重。这里,第一权重等于1或等同于1的固定常数减去第二权重。
在一种可能的实施方式中,根据第一可靠度、第二可靠度以及第三可靠度的重要程度,可以分别为第一可靠度、第二可靠度以及第三可靠度赋予不同的权重,然后根据第一可靠度的权重、第二可靠度的权重以及第三可靠度的权重,分别对第一可靠度、第二可靠度以及第三可靠度进行加权求和计算,以确定各个指向平面对应的权重,然后将各个指向平面对应的权重分别确定为各个指向平面对应的标准光源的第二权重。其中,在多个指向平面对应同一个标准光源的情况下,可以将根据可靠度最高的指向平面所确定的权重作为该多个指向平面对应的标准光源的第二权重。这里,指向平面对应的权重的计算公式可以为:指向平面对应的权重=可靠度权重1×第一可靠度+可靠度权重2×第二可靠度+可靠度权重3×第三可靠度。其中,可靠度权重1、可靠度权重2以及可靠度权重3分别为第一可靠度的权重、第二可靠度的权重以及第三可靠度权重。可靠度权重1、可靠度权重2以及可靠度权重3的总和为1或等同于1的固定常数。例如,可靠度权重1、可靠度权重2以及可靠度权重3的总和为1024。具体实现中,可以通过多次实验的方式确定第一可靠度、第二可靠度以及第三可靠度的权重,其中,可根据在不同的权重下对图像进行处理得到的图像的颜色与图像的真实颜色之间的差距,调整第一可靠度、第二可靠度以及第三可靠度的权重,以得到图像的颜色接近于图像的真实颜色时第一可靠度、第二可靠度以及第三可靠度各自的权重,将其分别确定为第一可靠度、第二可靠度以及第三可靠度的权重。
这里,在分别为第一可靠度、第二可靠度以及第三可靠度赋予不同的权重的情况下,如果第二标准光源的数量为一个,则第二权重有一个,第二权重与第一权重的总和等于第一可靠度的权重、第二可靠度的权重以及第三可靠度的总和;如果第二标准光源的数量为多个,则第二权重有多个,第二权重与第一权重的总和等于N与第一可靠度的权重、第二可靠度的权重以及第三可靠度的权重的总和的乘积,N为第二标准光源的数量。
通过从三个方面并结合不同的权重对根据远色彩特征确定的标准光源进行可靠度分析,可以确定根据远色彩特征确定的标准光源的可能性和根据近色彩特征确定的标准光源的可能性,进而结合两种光源的可能性确定环境光源。
在上述介绍的方案中,在根据第一图像对应的色彩特征确定第一白平衡增益并根据第一白平衡增益对第一图像进行白平衡处理,以完成对第一图像的修正之前,还可以确定第一图像对应的色彩特征。
在一种可行的实施方式中,可以对第一图像进行图像分割,得到多个图像块;然后分别确定多个图像块中的各个图像块对应的色彩特征;最后根据各个图像块对应的色彩特征形成色彩平面。
具体地,每个图像块包括至少一个像素。在对第一图像进行图像分割时,可以将图像分割为n×m个图像块,n与m的取值可取决于第一图像的像素。例如,第一图像的像素为512×512像素,则可以将图像分割为512×512个图像块,即将第一图像的每个像素对应的图像作为一个图像块,也可以将图像分给为256×256个图像块,即将4个像素对应的图像作为一个图像块。可选地,n目标与m的取值可以取决于其他的与第一图像有关的因素,n与m的具体取值可根据实际情况确定。
这里,确定图像块对应的色彩特征是指确定图像块中的所有像素的两个分量的均值,该两个分量为色彩特征的两个分量。如果色彩特征的格式为(R/G,B/G)格式,则确定图像块对应的色彩特征是指确定图像块中的所有像素对应的R/G分量的均值和所有像素对应的B/G分量的均值。如果色彩特征的格式为(U,V)格式,则确定图像块对应的色彩特征是指确定图像块中的所有像素对应的U分量的均值和所有像素对应的V分量的均值。如果色彩特征的格式为(Cb,Cr)格式,则确定图像块对应的色彩特征是指确定图像块中的所有像素对应的Cb分量的均值和所有像素对应的Cr分量的均值。如果色彩特征的格式为(Pb,Pr)格式,则确定图像块对应的色彩特征是指图像块中的所有像素对应的Pb分量的均值和所有像素对应的Pr分量的均值。具体实现中,如果图像块包括一个像素,则图像块的色彩特征为该一个像素对应的两个分量。如果图像块包括多个像素,则可以分别确定图像块中的各个像素对应的两个分量,将各个像素对应的两个分量分别求和后求均值,则可确定图像块对应的色彩特征。
以下举例对确定第一图像对应的色彩特征进行说明。参见图6,图6是本申请实施例提供的图像中的像素颜色分布示意图。假设图6所示的图像为第一图像,第一图像包括36个像素,每个像素的R分量、G分量以及B分量如图6所示,假设将第一图像划分为2×3个图像块,一个图像块包括2×3个像素,色彩特征的格式为(R/G,B/G),则确定第一图像对应的色彩特征的过程为:
1、确定图像块1的色彩特征:图像块1中的所有像素的R分量的均值为(30+31+34+35+38+39)/6=34.5,图像块1中的所有像素的G分量的均值为(40+41+44+45+48+49)/6=44.5,图像块1中的所有像素的B分量的均值为(50+51+54+55+58+59)/6=54.5,图像块1的R/G分量为34.5/44.5,图像块的B/G分量为54.5/44.5;
2、确定图像块2的色彩特征:图像块2中的所有像素的R分量的均值为(32+33+36+37+40+41)/6=36.5,图像块2中的所有像素的G分量的均值为(42+43+46+47+50+51)/6=46.5,图像块2中的所有像素的B分量的均值为(52+53+56+57+60+61)/6=56.5,图像块2的R/G分量为36.5/46.5,图像块的B/G分量为56.5/46.5;
3、确定图像块3的色彩特征:图像块3中的所有像素的R分量的均值为(42+43+46+47+50+51)/6=46.5,图像块3中的所有像素的G分量的均值为(52+53+56+57+60+61)/6=56.5,图像块3中的所有像素的B分量的均值为(62+63+66+67+70+71)/6=66.5,图像块3的R/G分量为46.5/56.5,图像块的B/G分量为66.5/56.5;
4、确定图像块4的色彩特征:图像块4中的所有像素的R分量的均值为(44+45+48+49+52+53)/6=48.5,图像块4中的所有像素的G分量的均值为(54+55+58+59+62+63)/6=58.5,图像块4中的所有像素的B分量的均值为(64+65+68+69+72+73)/6=68.5,图像块4的R/G分量为48.5/58.5,图像块的B/G分量为68.5/58.5;
5、确定图像块5的色彩特征:图像块5中的所有像素的R分量的均值为(54+55+58+59+62+63)/6=58.5,图像块5中的所有像素的G分量的均值为(64+65+68+69+72+73)/6=68.5,图像块5中的所有像素的B分量的均值为(74+75+78+79+82+83)/6=78.5,图像块5的R/G分量为58.5/68.5,图像块的B/G分量为78.5/68.5;
6、确定图像块6的色彩特征:图像块6中的所有像素的R分量的均值为(56+57+60+61+64+65)/6=60.5,图像块6中的所有像素的G分量的均值为(66+67+70+71+74+75)/6=70.5,图像块6中的所有像素的B分量的均值为(76+77+80+81+84+85)/6=80.5,图像块6的R/G分量为60.5/70.5,图像块的B/G分量为80.5/70.5;
7、根据1-6,确定图6中的图像对应的色彩特征为(34.5/44.5,54.5/44.5),(36.5/46.5,56.5/46.5),(66.5,66.5/56.5),(48.5/58.5,68.5/58.5),(58.5/68.5,78.5/68.5),(60.5/70.5,图像块的B/G分量为80.5/70.5)。
这里,将第一图像对应的多个色彩特征以及光源标定点表示在二维坐标平面中,可得到色彩平面。
通过对第一图像进行分割处理和色彩特征化,可以确定第一图像对应的多个色彩特征和得到色彩平面,进而可以根据第一图像对应的色彩特征在色彩平面中的分布情况预测环境光源。
上述对本申请实施例的方法进行了介绍,接下来对本申请实施例的装置。
参见图7,图7是本申请实施例提供的一种图像的白平衡处理装置的结构示意图,该装置可以为前述介绍的具有拍摄功能的设备、电脑、服务器等设备上,如图7所示,该装置700包括数据划分模块701、光源确定模块702、增益模块703以及处理模块704,其中:数据划分模块701,用于将第一图像中多个图像块各自对应的多个色彩特征划分为至少一个近色彩特征和至少一个远色彩特征,每个近色彩特征在色彩平面中与至少一个光源标定点中的一个或多个光源标定点的距离小于或等于该一个或多个光源标定点各自对应的第一距离阈值,每个远色彩特征在色彩平面中与该至少一个光源标定点中的每个光源标定点的距离分别大于每个光源标定点各自对应的第一距离阈值,该色彩平面是反映色彩特征的二维平面且包括该多个色彩特征和该至少一个光源标定点,每个光源标定点反映一标准光源的色彩特征;光源确定模块702,用于根据至少一个近色彩特征确定第一标准光源,并根据至少一个远色彩特征确定至少一个第二标准光源;增益确定模块703,用于根据第一标准光源的第一色彩特征和至少一个第二标准光源的第二色彩特征,确定第一白平衡增益;处理模块704,用于根据第一白平衡增益对第一图像进行白平衡处理,以得到第二图像。这里,有关于色彩特征、色彩平面、近色彩特征、远色彩特征、光源标定点的描述,可参考图1所示方法实施例的相关描述。
数据划分模块701可用于执行图1所示方法实施例中的步骤S101,光源确定模块702可用于执行图1所示方法实施例中的步骤S102或图3所示方法实施例中的步骤S301~S304,增益确定模块703可用于执行图1所示方法实施例中的步骤S103,处理模块可用于执行图1所示方法实施例中的步骤S104,具体可参考图1所示方法实施例或图3所示方法实施例的描述,在此不再赘述。
可选地,该装置700还可包括图像分割模块705、数据确定模块706以及色彩平面形成模块707,其中,图像分割模块705用于对第一图像进行图像分割,得到多个图像块;数据确定模块706用于分别确定多个图像块中的各个图像块对应的色彩特征;色彩平面形成模块707,用于根据各个图像块对应的色彩特征形成色彩平面。具体可参考图6对应的相关描述,在此不再赘述。
以上模块的任一个可以软件、硬件或二者结合来实现。当以上任一模块以软件实现的时候,所述软件以计算机程序指令的方式存在,并被存储在存储器中,处理器可以用于执行所述程序指令以实现以上方法流程。所述处理器可以包括但不限于以下至少一种:中央处理单元(central processing unit,CPU)、微处理器、数字信号处理器(DSP)、微控制器(microcontroller unit,MCU)、或人工智能处理器等各类运行软件的计算设备,每种计算设备可包括一个或多个用于执行软件指令以进行运算或处理的核。该处理器可以是个单独的半导体芯片,也可以跟其他电路一起集成为一个半导体芯片,例如,可以跟其他电路(如编解码电路、硬件加速电路或各种总线和接口电路)构成一个SoC(片上系统),或者也可以作为一个ASIC的内置处理器集成在所述ASIC当中,该集成了处理器的ASIC可以单独封装或者也可以跟其他电路封装在一起。该处理器除了包括用于执行软件指令以进行运算或处理的核外,还可进一步包括必要的硬件加速器,如现场可编程门阵列(field programmablegate array,FPGA)、PLD(可编程逻辑器件)、或者实现专用逻辑运算的逻辑电路。当以上模块或单元以硬件实现的时候,该硬件可以是CPU、微处理器、DSP、MCU、人工智能处理器、ASIC、SoC、FPGA、PLD、专用数字电路、硬件加速器或非集成的分立器件中的任一个或任一组合,其可以运行必要的软件或不依赖于软件以执行以上方法流程。
参见图8,图8是本申请实施例提供的一种图像的白平衡处理装置的结构框图,该装置可以为前述介绍的具有拍摄功能的设备、电脑、服务器等设备,如图8所示,该装置800包括:处理器801和存储器802。处理器801与存储器通过一个或多个总线连接,或者其他方式连接。
存储器802与处理器801耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器802可包括高速随机存取的存储器,并且也可以包括非易失性存储器。存储器802中可以内置有操作系统,例如Android、Linux等操作系统。在一些实施例中,存储器可以为处理器801内部的存储器。在本申请实施例中,存储器802用于存储本申请方法实施例提供的图像的白平衡处理方法的实现软件程序,关于本申请提供的图像的白平衡处理方法的实现,可参考前述实施例。在可选实施例中,存储器可以存储第一图像对应的多个色彩特征、光源标定点以及前述方法实施例涉及的各种权重等。关于本申请涉及的第一图像对应的多个色彩特征、光源标定点以及前述方法实施例涉及的各种权重,请参考前述方法实施例的描述。
处理器801可以包括通用处理器,例如中央处理器(central processing unit,CPU),处理器801还可包括硬件芯片,上述硬件芯片可以是以下一种或多种的组合:专用集成电路(application specific integrated circuit,ASIC)、现场可编程逻辑门阵列(field programmable gate array,FPGA),复杂可编程逻辑器件(complex programmablelogic device,CPLD)。本申请实施例中,处理器801可包括应用处理器(applicationprocessor,AP)和图像信号处理器(image signal processor,ISP),AP用于处理与操作系统、操作系统中的系统应用、服务应用有关的事项;ISP用于完成对与图像信号相关的处理。其中,AP和ISP可以是两个相对独立的部件,也可以集成在一个集成电路上,本申请实施例不做限制。
本申请实施例中,AP和ISP可用于读取和执行计算机可读指令。具体的,AP和/或ISP可用于调用存储于存储器802中的程序,例如本申请的一个或多个实施例提供的图像的白平衡处理方法的实现程序,并执行该实现程序包含的指令。
本申请实施例中,AP和/或ISP用于根据图像对应的多个色彩特征确定图像中的物体所处的环境中的环境光源以及该环境光源对应的白平衡增益,根据该白平衡增益对图像进行白平衡处理,以使处理得到的图像中物体的颜色接近于物体真实的颜色。处理器801确定根据图像对应的多个色彩特征确定图像中的物体所处的环境中的环境光源以及该环境光源对应的白平衡增益,根据该白平衡增益对图像进行白平衡处理,以使处理得到的图像中物体的颜色接近于物体真实的颜色的具体实现可参考前述方法实施例。在一些实施例中,AP和/或ISP还用于确定图像对应的多个色彩特征等,AP和/或ISP确定图像对应的多个色彩特征的具体实现可参考前述方法实施例。
可选地,该装置800还可以包括外围系统803,外围系统803可用于实现该装置800与用户或外部环境之间的交互功能。其中,外围系统803可包括摄像头控制器和传感器管理部件,摄像头控制器与摄像头控制器对应的外围设备(这里指摄像头)耦合,传感器管理部件与传感器管理部件对应的外围设备(这里指传感器)耦合。不限于这里的描述,外围系统还可以包括更多的外设。
应理解的是,图8所示的图像的白平衡处理装置800仅为本申请的一种实现方式,实际应用中,图像的白平衡处理装置800可以包括更多或更少的部件,本申请不作限制。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是半导体介质(例如SSD)等。
本领域普通技术人员可以意识到,结合本申请中所公开的实施例描述的各示例的模块及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
需说明,本申请实施例所涉及的第一、第二、第三以及各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种图像的白平衡处理方法,其特征在于,包括:
将第一图像中多个图像块各自对应的多个色彩特征划分为至少一个近色彩特征和至少一个远色彩特征,每个近色彩特征在色彩平面中与至少一个光源标定点中的一个或多个光源标定点的距离小于或等于所述一个或多个光源标定点各自对应的第一距离阈值,每个远色彩特征在所述色彩平面中与所述至少一个光源标定点中每个光源标定点的距离分别大于所述每个光源标定点各自对应的第一距离阈值,所述色彩平面是反映色彩特征的二维平面且包括所述多个色彩特征和所述至少一个光源标定点,每个光源标定点反映一标准光源的色彩特征;
根据所述至少一个近色彩特征确定第一标准光源,并根据所述至少一个远色彩特征确定至少一个第二标准光源;
根据所述第一标准光源的第一色彩特征和所述至少一个第二标准光源的第二色彩特征,确定第一白平衡增益;
根据所述第一白平衡增益对所述第一图像进行白平衡处理,以得到第二图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一标准光源的第一色彩特征和所述至少一个第二标准光源的第二色彩特征,确定第一白平衡增益,包括:
确定所述第一标准光源的第一权重和所述至少一个第二标准光源的第二权重;
以所述第一权重和所述至少一个第二标准光源的第二权重,对所述第一标准光源的第一色彩特征和所述至少一个第二标准光源的第二色彩特征进行加权求和计算,以得到融合色彩特征;
根据所述融合色彩特征,确定所述第一白平衡增益。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一标准光源的第一色彩特征和所述至少一个第二标准光源的第二色彩特征,确定第一白平衡增益,包括:
根据所述第一标准光源的第一色彩特征确定第二白平衡增益;
根据所述至少一个第二标准光源的第二色彩特征确定至少一个第三白平衡增益;
确定所述第一标准光源的第一权重和所述至少一个第二标准光源的第二权重;
以所述第一权重和所述至少一个第二标准光源的第二权重,对所述第二白平衡增益和所述至少一个第三白平衡增益进行加权求和计算,以确定所述第一白平衡增益。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述至少一个远色彩特征确定至少一个第二标准光源,包括:
在所述色彩平面上对所述至少一个远色彩特征进行划分,以得到至少一个远色彩特征群;
确定所述至少一个远色彩特征对应的亮度和所述至少一个光源标定点对应的亮度;
根据所述至少一个远色彩特征对应的亮度和所述至少一个光源标定点对应的亮度,将所述至少一个远色彩特征和所述至少一个光源标定点映射至亮度色彩空间,所述亮度色彩空间为所述色彩平面与亮度维度形成的三维空间;
在所述亮度色彩空间中分别对所述至少一个远色彩特征群进行线性回归,得到所述至少一个远色彩特征群对应的至少一个回归平面;
根据所述至少一个回归平面,确定所述至少一个第二标准光源。
5.根据权利要求4所述的方法,其特征在于,每个远色彩特征群包括的远色彩特征的数量大于或等于第一数量,且每个远色彩特征群中的任一远色彩特征与其他至少一个远色彩特征在所述色彩平面上的距离小于或等于第二距离阈值。
6.根据权利要求5所述的方法,其特征在于,所述根据所述至少一个回归平面,确定所述至少一个第二标准光源,包括:
分别确定各个回归平面对应的第一参数、第二参数以及第三参数,所述第一参数用于指示所述各个回归平面中的远色彩特征对应的颜色接近于任一标定光源点的颜色的概率,所述第二参数用于指示所述各个回归平面相对于所述色彩平面的倾斜程度,所述第三参数用于指示所述各个回归平面对应的图像在所述第一图像中的面积占比;
分别根据所述各个回归平面对应的第一参数、第二参数以及第三参数,确定所述各个回归平面的可靠度;
将可靠度处于前N位的回归平面确定为至少一个指向平面,N为大于或等于1的正整数;
将至少一个第一光源标定点对应的标准光源确定为所述至少一个第二标准光源,所述至少一个第一光源标定点为在所述亮度色彩空间中分别与所述至少一个指向平面的距离最小的光源标定点。
7.一种图像的白平衡处理装置,其特征在于,包括:
数据划分模块,用于将第一图像中多个图像块各自对应的多个色彩特征划分为至少一个近色彩特征和至少一个远色彩特征,每个近色彩特征在色彩平面中与至少一个光源标定点中的一个或多个光源标定点的距离小于或等于所述一个或多个光源标定点各自对应的第一距离阈值,每个远色彩特征在所述色彩平面中与所述至少一个光源标定点中每个光源标定点的距离分别大于所述每个光源标定点各自对应的第一距离阈值,所述色彩平面是反映色彩特征的二维平面且包括所述多个色彩特征和所述至少一个光源标定点,每个光源标定点反映一标准光源的色彩特征;
光源确定模块,用于根据所述至少一个近色彩特征确定第一标准光源,并根据所述至少一个远色彩特征确定至少一个第二标准光源;
增益确定模块,用于根据所述第一标准光源的第一色彩特征和所述至少一个第二标准光源的第二色彩特征,确定第一白平衡增益;
处理模块,用于根据所述第一白平衡增益对所述第一图像进行白平衡处理,以得到第二图像。
8.根据权利要求7所述的装置,其特征在于,所述增益确定模块具体用于:
确定所述第一标准光源的第一权重和所述至少一个第二标准光源的第二权重;
以所述第一权重和所述至少一个第二标准光源的第二权重,对所述第一标准光源的第一色彩特征和所述至少一个第二标准光源的第二色彩特征进行加权求和计算,以得到融合色彩特征;
根据所述融合色彩特征,确定所述第一白平衡增益。
9.根据权利要求7所述的装置,其特征在于,所述增益确定模块具体用于:
根据所述第一标准光源的第一色彩特征确定第二白平衡增益;
根据所述至少一个第二标准光源的第二色彩特征确定至少一个第三白平衡增益;
确定所述第一标准光源的第一权重和所述至少一个第二标准光源的第二权重;
以所述第一权重和所述至少一个第二标准光源的第二权重,对所述第二白平衡增益和所述至少一个第三白平衡增益进行加权求和计算,以确定所述第一白平衡增益。
10.根据权利要求7-9任一项所述的装置,其特征在于,所述光源确定模块具体用于:
在所述色彩平面上对所述至少一个远色彩特征进行划分,以得到至少一个远色彩特征群;
确定所述至少一个远色彩特征对应的亮度和所述至少一个光源标定点对应的亮度;
根据所述至少一个远色彩特征对应的亮度和所述至少一个光源标定点对应的亮度,将所述至少一个远色彩特征和所述至少一个光源标定点映射至亮度色彩空间,所述亮度色彩空间为所述色彩平面与亮度维度形成的三维空间;
在所述亮度色彩空间中分别对所述至少一个远色彩特征群进行线性回归,得到所述至少一个远色彩特征群对应的至少一个回归平面;
根据所述至少一个回归平面,确定所述至少一个第二标准光源。
11.根据权利要求10所述的装置,其特征在于,每个远色彩特征群包括的远色彩特征的数量大于或等于第一数量,且每个远色彩特征群中的任一远色彩特征与其他至少一个远色彩特征在所述色彩平面上的距离小于或等于第二距离阈值。
12.根据权利要求11所述的装置,其特征在于,所述光源确定模块具体用于:
分别确定各个回归平面对应的第一参数、第二参数以及第三参数,所述第一参数用于指示所述各个回归平面中的远色彩特征对应的颜色接近于任一标定光源点的颜色的概率,所述第二参数用于指示所述各个回归平面相对于所述色彩平面的倾斜程度,所述第三参数用于指示所述各个回归平面对应的图像在所述第一图像中的面积占比;
分别根据所述各个回归平面对应的第一参数、第二参数以及第三参数,确定所述各个回归平面的可靠度;
将可靠度处于前N位的回归平面确定为至少一个指向平面,N为大于或等于1的正整数;
将至少一个第一光源标定点对应的标准光源确定为所述至少一个第二标准光源,所述至少一个第一光源标定点为在所述亮度色彩空间中分别与所述至少一个指向平面的距离最小的光源标定点。
13.一种图像的白平衡处理装置,其特征在于,包括存储器以及与所述存储器耦合的处理器,其中:所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,执行如权利要求1-6任一项所述的图像的白平衡处理方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1-6任一项所述的图像的白平衡处理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/070660 WO2020142871A1 (zh) | 2019-01-07 | 2019-01-07 | 图像的白平衡处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111670575A CN111670575A (zh) | 2020-09-15 |
CN111670575B true CN111670575B (zh) | 2021-09-21 |
Family
ID=71521918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980006940.2A Active CN111670575B (zh) | 2019-01-07 | 2019-01-07 | 图像的白平衡处理方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111670575B (zh) |
WO (1) | WO2020142871A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110727633A (zh) * | 2019-09-17 | 2020-01-24 | 广东高云半导体科技股份有限公司 | 基于SoC FPGA的边缘人工智能计算系统构架 |
CN115514948B (zh) * | 2021-06-07 | 2023-08-08 | 荣耀终端有限公司 | 图像调节方法以及电子设备 |
CN114500969A (zh) * | 2022-01-17 | 2022-05-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质以及终端 |
CN114449243B (zh) * | 2022-01-28 | 2023-12-12 | 青岛海信移动通信技术有限公司 | 一种白平衡方法和终端设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5358344B2 (ja) * | 2009-08-12 | 2013-12-04 | 三星テクウィン株式会社 | 撮像装置及び撮像方法 |
CN107483908A (zh) * | 2017-09-27 | 2017-12-15 | 歌尔科技有限公司 | 白平衡校准方法及电子设备 |
JP2018148281A (ja) * | 2017-03-01 | 2018-09-20 | 株式会社ブライセン | 画像処理装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101166285B (zh) * | 2006-10-16 | 2010-11-10 | 展讯通信(上海)有限公司 | 自动白平衡方法及装置 |
CN100563297C (zh) * | 2007-06-26 | 2009-11-25 | 北京中星微电子有限公司 | 实现白平衡校正的方法及装置 |
KR101451982B1 (ko) * | 2008-02-12 | 2014-10-24 | 삼성전자주식회사 | 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법 |
CN108462865A (zh) * | 2017-02-06 | 2018-08-28 | 联发科技股份有限公司 | 确定图像的光源和对图像进行色觉适配的方法及设备 |
CN108377373A (zh) * | 2018-05-10 | 2018-08-07 | 杭州雄迈集成电路技术有限公司 | 一种基于像素的色彩还原装置及方法 |
-
2019
- 2019-01-07 CN CN201980006940.2A patent/CN111670575B/zh active Active
- 2019-01-07 WO PCT/CN2019/070660 patent/WO2020142871A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5358344B2 (ja) * | 2009-08-12 | 2013-12-04 | 三星テクウィン株式会社 | 撮像装置及び撮像方法 |
JP2018148281A (ja) * | 2017-03-01 | 2018-09-20 | 株式会社ブライセン | 画像処理装置 |
CN107483908A (zh) * | 2017-09-27 | 2017-12-15 | 歌尔科技有限公司 | 白平衡校准方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111670575A (zh) | 2020-09-15 |
WO2020142871A1 (zh) | 2020-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111670575B (zh) | 图像的白平衡处理方法和装置 | |
US10542243B2 (en) | Method and system of light source estimation for image processing | |
US9554109B2 (en) | Identifying gray regions for auto white balancing | |
US9147230B2 (en) | Image processing device, image processing method, and program to perform correction processing on a false color | |
US8941755B2 (en) | Image processing device with automatic white balance | |
KR101663871B1 (ko) | 이미지의 컬러 결점을 보정하기 위한 방법 및 연관된 장치 | |
RU2496250C1 (ru) | Устройство и способ обработки изображения | |
CN113170028A (zh) | 生成基于机器学习的成像算法的图像数据的方法 | |
CN108537846B (zh) | 相机标定方法及设备 | |
CN108234971A (zh) | 白平衡参数确定方法、白平衡调整方法及装置、存储介质、终端 | |
CN105681775A (zh) | 一种白平衡方法和装置 | |
US20190082153A1 (en) | Method, apparatus, computer-readable storage medium, and terminal for calibrating automatic white balance | |
CN113301318A (zh) | 图像的白平衡处理方法、装置、存储介质及终端 | |
CN111836029B (zh) | 一种基于色域映射的白平衡调整方法、系统及白平衡终端 | |
CN111587573B (zh) | 一种图像处理方法、装置及计算机存储介质 | |
CN114331907A (zh) | 颜色阴影校正方法及装置 | |
CN112584057B (zh) | 一种光照度检测方法和装置 | |
CN112492286A (zh) | 一种自动白平衡校正方法、装置及计算机存储介质 | |
CN114240800B (zh) | 面向散射场景的编码摄像图像增强方法及装置 | |
CN110033412B (zh) | 一种图像处理方法及装置 | |
CN114286000B (zh) | 图像色彩处理方法、装置和电子设备 | |
CN115426487A (zh) | 色彩校正矩阵调整方法、装置、电子设备及可读存储介质 | |
CN113793291A (zh) | 一种图像融合方法、装置、电子设备及存储介质 | |
CN114866755B (zh) | 自动白平衡方法、装置和计算机存储介质、电子设备 | |
US20240129641A1 (en) | Image processing device and image correcting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |