CN110866877A - 基于约束粒子群算法的色彩校正方法、装置及终端设备 - Google Patents
基于约束粒子群算法的色彩校正方法、装置及终端设备 Download PDFInfo
- Publication number
- CN110866877A CN110866877A CN201911100156.6A CN201911100156A CN110866877A CN 110866877 A CN110866877 A CN 110866877A CN 201911100156 A CN201911100156 A CN 201911100156A CN 110866877 A CN110866877 A CN 110866877A
- Authority
- CN
- China
- Prior art keywords
- matrix
- correction
- optimal solution
- curgen
- particle swarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 284
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000002245 particle Substances 0.000 title claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims abstract description 244
- 230000006870 function Effects 0.000 claims description 101
- 238000005457 optimization Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000009827 uniform distribution Methods 0.000 claims description 5
- DSCFFEYYQKSRSV-KLJZZCKASA-N D-pinitol Chemical compound CO[C@@H]1[C@@H](O)[C@@H](O)[C@H](O)[C@H](O)[C@H]1O DSCFFEYYQKSRSV-KLJZZCKASA-N 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 21
- 230000009466 transformation Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明适用于图像处理技术领域,提供了一种基于约束粒子群算法的色彩校正方法、装置及终端设备,方法包括:基于待校正的目标图片获取校正函数;通过随机排序的粒子群算法计算校正函数的最优解;其中,粒子群算法的迭代次数小于预设迭代次数时,以第一条件接收不满足约束条件的校正函数最优解,粒子群算法的迭代次数大于预设迭代次数时,以第二条件接收不满足约束条件的校正函数最优解,第一条件要求的范围大于第二条件要求的范围;根据具有最优解的校正函数校正目标图片的色彩。通过本发明可以根据具有最优解的校正函数得到最佳的色彩校正矩阵,准确还原目标图片的色彩,提高色彩校正效果。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于约束粒子群算法的色彩校正方法、装置及终端设备。
背景技术
色彩校正通过3乘3的色彩校正矩阵对原始的RGB值做线性变换,逼近真实的RGB值,为了使得校正后的色彩尽可能的逼近真实的色彩,需要计算到最优色彩校正矩阵。同时,还必须满足矩阵的每一行之和等于1的约束条件,这样能够确保色彩校正后白色物体(R,G,B值相等或者近似相等)依然是白色的,且亮度不改变。
然而,目前使用的色彩校正方法,如最小二乘法、遗传算法等,通常都无法保证校正矩阵每一行之和为1的要求,使得色彩校正过早的陷入局部最优或者不满足约束条件的情况发生,导致色彩校正结果不精准,校正后的图片色彩还原程度不高。
发明内容
本发明的主要目的在于提出一种基于约束粒子群算法的色彩校正方法、装置及终端设备,以解决现有技术中色彩校正方法的色彩校正结果不精准,校正后的图片色彩还原程度不高的问题。
为实现上述目的,本发明实施例第一方面提供一种基于约束粒子群算法的色彩校正方法,包括:
基于待校正的目标图片获取校正函数;
通过随机排序的粒子群算法计算所述校正函数的最优解;
其中,所述粒子群算法的迭代次数小于预设迭代次数时,以第一条件接收不满足约束条件的校正函数最优解,所述粒子群算法的迭代次数大于预设迭代次数时,以第二条件接收不满足约束条件的校正函数最优解,所述第一条件要求的范围大于所述第二条件要求的范围;
根据具有最优解的校正函数校正所述目标图片的色彩。
结合本发明第一方面,本发明第一实施方式中,通过随机排序的粒子群算法计算所述校正函数的最优解,包括:
获取所述校正函数中的校正矩阵Am,其中,m为迭代次数;
初始化所述校正矩阵Am的N个元素,其中,每个元素包括速度属性、位置属性、适应度属性和约束背离属性;
所述迭代次数m=1时校正矩阵A1为初始校正矩阵,根据所述初始校正矩阵直接计算所述校正函数的最优解;
所述迭代次数m大于1时,计算所述校正矩阵ACurGen中的个体元素最优解的位置、适应度、约束背离值,全局元素最优解、所述全局元素最优解的位置、适应度、约束条件背离值;
根据所述校正矩阵ACurGen中的个体元素最优解和全局元素最优解的位置更新所述校正矩阵ACurGen中每个元素的速度和位置得到新的矩阵ACurGen+1,并返回初始化所述校正矩阵ACurGen+1的N个元素,直至所述迭代次数达到总的迭代次数,或所述校正矩阵ACurGen+1中的全局元素最优解没有更新为止;
使用最终的校正矩阵计算所述校正函数的最优解;
其中,CurGen为当前迭代次数,CurGen小于或等于m,m=1,2,3...,MAXGEN;MAXGEN为总的迭代次数,N为正整数;
其中,在当前迭代次数小于预设迭代次数时,使用所述第一条件判断全局元素最优解;在当前迭代次数大于预设迭代次数时,使用所述第二条件判断全局元素最优解。
结合本发明第一方面的第一实施方式,本发明第二实施方式中,基于约束粒子群算法的色彩校正方法,还包括:
获取预置数据范围之间均匀分布的基础概率,并利用所述基础概率计算不约束概率;
在所述当前迭代次数小于预设迭代次数时,使用所述第一条件判断全局元素最优解,包括:
若所述当前迭代次数CurGen≤a×总的迭代次数,则判断所述概率是否小于不约束概率,或判断所述校正矩阵ACurGen中的矩阵元素k+1和矩阵元素k的约束背离值是否都小于0,其中,a为0至1之间的常数;
若是,则判断矩阵元素k的适应度是否大于矩阵元素k+1的适应度,若是,则认为矩阵元素k的解优于矩阵元素k+1,矩阵元素k的解为所述全局元素最优解;否则矩阵元素k的解更优,为全局元素最优解;
若否,则判断矩阵元素k的约束背离值是否小于矩阵元素k+1的约束背离值,若是,则认为矩阵元素k优于矩阵元素k+1,矩阵元素k的解为所述全局元素最优解;否则矩阵元素k的解更优,为全局元素最优解;
在所述当前迭代次数大于预设迭代次数时,使用所述第二条件判断全局元素最优解,包括:
若所述当前迭代次数CurGen>a×总的迭代次数,则当且仅当所述校正矩阵ACurGen中的矩阵元素k+1的约束背离值小于矩阵元素k的约束背离值,且矩阵元素k+1的适应度大于矩阵元素k的适应度时,矩阵元素k+1的解优于矩阵元素k的解,矩阵元素k+1的解为所述全局元素最优解,否则矩阵元素k的解更优,为全局元素最优解。
结合本发明第一方面的第二实施方式,本发明第三实施方式中,获取预置数据范围之间均匀分布的基础概率,并利用所述基础概率计算不约束概率,包括:
获取0至1之间均匀分布的基础概率pf;
计算不约束概率pBase=pInit-pSlope×(curGen/MAXGEN);
其中,pInit为经验值,pSlope也为经验值,CurGen为当前迭代次数,MAXGEN为总的迭代次数。
结合本发明第一方面的第二实施方式,本发明第四实施方式中,根据所述校正矩阵ACurGen中的个体元素最优解和全局元素最优解的位置更新所述校正矩阵ACurGen中每个元素的速度和位置得到新的矩阵ACurGen+1,包括:
计算速度因子和位置因子;
根据速度因子、位置因子、所述校正矩阵ACurGen中的个体元素最优解的位置和全局元素最优解的位置,更新所述校正矩阵ACurGen中每个元素的速度及所述校正矩阵ACurGen中每个元素的位置;
根据更新后所述校正矩阵ACurGen中每个元素的速度和位置得到新的矩阵ACurGen+1。
结合本发明第一方面的第四实施方式,本发明第五实施方式中,计算位置因子c的公式为:
c=cMax-cMin×curgen/MAXGEN;
计算速度因子w的公式为:
w=wMax-(wMax-wMin)×pow(curgen/MAXGEN,3);
其中,cMax、cMin、wMax、wMin为经验值,curgen为当前迭代次数,MAXGEN为总的迭代次数;
根据速度因子、位置因子、所述校正矩阵ACurGen中的个体元素最优解的位置和全局元素最优解的位置,更新所述校正矩阵ACurGen中每个元素的速度,公式为:
v(k)’=w×v(k)+c×rand()×(gBestX(k)-x(k))+(1-c)×rand()×(zBestX-x(k));
其中,v(k)为校正矩阵ACurGen中任一元素的速度,v(k)’为校正矩阵ACurGen更新后此元素的速度,rand()为0至1的随机函数;
根据速度因子、位置因子、所述校正矩阵ACurGen中的个体元素最优解的位置和全局元素最优解的位置,更新所述校正矩阵ACurGen中每个元素的位置,公式为:
x(k)’=x(k)+V(k);
其中,x(k)为校正矩阵ACurGen中任一元素的位置,x(k)’为校正矩阵ACurGen更新后此元素的位置。
结合本发明第一方面,本发明第六实施方式中,所述基于待校正的目标图片获取校正函数,包括:
获取待校正的目标图片的校正函数,公式为:
f=max{Const-|(A*RGBin)γ-RGBreal|} (1)
st bias=|(a11+a12+a13)-1|+|(a11+a12+a13)-1|+|(a31+a32+a33)-1| (3)
其中,Const为正值常数,RGBin表示校正前拍摄色卡获取的目标图片上的RGB值,RGBreal表示RGB真实值,λ表示实际相机中用的gamma值,(1)式为校正函数,(2)式表示所述校正函数中的校正矩阵A,(3)式表示校正矩阵A的约束条件。
本发明实施例的第二方面提供了一种基于约束粒子群算法的色彩校正装置,包括
校正函数获取模块,用于基于待校正的目标图片获取校正函数;
最优解计算模块,用于通过随机排序的粒子群算法计算所述校正函数的最优解;
其中,所述粒子群算法的迭代次数小于预设迭代次数时,以第一条件接收不满足约束条件的校正函数最优解,所述粒子群算法的迭代次数大于预设迭代次数时,以第二条件接收不满足约束条件的校正函数最优解,所述第一条件要求的范围大于所述第二条件要求的范围;
色彩校正模块,用于根据具有最优解的校正函数校正所述目标图片的色彩。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。
本发明实施例提出一种基于约束粒子群算法的色彩校正方法,通过随机排序的粒子群算法获得校正函数的最优解,在获得校正函数的最优解的过程中,算法的迭代次数在预设次数以内时,即算法迭代初期,以范围较大的第一条件接受不满足约束条件的校正函数最优解,充分扩大搜索的范围,有益于搜索到最优解;算法的迭代次数在预设次数以外时,即算法迭代后期,逐渐以范围较小的第二条件接受不满足约束条件的校正函数最优解,通过不同范围的条件要求,使得获得校正函数的最优解的过程既能够避免过早陷入局部最优,同时又能使得最优解满足约束条件。因此,本发明实施例不直接将约束条件作为惩罚项直接加到优化目标上,先将不满足约束条件的解也作为优化目标,并行处理,平衡目标函数和约束条件之间的关系,使得最终具有最优解的校正函数,可以准确还原目标图片的色彩,提高色彩校准效果。
附图说明
图1为本发明实施例一提供的基于约束粒子群算法的色彩校正方法的实现流程示意图;
图2为本发明实施例二提供的基于约束粒子群算法的色彩校正方法的实现流程示意图;
图3为本发明实施例三提供的基于约束粒子群算法的色彩校正装置的组成结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本文中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,"模块"与"部件"可以混合地使用。
在后续的描述中,发明实施例序号仅仅为了描述,不代表实施例的优劣。
实施例一
如图1所示,本发明实施例提供了一种基于约束粒子群算法的色彩校正方法,包括但不限于以下步骤:
S101、基于待校正的目标图片获取校正函数。
在上述步骤S101中,校正函数用于对待校正的目标图片中原始的RGB值做线性变换,使其逼近真实的RGB值,其校正结果与校正函数中的校正矩阵直接相关。
在具体应用中,校正矩阵通常为3×3的矩阵,可以取得最佳校正结果的校正矩阵表示此时的校正矩阵具有最优解,因此,可以通过得到校正矩阵的最优解,得到下述步骤S103中校正函数的最优解,以使校正结果最佳。
在本发明实施例中,还以数学公式说明校正函数的最优解与校正矩阵的最优解之间的关系,所述基于待校正的目标图片获取校正函数,包括:
获取待校正的目标图片的校正函数,公式为:
f=max{Const-|(A*RGBin)γ-RGBreal|} (1)
st bias=|(a11+a12+a13)-1|+|(a11+a12+a13)-1|+|(a31+a32+a33)-1| (3)
其中,Const为正值常数,RGBin表示校正前拍摄色卡获取的目标图片上的RGB值,RGBreal表示RGB真实值,λ表示实际相机中用的gamma值,(1)式为校正函数,(2)式表示所述校正函数中的校正矩阵A,(3)式表示校正矩阵A的约束条件。
在具体应用中,(1)式还可以称为色彩校正中待优化的目标函数f,需要计算合适的校正矩阵A来寻找它的最大值,即最优解。
(2)式表示所述校正函数中的校正矩阵A,校正矩阵A为3×3的矩阵,a11至a339个元素的值是可以变化的,通常,a11至a33的初始值不能得到校正矩阵A的最优解,即校正函数的最优解。
(3)式表示校正矩阵A的约束条件,即校正矩阵A的每一行之和等于1。
S102、通过随机排序的粒子群算法计算所述校正函数的最优解。
在上述步骤S102中,随机排序的粒子群算法表示粒子群算法中将多次进行随机排序,从而获得校正函数的最优解。
在具体应用中,初始的校正函数通常不具备最优的校正矩阵,因此,本发明实施例中通过粒子群算法迭代优化校正矩阵中的元素,通过随机排序得出具有最优解的校正矩阵,使得校正函数也具有最优解。
且本发明实施例中,粒子群算法的迭代次数小于预设迭代次数时,以第一条件接收不满足约束条件的校正函数最优解,粒子群算法的迭代次数大于预设迭代次数时,以第二条件接收不满足约束条件的校正函数最优解,第一条件要求的范围大于第二条件要求的范围。
其中,参见上述步骤S101中的校正函数,决定校正函数是否具有最优解的关键在于校正矩阵是否具有最优解,校正矩阵在求取最优解的过程中需要考虑约束条件,即校正矩阵中各行之和为1,但实际上最终获取的具有最优解的校正矩阵,其元素可能不满足约束条件,因此,在算法迭代初期,校正函数的最优解也可能是不满足约束条件的解。
在本发明实施例中,在粒子群算法的迭代次数小于预设迭代次数时,即算法迭代初期,以范围较大的第一条件接受不满足约束条件的校正函数最优解,可以充分扩大搜索的范围,有益于搜索到最优解,而算法的迭代次数在预设次数以外时,即算法迭代后期,逐渐以范围较小的第二条件接受不满足约束条件的校正函数最优解,通过不同范围的条件要求,使得获得校正函数的最优解的过程既能够避免过早陷入局部最优的情况,同时又能使得校正函数的最优解满足约束条件。
S103、根据具有最优解的校正函数校正所述目标图片的色彩。
在上述步骤S103中,校正函数具有最优解,代表校正矩阵A中的各元素组合使得矩阵具有最优解。
在具体应用中,校正目标图片的过程可以为:
在具体应用中,线性变换后得到的校正函数的值为(1)式的最大值。
本发明实施例提供的基于约束粒子群算法的色彩校正方法,通过随机排序的粒子群算法获得校正函数的最优解,在获得校正函数的最优解的过程中,算法的迭代次数在预设次数以内时,即算法迭代初期,以范围较大的第一条件接受不满足约束条件的校正函数最优解,充分扩大搜索的范围,有益于搜索到最优解;算法的迭代次数在预设次数以外时,即算法迭代后期,逐渐以范围较小的第二条件接受不满足约束条件的校正函数最优解,通过不同范围的条件要求,使得获得校正函数的最优解的过程既能够避免过早陷入局部最优,同时又能使得最优解满足约束条件。因此,本发明实施例不直接将约束条件作为惩罚项直接加到优化目标上,先将不满足约束条件的解也作为优化目标,并行处理,平衡目标函数和约束条件之间的关系,使得最终具有最优解的校正函数,可以准确还原目标图片的色彩,提高色彩校准效果。
实施例二
如图2所示,本发明实施例对上述实施例一中步骤S102的实现流程进行详细说明,上述步骤S102为:通过随机排序的粒子群算法计算所述校正函数的最优解,在本发明实施例中,其可以包括但不限于如下步骤:
S1021、获取所述校正函数中的校正矩阵Am。
其中,m为迭代次数。
在上述步骤S1021中,由于原本实施例一中校正矩阵A将根据粒子群算法进行多次迭代计算,每次迭代时矩阵中的元素具有不同的值,因此,本发明实施例中,将第m次进行迭代的校正矩阵,称为校正矩阵Am,m为迭代次数,则校正矩阵A1、A2……Am中,矩阵中元素的值不同。
S1022、初始化所述校正矩阵Am的N个元素,其中,每个元素包括速度属性、位置属性、适应度属性和约束背离属性。
在上述步骤S1022中,速度属性表示元素进行偏移时的速度,位置表示元素在矩阵中的位置,适应度表示由此元素组成的矩阵与真实RGB值之间的偏差,也可表示由此元素组成的矩阵所获得的校正函数值,约束背离值表示由此元素组成的矩阵与约束条件之间的偏差。
S1023、所述迭代次数m=1时校正矩阵A1为初始校正矩阵,根据所述初始校正矩阵直接计算所述校正函数的最优解。
在上述步骤S1023中,如果只进行一次迭代,则没有可以比较的对象,因此,只能将初始的校正矩阵作为具有最优解的校正矩阵,使校正函数最大。
S1024、所述迭代次数m大于1时,计算所述校正矩阵ACurGen中的个体元素最优解的位置、适应度、约束背离值,全局元素最优解、所述全局元素最优解的位置、适应度、约束条件背离值;
根据所述校正矩阵ACurGen中的个体元素最优解和全局元素最优解的位置更新所述校正矩阵ACurGen中每个元素的速度和位置得到新的矩阵ACurGen+1,并返回初始化所述校正矩阵ACurGen+1的N个元素,直至所述迭代次数达到总的迭代次数,或所述校正矩阵ACurGen+1中的全局元素最优解没有更新为止。
在上述步骤S1024中,CurGen为当前迭代次数,CurGen小于或等于m,m=1,2,3...MAXGEN,MAXGEN为总的迭代次数,N为正整数。
假设当前迭代次数CurGen为2,则在上述步骤S1024中,将计算A2中的个体元素最优解的位置、适应度、约束背离值,全局元素最优解、全局元素最优解的位置、适应度、约束条件背离值。然后更新校正矩阵A2中的其他元素的值,更新的具体实现可以表现为数值偏移,其中,校正矩阵A2中元素的值的更新由校正矩阵A2中的个体元素最优解和全局元素最优解的位置来引导变化方向,因此,根据校正矩阵A2中的个体元素最优解和全局元素最优解的位置,可以得到校正矩阵A2中每个元素更新后的速度和位置,并将更新后的校正矩阵称为新的矩阵A3。
可见,上述步骤S1024为校正矩阵更新优化过程,在每次迭代的过程中,迭代前后的校正矩阵相互比较,以获取更优的个体元素最优解和全局元素最优解,致使最终得到的校正矩阵为具有最优解的校正矩阵。
本发明实施例在上述的校正矩阵更新优化过程中,还根据当前迭代次数判断算法的进行程度,在算法初期和算法后期通过不同的规则判断校正矩阵A中的全局元素最优解。则本发明实施例中,当前迭代次数小于预设迭代次数时,使用所述第一条件判断全局元素最优解;在当前迭代次数大于预设迭代次数时,使用所述第二条件判断全局元素最优解。
在一个实施例中,预设迭代次数可以基于总的迭代次数进行设置,在使用第一条件或第二条件判断全局元素最优解之前,还获取预置数据范围之间均匀分布的基础概率,并利用此基础概率计算不约束概率。
则上述的在所述当前迭代次数小于预设迭代次数时,使用所述第一条件判断全局元素最优解,包括:
①若所述当前迭代次数CurGen≤a×总的迭代次数,则判断所述概率是否小于不约束概率,或判断所述校正矩阵ACurGen中的矩阵元素k+1和矩阵元素k的约束背离值是否都小于0,其中,a为0至1之间的常数;
②如果概率小于不约束概率或校正矩阵ACurGen中的矩阵元素k+1和矩阵元素k的约束背离值都小于0,则判断矩阵元素k的适应度是否大于矩阵元素k+1的适应度;
若矩阵元素k的适应度大于矩阵元素k+1的适应度,则认为矩阵元素k的解优于矩阵元素k+1,矩阵元素k的解为所述全局元素最优解;
否则,矩阵元素k的解更优,为全局元素最优解,即矩阵元素k的适应度小于矩阵元素k+1的适应度时,矩阵元素k的解更优,为全局元素最优解;
③如果概率大于不约束概率或校正矩阵ACurGen中的矩阵元素k+1和矩阵元素k的约束背离值都大于0,则判断矩阵元素k的约束背离值是否小于矩阵元素k+1的约束背离值;
若矩阵元素k的约束背离值小于矩阵元素k+1的约束背离值,则认为矩阵元素k优于矩阵元素k+1,矩阵元素k的解为所述全局元素最优解;
否则,矩阵元素k的解更优,为全局元素最优解,即矩阵元素k的约束背离值大于矩阵元素k+1的约束背离值,认为矩阵元素k的解更优,为全局元素最优解。
在上述的判断过程中,主要通过不约束概率和约束背离值两个并行条件,以及个体适应度判断矩阵中随机两个矩阵元素谁为全局元素最优解,具有较大的判断范围,其中,不约束概率这一判断条件用于将不满足约束条件的解也作为优化目标,并行处理,平衡目标函数和约束条件之间的关系,且随着迭代次数增加,不约束概率减小。
上述的在所述当前迭代次数大于预设迭代次数时,使用所述第二条件判断全局元素最优解,包括:
若所述当前迭代次数CurGen>a×总的迭代次数,则当且仅当所述校正矩阵ACurGen中的矩阵元素k+1的约束背离值小于矩阵元素k的约束背离值,且矩阵元素k+1的适应度大于矩阵元素k的适应度时,矩阵元素k+1的解优于矩阵元素k的解,矩阵元素k+1的解为所述全局元素最优解,否则矩阵元素k的解更优,为全局元素最优解。
在上述的判断过程中,主要通过约束背离值,以及个体适应度判断矩阵中随机两个矩阵元素谁为全局元素最优解,逐渐不再接收不满足约束条件的解,其与当前迭代次数CurGen<a×总的迭代次数时所使用的判断条件相比,具有较小的判断范围。
在上述的判断过程中,常数a可以取0.95,那么,若当前迭代次数小于0.95×总的迭代次数,则说明当前的迭代处于算法初期,若当前迭代次数大于0.95×总的迭代次数,则说明当前的迭代处于算法后期。
在本发明实施例中,还给出了上述基础概率的一种计算方式,以及不约束概率的一种计算方式,包括:
获取0至1之间均匀分布的基础概率pf;
计算不约束概率pBase=pInit-pSlope×(curGen/MAXGEN);
其中,pInit为经验值,pSlope也为经验值,CurGen为当前迭代次数,MAXGEN为总的迭代次数。
在具体应用中,pInit可以取0.65,pSlope可以取0.3。
在上述步骤S1024中,新的矩阵ACurGen+1中的元素更新受所述校正矩阵ACurGen中的个体元素最优解和全局元素最优解的位置影响,则本发明实施例中还给出了上述新的矩阵ACurGen+1中的元素更新的详细实现方式,其包括:
计算速度因子和位置因子;
根据速度因子、位置因子、所述校正矩阵ACurGen中的个体元素最优解的位置和全局元素最优解的位置,更新所述校正矩阵ACurGen中每个元素的速度及所述校正矩阵ACurGen中每个元素的位置;
根据更新后所述校正矩阵ACurGen中每个元素的速度和位置得到新的矩阵ACurGen+1。
其中,计算位置因子c的公式为:
c=cMax-cMin×curgen/MAXGEN;
计算速度因子w的公式为:
w=wMax-(wMax-wMin)×pow(curgen/MAXGEN,3);
其中,cMax、cMin、wMax、wMin为经验值,curgen为当前迭代次数,MAXGEN为总的迭代次数。
根据速度因子、位置因子、所述校正矩阵ACurGen中的个体元素最优解的位置和全局元素最优解的位置,更新所述校正矩阵ACurGen中每个元素的速度,公式为:
v(k)’=w×v(k)+c×rand()×(gBestX(k)-x(k))+(1-c)×rand()×(zBestX-x(k));
其中,v(k)为校正矩阵ACurGen中任一元素的速度,v(k)’为校正矩阵ACurGen更新后此元素的速度,rand()为0至1的随机函数;
根据速度因子、位置因子、所述校正矩阵ACurGen中的个体元素最优解的位置和全局元素最优解的位置,更新所述校正矩阵ACurGen中每个元素的位置,公式为:
x(k)’=x(k)+V(k);
其中,x(k)为校正矩阵ACurGen中任一元素的位置,x(k)’为校正矩阵ACurGen更新后此元素的位置。
在具体应用中,上述的经验值cMax、cMin、wMax、wMin可以分别取cMax=0.7,cMin=0.3,wMax=0.9,wMin=0.4。
S1025、使用最终的校正矩阵计算所述校正函数的最优解。
在上述步骤S1025中,最终的校正矩阵为具有最优解的校正矩阵,通过具有最优解的校正矩阵,使校正矩阵也获得最优解。
在具体应用中,校正函数的最优解为校正函数的最大值。
实施例三
如图3所示,本发明实施例还提供了一种基于约束粒子群算法的色彩校正装置30,包括但不限于以下功能模块:
校正函数获取模块31,用于基于待校正的目标图片获取校正函数;
最优解计算模块32,用于通过随机排序的粒子群算法计算校正函数的最优解;
其中,粒子群算法的迭代次数小于预设迭代次数时,以第一条件接收不满足约束条件的校正函数最优解,粒子群算法的迭代次数大于预设迭代次数时,以第二条件接收不满足约束条件的校正函数最优解,第一条件要求的范围大于第二条件要求的范围;
在具体应用中,决定校正函数是否具有最优解的关键在于校正矩阵是否具有最优解,校正矩阵在求取最优解的过程中需要考虑约束条件,即校正矩阵中各行之和为1,但实际上最终获取的具有最优解的校正矩阵,其元素可能不满足约束条件,因此,校正函数的最优解也可能是不满足约束条件的解。
在本发明实施例中,在粒子群算法的迭代次数小于预设迭代次数时,即算法迭代初期,以范围较大的第一条件接受不满足约束条件的校正函数最优解,可以充分扩大搜索的范围,有益于搜索到最优解,而算法的迭代次数在预设次数以外时,即算法迭代后期,逐渐以范围较小的第二条件接受不满足约束条件的校正函数最优解,通过不同范围的条件要求,使得获得校正函数的最优解的过程既能够避免过早陷入局部最优的情况,同时又能使得校正函数的最优解满足约束条件。
色彩校正模块33,用于根据具有最优解的校正函数校正目标图片的色彩。
其中,校正目标图片的过程可以为:通过具有最优解的校正函数获取具有最优解的校正矩阵,使用校正矩阵中矩阵元素,如a11’至a33’的值,对目标图片上的RGB值做线性变换,使其逼近真实的RGB值。
本发明实施例还提供一种终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如实施例一中所述的基于约束粒子群算法的色彩校正方法中的各个步骤。
本发明实施例还提供一种存储介质,所述存储介质为计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如实施例一中所述的基于约束粒子群算法的色彩校正方法中的各个步骤。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于约束粒子群算法的色彩校正方法,其特征在于,包括:
基于待校正的目标图片获取校正函数;
通过随机排序的粒子群算法计算所述校正函数的最优解;
其中,所述粒子群算法的迭代次数小于预设迭代次数时,以第一条件接收不满足约束条件的校正函数最优解,所述粒子群算法的迭代次数大于预设迭代次数时,以第二条件接收不满足约束条件的校正函数最优解,所述第一条件要求的范围大于所述第二条件要求的范围;
根据具有最优解的校正函数校正所述目标图片的色彩。
2.如权利要求1所述的基于约束粒子群算法的色彩校正方法,其特征在于,通过随机排序的粒子群算法计算所述校正函数的最优解,包括:
获取所述校正函数中的校正矩阵Am,其中,m为迭代次数;
初始化所述校正矩阵Am的N个元素,其中,每个元素包括速度属性、位置属性、适应度属性和约束背离属性;
所述迭代次数m=1时校正矩阵A1为初始校正矩阵,根据所述初始校正矩阵直接计算所述校正函数的最优解;
所述迭代次数m大于1时,计算所述校正矩阵ACurGen中的个体元素最优解的位置、适应度、约束背离值,全局元素最优解、所述全局元素最优解的位置、适应度、约束条件背离值;
根据所述校正矩阵ACurGen中的个体元素最优解和全局元素最优解的位置更新所述校正矩阵ACurGen中每个元素的速度和位置得到新的矩阵ACurGen+1,并返回初始化所述校正矩阵ACurGen+1的N个元素,直至所述迭代次数达到总的迭代次数,或所述校正矩阵ACurGen+1中的全局元素最优解没有更新为止;
使用最终的校正矩阵计算所述校正函数的最优解;
其中,CurGen为当前迭代次数,CurGen小于或等于m,m=1,2,3...,MAXGEN;MAXGEN为总的迭代次数,N为正整数;
其中,在当前迭代次数小于预设迭代次数时,使用所述第一条件判断全局元素最优解;在当前迭代次数大于预设迭代次数时,使用所述第二条件判断全局元素最优解。
3.如权利要求2所述的基于约束粒子群算法的色彩校正方法,其特征在于,还包括:
获取预置数据范围之间均匀分布的基础概率,并利用所述基础概率计算不约束概率;
在所述当前迭代次数小于预设迭代次数时,使用所述第一条件判断全局元素最优解,包括:
若所述当前迭代次数CurGen≤a×总的迭代次数,则判断所述概率是否小于不约束概率,或判断所述校正矩阵ACurGen中的矩阵元素k+1和矩阵元素k的约束背离值是否都小于0,其中,a为0至1之间的常数;
若是,则判断矩阵元素k的适应度是否大于矩阵元素k+1的适应度,若是,则认为矩阵元素k的解优于矩阵元素k+1,矩阵元素k的解为所述全局元素最优解;否则矩阵元素k的解更优,为全局元素最优解;
若否,则判断矩阵元素k的约束背离值是否小于矩阵元素k+1的约束背离值,若是,则认为矩阵元素k优于矩阵元素k+1,矩阵元素k的解为所述全局元素最优解;否则矩阵元素k的解更优,为全局元素最优解;
在所述当前迭代次数大于预设迭代次数时,使用所述第二条件判断全局元素最优解,包括:
若所述当前迭代次数CurGen>a×总的迭代次数,则当且仅当所述校正矩阵ACurGen中的矩阵元素k+1的约束背离值小于矩阵元素k的约束背离值,且矩阵元素k+1的适应度大于矩阵元素k的适应度时,矩阵元素k+1的解优于矩阵元素k的解,矩阵元素k+1的解为所述全局元素最优解,否则矩阵元素k的解更优,为全局元素最优解。
4.如权利要求3所述的基于约束粒子群算法的色彩校正方法,其特征在于,获取预置数据范围之间均匀分布的基础概率,并利用所述基础概率计算不约束概率,包括:
获取0至1之间均匀分布的基础概率pf;
计算不约束概率pBase=pInit-pSlope×(curGen/MAXGEN);
其中,pInit为经验值,pSlope也为经验值,CurGen为当前迭代次数,MAXGEN为总的迭代次数。
5.如权利要求2所述的基于约束粒子群算法的色彩校正方法,其特征在于,根据所述校正矩阵ACurGen中的个体元素最优解和全局元素最优解的位置更新所述校正矩阵ACurGen中每个元素的速度和位置得到新的矩阵ACurGen+1,包括:
计算速度因子和位置因子;
根据速度因子、位置因子、所述校正矩阵ACurGen中的个体元素最优解的位置和全局元素最优解的位置,更新所述校正矩阵ACurGen中每个元素的速度及所述校正矩阵ACurGen中每个元素的位置;
根据更新后所述校正矩阵ACurGen中每个元素的速度和位置得到新的矩阵ACurGen+1。
6.如权利要求5所述的基于约束粒子群算法的色彩校正方法,其特征在于,计算位置因子c的公式为:
c=cMax-cMin×curgen/MAXGEN;
计算速度因子w的公式为:
w=wMax-(wMax-wMin)×pow(curgen/MAXGEN,3);
其中,cMax、cMin、wMax、wMin为经验值,curgen为当前迭代次数,MAXGEN为总的迭代次数;
根据速度因子、位置因子、所述校正矩阵ACurGen中的个体元素最优解的位置和全局元素最优解的位置,更新所述校正矩阵ACurGen中每个元素的速度,公式为:
v(k)’=w×v(k)+c×rand()×(gBestX(k)-x(k))+(1-c)×rand()×(zBestX-x(k));
其中,v(k)为校正矩阵ACurGen中任一元素的速度,v(k)’为校正矩阵ACurGen更新后此元素的速度,rand()为0至1的随机函数;
根据速度因子、位置因子、所述校正矩阵ACurGen中的个体元素最优解的位置和全局元素最优解的位置,更新所述校正矩阵ACurGen中每个元素的位置,公式为:
x(k)’=x(k)+V(k);
其中,x(k)为校正矩阵ACurGen中任一元素的位置,x(k)’为校正矩阵ACurGen更新后此元素的位置。
8.一种基于约束粒子群算法的色彩校正装置,其特征在于,包括:
校正函数获取模块,用于基于待校正的目标图片获取校正函数;
最优解计算模块,用于通过随机排序的粒子群算法计算所述校正函数的最优解;
其中,所述粒子群算法的迭代次数小于预设迭代次数时,以第一条件接收不满足约束条件的校正函数最优解,所述粒子群算法的迭代次数大于预设迭代次数时,以第二条件接收不满足约束条件的校正函数最优解,所述第一条件要求的范围大于所述第二条件要求的范围;
色彩校正模块,用于根据具有最优解的校正函数校正所述目标图片的色彩。
9.一种终端设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1至7任一项所述的基于约束粒子群算法的色彩校正方法中的各个步骤。
10.一种存储介质,所述存储介质为计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至7任一项所述的基于约束粒子群算法的色彩校正方法中的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911100156.6A CN110866877B (zh) | 2019-11-12 | 2019-11-12 | 基于约束粒子群算法的色彩校正方法、装置及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911100156.6A CN110866877B (zh) | 2019-11-12 | 2019-11-12 | 基于约束粒子群算法的色彩校正方法、装置及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110866877A true CN110866877A (zh) | 2020-03-06 |
CN110866877B CN110866877B (zh) | 2022-09-09 |
Family
ID=69653809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911100156.6A Active CN110866877B (zh) | 2019-11-12 | 2019-11-12 | 基于约束粒子群算法的色彩校正方法、装置及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110866877B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113593652A (zh) * | 2021-08-19 | 2021-11-02 | 北京思朗科技有限责任公司 | 一种约束原子速度的方法及装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7636700B2 (en) * | 2004-02-03 | 2009-12-22 | Hrl Laboratories, Llc | Object recognition system incorporating swarming domain classifiers |
CN103326353A (zh) * | 2013-05-21 | 2013-09-25 | 武汉大学 | 基于改进多目标粒子群算法的环境经济发电调度求解方法 |
US20150117708A1 (en) * | 2012-06-25 | 2015-04-30 | Softkinetic Software | Three Dimensional Close Interactions |
CN104682405A (zh) * | 2015-03-31 | 2015-06-03 | 福州大学 | 一种基于禁忌粒子群算法的配电网无功优化方法 |
CN107492103A (zh) * | 2017-07-05 | 2017-12-19 | 上海斐讯数据通信技术有限公司 | 基于自适应粒子群算法的灰度阈值获取方法、图像分割方法 |
CN107506821A (zh) * | 2017-10-13 | 2017-12-22 | 集美大学 | 一种改进的粒子群优化方法 |
CN108268728A (zh) * | 2018-01-22 | 2018-07-10 | 上海交通大学 | 基于两步式改进粒子群优化算法的汽车尾门结构优化方法 |
CN108536420A (zh) * | 2018-04-16 | 2018-09-14 | Oppo广东移动通信有限公司 | 音量调节方法、电子装置及计算机可读存储介质 |
CN108596985A (zh) * | 2018-04-19 | 2018-09-28 | 华东交通大学 | 一种Grey Edge参数主动优化的稀土溶液颜色矫正方法 |
CN108656117A (zh) * | 2018-05-21 | 2018-10-16 | 武汉理工大学 | 一种多约束条件下最优时间的机械臂空间轨迹优化方法 |
US20180357584A1 (en) * | 2017-06-12 | 2018-12-13 | Hefei University Of Technology | Method and system for collaborative scheduling of production and transportation in supply chains based on improved particle swarm optimization |
WO2019015553A1 (zh) * | 2017-07-17 | 2019-01-24 | 深圳市道通智能航空技术有限公司 | 图像色彩校正方法、装置、存储介质和计算机设备 |
-
2019
- 2019-11-12 CN CN201911100156.6A patent/CN110866877B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7636700B2 (en) * | 2004-02-03 | 2009-12-22 | Hrl Laboratories, Llc | Object recognition system incorporating swarming domain classifiers |
US20150117708A1 (en) * | 2012-06-25 | 2015-04-30 | Softkinetic Software | Three Dimensional Close Interactions |
CN103326353A (zh) * | 2013-05-21 | 2013-09-25 | 武汉大学 | 基于改进多目标粒子群算法的环境经济发电调度求解方法 |
CN104682405A (zh) * | 2015-03-31 | 2015-06-03 | 福州大学 | 一种基于禁忌粒子群算法的配电网无功优化方法 |
US20180357584A1 (en) * | 2017-06-12 | 2018-12-13 | Hefei University Of Technology | Method and system for collaborative scheduling of production and transportation in supply chains based on improved particle swarm optimization |
CN107492103A (zh) * | 2017-07-05 | 2017-12-19 | 上海斐讯数据通信技术有限公司 | 基于自适应粒子群算法的灰度阈值获取方法、图像分割方法 |
CN109274948A (zh) * | 2017-07-17 | 2019-01-25 | 深圳市道通智能航空技术有限公司 | 图像色彩校正方法、装置、存储介质和计算机设备 |
WO2019015553A1 (zh) * | 2017-07-17 | 2019-01-24 | 深圳市道通智能航空技术有限公司 | 图像色彩校正方法、装置、存储介质和计算机设备 |
CN107506821A (zh) * | 2017-10-13 | 2017-12-22 | 集美大学 | 一种改进的粒子群优化方法 |
CN108268728A (zh) * | 2018-01-22 | 2018-07-10 | 上海交通大学 | 基于两步式改进粒子群优化算法的汽车尾门结构优化方法 |
CN108536420A (zh) * | 2018-04-16 | 2018-09-14 | Oppo广东移动通信有限公司 | 音量调节方法、电子装置及计算机可读存储介质 |
CN108596985A (zh) * | 2018-04-19 | 2018-09-28 | 华东交通大学 | 一种Grey Edge参数主动优化的稀土溶液颜色矫正方法 |
CN108656117A (zh) * | 2018-05-21 | 2018-10-16 | 武汉理工大学 | 一种多约束条件下最优时间的机械臂空间轨迹优化方法 |
Non-Patent Citations (6)
Title |
---|
CHAO-LISUN等: "An improved vector particle swarm optimization for constrained optimization problems", 《INFORMATION SCIENCES》 * |
N.M.KWOK等: "Simultaneous image color correction and enhancement using particle swarm optimization", 《ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE》 * |
XIAOZHAO XU等: "Supervised Color Correction Based on QPSO-BP Neural Network Algorithm", 《2009 2ND INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 * |
夏昊: "基于粒子群算法和近似模型的结构多目标优化研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
徐速等: "基于微粒群优化算法的颜色量化", 《数字通信》 * |
赵维浩等: "一种易跳出局部最优的粒子群优化算法", 《电子测试》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113593652A (zh) * | 2021-08-19 | 2021-11-02 | 北京思朗科技有限责任公司 | 一种约束原子速度的方法及装置 |
CN113593652B (zh) * | 2021-08-19 | 2024-02-06 | 上海思朗科技有限公司 | 一种约束原子速度的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110866877B (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112101530B (zh) | 神经网络训练方法、装置、设备及存储介质 | |
CN111062876B (zh) | 用于校正模型训练和图像校正的方法和装置及电子设备 | |
CN109740113B (zh) | 超参数阈值范围确定方法、装置、存储介质及电子设备 | |
TWI781576B (zh) | 資料增強策略的更新方法、設備及儲存介質 | |
CN110866877B (zh) | 基于约束粒子群算法的色彩校正方法、装置及终端设备 | |
CN110942483A (zh) | 函数快速收敛模型构建方法、装置和终端 | |
Tan | Improved minimax estimation of a multivariate normal mean under heteroscedasticity | |
WO2019188573A1 (ja) | 演算装置、演算方法およびプログラム | |
CN110764257A (zh) | 光学系统初始结构生成方法 | |
CN111260056B (zh) | 一种网络模型蒸馏方法及装置 | |
CN108965016B (zh) | 一种虚拟网络的映射方法及装置 | |
CN115965541A (zh) | 颜色校正方法、装置、电子设备和存储介质 | |
CN113642593B (zh) | 影像处理方法与影像处理系统 | |
CN111754589A (zh) | 配色方法、装置、计算机设备及存储介质 | |
CN111540312B (zh) | 一种Gamma调制方法 | |
US11620509B2 (en) | Model constructing method of neural network model, model constructing system, and non-transitory computer readable storage medium | |
CN111353597B (zh) | 一种目标检测神经网络训练方法和装置 | |
Zhang et al. | Sequential sampling for Bayesian robust ranking and selection | |
CN113487577A (zh) | 基于GRU-CNN组合模型的快速Gamma调校方法、系统及应用 | |
CN113705724A (zh) | 基于自适应l-bfgs算法的深度神经网络的批量学习方法 | |
CN107808163B (zh) | 一种视频数据线性偏差主特征提取装置和方法 | |
CN116994515B (zh) | 一种基于梯度下降的快速gamma矫正方法 | |
CN112307230B (zh) | 一种数据存储的方法、及其数据获取方法、装置 | |
CN111914181B (zh) | 基于矩阵分解的物品推荐方法、系统及相关组件 | |
CN117649370B (zh) | 图像非均匀校正的残差bp神经网络及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |