CN105635594A - 闪烁校正方法和闪烁校正设备 - Google Patents
闪烁校正方法和闪烁校正设备 Download PDFInfo
- Publication number
- CN105635594A CN105635594A CN201410618222.XA CN201410618222A CN105635594A CN 105635594 A CN105635594 A CN 105635594A CN 201410618222 A CN201410618222 A CN 201410618222A CN 105635594 A CN105635594 A CN 105635594A
- Authority
- CN
- China
- Prior art keywords
- pixel
- correction parameter
- corrected
- block
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 307
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000013598 vector Substances 0.000 claims abstract description 145
- 238000001514 detection method Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006854 communication Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Picture Signal Circuits (AREA)
Abstract
本发明公开了闪烁校正方法和闪烁校正设备。根据本发明的闪烁校正方法包括:将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列;生成每个块的每一行的平均像素值构成的行均值向量;计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数;将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数;以及根据每个像素的所述粗校正参数,获得该像素的校正值。
Description
技术领域
本发明一般地涉及视频处理领域。具体而言,本发明涉及一种能够校正图像帧序列中的闪烁的闪烁校正方法和闪烁校正设备。
背景技术
近年来,CMOS图像传感器广泛地应用于各种图像捕获设备,如数码相机、数字摄像机、移动电话等。由于在光电转换过程中,每一个像素或每一行像素的光电转换时刻不一致,所以捕获图像中会存在亮暗的水平条带,尤其是在荧光灯照明或者亮度周期性变化的其他照明条件下进行图像捕获的情况下。这种因照明光存在周期性变化而导致的捕获图像中的水平条带被称作闪烁(flicker)。
传统的闪烁校正技术的计算复杂度高,效果一般,实时性不好。
因此,期望一种闪烁校正方法和闪烁校正设备,其能够以较低的计算复杂度,较好地、实时地校正图像帧序列中的闪烁。
发明内容
在下文中给出了关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本发明的目的是针对现有技术的上述问题,提出了一种能够以优异性能校正闪烁的方法和设备。
为了实现上述目的,根据本发明的一个方面,提供了一种闪烁校正方法,该闪烁校正方法包括:将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列;生成每个块的每一行的平均像素值构成的行均值向量;计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数;将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数;以及根据每个像素的所述粗校正参数,获得该像素的校正值。
根据本发明的另一个方面,提供了一种闪烁校正设备,该闪烁校正设备包括:块划分装置,被配置为:将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列;行均值向量生成装置,被配置为:生成每个块的每一行的平均像素值构成的行均值向量;均值向量计算装置,被配置为:计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数;粗校正参数生成装置,被配置为:将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数;以及校正值生成装置,被配置为:根据每个像素的所述粗校正参数,获得该像素的校正值。
另外,根据本发明的另一方面,还提供了一种存储介质。所述存储介质包括机器可读的程序代码,当在信息处理设备上执行所述程序代码时,所述程序代码使得所述信息处理设备执行根据本发明的上述方法。
此外,根据本发明的再一方面,还提供了一种程序产品。所述程序产品包括机器可执行的指令,当在信息处理设备上执行所述指令时,所述指令使得所述信息处理设备执行根据本发明的上述方法。
附图说明
参照下面结合附图对本发明实施例的说明,会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中,相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。附图中:
图1示出了根据本发明的第一实施例的闪烁校正方法的流程图;
图2示出了根据本发明的第二实施例的闪烁校正方法的流程图;
图3示出了根据本发明的第三实施例的闪烁校正方法的流程图;
图4示出了根据本发明实施例的闪烁校正设备的结构方框图;以及
图5示出了可用于实施根据本发明实施例的方法和设备的计算机的示意性框图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施方式的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤,而省略了与本发明关系不大的其他细节。另外,还需要指出的是,在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。
下面将参照图1描述根据本发明的第一实施例的闪烁校正方法的流程。
图1示出了根据本发明的第一实施例的闪烁校正方法的流程图。如图1所示,根据本发明的第一实施例的闪烁校正方法包括如下步骤:将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列(步骤S1);生成每个块的每一行的平均像素值构成的行均值向量(步骤S2);计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数(步骤S3);将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数(步骤S4);以及根据每个像素的所述粗校正参数,获得该像素的校正值(步骤S5)。
本发明处理的对象是视频,即图像帧构成的帧序列,每一帧即为一幅图像。视频可以是彩色视频,也可以是灰度视频。相应地,帧图像可以是彩色图像,也可以是灰度图像。
如果待处理的图像帧序列包括的是灰度图像,则待校正的图像是灰度图像本身。如果待处理的图像帧序列包括的是彩色图像,则待校正的图像是彩色图像的R分量图、G分量图、B分量图。
在步骤S1中,将待校正图像进行划分。
划分的方式为将待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列。
也就是说,在水平方向上将待校正图像划分为多个块,每个块的大小相同。
应注意,每个块包括完整的列,即每个块包括待校正图像最上方的像素直至最下方的像素。仅竖向划分待校正图像,并不横向划分待校正图像。
优选地,划分出来的多个块中的相邻的两个块彼此重合,重合的两个块共有预定数量的列。此处的预定数量可以由本领域技术人员根据计算量、系统性能需求等因素灵活设置。
举例来说,如果一个待校正图像的高度,即行数为ImgHeight,长度,即列数为ImgWidth,则该待校正图像的尺寸为ImgHeight*ImgWidth。假设每个块的宽度为BlkLen,即每个块包括BlkLen个列,且相邻两块的重合部分的宽度为overlapping,相邻两块的不重合部分的宽度为step,则满足BlkLen=step+overlapping。
相应地,该待校正图像被划分为BlkNum个块,且满足BlkNum=floor((ImgWidth-BlkLen)/step)。其中floor()为向上取整函数。
在步骤S2中,生成每个块的每一行的平均像素值构成的行均值向量。
如上所述,每个块包括待校正图像的若干完整的列。对于每一个块,计算其每一行的像素值的平均值,将每一行的平均像素值按行的顺序构成行均值向量。
显然,每个块对应于一个行均值向量,并且每个块的行均值向量的大小相同,向量的元素个数等于待校正图像的行数。每个待校正图像有BlkNum个行均值向量。
在步骤S3中,借助于与当前待校正图像相邻的图像的信息。
具体地,以包括当前待校正图像的每3、6、9、……、3t帧一起计算。t为正整数,优选为1和2。
应注意,该3t帧应该是输入图像帧序列中顺序相连的3t个图像帧。
当前校正图像可以处于该3t帧的任何位置。如当前校正图像可以是该3t帧的第一帧、第二帧、正中间位置的帧、最后一帧等。只要保证当前校正图像在该3t帧中的位置对于整个输入图像帧序列统一即可。
如上所述,每一帧的每一个块对应一个行均值向量。每一帧具有BlkNum个行均值向量。
在步骤S3中,对于该3t个帧的对应待校正图像(即同为灰度图像、或R图像、或G图像、或B图像)的对应块(即在图像中同一位置的块),计算对应块的行均值向量的均值向量。
也就是说,对于当前待校正图像的每一个块,计算包括当前待校正图像的上述3t个帧中的与该块对应的块和该块的共3t个行均值向量的均值向量。
如上所述,每个行均值向量大小相同,所以可以将行均值向量的对应元素的平均值按序构成新的向量,作为均值向量。
因此,当前待校正图像的每一个块既有一个在步骤S2中计算的行均值向量,也有一个在步骤S3中计算的帧均值向量。
在步骤S4中,将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量。
一个块的粗校正参数向量的每个元素对应于该块的一个行,这个元素就是这个对应行的所有像素共同的粗校正参数。在下面的步骤中,可以针对每个块的每一行,使用该块的粗校正参数向量中的对应元素(即粗校正参数),对该行的像素进行校正。
在步骤S5中,根据每个像素的所述粗校正参数,获得该像素的校正值。
应注意,获得每个像素的粗校正参数,即可利用该粗校正参数对该像素进行校正,并能取得良好的校正效果。此处的粗校正参数仅相对于随后描述的精细校正参数命名,并不意味着粗校正参数的校正效果粗糙。
如果在上述步骤S1中,采用相邻两块不重合的方式划分待校正图像,则在步骤S5中,将待校正像素的像素值除以该像素对应的粗校正参数,所获得的商作为该像素的校正值。
如果在上述步骤S1中,采用相邻两块重合的方式划分待校正图像,则相邻两块重合部分的像素由于分别属于两个块,所以分别对应于两个粗校正参数。两个粗校正参数分别在该像素属于两个块时被计算出来。
此时,按照如下方式分别处理重合部分的像素和不重合部分的像素。
具体地,对于两块重合部分的像素,将该像素的像素值除以该像素对应的两个粗校正参数的均值,所获得的商作为该像素的校正值。
对于两块不重合部分的像素,将该像素的像素值除以该像素对应的唯一一个粗校正参数(即该像素所在行对应的粗校正参数),所获得的商作为该像素的校正值。
经过如上所述的步骤S1-S5,可以获得每一个像素的校正值。校正值构成的图像就是经校正的图像。根据本发明的第一实施例的闪烁校正方法可以一定程度上校正图像帧序列中的闪烁现象。为了更好地校正图像帧序列的闪烁现象,还可以进一步计算精细校正参数,提高校正闪烁的效果。下面介绍基于精细校正参数的本发明的第二实施例。
图2示出了根据本发明的第二实施例的闪烁校正方法的流程图。如图2所示,根据本发明的第二实施例的闪烁校正方法包括如下步骤:将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列(步骤S21);生成每个块的每一行的平均像素值构成的行均值向量(步骤S22);计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数(步骤S23);将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数(步骤S24);利用低通滤波,根据所述粗校正参数,得到精细校正参数(步骤S25);以及根据每个像素的精细校正参数,获得该像素的校正值(步骤S26)。
第二实施例的步骤S21-S24与第一实施例的步骤S1-S4一致,在此不再赘述。主要描述第二实施例与第一实施例的不同之处,即获取和利用像素的精细校正参数,对像素进行校正,以消除闪烁现象。
在步骤S25中,利用低通滤波,根据所述粗校正参数,得到精细校正参数。
具体地,首先利用强低通滤波器对所述粗校正参数进行滤波,以得到强滤波结果。并且,利用弱低通滤波器对所述粗校正参数进行滤波,以得到弱滤波结果。
低通滤波器是本领域公知的滤波器,用来滤除输入信号的高频部分,保留低频部分。低通滤波器的强弱体现在对低频部分的影响。如果一个低通滤波器去除大量的高频分量而保留较多的低频分量,则认为该低通滤波器为弱低通滤波器。如果一个低通滤波器在去除大量的高频分量的同时,还去除了相对多的低频分量,仅保留少量的低频分量,则认为该低通滤波器为强低通滤波器。
经过强弱低通滤波器的滤波,获得两个中间结果:强滤波结果和弱滤波结果。
此时,比较步骤S24中计算的粗校正参数与强滤波结果,根据比较结果,计算精细校正参数。
具体地,如果粗校正参数与强滤波结果的差异较小,则精细校正参数等于粗校正参数加上弱滤波结果与强滤波结果之差。如果粗校正参数与强滤波结果的差异较大,则精细校正参数等于弱滤波结果。
这样,根据粗校正参数与强滤波结果的比较,利用两个中间结果(强滤波结果和弱滤波结果)就能够获得精细校正参数。随后,在步骤S26中,可以利用精细校正参数而不是粗校正参数来校正像素。
在第二实施例中没有考虑运动的情况。在下文中,将可以看出:第二实施例中计算的精细校正参数在考虑运动的情况下实质上是无运动精细校正参数。然而,是否考虑运动只是影响校正的效果,进行校正以去除闪烁并不必须考虑运动。所以,在第二实施例中,根据步骤S25计算出精细校正参数即可。
在步骤S26中,根据每个像素的精细校正参数,获得该像素的校正值。
如果在上述步骤S21中,采用相邻两块不重合的方式划分待校正图像,则在步骤S26中,将待校正像素的像素值除以该像素对应的精细校正参数,所获得的商作为该像素的校正值。
如果在上述步骤S21中,采用相邻两块重合的方式划分待校正图像,则相邻两块重合部分的像素由于分别属于两个块,所以分别对应于两个精细校正参数。两个精细校正参数分别在该像素属于两个块时被计算出来。
此时,按照如下方式分别处理重合部分的像素和不重合部分的像素。
具体地,对于两块重合部分的像素,将该像素的像素值除以该像素对应的两个精细校正参数的均值,所获得的商作为该像素的校正值。
对于两块不重合部分的像素,将该像素的像素值除以该像素对应的唯一一个精细校正参数(即该像素所在行对应的精细校正参数),所获得的商作为该像素的校正值。
经过如上所述的步骤S21-S26,就可以一定程度上校正图像帧序列中的闪烁现象。一般来说,第二实施例的闪烁校正方法能够取得相对于第一实施例的闪烁校正方法更好的效果。
运动是视频处理中的常见现象,通常会对视频处理产生影响。因此,通常针对运动的情况或运动的部分采取特殊的处理,以提高视频处理的效果。
在本发明的第三实施例中,引入对运动因素的考虑,改进了精细校正参数的获取方式。
图3示出了根据本发明的第三实施例的闪烁校正方法的流程图。如图3所示,根据本发明的第三实施例的闪烁校正方法包括如下步骤:将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列(步骤S31);生成每个块的每一行的平均像素值构成的行均值向量(步骤S32);计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数(步骤S33);将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数(步骤S34);检测当前待校正图像的每个块中的运动(步骤S35);根据运动检测结果,得到精细校正参数(步骤S36);以及根据每个像素的精细校正参数,获得该像素的校正值(步骤S37)。
第三实施例的步骤S31-S34与第二实施例的步骤S21-S24一致,在此不再赘述。主要描述第三实施例与第二实施例的不同之处,即检测运动和根据运动检测结果,获取和利用像素的精细校正参数,对像素进行校正,以消除闪烁现象。
在步骤S35中,检测当前待校正图像的每个块中的运动。
步骤S35可以采用本领域任何已知的运动检测方法。
优选地,可以采用如下方式检测块中的运动。
具体地,每个块对应一个粗校正参数向量。将该粗校正参数向量的每个元素都减去1,并将所得的差的绝对值取平均。将所得的均值作为该块的运动参数。每个块的运动参数表征该块的运动大小。
对于当前待校正图像的一个块,计算该块的运动参数和当前待校正图像的前一帧和后一帧中与该块对应的块的运动参数。将三个运动参数的最大值与预定阈值作比较。如果三个运动参数的最大值大于预定阈值,则认为该块存在运动;如果三个运动参数的最大值小于或等于预定阈值,则认为该块不存在运动。预定阈值可以由本领域技术人员根据经验设计。
在步骤S36中,根据运动检测结果,得到精细校正参数。
这里的精细校正参数根据运动检测结果分为有运动精细校正参数和无运动精细校正参数。
每个像素的无运动精细校正参数按照上述第二实施例中的步骤S25中的精细校正参数计算方法。
即,首先利用强低通滤波器对粗校正参数进行滤波,以得到强滤波结果。并且,利用弱低通滤波器对所述粗校正参数进行滤波,以得到弱滤波结果。然后,比较步骤S34中计算的粗校正参数与强滤波结果,如果粗校正参数与强滤波结果的差异较小,则无运动精细校正参数等于粗校正参数加上弱滤波结果与强滤波结果之差。如果粗校正参数与强滤波结果的差异较大,则无运动精细校正参数等于弱滤波结果。
每个像素的有运动精细校正参数分两种情形处理。
如果当前待校正图像中存在至少一个有运动的块,则当前待校正图像中的所有有运动的块的每一行的有运动精细校正参数等于当前待校正图像中所有无运动的块的对应行的无运动精细校正参数的均值。
也就是说,如果当前待校正图像中存在至少一个有运动的块,则当前待校正图像中的所有有运动的块的每个块对应的有运动精细校正参数向量等于当前待校正图像中所有无运动的块对应的无运动精细校正参数向量的平均向量。计算多个向量的平均向量的方法是多个向量的对应元素的平均值作为平均向量对应位置处的元素。此时,当前待校正图像中的所有无运动的块的每一行的有运动精细校正参数等于1。
如果当前待校正图像中不存在有运动的块,则当前待校正图像中的每个像素的有运动精细校正参数等于1。
这样,经过步骤S36,每个已输入图像的每个像素都对应有无运动精细校正参数和有运动精细校正参数。
在步骤S37中,根据每个像素的精细校正参数,获得该像素的校正值。
具体地,判断当前待校正图像的当前块和前一帧的对应块这两个块中是否至少有一个块中存在运动。
如果上述两个块中至少有一个块中存在运动,则使用有运动精细校正参数校正当前块的像素。如果上述两个块中均不存在运动,则使用无运动精细校正参数校正当前块的像素。根据这一原则,确定了每个块所使用的精细校正参数。
然后,利用所确定的精细校正参数,校正待处理的像素。
具体地说,如果在上述步骤S31中,采用相邻两块不重合的方式划分待校正图像,则在步骤S37中,将待校正像素的像素值除以该像素对应的精细校正参数,所获得的商作为该像素的校正值。
如果在上述步骤S31中,采用相邻两块重合的方式划分待校正图像,则相邻两块重合部分的像素由于分别属于两个块,所以分别对应于两个精细校正参数。两个精细校正参数分别在该像素属于两个块时被计算出来。
此时,按照如下方式分别处理重合部分的像素和不重合部分的像素。
具体地,对于两块重合部分的像素,将该像素的像素值除以该像素对应的两个精细校正参数的均值,所获得的商作为该像素的校正值。
对于两块不重合部分的像素,将该像素的像素值除以该像素对应的唯一一个精细校正参数(即该像素所在行对应的精细校正参数),所获得的商作为该像素的校正值。
经过如上所述的步骤S31-S37,就可以相对于第一实施例和第二实施例的闪烁校正方法更好地校正图像帧序列中的闪烁现象,尤其是针对有运动的图像帧序列。
下面,将参照图4描述根据本发明实施例的闪烁校正设备。
图4示出了根据本发明实施例的闪烁校正设备的结构方框图。如图4所示,根据本发明的闪烁校正设备400包括:块划分装置41,被配置为:将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列;行均值向量生成装置42,被配置为:生成每个块的每一行的平均像素值构成的行均值向量;均值向量计算装置43,被配置为:计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数;粗校正参数生成装置44,被配置为:将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数;以及校正值生成装置45,被配置为:根据每个像素的所述粗校正参数,获得该像素的校正值。
在一个实施例中,相邻的两个块之间重合预定数量的列。
在一个实施例中,所述校正值生成装置45被进一步配置为:对于两块重合部分的像素,将该像素的像素值除以该像素所在行的该两个块的粗校正参数的均值,所获得的商作为该像素的校正值;对于不重合部分的像素,将该像素的像素值除以该像素所在块的所在行的粗校正参数,所获得的商作为该像素的校正值。
在一个实施例中,闪烁校正设备400还包括:精细校正参数生成装置,被配置为:利用低通滤波,根据所述粗校正参数,得到精细校正参数。校正值生成装置45被配置为:根据每个像素的精细校正参数,获得该像素的校正值。
在一个实施例中,精细校正参数生成装置包括:强低通滤波器,用于对所述粗校正参数进行滤波,以得到强滤波结果;弱低通滤波器,用于对所述粗校正参数进行滤波,以得到弱滤波结果;无运动精细校正参数生成单元,配置为:在粗校正参数与强滤波结果的差异较小的情况下,生成等于粗校正参数加上弱滤波结果与强滤波结果之差的无运动精细校正参数,作为所述精细校正参数;在粗校正参数与强滤波结果的差异较大的情况下,生成等于弱滤波结果的无运动精细校正参数,作为所述精细校正参数。。
在一个实施例中,闪烁校正设备400还包括:运动检测装置,被配置为:检测每个块中的运动。所述精细校正参数生成装置还包括:有运动精细校正参数生成单元,配置为:在当前待校正图像中存在有运动的块的情况下,生成等于当前待校正图像中所有无运动的块的对应行的无运动精细校正参数的均值的、当前待校正图像中的所有有运动的块的每一行的有运动精细校正参数,作为所述精细校正参数;否则,生成等于1的有运动精细校正参数,作为所述精细校正参数。
在一个实施例中,运动检测装置被进一步配置为:将每个块的粗校正参数向量的各个元素减去1后的绝对值的均值,作为表征该块的运动大小的运动参数;如果一个块的运动参数以及该块所在帧的前一帧和后一帧的对应块的运动参数三者的最大值大于预定阈值,则认为该块存在运动;否则,认为该块不存在运动。
在一个实施例中,校正值生成装置45被进一步配置为:在一个块和前一帧的对应块中至少一个块中存在运动的情况下,使用有运动精细校正参数进行校正;在一个块和前一帧的对应块中没有块中存在运动的情况下,使用无运动精细校正参数进行校正。
在一个实施例中,校正值生成装置45被进一步配置为:对于两块重合部分的像素,将该像素的像素值除以该像素所在行的该两个块的精细校正参数的均值,所获得的商作为该像素的校正值;对于不重合部分的像素,将该像素的像素值除以该像素所在块的所在行的精细校正参数,所获得的商作为该像素的校正值。
在一个实施例中,待校正图像包括灰度输入图像帧序列中的每个图像帧、或者彩色输入图像帧序列中的每个图像帧的R、G、B分量图。
由于在根据本发明的闪烁校正设备400中所包括的各个装置和单元中的处理分别与上面描述的闪烁校正方法中所包括的各个步骤中的处理类似,因此为了简洁起见,在此省略这些装置和单元的详细描述。
此外,这里尚需指出的是,上述设备中各个组成装置、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知,在此不再赘述。在通过软件或固件实现的情况下,从存储介质或网络向具有专用硬件结构的计算机(例如图5所示的通用计算机500)安装构成该软件的程序,该计算机在安装有各种程序时,能够执行各种功能等。
图5示出了可用于实施根据本发明实施例的方法和设备的计算机的示意性框图。
在图5中,中央处理单元(CPU)501根据只读存储器(ROM)502中存储的程序或从存储部分508加载到随机存取存储器(RAM)503的程序执行各种处理。在RAM503中,还根据需要存储当CPU501执行各种处理等等时所需的数据。CPU501、ROM502和RAM503经由总线504彼此连接。输入/输出接口505也连接到总线504。
下述部件连接到输入/输出接口505:输入部分506(包括键盘、鼠标等等)、输出部分507(包括显示器,比如阴极射线管(CRT)、液晶显示器(LCD)等,和扬声器等)、存储部分508(包括硬盘等)、通信部分509(包括网络接口卡比如LAN卡、调制解调器等)。通信部分509经由网络比如因特网执行通信处理。根据需要,驱动器510也可连接到输入/输出接口505。可拆卸介质511比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器510上,使得从中读出的计算机程序根据需要被安装到存储部分508中。
在通过软件实现上述系列处理的情况下,从网络比如因特网或存储介质比如可拆卸介质511安装构成软件的程序。
本领域的技术人员应当理解,这种存储介质不局限于图5所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质511。可拆卸介质511的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者,存储介质可以是ROM502、存储部分508中包含的硬盘等等,其中存有程序,并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时,可执行上述根据本发明实施例的方法。
相应地,用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
在上面对本发明具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
此外,本发明的方法不限于按照说明书中描述的时间顺序来执行,也可以按照其他的时间顺序地、并行地或独立地执行。因此,本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。
尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露,但是,应该理解,上述的所有实施例和示例均是示例性的,而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
附记
1.一种闪烁校正方法,包括:
将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列;
生成每个块的每一行的平均像素值构成的行均值向量;
计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数;
将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数;以及
根据每个像素的所述粗校正参数,获得该像素的校正值。
2.如附记1所述的闪烁校正方法,其中,相邻的两个块之间重合预定数量的列。
3.如附记2所述的闪烁校正方法,其中所述根据每个像素的所述粗校正参数,获得该像素的校正值包括:
对于两块重合部分的像素,将该像素的像素值除以该像素所在行的该两个块的粗校正参数的均值,所获得的商作为该像素的校正值;
对于不重合部分的像素,将该像素的像素值除以该像素所在块的所在行的粗校正参数,所获得的商作为该像素的校正值。
4.如附记2所述的闪烁校正方法,还包括:
利用低通滤波,根据所述粗校正参数,得到精细校正参数;
根据每个像素的精细校正参数,获得该像素的校正值。
5.如附记4所述的闪烁校正方法,其中所述利用低通滤波,根据所述粗校正参数,得到精细校正参数包括:
分别利用强低通滤波器和弱低通滤波器对所述粗校正参数进行滤波,以得到强滤波结果和弱滤波结果;
如果粗校正参数与强滤波结果的差异较小,则无运动精细校正参数等于粗校正参数加上弱滤波结果与强滤波结果之差,作为所述精细校正参数;
如果粗校正参数与强滤波结果的差异较大,则无运动精细校正参数等于弱滤波结果,作为所述精细校正参数。
6.如附记5所述的闪烁校正方法,还包括:检测每个块中的运动;
如果当前待校正图像中存在有运动的块,则当前待校正图像中的所有有运动的块的每一行的有运动精细校正参数等于当前待校正图像中所有无运动的块的对应行的无运动精细校正参数的均值,作为所述精细校正参数;
否则,有运动精细校正参数等于1,作为所述精细校正参数。
7.如附记6所述的闪烁校正方法,其中所述检测每个块中的运动包括:
将每个块的粗校正参数向量的各个元素减去1后的绝对值的均值,作为表征该块的运动大小的运动参数;
如果一个块的运动参数以及该块所在帧的前一帧和后一帧的对应块的运动参数三者的最大值大于预定阈值,则认为该块存在运动;
否则,认为该块不存在运动。
8.如附记6所述的闪烁校正方法,其中所述根据每个像素的精细校正参数,获得该像素的校正值包括:
如果一个块和前一帧的对应块中至少一个块中存在运动,则使用有运动精细校正参数进行校正;
否则,使用无运动精细校正参数进行校正。
9.如附记8所述的闪烁校正方法,其中所述校正包括:
对于两块重合部分的像素,将该像素的像素值除以该像素所在行的该两个块的精细校正参数的均值,所获得的商作为该像素的校正值;
对于不重合部分的像素,将该像素的像素值除以该像素所在块的所在行的精细校正参数,所获得的商作为该像素的校正值。
10.如附记1-9之一所述的闪烁校正方法,其中所述待校正图像包括灰度输入图像帧序列中的每个图像帧、或者彩色输入图像帧序列中的每个图像帧的R、G、B分量图。
11.一种闪烁校正设备,包括:
块划分装置,被配置为:将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列;
行均值向量生成装置,被配置为:生成每个块的每一行的平均像素值构成的行均值向量;
均值向量计算装置,被配置为:计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数;
粗校正参数生成装置,被配置为:将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数;以及
校正值生成装置,被配置为:根据每个像素的所述粗校正参数,获得该像素的校正值。
12.如附记11所述的闪烁校正设备,其中,相邻的两个块之间重合预定数量的列。
13.如附记12所述的闪烁校正设备,其中所述校正值生成装置被进一步配置为:
对于两块重合部分的像素,将该像素的像素值除以该像素所在行的该两个块的粗校正参数的均值,所获得的商作为该像素的校正值;
对于不重合部分的像素,将该像素的像素值除以该像素所在块的所在行的粗校正参数,所获得的商作为该像素的校正值。
14.如附记12所述的闪烁校正设备,还包括:
精细校正参数生成装置,被配置为:利用低通滤波,根据所述粗校正参数,得到精细校正参数;
所述校正值生成装置被配置为:根据每个像素的精细校正参数,获得该像素的校正值。
15.如附记14所述的闪烁校正设备,其中所述精细校正参数生成装置包括:
强低通滤波器,用于对所述粗校正参数进行滤波,以得到强滤波结果;
弱低通滤波器,用于对所述粗校正参数进行滤波,以得到弱滤波结果;
无运动精细校正参数生成单元,配置为:
在粗校正参数与强滤波结果的差异较小的情况下,生成等于粗校正参数加上弱滤波结果与强滤波结果之差的无运动精细校正参数,作为所述精细校正参数;
在粗校正参数与强滤波结果的差异较大的情况下,生成等于弱滤波结果的无运动精细校正参数,作为所述精细校正参数。
16.如附记15所述的闪烁校正设备,还包括:运动检测装置,被配置为:检测每个块中的运动;
所述精细校正参数生成装置还包括:
有运动精细校正参数生成单元,配置为:
在当前待校正图像中存在有运动的块的情况下,生成等于当前待校正图像中所有无运动的块的对应行的无运动精细校正参数的均值的、当前待校正图像中的所有有运动的块的每一行的有运动精细校正参数,作为所述精细校正参数;
否则,生成等于1的有运动精细校正参数,作为所述精细校正参数。
17.如附记16所述的闪烁校正设备,其中所述运动检测装置被进一步配置为:
将每个块的粗校正参数向量的各个元素减去1后的绝对值的均值,作为表征该块的运动大小的运动参数;
如果一个块的运动参数以及该块所在帧的前一帧和后一帧的对应块的运动参数三者的最大值大于预定阈值,则认为该块存在运动;
否则,认为该块不存在运动。
18.如附记16所述的闪烁校正设备,其中所述校正值生成装置被进一步配置为:
在一个块和前一帧的对应块中至少一个块中存在运动的情况下,使用有运动精细校正参数进行校正;
在一个块和前一帧的对应块中没有块中存在运动的情况下,使用无运动精细校正参数进行校正。
19.如附记18所述的闪烁校正设备,其中所述校正值生成装置被进一步配置为:
对于两块重合部分的像素,将该像素的像素值除以该像素所在行的该两个块的精细校正参数的均值,所获得的商作为该像素的校正值;
对于不重合部分的像素,将该像素的像素值除以该像素所在块的所在行的精细校正参数,所获得的商作为该像素的校正值。
20.如附记11-19之一所述的闪烁校正设备,其中所述待校正图像包括灰度输入图像帧序列中的每个图像帧、或者彩色输入图像帧序列中的每个图像帧的R、G、B分量图。
Claims (10)
1.一种闪烁校正设备,包括:
块划分装置,被配置为:将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列;
行均值向量生成装置,被配置为:生成每个块的每一行的平均像素值构成的行均值向量;
均值向量计算装置,被配置为:计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数;
粗校正参数生成装置,被配置为:将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数;以及
校正值生成装置,被配置为:根据每个像素的所述粗校正参数,获得该像素的校正值。
2.如权利要求1所述的闪烁校正设备,其中,相邻的两个块之间重合预定数量的列。
3.如权利要求2所述的闪烁校正设备,其中所述校正值生成装置被进一步配置为:
对于两块重合部分的像素,将该像素的像素值除以该像素所在行的该两个块的粗校正参数的均值,所获得的商作为该像素的校正值;
对于不重合部分的像素,将该像素的像素值除以该像素所在块的所在行的粗校正参数,所获得的商作为该像素的校正值。
4.如权利要求2所述的闪烁校正设备,还包括:
精细校正参数生成装置,被配置为:利用低通滤波,根据所述粗校正参数,得到精细校正参数;
所述校正值生成装置被配置为:根据每个像素的精细校正参数,获得该像素的校正值。
5.如权利要求4所述的闪烁校正设备,其中所述精细校正参数生成装置包括:
强低通滤波器,用于对所述粗校正参数进行滤波,以得到强滤波结果;
弱低通滤波器,用于对所述粗校正参数进行滤波,以得到弱滤波结果;
无运动精细校正参数生成单元,配置为:
在粗校正参数与强滤波结果的差异较小的情况下,生成等于粗校正参数加上弱滤波结果与强滤波结果之差的无运动精细校正参数,作为所述精细校正参数;
在粗校正参数与强滤波结果的差异较大的情况下,生成等于弱滤波结果的无运动精细校正参数,作为所述精细校正参数。
6.如权利要求5所述的闪烁校正设备,还包括:运动检测装置,被配置为:检测每个块中的运动;
所述精细校正参数生成装置还包括:
有运动精细校正参数生成单元,配置为:
在当前待校正图像中存在有运动的块的情况下,生成等于当前待校正图像中所有无运动的块的对应行的无运动精细校正参数的均值的、当前待校正图像中的所有有运动的块的每一行的有运动精细校正参数,作为所述精细校正参数;
否则,生成等于1的有运动精细校正参数,作为所述精细校正参数。
7.如权利要求6所述的闪烁校正设备,其中所述运动检测装置被进一步配置为:
将每个块的粗校正参数向量的各个元素减去1后的绝对值的均值,作为表征该块的运动大小的运动参数;
如果一个块的运动参数以及该块所在帧的前一帧和后一帧的对应块的运动参数三者的最大值大于预定阈值,则认为该块存在运动;
否则,认为该块不存在运动。
8.如权利要求6所述的闪烁校正设备,其中所述校正值生成装置被进一步配置为:
在一个块和前一帧的对应块中至少一个块中存在运动的情况下,使用有运动精细校正参数进行校正;
在一个块和前一帧的对应块中没有块中存在运动的情况下,使用无运动精细校正参数进行校正。
9.如权利要求8所述的闪烁校正设备,其中所述校正值生成装置被进一步配置为:
对于两块重合部分的像素,将该像素的像素值除以该像素所在行的该两个块的精细校正参数的均值,所获得的商作为该像素的校正值;
对于不重合部分的像素,将该像素的像素值除以该像素所在块的所在行的精细校正参数,所获得的商作为该像素的校正值。
10.一种闪烁校正方法,包括:
将输入图像帧序列中的待校正图像沿行的方向从行的开始到行的结束划分为多个大小相同的块,每个块包括所述待校正图像的若干连续的列;
生成每个块的每一行的平均像素值构成的行均值向量;
计算包括当前待校正图像的连续的3t帧的对应待校正图像的对应块的所述行均值向量的均值向量,作为当前待校正图像的该对应块的帧均值向量,其中t为正整数;
将每个块的行均值向量与该块的帧均值向量的对应元素相除,所获得的商构成的向量作为该块的粗校正参数向量,该向量的每个元素是该块的对应行的各个像素共同的粗校正参数;以及
根据每个像素的所述粗校正参数,获得该像素的校正值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410618222.XA CN105635594B (zh) | 2014-11-05 | 2014-11-05 | 闪烁校正方法和闪烁校正设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410618222.XA CN105635594B (zh) | 2014-11-05 | 2014-11-05 | 闪烁校正方法和闪烁校正设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105635594A true CN105635594A (zh) | 2016-06-01 |
CN105635594B CN105635594B (zh) | 2018-09-04 |
Family
ID=56050043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410618222.XA Active CN105635594B (zh) | 2014-11-05 | 2014-11-05 | 闪烁校正方法和闪烁校正设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105635594B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023025010A1 (zh) * | 2021-08-25 | 2023-03-02 | 维沃移动通信有限公司 | 频闪条带信息识别方法、装置和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1250314A (zh) * | 1998-07-24 | 2000-04-12 | 松下电器产业株式会社 | 成像装置 |
CN1437389A (zh) * | 2001-12-27 | 2003-08-20 | 夏普公司 | 闪烁校正装置、闪烁校正方法及存贮闪烁校正程序的记录介质 |
JP3955812B2 (ja) * | 2002-11-20 | 2007-08-08 | 株式会社東芝 | フリッカー除去装置及びその方法 |
CN101867726A (zh) * | 2009-04-14 | 2010-10-20 | 索尼公司 | 图像数据处理设备和图像拾取设备 |
CN103975578A (zh) * | 2011-12-08 | 2014-08-06 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
-
2014
- 2014-11-05 CN CN201410618222.XA patent/CN105635594B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1250314A (zh) * | 1998-07-24 | 2000-04-12 | 松下电器产业株式会社 | 成像装置 |
CN1437389A (zh) * | 2001-12-27 | 2003-08-20 | 夏普公司 | 闪烁校正装置、闪烁校正方法及存贮闪烁校正程序的记录介质 |
JP3955812B2 (ja) * | 2002-11-20 | 2007-08-08 | 株式会社東芝 | フリッカー除去装置及びその方法 |
CN101867726A (zh) * | 2009-04-14 | 2010-10-20 | 索尼公司 | 图像数据处理设备和图像拾取设备 |
CN103975578A (zh) * | 2011-12-08 | 2014-08-06 | 索尼公司 | 图像处理设备、图像处理方法以及程序 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023025010A1 (zh) * | 2021-08-25 | 2023-03-02 | 维沃移动通信有限公司 | 频闪条带信息识别方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105635594B (zh) | 2018-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10015371B2 (en) | Electronic device and image tracking method thereof | |
CN104517110A (zh) | 一种二维码图像的二值化方法及系统 | |
CN101378508B (zh) | 检测并去除假轮廓的方法和设备 | |
US20100098331A1 (en) | System and method for segmenting foreground and background in a video | |
CN101572076B (zh) | 帧速率变换设备和帧速率变换方法 | |
CN105163110A (zh) | 摄像头清洁度的检测方法、检测系统及拍摄终端 | |
CN103455984A (zh) | 一种Kinect深度图像获取方法与装置 | |
Jin et al. | Perceptual image quality assessment using block-based multi-metric fusion (BMMF) | |
CN108806638B (zh) | 一种图像的显示方法及其装置 | |
CN104038703A (zh) | 数字摄像机感光自适应控制方法 | |
CN110009621A (zh) | 一种篡改视频检测方法、装置、设备及可读存储介质 | |
CN113538223A (zh) | 噪声图像生成方法、装置、电子设备及存储介质 | |
CN110807406B (zh) | 一种雾天检测方法及装置 | |
CN106611406B (zh) | 图像校正方法和图像校正设备 | |
CN103237158A (zh) | 影像处理方法、影像撷取系统及影像处理器 | |
KR101598701B1 (ko) | 플리커 검출 방법 및 플리커 검출 장치 | |
CN105635594A (zh) | 闪烁校正方法和闪烁校正设备 | |
CN109191482A (zh) | 一种基于区域自适应光谱角阈值的图像合并分割方法 | |
CN113888509A (zh) | 一种图像清晰度的评价方法、装置、设备及存储介质 | |
CN109886980A (zh) | 一种基于邻域强度纹理编码的红外图像卷云检测方法 | |
CN105389781A (zh) | 一种基于显著性检测和Criminisi算法的车辆光照修复方法 | |
CN110738699A (zh) | 一种无监督绝对尺度计算方法及系统 | |
CN113222843B (zh) | 一种图像修复方法及其相关设备 | |
CN102263965B (zh) | 一种消除模拟电视信号噪声的方法及装置 | |
CN105354833A (zh) | 一种阴影检测的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |