CN107079121B - 检测缺陷像素的存储单元和介质、光电系统、装置及方法 - Google Patents
检测缺陷像素的存储单元和介质、光电系统、装置及方法 Download PDFInfo
- Publication number
- CN107079121B CN107079121B CN201580060310.5A CN201580060310A CN107079121B CN 107079121 B CN107079121 B CN 107079121B CN 201580060310 A CN201580060310 A CN 201580060310A CN 107079121 B CN107079121 B CN 107079121B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- defective
- pixels
- output data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002950 deficient Effects 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 118
- 238000012545 processing Methods 0.000 claims abstract description 183
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 230000002159 abnormal effect Effects 0.000 claims abstract description 58
- 230000005693 optoelectronics Effects 0.000 claims abstract description 18
- 230000007547 defect Effects 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims description 17
- 230000000737 periodic effect Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000009257 reactivity Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及检测缺陷像素的存储单元和介质、光电系统、装置及方法。具体地,该用于检测有缺陷像素的方法作为图像处理过程的一部分,该图像处理过程包括应用至由图像传感器提供的图像的像素的像素处理过程。每一个像素与表示所述像素的状态的分类值相关联。所述方法包括以下步骤,针对每一个像素进行如下操作:应用(1111)所述像素处理过程;分析(1112)所述像素处理过程的结果;在获取表示有关所述图像传感器的、提供所述像素的感光点的缺陷的非正常结果的情况下,就递增(1113)针对所述像素的非正常结果的检测数量;以及当所述数量达到第一阈值(1114)时,关联(1115)所述像素与表示有缺陷像素的分类值。
Description
技术领域
本发明涉及用于检测有缺陷像素的方法、能够检测有缺陷像素的装置、以及包括所述装置的系统。本发明还涉及一种用于利用有缺陷像素检测方法,来确定从图像处理过程输出的至少一个数据项的可靠性水平的方法。
背景技术
光电(Optronic)系统是已知的,如照相装置、摄视频像机、双筒望远镜、望远镜、取景器或配备有空载(airborne)观测系统的陀螺稳定球(GSB:gyro-stabilised ball)。这些光电系统包括图像获取装置,其包括至少一个图像传感器,所述至少一个图像传感器能够获取各种频率范围内的图像,如对应于人眼可察觉的频率的频率范围或者位于红外线中的频率范围。
图像传感器按像素网格的形式提供图像。图像传感器由称为感光点(photosite)的有源元件的格栅构成,例如,由光电二极管构成,每一个光电二极管都能够将入射光束转换成电信号。图像的每一个像素对应于图像传感器上的感光点。图像传感器的一些感光点经常有缺陷,致使这些感光点不适于提供有效的像素值。这些缺陷可能是制造缺陷,使得这些感光点明确不能提供有效的像素值,或者是随机发生的临时缺陷。可以通过检查在制造之后实现的图像传感器的过程来检测制造缺陷。然后,丢弃包括过大数量的有缺陷感光点的图像传感器,即,每图像提供过大数量的非有效像素(称为有缺陷像素)。保持具有可接受数量的有缺陷感光点的图像传感器,即,提供每图像可接受数量的有缺陷像素。然后,可以列出由有缺陷图像传感器的感光点提供的每个有缺陷像素的位置。另一方面,用于在制造后检查传感器的过程不适于随机发生的临时缺陷,因为根据定义,这些缺陷可能随时出现,包括在制造之后。
而且,光电系统通常包括一个或更多个可以由专用装置或按软件形式使用的图像处理模块。图像处理模块可以提供许多功能,举例来说,如改进由图像传感器获取的图像的渲染的功能、在一个或更多个图像中检测对象的功能、或者跟随一序列连续图像中的对象的功能。然后,图像处理模块能够提供输出数据,举例来说,如改进的图像、所检测对象的坐标、或者被跟随对象的速度和移动方向。这些输出数据接着可以用于显示在显示装置上(举例来说,如屏幕、平视显示器、取景器目镜或双目目镜,或智能镜),和/或用于存储在存储装置中和/或用于触发打算供操作员使用的警报。
有效的图像处理模块必须提供具有高甚或最大可靠性水平的输出数据。具有低可靠性水平的输出数据项实际上可能导致对图像内容的错误解释或不合理警报。图像处理模块的输出数据的可靠性水平很大程度上取决于将该处理操作应用至的图像的质量。图像的质量取决于多个因素,这些因素之一是图像中包含的有缺陷像素的数量。因此,重要的是,为了使从光电系统输出的每个数据项可靠,检测有缺陷像素,以使图像处理模块考虑其存在。
包括用于检测在获取装置与图像处理模块之间起作用的有缺陷像素的模块的光电系统是已知的。用于检测有缺陷像素的模块是专用于检测图像中的有缺陷像素的图像处理模块。有缺陷像素检测模块从图像获取装置接收图像,并且向图像处理模块提供表示在该图像中检测到的有缺陷像素的信息。这样,图像处理模块可以考虑所检测有缺陷像素,以便检测从图像处理模块输出的数据的可靠性水平。
然而,在光电系统中集成有缺陷像素检测模块增加了光电系统的制造成本和使用复杂性。另外,有缺陷像素检测模块和图像处理模块通常使用冗余过程。例如,每个模块通常必须实现遍历图像中的像素的过程。集成与图像处理模块分离的有缺陷像素检测模块不能使实现这些冗余过程合理化,从而避免在两个模块中实现它们。例如,通常是首先在有缺陷像素检测模块中,其次在图像处理模块中实现遍历图像的像素的过程。
发明内容
本发明的目的是要解决上述问题。具体来说,本发明旨在提出一种能够检测有缺陷像素的方法和装置,该方法创建有缺陷像素检测模块与图像处理模块之间的协同作用。具体来说,本发明旨在针对在图像处理模块中实现的程序的结果,能够在使用有缺陷像素检测模块时被重新使用,以获取缩减利用有缺陷像素检测模块的计算成本。而且,本发明旨在提供一种用于利用根据本发明的能够检测有缺陷像素的方法,来确定或最优化从图像处理模块输出的数据的可靠性水平的方法。
为此,根据本发明第一方面,本发明涉及一种用于检测有缺陷像素的方法,该方法被包括在图像处理过程中,该图像处理过程包括像素处理过程,所述像素处理过程被应用至从一图像传感器发出的至少一个图像的像素,每一个像素对应于所述图像传感器的、被称为感光点的有源元件,该有源元件能够将入射光束转换成电信号,每一个像素与表示所述像素的状态的分类值相关联。该方法包括以下步骤:将组合的像素处理与有缺陷像素检测过程应用至图像的每一个像素,包括针对每一个像素,将所述像素处理过程应用至所述像素;分析所述像素处理过程的结果;在获取表示有关所述图像传感器的、提供所述像素的感光点的缺陷的非正常结果的情况下,就递增表示针对所述像素的非正常结果的检测数量的变量;以及当所述变量达到表示非正常结果的最大数量的第一阈值时,关联所述像素与表示一有缺陷像素的分类值。
这样,所述像素处理过程的结果被重新用于检测有缺陷像素。
根据一个实施方式,所述方法被应用至从所述图像传感器发出的一序列连续图像,并且所述第一阈值是在一时段期间可接受的非正常结果的最大数量,该时段与等于第二阈值的图像数量相对应。
根据一个实施方式,当第一图像的像素与表示有缺陷像素的分类值相关联时,在与等于第三阈值的连续图像数量相对应的时段期间,只要所述像素处理过程针对所述像素未获得不表示所述图像传感器的、提供所述像素的感光点上的缺陷的非非正常结果,所述像素就被视为有缺陷。
这样,确保在决定像素不再处于有缺陷状态之前,所述像素实际上处于稳定状态。
根据一个实施方式,把周期性重新初始化成表示无有缺陷像素的分类值的过程应用至与每一个像素相关联的所述分类值,所述周期性重新初始化随着与等于第四阈值的图像数量相对应的预定义时段而发生。
根据本发明第二方面,本发明涉及一种用于确定从图像处理过程输出的至少一个数据项的可靠性水平的方法,从被包括在所述数图像处理过程中的像素处理过程的至少一个结果获取每一个输出数据项。该方法包括以下步骤:应用根据第一方面所述的有缺陷像素检测方法;根据与在使可以获取所述输出数据项的所述像素处理过程的结果中涉及的每一个像素相关联的所述分类值,来确定每一个输出数据项的所述可靠性水平。
根据一个实施方式,所述方法还包括这如下步骤,该步骤针对每一个输出数据项,根据所述输出数据项的所述可靠性水平来决定使用或替换所述输出数据项,输出数据项用于显示所述输出数据项,和/或保存所述输出数据项,和/或触发与所述输出数据项相对应的警报。
根据本发明第三方面,本发明涉及一种能够确定从图像处理装置输出的数据项的可靠性水平的装置,该图像处理装置包括能够处理从图像传感器发出的至少一个图像的像素的像素处理模块,每一个像素对应于所述图像传感器的、被称为感光点的有源元件,该有源元件能够将入射光束转换成电信号。所述装置包括以下装置:用于获取针对像素使用所述像素处理模块的结果的装置;用于表示来自所述图像处理模块的非正常结果的装置,该非正常结果表示有关所述图像传感器的、提供像素的感光点的缺陷;用于递增表示针对像素获取的非正常结果的数量的变量的装置;用于在所述变量达到表示非正常结果的可接受最大数量的第一阈值时,关联像素与表示有缺陷像素的分类值的装置;用于根据与在使可以获取所述输出数据项的所述像素处理过程的结果中涉及的每一个像素相关联的所述分类值,来确定每一个输出数据项的所述可靠性水平的装置。
根据本发明第四方面,本发明涉及一种图像处理装置,该图像处理装置包括:能够处理从图像传感器发出的至少一个图像的像素的像素处理模块,和根据第三方面所述的装置。
根据本发明第五方面,本发明涉及一种光电系统,该光电系统包括设置有图像传感器的图像获取系统、根据第四方面所述的图像处理装置以及图像显示和/或图像存储装置。
根据本发明第六方面,本发明涉及一种计算机程序产品,其特征在于,该计算机程序产品包含指令,所述指令用于当所述程序通过装置的处理器执行时,由所述装置实现根据第一方面所述的方法。
根据本发明第七方面,本发明涉及一种存储装置,其特征在于,其存储计算机程序,该计算机程序包含指令,所述指令用于当所述程序通过装置的处理器执行时,由所述装置实现根据第一方面所述的方法。
附图说明
根据阅读示例实施方式的下列描述,上述本发明的特征、以及其它方面将更清楚地显现,所述描述结合附图来给出,其中:
图1示意性地描绘了由能够实现本发明的图像处理模块所使用的方法的示例,
图2示意性地描绘了由所述图像处理模块使用的、能够实现本发明的图像处理过程的示例,
图3A示意性地例示了包括在能够实现本发明的图像处理过程中的组合像素处理和有缺陷像素检测过程的示例,
图3B示意性地描绘了包括在能够实现本发明的图像处理过程中的像素分类过程的示例,
图4示意性地描绘了利用能够实现本发明的图像处理过程的结果合成过程的示例,
图5示意性地描绘了包括能够实现本发明的图像处理装置的光电系统的示例,
图6示意性地例示了能够实现本发明的装置的硬件架构的示例。
具体实施方式
阐述下面详细说明的描述,以描述在能够获取图像并检测和监测这些图像中的对象的光电系统的背景下的本发明的各个实施方式。关于这点,具体来说,本发明在检测到一对象并通过图像处理模块跟随该对象时,允许确认该对象确实是真实对象,而不是因存在有缺陷像素而检测到的对象。然而,本发明的原理在包括图像获取装置和图像处理模块的光电系统的更宽泛背景下应用。例如,本发明应用于照相装置、视频摄像机、望远镜以及数码双筒望远镜。在该更宽泛背景下,本发明提出了一种有效解决方案,例如,使得光电系统能够对图像应用后处理,以便衰减由图像中的有缺陷像素而造成的任何劣化。
图5示意性地描绘了包括能够实现本发明的图像处理装置的光电系统50的示例。光电系统50包括:图像获取装置51,该图像获取装置包括图像传感器510。而且,光电系统50包括图像处理装置52和显示装置53。通信总线54使得图像获取装置51、图像处理模块52以及显示装置53能够通信。例如,通信总线54使得图像获取装置51能够向图像处理模块52提供图像。另外,通信总线54使得图像处理模块52能够向显示装置53提供输出数据,如包括被跟随的对象的图像,被跟随的对象的坐标,或者在检测到对象之后的警报消息。
在图5的示例中,图像处理模块52包括像素处理模块521、有缺陷像素检测模块522以及输出数据处理模块523。
像素处理模块521能够对由图像获取装置51提供的图像上的每个像素应用至少一个处理。像素处理模块521例如可以将以下处理操作应用于图像的像素:对像素进行滤波以衰减或抑制图像中的任何获取噪声;对像素进行滤波以改善或检测图像中对象的轮廓;应用用于确定像素移动的光流法,例如通过移动幅度和/或移动方向和/或移动速度来限定移动。
如下文针对图3A、图3B以及图4所述,有缺陷像素检测模块522能够通过依靠来自像素处理模块521的结果,并根据检测结果将分类值归因于每个像素,来检测有缺陷像素。而且,有缺陷像素检测模块522能够根据像素的分类值,来确定针对从图像处理模块52所使用的图像处理过程发出的每个输出数据项的可靠性水平。输出数据处理模块523能够根据每个输出数据项的可靠性水平,对从图像处理模块52所使用的图像处理过程发出的输出数据应用一处理。
下面,区分两种类型的输出数据:被称为中间输出数据的输出数据从图像处理模块52所使用的图像处理过程发出;被称为最终输出数据的输出数据通过输出数据处理模块523从向该中间输出数据项应用一处理而发出。
在一个实施方式中,图像处理模块52、像素处理模块521、有缺陷像素检测模块522以及输出数据处理模块523是软件模块。
在一个实施方式中,图像处理模块52由被称为图像处理装置的装置使用,其利用像素处理模块521、有缺陷像素处理模块522以及输出数据处理模块523。
在一个实施方式中,图像处理模块52由被称为图像处理装置的装置使用,包括被称为有缺陷像素检测装置的装置,其利用由一装置或分离软件模块所使用的有缺陷像素检测模块522、像素处理模块521以及输出数据处理模块523。
在一个实施方式中,光电装置50还包括:用于将来自图像处理模块52的输出数据通信传送至远程装置(未示出)的通信装置(未示出);和用于存储来自图像处理模块52的输出数据的存储装置(未示出)。
在一个实施方式中,当光电系统50能够检测和跟随对象时,图像处理模块52还包括:对象检测和跟随模块(未示出),其使用来自像素处理模块521的结果来检测和跟随图像中的对象。例如,对象检测和跟随模块使用由滤波改善和/或检测轮廓产生的图像,以便查找所述图像中的对象的轮廓,并且匹配多个连续图像中的对象。另外,该对象检测和监测模块使用与由像素处理模块521获取的每个像素相关联的移动信息,以便确定所检测的每个对象的移动。然后,中间输出数据是来自对象检测和监测模块的输出数据,并且包括至少一个所检测对象的坐标和关于每个所检测对象的移动信息。
图6示意性地例示了能够实现根据本发明的图像处理方法的装置的硬件架构的示例。在图6的示例中,该硬件架构是有缺陷像素检测装置的架构。然而,如果图像处理装置不包括专用于使用有缺陷像素检测模块522的任何特定装置,但具有用于使用有缺陷像素检测模块522的装置,则硬件架构的这个示例也可以是图像处理装置的示例。
根据图6所示的硬件架构的示例,有缺陷像素检测装置因而包括通过通信总线65连接的如下部件:处理器或CPU(中央处理单元)60;随机存取存储器RAM 61、只读存储器ROM62、诸如硬盘HDD这样的存储单元和/或诸如SD(安全数字)读卡器63这样的存储介质读取器;至少一个通信接口64,其使得有缺陷像素检测装置能够与图像处理装置的模块进行通信,举例来说,如像素处理模块521、输出数据处理模块523以及对象检测和跟随模块(若后者存在的话)。存储单元63可以临时存储中间输出数据,例如,用于确定每个输出数据项的可靠性水平的时间。
处理器60能够执行从ROM 62、从外部储存器(未示出)、从存储介质(如SD卡)、或者从通信网络加载到RAM 61中的指令。当有缺陷像素装置加电时,处理器60能够从RAM 61读取指令并且执行它们。这些指令形成使通过处理器60实现关于图3A、图3B以及图4描述的算法和步骤中的全部或一些的计算机程序。
关于图3A、图3B以及图4描述的算法和步骤中的全部或一些可以采用通过可编程机器(例如,DSP(数字信号处理器)或微控制器)执行一组指令的软件形式来实现,或者采用通过一装置、机器或专用组件(例如,FPGA(现场可编程门阵列)或ASIC(专用集成电路))的硬件形式来实现。
图1示意性地示出了由图像处理模块52所使用的方法的示例。
在步骤10中,图像处理模块52从图像获取装置51接收被称为当前图像的图像。如果所接收的图像是在光电系统加电之后获取的第一图像,则图像处理模块52关联每个像素的多个变量,并初始化这些变量。所述多个变量包括能够存储像素的分类值的第一变量,其被称作分类值。该分类值表示图像传感器510的、提供所述像素的感光点的状态。如下文所述,一个像素可以与三个分类值相关联:称作“好像素”的分类值,其指示图像传感器510的、提供该像素的感光点正确起作用并提供有效像素;称作“有缺陷像素”的分类值,其指示图像传感器510的、提供该像素的感光点有缺陷并提供有缺陷像素;作为瞬态值的、称作“第一检测”的分类值,其首先指示像素处理模块521刚刚取得针对该像素的、被称为非正常结果的结果,并且其次指示图像传感器510的、提供该像素的感光点有缺陷并且提供有缺陷像素。当将步骤10应用于第一图像时,每个像素的分类值被初始化成“好像素”。而且,当将步骤10应用于第一图像时,所述多个变量中的、在下文关于图3A和图3B说明的第二变量和第三变量Npixel(x,y)与每个像素相关联并被初始化成值“0”
在步骤11中,图像处理模块52将图像处理过程(在下文中将关于图3A和图3B对其进行详细说明)应用至当前图像。在该图像处理过程中,与每个像素相关联的所述多个变量中的变量被更新。
该图像处理过程还允许获取中间输出数据。当光电系统50能够获取图像并且检测和跟随这些图像中的对象时,该中间输出数据例如是:从如下滤波发出的图像的像素,这些滤波旨在衰减获取噪声和/或改善和/或检测由图像获取装置51提供的图像中的轮廓;表示所检测和跟随的对象的信息,举例来说,如表示图像中的对象的位置的信息、表示对象的移动幅度的信息、表示对象的移动速度的信息、以及表示对象的移动方向的信息。由像素处理模块521和/或包括在图像处理模块中的对象检测和跟随模块提供这些中间输出数据。
在步骤12中,图像处理模块52的有缺陷像素检测模块522根据关于图4描述的输出数据合成方法,来确定针对每个中间输出数据项的可靠性水平。
在步骤13中,图像处理模块52的输出数据处理模块523根据其可靠性水平向中间输出数据应用一处理,其允许获取最终输出数据。在步骤13的一个实施方式中,该处理包括决定是否必须使用中间输出数据项。可以使用的中间输出数据项成为最终输出数据项。例如,该决定可以包括:不向显示装置53或存储装置发送与低于预定义阈值的可靠性水平相关联的中间输出数据项。在步骤13的一个实施方式中,该处理包括:不向显示装置53或存储装置发送与指示已经使用至少一个有缺陷像素来获取所述中间输出数据项的可靠性水平相关联的中间输出数据项。
在步骤13的一个实施方式中,该处理包括:利用修正的输出数据项替换中间输出数据项,随后将修正的输出数据项目用作最终输出数据项。例如,如果一中间输出数据项是从有缺陷像素发出的滤波像素值,则从有缺陷像素发出的滤波像素值可以由从与该有缺陷像素相邻的有效像素获取的像素值代替。
在步骤14中,在处理图像之后,使可以对由图像处理模块52处理的图像数进行计数的变量ni的值增加一个单位。在步骤15中,将变量ni的值与对应于图像数量N4的重新初始化阈值进行比较。图像数量N4允许监测与每个像素相关联的分类值的重新初始化的周期。这样,当图像传感器510的、临时进入有缺陷状态的感光点所提供的像素可以在所述感光点再次进入正确的起作用状态时,与分类值“好像素”相关联。如果该变量ni大于图像数量N4,则步骤15的后面是周期性重新初始化的步骤16,在该步骤16期间将与当前图像的每个像素相关联的分类值重新初始化成值“好像素”。而且,在步骤16期间,变量和变量Npixel(x,y)(其将在下文中关于图3A和图3B进行说明)被重新初始化成值“0”。在步骤16之后的步骤17中,变量ni取值为“0”。步骤17跟着是已经说明的步骤10,在此期间,图像处理模块52处理新图像。如果变量ni小于变量N4,则图像处理模块52返回至步骤10,以便处理新图像。
在一个实施方式中,图像数量N4取值为25,对应于以每秒25个图像的图像频率获取的一序列图像的一秒。
图2示意性地描绘了由图像处理模块52使用的、能够实现本发明的图像处理过程的示例。该图像处理过程对应于步骤11。在步骤110中,用于遍历当前图像中的像素的变量x和变量y被初始化成值“0”。变量x是像素的水平坐标。变量y是像素的垂直坐标。
在步骤111中,位于由变量x和y指示的位置处的像素(被称作pixel(x,y))通过下文中关于图3A说明的组合像素处理和有缺陷像素检测过程进行处理。在该组合像素处理和有缺陷像素检测过程期间,若需要的话,根据实现至少一个像素处理过程的至少一个结果,修改与像素pixel(x,y)相关联的分类值。
在步骤112中,像素分类过程(其在下文中关于图3B进行描述)由图像处理模块52加以应用。该分类过程允许将该分类值确定成与像素pixel(x,y)相关联。
在步骤113中,变量x递增一个单位。在步骤114中,将变量x与表示当前图像的一行中的像素数的值L进行比较。如果变量x小于值L,则图像处理模块返回至步骤111,以便继续处理当前图像。
如果变量x大于或等于值L,则在步骤115期间,将变量x设置成值“0”,并且将变量y递增一个单位,以便转到当前图像中的后续行。在步骤116中,将变量y与表示当前图像的每列的像素数的值H进行比较。如果变量y大于值H,则对当前图像的处理在步骤117期间结束。如果变量y小于值H,则对当前图像的处理在步骤111期间继续。
图3A示意性地例示了包括在能够实现本发明的图像处理过程中的、组合像素处理和有缺陷像素检测过程的示例。组合像素处理和有缺陷像素检测过程对应于步骤111。该组合像素处理和有缺陷像素过程由像素处理模块521和有缺陷像素检测模块522共同实现。
在步骤1110中,像素处理模块521获取像素pixel(x,y)。
在步骤1111中,像素处理模块521对像素pixel(x,y)应用至少一个像素处理过程。例如,像素处理模块521对像素pixel(x,y)进行滤波,以便衰减或消除当前图像中的任何获取噪声(acquisition noise),和/或对像素pixel(x,y)进行滤波,以便改善当前图像中的对象的轮廓,和/或向像素pixel(x,y)应用用于确定像素移动的光流方法。
在步骤1112中,有缺陷像素检测模块522分析由像素处理模块521提供的至少一个结果,以便检测非正常结果。因此,有缺陷像素检测模块522不对当前图像执行任何新的处理操作,以确定像素是否有缺陷,而是使用由像素处理模块521实现的处理操作的结果。这样,在像素处理模块521与有缺陷像素检测模块522之间产生协同作用(synergy)。这种协同作用允许缩减检测有缺陷像素的计算成本。
一个非正常结果是,其在处理自然图像期间不可能获得的结果。因此,一个非正常结果可能表示图像传感器的、提供像素pixel(x,y)的感光点的缺陷。
在滤波的情况下,一非正常结果是在对像素pixel(x,y)进行滤波之后获取的、与和该像素pixel(x,y)相邻的像素的滤波值非常不同的滤波值。假设为在对像素pixel(x,y)进行滤波之后获取的值。对非正常结果的检测例如包括:将值与和该像素pixel(x,y)相邻的像素的滤波值之差与预定义的差阈值进行比较。如果该差大于该预定义阈值时,则其认为该值是一个非正常结果。相邻像素可以是属于当前图像中的空间相邻像素,或者是先前图像中的、和像素pixel(x,y)处于相同空间位置的时间相邻像素。
在使用光流法的情况下,非正常结果包括获取不移动像素,即,像素pixel(x,y)与指示该像素没有移动的移动信息相关联。
在一个实施方式中,将像素处理模块521的多个结果组合,以便总体上确定像素处理模块522是否给出了非正常结果。例如,如果像素pixel(x,y)与指示该像素没有移动的移动信息相关联,并且该值与和像素pixel(x,y)相邻的像素的滤波值非常不同,则来自像素处理模块522的结果被认为是非正常的。
如果没有检测到非正常结果,则组合像素处理和有缺陷像素检测过程在步骤1116期间结束,其后是步骤112。该像素接着保持其先前的分类值。
如果在步骤1112期间检测到保持非正常结果,则在步骤1113中,有缺陷像素检测模块522将与像素pixel(x,y)相关联的变量增加一个单位。该变量用于计数针对像素pixel(x,y)的非正常结果的检测数量。
在步骤1114中,将该变量与非正常结果检测阈值N1进行比较,该非正常结果检测阈值表示针对像素的非正常结果的最大可允许数量,超出该最大可允许数量就认为该像素有缺陷。通过利用变量和非正常结果检测阈值N1,像素检测模块522监测组合像素处理和有缺陷像素检测过程的检测反应性。针对像素的非正常结果的单一检测不一定意味着该像素有缺陷。这是因为即使当前图像中不存在有缺陷的像素,当前图像也可能提供导致非正常结果的像素值。另一方面,在对应于足够长时段的多个图像上检测针对同一像素的多个非正常结果,具有已经因图像传感器510的有缺陷感光点而造成的非常高的概率。例如,图像传感器510的、生成系统地导致与多个图像上的相邻像素的滤波值非常不同的滤波值的像素的感光点有非常高的机会有缺陷。同样地,图像传感器的、生成在多个图像上保持不动的像素而与这些像素相邻的像素具有移动的感光点,可以合理地认为是有缺陷的。
另一方面,如果针对像素pixel(x,y),变量大于非正常结果,检测阈值N1,则在步骤1115期间,表示与像素pixel(x,y)相关联的分类值的变量Spixel(x,y)取值为指示像素pixel(x,y)刚刚给出非正常值,并且图像传感器510的感光点有缺陷和正在提供有缺陷像素的“第一检测”。步骤1115跟着是已经说明的步骤1116。
在一个实施方式中,非正常结果检测阈值N1是针对像素pixel(x,y)的非正常结果的连续检测的最大可接受数量。
在一个实施方式中,非正常结果检测阈值N1取值为“1”,即,如果有缺陷像素检测模块522检测到图像中的针对像素pixel(x,y)的非正常结果,则像素pixel(x,y)被宣布为有缺陷。该实施方式具有高反应性。
在一个实施方式中,非正常结果检测阈值N1取值为“16”,即,如果有缺陷像素检测模块522检测到16个连续图像中的针对像素pixel(x,y)的16个非正常结果,则像素pixel(x,y)被宣布有缺陷。该实施方式允许以低概率的错误检测有缺陷像素。
在一个实施方式中,非正常结果检测阈值N1是在与等于一阈值的图像数量N2相对应的时段期间,针对像素pixel(x,y)的非正常结果的检测的最大可接受数量。例如,非正常结果检测阈值N1取值为“16”,而图像数量N2取值为“20”,即,如果有缺陷像素检测模块522检测到一组20个连续图像中的针对像素pixel(x,y)的16个非正常结果,则像素pixel(x,y)被宣布有缺陷。
图3B示意性地描绘了包括在能够实现本发明的图像处理过程中的像素分类过程的示例。该分类过程由有缺陷像素检测模块522实现,并且对应于步骤112。该分类过程具有两个目标:首先,其允许更新每个有缺陷像素的分类值;其次,监测与图像传感器510的、已经被检测为有缺陷的感光点相对应的像素有多少次一定继续被认为有缺陷。事实上,认为图像传感器510的、已经被检测为有缺陷的感光点具有处于不稳定状态的高概率。从而,即使没有发现针对与图像传感器510的这种感光点相对应的像素的非正常结果,在考虑图像传感器510的该感光点再次正确起作用之前,也优选地等待一定数量的图像。因此,只要针对像素pixel(x,y)获得非非正常结果,与像素pixel(x,y)相关联的变量Spixel(x,y)就不取值“好像素”,而是等待直到针对像素pixel(x,y)获取非非正常结果达与等于阈值N3的连续图像的数量相对应的时段为止。在一个实施方式中,N3=N4。
在步骤1120中,有缺陷像素检测模块检查变量Spixel(x,y)的值。如果变量Spixel(x,y)等于值“第一检测”,则步骤1120之后是步骤1125,在该步骤1125期间,变量Npixel(x,y)取值为阈值N3。变量Npixel(x,y)允许对由像素处理模块521对像素pixel(x,y)执行的处理给出非非正常结果有多少次进行计数。
在步骤1126中,有缺陷像素检测模块522将与像素pixel(x,y)相关联的分类值Spixel(x,y)设置成值“有缺陷像素”。
步骤1126之后是步骤1127,其结束像素分类过程,然后是步骤12。
如果变量Spixel(x,y)不等于值“第一检测(first detection)”,则步骤1120之后是步骤1121。
在步骤1121期间,有缺陷像素检测模块522确定变量Spixel(x,y)是否等于值“有缺陷像素”。在步骤1121期间与分类值“有缺陷像素”相关联的像素是针对当前图像已经获取非非正常结果、但由图像传感器510的感光点提供的像素,对于其来说,在被包括在当前图像之前的N3个图像中的一图像中已经获取至少一个非正常结果。如果变量Spixel(x,y)不等于值“有缺陷像素”,则步骤1121跟着是已经说明的步骤1127,其后是步骤12。
如果变量Spixel(x,y)等于值“有缺陷像素”,则步骤1121之后是步骤1122,在该步骤1122期间,变量Npixel(x,y)递减一个单位。
在步骤1123中,将变量Npixel(x,y)与值“0”进行比较。如果变量Npixel(x,y)值为“0”,则将分类值Spixel(x,y)设定成值“好像素”,指示图像传感器510的、提供该像素的感光点被认为正确地起作用。步骤1124跟着是步骤1127,其后是步骤12。
如变量Npixel(x,y)值为“0”时,则步骤1123之后是步骤1127。
图4示意性地描绘了用于实现能够实现本发明的图像处理过程的结果合成过程的示例。用于实现图像处理过程的结果合成过程对应于步骤12。在用于实现图像处理过程的结果合成过程期间,有缺陷像素检测模块522根据与在允许获取所述中间输出数据项的像素处理过程的结果中涉及的每一个像素相关联的分类值,来确定针对图像处理模块52的每个中间输出数据项的可靠性水平。
在步骤120中,有缺陷像素检测模块获取与当前图像的每个像素pixel(x,y)相关联的分类值Spixel(x,y)。在步骤121中,被用于遍历当前图像中的像素的变量x和y被初始化成值“0”。
在步骤122中,图像处理模块52的每个中间输出数据项被初始化成等于最大可靠性水平C的可靠性水平。
在步骤123中,有缺陷像素检测模块确定像素pixel(x,y)是否与等于值“有缺陷像素”的分类值相关联。如果像素pixel(x,y)与等于值“有缺陷像素”的分类值相关联,则步骤123之后是步骤124。
在步骤124期间,有缺陷像素检测模块522遍历包括从由图像处理模块52执行的处理获取的每个中间输出数据项的集合,以便确定每个中间输出数据项的可靠性水平。针对每个中间输出数据项,有缺陷像素检测模块522确定该中间输出数据项是否取决于像素pixel(x,y)。如果中间输出数据项取决于像素pixel(x,y),则与该中间输出数据项相关联的可靠性水平例如通过将其除以2来减小。
在一个实施方式中,中间输出数据项是通过像素处理模块521的滤波发出的像素,称为滤波像素。该经滤波像素通常通过将从图像传感器发出的图像的像素与表示滤波器的卷积核(convolution kernel)进行卷积而获取。该卷积核通常是一维或二维的矩阵。该卷积涉及要滤波的像素和要滤波的像素邻域的像素。如果在涉及滤波的像素当中,像素被认为是有缺陷的,对应中间输出数据项的可靠性水平降低。
在一个实施方式中,当中间输出数据项包括被跟随对象的坐标和关于被跟随对象的移动信息时,通常通过组合与被跟随的对象中包含的像素相关联的移动信息来获取中间输出数据项,所述信息已经由像素处理模块521获取。在组合的移动信息当中,如果至少一项信息与有缺陷像素相关联,则对应中间输出数据项的可靠性水平降低。
与低于最大可靠性水平C的可靠性水平相关联的中间输出数据项指示:已经将至少一个有缺陷像素用于获取中间输出数据项。
步骤124和在变量Spixel(x,y)不等于值“有缺陷像素”时的步骤123之后是分别与步骤112至步骤116相同的步骤125至步骤129。
用于合成图像处理过程的执行结果的过程,然后提供皆与通过考虑与有缺陷像素相关的任何依赖性而调制的可靠性水平相关联的中间输出数据。接下来在步骤13中使用这些中间输出数据来确定最终输出数据。
Claims (11)
1.一种用于检测有缺陷像素的方法,该用于检测有缺陷像素的方法被包括在图像处理过程中,该图像处理过程包括像素处理过程,该像素处理过程被应用至从图像传感器发出的至少一个图像的像素,每一个像素对应于所述图像传感器的、被称为感光点的有源元件,该有源元件能够将入射光束转换成电信号,每一个像素与表示所述像素的状态的分类值相关联,其中,所述方法包括以下步骤:
将组合的像素处理与有缺陷像素检测过程应用至图像的每一个像素,包括针对每一个像素进行如下操作:
将所述像素处理过程应用至所述像素,所述像素处理过程在其被应用至所述图像的像素时,提供由过滤发出的所述图像的像素,所述过滤旨在衰减获取噪声,和/或旨在改进和/或检测所述图像中的轮廓和/或表示所述图像中被检测和/或被跟随的对象的信息;
分析由所述像素处理过程提供的、旨在衰减获取噪声和/或旨在改进和/或检测所述图像中的轮廓和/或表示所述图像中被检测和/或被跟随的对象的信息的、所述过滤的结果;
在所述结果中的一个是表示所述图像传感器的、提供所述像素的感光点上的缺陷的非正常结果的情况下,递增表示针对所述像素的非正常结果的检测数量的变量;以及
当所述变量达到表示非正常结果的最大数量的第一阈值时,关联所述像素与表示有缺陷像素的分类值,
其中,表示所述像素的状态的所述分类值包括:
第一分类值,其表示所述图像传感器的感光点正确起作用并提供有效像素;
第二分类值,其指示所述图像传感器的感光点有缺陷并提供有缺陷像素;以及
第三分类值,其指示所述像素处理过程给出针对该像素的非正常结果,并且所述图像传感器的感光点有缺陷并提供有缺陷像素。
2.根据权利要求1所述的方法,其中,
所述方法被应用至从所述图像传感器发出的一序列连续图像,并且其中,
所述第一阈值是在一时段期间可接受的非正常结果的最大数量,所述时段与等于第二阈值的图像数量相对应。
3.根据权利要求1所述的方法,其中,
当第一图像的像素与表示有缺陷像素的分类值相关联时,在与等于第三阈值的连续图像数量相对应的时段期间,只要所述像素处理过程针对所述像素未给出不表示所述图像传感器的、提供所述像素的感光点上的缺陷的正常结果,所述像素就被视为有缺陷。
4.根据权利要求1所述的方法,其中,
把周期性重新初始化成表示无缺陷像素的分类值的过程应用至与每一个像素相关联的所述分类值,所述周期性重新初始化随着与等于第四阈值的图像数量相对应的预定义时段而发生。
5.一种用于确定从图像处理过程输出的至少一个数据项的可靠性水平的方法,从被包括在图像处理过程中的像素处理过程的至少一个结果获取每一个输出数据项,其中,所述方法包括以下步骤:
应用根据权利要求1所述的有缺陷像素检测方法;
根据与在允许获取所述输出数据项的所述像素处理过程的结果中涉及的每一个像素相关联的所述分类值,来确定每一个输出数据项的所述可靠性水平。
6.根据权利要求5所述的方法,其中,所述方法还包括如下步骤:针对每一个输出数据项,根据所述输出数据项的所述可靠性水平来决定使用或替换所述输出数据项,输出数据项用于显示所述输出数据项,和/或保存所述输出数据项,和/或触发与所述输出数据项相对应的警报。
7.一种能够检测有缺陷像素的装置,该能够检测有缺陷像素的装置被包括在图像处理装置中,该图像处理装置包括能够处理从图像传感器发出的至少一个图像的像素的像素处理模块,每一个像素对应于所述图像传感器的、被称为感光点的有源元件,该有源元件能够将入射光束转换成电信号,每一个像素与表示所述像素的状态的分类值相关联,其中,所述能够检测有缺陷像素的装置包括:
用于获取针对像素使用所述像素处理模块的结果的装置,所述像素处理过程在其被应用至图像的像素时,提供由过滤发出的所述图像的像素,所述过滤旨在衰减获取噪声,和/或旨在改进和/或检测所述图像中的轮廓和/或表示所述图像中被检测和/或被跟随的对象的信息;
用于识别来自所述图像处理模块的、旨在衰减获取噪声和/或旨在改进和/或检测所述图像中的轮廓和/或表示所述图像中被检测和/或被跟随的对象的信息的、所述过滤的非正常结果的装置,该非正常结果表示所述图像传感器的、提供像素的感光点上的缺陷;
用于递增表示针对像素获取的非正常结果的数量的读取变量的装置;
用于在所述变量达到表示非正常结果的可接受最大数量的第一阈值时,关联像素与表示有缺陷像素的分类值的装置,
其中,表示所述像素的状态的所述分类值包括:
第一分类值,其表示所述图像传感器的感光点正确起作用并提供有效像素;
第二分类值,其指示所述图像传感器的感光点有缺陷并提供有缺陷像素;以及
第三分类值,其指示所述像素处理过程给出针对该像素的非正常结果,并且所述图像传感器的感光点有缺陷并提供有缺陷像素。
8.一种图像处理装置,该图像处理装置包括:
能够处理来自图像传感器的至少一个图像的像素的像素处理模块;和根据权利要求7所述的装置。
9.一种光电系统,该光电系统包括:
设置有图像传感器的图像获取系统,图像显示和/或图像存储装置,和根据权利要求8所述的图像处理装置。
10.一种非暂时性可读介质,该非暂时性可读介质包含计算机指令,当所述计算机指令通过装置执行时,所述计算机指令通过所述装置的处理器执行根据权利要求1所述的方法。
11.一种存储单元,其特征在于,该存储单元存储计算机程序,该计算机程序包含指令,所述指令用于当所述程序通过装置的处理器执行时,由所述装置实现根据权利要求1所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1460762 | 2014-11-07 | ||
FR1460762A FR3028376B1 (fr) | 2014-11-07 | 2014-11-07 | Procede de detection de pixels defectueux. |
PCT/EP2015/075838 WO2016071461A1 (fr) | 2014-11-07 | 2015-11-05 | Procédé de détection de pixels défectueux |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107079121A CN107079121A (zh) | 2017-08-18 |
CN107079121B true CN107079121B (zh) | 2020-09-25 |
Family
ID=53514213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580060310.5A Active CN107079121B (zh) | 2014-11-07 | 2015-11-05 | 检测缺陷像素的存储单元和介质、光电系统、装置及方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10404931B2 (zh) |
EP (1) | EP3216213B1 (zh) |
CN (1) | CN107079121B (zh) |
CA (1) | CA2965323C (zh) |
FR (1) | FR3028376B1 (zh) |
IL (1) | IL251902B (zh) |
WO (1) | WO2016071461A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3074342B1 (fr) * | 2017-11-29 | 2019-11-08 | Safran Electronics & Defense | Procede de detection et de pistage de cibles |
CN110737789A (zh) * | 2019-10-23 | 2020-01-31 | 中国工程物理研究院激光聚变研究中心 | 一种损伤排查方法、装置、电子设备及存储介质 |
FR3140724A1 (fr) | 2022-10-07 | 2024-04-12 | Safran Electronics & Defense | Detection et correction de pixels defectueux |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6763084B2 (en) * | 2000-11-24 | 2004-07-13 | Siemens Aktiengesellschaft | Method for operating an image system of an imaging medical examination device and medical examination device |
CN1767660A (zh) * | 2005-11-16 | 2006-05-03 | 北京中星微电子有限公司 | 一种缺陷像素检测方法 |
CN1940994A (zh) * | 2005-09-27 | 2007-04-04 | 夏普株式会社 | 缺陷检测装置、图像传感器器件、图像传感器模块 |
CN101044750A (zh) * | 2005-08-15 | 2007-09-26 | 索尼株式会社 | 摄像装置、降噪装置、降噪方法和程序 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6490668B2 (en) * | 2000-12-15 | 2002-12-03 | Hewlett-Packard Company | System and method for dynamically moving checksums to different memory locations |
KR100407158B1 (ko) * | 2002-02-07 | 2003-11-28 | 삼성탈레스 주식회사 | 적외선 열상장비의 시변결점 보상방법 및 장치 |
US20100141810A1 (en) * | 2008-12-04 | 2010-06-10 | Proimage Technology | Bad Pixel Detection and Correction |
-
2014
- 2014-11-07 FR FR1460762A patent/FR3028376B1/fr not_active Expired - Fee Related
-
2015
- 2015-11-05 CA CA2965323A patent/CA2965323C/fr active Active
- 2015-11-05 WO PCT/EP2015/075838 patent/WO2016071461A1/fr active Application Filing
- 2015-11-05 EP EP15790562.1A patent/EP3216213B1/fr active Active
- 2015-11-05 US US15/520,634 patent/US10404931B2/en active Active
- 2015-11-05 CN CN201580060310.5A patent/CN107079121B/zh active Active
-
2017
- 2017-04-25 IL IL251902A patent/IL251902B/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6763084B2 (en) * | 2000-11-24 | 2004-07-13 | Siemens Aktiengesellschaft | Method for operating an image system of an imaging medical examination device and medical examination device |
CN101044750A (zh) * | 2005-08-15 | 2007-09-26 | 索尼株式会社 | 摄像装置、降噪装置、降噪方法和程序 |
CN1940994A (zh) * | 2005-09-27 | 2007-04-04 | 夏普株式会社 | 缺陷检测装置、图像传感器器件、图像传感器模块 |
CN1767660A (zh) * | 2005-11-16 | 2006-05-03 | 北京中星微电子有限公司 | 一种缺陷像素检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CA2965323C (fr) | 2023-02-21 |
CA2965323A1 (fr) | 2016-05-12 |
CN107079121A (zh) | 2017-08-18 |
FR3028376A1 (fr) | 2016-05-13 |
US20170318245A1 (en) | 2017-11-02 |
WO2016071461A1 (fr) | 2016-05-12 |
EP3216213B1 (fr) | 2020-12-30 |
IL251902A0 (en) | 2017-06-29 |
EP3216213A1 (fr) | 2017-09-13 |
US10404931B2 (en) | 2019-09-03 |
FR3028376B1 (fr) | 2018-01-12 |
IL251902B (en) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11430103B2 (en) | Method for image processing, non-transitory computer readable storage medium, and electronic device | |
US9888186B2 (en) | Image acquisition method and image acquisition apparatus | |
CN110766679A (zh) | 镜头脏污检测方法、装置及终端设备 | |
KR20150116833A (ko) | 에지-보존 잡음 억제 기능을 갖는 이미지 프로세서 | |
KR20140116946A (ko) | 웨이퍼 검사를 위한 분할 | |
CN107079121B (zh) | 检测缺陷像素的存储单元和介质、光电系统、装置及方法 | |
US20160035099A1 (en) | Depth estimation apparatus, imaging device, and depth estimation method | |
EP3113107A1 (en) | Static soiling detection and correction | |
US9161029B1 (en) | Systems and methods for detecting defective pixels in a video sequence | |
US9497427B2 (en) | Method and apparatus for image flare mitigation | |
EP3540685B1 (en) | Image-processing apparatus to reduce staircase artifacts from an image signal | |
KR100869134B1 (ko) | 이미지 처리장치 및 방법 | |
CN116958058A (zh) | 镜头脏污检测方法、装置及图像检测设备 | |
US8774544B1 (en) | Determining outlier pixels of successive frames | |
CN115423861A (zh) | 气体泄露检测方法及装置、设备、存储介质 | |
JP2021089708A (ja) | 情報処理方法、情報処理システム、及び、情報処理装置 | |
US20230209210A1 (en) | System and method for image banding detection | |
CN111144312B (zh) | 图像处理方法、装置、设备和介质 | |
KR102172634B1 (ko) | 카메라 모듈, 전자 디바이스 및 그 동작 방법 | |
Zhang et al. | Motion fuzzy images reduction of high-voltage line inspection based on spectrum analysis and image autocorrelation | |
Mishra et al. | Efficient motion blur parameters estimation under noisy conditions | |
CN116703773A (zh) | 一种保边滤波方法、装置及电子设备 | |
CN115100051A (zh) | 一种图像降噪的方法、装置及电子设备 | |
CN113658229A (zh) | 异常对象的确定方法及装置、存储介质、电子装置 | |
CN113159277A (zh) | 目标检测方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |