CN111433811B - 减少图像中的图像伪影 - Google Patents
减少图像中的图像伪影 Download PDFInfo
- Publication number
- CN111433811B CN111433811B CN201880071569.3A CN201880071569A CN111433811B CN 111433811 B CN111433811 B CN 111433811B CN 201880071569 A CN201880071569 A CN 201880071569A CN 111433811 B CN111433811 B CN 111433811B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- illumination
- arrangement
- detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 claims abstract description 122
- 238000000034 method Methods 0.000 claims description 61
- 230000003287 optical effect Effects 0.000 claims description 35
- 230000000694 effects Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000004154 testing of material Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
针对样本对象相对于照明和检测器的多种排布,捕获到样本对象的图像(201、202、203)。然后在比较所述图像(201、202、203)的图像点的图像点值的基础上,逐个图像点组合图像(201、202、203)。实现了减少干扰,例如,减少了反射和/或阴影。
Description
技术领域
本发明的各种实施例涉及图像捕捉技术。本发明的各种实施例尤其涉及减少图像中的图像伪影(例如,反射和/或阴影)的技术。
背景技术
在通过具有照明模块来照明的光学系统记录图像的过程中会产生图像伪影。图像伪影的例子包括反射和阴影。图像伪影通常是基于照明、样本对象和光学系统检测器的检测光学元件之间的相互作用。反射导致相应图像的某一区域内的强度增加或减少,从而导致信息丢失。例如,如果用于照明(照度)的光被反射到图像的某一区域,那么要成像的样本对象中原本要成像到相应的图像区域的那些区域的信息因此而丢失。因此,记录的图像中的反射会损害图像印象。相应地,由于阴影的影响,图像可能会调制不足,从而损害图像印象。
反射可能有多种原因。可能会由于光学系统内的反射而产生图像中的反射。例如,光学系统内照明的多反射可能导致出现图像反射。
反射也可以称为系统反射。可选地或额外地,在特定方向上成像的样本对象的高反射率也可以产生图像反射。这种类型的反射也可以被称为对象反射(objectreflections)。例如,对象在反射光照明的情况下,对象的高反射率会导致照明光被反射到一个图像区域。这种效果也会以相应的方式导致阴影。
减少图像伪影的方法有很多。在这里,减少图像伪影是指减少因反射和/或因阴影而造成的信息损失。
为了减少由于系统的光学元件上的反射而引起的图像中的反射,可以使用更高质量的光学元件,以便生成高质量的成像。这类措施的例子包括在系统内的关键光学表面上涂上抗反射涂层;增加光学设计的复杂度以减少反射,对与成像无关的部件进行哑光处理,和/或采用偏振光学抗反射装置。然而,使用这种光学元件可能导致成本上的不利。此外,更复杂的光学元件还可能导致更大的结构空间和高重量。共焦记录技术,例如使用共焦显微镜,可以使用点扫描仪和/或线扫描器仪。这种扫描方法可以显著增加记录时间。
DE 10 2014 113 256A1、DE 10 2015 208 080A1和DE 10 2015 208087A1分别公开了通过数字后处理来减少图像伪影的技术。然而,这些技术具有一定的局限性,例如,已经观察到,反射的减少会导致阴影的强化。此外,可能经常需要使用不同的照明,以满足特定的标准,例如,可能经常需要对不同的照明实施特别邻近的照度方向。这往往是不可能的,或者只能以有限的方式实现。例如,在某些应用中,可能会出现不知道照明方向或所知的照明方向非常不准确的情况。照明方向可设定的灵活性通常是有限的。
发明内容
因此,需要改进样本对象成像的技术。特别是,需要能够通过处理捕获的图像来抑制反射和阴影的装置和方法。需要这样的装置和方法,使得结果图像能够具有良好的分辨率和良好的对比度。
一种用于减少图像伪影的方法,包括捕获样本对象的第一图像。通过照明模块的照明和检测器的检测器元件捕获所述第一图像。所述第一图像是针对样本对象相对于照明和检测器的第一排布而捕获的。所述方法还包括捕获样本对象的第二图像。所述第二图像也是通过所述照明模块的照明和所述检测器捕获的。所述第二图像是针对样本对象相对于照明和检测器的第二排布而捕获的。所述第二排布至少部分地不同于所述第一排布。该方法还包括,对于所述第一图像的每个像素点,将相应的像素值与至少一个所述第二图像的至少一个指定像素的至少一个像素值进行比较。该方法还包括,根据所述比较,将所述第一图像和至少一个所述第二图像逐个像素地组合在一起。作为结果,生成结果图像。
一种计算机程序产品或一种计算机程序包括程序代码。所述程序代码可由处理器执行。执行所述程序代码具有所述处理器执行一种方法的效果。所述方法包括捕获样本对象的第一图像。所述第一图像是通过照明模块的照明和检测器的检测器元件捕获的。所述第一图像是针对所述样本对象相对于所述照明和所述检测器的第一排布而捕获的。所述方法还包括捕获所述样本对象的第二图像。所述第二图像也是通过所述照明模块的照明和所述检测器捕获的。所述第二图像是针对所述样本对象相对于所述照明和所述检测器的第二排布而捕获的。所述第二排布至少部分地不同于所述第一排布。所述方法还包括针对所述第一图像的每个像素,将相应的像素值与所述至少一个第二图像的至少一个指定像素的至少一个像素值进行比较;所述方法还包括根据所述比较将所述第一图像和至少一个所述第二图像逐个像素地组合。以生成结果图像。
用于具有照明模块和具有多个检测器元件的检测器的光学系统的控制器配置为控制所述光学系统针对样本对象相对于所述照明模块的照明和所述检测器的第一排布捕获所述样本对象的第一图像。所述控制器还配置为控制所述光学系统针对所述样本对象相对于所述照明和所述检测器的第二排布捕获所述样本对象的第二图像。在这种情况下,所述第二排布至少部分地不同于所述第一排布。所述控制器还配置为对于所述第一图像的每个像素:将相应的像素值与所述至少一个第二图像的至少一个指定像素的至少一个像素值进行比较。最后,所述控制器配置为根据所述比较将所述第一图像和所述至少一个第二图像逐一像素地组合。生成结果图像。
所述第一图像和至少一个所述第二图像的每个图像可以是强度图像。
如果满足以下至少一个标准,则所述第一排布与所述第二排布部分不同:(i)所述样本对象相对于所述照明的位置和/或方向不同,例如通过使用不同的照明几何结构;和/或(ii)所述样本对象相对于检测器的位置和/或方向不同,例如通过移动所述样本对象和/或所述检测器。
比较彼此指定的像素的像素值,使得能够特别可靠地识别图像伪影。特别是,有可能不需考虑绝对阈值或先验信息,以便识别图像伪影。
可能无需使用阴影功能,例如,如DE 10 2014 113 256A1中所述。
反射,例如,对象反射和/或图像反射,可以通过本文所述的技术来减少。也可以通过本文描述的技术来减少阴影。在这种情况下,可以通过数字后处理来减少干扰。
例如,本文描述的技术可以应用于光学显微镜作为光学系统。
所述照明可以通过使用的一个或多个照明方向或照明几何结构来表征。也可以使用不同颜色的光进行照明。
逐个像素进行组合,可以表示第一个指定像素的像素值彼此以与第二个指定像素的像素值不同的方式组合。例如,根据指定的像素集,可以使用不同的权重进行组合,或者在组合之前完全丢弃不同的像素,结果是它们对结果图像没有任何影响。
在不超出本发明保护范围的情况下,上述特征和下面描述的特征不仅可以在明确列出的相应组合使用,而且还可以在进一步组合或单独使用。
附图说明
图1示意性地说明了根据各种实施例的光学系统,该光学系统能够减少干扰;
图2示意性地说明了根据各种实施例的照明模块,该照明模块具有多个光源,其中,通过驱动不同的光源,可以通过使用不同的照明几何结构来改变样本对象的照明;
图3为一个示例性方法的流程图;
图4示出了样本对象相对于照明和检测器的示例性第一相对排布,其中,该第一相对排布的特征在于该照明的第一照明几何结构;
图5示出了样本对象相对于照明和检测器的示例性第二相对排布,其中,该第二相对排布的特征在于该照明的第二照明几何结构;
图6示出了样本对象相对于照明和检测器的示例性第三相对排布,其中,该第三相对排布的特征在于检测器的检测元件的位移位置;
图7示出了样本对象相对于照明和检测器的示例性第四相对排布,其中,该第四相对排布的特点在于样本对象的位移位置;
图8示出了示例性的图像,每个图像均为样本对象的图像,其中,不同的图像是根据首先是样本对象之间和其次是照明和检测器之间的不同相对排布的各种示例捕获的。
图9示出了示例性的结果图像,该图像是由图8的图像组合得到的,并根据各种示例减少了图像伪影;
图10为一个示例性方法的流程图;
图11示出了各种图像的像素的像素值,根据不同的实施例将这些像素值赋值给彼此;
图12示出了从图11中截去斜率的像素值的排序分布。
具体实施方式
下面根据优选的实施例并参考附图对本发明做更详细地解释。在附图中,相同的附图标记表示相同或相似的元件。附图是本发明的各种实施例的示意图。附图中所示出的元件不一定是按比例真实地示出。而是,以使得本领域技术人员可以理解它们的功能和目的的方式呈现图中所示的各种元件。
图中所示的功能单元和元件之间的连接和耦合也可以实现为间接连接或耦合。可以以有线或无线的方式实现连接或耦合。
下面描述了一种技术,该技术可以在样本对象的成像期间在计算上抑制图像伪影,特别是反射和/或阴影。在这种情况下,“减少干扰”被理解为可以减少现有技术中与反射和/或阴影的存在有关的信息损失的措施。
图1示出了示例性光学装置100。例如,根据图1示例的光学装置100可以实现例如使用透射光几何结构或使用反射几何结构的光学显微镜。光学装置100也可以实现激光扫描显微镜或荧光显微镜。该光学装置100能够实现将由样本支架113固定的样本对象的小结构进行放大表示。
检测器116被配置为在检测器元件118上生成样本对象的图像,例如通过透镜117或一些其他光学元件。例如,检测器116可以形成照相机。那么,可以将检测器元件118配置为捕获样本对象的一个或多个图像,在每种情况下都具有多个像素。不同的像素可以对应不同的检测器元件118。例如,可以使用CCD或CMOS传感器。
照明模块111被配置为用于对固定在样本支架113上的样本对象进行照明。照明模块111可以特别地被配置为能够对样本对象进行角度可变的照明。这意味着照明模块111可以被选择性地配置为从不同的照明方向对样本对象进行照明,或者通常实现不同的照明几何结构,因此可以实现不同的照明。为此,照明模块111可以有多个光源,例如,这些光源可以分别驱动,即可以彼此独立地开启和关闭。也可以选择照明模块111的其他实施方式,例如,微镜装置(数字微镜装置,DMD)或扫描仪。
控制器115用于驱动光学装置100的各个部件111-114。例如,控制器115可以被实现为微处理器或微控制器。例如,作为备选方案或附加方案,控制器115可包括FPGA或ASIC。例如,控制器115可以从存储器(图1中未示出)加载程序代码。
例如,控制器115可以被配置为驱动样本支架113的电机,用以改变样本对象相对于检测器116的排布和/或改变样本对象相对于照明模块111的排布,从而改变照明。控制器115也可以被配置为驱动样本支架113的电动机,通过这种方式,也可以改变样本对象相对于检测器116的排布。控制器还可以进一步被配置成驱动照明模块111以改变照明,例如,通过选择不同的照明几何结构,通过这种方式,也可以改变样本对象相对于照明的排布。
因此,光学系统100被配置为首先在样本对象与照明模块111的照明之间和/或与检测器116之间灵活地设置相对排布。在这种情况下,原则上可以单独或组合使用不同的技术来改变所述排布。
第一种技术包括使用不同的照明。为此,控制器可以以适当的方式驱动照明模块111。为此,举例来说,可以机械地调节照明模块111,以便实现不同的照明方向。例如,可以实现垂直于光路的横向位移。在这种场景中,照明模块111的不同位置对应于样本对象相对于照明的不同的相对排布。然而,在另一变化中,照明模块111也可以具有多个光源,从而可以通过驱动不同的光源来实现不同的照明几何结构。照明也可以通过这种方式改变。通过使用不同的照明可以实现样本对象相对于照明的不同相对排布。
第二种技术包括使用可调节的样本支架113。例如,可以提供一个电机,该电机可以相对于照明模块111的照明和/或相对于检测器116调节样本支架113,从而调节由样本支架113固定的样本对象。例如,可以实现垂直于光路的横向位移。这样,样本支架113的不同位置就对应于首先样本对象与其次照明模块111的照明以及检测器116之间的不同的相对排布。
最后,第三种技术包括使用可调节的检测器116。例如,光学元件117可以是可调节的,和/或检测器元件118可以是可调节的。例如,可以实现垂直于光路的横向位移。例如,可以提供电机,该电机能够相对于样本支架113和照明模块111调节检测器116。这样,检测器116的不同位置就对应于首先样本对象与其次检测器116之间的不同相对排布。
图2示出了与照明模块111有关的方面。在图2所示的示例性实施例中,照明模块111包括载体120,在该载体上排布有多个光源121,例如发光二极管。在图2的实施例中,光源121被排布成晶格结构。然而,在其他实施例中,光源121也可以以不同的方式排布在载体120上,例如以环形方式等。例如,光源121可以以环形方式排布在透镜周围,即可以使用所谓的LED环形灯。
控制器115可以被配置为分别驱动单个光源121,即,分别开启和关闭单个光源121。通过打开一个特定的光源121并且关闭其余的光源121,可以实施以特定的照明方向照明样本对象。但是,也可以通过开启一个以上的光源121来实现特定的照明方向。例如,可以开启两个或两个以上相邻的光源121。这种方式通常可以改变样本对象照明的照明几何结构。特别是,因此可以改变样本对象相对于照明的相对排布。
照明模块111可以有其它的光学元件,例如,聚光器透镜元件等。为了简单起见,图2中没有说明这一点。
图3是一个示例性方法的流程图。例如,控制器115可以被配置为按照图3所示的示例执行该方法。例如,为此,控制器115可以从存储器中加载程序代码,然后执行该程序代码。
首先,在方框1001中捕获样本对象的第一图像。为此,例如,可以驱动检测元件118。该图像可以具有分别对应于各个检测器元件118的测量信号的多个像素。在方框1001中,针对样本对象相对于照明和检测器的第一排布,捕获第一图像。
这可以包括以有针对性的方式选择第一排布,例如,通过以下技术中的一种或多种技术来选择:(I)以有针对性的方式预先定义照明,例如通过使用来自多个光源的一个或多个光源来预先定义一个特定的照明几何结构,参考图2;(II)以有针对性的方式预先确定样本对象的位置,例如通过驱动样本支架的电机,使样本支架处于特定的位置;和/或(III)以有针对性的方式预先确定检测器的位置,例如通过驱动电机调整检测器的检测元件和/或检测器的其他光学元件。
例如,在图4和图5中示出了通过使用不同的照明几何结构来有针对性地预先定义照明119,其中,可以通过例如根据图2的场景驱动不同的光源121而产生不同的照明几何结构801、802(在图4和图5的实施例中通过不同的照明方向实现)。例如,在图6中示出了检测器元件118的位置的有针对性的预先定义。这对应于检测器116的定位。最后,在图7中示出了对样本对象210的位置的有针对性的预先定义。例如,在图6中,检测器元件118相对于图7中的场景发生位移;相应地,在图7中,样本对象210相对于图6中的场景发生移位。在图4-7中,示出了光轴290作为参考,以便于对这些图进行比较。从图4-7的比较可以明显看出,样本对象210相对于照明119以及相对于检测器116的排布851-854可以通过这种方式部分地或完全地周向地变化。
还是参考图3:然后在方框1002中捕获样本对象的第二图像。为此,例如,检测元件118可以再次被驱动。来自方框1002的第二图像也可以具有多个像素点。在方框1002中,针对样本对象相对于照明和/或相对于检测器元件的第二排布,捕获第二图像,所述第二排布至少部分地不同于方框1001中的第一排布。这可以通过有针对性地预先定义第二排布来实现,其中还可以使用上述与方框1001相关的一种或多种技术(参见图4-7)。
这意味着,通过执行方框1001和1002,因此,针对样本对象相对于照明和/或检测器的第一排布,获得了样本对象的第一图像;并且,针对样本对象相对于照明和/或相对于检测器的第二排布,获得了样本对象的第二图像;所述第二排布至少部分地不同于第一排布。
因此,可能达到结合图8与图9描述的效果。
图8示出了针对样本对象210与照明119以及检测器116之间的排布851而捕获的图像201。图像201包括反射215。反射215与样本对象210的图像部分地重叠,因此存在信息损失。此外,图像201还包括阴影216。
通常,处理后的图像可以具有不止一个的反射215和/或具有不止一个的阴影实例216。处理后的图像也可能仅具有一个或多个反射,或者仅具有一个或多个阴影实例。本文所述的技术可以灵活地应用于所有这样的场景,以减少干扰。
图8还示出了针对样本对象210与照明119以及检测器116之间的排布852而捕获的图像202。因此,在本实施例中与图像201相比,照度几何结构801、802以及照明119因此被改变,但检测器116的位置和样本支架113的位置以及样本对象215的位置没有改变(参考图4和图5)。因此,在图像201和202之间,样本对象215的图像的位置不发生变化;但是,反射215和阴影216的位置确实发生变化。可以利用这种效果来实现减少干扰。
最后,图8还示出了针对样本对象210与照明119以及检测器116之间的排布853或排布853而捕获的图像203。与图201相比,在本实施例中,照明几何结构801、802没有变化,因此使用了相同的照明119。然而,检测器116相对于样本支架113的位置被改变了—通过调节检测器116,即特别是调节检测器元件118和/或样本支架113,参考图6和图7。因此,样本对象210的图像的位置发生变化;然而,反射215的位置和阴影216的位置保持不变。也可以利用这种效果来实现减少干扰。
再次参考图3:然后执行方框1003。方框1003是可选的。方框1003涉及检查是否打算针对样本对象相对于照明和/或相对于检测器的其他排布来捕获另一第二图像。如果是这种情况,则再次执行方框1002,其中,可以再次改变样本对象相对于照明和相对于检测器的排布。否则,执行方框1004。
通常,在本文描述的各种技术中,在确定结果图像时,可以考虑到不同数量的图像。更多的图像可能有助于更好地减少干扰。然而,另一方面,捕获更多的图像数量也会占用更长的持续时间,并且需要控制器更多的计算资源。因此,在本文描述的各种技术中,关于方框1003,有必要在一方面考虑减少干扰的质量与另一方面直到提供结果图像的速度之间进行权衡。例如,可以在方框1003中考虑方框1002的迭代次数的固定预定义的阈值。例如,已经发现,取3-8个图像作为基础来确定结果图像,一方面能够高质量地减少干扰,另一方面,在提供结果图像之前,不会显著降低速度。
在其他实施例中,还可以在方框1003中在线检查质量测量:为此,可以至少部分地预先执行用于生成结果图像的各种图像的组合,以确定质量测量。如果质量测量表明结果图像在减少干扰方面具有足够高的质量,则可以终止方框1002的进一步迭代。
在其它实施例中,可以通过优化的方式来实现对方框1002的不同迭代的排布的调节。例如,可以使用遗传算法、单纯形法、梯度法或信任区域法。因此,可以有效地遍历可用的排布851-854的相对较大的参数空间,从而以方框1002最少的迭代次数实现特别好地减少干扰。上述质量测量和/或迭代次数的阈值可以作为终止标准。然而,在这种情况下,并不是所有实施例都需要考虑各种图像的排布851-854的这种灵活变化,例如,通常还可以连续处理固定的预定义的排布851-853的数量。
在方框1004中,将来自方框1001的第一图像和来自方框1002的一个或多个迭代的一个或多个第二图像逐个像素地进行组合。由此,获得了减少图像伪影的结果图像。因此,该结果图像可以具有特别高的图像质量。
逐个像素进行组合可能意味着根据像素,对不同图像的像素值进行不同的组合。例如,在第一像素的结果图像中,可以考虑第一图像的像素值,但不考虑第二图像的指定像素值;相反,在第二像素的结果图像中,不考虑第一图像的像素值,但可以考虑第二图像的指定像素的像素值。还应当考虑对各种图像的像素值进行像素加权。通常,在逐个像素进行组合的过程中,不同的像素会因此得到不同的处理。
逐个像素组合的过程可以使得在每种情况下都可以考虑那些未被图像伪影215、216破坏的像素值。结果获得了没有或没有明显反射215和/或阴影实例216的结果图像250;参见图9。图9示出了由图像201-203逐个像素组合得到的结果图像250。所述结果图像示出了样本对象210,但是不显示图像伪影215、216。与图10组合说明了相应的技术。10。
图10是一个示例性方法的流程图。例如,图10所示的方法可以组合图3所示方法的方框1004实施。根据图10的方法使得能够将具有样本对象相对于照明和相对于检测器的至少部分不同排布的多个图像逐一像素地组合起来。
首先,在方框1011中对不同的图像进行配准(registration)。原则上,方框1011是可选的。通过对不同图像的配准,可以获得不同图像的像素之间的指定(assignment)。通过这种方式可以实现的是,将在不同图像中包括相同信息内容的像素彼此指定。因此,成像样本对象210的相同区域的像素可以彼此指定。特别地,即使样本对象的图像被包含在不同图像中的不同位置处(参见图8,图像201和203),也可以确保这种指定。可以使用常规的配准技术。在本文描述的各种实施例中,配准可以包括平移和/或压缩和/或旋转和/或变形。
不同图像的像素之间的像素指定是通过方框1011中的配准获得的。如果不执行方框1011,则可以使用不同图像的像素的简单的一对一指定,即,由同一检测元件获得的像素可以相互指定。
然后在方框1012中选择一组指定的像素。在方框1012中选择的像素组包括与图像的数量一样多的元素(在下文中为n个元素)。这对应于方框1002的迭代次数,参见图3。
例如,图11示出了在n=6的情况下,来自具有不同排布851-854的图像的一组指定像素的像素值261-266。从图11的例子可以明显看出,尽管一组中指定像素应具有相同的信息内容,但像素值却有很大差异。像素值261-266的这种变化可能是由于图像伪影而发生的。
通常,在本文描述的各种实施例中,不同的信息可以通过像素值来编码。例如,亮度和/或颜色可以由像素值编码。例如,如果亮度通过像素值编码,则像素值261可以表示亮度特别高;这可以表示像素值261是由于反射215而引起的。相应地,像素值264表示亮度特别低;这可以表示像素值264是由于阴影216造成的。这些发现可以用于实现减少干扰。
为此,通常可以将指定像素的各个像素值261-266相互比较。在组合图像时可以考虑到这种比较。例如,可以通过这种方式来识别特别大或特别小,即通常是非极限的像素值。在本文所述的各种实施例中,通常在合并各个像素的图像时,可以使用一个或多个非极限像素值,而在合并之前可以丢弃一个或多个极限像素值。
实现比较的一种可能性包括分析不同图像的指定像素的像素值261-266的分布。例如,可以截断分布的斜率。这是可以例如,通过对像素值261-266进行排序的方式来简单地实现的。例如,图12示出了图11的像素值261-266的排序分布279。
再次参考图10:为了实现减少干扰,可以对当前指定像素集合的像素值进行排序。例如,可以从大像素值向小像素值进行排序。
然后,在方框1014中,可以从当前指定像素值集合中丢弃极限像素值。在图12的场景中,这意味着仅保留了中心区域271内的像素值,而丢弃了极限像素值261和264。这对应于截断分布279的斜率。例如,通常可以丢弃o个最大像素值和/或p个最小像素值(其中,n-o+p>0,以便至少保留一个像素值)。结果可以实现的是,极有可能被图像伪影215、216损坏的像素值261、264不会对结果图像250产生任何影响。这使得可以抑制干扰结构。
在图10的方框1015中,最后,对未丢弃的像素值进行平均化。即,在图12的场景中,确定排序分布的中心区域271中的像素值262、263、265、266的平均值272。在确定平均值时,将忽略丢弃的极限像素值261、264。
与图10-12相关的这些技术可以在其他实施例中进行变化。例如,还可以确定不同图像的指定像素的所有像素值的中值,其结果是,极限像素值261、16在结果图像中的显示程度与非极限像素值比较低。也可以进行加权平均。在所有这些实施例中,通过比较像素值261-266,可以确定极限像素值。这使得能够特别稳健地识别其中特定成像区域被图像伪影215、216破坏的图像。
总而言之,上文描述了通过对多个捕获的图像进行数字后处理来减少干扰的技术。例如,可以将数字后处理配置为进行"即时"减少干扰。这就是说,例如,图像捕获和减少干扰的显示之间的延迟,可以小于1秒或可选地小于500毫秒。这种短延迟是可以实现,特别是,如果通过使用发光二极管阵列用于不同的排布变化从而使用不同的照明。为了实现减少干扰,在这种情况下,首先样本对象和其次照明与检测器之间的相对排布可以至少部分地随图像的变化而变化。其结果是,在不同的图像中,不同的区域受到图像伪影的影响。然后,通过将不同的图像逐个像素组合,得到没有或仅有较少的图像伪影的结果图像。
本文描述的技术尤其使得可以特别灵活地实现减小干扰。特别是,与参考实施方式相比,可以消除例如关于不同照明的选择的限制:例如,也可以使用相邻的照明方向来实现不同的照明,而不一定会导致减少干扰。例如,还可以消除在使用相邻照明方向时仍然重叠的图像伪影。例如,还可以对不同的照明使用不同的亮度:通过适当地组合各种图像,例如通过平均和/或比较指定像素的像素值,可以考虑照明的亮度变化。
本文描述的技术可用于各种应用领域。例如,一个例子涉及使用具有单独驱动的LED环形灯的显微镜中的干扰减少。另一个例子涉及到例如用于检查眼睛的医疗设备:例如,在这种情况下,可以使用在眼睛前面带有附加透镜的狭缝灯,并且可以改变照明方向。另一个例子涉及到,例如,在材料测试或生产测试中的应用,例如与印刷电路板等相关的应用。
虽然已经参照图示描述了示例性的实施例,但可以在其他示例性实施例中实现修改。
虽然根据示例性实施例的图像记录装置可以特别是显微镜系统,但所述技术也可以用于其他成像系统。
Claims (11)
1.一种减少图像伪影的方法,包括:
--通过照明模块(111)的照明和通过检测器(116)的多个检测器元件(118):针对样本对象(210)相对于照明(119)和相对于所述检测器(116)的第一排布,捕获所述样本对象(210)的第一图像;还针对所述样本对象(210)相对于所述照明(119)和相对于所述检测器(116)的第二排布,捕获所述样本对象(210)的至少一个第二图像,其中,所述第二排布至少部分地不同于第一排布;
--对于所述第一图像的每个像素:将相应的像素值与所述至少一个第二图像的至少一个指定像素的至少一个像素值进行比较,以及确定所述第一图像的每个像素和至少一个所述第二图像的至少一个指定像素的像素值的分布(279);
--根据所述比较:将所述第一图像和所述至少一个第二图像逐个像素地组合,以及在将所述第一图像与至少一个所述第二图像组合时,通过丢弃相应的像素来截断所述分布(279)的至少一个斜率,以生成结果图像(250)。
2.根据权利要求1所述的方法,还包括:
--控制所述照明模块(111),以产生具有与所述第一排布相关联的第一照明几何结构的照明,以及
--控制所述照明模块(111),以产生具有与至少一个所述第二排布相关联,并且与所述第一照明几何结构不同的第二照明几何结构的照明。
3.根据权利要求1或2所述的方法,还包括:
--控制固定所述样本对象(210)的样本支架(113),以将所述样本对象(210)固定在与所述第一排布相关联的第一位置,以及
--控制所述样本支架(113),以将所述样本对象(210)固定在与所述第二排布相关联,并且与所述第一位置不同的第二位置。
4.根据权利要求1或2所述的方法,还包括:
--控制固定所述检测器(116)的电机,以将所述检测器(116)固定在与所述第一排布相关联的第一位置,以及
--控制所述电机,以将所述检测器(116)固定在与所述第二排布相关联,并且与所述第一位置不同的第二位置。
5.根据权利要求1或2所述的方法,还包括:
--对于所述第一图像的每个像素:如果所述比较表示非极限像素值,使用相应的像素用于所述组合。
6.根据权利要求1或2所述的方法,其特征在于,所述结果图像的每个像素的所述组合包括所述第一图像和至少一个所述第二图像的指定像素的非极限像素值的平均(272)。
7.根据权利要求1或2所述的方法,还包括:
--将所述第一图像与至少一个所述第二图像进行配准,以便获得所述第一图像的像素与至少一个所述第二图像的像素之间的指定;
其中,根据所述第一图像的像素与至少一个所述第二图像的像素之间的指定进行所述逐个像素的组合。
8.一种用于光学系统(100)的控制器(115),该光学系统(100)具有照明模块(111)和具有多个检测器元件(118)的检测器(116);
其中,所述控制器配置为控制所述光学系统针对样本对象(210)相对于照明模块(111)的照明(119)和相对于所述检测器(116)的第一排布,捕获样本对象(210)的第一图像;并且针对样本对象(210)相对于照明模块(111)的照明(119)和相对于检测器(116)的第二排布,捕获样本对象(210)的至少一个第二图像;其中,所述第二排布至少部分地不同于所述第一排布;
其中,所述控制器还被配置为,针对所述第一图像的每个像素,将相应的像素值与至少一个所述第二图像的至少一个指定像素的至少一个像素值进行比较,以及确定所述第一图像的每个像素和至少一个所述第二图像的至少一个指定像素的像素值的分布(279),并且
其中,所述控制器还配置为将所述第一图像和至少一个所述第二图像逐个像素地,并且根据所述比较组合,以及在将所述第一图像与至少一个所述第二图像组合时,通过丢弃相应的像素来截断所述分布(279)的至少一个斜率,以生成结果图像(250)。
9.根据权利要求8所述的控制器,其特征在于,所述控制器配置为执行权利要求2-7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有可由处理器执行的程序代码,其特征在于,当所述程序代码被所述处理器执行时,具有执行如权利要求1-7中任一项所述的方法的效果。
11.一种减少图像伪影的装置,包括存储器和处理器,所述存储器存储有程序,所述程序在被所述处理器读取执行时,实现如权利要求1至7中任一项所述的减少图像伪影的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017125799.3A DE102017125799A1 (de) | 2017-11-06 | 2017-11-06 | Reduktion von Bildstörungen in Bildern |
DE102017125799.3 | 2017-11-06 | ||
PCT/EP2018/080231 WO2019086686A1 (de) | 2017-11-06 | 2018-11-06 | Reduktion von bildstörungen in bildern |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111433811A CN111433811A (zh) | 2020-07-17 |
CN111433811B true CN111433811B (zh) | 2024-03-22 |
Family
ID=64184066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880071569.3A Active CN111433811B (zh) | 2017-11-06 | 2018-11-06 | 减少图像中的图像伪影 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11830171B2 (zh) |
CN (1) | CN111433811B (zh) |
DE (1) | DE102017125799A1 (zh) |
WO (1) | WO2019086686A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11593919B2 (en) | 2019-08-07 | 2023-02-28 | Nanotronics Imaging, Inc. | System, method and apparatus for macroscopic inspection of reflective specimens |
US10915992B1 (en) | 2019-08-07 | 2021-02-09 | Nanotronics Imaging, Inc. | System, method and apparatus for macroscopic inspection of reflective specimens |
DE102020127071B3 (de) | 2020-10-14 | 2021-06-17 | Abberior Instruments Gmbh | Verfahren und Mikroskop mit einer Einrichtung zum Erfassen von Verlagerungen einer Probe gegenüber einem Objektiv |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6061091A (en) * | 1996-05-30 | 2000-05-09 | Agfa Gevaert N.V. | Detection of and correction for specular reflections in digital image acquisition |
US6532013B1 (en) * | 2000-05-31 | 2003-03-11 | Nvidia Corporation | System, method and article of manufacture for pixel shaders for programmable shading |
CN1906633A (zh) * | 2004-01-23 | 2007-01-31 | 电科学工业公司 | 照明赝象的图像相减 |
JP2010021633A (ja) * | 2008-07-08 | 2010-01-28 | Nissan Motor Co Ltd | 移動体検出装置及び移動体検出方法 |
WO2012076992A1 (en) * | 2010-12-07 | 2012-06-14 | Hiok Nam Tay | Auto-focus image system |
CN104145276A (zh) * | 2012-01-17 | 2014-11-12 | 厉动公司 | 用于通过光学成像进行的对象检测和表征的增强对比度 |
JP2016063540A (ja) * | 2014-09-15 | 2016-04-25 | カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh | 反射抑制を伴う画像撮影装置および方法 |
DE102015122712A1 (de) * | 2015-12-23 | 2017-06-29 | Carl Zeiss Microscopy Gmbh | Vorrichtung und Verfahren zur Bildaufnahme |
CN107113370A (zh) * | 2014-08-29 | 2017-08-29 | 卡尔蔡司显微镜有限责任公司 | 图像捕获装置及图像捕获方法 |
DE102016108079A1 (de) * | 2016-05-02 | 2017-11-02 | Carl Zeiss Microscopy Gmbh | Artefaktreduktion bei der winkelselektiven beleuchtung |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8259179B2 (en) * | 2006-05-15 | 2012-09-04 | Csr Technology Inc. | Compensating for non-uniform illumination of object fields captured by a camera |
DE102007042272B4 (de) | 2007-09-06 | 2009-09-24 | Vistec Semiconductor Systems Gmbh | Verfahren zur Korrektur der durch die Verzeichnung eines Objektivs verursachten Messfehler |
US9648248B2 (en) * | 2012-12-17 | 2017-05-09 | Sony Corporation | Methods, systems, and media for high dynamic range imaging |
JP6391562B2 (ja) * | 2013-03-29 | 2018-09-19 | オリンパス株式会社 | 蛍光観察装置 |
CN106414772B (zh) * | 2014-04-08 | 2021-02-19 | 华盛顿大学商业中心 | 用于使用多分散小滴执行数字检定的方法和设备 |
US10181190B2 (en) * | 2014-11-04 | 2019-01-15 | Olympus Corporation | Microscope and microscope image acquisition method |
US9524575B2 (en) * | 2014-12-17 | 2016-12-20 | Facebook, Inc. | Systems and methods for combining multiple frames to produce media content with simulated exposure effects |
DE102015208087A1 (de) | 2015-04-30 | 2016-11-03 | Carl Zeiss Microscopy Gmbh | Verfahren zum Generieren eines reflektionsreduzierten Kontrastbildes und diesbezügliche Vorrichtungen |
DE102015208080A1 (de) | 2015-04-30 | 2016-11-03 | Carl Zeiss Microscopy Gmbh | Verfahren zur Reflexionskorrektur von Abbildungen und diesbezügliche Vorrichtungen |
US20170168285A1 (en) * | 2015-12-14 | 2017-06-15 | The Regents Of The University Of California | Systems and methods for image reconstruction |
JP2017187436A (ja) * | 2016-04-08 | 2017-10-12 | 株式会社Screenホールディングス | 底面位置検出装置、画像取得装置、底面位置検出方法および画像取得方法 |
JP6684646B2 (ja) * | 2016-05-13 | 2020-04-22 | オリンパス株式会社 | 画像取得装置 |
-
2017
- 2017-11-06 DE DE102017125799.3A patent/DE102017125799A1/de active Pending
-
2018
- 2018-11-06 WO PCT/EP2018/080231 patent/WO2019086686A1/de active Application Filing
- 2018-11-06 US US16/761,541 patent/US11830171B2/en active Active
- 2018-11-06 CN CN201880071569.3A patent/CN111433811B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6061091A (en) * | 1996-05-30 | 2000-05-09 | Agfa Gevaert N.V. | Detection of and correction for specular reflections in digital image acquisition |
US6532013B1 (en) * | 2000-05-31 | 2003-03-11 | Nvidia Corporation | System, method and article of manufacture for pixel shaders for programmable shading |
CN1906633A (zh) * | 2004-01-23 | 2007-01-31 | 电科学工业公司 | 照明赝象的图像相减 |
JP2010021633A (ja) * | 2008-07-08 | 2010-01-28 | Nissan Motor Co Ltd | 移動体検出装置及び移動体検出方法 |
WO2012076992A1 (en) * | 2010-12-07 | 2012-06-14 | Hiok Nam Tay | Auto-focus image system |
CN104145276A (zh) * | 2012-01-17 | 2014-11-12 | 厉动公司 | 用于通过光学成像进行的对象检测和表征的增强对比度 |
CN107113370A (zh) * | 2014-08-29 | 2017-08-29 | 卡尔蔡司显微镜有限责任公司 | 图像捕获装置及图像捕获方法 |
JP2016063540A (ja) * | 2014-09-15 | 2016-04-25 | カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh | 反射抑制を伴う画像撮影装置および方法 |
DE102015122712A1 (de) * | 2015-12-23 | 2017-06-29 | Carl Zeiss Microscopy Gmbh | Vorrichtung und Verfahren zur Bildaufnahme |
DE102016108079A1 (de) * | 2016-05-02 | 2017-11-02 | Carl Zeiss Microscopy Gmbh | Artefaktreduktion bei der winkelselektiven beleuchtung |
Also Published As
Publication number | Publication date |
---|---|
US11830171B2 (en) | 2023-11-28 |
US20200265570A1 (en) | 2020-08-20 |
DE102017125799A1 (de) | 2019-05-09 |
WO2019086686A1 (de) | 2019-05-09 |
CN111433811A (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111433811B (zh) | 减少图像中的图像伪影 | |
US10157456B2 (en) | Information processing apparatus, information processing method, and storage medium utilizing technique for detecting an abnormal state such as a scratch on a target | |
US10247933B2 (en) | Image capturing device and method for image capturing | |
KR20160007361A (ko) | 투영광원을 구비한 촬영방법 및 그 촬영장치 | |
CN107077722B (zh) | 图像记录设备及用于记录图像的方法 | |
JP7027446B2 (ja) | 角度可変照明による材料試験 | |
JP2016122989A (ja) | 撮像方法 | |
US10896482B2 (en) | Slice scan imaging system and methods of use | |
JP2017150878A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US20150241686A1 (en) | Imaging device, microscope system, and imaging method | |
JP2016063540A (ja) | 反射抑制を伴う画像撮影装置および方法 | |
JP7179472B2 (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
KR100820722B1 (ko) | 화상으로부터 조명 아티팩트들의 제거 | |
US20160063307A1 (en) | Image acquisition device and control method therefor | |
JP2019200140A (ja) | 撮像装置、アクセサリ、処理装置、処理方法、および、プログラム | |
KR101796523B1 (ko) | 가변조명 하의 깊이정보 정확도 향상방법 및 시스템 | |
US9229211B2 (en) | Imaging apparatus, imaging control program, and imaging method | |
JP7106259B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP2014126943A (ja) | 画像中の対象物を検出するために画像処理を行う画像処理装置及び方法 | |
JP2020004389A (ja) | ビデオシーケンスにおいて動きを検出するための方法 | |
CN209191791U (zh) | 传感器系统 | |
US20170330310A1 (en) | Sample imaging and image deblurring | |
JP2012085093A (ja) | 撮像装置および取得方法 | |
US10162433B2 (en) | Optical navigation apparatus with defocused image compensation function and compensation circuit thereof | |
JP2016090838A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |