CN110121669A - 用于测量光学仪器的聚焦状态的系统和方法 - Google Patents

用于测量光学仪器的聚焦状态的系统和方法 Download PDF

Info

Publication number
CN110121669A
CN110121669A CN201780080922.XA CN201780080922A CN110121669A CN 110121669 A CN110121669 A CN 110121669A CN 201780080922 A CN201780080922 A CN 201780080922A CN 110121669 A CN110121669 A CN 110121669A
Authority
CN
China
Prior art keywords
light
emergent pupil
optical
lens
optical instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780080922.XA
Other languages
English (en)
Inventor
L·西尔维斯特里
M·C·穆伦布罗伊希
L·萨科尼
F·S·帕瓦内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
European Nonlinear Spectroscopy Laboratory (lens)
Consiglio Nazionale delle Richerche CNR
Universita degli Studi di Firenze
Original Assignee
European Nonlinear Spectroscopy Laboratory (lens)
Consiglio Nazionale delle Richerche CNR
Universita degli Studi di Firenze
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by European Nonlinear Spectroscopy Laboratory (lens), Consiglio Nazionale delle Richerche CNR, Universita degli Studi di Firenze filed Critical European Nonlinear Spectroscopy Laboratory (lens)
Publication of CN110121669A publication Critical patent/CN110121669A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/245—Devices for focusing using auxiliary sources, detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/343—Systems for automatic generation of focusing signals using different areas in a pupil plane using light beam separating prisms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

描述了一种用于测量光学仪器(例如，显微镜)的聚焦状态的系统和方法。所述系统和方法提供为形成光学仪器的物镜的出射光瞳的像。在形成出射光瞳的像的地方，放置了一个或多个光学元件(例如，棱镜或反射镜)，所述一个或多个光学元件使来自出射光瞳的光线的至少一部分偏转，以使得来自光瞳的不同的非重叠部分的光线跟随分开的光路。来自光瞳的两个部分的光线然后被聚焦，以便获得两个二维像。计算机将这两个二维像之间的相互距离确定为这二者之间的相互刚性横向位移，并且基于该距离，确定光学仪器的对应的散焦。

Description

用于测量光学仪器的聚焦状态的系统和方法
导致本专利申请的项目是由欧洲联盟在地平线2020研究与创新计划(拨款协议No.720270-人脑项目)(Horizon 2020Research and Innovation Program(grantagreement No.720270–Human Brain Project))的背景下和在ESFRI欧洲-生物成像基础设施项目(ESFRI Euro-BioImaging Infrastructural Project)的背景下资助的。最后，所述项目作为ManoMAX标志项目(ManoMAX flag project)的一部分从教育、大学和研究部(Ministry of Education,University and Research)接收资金。
技术领域
本发明涉及一种用于测量光学仪器(例如，(但不是排他地)光学显微镜)的聚焦状态的系统和方法。
背景技术
众所周知的是，复合光学显微镜包括管透镜和物镜。物镜通常包括放置在将被分析的样品附近的第一透镜系统，而管透镜包括放置在观察点附近的第二透镜系统。物镜收集来自样品的光，所述光然后被管透镜聚焦以创建样品的放大像。
当从样品中的不同点发射的光尽可能多地会聚在放大像中时，样品的放大像被说成是“聚焦的”或“焦点对准”，因为这在样品被基本上放置在物镜的焦平面中时发生。样品的位置离物镜焦平面越远，样品的放大像导致聚焦程度越低。
放大像的聚焦状态因此取决于物镜和样品之间沿着光轴的距离，因此通常通过改变所述距离、沿着光轴移动物镜和/或样品来进行调节和优化。
US 5,970,710描述了用于扫描显微镜检查的自动聚焦系统，该系统在不同的景深条件下获取样品的不同的像，然后对其应用对比度测量函数。致动器根据获得的对比度测量来调节样品位置。
US 2006/0256229描述了基于三角测量的自动聚焦系统，该系统包括将光束投影到样品上的点的发射器。该系统还包括收集被样品反射的光束的像的光电探测器，并且自动地对它进行评估以确定透镜和样品之间的距离。
US 4,634,255描述了测量聚焦状态的设备，该设备包括放置在成像透镜的成像平面上或前面的场透镜。透射通过成像透镜和场透镜的光线被棱镜垂直地划分为两个部分。光线的每个部分通过具有两个开口的膜片，然后被引导到会聚透镜上，会聚透镜使它们会聚以便将两个像形成到两个线性光电探测器阵列上。对所述两个线性光电探测器阵列的输出信号进行处理，聚焦状态然后被测量。
US 2011/0063484描述了能够检测其聚焦状态的像获取系统，该系统包括像获取装置，所述装置的中心元件至少包括一对左像素和右像素。每个像素由光电二极管形成，在每个光电二极管上放置有限定狭缝的一对掩膜和微透镜。像素对因此划分来自出射光瞳的右边部分和左边部分的光线，并且使它们聚焦到所述两个光电二极管上。从每对的右像素获得的像和从每对的左像素获得的像之间的距离越大，放大像的散焦越大。
US 2012/0206590描述了具有自动聚焦系统的显微镜，该显微镜包括物镜、分束器、场透镜、掩膜、两个分光透镜、二维光电探测器阵列和处理器。分束器使来自物镜的光的一部分偏转到场透镜上，场透镜使光线集中到掩膜上。掩膜具有将光线划分为两个部分的两个开口，这两个部分被两个分光透镜聚焦到光电探测器阵列的表面上，从而在该表面上形成放大像的两个副本。对于一个副本的每个像素，处理器在另一个副本中找到对应的像素，并且测量它们之间的距离，从而以这种方式逐个像素地获得散焦。
发明内容
发明人注意到，以上描述的已知的自动聚焦系统呈现了几个缺点。
关于US 5,170,202所描述的系统，它需要获取几个像来确定可移动透镜的最佳位置。然而，几个像的获取在可移动透镜的最佳位置的确定中不利地引入了延迟，使使用这样的系统的设备的整个运行变慢。
关于US 2006/0256229所描述的系统，它是基于样品反射的光的，因此，不利地，当样品反射光太微弱或者根本不反射时，或者当反射平面与样品位置不一致时，该系统不工作。例如，如果样品被浸入在液体中或凝胶中，反射在液体(或凝胶)和空气之间的界面处发生。然而，因为样品被放置在液体(或凝胶)内部的未知位置处，所以从空气-液体(或空气-凝胶)界面的位置的测量，不可能推断样品的位置。
关于US 4,634,255、US 2011/0063484和US 2012/0206590所描述的系统，发明人观察到，它们基本上涉及划分来自物镜的出射光瞳的两个不同部分的光线、随后使它们聚焦以便创建两个不同的像，一个像相对于另一个平移。当聚焦状态改变时，这两个像之间的横向距离也改变。这些已知的系统因此使得可以基本上实时地测量聚焦状态，因为它们不需要获取样品的几个像。此外，这些系统仅基于物镜提供的像的处理，因此避免了由反射光的使用而导致的缺点。
然而，这些系统呈现了其他缺点。
关于US 4,634,255所描述的系统，它使用线性光电探测器阵列。如果样品不是无限薄的或者不是完全透明的，则它可能沿着样品和物镜之间的路径呈现出折射率变化。来自样品中的同一点的光线然后可能经历不同长度的光路。该现象可能引入较高阶次的像差(例如像散、畸变、彗形像差、像场弯曲等)，使得通过分离来自出射光瞳的两个不同部分的光线并且使这些光线聚焦而获得的两个像可能不同于彼此。通过对所述两个线性光电探测器阵列提供的信号进行处理而获得的聚焦状态测量因此可能并不准确，并且可能导致物镜的定位不是最佳的。此外，在低光条件下，因为背景噪声引入的波动，距离的测量可能是困难的。此外，当像具有稀疏的内容时(即，当大量像像素没有内容，而只有噪声时)，存在线性光电探测器阵列没有检测到像的任何显著特征、而是仅检测到噪声的不可忽视的机会，这使得相互距离的任何测量都是不可能的。
关于US 2011/0063484所描述的系统，它的灵活性不利地差，因为改变系统参数(例如，改变将用于对聚焦状态进行评估的出射光瞳的部分)需要整个像获取系统的物理更换，引入不可忽视的成本和技术复杂性的操作。
关于US 2012/0206590所描述的系统，它执行从通过物镜的出射光瞳的两个不同部分的光线的分离获得的两个像的局部处理(逐个像素地)。它因此基本上呈现出US 4,634,255所描述的系统的相同的缺点。
本发明的目的因此是提供一种用于测量光学仪器(特别是，但不是排他地，光学显微镜)的聚焦状态的系统和方法，所述系统和方法解决上述问题。
特别地，本发明的目的是提供一种用于测量光学仪器(特别是，但不是排他地，光学显微镜)的聚焦状态的系统和方法，该系统和方法关于样品引入的像差更加鲁棒，在低光条件下也提供最佳的聚焦，也能够用稀疏内容的像进行操作，并且是灵活的，即，使得可以在不需要系统本身的任何物理修改的情况下对系统参数进行修改。
根据第一方面，本发明提供了一种用于测量光学仪器的聚焦状态的系统，该系统包括：
-至少一个第一光学元件，其被配置为形成光学仪器的物镜的出射光瞳的像；
-至少一个第二光学元件，其被基本上放置在形成出射光瞳的像的地方，并且被配置为使来自出射光瞳的光线的至少一部分偏转，以使得在出射光瞳的像的下游，来自出射光瞳的第一部分的第一光线和来自出射光瞳的第二部分的第二光线跟随分开的光路，然后被聚焦到两个二维像中，出射光瞳的第一部分和第二部分是不重叠的；以及
-计算机，其被配置为将所述两个二维像之间的相互距离确定为所述两个二维像之间的相互刚性横向位移，并且基于所述相互距离，确定光学仪器的对应的散焦。
优选地，所述至少一个第一光学元件包括可定位在光学仪器的物镜的上游的分束器，所述分束器被配置为捕获来自物镜的光并且使其一部分沿着所述系统的光轴偏转。
优选地，所述至少一个第二光学元件被配置为捕获来自出射光瞳的第一部分的第一光线和/或来自出射光瞳的第二部分的第二光线并且使这些光线远离所述系统的光轴偏转。
优选地，所述至少一个第二光学元件包括被基本上放置在形成出射光瞳的像的地方的至少一个棱镜或至少一个反射镜。
根据优选实施例，所述至少一个第二光学元件还包括被基本上放置在形成出射光瞳的像的地方的掩膜，所述掩膜包括两个开口，所述两个开口限定第一光线来自的出射光瞳的第一部分和第二光线来自的出射光瞳的第二部分。
优选地，所述计算机被配置为：对所述两个二维像应用全局价值函数，从而提供它们的相似性的测量，并且将相互距离确定为使全局价值函数的值最大化的所述两个二维像之间的相互刚性横向位移。
优选地，所述全局价值函数包括所述两个二维像之间的二维互相关或所述两个二维像之间的相互信息函数。
优选地，所述计算机被配置为：通过对所述两个二维像应用至少两个不同的全局价值函数来计算相互距离的至少两个值，并且通过组合所述至少两个值来确定相互距离的唯一值。
优选地，所述计算机被配置为通过应用其系数取决于光学仪器的光学性质的方程Y(Δz)的逆方程来基于相互距离确定光学仪器的散焦。
优选地，所述计算机被配置为基于确定的散焦来产生命令信号，所述命令信号包括用于调整光学仪器的物镜和由光学仪器分析的样品之间的相互距离以优化光学仪器的聚焦状态的信息。
根据第二方面，本发明提供了一种用于测量光学仪器的聚焦状态的方法，该方法包括：
-形成光学仪器的物镜的出射光瞳的像；
-使来自出射光瞳的光线的至少一部分偏转，以使得在出射光瞳的下游，来自出射光瞳的第一部分的第一光线和来自出射光瞳的第二部分的第二光线跟随分开的光路，然后被聚焦到两个二维像中，出射光瞳的第一部分和第二部分是不重叠的；以及
-将所述两个二维像之间的相互距离确定为所述两个二维像之间的相互刚性横向位移，并且基于所述相互距离，确定光学仪器的对应的散焦。
附图说明
从以下作为例子、而非限制给出的、将参照附图阅读的详细描述，本发明将变得清楚，其中：
-图1示意性地示出根据本发明的第一实施例的用于测量光学仪器的聚焦状态的系统；
-图2更详细地示出图1中的系统的与不同散焦相对应的部分；
-图3更详细地示出图1中的系统的与不同的散焦相对应的并且存在掩膜的部分；
-图4示出通过图1中的系统和现有技术获得的二维像之间的比较对齐结果；以及
-图5-7示出根据本发明的三个变体的、测量光学仪器的聚焦状态的三个系统。
附图是不按比例的。
具体实施方式
图1示出根据本发明的实施例的用于测量光学仪器的聚焦状态的系统。
举例来说，而非限制，光学仪器是复合光学显微镜1。所述系统无论如何都可以用于测量其他种类的光学仪器(例如，照相机器、望远镜等)的聚焦状态。
光学显微镜1包括沿着光轴z对齐的物镜2和管透镜3。物镜2和管透镜3包括各自的透镜系统(在图1中没有详细示出)，其中每个可以包括沿着光轴z对齐的一个或多个透镜。
光学显微镜1更优选地包括光电探测器5。光电探测器5可以是例如光电二极管二维阵列、或二维CCD传感器、或二维CMOS传感器。
光学显微镜1可以是基于宽场检测的任何显微镜，例如亮场显微镜、暗场显微镜、荧光(落射荧光或反式荧光)显微镜或薄板显微镜。显微镜1可以进一步包括图1中未示出的并且因为对于本描述的目的来说没有用而将不被描述的其他组件。
在光学显微镜1中，来自样品4的光被物镜2收集，并且被管透镜3聚焦，以这种方式创建样品4的放大像。特别地，该放大像是由管透镜3在光电探测器5的表面上创建的，光电探测器5将放大像变换为对应的数字像。如果样品4被基本上放置在物镜2的焦平面FP上(如图1中示意性地所示)，则放大像和对应的数字像是焦点对准的。
为了测量样品4的放大像的聚焦状态，显微镜1配备有用于测量聚焦状态的系统6。
根据本发明的第一实施例，系统6优选地包括分束器7、一个或多个透镜(作为非限制性例子，两个透镜)8a、8b、棱镜9、第二透镜10、进一步的光电探测器11和计算机13。
如图1中作为例子示意性地示出的，分束器7优选地被放置在物镜2的上游，例如，物镜2和管透镜3之间。分束器7优选地相对于光轴z成45度，以便捕获来自物镜2的光并且使所述光的小部分沿着第二光轴z’偏转。偏转的光的小部分优选地基本上占入射在分束器7上的总的光的大约10％。光轴z’优选地基本上垂直于显微镜1的光轴z。
所述两个第一透镜8a、8b优选地是放置在光轴z’上的平凸或双凸透镜。根据优选实施例，透镜8a被放置在离物镜2的出射光瞳P(其投影在图1中示意性地示出)的距离等于其焦距fa的位置处，而透镜8b优选地被放置在离透镜8a的距离等于它们的焦距之和fa+fb的位置处。以这种方式，分束器7与所述两个第一透镜8a、8b一起在离透镜8b的距离等于其焦距fb的位置处形成物镜2的出射光瞳P(其投影在图1中示意性地示出)的像P’。
棱镜9优选地被放置在所述两个第一透镜8a、8b的下游，基本上在其中形成物镜2的出射光瞳的像P’的平面中，即，基本上在离透镜8b的距离fb处。棱镜9优选地被配置为使来自出射光瞳P(因此其像P’)的第一部分的光线R1偏转、而让来自出射光瞳P(因此其像P’)的第二部分的光线R2不受阻碍，出射光瞳P的第二部分与出射光瞳P的第一部分在空间上不重叠。
详细地说，如果x和y指示垂直于光轴z’的两个相互正交的方向(在图1中示意性地示出)，则棱镜9优选地被配置为使来自其像P’位于由z’轴和例如x方向所限定的平面界定的两个半空间中的一个中的出射光瞳P的第一部分的光线R1偏转、而让来自其像P’位于由z’和x所限定的平面界定的另一个半空间中的出射光瞳P的第二部分的光线R2不受阻碍。
例如，如图1所示，棱镜9可以整个被放置在光线R1所来自的第一光瞳部分的像所在的半空间中。以这种方式，光线R1在由光轴z’和远离光轴z’的正交方向y限定的平面中被偏转。
可选地，用于测量聚焦状态6的系统还可以配备有掩膜12。同样地，掩膜12优选地被基本上放置在由透镜8a和8b创建的出射光瞳的像P’所在的平面上。特别地，掩膜12可以被放置在棱镜9的正后方(如图1示意性地所示)或棱镜9的正前方。掩膜12优选地被成形为限定出射光瞳P的两个不重叠部分，被棱镜9偏转的光线R1和不被棱镜9偏转的光线R2来自于这两个部分。例如，在图1所示的配置中，掩膜12是具有两个开口的膜片，一个开口位于由光轴z’和方向x限定的第一半空间中，另一个开口位于由光轴z’和方向x限定的另一个半空间中。每个开口可以具有例如圆形段的形状。
掩膜12的每个开口的面积优选地至少等于出射光瞳P(以及其像P’)的面积的5％，更优选地，至少等于10％，甚至更优选地，至少等于20％。以这种方式，系统6有利地能够对更高阶次的像差的大部分进行平均处理。如以下将更详细地讨论的，这使得可以相对于这些更高阶次的像差更鲁棒地获得聚焦状态的测量。
如上所述，掩膜12是可选的。在不存在掩膜时，测量系统6所考虑的出射光瞳P的两个部分对应于整个出射光瞳P及其像P’的两半，即，像P’的位于由光轴z’和方向x限定的第一半空间中的一半、和像P’的位于由光轴z’和方向x限定的另一个半空间中的一半。
测量系统6的第二透镜10优选地沿着光轴z’被放置在棱镜9(和掩膜12，如果存在的话)的下游。透镜10例如是平凸或双凸透镜。它优选地被放置在离透镜8a和8b形成光瞳的像P’的平面的距离等于其焦距f10的位置处。
光电探测器11被放置在第二透镜10的下游，优选地被放置在等于透镜10的焦距f10的距离处。光电探测器11优选地包括光电二极管二维矩阵、或二维CCD传感器、或二维CMOS传感器。
第二透镜10优选地既接收通过棱镜9的来自光瞳P的第一部分的偏转的光线R1、又接收来自光瞳P的第二部分的不偏转的光线R2。光线R1被透镜10聚焦到光电探测器11的表面上以形成样品4的第一个像IM1，而光线R2被透镜10聚焦到光电探测器11的表面上以形成样品4的第二个像IM2。
图1示出聚焦状态被优化时(即，样品4被基本上放置在物镜2的焦平面FP中时)的情形。在这种情形下，可以观察到来自样品4的穿过光瞳P的第一部分的光线R1生成样品4的第一个像IM1，而来自样品4的穿过光瞳P的第二部分的光线R2创建样品4的像IM2，像IM2沿着方向y相对于第一个像IM1平移。特别地，第一个像IM1和第二个像IM2被放置在相互距离Y0处。
当显微镜1的聚焦状态改变时(即，当样品4和物镜2的焦平面FP之间的距离改变时)，距离Y从最佳值Y0改变。特别地，像IM1和IM2之间的相互距离Y根据以下方程随着聚焦状态而改变：
Y(Δz)＝Y0-2·G·NA·Mr·Δz [1]
其中，G是考虑到光瞳的用于产生像IM1和IM2的两个部分的形状的、具有0和1之间的值的几何因子，NA是物镜2的数值孔径，Mr是光电探测器11的表面上的像的有效倍率。项Δz是散焦，即，(i)物镜2和样品4之间的距离与(ii)物镜2和焦平面FP之间的距离之间的差值。散焦于是在Δz>0时是正的，即，样品4比焦平面FP更远离物镜2，而散焦在Δz<0时是负的，即，样品4比焦平面FP更靠近物镜2。
图2示意性地示出在掩膜12不存在的情况下、散焦Δz改变时距离Y如何改变。
详细地说，图2(b)示出焦点对准情形，即，Δz＝0。在这种情形下，两个像IM1和IM2之间的相互距离为Y＝Y0。此外，进入透镜10的光线R1是平行的，进入透镜10的光线R2是平行的，导致像IM1和IM2的聚焦良好。
作为代替，图2(a)示出正散焦的情形，即，Δz>0。在这种情形下，两个像IM1和IM2之间的相互距离为Y<Y0。此外，进入透镜10的光线R1是会聚的，进入透镜10的光线R2是会聚的，导致像IM1和IM2的聚焦不完美。
最后，图2(c)示出负散焦的情形，即，Δz<0。在这种情形下，两个像IM1和IM2之间的相互距离为Y>Y0。此外，进入透镜10的光线R1是发散的，进入透镜10的光线R2是发散的，导致像IM1和IM2的聚焦不完美——类似于前一种情况。
图3示意性地示出在掩膜12存在的情况下、显微镜1的聚焦状态改变时距离Y如何改变。
详细地说，图3(b)示出焦点对准情形，即，Δz＝0。在这种情形下，两个像IM1和IM2之间的相互距离为Y＝Y0。此外，同样地，在掩膜12存在的情况下，进入透镜10的光线R1是平行的，进入透镜10的光线R2是平行的，导致像IM1和IM2的聚焦良好。
作为代替，图3(a)示出正散焦的情形，即，Δz>0。在这种情形下，类似于上述没有掩膜的情况，两个像IM1和IM2之间的相互距离为Y<Y0。此外，在存在掩膜的情况下，我们注意到，进入透镜10的光线R1是略微会聚的，进入透镜10的光线R2是略微会聚的，导致像IM1和IM2的聚焦略微不完美。然而，与图2(a)相比表现出，由于导致焦深增大，掩膜12的存在改进了像IM1和IM2的聚焦。
最后，图3(c)示出负散焦的情形，即，Δz<0。在这种情形下，就上述没有掩膜的情况来说，两个像IM1和IM2之间的相互距离为Y>Y0。此外，可以注意到，在存在掩膜12的情况下，进入透镜10的光线R1是略微发散的，进入透镜10的光线R2是略微发散的，导致像IM1和IM2的聚焦略微不完美。然而，与图2(c)相比表现出，由于导致焦深增大，掩膜12的存在改进了像IM1和IM2的聚焦。
总的来说，因此，掩膜12的存在除了使得可以选择用于产生像IM1和IM2的出射光瞳P的部分之外，还有利地导致聚焦状态测量系统6的景深增大，这继而导致像IM1和IM2的清晰度变高。这是有利的，因为它改进了两个像之间的相互距离Y的测量的准确度。
另一方面，应注意到，掩膜12使像IM1和IM2的光度降低，因此使信噪比降低。在低光条件下，信噪比可能变得太低以至于不能准确地测量像IM1和IM2之间的相互距离Y。因此，使用掩膜12的可选的选择优选地考虑光度条件来做出。
再次参照图1，形成在光电探测器11的表面上的二维像IM1和IM2被光电探测器本身转换为数字格式，并且被发送到计算机13。
计算机13优选地被配置为对像IM1和IM2进行处理，以便测量它们的相互距离Y。
根据优选实施例，计算机13可选地在计算相互距离Y之前执行像IM1和IM21的预处理。在该预处理阶段中，计算机13优选地对像IM1和IM2进行处理以便提高它们的对比度。为了这个目的，计算机13可以例如识别像IM1和IM2中的具有比预定义的阈值高的光度(例如相对于像中的像素的光度值的直方图的百分位数来表达)的像素，并且使其光度低于预定义的阈值的那些像素的值为零。可替代地，计算机13可以使用基于与不同大小的高斯核的卷积的边缘对比度增强的已知方法。
一旦可选的预处理阶段完成，计算机13就继续计算两个像IM1和IM2之间的相互距离Y。
优选地，为了这个目的，计算机13执行二维像的相互刚性横向位移的算法。详细地说，这样的算法对像IM1和IM2应用全局价值函数，从而提供它们的相似性的测量，并且将像IM1和IM2之间的相互距离Y确定为使全局价值函数的值最大化的像IM1和IM2之间的相互横向刚性位移(沿着方向y)。
例如，全局价值函数可以是二维像IM1和IM2之间的二维互相关。在这种情况下，计算机13优选地根据以下方程来计算像IM1和IM2之间的规范化的互相关：
其中，y’是像IM1和IM2之间的相互刚性横向位移，N是每个像IM1和IM2中的像素的总数，IM1(x,y)是像IM1中的像素(x,y)的值，IM2(x,y)是像IM2中的像素(x,y)的值，IM1av是像IM1中的所有像素的平均值，IM2av是像IM2中的所有像素的平均值，SDIM1是像IM1中的像素的标准差，SDIM2是像IM2中的像素的标准差。
计算机13优选地对像IM1和IM2之间的相互刚性横向位移y’的不同的值计算CCN的值，并且找到作为提供CCN的最大值的相互刚性横向位移y’的Y。
可替代地，全局价值函数可以是像IM1和IM2之间的相互信息函数，该函数被定义为：
其中，p(a,b)是在像IM1中的一般像素(x,y)中具有值a和在像IM2中的对应的像素(x,y+y’)中具有值b的概率，p(a)是对于像IM1中的一般像素具有值a的概率，p(b)是对于像IM2中的一般像素具有值b的概率。在实践中，相互信息函数M1(y’)提供在已知像IM1的内容的情况下预测像IM2的内容的可能性的测量，或者反过来。概率p(a,b)、p(a)和p(b)是从像素直方图获得的。
如前面的关于互相关的例子中那样，同样地，在这种情况下，计算机13优选地针对像IM1和IM2之间的相互刚性横向位移y’的不同的值计算函数M1(y’)的值，并且确定作为给出M1(y’)的最大值的相互刚性横向位移y’的Y。
根据特别有利的变体，计算机13可以使用不同的全局价值函数(最终与不同的图像预处理方法组合)来计算Y的两个或更多个值，然后组合对于Y获得的值。对于Y获得的值可以例如通过计算均值(算数的、几何的或谐波的)来组合。可选地，均值可以是加权的均值。在这种情况下，用于Y的每个值的权重可以是从用于找到Y的那个值的价值函数获得的、两个像IM1和IM2的对齐的质量的测量。例如，用于Y的每个值的权重可以是价值函数的最大获得值、或相对于价值函数对于其减半的Y的相互刚性横向位移的倒数。
一旦像IM1和IM2之间的相互距离Y被如上所述那样计算，计算机13就可以获得显微镜1的聚焦状态就散焦Δz而言的测量。
为了这个目的，执行显微镜1的校准阶段，其中，相互距离Y1、Y2、…Yn是在用于显微镜1的不同的正的和负的散焦值Δz1、Δz2、…Δzn(包括零散焦Δz＝0)的校准样品的两个校准像IM1c、IM2c之间测得的。该校准阶段因此提供了显微镜1的散焦Δz1、Δz2、…Δzn与距离Y1、Y2、…Yn的相应的值的映射(例如，计算机13可以将其存储为表格)。这有利地使得计算机13可以建立Y0的值以及差值(Y-Y0)和散焦Δz之间的比例常数(2·G·NA·Mr)的值。
因此，当样品4被插入到显微镜1中以被分析时，计算机13优选地开始聚焦状态测量阶段，在该阶段期间，它如上所述那样测量样品4的像IM1和IM2之间的距离Y，并且通过应用上述方程[1]的逆方程来找到散焦Δz，其中，方程系数Y0和(2·G·NA·Mr)的值是在校准阶段期间找到的那些值。
散焦测量Δz于是可以随后被用于实现显微镜1的自动聚焦机制。
为了这个目的，计算机13可以被配置为产生命令信号CS以调整物镜2和样品4之间的距离以便获得零散焦Δz、从而优化显微镜1生成的样品4的像的聚焦状态。
命令信号CS可以被一个或多个致动器(图1中未示出)接收，所述一个或多个致动器适合于沿着显微镜1的光轴z移动——根据命令信号CS——物镜2和/或样品4的支撑物(如果存在的话)，以便使样品4尽可能地靠近物镜2的焦平面FP。致动器可以包括例如适合于移动物镜2或样品4的支撑物的压电平移台架。可替代地，可以将具有可变焦距的透镜插入在光路中。
用于测量聚焦状态的系统6示出几个优点。
首先，它非常快，并且使得可以基本上瞬间测量(并且可能优化)显微镜1的聚焦状态，因为——一旦校准已经被执行——二维光电探测器11的单次曝光就足以收集样品4的一对像IM1和IM2以确定散焦Δz，然后沿着光轴z对物镜2的位置进行校正和/或对样品4的支撑物(如果存在的话)进行校正，从而导致最佳的聚焦状态。
此外，因为所述系统是基于就由来自出射光瞳P的两个不同的非重叠部分的光线R1和R2形成的两个二维像的相互刚性横向位移而言的像IM1、IM2之间的相互距离Y的测量的，所以它有利地提供了显微镜1的整个视场的平均聚焦状态的测量。
测量的全局性使得相对于样品4引入的可能的像差有利地鲁棒。
图4示出示例性样品4和所述示例性样品的一个焦点没对准的像IM(nf)。假定因为样品4，通过使来自物镜2的光瞳P的两个不同的非重叠部分的光线R1和R2聚焦而获得的两个像IM1和IM2呈现出在每个像IM1和IM2中不同的一些像差。图4(a)示出通过应用两个像IM1和IM2之间的使两个像IM1和IM2的全局价值函数最大化的相互刚性横向位移Y而获得的、两个像IM1和IM2之间的对齐。为了比较，图4(b)示出通过使来自对应于线A和B放置的两个光电二极管线性阵列的电信号的价值函数最大化而将获得的像IM1和IM2的对齐。图4还示出了针对两个对齐由对应于线A和B放置的光电二极管提供的信号。
通过图4(a)和4(b)的比较显而易见的是，(a)中获得的对齐在全局上好于(b)中获得的对齐，尽管沿着线A和B的对齐在局部上在(a)中坏于(b)中。这发生是因为在(a)中来自像IM1和IM2的所有信息全部都被使用，从而相对于单个的像IM1和IM2中的由样品4引入的“局部”像差提供更大的鲁棒性。
此外，测量的全局性使得适用于低信噪比的条件。这发生是因为由光电探测器11提供的信号S1、S2——即，像IM1和IM2的信息内容——被全部使用。信噪比因此相对于仅使用所获得的像的信息内容的一部分的已知系统而言本质上更好。
此外，测量的全局性使得有利地也适用于稀疏样品的情况。实际上，因为显微镜1的视场的很大部分被使用，所以在像IM1和IM2中没有样品4的独特的且可辨识的特征的机会有利地最小化，在样品4稀疏时的情况下也是如此。
此外，从不同于使用准时测量的已知系统所发生的，聚焦状态测量系统6可以在范围广泛的数值孔径中并且用不同尺寸的光瞳P的部分进行操作的意义上来说，聚焦状态测量系统6有利地是灵活的。例如，光瞳P的用于产生像IM1和IM2的两个部分可以被选择替换掩膜12。这有利地使得可以在光瞳的较大的部分(使得可以采集更多的光，因此使例如Y的测量相对于球面像差而言更加鲁棒)和光瞳的较小的部分(提供更长的景深、因此Y的更准确的测量)之间找到最佳权衡。
此外，聚焦状态测量系统6使得可以实现如下测量：该测量不仅引入两个像IM1和IM2的沿着方向y的相互位移(如图1所示)，而且还引入两个像IM1和IM2的大体上沿着位于形成出射光瞳P的像P’的平面中的任何方向的相互位移。
最后，聚焦状态测量系统6可以用普通的光学组件来实现，并且也可以被用于有必要使用特定的传感器来获得像(例如，增强型或电倍增相机)的情形。
尽管聚焦状态测量系统6包括使来自出射光瞳P的第一部分的光线R1偏转并且让来自出射光瞳P的第二部分的光线R2不受阻碍的棱镜9，但是这不应被认为是限制本发明的范围。
一般来说，聚焦状态测量系统6可以包括以如下方式配置的一个或多个光学元件：在形成光瞳像P’的平面的下游，来自物镜2的出射光瞳P的两个不同的非重叠部分的光线R1和R2跟随分开的光路，以便在至少一个光电探测器的平面上创建样品4的两个分开的二维像。
例如，图5示出根据图1所示的实施例的第一变体的聚焦状态测量系统6。
根据该变体的系统6不是包括棱镜9(即，基本上在透镜8a和8b形成光瞳像P’的平面上)，而是包括两对反射镜9a和9b。第一对反射镜9a被配置为捕获来自物镜2的出射光瞳P的第一部分的光线R1并且使光线R1偏转，而第二对反射镜9b被配置为捕获来自出射光瞳P的第二部分的光线R2并且使光线R2偏转。例如，如图5所示，两对反射镜9a和9b中的每对可以被放置在由光轴z’和正交方向x限定的两个互补的半空间中的一个中。
此外，所述两对反射镜9a和9b被配置为使收集的光线(分别地R1和R2)沿着两个分开的光路偏转，所述两个分开的光路优选地都平行于光轴z’。
类似于图1所示的实施例，光线R1和R2被透镜10捕获，透镜10使它们在光电探测器11的表面上聚焦为两个像(分别地IM1和IM2)，光电探测器11继而将它们转换为数字格式，并且将它们发送到计算机13以用于根据以上描述确定距离Y和散焦Δz。
图6示出根据图1所示的实施例的第二变体的聚焦状态测量系统6。
系统6不是包括棱镜9(例如，基本上在透镜8a和8b形成光瞳像P’的平面上)，而是包括反射镜9’，反射镜9’适合于捕获来自光瞳P的第一部分的光线R1，并且使它们沿着不同于光轴z’的、来自光瞳P的第二部分的不受阻碍的光线R2沿着其传播的方向偏转。
此外，根据该变体，系统6包括放置在反射镜9’和掩膜12(可选的)的下游的两个不同的透镜10a、10b、以及两个不同的光电探测器11a和11b。透镜10a适合于捕获被反射镜9’偏转的光线R1并且使它们聚焦到光电探测器11a的表面上，以便形成样品4的第一个二维像IM1。透镜10b而是适合于捕获光线R2(没有被反射镜9’偏转)并且使它们聚焦到光电探测器11b的表面上，以便形成样品4的第二个二维像IM2。每个光电探测器11a、11b优选地将其相应的二维像IM1、IM2转换为数字格式，并且将它发送到计算机13。计算机13然后对像IM1和IM2进行处理以根据以上描述来确定距离Y。在这种情况下，应注意到，因为像IM1和IM2形成在两个不同的光电探测器上，所以它们的相互距离Y必须参照每个光电探测器上识别的相应的参考点(例如，顶点)来测量。
尽管在到目前为止示出和描述的所有的变体中，聚焦状态测量系统6被放置在显微镜1的物镜2和管透镜3之间，但是这不是限制性的。
一般来说，为了将散焦Δz转换为通过使来自物镜2的出射光瞳P的两个非重叠部分的光线R1和R2聚焦而获得的两个像IM1和IM2之间的相互距离Y，测量系统被放置在物镜2的出射光瞳的上游、例如，显微镜1的光电探测器5和管透镜3之间是足够的。该变体在图7中示出。
如图7所示，分束器7在管透镜3的上游捕获物镜2收集的、来自样品4的光。根据该变体的系统6包括单个透镜8，而不是一对透镜8a和8b。透镜8优选地被定位在离管透镜3的距离等于它们的焦距之和(f8+fTL)的位置处。考虑到分束器7和透镜8的定位，物镜2的光瞳的像P’基本上形成在离透镜8距离f8之处。对应于形成光瞳的所述像P’的平面，放置了棱镜9(可能与掩膜12一起)，使得可以根据以上描述来提取光线R1和R2以形成两个像IM1和IM2。
如果例如显微镜1的管透镜和物镜之间的空间由于机械设计原因不可进入，则该变体可能是有利的。

Claims (11)

1.一种用于测量光学仪器(1)的聚焦状态的系统(6)，所述系统(6)包括：
-至少一个第一光学元件(7、8a、8b、8)，所述至少一个第一光学元件(7、8a、8b、8)被配置为形成所述光学仪器(1)的物镜(2)的出射光瞳(P)的像(P’)；
-至少一个第二光学元件(9、9a、9b、9’、12)，所述至少一个第二光学元件(9、9a、9b、9’、12)被基本上放置在形成所述出射光瞳(P)的所述像(P’)的地方，并且被配置为使来自所述出射光瞳(6)的光线的至少一部分偏转，以使得在所述出射光瞳(P)的所述像(P’)的下游，来自所述出射光瞳(P)的第一部分的第一光线(R1)和来自所述出射光瞳(P)的第二部分的第二光线(R2)跟随分开的光路，并且被聚焦到两个二维像(IM1、IM2)中，所述出射光瞳(P)的所述第一部分和所述第二部分是不重叠的；以及
-计算机(13)，所述计算机(13)被配置为将所述两个二维像(IM1、IM2)之间的相互距离(Y)确定为所述两个二维像(IM1、IM2)之间的相互刚性横向位移，并且基于所述相互距离(Y)，确定所述光学仪器(1)的对应的散焦。
2.根据权利要求1所述的系统(6)，其中，所述至少一个第一光学元件(7、8a、8b、8)包括能够定位在所述光学仪器(1)的所述物镜(2)的上游的分束器(7)，所述分束器(7)被配置为捕获来自所述物镜(2)的光，并且使光的一部分沿着所述系统(6)的光轴(z’)偏转。
3.根据权利要求2所述的系统(6)，其中，所述至少一个第二光学元件(9、9a、9b、9’、12)被配置为捕获来自所述出射光瞳(P)的所述第一部分的所述第一光线(R1)和/或来自所述出射光瞳(P)的所述第二部分的所述第二光线(R2)，并且使这些光线远离所述光轴(z’)偏转。
4.根据权利要求3所述的系统(6)，其中，所述至少一个第二光学元件(9、9a、9b、9’、12)包括至少一个棱镜(9)或至少一个反射镜(9a、9b、9’)，所述至少一个棱镜(9)或至少一个反射镜(9a、9b、9’)被基本上放置在形成所述出射光瞳(P)的所述像(P’)的地方。
5.根据前述任一项权利要求所述的系统(6)，其中，所述至少一个第二光学元件(9、9a、9b、9’、12)还包括被基本上放置在形成所述出射光瞳(P)的所述像(P’)的地方的掩膜(12)，所述掩膜(12)包括两个开口，所述两个开口限定所述第一光线(R1)来自的所述出射光瞳(P)的所述第一部分和所述第二光线(R2)来自的所述出射光瞳(P)的所述第二部分。
6.根据前述任一项权利要求所述的系统(6)，其中，所述计算机(13)被配置为：对所述两个二维像(IM1、IM2)应用全局价值函数，从而提供它们的相似性的测量，并且将所述相互距离(Y)确定为使所述全局价值函数的值最大化的所述两个二维像(IM1、IM2)之间的相互刚性横向位移。
7.根据权利要求6所述的系统(6)，其中，所述全局价值函数包括所述二维像(IM1、IM2)之间的二维互相关或所述两个二维像(IM1、IM2)之间的相互信息函数。
8.根据权利要求6或7所述的系统(6)，其中，所述计算机(13)被配置为：通过对所述两个二维像(IM1、IM2)应用至少两个不同的全局价值函数来计算所述相互距离(Y)的至少两个值，并且通过组合所述至少两个值来确定所述相互距离(Y)的唯一值。
9.根据前述任一项权利要求所述的系统(6)，其中，所述计算机(13)被配置为通过应用其系数取决于所述光学仪器(1)的光学性质的方程Y(Δz)的逆方程，来基于所述相互距离(Y)确定所述光学仪器(1)的所述散焦。
10.根据前述任一项权利要求所述的系统(6)，其中，所述计算机(13)被配置为基于确定的所述散焦来产生命令信号(CS)，所述命令信号(CS)包括用于调整所述光学仪器(1)的所述物镜(2)和由所述光学仪器(1)分析的样品(4)之间的相互距离以优化所述光学仪器(1)的聚焦状态的信息。
11.一种用于测量光学仪器(1)的聚焦状态的方法，所述方法包括：
-形成所述光学仪器(1)的物镜(2)的出射光瞳(P)的像(P’)；
-使来自所述出射光瞳(6)的光线的至少一部分偏转，以使得在所述出射光瞳(P)的所述像(P’)的下游，来自所述出射光瞳(P)的第一部分的第一光线(R1)和来自所述出射光瞳(P)的第二部分的第二光线(R2)跟随分开的光路，并且被聚焦到两个二维像(IM1、IM2)中，所述出射光瞳(P)的所述第一部分和所述第二部分是不重叠的；以及
-将所述两个二维像(IM1、IM2)之间的相互距离(Y)确定为所述两个二维像(IM1、IM2)之间的相互刚性横向位移，并且基于所述相互距离(Y)，确定所述光学仪器(1)的对应的散焦。
CN201780080922.XA 2016-12-30 2017-12-21 用于测量光学仪器的聚焦状态的系统和方法 Pending CN110121669A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102016000132604A IT201600132604A1 (it) 2016-12-30 2016-12-30 Sistema e metodo di misura della focalizzazione di uno strumento ottico
IT102016000132604 2016-12-30
PCT/EP2017/084057 WO2018122093A1 (en) 2016-12-30 2017-12-21 System and method for measuring the focus state of an optical instrument

Publications (1)

Publication Number Publication Date
CN110121669A true CN110121669A (zh) 2019-08-13

Family

ID=58701729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780080922.XA Pending CN110121669A (zh) 2016-12-30 2017-12-21 用于测量光学仪器的聚焦状态的系统和方法

Country Status (6)

Country Link
US (1) US11237375B2 (zh)
EP (1) EP3563188B1 (zh)
JP (1) JP2020503565A (zh)
CN (1) CN110121669A (zh)
IT (1) IT201600132604A1 (zh)
WO (1) WO2018122093A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024068447A1 (en) 2022-09-26 2024-04-04 Consiglio Nazionale Delle Ricerche System and method for adjusting the alignment of a light sheet microscope

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08201680A (ja) * 1995-01-30 1996-08-09 Nikon Corp オートフォーカス装置
JPH0980301A (ja) * 1995-09-12 1997-03-28 Nikon Corp オートフォーカス装置
JPH11167060A (ja) * 1997-12-03 1999-06-22 Nikon Corp 合焦検出装置及び方法
CN102273190A (zh) * 2008-10-31 2011-12-07 惠普开发有限公司 适合于选择聚焦设置的方法和数字成像设备
CN105607218A (zh) * 2015-08-24 2016-05-25 闽南师范大学 一种基于模糊熵的影像自动对焦方法测数据传输装置和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60263912A (ja) 1984-06-13 1985-12-27 Canon Inc カメラの焦点検出装置
US5170202A (en) 1990-07-03 1992-12-08 Eastman Kodak Company Contrast-based autofocus mechanism
US5790710A (en) 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
US5970710A (en) 1996-05-20 1999-10-26 Lucas Varity Public Limited Company Master cylinder for a vehicle hydraulic braking system
US7538813B2 (en) 2005-05-11 2009-05-26 Sony Ericsson Mobile Communications Ab Digital cameras with triangulation autofocus systems and related methods
JP5050928B2 (ja) 2008-02-28 2012-10-17 ソニー株式会社 撮像装置および撮像素子
JP5672688B2 (ja) 2009-10-23 2015-02-18 ソニー株式会社 合焦装置、合焦方法、合焦プログラム及び顕微鏡

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08201680A (ja) * 1995-01-30 1996-08-09 Nikon Corp オートフォーカス装置
JPH0980301A (ja) * 1995-09-12 1997-03-28 Nikon Corp オートフォーカス装置
JPH11167060A (ja) * 1997-12-03 1999-06-22 Nikon Corp 合焦検出装置及び方法
CN102273190A (zh) * 2008-10-31 2011-12-07 惠普开发有限公司 适合于选择聚焦设置的方法和数字成像设备
CN105607218A (zh) * 2015-08-24 2016-05-25 闽南师范大学 一种基于模糊熵的影像自动对焦方法测数据传输装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MANUEL GUIZAR-SICAIROS: "Efficient subpixel image registration algorithms", 《OPTICAL LETTERS》 *

Also Published As

Publication number Publication date
IT201600132604A1 (it) 2018-06-30
WO2018122093A1 (en) 2018-07-05
JP2020503565A (ja) 2020-01-30
EP3563188C0 (en) 2024-04-24
US20190339504A1 (en) 2019-11-07
EP3563188B1 (en) 2024-04-24
EP3563188A1 (en) 2019-11-06
US11237375B2 (en) 2022-02-01

Similar Documents

Publication Publication Date Title
JP6087993B2 (ja) イメージ走査のための方法及び装置
JP4984491B2 (ja) 焦点検出装置および光学システム
EP3070507B1 (en) Endoscope imaging device
JP5869883B2 (ja) 画像処理装置
JP5229541B2 (ja) 距離測定装置、距離測定方法、及び、プログラム
CN103038692A (zh) 基于差分测量的自动聚焦
US10458785B2 (en) Sample shape measuring method and sample shape measuring apparatus
WO2011145016A1 (en) Autofocus imaging
CN112019719B (zh) 基于光学分幅光场相机的高分辨率光场系统和成像方法
TWI411860B (zh) 聚焦定位判定方法
CN107402447B (zh) 具有pd图像处理功能的液晶自适应光学系统的设计
US11347133B2 (en) Image capturing apparatus, image processing apparatus, control method, and storage medium
US11004229B2 (en) Image measurement device, image measurement method, imaging device
CN110121669A (zh) 用于测量光学仪器的聚焦状态的系统和方法
JP2015197421A (ja) 三次元形状計測システムに用いられる投影装置および撮像装置
TWI357973B (en) Apparatus and method for simulataneous confocal fu
JP5224976B2 (ja) 画像補正装置、および、画像補正方法、および、プログラム、および、記録媒体
US11997247B2 (en) Three-dimensional space camera and photographing method therefor
JP4651550B2 (ja) 三次元座標計測装置および方法
CN107490882B (zh) 具有pd图像处理功能的液晶自适应光学系统
JP2011182041A (ja) 撮像装置
CN111442757A (zh) 基于色散透镜与滤光片的视觉测距系统及测距方法
CN109470147A (zh) 自适应高分辨力立体视觉系统与测量方法
KR102484708B1 (ko) 다파장 광원 기반 3차원 영상의 보정방법
US20230280575A1 (en) Microscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190813

WD01 Invention patent application deemed withdrawn after publication