CN108369332A - 显微镜观察系统、显微镜观察方法和显微镜观察程序 - Google Patents

显微镜观察系统、显微镜观察方法和显微镜观察程序 Download PDF

Info

Publication number
CN108369332A
CN108369332A CN201580085201.9A CN201580085201A CN108369332A CN 108369332 A CN108369332 A CN 108369332A CN 201580085201 A CN201580085201 A CN 201580085201A CN 108369332 A CN108369332 A CN 108369332A
Authority
CN
China
Prior art keywords
image
focus
shift amount
pan focus
pan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580085201.9A
Other languages
English (en)
Inventor
阿部洋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN108369332A publication Critical patent/CN108369332A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

本发明的显微镜观察系统具有：摄像部，其拍摄由显微镜的观察光学系统生成的被摄体像而取得图像；移位单元，其使观察光学系统的焦点面和视野的位置移位；摄像控制部，其在摄像部的1个曝光期间中使焦点面和视野的位置移位，由此，使摄像部取得多重焦点重叠图像，该多重焦点重叠图像包含观察光学系统的光轴方向的多个面中的图像信息；移位量取得处理部，其取得使视野的位置移位的移位量；全焦点图像生成部，其根据移位量不同的多个条件下分别取得的多个多重焦点重叠图像和与移位量对应的图像的模糊信息，分别生成多个全焦点图像；以及显示部，其连续显示全焦点图像生成部生成的多个全焦点图像。

Description

显微镜观察系统、显微镜观察方法和显微镜观察程序
技术领域
本发明涉及经由显微镜装置中取得的图像对被摄体进行观察的显微镜观察系统、显微镜观察方法和显微镜观察程序。
背景技术
存在如下的用户需求：在使用工业用显微镜观察线等具有高低差的被摄体时、或使用焦点深度为数十μm级别的生物显微镜观察细胞核或干细胞等具有厚度的被摄体时，希望迅速确定沿着观察光学系统的光轴的进深方向(Z方向)上存在的关注部位。针对这种需求，存在如下方法：沿着光轴偏移观察光学系统的焦点面并依次进行摄像，由此取得焦点面不同的多个图像，三维配置该多个图像并进行显示。通过这种三维显示，能够从任意方向观察三维信息，确认关注部位的位置。将这样取得的焦点面不同的多个图像统一称为Z堆叠(stack)图像。
另一方面，如透明被摄体或具有高低差的被摄体那样在进深方向上存在多个合焦构造的情况下，在现有的三维显示中，产生观察方向的近前存在的其他构造或非焦点位置的模糊遮挡位于背后的构造的状态(遮挡(occlusion))，因此，出现无法直接(直观)观看构造的区域。在产生了遮挡的情况下，必须找到在存在希望观察的构造的位置处拍摄的图像并进行二维确认。除此之外，还存在仅显示在进深方向上具有最大亮度的构造来确认三维位置的方法，但是，存在无法再现不具有最大亮度的构造这样的问题。
因此，有时使用如下方法：根据Z堆叠图像生成全焦点图像，由此，在确认存在二维上重合的构造和XY位置后，在进深方向上进行搜索。作为全焦点图像的生成方法，存在对重叠Z堆叠图像而合成的多重焦点重叠图像进行复原的方法、提取各Z堆叠图像内的合焦点区域并进行合成的方法。这种全焦点图像对于进深方向上存在的多个构造配置的筛选是有用的。
例如，在专利文献1中公开了如下方法：使用用户接口从根据Z堆叠图像生成的全焦点图像中选择希望观察的区域，根据合焦度而提取合焦的Z堆叠图像并进行显示。
并且，在专利文献2中公开了如下方法：在Z堆叠图像内计算合焦度，根据进深方向的合焦度选择提取候选，进行与合焦度对应的加权并进行合成。在专利文献2中，能够在各XY位置根据合焦峰值生成深度图，能够通过该深度图得知合焦峰值的Z位置。
并且，在专利文献3中公开了如下技术：取得分别合焦于被摄体的近端侧和远端侧的2个图像、以及使图像传感器从被摄体的近端侧向远端侧扫描并进行摄像而生成的全焦点图像，利用全焦点图像对分别合焦于近端侧和远端侧的图像进行复原，由此计算图像内的部分区域中的模糊量，由此，取得从光学系统到被摄体的距离，生成距离图。
现有技术文献
专利文献
专利文献1：日本特开2014-21490号公报
专利文献2：日本特开2014-21489号公报
专利文献3：国际公开第2011/158498号
发明内容
发明要解决的课题
但是，在专利文献1公开的技术中，针对全焦点图像内的区域选择最合焦的Z堆叠图像，因此，无法对应于进深方向上重合的构造。并且，在专利文献2公开的技术中，全焦点图像自身不具有进深的位置信息，因此，无法直接(直观)地确认进深方向上重合的构造的前后关系。
这里，在通过全焦点图像观察活体等中看到的透明被摄体的情况下，当在进深方向上存在多个构造时，当分别合焦于这些构造时，很难掌握各构造的进深方向上的位置。并且，在进深方向上重合有多个构造的情况下，也很难掌握这些构造彼此的前后关系、即进深方向上的位置关系。进而，还存在如下问题：Z堆叠图像在摄像方面花费时间，而且，应该存储的数据量和图像处理中的运算量庞大。
关于这种问题，在上述专利文献2、3中，通过生成深度图或距离图，能够在视觉上掌握图像中拍到的构造的Z位置。但是，在深度图或距离图中，无法在视觉上再现进深方向上的构造彼此的前后关系(合焦位置)，用户很难根据深度图或距离图直接(直观)地掌握重合的构造的相对位置关系。
本发明是鉴于上述情况而完成的，其目的在于，提供如下的显微镜观察系统、显微镜观察方法和显微镜观察程序：与以往相比，能够在短时间内生成用户能够在视觉上直观地掌握图像中拍到的构造在Z方向上的位置和构造彼此的前后关系的视觉辨认性较高的图像，并且，与以往相比，能够抑制数据量和图像处理中的运算量。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的显微镜观察系统的特征在于，所述显微镜观察系统具有：摄像部，其拍摄由显微镜的观察光学系统生成的被摄体像而取得图像；移位单元，其使所述观察光学系统的焦点面和视野的位置移位；摄像控制部，其在所述摄像部的1个曝光期间中使所述焦点面和所述视野的位置移位，由此，使所述摄像部取得多重焦点重叠图像，该多重焦点重叠图像包含所述观察光学系统的光轴方向的多个面中的图像信息；移位量取得处理部，其取得使所述视野的位置移位的移位量；全焦点图像生成部，其根据所述移位量不同的多个条件下分别取得的多个多重焦点重叠图像和与所述移位量对应的图像的模糊信息，分别生成多个全焦点图像；以及显示部，其连续显示所述全焦点图像生成部生成的所述多个全焦点图像。
在上述显微镜观察系统中，其特征在于，所述摄像控制部根据所述移位量取得处理部取得的所述移位量，决定取得所述多个多重焦点重叠图像中的各个多重焦点重叠图像时的摄像开始位置。
在上述显微镜观察系统中，其特征在于，所述显微镜观察系统还具有：观察区域决定处理部，其根据从外部进行的操作，将从所述多个全焦点图像中的任意全焦点图像中选择出的区域决定为观察区域；以及关注切片取得部，其从被选择出所述观察区域的全焦点图像以外的全焦点图像中提取与所述观察区域对应的区域，并且，根据被选择出所述观察区域的全焦点图像中的所述观察区域的位置与被提取出所述区域的全焦点图像中的所述区域的位置之间的移位量，取得包含与所述观察区域对应的被摄体内的构造的切片的位置。
在上述显微镜观察系统中，其特征在于，所述模糊信息是使用所述移位量和表示所述图像的模糊的点扩散函数生成的信息。
在上述显微镜观察系统中，其特征在于，所述摄像控制部使所述摄像部以相同移位量取得所述多重焦点重叠图像的多个面中的图像信息。
本发明的显微镜观察方法通过摄像部拍摄由显微镜的观察光学系统生成的被摄体像而取得图像，其特征在于，所述显微镜观察方法包含以下步骤：摄像步骤，在所述摄像部的1个曝光期间中使所述观察光学系统的焦点面和视野的位置移位，由此取得多重焦点重叠图像，该多重焦点重叠图像包含所述观察光学系统的光轴方向的多个面中的图像信息；全焦点图像生成步骤，根据移位量不同的多个条件下分别取得的多个多重焦点重叠图像和与所述移位量对应的图像的模糊信息，分别生成多个全焦点图像，其中所述移位量是使所述视野的位置移位的移位量；以及显示步骤，连续显示所述全焦点图像生成部生成的所述多个全焦点图像。
本发明的显微镜观察程序通过摄像部拍摄由显微镜的观察光学系统生成的被摄体像而取得图像，其特征在于，所述显微镜观察程序使计算机执行以下步骤：摄像步骤，在所述摄像部的1个曝光期间中使所述观察光学系统的焦点面和视野的位置移位，由此取得多重焦点重叠图像，该多重焦点重叠图像包含所述观察光学系统的光轴方向的多个面中的图像信息；全焦点图像生成步骤，根据移位量不同的多个条件下分别取得的多个多重焦点重叠图像和与所述移位量对应的图像的模糊信息，分别生成多个全焦点图像，其中所述移位量是使所述视野的位置移位的移位量；以及显示步骤，连续显示所述全焦点图像生成步骤中生成的所述多个全焦点图像。
发明效果
根据本发明，发挥如下效果：与以往相比，能够在短时间内生成用户能够在视觉上直观地掌握图像中拍到的构造在Z方向上的位置和构造彼此的前后关系的视觉辨认性较高的图像，并且，与以往相比，能够抑制数据量和图像处理中的运算量。
附图说明
图1是示出本发明的实施方式1的显微镜观察系统的结构例的框图。
图2是示出图1所示的显微镜装置的结构例的示意图。
图3是示出图1所示的显微镜观察系统的动作的流程图。
图4是用于说明多个多重焦点重叠图像的取得处理的示意图。
图5是示出多个全焦点图像的生成处理的详细情况的流程图。
图6是用于说明多重焦点重叠图像的取得处理中的图像取得的设定画面的示意图。
图7是示出图1所示的显示装置中显示的全焦点图像的一例的图。
图8是示出图1所示的显示装置中显示的全焦点图像的一例的图。
图9是示出图1所示的显示装置中显示的全焦点图像的一例的图。
图10是示出图1所示的显示装置中显示的全焦点图像的一例的图。
图11是示出图1所示的显示装置中显示的全焦点图像的一例的图。
图12是用于说明本发明的实施方式1的变形例1的多重焦点重叠图像的取得方法的示意图。
图13是用于说明本发明的实施方式1的变形例1的多重焦点重叠图像的取得方法的示意图。
图14是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图15是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图16是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图17是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图18是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图19是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图20是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图21是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图22是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图23是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图24是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图25是示出本发明的实施方式1的变形例3中使显示装置显示的全焦点图像的一例的图。
图26是用于说明本发明的实施方式1的变形例4的多重焦点重叠图像的取得方法.的示意图。
图27是用于说明本发明的实施方式1的变形例4的多重焦点重叠图像的取得方法.的示意图。
图28是示出本发明的实施方式2的显微镜观察系统的结构例的框图。
图29是示出图28所示的显微镜观察系统的动作的流程图。
图30是示出多个多重焦点重叠图像的示意图。
图31是示出观察区域的选择方法的一例的示意图。
图32是用于说明全焦点图像中的观察区域指定处理中的设定画面的示意图。
图33是用于说明全焦点图像中的观察区域指定处理中的设定画面的示意图。
图34是用于说明全焦点图像中的观察区域指定处理中的设定画面的示意图。
图35是用于说明本发明的实施方式2的多重焦点重叠图像的取得方法的示意图。
图36是示出观察区域的Z位置信息的取得处理的详细情况的流程图。
图37是用于说明本发明的实施方式2的变形例的多重焦点重叠图像的取得处理的示意图。
图38是用于说明本发明的实施方式3的多重焦点重叠图像的取得处理中的图像取得的设定画面的示意图。
具体实施方式
下面，参照附图对本发明的显微镜观察系统、显微镜观察方法和显微镜观察程序的实施方式进行详细说明。另外，本发明不由这些实施方式进行限定。并且，在各附图的记载中，对相同部分标注相同标号进行表示。
(实施方式1)
图1是示出本发明的实施方式1的显微镜观察系统的结构例的框图。如图1所示，实施方式1的显微镜观察系统1具有生成被摄体像的显微镜装置10、取得该显微镜装置10生成的放大像的图像并进行处理的摄像装置20、以及显示摄像装置20处理后的图像的显示装置30。
图2是示出显微镜装置10的结构例的示意图。如图2所示，显微镜装置10具有大致C字形的臂100、经由三眼镜筒单元101支承在该臂100上的镜筒102和目镜单元103、设置在臂100上的落射照明单元110和透射照明单元120、包含载置有被摄体S的载物台131的电动载物台单元130、以及物镜140，该物镜140经由三眼镜筒单元101以与载物台131对置的方式设置在镜筒102的一端侧并使来自被摄体S的观察光成像的物镜140。该物镜140、经由三眼镜筒单元101连接的镜筒102、设置在该镜筒102的另一端侧的摄像部211(后述)构成观察光学系统(摄像光学系统)104。
三眼镜筒单元101使从物镜140入射的观察光向用于供用户直接观察被摄体S的目镜单元103和后述摄像部211的方向进行分支。
落射照明单元110具有落射照明用光源111和落射照明光学系统112，对被摄体S照射落射照明光。落射照明光学系统112包含使从落射照明用光源111出射的照明光会聚并向观察光学系统104的光轴L的方向进行引导的各种光学部件，具体而言为滤波器单元、快门、视野光圈、开口光圈等。
透射照明单元120具有透射照明用光源121和透射照明光学系统122，对被摄体S照射透射照明光。透射照明光学系统122包含使从透射照明用光源121出射的照明光会聚并向光轴L的方向进行引导的各种光学部件，具体而言为滤波器单元、快门、视野光圈、开口光圈等。
根据检镜法选择这些落射照明单元110和透射照明单元120中的任意一方进行使用。另外，也可以在显微镜装置10中仅设置落射照明单元110和透射照明单元120中的任意一方。
电动载物台单元130具有载物台131、使该载物台131移动的载物台驱动部132、位置检测部133。载物台驱动部132例如由马达构成。载物台131的被摄体载置面131a设置成与物镜140的光轴垂直。下面，设被摄体载置面131a为XY平面，设该XY平面的法线方向、即与光轴平行的方向为Z方向。在Z方向上，设附图的下方向、即载物台131(被摄体载置面131a)远离物镜140的方向为正方向。
通过使载物台131在XY平面内移动，能够使物镜140的视野的位置移位。并且，通过使载物台131在Z方向上移动，能够使物镜140的焦点面沿着光轴L移位。即，电动载物台单元130是在后述摄像控制部22的控制下使载物台131移动、从而使焦点面和视野的位置移位的移位单元。
另外，在图2中，构成为在使焦点面和视野的位置移位时，固定包含镜筒102～物镜140的观察光学系统104的位置，使载物台131侧移动，但是，也可以固定载物台131的位置，使观察光学系统104侧移动。或者，可以使载物台131和观察光学系统104双方相互向相反方向移动。即，构成为观察光学系统104和被摄体S能够相对移动即可，可以是任意结构。并且，焦点面的移位也可以通过观察光学系统104的Z方向上的移动来实现，视野V的位置的移位也可以通过载物台131的XY平面中的移动来实现。
位置检测部133例如通过检测由马达构成的载物台驱动部132的旋转量的编码器构成，检测载物台131的位置并输出检测信号。另外，代替载物台驱动部132和位置检测部133，也可以设置根据后述摄像控制部22的控制而产生脉冲的脉冲产生部和步进马达。
物镜140安装在能够保持倍率相互不同的多个物镜(例如物镜140、141)的旋转器(revolver)142上。使旋转器142旋转，变更与载物台131对置的物镜140、141，由此能够使摄像倍率变化。另外，图2示出物镜140与载物台131对置的状态。
再次参照图1，摄像装置20具有：图像取得部21，其对由显微镜装置10的观察光学系统104生成的被摄体像进行摄像，由此取得图像；摄像控制部22，其对该图像取得部21的摄像动作进行控制；控制部23，其对该摄像装置20中的各种动作进行控制，并且对图像取得部21取得的图像进行处理；存储部24，其存储图像取得部21取得的图像的图像数据和控制程序等各种信息；输入部25，其用于输入针对该摄像装置20的指示和信息；以及输出部26，其将基于存储部24中存储的图像数据的图像和其他各种信息输出到外部设备。
图像取得部21具有摄像部211和存储器212。摄像部211例如照相机构成，该照相机具有由CCD或CMOS等构成的摄像元件(成像器)211a，能够拍摄在摄像元件211a所具有的各像素中具有R(红)、G(绿)、B(蓝)各段的像素电平(像素值)的彩色图像。或者，也可以使用如下的照相机构成摄像部211，该照相机能够拍摄输出亮度值Y作为各像素中的像素电平(像素值)的单色图像。
如图2所示，摄像部211以使光轴L穿过摄像元件211a的受光面的中心的方式设置在镜筒102的一端，对经由包含物镜140～镜筒102的观察光学系统104入射到受光面的观察光进行光电转换，由此生成进入物镜140的视野的被摄体像的图像数据。
存储器212例如由能够进行更新记录的闪存、RAM、ROM这样的半导体存储器等记录装置构成，暂时存储摄像部211生成的图像数据。
摄像控制部22进行如下控制：在摄像部211的1个曝光期间中，向显微镜装置10输出控制信号而使载物台131移动，由此使物镜140的焦点面或视野的位置移位，由此，取得包含观察光学系统104的光轴L方向的多个面中的图像信息在内的多重焦点重叠图像。
控制部23例如由CPU等硬件构成，通过读入存储部24中存储的程序，从而根据存储部24中存储的各种参数和从输入部25输入的信息等，对摄像装置20和显微镜观察系统1整体的动作进行总括控制。并且，控制部23执行对从图像取得部21输入的图像数据实施规定的图像处理而生成全焦点图像的处理，并且，进行使显示装置30显示所生成的全焦点图像的控制。
详细地讲，控制部23具有：移位量取得处理部231，其取得在取得多重焦点重叠图像时使观察光学系统104的视野的位置移位的移位量；以及全焦点图像生成部232，其使用表示图像的模糊的点扩散函数(Point Spread Function：PSF)对多重焦点重叠图像进行复原，由此生成全焦点图像。
存储部24由能够进行更新记录的闪存、RAM、ROM这样的半导体存储器等记录装置、内置或利用数据通信端子连接的硬盘、MO、CD-R、DVD-R等记录介质和对该记录介质写入信息并读取该记录介质中记录的信息的写入读取装置构成。存储部24具有存储控制部23中的运算中使用的参数的参数存储部241、设定信息存储部242、存储各种程序的程序存储部243。其中，参数存储部241存储在取得多重焦点重叠图像时使视野的位置移位的移位量等参数。并且，程序存储部243存储用于使该摄像装置20执行规定动作的控制程序和图像处理程序等。
输入部25由键盘、各种按钮、各种开关等输入器件、鼠标或触摸面板等指示器件等构成，将基于对这些器件进行的操作的信号输入到控制部23。
输出部26是将基于由图像取得部21取得的图像数据的图像、控制部23中生成的全焦点图像、其他各种信息输出到显示装置30等外部设备并以规定形式进行显示的外部接口。
例如，通过经由外部接口在个人计算机或工作站等通用装置中组合通用数字照相机，能够构成这种摄像装置20。
显示装置30例如由LCD、EL显示器或CRT显示器等构成，显示从输出部26输出的图像和关联信息。另外，在实施方式1中，将显示装置30设置在摄像装置20的外部，但是，也可以设置在摄像装置20的内部。
接着，对显微镜观察系统1的动作进行说明。图3是示出显微镜观察系统1的动作的流程图。
首先，在步骤S10～S16中，图像取得部21取得移位量不同的多个多重焦点重叠图像。图4是用于说明多个多重焦点重叠图像的取得处理的示意图。下面，如图4所示，说明对被摄体S内的厚度D(μm)的范围进行重叠摄像的情况。将该厚度D的范围称为重叠摄像范围。在图4中，将重叠摄像范围分割成多个切片Fj(j＝0～N)进行表示。在实施方式1中，各切片Fj的厚度Δz相当于观察光学系统104的景深。并且，各切片Fj中利用粗线包围的区域是作为摄像对象的观察光学系统104的视野V，与视野V重合示出的箭头表示使焦点面和视野的位置移位的方向。
在步骤S10的处理开始时，如图4的(a)所示，设观察光学系统104的焦点面与用户期望的Z位置即切片F0对齐，视野V与用户期望的XY位置对齐。该位置对齐可以由用户手动进行，也可以通过自动控制来进行。
在步骤S10中，图像取得部21取得移位量零(σ11＝0)的多重焦点重叠图像。详细地讲，如图4的(a)所示，在摄像控制部22的控制下，开始进行摄像部211的曝光，在1个曝光期间中，使观察光学系统104的焦点面向+Z方向移动厚度D的量。由此，取得重叠了切片F0～FN中X位置相同的视野V的像的多重焦点重叠图像SI11。
然后，在步骤S11中，全焦点图像生成部232取得表示各切片Fj的像中的图像模糊的点扩散函数(PSF)信息，生成基于该PSF信息的PSF图像。点扩散函数与显微镜装置10中的物镜140的倍率等摄像条件和切片Fj关联起来而预先存储在参数存储部241中。全焦点图像生成部232根据物镜140的倍率等摄像条件，从参数存储部241中读出与切片Fj对应的点扩散函数，根据点扩散函数计算与视野V的图像内的各像素位置对应的像素值，由此生成每个切片Fj的PSF图像。
在接下来的步骤S12中，全焦点图像生成部232生成与多重焦点重叠图像SI11对应的移位量零的多重焦点重叠PSF图像。详细地讲，在步骤S11中生成的与切片Fj分别对应的多个PSF图像之间，对位置对应的像素彼此的像素值进行相加平均，由此计算多重焦点重叠PSF图像的各像素的像素值。
在步骤S13中，全焦点图像生成部232使用多重焦点重叠PSF图像，对步骤S10中生成的多重焦点重叠图像SI11进行复原。由此，根据移位量零的多重焦点重叠PSF图像生成全焦点图像。
在步骤S10～S13中生成移位量零的全焦点图像后，移位量取得处理部231取得在取得多个多重焦点重叠图像时使用的移位量σi(i＝12，…，n)(步骤S14)。这里，小标i是表示多重焦点重叠图像的取得顺序的变量。这里，如图4的(b)～(e)所示，对取得非零的大小不同的移位量σ12～σ15、即按照σ12<σ13<σ14<σ15的顺序增大的移位量σ12～σ15的多重焦点重叠图像的情况进行说明。
在接下来的步骤S15中，摄像控制部22根据步骤S14中取得的移位量σi设定摄像参数。具体而言，首先，摄像控制部22计算摄像开始位置和使视野V移动到该摄像开始位置的移动距离、移位速度作为摄像参数。
首先，摄像控制部22计算使视野移动到下一个摄像开始位置的移动距离ti＝σi×N。这里，N是重叠摄像范围的厚度D中包含的景深Δz的数量。在显微镜装置10中，该移动距离相当于使用摄像部211的像素间距p、观察倍率M倍使载物台131沿着X方向移动距离σi×N×p/M。
并且，摄像控制部22计算在1个曝光期间中使视野V沿着X方向移位的移位速度vi作为摄像参数。使用1次的曝光期间Ti、摄像部211的像素间距p、数量N和观察倍率M倍，通过下式(1)给出移位速度vi。
vi＝(p×σi/M)/(Ti/N)…(1)
在接下来的步骤S16中，图像取得部21在基于步骤S15中设定的摄像参数的摄像控制部22的控制下，在摄像部211的1个曝光期间中使观察光学系统104的焦点面和视野V的位置移位，并且对被摄体S进行摄像，由此，取得移位量σi的多重焦点重叠图像。
如图4的(b)～图4的(e)所示，首先，使视野V在X方向上移位距离ti(t12，t14)。该位置是下一个多重焦点重叠图像的摄像开始位置。然后，在摄像部211中开始进行曝光，在1个曝光期间中使视野V在X方向上以速度vi移位，并且使焦点面在Z方向上以速度D/Ti移位。由此，取得重叠了各切片F0～FN中的视野V的像的多重焦点重叠图像(多重焦点重叠图像SI12～SI15)。例如，在移位量为σ12的情况下，在1个曝光期间中使视野V在-X方向上以速度v12移位，并且使焦点面在-Z方向上以速度D/T12移位。由此，取得重叠了各切片F0～FN中的视野V的像的多重焦点重叠图像SI12。
这里，使焦点面和视野V的位置移位的方向不限于图4所示的箭头的方向。例如，在取得图4的(a)所示的多重焦点重叠图像SI11时，也可以使焦点面在-Z方向(切片FN→F0)上移位，在取得图4的(b)所示的多重焦点重叠图像SI12时，也可以使焦点面在+Z方向上移位，并且使视野V在+X方向上移位。优选以载物台131的移动次数和移动量尽可能少的方式，设定取得多个多重焦点重叠图像SI12～SI15的顺序和焦点面和视野V的位置的移位方向。
在接着步骤S16的步骤S17中，全焦点图像生成部232根据步骤S16中取得的多个多重焦点重叠图像，生成全焦点图像。
图5是示出全焦点图像的生成处理的详细情况的流程图。在步骤S171中，全焦点图像生成部232取得在生成多重焦点重叠图像SIi时使用的移位量σi，根据该移位量σi使与各切片Fj对应的PSF图像移位。即，与生成多重焦点重叠图像SI11时同样，针对与最上面的切片F0对应的PSF图像，使与其他切片Fj对应的PSF图像以移位量sj＝σi×j进行移位。
在接下来的步骤S172中，全焦点图像生成部232使用步骤S171中的移位处理后的多个PSF图像，生成移位量σi的多重焦点重叠PSF图像PIi。详细地讲，在移位处理后的多个PSF图像之间，对位置对应的像素彼此的像素值进行相加平均，由此，计算多重焦点重叠PSF图像PIi的各像素的像素值。
在步骤S173中，全焦点图像生成部232使用多重焦点重叠PSF图像PIi，对步骤S16中取得的多重焦点重叠图像SIi进行复原。由此，根据多重焦点重叠图像SIi生成全焦点图像AIi。然后，控制部23的动作返回主程序。
在接着步骤S17的步骤S18中，摄像装置20将步骤S17中生成的全焦点图像的图像数据输出到显示装置30，显示该全焦点图像。另外，步骤S13中生成的移位量零的全焦点图像可以在步骤S13之后进行显示，也可以在步骤S18中进行显示。
在接着步骤S18的步骤S19中，控制部23判定变量i是否达到最大值n。在变量i未达到最大值n的情况下(步骤S19：否)，控制部23使变量i增加1(步骤S20)。然后，控制部23的动作返回步骤S14。通过这样反复进行步骤S14～S18，取得移位量σi不同的多个多重焦点重叠图像SIi，使显示装置30依次进行显示。并且，在变量i达到最大值n的情况下(步骤S19：是)，控制部23结束全焦点图像的生成、显示动作。
这里，通过适当设定多重焦点重叠图像SIi的取得顺序、摄像开始位置、对焦点面和视野V的位置的移位方向进行控制的摄像参数，能够抑制载物台131的移动量，缩短总摄像时间，高效地取得多重焦点重叠图像SIi。
具体而言，首先，如图4的(a)所示，在1个曝光期间中使焦点面在+Z方向上移位，由此取得移位量σ11＝0的多重焦点重叠图像SI11。接着，如图4的(b)所示，使摄像开始位置在+X方向上移动距离t12(t12＝σ12×N)后开始进行曝光，一边使焦点面在-Z方向上移位一边使视野V在-X方向上以移位量σ12的步调移位，由此取得多重焦点重叠图像SI12。接着，如图4的(c)所示，在紧前的摄像结束位置处开始进行曝光，一边使焦点面在-Z方向上移位一边使视野V在+X方向上以移位量σ13的步调移位，由此取得多重焦点重叠图像SI13。接着，如图4的(d)所示，使摄像开始位置在+X方向上移动距离t14(t14＝σ14×N-σ13×N)后开始进行曝光，一边使焦点面在-Z方向上移位一边使视野V在-X方向上以移位量σ14的步调移位，由此取得多重焦点重叠图像SI14。进而，如图4的(e)所示，在进前的摄像结束位置处开始进行曝光，一边使焦点面在+Z方向上移位一边使视野V在+X方向上以移位量σ15的步调移位，由此取得多重焦点重叠图像SI15。
这里，可以通过用户设定Z方向的摄像范围、不移位的Z位置、移位量、移位次数等。图6是用于说明多重焦点重叠图像的取得处理中的图像取得的设定画面的示意图。在图6所示的设定画面W1中，例如，显示移位量零的全焦点图像，并且，显示用于设定Z方向的摄像范围、不移位的Z位置、移位量、移位次数的图像。在设定画面W1中，针对各设定参数设定下拉列表，用户从下拉列表中选择期望的数值，由此能够设定上述参数。并且，关于PSF信息，也根据设定画面W1中设定的信息来设定移位信息。
例如，作为Z方向的摄像范围的设定，例如，景深能够选择大、中、小的任意一方。作为不移位的Z位置的设定，例如，能够选择将Z方向固定在远点(Far)侧的位置(固定位置)中的任意一方。作为移位量的设定，例如，移位量能够选择大、中、小的任意一方。作为移位次数的设定，例如，移位次数能够选择20、30、40中的任意一方。
图7是示出显示装置30中显示的全焦点图像的一例的图，是示出移位量零的情况下的全焦点图像AI0的图。图8是示出显示装置30中显示的全焦点图像的一例的图，是示出在+X方向上以移位量σ1(>0)进行了移位的情况下的全焦点图像AI+1的图。图9是示出显示装置30中显示的全焦点图像的一例的图，是示出在+X方向上以移位量σ2(>σ1)进行了移位的情况下的全焦点图像AI+2的图。图10是示出显示装置30中显示的全焦点图像的一例的图，是示出在-X方向上以移位量σ1进行了移位的情况下的全焦点图像AI-1的图。图11是示出显示装置30中显示的全焦点图像的一例的图，是示出在-X方向上以移位量σ2进行了移位的情况下的全焦点图像AI-2的图。全焦点图像AI0相当于上述全焦点图像AI11。显示装置30在相同显示区域中以时间序列依次(连续)显示所生成的多个全焦点图像AI0、AI+1、AI+2、AI-1、AI-2。显示装置30在控制部23的控制下，按照全焦点图像AI0、全焦点图像AI+1、全焦点图像AI+2、全焦点图像AI-1、全焦点图像AI-2的顺序显示全焦点图像。另外，上述全焦点图像是选取了一部分的图像，实际上，在各图像之间存在多个全焦点图像，连续进行显示。
如以上说明的那样，在本发明的实施方式1中，在多个多重焦点重叠图像SIi之间使移位量σi的大小变化，因此，虚拟地再现从更宽范围的多个方向观察被摄体S的状态，能够作为全焦点图像而连续显示在显示装置30中。因此，用户能够直观且实时地掌握被摄体S内的构造的Z方向上的位置、构造彼此的重合情况和前后关系。
并且，根据上述实施方式1，在1个曝光期间中使焦点面移动来进行摄像，由此取得多重焦点重叠图像，因此，与通过多次摄像取得Z堆叠图像、对该Z堆叠图像进行相加平均来取得多重焦点重叠图像的情况相比，能够在短时间内进行摄像，并且，能够大幅抑制数据量和图像处理中的运算量。
这些移位量σi可以是预先设定的量，也可以根据基于用户操作而从输入部25输入的信息来取得。在根据用户操作来决定移位量σi的情况下，输入使用户的视线相对于被摄体S的正上方方向倾斜时的角度。该情况下，当设摄像部211的像素间距为p(μm/像素)、所输入的角度为θi时，使用摄像部211的像素间距p、从物镜140到被摄体S内的各深度的距离Z(近似值)，通过下式(2)给出移位量σi(像素)。
σi＝(Z/tanθi)/p…(2)
在式(2)中，距离Z能够通过从物镜140到被摄体S内的各深度的距离来近似。
另外，在上述实施方式1中，在取得移位量不同的多个多重焦点重叠图像的处理中，最初进行移位量为零(σ11＝0)的处理，但是，也可以构成为依次改变移位量而在中途取得移位量零的图像。并且，在上述实施方式1中，设为移位量包含零(σ11＝0)(步骤S10～S13)来进行说明，但是不限于此，移位量也可以不包含零。该情况下，通过进行步骤S14～S20的处理，能够生成全焦点图像并进行显示。因此，在移位量不包含零的情况下(σ≠0)，也能够得到上述效果。
(实施方式1的变形例1)
接着，对本发明的实施方式1的变形例1进行说明。图12和图13是用于说明变形例1的多重焦点重叠图像的取得方法的示意图。
在上述实施方式1中，使观察光学系统104的光轴与载物台131垂直，在取得移位量σi的多重焦点重叠图像SIi时，使载物台131在Z方向和X方向上移动并进行摄像。但是，也可以预先使观察光学系统104的光轴相对于载物台131倾斜来进行摄像。
例如如图12所示，水平设置载物台131的被摄体载置面131a，使观察光学系统104的光轴L相对于该被摄体载置面131a的法线倾斜角度α。由此，摄像部211的焦点面Pf相对于被摄体载置面131a倾斜角度α。该情况下，通过使观察光学系统104沿着光轴L向接近被摄体载置面131a的方向移动，焦点面Pf相对于被摄体S在+Z方向上移动，并且，视野在+X方向上移位。即，不需要进行使观察光学系统104二维移动的控制，能够简化针对观察光学系统104的驱动控制。
或者，如图13所示，水平设置载物台131的被摄体载置面131a，并且，使观察光学系统104的光轴L相对于该被摄体载置面131a垂直来进行设置。而且，将相对于底面具有角度α的斜面的基座161设置在载物台131上。通过在该基座161的斜面161a上载置被摄体S，摄像部211的焦点面Pf相对于斜面161a倾斜角度α。该情况下，通过使载物台131在-Z方向上移动、或使观察光学系统104在+Z方向上移动，相对于被摄体S的焦点面Pf在+Z方向上移动，并且，视野在+X方向上移位。该情况下，不需要进行使载物台131或观察光学系统104二维移动的控制，能够简化针对载物台131或观察光学系统104的驱动控制。
这样，在使焦点面Pf相对于被摄体S倾斜的情况下，如下进行各种摄像参数的设定。当设多重焦点重叠图像SIi中的相邻切片间的移位量为σi(像素)、摄像部211的像素间距为p(μm/像素)、厚度D的重叠摄像范围中包含的景深Δz的数量为N(N＝D/Δz)、观察倍率为M倍时，通过下式(3)给出角度αi。
αi＝tan-1{(p×σi×N/M)/D}…(3)
移位量取得处理部231根据移位量σi计算角度αi并进行输出。摄像控制部22根据该角度αi，如图12所示，进行使观察光学系统104相对于被摄体载置面131a的焦点面Pf倾斜角度αi的控制。
或者，如图13所示，在设置基座161的情况下，用户使用输入部25输入斜面161a相对于被摄体载置面131a的角度α。该情况下，移位量取得处理部231根据式(3)计算与角度α对应的移位量σ，摄像控制部22根据该移位量σ计算各种控制参数。
(实施方式1的变形例2)
接着，对本发明的实施方式1的变形例2进行说明。在上述实施方式1中，在摄像部211的1个曝光期间中，在打开快门的状态下使焦点面和视野V的位置连续移位，由此取得多重焦点重叠图像。但是，也可以在1个曝光期间中，使遮挡针对摄像部211的光的入射的快门以规定周期进行开闭，在快门闭合的期间内使焦点面和视野V的位置阶段性地移位。
根据摄像部211中的一次的曝光期间和快门速度等，适当设定在1个曝光期间中使快门进行开闭的次数、即针对摄像部211露出被摄体S的次数、或使焦点面和视野V的位置移位的次数、每一次的焦点面和视野V的位置的移位量。
例如，在取得图4的(a)所示的移位量零的多重焦点重叠图像SI11时，在快门打开的期间内，使焦点面以规定的重叠摄像范围、具体而言为景深的多倍(k×Δz、k为自然数)进行移动。并且，在取得图4的(b)所示的移位量σi的多重焦点重叠图像SIi时，在快门打开的期间内，使焦点面以规定的重叠摄像范围、具体而言为景深的多倍(k×Δz)进行移动，并且使视野V的位置以移位量σi的多倍(k×σi)进行移位。
该情况下，在图3的步骤S11中，生成与从快门打开起到闭合为止的多个切片对应的PSF图像。并且，在图5的步骤S171中，根据与快门的开闭周期对应的视野V的位置的移位量，使PSF图像进行移位。步骤S12、S172、S173中的处理与上述实施方式1相同。
(实施方式1的变形例3)
接着，对本发明的实施方式1的变形例3进行说明。在上述实施方式1中，为了便于理解，说明了使观察光学系统104的视野V仅在X方向上移位的情况，但是，Y方向、XY方向也能够进行同样的处理。该情况下，生成相当于使针对被摄体S的假想视点沿着Y方向或XY方向移动的情况的全焦点图像。另外，关于XY方向，沿着垂直的2个方向分别生成全焦点图像。并且，能够生成相当于通过使观察光学系统104的视野V在X方向、Y方向和XY方向这4个方向上移位、而使针对被摄体S的假想视点在水平面内移动的情况的全焦点图像。
图14～图25是示出相对于上述移位量零的全焦点图像AI0(＝全焦点图像AI11)而沿着Y方向或XY方向移动的情况下的全焦点图像的一例的图。图14是示出显示装置30中显示的全焦点图像的一例的图，是示出在+Y方向上以移位量σ21(>0)进行了移位的情况下的全焦点图像AI+21的图。图15是示出显示装置30中显示的全焦点图像的一例的图，是示出在+Y方向上以移位量σ22(>σ21)进行了移位的情况下的全焦点图像AI+22的图。图16是示出显示装置30中显示的全焦点图像的一例的图，是示出在-Y方向上以移位量σ21进行了移位的情况下的全焦点图像AI-21的图。图17是示出显示装置30中显示的全焦点图像的一例的图，是示出在-Y方向上以移位量σ22进行了移位的情况下的全焦点图像AI-22的图。
并且，图18是示出显示装置30中显示的全焦点图像的一例的图，是示出在+X方向和+Y方向上以移位量σ31(>0)进行了移位的情况下的全焦点图像AI+31的图。图19是示出显示装置30中显示的全焦点图像的一例的图，是示出在+X方向和+Y方向上以移位量σ32(>σ31)进行了移位的情况下的全焦点图像AI+32的图。图20是示出显示装置30中显示的全焦点图像的一例的图，是示出在-X方向和-Y方向上以移位量σ31进行了移位的情况下的全焦点图像AI-31的图。图21是示出显示装置30中显示的全焦点图像的一例的图，是示出在-X方向和-Y方向上以移位量σ32进行了移位的情况下的全焦点图像AI-32的图。
并且，图22是示出显示装置30中显示的全焦点图像的一例的图，是示出在-X方向和+Y方向上以移位量σ41(>0)进行了移位的情况下的全焦点图像AI+41的图。图23是示出显示装置30中显示的全焦点图像的一例的图，是示出在-X方向和+Y方向上以移位量σ42(>σ41)进行了移位的情况下的全焦点图像AI+42的图。图24是示出显示装置30中显示的全焦点图像的一例的图，是示出在+X方向和-Y方向上以移位量σ41进行了移位的情况下的全焦点图像AI-41的图。图25是示出显示装置30中显示的全焦点图像的一例的图，是示出在+X方向和-Y方向上以移位量σ42进行了移位的情况下的全焦点图像AI-42的图。另外，移位量σ21、σ22、σ31、σ32、σ41、σ42可以相互相同，也可以不同，也可以是相同移位量和不同移位量的组合。另外，上述全焦点图像是选取了一部分的图像，实际上，在各图像之间存在多个全焦点图像，连续进行显示。
显示装置30在相同显示区域中，除了所生成的多个全焦点图像AI0、AI+1、AI+2、AI-1、AI-2以外，还按时间序列依次(连续)显示全焦点图像AI+21、AI+22、AI-21、AI-22、AI+31、AI+32、AI-31、AI-32、AI+41、AI+42、AI-41、AI-42。这里，通过使镜筒102和载物台131移动或旋转，能够实现XY方向上的移位。
如以上说明的那样，在本变形例3中，在多个多重焦点重叠图像SIi之间使移位量σi的大小变化，进而在XY平面中在不同方向上移位，因此，虚拟地再现从更宽范围的多个方向观察被摄体S的状态，能够作为全焦点图像而连续显示在显示装置30中。因此，用户能够直观且实时地掌握被摄体S内的构造的Z方向上的位置、构造彼此的重合情况和前后关系。
(实施方式1的变形例4)
接着，对本发明的实施方式1的变形例4进行说明。在上述实施方式1中，说明了使观察光学系统104的视野V在预定的方向上移位的情况，但是，也可以通过用户来指示进行移位的方向。图26和图27是用于说明本发明的实施方式1的变形例4的多重焦点重叠图像的取得方法的示意图。
在本变形例4中，根据用户从任意的全焦点图像中指定的方向，连续显示多个视点方向的全焦点图像。方向的指定方法可以是鼠标移动、视线、触摸了画面的手指的移动、空间上的用户动作(手指、手等)等，只要能够确定希望移动的方向即可，可以使用任意的单元。
在用户输入了的要显示的全焦点图像的选择设定时，在显示部23的控制下，显示任意的全焦点图像(例如移位量零的全焦点图像)。用户对鼠标等进行操作，由此，经由输入部25使指针在希望移位的方向上移动。具体而言，在根据指针移动来决定方向的情况下，根据通过鼠标等的操作而使画面内的指针P1移动到指针P2的位置时的轨迹L1取得移动向量Vx、Vy，并设为XY平面位置的移位方向即可。针对实测的Vx、Vy(像素)，根据该Vx和Vy的比率计算方向成分(倾斜成分)，设该成分的方向为移位方向，与实施方式1同样，根据以规定的移位量σi拍摄了移位次数β次的β个多重焦点重叠图像来生成全焦点图像并进行显示。
进而，在通过鼠标等的操作而使画面内的指针P2移动到指针P3的位置时，根据移动的指针的轨迹L2取得移动向量Vx、Vy，并设为XY平面位置的移位方向即可。
并且，这里，记载了仅基于指针的移动方向的全焦点图像显示，但是不限于此，例如，也可以根据Vx、Vy的移动量和规定的移位量σi决定移位次数β。
根据本变形例4，显示与用户操作对应的移位方向的全焦点图像，由此，能够实现自身移动观察被摄体的直观观察。
(实施方式2)
接着，对本发明的实施方式2进行说明。图28是示出本发明的实施方式2的显微镜观察系统的结构例的框图。如图28所示，实施方式2的显微镜观察系统2具有显微镜装置10、取得该显微镜装置10生成的被摄体像的图像并进行处理的摄像装置40、显示摄像装置40处理后的图像等的显示装置50。其中，显微镜装置10的结构和动作与实施方式1相同(参照图2)。
摄像装置40代替图1所示的控制部23而具有控制部41。控制部41相对于控制部23还具有关注切片取得部411。另外，移位量取得处理部231和全焦点图像生成部232的动作与实施方式1相同。
关注切片取得部411从后述显示装置50取得与经由输入部25输入的观察区域对应的包含被摄体S内的构造的切片的Z方向上的位置，决定该切片作为关注切片。
显示装置50例如由LCD、EL显示器或CRT显示器等构成，具有：图像显示部51，其显示从输出部26输出的图像和关联信息；以及观察区域决定部52，其根据从外部进行的操作，决定图像显示部51中显示的全焦点图像内的区域作为观察区域，将表示该观察区域的信号输入到控制部41。
接着，对显微镜观察系统2的动作进行说明。图29是示出显微镜观察系统2的动作的流程图。另外，步骤S10～S20中的动作与实施方式1相同。并且，图30是示出步骤S10中生成的多个多重焦点重叠图像SIi(i＝51～54)的示意图。在实施方式2中，通过对这些多重焦点重叠图像SIi进行复原，分别生成多个全焦点图像AIi，在图像显示部51中依次切换显示。
在步骤S19中，在变量i达到最大值n的情况下(步骤S19：是)，观察区域决定部52判定是否进行了针对图像显示部51中显示的全焦点图像AI51、AI52、AI53、AI54中的任意一方选择任意观察区域的用户操作(步骤S21)。
在未进行用户操作的情况下(步骤S21：否)，显微镜观察系统2的动作返回步骤S12。
另一方面，在进行了用户操作的情况下(步骤S21：是)，观察区域决定部52将通过用户操作而选择出的区域决定为观察区域，将表示该观察区域的信号输入到控制部41(步骤S22)。图31是示出观察区域的选择方法的一例的示意图。例如，如图26所示，通过使用鼠标等的指针操作，指示图像显示部51中显示的全焦点图像内的期望的观察区域R，由此进行观察区域的选择。
这里，例如，有时无法根据移位量为零的全焦点图像确认希望选择的区域。该情况下，也可以将显示切换为进行移位而得到的全焦点图像，由此用户能够确认希望选择的区域。该情况下，设为在各方向上进行移位而得到的全焦点图像存储在存储部24中进行说明。
图32～图34是用于说明全焦点图像中的观察区域指定处理中的设定画面的示意图。在图32所示的设定画面W2中，例如显示移位量零的全焦点图像。在希望选择该全焦点图像中的线Bw的下方作为观察区域的情况下，在移位量零的全焦点图像中，即使配置指针P4，线Bw也成为妨碍，用户无法选择观察区域。此时，用户对鼠标等进行操作，如图33所示，使指针P4移动到表示移位方向的箭头(图32～图34中的空心箭头)，选择希望移位的方向的箭头。在图32～图34中，在设右方向为+X方向、上方向为+Y方向的情况下，例如，如图33所示，能够通过指针P5选择表示-X方向和-Y方向的箭头。
在通过指针P5选择了表示-X方向和-Y方向的箭头的状态下，当通过鼠标的点击等对该箭头进行选择输入后，移位量零的全焦点图像能够切换为在该方向上以规定量进行了移位而得到的全焦点图像。这样，使全焦点图像进行移位，在显示能够确认希望选择的观察区域的全焦点图像后，如图34所示，通过指针P6选择观察区域R。
图35是用于说明本发明的实施方式2的多重焦点重叠图像的取得方法的示意图，是示出上述移位处理后显示的全焦点图像的图。图35所示的移位处理后的全焦点图像与图31所示的全焦点图像相比，线Bw偏移，用户能够从该全焦点图像中选择希望选择的观察区域R并进行指示。
在接下来的步骤S23中，控制部41根据从观察区域决定部52输入的表示观察区域的信息，取得观察区域的Z位置信息。图36是示出观察区域的Z位置信息的取得处理的详细情况的流程图。下面，作为一例，设为决定图30所示的全焦点图像AI54内的区域R54作为观察区域进行说明。
在步骤S231中，关注切片取得部411取得全焦点图像AI54中的观察区域R54的XY位置信息。
在接下来的步骤S232中，关注切片取得部411从全焦点图像AI54以外的各全焦点图像AI51、AI52、AI53中提取与观察区域R54对应的区域R’51、R’52、R’53，取得各区域的XY位置信息。能够使用图案匹配、SAD(Sum of Absolute Difference)的相似度检索等公知的图像识别技术提取区域R’51、R’52、R’53。下面，将这些区域R’51、R’52、R’53称为观察区域。
在接下来的步骤S233中，关注切片取得部411取得全焦点图像AI51、AI52、AI53、AI54之间的观察区域R’51、R’52、R’53、R54的XY位置的移位量。在图30的(a)～(d)的情况下，取得全焦点图像AI51中的观察区域R’51的X位置与全焦点图像AI52中的观察区域R’52的位置之间的移位量、全焦点图像AI52中的观察区域R’52的X位置与全焦点图像AI53中的观察区域R’53的位置之间的移位量和全焦点图像AI53中的观察区域R’53的X位置与全焦点图像AI54中的观察区域R54的位置之间的移位量。
在接下来的步骤S234中，关注切片取得部411根据观察区域R’51、R’52、R’53、R54的移位量，取得包含观察区域R’51、R’52、R’53、R54的切片Fj。
这里，在全焦点图像AIi中的移位量为σi的情况下，通过下式(4)给出各切片Fj中的视野V的位置相对于最上面的切片F0中的视野V的位置的移位量si，j。
si，j＝σi×j…(4)
因此，如果给出观察区域R’51、R’52、R’53、R54之间的移位量|s(i+1)，j-si，j|，则根据下式(5)，能够确定包含该观察区域R’51、R’52、R’53、R54的切片Fj。
|s(i+1)，j-si，j|＝σi+1×j-σi×j
j＝|s(i+1)，j-si，j|/(σi+1-σi)…(5)
例如如图30的(c)、(d)所示，在全焦点图像AI53中的移位量σ53为2像素、全焦点图像AI54中的移位量σ54为3像素、观察区域R’53、R54之间的移位量为2像素时，根据式(5)，j＝2。即，可知观察区域R54包含在切片F2中。
关注切片取得部411输出这样取得的切片Fj作为观察区域的Z位置信息。然后，控制部41的动作返回主程序。
在接着步骤S23的步骤S24中，控制部41根据关注切片取得部411输出的Z位置信息，取得观察区域R54。
在接下来的步骤S25中，摄像控制部22取得以观察区域R54为中心的多重焦点重叠图像。此时，关于移位方向，取得在上述X方向、Y方向和XY方向中的至少一个方向上移位的多重焦点重叠图像。
在接下来的步骤S26中，全焦点图像生成部232根据所取得的多重焦点重叠图像，生成全焦点图像。
在接下来的步骤S27中，控制部41使显示装置50的图像显示部51显示所生成的全焦点图像。然后，显微镜观察系统2的动作结束。
根据以上说明的本发明的实施方式2，用户能够直观地容易地掌握在平面上看上去重合的构造在Z方向上的位置、构造彼此的前后关系。
(实施方式2的变形例)
接着，对本发明的实施方式2的变形例进行说明。在上述实施方式2中，说明了以所取得的观察区域为中心进行拍摄而不改变重叠摄像范围，但是，也可以以观察区域为中心对重叠摄像范围进行变更。
图37是用于说明本发明的实施方式2的变形例的多重焦点重叠图像的取得处理的示意图。例如，如图37的(a)那样，在重叠摄像范围D1内取得多重焦点重叠图像并生成全焦点图像的情况下，选择观察区域R55，如上所述确定观察区域后，如图37的(b)那样，在重叠摄像范围D2(<D1)内进行拍摄，取得多重焦点重叠图像，生成全焦点图像。
作为重叠摄像范围D2，例如，使用基于观察倍率的景深(Depth Of Field：DOF)，以包含观察区域R55的切片Fn为中心，在深度方向的较浅侧和较深侧分别将5DOF的范围设为重叠摄像范围。由此，取得具有包含观察区域R55的切片Fn，以及深度方向较浅侧和较深侧的切片Fn-1、Fn-2、Fn+1、Fn+2的多重焦点重叠图像。
根据本变形例，通过限定拍摄范围，生成在深度方向上限定为包含观察区域的前后切片的全焦点图像，因此，能够生成用户容易对观察区域进行观察的全焦点图像并进行显示。
(实施方式3)
接着，对本发明的实施方式3进行说明。图38是用于说明本发明的实施方式3的多重焦点重叠图像的取得处理中的图像取得的设定画面的示意图。在上述实施方式2中，说明了通过使一个观察区域进行移位来确认观察量，但是，在本实施方式3中，为了确认进深方向(Z方向)上重合的构造，连续显示在不同方向上移位的全焦点图像。
具体而言，如图38所示，当在全焦点图像中选择2个观察区域(观察区域R1、R2)后，与上述实施方式2的步骤S23的处理同样，分别针对观察区域R1、R2取得Z位置信息。然后，将所取得的2个Z位置信息的中央位置设定为移位中心，连续显示在X方向、Y方向和XY方向中的至少一个方向、或预先设定的方向、由用户指定的方向上移位的全焦点图像。
根据以上说明的本发明的实施方式3，在选择了2个观察区域的情况下，将从这2个观察区域中取得的Z位置信息的中间位置作为旋转中心，连续显示在规定方向上移位的全焦点图像，因此，显示为2个观察区域存在于不同位置，由此，用户能够容易地掌握2个观察区域。
以上说明的实施方式1～3和变形例不限于此，通过适当组合各实施方式和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从实施方式所示的全部结构要素中除去若干个结构要素来形成。或者，可以适当组合不同实施方式所示的结构要素来形成。
这样，本发明可以包含这里未记载的各种实施方式等，能够在不脱离权利要求书所记载的技术思想的范围内适当进行设计变更等。
标号说明
1、2：显微镜观察系统；10：显微镜装置；20、40：摄像装置；21：图像取得部；22：摄像控制部；23、41：控制部；24：存储部；25：输入部；26：输出部；30、50：显示装置；51：图像显示部；52：观察区域决定部；100：臂；101：三眼镜筒单元；102：镜筒；103：目镜单元；104：观察光学系统；110：落射照明单元；111：落射照明用光源；112：落射照明光学系统；120：透射照明单元；121：透射照明用光源；122：透射照明光学系统；130：电动载物台单元；131：载物台；132：载物台驱动部；133：位置检测部；140、141：物镜；142：旋转器；161：基座；161a：斜面；211：摄像部；212：存储器；231：移位量取得处理部；232：全焦点图像生成部；241：参数存储部；242：设定信息存储部；243：程序存储部；411：关注切片取得部。

Claims (7)

1.一种显微镜观察系统，其特征在于，所述显微镜观察系统具有：
摄像部，其拍摄由显微镜的观察光学系统生成的被摄体像而取得图像；
移位单元，其使所述观察光学系统的焦点面和视野的位置移位；
摄像控制部，其在所述摄像部的1个曝光期间中使所述焦点面和所述视野的位置移位，由此，使所述摄像部取得多重焦点重叠图像，该多重焦点重叠图像包含所述观察光学系统的光轴方向的多个面中的图像信息；
移位量取得处理部，其取得使所述视野的位置移位的移位量；
全焦点图像生成部，其根据所述移位量不同的多个条件下分别取得的多个多重焦点重叠图像和与所述移位量对应的图像的模糊信息，分别生成多个全焦点图像；以及
显示部，其连续显示所述全焦点图像生成部生成的所述多个全焦点图像。
2.根据权利要求1所述的显微镜观察系统，其特征在于，
所述摄像控制部根据所述移位量取得处理部取得的所述移位量，决定取得所述多个多重焦点重叠图像中的各个多重焦点重叠图像时的摄像开始位置。
3.根据权利要求1所述的显微镜观察系统，其特征在于，
所述显微镜观察系统还具有：
观察区域决定处理部，其根据从外部进行的操作，将从所述多个全焦点图像中的任意全焦点图像中选择出的区域决定为观察区域；以及
关注切片取得部，其从被选择出所述观察区域的全焦点图像以外的全焦点图像中提取与所述观察区域对应的区域，并且，根据被选择出所述观察区域的全焦点图像中的所述观察区域的位置与被提取出所述区域的全焦点图像中的所述区域的位置之间的移位量，取得包含与所述观察区域对应的被摄体内的构造的切片的位置。
4.根据权利要求1所述的显微镜观察系统，其特征在于，
所述模糊信息是使用所述移位量和表示所述图像的模糊的点扩散函数而生成的信息。
5.根据权利要求4所述的显微镜观察系统，其特征在于，
所述摄像控制部使所述摄像部以相同移位量取得所述多重焦点重叠图像的多个面中的图像信息。
6.一种显微镜观察方法，通过摄像部拍摄由显微镜的观察光学系统生成的被摄体像而取得图像，其特征在于，所述显微镜观察方法包含以下步骤：
摄像步骤，在所述摄像部的1个曝光期间中使所述观察光学系统的焦点面和视野的位置移位，由此取得多重焦点重叠图像，该多重焦点重叠图像包含所述观察光学系统的光轴方向的多个面中的图像信息；
全焦点图像生成步骤，根据移位量不同的多个条件下分别取得的多个多重焦点重叠图像和与所述移位量对应的图像的模糊信息，分别生成多个全焦点图像，其中所述移位量是使所述视野的位置移位的移位量；以及
显示步骤，连续显示所述全焦点图像生成步骤中生成的所述多个全焦点图像。
7.一种显微镜观察程序，该显微镜观察程序通过摄像部拍摄由显微镜的观察光学系统生成的被摄体像而取得图像，其特征在于，所述显微镜观察程序使计算机执行以下步骤：
摄像步骤，在所述摄像部的1个曝光期间中使所述观察光学系统的焦点面和视野的位置移位，由此取得多重焦点重叠图像，该多重焦点重叠图像包含所述观察光学系统的光轴方向的多个面中的图像信息；
全焦点图像生成步骤，根据移位量不同的多个条件下分别取得的多个多重焦点重叠图像和与所述移位量对应的图像的模糊信息，分别生成多个全焦点图像，其中所述移位量是使所述视野的位置移位的移位量；以及
显示步骤，连续显示所述全焦点图像生成步骤中生成的所述多个全焦点图像。
CN201580085201.9A 2015-12-08 2015-12-08 显微镜观察系统、显微镜观察方法和显微镜观察程序 Pending CN108369332A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/084448 WO2017098587A1 (ja) 2015-12-08 2015-12-08 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム

Publications (1)

Publication Number Publication Date
CN108369332A true CN108369332A (zh) 2018-08-03

Family

ID=59013929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580085201.9A Pending CN108369332A (zh) 2015-12-08 2015-12-08 显微镜观察系统、显微镜观察方法和显微镜观察程序

Country Status (4)

Country Link
US (1) US10721413B2 (zh)
JP (1) JP6563517B2 (zh)
CN (1) CN108369332A (zh)
WO (1) WO2017098587A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391441A (zh) * 2020-03-12 2021-09-14 平湖莱顿光学仪器制造有限公司 一种用于获取试样的显微图像信息的方法与设备
CN113703149A (zh) * 2020-05-20 2021-11-26 奥林巴斯株式会社 显微镜系统、控制方法、计算机可读介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021256429A1 (ja) * 2020-06-16 2021-12-23 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239507A1 (en) * 2005-04-22 2006-10-26 Leica Microsystems Cms Gmbh Method for determining the lateral offset of an XYZ stage
US7197193B2 (en) * 2002-05-03 2007-03-27 Creatv Microtech, Inc. Apparatus and method for three dimensional image reconstruction
CN101753775A (zh) * 2008-12-12 2010-06-23 株式会社其恩斯 成像装置
US20140022236A1 (en) * 2012-07-19 2014-01-23 Sony Corporation Method and apparatus for navigating stacked microscopy images
EP2926558A2 (en) * 2012-11-30 2015-10-07 L & T Technology Services Limited A method and system for extended depth of field calculation for microscopic images

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5161052B2 (ja) * 2008-12-04 2013-03-13 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
EP1410004A2 (en) * 2000-11-17 2004-04-21 Molecular Diagnostics, Inc. Evaluation of microscope slides
US20040131348A1 (en) * 2001-03-30 2004-07-08 Kohtaro Ohba Real-time omnifocus microscope camera
US7596249B2 (en) * 2002-02-22 2009-09-29 Olympus America Inc. Focusable virtual microscopy apparatus and method
AU2003226336A1 (en) * 2002-04-09 2003-10-27 University Of Iowa Research Foundation Reconstruction and motion analysis of an embryo
DE10217404A1 (de) * 2002-04-18 2003-11-06 Leica Microsystems Autofokusverfahren für ein Mikroskop und System zum Einstellen des Fokus für ein Mikroskop
JP3867143B2 (ja) * 2003-06-25 2007-01-10 独立行政法人産業技術総合研究所 三次元顕微鏡システムおよび画像表示方法
EP1533751B1 (en) * 2003-11-10 2008-02-13 Leica Microsystems CMS GmbH A method for correcting distortions in multi-focus image stacks
JP4673000B2 (ja) * 2004-05-21 2011-04-20 株式会社キーエンス 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP4970869B2 (ja) * 2005-09-12 2012-07-11 オリンパス株式会社 観察装置および観察方法
JP5112832B2 (ja) * 2006-12-11 2013-01-09 オリンパス株式会社 顕微鏡対物レンズ及びそれを用いた蛍光観察装置
JP5499732B2 (ja) * 2009-06-23 2014-05-21 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
CN102472619B (zh) 2010-06-15 2014-12-31 松下电器产业株式会社 摄像装置及摄像方法
JP5655557B2 (ja) * 2010-07-12 2015-01-21 ソニー株式会社 顕微鏡制御装置、画像表示装置、画像管理サーバ、合焦位置情報生成方法、画像表示方法、画像管理方法及び顕微鏡画像管理システム
JP5675419B2 (ja) * 2011-02-18 2015-02-25 キヤノン株式会社 画像生成装置、及び、画像生成方法
JP6136085B2 (ja) * 2011-10-05 2017-05-31 ソニー株式会社 画像取得装置、画像取得方法、およびコンピュータプログラム
JP6106956B2 (ja) * 2012-05-31 2017-04-05 株式会社ニコン 顕微鏡装置
US8988520B2 (en) 2012-07-19 2015-03-24 Sony Corporation Method and apparatus for improving depth of field (DOF) in microscopy
JP2014026233A (ja) * 2012-07-30 2014-02-06 Olympus Corp 撮像システム
JP2015057682A (ja) * 2013-08-12 2015-03-26 キヤノン株式会社 画像生成装置および画像生成方法
US9881373B2 (en) 2012-12-07 2018-01-30 Canon Kabushiki Kaisha Image generating apparatus and image generating method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7197193B2 (en) * 2002-05-03 2007-03-27 Creatv Microtech, Inc. Apparatus and method for three dimensional image reconstruction
US20060239507A1 (en) * 2005-04-22 2006-10-26 Leica Microsystems Cms Gmbh Method for determining the lateral offset of an XYZ stage
CN101753775A (zh) * 2008-12-12 2010-06-23 株式会社其恩斯 成像装置
US20140022236A1 (en) * 2012-07-19 2014-01-23 Sony Corporation Method and apparatus for navigating stacked microscopy images
EP2926558A2 (en) * 2012-11-30 2015-10-07 L & T Technology Services Limited A method and system for extended depth of field calculation for microscopic images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391441A (zh) * 2020-03-12 2021-09-14 平湖莱顿光学仪器制造有限公司 一种用于获取试样的显微图像信息的方法与设备
CN113391441B (zh) * 2020-03-12 2024-02-02 平湖莱顿光学仪器制造有限公司 一种用于获取试样的显微图像信息的方法与设备
CN113703149A (zh) * 2020-05-20 2021-11-26 奥林巴斯株式会社 显微镜系统、控制方法、计算机可读介质

Also Published As

Publication number Publication date
JP6563517B2 (ja) 2019-08-21
US10721413B2 (en) 2020-07-21
US20180278826A1 (en) 2018-09-27
WO2017098587A1 (ja) 2017-06-15
JPWO2017098587A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
US11594024B2 (en) Augmented reality microscope for pathology
JP4901201B2 (ja) 眼底画像処理方法及び装置
CN102662229B (zh) 具有触摸屏的显微镜
JP4970869B2 (ja) 観察装置および観察方法
JP4462959B2 (ja) 顕微鏡画像撮影システム及び方法
JP2019532352A (ja) 組織標本の組織学的検査のためのシステム
CN102959941A (zh) 信息处理系统、信息处理装置及信息处理方法
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
CN106104356B (zh) 具有孔径相关的共聚焦显微镜
WO2019181053A1 (ja) デフォーカス量測定装置、方法およびプログラム、並びに判別器
EP2804039A1 (en) Microscope system and method for deciding stitched area
CN105004723A (zh) 病理切片扫描3d成像与融合装置及方法
CN104025150A (zh) 图像处理装置、图像显示系统、图像处理方法和图像处理程序
JP4878815B2 (ja) 顕微鏡装置
CN108369332A (zh) 显微镜观察系统、显微镜观察方法和显微镜观察程序
JP2013044967A (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
US11803101B2 (en) Method for setting the focus of a film camera
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
KR100897674B1 (ko) 표본 검사 시스템 및 표본 검사 방법
US20200112673A1 (en) Control device, control method, and program
JP2005266718A (ja) 顕微鏡画像撮影システム
JP2009119107A (ja) 画像処理方法および画像処理装置
JP2020086296A (ja) 拡大観察装置
JP2012150142A (ja) 顕微鏡制御装置、顕微鏡システム及び該制御方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180803

WD01 Invention patent application deemed withdrawn after publication