CN112714888B - 显微镜系统、投影单元以及图像投影方法 - Google Patents

显微镜系统、投影单元以及图像投影方法 Download PDF

Info

Publication number
CN112714888B
CN112714888B CN201880097760.5A CN201880097760A CN112714888B CN 112714888 B CN112714888 B CN 112714888B CN 201880097760 A CN201880097760 A CN 201880097760A CN 112714888 B CN112714888 B CN 112714888B
Authority
CN
China
Prior art keywords
image
projection
microscope system
image data
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880097760.5A
Other languages
English (en)
Other versions
CN112714888A (zh
Inventor
中田竜男
壁谷章文
米山贵
佐佐木浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Co ltd
Original Assignee
Yijingtong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijingtong Co ltd filed Critical Yijingtong Co ltd
Publication of CN112714888A publication Critical patent/CN112714888A/zh
Application granted granted Critical
Publication of CN112714888B publication Critical patent/CN112714888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/053—Detail-in-context presentations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

显微镜系统(1)具备：目镜(104)；物镜(102)，其向目镜(104)引导来自试样的光；成像透镜(103)，其配置于目镜(104)与物镜(102)之间的光路上，基于来自试样的光来形成试样的光学图像；投影图像生成部(13)，其生成表示包括第一辅助图像的投影图像的投影图像数据；以及投影装置(131)，其将投影图像向形成有光学图像的像面投影。第一辅助图像是试样的图像，并且是拍到比与光学图像对应的实际视场大的区域的图像。

Description

显微镜系统、投影单元以及图像投影方法
技术领域
本发明涉及一种显微镜系统、投影单元以及图像投影方法。
背景技术
WSI(Whole Slide Imaging：全载玻片成像)技术作为减轻病理诊断中的病理医生的负担的技术之一受到瞩目。WSI技术是制作载玻片上的检查体全部区域的数字图像的技术。例如在专利文献1中记载了WSI技术。
另外，如WSI技术这样的、通过平铺多个图像来以高清晰度将比显微镜的视场大的区域图像化的技术也被用于工业用途中。例如，作为一例，被用于为了进行质量管理而检查工业用部件的材料的微细组织并且进行评价等用途中。
根据上述的技术，能够观看监视器中显示的高分辨率的图像来观察对象物的任意的区域。因此，能够减轻诊断、检查、评价等中的作业者的负担。
现有技术文献
专利文献
专利文献1：日本特表2001-519944号公报
发明内容
发明要解决的问题
另一方面，仍然存在俯看目镜来目视试样的光学图像的需求。这是因为通常数字图像相比于光学图像在颜色再现性和动态范围方面较差。例如，在病理诊断中颜色和浓淡的信息极为重要，因此存在想要使用光学图像来进行诊断这样的需求。另外，如果对于数字图像要求与光学图像同等程度的高的颜色再现性和大的动态范围，会使得显微镜系统的价格变得非常高。因此，能够导入这样的显微镜系统的利用者有限。
本发明一个方面所涉及的目的在于提供一种通过辅助基于由光学显微镜得到的光学图像而进行的诊断、检查、评价等作业来减轻作业者的负担的新的技术。
用于解决问题的方案
本发明的一个方式所涉及的显微镜系统具备：目镜；物镜，其向所述目镜引导来自试样的光；成像透镜，其配置于所述目镜与所述物镜之间的光路上，基于来自所述试样的光形成所述试样的光学图像；投影图像生成部，其生成表示包括第一辅助图像的投影图像的投影图像数据，其中，所述第一辅助图像是所述试样的图像，并且是拍到比与所述光学图像对应的实际视场大的区域的图像；以及投影装置，其向形成有所述光学图像的像面投影所述投影图像，其中，所述第一辅助图像被投影至形成有所述光学图像的像面上的所述光学图像的外缘附近。
本发明的一个方式所涉及的投影单元是显微镜用的投影单元，显微镜具备物镜、成像透镜以及目镜，并且所述投影单元具备：摄像装置，其基于来自试样的光来获取所述试样的数字图像数据；投影图像生成部，其生成表示包括第一辅助图像的投影图像的投影图像数据，其中，所述第一辅助图像是所述试样的图像，并且是拍到比与由所述成像透镜形成的光学图像对应的实际视场大的区域的图像；以及投影装置，其向形成有所述光学图像的像面投影所述投影图像。
本发明的一个方式所涉及的图像投影方法是显微镜系统进行的图像投影方法，所述显微镜系统生成表示包括第一辅助图像的投影图像的投影图像数据，其中，所述第一辅助图像是试样的图像，并且是拍到比与所述试样的光学图像对应的实际视场大的区域的图像，所述显微镜系统向基于来自所述试样的光形成有所述光学图像的像面投影所述投影图像。
发明的效果
根据上述的方式，通过辅助基于由光学显微镜得到的光学图像而进行的诊断、检查、评价等作业能够减轻作业者的负担。
附图说明
图1是表示显微镜系统1的结构的图。
图2是表示控制装置10的结构的图。
图3是显微镜系统1进行的图像投影处理的流程图的一个例子。
图4是从显微镜系统1的目镜104能够看到的图像的一个例子。
图5是显微镜系统1进行的投影图像数据生成处理的流程图的一个例子。
图6是用于说明映射图像M1的图。
图7是用于说明映射图像的构建过程的一个例子的图。
图8是用于说明映射图像的构建过程的其它例子的图。
图9是用于说明映射图像的构建过程的另一其它例子的图。
图10是显微镜系统1进行的投影图像数据生成处理的流程图的其它例子。
图11是从显微镜系统1的目镜104能够看到的图像的另一个例子。
图12是表示神经网络的结构的图。
图13是显微镜系统1进行的投影图像数据生成处理的流程图的另一其它例子。
图14是从显微镜系统1的目镜104能够看到的图像的另一其它例子。
图15是显微镜系统1进行的投影图像数据生成处理的流程图的另一其它例子。
图16是从显微镜系统1的目镜104能够看到的图像的另一其它例子。
图17是从显微镜系统1的目镜104能够看到的图像的另一其它例子。
图18是表示显微镜200的结构的图。
图19是表示显微镜系统2的结构的图。
图20是表示显微镜系统3的结构的图。
图21是表示视场的大小不同的多个系统的图。
图22是表示作为读取设备的一个例子的装置30的图。
具体实施方式
[第一实施方式]
图1是表示本实施方式所涉及的显微镜系统1的结构的图。图2是表示控制装置10的结构的图。显微镜系统1为俯看目镜104来观察试样的显微镜系统，至少具备物镜102、成像透镜103、目镜104、投影图像生成部13、以及投影装置131。在之后，以病理医生在病理诊断中使用显微镜系统1的情况为例进行说明，但显微镜系统1的用途不限于此。
显微镜系统1使用投影装置131将投影图像投影至通过物镜102和成像透镜103形成有试样的光学图像的像面。该投影图像包括作为试样的图像并且拍到比与光学图像对应的实际视场大的区域的图像。由此，显微镜系统1的利用者能够大致掌握试样的更大范围并且通过光学图像更详细地观察该试样的一部分。因此，显微镜系统1能够辅助利用者通过光学图像观察试样进行的作业。
下面参照图1和图2来详细地说明显微镜系统1的结构的具体例。如图1所示，显微镜系统1具备显微镜100、控制装置10、以及输入装置20。此外，显微镜系统1除此以外还可以具备显示装置等。
显微镜100例如为正立显微镜，具备显微镜主体110、镜筒120、中间镜筒130、以及摄像装置140。此外，显微镜100可以为倒立显微镜。
显微镜主体110具备载置试样的载置台101、向目镜104引导来自试样的光的物镜(物镜102、物镜102a)、落射照明光学系统、以及包括视场光圈FS 的透过照明光学系统。载置台101可以为手动载置台，也可以为电动载置台。期望在换镜旋座装设有倍率不同的多个物镜。例如，物镜102为4倍物镜，物镜102a为20倍物镜。此外，显微镜主体110具备落射照明光学系统和透过照明光学系统中的至少一方即可。虽然表示了透过照明光学系统具备视场光圈 FS的例子，但可以是落射照明光学系统具备视场光圈。另外，落射照明光学系统可以在物镜102与后述的光偏转元件132之间具备未图示的中继光学系统，视场光圈可以设置于中继光学系统形成的中间像位置。
显微镜主体110还具备用于切换显微技术(日语：顕鏡法)的转盘111。在转盘111例如配置有在荧光观察法中使用的荧光立方、在明视场观察法中使用的半透半反镜等。此外，显微镜主体110可以用相对于光路自如插拔的方式具备在特定的显微技术中使用的光学元件。具体地说，显微镜主体110例如可以具备在微分干涉观察法中使用的DIC棱镜、偏光片、分析仪等。
镜筒120为装设有目镜104和摄像装置140的三眼镜筒。在镜筒120内设置成像透镜103。成像透镜103配置于物镜102与目镜104之间的光路上。成像透镜103基于来自试样的光在目镜104与成像透镜103之间的像面形成试样的光学图像。另外，成像透镜103基于来自试样的光在摄像元件141与成像透镜103 之间的像面也形成试样的光学图像。成像透镜103基于来自投影装置131的光在这些像面还形成后述的投影图像。由此，在像面中，投影图像重叠于光学图像上，因此显微镜系统1的利用者能够通过俯看目镜104看到投影图像重叠于光学图像的重叠图像。
此外，成像透镜103具备以不变更像面的位置的方式使焦距可变的功能、以不变更焦距的方式使像面的位置可变的功能、或者分别使像面的位置和焦距独立地可变的功能。实现这些功能的透镜包括使构成成像透镜103的透镜的至少一部分在光轴方向上移动的透镜。另外，还包括通过电控制构成成像透镜103的光学系统中的至少一部分透镜来使透镜的曲率半径和折射率中的至少一方可变的有源透镜。有源透镜例如可以为液体透镜。
中间镜筒130设置于显微镜主体110与镜筒120之间。中间镜筒130具备投影装置131、光偏转元件132、以及投影透镜133。
投影装置131为根据来自控制装置10的命令将投影图像投影至形成有光学图像的像面的装置。投影装置131例如为利用液晶显示器的投影仪、利用数字镜设备的投影仪、以及利用LCOS的投影仪等。
光偏转元件132使从投影装置131射出来的光朝向像面偏转。光偏转元件 132例如为半透半反镜等分束器。光偏转元件132可以使用使透过率和反射率可变的可变分束器。另外，光偏转元件132可以使用分色镜等。光偏转元件132配置于物镜102与成像透镜103之间的光路上。
投影透镜133为向成像透镜103引导来自投影装置131的光的透镜。通过投影透镜133的焦距来调整向像面投影的投影图像的倍率。此外，投影透镜 133也可以与成像透镜103同样地采用具备使像面的位置与焦距中的至少一方可变的功能的透镜、例如有源透镜等。
摄像装置140例如为数字摄像机，具备摄像元件141和转接透镜142。摄像装置140基于来自试样的光来获取试样的数字图像数据。
摄像元件141为检测来自试样的光的光检测器的一个例子。摄像元件141 为二维图像传感器，例如为CCD图像传感器、CMOS图像传感器等。摄像元件141检测来自试样的光，并且转换为电信号。转接透镜142向摄像元件141 投影形成于像面的光学图像。
在投影装置131在像面投影有投影图像时，来自投影装置131的光也入射于摄像装置140。因此，摄像装置140获取的数字图像除了试样的光学图像以外还能够包括投影图像。但是，通过调整投影装置131的投影期间和摄像装置140的曝光期间，摄像装置140能够获取不包括投影图像的试样的数字图像数据。
输入装置20向控制装置10输出与利用者的输入操作相应的操作信号。输入装置20例如为键盘，但可以包括鼠标、操纵杆、触摸面板等。另外，输入装置20可以为接受声音输入的装置，例如麦克风等。在该情况下，控制装置 10可以具备识别从输入装置20输入来的声音指示的功能。
控制装置10控制显微镜系统1整体。控制装置10与显微镜100以及输入装置20连接。如图1所示，控制装置10具备摄像控制部11、图像分析部12、投影图像生成部13、投影控制部14、以及记录部15作为主要与投影装置131的控制有关的构成要素。
摄像控制部11通过控制摄像装置140来获取试样的数字图像数据。摄像控制部11获取到的数字图像数据被输出至图像分析部12、投影图像生成部13、以及记录部15。
图像分析部12分析摄像控制部11获取到的数字图像数据，并且将分析结果输出至投影图像生成部13。不特别限定图像分析部12进行的分析处理的内容。
图像分析部12例如可以基于通过摄像元件141获取到的数字图像数据和后述的映射图像数据来确定投影至像面的映射图像内的与光学图像对应的位置，并且将该位置信息输出至投影图像生成部13。
更具体地说，图像分析部12通过比较映射图像与数字图像来确定上述的位置。图像分析部12可以每当获取到数字图像数据，进行通过图像比较来确定位置的处理。当通过图像比较一旦确定出位置时，映射图像中包括的坐标信息与显微镜系统1所管理的坐标信息的关系确定。因此，在之后，图像分析部12可以不用进行映射图像与数字图像的比较，基于映射图像的坐标信息和试样的移动量来更新该位置。
试样的移动量例如可以基于在不同的时刻获取到的多个数字图像数据来计算。具体地说，例如能够通过对在不同的时刻获取到的数字图像数据间进行图像分析来计算数字图像数据中拍到的被摄体的移动距离。另外，还能够通过相对于映射图像分别比较在不同的时刻获取到的数字图像来求出各个图像相对于映射图像的坐标，从而根据这些坐标计算移动量。在该情况下，即使在不同的时刻获取到的数字图像数据表示的数字图像不具有空间重叠也能够计算移动量。另外，如果载置台101为电动载置台，则可以基于电动载置台的控制信息来计算移动量。电动载置台的控制信息例如可以为与控制装置10向载置台101输出的移动指示有关的信息，也可以为与从载置台101向控制装置10输出的移动结果有关的信息。此外，与移动结果有关的信息例如为来自设置于载置台101的编码器的输出信息等。
另外，图像分析部12例如将数字图像数据表现的数字图像中拍到的一个以上的构造物分类为一个以上的类，并且输出包括确定被分类为该一个以上的类中的至少一个类中的构造物的位置的信息的分析结果。更具体地说，图像分析部12可以根据染色强度来将数字图像中拍到的细胞分类，并且生成包括细胞被分类的类信息和确定该细胞的轮廓或该细胞的核的轮廓的位置信息的分析结果。此外，在该情况下，期望被分类到至少一个类中的构造物是成为病理医生进行的病理诊断中的判定的根据的对象物。
另外，图像分析部12例如可以基于数字图像数据来追踪试样内的关注区域。在该情况下，期望图像分析部12输出的分析结果包括关注区域的位置信息和表示追踪的正确与否的追踪结果信息。此外，应该追踪的关注区域可以通过分析数字图像数据来决定，也可以通过利用者使用输入装置20进行指定来决定。
投影图像生成部13生成投影图像数据。将通过投影图像生成部13生成的投影图像数据输出至投影控制部14和记录部15。投影图像数据表示的投影图像包括映射图像。在此，映射图像为第一辅助图像的一个例子。映射图像为试样的图像，并且是拍到比与形成于像面的光学图像对应的实际视场大的区域的图像。因此，映射图像例如可以为使用倍率比物镜102低的物镜获取到的试样的图像。另外，可以为如Whole Slide Image这样的通过平铺多个图像生成的图像。在该情况下，多个图像为拍到比实际视场大的试样的区域的彼此不同的部分的图像。此外，之后以通过平铺多个图像生成的映射图像为例进行说明。
通过投影图像生成部13生成的投影图像数据中包括的映射图像数据可以为通过与显微镜系统1不同的系统生成的图像数据。投影图像生成部13可以使用通过其它系统获取到的映射图像数据来生成投影图像数据。另外，投影图像生成部13可以基于通过摄像装置140获取到的试样的多个数字图像数据来生成映射图像数据。此外，映射图像数据是第一辅助图像数据的一个例子，并且是表示映射图像的图像数据。
投影图像可以除了映射图像以外还包括其它图像。例如，投影图像可以包括表示映射图像内的与光学图像对应的位置的位置图像。位置图像是第二辅助图像的一个例子。投影图像生成部13可以基于从图像分析部12输出来的、映射图像内的与光学图像对应的位置信息来生成位置图像数据，由此可以生成表示包括映射图像和位置图像的投影图像的投影图像数据。此外，位置图像数据为表示位置图像的图像数据。
另外，投影图像可以包括表示图像分析部12的分析结果的分析图像。该分析图像是第三辅助图像的一个例子。投影图像生成部13可以基于从图像分析部12输出来的类信息和位置信息来生成分析图像数据，由此可以生成表示投影图像的投影图像数据，所述投影图像包括映射图像和表示分析结果的分析图像。此外，分析图像数据为表示分析图像的图像数据。
另外，投影图像可以包括表示图像分析部12的追踪结果的分析图像。该分析图像是第四辅助图像的一个例子，例如为表示关注区域的追踪的正确与否的图像。投影图像生成部13可以基于从图像分析部12输出来的关注区域的追踪结果信息来生成分析图像数据，由此可以生成表示投影图像的投影图像数据，所述投影图像包括映射图像和表示追踪结果的分析图像。
投影控制部14通过控制投影装置131来控制向像面进行的投影图像的投影。投影控制部14例如可以根据显微镜系统1的设定来控制投影装置131。具体地说，投影控制部14可以根据显微镜系统1的设定来决定是否将投影图像投影至像面，也可以是显微镜系统1控制投影装置131，以使在规定的设定时，投影装置131将投影图像投影至像面。也就是说，显微镜系统1能够通过设定来变更是否将投影图像投影至像面。
另外，投影控制部14例如可以控制投影装置131，以使投影装置131的发光期间与摄像元件141的曝光期间不重叠。由此，能够防止在数字图像中拍进投影图像。
记录部15记录数字图像数据。记录部15可以在检测到利用者进行的记录指示的输入时记录数字图像数据。另外，记录部15可以当显微镜系统1检测到规定的事件时响应该事件来一同记录与事件相应的信息和数字图像数据。例如，当基于图像分析部12的分析结果检测到癌细胞时，记录部15可以记录该癌细胞的位置信息和数字图像数据。另外，记录部15除此以外还可以记录映射图像数据、分析结果、坐标信息等。
此外，控制装置10可以为通用装置，也可以为专用装置。控制装置10不特别地限定为该结构，例如可以具有如图2所示的物理结构。具体地说，控制装置10可以具备处理器10a、存储器10b、辅助存储装置10c、输入输出接口10d、介质驱动装置10e、通信控制装置10f，并且以上这些可以通过总线10g 彼此连接。
处理器10a例如为包括CPU(Central Processing Unit：中央处理单元)的任意的处理电路。处理器10a可以通过执行存储器10b、辅助存储装置10c、存储介质10h中保存的程序并且进行程序化的处理来实现上述的与投影装置 131的控制有关的构成要素(摄像控制部11、图像分析部12、投影图像生成部 13等)。另外，处理器10a可以使用ASIC、FPGA等专用处理器构成。
存储器10b为处理器10a的工作存储器。存储器10b例如为RAM(Random AccessMemory：随机存取存储器)等任意的半导体存储器。辅助存储装置10c 为EPROM(ErasableProgrammable ROM：可擦编程只读存储器)、硬盘驱动器 (Hard Disc Drive)等非易失性的存储器。输入输出接口10d与外部装置(显微镜 100、输入装置20)交换信息。
介质驱动装置10e能够将存储器10b和辅助存储装置10c中保存的数据输出至存储介质10h，另外，能够从存储介质10h读出程序和数据等。存储介质 10h为可携带的任意的记录介质。存储介质10h例如包括SD卡、USB(Universal Serial Bus：通用串行总线)快闪存储器、CD(Compact Disc：光盘)、DVD(Digital Versatile Disc：数字多功能光盘)等。
通信控制装置10f向网络进行信息的输入输出。作为通信控制装置10f，例如能够采用NIC(Network Interface Card：网络适配器)、无线LAN(Local Area Network：局域网)卡等。总线10g将处理器10a、存储器10b、辅助存储装置10c 等连接为彼此能够进行数据的发送接收。
如以上那样构成的显微镜系统1进行图3所示的图像投影处理。图3是显微镜系统1进行的图像投影处理的流程图。图4是从显微镜系统1的目镜104能够看到的图像的一个例子。图5是显微镜系统1进行的投影图像数据生成处理的流程图的一个例子。图6是用于说明映射图像M1的图。在以下参照图3至图6来说明显微镜系统1的图像投影方法。
首先，显微镜系统1将试样的光学图像投影至像面(步骤S10)。在此，成像透镜103将物镜102取入的来自试样的光聚光至像面来形成试样的光学图像。由此，如图4所示，在像面上的区域R1投影光学图像O1。此外，区域R1 表示来自物镜102的光束入射的像面上的区域。另外，区域R2表示通过俯看目镜104能够看到的像面上的区域。
接着，显微镜系统1获取试样的数字图像数据(步骤S20)。在此，摄像装置140通过基于来自试样的光拍摄试样来生成数字图像数据。此外，摄像元件141具有矩形形状，因此与数字图像对应的试样上的区域同与光学图像对应的试样上的区域、也就是实际视场不完全一致。区域R4表示与通过摄像装置140能够拍摄的试样上的区域对应的像面上的区域。此外，在图4中，区域 R4收敛在区域R1内，但区域R4可以超出区域R1。其中，期望区域R1的中心位置与区域R4的中心位置一致。
另外，为了使区域R1的外周的边界更清晰，可以在与试样上的观察面共轭的位置配置视场光圈。例如，期望将视场光圈配置于显微镜主体110的落射照明光路110a上、或透过照明光路110b上的与观察面共轭的位置。此外，在进行荧光观察的情况下，即使通过照明光路限制了光束也会全方位地产生来自试样的荧光。因此，期望在被置于来自投影装置131的光路同来自物镜 102的光路合流的位置的光偏转元件132与物镜102之间设置用于生成中间像的中继光学系统，并且在中间像位置配置视场光圈。
之后，显微镜系统1生成投影图像数据(步骤S30)。在此，显微镜系统1 进行图5所示的投影图像数据生成处理。
当开始投影图像数据生成处理时，首先，显微镜系统1的投影图像生成部13获取映射图像数据(步骤S31)。在此，投影图像生成部13例如通过从辅助存储装置10c等读出预先生成的映射图像数据来获取映射图像数据。此外，映射图像数据表示的映射图像M1如图6所示为将多个要素图像E平铺而成的图像。
接着，显微镜系统1基于数字图像数据和映射图像数据来确定位置(步骤 S32)。在此，图像分析部12通过比较数字图像和映射图像来确定映射图像上的与光学图像对应的位置，并且将位置信息输出至投影图像生成部13。
当位置被确定时，显微镜系统1生成表示包括映射图像和位置图像的投影图像的投影图像数据(步骤S33)。在此，投影图像生成部13基于从图像分析部12输出来的位置信息来生成位置图像数据。而且，将位置图像数据和映射图像数据合成来生成表示包括映射图像和位置图像的投影图像的投影图像数据。此外，位置图像P1例如图6所示为表示映射图像上的与光学图像对应的位置的矩形标记。
当投影图像数据生成处理结束时，显微镜系统1将投影图像投影至像面 (步骤S40)。在此，通过投影控制部14基于通过步骤S33生成的投影图像数据来控制投影装置131，投影装置131将投影图像投影至像面。更详细地说，投影装置131如图4所示在映射图像M1内的与光学图像O1对应的位置投影位置图像P1。由此，在像面形成光学图像O1与投影图像(映射图像M1、位置图像 P1)重叠的图像。此外，图4所示的区域R3表示投影装置131在像面投影的区域。
在显微镜系统1中，在形成光学图像O1的像面投影映射图像M1。由此，利用者不用使眼睛离开目镜104就能够大致掌握试样的更大的范围并且通过光学图像更详细地观察该试样的一部分。并且，通过在映射图像M1上投影位置图像P1，利用者能够容易地掌握当前正在观察的区域位于试样内的哪个位置、以及该区域相对于整体区域为多大。因而，显微镜系统1能够辅助利用者通过光学图像观察试样进行的作业。例如，利用者容易判断应该使载置台向哪个方向移动多少等，其结果是能够减轻显微镜100的载置台操作的负担。
并且，在显微镜系统1中，与基于数字图像进行病理诊断的WSI系统不同，不需要高价的设备。因而，根据显微镜系统1，能够回避设备成本大幅度上升并且实现利用者的负担的减轻。
此外，在以上的例子中表示了使用预先获取到的映射图像数据来生成投影图像数据的例子，但可以在生成投影图像数据时生成映射图像数据。例如图7所示，投影图像生成部13可以每当摄像区域F在作为试样的显微镜用标本 P上移动就获取数字图像数据，每当获取到数字图像数据时生成映射图像数据，由此更新映射图像。在图7中，表示伴随摄像区域F的移动，映射图像依次被更新为映射图像M1a、映射图像M1b、映射图像M1c，并且这些映射图像上的与摄像区域F对应的位置重叠有位置图像P1的情形。
此外，当在摄影区域F移动的过程中生成映射图像的情况下，例如可以使用日本特开2018-54690所记载的技术。也就是说，可以通过逐次对获取到的数字图像数据进行图像分析，计算两张图像间的运动向量，在累积了运动向量后的当前位置贴合数字图像数据来生成映射图像并且更新。在该情况下，能够不用使用电动载置台或识别载置台位置的编码器，通过手动载置台生成映射图像，因此能够构建价格低的系统。
另外，在映射图像数据的生成中使用的多个数字图像数据可以包括在物镜102的焦点位置在物镜102的光轴方向上不同的多个状态下获取到的两张以上的数字图像数据。例如，如图8所示，在与光轴正交的方向上的各位置，使物镜102或载置台101在光轴方向上移动来获取多个数字图像数据，由此构建全焦点图像，并且通过平铺全焦点图像来构建映射图像。此外，图8所示的映射图像(映射图像M1d、M1e、M1f)中的映射图像M1e和映射图像M1f表示全焦点图像。
并且，在载置台101为电动载置台的情况下，如图9所示，在开始观察前，显微镜系统1可以控制载置台101来自动地扫描利用者指定出的扫描范围S。而且，投影图像生成部13可以在载置台101的移动完成后基于在移动过程中获取到的多个数字图像数据来生成映射图像M1g。
作为扫描范围S的指定方法，例如可以采用利用者一边观察目镜104一边通过鼠标的点击等在扫描范围S的外周附近指定三处的方法。在该情况下，显微镜系统1将包括指定出的三处的范围自动设定为扫描范围即可。
此外，记录部15可以在生成映射图像数据时，记录映射图像数据、以及在映射图像数据的生成中使用的多个数字图像数据各自表示的数字图像的坐标信息。由此，由于映射图像数据具有坐标信息，因此容易特定应该投影位置图像的位置。
并且，记录部15可以除了映射图像数据以外还记录数字图像数据。在该情况下，期望将坐标信息与数字图像数据关联地记录。并且，在图像分析部 12分析数字图像数据的情况下，可以将坐标信息与该分析结果关联地记录。例如，如果分析结果为癌细胞的有无，则能够得到映射图像内的癌细胞的分布信息。
显微镜系统1可以进行图10所示的投影图像数据生成处理来代替图5所示的投影图像数据生成处理。图10是显微镜系统1进行的投影图像数据生成处理的流程图的其它例子。图11是从显微镜系统1的目镜104能够看到的图像的其它例子。
当开始图10所示的投影图像数据生成处理时，显微镜系统1获取映射图像数据(步骤S51)，并且基于数字图像数据和映射图像数据来确定位置(步骤 S52)。步骤S51和步骤S52的处理与图5所示的步骤S31和步骤S32相同。
之后，显微镜系统1分析数字图像数据(步骤S53)。在此，图像分析部12 分析数字图像数据，并且例如生成辅助病理诊断的信息。具体地说，通过分析来确定细胞的核，根据其染色强度来进行分类。
当分析结束时，显微镜系统1生成表示包括映射图像、位置图像以及分析图像的投影图像的投影图像数据(步骤S54)。在此，投影图像生成部13基于从图像分析部12输出来的位置信息来生成位置图像数据。并且，投影图像生成部13基于从图像分析部12输出来的分析结果来生成分析图像数据。而且，投影图像生成部13将位置图像数据、映射图像数据以及分析图像数据合成来生成表示包括映射图像、位置图像以及分析图像的投影图像的投影图像数据。
图11的图像V2表示包括映射图像M2和位置图像P1的投影图像与光学图像O2重叠的情形。与此相对地，通过进行图10所示的投影图像数据生成处理，投影图像还包括分析图像A1。因此，如图11的图像V3所示，分析图像A1重叠于光学图像O2。在图像V3中，通过染色强度对细胞的核进行颜色分类，因此能够容易地判别各细胞的染色状态。
因而，显微镜系统1通过进行图10所示的投影图像数据生成处理能够更好地辅助利用者通过光学图像观察试样进行的作业。例如，利用者除了得到关于通过映射图像进行的载置台操作的辅助以外，还能够得到病理诊断的辅助。
此外，显微镜系统1的图像分析部12可以使用规定的算法进行分析处理，也可以使用已训练的神经网络进行分析处理。已训练的神经网络的参数可以通过在与显微镜系统1不同的装置中训练神经网络来生成，并且控制装置10 可以下载生成的参数来应用于图像分析部12中。
图12是表示神经网络NN的结构的图。神经网络NN具有输入层、多个中间层、以及输出层。通过将输入数据D1输入至输入层，能够将从输出层输出的输出数据D2与正解数据D3进行比较。而且，通过误差逆传播法进行学习，由此更新神经网络NN的参数。此外，输入数据D1与正解数据D3的组为监督学习的训练数据。
显微镜系统1可以进行图13所示的投影图像数据生成处理来代替图5所示的投影图像数据生成处理。图13是显微镜系统1进行的投影图像数据生成处理的流程图的另一其它例子。图14是从显微镜系统1的目镜104能够看到的图像的另一其它例子。
当开始图13所示的投影图像数据生成处理时，显微镜系统1获取映射图像数据(步骤S61)，并且基于数字图像数据和映射图像数据来确定位置(步骤 S62)。步骤S61和步骤S62的处理与图5所示的步骤S31和步骤S32相同。
之后，显微镜系统1分析数字图像数据(步骤S63)。在此，图像分析部12 分析数字图像数据，并且例如追踪关注区域。具体地说，图像分析部12例如追踪试样内的确定的细胞，将该细胞的位置信息和包括追踪 的正确与否的追踪 结果作为分析结果输出至投影图像生成部13。
当分析结束时，显微镜系统1基于分析结果来移动载置台101(步骤S64)。在此，根据来自控制装置10的命令，载置台101基于通过步骤S63得到的追踪结果移动，以使关注区域位于物镜102的光轴上。
当载置台101的移动结束时，显微镜系统1生成表示包括映射图像、位置图像以及分析图像的投影图像的投影图像数据(步骤S65)。在此，投影图像生成部13基于从图像分析部12输出来的位置信息来生成位置图像数据。并且，投影图像生成部13基于从图像分析部12输出来的分析结果中的关于追踪的正确与否的信息来生成分析图像数据。而且，投影图像生成部13将位置图像数据、映射图像数据以及分析图像数据合成，生成表示包括映射图像、位置图像以及分析图像的投影图像的投影图像数据。
图14的图像V4表示在像面中重叠有投影图像和光学图像O3的情形。投影图像包括映射图像M3、位置图像P1以及分析图像A2。分析图像A2为表示关注区域的追踪的正确与否的、类似于信号灯的图像。分析图像A2为在追踪成功的期间中蓝灯点亮的图像，在追踪失败的期间中红灯点亮的图像。另外，图14所示的关注区域T表示包括作为追踪对象的细胞的区域。表示该关注区域T的矩形的图像也可以包括在投影图像中。另外，表示细胞的移动的轨迹的虚线也可以包括在投影图像中。
显微镜系统1可以进行图15所示的投影图像数据生成处理来代替图5所示的投影图像数据生成处理。图15为显微镜系统1进行的投影图像数据生成处理的流程图的另一其它例子。图16是从显微镜系统1的目镜104能够看到的图像的另一其它例子。
当开始图15所示的投影图像数据生成处理时，显微镜系统1获取映射图像数据(步骤S71)，并且基于数字图像数据和映射图像数据来确定位置(步骤 S72)。步骤S71和步骤S72的处理与图5所示的步骤S31和步骤S32相同。
之后，显微镜系统1根据实际视场的尺寸来决定映射图像的尺寸(步骤 S73)。在此，投影图像生成部13例如可以不取决于实际视场的尺寸来以投影至像面的位置图像P1所示的范围成为固定的大小的方式决定映射图像的尺寸。
当决定映射图像的尺寸时，显微镜系统1生成表示包括映射图像和位置图像的投影图像的投影图像数据(步骤S74)。在此，投影图像生成部13生成通过步骤S73决定出的尺寸的映射图像数据。并且，投影图像生成部13基于从图像分析部12输出来的位置信息来生成位置图像数据。而且，投影图像生成部13合成映射图像数据和位置图像数据来生成表示包括映射图像和位置图像的投影图像的投影图像数据。
图16的图像V1为在使用4倍的物镜102进行的观察过程中形成于像面的图像，图16的图像V5和图像V6为在使用20倍的物镜102a进行的观察过程中形成于像面的图像。如图16的图像V1和图像V5所示，通过根据实际视场的大小(倍率)来变更映射图像(映射图像M1、映射图像M4)的大小，可以不取决于倍率地维持位置图像P1的大小。另外，如图16的图像V1和图像V6所示，即使实际视场的大小(倍率)改变，映射图像M1的大小也不变更，并且还可以根据实际视场的大小来变更位置图像(位置图像P1、位置图像P2)的大小。在该情况下，物镜的倍率从4倍变为20倍，观察倍率扩大了5倍，因此位置图像 P2以将位置图像P1的一个边的长度缩小至1/5的形式显示于映射图像M1上。
在以上，表示了以映射图像与光学图像重叠的区域少的方式投影映射图像的例子，但例如图17所示，映射图像可以投影至光学图像上。此外，图17 的图像V7中表示了投影光学图像的区域R4(来自物镜的光束入射的像面上的区域)的大小与从目镜104能够看到的像面上的区域R5的大小几乎相同的例子。
[第二实施方式]
图18是表示本实施方式所涉及的显微镜200的结构的图。此外，本实施方式所涉及的显微镜系统除了具备显微镜200代替显微镜100这一点以外与显微镜系统1相同。
显微镜200关于具备有源方式的自动调焦装置300这一点与显微镜100不同。其它点与显微镜100相同。
自动调焦装置300具备激光器301、准直透镜302、遮蔽板303、偏振光分束器304、1/4波片305、分色镜306、成像透镜307、以及二分割检测器308。从激光器301射出来的激光在由准直透镜302准直后通过遮蔽板303切断其一半的光束。剩余的一半的光束被偏振光分束器304反射，经由1/4波片305、分色镜306入射于物镜102，通过物镜102照射于试样。由试样反射后的光经由物镜102、分色镜306、1/4波片305再次入射于偏振光分束器304。第二次入射于偏振光分束器304的激光在被偏振光分束器304反射后两次通过1/4波片305。因而，具有与第一次入射于偏振光分束器304时的偏光方向正交的偏光方向。因此，激光透过偏振光分束器304。之后，激光通过成像透镜307照射于二分割检测器308。通过二分割检测器308检测出的光量分布根据相对于聚焦状态的偏离量而变化。因此，根据通过二分割检测器308检测出的光量分布来调整载置台101与物镜102之间的距离，由此能够实现聚焦状态。
本实施方式所涉及的显微镜系统在载置台101在与物镜102的光轴正交的方向上移动时，通过自动调焦装置300进行自动调焦处理。由此，相比于显微镜系统1，能够进一步减轻利用者的作业负担。
[第三实施方式]
图19是表示本实施方式所涉及的显微镜系统2的结构的图。显微镜系统2 关于具备显微镜400代替显微镜100这一点与显微镜系统1不同。显微镜400具备中间镜筒150代替中间镜筒130。在中间镜筒150中除了投影装置131、光偏转元件132、以及投影透镜133以外还设置有摄像装置140和光偏转元件143。
光偏转元件143使来自试样的光朝向摄像元件141偏转。光偏转元件143 例如为半透半反镜等分束器。期望光偏转元件143配置于光偏转元件132与物镜102之间的光路上。由此，能够回避来自投影装置131的光入射于摄像元件 141。
根据本实施方式所涉及的显微镜系统2，也能够得到与显微镜系统1同样的效果。
[第四实施方式]
图20是表示本实施方式所涉及的显微镜系统3的结构的图。显微镜系统3 关于具备显微镜500代替显微镜100这一点与显微镜系统1不同。显微镜500在显微镜主体110与镜筒120之间具备投影单元160。
投影单元160为具备物镜102、成像透镜103以及目镜104的显微镜用的投影单元。投影单元160中的光学元件的结构与中间镜筒150中的结构相同。即，投影单元160具备基于来自试样的光来获取试样的数字图像数据的摄像装置 140和将投影图像向形成光学图像的像面投影的投影装置131。
投影单元160还具备摄像控制部161、图像分析部162、投影图像生成部 163、以及投影控制部164。摄像控制部161、图像分析部162、投影图像生成部163、投影控制部164分别与摄像控制部11、图像分析部12、投影图像生成部13、投影控制部14相同。因此，省略详细的说明。
在本实施方式中，只通过将投影单元160安装于已有的显微镜中就能够得到与显微镜系统1相同的效果。因而，根据投影单元160和显微镜系统3，能够容易扩张已有的显微镜系统。
上述的实施方式表示用于使发明的理解变得容易的具体例，本发明的实施方式并不限定于此。显微镜系统、投影单元、以及图像投影方法能够在不脱离权利要求书的范围中进行各种变形、变更。
另外，在上述的实施方式中表示了显微镜包括摄像装置的例子，但上述的技术例如可以对扫描型显微镜提供上述的技术。在该情况下，显微镜可以具备光电倍增管(PMT)等光检测器来代替摄像装置。
另外，试样可以只使用显微镜系统1来观察，也可以除了使用显微镜系统1以外还使用实际视场的大小与显微镜系统1不同的其它系统来观察。其它系统例如图21所示可以为显微镜系统4，也可以为与显微镜系统不同的观察系统。在该情况下，映射图像数据的生成可以使用其它系统即显微镜系统4。另外，试样的映射图像数据的生成可以使用与观察用的显微镜系统不同的其它显微镜系统。例如可以使用利用WSI技术来获取WS(Whole Slide，全载玻片)图像的WSI系统。也就是说，可以使用WS图像的图像数据作为映射图像数据。在该情况下，期望显微镜系统具备自动地对预先获取到的WS图像和被载于显微镜以用于观察的试样进行对照的单元。进行对照的单元例如可以包括读取贴附于试样的条形码、RFID等的读取设备。读取设备例如可以为显微镜100的摄像装置140，也可以为如图22所示的那样的专用的装置30。此外，在图22中描绘了装置30读取被贴附于显微镜用标本P的条形码C的情形。装置 30和控制装置10的组合可以构成进行对照的单元。
附图标记说明
1、2、3、4：显微镜系统；10：控制装置；10a：处理器；10b：存储器； 10c：辅助存储装置；10d：输入输出接口；10e：介质驱动装置；10f：通信控制装置；10g：总线；10h：存储介质；11、161：摄像控制部；12、162：图像分析部；13、163：投影图像生成部；14、164：投影控制部；15：记录部；20：输入装置；30：装置；100、200、400、500：显微镜；101：载置台；102、102a：物镜；103、307：成像透镜；104：目镜；110：显微镜主体；111：转盘；120：镜筒；130、150：中间镜筒；131：投影装置；132、 143：光偏转元件；133：投影透镜；140：摄像装置；141：摄像元件；142：转接透镜；160：投影单元；300：自动调焦装置；301：激光器；302：准直透镜；303：遮蔽板；304：偏振光分束器；305：1/4波片；306：分色镜；308：二分割检测器；A1、A2：分析图像；E：要素图像；F：摄像区域；FS：视场光圈；M1～M5、M1a～M1g：映射图像；O1～O4：光学图像；P：显微镜用标本；P1、P2：位置图像；R1～R4：区域；S：扫描范围；T：关注区域； V1～V7：图像。

Claims (24)

1.一种显微镜系统，其特征在于，具备：
目镜；
物镜，其向所述目镜引导来自试样的光；
成像透镜，其配置于所述目镜与所述物镜之间的光路上，基于来自所述试样的光形成所述试样的光学图像；
投影图像生成部，其生成表示包括第一辅助图像的投影图像的投影图像数据，其中，所述第一辅助图像是所述试样的图像，并且是拍到比与所述光学图像对应的实际视场大的区域的图像；以及
投影装置，其向形成有所述光学图像的像面投影所述投影图像，
其中，所述投影图像还包括表示所述第一辅助图像内的与所述光学图像对应的位置的第二辅助图像，
所述投影装置在被投影至所述像面的所述第一辅助图像内的所述位置投影所述第二辅助图像，
其中，所述显微镜系统还具备：
摄像装置，其基于来自所述试样的光来获取所述试样的数字图像数据；以及
图像分析部，其分析通过所述摄像装置获取到的所述数字图像数据，所述投影图像还包括表示所述图像分析部的分析结果的第三辅助图像，所述图像分析部使用已训练的神经网络来分析所述数字图像数据。
2.根据权利要求1所述的显微镜系统，其特征在于，
所述第一辅助图像是将所述区域的互不相同的部分的图像即多个图像平铺得到的图像。
3.根据权利要求1所述的显微镜系统，其特征在于，
所述图像分析部基于通过所述摄像装置获取到的所述数字图像数据和表示所述第一辅助图像的第一辅助图像数据来确定所述位置。
4.根据权利要求3所述的显微镜系统，其特征在于，
所述图像分析部通过比较所述第一辅助图像和所述数字图像数据所表示的数字图像来确定所述位置。
5.根据权利要求4所述的显微镜系统，其特征在于，
所述图像分析部还基于所述第一辅助图像的坐标信息和所述试样的移动量来更新所述位置。
6.根据权利要求5所述的显微镜系统，其特征在于，
所述图像分析部基于通过所述摄像装置获取到的所述试样的多个数字图像数据来计算所述移动量。
7.根据权利要求5所述的显微镜系统，其特征在于，
还具备电动载置台，所述电动载置台载置所述试样，
所述图像分析部基于所述电动载置台的控制信息来计算所述移动量。
8.根据权利要求1或2所述的显微镜系统，其特征在于，
所述投影图像生成部基于通过所述摄像装置获取到的所述试样的多个数字图像数据来生成表示所述第一辅助图像的第一辅助图像数据。
9.根据权利要求8所述的显微镜系统，其特征在于，
所述投影图像生成部每当获取到所述多个数字图像数据的各数字图像数据时，生成所述第一辅助图像数据。
10.根据权利要求8所述的显微镜系统，其特征在于，
还具备电动载置台，所述电动载置台载置所述试样，
所述投影图像生成部在所述电动载置台在指定出的范围中移动后，基于在所述电动载置台移动的过程中获取到的所述多个数字图像数据来生成所述第一辅助图像数据。
11.根据权利要求8所述的显微镜系统，其特征在于，
所述多个数字图像数据包括在所述物镜的焦点位置在所述物镜的光轴方向上不同的状态下获取到的两个以上的数字图像数据。
12.根据权利要求11所述的显微镜系统，其特征在于，
所述第一辅助图像为全焦点图像。
13.根据权利要求8所述的显微镜系统，其特征在于，
还具备记录部，所述记录部记录所述第一辅助图像数据和所述多个数字图像数据各自所表示的数字图像的坐标信息。
14.根据权利要求13所述的显微镜系统，其特征在于，
所述记录部将所述坐标信息与所述数字图像数据关联地记录。
15.根据权利要求13所述的显微镜系统，其特征在于，
所述记录部将所述坐标信息与所述数字图像数据的分析结果关联地记录。
16.根据权利要求1或2所述的显微镜系统，其特征在于，
所述图像分析部基于所述数字图像数据来追踪所述试样中的关注区域，
所述投影图像还包括表示所述关注区域的追踪的正确与否的第四辅助图像。
17.根据权利要求16所述的显微镜系统，其特征在于，
还具备电动载置台，所述电动载置台载置所述试样，
所述电动载置台基于所述图像分析部的追踪结果来移动，以使所述关注区域位于所述物镜的光轴上。
18.根据权利要求1或2所述的显微镜系统，其特征在于，
所述投影图像生成部根据所述实际视场的尺寸来决定所述像面中的所述第一辅助图像的尺寸。
19.根据权利要求1或2所述的显微镜系统，其特征在于，
还具备：电动载置台，其载置所述试样；以及
有源方式的自动调焦装置，
在所述电动载置台移动了时，所述自动调焦装置进行自动调焦处理。
20.根据权利要求1或2所述的显微镜系统，其特征在于，
还具备记录部，所述记录部响应检测出的事件来记录与所述事件相应的信息。
21.根据权利要求1所述的显微镜系统，其特征在于，
所述第一辅助图像为通过与所述显微镜系统不同的全载玻片成像系统预先获取到的全载玻片图像，
所述全载玻片图像为将所述区域的互不相同的部分的图像即多个图像平铺得到的图像。
22.根据权利要求21所述的显微镜系统，其特征在于，
还具备自动地对所述全载玻片图像与通过所述显微镜系统观察的所述试样进行对照的单元。
23.一种投影单元，是显微镜用的投影单元，显微镜具备物镜、成像透镜以及目镜，所述投影单元的特征在于，
所述投影单元具备：
摄像装置，其基于来自试样的光来获取所述试样的数字图像数据；
图像分析部，其分析通过所述摄像装置获取到的所述数字图像数据，其中，所述图像分析部使用已训练的神经网络来分析所述数字图像数据；
投影图像生成部，其生成表示包括第一辅助图像的投影图像的投影图像数据，其中，所述第一辅助图像是所述试样的图像，并且是拍到比与由所述成像透镜形成的光学图像对应的实际视场大的区域的图像；以及
投影装置，其向形成有所述光学图像的像面投影所述投影图像，
其中，所述投影图像还包括表示所述第一辅助图像内的与所述光学图像对应的位置的第二辅助图像以及表示所述图像分析部的分析结果的第三辅助图像，
所述投影装置在被投影至所述像面的所述第一辅助图像内的所述位置投影所述第二辅助图像。
24.一种图像投影方法，是显微镜系统进行的图像投影方法，所述图像投影方法的特征在于，所述显微镜系统执行如下处理：
基于来自试样的光来获取所述试样的数字图像数据；
使用已训练的神经网络来分析所获取到的所述数字图像数据；
生成表示包括第一辅助图像的投影图像的投影图像数据，其中，所述第一辅助图像是试样的图像，并且是拍到比与所述试样的光学图像对应的实际视场大的区域的图像，
并且所述显微镜系统向基于来自所述试样的光形成有所述光学图像的像面投影所述投影图像，
其中，所述投影图像还包括表示所述第一辅助图像内的与所述光学图像对应的位置的第二辅助图像以及表示所述数字图像数据的分析结果的第三辅助图像，
所述显微镜系统在被投影至所述像面的所述第一辅助图像内的所述位置投影所述第二辅助图像。
CN201880097760.5A 2018-09-28 2018-12-25 显微镜系统、投影单元以及图像投影方法 Active CN112714888B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018183762 2018-09-28
JP2018-183762 2018-09-28
PCT/JP2018/047498 WO2020066042A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Publications (2)

Publication Number Publication Date
CN112714888A CN112714888A (zh) 2021-04-27
CN112714888B true CN112714888B (zh) 2023-02-17

Family

ID=69951239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097760.5A Active CN112714888B (zh) 2018-09-28 2018-12-25 显微镜系统、投影单元以及图像投影方法

Country Status (5)

Country Link
US (1) US11869166B2 (zh)
EP (1) EP3988988A4 (zh)
JP (1) JP7150868B2 (zh)
CN (1) CN112714888B (zh)
WO (1) WO2020066042A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714886B (zh) * 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
JP7150867B2 (ja) * 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM
WO2024053632A1 (ja) * 2022-09-05 2024-03-14 株式会社エビデント 顕微鏡システム、重畳ユニット、重畳表示方法、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672559A (en) * 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
JPH07253548A (ja) * 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
JP2009053701A (ja) * 1997-03-03 2009-03-12 Bacus Lab Inc バーチャル顕微鏡スライドを作成する方法および装置
JP2013054083A (ja) * 2011-09-01 2013-03-21 Osamu Shimada ホールスライドイメージ作成装置
WO2018042413A1 (en) * 2016-08-28 2018-03-08 Siegel Gabriel A system for histological examination of tissue specimens

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0580255A (ja) * 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> 光学顕微鏡システム装置
US6483948B1 (en) 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
JPH11502037A (ja) 1995-05-17 1999-02-16 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP3824116B2 (ja) * 1998-01-29 2006-09-20 日本電信電話株式会社 顕微鏡画像遠隔制御システム
JP2000292422A (ja) 1999-04-02 2000-10-20 Olympus Optical Co Ltd 走査型サイトメータ
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP4047569B2 (ja) 2001-10-10 2008-02-13 オリンパス株式会社 光走査プローブシステム
DE10332468B4 (de) * 2003-07-16 2005-05-25 Leica Microsystems Wetzlar Gmbh Mikroskop und Verfahren zur Bedienung eines Mikroskops
DE102004004115B4 (de) 2004-01-28 2016-08-18 Leica Microsystems Cms Gmbh Mikroskopsystem und Verfahren zur Shading-Korrektur der im Mikroskopsystem vorhandenen Optiken
JP2005351916A (ja) 2004-06-08 2005-12-22 Olympus Corp 双眼顕微鏡装置
JP2006071430A (ja) 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
JP2006297060A (ja) 2005-03-24 2006-11-02 Kanazawa Univ 手術用顕微鏡及びそれを備えた診療システム
JP2006292999A (ja) 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
CN101495917B (zh) * 2006-07-31 2011-08-10 3M创新有限公司 光学投影子系统
JP2008090072A (ja) 2006-10-03 2008-04-17 Keyence Corp 拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器
US9602777B2 (en) 2008-04-25 2017-03-21 Roche Diagnostics Hematology, Inc. Systems and methods for analyzing body fluids
US20100188739A1 (en) * 2009-01-19 2010-07-29 Visiongate, Inc. Tomographic Light Field Microscope
DE102009058792B3 (de) 2009-12-18 2011-09-01 Carl Zeiss Surgical Gmbh Optische Beobachtungseinrichtung zur Beobachtung eines Auges
JP5734588B2 (ja) 2010-07-15 2015-06-17 オリンパス株式会社 細胞観察装置および観察方法
JP2012073285A (ja) * 2010-09-27 2012-04-12 Olympus Corp 撮像方法および顕微鏡装置
JP5145487B2 (ja) 2011-02-28 2013-02-20 三洋電機株式会社 観察プログラムおよび観察装置
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
JP5893314B2 (ja) 2011-09-27 2016-03-23 オリンパス株式会社 表示装置および顕微鏡システム
WO2013094434A1 (ja) 2011-12-22 2013-06-27 三洋電機株式会社 観察システム、観察システムの制御方法及びプログラム
US9483684B2 (en) 2012-03-30 2016-11-01 Konica Minolta, Inc. Medical image processor and storage medium
ES2953897T3 (es) 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
JP5996334B2 (ja) * 2012-08-28 2016-09-21 オリンパス株式会社 顕微鏡システム、標本画像生成方法及びプログラム
US9378407B2 (en) 2012-09-11 2016-06-28 Neogenomics Laboratories, Inc. Automated fish reader using learning machines
JP5953195B2 (ja) 2012-09-21 2016-07-20 株式会社キーエンス 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
US8995740B2 (en) 2013-04-17 2015-03-31 General Electric Company System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
JP6147080B2 (ja) 2013-05-14 2017-06-14 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
ES2935506T3 (es) 2013-05-15 2023-03-07 The Administrators Of The Tulane Educational Fund Microscopia de una muestra de tejido mediante iluminación estructurada
US10182757B2 (en) 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
DE102013216476A1 (de) 2013-08-20 2015-02-26 Carl Zeiss Meditec Ag Operationsmikroskop mit optischen Schnittstellen
CN103744172B (zh) * 2013-12-26 2016-06-22 麦克奥迪实业集团有限公司 一种具备空间光调制照明的共聚焦显微成像方法
US20170140528A1 (en) * 2014-01-25 2017-05-18 Amir Aharon Handzel Automated histological diagnosis of bacterial infection using image analysis
DE102014201571B4 (de) 2014-01-29 2022-08-04 Carl Zeiss Meditec Ag Modul für die Dateneinspiegelung in einer Visualisierungsvorrichtung, Visualisierungsvorrichtung und Verfahren zum Anpassen der Vorrichtung
DE102014205038B4 (de) 2014-02-19 2015-09-03 Carl Zeiss Meditec Ag Visualisierungsvorrichtungen mit Kalibration einer Anzeige und Kalibrierverfahren für eine Anzeige in einer Visualisierungsvorrichtung
DE102014108811B3 (de) 2014-06-24 2015-11-26 Carl Zeiss Meditec Ag Stereomikroskop mit einem Hauptbeobachterstrahlengang und einem Mitbeobachterstrahlengang
JP6397717B2 (ja) 2014-10-08 2018-09-26 オリンパス株式会社 顕微鏡結像レンズ、顕微鏡装置、及び、撮像光学系
JP6367685B2 (ja) 2014-10-24 2018-08-01 オリンパス株式会社 顕微鏡用対物レンズ
EP3227830B8 (en) 2014-12-03 2020-07-01 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
DE102015100765A1 (de) 2015-01-20 2016-07-21 Carl Zeiss Meditec Ag Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
JP6544789B2 (ja) 2015-01-20 2019-07-17 オリンパス株式会社 パターン投影装置、パターン投影方法、及び、位相変調量設定方法
US10295815B2 (en) 2015-02-09 2019-05-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
DE102015103426B4 (de) 2015-03-09 2020-07-02 Carl Zeiss Meditec Ag Mikroskopsystem und Verfahren zum automatisierten Ausrichten eines Mikroskops
WO2017053891A1 (en) 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
JP6805506B2 (ja) 2016-03-07 2020-12-23 株式会社サタケ 粒状物外観品位判別装置
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
JP2018054690A (ja) 2016-09-26 2018-04-05 オリンパス株式会社 顕微鏡撮像システム
JP6580012B2 (ja) 2016-09-28 2019-09-25 富士フイルム株式会社 撮影画像評価装置および方法並びにプログラム
JP2018066908A (ja) 2016-10-20 2018-04-26 株式会社キーエンス 拡大観察装置
JP2018128532A (ja) 2017-02-07 2018-08-16 オリンパス株式会社 顕微鏡
DE102017105941B3 (de) 2017-03-20 2018-05-17 Carl Zeiss Meditec Ag Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops
DE102017108371B4 (de) 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE102017121085B3 (de) 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem
JP6462823B2 (ja) 2017-10-24 2019-01-30 株式会社キーエンス 画像検査装置
CN112714886B (zh) 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
JP7150867B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672559A (en) * 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
JPH07253548A (ja) * 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
JP2009053701A (ja) * 1997-03-03 2009-03-12 Bacus Lab Inc バーチャル顕微鏡スライドを作成する方法および装置
JP2013054083A (ja) * 2011-09-01 2013-03-21 Osamu Shimada ホールスライドイメージ作成装置
WO2018042413A1 (en) * 2016-08-28 2018-03-08 Siegel Gabriel A system for histological examination of tissue specimens

Also Published As

Publication number Publication date
EP3988988A4 (en) 2023-09-13
EP3988988A1 (en) 2022-04-27
CN112714888A (zh) 2021-04-27
US20210192179A1 (en) 2021-06-24
JPWO2020066042A1 (ja) 2021-08-30
JP7150868B2 (ja) 2022-10-11
WO2020066042A1 (ja) 2020-04-02
US11869166B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
CN112714888B (zh) 显微镜系统、投影单元以及图像投影方法
CN112703440B (zh) 显微镜系统
CN112714886B (zh) 显微镜系统、投影单元以及图像投影方法
US10823936B2 (en) Real-time autofocus focusing algorithm
US11594051B2 (en) Microscope system and projection unit
US8106943B2 (en) Microscope image pickup system, microscope image pickup method and recording medium
US20090166570A1 (en) Biological-specimen observation apparatus
US20230258918A1 (en) Digital microscope with artificial intelligence based imaging
EP1972982B1 (en) Microscope equipped with automatic focusing mechanism and method of adjusting the same
JP6797659B2 (ja) 顕微鏡装置、プログラム、観察方法
JP2024000239A (ja) 顕微鏡システム
JP2023125282A (ja) 解析方法および解析装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220927

Address after: Nagano

Applicant after: Yijingtong Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: OLYMPUS Corp.

GR01 Patent grant
GR01 Patent grant