CN112714887B - 显微镜系统、投影单元以及图像投影方法 - Google Patents

显微镜系统、投影单元以及图像投影方法 Download PDF

Info

Publication number
CN112714887B
CN112714887B CN201880097759.2A CN201880097759A CN112714887B CN 112714887 B CN112714887 B CN 112714887B CN 201880097759 A CN201880097759 A CN 201880097759A CN 112714887 B CN112714887 B CN 112714887B
Authority
CN
China
Prior art keywords
image
projection
projection image
analysis
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880097759.2A
Other languages
English (en)
Other versions
CN112714887A (zh
Inventor
米山贵
壁谷章文
谷洋辅
中田竜男
唐泽雅善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Co ltd
Original Assignee
Yijingtong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijingtong Co ltd filed Critical Yijingtong Co ltd
Publication of CN112714887A publication Critical patent/CN112714887A/zh
Application granted granted Critical
Publication of CN112714887B publication Critical patent/CN112714887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

显微镜系统(1)具备：目镜(104)；物镜(102)，其将来自试样的光引导到目镜(104)；成像透镜(103)，其配置于目镜(104)与物镜(102)之间，基于来自试样的光来形成试样的光学图像；图像分析部(22)；投影图像生成部(23)；以及投影装置(133)，其向光学图像的像面投射投影图像。图像分析部(22)对试样的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，输出与至少一个分析处理相应的分析结果。投影图像生成部(23)基于分析结果和至少一个分析处理来生成投影图像数据。投影图像数据所表现的投影图像是将分析结果以与至少一个分析处理相应的显示形式表示出来的图像。

Description

显微镜系统、投影单元以及图像投影方法
技术领域
本说明书的公开涉及一种显微镜系统、投影单元以及图像投影方法。
背景技术
作为减轻病理医生在病理诊断中的负担的技术之一，WSI(Whole Slide Imaging：全载玻片成像)技术受到关注。WSI技术是一种用于制作WSI(Whole Slide Image：全载玻片图像)的技术，该WSI是载玻片上的整个检体的数字图像。通过在监视器上显示作为数字图像的WSI并进行诊断，病理医生能够享受到各种好处。具体地说，能够列举出在诊断中不需要操作显微镜主体、能够容易地变更显示倍率、能够由多名病理医生同时参与诊断等好处。这种WSI技术例如在专利文献1中有所记载。
现有技术文献
专利文献
专利文献1：日本特表2001-519944号公报
发明内容
发明要解决的问题
另一方面，要求应用WSI技术的系统(以后记载为WSI系统。)具有高性能。具体地说，在病理诊断中，颜色、浓淡的信息极为重要，因此要求WSI系统具有高的颜色再现性、大的动态范围。因此，构成WSI系统的各设备必须是具有高性能的昂贵的设备，其结果，能够引入WSI系统的用户是有限的。
根据这种实际情况，寻求如下一种新技术：对病理医生基于通过光学显微镜得到的光学图像(模拟图像)进行的病理诊断进行辅助，由此减轻病理医生的负担。
本发明的一个方面所涉及的目的在于提供一种对病理医生基于光学图像进行的病理诊断进行辅助的诊断辅助技术。
用于解决问题的方案
本发明的一个方式所涉及的显微镜系统具备：目镜；物镜，其将来自试样的光引导到所述目镜；成像透镜，其配置在所述目镜与所述物镜之间的光路上，基于来自所述试样的光来形成所述试样的光学图像；图像分析部，其对所述试样的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，输出与所述至少一个分析处理相应的分析结果；投影图像生成部，其基于所述分析结果和所述至少一个分析处理来生成投影图像数据，其中，所述投影图像数据所表现的投影图像是将所述分析结果以与所述至少一个分析处理相应的显示形式表示出来的图像；以及投影装置，其向形成有所述光学图像的像面投射所述投影图像，所述显示形式包括图像的颜色，所述投影图像生成部与从所述多个分析处理中选择出的所述至少一个分析处理相应地决定所述投影图像的颜色。
本发明的另一方式所涉及的显微镜系统具备：目镜；物镜，其将来自试样的光引导到所述目镜；成像透镜，其配置在所述目镜与所述物镜之间的光路上，基于来自所述试样的光来形成所述试样的光学图像；投影图像生成部，其基于从多个诊断规范中选择出的诊断规范来生成投影图像数据，其中，所述投影图像数据所表现的投影图像是与所选择出的所述诊断规范相应的图像；以及投影装置，其向形成有所述光学图像的像面投射所述投影图像，其中，所述投影图像包含所选择出的所述诊断规范的诊断过程的引导，所述投影图像生成部与所选择出的所述诊断规范相应地决定所述引导的颜色。
本发明的又一方式所涉及的显微镜系统具备：目镜；物镜，其将来自试样的光引导到所述目镜；成像透镜，其配置在所述目镜与所述物镜之间的光路上，基于来自所述试样的光来形成所述试样的光学图像；图像分析部，其对所述试样的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，输出与所述至少一个分析处理相应的分析结果；投影图像生成部，其基于所述分析结果和所述至少一个分析处理来生成第一投影图像数据，基于从多个诊断规范中选择出的诊断规范来生成第二投影图像数据，其中，所述第一投影图像数据所表现的第一投影图像是将所述分析结果以与所述至少一个分析处理相应的显示形式表示出来的图像，所述第二投影图像数据所表现的第二投影图像是与所选择出的所述诊断规范相应的图像；以及投影装置，其向形成有所述光学图像的像面投射所述第一投影图像和所述第二投影图像，所述显示形式包括图像的颜色，所述投影图像生成部与从所述多个分析处理中选择出的所述至少一个分析处理相应地决定所述投影图像的颜色。
本发明的一个方式所涉及的投影单元是具备物镜、成像透镜以及目镜的显微镜用的投影单元，所述投影单元具备：摄像装置，其基于来自试样的光来获取所述试样的数字图像数据；图像分析部，其对所述试样的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，输出与所述至少一个分析处理相应的分析结果；投影图像生成部，其基于所述分析结果和所述至少一个分析处理来生成投影图像数据，其中，所述投影图像数据所表现的投影图像是将所述分析结果以与所述至少一个分析处理相应的显示形式表示出来的图像；以及投影装置，其向通过所述成像透镜形成有所述试样的光学图像的像面投射所述投影图像，所述显示形式包括图像的颜色，所述投影图像生成部与从所述多个分析处理中选择出的所述至少一个分析处理相应地决定所述投影图像的颜色。
本发明的另一方式所涉及的投影单元是具备物镜、成像透镜以及目镜的显微镜用的投影单元，所述投影单元具备：摄像装置，其基于来自试样的光来获取所述试样的数字图像数据；投影图像生成部，其基于从多个诊断规范中选择出的诊断规范来生成投影图像数据，其中，所述投影图像数据所表现的投影图像是与所选择出的所述诊断规范相应的图像；以及投影装置，其向通过所述成像透镜形成有所述试样的光学图像的像面投射所述投影图像，其中，所述投影图像包含所选择出的所述诊断规范的诊断过程的引导，所述投影图像生成部与所选择出的所述诊断规范相应地决定所述引导的颜色。
本发明的一个方式所涉及的图像投影方法是由显微镜系统进行的图像投影方法，所述显微镜系统进行以下动作：对试样的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，输出与所述至少一个分析处理相应的分析结果；基于所述分析结果和所述至少一个分析处理来生成投影图像数据；以及向形成有所述试样的光学图像的像面投射所述投影图像数据所表现的投影图像，在此，所述投影图像是将所述分析结果以与所述至少一个分析处理相应的显示形式表示出来的图像，所述显示形式包括图像的颜色，生成所述投影图像数据包括：与从所述多个分析处理中选择出的至少一个分析处理相应地决定所述投影图像的颜色。
本发明的另一方式所涉及的图像投影方法是由显微镜系统进行的图像投影方法，所述显微镜系统进行以下动作：基于从多个诊断规范中选择出的诊断规范来生成投影图像数据；以及向形成有试样的光学图像的像面投射所述投影图像数据所表现的投影图像，在此，所述投影图像是与所选择出的所述诊断规范相应的图像，所述投影图像的显示形式包括图像的颜色，所述投影图像包含所选择出的所述诊断规范的诊断过程的引导，生成所述投影图像数据包括：与所选择出的所述诊断规范相应地决定所述引导的颜色。
发明的效果
根据上述的方式，能够对病理医生基于光学图像进行的病理诊断进行辅助。
附图说明
图1是示出显微镜系统1的结构的图。
图2是示出计算机20的结构的图。
图3是显微镜系统1所进行的图像投影处理的流程图。
图4是例示了选择画面31的图。
图5是能够从显微镜系统1的目镜104观察到的图像的一例。
图6是能够从显微镜系统1的目镜104观察到的图像的另一例。
图7是能够从显微镜系统1的目镜104观察到的图像的又一例。
图8是能够从显微镜系统1的目镜104观察到的图像的又一例。
图9是能够从显微镜系统1的目镜104观察到的图像的又一例。
图10是能够从显微镜系统1的目镜104观察到的图像的又一例。
图11是示出神经网络的结构的图。
图12是示出显微镜系统2的结构的图。
图13是示出显微镜系统3中包括的计算机60的结构的图。
图14是显微镜系统3所进行的图像投影处理的流程图。
图15是能够从显微镜系统3的目镜104观察到的图像的一例。
图16是能够从显微镜系统3的目镜104观察到的图像的另一例。
图17是能够从显微镜系统3的目镜104观察到的图像的又一例。
图18是能够从显微镜系统3的目镜104观察到的图像的又一例。
图19是示出包括显微镜系统4和外部浏览系统300的诊断辅助系统的结构的图。
图20是示出显微镜500的结构的图。
图21是能够从包括显微镜500的显微镜系统的目镜104观察到的图像的变化的一例。
图22是示出显微镜600的结构的图。
具体实施方式
[第一实施方式]
图1是示出本实施方式所涉及的显微镜系统1的结构的图。图2是示出计算机20的结构的图。显微镜系统1是病理医生在病理诊断中使用的显微镜系统，至少具备物镜102、成像透镜103、目镜104、图像分析部22、投影图像生成部23以及投影装置133。
显微镜系统1使用投影装置133向通过物镜102和成像透镜103形成有试样的光学图像的像面投射投影图像。更具体地说，图像分析部22对试样的数字图像数据进行分析处理，投影图像生成部23基于分析结果和分析处理来生成投影图像数据，投影装置133向像面投射将分析结果以与分析处理相应的显示形式表示出来的投影图像。由此，病理医生会观察到与分析处理相应的显示形式的投影图像叠加到光学图像上而成的图像。因此，显微镜系统1能够将辅助病理诊断的各种信息以易于视觉辨认的显示形式提供给正在窥视目镜104来观察试样的病理医生。
下面，参照图1和图2来详细说明显微镜系统1的结构的具体例。如图1所示，显微镜系统1具备显微镜100、显微镜控制器10、计算机20、显示装置30、输入装置40以及识别装置50。
显微镜100例如是正立显微镜，具备显微镜主体110、镜筒120以及中间镜筒130。此外，显微镜100也可以是倒置显微镜。
显微镜主体110具备：载置台101，其载置试样；物镜(物镜102、物镜102a)，其将来自试样的光引导到目镜104；落射照明光学系统；以及透射照明光学系统。载置台101既可以是手动载置台，也可以是电动载置台。期望的是，在换镜旋座上安装有倍率不同的多个物镜。例如，物镜102是4倍的物镜，物镜102a是20倍的物镜。此外，显微镜主体110只要具备落射照明光学系统和透射照明光学系统中的至少一方即可。
显微镜主体110还具备用于切换显微技术的转塔111。在转塔111例如配置有在荧光观察法中使用的荧光立方体、在明视场观察法中使用的半透半反镜等。除此以外，显微镜主体110也可以具备相对于光路而言插拔自如的在特定的显微技术中使用的光学元件。具体地说，显微镜主体110例如也可以具备在微分干涉观察法中使用的DIC棱镜、偏振器、检偏器等。
镜筒120是安装有目镜104的单眼镜筒或双眼镜筒。在镜筒120内设置成像透镜103。成像透镜103配置在物镜102与目镜104之间的光路上。成像透镜103在目镜104与成像透镜103之间的像面基于来自试样的光形成试样的光学图像。另外，成像透镜103还在像面基于来自投影装置133的光形成后述的投影图像。由此，在像面，投影图像被叠加到光学图像上。
中间镜筒130设置于显微镜主体110与镜筒120之间。中间镜筒130具备摄像元件131、光偏转元件132、投影装置133以及光偏转元件134。
摄像元件131是检测来自试样的光的光检测器的一例。摄像元件131是二维图像传感器，例如是CCD图像传感器、CMOS图像传感器等。摄像元件131检测来自试样的光，基于其检测结果来生成试样的数字图像数据。
光偏转元件132是将来自试样的光朝向摄像元件131偏转的第一光偏转元件的一例。光偏转元件132例如是半透半反镜等分束器。作为光偏转元件132，也可以使用能够改变透射率和反射率的可变分束器。光偏转元件132配置在目镜104与物镜102之间的光路上。由此，能够利用摄像元件131得到从与目视观察方向相同的方向观察到的试样的数字图像。
投影装置133是按照来自计算机20的命令将后述的投影图像投射到像面的投影装置。投影装置133例如是使用液晶设备的投影仪、使用数字反射镜设备的投影仪、使用LCOS的投影仪等。
光偏转元件134是将从投影装置133射出的光朝向像面偏转的第二光偏转元件的一例。光偏转元件134例如是半透半反镜等分束器。作为光偏转元件134，也可以使用能够改变透射率和反射率的可变分束器。作为光偏转元件134，也可以使用二向色镜等。光偏转元件134配置在像面与光偏转元件132之间的光路上。由此，能够避免来自投影装置133的光入射到摄像元件131。
显微镜控制器10对显微镜100、特别是显微镜主体110进行控制。显微镜控制器10与计算机20及显微镜100连接，根据来自计算机20的命令来控制显微镜100。
显示装置30例如是液晶显示器、有机EL(OLED)显示器、CRT(Cathode Ray Tube：阴极射线管)显示器等。输入装置40向计算机20输出与利用者的输入操作相应的操作信号。输入装置40例如是键盘，但是也可以包括鼠标、操纵杆、触摸面板等。
识别装置50是获取附加于试样的识别信息的装置。识别信息至少包含用于识别试样的信息。识别信息也可以包含关于试样的分析方法、诊断规范的信息等。识别装置50例如是条形码读取器、RFID读取器、QR(注册商标)码读取器等。
计算机20对显微镜系统1整体进行控制。计算机20与显微镜100、显微镜控制器10、显示装置30、输入装置40以及识别装置50连接。如图1所示，计算机20主要具备摄像机控制部21、图像分析部22、投影图像生成部23、信息获取部24、投影控制部25、图像记录部26、图像合成部27、显示控制部28，来作为与投影装置133的控制关联的结构要素。
摄像机控制部21通过对摄像元件131进行控制来获取试样的数字图像数据。摄像机控制部21获取到的数字图像数据被输出到图像分析部22、图像记录部26以及图像合成部27。
图像分析部22对摄像机控制部21获取到的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，将与至少一个分析处理相应的分析结果输出到投影图像生成部23。作为选择对象的多个分析处理可以是以HE染色、IHC染色等不同的多个染色法为对象的处理。另外，作为选择对象的多个分析处理也可以是以HER2、Ki-67、ER/PgR等不同的多个生物标记物为对象的处理。另外，作为选择对象的多个分析处理也可以是以染色法与生物标记物的不同的多个组合为对象的处理。
此外，图像分析部22也可以基于利用者的输入操作来选择至少一个分析处理。更具体地说，图像分析部22也可以基于信息获取部24获取到的利用者的操作信息来选择至少一个分析处理。另外，图像分析部22也可以基于识别装置50获取到的识别信息来选择至少一个分析处理。更具体地说，从信息获取部24获取识别装置50获取到的识别信息，基于该识别信息中包含的分析方法来选择至少一个分析处理。此外，操作信息和识别信息均包含用于选择分析处理的信息。因此，以后将这些信息总称为选择信息。
图像分析部22所进行的分析处理的内容没有特别限定。图像分析部22例如可以将数字图像数据所表现的数字图像中呈现的一个以上的构造物分类到一个以上的类别，生成包含用于确定被分类到该一个以上的类别中的至少一个类别的构造物的位置的位置信息的分析结果。更具体地说，图像分析部22可以根据染色强度对数字图像中呈现的细胞进行分类，生成包含将细胞分类得到的类别信息以及用于确定该细胞的轮廓或该细胞的核的轮廓的位置信息的分析结果。另外，图像分析部22也可以生成除了包含类别信息和位置信息以外、还包含各类别的细胞数、相对于整体而言的各类别的细胞比率等被分类到至少一个类别的构造物的统计信息的分析结果。此外，期望的是，被分类到至少一个类别的构造物是成为病理医生在病理诊断中作出判定的依据的对象物。
投影图像生成部23基于从图像分析部22输出的分析结果以及根据从信息获取部24获取到的选择信息而确定的至少一个分析处理，来生成投影图像数据。投影图像数据所表现的投影图像是将分析结果以与至少一个分析处理相应的显示形式表示出来的图像。在投影图像生成部23中生成的投影图像被输出到投影控制部25、图像记录部26以及图像合成部27。
显示形式至少包括图像的颜色。因而，投影图像生成部23与至少一个分析处理相应地决定投影图像的颜色。另外，显示形式也可以除了包括图像的颜色以外还包括构成图像的图形(例如，线)的格式。因而，投影图像生成部23也可以与至少一个分析处理相应地决定构成投影图像的图形的格式。此外，图形的格式包括是否填充图形、图形的种类等。例如，如果图形是线的情况，则线的格式包括线类型、线的粗细等。并且，显示形式也可以除了包括图像的颜色以外还包括图像的位置。因而，投影图像生成部23也可以与至少一个分析处理相应地决定投影图像与光学图像在像面上的位置关系，还可以决定是否将投影图像的至少一部分投射到光学图像的区域外。
更具体地说，投影图像生成部23以使投影图像的颜色与光学图像的颜色不同的方式生成投影图像数据。光学图像的颜色根据染色法而不同，因此投影图像生成部23也可以根据被所选择出的分析处理当作对象的染色法来变更投影图像的颜色。例如，在HE染色法中光学图像为蓝紫色，因此期望使投影图像的颜色为不同于蓝紫色的颜色。
另外，细胞内的染色部位根据生物标记物而不同，因此投影图像生成部23也可以根据被所选择出的分析处理当作对象的生物标记物来变更构成投影图像的图形的格式。例如，如果是对HER2蛋白质的过度表达进行分析的情况，则细胞膜被染色，因此可以利用描画细胞的轮廓的中空的图形来构成投影图像。另外，如果是对ER/PgR的表达进行分析的情况，则细胞的核被染色，因此可以利用填充细胞的核的图形来构成投影图像。
并且，HE染色法常用于观察细胞的形态。在详细观察细胞的形态的情况下，期望的是，光学图像的观察不被投影图像所妨碍。因此，投影图像生成部23也可以根据被所选择出的分析处理当作对象的染色法来变更投影图像的位置。例如，在HE染色法中，在投影图像包含补充性的字符信息的情况下，也可以以使该字符信息与光学图像的重叠变少的方式变更投影图像的位置。
信息获取部24从计算机20外部的装置获取信息。具体地说，信息获取部24基于来自输入装置40的操作信号来获取利用者的操作信息。另外，信息获取部24从识别装置50获取识别信息。
投影控制部25通过对投影装置133进行控制来控制投影图像向像面的投射。投影控制部25也可以根据显微镜系统1的设定来控制投影装置133。具体地说，投影控制部25可以根据显微镜系统1的设定来决定是否向像面投射投影图像，也可以在显微镜系统1为规定的设定时以使投影装置133向像面投射投影图像的方式控制投影装置133。也就是说，显微镜系统1能够根据设定来变更是否将投影图像投射到像面。
图像记录部26记录数字图像数据和投影图像数据。具体地说，图像记录部26将投影图像数据与数字图像数据相关联地记录到与数字图像数据不同的区域。由此，能够将彼此关联的数字图像数据和投影图像数据根据需要来个别地读出。并且，图像记录部26也可以经由识别装置50和信息获取部24获取附加于试样的识别信息，将获取到的识别信息与数字图像数据相关联地进行记录。另外，图像记录部26也可以在检测到利用者的记录指示的输入时记录数字图像数据和投影图像数据。
图像合成部27基于数字图像数据和投影图像数据来生成将数字图像与投影图像进行合成所得到的合成图像的图像数据，将该合成图像的图像数据输出到显示控制部28。
显示控制部28基于从图像合成部27输出的合成图像数据来将合成图像显示于显示装置30。此外，显示控制部28也可以基于数字图像数据来将数字图像单独地显示于显示装置30。
此外，计算机20既可以是通用装置也可以是专用装置。计算机20的结构没有特别限定，例如可以具有如图2所示的物理结构。具体地说，计算机20可以具备处理器20a、存储器20b、辅助存储装置20c、输入输出接口20d、介质驱动装置20e、通信控制装置20f，可以将它们通过总线20g进行连接。
处理器20a例如是包括CPU(Central Processing Unit：中央处理单元)的任意的处理电路。处理器20a也可以执行存储器20b、辅助存储装置20c、存储介质20h中保存的程序来进行被编程的处理，由此实现与上述的投影装置133的控制关联的结构要素(摄像机控制部21、图像分析部22、投影图像生成部23等)。另外，也可以使用ASIC、FPGA等专用处理器来构成处理器20a。
存储器20b是处理器20a的工作存储器。存储器20b例如是RAM(Random AccessMemory：随机存取存储器)等任意的半导体存储器。辅助存储装置20c是EPROM(ErasableProgrammable ROM：可擦除可编程ROM)、硬盘驱动器(Hard Disc Drive)等非易失性的存储器。输入输出接口20d与外部装置(显微镜100、显微镜控制器10、显示装置30、输入装置40、识别装置50)交换信息。
介质驱动装置20e能够将存储器20b和辅助存储装置20c中保存的数据输出到存储介质20h，另外，能够从存储介质20h读出程序和数据等。存储介质20h是能够搬运的任意的记录介质。存储介质20h例如包括SD卡、USB(Universal Serial Bus：通用串行总线)快闪存储器、CD(Compact Disc：压缩盘)、DVD(Digital Versatile Disc：数字多功能盘)等。
通信控制装置20f进行信息相对于网络的输入输出。作为通信控制装置20f，例如能够采用NIC(Network Interface Card：网络接口卡)、无线LAN(Local Area Network：局域网)卡等。总线20g将处理器20a、存储器20b、辅助存储装置20c等以能够相互授受数据的方式进行连接。
如以上那样构成的显微镜系统1进行图3所示的图像投影处理。图3是显微镜系统1所进行的图像投影处理的流程图。图4是例示了选择画面31的图。下面，参照图3和图4来说明显微镜系统1的图像投影方法。
首先，显微镜系统1将试样的光学图像投射到像面(步骤S1)。在此，成像透镜103将物镜102所获取到的来自试样的光会聚到像面，形成试样的光学像。
并且，显微镜系统1获取试样的数字图像数据(步骤S2)。在此，光偏转元件132将物镜102所获取到的来自试样的光的一部分朝向摄像元件131偏转。摄像元件131基于被光偏转元件132偏转后的光来拍摄试样，由此生成数字图像数据。
之后，显微镜系统1确定从预先准备的多个分析处理中选择出的分析处理(步骤S3)。在此，利用者例如选择图4所示的选择画面31上的各菜单(菜单32、菜单33、菜单34、菜单35)后，按下按钮36。图像分析部22基于利用者的该输入操作来确定所选择出的分析处理。
当确定了分析处理时，显微镜系统1执行所确定的分析处理(步骤S4)。在此，图像分析部22对通过步骤S2获取到的数字图像数据进行通过步骤S3选择出的分析处理，得到分析结果。
显微镜系统1基于通过步骤S4获取到的分析结果和通过步骤S3确定的分析处理来生成投影图像数据(步骤S5)。在此，投影图像生成部23生成表示将通过步骤S4获取到的分析结果以与通过步骤S3确定的分析处理相应的显示形式进行显示的投影图像的投影图像数据。
最后，显微镜系统1将投影图像投射到像面(步骤S6)。投影控制部25基于投影图像数据来控制投影装置133，由此投影装置133将投影图像投射到像面。由此，投影图像被叠加到试样的光学图像上。
在显微镜系统1中，通过计算机得到的图像分析结果被显示在光学图像上。由此，病理医生在基于试样的光学图像的病理诊断中不使眼睛离开目镜就能够得到用于辅助诊断的各种信息。另外，在图像分析部22中进行从多个分析处理中选择出的分析处理，因此显微镜系统1能够应对各种种类的诊断。并且，投影装置133所投射的投影图像具有与分析处理相应的显示形式。因此，显微镜系统1能够将辅助病理诊断的各种信息以易于视觉辨认的显示形式提供给病理医生。因而，根据显微镜系统1，能够对基于光学图像的病理诊断进行辅助，从而能够减轻病理医生的作业负担。
并且，在显微镜系统1中，通过在光学图像上显示附加信息(投影图像)，来辅助病理诊断。因此，与基于数字图像来进行病理诊断的WSI系统不同，不需要高价的设备。因而，根据显微镜系统1，能够在避免大幅的设备成本的上升的同时实现病理医生的负担减轻。另外，为了在WSI系统中进行病理诊断，需要事先制作WSI(Whole Slide Image)，但是在显微镜系统1中，不需要事先准备，能够立即开始诊断作业。
图5至图10是示出能够从显微镜系统1的目镜104观察到的图像的图。下面，参照图5至图10来具体说明使用执行图3所示的图像投影处理的显微镜系统1来进行的观察的情形。
首先，参照图5至图7来说明在图4所示的选择画面31中选择了“细胞诊断”、“乳腺癌”、“IHC染色”、“ER/PgR”的情况。
当开始使用显微镜系统1进行观察并窥视目镜104时，病理医生能够观察到图5所示的图像V1。图像V1是与形成于像面的实际视场对应的光学图像M1。图像V1中呈现了癌细胞的被染色的核。在供图像V1投射的区域R1的周围存在暗的区域R2。区域R2是能够从目镜104观察的像面上的区域中的来自物镜102的光不会通过的区域。此时，也可以在显示装置30中基于通过摄像元件131生成的数字图像数据显示与图像V1对应的图像。
之后，计算机20对数字图像数据进行分析。通过分析来确定细胞的核，根据其染色强度来划分类别。例如，没有被染色的核被分类为表示阴性的类别0。另外，被弱染色的核被分类到表示弱阳性的类别1+。另外，被中程度地染色的核被分类到表示中等程度阳性的类别2+。另外，被强染色的核被分类到表示强阳性的类别3+。
计算机20基于分析结果来生成投影图像数据，投影装置133将投影图像数据所表示的投影图像投射到像面。投影图像数据所表示的投影图像包含由表示分类后的细胞的核的位置的图形构成的位置图像，该图形具有按类别而不同的颜色。
当投影装置133投射了投影图像时，病理医生能够观察到图6所示的图像V2。图像V2是包含位置图像P1的投影图像被叠加到光学图像M1上而成的图像。此时，也可以在显示装置30中显示与图像V2对应的图像。与图5所示的图像V1(光学图像M1)相比，在图6所示的图像V2中，能够容易地判别各细胞的染色状态。因此，变得易于利用在病理诊断中使用的J-score等规定的评分法来计算分数。因而，通过显微镜系统1来辅助病理医生所进行的阳性/阴性的判定作业，因此能够减轻病理医生的负担。
另外，投影图像数据所表示的投影图像也可以除了包含位置图像P1以外还包含由分类后的细胞的统计信息构成的统计图像T1。在该情况下，病理医生能够观察到图7所示的图像V3。图像V3是包含位置图像P1和统计图像T1的投影图像被叠加到光学图像M1上而成的图像。此时，也可以在显示装置30中显示与图像V3对应的图像。在图7所示的图像V3中，通过统计图像T1，变得更易于计算分数。因而，通过显微镜系统1更好地辅助病理医生所进行的阳性/阴性的判定作业，因此能够进一步减轻病理医生的负担。
另外，表示染色强度的程度的0、1+、2+、3+的各评分判定的阈值有时根据个别的病理医生、医院设施的指南、或者各国的诊断基准而不同。基于此，在将光学图像M1与位置图像P1及统计图像T1进行对比后对基于分析结果的统计图像T1产生疑义的情况下，观察者也可以使用输入装置来变更在分析处理中使用的阈值。利用者对基于变更后的阈值实施新的分析处理并将其结果实时地进行反映而得到的新的统计图像T1′进行确认，由此，设定适当的阈值的作业得到更好的辅助。因此，能够进一步减轻病理医生的负担。
接着，参照图8至图10来说明在图4所示的选择画面31中选择了“细胞诊断”、“乳腺癌”、“IHC染色”、“HER2”的情况。
当开始使用显微镜系统1进行观察并窥视目镜104时，病理医生能够观察到图8所示的图像V4。图像V4是与形成于像面的实际视场对应的光学图像M2。图像V4中呈现了癌细胞的被染色的细胞膜。此时，也可以在显示装置30中基于通过摄像元件131生成的数字图像数据显示与图像V4对应的图像。
之后，计算机20对数字图像数据进行分析。通过分析来确定细胞膜，根据其染色强度和染色模式来划分类别。例如，膜完全没有被染色的细胞被分类为表示阴性的类别0。另外，膜局部被染色或者膜被弱染色的细胞被分类为表示弱阳性的类别1+。另外，膜中程度地被染色且整体被染色的细胞被分类为表示中等程度阳性的类别2+。另外，膜被强染色且整体被染色的细胞被分类为表示强阳性的类别3+。
计算机20基于分析结果来生成投影图像数据，投影装置133将投影图像数据所表示的投影图像投射到像面。投影图像数据所表示的投影图像包含由表示分类后的细胞的位置的图形构成的位置图像P2，该图形具有按类别而不同的格式(线类型)。
当投影装置133投射了投影图像时，病理医生能够观察到图9所示的图像V5。图像V5是包含位置图像P2的投影图像被叠加到光学图像M2上而成的图像。此时，也可以在显示装置30中显示与图像V5对应的图像。与图8所示的图像V4(光学图像M2)相比，在图9所示的图像V5中，能够容易地判别细胞膜的染色状态。因此，变得易于利用在病理诊断中使用的规定的评分法来计算分数。因而，通过显微镜系统1来辅助病理医生所进行的阳性/阴性的判定作业，因此能够减轻病理医生的负担。
另外，投影图像数据所表示的投影图像也可以除了包含位置图像P2以外还包含由分类后的细胞的统计信息构成的统计图像T2。在该情况下，病理医生能够观察到图10所示的图像V6。图像V6是包含位置图像P2和统计图像T2的投影图像被叠加到光学图像M2上而成的图像。此外，在该例子中，统计图像T2被投射到来自物镜102的光束所通过的区域R1的外侧。此时，也可以在显示装置30中显示与图像V6对应的图像。在图10所示的图像V6中，通过统计图像T2，变得更易于计算分数。因而，通过显微镜系统1更好地辅助病理医生所进行的阳性/阴性的判定作业，因此能够进一步减轻病理医生的负担。
在图5至图10的例子中，例示了由于构成图像的图形的格式(有无填充、线类型)不同而显示形式互不相同的投影图像，但是也可以使投影图像的图像颜色与分析处理相应地不同。
另外，显微镜系统1的图像分析部22既可以使用多个规定的算法来进行多个分析处理，也可以使用多个已训练的神经网络来进行多个分析处理。
关于多个已训练的神经网络各自的参数，可以在与显微镜系统1不同的装置中对各个神经网络进行训练由此生成所述参数，计算机20可以将所生成的参数下载来应用于图像分析部22。另外，计算机20也可以针对新的神经网络下载该神经网络的参数，由此随时追加能够在图像分析部22中选择的分析处理。
此外，图11是示出神经网络NN的结构的图。神经网络NN具有输入层、多个中间层以及输出层。将通过将输入数据D1输入到输入层而从输出层输出的输出数据D2与正确数据D3进行比较。然后，通过误差反向传播法进行学习，由此对神经网络NN的参数进行更新。此外，输入数据D1与正确数据D3的集合是有监督学习的训练数据。
[第二实施方式]
图12是示出本实施方式所涉及的显微镜系统2的结构的图。显微镜系统2在以下方面与显微镜系统1不同：具备显微镜200来代替显微镜100。显微镜200在显微镜主体110与镜筒120之间具备投影单元140。
投影单元140是具备物镜102、成像透镜103以及目镜104的显微镜用的投影单元，包括中间镜筒130。即，投影单元140具备：作为摄像装置的一例的摄像元件131，其基于来自试样的光来获取试样的数字图像数据；以及投影装置133，其向形成光学图像的像面投射投影图像。
投影单元140还具备图像分析部142和投影图像生成部143。投影单元140也可以具备摄像机控制部141、信息获取部144以及投影控制部145。
摄像机控制部141、图像分析部142、投影图像生成部143、投影控制部145分别与摄像机控制部21、图像分析部22、投影图像生成部23、投影控制部25相同。因此，省略详细的说明。
信息获取部144基于经由计算机20获取到的来自输入装置40的操作信号来获取利用者的操作信息。另外，信息获取部144经由计算机20从识别装置50获取识别信息。
在本实施方式中，只需将投影单元140安装于现有的显微镜，就能够得到与显微镜系统1同样的效果。因而，根据投影单元140和显微镜系统2，能够容易地扩展现有的显微镜系统，来对病理医生基于光学图像进行的病理诊断进行辅助。
[第三实施方式]
图13是示出本实施方式所涉及的显微镜系统3中包括的计算机60的结构的图。此外，显微镜系统3除了以下方面以外与显微镜系统1相同：包括计算机60来代替计算机20。
计算机60对显微镜系统3整体进行控制。计算机60在以下方面与计算机20相同：计算机60与显微镜100、显微镜控制器10、显示装置30、输入装置40以及识别装置50连接。
计算机60主要具备摄像机控制部61、投影图像生成部63、信息获取部64、投影控制部65、图像记录部66、图像合成部67、显示控制部68，来作为与投影装置133的控制关联的结构要素。
此外，摄像机控制部61、信息获取部64、投影控制部65、图像记录部66、图像合成部67、显示控制部68分别与计算机20中包括的摄像机控制部21、信息获取部24、投影控制部25、图像记录部26、图像合成部27、显示控制部28相当。
计算机60在以下方面与计算机20大不相同：不包括与图像分析部22对应的结构。另外，以下方面也与计算机20不同：投影图像生成部63进行不同于投影图像生成部23的处理。
投影图像生成部63基于从多个诊断规范中选择出的诊断规范来生成投影图像数据。此外，诊断规范是包括从诊断开始起到结束为止的过程、判定基准等的一系列安排。投影图像数据所表现的投影图像是与所选择出的诊断规范相应的图像。在投影图像生成部63中生成的投影图像被输出到投影控制部65、图像记录部66以及图像合成部67。
此外，投影图像生成部63中的诊断规范的选择方法与显微镜系统1的图像分析部22中的分析处理的选择方法相同。也就是说，投影图像生成部63既可以基于利用者的输入操作来选择诊断规范，也可以基于识别装置50获取到的识别信息来选择诊断规范。
期望投影图像包含所选择出的诊断规范的诊断过程的引导，投影图像生成部23也可以与所选择出的诊断规范相应地决定诊断过程的引导的颜色。由此，病理医生不使眼睛离开目镜104就能够参照诊断过程，因此能够不耽误诊断过程地高效地推进诊断。
另外，投影图像也可以包含表示所选择出的诊断规范中的判定基准的参考图像。由此，病理医生能够同时确认光学图像和参考图像，因此能够期待诊断时间的缩短、诊断精度的提高等。
投影图像生成部63也可以与所选择出的诊断规范相应地决定投影图像与光学图像在像面上的位置关系，还可以决定是否将投影图像的至少一部分投射到光学图像的区域外。
另外，也可以是，在显微镜系统3的设定不满足所选择出的诊断规范的要求时，投影图像生成部63以使投影图像包含警告显示的方式生成投影图像数据。由此，病理医生能够在正确的环境下进行诊断中的各种判断，因此能够期待诊断精度的提高。
此外，投影控制部65也可以根据显微镜系统3的设定来控制投影装置133。具体地说，投影控制部65可以根据显微镜系统3的设定来决定是否向像面投射投影图像，也可以在显微镜系统3为规定的设定时以使投影装置133向像面投射投影图像的方式控制投影装置133。也就是说，显微镜系统3能够根据设定来变更是否将投影图像投射到像面。
另外，根据诊断规范不同，有时包括对癌细胞等构造物的面积、位置、构造物之间的距离进行测定的过程。在该情况下，也可以是，投影图像生成部63以使投影图像数据包含使用显微镜的测长功能测定出的测定结果的方式生成投影图像数据，投影控制部65将包含测定结果的投影图像投射到像面。
如以上那样构成的显微镜系统3进行图14所示的图像投影处理。图14是显微镜系统3所进行的图像投影处理的流程图。下面，参照图14来说明显微镜系统3的图像投影方法。
首先，显微镜系统3将试样的光学图像投射到像面(步骤S11)。该处理与图3所示的步骤S1相同。
接着，显微镜系统3确定从预先准备的多个诊断规范中选择出的诊断规范(步骤S12)。在此，利用者例如在选择画面上选择诊断规范，投影图像生成部63基于利用者的该输入操作来确定所选择出的诊断规范。
当确定了诊断规范时，显微镜系统3基于所确定的诊断规范来生成投影图像数据(步骤S13)。在此，投影图像生成部63生成表示与通过步骤S12确定的诊断规范相应的投影图像的投影图像数据。
最后，显微镜系统3将投影图像投射到像面(步骤S14)。投影控制部65基于投影图像数据来控制投影装置133，由此投影装置133将投影图像投射到像面。由此，投影图像被叠加到试样的光学图像上。
在显微镜系统3中，与诊断规范相应的投影图像被显示在光学图像上。由此，病理医生在基于试样的光学图像的病理诊断中不使眼睛离开目镜就能够得到诊断过程、判定基准等用于辅助诊断的各种信息。另外，在投影图像生成部63中，生成与从多个诊断规范中选择出的诊断规范相应的投影图像数据，因此显微镜系统3能够支持各种种类的诊断规范。因而，根据显微镜系统3，能够对基于光学图像的病理诊断进行辅助，从而能够减轻病理医生的作业负担。
另外，显微镜系统3在以下方面与显微镜系统1相同：能够在避免大幅的设备成本的上升的同时实现病理医生的负担减轻；与WSI系统不同，不需要事先准备，能够立即开始诊断作业。
图15至图18是示出能够从显微镜系统3的目镜104观察到的图像的图。下面，参照图15至图18来具体说明使用执行图14所示的图像投影处理的显微镜系统3来进行的观察的情形。此外，在此，以利用IHC染色来判定HER2蛋白质的过度表达的诊断规范(以后记载为IHC-HER2诊断规范。)为例来进行说明。
当开始使用显微镜系统3进行观察并窥视目镜104时，病理医生能够观察到图15所示的图像V7。图像V7是包含引导图像G1的投影图像被叠加到光学图像M2上而成的图像。光学图像M2例如是使用4倍的物镜102获取到的图像，呈现了癌细胞的被染色的细胞膜。引导图像G1是引导IHC-HER2诊断规范的诊断过程的图像。在IHC-HER2诊断规范中，规定有使用4倍的物镜来观察阳性的HER2蛋白质染色像、染色的强度、阳性细胞的比例的过程，引导图像G1引导了该过程。
在显微镜系统3中，也可以是，取代图像V7，将图像V8投射到像面。图像V8是包含引导图像G1和对比图像C1的投影图像被叠加到光学图像M2上而成的图像。对比图像C1包含表示IHC-HER2诊断规范中的判定基准的多个参考图像。更具体地说，包含例示了应该被判定为分数0、分数1+、分数2+、分数3+的图像的4个参考图像。病理医生在判断阳性细胞的比例时能够以对比图像C1为参考。
之后，图像V9被投射到像面。图像V9是包含引导图像G2的投影图像被叠加到光学图像M2上而成的图像。引导图像G2是引导IHC-HER2诊断规范的诊断过程的图像。在IHC-HER2诊断规范中，规定有在进行使用4倍的物镜的观察之后进行使用10倍的物镜的观察，引导图像G2引导了该过程。
在图像V9被投射后没有检测到从4倍的物镜102向10倍的物镜102a的切换的情况下，图像V10被投射到像面。图像V10是包含引导图像G3的投影图像被叠加到光学图像M2上而成的图像。引导图像G3是警告病理医生没有按照诊断规范进行诊断的警告显示。病理医生能够通过警告显示来认识到过程的错误，因此根据显微镜系统3，能够避免以错误的过程继续进行诊断。
[第四实施方式]
图19是示出本实施方式所涉及的包括显微镜系统4和外部浏览系统300的诊断辅助系统的结构的图。显微镜系统4在以下方面与显微镜系统1不同：具备计算机70来代替计算机20。
显微镜系统4经由因特网400来与1个以上的外部浏览系统300连接。外部浏览系统300是具备至少具备通信控制部311的计算机310、输入装置320以及显示装置330的系统。
此外，因特网400是通信网络的一例。显微镜系统4与外部浏览系统300例如可以经由VPN(Virtual Private Network：虚拟专用网络)、专用线等进行连接。
计算机70在包括通信控制部29这一点上与计算机20不同。通信控制部29与外部浏览系统300交换数据。
通信控制部29例如将图像数据发送到外部浏览系统300。通信控制部29所发送的图像数据例如也可以是在图像合成部27中生成的合成图像数据。也可以将数字图像数据与投影图像数据个别地进行发送。另外，也可以仅发送数字图像数据。在外部浏览系统300中，接收到图像数据的计算机310基于图像数据在显示装置330中显示图像。计算机310例如可以基于数字图像数据和投影图像数据来生成合成图像数据，并可以基于合成图像数据来将合成图像显示于显示装置330。
通信控制部29例如接收外部浏览系统300的利用者输入的操作信息。图像分析部22也可以基于通信控制部29接收到的操作信息来选择分析处理。显微镜系统4也可以使用投影装置133将基于外部浏览系统300的利用者的输入操作的投影图像投射到像面。
显微镜系统4能够与经由网络连接的外部浏览系统300进行对话。因此，能够一边与位于不同的位置的利用者之间进行交流一边进行病理诊断。
上述的实施方式示出了用于使发明易于理解的具体例，本发明的实施方式不限定于它们。显微镜系统、投影单元以及图像投影方法能够在不脱离权利要求书的记载的范围内进行各种变形、变更。
在图12中，例示了包括进行从多个分析处理中选择出的分析处理的图像分析部142的投影单元140。然而，投影单元也可以包括基于从多个诊断规范中选择出的诊断规范来生成投影图像数据的投影图像生成部。
另外，在图19中，例示了对显微镜系统1追加了与外部浏览系统300之间的通信功能而得到的显微镜系统4。然而，也可以通过对显微镜系统2追加与外部浏览系统300之间的通信功能来构成新的显微镜系统。
另外，在图1中，示出了投影图像生成部23基于所选择出的分析处理的分析结果以及该分析处理来生成投影图像数据的例子。然而，投影图像生成部23也可以基于所选择出的分析处理的分析结果以及该分析处理来生成第一投影图像数据，并基于所选择出的诊断规范来生成第二投影图像数据。在此基础上，也可以是，投影装置133将第一投影图像数据所表示的第一投影图像以及第二投影图像数据所表示的第二投影图像投射到光学图像上。
另外，在图5至图10中，示出了乳腺癌的病理诊断的例子，但是显微镜系统1也被使用在宫颈癌等其它癌症的病理诊断中。例如，如果是应用于宫颈癌的病理诊断的情况，则也可以基于贝塞斯达(Bethesda)系统进行分类，利用投影图像显示NILM、LSIL、HSIL、SCC、ASC等的分类结果。另外，在基因组诊断中，也可以利用投影图像显示肿瘤细胞数量、所有细胞数量以及它们的比例等。
示出了与分析处理相应地变更投影图像的显示形式的例子，但是显微镜系统1也可以与照明光学系统或观察光学系统的设定变更相应地变更显示形式。
关于显微镜系统1，示出了在显微镜系统1的计算机20中具备图像分析部22的例子，但是图像分析部22也可以通过显微镜系统1内的计算机20和显微镜系统1外的远程模块来实现。远程模块例如是放在云端上的服务器等。计算机20也可以通过从远程模块下载最新的程序并更新分析程序来支持新的分析处理。另外，计算机20也可以通过从远程模块下载最新的程序来支持新的诊断规范。
另外，显微镜系统1中包括的显微镜例如也可以是图20所示的显微镜500。在上述的实施方式中，例示了在中间镜筒130具备摄像元件131的结构，但是也可以是，获取在图像分析中使用的数字图像数据的摄像元件151如图20所示那样设置于数字摄像机150，该数字摄像机150安装于作为三眼镜筒的镜筒120a。但是，在该情况下，从中间镜筒130a中包括的投影装置133射出的光会入射到摄像元件151。因此，也可以是，以使投影装置133的发光期间与摄像元件151的曝光期间不重叠的方式控制数字摄像机150。由此，能够防止数字图像中出现投影图像。
另外，包括显微镜500的显微镜系统也可以使用于在人工授精等中进行的精子分选等对运动的对象物的诊断。在精子分选中，根据精子的形状等能够基于静止图像来判断的信息(以后记载为形状信息。)以及精子的运动的直线性和速度等能够基于运动图像或多张静止图像来判断的信息(以后记载为运动信息。)，来判断精子的良好与否。因此，在用于辅助精子分选作业的分析处理中，为了反映到投影图像中，可以输出精子的运动信息，并且也可以使用精子的形状信息和精子的运动信息来确定利用者应该选择的精子的候选。
更具体地说，首先，当利用者开始观察成为分选对象的精子时，图像分析部22对在不同的时刻获取到的多个数字图像数据进行分析，来计算精子的移动的轨迹。之后，投影图像生成部23基于分析结果来生成投影图像数据，投影装置133将包含轨迹显示MT的投影图像投射到像面。此外，轨迹显示MT是指表示各精子的到当前位置为止的移动的轨迹的显示。另外，轨迹显示MT也可以表示从回溯预先决定的时间(例如，3秒)的时刻起到当前时刻为止的移动的轨迹。
由此，利用者首先观察到图21所示的包含光学图像M3的图像V11，当图像分析部22的分析处理结束时，能够观察到图22所示的包含光学图像M4和辅助图像A1的图像V12。辅助图像A1包含各精子的轨迹显示MT，因此观察了图像V12的利用者除了能够掌握精子的形状的特征以外，还能够一眼掌握精子的运动的特征。因而，利用者对精子的良好与否的判定变得容易，分选作业的负担被减轻。
并且，图像分析部22通过对辅助图像A1叠加到光学图像M4而成的叠加图像的数字图像数据进行分析，来确定利用者应该选择的精子的候选。之后，投影图像生成部23基于所确定的包含精子的位置信息的分析结果来生成投影图像数据，投影装置133将包含关注区域显示ROI的投影图像投射到像面。此外，关注区域显示ROI是用于促使利用者对图像分析部22所确定的精子进行关注的显示，例如是包围精子的周围的矩形或圆形的图形。另外，也可以通过图形的颜色的不同来显示该精子是优质精子的概率。
由此，利用者能够观察到图21所示的包含光学图像M4和辅助图像A2的图像V13。辅助图像A2除了包含轨迹显示MT以外还包含关注区域显示ROI。因此，与图像V12的情况同样地，利用者除了能够掌握精子的形状的特征以外，还能够一眼掌握精子的运动的特征。另外，利用者能够通过优先观察通过关注区域显示ROI确定的精子来尽快选择优质的精子。因而，分选作业的负担进一步被减轻。
另外，显微镜系统1中包括的显微镜例如也可以是图22所示的显微镜600。显微镜600具备中间镜筒130b来代替中间镜筒130，该中间镜筒130b包括使用透射型的液晶设备的投影装置135。在上述的实施方式中，例示了通过利用配置在物镜102与目镜104之间的光路上的光偏转元件134偏转从投影装置133射出的光来将投影图像投射到像面的结构，但是也可以是，如图22所示，将投影装置135配置在物镜102与目镜104之间的光路上。
另外，在上述的实施方式中，示出了作为光检测器包括摄像元件的例子，但是光检测器不限于摄像元件。例如，也可以对扫描型显微镜提供上述的技术，在该情况下，光检测器也可以是光电倍增管(PMT)等。
并且，上述的显微镜系统也可以与所选择出的分析处理相应地调整光学图像和投影图像中的至少一方的明亮度，也可以与所选择出的诊断规范相应地调整光学图像和投影图像中的至少一方的明亮度。可以通过控制光源的光量来进行明亮度的调整，另外，也可以通过控制可变ND滤镜等的透射光量来进行明亮度的调整。
另外，在上述的实施方式中，作为输入装置40，例示了键盘、鼠标、操纵杆、触摸面板等，但是输入装置40也可以是接受声音输入的装置、例如麦克风等。在该情况下，计算机20也可以具备识别从输入装置40输入的声音指示的功能，例如也可以是，计算机20中包括的信息获取部24通过声音识别技术将声音数据变换为操作信息后，输出到投影图像生成部23。
附图标记说明
1、2、3、4：显微镜系统；10：显微镜控制器；20、60、70、310：计算机；20a：处理器；20b：存储器；20c：辅助存储装置；20d：输入输出接口；20e：介质驱动装置；20f：通信控制装置；20g：总线；20h：存储介质；21、61、141：摄像机控制部；22、142：图像分析部；23、63、143：投影图像生成部；24、64、144：信息获取部；25、65、145：投影控制部；26、66：图像记录部；27、67：图像合成部；28、68：显示控制部；29、311：通信控制部；30、330：显示装置；31：选择画面；32、33、34、35：菜单；36：按钮；40、320：输入装置；50：识别装置；100、200、500、600：显微镜；101：载置台；102、102a：物镜；103：成像透镜；104：目镜；110：显微镜主体；111：转塔；120、120a：镜筒；130、130a、130b：中间镜筒；131、151：摄像元件；132、134：光偏转元件；133、135：投影装置；140：投影单元；150：数字摄像机；300：外部浏览系统；400：因特网；A1、A2：辅助图像；C1：对比图像；D1：输入数据；D2：输出数据；D3：正确数据；G1、G2、G3：引导图像；M1、M2、M3、M4：光学图像；MT：轨迹显示；NN：神经网络；P1、P2：位置图像；R1、R2：区域；ROI：关注区域显示；T1、T2：统计图像；V1～V13：图像。

Claims (23)

1.一种显微镜系统，其特征在于，具备：
目镜；
物镜，其将来自试样的光引导到所述目镜；
成像透镜，其配置在所述目镜与所述物镜之间的光路上，基于来自所述试样的光来形成所述试样的光学图像；
图像分析部，其对所述试样的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，输出与所述至少一个分析处理相应的分析结果；
投影图像生成部，其基于所述分析结果和所述至少一个分析处理来生成投影图像数据，其中，所述投影图像数据所表现的投影图像是将所述分析结果以与所述至少一个分析处理相应的显示形式表示出来的图像；以及
投影装置，其向形成有所述光学图像的像面投射所述投影图像，
其中，所述显示形式包括图像的颜色，
所述投影图像生成部与从所述多个分析处理中选择出的所述至少一个分析处理相对应地决定所述投影图像的颜色，
其中，所述投影图像生成部以使所述投影图像的颜色与所述光学图像的颜色不同的方式生成所述投影图像数据，
其中，所述多个分析处理是以多个染色法和/或生物标记物的每一个为对象的不同内容的处理，
所述图像分析部基于包含基于利用者的输入操作的操作信息或附加于所述试样的识别信息的选择信息，从预先准备的所述多个分析处理中选择所述至少一个分析处理，对所述试样的数字图像数据进行所选择出的所述至少一个分析处理。
2.根据权利要求1所述的显微镜系统，其特征在于，
所述显示形式还包括构成图像的图形的格式，
所述投影图像生成部与所述至少一个分析处理相应地决定构成所述投影图像的图形的格式。
3.根据权利要求1或2所述的显微镜系统，其特征在于，
所述显示形式还包括图像的位置，
所述投影图像生成部与所述至少一个分析处理相应地决定所述投影图像与所述光学图像在所述像面上的位置关系。
4.根据权利要求3所述的显微镜系统，其特征在于，
所述投影图像生成部与所述至少一个分析处理相应地决定是否将所述投影图像的至少一部分投射到所述光学图像的区域外。
5.根据权利要求1或2所述的显微镜系统，其特征在于，
所述显微镜系统与所述至少一个分析处理相应地调整所述光学图像和所述投影图像中的至少一方的明亮度。
6.根据权利要求1所述的显微镜系统，其特征在于，
所述图像分析部进行以下动作：
将所述数字图像数据所表现的数字图像中呈现的一个以上的构造物分类到一个以上的类别；
生成位置信息，该位置信息用于确定被分类到所述一个以上的类别中的至少一个类别的构造物的位置；以及
输出包含所述位置信息的所述分析结果，
所述投影图像包含表示被分类到所述至少一个类别的构造物的位置的图形。
7.根据权利要求6所述的显微镜系统，其特征在于，
所述图像分析部进行以下动作：
生成被分类到所述至少一个类别的构造物的统计信息；以及
输出包含所述位置信息和所述统计信息的所述分析结果，
所述投影图像包含表示被分类到所述至少一个类别的构造物的位置的图形以及所述统计信息。
8.根据权利要求6所述的显微镜系统，其特征在于，
被分类到所述至少一个类别的构造物是成为病理医生在病理诊断中作出判定的依据的对象物。
9.根据权利要求1或2所述的显微镜系统，其特征在于，
还具备投影控制部，
所述投影控制部进行以下动作：
根据所述显微镜系统的设定来决定是否向所述像面投射所述投影图像；以及
在所述显微镜系统为规定的设定时，以使所述投影装置向所述像面投射所述投影图像的方式控制所述投影装置。
10.根据权利要求1或2所述的显微镜系统，其特征在于，
还具备获取附加于所述试样的识别信息的识别装置，
所述图像分析部基于所述识别装置获取到的所述识别信息来选择所述至少一个分析处理。
11.根据权利要求1或2所述的显微镜系统，其特征在于，
还具备输出与所述利用者的输入操作相应的操作信号的输入装置，
所述图像分析部按照从所述输入装置输出的操作信号来变更所述至少一个分析处理中使用的阈值的一部分。
12.根据权利要求1所述的显微镜系统，其特征在于，所述投影图像生成部基于从多个诊断规范中选择出的诊断规范来生成所述投影图像数据，其中，所述投影图像数据所表现的投影图像是与所选择出的所述诊断规范相应的图像，
其中，所述投影图像包含所选择出的所述诊断规范的诊断过程的引导，
所述投影图像生成部与所选择出的所述诊断规范相应地决定所述引导的颜色。
13.根据权利要求12所述的显微镜系统，其特征在于，
所述投影图像包含表示所选择出的所述诊断规范中的判定基准的参考图像。
14.根据权利要求12所述的显微镜系统，其特征在于，
所述投影图像生成部与所选择出的所述诊断规范相应地决定所述投影图像与所述光学图像在所述像面上的位置关系。
15.根据权利要求14所述的显微镜系统，其特征在于，
所述投影图像生成部与所选择出的所述诊断规范相应地决定是否将所述投影图像的至少一部分投射到所述光学图像的区域外。
16.根据权利要求12所述的显微镜系统，其特征在于，
所述投影图像生成部进行以下动作：
在所述显微镜系统的设定不满足所选择出的所述诊断规范的要求时，以使所述投影图像包含警告显示的方式生成所述投影图像数据。
17.根据权利要求12所述的显微镜系统，其特征在于，
所述投影图像生成部基于所述利用者的输入操作来选择所述诊断规范。
18.根据权利要求12所述的显微镜系统，其特征在于，
还具备获取附加于所述试样的识别信息的识别装置，
所述投影图像生成部基于所述识别装置获取到的所述识别信息来选择所述诊断规范。
19.一种显微镜系统，其特征在于，具备：
目镜；
物镜，其将来自试样的光引导到所述目镜；
成像透镜，其配置在所述目镜与所述物镜之间的光路上，基于来自所述试样的光来形成所述试样的光学图像；
图像分析部，其对所述试样的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，输出与所述至少一个分析处理相应的分析结果；
投影图像生成部，其基于所述分析结果和所述至少一个分析处理来生成第一投影图像数据，基于从多个诊断规范中选择出的诊断规范来生成第二投影图像数据，其中，所述第一投影图像数据所表现的第一投影图像是将所述分析结果以与所述至少一个分析处理相应的显示形式表示出来的图像，所述第二投影图像数据所表现的第二投影图像是与所选择出的所述诊断规范相应的图像；以及
投影装置，其向形成有所述光学图像的像面投射所述第一投影图像和所述第二投影图像，
其中，所述显示形式包括图像的颜色，
所述投影图像生成部与从所述多个分析处理中选择出的所述至少一个分析处理相对应地决定所述第一投影图像的颜色，
其中，所述投影图像生成部以使所述第一投影图像的颜色与所述光学图像的颜色不同的方式生成所述第一投影图像数据，
其中，所述多个分析处理是以多个染色法和/或生物标记物的每一个为对象的不同内容的处理，
所述图像分析部基于包含基于利用者的输入操作的操作信息或附加于所述试样的识别信息的选择信息，从预先准备的所述多个分析处理中选择所述至少一个分析处理，对所述试样的数字图像数据进行所选择出的所述至少一个分析处理。
20.一种显微镜用的投影单元，显微镜具备物镜、成像透镜以及目镜，所述投影单元的特征在于，具备：
摄像装置，其基于来自试样的光来获取所述试样的数字图像数据；
图像分析部，其对所述试样的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，输出与所述至少一个分析处理相应的分析结果；
投影图像生成部，其基于所述分析结果和所述至少一个分析处理来生成投影图像数据，其中，所述投影图像数据所表现的投影图像是将所述分析结果以与所述至少一个分析处理相应的显示形式表示出来的图像；以及
投影装置，其向通过所述成像透镜形成有所述试样的光学图像的像面投射所述投影图像，
其中，所述显示形式包括图像的颜色，
所述投影图像生成部与从所述多个分析处理中选择出的所述至少一个分析处理相对应地决定所述投影图像的颜色，
其中，所述投影图像生成部以使所述投影图像的颜色与所述光学图像的颜色不同的方式生成所述投影图像数据，
其中，所述多个分析处理是以多个染色法和/或生物标记物的每一个为对象的不同内容的处理，
所述图像分析部基于包含基于利用者的输入操作的操作信息或附加于所述试样的识别信息的选择信息，从预先准备的所述多个分析处理中选择所述至少一个分析处理，对所述试样的数字图像数据进行所选择出的所述至少一个分析处理。
21.根据权利要求20所述的显微镜用的投影单元，其特征在于，所述投影图像生成部基于从多个诊断规范中选择出的诊断规范来生成所述投影图像数据，其中，所述投影图像数据所表现的投影图像是与所选择出的所述诊断规范相应的图像，
其中，所述投影图像包含所选择出的所述诊断规范的诊断过程的引导，所述投影图像生成部与所选择出的所述诊断规范相应地决定所述引导的颜色。
22.一种图像投影方法，由显微镜系统进行，所述图像投影方法的特征在于，
所述显微镜系统进行以下动作：
对试样的数字图像数据进行从多个分析处理中选择出的至少一个分析处理，输出与所述至少一个分析处理相应的分析结果；
基于所述分析结果和所述至少一个分析处理来生成投影图像数据；以及
向形成有所述试样的光学图像的像面投射所述投影图像数据所表现的投影图像，在此，所述投影图像是将所述分析结果以与所述至少一个分析处理相应的显示形式表示出来的图像，
其中，所述显示形式包括图像的颜色，
生成所述投影图像数据包括：与从所述多个分析处理中选择出的至少一个分析处理相对应地决定所述投影图像的颜色，
其中，以使所述投影图像的颜色与所述光学图像的颜色不同的方式生成所述投影图像数据，
其中，所述多个分析处理是以多个染色法和/或生物标记物的每一个为对象的不同内容的处理，
其中，基于包含基于利用者的输入操作的操作信息或附加于所述试样的识别信息的选择信息，从预先准备的所述多个分析处理中选择所述至少一个分析处理，对所述试样的数字图像数据进行所选择出的所述至少一个分析处理。
23.根据权利要求22所述的图像投影方法，其特征在于，
所述显微镜系统还进行以下动作：基于从多个诊断规范中选择出的诊断规范来生成所述投影图像数据，
其中，所述投影图像是与所选择出的所述诊断规范相应的图像，
所述投影图像包含所选择出的所述诊断规范的诊断过程的引导，
生成所述投影图像数据包括：与所选择出的所述诊断规范相应地决定所述引导的颜色。
CN201880097759.2A 2018-09-28 2018-12-25 显微镜系统、投影单元以及图像投影方法 Active CN112714887B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-183763 2018-09-28
JP2018183763 2018-09-28
PCT/JP2018/047499 WO2020066043A1 (ja) 2018-09-28 2018-12-25 顕微鏡システム、投影ユニット、及び、画像投影方法

Publications (2)

Publication Number Publication Date
CN112714887A CN112714887A (zh) 2021-04-27
CN112714887B true CN112714887B (zh) 2024-02-23

Family

ID=69951267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880097759.2A Active CN112714887B (zh) 2018-09-28 2018-12-25 显微镜系统、投影单元以及图像投影方法

Country Status (5)

Country Link
US (1) US11594051B2 (zh)
EP (2) EP4345776A3 (zh)
JP (2) JPWO2020066043A1 (zh)
CN (1) CN112714887B (zh)
WO (1) WO2020066043A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112714886B (zh) * 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
JP7150867B2 (ja) * 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
CN112889088A (zh) 2018-10-31 2021-06-01 合同会社予幸集团中央研究所 程序、学习模型、信息处理装置、信息处理方法、信息显示方法和学习模型的制造方法
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM
JP7004116B2 (ja) * 2019-07-19 2022-01-21 三菱電機株式会社 表示処理装置、表示処理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101351735A (zh) * 2005-12-27 2009-01-21 奥林巴斯株式会社 获取生物源样本的图像的装置和方法
CN103852878A (zh) * 2014-01-08 2014-06-11 麦克奥迪实业集团有限公司 一种具有实时聚焦的显微切片快速数字扫描装置及其方法
JP2018054425A (ja) * 2016-09-28 2018-04-05 富士フイルム株式会社 撮影画像評価装置および方法並びにプログラム
JP2018066908A (ja) * 2016-10-20 2018-04-26 株式会社キーエンス 拡大観察装置

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672559A (en) 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
JPH0580255A (ja) 1991-09-19 1993-04-02 Nippon Telegr & Teleph Corp <Ntt> 光学顕微鏡システム装置
JPH07253548A (ja) 1994-03-15 1995-10-03 Nikon Corp 標本像の自動追尾装置及び追尾方法
JPH0829694A (ja) * 1994-07-20 1996-02-02 Nikon Corp 画像処理装置付き顕微鏡
US6483948B1 (en) * 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
JPH11502037A (ja) 1995-05-17 1999-02-16 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
JP3827429B2 (ja) * 1997-04-03 2006-09-27 オリンパス株式会社 手術用顕微鏡
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP2000292422A (ja) * 1999-04-02 2000-10-20 Olympus Optical Co Ltd 走査型サイトメータ
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP4047569B2 (ja) * 2001-10-10 2008-02-13 オリンパス株式会社 光走査プローブシステム
DE102004004115B4 (de) 2004-01-28 2016-08-18 Leica Microsystems Cms Gmbh Mikroskopsystem und Verfahren zur Shading-Korrektur der im Mikroskopsystem vorhandenen Optiken
JP2005351916A (ja) 2004-06-08 2005-12-22 Olympus Corp 双眼顕微鏡装置
JP2006071430A (ja) 2004-09-01 2006-03-16 Hitachi Medical Corp 診断支援システム
JP2006297060A (ja) 2005-03-24 2006-11-02 Kanazawa Univ 手術用顕微鏡及びそれを備えた診療システム
JP2006292999A (ja) 2005-04-11 2006-10-26 Direct Communications:Kk スライド画像データ作成装置およびスライド画像データ
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
JP2008090072A (ja) 2006-10-03 2008-04-17 Keyence Corp 拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器
US9602777B2 (en) * 2008-04-25 2017-03-21 Roche Diagnostics Hematology, Inc. Systems and methods for analyzing body fluids
DE102009058792B3 (de) 2009-12-18 2011-09-01 Carl Zeiss Surgical Gmbh Optische Beobachtungseinrichtung zur Beobachtung eines Auges
JP5734588B2 (ja) * 2010-07-15 2015-06-17 オリンパス株式会社 細胞観察装置および観察方法
JP5145487B2 (ja) * 2011-02-28 2013-02-20 三洋電機株式会社 観察プログラムおよび観察装置
US9254103B2 (en) 2011-08-15 2016-02-09 The Trustees Of Dartmouth College Operative microscope having diffuse optical imaging system with tomographic image reconstruction and superposition in field of view
JP5822345B2 (ja) 2011-09-01 2015-11-24 島田　修 ホールスライドイメージ作成装置
JP5893314B2 (ja) * 2011-09-27 2016-03-23 オリンパス株式会社 表示装置および顕微鏡システム
WO2013094434A1 (ja) * 2011-12-22 2013-06-27 三洋電機株式会社 観察システム、観察システムの制御方法及びプログラム
US9483684B2 (en) * 2012-03-30 2016-11-01 Konica Minolta, Inc. Medical image processor and storage medium
ES2953897T3 (es) 2012-05-02 2023-11-16 Leica Biosystems Imaging Inc Enfoque en tiempo real en imagenología de exploración lineal
US9378407B2 (en) * 2012-09-11 2016-06-28 Neogenomics Laboratories, Inc. Automated fish reader using learning machines
JP5953195B2 (ja) * 2012-09-21 2016-07-20 株式会社キーエンス 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US8995740B2 (en) 2013-04-17 2015-03-31 General Electric Company System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue
JP6147080B2 (ja) 2013-05-14 2017-06-14 オリンパス株式会社 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
ES2935506T3 (es) 2013-05-15 2023-03-07 The Administrators Of The Tulane Educational Fund Microscopia de una muestra de tejido mediante iluminación estructurada
US10182757B2 (en) * 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
DE102013216476A1 (de) 2013-08-20 2015-02-26 Carl Zeiss Meditec Ag Operationsmikroskop mit optischen Schnittstellen
DE102014201571B4 (de) 2014-01-29 2022-08-04 Carl Zeiss Meditec Ag Modul für die Dateneinspiegelung in einer Visualisierungsvorrichtung, Visualisierungsvorrichtung und Verfahren zum Anpassen der Vorrichtung
DE102014205038B4 (de) 2014-02-19 2015-09-03 Carl Zeiss Meditec Ag Visualisierungsvorrichtungen mit Kalibration einer Anzeige und Kalibrierverfahren für eine Anzeige in einer Visualisierungsvorrichtung
AR100353A1 (es) * 2014-05-08 2016-09-28 Chugai Pharmaceutical Co Ltd Droga de direccionamiento a glipicano 3 (gpc3) que se administra a un paciente que responde a la terapia con drogas de direccionamiento a gpc3
DE102014108811B3 (de) 2014-06-24 2015-11-26 Carl Zeiss Meditec Ag Stereomikroskop mit einem Hauptbeobachterstrahlengang und einem Mitbeobachterstrahlengang
JP6397717B2 (ja) 2014-10-08 2018-09-26 オリンパス株式会社 顕微鏡結像レンズ、顕微鏡装置、及び、撮像光学系
JP6367685B2 (ja) 2014-10-24 2018-08-01 オリンパス株式会社 顕微鏡用対物レンズ
EP3227830B8 (en) * 2014-12-03 2020-07-01 Ventana Medical Systems, Inc. Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution
JP6544789B2 (ja) 2015-01-20 2019-07-17 オリンパス株式会社 パターン投影装置、パターン投影方法、及び、位相変調量設定方法
DE102015100765A1 (de) 2015-01-20 2016-07-21 Carl Zeiss Meditec Ag Operationsmikroskop und Verfahren zum Hervorheben von Augenlinsenstücken
US10295815B2 (en) 2015-02-09 2019-05-21 Arizona Board Of Regents On Behalf Of The University Of Arizona Augmented stereoscopic microscopy
DE102015103426B4 (de) 2015-03-09 2020-07-02 Carl Zeiss Meditec Ag Mikroskopsystem und Verfahren zum automatisierten Ausrichten eines Mikroskops
US11376326B2 (en) * 2015-07-01 2022-07-05 Chugai Seiyaku Kabushiki Kaisha GPC3-targeting therapeutic agent which is administered to patient for whom the GPC3-targeting therapeutic agent is effective
WO2017053891A1 (en) 2015-09-24 2017-03-30 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
JP6805506B2 (ja) * 2016-03-07 2020-12-23 株式会社サタケ 粒状物外観品位判別装置
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
US11636627B2 (en) * 2016-08-28 2023-04-25 Augmentiqs Medical Ltd. System for histological examination of tissue specimens
JP2018128532A (ja) * 2017-02-07 2018-08-16 オリンパス株式会社 顕微鏡
DE102017105941B3 (de) 2017-03-20 2018-05-17 Carl Zeiss Meditec Ag Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops
DE102017108371B4 (de) 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE102017121085B3 (de) 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem
JP6462823B2 (ja) * 2017-10-24 2019-01-30 株式会社キーエンス 画像検査装置
CN107907987A (zh) * 2017-12-26 2018-04-13 深圳科创广泰技术有限公司 基于混合现实的3d显微镜
CN112714888B (zh) 2018-09-28 2023-02-17 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
JP7150867B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム
WO2020066043A1 (ja) 2018-09-28 2020-04-02 オリンパス株式会社 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714886B (zh) 2018-09-28 2023-03-21 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
EP3904937A4 (en) 2018-12-28 2022-09-21 Olympus Corporation MICROSCOPE SYSTEM

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101351735A (zh) * 2005-12-27 2009-01-21 奥林巴斯株式会社 获取生物源样本的图像的装置和方法
CN103852878A (zh) * 2014-01-08 2014-06-11 麦克奥迪实业集团有限公司 一种具有实时聚焦的显微切片快速数字扫描装置及其方法
JP2018054425A (ja) * 2016-09-28 2018-04-05 富士フイルム株式会社 撮影画像評価装置および方法並びにプログラム
JP2018066908A (ja) * 2016-10-20 2018-04-26 株式会社キーエンス 拡大観察装置

Also Published As

Publication number Publication date
WO2020066043A1 (ja) 2020-04-02
US11594051B2 (en) 2023-02-28
US20210192181A1 (en) 2021-06-24
JP2024019639A (ja) 2024-02-09
EP4345776A2 (en) 2024-04-03
EP3995879A1 (en) 2022-05-11
CN112714887A (zh) 2021-04-27
JPWO2020066043A1 (ja) 2021-08-30
EP3995879A4 (en) 2023-08-23
EP4345776A3 (en) 2024-06-19

Similar Documents

Publication Publication Date Title
CN112714887B (zh) 显微镜系统、投影单元以及图像投影方法
US9110305B2 (en) Microscope cell staining observation system, method, and computer program product
JP5161052B2 (ja) 顕微鏡システム、標本観察方法およびプログラム
CN112714886B (zh) 显微镜系统、投影单元以及图像投影方法
US8780191B2 (en) Virtual microscope system
JP2019532352A (ja) 組織標本の組織学的検査のためのシステム
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US9338408B2 (en) Image obtaining apparatus, image obtaining method, and image obtaining program
CN112714888B (zh) 显微镜系统、投影单元以及图像投影方法
JP2011002341A (ja) 顕微鏡システム、標本観察方法およびプログラム
JP2014228755A (ja) 顕微鏡システム、画像生成方法及びプログラム
US8837790B2 (en) Medical diagnosis support device
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
US20130259334A1 (en) Image processing apparatus, image processing method, image processing program, and virtual microscope system
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US8295563B2 (en) Method and apparatus for aligning microscope images
JP2013113818A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
JP2012233784A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
WO2020075226A1 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
WO2021166089A1 (ja) 評価支援装置、評価支援システム、評価支援方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220928

Address after: Nagano

Applicant after: Yijingtong Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: OLYMPUS Corp.

GR01 Patent grant
GR01 Patent grant