CN112703440B - 显微镜系统 - Google Patents

Abstract

显微镜系统(1)具备：目镜(104)；物镜(102)，其向目镜(104)引导来自试样的光；成像透镜(103)，其配置于目镜(104)与物镜(102)之间的光路上，形成试样的光学图像；摄像装置(140)，其获取试样的数字图像数据；投影装置(131)，其向形成有光学图像的成像透镜(103)与目镜(104)之间的像面进行投影图像的投影；以及控制装置(10)。控制装置(10)管理显微镜信息，该显微镜信息至少包括试样投影至像面的第一倍率、试样投影至摄像装置(140)的第二倍率、摄像装置(140)投影至像面的第三倍率、摄像装置(140)的尺寸、以及投影装置(131)的尺寸。

Description

显微镜系统

技术领域

本发明涉及一种显微镜系统。

背景技术

WSI(Whole Slide Imaging：全载玻片成像)技术作为减轻病理诊断中的病理医生的负担的技术之一受到瞩目。WSI技术是制作载玻片上的检查体全部区域的数字图像的技术。例如在专利文献1中记载了WSI技术。

另外，如WSI技术这样的、通过平铺多个图像来以高清晰度将比显微镜的视场大的区域图像化的技术也被用于工业用途中。例如，作为一例被用于为了进行质量管理而检查工业用部件的材料的微细组织并且进行评价等用途中。

根据上述的技术，能够观看监视器中显示的高分辨率的图像来观察对象物的任意的区域。因此，能够减轻诊断、检查、评价等中的作业者的负担。

现有技术文献

专利文献

专利文献1：日本特表2001-519944号公报

发明内容

发明要解决的问题

另一方面，仍然存在俯看目镜来目视试样的光学图像的需求。这是因为通常数字图像相比于光学图像在颜色再现性和动态范围方面较差。例如，在病理诊断中颜色和浓淡的信息极为重要，因此存在想要使用光学图像来进行诊断这样的需求。另外，如果对于数字图像要求与光学图像同等程度的高的颜色再现性和大的动态范围，会使得显微镜系统的价格变得非常高。因此，能够导入这样的显微镜系统的利用者有限。

本发明的一个方面所涉及的目的在于提供一种通过辅助基于由光学显微镜得到的光学图像而进行的诊断、检查、评价等作业来减轻作业者的负担的新的技术。

用于解决问题的方案

本发明的一个方式所涉及的显微镜系统具备：目镜；物镜，其向所述目镜引导来自试样的光；成像透镜，其配置于所述目镜与所述物镜之间的光路上，基于来自所述试样的光来形成所述试样的光学图像；摄像装置，其基于来自所述试样的光来获取所述试样的数字图像数据；投影装置，其将投影图像投影至形成有所述光学图像的所述成像透镜与所述目镜之间的像面；以及控制装置，其管理显微镜信息，所述显微镜信息至少包括所述试样投影至所述像面的第一倍率、所述试样投影至所述摄像装置的第二倍率、所述投影装置投影至所述像面的第三倍率、所述摄像装置的尺寸、以及所述投影装置的尺寸，其中，所述控制装置具备投影图像生成部，所述投影图像生成部至少基于所述显微镜信息来生成表示所述投影图像的投影图像数据。

发明的效果

根据上述的方式，通过辅助基于由光学显微镜得到的光学图像而进行的诊断、检查、评价等作业，能够减轻作业者的负担。

附图说明

图1是表示显微镜系统1的结构的图。

图2是用于说明显微镜信息MI的图。

图3是表示控制装置10的结构的图。

图4是显微镜系统1进行的图像投影处理的流程图的一个例子。

图5是从显微镜系统1的目镜104能够看到的图像的一个例子。

图6是从显微镜系统1的目镜104能够看到的图像的其它例子。

图7是从显微镜系统1的目镜104能够看到的图像的另一其它例子。

图8是显微镜系统1进行的图像投影处理的流程图的其它例子。

图9是从显微镜系统1的目镜104能够看到的图像的另一其它例子。

图10是从显微镜系统1的目镜104能够看到的图像的另一其它例子。

图11是从显微镜系统1的目镜104能够看到的图像的另一其它例子。

图12是从显微镜系统1的目镜104能够看到的图像的另一其它例子。

图13是显微镜系统1进行的图像投影处理的流程图的另一其它例子。

图14是用于说明合并的图。

图15是用于说明接收范围的图。

图16是表示显微镜系统2的结构的图。

图17是表示显微镜系统3的结构的图。

图18是表示显微镜400的结构的图。

图19是表示显微镜600的结构的图。

图20是表示显微镜700的结构的图。

具体实施方式

[第一实施方式]

图1是表示本实施方式所涉及的显微镜系统1的结构的图。图2是用于说明显微镜信息MI的图。图3是表示控制装置10的结构的图。显微镜系统1为俯看目镜104来观察试样的显微镜系统，并且至少具备物镜102、成像透镜103、目镜104、摄像装置140、投影装置131、以及控制装置10。

显微镜系统1使用投影装置131将投影图像投影至通过物镜102和成像透镜103形成有试样的光学图像的像面。由此，能够向俯看目镜104来通过光学图像观察试样的显微镜系统1的利用者提供各种信息。因此，显微镜系统1能够辅助利用者通过光学图像观察试样进行的作业。并且，在显微镜系统1中，控制装置10管理显微镜信息MI。显微镜系统1通过使用控制装置10所管理的显微镜信息MI能够恰当地进行将投影图像投影至像面的投影控制。

在下面，参照图1至图3来详细地说明显微镜系统1的结构的具体例。如图1所示，显微镜系统1具备显微镜100、控制装置10、输入装置40、以及声音输出装置50。此外，显微镜系统1除此以外还可以具备显示装置等。

显微镜100例如为正立显微镜，具备显微镜主体110、镜筒120、中间镜筒130、以及摄像装置140。此外，显微镜100可以为倒立显微镜。

显微镜主体110具备载置试样的载置台101、向目镜104引导来自试样的光的物镜(物镜102、物镜102a)、落射照明光学系统、以及透过照明光学系统。载置台101可以为手动载置台，也可以为电动载置台。期望在换镜旋座装设有倍率不同的多个物镜。此外，显微镜主体110具备落射照明光学系统和透过照明光学系统中的至少一方即可。

显微镜主体110还具备用于切换显微技术(日语：顕鏡法)的转盘111。在转盘111中例如配置有在荧光观察法中使用的荧光立方、在明视场观察法中使用的半透半反镜等。除此以外，显微镜主体110可以用相对于光路自如插拔的方式具备在特定的显微技术中使用的光学元件。具体地说，显微镜主体110例如可以具备在微分干涉观察法中使用的DIC棱镜、偏光片、分析仪等。

镜筒120为装设有目镜104和摄像装置140的三眼镜筒。在镜筒120内设置成像透镜103。成像透镜103配置于物镜102与目镜104之间的光路上。

成像透镜103基于来自试样的光在目镜104与成像透镜103之间的像面形成试样的光学图像。也就是说，物镜102和成像透镜103在像面IP1投影图2所示的物体面OP1。另外，成像透镜103基于来自试样的光还在摄像元件141与成像透镜103之间的像面IP1a形成试样的光学图像。也就是说，物镜102和成像透镜103还在像面IP1a投影图2所示的物体面OP1。此外，向像面IP1和像面IP1a投影物体面OP1的投影倍率为通过“成像透镜103的焦距/物镜102的焦距”计算出的投影倍率α。

成像透镜103基于来自投影装置131的光在这些像面(像面IP1、像面IP1a)还形成后述的投影图像。也就是说，投影透镜133和成像透镜103在像面IP1和像面IP1a投影图2所示的显示面OP2。由此，在像面，投影图像重叠于光学图像上，因此显微镜系统1的利用者能够通过俯看目镜104来观看在光学图像重叠有投影图像得到的重叠图像。此外，向像面IP1和像面IP1a投影显示面OP2的投影倍率为通过“成像透镜103的焦距/投影透镜133的焦距”计算出的投影倍率γ。

此外，成像透镜103具备以不变更像面的位置的方式使焦距可变的功能、以不变更焦距的方式使像面的位置可变的功能、或者分别独立地使像面的位置和焦距可变的功能。实现这些功能的透镜包括使构成成像透镜103的透镜的至少一部分在光轴方向上移动的透镜。另外，还包括例如通过电控制使构成成像透镜103的光学系统中的至少一部分的透镜的曲率半径和折射率中的至少一方可变的有源透镜。有源透镜例如可以为液体透镜。

中间镜筒130设置于显微镜主体110与镜筒120之间。中间镜筒130具备投影装置131、光偏转元件132以及投影透镜133。

投影装置131为根据来自控制装置10的命令将投影图像投影至形成有光学图像的像面的装置。投影装置131例如为利用液晶显示器的投影仪、利用数字镜设备的投影仪、以及利用LCOS的投影仪等。此外，显示面OP2中的投影装置131的尺寸为尺寸B。在此，显示面OP2为投影装置131射出光的面。另外，投影装置131的尺寸为投影装置131射出光的区域的尺寸，具体地说例如为对角长度等。

光偏转元件132使从投影装置131射出来的光朝向像面偏转，并且引导至目镜。光偏转元件132例如为半透半反镜、分色镜等分束器，可以根据显微技术使用不同的种类的分束器。光偏转元件132可以使用使透过率和反射率可变的可变分束器。光偏转元件132配置于物镜102与目镜104之间的光路上，更详细地说配置于物镜102与成像透镜103之间的光路上。

投影透镜133为向成像透镜103引导来自投影装置131的光的透镜。投影透镜133也与成像透镜103同样地可以采用具备使像面的位置和焦距中的至少一方可变的功能的透镜、例如有源透镜。通过变更投影透镜133的焦距，能够相对于光学图像的大小独立地调整投影图像的大小。

摄像装置140例如为数字摄像机，具备摄像元件141和转接透镜142。摄像装置140基于来自试样的光来获取试样的数字图像数据。

摄像元件141为检测来自试样的光的光检测器的一个例子。摄像元件141为二维图像传感器，例如为CCD图像传感器、CMOS图像传感器等。摄像元件141检测来自试样的光，并且转换为电信号。此外，像面IP2处的投影装置131的尺寸为尺寸A。在此，像面IP2为摄像元件141的受光面。另外，摄像元件141的尺寸为摄像元件141的有效像素区域的尺寸，具体地说例如为对角长度等。

在投影装置131在像面投影了投影图像时，来自投影装置131的光也入射于摄像装置140。因此，通过摄像装置140获取到的数字图像数据表示的数字图像除了试样的光学图像以外还能够包括投影图像。但是，通过调整投影装置131的投影期间和摄像装置140的曝光期间，摄像装置140能够获取不包括投影图像的试样的数字图像数据。

转接透镜142向摄像元件141投影形成于像面IP1a的光学图像。也就是说，向像面IP2投影像面IP1a。此外，向像面IP2投影物体面OP1的投影倍率为投影倍率β。

输入装置40向控制装置10输出与利用者的输入操作相应的操作信号。输入装置40例如为键盘，但可以包括鼠标、操纵杆、触摸面板等。另外，输入装置40包括接受声音输入的声音输入装置41。声音输入装置41例如为麦克风等。声音输出装置50根据来自控制装置10的指示来输出声音。声音输出装置50例如为扬声器。

控制装置10控制显微镜系统1整体。控制装置10与显微镜100、输入装置40以及声音输出装置50连接。如图1所示，控制装置10具备摄像控制部21、图像分析部22、投影图像生成部23、投影控制部24以及通信控制部25作为主要与投影装置131的控制有关的构成要素。控制装置10还具备信息管理部30。

摄像控制部21通过控制摄像装置140来从摄像装置140获取试样的数字图像数据。摄像控制部21例如可以控制摄像装置140，以使摄像装置140的曝光期间与投影装置131的投影期间不重叠。摄像控制部21获取到的数字图像数据被输出至图像分析部22、投影图像生成部23以及通信控制部25。

图像分析部22分析摄像控制部21获取到的数字图像数据，并且将分析结果输出至投影图像生成部23。不特别限定图像分析部22进行的分析处理的内容。分析处理例如可以为对数字图像拍到的细胞数进行计数的处理，也可以为使细胞数、细胞密度等的时间变化图表化的处理。另外，可以是基于亮度的阈值来自动地检测关注区域的处理，也可以为进行数字图像中拍到的构造物的形状识别、重心计算等的处理。

另外，图像分析部22例如可以将数字图像数据表现的数字图像中拍到的一个以上的构造物分类为一个以上的类，并且输出包括确定被分类为该一个以上的类中的至少一个类中的构造物的位置的信息的分析结果。更具体地说，图像分析部22可以根据染色强度来将数字图像中拍到的细胞分类，并且生成包括细胞被分类的类信息和确定该细胞的轮廓或该细胞的核的轮廓的位置信息的分析结果。此外，在该情况下，期望被分类为至少一个类中的构造物是成为病理医生进行的病理诊断中的判定的根据的对象物。

另外，图像分析部22例如可以基于数字图像数据来追踪试样内的关注区域。在该情况下，期望图像分析部22输出的分析结果包括关注区域的位置信息。此外，应该追踪的关注区域可以通过分析数字图像数据来决定，也可以通过利用者使用输入装置40进行指定来决定。

投影图像生成部23生成表示投影图像的投影图像数据。将通过投影图像生成部23生成的投影图像数据输出至投影控制部24和通信控制部25。投影图像生成部23至少基于信息管理部30中管理的显微镜信息MI来生成投影图像数据。另外，投影图像生成部23可以基于显微镜信息MI和图像分析部22的分析结果来生成投影图像数据。另外，投影图像生成部23可以基于显微镜信息MI和通信控制部25从外部的系统接收到的数据来生成投影图像数据。另外，投影图像生成部23可以基于显微镜信息MI和来自输入装置40的输入信息来生成投影图像数据。

投影控制部24通过控制投影装置131来控制向像面进行的投影图像的投影。投影控制部24例如可以根据显微镜系统1的设定来控制投影装置131。具体地说，投影控制部24可以根据显微镜系统1的设定来决定是否将投影图像投影至像面，也可以是显微镜系统1控制投影装置131，以使在规定的设定时，投影装置131将投影图像投影至像面。也就是说，显微镜系统1能够通过设定来变更是否将投影图像投影至像面。

另外，投影控制部24例如可以控制投影装置131，以使投影装置131的发光期间与摄像元件141的曝光期间不重叠。由此，能够防止在数字图像中拍进投影图像。

通信控制部25与显微镜系统1外部的系统交换数据。此外，显微镜系统1经由因特网等网络与外部的系统连接。通信控制部25例如可以向外部的系统发送图像数据，并且接收图像数据的分析结果。另外，通信控制部25例如可以接收外部的系统的利用者输入来的操作信息。

信息管理部30管理显微镜信息MI。显微镜信息MI如图2所示至少包括试样投影至像面IP1的第一倍率即投影倍率α、试样投影至摄像装置140的第二倍率即投影倍率β、投影装置131投影至像面IP1的第三倍率即投影倍率γ、摄像装置140的尺寸A、以及投影装置131的尺寸B。上述的投影倍率α、投影倍率β、投影倍率γ、摄像装置140的尺寸A、以及投影装置131的尺寸B为用于相对于光学图像以期望的大小将投影图像投影至期望的位置的信息，之后将这些记述为基本信息。显微镜信息MI除了基本信息以外还可以包括其它信息。显微镜信息MI例如可以包括用于形成光学图像的显微技术的信息。另外，显微镜信息MI可以包括表示聚焦状态下的载置台101的位置的、同物镜102的光轴正交的方向的坐标信息与光轴的方向的坐标信息的组合。另外，显微镜信息MI可以包括目镜104的视场数(FN)、物镜102的视场数(OFN)、摄像装置140的有效像素数、以及投影装置131的像素数等。

此外，控制装置10可以为通用装置，也可以为专用装置。控制装置10不特别地限定为该结构，例如可以具有如图3所示的物理结构。具体地说，控制装置10可以具备处理器10a、存储器10b、辅助存储装置10c、输入输出接口10d、介质驱动装置10e、以及通信控制装置10f，并且以上这些通过总线10g彼此连接。

处理器10a例如为包括CPU(Central Processing Unit：中央处理单元)的任意的处理电路。处理器10a可以执行存储器10b、辅助存储装置10c、或存储介质10h中保存的程序来进行程序化的处理，从而实现上述的与投影装置131的控制有关的构成要素(摄像控制部21、图像分析部22、投影图像生成部23等)。另外，处理器10a可以使用ASIC、FPGA等专用处理器构成。

存储器10b为处理器10a的工作存储器。存储器10b例如为RAM(Random AccessMemory：随机存取存储器)等任意的半导体存储器。辅助存储装置10c为EPROM(ErasableProgrammable ROM：可擦编程只读存储器)、硬盘驱动器(Hard Disc Drive)等非易失性的存储器。输入输出接口10d与外部装置(显微镜100、输入装置40、声音输出装置50)交换信息。

介质驱动装置10e能够将存储器10b和辅助存储装置10c中保存的数据输出至存储介质10h，另外，能够从存储介质10h读出程序和数据等。存储介质10h为可携带的任意的记录介质。存储介质10h例如包括SD卡、USB(Universal Serial Bus：通用串行总线)快闪存储器、CD(Compact Disc：光盘)、DVD(Digital Versatile Disc：数字多功能光盘)等。

通信控制装置10f向网络进行信息的输入输出。作为通信控制装置10f，例如能够采用NIC(Network Interface Card：网络适配器)、无线LAN(Local Area Network：局域网)卡等。总线10g将处理器10a、存储器10b、辅助存储装置10c等连接为彼此能够进行数据的收发。

如以上那样构成的显微镜系统1进行图4所示的图像投影处理。图4是显微镜系统1进行的图像投影处理的流程图。图5是从显微镜系统1的目镜104能够看到的图像的一个例子。在下面，参照图4和图5来说明显微镜系统1的图像投影方法。

首先，显微镜系统1在像面IP1投影试样的光学图像(步骤S1)。在此，成像透镜103将物镜102取入的来自试样的光聚光在像面IP1，形成试样的光学图像。由此，例如图5的图像V1所示，光学图像O1被投影至像面IP1上的区域R1。此外，区域R1表示来自物镜102的光束入射于像面IP1上的区域。另外，区域R2表示通过俯看目镜104能够看到的像面IP1上的区域。

接着，显微镜系统1获取显微镜信息MI(步骤S2)。在此，投影图像生成部23从信息管理部30获取显微镜信息MI。

之后，显微镜系统1生成投影图像数据(步骤S3)。在此，投影图像生成部23基于通过步骤S2获取到的显微镜信息MI来生成投影图像数据。投影图像生成部23例如使用显微镜信息MI中包括的投影倍率α、投影倍率γ、投影装置131的尺寸B来生成表示如图5的图像V2所示的那样的包括刻度的投影图像P1的投影图像数据。更详细地说，根据投影倍率α与投影倍率γ的关系可知物体面OP1的单位长度是显示面OP2的α/γ。并且，根据投影装置131的尺寸B，投影装置131的每一像素的大小也是已知的，因此物体面OP1的单位长度是显示面OP2中的几个像素也是已知的。投影图像生成部23使用这些关系来生成用于以准确的大小在光学图像O1上投影刻度的投影图像数据。

最后，显微镜系统1将投影图像投影至像面IP1(步骤S4)。在此，投影控制部24基于通过步骤S3生成的投影图像数据来控制投影装置131，由此投影装置131将投影图像投影至像面。由此，如图5的图像V2所示，在光学图像O1上重叠包括刻度的投影图像P1。

在显微镜系统1中，将投影图像投影至形成光学图像的像面IP1。由此，利用者能够不用使眼睛离开目镜104就接受到对作业有益的信息的提供。另外，显微镜系统1使用包括投影倍率等的显微镜信息来生成投影图像数据。由此，能够使用投影图像相对于光学图像在期望的位置显示相对于光学图像具有期望的大小的信息。因而，根据显微镜系统1，能够辅助利用者通过光学图像观察试样进行的作业，从而能够减轻利用者的作业负担。

并且，在显微镜系统1中，与基于数字图像进行病理诊断的WSI系统不同，不需要高价的设备。因而，根据显微镜系统1，能够回避设备成本大幅度上升并且能够减轻利用者的负担。

图6和图7是从显微镜系统1的目镜104能够看到的图像的其它例子。在图5中表示了在像面IP1投影包括刻度的投影图像P1的例子，但投影至像面IP1的投影图像不限于投影图像P1。

例如，如图6的图像V3所示，投影装置131可以投影包括显微镜系统1的设定信息的投影图像P2。投影图像生成部23也能够基于显微镜信息来生成表示投影图像P2的投影图像数据。

此外，投影图像生成部23可以基于显微镜信息包括的显微技术的信息来决定投影图像P2的背景色。例如，如果在明视场观察过程中，光学图像的背景色为白色，因此投影图像P2也同样使背景色为白色。另外，可以有意地使投影图像P2的背景色成为与光学图像的背景色不同的颜色。另外，投影图像P2可以只在利用者指示的期间中进行投影。例如，当利用者通过声音指示显示时，投影图像生成部23生成投影图像数据，投影装置131可以只在规定期间(例如10秒)进行投影图像P2的投影。另外，当利用者通过声音指示显示时，可以从声音输出装置50以声音的形式输出显微镜信息。

另外，如图7的图像V4所示，投影装置131可以投影包括提示利用者进行操作的引导显示的投影图像P3。投影图像生成部23还基于显微镜信息来生成表示投影图像P3的投影图像数据。因此，投影装置131例如能够将投影图像P3投影至能够同时确认光学图像O2中包括的产品和投影图像P3中包括的引导显示这两方的位置。另外，可以从声音输出装置50以声音的形式输出引导显示的内容。并且，当利用者根据引导显示来声音输入了产品识别信息即产品No.时，投影图像生成部23基于显微镜信息和从声音输入装置41输入来的产品No.来生成表示投影图像P4的投影图像数据。而且，投影装置131可以如图7的图像V5所示的那样，将投影图像P4投影至光学图像O2上，并且摄像装置140基于来自试样的光和来自投影装置131的光来获取表示在光学图像O2重叠有投影图像P4的重叠图像的重叠图像数据。此外，投影图像P4为确定光学图像O2所示的产品的条形码。像这样，通过在投影图像中包括与由产品No.识别出的产品有关的图像，能够一次性地记录产品和产品的信息。

显微镜系统1可以进行图8所示的图像投影处理来代替图4所示的图像投影处理。图8是显微镜系统1进行的图像投影处理的流程图的其它例子。图9是从显微镜系统1的目镜104能够看到的图像的另一其它例子。

在图8所示的图像投影处理中，显微镜系统1首先在像面IP1投影试样的光学图像(步骤S11)，并且获取显微镜信息(步骤S12)。步骤S11及步骤S12的处理与图4所示的步骤S1及步骤S2相同。

接着，显微镜系统1获取试样的数字图像数据(步骤S13)。在此，摄像装置140通过基于来自试样的光拍摄试样来获取数字图像数据。

之后，显微镜系统1分析数字图像数据(步骤S14)。在此，图像分析部22分析数字图像数据，并且例如生成辅助病理诊断的信息。具体地说，通过分析来确定细胞的核，并且根据其染色强度来进行分类。

当分析结束时，显微镜系统1生成投影图像数据(步骤S15)。在此，投影图像生成部23基于显微镜信息和从图像分析部22输出来的分析结果，例如生成表示如图9的图像V6所示的那样的、通过染色强度对细胞的核进行颜色分类的投影图像P5的投影图像数据。更详细地说，根据显微镜信息中包括的投影倍率β和摄像装置140的尺寸A，数字图像(摄像装置140)的各像素与物体面OP1的位置的关系是已知的。并且，根据投影倍率α、投影倍率γ以及投影装置131的尺寸B，投影装置131的各像素与物体面OP1的位置的关系也是已知的。投影图像生成部23使用这些关系，生成表示投影图像P5的投影图像数据，所述投影图像P5在光学图像O1所包括的细胞的核的位置包括与核的大小相应的颜色的图像。

最后，显微镜系统1将投影图像投影至像面IP1(步骤S16)。在此，投影控制部24基于通过步骤S15生成的投影图像数据来控制投影装置131，由此投影装置131将投影图像投影至像面。由此，如图9的图像V6所示，在光学图像O1上重叠通过染色强度对细胞的核进行颜色分类的投影图像P5。

像这样，通过除了显微镜信息以外还使用分析结果来生成投影图像数据，显微镜系统1能够向利用者提供更有益的信息。因此，能够进一步减轻利用者的作业负担。

图10是从显微镜系统1的目镜104能够看到的图像的另一其它例子。如图10的V4所示，投影装置131可以投影包括提示利用者进行操作的引导显示的投影图像P3。而且，当利用者根据引导显示声音输入了产品识别信息即产品No.时，图像分析部22可以基于显微镜信息、数字图像数据、以及从声音输入装置41输入来的产品No.来检查试样，并且输出该检查结果作为分析结果。之后，投影图像生成部23可以基于分析结果和显微镜信息来生成表示投影图像P6的投影图像数据。投影图像P6如图10的图像V7所示包括表示试样的检查的合格与否的图像。像这样，通过图像分析来进行检查，并且显示检查结果，由此能够进一步减轻利用者的作业负担。特别是，通过在检查中使用显微镜信息能够高精度地测定检查对象物的长度等。因此，能够高精度地进行检查。并且，控制装置10可以基于分析结果来制作关于试样的检查项目的检查单，并且例如记录在辅助存储装置10c中。此外，期望与试样的图像建立关联地记录检查单。另外，关于各产品的检查对象的信息(例如产品的各部的尺寸、形状等)，可以预先存储于辅助存储装置10c中，另外也可以使用通信控制装置10f经由网络从外部的装置来获取。

在图10中表示了通过声音输入来获取产品识别信息即产品No.的例子，但产品识别信息的获取方法不限于声音输入。例如，在试样标附有产品识别信息的情况下，图像分析部22可以通过图像分析部22分析由摄像装置140获取到的数字图像数据来确定产品识别信息。而且，图像分析部22可以基于产品识别信息、显微镜信息、以及数字图像数据来检查产品，并且将检查结果作为分析结果输出至投影图像生成部23。

另外，在通过图像分析部22分析数字图像数据来确定出产品识别信息的情况下，投影图像生成部23可以例如图7的图像V5所示的那样生成表示包括与用产品识别信息识别出的产品有关的图像的投影图像P4的投影图像数据。此外，期望与产品有关的图像例如为包括产品的产品代码、产品的产品序号、或产品的检查过程的图像。

图11是从显微镜系统1的目镜104能够看到的图像的另一其它例子。如图11的V8所示，投影装置131可以投影包括映射图像的投影图像P7。映射图像是试样的图像，并且是拍到比与形成于像面的光学图像对应的实际视场大的区域的图像。因此，映射图像例如可以为使用倍率比物镜102低的物镜获取到的试样的图像。另外，可以为如Whole Slide Image这样的通过平铺多个图像生成的图像。图像分析部22可以通过比较数字图像和预先获取到的映射图像来确定映射图像上的与光学图像对应的位置，并且作为分析结果输出至投影图像生成部23。投影图像生成部23可以通过使用分析结果来生成在映射图像的与光学图像对应的位置包括标记C的投影图像P7。

另外，可以通过变更成像透镜103的焦距，如图11所示的那样，相对于区域R2充分地减小投影光学图像O3的区域R1。在该基础上，还可以通过变更投影透镜133的焦距将投影图像P8投影至区域R1的外侧。此外，区域R3表示来自投影透镜133的光束入射的像面IP1上的区域。区域R4表示投影装置131投影至像面IP1的区域。也就是说，在图11中表示通过来自投影装置131的光形成于像面IP1的成像圈比通过来自试样的光形成于像面IP1的成像圈大的情形。

图12是从显微镜系统1的目镜104能够看到的图像的另一其它例子。当在图11所示的状态下将物镜切换为具有更高倍率的物镜时，如图12的图像V9所示，在区域R1投影倍率比光学图像O3高的光学图像O4。此时，投影图像生成部23可以用维持标记C在像面IP1中的大小的方式生成投影图像数据，并且投影装置131进行投影图像P8的投影。

显微镜系统1可以进行图13所示的图像投影处理来代替图4和图8所示的图像投影处理。图13是显微镜系统1进行的图像投影处理的流程图的另一其它例子。

在图13所示的图像投影处理中，显微镜系统1首先将试样的光学图像投影至像面IP1(步骤S21)，并且获取显微镜信息(步骤S22)。步骤S21及步骤S22的处理与图8所示的步骤S11及步骤S12相同。

接着，显微镜系统1变更图像获取设定(步骤S23)。在此，控制装置10基于通过步骤S22获取到的显微镜信息来变更图像获取设定。

之后，显微镜系统1获取数字图像数据(步骤S24)，并且分析数字图像数据(步骤S25)。并且，显微镜系统1生成投影图像数据(步骤S26)，将投影图像投影至像面(步骤S27)。步骤S24至步骤S26的处理与图8所示的步骤S13和步骤S16相同。

通过像这样基于显微镜信息来变更图像获取设定，显微镜系统1能够进一步减轻利用者的作业负担。在下面对具体例进行说明。

控制装置10例如可以通过基于投影倍率β来估计数字图像的明亮度从而决定摄像装置140的检测灵敏度，也可以是摄像控制部21变更摄像装置140的检测灵敏度的设定。具体地说，例如，可以变更放大率，也可以如图14所示的那样进行将多个像素PX1统一地视作一个像素PX2的合并处理。由此，图像分析所需的明亮度得到了确保，因此能够得到精度高的分析结果。

另外，控制装置10例如可以通过基于投影倍率α估计光学图像的明亮度来变更光偏转元件132的反射率。具体地说，例如在光学图像的明亮度低的情况下，可以提高光偏转元件132的透过率并使反射率下降。由此，能够抑制由于光偏转元件132引起的来自试样的光的损失以确保光学图像的明亮度。

另外，控制装置10例如可以基于投影倍率β和摄像元件141的尺寸A来决定摄像元件141所具有的有效像素中的读出信号的像素，也可以是摄像控制部21变更摄像装置140的读出范围的设定。例如，如图15所示，在被照射来自试样的光束的区域A3相对于由有效像素构成的区域A1小的情况下，例如可以从两域A2中包括的像素读出信号。由此，相比于从有效像素整体读出信号的情况，能够以短时间获取数字图像数据。

此外，在以上表示了基于显微镜信息来变更图像获取设定的例子，但可以基于显微镜信息和数字图像数据来变更图像获取设定。例如，可以基于数字图像数据检测数字图像的明亮度，并且鉴于该结果来调整照明强度、投影装置131的发光强度、光偏转元件132的反射率等以调整光学图像和投影图像的明亮度。另外，可以基于显微镜信息和分析结果来变更图像获取设定。例如，如果在进行追踪关注区域的分析的情况下，控制装置10可以基于追踪结果来控制作为电动载置台的载置台101，以使关注区域位于物镜102的光轴上。也就是说，可以基于分析结果来变更图像获取位置。

[第二实施方式]

图16是表示本实施方式所涉及的显微镜系统2的结构的图。显微镜系统2关于具备显微镜200来代替显微镜100这一点与显微镜系统1不同。显微镜200具备中间镜筒150来代替中间镜筒130。在中间镜筒150中除了投影装置131、光偏转元件132、以及投影透镜133以外还设置有摄像装置140和光偏转元件143。

光偏转元件143使来自试样的光朝向摄像元件141偏转。光偏转元件143例如为半透半反镜等分束器。光偏转元件143配置于光偏转元件132与物镜102之间的光路上。由此，能够回避来自投影装置131的光入射于摄像元件141。

通过本实施方式所涉及的显微镜系统2，也能够得到与显微镜系统1同样的效果。另外，通过将投影装置131和摄像装置140组入中间镜筒150内，能够将用于将投影图像投影至像面的设备构成为一个单元。因此，能够容易地扩展已有的显微镜系统。

[第三实施方式]

图17是表示本实施方式所涉及的显微镜系统3的结构的图。显微镜系统3关于具备显微镜300来代替显微镜100这一点与显微镜系统1不同。显微镜300具备中间镜筒160来代替中间镜筒130。在中间镜筒160中除了投影装置131、光偏转元件132、以及投影透镜133以外还设置有摄像装置140和光偏转元件143。

光偏转元件143使来自试样的光朝向摄像元件141偏转。光偏转元件143例如为半透半反镜等分束器。光偏转元件143配置于成像透镜103与光偏转元件132之间的光路上。

通过本实施方式所涉及的显微镜系统3也能够得到与显微镜系统1同样的效果。

[第四实施方式]

图18是表示本实施方式所涉及的显微镜400的结构的图。此外，本实施方式所涉及的显微镜系统除了具备显微镜400来代替显微镜100这一点以外与显微镜系统1相同。

显微镜400关于具备有源方式的自动调焦装置500这一点与显微镜100不同。其它点与显微镜100相同。

自动调焦装置500具备激光器501、准直透镜502、遮蔽板503、偏振光分束器504、1/4波片505、分色镜506、成像透镜507、以及二分割检测器508。从激光器501射出来的激光在被准直透镜502准直后，被遮蔽板503切断其一半的光束。剩余的一半的光束通过偏振光分束器504反射，经由1/4波片505、分色镜506入射于物镜102，并且通过物镜102照射于试样。通过试样反射后的激光经由物镜102、分色镜506、1/4波片505再次入射于偏振光分束器504。第二次入射于偏振光分束器504的激光在被偏振光分束器504反射后再通过1/4波片505。因而，具有与第一次入射于偏振光分束器504时的偏光方向正交的偏光方向。因此，激光透过偏振光分束器504。之后，激光通过成像透镜507照射于二分割检测器508。通过二分割检测器508检测出的光量分布根据相对于聚焦状态的偏离量而变化。因此，通过根据由二分割检测器508检测出的光量分布调整载置台101与物镜102之间的距离，能够实现聚焦状态。

本实施方式所涉及的显微镜系统在载置台101在与物镜102的光轴正交的方向上移动时通过自动调焦装置500进行自动调焦处理。由此，相比于显微镜系统1，能够进一步减轻利用者的作业负担。

[第五实施方式]

图19是表示本实施方式所涉及的显微镜600的结构的图。此外，本实施方式所涉及的显微镜系统除了具备显微镜600来代替显微镜100这一点以外与显微镜系统1相同。

显微镜600为倒立显微镜。显微镜600具备光源601和聚光透镜602作为透过照明光学系统。显微镜600在与聚光透镜602相向的位置具备物镜603。在物镜603的光轴上排列有分束器604、分束器606、成像透镜609、分束器610、中继透镜612、以及目镜613。

显微镜600还具备光源605。从光源605射出来的照明光通过分束器604朝向试样偏转。显微镜600还具备投影装置607和投影透镜608。来自投影装置607的光经由投影透镜608入射并且通过分束器606朝向目镜613偏转。由此，通过来自投影装置607的光在成像透镜609与中继透镜612之间的像面进行投影图像的投影。显微镜600还具备摄像元件611。摄像元件611检测被分束器610反射出的来自试样的光，并且输出数字图像数据。

通过本实施方式所涉及的显微镜系统，能够得到与显微镜系统1同样的效果。

[第六实施方式]

图20是表示本实施方式所涉及的显微镜700的结构的图。此外，本实施方式所涉及的显微镜系统除了具备显微镜700来代替显微镜100这一点以外与显微镜系统1相同。

显微镜700为实体显微镜。显微镜700具备光源712、集光透镜711、以及聚光透镜710作为透过照明光学系统。显微镜700具备光源707和物镜708作为落射照明光学系统。显微镜700具备作为外置的照明光源的光源709。

显微镜700还具备将来自物镜708的光聚光来形成中间像的两组成像透镜(702a、702b)和两组目镜(701a、701b)。目镜701a和成像透镜702a为右眼用的光学系统，目镜701b和成像透镜702b为左眼用的光学系统。

显微镜700还在从右眼用的光路上分支出的光路上具备作为第一投影装置的投影装置703a和投影透镜704a，并且在从左眼用的光路上分支出的光路上具备作为第二投影装置的投影装置703b和投影透镜704b。

显微镜700还在从右眼用的光路上分支出的光路上具备基于来自试样的光获取试样的第一数字图像数据的第一摄像装置即摄像装置710a，并且在从左眼用的光路上分支出的光路上具备基于来自试样的光获取试样的第二数字图像数据的第二摄像装置即摄像装置710b。摄像装置710a具备成像透镜706a和摄像元件705a，摄像装置710b具备成像透镜706b和摄像元件705b。

通过本实施方式所涉及的显微镜系统也能够得到与显微镜系统1同样的效果。另外，在本实施方式中，图像分析部22能够基于显微镜信息、第一数字图像数据以及第二数字图像数据进行立体测量，并且输出试样的高度信息作为分析结果。而且，投影图像生成部23基于显微镜信息和分析结果来生成表示呈三维图像的投影图像的投影图像数据。其结果是，在本实施方式所涉及的显微镜系统中，投影装置703a和投影装置703b能够在像面投影呈三维图像的投影图像。

并且，在本实施方式所涉及的显微镜系统中，光源709可以向试样照射相位图案。由此，图像分析部22能够分析第一数字图像数据和第二数字图像数据，并且输出点云数据作为分析结果。而且，投影图像生成部23基于显微镜信息和分析结果来生成表示呈三维图像的投影图像的投影图像数据。其结果是，在本实施方式所涉及的显微镜系统中，投影装置703a和投影装置703b能够在像面投影呈三维图像的投影图像。

上述的实施方式表示用于使发明的理解变得容易的具体例，本发明的实施方式并不限定于这些。显微镜系统能够在不脱离权利要求书的记载的范围中进行各种变形、变更。

另外，在上述的实施方式中表示了显微镜包括摄像装置的例子，但上述的技术例如可以对扫描型显微镜提供上述的技术。在该情况下，显微镜可以具备光电倍增管(PMT)等光检测器来代替摄像装置。

另外，在上述的实施方式中，表示了成像透镜103为使焦距可变的透镜的例子、投影透镜133为使焦距可变的透镜的例子，但显微镜系统可以是其它透镜为可变焦点透镜。期望显微镜系统具备使第一投影倍率、第二投影倍率、第三投影倍率中的至少一个可变的透镜。

另外，图像分析部22可以使用规定的算法来进行分析处理，也可以使用已训练的神经网络进行分析处理。已训练的神经网络的参数可以通过在与显微镜系统不同的装置中训练神经网络来生成，控制装置10可以下载生成的参数来应用于图像分析部22中。

另外，图像分析部22可以设置于显微镜系统的外部。例如，通信控制部25可以向外部系统发送数字图像数据，具备图像分析部22的外部系统分析数字图像数据。通信控制部25可以从外部系统接收数字图像数据的分析结果，并且投影图像生成部23基于接收到的分析结果和显微镜信息来生成投影图像数据。

附图标记说明

1、2、3：显微镜系统；10：控制装置；10a：处理器；10b：存储器；10c：辅助存储装置；10d：输入输出接口；10e：介质驱动装置；10f：通信控制装置；10g：总线；10h：存储介质；21：摄像控制部；22：图像分析部；23：投影图像生成部；24：投影控制部；25：通信控制部；30：信息管理部；40：输入装置；41：声音输入装置；50：声音输出装置；100、200、300、400、600、700：显微镜；101：载置台；102、102a、603、708：物镜；103、507、609、702a、702b、706a、706b：成像透镜；104、613、701a、701b：目镜；110：显微镜主体；111：转盘；120：镜筒；130、150、160：中间镜筒；131、607、703a、703b：投影装置；132、143：光偏转元件；133、608、704a、704b：投影透镜；140、710a、710b：摄像装置；141、611、705a、705b：摄像元件；142：转接透镜；500：自动调焦装置；501：激光器；502：准直透镜；503：遮蔽板；504：偏振光分束器；505：1/4波片；506：分色镜；508：二分割检测器；601、605、707、709、712：光源；602、710：聚光透镜；604、606、610：分束器；612：中继透镜；711：集光透镜；A1～A3、R1～R4：区域；C：标记；IP1、IP1a、IP2：像面；MI：显微镜信息；O1～O4：光学图像；OP1：物体面；OP2：显示面；P1～P8：投影图像；PX1、PX2：像素；V1～V9：图像。

Claims (26)

1.一种显微镜系统，其特征在于，具备：

目镜；

物镜，其向所述目镜引导来自试样的光；

成像透镜，其配置于所述目镜与所述物镜之间的光路上，基于来自所述试样的光来形成所述试样的光学图像；

摄像装置，其基于来自所述试样的光来获取所述试样的数字图像数据；

投影装置，其将投影图像投影至形成有所述光学图像的所述成像透镜与所述目镜之间的像面；以及

控制装置，其管理显微镜信息，所述显微镜信息至少包括所述试样投影至所述像面的第一倍率、所述试样投影至所述摄像装置的第二倍率、所述投影装置投影至所述像面的第三倍率、所述摄像装置的尺寸、以及所述投影装置的尺寸，

其中，所述控制装置具备投影图像生成部，所述投影图像生成部至少基于所述显微镜信息来生成表示所述投影图像的投影图像数据，以使得能够使用所述投影图像相对于所述光学图像在期望的位置显示相对于所述光学图像具有期望的大小的信息，

其中，通过来自所述投影装置的光形成于所述像面的成像圈比通过来自所述试样的光形成于所述像面的成像圈大。

2.根据权利要求1所述的显微镜系统，其特征在于，

所述控制装置还具备图像分析部，所述图像分析部分析通过所述摄像装置获取到的所述数字图像数据，

所述投影图像生成部基于所述图像分析部的分析结果和所述显微镜信息来生成所述投影图像数据。

3.根据权利要求2所述的显微镜系统，其特征在于，

所述显微镜信息还包括用于形成所述光学图像的显微技术的信息，

所述投影图像生成部基于所述显微技术的信息来决定所述投影图像的背景色。

4.根据权利要求1至3中的任一项所述的显微镜系统，其特征在于，

所述控制装置还具备控制所述摄像装置的摄像控制部，

所述摄像控制部基于所述显微镜信息来决定所述摄像装置的检测灵敏度。

5.根据权利要求1至3中的任一项所述的显微镜系统，其特征在于，

所述控制装置还具备控制所述摄像装置的摄像控制部，

所述摄像控制部基于所述显微镜信息来从所述摄像装置的有效像素中决定读出信号的像素。

6.根据权利要求1至3中的任一项所述的显微镜系统，其特征在于，

还具备光偏转元件，所述光偏转元件配置于所述物镜与所述目镜之间的光路上，向所述目镜引导来自所述投影装置的光，

所述控制装置基于所述显微镜信息来变更所述光偏转元件的反射率。

7.根据权利要求1至3中的任一项所述的显微镜系统，其特征在于，

还具备载置台，所述载置台载置所述试样，

所述显微镜信息还包括表示聚焦状态下的所述载置台的位置的、同所述物镜的光轴正交的方向的坐标信息与所述光轴的方向的坐标信息的组合。

8.根据权利要求1至3中的任一项所述的显微镜系统，其特征在于，

还具备声音输出装置，所述声音输出装置通过声音输出所述显微镜信息。

9.根据权利要求1至3中的任一项所述的显微镜系统，其特征在于，

还具备透镜，所述透镜使所述第一倍率、所述第二倍率、所述第三倍率中的至少一个可变。

10.根据权利要求9所述的显微镜系统，其特征在于，

所述透镜为所述成像透镜。

11.根据权利要求1至3中的任一项所述的显微镜系统，其特征在于，

所述控制装置还具备控制所述摄像装置的摄像控制部，

所述摄像控制部控制所述摄像装置，以使所述摄像装置的曝光期间与所述投影图像的投影期间不重叠。

12.根据权利要求2所述的显微镜系统，其特征在于，

所述图像分析部基于所述数字图像数据来追踪所述试样内的关注区域。

13.根据权利要求12所述的显微镜系统，其特征在于，

还具备电动载置台，所述电动载置台载置所述试样，

所述控制装置基于所述图像分析部的追踪结果来控制所述电动载置台，以使所述关注区域位于所述物镜的光轴上。

14.根据权利要求2所述的显微镜系统，其特征在于，

所述摄像装置具备：

第一摄像装置，其基于来自所述试样的光来获取所述试样的第一数字图像数据；以及

第二摄像装置，其基于来自所述试样的光来获取所述试样的第二数字图像数据，

所述图像分析部基于所述显微镜信息、所述第一数字图像数据以及所述第二数字图像数据来进行立体测量，并且输出所述试样的高度信息作为所述分析结果。

15.根据权利要求14所述的显微镜系统，其特征在于，

所述投影图像生成部基于所述显微镜信息和所述分析结果来生成所述投影图像数据，在此，所述投影图像数据所表示的所述投影图像为三维图像，

所述投影装置具备第一投影装置和第二投影装置，

所述第一投影装置和所述第二投影装置将所述投影图像投影至所述像面。

16.根据权利要求2所述的显微镜系统，其特征在于，

还具备光源，所述光源向所述试样照射相位图案，

所述图像分析部分析所述数字图像数据，并且输出所述试样的点云数据作为所述分析结果，

所述投影图像生成部基于所述显微镜信息和所述分析结果来生成所述投影图像数据，在此，所述投影图像数据所表示的所述投影图像为三维图像，

所述投影装置具备第一投影装置和第二投影装置，

所述第一投影装置和所述第二投影装置将所述投影图像投影至所述像面。

17.根据权利要求2或3所述的显微镜系统，其特征在于，

还具备声音输入装置，

所述投影图像生成部基于所述显微镜信息和从所述声音输入装置输入来的产品识别信息来生成所述投影图像数据，

所述投影图像包括与用所述产品识别信息识别出的产品有关的图像。

18.根据权利要求2所述的显微镜系统，其特征在于，

所述图像分析部分析所述数字图像数据，确定所述试样的被标附的产品识别信息，

所述投影图像生成部基于所述显微镜信息和通过所述图像分析部确定出的所述产品识别信息来生成所述投影图像数据，

所述投影图像包括与用所述产品识别信息识别出的产品有关的图像。

19.根据权利要求17所述的显微镜系统，其特征在于，

与所述产品有关的图像包括所述产品的产品代码、所述产品的产品序号、或所述产品的检查过程。

20.根据权利要求17所述的显微镜系统，其特征在于，

所述摄像装置基于来自所述试样的光和来自所述投影装置的光来获取表示在所述光学图像重叠有所述投影图像的重叠图像的重叠图像数据。

21.根据权利要求2所述的显微镜系统，其特征在于，

还具备声音输入装置，

所述图像分析部基于所述显微镜信息、所述数字图像数据以及从所述声音输入装置输入来的产品识别信息来检查所述试样，并且输出检查结果作为所述分析结果，

所述投影图像包括表示所述试样的检查的合格与否的图像。

22.根据权利要求2所述的显微镜系统，其特征在于，

所述图像分析部分析所述数字图像数据，确定所述试样的被标附的产品识别信息，

所述图像分析部基于所述显微镜信息、所述数字图像数据以及确定出的所述产品识别信息来检查所述试样，输出检查结果作为所述分析结果，

所述投影图像包括表示所述试样的检查的合格与否的图像。

23.根据权利要求21或22所述的显微镜系统，其特征在于，

所述控制装置基于所述检查结果来制作关于所述试样的检查项目的检查单。

24.根据权利要求21所述的显微镜系统，其特征在于，

所述图像分析部使用所述试样的已训练的神经网络来分析所述数字图像数据。

25.根据权利要求2或3所述的显微镜系统，其特征在于，

还具备通信控制部，所述通信控制部同经由网络与所述显微镜系统连接的外部系统交换数据，

所述投影图像生成部基于所述显微镜信息和所述通信控制部从所述外部系统接收到的数据来生成所述投影图像数据。

26.根据权利要求2或3所述的显微镜系统，其特征在于，

还具备通信控制部，所述通信控制部同经由网络与所述显微镜系统连接的外部系统交换数据，

所述通信控制部向所述外部系统发送所述数字图像数据，接收所述数字图像数据的分析结果，

所述投影图像生成部基于所述显微镜信息和所述通信控制部从所述外部系统接收到的所述分析结果来生成所述投影图像数据。

Images