CN113260894B - 显微镜系统 - Google Patents

Abstract

显微镜系统(1)是具备对试样进行照明的透射照明系统的显微镜系统。显微镜系统(1)具备目镜(101)、物镜(102)、成像透镜(103)、摄像单元(140)、处理装置(20)、投影装置(153)、以及将试样进行可视化的第一调制元件和第二调制元件。摄像单元(140)基于透射光来获取试样的数字图像数据。处理装置(20)至少基于数字图像数据来生成与投影图像对应的投影图像数据。该投影图像包含有用于辅助利用试样进行的显微授精的辅助图像。投影装置(153)基于投影图像数据来向形成有光学图像的像面投射投影图像。

Description

显微镜系统

技术领域

本说明书的公开涉及一种显微镜系统。

背景技术

作为倒置显微镜的市场之一，已知有显微授精。显微授精是体外受精的一种，是在显微镜下使精子与卵子受精的方法。一般来说，显微授精是通过卵细胞质内精子注入法(ICSI：Intracytoplasmic sperm injection)来进行的，卵细胞质内精子注入法通过向用固定移液器(日文：ホールディングピペット)固定的卵子刺入容纳有精子的注射移液器来将精子直接注入到卵子内。

例如，在专利文献1中记载有与这种显微授精相关联的技术。在专利文献1中记载了在显微授精中在偏光观察法、微分干涉观察法、浮雕相衬(日文：レリーフコントラスト)观察法之间切换来进行观察的观察装置。

现有技术文献

专利文献

专利文献1：国际公开第2012/150689号

发明内容

发明要解决的问题

另外，为了提高ICSI的成功率，重要的是挑选精子并将适合受精的良好的精子注入到卵子中。然而，通过挑选作业得到的精子是否良好在很大程度上取决于作为作业者的胚胎培养者的经验，在胚胎培养者之间受精成功率容易产生差别。

根据以上那样的实际情况，本发明的一个方面的目的在于提供一种用于辅助显微授精的技术。

用于解决问题的方案

本发明的一个方式所涉及的显微镜系统是具备对试样进行照明的透射照明系统的显微镜系统。显微镜系统具备：目镜；物镜，其用于将透过了所述试样的透射光向所述目镜引导；成像透镜，其被配置于所述目镜与所述物镜之间，基于所述透射光来形成所述试样的光学图像；摄像装置，其基于所述透射光来获取所述试样的数字图像数据；处理装置，其至少基于由所述摄像装置获取到的所述数字图像数据，来生成与投影图像对应的投影图像数据，所述投影图像包含用于辅助利用所述试样进行的显微授精的辅助图像；投影装置，其基于所述投影图像数据来向形成有所述光学图像的像面投射所述投影图像；第一调制元件，其被包括在所述透射照明系统中，用于对向所述试样照射的照明光进行调制；以及第二调制元件，其被配置于所述物镜与所述成像透镜之间，用于对所述透射光进行调制。

发明的效果

根据上述的方式，能够对显微授精进行辅助。

附图说明

图1是例示第一实施方式所涉及的显微镜系统1的结构的图。

图2是例示倒置显微镜100的结构的图。

图3是例示输入装置50的操作部的结构的图。

图4是例示处理装置20的功能结构的图。

图5是例示处理装置20的硬件结构的图。

图6是示出ICSI的过程的一例的流程图。

图7是例示作为试样200在培养皿210内形成的液滴的结构的图。

图8是示出精子挑选过程的一例的流程图。

图9是显微镜系统1进行的图像投影处理的流程图。

图10是用于说明解析部22进行的图像处理方法的图。

图11是示出从目镜101观察到的图像的一例的图。

图12是示出从目镜101观察到的图像的其它例子的图。

图13是示出从目镜101观察到的图像的又一其它例子的图。

图14是示出从目镜101观察到的图像的又一其它例子的图。

图15是示出从目镜101观察到的图像的又一其它例子的图。

图16是示出神经网络的结构的图。

图17是示出学习过程的一例的流程图。

图18是用于说明教师图像的标注方法的图。

图19是用于说明教师数据的制作方法的图。

图20是示出从目镜101观察到的图像的又一其它例子的图。

图21是示出从目镜101观察到的图像的又一其它的例子的图。

图22是示出精子挑选过程的其它例子的流程图。

图23是示出从目镜101观察到的图像的又一其它例子的图。

图24是示出从目镜101观察到的图像的又一其它例子的图。

图25是示出着床前诊断的过程的一例的流程图。

图26是示出从目镜101观察到的图像的又一其它例子的图。

图27是例示倒置显微镜300的结构的图。

图28是例示倒置显微镜400的结构的图。

具体实施方式

[第一实施方式]

图1是例示本实施方式所涉及的显微镜系统1的结构的图。图2是例示倒置显微镜100的结构的图。图3是例示输入装置50的操作部的结构的图。图4是例示处理装置20的功能结构的图。图5是例示处理装置20的硬件结构的图。图1所示的显微镜系统1是在显微授精中使用的具备透射照明系统120的倒置型的显微镜系统，例如由进行显微授精的胚胎培养者来利用显微镜系统1。

显微镜系统1至少具备目镜101、物镜102、成像透镜103、摄像单元140、处理装置20以及投影装置153。并且，显微镜系统1在照明光路和观察光路分别具备用于将在显微授精中使用的无染色的试样进行可视化的调制元件。

显微镜系统1使用投影装置153向通过物镜102和成像透镜103而形成有试样的光学图像的像面投射投影图像。由此，显微镜系统1的利用者将看到投影图像叠加于光学图像所得到的图像。特别是，通过在投影图像中包含用于辅助显微授精的辅助图像，从而显微镜系统1能够将用于辅助显微授精的各种信息以叠加于光学图像的方式提供给正在通过目镜101观察试样以进行显微授精的作业的利用者。

下面，参照图1至图4来详细地说明显微镜系统1的结构的具体例。如图1所示，显微镜系统1具备倒置显微镜100、显微镜控制器10、处理装置20、显示装置30、多个输入装置(输入装置40、输入装置50、输入装置60、输入装置70)以及识别装置80。并且，显微镜系统1与保存有各种数据的数据库服务器2连接。

如图1所示，倒置显微镜100具备显微镜主体110以及安装于显微镜主体110的多个物镜102、载置台111、透射照明系统120及目镜筒170。利用者能够使用倒置显微镜100通过明视场(BF)观察、偏光(PO)观察、微分干涉(DIC)观察以及调制相衬(MC)观察这4种显微镜法来观察试样。此外，调制相衬观察也被称为浮雕相衬(RC)观察。

多个物镜102被安装于换镜旋座112。如图2所示，在多个物镜102中包括BF观察用的物镜102a、PO观察及DIC观察用的物镜102b、MC观察用的物镜102c。另外，在物镜102c中包括调制器104。调制器104包括透射率不同的3个区域(例如，透射率为100％左右的区域、5％左右的区域、0％左右的区域)。

在图2中例示了与显微镜法相应的3个物镜，但是在多个物镜102中，也可以按显微镜法而包括倍率不同的多个物镜。下面，以包括BF观察用的4倍物镜、MC观察用的10倍、20倍、40倍物镜、PO观察用的20倍物镜、DIC观察用的60倍物镜的情况为例进行说明。

换镜旋座112是在多个物镜102之间切换要配置在光路上的物镜的切换装置。换镜旋座112与显微镜法及观察倍率相应地切换要配置在光路上的物镜。被换镜旋座112配置在光路上的物镜将透过了试样的透射光向目镜101引导。

在载置台111上载置被放入容器中的试样。容器例如是培养皿，在试样中包含有生殖细胞。载置台111沿配置在光路上的物镜102的光轴方向以及与物镜102的光轴正交的方向移动。此外，载置台111既可以是手动载置台，也可以是电动载置台。

透射照明系统120自载置台111的上方对被载置于载置台111的试样进行照明。如图1和图2所示，透射照明系统120包括光源121和通用聚光器122。光源121例如既可以是LED(Light Emitting Diode：发光二极管)光源，也可以是卤素灯光源。

如图2所示，在通用聚光器122中包括起偏器123(第一偏振片)、容纳于转盘124的多个光学元件、以及聚光透镜128。起偏器123在MC观察、PO观察以及DIC观察中使用。在转盘124中容纳有与显微镜法相应地切换使用的多个光学元件。DIC棱镜125在DIC观察中使用。开口板126在BF观察和PO观察中使用。光学元件127是形成有狭缝的遮光板即狭缝板127a与配置成覆盖狭缝的一部分的偏振片127b(第二偏振片)的组合，在MC观察中使用。

在目镜筒170中包括目镜101。成像透镜103被配置于目镜101与物镜102之间。成像透镜103基于透射光来在目镜101与成像透镜103之间的像面IP形成试样的光学图像。另外，在像面IP，还基于来自投影装置153的光形成有后述的投影图像。由此，在像面IP处，投影图像被叠加于光学图像。显微镜系统1的利用者使用目镜101来观察在形成于像面IP的光学图像上叠加投影图像而得到的图像的虚像。

如图1所示，显微镜主体110包括激光辅助孵化单元130、摄像单元140以及投影单元150。另外，如图2所示，显微镜主体110包括中间变倍单元160。并且，显微镜主体110以能够相对于光路进行插入和移除的方式包括DIC棱镜105和检偏器106。

如图2所示，激光辅助孵化单元130是被配置于物镜102与成像透镜103之间的激光单元。激光辅助孵化单元130通过在物镜102与成像透镜103之间导入激光来向试样照射激光。更具体地说，激光辅助孵化单元130例如向包围从受精卵发育而成的胚胎的透明带照射激光。激光辅助孵化单元130包括分离器131、扫描仪133、透镜134以及激光器135。分离器131例如是双色镜。扫描仪133例如是检电扫描仪，在与物镜102的光轴正交的方向上调整激光的照射位置。透镜134将激光变换为平行光束。由此，激光通过物镜102来会聚于试样上。

摄像单元140是基于透射光来获取试样的数字图像数据的摄像装置。摄像单元140被配置于成像透镜103与目镜101之间。如图2所示，摄像单元140包括分离器141和摄像元件143。分离器141例如是半透半反镜。成像透镜103将试样的光学图像形成于摄像元件143的受光面。摄像元件143例如是CCD(Charge Coupled Device：电荷耦合器件)图像传感器、CMOS(Complementary Metal-Oxide-Semiconductor：互补金属氧化物半导体)图像传感器等，用于检测来自试样的光，并将检测到的光通过光电变换而变换为电信号。摄像单元140基于通过摄像元件143得到的电信号来生成试样的数字图像数据。

此外，后述的显微镜系统1在对精子等的观察中使用，但是精子的微细部分、例如末段的部分为φ0.5μm左右。为了在图像上识别该部分，在投射到物体面时要求像素间距为φ0.5μm以下。也就是说，要求通过将像素间距除以综合倍率(＝物镜的倍率×中间变倍单元的倍率×未图示的摄像机适配器的倍率)计算出的在物体面上的像素投影像的间距为φ0.5μm以下。例如，若为20倍的物镜、2倍的中间变倍透镜、0.25倍的摄像机适配器的组合，则综合倍率为10倍。在该情况下，通过使用像素间距为3.45μm的显微镜用数字摄像机，从而物体面上的像素投影像的间距为0.345μm，也能够判别精子的末段部分。此外，在实际的数字摄像机的选择中，还要注意由有效像素构成的区域具有充满视场整体的尺寸。

投影单元150被配置于成像透镜103与目镜101之间。如图2所示，投影单元150包括分离器151、透镜152以及投影装置153。分离器151例如是半透半反镜。投影装置153基于处理装置20所生成的投影图像数据，投射出投影图像。透镜152通过将来自投影装置153的光会聚于与成像透镜103的像面、即形成有光学图像的像面IP相同的位置来投射投影图像。

例如，从精子的头部起到尾部的大小大致为60μm，头部的大小的短边为3μm左右。当通过MC观察用的20倍的物镜与1倍的中间变倍透镜的组合将该精子投射到目镜前的像面IP时，精子的像为1.2mm×0.06mm的大小。当制作包围该精子的像那样的投影图像数据时，最小为1.5mm×0.1mm左右的长方形。为了投射为能够在目镜的视场内识别该最小0.1mm的间隙，而在透镜152的投影倍率为1倍的情况下，使用由0.05mm间距以下的发光元件(单色的情况)构成的投影装置153即可。由此，能够显示能够识别上述的0.1mm的间隙的投影图像。

并且，投影装置153不仅满足目镜的视场数φ22，而且将投影图像投射于比其大一圈的φ23以上的视场。具体地说，在透镜152的投影倍率为1倍的情况下，使用具有φ23以上的有效发光区域的投影装置153。由此，从目镜视场外进入到了视场内的视场周边部的精子的数据也被包含在投影图像数据中。因此，能够从包括目镜视场周边部的视场内的全部精子中无遗漏地识别出良好精子。此外，在该情况下，摄像装置143的有效像素区域当然也需要满足在目镜部中为φ23以上的尺寸。

中间变倍单元160被配置于物镜102与成像透镜103之间。如图2所示，中间变倍单元160包括多个透镜(透镜161、透镜162、透镜163)，通过在它们之间切换要配置在光路上的透镜，来变更在像面形成的光学图像的倍率。通过使用中间变倍单元160，无需切换位于试样附近的物镜102就能够变更光学图像的倍率。

DIC棱镜105和检偏器106被配置于物镜102与成像透镜103之间。DIC棱镜105在DIC观察中使用。检偏器106在PO观察和DIC观察中使用。

在倒置显微镜100中，在进行MC观察时，在照明光路上配置起偏器123和光学元件127来作为对向试样照射的照明光进行调制的第一调制元件，在观察光路上配置调制器104来作为对透射光进行调制的第二调制元件。另外，在进行PO观察时，在照明光路上配置起偏器123来作为第一调制元件，在观察光路上配置检偏器106来作为第二调制元件。另外，在进行DIC观察时，在照明光路上配置起偏器123和DIC棱镜125来作为第一调制元件，在观察光路上配置检偏器106和DIC棱镜105来作为第二调制元件。由此，能够将无染色的试样进行可视化。

显微镜控制器10是对倒置显微镜100进行控制的装置。显微镜控制器10与处理装置20、输入装置50以及倒置显微镜100连接，响应于来自处理装置20或者输入装置50的命令来控制倒置显微镜100。

显示装置30例如是液晶显示器、有机EL(OLED)显示器、CRT(Cathode Ray Tube：阴极射线管)显示器等。

输入装置40包括手柄41和手柄42。通过对手柄41和手柄42进行操作，来对用于使移液器43和移液器44移动的未图示的显微操作仪的动作进行控制。移液器43和移液器44在显微授精的作业中用于对试样进行操作。移液器43例如是固定移液器，移液器44例如是注射移液器。

输入装置50是用于变更倒置显微镜100的设定的手动开关装置。如图3所示，输入装置50例如具有6个按钮(按钮51～按钮56)，利用者仅通过按下这些按钮就能够迅速地切换倒置显微镜100的设定。

利用者按下按钮51，由此倒置显微镜100的设定切换为观察倍率为4倍的BF观察(以后记载为BF4×观察。)的设定。利用者按下按钮52，由此倒置显微镜100的设定切换为观察倍率为10倍的MC观察(以后记载为MC10×观察。)的设定。利用者按下按钮53，由此倒置显微镜100的设定切换为观察倍率为20倍的MC观察(以后记载为MC20×观察。)的设定。利用者按下按钮54，由此倒置显微镜100的设定切换为观察倍率为40倍的MC观察(以后记载为MC40×观察。)的设定。利用者按下按钮55，由此倒置显微镜100的设定切换为观察倍率为20倍的PO观察(以后记载为PO20×观察。)的设定。利用者按下按钮56，由此倒置显微镜100的设定切换为观察倍率为60倍的DIC观察(以后记载为DIC60×观察。)的设定。

输入装置60是键盘。输入装置70是鼠标。输入装置60及输入装置70分别与处理装置20连接。

识别装置80是获取被附加于试样的识别信息的装置。此外，被附加于试样例如包含识别信息被粘贴于容纳试样的容器的情况。识别信息是用于识别试样的信息，更具体地说，是用于确定提供了试样的患者的信息。识别装置80例如是条形码读取器、RFID(注册商标)读取器、QR码(注册商标)读取器等。

处理装置20是对显微镜系统1整体进行控制的装置。如图1所示，处理装置20与倒置显微镜100、显微镜控制器10、显示装置30、输入装置60、输入装置70以及识别装置80连接。另外，处理装置20还与数据库服务器2连接。

处理装置20至少基于由摄像单元140获取到的数字图像数据来生成与投影图像对应的投影图像数据。投影图像包含有用于辅助显微授精的辅助图像。而且，处理装置20向投影装置153输出投影图像数据，由此对投影装置153进行控制。作为主要与对投影装置153的控制相关联的构成要素，如图4所示，处理装置20具备摄像机控制部21、解析部22、投影图像生成部23以及投影控制部24。

摄像机控制部21通过控制摄像单元140来获取试样的数字图像数据。摄像机控制部21获取到的数字图像数据被输出到解析部22。

解析部22至少对摄像机控制部21获取到的数字图像数据进行解析，并将解析结果输出到投影图像生成部23。投影图像生成部23基于由解析部22生成的解析结果，来生成与包含用于辅助显微授精的辅助图像的投影图像对应的投影图像数据，并将该投影图像数据输出到投影控制部24。

更具体地说，例如，若是利用者使用显微镜系统1来实施ICSI的情况，则解析部22例如可以至少基于数字图像数据来生成从试样所包含的生殖细胞中确定出适于受精的生殖细胞即候选细胞的解析结果。在该情况下，投影图像生成部23可以生成与包含用于确定候选细胞的图像(第一辅助图像)来作为辅助图像的投影图像对应的投影图像数据。

投影控制部24通过对投影装置153进行控制，来控制投影图像向像面的投射。更具体地说，投影控制部24向投影装置153输出投影图像数据，由此，投影装置153基于从投影控制部24获取到的投影图像数据，来将投影图像投射于像面。

如以上那样构成的显微镜系统1能够将包含用于辅助显微授精的辅助图像的投影图像叠加于光学图像。因此，利用者能够在观察试样的同时获得显微授精所需的信息。因而，根据显微镜系统1，能够辅助利用者进行的显微授精。由此，能够抑制进行显微授精的胚胎培养者之间的受精成功率的偏差，还能够期待受精成功率的提高。

并且，在显微镜系统1中，投影图像以叠加于光学图像的方式被投射于目镜101与成像透镜103之间的像面。因此，利用者能够在通过目镜101进行观察的同时获得用于辅助显微授精的各种信息，与在监视器等中显示辅助图像的情况相比，能够避免视线往返于监视器与目镜101之间等视线的移动。因而，根据显微镜系统1，利用者无需眼睛离开目镜101且仅通过使用光学图像来观察试样，就能够利用投影图像获得显微授精所需的信息。由此，显微镜系统1能够不改变利用者的作业流程而利用辅助图像来辅助显微授精的作业，从而能够减轻利用者在显微授精中的作业负担。另外，利用者的作业时间被缩短，其结果，试样在显微镜下被暴露于外部空气的时间也被缩短，因此能够减轻试样受到的损害。

此外，显微镜系统1中包括的处理装置20可以既是通用装置，也可以是专用装置。处理装置20并未特别限定于该结构，例如，也可以具有如图5所示的物理结构。具体地说，处理装置20也可以具备处理器20a、存储器20b、辅助存储装置20c、输入输出接口20d、介质驱动装置20e、通信控制装置20f，它们可以通过总线20g来相互连接。

处理器20a例如是包括CPU(Central Processing Unit：中央处理单元)的任意的处理电路。处理器20a可以执行存储器20b、辅助存储装置20c、存储介质20h中保存的程序来进行被编程的处理，由此实现与上述的对投影装置153的控制相关联的构成要素(摄像机控制部21、解析部22、投影图像生成部23、投影控制部24)。另外，处理器20a既可以使用ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)等专用处理器来成，也可以使用GPU(Graphics Processing Unit：图形处理单元)构成。

存储器20b是处理器20a的工作存储器。存储器20b例如是RAM(Random AccessMemory：随机存取存储器)等任意的半导体存储器。辅助存储装置20c是EPROM(ErasableProgrammable ROM：可擦可编程只读存储器)、硬盘驱动器(Hard Disc Drive)、固态驱动器(Solid State Drive)等非易失性存储器。输入输出接口20d与外部装置(倒置显微镜100、显微镜控制器10、显示装置30、输入装置60、输入装置70、识别装置80)之间交换信息。

介质驱动装置20e能够将存储器20b和辅助存储装置20c中保存的数据输出到存储介质20h，并且能够从存储介质20h读出程序和数据等。存储介质20h为能够移动的任意的记录介质。存储介质20h例如包括SD卡、USB(Universal Serial Bus：通用串行总线)闪存、CD(Compact Disc：光盘)、DVD(Digital Versatile Disc：数字多功能光盘)等。

通信控制装置20f针对网络进行信息的输入输出。作为通信控制装置20f，例如能够采用NIC(Network Interface Card：网络适配器)、Wi-Fi(注册商标)模块、Bluetooth(注册商标)模块、BLE模块等。总线20g将处理器20a、存储器20b、辅助存储装置20c等以相互能够进行数据的收发的方式进行连接。

图6是示出ICSI的过程的一例的流程图。图7是例示作为试样200在培养皿210内形成的液滴的结构的图。图8是示出精子挑选过程的一例的流程图。图9是显微镜系统1进行的图像投影处理的流程图。图10是用于说明解析部22进行的图像处理方法的图。图11是示出从目镜101观察到的图像的一例的图。下面，参照图6至图11来具体地说明利用者使用显微镜系统1进行的ICSI的过程。

首先，利用者准备试样(步骤S1)。在此，如图7所示，利用者例如在培养皿210内制作包含多个液滴(日文：ドロップ)的试样200，并将该试样200配置在载置台111上。

液滴201是清洗用的液滴，被用于清洗移液器。液滴202是精子悬浮液滴，例如是将精子悬浊液滴到PVP溶液中而成的。液滴203是卵子操作用液滴，例如是将卵子放入到m-HTF溶液中而成的。此外，m-HTF溶液是添加有10％血清的含有Hepps的HTF溶液。这些液滴被矿物油包覆。

接着，利用者对显微镜系统1进行设置(步骤S2)。在此，利用者例如按下输入装置50的按钮51，将显微镜系统1的设定切换为BF4×观察。之后，对输入装置40进行操作来调整移液器43和移液器44的位置，从而聚焦于移液器43和移液器44。并且，移动载置台111，来用液滴201(清洗用液滴)清洗移液器43和移液器44。

在设置完成时，利用者确认液滴203(卵子操作用液滴)内的卵子(卵细胞)的生长状态(步骤S3)。在此，利用者例如按下输入装置50的按钮53，将显微镜系统1的设定切换为MC20×观察。在MC20×观察下，观察卵子的形态来挑选卵子。并且，例如也可以为按下输入装置50的按钮55，将显微镜系统1的设定切换为PO20×观察。可以为，在PO20×观察下，通过观察卵子的纺锤体，来判定卵子的成熟度，进而挑选卵子。

当卵子的挑选结束时，利用者通过图8所示的过程来进行精子的挑选(步骤S4)。首先，利用者例如按下输入装置50的按钮53，将显微镜系统1的设定切换为MC20×观察。然后，移动载置台111，来将观察位置移动到液滴202(精子悬浮液滴)处，在MC20×观察下聚焦于精子(步骤S11)。

接着，利用者在MC20×观察下挑选精子，选出适于受精的良好精子(步骤S12)。是否为良好精子的判断基准一般根据精子的形态和活力来判断，但是不存在明确的基准。因此，根据显微镜系统1的利用者即胚胎培养者的经验和直觉来选择的情况较多，根据胚胎培养者的不同而判断也不同。这是因为根据胚胎培养者的不同而受精成功率产生差异。因此，显微镜系统1将受精成功率高的熟练的胚胎培养者会选择的精子估计为是适于受精的良好精子，将该估计出的精子作为候选细胞(候选精子)通知给显微镜系统1的利用者。

具体地说，在步骤S12中，显微镜系统1通过进行图9所示的图像投影处理来通知候选细胞。首先，显微镜系统1将试样的光学图像O1投影于像面(步骤S21)。同时，在显微镜系统1中，摄像单元140获取试样的数字图像数据(步骤S22)。

由摄像单元140获取到的数字图像数据被输出到处理装置20，处理装置20的解析部22基于数字图像数据来生成确定出候选细胞(候选精子)的解析结果(步骤S23)。用于确定候选细胞的解析算法并未特别限定，但期望是对受精成功率高的熟练的胚胎培养者的选择进行再现的算法。更具体地说，期望解析部22至少基于作为生殖细胞的精子的形态和精子的活力来对精子进行解析，并基于此来再现受精成功率高的熟练的胚胎培养者的选择。另外，在解析中使用的数字图像数据既可以是静止图像数据，也可以是运动图像数据。但是，由于难以基于静止图像数据来对精子的活力进行解析，因此解析部22可以如图10所示那样一次生成对静止图像M1的静止图像数据进行加工来将表示活力的图像(箭头的图像)进行合成而得到的静止图像M2的静止图像数据。表示活力的图像例如是表示从向前回溯了预先决定的时间的时刻到当前时刻的期间内的精子的移动轨迹的图像，可以基于在对应的期间内获取到的多个图像数据来生成。而且，可以基于将表示活力的图像进行合成而得到的静止图像M2的静止图像数据，对精子的形态和活力进行解析，来生成确定出候选精子的解析结果。

此外，在解析部22中可以采用通过规则库来再现熟练的胚胎培养者的选择的算法。另外，可以通过机器学习来学习熟练的胚胎培养者的选择，从而构建用于估计良好精子的算法(模型)，在解析部22中可以采用该学习完成的模型。此外，机器学习既可以是在由人预先提供估计所需的特征后进行学习的以往的机器学习，也可以是机械自行提取特征的深度学习。

当生成了解析结果时，处理装置20的投影图像生成部23基于解析结果，来生成与包含用于确定候选细胞的辅助图像A1的投影图像P1对应的投影图像数据(步骤S24)，并将该投影图像数据输出到投影装置153。然后，投影装置153基于投影图像数据，将投影图像P1投射于像面(步骤S25)。

由此，例如，如图11所示的在光学图像O1上叠加包含辅助图像A1的投影图像P1而得到的图像V1被形成于像面。图11所示的辅助图像A1是包围候选细胞的图像的图像。投影图像P1在被投影于像面时不与候选细胞的图像重叠的位置包含辅助图像A1。由此，显微镜系统1能够不妨碍候选细胞的观察地向利用者通知候选细胞。

通过将在光学图像O1上叠加有投影图像P1的图像V1形成于像面，由此在步骤S12中，利用者能够一边关注由辅助图像A1确定的候选细胞(候选精子)一边挑选精子，从而能够选出良好精子。因此，精子挑选作业变得容易，挑选作业的负担被大幅减轻。

当良好精子被选出时，利用者在RC20×观察下破坏良好精子的尾部来将良好精子固定(步骤S13)。在此，利用者通过移液器将良好精子的尾部在培养皿210的底面摩擦来将良好精子固定。

之后，利用者更详细地观察固定的良好精子的形态，来进一步挑选良好精子(步骤S14)。在此，利用者例如按下输入装置50的按钮54，将显微镜系统1的设定切换为MC40×观察。之后，利用者在MC40×观察下选出良好精子。此外，显微镜系统1也可以在步骤S14中也与步骤S12同样地估计受精成功率高的熟练的胚胎培养者会选择的良好精子，将该估计出的良好精子作为候选细胞(候选精子)通知给显微镜系统1的利用者。但是，在步骤S14中，由于精子固定，因此与步骤S12的不同之处在于，解析部22至少基于精子的形态来对精子进行解析。

当MC40×观察下的良好精子的挑选完成时，利用者再详细地观察良好精子的头部，根据头部中存在的空包的大小来进一步挑选良好精子(步骤S15)。在此，利用者例如按下输入装置50的按钮56，将显微镜系统1的设定切换为DIC60×观察。之后，利用者在DIC60×观察下选出空包小的良好精子。此外，步骤S15也可以在MC40×观察下进行。在该情况下，利用者将在头部产生的亮点作为空包进行识别来选出良好精子。

之后，利用者将选择出的良好精子取入到注射移液器即移液器44中，并将观察位置移动到液滴203(卵子操作用液滴)处(步骤S16)，从而结束图8所示的精子挑选的一系列的过程。

当精子挑选完成时，利用者确认纺锤体的位置以准备注入良好精子(步骤S5)。在此，利用者观察液滴203内存在的通过步骤S3选择出的卵子，来确认该卵子的纺锤体的位置。具体地说，利用者例如按下输入装置50的按钮55，来将显微镜系统1的设定切换为PO20×观察。之后，利用者通过操作固定移液器即移液器43来改变纺锤体的朝向，使得在PO20×观察下被可视化的卵子的纺锤体位于12点方向或者6点方向。这是为了避免在后述的步骤S6中纺锤体被从3点方向或者9点方向刺入卵子的移液器损伤。

最后，利用者将精子注入到卵子中(步骤S6)，并结束ICSI。在此，利用者例如按下输入装置50的按钮53，将显微镜系统1的设定切换为MC20×观察。之后，利用者在MC20×观察下，通过固定移液器即移液器43将在步骤S5中调整了朝向的卵子固定，并将注射移液器即移液器44刺入。之后，从移液器44将良好精子注入到卵子内部。

当图6所示的ICSI的一系列的过程结束时，利用者将被注入了精子的卵子返回到孵化器中进行培养。另外，利用者也可以使用输入装置60和输入装置70对处理装置20进行操作，来将通过ICSI获得的信息保存到数据库服务器2。例如，可以将精子及卵子的患者信息(母体的临床数据、含有精子的精液的检查结果等)、精子及卵子的培养液的数据(例如种类、浓度、PH等)与被注入了精子的卵子的图像数据、选出的良好精子的图像数据、ICSI的作业时间等相关联地保存到数据库服务器2。这些信息可以在通过图8的步骤S12、步骤S14中使用的解析部22进行的解析中使用。即，处理装置20也可以除了数字图像数据以外，还基于数据库服务器2中保存的其它数据来生成与包含辅助图像的投影图像对应的投影图像数据。像这样，不限于图像数据，而是将各种信息进行综合来估计良好精子，由此能够期待实现更高的受精成功率。

如以上那样，在显微镜系统1中，在ICSI中，包含用于确定候选精子的辅助图像的投影图像被投射于像面。精子的大小是60μm左右，为了辨别良好精子而使用最低也要为20倍的物镜。一般来说，倒置显微镜的视场数为22左右，实际视场为φ1mm左右。在该实际视场φ1mm的区域内对自由地到处活动的精子进行挑选的作业是非常困难的作业。一般来说，由于被估计为良好精子的精子的活力高以及需要在短时间内进行ICSI作业，因此在精子挑选作业中，必须迅速地观察比较快地移动的精子的形态并判定是否良好。在这样的受到严格限制的作业环境中，将用于确定被估计为良好精子的候选精子的辅助图像叠加于光学图像有助于大幅地减轻精子挑选作业的负担。另外，通过在用于确定候选精子的解析中有效利用熟练的胚胎培养者的知识并以解析算法的方式纳入，从而能够同时达成受精成功率的提高以及胚胎培养者之间的受精成功率的偏差的抑制。因此，根据显微镜系统1，能够有效地辅助利用者进行的精子挑选。

图12到图15是示出从目镜101观察到的图像的其它例子的图。显微镜系统1在步骤S12中可以代替图11所示的投影图像P1而将图12到图15所示的投影图像P2至投影图像P5叠加于光学图像O1。

图12所示的图像V2是在光学图像O1上叠加有投影图像P2的图像。在图11中示出了投影图像P1包含具有包围候选精子的图像的形状的辅助图像A1的例子，但是投影图像也可以包含其它图像。投影图像P2除了包含用于确定候选精子的辅助图像A1之外，还包含表示候选精子的移动轨迹的辅助图像A2。辅助图像A2通过移动轨迹来表示候选精子的活力。通过将图12所示的投影图像P2投射于像面，利用者进行的精子挑选变得更加容易。此外，与辅助图像A1同样地，期望辅助图像A2也被包含在投影图像P2中的不与候选精子的图像重叠的位置，以避免妨碍对候选精子的观察。

图13所示的图像V3是在光学图像O1上叠加有投影图像P3的图像。在图11中示出了通过一种图像(辅助图像A1)来确定候选精子的例子，但是也可以通过多种图像来确定候选精子。投影图像P3包含有用于确定候选精子的2种图像(辅助图像A1和辅助图像A3)。辅助图像A3是用于确定与辅助图像A1相比推荐程度较低的候选精子的图像，辅助图像A3的颜色(例如浅蓝色)与辅助图像A1的颜色(例如蓝色)不同。即，辅助图像A1、辅助图像A3各自具有与该辅助图像所确定的候选精子的推荐程度相应的颜色。通过将图13所示的投影图像P3投射于像面，利用者能够掌握应优先关注的候选精子，因此能够更容易地进行精子挑选作业。另外，精子的推荐程度既可以是绝对的也可以是相对的。实际上，也可能一些患者只有整体上没有活力的精子，在这种情况下，会从有限的选项中选择比较有活力的精子。在该情况下，即使推荐程度是绝对的，但如果是设定为投射表示多种推荐程度的多个图像的情况，则至少会投射表示比较低的推荐程度的图像。就上述的例子而言，即使没有蓝色的辅助图像A1要投射，也会只投射浅蓝色的辅助图像A3。因而，能够大幅地降低完全不投射辅助图像的可能性。此外，只要投射表示不同的推荐程度的多种图像即可，也可以投射表示不同的推荐程度的3种以上的图像。另外，并不限于投射表示推荐程度高的图像，也可以投射表示推荐程度特别低的图像。

图14所示的图像V4是在光学图像O1上叠加有投影图像P4的图像。在图13中例示了具有与候选精子的推荐程度相应的颜色的辅助图像，但是辅助图像具有根据该辅助图像所确定的候选精子的推荐程度而不同的形式即可。投影图像P4包含有用于确定候选精子的4种图像(辅助图像A1、辅助图像A4、辅助图像A5以及辅助图像A6)。这些辅助图像的线的种类或者形状互不相同，根据线的种类或者形状的不同来表示候选精子的推荐程度。通过将图14所示的投影图像P4投射于像面，与投射图13所示的投影图像P3的情况同样地，利用者能够掌握应优先关注的候选精子，因此能够更容易地进行精子挑选作业。

图15所示的图像V5是在光学图像O1上叠加有投影图像P5的图像。在图11中示出了投影图像P1包含具有包围候选精子的图像的形状的辅助图像A1的例子，但是投影图像只要包含有用于确定候选精子的图像即可。图15所示的投影图像P5包含有具有指向候选精子的图像的形状的辅助图像A7。通过将投影图像P5投射于像面，与投射图11所示的投影图像P1的情况同样地，利用者能够容易地掌握候选精子，因此能够大幅地减轻精子挑选作业的负担。

图16是示出神经网络的结构的图。图17是示出学习过程的一例的流程图。图18是用于说明教师图像的标注方法的图。如上所述，在解析部22中，可以通过机器学习而采用学习完成的模型，例如可以通过深度学习等而采用学习完成的神经网络。即，解析部22可以使用学习完成的神经网络来至少对数字图像数据进行解析。下面，参照图16至图18来说明为了识别良好精子而使图16所示的神经网络NN进行学习的过程。

首先，显微镜系统1以运动图像或静止图像的方式记录在MC20×观察下进行的精子的挑选作业(步骤S31)。在此，在精子的挑选作业中，摄像单元140获取图像数据，处理装置20保存图像数据。

接着，显微镜系统1从所记录的图像中剪切出精子部分的图像并将该图像排列显示(步骤S32)。在此，处理装置20读出步骤S31中所保存的运动图像数据或静止图像数据，从运动图像或静止图像中剪切出精子部分的图像来作为教师图像，并将教师图像在显示装置30中排列显示。由受精成功率高的熟练的胚胎培养者对被排列显示的教师图像进行评价。

如图18所示，当由胚胎培养者对教师图像进行了评价时，显微镜系统1基于熟练的胚胎培养者的评价来对教师图像进行标注(步骤S33)。在此，将熟练胚胎培养者的评价结果(标签)与教师图像相关联地进行保存。以后将教师图像与标签组合所得到的数据记载为教师数据。

此外，在图18的例子中，在窗口W1上的按钮B1被选择的状态下点击的教师图像(T1、T10、T14、···)与A级的标签相关联地进行保存。另外，在按钮B2被选择的状态下点击的教师图像(T2、T3、T6、T8、T9、T11、T15···)与B级的标签相关联地进行保存。另外，在按钮B3被选择的状态下点击的教师图像(T4、T5、T13、T16···)与C级的标签相关联地进行保存。另外，在按钮B4被选择的状态下点击的教师图像(T7、T12···)与D级的标签相关联地进行保存。此外，A级、B级、C级、D级表示推荐程度按该顺序而降低。

当通过步骤S33制作出教师数据时，显微镜系统1使用制作出的大量的教师数据来使神经网络进行学习(步骤S34)。

之后，显微镜系统1对于MC40×观察下的挑选作业也进行与步骤S31至步骤S33同样的处理来使神经网络进行学习(步骤S35)。由此，显微镜系统1得到学习完成的神经网络。即，显微镜系统1的学习完成的神经网络是将与标注有是否适于受精的精子的图像对应的图像数据用作教师数据进行学习而得到的神经网络。

最后，显微镜系统1对学习完成的神经网络进行验证(步骤S36)。在此，显微镜系统1例如验证神经网络针对与学习阶段不同的精子是否适当地识别出良好精子。当验证结果确认为能够适当地识别出时，在解析部22中采用在步骤S35中得到的学习完成的神经网络。

如以上那样，通过图17所示的过程生成教师数据并使神经网络进行学习，从而能够容易地构建有效利用了熟练的胚胎培养者的知识的用于精子挑选的解析算法。因此，例如，可以为，以医院为单位来使神经网络进行学习、或者以医院为单位来使神经网络追加学习，从而在各医院中解析部22采用不同的模型。由此，能够容易地应对遵循各医院的方针的良好精子的选择。

此外，在图17中，示出了使用显微镜系统1进行教师数据的生成和神经网络的学习的例子，但是教师数据的生成和神经网络的学习可以在与显微镜系统1不同的系统中进行，也可以在显微镜系统1中应用在其它系统中构建得到的学习完成的神经网络。

图19是用于说明教师数据的制作方法的图。在图18中示出了显微镜系统1根据胚胎培养者对显示于显示装置30的教师图像进行评价来进行标注的例子，但是也可以是胚胎培养者对使用目镜101观察的图像进行标注。

例如，在熟练的胚胎培养者在MC20×观察下使用目镜101来观察精子时，处理装置20生成与指针图像PP对应的指针图像数据，投影装置153如图19所示那样基于指针图像数据来将指针图像PP投射于像面，该指针图像PP用于指示与胚胎培养者进行的鼠标移动操作(第一输入操作)相应的位置。图19所示的图像V6是在光学图像O1上叠加有投影图像P6的图像。投影图像P6包含有用于指示与鼠标移动操作相应的位置的指针图像PP。

之后，当检测到胚胎培养者进行的鼠标点击操作(第二输入操作)时，处理装置20基于检测到该鼠标点击操作时的指针图像PP的位置，来确定胚胎培养者所选择的精子。然后，将所确定的精子的图像T1记录为教师图像。此外，此时，也可以根据第二输入操作的内容来对图像T1进行标注。例如，可以为，如果鼠标点击操作为左点击则标注A级，如果为左双击则标注B级，如果为右点击则标注C级等。由此，能够同时进行教师图像的获取和标注，从而生成教师数据。

显示装置30中显示的图像的图像质量与使用目镜101观察的图像的图像质量相比较差，因此难以根据显示装置30中显示的图像来辨别精子的微小的个体差异。对于此，如图19所示，通过在胚胎培养者使用目镜101观察精子的同时生成教师数据，由此能够在与ICSI作业时相同的环境下，识别精子的微小的个体差异来挑选精子并制作教师数据。因此，能够将具有高受精成功率的熟练的胚胎培养者的知识更正确地数据化为教师数据。

图20和图21是示出从目镜101观察到的图像的又一其它例子的图。以上示出了投影图像包含用于确定候选精子的辅助图像的例子，但是投影图像也可以除了包含用于确定候选精子的辅助图像之外，还包含用于辅助显微授精的其它辅助图像。

图20所示的图像V7是在光学图像O1上叠加有投影图像P7的图像。投影图像P7除了包含用于确定候选精子的辅助图像A1之外，还包含表示患者的信息的辅助图像A9(第七辅助图像的一例)。在显微镜系统1中，识别装置80获取附加于试样的识别信息。处理装置20基于由识别装置80获取到的识别信息来获取提供了试样的患者的信息。具体地说，处理装置20例如通过从数据库服务器2提取与识别信息对应的患者的信息，来获取提供了试样的患者的信息。此外，在患者的信息中例如包含有患者的姓名、ID等。并且，处理装置20至少基于摄像单元140所获取到的数字图像数据和患者的信息，来生成与包含辅助图像A1及辅助图像A9的投影图像P7对应的投影图像数据。最后，通过投影装置153基于投影图像数据将投影图像P7投射于像面，来在像面形成图像V7。如图20所示，通过将表示患者的信息的辅助图像A9投射于像面，利用者能够不断地确认作为精子提供者的患者的同时进行ICSI。

图21所示的图像V8是在光学图像O1上叠加有投影图像P8的图像。投影图像P8除了包含用于确定候选精子的辅助图像A1之外，还包含表示从处理装置20探测到规定的操作起的经过时间的辅助图像A10(第八辅助图像的一例)。规定的操作例如是将试样放置在载置台111上的操作。在显微镜系统1中，处理装置20获取从试样被放置于载置台111起的经过时间。并且，处理装置20至少基于摄像单元140所获取到的数字图像数据和经过时间，来生成与包含辅助图像A1及辅助图像A10的投影图像P8对应的投影图像数据。最后，通过投影装置153基于投影图像数据将投影图像P8投射于像面，来在像面形成图像V8。如图21所示，通过将表示经过时间的辅助图像A10投射于像面，利用者能够一边确认经过时间一边进行ICSI。

[第二实施方式]

图22是示出精子挑选过程的其它例子的流程图。图23是示出从目镜101观察到的图像的又一其它例子的图。本实施方式所涉及的显微镜系统的结构与显微镜系统1的结构相同，因此关于本实施方式所涉及的显微镜系统的构成要素，使用与显微镜系统1的构成要素相同的标记来进行参照。

在本实施方式中，与第一实施方式的不同之处在于，代替图8所示的过程而通过图22所示的过程来进行ICSI中的精子挑选作业。具体地说，首先，利用者例如按下输入装置50的按钮52，来将显微镜系统的设定切换为MC10×观察。然后，移动载置台111来将观察位置移动到液滴202(精子悬浮液滴)处，在MC10×观察下聚焦于液滴202(步骤S41)。

接着，利用者在MC10×观察下观察液滴202，移动载置台111来将观察位置移动到预测存在良好精子的区域(步骤S42)。在此，显微镜系统估计预测存在良好精子的区域，并将估计出的该区域作为候选区域通知给利用者，由此对利用者的作业进行辅助。

图23所示的图像V9是MC10×观察下的光学图像O2。如图像V9所示，在MC10×观察下，无法确认液滴202内的精子的详细的形态，但是能够确认精子的存在。因此，在步骤S42中，首先，解析部22基于数字图像数据将试样分割为多个区域，将精子的移动量比其它区域内的精子的移动量大的区域视为候选区域，生成确定出候选区域的解析结果(第二解析结果)。然后，投影图像生成部23基于解析部22所生成的解析结果，来生成与包含用于确定候选区域的辅助图像(第二辅助图像)的投影图像对应的投影图像数据。最后，通过投影装置153基于投影图像数据将投影图像投射于像面，来向利用者通知候选区域。图23所示的图像V10是在光学图像O2上叠加有投影图像P10的图像。投影图像P10包含有用于确定候选区域的辅助图像A11。另外，投影图像P10还包含有用于确定精子的移动量小的区域的辅助图像A12。

通过将在光学图像O2上叠加有投影图像P10的图像V10形成于像面，由此在步骤S42中，利用者能够参考辅助图像A11来确定预测存在良好精子的区域，并将观察位置移动到所确定的区域。因此，能够避免将观察位置移动到不存在良好精子的区域而浪费时间。

之后，利用者通过步骤S43至步骤S47的过程进行作业，由此能够进行精子的挑选。此外，步骤S43至步骤S47的过程与图8所示的步骤S12至步骤S16的过程相同。

如以上那样，根据本实施方式所涉及的通过图22所示的过程进行精子挑选的显微镜系统，也能够通过用于确定被估计为良好精子的候选精子的辅助图像叠加于光学图像来减轻精子挑选作业的负担，从而能够与显微镜系统1同样地辅助显微授精。并且，根据本实施方式所涉及的显微镜系统，能够避免将观察位置移动到不存在良好精子的区域。因此，能够避免寻找良好精子而重复进行载置台111的移动这样的情况。

此外，在本实施方式中，示出了在MC10×观察下投射用于确定候选区域的辅助图像、在MC20×观察下投射用于确定候选精子的辅助图像的例子，但是这些倍率只是一例。只要是在小于规定倍率时投射用于确定候选区域的辅助图像并在规定倍率以上时投射用于确定候选图像的辅助图像即可。

例如，可以为，在换镜旋座112将通过与成像透镜103组合而具有规定倍率以上的倍率的物镜配置在光路上时，解析部22生成确定出候选细胞的解析结果，投影图像生成部23基于解析结果，生成与包含用于确定候选细胞的辅助图像的投影图像对应的投影图像数据。并且，也可以为，在换镜旋座112将通过与成像透镜103组合而具有小于规定倍率的倍率的物镜配置在光路上时，解析部22生成确定出候选区域的解析结果，投影图像生成部23基于解析结果，生成与包含用于确定候选区域的辅助图像的投影图像对应的所述投影图像数据。

[第三实施方式]

图24是示出从目镜101观察到的图像的又一其它例子的图。本实施方式所涉及的显微镜系统的结构与显微镜系统1的结构相同，因此关于本实施方式所涉及的显微镜系统的构成要素，使用与显微镜系统1的构成要素相同的标记来进行参照。

在显微镜系统1中，示出了使用显微镜系统进行ICSI的例子，但是本实施方式所涉及的显微镜系统被使用于TESE(精巢内精子提取手术)，这一点与第一实施方式所涉及的显微镜系统1不同。

图24所示的图像V11是在光学图像O3上叠加有投影图像P11的图像。光学图像O3是通过切开阴囊而提取出的精巢内的精小管的图像。在光学图像O3中包括有包含红血球、白血球的各种组织的图像。投影图像P11包含有用于确定作为生殖细胞的精子的辅助图像(第四辅助图像)。

在本实施方式所涉及的显微镜系统中，解析部22至少基于数字图像数据来生成确定出试样中包含的精子的解析结果。另外，投影图像生成部23基于由解析部22生成的解析结果，生成包含用于确定精子的辅助图像来作为辅助图像的投影图像数据。然后，投影装置153基于投影图像数据，将投影图像投射于像面。由此，如图24所示，在光学图像O3上叠加包含辅助图像A13的投影图像P11。

因而，根据本实施方式所涉及的显微镜系统，能够容易地在TESE中确认与各种组织混合存在的精子。因而，能够大幅地减轻精子搜索作业的负担，从而能够与显微镜系统1同样地辅助显微授精。

[第四实施方式]

图25是示出着床前诊断的过程的一例的流程图。图26是示出从目镜101观察到的图像的又一其它例子的图。本实施方式所涉及的显微镜系统的结构与显微镜系统1的结构相同，因此关于本实施方式所涉及的显微镜系统的构成要素，使用与显微镜系统1的构成要素相同的标记来进行参照。

在显微镜系统1中，示出了使用显微镜系统进行ICSI的例子，但是本实施方式所涉及的显微镜系统被用于帮助从受精卵发育而成的胚胎(囊胚)着床的激光辅助孵化以及提取用于着床前诊断的滋养外细胞，这一点与第一实施方式所涉及的显微镜系统1不同。此外，在本例中，试样包括有从受精卵发育而成的胚胎和包围胚胎的透明带。

具体地说，首先，利用者例如按下输入装置50的按钮53或者按钮54，来将显微镜系统的设定切换为MC20×观察或者MC40×观察。然后，移动载置台111来聚焦于包围胚胎的透明带(步骤S51)。

接着，利用者观察透明带，来决定激光辅助孵化单元130的激光照射位置(步骤S52)。在存在透明带厚或者硬等质量异常的情况下，胚胎无法突破透明带来着床于子宫内膜。激光辅助孵化为了避免这种情况而将透明带去除来辅助着床。在步骤S52中，为了不损伤胚胎地去除透明带，需要适当地决定激光的照射位置。

因此，在步骤S52中，显微镜系统通过图像解析来计算适当的照射位置并通知给利用者。具体地说，解析部22至少基于由摄像单元140获取到的数字图像数据，来生成确定出透明带中的适合照射激光的候选部位的解析结果。然后，投影图像生成部23基于由解析部22生成的解析结果，生成与包含用于确定候选部位的辅助图像(第五辅助图像)来作为用于生成投影图像数据的辅助图像的投影图像对应的投影图像数据。并且，投影装置153基于由投影图像生成部23生成的投影图像数据来将投影图像投射于像面，并叠加在试样的光学图像上。图26所示的图像V12是在光学图像O4上叠加有投影图像P12的图像。光学图像O4包括胚胎(内细胞团O41、囊胚腔O42、滋养外胚层O43)的图像以及包围胚胎的透明带O44的图像。投影图像P12包含有用于确定适合照射激光的候选部位的辅助图像A14。

通过将在光学图像O4上叠加有投影图像P12的图像V12形成于像面，由此在步骤S52中，利用者能够参考辅助图像A14的位置来决定激光照射位置，并设定给激光辅助孵化单元130。因此，能够容易地设定适当的激光照射位置。

当决定了激光照射位置时，利用者使用激光辅助孵化单元130，向透明带的在步骤S52中决定出的位置照射激光来将透明带开孔(步骤S53)。图26所示的图像V13是照射激光后的试样的光学图像O5，示出了通过照射激光而在透明带O44形成有开孔部AP的情形。

之后，利用者观察胚胎，来确认滋养外胚层的位置(步骤S54)。在此，显微镜系统通过图像解析来确定滋养外胚层O43的位置并通知给利用者。具体地说，解析部22至少基于由摄像单元140获取到的数字图像数据，来生成确定出胚胎中的滋养外胚层O43的解析结果。然后，投影图像生成部23基于由解析部22生成的解析结果，生成与包含用于确定滋养外胚层的辅助图像(第六辅助图像)来作为辅助图像的投影图像对应的投影图像数据。并且，投影装置153基于由投影图像生成部23生成的投影图像数据来将投影图像投射于像面并叠加在试样的光学图像上。图26所示的图像V14是在光学图像O5上叠加有投影图像P14的图像。投影图像P15包含有用于确定滋养外胚层O43的辅助图像A15。

通过将在光学图像O5上叠加有投影图像P14的图像V14形成于像面，由此在步骤S54中，利用者能够通过辅助图像A15来容易地确认滋养外胚层的位置。

之后，利用者将移液器插入到开孔部AP来提取滋养外胚层O43(步骤S55)。在此，对所插入的移液器施加负压，来吸引在步骤S54中确认了位置的滋养外胚层O43。

滋养外胚层具有高粘着性，因此在将移液器从开孔部AP拔出之后，滋养外胚层自胚胎渗出。因此，利用者再次使用激光辅助孵化单元130向移液器与胚胎之间照射激光，来切割渗出的滋养外胚层(步骤S56)。

之后，利用者对提取到移液器内的滋养外胚层进行检查(步骤S57)。在此，使用提取到的滋养外胚层的数个细胞来进行着床前诊断。

如以上那样，根据本实施方式所涉及的通过图25所示的过程来进行激光辅助孵化和滋养外胚层的提取的显微镜系统，也能够辅助胚胎培养者的用于进行显微授精的作业。因而，与上述的实施方式所涉及的显微镜系统同样地能够辅助显微授精。

此外，在本实施方式所涉及的解析部22中，也可以与其它实施方式同样地采用通过规则库再现的算法，还可以采用通过机器学习构建的学习完成的模型。

上述的实施方式示出了用于容易理解发明的具体例子，本发明的实施方式并不限定于这些例子。显微镜系统能够在不脱离权利要求书的记载的范围内进行各种变形、变更。

例如，在图12中示出了将用于确定候选精子的辅助图像A1与表示候选精子的移动轨迹的辅助图像A2一同投射的例子，但是也可以仅将表示候选精子的移动轨迹的辅助图像(第三辅助图像)叠加于光学图像。另外，也可以为，解析部22基于数字图像数据来确定试样中包含的生殖细胞的移动轨迹，投影图像生成部23基于解析结果，生成与包含表示生殖细胞的移动轨迹的辅助图像来作为辅助图像的投影图像对应的投影图像数据。即，也可以除了投射表示候选精子的移动轨迹的辅助图像之外，还投射表示除候选精子以外的精子的移动轨迹的辅助图像。

另外，在上述的实施方式中，例示了通过明视场(BF)观察、偏光(PO)观察、微分干涉(DIC)观察以及调制相衬(MC)观察这4个显微镜法来观察试样的显微镜系统，但是显微镜系统也可以除了这些显微镜法以外，还通过相差(PC)观察等其它显微镜法来观察试样。在显微镜系统进行相差观察的情况下，包括相差物镜。

图27是例示了倒置显微镜300的结构的图。显微镜系统1也可以代替倒置显微镜100而包括倒置显微镜300。倒置显微镜300与倒置显微镜100的不同之处在于，代替摄像单元140而包括摄像单元144，成像透镜103位于摄像单元144与目镜101之间。此外，摄像单元144包括透镜145以使入射的光不通过成像透镜103而会聚于摄像元件143。显微镜系统1在包括倒置显微镜300的情况下也能够获得与包括倒置显微镜100的情况同样的效果。

图28是例示了倒置显微镜400的结构的图。显微镜系统1也可以代替倒置显微镜100而包括倒置显微镜400。倒置显微镜400与倒置显微镜100的不同之处在于，代替摄像单元140而包括摄像单元144，代替投影单元150而包括投影单元154，成像透镜103位于投影单元154与目镜101之间。此外，摄像单元144包括透镜145以使入射的光不通过成像透镜103而会聚于摄像元件143。投影单元154包括焦距与透镜152的焦距不同的透镜155，以使光经由成像透镜103而会聚于像面IP。显微镜系统1在包括倒置显微镜400的情况下也能够获得与包括倒置显微镜100的情况同样的效果。

附图标记说明

1：显微镜系统；2：数据库服务器；10：显微镜控制器；20：处理装置；20a：处理器；20b：存储器；20c：辅助存储装置；20d：输入输出接口；20e：介质驱动装置；20f：通信控制装置；20g：总线；20h：存储介质；21：摄像机控制部；22：解析部；23：投影图像生成部；24：投影控制部；30：显示装置；40、50、60、70：输入装置；41、42：手柄；43、44：移液器；51～56、B1～B4：按钮；80：识别装置；100、300、400：倒置显微镜；101：目镜；102、102a、102b、102c：物镜；103：成像透镜；104：调制器；105、125：DIC棱镜；106：检偏器；110：显微镜主体；111：载置台；112：换镜旋座；120：透射照明系统；121：光源；122：通用聚光器；123：起偏器；124：转盘；126：开口板；127：光学元件；127a：狭缝板；127b：偏振片；128：聚光透镜；130：激光辅助孵化单元；131、141、151：分离器；134、145、152、155、161～163：透镜；133：扫描仪；135：激光器；140、144：摄像单元；143：摄像元件；150、154：投影单元；153：投影装置；160：中间变倍单元；170：目镜筒；200：试样；201～203：液滴；210：培养皿；A1～A7、A9～A15：辅助图像；PP：指针图像；AP：开孔部；O1～O5：光学图像；O41：内细胞团；O42：囊胚腔；O43：滋养外胚层；O44：透明带；P1～P12、P14：投影图像；V1～V14：图像；T1～T20：教师图像；W1：窗口。

Claims (15)

1.一种倒置显微镜系统，具备对试样进行照明的透射照明系统，所述倒置显微镜系统的特征在于，具备：

目镜；

物镜，其用于将透过了所述试样的透射光向所述目镜引导；

成像透镜，其被配置于所述目镜与所述物镜之间，基于所述透射光来形成所述试样的光学图像；

摄像装置，其基于所述透射光来获取所述试样的数字图像数据；

处理装置，其至少基于由所述摄像装置获取到的所述数字图像数据，来生成与投影图像对应的投影图像数据，所述投影图像包含用于辅助利用所述试样进行的显微授精的辅助图像；

投影装置，其基于所述投影图像数据来向形成有所述光学图像的像面投射所述投影图像；

第一调制元件，其被包括在所述透射照明系统中，用于对向所述试样照射的照明光进行调制；以及

第二调制元件，其被配置于所述物镜与所述成像透镜之间，用于对所述透射光进行调制，

所述处理装置具备：

解析部，其至少基于所述数字图像数据，生成从所述试样所包含的生殖细胞中确定出适于受精的生殖细胞即候选细胞的解析结果；以及

投影图像生成部，其基于由所述解析部生成的所述解析结果来生成所述投影图像数据，所述投影图像包含用于确定所述候选细胞的第一辅助图像来作为所述辅助图像，

其中，所述第一辅助图像具有与该第一辅助图像所确定的所述候选细胞的推荐程度相应的形式。

2.根据权利要求1所述的倒置显微镜系统，其特征在于，

所述投影图像在所述投影图像中的、在将所述投影图像投射于所述像面时不与所述光学图像中包含的所述候选细胞的图像重叠的位置处包含所述第一辅助图像。

3.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

所述第一辅助图像具有包围所述候选细胞的图像的形状、或者指向所述候选细胞的图像的形状。

4.根据权利要求1所述的倒置显微镜系统，其特征在于，

所述第一辅助图像具有与该第一辅助图像所确定的所述候选细胞的推荐程度相应的颜色。

5.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

所述解析部至少基于所述生殖细胞的形态和所述生殖细胞的活力中的一方来对所述生殖细胞进行解析。

6.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

还具备切换装置，所述切换装置安装有包括所述物镜在内的多个物镜，所述切换装置在所述多个物镜之间切换要配置在光路上的物镜，

在所述切换装置将通过与所述成像透镜组合而具有规定倍率以上的倍率的物镜配置在所述光路上时，

所述解析部生成确定出所述候选细胞的所述解析结果，

所述投影图像生成部基于所述解析结果，生成与包含所述第一辅助图像来作为所述辅助图像的所述投影图像对应的所述投影图像数据，

在所述切换装置将通过与所述成像透镜组合而具有小于所述规定倍率的倍率的物镜配置在所述光路上时，

所述解析部生成确定出候选区域的第二解析结果，其中，所述候选区域为所述试样的区域且为所述候选区域内的生殖细胞的移动量比所述试样的其它区域内的生殖细胞的移动量大的区域，

所述投影图像生成部基于所述第二解析结果，生成与包含第二辅助图像来作为所述辅助图像的所述投影图像对应的所述投影图像数据，其中，所述第二辅助图像是用于确定所述候选区域的图像。

7.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

所述解析部使用学习完成的神经网络，至少对所述数字图像数据进行解析，

所述学习完成的神经网络是将与标注有是否适于受精的生殖细胞的图像对应的图像数据用作教师数据进行了学习的神经网络。

8.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

所述处理装置生成与指针图像对应的指针图像数据，所述指针图像用于指示与利用者进行的第一输入操作相应的位置，

所述处理装置将包含于所述试样中且基于在检测到所述利用者进行的第二输入操作时的所述指针图像的位置而确定出的对象物的图像记录为教师图像，

所述投影装置基于所述指针图像数据来向所述像面投射所述指针图像。

9.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

所述试样包含精子，

所述处理装置基于所述数字图像数据及其它数据，来生成所述投影图像数据，

所述其它数据包含培养了所述试样的培养液的数据、母体的临床数据以及包含所述精子的精液的检查结果中的至少一个。

10.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

还具备获取被附加于所述试样的识别信息的识别装置，

所述处理装置基于由所述识别装置获取到的识别信息，来获取提供了所述试样的患者的信息，

所述处理装置至少基于所述数字图像数据和所述患者的信息来生成所述投影图像数据，其中，所述投影图像包含表示所述患者的信息的第七辅助图像来作为所述辅助图像。

11.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

所述处理装置获取从探测到规定的操作起的经过时间，

所述处理装置至少基于所述数字图像数据和所述经过时间来生成所述投影图像数据，其中，所述投影图像包含表示所述经过时间的第八辅助图像来作为所述辅助图像。

12.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

还具备中间变倍单元，所述中间变倍单元配置于所述物镜与所述成像透镜之间，用于变更所述光学图像的倍率。

13.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

所述第一调制元件包括第一偏振片、形成有狭缝的遮光板以及覆盖所述狭缝的一部分的第二偏振片，

所述第二调制元件包括调制器，所述调制器包括透射率不同的3个区域。

14.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

所述第一调制元件包括起偏器，

所述第二调制元件包括检偏器。

15.根据权利要求1或2所述的倒置显微镜系统，其特征在于，

所述像面形成于所述成像透镜与所述目镜之间。

Images