CN115485602A - 显微镜系统、投影单元以及精子筛选辅助方法 - Google Patents

Abstract

显微镜系统(1)具备：显微镜(100)；摄影装置(143)，其获取放置在显微镜(100)的载物台(111)的含有精子的试样的摄影图像；图像处理装置(200)，其基于由摄影装置(143)获取到的摄影图像来生成辅助图像，该辅助图像包含有助于筛选精子的辅助信息；以及投影装置(153)，其将由图像处理装置(200)生成的辅助图像叠加于在显微镜(100)的光路上的像面形成的试样的光学图像上。

Description

显微镜系统、投影单元以及精子筛选辅助方法

技术领域

本说明书的公开涉及一种显微镜系统、投影单元以及精子筛选辅助方法。

背景技术

在晚婚化/晚育化发展的当前，接受不孕治疗的患者的数量逐年增加，生殖辅助医疗(ART：Assisted Reproductive Technology)的需求也越来越高。

ART是体外受精(IVF：In vitro fertilization)、显微授精等使从人体取出的卵子与精子在体外受精的技术的统称，区别于将提取到的精子注入到子宫并在体内使该精子与卵子受精的通常的人工授精。

例如在专利文献1中记载了一种与ART相关的技术。在专利文献1中记载了一种显微镜，其适合于作为ART的一种的显微授精中所使用的卵细胞质内精子注入法(ICSI：Intracytoplasmic sperm injection)。此外，ICSI是通过向用固定移液器(日文：ホールディングピペット)固定的卵子刺入容纳有精子的注射移液器来将精子直接注入到卵子内的方法。

现有技术文献

专利文献

专利文献1：国际公开第2012/150689号

发明内容

发明要解决的问题

另外，为了提高ICSI的成功率，筛选精子并将适合受精的精子注入到卵子中是很重要的。然而，通过筛选作业得到的精子是否优质在很大程度上取决于作为作业者的胚胎培养者的经验，在胚胎培养者之间受精率容易产生差别。

根据以上那样的实际情况，本发明的一个方面的目的在于提供一种在精子筛选作业中容易掌握优质精子的技术。

用于解决问题的方案

本发明的一个方式所涉及的显微镜系统具备：显微镜；摄影装置，其获取放置于所述显微镜的载物台的含有精子的试样的摄影图像；图像处理装置，其基于由所述摄影装置获取到的所述摄影图像来生成辅助图像，所述辅助图像包含有助于筛选精子的辅助信息；以及叠加装置，其将由所述图像处理装置生成的所述辅助图像叠加于在所述显微镜的光路上的像面形成的所述试样的光学图像上。

本发明的一个方式所涉及的投影单元装设于显微镜来使用，所述投影单元具备：图像处理装置，其基于放置于所述显微镜的载物台的含有精子的试样的摄影图像来生成辅助图像，所述辅助图像包含有助于筛选精子的辅助信息；以及叠加装置，其将由所述图像处理装置生成的所述辅助图像叠加于在所述显微镜的光路上的像面形成的所述试样的光学图像上。

本发明的一个方式所涉及的精子筛选辅助方法获取放置于显微镜的载物台的含有精子的试样的摄影图像，基于获取到的所述摄影图像来生成辅助图像，所述辅助图像包含有助于筛选精子的辅助信息，将生成的所述辅助图像叠加于在所述显微镜的光路上的像面形成的所述试样的光学图像上。

发明的效果

根据上述方式，能够在精子筛选作业中容易地掌握优质的精子。

附图说明

图1是例示显微镜系统1的结构的图。

图2是例示显微镜100的结构的图。

图3是例示输入装置50的操作部的结构的图。

图4是例示图像处理装置200的结构的图。

图5是示出学习用数据集的制作过程的一例的流程图。

图6是示出学习处理的一例的流程图。

图7是示出学习用数据集的制作过程的其它例的流程图。

图8是示出学习用数据集的制作画面的一例的图。

图9是示出精子筛选辅助处理的一例的流程图。

图10是示出辅助图像生成处理的一例的流程图。

图11是用于说明针对摄影图像进行的图像处理的图。

图12是用于说明投射于像面的图像的图。

图13是示出ICSI的过程的一例的流程图。

图14是例示作为试样300在培养皿310内形成的液滴的结构的图。

图15是示出精子筛选过程的一例的流程图。

图16是示出辅助图像生成处理的其它例的流程图。

图17是用于说明辅助图像设定窗口的结构例的图。

图18是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的一例的图。

图19是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的其它例子的图。

图20是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的又一其它例子的图。

图21是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的又一其它例子的图。

图22是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的又一其它例子的图。

图23是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的又一其它例子的图。

图24是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的又一其它例子的图。

图25是示出显微镜400的结构的图。

图26是示出显微镜系统2的结构的图。

图27是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的又一其它例子的图。

图28是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的又一其它例子的图。

图29是用于说明条形显示的优点的图。

图30是用于说明条形显示的优点的其它图。

图31是用于说明与辅助图像的显示形式有关的期望的变更例的图。

具体实施方式

图1是例示显微镜系统1的结构的图。图2是例示显微镜100的结构的图。图3是例示输入装置50的操作部的结构的图。图4是例示图像处理装置200的结构的图。

显微镜系统1是用于看目镜101来观察试样的系统。具体地说，显微镜系统1是在显微授精、尤其是精子筛选中使用的、具备透射照明系统120的倒置型的显微镜系统，例如由胚胎培养者来利用。关于作为显微镜系统1的观察对象的试样，如果是精子筛选作业时，则该试样是收容于培养皿等的含有精子的精子悬浊液等。

显微镜系统1至少具备显微镜100、摄影装置143、作为叠加装置的一例的投影装置153、以及图像处理装置200。显微镜系统1使用投影装置153向通过显微镜100的光学系统而形成有试样的光学图像的像面投射辅助图像，由此将辅助图像叠加于光学图像上。辅助图像中包含有有助于筛选精子的信息(以后记载为辅助信息)。此外，辅助图像是由图像处理装置200基于摄影装置143拍摄到的试样的摄影图像制作出的。

由此，正在看目镜101来观察试样的显微镜系统1的胚胎培养者不用将眼睛从目镜101移开就能够得到有助于筛选精子的信息，因此能够在短时间内高精度地确定并提取良好的精子。因而，根据显微镜系统1，能够辅助胚胎培养者的精子筛选作业。

下面，参照图1至图4来对显微镜系统1的结构的具体例详细地进行说明。如图1所示，显微镜系统1具备显微镜100和图像处理装置200，该显微镜100具备摄影装置143和投影装置153。并且，显微镜系统1具备显微镜控制器10、显示装置30、多个输入装置(输入装置40、输入装置50、输入装置60、输入装置70)以及识别装置80。另外，显微镜系统1与保存有各种数据的数据库服务器20连接。

显微镜100是具备目镜101的倒置显微镜，如图1所示，显微镜100具备显微镜主体110以及安装于显微镜主体110的多个物镜102、载物台111、透射照明系统120以及目镜筒170。另外，如后所述，显微镜100在照明光路和观察光路分别具备用于将精子、卵子等无染色的试样进行可视化的调制元件。胚胎培养者等利用者能够使用显微镜100通过明视场(BF)观察、偏光(PO)观察、微分干涉(DIC)观察以及调制相衬(MC)观察这4种显微镜法来观察试样。此外，调制相衬观察也被称为浮雕相衬(RC)观察。

多个物镜102被装设于换镜旋座112。如图2所示，在多个物镜102中包括BF观察用的物镜102a、PO观察及DIC观察用的物镜102b、MC观察用的物镜102c。另外，在物镜102c中包括调制器104。调制器104包括透射率不同的3个区域(例如，透射率为100％左右的区域、透射率为5％左右的区域、透射率为0％左右的区域)。

在图2中例示了与显微镜法相应的3个物镜，但是在多个物镜102中，也可以按每个显微镜法包括倍率不同的多个物镜。下面，以包括BF观察用的4倍物镜、MC观察用的10倍、20倍、40倍物镜、PO观察用的20倍物镜、DIC观察用的60倍物镜的情况为例进行说明。

换镜旋座112是在多个物镜102之间切换要配置在光路上的物镜的切换装置。换镜旋座112与显微镜法及观察倍率相应地切换要配置在光路上的物镜。被换镜旋座112配置在光路上的物镜将透过了试样的透射光向目镜101引导。

在载物台111上载置被放入容器中的试样。容器例如是培养皿，在试样中包含有精子、卵子等生殖细胞。载物台111沿配置在光路上的物镜102的光轴方向以及与物镜102的光轴正交的方向移动。此外，载物台111既可以是手动载物台，也可以是电动载物台。

透射照明系统120从载物台111的上方对被载置于载物台111的试样进行照明。如图1和图2所示，透射照明系统120包括光源121和通用聚光器122。光源121例如既可以是LED(Light Emitting Diode：发光二极管)光源，也可以是卤素灯光源等灯光源。

如图2所示，在通用聚光器122中包括起偏器123(第一偏振片)、收容于转盘124的多个光学元件、以及聚光透镜128。起偏器123在MC观察、PO观察以及DIC观察中使用。在转盘124中收容有与显微镜法相应地切换使用的多个光学元件。DIC棱镜125在DIC观察中使用。开口板126在BF观察和PO观察中使用。光学元件127是形成有狭缝的遮光板即狭缝板127a与以覆盖狭缝的一部分的方式配置的偏振片127b(第二偏振片)的组合，在MC观察中使用。

在目镜筒170中包括目镜101。成像透镜103被配置于目镜101与物镜102之间。成像透镜103基于透射光来在目镜101与成像透镜103之间的像面IP形成试样的光学图像。另外，在像面IP，还基于来自投影装置153的光形成有后述的辅助图像。由此，在像面IP处，辅助图像被叠加于光学图像。显微镜系统1的利用者使用目镜101来观察在形成于像面IP的光学图像上叠加辅助图像而得到的图像的虚像。

如图1所示，显微镜主体110包括激光辅助孵化单元130、摄影单元140以及投影单元150。另外，如图2所示，显微镜主体110包括中间变倍单元160。并且，显微镜主体110以能够相对于光路进行插入和移除的方式包括DIC棱镜105和检偏器106。

如图2所示，激光辅助孵化单元130是被配置于物镜102与成像透镜103之间的激光单元。激光辅助孵化单元130通过将激光从物镜102与成像透镜103之间导入来向试样照射激光。更具体地说，激光辅助孵化单元130例如向包围从受精卵发育而成的胚胎的透明带照射激光。激光辅助孵化单元130包括分离器131、扫描仪133、透镜134以及激光器135。分离器131例如是双色镜。扫描仪133例如是检电扫描仪，在与物镜102的光轴正交的方向上调整激光的照射位置。透镜134将激光变换为平行光束。由此，激光通过物镜102来会聚于试样上。

如图2所示，摄影单元140包括分离器141和基于透射光来获取试样的摄影图像的摄影装置143。摄影单元140被配置在成像透镜103与目镜101之间。分离器141例如是半透半反镜。成像透镜103将试样的光学图像形成于摄影装置143所包括的摄像元件的受光面。摄影装置143例如是数字摄像机，摄影装置143所包括的摄像元件例如是CCD(Charge CoupledDevice：电荷耦合器件)图像传感器、CMOS(Complementary Metal-Oxide-Semiconductor：互补金属氧化物半导体)图像传感器等。摄像元件检测来自试样的光，并将检测到的光通过光电变换而变换为电信号。摄影单元140将由摄影装置143获取到的摄影图像向图像处理装置200输出。

此外，显微镜系统1在精子筛选中使用，但是精子的微细部分、例如末段的部分为φ0.5μm左右。为了在图像上识别该部分，在投射到物体面时要求像素间距为φ0.5μm以下。也就是说，要求通过将像素间距除以综合倍率(＝物镜102的倍率×中间变倍单元160的倍率×未图示的摄像机适配器的倍率)计算出的在物体面上的像素投影像的间距为φ0.5μm以下。例如，若为20倍的物镜、2倍的中间变倍透镜、0.25倍的摄像机适配器的组合，则综合倍率为10倍。在该情况下，通过使用像素间距为3.45μm的显微镜用数字摄像机，从而物体面上的像素投影像的间距为0.345μm，即使是精子的末段部分也能够判别。此外，在实际的数字摄像机的选择中，还要注意由有效像素构成的区域具有充满视场整体的尺寸。

投影单元150被配置于成像透镜103与目镜101之间。如图2所示，投影单元150包括分离器151、透镜152以及投影装置153。分离器151例如是半透半反镜。投影装置153将由图像处理装置200生成的辅助图像进行投影。更详细地说，透镜152将来自投影装置153的光会聚在与成像透镜103的像面、即形成光学图像的像面IP相同的位置处，由此投影装置153将辅助图像投射于在光路上的像面IP形成的光学图像上。

例如，从精子的头部起到尾部的大小大致为60μm，头部的大小的短边为3μm左右。当通过MC观察用的20倍的物镜与1倍的中间变倍透镜的组合将该精子投射到比目镜101靠物体侧的像面IP时，精子的像为1.2mm×0.06mm的大小。例如，当如后所述那样制作包括边框的辅助图像时，最小为1.5mm×0.1mm左右的长方形，该边框包围精子的像以示出精子的位置。为了以能够在目镜的视场内识别该最小0.1mm的间隙的方式进行投影，在透镜152的投影倍率为1倍的情况下，使用由0.05mm间距以下的发光元件(单色的情况)构成的投影装置153即可。由此，能够显示利用者能够识别0.1mm的间隙的辅助图像。

并且，投影装置153将辅助图像投射于不仅充满视场数φ22的目镜101的视场、而且比其大一圈的视场数φ23以上的范围。具体地说，在透镜152的投影倍率为1倍的情况下，使用具有与视场数φ23以上的范围对应的有效发光区域的投影装置153。由此，从目镜101的视场外进入到了视场内的视场周边部的精子也被包括在辅助图像中。因此，能够从目镜101的包括视场周边部在内的视场内的全部精子中无遗漏地识别出良好精子。此外，在该情况下，摄影装置143的有效像素区域也需要与目镜的视场数φ23以上的范围相对应。

中间变倍单元160被配置于物镜102与成像透镜103之间。如图2所示，中间变倍单元160包括多个透镜(透镜161、透镜162、透镜163)，通过在它们之间切换要配置在光路上的透镜，来变更在像面形成的光学图像的倍率。通过使用中间变倍单元160，无需切换位于试样附近的物镜102就能够变更光学图像的倍率。

DIC棱镜105和检偏器106被配置于物镜102与成像透镜103之间。DIC棱镜105在DIC观察中使用。检偏器106在PO观察和DIC观察中使用。

在显微镜100中，在进行MC观察时，在照明光路上配置起偏器123和光学元件127来作为对向试样照射的照明光进行调制的调制元件(以后记载为第一调制元件)，在观察光路上配置调制器104来作为对透射光进行调制的调制元件(以后记载为第二调制元件)。另外，在进行PO观察时，在照明光路上配置起偏器123来作为第一调制元件，在观察光路上配置检偏器106来作为第二调制元件。另外，在进行DIC观察时，在照明光路上配置起偏器123和DIC棱镜125来作为第一调制元件，在观察光路上配置检偏器106和DIC棱镜105来作为第二调制元件。由此，能够将无染色的试样进行可视化，例如能够进行精子的筛选等。

显微镜控制器10是对显微镜100进行控制的装置。显微镜控制器10与图像处理装置200、输入装置50以及显微镜100连接，响应于来自图像处理装置200或者输入装置50的命令来控制显微镜100。

显示装置30例如是液晶显示器、等离子显示器、有机EL显示器、CRT显示器、LED矩阵面板等显示装置。

输入装置40包括手柄41和手柄42。通过对手柄41和手柄42进行操作，来对使移液器43和移液器44移动的未图示的显微操作仪的动作进行控制。移液器43和移液器44用于在包括精子筛选的显微授精的作业中对试样进行操作。移液器43例如是固定移液器，移液器44例如是注射移液器。

输入装置50是用于变更与显微镜100的显微镜法和观察倍率有关的设定的手动开关装置。如图3所示，输入装置50例如具有6个按钮(按钮51～按钮56)，利用者仅通过按下这些按钮就能够快速地切换显微镜100的设定。

利用者按下按钮51，由此显微镜100的设定切换为观察倍率为4倍的BF观察(以后记载为BF4×观察。)的设定。利用者按下按钮52，由此显微镜100的设定切换为观察倍率为10倍的MC观察(以后记载为MC10×观察。)的设定。利用者按下按钮53，由此显微镜100的设定切换为观察倍率为20倍的MC观察(以后记载为MC20×观察。)的设定。利用者按下按钮54，由此显微镜100的设定切换为观察倍率为40倍的MC观察(以后记载为MC40×观察。)的设定。

利用者按下按钮55，由此显微镜100的设定切换为观察倍率为20倍的PO观察(以后记载为PO20×观察。)的设定。利用者按下按钮56，由此显微镜100的设定切换为观察倍率为60倍的DIC观察(以后记载为DIC60×观察。)的设定。

输入装置60是键盘。输入装置70是鼠标。输入装置60及输入装置70分别与图像处理装置200连接。此外，显微镜系统1也可以包括触摸面板、声音输入装置、脚踏板等未图示的其它输入装置。

识别装置80是获取被附加于试样的识别信息的装置。此外，被附加于试样例如包括识别信息被粘贴于收容试样的容器等的情况。识别信息是识别试样的信息，更具体地说，例如是确定提供了试样的患者的信息。识别装置80例如是条形码读取器、RFID(注册商标)读取器、QR码(注册商标)读取器等。

图像处理装置200基于由摄影装置143获取到的摄影图像来生成辅助图像。生成的辅助图像直接或经由显微镜控制器10向显微镜100的投影装置153输出。此外，如图1所示，图像处理装置200与显微镜100、显微镜控制器10、显示装置30、输入装置60、输入装置70以及识别装置80连接。另外，图像处理装置200还与数据库服务器20连接。

图像处理装置200具备图像解析部210、图像生成部220以及存储部230，作为与包含有助于筛选精子的辅助信息的辅助图像的生成相关的功能性构成要素。

图像解析部210进行图像解析，所述图像解析包括针对摄影图像的以精子为对象的物体检测以及估计在物体检测中检测出的精子的推荐度的推荐度估计。具体地说，图像解析部210例如使用存储部230中存储的已学习模型来进行物体检测和推荐度估计。物体检测和推荐度估计可以使用两个以上的已学习模型来进行，也可以使用单一的已学习算法来进行。此外，已学习模型的算法没有特别限定，例如可以使用SSD、YOLO、FasterR-CNN等深度学习模型。

图像生成部220基于图像解析部210的图像解析的结果，来生成包含有助于筛选精子的辅助信息的辅助图像。在辅助信息中包含有基于推荐度估计的结果生成的与精子的推荐度有关的信息(以后记载为推荐度信息。)。即，图像生成部220生成至少包含推荐度信息的辅助图像。此外，推荐度信息可以是如后述的DFI那样的数值信息，也可以是如后述的DFI等级和MM等级那样的表示级别的符号信息。另外，推荐度信息可以是一个以上的数值信息和一个以上的符号信息的组合。推荐度信息只要至少包含一个以上的数值信息和一个以上的符号信息中的至少一方即可。推荐度信息的至少一部分也可以基于规定期间内的推荐度估计结果的历史记录来计算出。也可以在辅助信息中还包含有基于物体检测的结果生成的与精子的位置有关的信息(以后记载为位置信息。)。即，图像生成部220也可以生成除了包含推荐度信息以外还包含位置信息的辅助图像。

在图像解析部210进行的推荐度估计中，也可以包括估计在物体检测中检测出的精子的DNA完整性(integrity)的完整性估计。在该情况下，在推荐度信息中也可以包含有基于完整性估计的结果生成的与精子的DNA完整性有关的完整性信息。此外，期望的是，在完整性信息中包含有后述的DFI以及与DFI相应的等级中的至少一方。并且，期望的是，DFI或DFI等级包括最新信息、平均信息以及最大信息中的至少两者。另外，在图像解析部210进行的推荐度估计中也可以包括质量估计，在该质量估计中估计在物体检测中检测出的精子的形态(morphology)和活力(motility)中的至少一方的质量。在该情况下，在推荐度信息中也可以包含有基于质量估计的结果生成的与精子的形态质量和精子的活力质量中的至少一方有关的质量信息。

此外，在以往的精子筛选中，胚胎培养者基于能够从目镜观察到的光学图像来判断精子的形态质量和精子的活力质量，并主要基于这些质量来筛选良好精子。这是因为，虽然人们认识到DNA完整性是评价精子的生殖能力的有效的预后标记物，但人们难以通过目视观察精子来判断DNA完整性。另一方面，例如在非专利文献1(Wang，Y.et al.，Predictionof DNA Integrity from Morphological Parameters Using a Single-Sperm DNAFragmentation Index Assay，ADVANCED SCIENCE，(2019))中所记载的那样，在DNA完整性与精子的形态之间确认到相关性。因此，能够根据精子的图像来估计精子的完整性。图像解析部210进行的完整性估计利用了该事实，是使用对相对于从图像提取出的精子的形态的精子的DNA完整性进行了学习的已学习模型来进行的。

辅助图像所包含的推荐度信息也可以具有与在推荐度估计中估计出的推荐度相应的形式。更具体地说，例如，推荐度信息也可以具有与在推荐度估计中估计出的推荐度相应的颜色。另外，辅助图像所包含的位置信息也与推荐度信息同样地，也可以具有与在推荐度估计中估计出的推荐度相应的形式，例如，也可以具有与在推荐度估计中估计出的推荐度相应的颜色。

存储部230存储在图像生成部220进行的图像解析中要使用的已学习模型。在存储部230中存储有在以精子为对象的物体检测中使用的已学习模型，图像生成部220使用存储部230中存储的已学习模型来进行物体检测。并且，例如，如果是在图像生成部220中生成完整性信息的情况，则在存储部230中存储有对相对于精子的形态的精子的DNA完整性进行了学习的已学习模型。图像生成部220使用存储部230中存储的已学习模型来进行完整性估计。另外，例如，如果是在图像生成部220中生成质量信息的情况，则在存储部230中存储有对相对于精子的形态和精子的活力中的至少一方的精子的质量进行了学习的已学习模型。图像生成部220使用存储部230中存储的已学习模型来进行质量估计。此外，物体检测、完整性估计、质量估计可以使用存储部230中存储的单一的已学习模型来进行，也可以使用存储部230中存储的2个以上的已学习模型来进行。

图像处理装置200可以是通用的计算机，也可以是专用的计算机。图像处理装置200并不特别限定于该结构，例如也可以具有图4所示那样的物理结构。具体地说，图像处理装置200也可以具备处理器201、存储装置202、输入接口(I/F)203、输出接口(I/F)204以及通信装置205，它们也可以通过总线206相互连接。

处理器201可以包括硬件，硬件例如可以包括用于处理数字信号的电路和用于处理模拟信号的电路中的至少一者。处理器201例如能够在电路板上包括一个或多个电路装置(例如，IC)或者一个或多个电路元件(例如，电阻器、电容器)。处理器201也可以是CPU(central processing unit：中央处理单元)。另外，作为处理器201，也可以使用包括GPU(Graphics processing unit：图形处理单元)和DSP(Digital Signal Processor：数字信号处理器)的各种类型的处理器。处理器201也可以是具有ASIC(Application SpecificIntegrated Circuit：专用集成电路)或FPGA(Field-Programmable Gate Array：现场可编程门阵列)的硬件电路。处理器201能够包括用于处理模拟信号的放大电路、滤波电路等。处理器201通过执行存储装置202中存储的程序来作为上述的图像解析部210和图像生成部220发挥功能。

存储装置202可以包括存储器以及/或者其它存储装置。存储器例如可以是随机存取存储器(RAM)。存储器也可以是SRAM(Static Randam Access Memory：静态随机存取存储器)、DRAM(Dynamic Random Access Memory：动态随机存取存储器)等半导体存储器。存储装置202例如也可以是寄存器、如硬盘装置那样的磁性存储装置、如光盘装置那样的光学存储装置、内部或外部硬盘驱动器、固态存储装置、CD-ROM、DVD、其它光盘或磁盘存储装置、或者其它存储装置。存储装置202存储由处理器201执行的程序、已学习模型、其它数据，并作为上述的存储部230发挥功能。此外，存储装置202是非暂时性的计算机可读取的存储介质的一例。

输入I/F 203与显微镜系统1的利用者(例如胚胎培养者)所操作的输入装置连接，接收与针对输入装置的操作相应的操作信号，并将该操作信号向处理器201输出。

输出I/F 204与显示装置30连接。输出I/F 204也可以还与未图示的、输出声音的扬声器等声音输出装置、输出光的灯、照明等发光装置、输出振动的振动器等振动装置等连接。

通信装置205是与显微镜100、其它装置交换数据的装置。通信装置205可以是以有线方式交换数据的通信装置，也可以是以无线方式交换数据的通信装置。存储装置202中存储的程序、已学习模型也可以是通信装置205经由因特网从其它装置获取到的。

图5是示出学习用数据集的制作过程的一例的流程图。图6是示出学习处理的一例的流程图。下面，参照图5和图6，以构建估计DNA完整性的已学习模型的情况为例来说明构建存储部230中存储的已学习模型的过程。

此外，图5所示的制作过程可以由显微镜系统1来进行，也可以由其它装置、系统来进行。另外，图6所示的学习处理也可以由与图像处理装置200相分别的计算机来进行，图像处理装置200也可以经由网络、记录介质来获取完成的已学习模型。此外，下面，以显微镜系统1进行图5所示的制作过程、图像处理装置200进行图6所示的学习处理的情况为例进行说明。

显微镜系统1首先拍摄精子的运动图像(步骤S1)。在此，作业者使用显微镜系统1例如在40倍的倍率下观察精子悬浊液，并逐个拾取精子悬浊液中含有的精子。作业者例如是胚胎培养者。之后，显微镜系统1例如通过摄影单元140来拍摄拾取到的各精子的运动图像。此时的倍率例如为40倍、60倍等。另外，在拍摄运动图像时，作业者使用移液器的前端等使精子旋转。由此，显微镜系统1拍摄精子的头部及颈部的整周。

之后，显微镜系统1在已被拍摄了运动图像的精子被染色后再次拍摄该精子(步骤S2)。在此，作业者将通过步骤S1被拍摄了运动图像的精子各自固定在容器内的所分配的位置处，之后通过标记DNA损伤的色素来对容器内的精子进行染色。之后，作业者通过荧光观察法来观察容器内的被染色的精子，并且进一步通过显微镜系统1进行拍摄，由此获取精子的染色图像。

显微镜系统1根据在步骤S2中获取到的染色图像来计算各精子的DNA碎片指数(DFI：DNA fragmentation index)(步骤S3)。此外，DFI是DNA完整性的指标，其值越小越好。关于DFI的具体计算方法，没有特别限定，例如可以如非专利文献2(McCallum，C.et al.，Deep learning-based selection of human sperm with high DNA integrity，Communications Biology 2,250，(2019))中所记载的那样，使用AO(Acridine Orange：吖啶橙)测试来计算。

最后，显微镜系统1基于在步骤S3中计算出的DFI对从在步骤S1中获取到的运动图像提取出的精子的非染色图像标注标签(步骤S4)。在此，显微镜系统1对运动图像的各帧图像(非染色图像)分配DFI，由此将精子的非染色图像与该精子的DFI相关联地进行存储。此外，在步骤S1中拍摄到的运动图像与在步骤S3中计算出的DFI的关联能够通过对于分配给运动图像的ID和容器内的位置的管理来进行。

在图6中，通过将根据图5的过程被标注了标签的大量的未染色图像用作学习用数据集来进行学习处理。当通过图5的过程准备了足够量的学习用数据集时，图像处理装置200首先获取制作出的学习用数据集(步骤S11)。

之后，图像处理装置200使进行以精子为对象来估计DNA完整性的完整性估计的模型进行学习(步骤S12)。在此，图像处理装置200使用学习用数据集对模型进行训练、验证、测试。此外，在步骤S11中获取到的学习用数据集可以在步骤S12中被分为训练数据兼验证数据、以及测试数据。在该情况下，期望的是，使用交叉验证(cross-validation(日文：クロスバリデーション))在训练和验证这两方中使用训练数据兼验证数据。此外，训练数据是在模型的训练中使用的数据，验证数据是在模型的验证中使用的数据。另外，测试数据是在模型的测试中使用的数据。

图像处理装置200重复地进行以上的处理，直到模型通过测试为止，当通过测试时、也就是学习结束时(步骤S13“是”)，结束图6的处理。通过进行图6的处理，能够得到被充分地训练的、进行完整性估计的已学习模型。所得到的已学习模型被存储于图像处理装置200的存储部230。此外，该已学习模型是通过将数据集用作训练数据的监督学习来调整了参数的已学习模型的一例，该数据集包含拍摄了染色前的精子的非染色图像、以及对该非染色图像标注的、表示根据拍摄了染色后的精子的染色图像计算出的DNA完整性的标签。

图7是示出学习用数据集的制作过程的其它例的流程图。图8是示出学习用数据集的制作画面的一例的图。在图5和图6中，以进行将精子作为对象来估计DNA完整性的完整性估计的模型的学习为例进行了说明，但在使进行估计精子的形态质量和精子的活力质量的质量估计的模型进行学习的情况下，以图7所示的制作过程代替图5所示的制作过程来制作学习用数据集即可。下面，参照图7和图8，以构建估计精子的形态和活力中的至少一方的质量的已学习模型的情况为例，来说明构建存储部230中存储的已学习模型的过程。

显微镜系统1首先拍摄精子的运动图像或静止图像(步骤S21)。在此，作业者使用显微镜系统1例如在20倍的倍率下观察精子悬浊液，并通过摄影单元140将精子悬浊液内的精子拍摄为运动图像或静止图像。

接着，显微镜系统1从拍摄到的图像(运动图像或静止图像)中剪切出精子部分的图像并将该图像排列显示(步骤S22)。在此，显微镜系统1读出在步骤S21中拍摄到的运动图像或静止图像，从运动图像或静止图像中剪切出精子部分的图像，并如图8所示那样，将剪切出的图像在显示装置30中排列显示。作业者根据排列显示的精子的图像来评价精子的形态质量和精子的活力质量。因此，期望的是，作业者是使受精成功率高的熟练的胚胎培养者。此外，下面将剪切出精子部分的图像记载为参照图像。

如图8所示，当由胚胎培养者对精子的各个参照图像进行了评价时，显微镜系统1基于胚胎培养者对质量的评价来对各参照图像标注标签(步骤S23)。在此，显微镜系统1对各精子的参照图像(非染色图像)分配质量等级，由此将精子的非染色图像与该精子的质量相关联地进行存储。

此外，在图8的例子中，在窗口W1上的按钮B1被选择的状态下被点击的图像(T1、T10、T14、…)与表示质量的等级A的标签相关联地进行保存。另外，在按钮B2被选择的状态下被点击的图像(T2、T3、T6、T8、T9、T11、T15…)与表示质量的等级B的标签相关联地进行保存。另外，在按钮B3被选择的状态下被点击的图像(T4、T5、T13、T16…)与表示质量的等级C的标签相关联地进行保存。另外，在按钮B4被选择的状态下被点击的图像(T7、T12…)与表示质量的等级D的标签相关联地进行保存。此外，等级A是对被评价为质量最高的图像标注的等级，等级D标注于被评价为质量最低的图像。即，等级A、等级B、等级C、等级D表示质量依此顺序下降。

可以通过将在图7的过程中被标注了标签的大量的未染色图像用作学习用数据集来进行图6所示的学习处理。由此，通过图6所示的学习处理，能够得到进行估计精子的形态质量和精子的活力质量的质量估计的已学习模型。所得到的已学习模型被存储于图像处理装置200的存储部230。此外，该已学习模型是通过将数据集用作训练数据的监督学习来调整了参数的已学习模型，该数据集包含拍摄了精子的参照图像、以及对参照图像标注的、表示胚胎培养者基于参照图像评价出的精子的质量的标签。

图9是示出精子筛选辅助处理的一例的流程图。图10是示出辅助图像生成处理的一例的流程图。图11是用于说明针对摄影图像进行的图像处理的图。图12是用于说明投射于像面的图像的图。下面，参照图9至图12，对通过使用通过上述的学习处理而得到的已学习模型来在显微镜系统1中进行的精子筛选辅助方法进行说明。

当图9所示的精子筛选辅助处理开始时，显微镜系统1首先将光学图像投射于像面(步骤S31)。在此，包括物镜102和成像透镜103的光学系统基于来自放置在显微镜100的载物台的作为试样的精子悬浊液的光，在显微镜100的光路上形成例如图12所示那样的精子悬浊液的光学图像O1。

显微镜系统1与步骤S31同时地获取摄影图像(步骤S32)。在此，摄影装置143基于来自精子悬浊液的光来获取精子悬浊液的摄影图像，并将摄影图像向图像处理装置200输出。

之后，显微镜系统1进行图10所示的辅助图像生成处理(步骤S33)。在辅助图像生成处理中，图像处理装置200首先从摄影图像中检测精子(步骤S41)。在此，图像解析部210例如图11所示那样将摄影图像M作为输入图像输入到已学习模型，由此进行以精子为对象的物体检测。此时，图像解析部210可以如图11所示那样基于精子的形态或活力的质量将精子分出等级地进行检测。此外，在图11中示出了将在物体检测中检测出的精子分为等级A至等级C的情形。在该情况下，步骤S41的物体检测也可以视为兼作后述的步骤S42的推荐度估计。

并且，图像处理装置200根据在步骤S41中检测出的精子的图像来估计推荐度(步骤S42)。在此，图像解析部210例如图11所示那样，将检测出的精子的图像(图像M1至图像M6)作为输入图像输入到已学习模型，由此估计精子的推荐度。此外，在图11中示出了计算DFI作为推荐度的例子。

之后，图像处理装置200生成包含精子的推荐度信息的辅助图像(步骤S43)。在此，图像生成部220基于步骤S42中的推荐度估计的结果，来生成与精子的推荐度有关的推荐度信息，并生成例如图12所示那样的包含推荐度信息的辅助图像A1。

当结束辅助图像生成处理时，显微镜系统1将辅助图像叠加于光学图像上(步骤S34)，结束图9所示的处理。在此，投影装置153将在步骤S33中生成的辅助图像A1投射于形成有光学图像O1的像面IP，从而如图12所示那样将辅助图像A1叠加于光学图像O1上。

由此，作为显微镜系统1的利用者的胚胎培养者通过看目镜101，能够一边观察如图12所示那样的、包含精子的光学图像O1与包含有助于筛选精子的辅助信息的辅助图像A1叠加而成的图像，一边筛选精子。因而，根据显微镜系统1，能够辅助胚胎培养者进行精子的筛选作业。

另外，通过在辅助信息中包含精子的推荐度信息，容易进行良好精子的判断，因此能够在短时间内快速地进行精子的筛选作业。并且，通过包含与精子的DNA完整性有关的完整性信息作为推荐度信息，能够还考虑仅通过光学图像O1难以判断的DNA有无损伤来筛选精子。因而，根据显微镜系统1，胚胎培养者能够以比以往的基于形态、活力进行的判断更高的可靠性来筛选良好精子。

图13是示出ICSI的过程的一例的流程图。图14是例示作为试样300在培养皿310内形成的液滴的结构的图。图15是示出精子筛选过程的一例的流程图。图16是示出辅助图像生成处理的其它例的流程图。图17是用于说明辅助图像设定窗口的结构例的图。图18至图24分别是例示辅助图像设定与能够从目镜101观察到的图像之间的关系的图。下面，参照图13至图24，来对显微镜系统1进行的精子筛选辅助方法在ICSI中的具体应用进行说明。

首先，利用者准备试样(步骤S51)。在此，利用者例如图14所示那样在培养皿310内制作出包含多个液滴(日文：ドロップ)的试样300，并将该试样配置在载物台111上。

液滴301是清洗用的液滴，被用于清洗移液器。液滴302是精子悬浮液滴，例如是将精子悬浊液滴到PVP溶液中而成的。液滴303是卵子操作用液滴，例如是将卵子放入到m-HTF溶液中而成的。此外，m-HTF溶液是添加有10％血清的含有Hepps的HTF溶液。这些液滴被矿物油包覆。

接着，利用者对显微镜系统1进行设置(步骤S52)。在此，利用者例如按下输入装置50的按钮51，将显微镜系统1的设定切换为BF4×观察。之后，对输入装置40进行操作来调整移液器43和移液器44的位置，从而聚焦于移液器43和移液器44。并且，移动载物台111，来用液滴301(清洗用液滴)清洗移液器43和移液器44。

当设置完成时，利用者确认液滴303(卵子操作用液滴)内的卵子(卵细胞)的生长状态(步骤S53)。在此，利用者例如按下输入装置50的按钮53，将显微镜系统1的设定切换为MC20×观察。在MC20×观察下，观察卵子的形态来筛选卵子。并且，例如也可以按下输入装置50的按钮55，将显微镜系统1的设定切换为PO20×观察。也可以在PO20×观察下观察卵子的纺锤体，由此判定卵子的成熟度，进一步筛选卵子。

当卵子的筛选结束时，利用者通过图15所示的过程来进行精子的筛选(步骤S54)。首先，利用者例如按下输入装置50的按钮53，将显微镜系统1的设定切换为MC20×观察。然后，移动载物台111，来将观察位置移动到液滴302(精子悬浮液滴)处，在MC20×观察下聚焦于精子(步骤S61)。

接着，利用者在MC20×观察下筛选适于受精的良好精子(步骤S62)。以往，在该工序中，胚胎培养者基于通过光学图像观察到的精子的形态和活力来判断精子的质量，并基于该判断来筛选良好精子。然而，判断良好精子的标准未必是明确的。因此，依赖胚胎培养者的经验和直觉来选择精子的情况较多，其结果是，根据胚胎培养者不同而判断不同。这成为根据胚胎培养者不同而受精成功率产生差异的原因。鉴于这样的问题，显微镜系统1通过将包含有助于筛选精子的辅助信息的辅助图像叠加于光学图像上，来辅助胚胎培养者的精子筛选作业。

具体地说，在步骤S62中，显微镜系统1进行图16所示的辅助图像生成处理，其结果是，生成的辅助图像被投射于像面。首先，图像处理装置200从摄影装置143拍摄到的液滴302(精子悬浮液滴)的摄影图像中检测精子，并生成与检测出的精子的位置有关的位置信息(步骤S71)。在此，例如，如上所述，使用已学习模型来进行以精子为对象的物体检测。

并且，图像处理装置200根据在摄影图像中检测出的精子的图像来估计推荐度(步骤S72)。在此，例如，如上所述，使用已学习模型来进行完整性估计、质量估计之类的推荐度估计。此外，下面以以下的情况为例来进行说明：在步骤S72中，通过完整性估计来对每个精子估计DFI，并通过质量估计来对每个精子估计精子的形态(morphology)和活力(motility)的等级(以后记载为MM等级)。

接着，图像处理装置200根据利用者进行的设定来生成推荐度信息(步骤S73)。在此，例如，按照利用者预先使用输入装置60和输入装置70在显示装置30所显示的图17所示的窗口W2上进行的设定，图像处理装置200根据在步骤S72中得到的估计结果来生成推荐度信息。此外，窗口W2是用于对辅助图像所包含的推荐度信息进行设定的辅助图像设定窗口，包括设定显示形式的区域R1和设定显示项目的区域R2。

如图17所示，在区域R1中，作为推荐度的显示形式，包括用于选择DFI值的列表框L1、用于选择DFI等级的列表框L2、以及用于选择MM等级的列表框L3。此外，DFI值是DFI本身，DFI等级是将DFI划分为预先决定的范围并对各个范围分配等级而得到的。

通过利用者选择列表框L1，能够使辅助图像包含DFI值作为推荐度信息。另外，通过利用者选择列表框L2，能够使辅助图像包含DFI等级作为推荐度信息。另外，当利用者选择列表框L3时，能够使辅助图像包含MM等级作为推荐度信息。此外，也能够从列表框L1至列表框L3中选择多个列表框，在该情况下，能够包含多个显示形式的信息作为推荐度信息。

另外，如图17所示，在区域R2中，作为推荐度(尤其是DFI)的显示项目，包括用于选择raw的列表框L4、用于选择最大值的列表框L5、用于选择时间平均的列表框L6、以及用于选择周平均的列表框L7。raw是指根据最新的摄影图像估计出的DFI。最大值是指在由滑块SL2设定的期间内估计出的DFI的最大值。由滑块SL1设定的阈值是指推荐度信息所包含的最大值的上限。时间平均是指在由滑块SL4设定的期间内估计出的DFI的平均值。由滑块SL3设定的阈值是指推荐度信息中包含的平均值的上限。通过利用滑块SL1和滑块SL3设定阈值，能够避免显示过高的DFI(即，低评价)。周平均是指根据使精子旋转而从各个方向拍摄到的摄影图像所估计出的DFI的平均值。

当生成了推荐度信息时，图像处理装置200以与推荐度相应的形式来生成包含推荐度信息和位置信息的辅助图像(步骤S74)。在此，图像处理装置200例如可以用与推荐度相应的颜色来生成包含推荐度信息和位置信息的辅助图像。更具体地说，如果是将位置信息生成为包围精子的边框的情况，则也可以根据推荐度来使构成辅助图像中包含的边框的线的粗细、线种类不同。

显微镜系统1进行图16所示的辅助图像生成处理，并将生成的辅助图像投射于像面，由此，在步骤S62中，利用者能够一边观察例如图18所示那样的叠加于光学图像O1上的辅助图像A11一边筛选精子。此外，在图18中示出在选择DFI值作为显示形式且选择最大值作为显示项目时投射于目镜101的视场内的图像的一例。所显示的DFI是最近2秒钟的最大值，通过阈值设定将其限制在0.05以下。

步骤S62中的精子筛选是从精子悬浊液中含有的大量的精子中筛选良好精子，可预想到在视场内也包含很多精子的情况。在这样的状况下，如图18所示那样通过滑块SL1进行阈值设定是有效的。通过设定阈值，能够仅投射具有阈值以下的DFI(在此为DFI的最大值)的精子的推荐度信息，因此能够适当地限制叠加于光学图像O1的信息量。由此，能够避免由于在视场内投射无数的精子的推荐度信息而导致光学图像(精子)的视觉辨认性下降、信息过多反而难以获知所需的信息等问题于未然。另外，通过使用阈值来限制信息量，利用者仅集中于评价高的精子地进行观察。

另外，在步骤S62中，由于精子在精子悬浊液内自由地到处活动，因此摄影图像内的精子的朝向、形状也时刻发生变化。因此，可预想到以下情况：即使是相同的精子，估计出的DFI也会时刻发生变化。在这样的状况下，如图18所示那样通过滑块SL2进行期间设定是有效的。通过设定期间，能够从在所设定的期间内得到的大量的估计结果中提取或重建所需的信息来进行投影。由此，能够不受特定时刻的暂时性的估计结果所左右地向利用者提供精子所具有的推荐度。

此外，在图18中，位置信息形成为包围精子的头部的边框。如图18所示，位置信息可以形成为确定精子的主要部分而不是整个精子。在可预想到会检测出大量的精子的步骤S62中，这样的位置信息的显示也尤其适合。

另外，在图18中，示出对一个精子叠加一个推荐度信息的例子，但也可以叠加多个推荐度信息。例如，也可以如图19所示那样，在窗口W2上选择多个显示项目，由此将包含针对每个精子的与DNA完整性有关的多个信息(在此为raw和最大值)的辅助图像A12叠加于光学图像O1。通过叠加多个信息，能够在精子筛选时得到更详细地分析各精子的材料。此外，在图19中，示出在选择DFI值作为显示形式且选择raw和最大值作为显示项目时投射于目镜101的视场内的图像的一例。所显示的DFI是最新值(raw)和最近2秒钟的最大值，通过阈值设定将其限制在0.05以下。

另外，也可以如图20所示那样，通过选择DFI值和DFI等级，来将包含针对每个精子的多个信息的辅助图像A13叠加于光学图像O1。在该情况下，利用者能够基于DFI等级找到应该观察的精子，并在确认DFI值的同时观察精子，因此能够高效地筛选精子。此外，在图20中示出在选择DFI值和DFI等级作为显示形式且选择时间平均作为显示项目时投射于目镜101的视场内的图像的一例。与DFI等级一同显示的DFI是最近1秒钟的时间平均值，通过阈值设定将其限制在0.05以下。

另外，在图18至图20中，示出叠加与DNA完整性有关的信息作为推荐度信息的例子，但也可以如图21所示那样，将包含以往以来进行的基于精子的形态、活力的MM等级作为推荐度信息的辅助图像A14叠加于光学图像O1。

另外，也可以如图22所示那样，将包含MM等级以及与DNA完整性有关的信息(在此为DFI值)这两方作为推荐度信息的辅助图像A15叠加于光学图像O1。由此，利用者能够将基于与以往相同的基准的评价以及与DNA完整性有关的评价进行组合来筛选精子。此外，在图22中示出在选择DFI值和MM等级作为显示形式且选择时间平均作为显示项目时投射于目镜101的视场内的图像的一例。与MM等级一同显示的DFI是最近1秒钟的时间平均值，通过阈值设定将其限制在0.05以下。

像这样，在步骤S62中，通过将辅助图像叠加于光学图像O1，利用者能够通过辅助图像容易地识别出应该特别关注的精子，因此能够大幅削减利用者为了筛选良好精子而要确认的精子的数量。因此，精子筛选作业变得容易，并且能够在短时间内进行精子筛选，因此筛选作业的负担大幅减轻。

当在步骤S62中筛选出良好精子时，利用者在RC20×观察下破坏良好精子的尾部来使良好精子不动(步骤S63)。在此，利用者通过利用移液器将良好精子的尾部在培养皿310的底面摩擦来使良好精子不动。

之后，利用者更详细地观察不动的良好精子的形态，来进一步筛选良好精子(步骤S64)。在此，利用者例如按下输入装置50的按钮54，将显微镜系统1的设定切换为MC40×观察。之后，利用者在MC40×观察下进一步筛选良好精子。在此，显微镜系统1也与步骤S64同样地进行图16所示的辅助图像生成处理，其结果是，通过将所生成的辅助图像投射于像面来辅助胚胎培养者的精子筛选作业。

显微镜系统1进行图16所示的辅助图像生成处理，并将所生成的辅助图像投射于像面，由此在步骤S64中，利用者能够一边观察例如图23所示那样的叠加于光学图像O2上的辅助图像A21，一边筛选精子。此外，在图23中示出在选择DFI值和DFI等级作为显示形式且选择raw和周平均作为显示项目时投射于目镜101的视场内的图像的一例。

步骤S64中的精子筛选是在使特定的精子不动的状态下进行的，可预想到在视场内包含单一的精子的情况。在这样的状况下，利用者通过移液器的前端来调整精子的朝向，由此能够从任意的方向观察精子，并且通过移液器的前端使精子转动，由此能够拍摄精子的头部和颈部的整周。因此，如图23所示，通过选择列表框L7而进行的周平均的计算设定是有效的。通过计算周平均，能够向利用者提供不依赖于摄影方向的、可靠性高的DNA完整性。

此外，在精子的旋转不充分的情况下，即使计算周平均，方向依赖性也大，无法提供可靠性高的信息。因此，在步骤S64中可以是，图像处理装置200计算精子的旋转量，在旋转不充分(例如，旋转量小于360°)的情况下，如图24所示，生成包含通知精子的旋转不足的信息的辅助图像A22，投影装置153将辅助图像A22叠加于光学图像O2上。即，在图像解析部210进行的图像解析中，也可以除了包括物体检测和推荐度估计以外还包括估计推荐操作的处理，图像解析部210也可以基于摄影图像来估计在精子筛选中应该进行的推荐操作。关于推荐操作的通知，可以在使用辅助图像以能够视觉识别的方式进行通知的基础上通过声音、光、振动等来进行通知，或者取代使用辅助图像以能够视觉识别的方式进行通知而通过声音、光、振动等来进行通知。即，通知装置可以是投影装置153，也可以是未图示的扬声器、灯、振动器等。

当MC40×观察下的良好精子的筛选完成时，利用者进一步详细地观察良好精子的头部，根据头部中存在的空泡的大小来进一步筛选良好精子(步骤S65)。在此，利用者例如按下输入装置50的按钮56，将显微镜系统1的设定切换为DIC60×观察。之后，利用者在DIC60×观察下筛选空泡小的良好精子作为更良好的精子。此外，步骤S65也可以在MC40×观察下进行。在该情况下，利用者通过将在头部产生的亮点识别为空泡来筛选良好精子。

之后，利用者获取选出的良好精子并放入作为注射移液器的移液器44中，并将观察位置移动到液滴303(卵子操作用液滴)处(步骤S66)，从而结束图15所示的精子筛选的一系列的过程。

当精子筛选完成时，利用者确认纺锤体的位置以准备注入良好精子(步骤S55)。在此，利用者观察液滴303内存在的通过步骤S53选出的卵子，确认该卵子的纺锤体的位置。具体地说，利用者例如按下输入装置50的按钮55，来将显微镜系统1的设定切换为PO20×观察。之后，利用者通过操作作为固定移液器的移液器43来改变纺锤体的朝向，使得在PO20×观察下可视化的卵子的纺锤体位于12点方向或者6点方向。这是为了避免在后述的步骤S56中纺锤体被从3点方向或者9点方向刺入卵子的移液器损伤。

最后，利用者将精子注入到卵子中(步骤S56)，并结束ICSI。在此，利用者例如按下输入装置50的按钮53，将显微镜系统1的设定切换为MC20×观察。之后，利用者在MC20×观察下，通过作为固定移液器的移液器43将在步骤S55中调整了朝向的卵子固定，并将作为注射移液器的移液器44刺入。之后，从移液器44将良好精子注入到卵子内部。

当图13所示的ICSI的一系列的过程结束时，利用者将被注入了精子的卵子放回到孵化器中进行培养。另外，利用者也可以使用输入装置60和输入装置70对处理装置200进行操作，来将通过ICSI得到的信息保存到数据库服务器20。例如，也可以将精子及卵子的患者信息(母体的临床数据、含有精子的精液的检查结果等)、精子及卵子的培养液的数据(例如种类、浓度、PH等)与被注入了精子的卵子的图像数据、分选出的良好精子的图像数据、ICSI的作业时间等相关联地保存到数据库服务器20。

如以上那样，在显微镜系统1中，在ICSI中，有助于筛选精子的辅助图像被投射于像面。精子的大小是60μm左右，为了辨别良好精子，最起码也要使用20倍的物镜。一般来说，倒置显微镜的视场数为22左右，因此实际视场为φ1mm左右。在该实际视场φ1mm的区域内对自由地到处活动的精子进行筛选的作业是非常困难的作业。一般来说，由于被估计为良好精子的精子的活力高以及由于需要在短时间内进行ICSI作业，因此在精子筛选作业中，必须快速地观察比较快地移动的精子的形态并判断是否良好。在这样的受到严格限制的作业环境中，将有助于筛选良好精子的辅助图像叠加于光学图像对于减轻精子筛选作业的负担而言很有帮助。另外，通过在用于确定应该关注的精子的解析(推荐度估计)中灵活运用熟练的胚胎培养者的知识并以解析算法的方式纳入，能够同时达成受精成功率的提高以及胚胎培养者之间的受精成功率的偏差的抑制。尤其是，通过使辅助图像包含与即使是熟练的胚胎培养者也无法辨别的DNA完整性有关的信息，能够相比于以往以更高的可靠性进行精子筛选。因而，根据显微镜系统1，能够有效地辅助利用者进行的精子筛选。

上述的实施方式示出了用于使发明易于理解的具体例子，本发明的实施方式并不限定于这些例子。显微镜系统、投影单元以及精子筛选辅助方法能够在不脱离权利要求书的记载的范围内进行各种变形、变更。

图25是示出显微镜400的结构的图。在上述的实施方式中，例示了被配置在从物镜102与目镜101之间的光路分支出的光路上的投影装置153，但叠加辅助图像的装置也可以如图25所示那样配置在物镜102与目镜101之间的光路上。显微镜400与显微镜100的不同点在于，在形成光学图像的像面上包括显示装置401来代替投影单元150。显示装置401是透射型的图像显示装置，是通过在像面上直接显示辅助图像来在光学图像上叠加辅助图像的叠加装置的一例。即使在使用显微镜400的情况下，也能够与使用显微镜100的情况同样地辅助胚胎培养者的精子筛选。

图26是示出显微镜系统2的结构的图。在上述的实施方式中，示出了以下例子，即，摄影装置143和投影装置153设置于显微镜100，独立于显微镜100的图像处理装置200与摄影装置143及投影装置153交换数据，由此将辅助图像叠加于光学图像上，但是，摄影装置、投影装置以及图像处理装置也可以如图26所示那样一体地构成。

也可以是，如图26所示，装设于显微镜500的显微镜主体510与镜筒520之间的投影单元600具备摄影装置143、投影装置153以及图像处理装置(图像解析部210、图像生成部220、存储部230)。通过使用这样的投影单元600，能够容易地在现有的显微镜中追加叠加辅助图像的功能。

以上，作为辅助图像中包含的推荐度信息，例示出DFI值、DFI等级、MM等级，但推荐度信息并不限于这些。例如，推荐度信息也可以是精子是否良好的判定结果。在该情况下，使用对精子是否良好进行了学习的已学习模型来进行物体检测和推荐度估计即可。

图27是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的又一其它例子的图。也可以如图27所示那样，通过选择在选择推荐度的显示形式的区域R1中设置的列表框L8，来在光学图像O1上叠加包含是否良好的判定结果的辅助图像A16。

在辅助图像A16中例如也可以包含边框A16a，该边框A16a包围通过按帧进行的是否良好判定被判定为“良好”的次数最多的精子。或者，也可以用边框A16a包围通过将被判定为“良好”的次数乘以VSL(直线速度)的值而计算出的值最大的精子。尤其在基于精子的形态特征来进行是否良好判定的情况下，精子的活力可能没有被充分考虑。因此，期望的是，基于通过将VSL乘以被判定为“良好”的次数而计算出的值来生成辅助图像。另外，为了考虑活力，也可以使辅助图像A16包含由边框A16a包围的精子的移动轨迹A16b。

通过如图27所示那样用边框仅包围获得最高评价的精子，用户能够一目了然地掌握应该关注的精子。

图28是示出辅助图像设定与能够从目镜101观察到的图像之间的关系的又一其它例子的图。图29和图30是用于说明条形显示的优点的图。也可以如图28所示那样，通过选择在选择推荐度的显示形式的区域R1中设置的列表框L8，将包含表示是否良好的判定结果的条的辅助图像A17叠加于光学图像O3上。即，也可以通过条形显示向用户呈现推荐度。

此外，图28所示的表示是否良好的判定结果的3个条分别通过长度来示出从已学习模型输出的“良好”、“不良”、“无法判定”的各分类的概率。

在如图29的模式P1所示那样使用表示概率的数值、边框的颜色来显示按帧进行的是否良好的判定结果的情况下，当概率按帧变化时，数值、颜色也按帧变化。当数值、颜色以短周期发生变化、如按帧变化等时，难以准确地读取它们的内容。与此相对，如果如模式P2所示那样是条形显示，则变化表现为长度的伸缩，因此即使长度以短周期发生变化，也能够容易地判断概率是高还是低。

另外，在如图30的模式P3所示那样使用边框的颜色来显示按帧进行的是否良好的判定结果的情况下，判定结果作为仅表示分类结果的简化的信息被呈现给用户。这样的显示非常简单，因此适合于从大量的精子中找到在显微授精中使用的良好精子的候选等用途。另一方面，用户无法识别是以何种程度的概率分类出的“良好”或“不良”。因此，用户不会注意到被分类为“良好”的精子为“不良”的可能性，即使在存在更好的选项的情况下，也无法进一步选择选项。另一方面，如果如图30的模式P4所示那样是条形显示，则能够注意到“良好”的概率与“不良”的概率没有大的差异。因此，即使判断为“良好”相对于判断为“不良”而言占优势，用户也能够不选择该精子而继续搜索更好的精子。因而，通过使用条形显示，用户能够可靠地选择良好的精子。

图31是用于说明与辅助图像的显示形式有关的期望的变更例的图。如上所述，使用边框的简单显示和条形显示分别具有优点，通过根据状况来区分使用，能够高效且可靠地选择良好的精子。具体地说，例如，在为图15的步骤S62的处理等从多个精子中选择良好的精子的情况下，可以如图31所示那样在光学图像O1上叠加包含用颜色表示各精子的是否良好的判定结果的边框的辅助图像A17。另外，例如，在为图15的步骤S64和步骤S65的处理等对不动的精子详细地进行观察的情况下，可以如图31所示那样在光学图像O2上叠加使用多个条来表示不动的精子是否良好的判定结果的辅助图像A22。

附图标记说明

1、2：显微镜系统；30：显示装置；100、400、500：显微镜；101：目镜；102、102a、102b、102c：物镜；103：成像透镜；111：载物台；143：摄影装置；153：投影装置；200：图像处理装置；201：处理器；202：存储装置；210：图像解析部；220：图像生成部；230：存储部；300：试样；401：显示装置；600：投影单元。

Claims (21)

1.一种显微镜系统，其特征在于，具备：

显微镜；

摄影装置，其获取放置于所述显微镜的载物台的含有精子的试样的摄影图像；

图像处理装置，其基于由所述摄影装置获取到的所述摄影图像来生成辅助图像，所述辅助图像包含有助于筛选精子的辅助信息；以及

叠加装置，其将由所述图像处理装置生成的所述辅助图像叠加于在所述显微镜的光路上的像面形成的所述试样的光学图像上。

2.根据权利要求1所述的显微镜系统，其特征在于，

所述图像处理装置具备：

图像解析部，其进行图像解析，所述图像解析包括针对所述摄影图像的以精子为对象的物体检测以及估计在所述物体检测中检测出的精子的推荐度的推荐度估计；以及

图像生成部，其基于所述图像解析的结果来生成所述辅助图像，

所述辅助信息包含基于所述推荐度估计的结果生成的与精子的推荐度有关的推荐度信息。

3.根据权利要求2所述的显微镜系统，其特征在于，

所述推荐度信息的至少一部分是基于规定期间内的所述推荐度估计的结果的历史记录来计算出的。

4.根据权利要求2或3所述的显微镜系统，其特征在于，

所述推荐度估计包括估计在所述物体检测中检测出的精子的DNA完整性即DNAintegrity的完整性估计，

所述推荐度信息包含基于所述完整性估计的结果生成的与精子的DNA完整性有关的完整性信息。

5.根据权利要求4所述的显微镜系统，其特征在于，

所述图像处理装置还具备存储部，所述存储部存储对相对于精子的形态的精子的DNA完整性进行了学习的已学习模型，

所述图像解析部使用所述存储部中存储的所述已学习模型来进行所述完整性估计。

6.根据权利要求5所述的显微镜系统，其特征在于，

所述已学习模型是通过将数据集用作训练数据的监督学习来调整了参数的已学习模型，所述数据集包含拍摄了染色前的精子的非染色图像、以及对所述非染色图像标注的、表示根据拍摄了染色后的精子的染色图像计算出的DNA完整性的标签。

7.根据权利要求4至6中的任一项所述的显微镜系统，其特征在于，

所述完整性信息包含表示精子的DNA完整性的DFI即DNA碎片指数以及与所述DFI相应的DFI等级中的至少一方。

8.根据权利要求7所述的显微镜系统，其特征在于，

所述DFI或所述DFI等级包括最新信息、平均信息以及最大信息中的至少两者。

9.根据权利要求2或3所述的显微镜系统，其特征在于，

所述推荐度估计包括质量估计，在所述质量估计中估计在所述物体检测中检测出的精子的形态和活力中的至少一方的质量，

所述推荐度信息包含基于所述质量估计的结果生成的与精子的形态质量和精子的活力质量中的至少一方有关的质量信息。

10.根据权利要求9所述的显微镜系统，其特征在于，

所述图像处理装置还具备存储部，所述存储部存储对相对于精子的形态和精子的活力中的至少一方的精子的质量进行了学习的已学习模型，

所述图像解析部使用所述存储部中存储的所述已学习模型来进行所述质量估计。

11.根据权利要求10所述的显微镜系统，其特征在于，

所述已学习模型是通过将数据集用作训练数据的监督学习来调整了参数的已学习模型，所述数据集包含拍摄了精子的参照图像、以及对所述参照图像标注的、表示胚胎培养者基于所述参照图像评价出的精子的质量的标签。

12.根据权利要求2至11中的任一项所述的显微镜系统，其特征在于，

所述推荐度信息具有与在所述推荐度估计中估计出的推荐度相应的形式。

13.根据权利要求12所述的显微镜系统，其特征在于，

所述推荐度信息具有与在所述推荐度估计中估计出的推荐度相应的颜色。

14.根据权利要求2至13中的任一项所述的显微镜系统，其特征在于，

所述辅助信息还包含基于所述物体检测的结果生成的与精子的位置有关的位置信息。

15.根据权利要求14所述的显微镜系统，其特征在于，

所述位置信息具有与在所述推荐度估计中估计出的推荐度相应的形式。

16.根据权利要求15所述的显微镜系统，其特征在于，

所述位置信息具有与在所述推荐度估计中估计出的推荐度相应的颜色。

17.根据权利要求2至16中的任一项所述的显微镜系统，其特征在于，

所述图像解析还包括以下处理：基于所述摄影图像来估计在精子筛选中应该进行的推荐操作，

所述显微镜系统还具备通知估计出的推荐操作的通知装置。

18.根据权利要求2至17中的任一项所述的显微镜系统，其特征在于，

所述推荐度信息至少包含一个以上的数值信息和一个以上的符号信息中的至少一方。

19.根据权利要求1至18中的任一项所述的显微镜系统，其特征在于，

所述显微镜是具备目镜的倒置显微镜。

20.一种投影单元，装设于显微镜来使用，所述投影单元的特征在于，具备：

图像处理装置，其基于放置于所述显微镜的载物台的含有精子的试样的摄影图像来生成辅助图像，所述辅助图像包含有助于筛选精子的辅助信息；以及

叠加装置，其将由所述图像处理装置生成的所述辅助图像叠加于在所述显微镜的光路上的像面形成的所述试样的光学图像上。

21.一种精子筛选辅助方法，其特征在于，

获取放置于显微镜的载物台的含有精子的试样的摄影图像，

基于获取到的所述摄影图像来生成辅助图像，所述辅助图像包含有助于筛选精子的辅助信息，

将生成的所述辅助图像叠加于在所述显微镜的光路上的像面形成的所述试样的光学图像上。

Images