CN116736512A - 显微镜系统、叠加单元以及动作方法 - Google Patents

Abstract

本发明提供一种显微镜系统、叠加单元以及动作方法。改善在显微镜下进行的作业的效率。显微镜系统具备：显微镜光学系统(110)，其包括目镜(106)，在目镜(106)的物体侧形成试样的光学像；控制装置，其基于与从幻灯片集所包括的已排序的多张幻灯片中选择出的对象幻灯片有关的信息，来生成辅助图像数据；以及作为叠加装置的投影仪(113)，其基于辅助图像数据，来将包含对象幻灯片的辅助图像叠加于形成光学像的像面。控制装置根据切换对象幻灯片的指示，选择按照多张幻灯片被排序的第一顺序决定出的幻灯片作为新的所述对象幻灯片。

Description

显微镜系统、叠加单元以及动作方法

技术领域

本说明书的公开涉及一种显微镜系统、叠加单元以及动作方法。

背景技术

即使在通过机器人等实现的作业自动化发展的现在，要求通过手动作业进行组装的产品也不少，例如医疗设备是其一例。关于如医疗设备那样的精密设备的组装，由于细致的作业也很多，因此大多在显微镜下进行，从而经常利用能够用双眼立体观察对象物的实体显微镜。

然而，为了在一边利用实体显微镜观察对象物一边进行组装作业的过程中确认操作手册，必须使眼睛暂时离开实体显微镜的目镜并将视线移至显示着操作手册的显示器等。然后，在确认后，重新从目镜窥视来继续进行组装作业，因此作业效率难以得到提升。

与这样的问题相关联的技术例如记载于专利文献1中。在专利文献1所记载的系统中，通过向显微镜的中间像位置投影图像，能够在从目镜窥视的状态下获得所需要的信息。

现有技术文献

专利文献

专利文献1：国际公开第2020/066041号公报

发明内容

发明要解决的问题

另外，在假定由多个工序构成的组装作业的情况下，期望在需要的时机适当地切换显示适当的信息，而不是始终显示特定的信息。

基于以上那样的实际情况，本发明的一个方面的目的在于提供一种改善在显微镜下进行的作业的效率的技术。

用于解决问题的方案

本发明的一个方式所涉及的显微镜系统具备：显微镜光学系统，其包括目镜，在所述目镜的物体侧形成试样的光学像；控制装置，其基于与从幻灯片集所包括的已排序的多张幻灯片中选择出的对象幻灯片有关的信息，来生成辅助图像数据；以及叠加装置，其基于所述辅助图像数据，将包含所述对象幻灯片的辅助图像叠加于形成所述光学像的像面。所述控制装置根据切换所述对象幻灯片的指示，选择按照所述多张幻灯片被排序的第一顺序决定出的幻灯片作为新的所述对象幻灯片。

本发明的一个方式所涉及的叠加单元安装于显微镜，所述显微镜具备在目镜的物体侧形成试样的光学像的显微镜光学系统，所述叠加单元具备：控制装置，其基于与从幻灯片集所包括的已排序的多张幻灯片中选择出的对象幻灯片有关的信息，来生成辅助图像数据；以及叠加装置，其基于所述辅助图像数据，将包含所述对象幻灯片的辅助图像叠加于形成所述光学像的像面。所述控制装置根据切换所述对象幻灯片的指示，选择按照所述多张幻灯片被排序的第一顺序决定出的幻灯片作为新的所述对象幻灯片。

本发明的一个方式所涉及的动作方法是对显微镜进行控制的控制装置的动作方法，所述显微镜具备在目镜的物体侧形成试样的光学像的显微镜光学系统、以及叠加装置，所述控制装置的动作方法包括：所述控制装置根据切换从幻灯片集所包括的已排序的多张幻灯片中选择出的对象幻灯片的指示，选择按照所述多张幻灯片被排序的第一顺序决定出的幻灯片作为新的所述对象幻灯片；所述控制装置基于与新的所述对象幻灯片有关的信息，来生成辅助图像数据；所述控制装置使所述叠加装置基于所述辅助图像数据将包含新的所述对象幻灯片的辅助图像叠加于形成所述光学像的像面。

发明的效果

根据上述方式，能够改善在显微镜下进行的作业的效率。

附图说明

图1是例示了本发明的一个实施方式所涉及的显微镜系统的图。

图2是例示了显微镜系统中包括的光学系统的结构的图。

图3是例示了幻灯片集的结构的图。

图4是显微镜系统进行的图像投影处理的流程图的一例。

图5是用于说明形成于像面的图像的结构的图。

图6是示出了显示于监视器的主画面的一例的图。

图7是示出了用于设定显微镜结构的画面的一例的图。

图8是示出了用于调整AR显示的画面的一例的图。

图9是用于说明AR显示的调整方法的图。

图10是示出了用于调整变焦传感器的画面的一例的图。

图11是示出了从目镜观察到的主画面的一例的图。

图12是组装作业辅助处理的流程图的一例。

图13是示出了从目镜观察到的叠加图像的一例的图。

图14是用于说明幻灯片的切换操作的图。

图15是示出了从目镜观察到的叠加图像的另一例的图。

图16是示出了从目镜观察到的叠加图像的又一例的图。

图17是示出了从目镜观察到的叠加图像的又一例的图。

图18是示出了从目镜观察到的叠加图像的又一例的图。

图19是示出了从目镜观察到的叠加图像的又一例的图。

图20是示出了从目镜观察到的叠加图像的又一例的图。

图21是示出了从目镜观察到的叠加图像的又一例的图。

图22是示出了从目镜观察到的叠加图像的又一例的图。

图23是示出了从目镜观察到的叠加图像的又一例的图。

图24是示出了从目镜观察到的叠加图像的又一例的图。

图25是示出了从目镜观察到的叠加图像的又一例的图。

图26是示出了从目镜观察到的叠加图像的又一例的图。

图27是示出了从目镜观察到的叠加图像的又一例的图。

图28是示出了从目镜观察到的叠加图像的又一例的图。

图29是示出了从目镜观察到的摄影画面的一例的图。

图30是示出了在监视器上观察到的摄影画面的一例的图。

图31是示出了记录用图像的一例的图。

图32是示出了记录用图像的另一例的图。

图33是示出了记录用图像的又一例的图。

图34是用于说明图像记录方法的图。

图35是例示了培训者远程进行指示的结构的图。

图36是幻灯片集制作处理的流程图的一例。

图37是示出了用于设定幻灯片文件的参数的画面的一例的图。

图38是示出了幻灯片设定画面的一例的图。

图39是例示了用于实现控制装置的计算机的硬件结构的图。

图40是示出了从目镜观察到的叠加图像的又一例的图。

图41是示出了从目镜观察到的叠加图像的又一例的图。

具体实施方式

图1是例示了本发明的一个实施方式所涉及的显微镜系统的图。图2是例示了显微镜系统中包括的光学系统的结构的图。图3是例示了幻灯片集的结构的图。图1所示的显微镜系统1通过使用预先准备的幻灯片集，在利用者从目镜106窥视的状态下进行的显微镜下的作业中，在需要的时机向利用者提供适当的信息。参照图1至图3对显微镜系统1的结构进行说明。

显微镜系统1具备显微镜100、控制装置200、监视器300、多个输入装置400(鼠标401、键盘402、脚踏开关403、条形码读取器404)以及网络摄像机(web camera)500。

显微镜100是能够立体观察试样的实体显微镜，具备图2所示的显微镜光学系统110。显微镜光学系统110是实体显微镜用的光学系统。利用者能够借助目镜106(目镜106a、目镜106b)用左眼和右眼观察显微镜光学系统110在目镜106的物体侧形成的光学像，从而能够立体地观察试样。因此，显微镜100例如适于精密设备的组装作业等用途。

显微镜100具备能够通过变焦手柄130来进行操作的变焦透镜102(变焦透镜102a、变焦透镜102b)。通过操作变焦手柄130，能够一边从目镜106窥视来继续进行试样的观察一边变更观察倍率。

显微镜100具备聚焦手柄140。通过操作聚焦手柄140，能够变更试样与物镜101之间的距离来使焦点对准试样。

显微镜100具备拍摄试样并获取试样的数字图像的摄像装置112。安装有目镜106的目镜镜筒120为三目镜筒，摄像装置112被安装于目镜镜筒120。在摄像装置112中设置有二维图像传感器。图像传感器没有特别限定，例如是CCD图像传感器、CMOS图像传感器等。摄像装置112所获取到的数字图像被输出到控制装置200。另外，数字图像也可以被直接输出到监视器300。

如图2所示，来自显微镜光学系统110的左右光路中的一个光路的由例如半透半反镜等分束器103a分支后的光经由成像透镜111入射到摄像装置112。此外，在另一个光路上设置有ND棱镜103b，以补偿由分束器103a产生的左右光路的光路长度差并且抑制光量差。

显微镜100具备投影仪113，该投影仪113向成像透镜105(成像透镜105a、成像透镜105b)形成光学像的像面投影辅助图像。投影仪113是按照来自控制装置200的命令将辅助图像投影并叠加于像面的装置。更具体地说，投影仪113基于后述的辅助图像数据来将辅助图像叠加于像面。此外，投影仪113的种类没有特别限定。也可以使用例如液晶设备、数字微镜设备来构成投影仪113。

投影仪113被设置在目镜镜筒120内。来自投影仪113的光经由投影透镜114和多个分束器(分束器115、分束器104a、分束器104b)被引导至显微镜光学系统110的左右光路。

此外，如图1所示，在目镜镜筒120设置有操作部121。利用者能够通过对操作部121进行操作，来进行使投影仪113在开启(ON)/关闭(OFF)之间切换而使辅助图像向像面的叠加开始或停止的指示。

控制装置200是控制显微镜100的装置。控制装置200生成上述的辅助图像数据并输出到显微镜100(投影仪113)。辅助图像数据是使用预先存储于控制装置200的、图3所例示的幻灯片集10生成的。

幻灯片集10由多张幻灯片(幻灯片11、幻灯片12、幻灯片13、幻灯片14、幻灯片15、幻灯片16)构成。幻灯片集10例如是辅助组装精密设备的信息，更具体地说，可以是组装作业的操作手册。此外，多张幻灯片的排列也是预先决定的。也就是说，幻灯片集10由预先被排序的多张幻灯片构成。

在各幻灯片中包含要作为辅助图像而投影到像面上的一个以上的内容。多张幻灯片分别是组装精密设备的各工序中的信息，更具体地说，可以是包含各工序中的作业内容、注意事项等的信息。

控制装置200基于与从幻灯片集10所包括的多张幻灯片中选择出的对象幻灯片有关的信息来生成辅助图像。在辅助图像中包含对象幻灯片。通过控制装置200适当地切换对象幻灯片，显微镜系统1能够切换向像面投影的辅助图像来向利用者提供适当的信息。

监视器300及输入装置400与控制装置200连接。监视器300例如为液晶显示器、有机EL显示器等。网络摄像机500将所摄影到的图像经由例如因特网等网络发送到控制装置200。网络摄像机500例如对利用显微镜系统1的利用者进行摄影。

如以上那样构成的显微镜系统1进行图4所示的图像投影处理。图4是显微镜系统进行的图像投影处理的流程图的一例。图5是用于说明形成于像面的图像的结构的图。下面，参照图4和图5对显微镜系统1进行的图像投影处理进行说明。

首先，显微镜系统1将试样的光学像投影于像面(步骤S1)。在此，成像透镜105将物镜101所捕获的来自试样的光会聚于像面，形成试样的光学像。由此，例如图5的光学像A1被投影到像面上。

接着，显微镜系统1选择对象幻灯片(步骤S2)。在此，控制装置200从幻灯片集10中选择对象幻灯片。如果是在图4所示的图像投影处理刚开始之后，则控制装置200可以从幻灯片集10所包括的已排序的多张幻灯片中选择例如第一张幻灯片11作为对象幻灯片。另外，当检测到切换对象幻灯片的指示时，如果该指示是切换至下一幻灯片的指示，则控制装置200可以将下一幻灯片(例如幻灯片12)选择为新的对象幻灯片，如果该指示是切换至前一幻灯片的指示，则控制装置200可以将前一幻灯片(例如幻灯片16)选择为新的对象幻灯片。即，控制装置200根据切换对象幻灯片的指示，来选择按照多张幻灯片被排序的顺序决定出的幻灯片作为新的对象幻灯片。

切换对象幻灯片的指示例如可以是利用者使用输入装置向控制装置200输入的指示。另外，切换对象幻灯片的指示例如也可以是由控制装置200自身生成的指示。

控制装置200例如也可以基于由计时器测量出的经过时间来生成切换指示。另外，控制装置200也可以基于由摄像装置112拍摄到的图像的解析结果来生成切换指示。在该情况下，控制装置200也可以选择按照由摄像装置112拍摄到的图像的解析结果决定出的幻灯片作为新的对象幻灯片。另外，控制装置200例如也可以基于经由网络摄像机500识别出的利用者的手势来生成切换指示。

当选择出对象幻灯片时，显微镜系统1生成辅助图像数据(步骤S3)。在此，控制装置200基于与在步骤S2中选择出的对象幻灯片有关的信息来生成辅助图像数据。例如，如果是图3所示的幻灯片11被选择为对象幻灯片的情况，则基于对象幻灯片中包含的内容的种类(长方形的量规)、内容的尺寸(宽度、高度)、内容的位置(坐标)、其它选项(尺寸显示的有无)等信息，来生成与图5的包含对象幻灯片(幻灯片11)的辅助图像B1对应的辅助图像数据。

最后，显微镜系统1将辅助图像投影于像面(步骤S4)。在此，控制装置200将在步骤S3中生成的辅助图像数据输出到显微镜100，显微镜100的投影仪113基于从控制装置200输出的辅助图像数据来将辅助图像B1投影于像面。由此，如图5所示，在形成有光学像A1的像面上叠加辅助图像B1，形成光学像A1与辅助图像B1叠加而成的叠加图像C1。

像这样，在显微镜系统1中，将从预先准备的幻灯片集中选择出的幻灯片作为辅助图像投影于形成有光学像的像面。另外，投影于像面的幻灯片根据切换指示而按照预先决定的顺序进行切换。因此，即使在正在进行组装作业等每个工序所需要的信息不同的作业的情况下，利用者也能够通过切换幻灯片，来一边不使眼睛离开目镜106地观察试样的光学像一边获得与作业工序相应的信息。由此，能够不在目镜106与监视器300之间频繁地移动视线地进行组装作业等一系列的作业。因而，根据显微镜系统1，能够大幅地改善利用者在显微镜下进行的作业的效率。

下面，更具体地说明显微镜系统1提供的、用于辅助在显微镜下进行的组装作业的软件应用(以后表述为作业辅助应用。)的功能。图6是示出了显示于监视器的主画面的一例的图。在显微镜系统1中，通过控制装置200执行规定的程序，来启动作业辅助应用，并在监视器300显示图6所示的窗口W1。

在作业辅助应用刚启动之后，在窗口W1内，以选择了主页标签的状态显示了图6所示的主画面。在主画面中，利用者能够选择辅助组装作业的作业模式、用于接受培训者指导的培训模式、以及制作在组装作业中使用的操作手册的操作手册模式。

并且，也能够通过选择设置标签来进行各种设定的调整。下面，参照图7至图10，对用于使作业辅助应用适当地进行动作的各种设定进行说明。

图7是示出了用于设定显微镜结构的画面的一例的图。图8是示出了用于调整AR显示的画面的一例的图。图9是用于说明AR显示的调整方法的图。图10是示出了用于调整变焦传感器的画面的一例的图。

当选择设置标签内的显微镜结构标签时，显示图7所示的画面。利用者按照图7所示的画面中显示的操作步骤，与显微镜100的结构匹配地分别对变焦镜体、物镜、中间镜筒、摄像机适配器、摄像机从下拉列表中选择，由此能够使控制装置200正确地识别显微镜100的结构。由此，控制装置200例如也能够识别成为显微镜光学系统110的基准的倍率(除变焦倍率以外的倍率)。

当选择设置标签内的AR显示调整标签时，显示图8所示的画面。利用者能够通过按照图8所示的画面中显示的操作步骤对AR显示进行调整，来使AR显示的位置与由摄像装置112获取到的数字图像上的位置一致。由此，控制装置200能够使AR、也就是辅助图像中包含的幻灯片的各内容正确地显示于通过数字图像识别出的位置。

此外，AR显示调整的具体的操作步骤如下。利用者首先(1)将调整用的样本配置于载物台，(2)从目镜106进行窥视。在AR显示调整期间，包含由摄像装置112获取到的数字图像的辅助图像B2被投影仪113投影于像面。因此，利用者能够经由目镜106确认图9所示那样的叠加图像C2。叠加图像C2是调整用的样本的光学像A2与辅助图像B2叠加而成的图像。在辅助图像B2中包含调整用的样本的数字图像(内容B2a)和调整用菜单(内容B2b)。

之后，利用者(3)以使AR显示与调整用的样本重叠的方式进行调整。具体地说，通过操作调整用菜单来调整数字图像的投影位置、角度、大小，从而使样本的数字图像与样本的光学像在像面上完全一致。当调整顺利完成时，利用者(4)按下登记按钮。由此，用于基于调整后的显示位置(X，Y)、角度、大小的信息来将辅助图像适当地投影于像面的设定信息被记录到控制装置200。具体地说，该设定信息是用于将摄像装置112的像素位置变换为投影仪113的像素位置的变换表达式。根据上述的调整后的显示位置、角度、大小的信息计算该变换表达式。在图8和图9中，以包含上述的三个要素的例子进行了说明，但变换表达式只要包含大小(缩放)、旋转、平移、失真系数的要素中的至少一个以上的要素即可。

当选择设置标签内的变焦传感器调整标签时，显示图10所示的画面。能够通过利用者按照图10所示的画面中显示的操作步骤调整变焦传感器，来使控制装置200正确地识别变焦透镜102的设定。由此，控制装置200能够经由变焦传感器来正确地识别通过操作变焦手柄130进行变更后的变焦倍率，因此能够根据显微镜光学系统110的基准倍率和变焦倍率来正确地识别显微镜光学系统110的当前的倍率。

此外，变焦传感器调整的具体的操作步骤如下。利用者(1)操作变焦手柄130来使变焦旋钮对准各档位(0.8×、2.0×、3.2×、4.0×、5.6×)，之后按下获取按钮。由此，控制装置200从变焦传感器获取在各倍率下产生的传感器信息。接着，利用者(2)指示实施调整。在此，控制装置200基于在(1)中获取到的传感器信息和对应的变焦倍率的信息，来更新表示从变焦传感器输出的传感器信息与变焦倍率之间的关系的信息。最后，利用者(3)确认调整结果。在此，将变焦旋钮转动到任意的位置，确认旋钮所指的变焦倍率与显示于画面的倍率传感器值是否一致。

接着，对作业辅助应用的作业模式进行说明。图11是示出了从目镜观察到的主画面的一例的图。图12是组装作业辅助处理的流程图的一例。

作业模式是通过利用者在图6所示的显示于监视器300的主画面上按下组装作业的开始按钮而开始的。另外，通过利用者使用输入装置400进行规定的操作(例如按下分配键)，从而投影仪113将图11所示的辅助图像B3投影于像面，菜单画面被显示于视野内。作业模式也可以通过利用者在从目镜106观察到的菜单画面(辅助图像B3)上选择“打开”而开始。当作业模式开始时，控制装置200开始图12所示的组装作业辅助处理。

首先，控制装置200读取幻灯片文件(步骤S11)。更详细地说，控制装置200读取利用者使用输入装置400选择的幻灯片文件。幻灯片文件是记录有幻灯片集的信息的文件，在后述的操作手册模式中被制作和编辑。

典型的是，通过利用者点击文件夹内的幻灯片文件的图标来进行幻灯片文件的选择，但选择方法不限于这样的方法。例如，也可以是，条形码读取器404从条形码获取幻灯片集的识别信息(例如，幻灯片文件的路径)，控制装置200基于条形码读取器404所获取到的识别信息，读取幻灯片文件来获取幻灯片集。也就是说，条形码读取器404是获取幻灯片集的识别信息的获取装置的一例，控制装置200也可以基于由获取装置获取到的识别信息来获取幻灯片集。

获取幻灯片集的识别信息的获取装置不限于条形码读取器404那样的一维码读取器，也可以是QR码读取器(QR码为注册商标)那样的二维码读取器，还可以是RF(RadioFrequency：射频)标签读取器。并且，也可以从摄像装置112所获取到的数字图像中检测例如二维码来获取识别信息。即，获取装置可以包括一维码读取器、二维码读取器、RF标签读取器、摄像装置中的至少一者。

当读取幻灯片文件时，控制装置200将最前面的幻灯片选择为对象幻灯片(步骤S12)。更详细地说，控制装置200从与在步骤S1中所选择的幻灯片文件对应的幻灯片集所包括的已排序的多张幻灯片中，选择最前面的幻灯片作为对象幻灯片。

接着，控制装置200生成辅助图像数据(步骤S13)。更详细地说，控制装置200基于与在步骤S12中选择出的对象幻灯片(最前面的幻灯片)有关的信息，来生成辅助图像数据。

此外，在根据观察倍率来变更投影到像面上的辅助图像的尺寸的情况下，控制装置200也可以基于与对象幻灯片有关的信息以及显微镜光学系统110的倍率信息来生成辅助图像数据。由于预先进行了上述的变焦传感器的调整，因此控制装置200能够针对显微镜光学系统110的倍率信息容易地获取准确信息。

当生成辅助图像数据时，控制装置200以将辅助图像叠加于像面的方式控制作为叠加装置的投影仪113(步骤S14)。如果是组装作业的整个流程等以文本形式逐条记录于最前面的幻灯片的情况，则例如在像面形成如图13所示那样的、由文本内容构成的辅助图像B4叠加于光学像A1而成的叠加图像C4。由此，利用者能够通过显示于视野内的辅助图像B4来在组装作业的初期阶段一眼确认将要进行的作业的内容。此外，图13是示出了从目镜观察到的叠加图像的一例的图。

之后，控制装置200判定是否检测到切换指示(步骤S15)。切换指示例如能够由利用者使用输入装置400向控制装置200进行输入。图14是用于说明幻灯片的切换操作的图。例如，也可以通过按下如图14所示的设置在变焦手柄130的开关(开关131、开关132)来向控制装置200输入切换指示。可以通过按下开关131来向控制装置200输入切换至下一幻灯片的指示，可以通过按下开关132来向控制装置200输入切换至前一幻灯片的指示。

也可以通过旋转鼠标401的滚轮来向控制装置200输入切换指示。可以通过使滚轮向跟前旋转来向控制装置200输入切换至下一幻灯片的指示，可以通过使滚轮向远后方旋转来向控制装置200输入切换至前一幻灯片的指示。另外，也可以通过按下键盘402的快捷键来向控制装置200输入切换指示。并且，也可以通过压下脚踏开关403来向控制装置200输入切换指示。可以通过踩踏脚踏开关403的右侧区域来向控制装置200输入切换至下一幻灯片的指示，可以通过踩踏脚踏开关403的左侧区域来向控制装置200输入切换至前一幻灯片的指示。还可以通过声音来指示幻灯片的切换，未图示的麦克风可以作为输入切换指示的输入装置发挥功能。即，输入切换指示的输入装置可以包括鼠标、键盘、设置于手柄的开关、脚踏开关、麦克风中的至少一者。期望输入切换指示的输入装置是能够通过利用者能够在从目镜106窥视的状态下进行的简单的一个操作来指示切换的装置。

当检测到切换指示时(步骤S15：“是”)，控制装置200选择新的对象幻灯片(步骤S16)。在此，控制装置200当检测到切换至下一幻灯片的指示时，从在步骤S11中获取到的幻灯片集所包括的多张幻灯片中，按照该多张幻灯片的顺序选择当前的对象幻灯片的下一幻灯片作为对象幻灯片。同样地，控制装置200当检测到切换至前一幻灯片的指示时，从多张幻灯片中，按照该多张幻灯片的顺序选择当前的对象幻灯片的前一幻灯片作为对象幻灯片。

之后，控制装置200再次执行步骤S13和步骤S14的处理。如果是在新的对象幻灯片中以文本形式记载有接下来进行的工序中的作业方面的注意事项等的情况，则例如图15所示那样的、在光学像A1上叠加由文本内容构成的辅助图像B5而成的叠加图像C5被形成于像面。由此，能够使利用者在即将进行作业之前确认作业中的注意事项，因此能够期待减少作业中产生的人为错误的效果。此外，图15是示出从目镜观察到的叠加图像的一例的图。

控制装置200根据切换指示的输入，重复执行步骤S13至步骤S16的处理。由此，例如，将幻灯片集中包括的多张幻灯片按顺序投影到像面上，并在需要的时机向利用者提供应提供的信息。另外，即使在利用者重新进行作业的情况下，幻灯片也会被倒回，来向利用者提供适当的信息。

图16至图28是示出了从目镜观察到的叠加图像的另一例的图。下面，参照图16至图28来对利用者一边切换幻灯片一边进行的组装作业的一例进行说明。

在图13和图15中例示了包含文本内容的幻灯片被选择为对象幻灯片的情况，但在幻灯片中也可以包含方形、圆形、直线等图形内容。在图16中示出了包含四角形图形的内容B6a和圆形图形的内容B6b的辅助图像B6被投影到像面上的例子。例如，辅助图像B6也可以利用于试样的位置对准。利用者也可以一边观察光学像A1与辅助图像B6叠加而成的叠加图像C6，一边移动载物台以使辅助图像B6中包含的内容与试样内的规定的构造重叠。

当使用辅助图像B6的位置对准完成时，利用者可以指示切换幻灯片，来检查试样中的特定构造的尺寸是否符合规格。例如，在图17中示出了在像面形成有包含长方形的量规内容的辅助图像B7与光学像A1叠加而成的叠加图像C7的例子。如图17所示，在量规内容中可以包含纵向和横向的尺寸显示。量规内容被预先制作为与规格一致的大小。利用者可以通过将辅助图像B7中包含的量规内容与光学像中出现的试样的特定构造进行比较，来检查特定构造的尺寸是否符合规格。

利用者也可以在检查期间操作变焦手柄130来变更观察倍率。也可以通过以更高的倍率进行观察，来慎重地检查试样的特定构造是否符合规格。在图18中例示了以比光学像A1高的倍率放大后的试样的光学像A8与辅助图像B8叠加而成的叠加图像C8。辅助图像B8包含与光学像A8一致地放大后的量规内容(内容B8a)。

另外，也可以如图18所示，在辅助图像B8中，除了包含量规内容(内容B8a)以外，还包含表示显微镜100的当前的倍率的设定信息作为文本内容(内容B8b)。此外，在图18中，示出了在辅助图像B8中包含显微镜100的综合倍率和变焦倍率的例子，但也可以仅包含它们中的一方。另外，也可以将影响综合倍率的各光学系统的倍率(例如物镜的倍率、变焦倍率、中间镜筒的倍率、目镜的倍率等)分别投影到像面上。由此，能够一边观察作业一边识别设定倍率。特别是，通过将如变焦倍率那样的一边从目镜窥视一边进行调整的倍率显示为辅助图像，由此不再需要仅为了确认倍率而使眼睛离开目镜，因此对作业效率的改善有很大贡献。此外，设定信息例如也可以在变更倍率的操作后等规定的时机显示。另外，设定信息不限于与倍率有关的信息，也可以是与显微镜100的当前的任意的设定有关的信息。例如，也可以将物镜的种类、滤光器的设定等作为设定信息包含在辅助图像中。

关于像这样的包含与变焦倍率相应的大小的内容的辅助图像的投影，能够通过控制装置200基于显微镜光学系统110的倍率信息以及与对象幻灯片有关的信息生成辅助图像数据来实现。更详细地说，控制装置200以使对象幻灯片所包含的一个以上的内容中的规定的内容以与倍率信息相应的大小包含于辅助图像的方式生成辅助图像数据即可。规定的内容是第一分类的内容，例如除了上述的量规以外，还是分划板等。量规、分划板被使用于尺寸测量，因此期望以根据观察倍率变更大小的方式进行投影。

另一方面，控制装置200以使对象幻灯片所包含的一个以上的内容中的除规定的内容以外的内容以预先决定的大小包含于辅助图像的方式生成辅助图像数据即可。除规定的内容以外的内容是第二分类的内容，例如是文本内容等。期望与观察倍率无关而相对于视野数以一定的比率、即以一定的大小显示文本。

期望控制装置200基于例如内容的种类的信息，将幻灯片所包含的内容分类为第一分类的内容或第二分类的内容，并以根据分类结果而尺寸不同的方式生成辅助图像数据。此外，作为内容的种类，列举有笔、图形、文本、静止图像、运动图像、量规、分划板、图像解析结果、计时器、仪表板、外部设备信息、测量用内容等。

在图19中示出了在像面形成有包含十字形的分划板内容的辅助图像B9与光学像A1叠加而成的叠加图像C9的例子。分划板内容也与量规内容同样是第一分类的内容，以根据变焦倍率进行放大和缩小的方式进行投影。利用者也可以通过切换幻灯片来变更辅助图像B9被投影的状态，通过利用辅助图像B9所包含的分划板的刻度识别特定构造的尺寸，来对试样进行检查。

在图20中示出了在像面形成有包含文本内容(内容B10a)、线测量用内容(内容B10b)及文本内容(内容B10c)的辅助图像B10与光学像A1叠加而成的叠加图像C10的例子。利用者也可以通过切换幻灯片来变更辅助图像B10被投影的状态，测量规定的构造的尺寸来判断检查合格与否。如图20所示，利用者可以通过用鼠标401等输入装置指定应测量的范围来指示测量，控制装置200可以使投影仪113将包含测量结果的辅助图像B10投影到像面上。能够通过控制装置200除了基于显微镜光学系统110的倍率信息以及与对象幻灯片有关的信息以外、还基于利用者所输入的位置信息生成辅助图像数据来实现这样的动态显示。此外，不限于线测量用内容，也可以在辅助图像中包含面测量用内容。另外，作为文本内容显示的设定信息(倍率)对于将倍率指定为测量时的必要条件的情况特别有效。通过在辅助图像中包含倍率，利用者不使眼睛离开目镜就能够确认满足文本内容中所指定的倍率必要条件，并输入测量指示。

另外，在幻灯片中也可以包含静止图像、运动图像作为内容。在图21中示出了在像面形成有包含静止图像的辅助图像B11与光学像A11叠加而成的叠加图像C11的例子。利用者也可以一边通过静止图像确认正确地进行了作业之后的试样的状态、也就是样品一边进行作业。在图22中示出了在像面形成有包含运动图像的辅助图像B12与光学像A11叠加而成的叠加图像C12的例子。利用者也可以一边通过运动图像确认正确的作业过程一边进行作业。

另外，作为辅助图像显示于像面上的图像也可以是由网络摄像机500实时地拍摄的图像。由此，利用者能够一边确认显微(micro)图像(样本的光学像)以及由网络摄像机500拍摄显微镜100的周边、利用者的手边等所得到的微距(macro)图像(辅助图像)这两者，一边进行作业。在图23中示出了在像面形成有辅助图像B121与光学像A11叠加而成的叠加图像C121的例子，该辅助图像B121包含由网络摄像机500拍摄放置于显微镜100的周边的工具所得到的图像。另外，在图24中示出了在像面形成有辅助图像B122与光学像A11叠加而成的叠加图像C122的例子，该辅助图像B122包含由网络摄像机500同时拍摄作业区域及放置于其周边的工具所得到的图像。如图23、图24所示，通过事先将周边的工具作为辅助图像而映现出，能够顺畅地换拿工具等。

另外，在幻灯片中也可以包含计时器、其它传感器的信息作为内容。在图25中示出了在像面形成有辅助图像B13与光学像A11叠加而成的叠加图像C13的例子，该辅助图像B13包含静止图像(内容B13a)和从作业开始起的经过时间(内容B13b)。利用者可以一边通过内容B13b确认经过时间来确认是否花费了太多时间一边进行作业。在图26中示出了在像面形成有辅助图像B14与光学像A11叠加而成的叠加图像C14的例子，该辅助图像B14包含静止图像(内容B14a)和由未图示的温度计测定出的作业区域的温度(内容B14b)。利用者可以一边通过内容B14b确认作业区域的温度是否处于适当的范围内一边进行作业。

在最后一张幻灯片中可以包含表示作业结果的文本内容。在图27中示出了在像面形成有包含文本内容的辅助图像B15与光学像A11叠加而成的叠加图像C15的例子。利用者也可以通过辅助图像B15来确认组装作业的进展、成果。此外，控制装置200可以通过与其它装置通信来收集信息，由此生成与辅助图像B15对应的辅助图像数据。

此外，控制装置200以使利用者所选择的幻灯片集中包括的多张幻灯片按照根据切换指示所决定的顺序进行显示的方式控制投影仪113，但也可以是，以通过中断来显示特定的幻灯片的方式控制投影仪113。例如，在利用者负责的生产线停工的情况下，显微镜系统1也可以通过辅助图像来报告这样的信息。在图28中示出了在像面形成有包含表示生产线的状态的仪表板内容的辅助图像B16与光学像A11叠加而成的叠加图像C16的例子。利用者可以通过辅助图像B16来确认生产线的状态。

图29是示出从目镜观察到的摄影画面的一例的图。图30是示出了通过监视器观察到的摄影画面的一例的图。图31至图33是例示了记录用图像的图。图34是用于说明图像记录方法的图。下面，参照图29至图34来说明包含图像的作业记录的制作方法。

利用者在组装作业时，可以指示试样的摄影、录像，也可以在控制装置200中记录静止图像、运动图像作为作业的证据。利用者也可以一边从目镜106窥视一边输入摄影或录像的指示。例如，当在图11所示的主画面上按下摄像机按钮时，图29所示的辅助图像B17被投影到像面上，并显示摄影画面。利用者可以一边观看图29所示的辅助图像B17内的实时图像一边输入摄影指示。实时图像例如通过摄像装置112获取即可。通过一边确认实时图像一边输入摄影指示，能够在摄影前进行焦点的调整、明亮度的调整等。

此外，摄影指示也可以是从图30所示的显示于监视器300的窗口W2输入的。在图30中示出了在表示显微镜100的视野的视野标记FV内显示有由摄像装置112获取到的实时图像LV和投影到像面上的辅助图像(内容B10a、内容B10b)的情形。利用者也可以从窗口W2输入摄影指示。

当检测到摄影指示或录像指示时(步骤S17：“是”)，控制装置200控制摄像装置112来执行摄影或录像(步骤S18)。在此，控制装置200将摄像装置112拍摄到的试样的数字图像(摄像图像)与拍摄时投影到像面上的辅助图像相关联地记录到记录装置中。此外，记录装置可以设置在控制装置内，也可以设置在处于网络上的服务器上。

例如，如图31所示，控制装置200可以制作将摄像图像D1与辅助图像E1合成得到的记录用图像F1并记录到记录装置中。另外，控制装置200也可以将摄像图像D1和辅助图像E1分别记录为不同的文件，并另外记录将摄像图像D1与辅助图像E1进行关联的信息。在辅助图像E1只有一部分进入到了摄像装置112的视野内的情况下，也可以仅截取进入到了视野内的部分后记录辅助图像E1。

在图31中，以摄像装置112的视野比显微镜光学系统110的视野窄的情况为例说明了记录用图像的结构。在摄像装置112的视野比显微镜光学系统110的视野宽的情况下，也可以如图32所示，控制装置200制作除了摄像图像D2和辅助图像E2以外还合成表示显微镜光学系统110的视野的视野标记FV得到的记录用图像F2并记录到记录装置中。控制装置200也可以将摄像图像D2、辅助图像E2以及视野标记FV分别记录为不同的文件，并另外记录将摄像图像D2、辅助图像E2以及视野标记FV进行关联的信息。

另外，也可以如图33所示，控制装置200制作除了摄像图像D2、辅助图像E2以及视野标记FV以外还合成注释图像H3得到的记录用图像F3的图像数据并记录到记录装置中。使用根据利用者使用输入装置400输入的绘制指示制作出的注释图像数据来投影注释图像H3。在这一点上，注释图像H3与基于幻灯片的辅助图像E2不同。但是，在基于由控制装置200生成的图像数据而被投影仪113叠加于像面这一点上，注释图像H3与辅助图像E2是同样的。

利用者也可以一边从目镜106窥视一边输入绘制指示。例如，也可以通过在图11所示的主画面上按下笔按钮，来在像面上绘制文字、图形等。另外，也可以在图30所示的窗口W2上追加文字、图形等。在该情况下，当用笔在实时图像LV上写入文字作为内容时，内容被投影到光学像上的与实时图像LV上的放置该内容的位置一致的位置。内容除了用笔记载的文字等以外，也可以是线、箭头、四角形、圆形等图形，还可以是文本、图像(静止图像、运动图像)等。利用者能够利用这样的绘制功能来针对作业结果留下笔记或评论。控制装置200可以将摄像图像D2、辅助图像E2以及注释图像H3分别记录为不同的文件，并另外记录将摄像图像D2、辅助图像E2以及注释图像H3进行关联的信息。

并且，也可以如图34所示，控制装置200将由网络摄像机500拍摄到的图像G4与记录图像F4相关联地记录到记录装置中。通过将图像G4与记录图像F4相关联地进行记录，还能够在记录中留下利用者作业时的样子。图像G4和记录图像F4也可以记录为一个图像。

此外，上面示出了在组装作业的最后获取记录图像并利用为利用者所进行的作业的证据的例子，但也可以在组装作业的中途获取作业记录，还可以在作业期间的任意的时刻多次获取作业记录。另外，作为记录图像例示了静止图像，但记录图像也可以是运动图像，控制装置200也可以将从作业开始到作业结束为止记录为运动图像。例如，也可以将图34所示的图像G4和记录图像F4记录为运动图像，并且合成为一张图像进行记录。由此，能够以相同的时间轴同时再现图像G4和记录图像F4，能够容易地识别显微镜下的作业内容与利用者的样子的关系。因而，作业的分析也变得容易。另外，在记录运动图像的情况下，也可以对运动图像写入与作为辅助图像再现的幻灯片的页联动的章节信息。由此在之后确认运动图像时提高检索性。

另外，作业记录不限于图像，也可以是其它信息。作为作业记录，控制装置200也可以将不投影到像面上的信息、例如显微镜系统1的设定信息作为元信息来与图像一起进行记录。另外，控制装置200也可以将声音数据、显微镜系统1的操作日志等记录为作业记录。除此之外，控制装置200也可以将从时间服务器获取到的时刻信息、在登陆作业辅助应用时所使用的用户名等信息记录为作业记录，还可以将用于识别试样的信息(部件名、序列号)等记录为作业记录。作业记录不限于利用者明确地指示了记录的情况，也可以是控制装置200自动地进行记录。

当在摄影指示后输入结束指示时(步骤S19：“是”)，控制装置200结束图12所示的组装作业辅助处理。

通过显微镜系统1执行图12所示的组装作业辅助处理，利用者能够根据作业工序适当地切换幻灯片。因此，无需使眼睛离开目镜106，就能够在需要的时机得到所需要的信息。因而，根据显微镜系统1，能够大幅地提高利用者的作业的效率。

接着，对作业辅助应用的培训模式进行说明。培训模式是通过利用者在图6所示的显示于监视器300的主画面上按下培训的开始按钮而开始的。在培训模式中，利用为了培训而制作出的幻灯片文件这一点与作业模式不同，但其它方面与作业模式相同。因而，在培训模式中，控制装置200也执行图12所示的组装作业辅助处理。

在培训模式中，从目镜106窥视来进行作业的受训者和一边观看显示于监视器300的图像一边对受训者给予指示的培训者利用显微镜系统1。培训者能够通过利用作业模式中为了制作证据而使用的绘制功能使投影仪113投影注释图像，来实时地对受训者给予指示。

此外，培训者也可以远程地向受训者给予指示，来代替使用输入装置400操作控制装置200向受训者给予指示。图35是例示了培训者远程进行指示的结构的图。如图35所示，培训者可以从经由因特网等网络与显微镜系统1连接的远程终端(远程终端601和远程终端602)访问显微镜系统1。例如，培训者也可以利用远程桌面功能等从远程终端访问控制装置200，来直接操作控制装置200，从而对受训者给予指示。另外，也可以通过在远程终端中安装作业辅助应用，来从远程终端对受训者给予指示。

图36是幻灯片集制作处理的流程图的一例。图37是示出了对幻灯片文件的参数进行设定的画面的一例的图。图38是示出了幻灯片设定画面的一例的图。下面，参照图36至图38来对作业辅助应用的操作手册模式进行说明。

操作手册模式是通过利用者在图6所示的显示于监视器300的主画面上按下操作手册制作的新建按钮或编辑按钮而开始的。当按下新建按钮而开始操作手册模式时，控制装置200开始图36所示的幻灯片集制作处理。

首先，控制装置200制作新的幻灯片文件(步骤S21)。当制作幻灯片文件时，控制装置200按照来自利用者的输入来设定幻灯片文件的参数(步骤S22)。利用者例如能够通过在图37所示的窗口W3内进行幻灯片的追加删除来指定幻灯片张数。另外，能够通过调换幻灯片来指定这些幻灯片的顺序。

在设定幻灯片文件的参数之后，控制装置200按照来自利用者的输入，来逐张地修缮幻灯片。具体地说，控制装置200对每张幻灯片重复进行背景的设定(步骤S23)、内容的配置以及内容参数的设定(步骤S24)。

在步骤S23中，控制装置200对利用者从图38所示的窗口W3的区域20选择的幻灯片设定背景。具体地说，当利用者按下区域30的按钮31时，控制装置200不对该幻灯片的背景进行任何设定。当利用者按下按钮32时，控制装置200将由摄像装置112获取的实时图像设定为该幻灯片的背景。当利用者按下按钮33时，控制装置200将预先获取到的运动图像设定为该幻灯片的背景。当利用者按下按钮34时，控制装置200将预先获取到的静止图像设定为该幻灯片的背景。在图38中，示出了如下的情形：利用者按下了按钮34，其结果是，预先获取到的静止图像被显示于用于显示在区域20中被选择的幻灯片的区域40中。

将实时图像设定为背景在以下情况中特别优选：在操作手册模式中制作幻灯片集时能够准备在作业模式中使用的试样。通过一边将实际在作业模式中使用的试样显示为实时图像一边制作幻灯片，能够在步骤S24中与试样相配合地以适当的位置、大小配置内容。

另外，将静止图像、运动图像设定为背景在以下情况中特别优选：在操作手册模式中制作幻灯片集时不能准备在作业模式中使用的试样。即使在不能准备试样的情况下，通过将预先对该试样进行拍摄得到的静止图像、运动图像作为背景来制作幻灯片，也能够在步骤S24中与试样相配合地以适当的位置、大小配置内容。

此外，在步骤S23中设定的背景是为了使利用者容易地进行步骤S24的内容的配置以及设定的作业而利用的。也就是说，仅用于幻灯片的制作和编辑，在作业模式中投影的辅助图像中不显示此处设定的背景。

在步骤S24中，控制装置200对在步骤S23中被设定了背景的幻灯片配置内容，并设定该内容的参数。具体地说，控制装置200按照来自利用者的输入，对幻灯片配置内容，并将该内容嵌入为幻灯片的构成要素。

能够在区域50中选择对幻灯片配置的内容的种类。当从区域50选择了内容的种类时，能够从区域60进一步选择属于该内容的进一步细分化的内容(也称为对象数据(object))。

例如，当在区域50中选择图形内容时，例如能够从区域60中选择线、箭头、四角形、圆形、文本、图像(静止图像)、视频(运动图像)等内容。另外，当在区域50中选择了量规内容时，能够从区域60中选择例如直线量规、长方形量规、圆形量规等内容。另外，当在区域50中选择了分划板内容时，能够从区域60中选择例如十字分划板、网格分划板等内容。在图38中示出了如下情形：利用者在区域50中选择了量规内容并且在区域60中选择了长方形量规，其结果是，长方形量规作为内容被配置于用于显示在区域20中被选择的幻灯片的区域40中。

内容的参数能够在区域70中设定。作为内容的参数，能够设定高度、宽度、旋转(朝向)、纵向位置、横向位置等。另外，在量规、分划板的情况下，是否显示长度也能够作为参数进行设定。此外，内容的参数也可以通过在区域40中使内容移动或放大缩小等来进行设定。此外，各内容的参数不限于此处例示的参数。各内容也可以包含例如颜色、线宽、线类型等其它参数。

当对所有的幻灯片结束步骤S23和步骤S24的处理时(步骤S25)，控制装置200保存幻灯片文件(步骤S26)，结束图36的幻灯片集制作处理。像这样，在显微镜系统1中，控制装置200根据对显示于作为显示装置的监视器300的制作画面进行的操作，来制作新的幻灯片集。

此外，在图36中，对制作新的幻灯片集的处理进行了说明，但对幻灯片集进行编辑的处理也与图36所示的处理基本相同。在编辑幻灯片文件的情况下，在步骤S21中，在区域20，代替新建幻灯片文件而读取已有的幻灯片文件，并执行之后的处理。也就是说，在显微镜系统1中，控制装置200根据对显示于作为显示装置的监视器300的编辑画面进行的操作，来对已有的幻灯片集进行编辑。

如上所述，根据显微镜系统1，通过利用操作手册模式，利用者能够自由地制作并编辑用作操作手册的幻灯片集。通过使用在操作手册模式中制作出的将利用者所需要的信息按照所需要的顺序排列而成的幻灯片集，由此在作业模式中，显微镜系统1能够在显微镜下的作业中，在需要的时机向利用者提供适当的信息。

图39是例示了用于实现上述的实施方式所涉及的控制装置200的计算机200a的硬件结构的图。图39所示的硬件结构例如具备处理器201、存储器202、存储装置203、读取装置204、通信接口206以及输入输出接口207。此外，处理器201、存储器202、存储装置203、读取装置204、通信接口206以及输入输出接口207例如经由总线208相互连接。

处理器201例如既可以是单处理器，也可以是多处理器或多核处理器。处理器201通过读出保存于存储装置203中的程序并执行该程序，来执行图12、图36等中例示的控制处理。

存储器202例如是半导体存储器，可以包括RAM区域和ROM区域。存储装置203例如是硬盘、快闪存储器等半导体存储器、或者外部存储装置。

读取装置204例如按照处理器201的指示访问可装卸存储介质205。可装卸存储介质205例如通过半导体设备、利用磁性作用来输入和输出信息的介质、利用光学作用来输入和输出信息的介质等实现。此外，半导体设备例如是USB(Universal Serial Bus：通用串行总线)存储器。另外，利用磁性作用来输入和输出信息的介质例如是磁盘。利用光学作用来输入和输出信息的介质例如是CD(Compact Disc：激光光盘)-ROM、DVD(Digital VersatileDisk：数字多用光盘)、Blu-ray Disc(蓝光光盘)等(Blu-ray为注册商标)。

通信接口206例如按照处理器201的指示，来与其它装置(例如显微镜100、网络摄像机500等)进行通信。输入输出接口207例如是与输入装置400及输出装置之间的接口。输入装置400例如是受理来自用户的指示的鼠标401、键盘402、脚踏开关403等设备。输出装置例如是监视器300、以及扬声器等声音装置。

处理器201执行的程序例如被以下述的方式提供给计算机。

(1)预先安装于存储装置203中。

(2)通过可装卸存储介质205来提供。

(3)从程序服务器等服务器提供。

此外，参照图39所记述的用于实现控制装置的计算机的硬件结构是例示，实施方式并不限定于此。例如，可以删除上述结构的一部分，并且也可以追加新的结构。另外，在其它实施方式中，例如，上述的处理装置的一部分或者全部的功能可以被实现为基于FPGA(Field Programmable Gate Array：现场可编程门阵列)、SoC(System-on-a-Chip：片上系统)、ASIC(Application Specific Integrated Circuit：专用集成电路)以及PLD(Programmable Logic Device：可编程逻辑器件)等的硬件。

上述的实施方式是为了容易理解发明而示出具体例的实施方式，本发明并不限定于这些实施方式。能够包括对上述的实施方式进行变形所得到的变形方式以及替代上述的实施方式的替代方式。也就是说，各实施方式能够在不脱离其宗旨及范围的范围内对构成要素进行变形。另外，通过适当地组合在一个以上的实施方式中公开的多个构成要素，能够实施新的实施方式。另外，也可以从各实施方式所示的构成要素中删除若干个构成要素，或者也可以针对实施方式所示的构成要素追加若干个构成要素。并且，各实施方式所示的处理过程只要不矛盾，就可以调换顺序后进行。即，本发明的显微镜系统、叠加单元以及动作方法在不脱离权利要求书的记载范围内能够进行各种变形、变更。

在上述的实施方式中，示出了对显微镜系统1整体的动作进行控制的控制装置200生成辅助图像数据的例子，但辅助图像数据也可以由设置在目镜镜筒120内的控制装置生成。即，安装于显微镜100的目镜镜筒120也可以作为具备控制装置和叠加装置的叠加单元发挥功能，该控制装置基于与从幻灯片集所包括的已排序的多张幻灯片中选择出的对象幻灯片有关的信息来生成辅助图像数据，该叠加装置基于辅助图像数据来将包含对象幻灯片的辅助图像叠加于形成光学像的像面。

另外，在上述的实施方式中，虽未特别提及，但投影辅助图像的显微镜光学系统110的像面(AR画面)既可以是显示于监视器300的幻灯片的内容的镜像画面，也可以是显示于监视器300的影像的一部分作为辅助图像被投影到像面上。并且，也可以将显示于监视器300的鼠标光标以虚拟鼠标光标的形式投影到辅助图像中。虚拟鼠标光标不需要始终投影，例如在一定时间没有光标移动的情况下，也可以将虚拟鼠标光标从辅助图像中删除。由此，能够防止无用的虚拟鼠标光标的显示妨碍利用者的集中。另外，虚拟鼠标光标的位置不一定需要与显示于监视器300的鼠标光标的位置一致。例如，在监视器300上的鼠标光标移动到了显微镜光学系统110的视野外的情况下，可以将虚拟鼠标光标显示在视野的端部。由此，能够避免由于虚拟鼠标光标移动到视野外而导致利用者看丢了虚拟鼠标光标的情况。

另外，在上述的实施方式中，虽未特别提及，但也可以使用通过深度学习等机器学习制作出的学习完毕模型来生成辅助图像。在幻灯片集中，例如也可以包括包含通过将由摄像装置112获取到的数字图像输入到学习完毕模型而得到的内容(以后为AI(ArtificialIntelligence：人工智能)内容)的幻灯片。具体地说，例如，也可以通过使用学习了作为检查对象的试样的缺陷的学习完毕模型，来从数字图像中检测试样的缺陷，并如图40所示那样输出包含表示缺陷位置的边界框的辅助图像B18。另外，AI内容不限于检查用途，也可以是以作业辅助为目的。例如，也可以通过使用学习了需要焊接的区域的学习完毕模型，来从数字图像中检测应焊接的区域，并如图41所示那样输出包含表示所检测出的区域的边界框的辅助图像B19。此外，边界框的形状没有特别限定，可以是如图40所示的矩形，也可以是图41所示的圆形。也可以是，在幻灯片集中包括包含与作业工序相应的AI内容的多张幻灯片，利用者通过适当地切换多张幻灯片，来利用各种学习完毕模型向利用者提供需要的信息。

在本说明书中，“基于A”这样的表述并不意味着“仅基于A”，而是意味着“至少基于A”，还意味着“至少部分地基于A”。即，“基于A”可以是除了基于A以外还基于B，也可以是基于A的一部分。

附图标记说明

1：显微镜系统；10：幻灯片集；11～16：幻灯片；100：显微镜；101：物镜；102、102a、102b：变焦透镜；106、106a、106b：目镜；110：显微镜光学系统；112：摄像装置；113：投影仪；120：目镜镜筒；130：变焦手柄；200：控制装置；201：处理器；202：存储器；203：存储装置；204：读取装置；205：存储介质；206：通信接口；207：输入输出接口；208：总线；300：监视器；401：鼠标；402：键盘；403：脚踏开关；404：条形码读取器；500：网络摄像机；601、602：远程终端。

Claims (21)

1.一种显微镜系统，其特征在于，具备：

显微镜光学系统，其包括目镜，在所述目镜的物体侧形成试样的光学像；

控制装置，其基于与从幻灯片集所包括的已排序的多张幻灯片中选择出的对象幻灯片有关的信息，来生成辅助图像数据；以及

叠加装置，其基于所述辅助图像数据，将包含所述对象幻灯片的辅助图像叠加于形成所述光学像的像面，

其中，所述控制装置根据切换所述对象幻灯片的指示，选择按照所述多张幻灯片被排序的第一顺序决定出的幻灯片作为新的所述对象幻灯片。

2.根据权利要求1所述的显微镜系统，其特征在于，

所述控制装置基于所述显微镜光学系统的倍率信息以及与所述对象幻灯片有关的信息，来生成所述辅助图像数据。

3.根据权利要求2所述的显微镜系统，其特征在于，

所述对象幻灯片包含一个以上的内容，

所述控制装置以使所述一个以上的内容中的第一分类的内容以与所述倍率信息相应的大小包含于所述辅助图像中的方式生成所述辅助图像数据，

所述控制装置以使所述一个以上的内容中的第二分类的内容以预先决定的大小包含于所述辅助图像中的方式生成所述辅助图像数据。

4.根据权利要求3所述的显微镜系统，其特征在于，

所述第一分类的内容包含量规和分划板中的至少一者。

5.根据权利要求3或4所述的显微镜系统，其特征在于，

所述一个以上的内容包含笔、图形、文本、静止图像、运动图像、量规、分划板、图像解析结果、计时器、仪表板、外部设备信息以及测量用内容中的至少一者。

6.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

还具备输入装置，所述输入装置用于输入切换所述对象幻灯片的所述指示。

7.根据权利要求6所述的显微镜系统，其特征在于，

所述输入装置包括鼠标、键盘、设置于手柄的开关、脚踏开关以及麦克风中的至少一者。

8.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

还具备获取装置，所述获取装置获取用于识别所述幻灯片集的识别信息，

所述控制装置基于由所述获取装置获取到的所述识别信息，来获取所述幻灯片集。

9.根据权利要求8所述的显微镜系统，其特征在于，

所述获取装置包括一维码读取器、二维码读取器、射频标签读取器以及摄像装置中的至少一者。

10.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，还具备：

摄像装置，其用于拍摄所述试样；以及

记录装置，

所述控制装置将由所述摄像装置拍摄到的所述试样的图像与所述辅助图像相关联地记录于所述记录装置。

11.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

所述控制装置根据绘制指示而生成注释图像数据，

所述叠加装置将与所述注释图像数据对应的注释图像叠加于所述像面。

12.根据权利要求11所述的显微镜系统，其特征在于，还具备：

摄像装置，其用于拍摄所述试样；以及

记录装置，

所述控制装置将由所述摄像装置拍摄到的所述试样的图像与所述辅助图像及所述注释图像相关联地记录于所述记录装置。

13.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

还具备用于拍摄所述试样的摄像装置，

所述控制装置选择按照所述摄像装置拍摄到的所述试样的图像的解析结果决定出的幻灯片作为新的所述对象幻灯片。

14.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

还具备用于安装所述目镜的目镜镜筒，

所述目镜镜筒具备操作部，所述操作部用于进行使所述辅助图像向所述像面的叠加开始或停止的指示。

15.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

还具备显示装置，

所述控制装置根据针对显示于所述显示装置的编辑画面的操作，来对所述幻灯片集进行编辑。

16.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

还具备显示装置，

所述控制装置根据针对显示于所述显示装置的制作画面的操作，来制作新的幻灯片集。

17.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

所述显微镜光学系统是实体显微镜用的光学系统。

18.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

所述幻灯片集是用于辅助组装精密设备的信息，

所述多张幻灯片分别是组装所述精密设备的各工序中的信息。

19.根据权利要求1至4中的任一项所述的显微镜系统，其特征在于，

所述多张幻灯片包括如下的幻灯片：该幻灯片包含通过将所述试样的图像输入到学习完毕模型所得到的人工智能内容。

20.一种叠加单元，其安装于显微镜，所述显微镜具备在目镜的物体侧形成试样的光学像的显微镜光学系统，所述叠加单元的特征在于，具备：

控制装置，其基于与从幻灯片集所包括的已排序的多张幻灯片中选择出的对象幻灯片有关的信息，来生成辅助图像数据；以及

叠加装置，其基于所述辅助图像数据，将包含所述对象幻灯片的辅助图像叠加于形成所述光学像的像面，

其中，所述控制装置根据切换所述对象幻灯片的指示，选择按照所述多张幻灯片被排序的第一顺序决定出的幻灯片作为新的所述对象幻灯片。

21.一种控制装置的动作方法，对显微镜进行控制，所述显微镜具备在目镜的物体侧形成试样的光学像的显微镜光学系统、以及叠加装置，所述控制装置的动作方法的特征在于，

所述控制装置根据切换从幻灯片集所包括的已排序的多张幻灯片中选择出的对象幻灯片的指示，选择按照所述多张幻灯片被排序的第一顺序决定出的幻灯片作为新的所述对象幻灯片，

所述控制装置基于与新的所述对象幻灯片有关的信息，来生成辅助图像数据，

所述控制装置使所述叠加装置基于所述辅助图像数据将包含新的所述对象幻灯片的辅助图像叠加于形成所述光学像的像面。