CN116744838A - 图像处理装置、图像处理方法和手术显微镜系统 - Google Patents

Abstract

根据本公开的实施方式的图像处理装置(13)包括：图像输入单元(13b)，用于接收患者眼睛的术野图像；眼球追踪单元(13e)，用于在术野图像中追踪眼球；以及显示图像生成器(13f)，用于为术野图像设置具有不同显示模式的多个区域，并且生成显示图像，在显示图像中，多个区域之间的边界指示相对于眼睛的特定位置、特定方向或特定大小中的至少一个。基于追踪眼球的结果，显示图像生成器(13f)改变多个区域中的任一个或全部的显示模式，并且改变边界的位置、方向或大小中的至少一个。

Description

图像处理装置、图像处理方法和手术显微镜系统

技术领域

本公开涉及图像处理装置、图像处理方法和手术显微镜系统。

背景技术

作为眼科中的屈光矫正方法，通过将称为人工晶状体(IOL)的人工晶体插入到眼睛中来消除晶状体等的屈光异常并改善诸如视敏度的视觉功能被广泛实践。作为人工晶状体，插入晶状体囊中的人工晶状体最广泛地用作通过白内障手术去除的晶状体的替代物。除了晶状体囊之外，还有各种人工晶状体，例如固定(留置)在睫状沟等中的那些人工晶状体(Phakic IOL)。

当执行诸如白内障手术的眼科手术时，为了改善手术后的视觉功能，手术者执行手术，使得根据术前计划，切口位置和切口形状以及要插入的诸如人工晶状体的植入物相对于眼睛的姿势变得适当。此时，期望以有利于手术者的手术的形式呈现关于适当的切口位置、切口形状、植入物姿势等的信息。因此，专利文献1提出了一种根据眼球追踪的结果改变指示术前计划的标记(模式)的位置的技术。

引用列表

专利文献

专利文献1：JP 2016-112358 A

发明内容

技术问题

但是，由于将基于术前计划的标记叠加到术野图像上，因此发生遮挡(遮蔽)，其由于标记导致看不见术野图像的一部分。因此，手术者难以看到术野图像，因此难以高精度地实现根据术前计划的手术。

因此，本公开提出了能够以高精度实现根据术前计划的手术的图像处理装置、图像处理方法和手术显微镜系统。

问题的解决方案

根据本公开的实施方式的图像处理装置包括：图像输入单元，接收患者的眼睛的术野图像；眼球追踪单元，在所述术野图像中追踪眼球；以及显示图像生成单元，对所述术野图像设定具有不同显示模式的多个区域，生成所述多个区域的边界表示针对所述眼睛的特定位置、特定方向以及特定大小中的至少一者的显示图像，其中，所述显示图像生成单元基于所述眼球的追踪结果改变所述多个区域中的任意一个区域或全部区域的显示模式，并且改变所述边界的位置、方向和大小中的至少一者。

通过图像处理装置执行的根据本公开的实施方式的图像处理方法，该方法包括：接收患者眼睛的术野图像；在所述术野图像中追踪眼球；以及对所述术野图像设定具有不同显示模式的多个区域，生成所述多个区域的边界表示针对所述眼睛的特定位置、特定方向以及特定大小中的至少一者的显示图像，其中，所述图像处理装置基于所述眼球的追踪结果改变所述多个区域中的任意一个区域或全部区域的显示模式，并且改变所述边界的位置、方向和大小中的至少一者。

根据本公开的实施方式的手术显微镜系统，包括：手术显微镜，获得患者的眼睛的术野图像；图像处理装置，产生显示图像；以及显示装置，显示所述显示图像，其中，所述图像处理装置包括：图像输入单元，接收所述术野图像；眼球追踪单元，在所述术野图像中追踪眼球；以及显示图像生成单元，对所述术野图像设定具有不同显示模式的多个区域，生成所述多个区域的边界表示针对所述眼睛的特定位置、特定方向以及特定大小中的至少一者的显示图像，其中，所述显示图像生成单元基于所述眼球的追踪结果改变所述多个区域中的任意一个区域或全部区域的显示模式，并且改变所述边界的位置、方向和大小中的至少一者。

附图说明

图1是示出根据本公开的实施方式的手术显微镜系统的示意性配置的实例的示图。

图2是示出根据本公开的实施方式的手术显微镜的示意性配置的实例的示图。

图3是示出了根据本公开的实施方式的图像处理装置的示意性配置的实例的示图。

图4是示出根据本公开的实施方式的显示图像的实例1的示图。

图5是用于说明根据本公开的实施方式的显示图像生成的第一示图。

图6是用于说明根据本公开的实施方式的显示图像生成的第二示图。

图7是示出根据本公开的实施方式的显示图像的实例2的示图。

图8是示出根据本公开的实施方式的显示图像的实例3的示图。

图9是示出根据本公开的实施方式的显示图像的实例4的示图。

图10是示出根据本公开的实施方式的显示图像的实例5的示图。

图11是示出根据本公开的实施方式的显示图像的实例6的示图。

图12是示出根据本公开的实施方式的显示图像的实例7的示图。

图13是示出了根据本公开的实施方式的显示图像的实例8的示图。

图14是示出根据本公开的实施方式的显示图像的实例9的示图。

图15是示出根据本公开的实施方式的显示图像的实例10的示图。

图16是示出根据本公开的实施方式的显示图像的实例11的示图。

图17是用于说明根据本公开的实施方式的根据追踪状况的边界呈现的变化的示图。

图18是用于说明根据本公开的实施方式的边界呈现随时间的变化的第一示图。

图19是用于说明根据本公开的实施方式的边界呈现随时间的变化的第二示图。

图20是用于说明根据本公开的实施方式的边界呈现随时间的变化的第三示图。

图21是用于说明根据本公开的实施方式的根据追踪结果的边界呈现的变化的示图。

图22是示出根据本公开的实施方式的显示图像的实例12的示图。

图23是示出根据本公开的实施方式的显示图像的实例13的示图。

图24是示出根据本公开的实施方式的显示图像的实例14的示图。

图25是用于说明根据本公开的实施方式的边界呈现随时间的变化的第四示图。

图26是示出根据本公开的实施方式的显示图像的实例15的示图。

图27是示出根据本公开的实施方式的显示图像的实例16的第一示图。

图28是示出根据本公开的实施方式的显示图像的实例16的第二示图。

图29是示出根据本公开的实施方式的显示图像的实例17的示图。

图30是示出根据本公开实施方式的计算机的示意性配置的实例的示图。

具体实施方式

在下文中，将参考附图详细描述本公开的实施方式。应注意，根据本公开的装置、方法、系统等不受该实施方式的限制。另外，在以下的各实施方式中，对基本上相同的部分标注相同的附图标记，省略重复的说明。

以下描述的一个或多个实施方式(包括实例和变形例)可以各自独立地实施。另一方面，以下描述的多个实施方式中的至少一些可以通过适当地与其他实施方式中的至少一些组合来实现。该多个实施方式可以包括彼此不同的新颖特征。因此，多个实施方式可有助于解决不同的目的或问题，并且可表现出不同的效果。

将根据以下示出的项的顺序描述本公开。

1.实施方式

1-1.手术显微镜系统的示意性配置的实例

1-2.手术显微镜的示意性配置的实例

1-3.图像处理装置和图像处理的示意性配置的实例

1-4.作用和效果

2.计算机的示意性配置的实例

3.补充说明

<1.实施方式>

<1-1.手术显微镜系统的示意性配置的实例>

将参考图1描述根据实施方式的手术显微镜系统1的示意性配置的实例。图1是示出根据实施方式的手术显微镜系统1的示意性配置的实例的示图。

如图1所示，手术显微镜系统1包括手术显微镜10和病床20。手术显微镜系统1是用于眼部手术的系统。患者躺在病床20上进行眼部手术。此外，作为医生的手术者在利用手术显微镜10观察患者的眼睛的同时进行手术。

手术显微镜10包括物镜11、目镜12、图像处理装置13和监视器14。

物镜11和目镜12是用于放大和观察要被手术的患者的眼睛的透镜。

图像处理装置13对经由物镜11捕获的图像执行预定的图像处理以输出各种图像和各种信息等。

监视器14显示通过物镜11捕获的图像、由图像处理装置13生成的各种图像、各种信息等。监视器14可以与手术显微镜10分开设置。

在手术显微镜系统1中，例如，手术者在通过目镜12观看并且通过物镜11观察患者的眼睛的同时进行手术。另外，手术者在确认在监视器14上显示的术野图像、各种图像(例如图像处理前的图像、图像处理后的图像等)、各种信息等的同时进行手术。另外，也可以仅使用监视器14的图像进行手术。

<1-2.手术显微镜的示意性配置的实例>

将参考图2描述根据该实施方式的手术显微镜10的示意性配置的实例。图2是示出根据该实施方式的手术显微镜10的示意性配置的实例的示图。

如图2所示，除了物镜11、目镜12、图像处理装置13和监视器14之外，手术显微镜10还包括光源51、观察光学系统52、前方图像捕获单元53、断层图像捕获单元54、呈现单元55、接口单元56和扬声器57。另外，监视器14和呈现单元55对应于显示装置。

光源51在包括在图像处理装置13中的控制单元13A的控制下发射照明光以对患者的眼睛照明。

观察光学系统52例如具有诸如物镜11、半反射镜52a、透镜(未图示)等光学元件。观察光学系统52将从患者的眼睛反射的光(观察光)引导至目镜12和前方图像捕获单元53。

具体地说，从患者的眼睛反射的光作为观察光经由物镜11、透镜(未图示)等进入到半反射镜52a。入射到半反射镜52a的观察光的大约一半照原样通过半反射镜52a，经由透射型呈现单元55入射到目镜12。另一方面，入射到半反射镜52a的观察光的剩余一半被半反射镜52a反射，入射到前方图像捕获单元53。

例如，前方图像捕获单元53包括摄影机等。前方图像捕获单元53接收并光电转换从观察光学系统52入射的观察光，从而对从前方观察的患者眼睛的图像(即，大致从眼轴方向捕获患者眼睛而得到的图像)(即，前方图像)进行捕获。前方图像捕获单元53在图像处理装置13的控制下捕获(拍摄)前方图像，并且将获得的前方图像提供至图像处理装置13。

断层图像捕获单元54包括例如光学相干断层扫描(OCT)、scheimpflug相机等。断层图像捕获单元54在图像处理装置13的控制下捕获(拍摄)断层图像(其是患者的眼睛的截面的图像)，并且将获得的断层图像提供至图像处理装置13。这里，断层图像是在与患者眼睛的眼轴方向大致平行的方向上的截面的图像。

应注意，例如，断层图像捕获单元54使用红外光通过干涉原理获取断层图像，但此时的红外光的光路和观察光学系统52中的观察光的光路的一部分可以是公共光路。

目镜12通过呈现单元55会聚从观察光学系统52入射的观察光，以形成患者眼睛的光学图像。结果，患者眼睛的光学图像由正在通过目镜12观看的手术者观察到。

呈现单元55具有透射型或非透射型的显示装置等，配置在目镜12与观察光学系统52之间。呈现单元55透射从观察光学系统52入射的观察光并且使观察光入射到目镜12上，并且还根据需要呈现(显示)从图像处理装置13提供的各种图像(例如，前方图像、断层图像等)和各种信息。例如，可以在患者眼睛的光学图像上重叠并呈现各种图像、各种信息等，或者可以在光学图像的周边部分呈现各种图像、各种信息等，以便不干扰光学图像。此外，透射型显示装置和非透射型显示装置被配置为可切换的，并且根据需要切换。例如，存在透射模式和非透射模式，并且这些模式被手术者等改变，并且透射型显示设备和非透射型显示设备被切换。

图像处理装置13包括控制整个手术显微镜10的操作的控制单元13A。例如，控制单元13A改变光源51的照明条件或改变观察光学系统52的变焦倍率。此外，控制单元13A基于从接口单元56提供的手术者等的操作信息等，控制前方图像捕获单元53和断层图像捕获单元54的图像获取。

接口单元56包括例如通信单元等。从叠加于监视器14的触摸面板、脚踏开关、控制器、遥控器等操作单元接收命令，或者与外部装置进行通信。接口单元56将与手术者的操作等相对应的信息等提供给图像处理装置13。此外，接口单元56将从图像处理装置13提供的用于控制外部装置的装置控制信息等输出至外部装置。

监视器14响应于图像处理装置13的控制单元13A的控制，在显示屏幕上显示正面图像等各种图像和各种信息。

响应于图像处理装置13的控制单元13A的控制，例如，在手术期间检测到危险状况的情况下，扬声器57输出诸如蜂鸣音、旋律音、消息(语音)等声音，以便将危险状况通知给手术者等。注意，手术显微镜10可以包括用于向手术者等通知危险情况的旋转灯或指示灯。

在具有以上配置的手术显微镜系统1中，通过使用由于多个区域的边界具有不同的显示模式而基于术前计划呈现特定位置和特定大小(相对于眼睛的特定位置和特定大小)中的一个或两者的显示屏幕，不会发生遮挡，手术者可以容易地看到术野图像，并且还可以掌握上述特定位置或特定大小，使得可以以高精度执行根据术前计划的眼科手术。显示模式的差是与显示条件相关的参数等的差，并且例如是亮度差、饱和度差、色温差、颜色差、对比度差、锐度差等。

<1-3.图像处理装置的示意性配置和图像处理的实例>

将参考图3描述根据实施方式的图像处理装置13的示意性配置和图像处理的实例。图3是示出了根据实施方式的图像处理装置13的示意性配置(配置和处理流程)的实例的示图。

如图3所示，图像处理装置13包括术前计划接收单元13a、图像输入单元13b、登记单元13c、信息存储单元13d、眼球追踪单元13e和显示图像生成单元13f。

术前计划接收单元13a接收患者眼睛的术前计划信息(例如，术前计划的术前图像、姿势信息等)。术前计划的姿势信息包括关于基于术前图像中的诸如角膜缘等部位的指标(与手术有关的指标)的大小、指标的位置、以及指标绕眼轴的方向(绕眼轴的旋转方向的位置)的信息(大小信息、位置信息、方位信息等)。例如，指标的大小、指标的位置、指标围绕眼轴的方向等包括切口的位置、形状、大小等以及待插入的诸如人工晶状体的植入物的位置和方向。应注意，围绕眼轴的方向由围绕眼轴的旋转方向相对于与眼轴正交的基准线的角度限定。然而，指标的坐标系的位置和绕眼轴的旋转方向的位置均与指标的位置信息(特定位置的位置信息)相对应。

图像输入单元13b从前方图像捕获单元53(参照图2)接收术野图像(前方图像)，并将所接收的术野图像(例如，手术开始时的术野图像、手术过程中的实时术野图像等)提供给登记单元13c、眼球追踪单元13e、显示图像生成单元13f等。

登记单元13c将术前计划的术前图像与手术开始时的术野图像进行比较，以获得术前计划的术前图像与手术开始时的术野图像之间的对应关系，例如，从术前图像到手术开始时的术野图像的变换参数(例如，坐标变换的变换参数)。然后，登记单元13c将获得的关于变换参数的关系信息与手术开始时的术野图像一起提供至信息存储单元13d。

信息存储部13d基于从登记单元13c提供的关系信息和手术开始时的术野图像，根据手术开始时的术野图像对术前计划的姿势信息进行变换(改变)，存储手术开始时的术野图像和根据手术开始时的术野图像变换后的术前计划的姿势信息。

眼球追踪单元13e通过对手术开始时的术野图像与实时的术野图像进行比较来追踪实时的术野图像中的眼球。此外，眼球追踪单元13e将表示实时术野图像中的眼球的姿势信息与由信息存储单元13d存储的术前计划的姿势信息之间的关系的关系信息(例如，变换参数等)作为追踪结果提供给显示图像生成单元13f。类似于术前计划的姿势信息，眼球的姿势信息包括与眼球的大小、眼球的位置以及眼球绕眼轴的方向(绕眼轴的旋转方向上的位置)有关的信息(大小信息、位置信息、方位信息等)。然而，在眼球的坐标系中的位置和在围绕眼轴的旋转方向上的位置都对应于眼球的位置信息。

显示图像生成单元13f通过对实时术野图像进行处理，针对实时术野图像设定具有不同显示模式的多个区域，生成其中各区域的边界表示相对于患者眼睛的特定位置或特定大小的显示图像。此时，显示图像生成单元13f根据术前计划的变换后的姿势信息来处理实时术野图像(即，各区域)，以使得各区域的边界表示特定位置或者特定大小。并且，显示图像生成单元13f基于实时术野图像的眼球的追踪结果来处理实时术野图像，改变各区域的边界的姿势(位置、方向、大小等)，并且生成显示图像。此时，显示图像生成单元13f基于从眼球追踪单元13e提供的关系信息处理实时术野图像中的边界的位置和大小，使得边界的位置和大小之间的关系相对于在手术开始时术野图像中眼球没有变化，并且生成显示图像。

(显示图像的实例1)

将描述根据实施方式的显示图像的实例1。图4是示出根据实施方式的显示图像的实例1的示图。

如图4所示，在显示图像中，呈现具有不同显示模式的两个区域(左区域和右区域)之间的边界K1。边界K1表示基于术前计划或其他计划等的特定位置，即，与手术有关的特定位置。边界K1变换(改变)为在眼球的移动方向上移动上述移动量，使得根据眼球的移动方向和移动量而消除边界K1相对于眼球的姿势变化。具有这种边界K1的显示图像由监视器14和呈现单元55中的两者或一个显示在显示屏幕上。应注意，在呈现单元55显示具有边界K1的显示图像的情况下，透射型显示装置被切换至非透射型显示装置，并且使用非透射型显示装置。

在图4的示例中，边界K1是线形状的边界，并且是穿过期望放置用于执行散光矫正的诸如散光人工晶状体(toric IOL，toric人工晶状体)的人工晶状体B1的中心位置的边界。边界K1表示用于对准人工晶状体B1(用于安装人工晶状体B1的目标位置)的边界线。人工晶状体B1的两个标记B1a(例如，布置在直线上的三个点)与边界K1对准。例如，在人工晶状体B1是散光人工晶状体的情况下，必须使人工晶状体B1的复曲面轴(toric axis)与患者的散光轴一致，并且在围绕眼轴的方向(围绕眼轴的旋转方向上的位置)上发生偏差的情况下不能获得足够的散光矫正效果。因此，指示复曲面轴的两个标记B1a被压印在散光人工晶状体的端点上，并且可以掌握散光人工晶状体绕眼轴的方向。在手术时，散光人工晶状体的标记B1a与实时术野图像中的边界K1对准，并且散光人工晶状体放置在眼睛中。

这里，在许多眼科手术引导系统中，登记术前图像和手术开始时的图像(手术开始时的术野图像)，然后通过比较(追踪)手术开始时的图像和实时图像(实时术野图像)将基于术前计划的标记映射并显示在实时图像上。但是，在该方法中，由于将基于术前计划的标记叠加到术野图像上，因此发生由于标记导致看不见术野图像的一部分的遮挡(遮蔽)。

因此，手术者难以看到术野图像，难以进行散光人工晶状体(用于散光校正的人工晶状体)的轴对准、使IOL居中、创口、前囊切开等。因此，难以根据术前计划准确地进行手术。因此，通过不通过标记而是通过具有不同显示模式的每个区域的边界(例如，边界K1)呈现关于手术的特定位置或特定大小，可以防止遮挡的发生并且根据术前计划准确地执行手术。

(具体处理流程)

具体处理过程如下执行。顺序执行登记、追踪、图像生成和图像呈现。图5和图6是用于说明根据实施方式的显示图像生成(变换处理)的示图。

在登记中，接收包括手术前图像(例如，眼球图像等)的术前计划信息和手术开始时的图像(手术开始时的术野图像)，并且将做出术前计划时眼球的方向和位置与手术期间眼球的方向和位置的基准进行匹配。作为对准方法，例如，可以通过使用术前图像和手术开始时的图像进行图像处理来自动进行对准，或者可以通过用户手动调整位置和方向(例如，旋转角度等)进行对准。当登记成功时，保持基于在手术开始时的图像的坐标的手术计划信息。

在追踪中，追踪从手术开始时的眼球的移动，并且获得从手术开始时的图像到追踪时的坐标的变换参数(坐标变换参数)。作为追踪方法，例如，可以从术前图像和手术开始时的图像这两者中提取特征点，并且可以从对应关系获得变换参数，或者可以从一个图像中提取特征点，并且可以搜索特征点的运动，然后可以获得变换参数，或者可以将图像输入到机器学习，并且可以基于学习获得变换参数。

在图像生成中，基于在追踪中提取的变换参数，如图5所示，从通过登记获得的手术计划信息变换其中生成指示特定位置的边界K1的区域(例如，调制区域等)的控制点坐标P1，或者如图6所示，变换指示边界K1的边界线的控制点坐标P1。此后，当变换目标是区域的控制点坐标P1时，对区域执行图像处理，并且当变换目标是边界线的控制点坐标P1时，基于边界线对区域执行图像处理以产生显示图像。该显示图像包括具有不同显示模式的多个区域。

在图5的实例中，表示该区域的控制点坐标P1是四个点，但是控制点坐标P1可以是三个或更多个点。由这些控制点坐标P1包围的区域是处理对象。此外，在图6的实例中，表示边界线的控制点坐标P1是两个点，但是控制点坐标P1可以是两个以上的点。在边界具有复杂形状的情况下，可以添加多个控制点坐标，即，多个控制点。当确定边界线时，对边界线的左区域和右区域之一(或者上区域和下区域之一)进行处理。注意，表示区域或边界的控制点坐标P1可以通过直线连接，也可以通过样条插值等平滑连接，也可以通过诸如通过两点的半圆等特定形状连接。此外，待处理的区域的数量不限于一个，可以是多个。

在图像显示中，将通过图像生成处理生成的显示图像显示为术野视频。具有边界K1的显示图像(参见图4)由监视器14和呈现单元55中一个或两者显示在显示屏幕上。

这里，作为坐标变换，例如，可以使用仿射变换、单应变换等。此外，作为图像处理，通过调整诸如辉度(亮度)、对比度(阴影)、饱和度、色温、锐度、灰度等参数并且将特定颜色改变成另一特定颜色(即，通过改变图像的像素值)来实现图像处理。具体地，例如，可以单独或组合使用基于计算公式的处理(例如，非线性计算，诸如增益调整、偏移处理和/或γ处理等)、通过查找表的处理(例如，从特定颜色改变为特定颜色、从特定辉度值转换为特定辉度值以改变对比度等)、通过空间滤波器的处理等。此时，显示图像生成单元13f可以自动地选择并执行用于使边界相对于原始的术野图像(原始图像)明显的处理。注意，作为从特定辉度值到特定辉度值的转换的实例，存在对比度的S形曲线的变化。

在图像处理中，例如，关于辉度，改变特定通道。此外，关于对比度，例如，与特定通道的值相对应的增益被添加。关于饱和度，例如，均匀增益被添加到特定通道。关于色温，添加每个通道不同的均匀增益。关于灰度，例如，特定通道值被改变。关于颜色变化，例如，根据像素值执行转换。

注意，图像例如具有通道形式的颜色信息。RGB图像具有红(Red)、绿(Green)和蓝(Blue)三个通道。此外，HSL图像包括色调(Hue)、饱和度(Saturation)和辉度(Lightness/Luminance或Intensity)的三个通道。此外，CMYK图像包括青色、品红色、黄色和黑色的四个通道。

此外，在图像生成中，要呈现的信息模式和处理方法可基于诸如手术者的用户的指令而改变。要呈现的信息模式的实例包括与创口、前囊切口、散光人工晶状体(用于散光矫正的人工晶状体)的轴向对准、居中IOL居中等相对应的各种信息模式(各种显示模式)。例如，用户可以通过操作操作单元来选择要呈现的信息模式或处理方法。

另外，由于追踪耗费处理时间，如果在生成追踪信息之后生成术野图像，图像与现实之间的延迟增大。因此，通过当追踪信息被延迟时闭上眼睛并在图像生成中使用最新计算的过去的追踪信息可以抑制图像生成的延迟。

(显示图像的实例2至6)

将参考图7至图11描述根据实施方式的显示图像的实例2至6。图7至图11是示出根据实施方式的显示图像的实例2至6的示图。在实例2至6中，将描述显示图像的变型。

如图7所示，呈现了指示显示图像中的中心位置的两个边界K2和K3。在图7的示例中，边界K2和K3的交点指示例如用于IOL安装的中心位置(例如，眼轴位置等)。另外，在图7的例子中，对术野图像中的边界K2的右侧区域进行处理，对边界K3的下部区域进行处理。

如图8所示，在显示图像中呈现指示切口位置的边界K4。在图8的实例中，边界K4是三角形的两侧，并且三角形的顶点指示切口位置(例如，切口开始位置等)。进而，在图8的例子中，对术野图像中的边界K4的下部区域(三角形区域)进行处理。

如图9所示，在显示图像中呈现指示切口位置的两个边界K5和K6。在图9的示例中，边界K5和K6的交点指示切口位置(例如，切口开始位置等)。另外，在图9的例子中，对术野图像中的边界K5的右侧区域进行处理，对边界K6的下部区域进行处理。

如图10所示，在显示图像中呈现指示切口大小和切口位置的边界K7。在图10的示例中，边界K7指示例如CCC(前囊切口)的切口大小和切口位置(例如，连续切口位置等)。边界K7例如用作具有半圆的形状(即，半圆边界(用于形成前囊切开术的目标圆的半圆))的边界。另外，在图10的例子中，对术野图像中的边界K7的右侧区域进行处理。注意，除了上述眼轴作为诸如上述目标圆的环形形状的中心以外，还可以使用角膜缘中心、瞳孔中心、术前瞳孔中心、视轴、前囊切口边缘中心等。

如图11所示，在显示图像中呈现指示特定区域(即，特定区域的区域大小和区域位置)的边界K8。在图11的实例中，边界K8是六边形六边(或四边)，并且指示特定区域的区域大小和区域位置。例如在追踪时丢失眼球的情况下，边界K8向手术者指示眼球(眼睛)到达术野图像的中心。另外，在图11的例子中，对术野图像中的边界K8的外部区域进行处理。

(显示图像的实例7至9)

将参考图12至图14描述根据实施方式的显示图像的实例7至9。图12至图14是示出根据实施方式的显示图像的实例7至9的示图。在实例8和9中，将描述在保持边界K1的清晰度的同时减小处理之前的图像与处理之后的图像之间的差异的附加点。

如图12所示，对其应用图像处理的区域可以是边界K1的一侧的区域。在对其应用图像处理的区域是在边界K1的一侧的区域的情况下，在对其应用图像处理的一侧的区域的变化量较大，并且在没有对其应用图像处理的一侧的区域保留。即，在处理一侧的区域的情况下，因为在可看到边界K1的水平上进行调制，所以优点在于，虽然在处理侧的区域中与原始图像的差异增大，但是也存在没有被处理的区域。

如图13所示，对其应用图像处理的区域可以是边界K1的两侧的区域。在图13的例子中，一侧的区域(边界K1的上部区域)比原始图像(处理前的术野图像)亮10％，另一侧的区域(边界K1的下部区域)比原始图像暗10％。通过以这种方式对两侧的区域应用不同的处理，可以在保持边界间隙的清晰度的同时减少从原始图像的变化量。即，在对两侧的区域进行处理的情况下，虽然不存在未处理区域，但是通过对两侧的区域进行处理，能够实现相同的边界间隙，所以，具有能够将原始图像与处理后的术野图像的差异保持在小范围的优点。

如图14所示，当在边界K1的两侧的区域之间存在差异(显示模式的差异)时，可以传输信息。因此，针对区域的处理强度(例如，调制强度)可以随着距边界K1的距离增加而减弱。在图14的实例中，在边界K1的左侧区域中，对该区域的处理强度随着距边界K1的距离增加而减弱。例如，在对区域的处理是用于增加辉度的处理的情况下，当用于增加区域的辉度的处理的强度随着距边界K1的距离增加而减弱时，区域的辉度随着距边界K1的距离增加而减弱。如上所述，通过随着与边界K1的距离增加而使对该区域的处理强度变弱，能够在远离边界K1的部分使原始图像与处理后的术野图像之间的差异变弱。即，可以保持边界K1的间隙的清晰度，并且可以使远离边界K1的区域接近原始图像。

(显示图像的实例10和11)

将参照图15和图16描述根据实施方式的显示图像的实例10和11。图15和图16是示出根据实施方式的显示图像的实例10和11的示图。在实例10和11中，将描述3D图像(三维术野图像)呈现中的附加点。通常，3D图像经常用于眼科手术中。在这种情况下，存在立体左眼图像和立体右眼图像，使得可以将深度感呈现为视差差异。因此，将描述用于立体左眼图像和立体右眼图像的边界呈现的附加点。应注意，在下文中，“用于立体左眼”被简称为“用于左眼”，并且“用于立体右眼”被简称为“用于右眼”。

如图15所示，关于3D图像的边界呈现，存在边界呈现在左眼图像和右眼图像两者中的情况，即，边界K2呈现在右眼图像中并且边界K3呈现在左眼图像中，以及边界K2和K3仅呈现在左眼图像和右眼图像中的一个中的情况(见图7)。注意，即使边界K2和K3仅在用于一只眼睛的图像中呈现，由于从原始图像的图像变化小，因此存在3D感知基本上不受影响并且手术者可在视觉上识别边界K2和K3的优点。因此，边界K2和K3可以仅在用于一只眼睛的图像中呈现，或者不同的边界(例如，边界K2和边界K3)可以在用于左眼的图像和用于右眼的图像中呈现。

在图15的示例中，在左眼图像和右眼图像中呈现不同的边界K2和K3(在右眼图像中呈现边界K2，在左眼图像中呈现边界K3)，并且通过在大脑中融合边界K2和K3来呈现边界K2和K3的交点。以此方式，例如，为了呈现居中位置和创口位置，这两个边界K2和K3可以由交叉位置等指示。此外，可以增加可以通过各种边界(例如，边界K2和边界K3)的组合呈现的信息。

注意，在左眼图像和右眼图像中呈现不同的边界K2和K3的情况下，可以基于在一只眼睛图像中追踪的信息在左眼图像和右眼图像中呈现不同的边界K2和K3，并且可以基于在作为左眼图像和右眼图像的两只眼睛图像中追踪的信息在左眼图像和右眼图像中呈现不同的边界K2和K3。

此外，除了在左眼图像和右眼图像两者中呈现不同的边界K2和K3之外，可以在左眼图像和右眼图像两者中呈现相同的边界(例如，边界K1)。在左眼图像和右眼图像中呈现相同边界的情况下，相对于边界发生深度感知，并且因此，可控制边界定位在哪个位置。例如，如果眼科手术是CCC(前囊切口)，则边界定位在前囊的位置处。

如图16所示，对于边界K1，可以执行在3D图像中创建深度间隙的处理。在图16的实例中，作为图像处理，左眼图像的像素向右移位，右眼图像的像素向左移位。在处理之后(视差调制之后)，由于视差改变，因此深度中的固定位置改变。手术者感觉到边界K1向前突出。因此，手术者可以容易地掌握边界K1的位置，使得可以精确地执行眼科手术。

注意，在图像处理的强度(例如，调制度等)小的情况下，与标记重叠等不同，即使仅对一只眼睛的图像应用处理或者对两只眼睛的单独图像应用不同的处理，也不发生闪烁并且不发生视差。因此，在术野和深度之间没有冲突。此外，在将相同的处理应用于两只眼睛的单独图像的情况下，可以通过生成视差定位到期望的特定深度位置，并且还可以根据指导定位到用户要处置的位置。

(边界呈现的变化)

将描述根据该实施方式的根据追踪状态或时间，边界呈现的改变中的附加点。首先，将参考图17描述根据追踪状态的边界呈现的变化。接下来，将参照图18至图20描述根据时间的边界呈现的变化。将参考图21描述根据追踪结果的边界呈现的变化(眼睛的大小的变化)。图17是用于说明根据实施方式的根据追踪状态的边界呈现的变化的示图。图18至图20是用于说明根据实施方式的边界呈现随时间改变的第一至第三示图。图21是用于说明根据实施方式的根据追踪结果的边界呈现的变化的示图。

在眼球追踪的原理中，当在术野中出现的眼球的量减少时，追踪精度劣化。此外，为了维持追踪精度，可以设置追踪的检测极限。即，可能存在追踪精度中的置信度的情况或者追踪检测极限正在接近的情况。在这种情况下，如图17所示，也可以减弱预定区域的处理强度(例如调制度等)，使预定区域的图像接近原始图像，或者加强预定区域的处理强度，使预定区域的图像作为警告(警告信息)而突出。当然，也可以将消息与它们一起叠加呈现在显示画面的固定位置。以这种方式，通过将上述追踪状态呈现给诸如手术者的用户，用户可以掌握追踪的可靠性。

另外，在基于各区域的边界K1、K7的信息呈现中，原则上不会产生术野的遮挡(遮蔽)，但是存在某些手术者会感到边界K1、K7上的可视性降低的可能性。因此，如图18和图19所示，呈现相同信息(特定位置)的边界K1和K7的位置可以改变。

在图18的示例中，边界K7围绕眼轴等旋转360度。例如，边界K7在诸如前囊切开术的手术中从手术开始以预定的速度(例如，比手术者移动手术工具的远端部分的速度更高的速度)旋转。在手术过程中重复该旋转。因此，边界K7形成用于前囊的切口的目标圆。以这种方式，可以通过改变呈现相同信息的边界K7的位置来提高可视性。

在此，预定速度预先设定，例如是比手术者使手术器具的顶端部移动时的速度的平均值等一般值快的值。然而，边界K7的旋转速度可以不是预定速度，并且例如，可以通过检测由手术者移动的手术工具的远端部或前囊切口边缘的端点，根据手术工具的移动或前囊切口边缘的端点的移动来旋转边界K7。此外，边界K7的旋转角度可以是例如另一角度，诸如180度。

在图19的示例中，边界K1以预定速度平移。边界K1从参考位置向左移动预定距离，从左预定位置返回到参考位置，进一步从参考位置向右移动预定距离，并且从右预定位置返回到参考位置。该移动在手术期间重复(周期性移动)。结果，可以通过改变呈现相同信息的边界K1的位置来提高可视性。

此外，如图20所示，可通过周期性地削弱预定区域的处理的强度(例如，调制度等)来提高可视性。在图20的示例中，处理的强度从初始状态逐渐减弱，然后逐渐增强，并且再次返回至初始状态。如上所述，通过周期性地削弱预定区域的处理的强度(图像从原始图像改变的程度)，可以提高可视性。

以此方式，通过周期性地减弱预定区域的处理强度(图像从原始图像改变的程度)，能够进一步提高术野的可视性。此外，通过周期性地移位诸如复曲面轴的边界K1的呈现位置，可以避免边界K1与散光人工晶状体的标记B1a(见图4)重叠进而标记B1a变得难以看到。此外，由于追踪精度在要追踪的角膜的位置接近终点时可能降低，因此能够增强术野的可视性，并且能够通过弱化预定区域的处理的强度来使用户意识到以高追踪精度将角膜带至中央部。

应注意，如上所述，边界K1和K7的位置可以以预定周期改变，或者可以根据用户的指令切换。例如，用户可以通过操作诸如触摸面板、脚踏开关或控制器的操作单元来切换边界K1和K7的位置。

此外，可以如上所述对预定区域进行图像处理，或者可以检测由手术者操作的诸如手术工具等操作单元(例如，手术工具的前端部等)，并且可以对不包括操作单元的区域进行图像处理(例如，辉度调制处理、颜色调制处理等)。

此外，如图21所示，边界K7的位置和大小可以根据眼睛的大小改变而改变。由于边界K7的一部分具有半圆形形状并且指示眼睛的大小，因此边界K7的位置根据眼睛的大小的改变而改变。例如，当术野图像中的眼睛的大小减小时，边界K7的半圆形大小也减小，并且边界K7的位置接近中心。相反，当术野图像中的眼睛的大小增加时，边界K7的半圆形大小也增加，并且边界K7的位置与中心分离。注意，大小的实例包括CCC的直径、切口宽度和中心。

(显示图像的实例12至14)

将参考图22至图24描述根据实施方式的显示图像的实例12至14。图22至图24是示出根据实施方式的显示图像的实例12至14的示图。

如图22所示，边界K7在显示图像中呈现两个特定位置。在图22的示例中，两个特定位置中的每一个指示伤口信息(例如，伤口创建位置等)。例如，边界K7的一部分形成为三角形，并且顶点的附近是伤口创造位置。在图22的示例中，处理术野图像中的边界K7的右区域。

如图23所示，显示图像中的边界K11呈现主伤口的宽度和位置。在图23的示例中，边界K11指示作为从角膜中心构成的三角形的角膜缘上的宽度的切口宽度。主伤口的位置，即切口的位置，是三角形虚拟垂直平分线。在图23的示例中，处理术野图像中的边界K11的左区域。

如图24所示，在显示图像中，边界K11呈现主创口的宽度，边界K12呈现主创口的位置。在图24的示例中，边界K11指示切口宽度，其为由角膜中心构成的三角形的角膜缘上的宽度。边界K12指示主创口的位置，即三角形虚拟垂直平分线。在图24的示例中，处理术野图像中的边界K11的左区域，并且处理边界K12的下区域。注意，可以呈现包括边界K11的左眼图像和包括边界K12的右眼图像，并且可以在大脑中融合边界K11和K12以实现3D图像(见图16)。

(边界呈现的变化)

将参考图25描述根据实施方式的根据时间的边界呈现的变化。图25是用于说明根据实施方式的边界呈现随时间的变化的第四示图。

如图25所示，可以周期性地改变显示图像中的边界K11的宽度和位置。例如，当边界K11的宽度(边界K11内的区域的大小)变得最大时，设置期望的切口宽度，并且边界K11的宽度变窄以便知道切口的位置。即，如果切口的宽度仅由角膜缘中的宽度指示，则切口的位置可能难以理解。因此，边界K11的宽度可以周期性地改变以使边界K11的宽度变窄，并且可以指示切口的位置。

<辉度区域>

此处，将描述在由具有不同辉度的多个辉度区域表示边界M3至M5的情况下的显示图像的实例15至17。

(显示图像的实例15)

图26是示出根据实施方式的显示图像的实例15的示图。如图26所示，设定具有不同辉度的两个辉度区域，并且呈现这些辉度区域的边界M3。边界M3用作线状的边界，即，线边界(用于安装人工晶状体B1的目标线)。在图26的实例中，两个辉度区域中的右辉度区域(图26中的阴影区域)的辉度被设置为低于左辉度区域的辉度。复曲面轴与边界M3对准，并且安装散光人工晶状体。注意，辉度区域的数量不限于两个，并且可以是两个或更多个。

(显示图像的实例16)

图27和图28是示出根据实施方式的显示图像的实例16的示图。如图27和图28所示，设置具有不同辉度的两个辉度区域，并且呈现为辉度区域之间的边界M4。边界M4是具有半圆、即半圆边界(用于形成前囊切口目标圆的半圆)的形状的边界。在图27和图28的实例中，辉度区域的边界M4围绕眼轴等旋转90度。

例如，在诸如前囊切开术的手术中从手术开始，辉度区域的边界M4以预定的速度(例如，手术者移动手术工具的远端部分的速度)围绕眼轴等旋转360度。因此，边界M4形成用于前囊切口的目标圆。该预定速度是预先设定的速度，例如是手术者使手术器具的远端部移动时的速度的平均值等一般值。然而，边界M4的旋转速度可以不是预定速度，例如，可以检测手术者要移动的手术工具的远端部或前囊切口边缘的端点，并且可以根据手术工具的移动或前囊切口边缘的端点的移动来旋转边界M4。能够使用后述的处置开始部13g来检测手术器具的远端部和前囊切开边缘的终点。此外，边界M4的旋转角度可以是例如另一角度，诸如180度。

(显示图像的实例17)

图29是示出根据实施方式的显示图像的实例17的示图。如图29中所示，除了在图27和图28中所示的边界M4之外，进一步呈现了多个(在图29的示例中为两个)边界M5。与显示图像的实例10相似，边界M4和边界M5由具有不同辉度的两个辉度区域的边界形成。每个边界M5是指示切口位置的边界。

如上所述，根据以上的说明可知，边界K1至K12、M3至M5不是重叠显示在术野图像上的标记，而是能够表示视觉识别的姿势(位置、方向、大小等)的边界。由于边界K1至K12、M3至M5不像重叠标记那样在标记的位置隐藏术野图像，因此与使用重叠标记的情况相比，能够得到提高术野的可视性的效果。

另外，如上所述，也可以固定术野图像，可以改变边界K1至K12、M3至M5的姿势，使得边界K1至K12、M3至M5相对于固定呈现的术野图像成为适当的姿势(位置、方向等)(例如，消除边界K1至K12、M3至M5相对于固定姿势的术野图像中眼球的位移)。改变边界K1至K12和M3至M5的姿势改变每个区域的范围(例如，大小、形状等)。

例如，当改变边界K1至K12和M3至M5的姿势时，显示图像生成单元13f基于眼球的姿势信息根据眼球的位移改变边界K1至K12和M3至M5的姿势的同时生成显示图像。例如，显示图像生成单元13f根据眼球的移动方向和移动量，相对于实时术野图像，将边界K1至K12、M3至M5在眼球的移动方向移动上述移动量，并且改变边界K1至K12、M3至M5的姿势(例如，各区域的范围)。即，通过固定术野图像并改变边界K1至K12和M3至M5的姿势，眼球与边界K1至K12和M3至M5之间的位置关系不改变。

此外，追踪处理可能失败，并且可能出现不能估计实时图像中的眼睛的姿势(位置、方向等)的时刻。在这种情况下，显示图像生成单元13f可以通过维持在最后能够估计姿势时图像(最后的显示图像)的姿势来继续显示。另外，除了维持能够最后估计姿势时的术野图像的姿势以外，还能够以恒定速度、恒定角速度、恒定加速度运动、恒定角加速度运动维持能够估计姿势时的术野图像的姿势。此外，当追踪失败时，可改变预定区域的显示模式(例如，辉度、颜色等)，从而可识别失败。

虽然使用了如上所述的各种显示图像，但是这些显示图像可由手术者、工作人员等选择。通过由手术者、工作人员等对操作单元的输入操作来实现显示图像的选择。例如，手术者、工作人员等操作操作单元以选择用于显示期望的显示图像的显示模式。响应于该选择，显示图像生成单元13f基于所选择的显示模式来生成显示图像。类似地，关于各种图像，图像的大小、位置等可以由手术员、工作人员等改变。显示图像生成单元13f根据手术者、工作人员等对操作单元的输入操作而改变图像的大小、位置等，由此生成显示图像。

<1-4.作用和效果>

如上所述，在本实施方式中，图像输入单元13b接收针对患者眼睛的术野图像，眼球追踪单元13e追踪术野图像中的眼球，显示图像生成单元13f针对术野图像设定显示模式不同的多个区域，生成其中每个区域的边界(例如，边界K1至K12和M3至M5)表示相对于眼睛的特定位置、特定方向和特定大小中的至少一个的显示图像，此外，基于眼球的追踪结果改变区域中的任一个或全部的显示模式，并且改变边界的位置、方向和大小中的至少一个。这使得可以通过不通过标记而是通过具有不同显示模式的每个区域的边界呈现相对于眼睛的特定位置来防止发生遮挡。因此，手术者能够一边掌握特定的位置或者特定的大小一边容易地看到术野图像，能够准确地进行手术，因此能够高精度地实现根据术前计划的手术。注意，位移包括相对于诸如眼球的对象的任何改变，诸如平移、旋转、放大/缩小、变形或其组合。

此外，由于显示图像生成单元13f基于眼球的追踪结果改变多个区域中的任一个或全部的显示模式并且改变边界的位置、方向和大小中的至少一个，例如，与改变多个区域中的所有的显示模式的情况相比，当改变多个区域中的任一个的显示模式时，可以提高处理速度。此外，与多个区域中的任一个的显示模式改变的情况相比，在所有多个区域的显示模式改变的情况下，手术者可以容易地视觉识别每个区域的边界，并且因此，可以高精度地实现根据术前计划的手术。

另外，术前计划接收单元13a接收基于针对患者的眼睛的术前计划的术前图像和指标的位置、方向和大小(例如坐标的位置、方向、大小等)中的至少一者的信息，信息存储单元13d通过比较术前图像与手术开始时的术野图像，根据手术开始时的术野图像改变指标的位置、方向和大小中的至少一个信息，并且存储手术开始时的术野图像和指标的经改变的位置、方向和大小的至少一个信息。因此，手术开始时的术野图像和指标的改变后的位置、方向和大小的至少一个信息可以用于后处理。

眼球追踪单元13e通过将手术开始时的术野图像与实时术野图像进行比较来在实时术野图像中追踪眼球，并且输出表示在实时术野图像中眼球的位置、方向和大小的至少一个信息(例如，坐标的位置、方向、大小等)与指标的改变后的位置、方向和大小的至少一个信息之间的关系的关系信息。显示图像生成单元13f基于指标的经改变的位置、方向和大小中的至少一个信息布置边界，基于关系信息改变实时术野图像中的边界的位置、方向和大小中的至少一者，以消除边界的位置、方向和大小中的至少一者相对于手术开始时的术野图像中的眼球的改变，并且生成显示图像。因此，通过改变边界K1至K7相对于在手术开始时术野图像中眼球的位置、方向和大小中的至少一个，眼球与边界K1至K7之间的位置、方向和大小中的至少一个的关系不改变。因此，由于手术者可以详细地掌握特定位置、方向和大小中的至少一个，所以可以更高精度地实现根据术前计划的手术。

此外，显示图像生成单元13f通过坐标变换改变多个区域，使得述边界的位置、方向和大小中的至少一者基于眼球的追踪结果改变，并产生显示图像。结果，能够基于眼球的追踪结果可靠地改变边界的位置、方向和大小中的至少一个，并且能够产生显示图像。

此外，显示图像生成单元13f基于眼球的追踪结果改变指示边界的边界线，并且改变边界的位置、方向和大小中的至少一者。结果，与改变区域的情况相比，可以提高处理速度。例如，边界线可以是两个控制点(变换点)，但是该区域需要三个或更多个控制点。

此外，显示图像生成单元13f对多个区域中的两个以上区域执行调整相同类型的参数(例如，辉度、颜色等)的处理。该简单的处理能够容易地使各区域的边界显著。因此，因为手术者可以容易地视觉上识别每个区域的边界，所以可以高精度实现根据术前计划的手术。

此外，显示图像生成单元13f对多个区域中的两个以上区域执行调整不同类型的参数(例如，辉度、颜色等)的处理。该简单的处理能够容易地使各区域的边界显著。因此，因为手术者可以容易地视觉上识别每个区域的边界，所以可以高精度实现根据术前计划的手术。

此外，显示图像生成单元13f随着区域远离边界而削弱对于多个区域中的任一个或全部的处理的强度。因此，可以使远离边界的区域接近原始图像同时保持边界的清晰度，并且因此，可以高精度地实现根据术前计划的手术。

此外，显示图像生成单元13f生成包括边界的显示图像作为用于左眼(立体左眼)的显示图像以及用于右眼(立体右眼)的任意一者的显示图像，或者分别生成包括边界的显示图像作为用于左眼的显示图像以及用于右眼的显示图像。因此，与包括边界的显示图像被生成为左眼显示图像和右眼显示图像的情况相比，在包括边界的显示图像被生成为左眼显示图像和右眼显示图像之一的情况下，可以提高处理速度。此外，在包括边界的显示图像被生成为分别用于左眼的显示图像和用于右眼的显示图像的情况下，与包括边界的显示图像被生成为用于左眼的显示图像和用于右眼的显示图像之一的情况相比，可以改善边界的位置精度。

另外，眼球追踪单元13e在用于左眼和右眼中的一方或双方的术野图像中追踪眼球，显示图像生成单元13f基于左眼和右眼中的一方或双方的眼球的追踪结果来变更边界的位置、方向以及大小中的至少一者，生成用于左眼的图像和用于右眼的图像。结果，在使用用于左眼和用于右眼的术野图像之一的情况下，与使用术野图像两者的情况相比，能够提高处理速度。在使用术野图像两者的情况下，与使用术野图像之一的情况相比，能够提高边界的位置精度。

此外，显示图像生成单元13f在用于左眼的显示图像和用于右眼的显示图像中的相同位置处设置边界。结果，手术者能够容易地掌握边界的位置，因此能够高精度地实现根据术前计划的手术。

此外，显示图像生成单元13f生成左眼图像和右眼显示图像之间的边界的位置、方向和大小中的至少一个不同的显示图像，以指示特定位置、特定方向和特定大小中的至少一个。因此，可以在多个边界处指示特定位置、特定方向和特定大小中的至少一个，并且因此可以高精度根据术前计划实现手术。

此外，显示图像生成单元13f基于包括用于左眼的显示图像和用于右眼的显示图像的三维图像的期望定位的深度信息来位移用于左眼的显示图像和用于右眼的显示图像，并且生成三维图像。结果，手术者能够更容易地掌握边界的位置，因此能够高精度地实现根据术前计划的手术。

此外，在眼球偏离眼球追踪单元13e对眼球的追踪的情况下，显示图像生成单元13f维持眼球偏离之前的最后的显示图像。因此，可以避免由于显示图像的消失而引起的手术中断，并且因此，可以以高精度实现根据术前计划的手术。

此外，显示图像生成单元13f根据时间段改变多个区域中的任一个或全部的显示模式。结果，可以使显示图像接近原始图像或者可以使显示图像的边界周期性地变得明显。因此，由于手术者能够可靠地在视觉上识别原始图像和边界，所以能够以高精度实现根据术前计划的手术。

此外，显示图像生成单元13f生成其中边界指示多个特定位置的显示图像。因此，可以呈现更具体的位置，并且因此，可以高精度地实现根据术前计划的手术。

此外，显示图像生成单元13f根据眼球的大小变化来改变多个区域中的任一个或全部的大小。因此，一个或多个区域大小可以根据眼球的大小而改变，并且边界的位置、大小等可以改变，使得可以高精度地实现根据术前计划的手术。

此外，显示图像生成单元13f根据时间段改变多个区域中的任一个或全部的大小。因此，可以周期性地改变一个或多个区域的大小并且改变边界的位置、大小等，并且因此，可以高精度地实现根据术前计划的手术。此外，例如，可以通过减小区域使显示图像接近原始图像，并且手术者可以可靠地在视觉上识别原始图像，使得可以以高精度实现根据术前计划的手术。

此外，多个区域中的每个的显示模式根据多个区域中的每个的辉度的差异而不同。这使得可以容易地使每个区域的边界明显。因此，因为手术者可以容易地视觉上识别每个区域的边界，所以可以高精度地实现根据术前计划的手术。

此外，特定位置是人工晶状体的复曲面轴布置位置，并且显示图像生成单元13f改变多个区域中的每一个的辉度，使得边界指示复曲面轴布置位置。这使得能够容易地使复曲面轴布置位置显著。因此，由于手术者可以容易地视觉识别复曲面轴布置位置，所以可以根据术前计划以高精度实现手术。

此外，该特定位置是人工晶状体的复曲面轴布置位置、用于镊子插入的切口位置、前囊切口的切口位置、眼轴位置、角膜缘中心、瞳孔中心、术前瞳孔中心、视轴位置以及前囊切口边缘中心中的任意一个。由此，能够使人工晶状体的复曲面轴布置位置、钳子插入的切口位置、前囊切口的切口位置、眼轴位置、角膜缘中心、瞳孔中心、术前瞳孔中心、视轴位置、前囊切口边缘中心中的任意一方在各区域的边界处变得明显。因此，手术者能够容易地视觉确认这些特定位置，因此能够高精度地实现根据术前计划的手术。

此外，显示图像生成单元13f根据眼球追踪单元13e对眼球的追踪状态来改变多个区域中的任一个或全部的显示模式。结果，根据眼球的追踪状态，可以使显示图像接近原始图像或者使显示图像的边界明显，使得手术者可以掌握眼球的追踪状态(例如，追踪的可靠性等)。

<2.计算机的示意性配置的实例>

上述一系列处理可以由硬件或软件执行。在一系列处理由软件执行的情况下，构成软件的程序安装在计算机中。这里，计算机的实例包括结合在专用硬件中的计算机、能够通过安装各种程序执行各种功能的通用个人计算机等。

图30为示出通过程序执行上述一系列处理的计算机500的示意性配置的一个实例的示图。

如图30所示，计算机500包括中央处理单元(CPU)510、只读存储器(ROM)520和随机存取存储器(RAM)530。

CPU 510、ROM 520和RAM 530通过总线540彼此连接。输入/输出接口550进一步连接至总线540。输入单元560、输出单元570、记录单元580、通信单元590和驱动器600连接至输入/输出接口550。

输入单元560包括键盘、鼠标、麦克风、成像元件等。输出单元570包括显示器、扬声器等。记录单元580包括硬盘、非易失性存储器等。通信单元590包括网络接口等。驱动器600驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质610。

在如上所述配置的计算机500中，例如，CPU 510经由输入/输出接口550和总线540将记录在记录单元580中的程序加载到RAM 530中并执行该程序，从而执行上述一系列处理。

例如，由计算机500(即，CPU 510)执行的程序可以通过记录在作为封装介质等的可移除记录介质610中来提供。此外，可经由诸如局域网、因特网、或者数字卫星广播等有线或无线传输介质提供程序。

在计算机500中，通过将可移除记录介质610附接至驱动器600，可以经由输入/输出接口550将程序安装在记录单元580中。此外，程序可经由有线或无线传输介质由通信单元590接收并安装在记录单元580中。此外，程序可以提前安装在ROM 520或记录单元580中。

应注意，由计算机500执行的程序可以是其中处理按照本说明书中描述的顺序按时间序列执行的程序，或者可以是其中处理并行或在诸如当进行呼叫时的必要定时执行的程序。

此外，在本说明书中，系统意味着一组多个部件(装置、模块(部件)等)，并且所有部件是否在同一壳体中无关紧要。因此，容纳在单独的壳体中并且经由网络连接的多个装置，以及其中多个模块容纳在一个壳体中的一个装置都是系统。

此外，本技术的实施方式不限于上述实施方式，并且在不背离本技术的主旨的情况下可以做出各种修改。

例如，本技术可以具有云计算的配置，其中，经由网络通过多个装置协作地共享和处理一个功能。

此外，上述处理流程(例如，流程图)中描述的每个步骤可以由一个装置执行或者可以由多个装置共享和执行。

此外，在一个步骤中包括多个处理的情况下，包含在该一个步骤中的多个处理可以由一个装置执行或者可以由多个装置共享和执行。

此外，在本说明书中描述的效果仅是示例并且不受限制，并且可以提供除了在本说明书中描述的那些效果之外的效果。

<3.补充说明>

应注意，本技术还可具有以下配置。

(1)

一种图像处理装置，包括：

图像输入单元，其接收患者的眼睛的术野图像；

眼球追踪单元，其在上述术野图像中追踪眼球；以及

显示图像生成单元，其对上述术野图像设定显示模式不同的多个区域，生成以该多个区域的边界表示针对上述眼睛的特定位置、特定方向以及特定大小中的至少一者的显示图像，

其中，显示图像生成单元

基于所述眼球的追踪结果改变所述多个区域中的任一个或全部的显示模式，并且改变所述边界的位置、方向和大小中的至少一个。

(2)

根据(1)所述的图像处理装置，其还包括：

术前计划接收单元，其接收针对眼睛的手术前图像的位置、方向和大小和基于术前计划的指标中的至少一者的信息；以及

信息存储单元，其通过比较所述术前图像与手术开始时的所述术野图像，根据手术开始时的所述术野图像改变所述指标的位置、方向和大小的至少一个信息，并且存储手术开始时的所述术野图像和改变后的所述指标的位置、方向和大小的至少一个信息。

(3)

根据(2)所述的图像处理装置，其中

所述眼球追踪单元

通过将手术开始时的所述术野图像与所述实时术野图像进行比较来在实时的所述术野图像中追踪所述眼球，并且输出关系信息，所述关系信息表示在所述实时术野图像中的所述眼球的位置、方向和大小的至少一个信息与所述指标的改变的位置、方向和大小的至少一个信息之间的关系，以及

显示图像生成单元

基于改变的所述指标的位置、方向和大小的至少一个信息布置所述边界，基于所述关系信息改变所述实时术野图像中的所述边界的位置、方向和大小中的至少一个，以消除手术开始时所述术野图像中的所述边界相对于所述眼球的位置、方向和大小中的至少一个的改变，并且生成所述显示图像。

(4)

根据(1)至(3)中任一项所述的图像处理装置，其中

显示图像生成单元

通过坐标变换改变所述多个区域，使得边界的位置、方向和大小中的至少一个基于眼球的追踪结果而改变，并产生显示图像。

(5)

根据(1)至(3)中任一项所述的图像处理装置，其中

显示图像生成单元

基于眼球的追踪结果改变指示边界的边界线，并且改变边界的位置、方向和大小中的至少一个。

(6)

根据(1)至(5)中任一项所述的图像处理装置，其中

显示图像生成单元

执行调整所述多个区域中的两个或更多个区域的相同类型的参数的处理。

(7)

根据(1)至(6)中任一项所述的图像处理装置，其中

显示图像生成单元

执行调整所述多个区域中的两个或更多个区域的不同类型的参数的处理。

(8)

根据(1)至(7)中任一项所述的图像处理装置，其中

显示图像生成单元

随着距所述边界的距离增加，削弱对于所述多个区域中的任何区域或者所有区域的处理强度。

(9)

根据(1)至(8)中任一项所述的图像处理装置，其中

显示图像生成单元

将所述显示图像分别生成为立体左眼用图像和立体右眼用图像中的任一个，或者将所述显示图像分别生成为立体左眼用图像和立体右眼用图像。

(10)

根据(9)所述的图像处理装置，其中

所述眼球追踪单元

在所述术野图像中针对立体左眼和立体右眼中的一者或两者追踪所述眼球，以及

显示图像生成单元

基于针对立体左眼和立体右眼中的一者或两者的眼球的追踪结果改变所述边界的位置、方向和大小中的至少一个，并产生针对立体左眼的显示图像和针对立体右眼的显示图像。

(11)

根据(9)或(10)所述的图像处理装置，其中

显示图像生成单元

在所述立体左眼用图像和所述立体右眼用图像中，将所述边界设置在相同的位置。

(12)

根据(9)或(10)所述的图像处理装置，其中

显示图像生成单元

生成所述显示图像，在所述显示图像中，所述边界的位置、方向和大小中的至少一个在用于所述立体左眼的显示图像和用于所述立体右眼的显示图像之间不同，以便指示所述特定位置、所述特定方向和所述特定大小中的至少一个。

(13)

根据(9)至(12)中任一项所述的图像处理装置，其中

显示图像生成单元

基于包括用于立体左眼的显示图像和用于立体右眼的显示图像的三维图像的期望定位的深度信息来移动用于立体左眼的显示图像和用于立体右眼的显示图像，并且生成三维图像。

(14)

根据(1)至(13)中任一项所述的图像处理装置，其中

当所述眼球脱离所述眼球追踪单元对所述眼球的追踪时，

显示图像生成单元

在眼球偏离之前保持最后显示图像。

(15)

根据(1)至(14)中任一项所述的图像处理装置，其中

显示图像生成单元

根据时间段改变所述多个区域中的任意一个区域或全部区域的显示模式。

(16)

根据(1)至(15)中任一项所述的图像处理装置，其中

显示图像生成单元

生成其中边界指示多个特定位置的显示图像。

(17)

根据(1)至(16)中任一项所述的图像处理装置，其中

显示图像生成单元

根据所述眼球的大小变化来改变所述多个区域中的任意一个区域或全部区域的大小。

(18)

根据(1)至(17)中任一项所述的图像处理装置，其中

显示图像生成单元

根据时间段改变所述多个区域中的任意或所有区域的大小。

(19)

根据(1)至(18)中任一项所述的图像处理装置，其中

所述多个区域中的每一个的所述显示模式根据所述多个区域中的每一个的辉度的差异而不同。

(20)

根据(19)所述的图像处理装置，其中

所述特定位置是人工晶状体的复曲面轴布置位置，以及

显示图像生成单元

改变所述多个区域中的每一个的辉度，使得所述边界指示所述复曲面轴布置位置。

(21)

根据(1)至(20)中任一项所述的图像处理装置，其中

所述特定位置为人工晶状体的复曲面轴布置位置、镊子插入的切口位置、前囊切口的切口位置、眼轴位置、角膜缘中心、瞳孔中心、术前瞳孔中心、视轴位置、前囊切口边缘中心中的任意一个。

(22)

一种由图像处理装置执行的图像处理方法，

该方法包括：

接收患者眼睛的术野图像；

在所述术野图像中追踪眼球；以及

对所述术野图像设定显示模式不同的多个区域，生成以所述多个区域的边界表示相对于所述眼睛的特定位置、特定方向以及特定大小中的至少一者的显示图像，

其中，图像处理装置

基于所述眼球的追踪结果改变所述多个区域中的任一个或全部的显示模式，并且改变所述边界的位置、方向和大小中的至少一个。

(23)

一种手术显微镜系统，包括：

手术显微镜，其获得患者眼睛的术野图像；

图像处理装置，产生显示图像；以及

显示装置，显示所述显示图像，

其中，所述图像处理装置包括：

图像输入单元，其接收上述术野图像；

眼球追踪单元，其在上述术野图像中追踪眼球；以及

显示图像生成单元，其对上述术野图像设定显示模式不同的多个区域，生成上述多个区域的边界表示针对上述眼睛的特定位置、特定方向以及特定大小中的至少一者的显示图像；以及

显示图像生成单元

基于所述眼球的追踪结果改变所述多个区域中的任一个或全部的显示模式，并且改变所述边界的位置、方向和大小中的至少一个。

(24)

一种使用根据(1)至(21)中任一项所述的图像处理装置的图像处理方法。

(25)

一种手术显微镜系统，包括根据(1)至(21)中任一项所述的图像处理装置。

参考标号列表

1 手术显微镜系统

10 手术显微镜

11 物镜

12 目镜

13 图像处理装置

13A控制单元

13a 术前计划接收单元

13b 图像输入单元

13c 登记单元

13d 信息存储单元

13e 眼球追踪单元

13f 显示图像生成单元

14 监视器

20 病床

51 光源

52 观察光学系统

52a半反射镜

53 前方图像捕获单元

54 断层图像捕获单元

55 呈现单元

56 接口单元

57 扬声器

500 计算机

510CPU

520ROM

530RAM

540总线

550输入/输出接口

560 输入单元

570 输出单元

580 记录单元

590 通信单元

600 驱动器

610 可移除记录介质。

Claims (23)

1.一种图像处理装置，包括：

图像输入单元，接收患者的眼睛的术野图像；

眼球追踪单元，在所述术野图像中追踪眼球；以及

显示图像生成单元，对所述术野图像设定具有不同显示模式的多个区域，生成所述多个区域的边界表示针对所述眼睛的特定位置、特定方向以及特定大小中的至少一者的显示图像，

其中，所述显示图像生成单元

基于所述眼球的追踪结果改变所述多个区域中的任意一个区域或全部区域的显示模式，并且改变所述边界的位置、方向和大小中的至少一者。

2.根据权利要求1所述的图像处理装置，进一步包括：

术前计划接收单元，接收基于针对眼睛的术前计划的术前图像和指标的位置、方向和大小中的至少一者的信息；以及

信息存储单元，通过比较所述术前图像与手术开始时的术野图像，根据所述手术开始时的术野图像改变所述指标的位置、方向和大小中的至少一个信息，并且存储所述手术开始时的术野图像和所述指标的经改变的位置、方向和大小中的至少一个信息。

3.根据权利要求2所述的图像处理装置，其中

所述眼球追踪单元

通过将手术开始时的术野图像与实时术野图像进行比较来在实时的术野图像中追踪所述眼球，并且输出关系信息，所述关系信息表示在所述实时术野图像中的眼球的位置、方向和大小中的至少一个信息与所述指标的经改变的位置、方向和大小中的至少一个信息之间的关系，以及

所述显示图像生成单元

基于所述指标的经改变的位置、方向和大小中的至少一个信息布置所述边界，基于所述关系信息改变实时术野图像中的边界的位置、方向和大小中的至少一者，以消除边界的位置、方向和大小中的至少一者相对于手术开始时的术野图像中的眼球的变化，并且生成所述显示图像。

4.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

通过坐标变换改变所述多个区域，使得所述边界的位置、方向和大小中的至少一者基于所述眼球的追踪结果改变，并生成所述显示图像。

5.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

基于所述眼球的追踪结果改变指示所述边界的边界线，并且改变所述边界的位置、方向和大小中的至少一者。

6.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

针对所述多个区域中的两个或更多个区域，执行调整相同类型的参数的处理。

7.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

针对所述多个区域中的两个或更多个区域，执行调整不同类型的参数的处理。

8.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

随着距所述边界的距离增加，削弱对于所述多个区域中的任意一个区域或者所有区域的处理强度。

9.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

作为用于立体左眼的显示图像以及用于立体右眼的显示图像中的任意一者的显示图像来生成所述显示图像，或者作为用于立体左眼的显示图像以及用于立体右眼的显示图像来分别生成所述显示图像。

10.根据权利要求9所述的图像处理装置，其中

所述眼球追踪单元

对用于立体左眼和用于立体右眼的一者或两者的术野图像中的眼球进行追踪，以及

所述显示图像生成单元

基于用于立体左眼和用于立体右眼中的一者或两者的眼球的追踪结果改变所述边界的位置、方向和大小中的至少一者，并产生用于立体左眼的显示图像和用于立体右眼的显示图像。

11.根据权利要求9所述的图像处理装置，其中

所述显示图像生成单元

在用于立体左眼的显示图像和用于立体右眼的显示图像中，将所述边界设置在相同的位置。

12.根据权利要求9所述的图像处理装置，其中

所述显示图像生成单元

以指示所述特定位置、所述特定方向和所述特定大小中的至少一者的方式，生成在用于立体左眼的显示图像和用于立体右眼的显示图像之间所述边界的位置、方向和大小中的至少一者不同的所述显示图像。

13.根据权利要求9所述的图像处理装置，其中

所述显示图像生成单元

基于包括用于立体左眼的显示图像和用于立体右眼的显示图像的三维图像的期望定位的深度信息来位移用于立体左眼的显示图像和用于立体右眼的显示图像，并且生成所述三维图像。

14.根据权利要求1所述的图像处理装置，其中

当眼球偏离所述眼球追踪单元对所述眼球的追踪时，

所述显示图像生成单元

维持在所述眼球偏离之前的最后的显示图像。

15.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

根据时间段改变所述多个区域中的任意一个区域或全部区域的显示模式。

16.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

生成所述边界指示多个所述特定位置的显示图像。

17.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

根据所述眼球的大小变化来改变所述多个区域中的任意一个区域或全部区域的大小。

18.根据权利要求1所述的图像处理装置，其中

所述显示图像生成单元

根据时间段改变所述多个区域中的任意一个区域或所有区域的大小。

19.根据权利要求1所述的图像处理装置，其中

所述多个区域中的每一者的显示模式根据所述多个区域中的每一者的辉度的差异而不同。

20.根据权利要求19所述的图像处理装置，其中

所述特定位置是人工晶状体的复曲面轴布置位置，以及

所述显示图像生成单元

改变所述多个区域中的每一者的辉度，使得所述边界指示所述复曲面轴布置位置。

21.根据权利要求1所述的图像处理装置，其中

所述特定位置为人工晶状体的复曲面轴布置位置、用于镊子插入的切口位置、晶状体前囊切口的切口位置、眼轴位置、角膜缘中心、瞳孔中心、术前瞳孔中心、视轴位置、晶状体前囊切口边缘中心中的任意一者。

22.一种由图像处理装置执行的图像处理方法，

所述方法包括：

接收患者眼睛的术野图像；

在所述术野图像中追踪眼球；以及

对所述术野图像设定具有不同显示模式的多个区域，生成所述多个区域的边界表示针对所述眼睛的特定位置、特定方向以及特定大小中的至少一者的显示图像，

其中，所述图像处理装置

基于所述眼球的追踪结果改变所述多个区域中的任意一个区域或全部区域的显示模式，并且改变所述边界的位置、方向和大小中的至少一者。

23.一种手术显微镜系统，包括：

手术显微镜，获得患者的眼睛的术野图像；

图像处理装置，产生显示图像；以及

显示装置，显示所述显示图像，

其中，所述图像处理装置包括：

图像输入单元，接收所述术野图像；

眼球追踪单元，在所述术野图像中追踪眼球；以及

显示图像生成单元，对所述术野图像设定具有不同显示模式的多个区域，生成所述多个区域的边界表示针对所述眼睛的特定位置、特定方向以及特定大小中的至少一者的显示图像，

其中，所述显示图像生成单元

基于所述眼球的追踪结果改变所述多个区域中的任意一个区域或全部区域的显示模式，并且改变所述边界的位置、方向和大小中的至少一者。