CN109496144B

CN109496144B - 控制装置、控制系统、以及控制方法

Info

Publication number: CN109496144B
Application number: CN201780046490.0A
Authority: CN
Inventors: 秋田正义; 林恒生; 杉江雄生; 古川昭夫; 植田充纪; 一木洋; 菊地大介
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-08-01
Filing date: 2017-04-24
Publication date: 2022-08-16
Anticipated expiration: 2037-04-24
Also published as: JPWO2018025457A1; US10652973B2; JP7070412B2; CN109496144A; WO2018025457A1; US20190261498A1; EP3492037A4; EP3492037A1

Abstract

本公开提供一种控制装置、控制系统、以及控制方法，它们能够在另一光源发射的光的变化的定时使得光源适应性地发射光。根据本公开，提供一种控制装置，包括光源控制单元，其基于从第一光源发射的光的轮廓和用于同步第一光源与第二光源之间的定时的同步信号而相对于第二光源执行光发射的控制，第二光源用于在手术部位上照射光。

Description

控制装置、控制系统、以及控制方法

技术领域

本公开涉及一种控制装置、控制系统、以及控制方法。

背景技术

在相关技术中，已经开发了诸如例如发光二极管(LED)和荧光灯的各种各样的照明设备。

进一步地，已经提出了使用诸如例如显微镜装置的测量装置从测量目标获取数据的各种各样的技术(例如，参见下列专利文献1)。

现有技术文献

专利文献

专利文献1：特开2015-169438号公报

发明内容

技术问题

顺便提及，从一个光源发射的光的亮度能够随着时间而改变。因此，例如，在一个光源发射光时执行成像的情景中，所拾取图像的亮度根据成像定时而改变。

因此，本公开提出了一种新的和改善的控制装置、控制系统、以及控制方法，它们能够在一个光源发射的光改变的定时使得另一光源适应性地发射光。

问题的解决方案

根据本公开，提供一种控制装置，包括：光源控制单元，其被配置为基于从第一光源发射的光的轮廓和用于同步第一光源和第二光源之间的定时的同步信号控制第二光源的光发射，第二光源用于将光照射在手术区域上。

此外，根据本公开，提供一种控制系统，包括：第一光源；第二光源，被配置为将光照射在手术区域上；图像拾取单元；光源控制单元，被配置为基于从第一光源发射的光的轮廓和用于同步第一光源与第二光源之间的定时的同步信号控制第二光源的光发射；以及成像控制单元，被配置为基于同步信号控制图像拾取单元的成像。

此外，根据本公开，提供一种控制方法，包括：基于从第一光源发射的光的轮廓和用于同步第一光源和第二光源之间的定时的同步信号，通过处理器控制第二光源的光发射，第二光源用于将光照射在手术区域上。

发明的有益效果

如上所述，根据本公开，可以在一个光源发射的光改变的定时使得另一光源适应性地发射光。应注意，此处描述的效果不必须具有限制性，并且可以是本公开中公开的任意效果。

附图说明

[图1]是示出根据第一实施方式的控制系统的构造例的说明图。

[图2]是示出根据第一实施方式的控制装置10-1的构造例的功能框图。

[图3]是示出根据第一实施方式的外部光源轮廓和同步信号的分析例的说明图。

[图4]是示出根据第一实施方式的自光源轮廓的生成例的说明图。

[图5]是示出根据第一实施方式的自光源轮廓的另一生成例的说明图。

[图6]是示出根据第一实施方式的对光源单元202的光发射控制与成像控制的实施例的说明图。

[图7]是示出根据第一实施方式的操作例的流程图。

[图8]是示出根据第一实施方式的应用例的用于显示的图像的生成例的说明图。

[图9]是示出根据第二实施方式的控制系统的构造例的说明图。

[图10]是示出根据第二实施方式的控制装置10-2的构造例的功能框图。

[图11]是示出根据第二实施方式的自光源轮廓的生成例的说明图。

[图12]是示出根据第二实施方式的同步信号的检测例的说明图。

[图13]是示出根据第二实施方式的操作例的流程图。

[图14]是示出根据第三实施方式的控制装置10-3的构造例的功能框图。

具体实施方式

在下文中，将参考所附附图详细描述本公开的优选实施方式。应注意，在本说明书和所附附图中，以相同参考标号表示具有大致相同功能和结构的结构元件，并且省去这些结构元件的重复说明。

进一步地，在本说明书和附图中，存在通过相同参考标号后面赋予的不同字母字符区分具有大致相同功能配置的多个部件的情况。例如，根据需要，将具有大致相同功能配置的多个部件区分为控制装置10-1a和控制装置10-1b。然而，在不需要具体区分具有大致相同功能配置的多个部件的情况下，仅赋予相同的参考标号。例如，在不需要具体区分控制装置10-1a和控制装置10-1b的情况下，将其简称为控制装置10-1。

进一步地，将根据下列项顺序描述“执行本发明的一个或多个模式”。

1.第一实施方式

2.第二实施方式

3.第三实施方式

4.变形例

应注意，在本说明书和附图中，存在将根据各个实施方式的后面描述的控制装置10-1、控制装置10-2、以及控制装置10-3统称为控制装置10的情况。

<<1.第一实施方式>>

<1-1.控制系统的构造>

首先，将描述第一实施方式。在第一实施方式中，将主要描述其中医师在手术室中利用后面描述的观察装置20执行开颅手术时的情景。应注意，第一实施方式能够应用于其中执行诸如剖腹手术和胸廓切开手术的开腹手术的情景、以及开颅手术的情景。

图1是示出根据第一实施方式的控制系统的构造例的说明图。如图1中示出的，根据第一实施方式的控制系统包括观察系统2和外部光源30。进一步地，观察系统2包括控制装置10-1、观察装置20、以及显示装置32。应注意，图1示出了外科医生4使用控制系统对病床6上的患者8执行手术时的状态。进一步地，在关于控制系统的下列描述中，“用户”指诸如使用控制系统的外科医生或助理的医务工作人员中的任意一个。

{1-1-1.观察装置20}

观察装置20包括用于观察观察目标(患者的手术区域)的观察单元22、在其远端支撑观察单元22的臂单元26、以及支撑臂单元26的近端的基底单元28。

观察单元22包括具有大致圆柱形状的圆柱部24、设置在圆柱部24内的图像拾取单元200(图1中未示出)、以及设置在圆柱部24的外周的部分区域中的操作单元(未示出)。例如，观察单元22是显微镜单元。作为实例，观察单元22是通过图像拾取单元200电子地拾取图像的电子图像拾取类型的显微镜单元(所谓的视频类型的显微镜单元)。

用于保护内部图像拾取单元200的盖玻璃元件设置在圆柱部24的下端的开口面处。来自观察目标的光(以下也被称为观察光)通过盖玻璃元件并且进入圆柱部24内的图像拾取单元200。进一步地，光源单元202设置在圆柱部24内。因此，一旦成像，光则可以通过盖玻璃元件从光源单元202照射在观察目标上。

光源单元202是本公开中的第二光源的实例。例如，光源单元202可以是LED和诸如半导体激光的半导体光源。光源单元202能够根据需要调整光源单元202的照射光量、照射光的波长(颜色)、光的照射方向等。例如，光源单元202能够照射可见光和红外光。

图像拾取单元200包括聚集观察光的光学系统和接收通过光学系统聚集的观察光的图像拾取元件。光学系统包括含变焦距透镜和聚焦透镜的多个透镜的组合。光学系统具有被调整为使得观察光聚集以在图像拾取元件的光接收面上形成图像的光学性质。图像拾取元件接收观察光并且对观察光进行光电转换，以生成与观察光对应的信号，即，与观察图像对应的图像信号。例如，作为图像拾取元件，使用具有拜耳阵列(Bayer array)并且能够拾取彩色图像的图像拾取元件。图像拾取元件可以是诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合设备(CCD)图像传感器的任意各种已知的图像拾取元件。将通过图像拾取元件生成的图像信号作为RAW数据传输至后面描述的控制装置10-1。此处，通过光学通信可以适当地执行图像信号的传输。这是因为，在手术现场，外科医生通过拾取图像观察患部的状态时进行手术，为了以更高的安全度和确定性完成手术，要求尽可能实时地显示手术区域的移动图像。如果使用光学通信传输图像信号，则能够以低延迟显示拾取图像。

应注意，图像拾取单元200可以具有用于沿着光轴移动其光学系统的变焦距透镜和聚焦透镜的驱动机构。如果通过驱动机构适当地移动变焦距透镜和聚焦透镜，则能够调整拾取图像的放大倍率以及图像拾取时的焦距。进一步地，图像拾取单元200可以将电子图像拾取的显微镜单元中通常设置的诸如自动曝光(AE)功能或自动聚焦(AF)功能的各种各样的功能整合到其中。

进一步地，图像拾取单元200可以被配置成包括单个图像拾取元件的单板类型的图像拾取单元200或可以被配置成包括多个图像拾取元件的多板类型的图像拾取单元200。例如，如果图像拾取单元200被配置成多板类型，则通过图像拾取元件可以生成与红色、绿色、以及蓝色对应的图像信号并且可以合成图像信号而获得彩色图像。可替代地，图像拾取单元200可以被配置为使得其具有用于获取与立体视觉(三维(3D)显示)兼容的右眼和左眼的图像信号的一对图像拾取元件。如果应用3D显示，外科医生则能够以更高的准确度理解手术区域中的生物体组织的深度。应注意，如果图像拾取单元200被配置成立体类型，则设置与各个图像拾取元件对应的多个光学系统。

例如，操作单元包括横向操纵杆、开关等并且接受用户的操作输入。例如，用户能够通过操作单元输入改变观察图像的放大倍率与到观察目标的焦距的指令。通过图像拾取单元200的驱动机构根据指令适当地移动变焦距透镜和聚焦透镜能够调整放大倍率与焦距。进一步地，例如，用户能够通过操作单元输入切换臂单元26的操作模式(下面描述的全自由模式与固定模式)的指令。应注意，当用户想要移动观察单元22时，假设在用户保持圆柱部24、抓住观察单元22的状态下用户移动观察单元22。相应地，操作单元优选设置在用户的手指能够易于操作的位置处，且圆柱部24保持为使得即使在用户移动圆柱部24时，用户也能够操作操作单元。

臂单元26被配置为使得通过多个接合部连接多个连杆，以相对于彼此旋转。

{1-1-2.控制装置10-1}

控制装置10-1通过控制观察装置20和显示装置32的操作而整体控制观察系统2的操作。例如，控制装置10-1根据预定的控制方法致使臂单元26内的相应接合部的致动器操作，以控制臂单元26的驱动。进一步地，例如，控制装置10-1对通过观察装置20的图像拾取单元200获取的图像信号执行各种信号处理，以生成用于显示的图像数据，并且控制装置10-1控制显示装置32显示所生成的图像数据。作为信号处理，可以执行各种已知的信号处理，诸如，例如，显影处理(去马赛克处理)、图像质量改善处理(带宽增强处理、超清处理、降噪(NR)处理、和/或图像稳定化处理)、和/或放大处理(即，电子变焦处理)。

应注意，控制装置10-1与观察单元22之间的通信及控制装置10-1与臂单元26内的相应接合部之间的通信可以是有线通信或无线通信。如果应用有线通信，则可以通过电信号执行通信或可以执行光学通信。在这种情况下，响应于所应用的通信方法，有线通信所使用的传输用电缆可以被配置成电信号电缆、光学纤维、或其复合电缆。另一方面，如果应用无线通信，则因为不需要在手术室中放置传输电缆，所以能够排除传输电缆干扰手术室中的医务人员的走动的情形。

控制装置10-1可以包括诸如中央处理单元(CPU)或图形处理单元(GPU)的处理器、或者整合了处理器和诸如存储器的存储元件的控制板或微计算机。通过根据预定程序操作的控制装置10-1的处理器能够实现以上所述各种功能。替代处理器或与处理器一起，控制装置10-1还能够包括诸如场可编程门阵列(FPGA)的可编程逻辑设备。在这种情况下，通过根据使用硬件描述语言等的用户所指定的配置操作的控制装置10-1的FPGA，能够实现上述各种各样的功能。

应注意，在示出的附图中，尽管控制装置10-1被设置成与观察装置20分离的装置，然而，控制装置10-1可以设置在观察装置20的基底单元28内或可以与观察装置20配置成整体。控制装置10-1还可以包括多个装置。例如，微计算机、控制板等可以设置在观察单元22处或臂单元26内的相应接合部处并且连接而彼此通信，以实现与控制装置10-1的那些功能相似的功能。

{1-1-3.显示装置32}

显示装置32设置在手术室中并且在控制装置10-1的控制下显示与通过控制装置10-1生成的图像数据对应的图像。换言之，在显示装置32上显示通过观察单元22拾取的手术区域的图像。替代或除手术区域的图像之外，显示装置32可以显示诸如患者的身体信息的与手术有关的各种信息或关于手术的手术程序的信息。在这种情况下，可以响应用户的操作适当地切换显示装置32的显示。可替代地，多个这种显示装置32也可以设置成使得在多个显示装置32上单独显示手术区域的图像或与手术有关的各种信息。应注意，作为显示装置32，可以应用诸如液晶显示装置或电致发光(EL)显示装置的各种已知的显示装置。

例如，如图1中描述的，在手术时，例如，在安装于手术室的壁面上的显示装置32上以放大尺寸显示通过观察装置20拾取的手术区域的图像。显示装置32安装在与外科医生4相对的位置处，并且外科医生4对手术区域进行各种治疗，诸如，例如，在从显示装置32上显示的视频中观察手术区域的状态时对患部执行切除术。

应注意，显示装置32可以被设置成从手术室的天花板悬挂、或可以放置在手术室内的盘状物上、以及显示装置32安装在手术室的壁面上的实例。可替代地，显示装置32可以是具有显示功能的移动装备或可以与控制装置10-1或观察装置20配置成整体。

{1-1-4.外部光源30}

外部光源30是本公开中的第一光源的实例。外部光源30是设置在手术室内的光源。例如，外部光源30设置在手术室的天花板上并且至少照射外科医生的手。外部光源30能够根据需要调整外部光源30的照射光量、照射光的波长(颜色)、光的照射方向等。在该外部光源30处，发射光的亮度能够周期性地改变，其包括根据商用电源频率(例如，等于或高于50Hz)闪光。

该外部光源30可以是无影灯。进一步地，外部光源30可以包括LED。

应注意，根据第一实施方式的控制系统的构造并不局限于上述实例。例如，观察装置20还能够用作在其远端处支撑其他观察装置(诸如，例如，替代观察单元22的内诊镜)的支撑臂装置。即，控制系统(或观察系统2)能够应用于显微镜手术系统和内诊镜手术系统。此处，其他观察装置包括图像拾取单元200。进一步地，其他观察装置可以进一步包括光源单元202或不必须包括光源单元202。在后者情况下，可以由与其他观察装置分离的支撑臂装置支撑光源单元202。与由医务人员的手支撑这些观察装置的情况相比较，通过由支撑臂装置支撑的这些观察装置(和光源单元202)可以更稳定地固定位置并且减小医务人员的负担。

{1-1-5.问题的整理}

上面已经描述了根据第一实施方式的控制系统的构造。顺便提及，在相关技术中，进行使用吲哚菁绿(ICG)的红外激发荧光观察，即，通过将ICG局部注射到组织中并且利用与试剂的荧光波长对应的激发光照射组织而观察荧光图像。然而，在开腹手术中，必须使得手术室内变暗而使用ICG进行红外激发荧光观察。

进一步地，作为另一问题，因为外部光源30不与观察系统2同步，所以通过图像拾取单元200拾取的图像内出现诸如显带(即，出现明亮部分和黑暗部分的现象)并且可以存在闪烁光的伪像。

因此，鉴于上述情况，创造了根据第一实施方式的控制装置10-1。根据第一实施方式，控制装置10-1基于从外部光源30发射的光的轮廓(以下称之为外部光源轮廓)以及基于从外部光源30发射的光而指定的同步信号控制光源单元202的光发射。用这种方法，可以使光源单元202在从外部光源30发射的光的亮度变化的定时适应性地发射光。例如，当外部光源30不发射光时，可以使光源单元202发射红外光，或使光源单元202发射可见光，以补偿外部光源30缺少的光量。

<1-2.构造>

接着将详细描述根据第一实施方式的控制装置10-1的构造。图2是示出根据第一实施方式的控制装置10-1的构造例的功能框图。如图2中示出的，控制装置10-1包括外部光源轮廓分析单元100、自光源轮廓生成单元102、同步信号分析单元104、同步控制单元106、以及光源控制单元108。

{1-2-1.外部光源轮廓分析单元100}

外部光源轮廓分析单元100是本公开中的轮廓指定单元的实例。外部光源轮廓分析单元100基于利用来自外部光源30的光照射的、通过图像拾取单元200拾取的受试者的图像分析外部光源轮廓。此处，外部光源轮廓可以包括关于从外部光源30发射的光的亮度的变化的规则性的信息。例如，外部光源轮廓包括从外部光源30发射的光的调制图案、发光频率、以及光照明色。

例如，首先，外部光源轮廓分析单元100基于图像拾取单元200的成像指定拾取相对明亮的图像的期间的长度(即，外部光源30的发光强度相对高的期间)和拾取相对灰暗的图像的期间的长度(即，外部光源30的发光强度相对低的期间)。例如，在外部光源30是LED照明的情况下，外部光源轮廓分析单元100基于图像拾取单元200的成像指定外部光源30开着的期间的长度和外部光源30关闭的期间的长度。

然后，外部光源轮廓分析单元100基于这些期间的长度之间的关系分析外部光源30的光发射的循环。通过这种方法，能够指定如图3的图(a)中示出的外部光源30的发光强度的波形50。

应注意，外部光源轮廓分析单元100还能够基于通过图像拾取单元200拾取的静止图像分析外部光源轮廓或还能够基于所拾取的移动图像(即，一系列图像)分析外部光源轮廓。进一步地，外部光源轮廓分析单元100基本上(例如，在手术期间)实时分析外部光源轮廓。然而，本公开并不局限于这种实例，并且外部光源轮廓分析单元100可以提前(例如，在手术之前等)分析外部光源轮廓。

(1-2-1-1.变形例)

应注意，作为变形例，可以在控制装置10-1或可以与控制装置10-1通信的其他装置中预设外部光源轮廓中包括的全部或部分信息。在这种情况下，外部光源轮廓分析单元100还能够通过从对应的装置获取预设信息而获取外部光源轮廓。

{1-2-2.自光源轮廓生成单元102}

自光源轮廓生成单元102基于通过外部光源轮廓分析单元100分析的外部光源轮廓而生成自光源轮廓。进一步地，自光源轮廓生成单元102能够基于用户指定的观察模式进一步生成自光源轮廓。

此处，例如，观察模式包括可见光/红外光时分式成像模式和辅助模式。可见光/红外光时分式成像模式是交替进行通过外部光源30的可见光的光发射和通过光源单元202的红外光的光发射的模式，并且在相应的光发射定时，通过图像拾取单元200逐个帧地顺序进行成像。此处，可见光是本公开中的第一光的实例，并且红外光是本公开中的第二光的实例。进一步地，辅助模式是使光源单元202发射可见光以补偿外部光源30缺少的光量的模式。例如，辅助模式是通过光源单元202顺序调整可见光的光发射量以使得外部光源30的光发射量与光源单元202的光发射量之和大致恒定的模式。应注意，在辅助模式中，光源单元202可以被进一步控制为发射与外部光源30的颜色大致相同的光照明色的可见光。

图4是示出将可见光/红外光时分式成像模式指定为观察模式的情况下的自光源轮廓的生成例的说明图。在这种情况下，如图4中(光源单元202的发光强度)的波形54a示出的，自光源轮廓生成单元102生成自光源轮廓，用于在外部光源30不发射光的期间(诸如时间t2与时间t3之间)控制光源单元202发射例如100％的发光强度的红外光并且在外部光源30发射光的期间(诸如时间t3与时间t4之间)控制光源单元202不发射光。

进一步地，图5是示出将辅助模式指定为观察模式的情况下的自光源轮廓的生成例的说明图。在这种情况下，如图5中(光源单元202的发光强度)的波形54b示出的，自光源轮廓生成单元102生成自光源轮廓，用于在外部光源30不发射光的期间(诸如时间t2与时间t3之间)控制光源单元202发射“100％”的发光强度的可见光并且在外部光源30发射光的期间(诸如时间t3与时间t4之间)控制光源单元202发射低于“100％”的预定发光强度的可见光。此处，预定的发光强度可以是等于光源单元202的“100％”的发光强度与外部光源30的“100％”的发光强度之差的光源单元202的发光强度。

应注意，能够将观察模式的设置信息存储在控制装置10-1内。进一步地，例如，根据需要，能够基于相对于操作单元(未示出)的用户操作改变观察模式。该操作单元可以是上述观察装置20的操作单元或可以设置在控制装置10-1处或可以单独设置在手术室内。

进一步地，自光源轮廓生成单元102将生成的自光源轮廓传输至光源控制单元108。

{1-2-3.同步信号分析单元104}

同步信号分析单元104是本公开中的同步信号指定单元的实例。同步信号分析单元104通过分析基于由图像拾取单元200拾取的图像而被同步的循环和定时实时地分析同步信号。例如，在图3示出的实例中，同步信号分析单元104基于通过图像拾取单元200拾取的图像40的亮度改变的定时分析如图3的图(b)中示出的同步信号52。作为实例，同步信号分析单元104分析外部光源30从外部光源30不发射光的状态开始光发射的定时作为同步信号的输出定时。

进一步地，同步信号分析单元104将所分析的同步信号传输至同步控制单元106。

{1-2-4.同步控制单元106}

同步控制单元106是本公开中的成像控制单元的实例。同步控制单元106基于通过同步信号分析单元104分析的同步信号生成用于图像拾取单元的同步信号和用于自光源的同步信号。例如，同步控制单元106基于通过同步信号分析单元104分析的同步信号，通过调整同步频率和同步相位而生成用于图像拾取单元的同步信号和用于自光源的同步信号。进一步地，同步控制单元106将用于自光源的生成同步信号传输至光源控制单元108。

进一步地，同步控制单元106能够基于针对图像拾取单元生成的同步信号控制图像拾取单元200上的成像。例如，同步控制单元106同步在图像拾取单元的同步信号的输出定时控制图像拾取单元200开始新的帧的成像。可替代地，同步控制单元106还能够将针对图像拾取单元生成的同步信号(自身)提供至图像拾取单元200。在这种情况下，图像拾取单元200基于图像拾取单元所接收的同步信号执行成像。

图6是示出图(a)、图(b)、以及图(c)的示图，图(a)示出了外部光源30的发光强度的波形，图(b)示出了光源单元202上的光发射控制的时间变化，并且图(c)示出了图像拾取单元200上的成像控制的时间变化。应注意，图6示出了将可见光/红外光时分式成像模式指定为观察模式的情况。如图6中示出的，同步控制单元106在外部光源30的光发射状态在开启与关闭之间切换的各个定时控制图像拾取单元200以开始新的帧的成像。通过这种方法，每次外部光源30闪烁时，在可见光的光发射期间通过外部光源30逐个帧地执行成像并且在红外光的光发射期间通过光源单元202逐个帧地执行成像。因此，在显示装置32处可以显示清晰的图像，其中，将通过外部光源30发射光时所拾取的帧图像560叠加在紧跟帧图像560之后的红外光的光发射时所拾取的帧图像562上。

{1-2-5.光源控制单元108}

光源控制单元108基于通过自光源轮廓生成单元102生成的自光源轮廓和通过同步控制单元106生成的用于自光源的同步信号控制光源单元202的光发射。在图6示出的实例中，光源控制单元108控制光源单元202的光发射，使得在外部光源30的光发射状态从开启切换至关闭的定时(例如，时间t2)，光源单元202的光发射状态从关闭切换至开启。应注意，如上所述，因为光源单元202可以是半导体光源，所以可以以良好的响应照射光，以通过光源控制单元108进行控制。

应注意，根据第一实施方式的控制装置10-1的构造并不局限于上述实例。例如，外部光源轮廓分析单元100、自光源轮廓生成单元102、同步信号分析单元104、同步控制单元106、以及光源控制单元108中的一个或多个可以设置在观察装置20内，而非设置在控制装置10-1内。

<1-3.操作>

上面已经描述了根据第一实施方式的构造。接着将参考图7描述根据第一实施方式的操作。图7是示出根据第一实施方式的操作例的流程图。

如图7中示出的，首先，控制装置10-1从图像拾取单元200获取利用来自外部光源30的光照射的、通过图像拾取单元200拾取的受试者的图像(S101)。

随后，外部光源轮廓分析单元100基于所获取的图像分析外部光源轮廓。同时，同步信号分析单元104基于所获取的图像分析同步信号(S103)。

随后，自光源轮廓生成单元102指定由用户指定的、存储在例如控制装置10-1内的观察模式(S105)。然后，自光源轮廓生成单元102基于在S103中分析的外部光源轮廓和在S105中指定的观察模式生成自光源轮廓(S107)。

随后，同步控制单元106基于在S103中分析的同步信号生成用于图像拾取单元的同步信号和用于自光源的同步信号。然后，光源控制单元108基于用于自光源的生成同步信号和在S107中生成的自光源轮廓使光源单元202发射光。同时，同步控制单元106基于用于图像拾取单元的生成同步信号使图像拾取单元200执行成像(S109)。

然后，控制装置10-1使显示装置32显示在S109中拾取的图像(S111)。因此，在用户执行观察端操作的情况下(S113：是)，本操作结束。同时，在不执行观察端操作的情况下(S113：否)，控制装置10-1再次重复S109中的过程及随后的过程。

<1-4.效果>

如上所述，根据第一实施方式，控制装置10-1基于根据利用从外部光源30发射的光照射的受试者的拾取图像指定的外部光源轮廓和根据所拾取图像指定的同步信号控制光源单元202的光发射。通过这种方法，可以使光源单元202在从外部光源30发射的光的亮度改变的定时适应性地发射光。

例如，在用户指定可见光/红外光时分式成像模式作为观察模式的情况下，控制装置10-1使光源单元202仅在外部光源30不发射光的期间发射红外光。因此，在开腹手术中，可以在不关闭外部光源30的情况下(即，手术室内不变暗的情况)使用ICG执行可见光观察和红外激发荧光观察，因此，可以提高手术期间的便利性。

进一步地，在用户指定辅助模式作为观察模式的情况下，控制装置10-1通过光源单元202顺序调整可见光的光发射量，以使得外部光源30的光发射量与光源单元202的光发射量之和大致恒定。通过这种方法，可以防止由于外部光源30而出现伪像，诸如，例如，通过图像拾取单元200拾取的图像中的显带和闪烁光。进一步地，可以补偿外部光源30缺少的光量。因此，可以拾取手术区域的更清晰的图像并且在显示装置32中显示图像，因此，可以更为安全并且更为可靠地进行手术。

<1-5.应用例>

上面已经描述了第一实施方式。如上所述，控制装置10-1使图像拾取单元200以符合外部光源30的发光频率的频率执行成像。因此，在外部光源30以诸如1000Hz等极高的频率闪烁的情况下，每个帧的曝光时间的长度变得极短。相应地，各个帧不能获得足够的曝光量，并且可以拾取到灰暗的图像。

因此，作为第一实施方式的应用例，控制装置10-1还能够基于通过图像拾取单元200拾取的与外部光源30的发光频率相符的数目的帧图像生成用于显示的图像。此处，将参考图8更为详细地描述上述功能。图8是示出处于可见光/红外光时分式成像模式的用于显示的图像(显示用图像564)的生成例的说明图。应注意，尽管图8示出了关于在可见光的光发射期间(即，外部光源30发射光时)拾取的帧图像560的显示用图像564的生成例，然而，还能够以相似的方法生成关于通过光源单元202的红外光的光发射期间所拾取的帧图像562的显示图像。

如图8中示出的，控制装置10-1针对对应数目的帧图像560通过对由图像拾取单元200拾取的与外部光源30的发光频率符合的数目(在图8示出的实施例中，为16)的帧图像560中的每个图像执行附加过程而生成显示用图像564。例如，控制装置10-1通过针对每个像素将像素的像素值添加在多个帧图像560内而生成显示用图像564。通过这种方法，即使在外部光源30以高频闪烁的情况下，因为变得可以显示明亮的图像，所以在可见光/红外光时分式成像模式时，该实例特别有效。

<<2.第二实施方式>>

上面已经描述了第一实施方式。如上所述，在第一实施方式中，控制装置10-1基于利用从外部光源30发射的光照射的受试者的拾取图像指定外部光源轮廓。

接着将描述第二实施方式。如后面描述的，根据第二实施方式的控制装置10-2能够基于从外部光源30发射的光的测量结果指定外部光源轮廓。

<2-1.控制系统的构造>

图9是示出根据第二实施方式的控制系统的构造例的说明图。如图9中示出的，与第一实施方式相比较，根据第二实施方式的控制系统进一步包括外部光传感器34，并且根据第二实施方式的控制系统包括替代控制装置10-1的控制装置10-2。进一步地，如图9中示出的，在第二实施方式中，假设外部光源30是发光强度的波形不变成矩形波的类型的光源，诸如，例如，荧光灯30b。应注意，在下列描述中，仅描述了与第一实施方式不同的特征，并且将省去重叠特征的描述。

{2-1-1.外部光传感器34}

外部光传感器34是检测环境光的能量的传感器。外部光传感器34可以是光电导或光电动力传感器。例如，外部光传感器34测量从外部光源30发射的光的量。进一步地，外部光传感器34能够通过有线或无线通信与控制装置10-2执行通信。

<2-2.构造>

接着将详细描述根据第二实施方式的控制装置10-2的构造。图10是示出根据第二实施方式的控制装置10-2的构造例的功能框图。如图10中示出的，与图2中示出的控制装置10-1相比较，控制装置10-2进一步包括同步信号检测单元110并且并不包括同步信号分析单元104。应注意，在下列描述中，仅描述具有与第一实施方式不同的功能的部件。

{2-2-1.外部光源轮廓分析单元100}

根据第二实施方式的外部光源轮廓分析单元100基于外部光传感器34对从外部光源30发射的光的测量结果分析外部光源轮廓。例如，外部光源轮廓分析单元100基于来自外部光源30的发光量的测量结果的时间序列分析外部光源轮廓。

{2-2-2.自光源轮廓生成单元102}

根据第二实施方式的自光源轮廓生成单元102基于通过外部光源轮廓分析单元100分析的外部光源轮廓与提前设置的目标光量之间的比较而生成自光源轮廓。应注意，目标光量能够存储在控制装置10-2内。进一步地，目标光量能够基于例如用户相对于操作单元的操作而根据需要变化。

图11是示出根据第二实施方式的自光源轮廓的生成例的说明图。应注意，图11中示出的(外部光源30的发光量)波形50指示与所分析的外部光源轮廓对应的发光量的时间变化的实例。如图11的区域54中示出的，自光源轮廓生成单元102生成用于通过光源单元202顺序调整可见光的发光量的自光源轮廓，以等于目标光量与外部光源30的发光量之差。

{2-2-3.同步信号检测单元110}

同步信号检测单元110是本公开中的同步信号指定单元的实例。同步信号检测单元110通过指定基于外部光传感器34对从外部光源30发射的光的测量结果而被同步的循环和定时检测同步信号。例如，如图12中示出的，同步信号检测单元110检测来自外部光源30的发光量从减少变化至增加的定时(诸如，例如，时间t2与时间t3)作为同步信号的输出定时。进一步地，同步信号检测单元110将所检测的同步信号传输至同步控制单元106。

{2-2-4.同步控制单元106}

根据第二实施方式的同步控制单元106将通过同步信号检测单元110检测的同步信号传输至光源控制单元108。

应注意，在第二实施方式中，如上所述，因为外部光源30的发光量与光源单元202的发光量之和大致恒定，所以即使光源单元202的光发射不与图像拾取单元200的成像同步，也可以充分抑制伪像的发生。然而，为了进一步改善图像质量，希望同步控制单元106使图像拾取单元200基于通过同步信号检测单元110检测的同步信号执行成像。通过这种方法，对于每个帧，可以使得外部光源30的发光量与光源单元202的发光量之比大致恒定，因此，可以稳定每个帧的色度。

<2-3.操作>

上面已经描述了根据第二实施方式的构造。接着将参考图13描述根据第二实施方式的操作。图13是示出根据第二实施方式的操作例的流程图。

如图13中示出的，首先，控制装置10-2从外部光传感器34获取外部光传感器34对从外部光源30发射的光的测量结果(S201)。

随后，外部光源轮廓分析单元100基于所获取的测量结果分析外部光源轮廓。同时，同步信号检测单元110基于所获取的测量结果检测同步信号(S203)。

随后，自光源轮廓生成单元102指定存储在例如控制装置10-1内的设置目标光量(S205)。然后，自光源轮廓生成单元102基于在S203中分析的外部光源轮廓与在S205中指定的目标光量之间的比较生成自光源轮廓(S207)。

随后，光源控制单元108基于在S203中检测的同步信号和在S207中生成的自光源轮廓控制光源单元202的光发射。同时，同步控制单元106基于在S203中检测的同步信号控制图像拾取单元200的成像(S209)。

应注意，图13中示出的从S211至S213的过程与根据第一实施方式的从S111至S113的过程相似。

<2-4.效果>

如上所述，根据第二实施方式，控制装置10-2基于从外部光源30发射的光的测量结果指定外部光源轮廓和同步信号，并且然后，基于外部光源轮廓与目标光量之间的比较控制光源单元202的光发射、及同步信号。通过这种方法，例如，可以使光源单元202发射光，使得外部光源30的发光量与光源单元202的发光量之和大致恒定。因此，可以防止通过图像拾取单元200拾取的图像中由于外部光源30而出现伪像。

<<3.第三实施方式>>

上面已经描述了第二实施方式。如上所述，在第一实施方式和第二实施方式中，假设了控制装置10不能控制外部光源30的情景。

接着将描述第三实施方式。在第三实施方式中，假设了控制装置10能够控制外部光源30的光发射的情景。如后面描述的，根据第三实施方式的控制装置10-3能够基于根据从外部光源30发射的光指定的同步信号控制光源单元202和外部光源30的光发射。

<3-1.构造>

{3-1-1.控制装置10-3}

首先，将详细描述根据第三实施方式的构造。图14是示出根据第三实施方式的控制装置10-3与外部光源30的构造例的功能框图。如图14中示出的，与图2中示出的控制装置10-1相比较，控制装置10-3进一步包括外部光源轮廓生成单元112并且不包括外部光源轮廓分析单元100。应注意，在下列描述中，仅将描述具有与第一实施方式不同的功能的部件。

(3-1-1-1.外部光源轮廓生成单元112)

外部光源轮廓生成单元112基于预定的信息生成外部光源轮廓。此处，预定的信息可以包括关于外部光源30与光源单元202之间的协作操作的设置信息或可以包括外部光源30的规格的信息。进一步地，外部光源轮廓生成单元112将生成的外部光源轮廓提供至外部光源30。

(3-1-1-2.自光源轮廓生成单元102)

根据第三实施方式的自光源轮廓生成单元102基于用户指定的观察模式生成自光源轮廓。例如，自光源轮廓生成单元102生成自光源轮廓，使得发光频率与通过外部光源轮廓生成单元112生成的外部光源轮廓中的发光频率相同并且相位差是符合所指定观察模式的角(诸如，例如，180度和0度)。

(3-1-1-3.同步控制单元106)

根据第三实施方式的同步控制单元106基于通过同步信号分析单元104分析的同步信号进一步生成外部光源的同步信号并且然后将针对外部光源生成的同步信号提供至外部光源30。可替代地，同步控制单元106可以将通过同步信号分析单元104分析的同步信号自身提供至外部光源30。

{3-1-2.外部光源30}

如图14中示出的，外部光源30包括光源控制单元300和光源单元302。

(3-1-2-1.光源控制单元300)

光源控制单元300是本公开中的光源控制单元的实例。光源控制单元300基于从控制装置10-3提供的外部光源轮廓和从控制装置10-3提供的外部光源的同步信号(或同步信号)控制光源单元302的光发射。

(3-1-2-2.光源单元302)

光源单元302可以是诸如LED、荧光灯等的半导体光源。光源单元302根据光源控制单元300的控制发射光。

<3-2.效果>

如上所述，根据第三实施方式，控制装置10-3基于根据从外部光源30发射的光指定的同步信号和用户指定的观察模式控制光源单元202和外部光源30的光发射。以这种方式，通过使外部光源30和光源单元202彼此协作操作，可以发射进一步适用于用户指定的观察模式的光。因此，可以进一步改善所拾取图像的图像质量。

<<4.变形例>>

上面已经参考所附的附图描述了本公开的优选实施方式，但本公开并不局限于上述实施例。本领域技术人员可以发现所附权利要求的范围内的各种更改与改造，并且应当理解的是，其自然落在本公开的技术范围内。

例如，在图1和图9中，尽管仅示出了一个(或一组)外部光源30，然而，本公开并不局限于该实施例，并且一种或多种类型的多个外部光源30可以设置在手术室内。在这种情况下，控制装置10-1或控制装置10-2可以基于利用从全部外部光源30发射的光照射的受试者的拾取图像或外部光传感器34的测量结果指定外部光源轮廓和同步信号。因此，控制装置10可以基于所指定的外部光源轮廓和指定的同步信号控制光源单元202的光发射。

进一步地，上述实施方式的操作中的相应步骤不必须按照所描述的顺序处理。例如，相应步骤可以按照根据需要改变的顺序而处理。进一步地，相应步骤可以部分并行或单独处理，而非按照时间顺序处理。进一步地，可以省去所描述的步骤的一部分或可以进一步添加另一步骤。

进一步地，根据上述相应实施方式，还可以提供用于使诸如CPU和GPU等处理器、诸如存储器等存储元件、和/或诸如FPGA等可编程逻辑设备等硬件施加与根据上述相应实施方式的控制装置10的相应部件等同的功能的计算机程序。进一步地，还提供了记录有计算机程序的记录介质。

进一步地，本说明书中描述的效果仅是示出性或例证效果并且不具有限制性。即，利用或替代上述效果，从本说明书的描述中，根据本公开的技术可以实现对本领域技术人员显而易见的其他效果。

此外，本技术还可以被配置成如下。

(1)

一种控制装置，包括：

光源控制单元，被配置为基于从第一光源发射的光的轮廓和用于同步第一光源与第二光源之间的定时的同步信号控制第二光源的光发射，第二光源用于将光照射在手术区域上。

(2)

根据(1)的控制装置，其中，轮廓包括关于从第一光源发射的光的亮度的变化的规则性的信息。

(3)

根据(2)的控制装置，其中，轮廓包括从第一光源发射的光的调制图案、发光频率或光的照明色。

(4)

根据(2)或(3)的控制装置，进一步包括轮廓指定单元，被配置为通过分析利用从第一光源发射的光照射的受试者的拾取图像来指定轮廓。

(5)

根据(2)或(3)的控制装置，进一步包括轮廓指定单元，被配置为通过分析从第一光源发射的光的测量结果来指定轮廓。

(6)

根据(2)至(5)中任一项的控制装置，其中，光源控制单元根据从第一光源发射的光的强度的变化改变第二光源的发光强度，强度显示在轮廓中。

(7)

根据(6)的控制装置，其中，光源控制单元在从第一光源不发射光期间使第二光源发射光并且在从第一光源发射光期间不使第二光源发射光。

(8)

根据(7)的控制装置，

其中，第一光源发射第一光；并且

第二光源发射与第一光的类型不同的类型的第二光。

(9)

根据(6)的控制装置，其中，光源控制单元控制第二光源的光发射，使得随着从第一光源发射的光的强度减小，第二光源的发光强度增大。

(10)

根据(6)或(9)的控制装置，其中，光源控制单元基于从第一光源发射的光的光量与目标光量之间的比较确定第二光源的发光量。

(11)

根据(9)或(10)的控制装置，其中，第一光源与第二光源发射同一类型的光。

(12)

根据(6)至(11)中任一项的控制装置，其中，光源控制单元基于用户指定的观察模式进一步控制第二光源的光发射。

(13)

根据(2)至(12)中任一项的控制装置，进一步包括同步信号指定单元，被配置为通过分析利用从第一光源发射的光照射的受试者的拾取图像指定同步信号。

(14)

根据(2)至(12)中任一项的控制装置，进一步包括同步信号指定单元，被配置为基于从第一光源发射的光的测量结果指定同步信号。

(15)

根据(1)至(14)中任一项的控制装置，进一步包括成像控制单元，被配置为基于同步信号控制图像拾取单元的成像。

(16)

根据(15)的控制装置，其中，成像控制单元使图像拾取单元与同步信号同步地执行成像。

(17)

根据(1)至(16)中任一项的控制装置，其中，光源控制单元基于轮廓和同步信号进一步控制第一光源的光发射。

(18)

根据(1)至(17)中任一项的控制装置，其中，第二光源是半导体光源。

(19)

一种控制系统，包括：

第一光源；

第二光源，被配置为将光照射在手术区域上；

图像拾取单元；

光源控制单元，被配置为基于从第一光源发射的光的轮廓和用于同步第一光源与第二光源之间的定时的同步信号控制第二光源的光发射；以及成像控制单元，被配置为基于同步信号控制图像拾取单元的成像。

(20)

一种控制方法，包括基于从第一光源发射的光的轮廓和用于同步第一光源和第二光源之间的定时的同步信号，通过处理器控制第二光源的光发射，第二光源用于将光照射在手术区域上。

符号说明

10-1、10-2、10-3 控制装置

20 观察装置

22 观察单元

24 圆柱部

26 臂单元

28 基底单元

30 外部光源

32 显示装置

34 外部光传感器

100 外部光源轮廓分析单元

102 自光源轮廓生成单元

104 同步信号分析单元

106 同步控制单元

108、300 光源控制单元

110 同步信号检测单元

112 外部光源轮廓生成单元

200 图像拾取单元

202、302 光源单元。

Claims

1.一种控制装置，包括：

光源控制单元，所述光源控制单元被配置为基于从第一光源发射的光的轮廓和同步信号控制第二光源的光发射，所述同步信号用于同步所述第一光源和所述第二光源之间的定时，所述第二光源用于将光照射在手术区域上，其中，所述轮廓包括关于从所述第一光源发射的光的亮度的变化的规则性的信息，其中，所述光源控制单元根据从所述第一光源发射的光的强度的变化来改变所述第二光源的发光强度，所述强度显示在所述轮廓中，其中，所述光源控制单元控制所述第二光源的光发射，使得随着从所述第一光源发射的光的强度减小，所述第二光源的发光强度增大，并且其中，所述第一光源与所述第二光源发射同一类型的光；以及

轮廓指定单元，所述轮廓指定单元被配置为通过分析利用从所述第一光源发射的光照射的受试者的拾取图像来指定所述轮廓。

2.根据权利要求1所述的控制装置，其中，所述轮廓包括从所述第一光源发射的光的调制图案、发光频率或该光的照明色。

3.根据权利要求1所述的控制装置，其中，所述轮廓指定单元被配置为通过分析从所述第一光源发射的光的测量结果来指定所述轮廓。

4.根据权利要求1所述的控制装置，其中，所述光源控制单元在不从所述第一光源发射光期间使所述第二光源发射光并且在从所述第一光源发射光期间不使所述第二光源发射光。

5.根据权利要求1所述的控制装置，其中，所述光源控制单元基于从所述第一光源发射的光的光量与目标光量之间的比较来确定所述第二光源的发光量。

6.根据权利要求1所述的控制装置，其中，所述光源控制单元基于由用户指定的观察模式进一步控制所述第二光源的光发射。

7.根据权利要求1所述的控制装置，进一步包括同步信号指定单元，所述同步信号指定单元被配置为通过分析利用从所述第一光源发射的光照射的受试者的拾取图像来指定所述同步信号。

8.根据权利要求1所述的控制装置，进一步包括同步信号指定单元，所述同步信号指定单元被配置为基于从所述第一光源发射的光的测量结果来指定所述同步信号。

9.根据权利要求1所述的控制装置，进一步包括成像控制单元，所述成像控制单元被配置为基于所述同步信号来控制图像拾取单元的成像。

10.根据权利要求9所述的控制装置，其中，所述成像控制单元使所述图像拾取单元与所述同步信号同步地执行成像。

11.根据权利要求1所述的控制装置，其中，所述光源控制单元基于所述轮廓和所述同步信号进一步控制所述第一光源的光发射。

12.根据权利要求1所述的控制装置，其中，所述第二光源是半导体光源。

13.一种控制系统，包括：

第一光源；

第二光源，所述第二光源被配置为将光照射在手术区域上；

图像拾取单元；

光源控制单元，所述光源控制单元被配置为基于从所述第一光源发射的光的轮廓和同步信号控制所述第二光源的光发射，所述同步信号用于同步所述第一光源和所述第二光源之间的定时，其中，所述轮廓包括关于从所述第一光源发射的光的亮度的变化的规则性的信息，其中，所述光源控制单元根据从所述第一光源发射的光的强度的变化来改变所述第二光源的发光强度，所述强度显示在所述轮廓中，其中，所述光源控制单元控制所述第二光源的光发射，使得随着从所述第一光源发射的光的强度减小，所述第二光源的发光强度增大，并且其中，所述第一光源与所述第二光源发射同一类型的光；

轮廓指定单元，所述轮廓指定单元被配置为通过分析利用从所述第一光源发射的光照射的受试者的拾取图像来指定所述轮廓；以及

成像控制单元，所述成像控制单元被配置为基于所述同步信号控制所述图像拾取单元的成像。

14.一种控制方法，包括：

基于从第一光源发射的光的轮廓和用于同步所述第一光源和第二光源之间的定时的同步信号，通过处理器控制所述第二光源的光发射，所述第二光源用于将光照射在手术区域上，其中，所述轮廓包括关于从所述第一光源发射的光的亮度的变化的规则性的信息，其中，根据从所述第一光源发射的光的强度的变化，通过所述处理器来改变所述第二光源的发光强度，所述强度显示在所述轮廓中，其中，通过所述处理器控制所述第二光源的光发射，使得随着从所述第一光源发射的光的强度减小，所述第二光源的发光强度增大，并且其中，所述第一光源与所述第二光源发射同一类型的光；以及

通过分析利用从所述第一光源发射的光照射的受试者的拾取图像来指定所述轮廓。