CN113905652A - 医学观察系统、控制装置和控制方法 - Google Patents

Abstract

根据本发明的医学观察系统设置有：多种传感器单元，多种传感器单元测量与身体的内部环境相关的信息；获取单元(131)，获取单元(131)获取多种传感器单元中的每种传感器单元的传感器值；比较单元(132)，比较单元(132)将多种传感器单元的传感器值彼此进行比较，传感器值已由获取单元(131)获取；以及确定单元(134)，确定单元(134)基于比较单元(132)的比较结果，从多种传感器单元中确定用于观察身体的内部环境的传感器单元。

Description

医学观察系统、控制装置和控制方法

技术领域

本公开涉及医学观察系统、控制装置和控制方法。

背景技术

近年来，在医学领域，已经提出了一种使用铰接(多关节)臂(也称为支撑臂)的方法，在执行各种操作时，在臂的远端设置各种医学单元。

例如，专利文献1公开了一种能够执行远端单元的驱动控制的医学机械臂装置和具有更高操作自由度的臂单元。

引用列表

专利文献

专利文献1：WO 2015/046081 A

发明内容

技术问题

同时，在医学领域，内窥镜装置用于人体内部观察。然而，遗憾的是，有时仅利用内窥镜装置捕捉的图像难以掌握内窥镜装置周围的状态。此外，当将来使用自主/半自主驱动的手臂时，预计将需要高度精确地生成指示人类体内环境的信息(三维信息等)的环境地图。

鉴于这些情况，本公开提出了能够提高环境地图的精度的医学观察系统、控制装置和控制方法。

问题的解决方案

为了解决上述问题，一种医学观察系统，包括：多种类型的传感器单元，多种类型的传感器单元测量关于体内环境的信息；获取单元，获取单元获取多种类型的传感器单元的各个传感器值；比较单元，比较单元比较由获取单元获取的多种类型的传感器单元的各个传感器值；以及确定单元，确定单元基于由比较单元获得的比较结果，确定多种类型的传感器单元中用于观察体内环境的传感器单元。

附图说明

[图1]是示出根据本公开的技术适用的内窥镜手术系统的示意性配置的示例的示图；

[图2]是示出图1所示的摄像头和CCU的功能配置的示例的框图；

[图3]是示出根据本公开实施例的支撑臂装置的外观的示意图；

[图4]是示出根据本公开实施例的前斜视内窥镜的配置的示意图；

[图5]是示出根据本公开实施例的前斜视内窥镜和前视内窥镜的示意图；

[图6]是示出根据本公开实施例的主从装置的配置的示例的示图；

[图7]是示出根据本公开的实施例的医学观察系统的配置的示例的示图；

[图8A]是根据本公开的每个实施例的内窥镜装置的剖视图；

[图8B]是根据本公开实施例的内窥镜装置的远端部分的前视图；

[图9]是示出针对各种传感器中的可靠性退化因素的鲁棒性的表格；

[图10]是示出根据本公开实施例的传感器单元的配置示例的框图；

[图11]是示出根据本公开实施例的控制装置的配置示例的框图；

[图12]是示出根据本公开实施例的医学观察系统的处理流程的概述的流程图；

[图13]是示出根据本公开实施例的控制装置的第一过程的流程的示例的流程图；

[图14]是示出根据本公开实施例的控制装置的第二过程的流程的示例的流程图；

[图15]是示出根据本公开实施例的控制装置的第三过程的流程的示例的流程图；

[图16]是示出根据本公开实施例的控制装置的第四过程的流程的示例的流程图；

[图17]是示出根据本公开的实施例的修改的医学观察系统的配置的示例的示图；

[图18]是示出根据本公开实施例的手术机器人的配置示例的示图；

[图19]是示出根据本公开实施例的修改的控制装置的处理流程的示例的流程图；

[图20]是示出实现信息处理装置的功能的计算机的示例的硬件配置图。

具体实施方式

下面将参照附图详细描述本公开的实施例。在以下每个实施例中，相同的部分由相同的附图标记表示，并且将省略其重复描述。

将按以下顺序描述本公开。

1.内窥镜系统的配置示例

2.支撑臂装置的配置示例

3.前斜视内窥镜的基本配置

4.医学观察系统

4-1.医学观察系统的配置

4-2.内窥镜装置

4-3.传感器单元

4-4.控制装置

5.医学观察系统的过程

5-1.医学观察系统的过程概述

5-2.第一过程

5-3.第二过程

5-4.第三过程

5-5.第四过程

6.医学观察系统的修改

6-1.医学观察系统的修改配置

6-2.手术臂系统

6-3.医学观察系统的修改过程

7.硬件配置

[1.内窥镜系统的配置示例]

图1是示出根据本公开的技术适用的内窥镜手术系统5000的示意性配置的示例的示图。图1示出了外科医生(医生)5067使用内窥镜手术系统5000对病床5069上的患者5071进行手术的场景。如图所示，内窥镜手术系统5000包括内窥镜装置5001、其他手术工具5017、支撑内窥镜装置5001的支撑臂装置5027和装备有用于内窥镜手术的各种装置的推车5037。

在腹腔镜手术中，多个被称为套管针5025a至5025d的管状剖腹手术器械被刺入腹壁，而不是执行切开腹壁的开放手术。通过套管针5025a至5025d，内窥镜装置5001的镜筒5003(即，内窥镜单元)和其他手术工具5017被插入到患者5071的体腔中。在该图的示例中，作为其他手术工具5017，吹入管5019、能量治疗工具5021和镊子5023被插入到患者5071的体腔中。此外，能量治疗工具5021是通过使用高频电流或超声波振动用于组织的切割和分离、血管密封等的治疗工具。注意，图中所示的手术工具5017仅是一个示例，手术工具5017的其他适用示例包括通常在内窥镜手术中使用的各种手术工具，例如，镊子和牵开器。

在显示装置5041上显示由内窥镜装置5001捕捉的患者体腔5071中的手术部位的图像。当实时观察在显示装置5041上显示的手术部位图像时，外科医生5067执行诸如通过使用能量治疗工具5021和镊子5023切除患部等手术。虽然未示出，但是吹入管5019、能量治疗工具5021和镊子5023在手术期间由外科医生5067、助手等支撑。

(支撑臂装置)

支撑臂装置5027包括从基座单元5029延伸的臂单元5031。在图示的示例中，臂单元5031包括关节5033a、5033b和5033c以及连杆5035a和5035b，并且在臂控制装置5045的控制下被驱动。臂单元5031支撑内窥镜装置5001并控制其位置和姿势。这使得能够稳定内窥镜装置5001的位置。

(内窥镜装置)

内窥镜装置5001包括：镜筒5003(内窥镜单元)，插入到患者5071的体腔中的从其远端具有预定长度的区域；以及连接到镜筒5003近端的摄像头5005。图中的示例将内窥镜装置5001示出为具有刚性类型的镜筒5003的刚性内窥镜。然而，内窥镜装置5001可以是具有柔性镜筒5003的柔性内窥镜。

镜筒5003(内窥镜单元)的远端具有装配物镜的孔。内窥镜装置5001连接到光源装置5043。光源装置5043产生的光通过延伸到镜筒5003内部的光导被引导到镜筒5003的远端，并且被引导的光将通过物镜向患者5071体腔中的观察目标发射。注意，连接到摄像头5005的镜筒5003可以是前视内窥镜、前斜视内窥镜或侧视内窥镜。

光学系统和成像元件设置在摄像头5005内部。来自观察目标的反射光(观察光)通过光学系统聚焦在成像元件上。观察光由成像元件进行光电转换，以生成对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为原始数据传输到摄像机控制单元(CCU)5039。摄像头5005具有通过适当驱动光学系统来调节放大率和焦距的功能。

顺便提及，摄像头5005可以包括多个成像元件，以便支持立体观看(3D显示)等。在这种情况下，多个中继光学系统设置在镜筒5003内部，以便将观察光引导至多个成像元件中的每一个。

(推车上安装的各种装置)

CCU 5039由中央处理单元(CPU)、图形处理单元(GPU)等形成，并且整体控制内窥镜装置5001和显示装置5041的操作。具体地，CCU5039对从摄像头5005接收的图像信号应用各种类型的图像处理，用于基于图像信号显示图像，例如，显影处理(去马赛克)。CCU 5039将经过图像处理的图像信号提供给显示装置5041。此外，CCU 5039向摄像头5005发送控制信号并控制其驱动。控制信号可以包括关于成像条件的信息，例如，放大率和焦距。

在CCU 5039的控制下，显示装置5041基于经历了由CCU 5039执行的图像处理的图像信号来显示图像。当内窥镜装置5001是与诸如4K(水平像素的数量3840×垂直像素的数量2160)或8K(水平像素的数量7680×垂直像素的数量4320)等高分辨率成像兼容的装置时，和/或当内窥镜装置5001是与3D显示兼容的装置时，例如，显示装置5041可以是对应于各个规格的能够高分辨率显示和/或能够3D显示的显示装置。当内窥镜装置5001是与诸如4K或8K等高分辨率成像兼容的装置时，使用具有55英寸或更大尺寸的显示装置5041可以获得进一步的沉浸感。此外，可以提供多个显示装置5041，每个显示装置对于不同的应用具有不同的分辨率和尺寸。

光源装置5043例如包括诸如发光二极管(LED)等光源，并且向内窥镜装置5001提供用于对手术部位成像的照射光。

臂控制装置5045包括例如处理器，例如，CPU，并且根据预定程序操作，以根据预定控制方法控制支撑臂装置5027的臂单元5031的驱动。

输入装置5047是内窥镜手术系统5000的输入接口。用户可以通过输入装置5047向内窥镜手术系统5000输入各种类型的信息和输入指令。例如，用户经由输入装置5047输入与手术相关的各种类型的信息，例如，关于患者的身体信息和关于手术过程的信息。此外，例如，用户通过输入装置5047输入驱动臂单元5031的指令、改变内窥镜装置5001的成像条件(照射光的类型、放大率、焦距等)的指令以及驱动能量治疗工具5021的指令。

输入装置5047的类型不受限制，并且输入装置5047可以是各种已知的输入装置。可应用的输入装置5047的示例包括鼠标、键盘、触摸板、开关、脚踏开关5057和/或控制杆。当触摸板用作输入装置5047时，触摸板可以设置在显示装置5041的显示表面上。

可选地，输入装置5047是用户佩戴的装置，例如，眼镜型可佩戴装置或头戴式显示器(HMD)。根据这些装置检测到的用户手势和视线来执行各种类型的输入。输入装置5047包括能够检测用户运动的相机。根据从相机捕捉的视频图像中检测到的用户手势和视线来执行各种类型的输入。此外，输入装置5047包括能够收集用户语音的麦克风，并且通过麦克风由语音执行各种输入。以这种方式，利用能够以非接触方式输入各种类型信息的输入装置5047的配置，位于清洁区域的用户(例如，外科医生5067)可以对位于不清洁区域的装置执行非接触操作。此外，由于用户可以在不将手从手术工具上松开的情况下操作该装置，从而提高了用户的便利性。

治疗工具控制装置5049控制能量治疗工具5021的驱动，用于组织的消融或解剖、血管的密封等。为了给患者5071的体腔充气，以确保内窥镜装置5001的视野并确保外科医生的工作空间，吹入器5051通过吹入管5019将气体泵入体腔。记录器5053是能够记录与手术相关的各种类型的信息的装置。打印机5055是能够以诸如文本、图像、图形等各种形式打印与外科手术相关的各种类型的信息的装置。

在下文中，将更详细地描述内窥镜手术系统5000的特定特征部件。

(支撑臂装置)

支撑臂装置5027包括基座单元5029和从基座单元5029延伸的臂单元5031。在图示的示例中，臂单元5031形成有多个关节5033a、5033b和5033c以及经由关节5033b耦合的多个连杆5035a和5035b。然而，为了简单起见，图1以简化的方式示出了臂单元5031的配置。实际上，可以适当地设定关节5033a至5033c和连杆5035a和5035b的形状、数量和设置、关节5033a至5033c的旋转轴方向等，使得臂单元5031具有期望的自由度。例如，臂单元5031可以被适当地配置为具有六个或更多个自由度。利用这种配置，内窥镜装置5001能够在臂单元5031的可移动范围内自由移动，使得能够从期望的方向将内窥镜装置5001的镜筒5003插入到患者5071的体腔中。

关节5033a至5033c中的每一个都配备有致动器。通过致动器的驱动，关节5033a至5033c中的每一个可绕预定的旋转轴旋转。由臂控制装置5045控制致动器的驱动，从而控制每个关节5033a至5033c的旋转角度并控制臂单元5031的驱动。该控制能够实现内窥镜装置5001的位置和姿势的控制。此时，臂控制装置5045可以通过诸如力控制或位置控制等各种已知控制方法来控制臂单元5031的驱动。

例如，外科医生5067可以经由输入装置5047(包括脚踏开关5057)适当地执行操作输入，以便根据操作输入适当地控制臂控制装置5045对臂单元5031的驱动，从而导致对内窥镜装置5001的位置和姿势的控制。通过该控制，可以将臂单元5031的远端上的内窥镜装置5001从某个位置移动到另一某个位置，此后，在移动之后将内窥镜装置5001固定地支撑在新的位置。顺便提及，臂单元5031可以通过称为主从方法的方法来操作。在这种情况下，用户可以经由安装在手术室中远离从装置的位置或远离手术室的位置的输入装置5047(主装置)来远程操作臂单元5031(从装置)。

此外，在施加力控制的情况下，臂控制装置5045可以执行动力辅助控制，其中，在接收到来自用户的外力之后，驱动各个关节5033a至5033c的致动器，以便根据外力平滑地移动臂单元5031。利用这种控制，当用户在直接触摸臂单元5031的同时移动臂单元5031时，可以用相对较轻的力来移动臂单元5031。这使得能够以更简单的操作进一步直观地移动内窥镜装置5001，从而提高用户的便利性。

在此处，内窥镜装置5001通常由在内窥镜手术中被称为内窥镜专家的医生来支持。相反，支撑臂装置5027的使用使得能够可靠地固定内窥镜装置5001的位置，而无需人工操作，从而稳定地获取手术部位的图像并平稳地执行手术。

注意，臂控制装置5045不一定必须设置在推车5037中。此外，臂控制装置5045不必是一个装置。例如，臂控制装置5045可以设置在支撑臂装置5027的臂单元5031的每个关节5033a至5033c中，并且多个臂控制装置5045可以彼此协作，以实现臂单元5031的驱动控制。

(光源装置)

光源装置5043向内窥镜装置5001提供用于对手术部位成像的照射光。光源装置5043由例如LED、激光源或由其组合构成的白光源形成。此时，在白色光源由RGB激光光源的组合构成的情况下，可以高精度地控制各个颜色(各个波长)的输出强度和输出时间。因此，可以在光源装置5043上执行捕捉图像的白平衡调整。此外，在这种情况下，通过以时分方式将来自每个RGB激光源的激光发射到观察目标，并且通过与光发射时间同步地控制摄像头5005的成像元件的驱动，也可以以时分方式捕捉对应于每个RGB颜色的图像。根据该方法，可以获得彩色图像，而无需在成像元件上提供滤色器。

此外，可以控制光源装置5043的驱动，以便以预定的时间间隔改变输出光的强度。通过与光强度变化的时间同步地控制摄像头5005的成像元件的驱动，以便在时分的基础上获得图像并组合图像，可以生成具有高动态范围的图像，而没有所谓的暗阴影或突出(过度曝光)。

此外，光源装置5043可以被配置为能够提供对应于特殊光观察的预定波长带的光。特殊光观察用于执行窄带光观察(窄带成像)。窄带光观察使用身体组织中的光吸收的波长依赖性，并且与正常观察时的照射光(即，白光)相比，发射较窄波段的光，从而以高对比度对预定组织(例如，粘膜表层的血管)成像。可选地，特殊光观察可以包括荧光观察，以通过由激发光的发射生成的荧光来获得图像。可以进行荧光观察，以观察从施加了激发光的身体组织发射的荧光(自发荧光观察)，并且可以通过向身体组织局部施用诸如吲哚菁绿(ICG)等试剂来进行荧光观察，并且与此一起，将对应于试剂的荧光波长的激发光发射到身体组织，以获得荧光图像等。光源装置5043可以被配置为能够提供对应于这种特殊光观察的窄带光和/或激发光。

(摄像头和CCU)

将参照图2更详细地描述内窥镜装置5001的摄像头5005和CCU 5039的功能。图2是示出图1所示的摄像头5005和CCU 5039的配置的示例的框图。

参考图2，摄像头5005包括作为功能配置的镜头单元5007、成像单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015。此外，作为功能配置，CCU 5039包括通信单元5059、图像处理单元5061和控制单元5063。摄像头5005和CCU 5039通过传输电缆5065相互连接，以实现双向通信。

首先，将描述摄像头5005的功能配置。透镜单元5007是设置在与镜筒5003的连接部分处的光学系统。从镜筒5003的远端捕捉的观察光被引导到摄像头5005，从而入射到透镜单元5007上。透镜单元5007由包括变焦透镜和聚焦透镜的多个透镜的组合形成。调节透镜单元5007的光学特性，以便将观察光聚焦在成像单元5009的成像元件的光接收表面上。此外，变焦透镜和聚焦透镜被配置为在光轴上的位置上可移动，以便调整捕捉的图像的放大率和焦点。

成像单元5009包括成像元件，并且设置在透镜单元5007的后续级。已经穿过透镜单元5007的观察光聚焦在成像元件的光接收表面上，并且通过光电转换生成对应于观察图像的图像信号。由成像单元5009生成的图像信号被提供给通信单元5013。

构成成像单元5009的成像元件的示例是能够利用拜耳阵列进行彩色摄影的互补金属氧化物半导体(CMOS)图像传感器。注意，成像元件可以是与4K或更高分辨率图像的成像兼容的成像元件。通过以高分辨率获取手术部位的图像，外科医生5067可以更详细地掌握手术部位的状态，从而使手术顺利进行。

另外，构成成像单元5009的成像元件包括用于获取对应于3D显示的右眼和左眼的图像信号的一对成像元件。通过实现3D显示，外科医生5067可以以更高的精度掌握手术部位中的活体组织的深度。当成像单元5009是多板式时，也对应于每个成像元件提供多个透镜单元5007。

此外，成像单元5009不一定必须设置在摄像头5005上。例如，成像单元5009可以设置在物镜正后方的镜筒5003内部。

驱动单元5011包括致动器，并且在摄像头控制单元5015的控制下沿着光轴将镜头单元5007的变焦镜头和聚焦镜头移动预定距离。通过该操作，可以适当地调整由成像单元5009捕捉的图像的放大率和焦点。

通信单元5013包括用于向CCU 5039发送和从CCU 5039接收各种类型的信息的通信装置。通信单元5013经由传输电缆5065将从成像单元5009获得的图像信号作为原始数据传输到CCU 5039。此时，为了以低延迟显示手术部位的捕捉图像，图像信号优选地通过光通信传输。这是因为在手术时，外科医生5067执行手术，同时使用捕捉的图像观察患部的状况，因此，为了更安全和更可靠的手术，需要尽可能实时地显示手术部位的运动图像。在执行光通信的情况下，通信单元5013设置有将电信号转换成光信号的光电转换模块。图像信号由光电转换模块转换成光信号，然后经由传输电缆5065传输到CCU 5039。

此外，通信单元5013从CCU 5039接收用于控制摄像头5005的驱动的控制信号。控制信号包括与成像条件相关联的信息，例如，指定捕捉图像的帧速率的信息、指定成像时的曝光值的信息、和/或指定捕捉图像的放大率和焦点的信息。通信单元5013将接收到的控制信号提供给摄像头控制单元5015。注意，也可以通过光通信传输来自CCU 5039的控制信号。在这种情况下，通信单元5013设置有将光信号转换成电信号的光电转换模块，并且控制信号由光电转换模块转换成电信号，然后被提供给摄像头控制单元5015。

注意，由CCU 5039的控制单元5063基于获取的图像信号自动设置成像条件，例如，帧速率、曝光值、放大率和焦点。即，自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能将安装在内窥镜装置5001中。

摄像头控制单元5015基于经由通信单元5013从CCU 5039接收的控制信号来控制摄像头5005的驱动。例如，摄像头控制单元5015基于指定捕捉图像的帧速率的信息和/或指定成像时曝光的信息来控制成像单元5009的成像元件的驱动。此外，例如，摄像头控制单元5015基于指定捕捉图像的放大率和焦点的信息，经由驱动单元5011适当地移动镜头单元5007的变焦镜头和聚焦镜头。摄像头控制单元5015还可以包括存储用于识别镜筒5003和摄像头5005的信息的功能。

注意，将透镜单元5007、成像单元5009等设置在具有高气密性和防水性的气密密封结构中，将使得能够允许摄像头5005具有对高压灭菌处理的抵抗力。

接下来，将描述CCU 5039的功能配置。通信单元5059包括用于向摄像头5005发送各种类型的信息和从摄像头5005接收各种类型的信息的通信装置。通信单元5059经由传输电缆5065接收从摄像头5005传输的图像信号。此时，如上所述，可以通过光通信适当地传输图像信号。在这种情况下，对于光通信，通信单元5059设置有将光信号转换成电信号的光电转换模块。通信单元5059将转换成电信号的图像信号提供给图像处理单元5061。

此外，通信单元5059向摄像头5005发送用于控制摄像头5005的驱动的控制信号。也可以通过光通信传输控制信号。

图像处理单元5061对从摄像头5005发送的原始数据中的图像信号执行各种类型的图像处理。图像处理的示例包括各种已知的信号处理，例如，显影处理、高图像质量处理(频带增强处理、超分辨率处理、降噪(NR)处理、相机抖动校正处理等)和/或放大处理(电子变焦处理)。此外，图像处理单元5061对图像信号执行解调处理，用于执行AE、AF和AWB。

图像处理单元5061包括处理器，例如，CPU和GPU。处理器根据预定程序操作，以使得能够执行上述图像处理和解调处理。注意，在图像处理单元5061包括多个GPU的情况下，图像处理单元5061适当地划分与图像信号相关的信息，并通过多个GPU并行执行图像处理。

控制单元5063执行与内窥镜装置5001对手术部位的成像和捕捉图像的显示相关的各种类型的控制。例如，控制单元5063生成用于控制摄像头5005的驱动的控制信号。此时，在用户已经输入成像条件的情况下，控制单元5063基于用户的输入生成控制信号。可选地，在内窥镜装置5001包括AE功能、AF功能和AWB功能的情况下，控制单元5063根据图像处理单元5061执行的解调处理的结果适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。

此外，控制单元5063基于已经由图像处理单元5061执行的图像处理的图像信号，控制显示装置5041显示手术部位的图像。此时，控制单元5063通过使用各种图像识别技术来识别手术部位的图像中的各种对象。例如，控制单元5063检测手术部位图像中包括的对象的边缘的形状、颜色等，使得能够识别手术工具(例如，镊子)、特定活体部位、出血、使用能量治疗工具5021时出现的薄雾等。当在显示装置5041上显示手术部位的图像时，控制单元5063通过使用识别结果在手术部位的图像上叠加并显示各种手术辅助信息。叠加和显示手术辅助信息，并呈现给外科医生5067，从而使得能够更安全和可靠地进行手术。

连接摄像头5005和CCU 5039的传输电缆5065是与电信号通信兼容的电信号电缆、与光通信兼容的光纤或这些电缆的复合电缆。

在此处，虽然图中所示的示例是使用传输电缆5065执行有线通信的情况，但是摄像头5005和CCU 5039之间的通信可以无线执行。在无线执行两个单元之间的通信的情况下，不需要在手术室中设置传输电缆5065，使得可以消除传输电缆5065阻碍手术室中医务人员的移动的情况。

上面已经描述了可以应用根据本公开的技术的内窥镜手术系统5000的示例。虽然内窥镜手术系统5000在此处已经作为示例进行了描述，但是根据本公开的技术可以应用到的系统不限于这样的示例。例如，根据本公开的技术可以应用于用于检查的柔性内窥镜系统或显微手术系统。

[2.支撑臂装置的配置示例]

接下来，下面将描述可以应用根据本公开的技术的支撑臂装置的配置的示例。下面描述的支撑臂装置是被配置为在臂单元的远端支撑内窥镜的支撑臂装置的示例。然而，本实施例不限于这样的示例。此外，在根据本公开实施例的支撑臂装置应用于医学领域的情况下，支撑臂装置可以用作医学支撑臂装置。

图3是示出根据本实施例的支撑臂装置200的外观的示意图。如图3所示，根据本实施例的支撑臂装置200包括基座单元210和臂单元220。基座单元210是支撑臂装置200的基座，并且臂单元220从基座单元210延伸。此外，尽管在图3中未示出，但是整体控制支撑臂装置200的控制单元可以设置在基座单元210中，并且可以由控制单元控制臂单元220的驱动。控制单元包括各种信号处理电路，例如，CPU和DSP。

臂单元220包括多个活动关节221a至221f、多个连杆222a至222f、以及作为设置在臂单元220的远端的远端单元的内窥镜装置223。

连杆222a至222f基本上是杆状构件。连杆222a的一端经由活动关节221a耦合到基座单元210，连杆222a的另一端经由活动关节221b耦合到连杆222b的一端，连杆222b的另一端经由活动关节221c耦合到连杆222c的一端。连杆222的另一端经由被动滑动机构231耦合到连杆222，连杆222的另一端经由被动关节233耦合到连杆222的一端。连杆222e的另一端经由活动关节221d和221e耦合到连杆222f的一端。内窥镜装置223经由活动关节221f耦合到臂单元220的远端，即连杆222f的另一端。以这种方式，多个连杆222a至222f的端部以基座单元210为支点通过活动关节221a至221f、被动滑动机构231和被动关节233彼此耦合，从而形成从基座单元210延伸的臂状。

对设置在臂单元220中的各个活动关节221a至221f中的致动器进行驱动控制，从而控制内窥镜装置223的位置和姿势。在本实施例中，内窥镜装置223的远端进入作为手术部位的患者体腔，并捕捉手术部位的部分区域。设置在臂单元220的远端的远端单元不限于内窥镜装置223，并且可以使用内窥镜或显微镜来代替内窥镜。此外，各种医疗器械可以作为远端单元连接到臂单元220的远端。以这种方式，根据本实施例的支撑臂装置200被配置为包括医疗器械的医学支撑臂装置。

在下文中，将通过定义如图3所示的坐标轴来描述支撑臂装置200。此外，根据坐标轴定义上下方向、前后方向和左右方向。即，相对于安装在地板表面上的基座单元210的上下方向被定义为z轴方向和上下方向。此外，垂直于z轴并且臂单元220从基座单元210延伸的方向(即，内窥镜装置223相对于基座单元210所处的方向)被定义为y轴方向和前后方向。此外，垂直于y轴和z轴的方向被定义为x轴方向和左右方向。

活动关节221a至221f可枢转地将连杆彼此耦合。活动关节221a至221f具有致动器，并且具有通过致动器的驱动而绕预定旋转轴旋转驱动的旋转机构。通过控制每个活动关节221a至221f的旋转驱动，可以控制臂单元220的驱动，例如，臂单元220的延伸或收缩(折叠)。在此处，可以通过例如已知的全身协作控制和理想化关节控制来控制活动关节221a至221f的驱动。由于活动关节221a至221f具有如上所述的旋转机构，所以在以下描述中活动关节221a至221f的驱动控制具体意味着控制活动关节221a至221f中的旋转角度和/或生成的扭矩(由活动关节221a至221f生成的扭矩)。

被动滑动机构231是被动模式改变机构的一个方面，并且耦合连杆222c和连杆222d，以便能够在预定方向上前进/后退。例如，被动滑动机构231可以将连杆222c和连杆222d彼此耦合，从而可线性移动。然而，连杆222c和连杆222d的向前和向后运动不限于线性运动，并且可以是在形成弧形的方向上的前进/后退运动。被动滑动机构231例如由用户操作，以前进/后退，并且使得活动关节221c的一端侧上的连杆222c和被动关节233之间的距离可变。这使得能够改变臂单元220的整体模式。

被动关节233是被动模式改变机构的一个方面，并且将连杆222d和连杆222e彼此可枢转地耦合。在接收到用户的枢转操作后，被动关节233使得由连杆222d和连杆222e形成的角度可变。这使得能够改变臂单元220的整体模式。

注意，在本说明书中，“臂单元的姿势”表示臂单元的状态，其中，构成臂的部分的至少一部分可以通过驱动控制等来改变。作为具体示例，在横跨一个或多个连杆彼此相邻的活动关节之间的距离恒定的状态下，可以通过控制单元对设置在活动关节221a至221f中的致动器的驱动控制来改变的臂单元的状态可以对应于“臂单元的姿势”。在本公开中，“臂单元的姿势”不限于可以通过致动器的驱动控制来改变的臂单元的状态。例如，“臂单元的姿势”可以是已经通过被动关节的协作操作改变的臂单元的状态。此外，在本公开中，臂单元不一定必须包括关节。在这种情况下，“臂单元的姿势”表示相对于目标对象的位置或相对于目标对象的相对角度。此外，“臂单元的模式”表示臂单元的状态，该状态可以随着构成臂的各个部分的位置和姿势之间的关系的变化而改变。作为一个具体的示例，臂单元的状态可以与被动模式改变机构的操作一起可以与“臂单元的形式”相对应，该臂单元的状态可以与通过连杆上彼此相邻的活动关节之间的距离或者由连接彼此相邻的活动关节的连杆形成的角度的变化一起改变。注意，在本公开中，“臂单元的模式”不限于臂单元的状态，该状态可以与连杆上彼此相邻的活动关节之间的距离或者由连接彼此相邻的活动关节的连杆形成的角度的变化而一起改变。例如，“臂单元的模式”可以是臂单元的状态，该状态可以通过被动关节的协同操作随着被动间接部分之间的位置关系或角度的变化而变化。此外，当臂单元不包括关节时，“臂单元的姿势”可以是臂单元的状态，该状态可以随着相对于目标对象的位置或相对于目标对象的相对角度的变化而改变。

根据本实施例的支撑臂装置200包括六个活动关节，即活动关节221a至221f，实现关于臂单元220的驱动的六个自由度。即，虽然通过控制单元对六个活动关节221a至221f的驱动控制来实现支撑臂装置200的驱动控制，但是被动滑动机构231和被动关节233不被定义为控制单元的驱动控制的目标。

具体地，如图3所示，活动关节221a、221d和221f被设置成使得每个连接连杆222a和222e的纵向方向和连接的内窥镜装置223的成像方向与旋转轴方向对准。活动关节221b、221c和221e设置成使得x轴方向与旋转轴方向对准，x轴方向是连接的连杆222a至222c、222e和222f中的每一个与内窥镜装置223的耦合角在y-z平面(由y轴和z轴限定的平面)中改变的方向。以这种方式，在本实施例中，活动关节221a、221d和221f具有执行称为偏航的运动的功能，活动关节221b、221c和221e具有执行称为俯仰的运动的功能。

利用臂单元220的这种配置，根据本实施例的支撑臂装置200可以在臂单元220的驱动中实现六个自由度，使得可以在臂单元220的可移动范围内自由移动内窥镜装置223。图3示出了作为内窥镜装置223的可移动范围的示例的半球。假设半球中的远程运动中心(RCM)是要由内窥镜装置223成像的手术部位的成像中心，在内窥镜装置223的成像中心固定到半球的中心点的状态下，通过在半球的球面上移动内窥镜装置223，可以从各种角度对手术部位成像。

上面已经描述了可以应用根据本公开的技术的支撑臂装置的配置的示例。

尽管支撑臂装置200的臂单元220已经被描述为具有多个关节并且具有六个自由度，但是本公开不限于此。具体而言，臂单元220仅需要具有内窥镜装置223或外视镜能够设置在远端的结构。例如，臂单元220可以具有仅具有一个自由度的配置，以允许内窥镜装置223驱动，从而在进入患者体腔的方向和向后移动的方向上向前移动。

[3.前斜视内窥镜的基本配置]

接下来，将描述前斜视内窥镜的基本配置，作为内窥镜的示例。

图4是示出根据本公开实施例的前斜视内窥镜4100的配置的示意图。如图4所示，前斜视内窥镜4100附接到摄像头4200的远端。前斜视内窥镜4100对应于参照图1和图2描述的镜筒5003，并且摄像头4200对应于参照图1和图2描述的摄像头5005。前斜视内窥镜4100和摄像头4200可以被配置为彼此独立地枢转。类似于关节5033a、5033b和5033c，致动器可以设置在前斜视内窥镜4100和摄像头4200之间。这将允许前斜视内窥镜4100通过致动器的驱动而相对于摄像头4200旋转。利用这种配置，控制下面将要描述的旋转角度θ_Z。

前斜视内窥镜4100由支撑臂装置5027支撑。支撑臂装置5027具有保持前斜视内窥镜4100而不是内窥镜专家并移动前斜视内窥镜4100的功能，以便能够通过外科医生或助手的操作来观察期望的部位。

图5是示出前斜视内窥镜4100和前观察内窥镜4150进行比较的示意图。在前视内窥镜4150中，物镜朝向被摄体的方向(C1)与前视内窥镜4150的纵向方向(C2)对准。相反，在前斜视内窥镜4100中，物镜朝向被摄体的方向(C1)相对于前斜视内窥镜4100的纵向方向(C2)具有预定角度φ。

前斜视内窥镜的基本配置已经在上面作为内窥镜的示例进行了描述。

此外，本公开可以是如图6所示的主从装置。图6是示出根据本公开实施例的主从装置的配置的示例的示图。

主装置10是信息处理装置(第一信息处理装置)，其具有执行从装置50的驱动控制并将由从装置50的传感器测量的振动信号(第一信号)呈现给用户的功能。主装置10是具有一个或多个关节的装置(具有包括被动关节的连杆机构的装置)，所述关节包括被动关节和连接到关节的连杆。注意，被动关节是不由马达、致动器等驱动的关节。

如图6所示，主装置10包括由用户抓握和操作的操作装置20(20R和20L)。操作装置20对应于根据本公开实施例的触觉感知呈现装置。此外，主装置10连接到显示手术区域的监视器30，并且设置有支撑基座32，用户将他们的双臂或双肘放置在支撑基座32上。主装置10包括右手主装置10R和左手主装置10L。此外，右手主装置10R包括右手操作装置20R，左手主装置10L包括左手操作装置20L。

用户将他们的手臂或肘部放在支撑基座32上，并且分别用右手和左手抓住操作装置20R和20L。在这种状态下，用户操作操作装置20R和20L，同时观看显示手术区域的监视器30。通过移动每个操作装置20R和20L的位置和方向，用户可以远程操作附接到从装置50的手术工具的位置或方向，或者通过每个手术工具执行抓握操作。

从装置50可以是信息处理装置(第二信息处理装置)，其向主装置10呈现当手术中的患者的患部(以下也称为目标对象)与从装置50中与目标对象接触的部位接触时生成的力和振动。从装置50例如是具有一个或多个活动关节和连接到活动关节的连杆的装置(具有包括活动关节的连杆机构的装置)，其被设置成允许对应于主装置10的运动的运动。注意，活动关节是由马达、致动器等驱动的关节。

在从装置50中，各种传感器(例如，原点传感器、极限传感器、编码器、麦克风、加速度传感器等)设置在图6所示的臂的前端部(图6所示的符号A)。此外，力传感器(图6中示出的符号B)设置在从装置50的臂的前端部。当臂的前端部与患者接触时，力传感器测量施加到臂的前端部的力。注意，设置上述各种传感器的位置没有特别限制，并且各种传感器可以设置在臂的前端部的任何位置。

从装置50包括例如运动传感器，用于在对应于每个活动关节的位置测量活动关节的运动。运动传感器的示例包括编码器。此外，从装置50包括例如用于在对应于每个活动关节的位置驱动活动关节的驱动机构。驱动机构的示例包括马达和驱动器。

注意，本公开的实施例可以应用于虚拟现实环境。例如，当操作主装置10时，指示从装置50一侧的虚拟环境的视频图像可以被投影在监视器30上，并且用户可以基于该视频图像来操作主装置10。

[4.医学观察系统]

[4-1.医学观察系统的配置]

将参照图7描述根据本公开的实施例的医学观察系统的配置。图7是示出根据本公开的实施例的医学观察系统的配置的示例的示图。

如图7所示，根据本公开实施例的医学观察系统1包括控制装置100和支撑臂装置200。控制装置100和支撑臂装置200经由网络NW可通信地连接。

医学观察系统1在设置在支撑臂装置200或由支撑臂保持的医学观察装置(内窥镜等)中的多种类型的传感器中，确定用于测量患者的体内环境的传感器，以用于生成指示患者的内部地图信息的环境地图。医学观察系统1基于由设置在支撑臂装置200或由支撑臂保持的医学观察装置(内窥镜等)中的多个传感器单元获得的患者体内环境的测量结果，生成指示内部地图信息的环境地图。

(4-2.内窥镜装置)

将参照图8A和图8B描述根据本公开实施例的内窥镜装置的配置。图8A是根据本公开实施例的内窥镜装置的剖视图。图8B是根据本公开实施例的内窥镜装置的前端部的前视图。

如图8A和图8B所示，内窥镜装置223形成有圆柱形部分2231和头部2232(摄像头)。内窥镜装置223包括光导311a、光导311b、透镜312a、透镜312b、照射单元313、光源适配器320、半反射镜330、传感器单元340和图像传感器350。

光导311a和光导311b用光照射测量目标对象(例如，患者的器官)。光导311a和光导311b经由光源适配器320和光导电缆连接到光源装置(未示出)。光导311a和光导311b用来自光源装置的光照射测量目标物体。光导311a设置在圆柱部分2231的上部。光导311b设置在圆柱部分2231的下部。光导311a和光导311b可以由例如光纤形成。

透镜312a和透镜312b是聚焦入射光的光学系统。由透镜312a和透镜312b聚焦的部分光被半反射镜330反射并到达传感器单元340。由透镜312a和透镜312b聚焦的光的一部分透过半反射镜330并到达图像传感器350。透镜312a设置在圆柱部分2231的左手侧。透镜312b设置在圆柱部分2231的右侧。利用这种配置，透镜312a和透镜312b构成立体相机。注意，内窥镜是复眼型(立体)，但也可以是单眼型。

照射单元313连接到传感器单元340。照射单元313向目标对象输出用于测量从圆柱部分2231的前端部到目标对象的距离的光或声音。

传感器单元340测量关于目标对象的各种类型的信息。传感器单元340优选地是能够获取例如从圆柱部分2231的前端部到目标物体的距离信息和包括目标物体或其周边部分的形状信息的传感器。传感器单元340可以包括多个传感器，而不是单个传感器。传感器单元340可以包括例如两种或多种类型的传感器。在本公开中，基于构成传感器单元340的多种类型的传感器的测量结果来生成体内环境地图。

传感器单元340的一个示例是立体图像传感器，其通过使用透镜312a和透镜312b的三角测量方法来计算到目标物体的距离。传感器单元340可以是例如飞行时间(ToF)传感器，其向目标物体发射光，并基于发射光从反射发射光的目标物体返回之前的时间来计算到目标物体的距离。在这种情况下，例如，可以获取检测反射光的图像传感器350的每个像素的距离(深度)信息，从而实现具有较高分辨率的三维空间信息的构建。

传感器单元340可以是例如相位差传感器，其基于发射到目标对象的光的相位和从目标对象反射的光的相位之间的差来计算到目标对象的距离。传感器单元340可以是例如超声波传感器，其向目标对象发射声波，并基于发射的声波被对象反射并返回之前的时间来计算到目标对象的距离。

传感器单元340可以是例如构造关于目标对象的三维空间信息的传感器。传感器单元340可以是例如用图案光照射目标对象、用立体相机对目标对象成像、并基于成像的图案光的形状构建关于目标对象的三维空间信息的传感器。在该方法中，例如，即使在图像中具有较小变化的对象被设置为成像目标的情况下，也可以重建三维空间信息。具体地，在对患者的器官等进行成像时，存在可假设的情况，其中，所捕捉的部分几乎没有不规则性，使得难以从图像中区分形状的细节。在这种情况下，照射图案光，将使得容易区分形状的细节，有助于以提高的精度重建三维空间信息。

传感器单元340可以是偏振图像传感器。偏振图像传感器是能够仅检测入射光中包括的各种类型的偏振光中的一部分偏振光的图像传感器。通过使用由这种偏振图像传感器捕捉的图像重建三维空间，可以生成或更新环境地图。使用这种方法可以防止由于发生了被称为突出的现象导致的与三维空间重建相关的精度下降或者由于过量的光导致的过度曝光。此外，作为另一示例，该方法的使用还使得可以在存在透明或半透明物体(例如，身体组织)或具有难以用肉眼识别的不同偏振度的物体的情况下更稳定地重建环境的三维空间。此外，通过使用这种方法，例如，即使在由于使用电解剖刀等出现雾而在捕捉图像中具有可见噪声或者在捕捉图像中具有降低的对比度的情况下，仍然可以减少雾的影响。

图像传感器350是成像元件，并且例如由CMOS形成。入射在透镜312a和透镜312b上的光束聚焦在图像传感器350上，从而形成目标物体的图像。

下面将描述传感器单元340设置在内窥镜装置223中以生成指示人体体内环境的信息(三维信息等)的环境地图的情况。然而，本公开不限于该描述。例如，本公开可以应用于传感器单元340设置在安装在手术室中的外科手术现场摄像机中的情况。此外，本公开还可以应用于传感器单元340设置在外视镜或手术显微镜中的情况。在这种情况下，手术现场摄像机、外视镜或手术显微镜仅需要至少捕捉手术室中患者手术部位的状态。此外，在本公开中，传感器单元340可以设置在从装置50的臂的前端部，如图6所示。

(4-3.传感器单元)

接下来，将描述传感器单元340。

在本公开中，基于由传感器单元340获得的关于患者的内部目标对象的测量结果来生成环境地图。然而，在手术过程中，在人体中存在可能会降低传感器单元340的测量结果的可靠性的因素。

例如，存在诸如透镜312a、透镜312b或照射单元313等部件在患者体内被污染的可假设的情况。由例如由于出血引起的血液粘附、诸如用于清洗腹腔的生理盐水的液体的粘附、使用诸如电解剖刀的工具产生的组织和脂质的粘附、由于与器官接触引起的污染粘附等造成污染。

此外，患者内部空间环境的变化可能会影响测量结果。这些示例包括器官出血。这些也可能包括通过使用诸如电解剖刀的仪器出现的雾。此外，例如，这些变化还可能包括来自内部设置的仪器的光的反射、来自内部液体的光的反射以及来自透明器官的光的反射。此外，可以包括内部仪器产生的阴影。

如上所述，体内环境有许多因素会降低各种传感器获取的数据的可靠性。参照图9，将描述各种传感器中的可靠性退化因素。图9是示出针对各种传感器中的可靠性退化因素的鲁棒性的表格。

在图9所示的表中，符号“○”表示可靠性保持在高水平，而符号“×”表示可靠性降低。此外，符号“Δ”(开音三角)表示传感器继续输出恒定值。

图9列出了可能的可靠性退化因素，例如，“图像传感器污染”、“传感器污染”、“透镜污染/屏蔽”、“照射单元污染/屏蔽”、“来自光源的光不足(曝光不足)”、“来自光源的光过多(曝光过度)”、“雾的出现”和“整个远端表面上的污染/屏蔽”。获取到目标物体的距离或目标物体的形状的方法的示例包括“立体图像传感器”、“偏振图像传感器”、“相差传感器”、“ToF传感器”和“用图案光照射”。

如图9所示，各种传感器和方法具有彼此不同的可靠性退化因素。鉴于此，在本公开中，在体内环境地图的生成中使用多种类型的传感器来测量体内环境，以确保针对个体因素的鲁棒性。在这种情况下，判断单元133可以基于每个传感器的可靠性确定结果，对可靠性退化因素进行判断。

将参照图10描述传感器单元340的配置的示例。图10是示出传感器单元340的配置示例的框图。

如图10所示，传感器单元340包括第一传感器341、第二传感器342和第三传感器343。

第一传感器341至第三传感器343是不同类型的传感器。例如，虽然第一传感器341是立体图像传感器，第二传感器342是偏振图像传感器，第三传感器343是ToF传感器，但是本公开不限于此。

在下文中，传感器单元340将被描述为包括三种类型的传感器，即第一传感器341至第三传感器343，但是本公开不限于此。具体地，传感器单元340仅需要包括两种或更多种类型的传感器。

医学观察系统1的控制装置100从第一传感器341至第三传感器343获取关于与患者的内部目标对象的距离相关的信息或关于目标对象的形状信息的测量结果。基于由第一传感器341至第三传感器343获得的患者的内部目标对象的测量结果，执行测量结果的可靠性的比较或判断。控制装置100然后确定第一传感器341至第三传感器343中具有高可靠性的传感器。通过该操作，控制装置100可以生成具有高可靠性的环境地图。

(4-4.控制装置)

将参照图11描述控制装置100的配置。图11是示出控制装置100的配置的示例的框图。

如图11所示，控制装置100包括通信单元110、存储单元120和控制单元130。

通信单元110由例如网络接口卡(NIC)、通信电路等实现。通信单元110通过有线或无线通信连接到网络NW(互联网等)。通信单元110在通信控制单元140的控制下经由网络NW向从其他装置等发送并且从其他装置等接收信息。例如，通信单元110向支撑臂装置200发送信息并且从支撑臂装置200接收信息。

存储单元120由诸如随机存取存储器(RAM)和称为闪存的闪存驱动器等半导体存储元件或诸如硬盘或光盘等其他存储装置实现。存储单元120包括地图信息存储单元121和数据存储单元122。

地图信息存储单元121存储指示患者体内环境的地图信息。地图信息可以是例如在对患者进行手术之前基于磁共振成像(MRI)和计算机断层摄影(CT)中的至少一种生成的信息。此外，地图信息可以是例如在开始内部治疗之前通过医学观察装置在未受污染的情况下对患者进行内部观察而生成和记录的信息。此外，地图信息存储单元121可以存储地图，该地图最初是在手术之前或治疗开始之前生成的并且在手术期间已经依次更新的环境地图。

数据存储单元122存储各种数据。

通过中央处理单元(CPU)、微处理单元(MPU)等使用随机存取存储器(RAM)等作为工作区域来执行存储在控制装置100中的程序(例如，根据本公开的信息处理程序)，来实现控制单元130。此外，控制单元130是控制器，并且可以由诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)等集成电路来实现。控制单元130包括获取单元131、比较单元132、判断单元133、确定单元134、生成单元135、识别单元136、通知单元138、指示单元139和通信控制单元140。

获取单元131获取各种类型的信息。例如，获取单元131从传感器单元340获取各种类型的信息。获取单元131从传感器单元340获取关于患者的内部目标对象或其外围部分的测量结果。在这种情况下，获取单元131从传感器单元340中包括的第一传感器341至第三传感器343单独获取测量结果。

例如，在获取立体图像的情况下，获取单元131可以具有基于立体图像计算到目标对象的距离的功能。

比较单元132比较各种类型的信息。比较单元132比较例如由获取单元131获取的多条信息。例如，比较单元132将由获取单元131获取的第一传感器341和第三传感器343的单独测量结果进行比较。

判断单元133对各种类型的信息进行判断。判断单元133例如对由获取单元131获取的各种类型的信息进行判断。例如，判断单元133对由获取单元131获取的第一传感器341至第三传感器343的测量结果的可靠性进行判断。例如，基于存储在地图信息存储单元121中的患者相关地图信息，判断单元133对由获取单元131获取的第一传感器341至第三传感器343的测量结果的可靠性进行判断。

确定单元134确定各种类型的信息。例如，确定单元134基于比较单元132的比较结果来确定各种类型的信息。例如，确定单元134基于比较单元132对第一传感器341和第三传感器343的测量结果的比较结果，确定第一传感器341和第三传感器343中用于患者内部测量的传感器。

确定单元134基于来自判断单元133的判断结果来确定各种类型的信息。例如，确定单元134基于判断单元133对第一传感器341至第三传感器343的测量结果的可靠性的判断结果，确定第一传感器341至第三传感器343中用于患者内部测量的传感器。例如，确定单元134可以将第一传感器341至第三传感器343中具有高可靠性的两种类型的传感器确定为用于患者内部测量的传感器。例如，确定单元134可以将第一传感器341至第三传感器343中被判断为具有最高可靠性的一个传感器(或多个传感器)确定为用于患者内部测量的传感器。

生成单元135生成各种类型的信息。生成单元135基于由确定单元134确定的信息生成各种类型的信息。作为示例，生成单元135基于由确定单元134确定的传感器对目标对象的测量结果来生成指示患者的内部信息的环境地图。

识别单元136识别各种类型的信息。例如，识别单元136基于由获取单元131获取的来自传感器单元340的信息来识别各种类型的信息。例如，识别单元136基于由获取单元131从包括在传感器单元340中的立体图像传感器获取的患者的内部视频图像来识别各种类型的信息。在这种情况下，识别单元136识别在患者体内产生的出血、雾的出现等。

检测单元137检测各种类型的信息。例如，检测单元137基于判断单元133的确定结果来检测各种类型的信息。例如，检测单元137基于由判断单元133获得的关于由第一传感器341至第三传感器343获得的测量结果的可靠性的判断结果，检测部分传感器中的故障或可靠性退化。例如，检测单元137基于由判断单元133获得的关于由第一传感器341至第三传感器343获得的测量结果的可靠性的判断结果，检测整个医学观察系统1中的可靠性退化。

通知单元138通知各种类型的信息。例如，通知单元138基于检测单元137获得的检测结果来通知各种类型的信息。例如，当检测单元137已经检测到整个医学观察系统1中的可靠性退化时，通知单元138通知由生成单元135生成的环境地图不处于正常状态。换言之，通知单元138通过用户界面通知环境地图中的可靠性退化。在这种情况下，通知单元138可以使用扬声器通过语音进行通知，或者可以通过在显示单元上显示视频图像来进行通知。

指示单元139给出各种类型信息的指示。例如，指示单元139基于检测单元137获得的检测结果给出各种类型信息的指示。例如，当检测单元137已经检测到整个医学观察系统1中的可靠性退化时，指示单元139对基于由生成单元135生成的环境地图执行自主/半自主驱动的手术机器人执行各种指示。在这种情况下，例如，指示单元139基于环境地图给出手术机器人的操作指示。更具体地，例如，指示单元139使手术机器人执行危机避免操作。危机避免操作包括例如停止治疗、插入患者体内的医疗器械的移除操作等。

通信控制单元140通过通信单元110控制信息的发送和接收。通信控制单元140控制通信单元110与其他信息处理装置通信。例如，通信控制单元140控制通信单元110与支撑臂装置200通信。例如，通信控制单元140控制通信单元110与手术机器人通信。

[5.医学观察系统的过程]

(5-1.医学观察系统的过程概述)

将参照图12描述医学观察系统1的过程。图12是示出由医学观察系统1执行的处理流程的示例的流程图。

首先，控制装置100从支撑臂装置200中包括的每个传感器获取传感器值(步骤S11)。随后，过程进行到步骤S12。

控制装置100基于每个传感器的获取值来判断每个传感器的可靠性(步骤S12)。随后，过程进行到步骤S13。

基于每个传感器的可靠性，控制装置100确定传感器中用于生成患者的体内环境地图的传感器(步骤S13)。随后，过程进行到步骤S14。

控制装置100使用在步骤S13中确定的传感器值生成患者的体内环境地图(步骤S14)。

(5-2.第一过程)

将参照图13描述根据实施例的控制装置100的控制单元130的第一过程的流程。图13是示出根据实施例的控制单元130的第一过程的流程的示例的流程图。在下文中，基于图10所示的第一传感器341至第三传感器343的值生成环境地图。

首先，控制单元130从第一传感器341至第三传感器343中的每一个获取传感器值(步骤S101)。具体地，获取单元131经由通信单元110从第一传感器341至第三传感器343中的每一个获取传感器值。随后，过程进行到步骤S102。

控制单元130将从第一传感器341至第三传感器343获取的传感器值进行比较(步骤S102)。具体地，比较单元132将从第一传感器341至第三传感器343获取的传感器值进行比较。随后，过程进行到步骤S103。

控制单元130判断所有传感器的值是否相同(步骤S103)。具体地，判断单元133判断传感器的值是否都相同，从而判断传感器值的可靠性。注意，“传感器的值相同”不仅包括完全匹配，还包括值落在预定范围内的情况。换言之，也包括传感器的值彼此相似的情况。更具体地，由于传感器通过不同的方法执行距离测量等，所以传感器的值预期彼此不同。在这种情况下，判断单元133判断从不同类型的传感器测量的传感器值导出的数据是相同的还是落在预定范围内。当判断所有传感器的值都相同时(步骤S103中为是)，过程进行到步骤S104。当判断所有传感器的值都不相同时(步骤S103中为否)，过程进行到步骤S107。

当在步骤S103中判断为是时，控制单元130在额外考虑每个传感器的预定优先级的情况下，对传感器的可靠性进行判断(步骤S104)。具体地，判断单元133在额外考虑预定优先级的情况下，对每个传感器(即第一传感器341至第三传感器343)的可靠性进行判断。例如，由于期望非常可能主要使用实际捕捉内部视频图像的立体图像传感器，所以最高优先级可以被分配给立体图像传感器。随后，过程进行到步骤S105。

控制单元130基于步骤S104的判断结果确定用于生成环境地图的两个传感器(步骤S105)。具体地，确定单元134确定第一传感器341至第三传感器343中具有高可靠性的两个传感器。随后，过程进行到步骤S106。

控制单元130使用在步骤S105中确定的两个传感器的值来生成患者的体内环境地图(步骤S106)。具体地，生成单元135使用在第一传感器341至第三传感器343中确定的两个传感器的值来生成患者的体内环境地图。这完成了图13的过程。

作为另一系列步骤，当在步骤S103中判断为否时，控制单元130判断各个传感器的值中的两个传感器的值是否相同(步骤S107)。具体地，判断单元133判断各个传感器的值中的两个传感器的值是否相同，从而对可靠性进行判断。在这种情况下，判断单元133判断具有相同值的两个传感器具有高可靠性，而具有不同值的一个传感器具有低可靠性。当判断两个传感器的值不相同时，即，各个传感器的值都彼此不同时(步骤S107中为否)，过程进行到步骤S104。例如，当所有传感器的值不同时，判断单元133判断整个医学观察系统1的可靠性低。作为另一系列步骤，当判断两个传感器的值相同时(步骤S107中为是)，过程进行到步骤S108。

当在步骤S107中确定为是时，控制单元130确定与用于生成患者的体内环境地图的传感器具有相同值的两个传感器(步骤S108)。具体地，确定单元134将第一传感器341至第三传感器343中具有相同值的两个传感器确定为用于生成患者的体内环境地图的传感器。这完成了图13的过程。

如上所述，在本实施例中，可以基于传感器的值来判断各个传感器的可靠性。然后，本实施例可以基于可靠性来确定用于生成患者的体内环境地图的传感器。利用这种配置，本实施例可以提高环境地图的精度。

(5-3.第二过程)

将参照图14描述根据实施例的控制装置100的控制单元130的第二过程的流程。图14是示出根据实施例的控制单元130的第二过程的流程的示例的流程图。

步骤S201、步骤S202和步骤S203分别与图13所示的步骤S101、步骤S102和步骤S104相同，因此省略其描述。

控制单元130将每个传感器的值与存储在地图信息存储单元121中的患者的地图信息进行比较(步骤S204)。具体地，判断单元133将第一传感器341至第三传感器343的值与存储在地图信息存储单元121中的地图信息进行比较，以对第一传感器341至第三传感器343中的每一个的可靠性进行判断。在这种情况下，具有更接近地图信息的值的传感器具有更高的可靠性，而具有更远离地图信息的值的传感器具有更低的可靠性。随后，过程进行到步骤S205。

控制单元130基于步骤S204的判断结果确定用于生成环境地图的传感器(步骤S205)。具体地，确定单元134确定第一传感器341至第三传感器343中具有高可靠性的传感器。在此处，确定单元134可以确定具有最高可靠性的一个传感器，或者可以确定具有高可靠性的两个传感器。随后，过程进行到步骤S206。

控制单元130使用在步骤S205中确定的传感器的值生成患者的体内环境地图(步骤S206)。具体地，生成单元135使用在第一传感器341至第三传感器343中确定的传感器的值来生成患者的体内环境地图。这完成了图14的过程。

如上所述，在本实施例中，可以基于每个传感器的值和预先生成的患者的地图信息之间的比较结果来判断每个传感器的可靠性。另外，在本实施例中，可以基于根据与地图信息的比较结果而判断的可靠性来确定用于生成患者的体内环境地图的传感器。利用这种配置，本实施例可以进一步提高环境地图的精度。顺便提及，基于MRI或CT成像在手术前生成的地图信息可能受到由于手术期间腹腔压力的变化或身体姿势的变化而导致的器官的形状变形或位置位移的影响。鉴于此，还允许校正初步生成的地图信息并使用校正后的版本进行比较。

(5-4.第三过程)

将参照图15描述根据实施例的控制装置100的控制单元130的第三过程的流程。图15是示出根据实施例的控制单元130的第三过程的流程的示例的流程图。

步骤S301至S303分别与图14所示的步骤S201至S203相同，因此省略其描述。

控制单元130识别手术状态(步骤S304)。具体地，识别单元136基于由获取单元131获取的手术区域的视频图像来识别手术状态，例如，出现雾或出血。随后，过程进行到步骤S305。

控制单元130另外考虑识别单元136对手术状态的识别结果(步骤S305)。具体地，判断单元133根据由识别单元136获得的雾的出现或出血的出现的识别结果，对第一传感器341至第三传感器343的可靠性进行判断。例如，在第一传感器341至第三传感器343中的两个是图像传感器和ToF传感器的情况下，并且在识别单元136已经基于由图像传感器获取的视频图像识别出雾的出现的情况下，判断单元133判断ToF传感器的可靠性低。即，判断单元133可以根据手术状态判断每个传感器的可靠性的变化。此外，判断单元133可以基于ToF传感器值来判断传感器单元340上的污染。例如，当ToF传感器继续输出恒定值时，判断单元133可以判断在设置有传感器单元340的内窥镜装置223的整个前端部中存在污染。此外，当立体图像传感器的可靠性低并且ToF传感器的可靠性高时，判断单元133可以判断光源不足。随后，过程进行到步骤S306。

控制单元130基于步骤S305的判断结果确定用于生成环境地图的传感器(步骤S306)。具体地，确定单元134确定第一传感器341至第三传感器343中具有高可靠性的传感器。在此处，确定单元134可以确定具有最高可靠性的一个传感器，或者可以确定具有高可靠性的两个传感器。随后，过程进行到步骤S307。

控制单元130使用在步骤S307中确定的传感器的值生成患者的体内环境地图(步骤S307)。具体地，生成单元135使用在第一传感器341至第三传感器343中确定的传感器的值来生成患者的体内环境地图。这完成了图15的过程。

如上所述，在本实施例中，可以基于手术状态来判断每个传感器的可靠性。另外，本实施例可以基于根据手术状态判断的可靠性来确定用于生成患者的体内环境地图的传感器。利用这种配置，本实施例可以进一步提高环境地图的精度。

(5-5.第四过程)

将参照图16描述根据实施例的控制装置100的控制单元130的第四过程的流程。图16是示出根据实施例的控制单元130的第四过程的流程的示例的流程图。

步骤S401至S404分别与图14所示的步骤S201至S204相同，因此省略其描述。另外，步骤S405和S406分别与图15所示的步骤S304和S305相同，因此省略其描述。即，第四实施例是第二实施例和第三实施例的组合。

控制单元130基于步骤S404中的比较结果和步骤S406中的判断结果来确定用于生成环境地图的传感器(步骤S407)。具体地，确定单元134确定第一传感器341至第三传感器343中具有高可靠性的传感器。在此处，确定单元134可以确定具有最高可靠性的一个传感器，或者可以确定具有高可靠性的两个传感器。随后，过程进行到步骤S408。

控制单元130使用在步骤S407中确定的传感器的值来生成患者的体内环境地图(步骤S408)。具体地，生成单元135使用在第一传感器341至第三传感器343中确定的传感器的值来生成患者的体内环境地图。这完成了图16的过程。

如上所述，在本实施例中，可以基于每个传感器的值与预先生成的患者的地图信息之间的比较结果，并基于手术状态来判断每个传感器的可靠性。另外，在本实施例中，可以基于与地图信息的比较结果并基于根据手术状态判断的可靠性来确定用于生成患者的体内环境地图的传感器。利用这种配置，本实施例可以进一步提高环境地图的精度。

[6.医学观察系统的修改]

(6-1.医学观察系统的修改配置)

将参照图17描述根据本公开的实施例的医学观察系统的修改的配置。图17是示出根据本公开的实施例的医学观察系统的修改的配置的示图。

如图17所示，医学观察系统1A包括控制装置100和手术臂系统(手术机器人系统)400。控制装置100和手术臂系统400经由网络NW可通信地连接。手术臂系统400是自动/半自动驱动的机器人，以与外科医生合作对患者进行各种手术。在本实施例中，控制装置100基于各个传感器的可靠性来控制手术臂系统400。

(6-2.手术臂系统)

将参照图18描述手术臂系统的配置的示例。图18是示出手术臂系统的配置的示例的示图。

如图18所示，手术臂系统400包括例如第一支撑臂装置410、第二支撑臂装置420和第三支撑臂装置430。第一支撑臂装置410设有第一医疗器械411。第二支撑臂装置420设有第二医疗器械421。第三支撑臂装置430设有第三医疗器械431。第一支撑臂装置410至第三支撑臂装置430具有类似于图3所示的支撑臂装置200的配置，但是本公开不限于此。例如，第一支撑臂装置410至第三支撑臂装置430不受特别限制，只要它们能够分别支撑第一医疗器械411至第三医疗器械431。此外，手术臂系统400可以进一步包括另一支撑臂装置。

使用第一医疗器械411和第二医疗器械421，手术臂系统400与医生(或包括外科医生和支持人员的团队)合作对患者440执行各种手术。第三医疗器械431例如是内窥镜装置，并且捕捉患者440的内部图像。此外，第三医疗器械431设置有多种类型的传感器。例如，第三医疗器械431设置有图10所示的传感器单元340。即，控制装置100通过设置在第三医疗器械431的前端部处的传感器单元340来计算第三医疗器械的前端部和器官O之间的距离。通过重复该操作，生成患者440的体内环境地图。此外，控制装置100基于设置在第三医疗器械431中的传感器单元340的测量结果使手术臂系统400执行危机避免操作。

(6-3.医学观察系统的修改处理)

将参照图19描述根据实施例的修改的控制装置100的控制单元130的处理流程。图19是示出根据实施例的修改的控制单元130的处理流程的示例的流程图。

由于步骤S501至S506分别与图16所示的步骤S401至S406相同，因此省略其描述。

控制单元130判断医学观察系统1A中是否出现异常(步骤S507)。具体地，当检测单元137已经检测到包括在传感器单元340中的所有传感器的故障或可靠性退化时，判断在医学观察系统1A中存在异常。当确定医学观察系统1A中没有异常时(步骤S507中为否)，过程进行到步骤S508。当确定医学观察系统1A中存在异常时(步骤S507中为是)，过程进行到步骤S510。

步骤S508和步骤S509分别与图16所示的步骤S407和步骤S408相同，因此省略其描述。

当在步骤S507中判断为是时，控制单元130通过异常警报通知医学观察系统1A中出现异常(步骤S510)。具体地，通知单元138通过从扬声器(未示出)等发出异常警报来通知医学观察系统1A中异常的发生。随后，过程进行到步骤S511。

控制单元130确定用于生成患者的体内环境地图的传感器(步骤S511)。具体地，确定单元134确定可靠性降低的第一传感器341至第三传感器343中可靠性相对较高的传感器，作为用于生成环境地图的传感器。随后，过程进行到步骤S512。

控制单元130使用在步骤S511中确定的传感器的值来生成患者的体内环境地图(步骤S512)。具体地，生成单元135使用由确定单元134确定的具有相对良好可靠性的传感器的值来生成患者的体内环境地图。随后，过程进行到步骤S513。

控制单元130基于在步骤S512中创建的环境地图指示手术臂系统400执行危机避免操作(步骤S513)。具体地，指示单元139指示手术臂系统400停止对患者的操作。作为对此的响应，手术臂系统400例如对患者的第一医疗器械411至第三医疗器械431执行插入/提取操作。这完成了图19的过程。

如上所述，根据实施例的修改，在整个医学观察系统1A的可靠性退化时，可以指示手术臂系统400执行危机避免操作。这使得能够提高1A医学观察系统的安全性。

[7.硬件配置]

例如，诸如上述控制装置100等信息装置由具有如图20所示的配置的计算机1000实现。图20是示出实现诸如控制装置100等信息处理装置的功能的计算机1000的示例的硬件配置图。在下文中，将作为示例描述根据实施例的控制装置100。计算机1000包括CPU1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的各个组件通过总线1050互连。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，以便控制每个组件。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序开发到RAM 1200中，并执行对应于各种程序的处理。

ROM 1300存储引导程序，例如，当计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)、依赖于计算机1000的硬件的程序等。

HDD 1400是记录由CPU 1100执行的程序、程序使用的数据等的非暂时性计算机可读记录介质。具体地，HDD 1400是记录根据本公开的信息处理程序的记录介质，该信息处理程序是程序数据1450的示例。

通信接口1500是用于将计算机1000连接到外部网络1550(例如，互联网)的接口。例如，CPU 1100从其他装置接收数据，或者经由通信接口1500向其他装置发送由CPU 1100生成的数据。

输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标等输入装置接收数据。此外，CPU 1100经由输入/输出接口1600向诸如显示器、扬声器或打印机等输出装置传输数据。此外，输入/输出接口1600可以用作介质接口，用于读取记录在预定记录介质(或简单介质)上的程序等。介质的示例包括光学记录介质(例如，数字多功能盘(DVD)或相变可重写盘(PD))、磁光记录介质(例如，磁光盘(MO))、磁带介质、磁记录介质和半导体存储器。

例如，当计算机1000用作根据实施例的控制装置100时，计算机1000的CPU 1100执行加载在RAM 1200上的信息处理程序，以便实现控制单元130等的功能。此外，HDD 1400将根据本公开的信息处理程序或数据存储在存储单元14中。当CPU 1100执行从HDD 1400读取的程序数据1450时，作为另一示例，CPU 1100可以经由外部网络1550从另一装置获取这些程序。

(效果)

医学观察系统1包括：多种类型的传感器单元340，多种类型的传感器单元340测量关于体内环境的信息；获取单元131，获取单元131获取多种类型的传感器单元340的各个传感器值；比较单元132，比较单元132比较由获取单元131获取的多种类型的传感器单元340的各个传感器值；以及确定单元134，确定单元134基于由比较单元132获得的比较结果，确定多种类型的传感器单元340中将用于观察体内环境的传感器单元340。

利用这种配置，基于多种类型的传感器单元340的各个传感器值之间的比较结果来确定用于观察体内环境的传感器单元340。因此，可以优化用于生成体内环境地图的传感器单元340。

医学观察系统1可以包括生成单元135，其基于由确定单元134确定的传感器单元340的传感器值来生成体内环境地图。

利用这种配置，可以高精度地创建体内环境的环境地图。

医学观察系统1可以包括判断单元，该判断单元基于由比较单元132获得的比较结果对多种类型的传感器单元340中的每一种的可靠性进行判断。确定单元134基于判断单元133获得的判断结果，确定多种类型的传感器单元340中用于观察体内环境的传感器单元。

利用这种配置，可以进一步优化用于生成体内环境地图的传感器单元340。这进一步提高了环境地图的精度。

确定单元134可以基于由判断单元133获得的判断结果，确定具有高可靠性的至少两种类型的传感器单元340，作为用于观察体内环境的传感器单元。

利用这种配置，可以确定两种或更多种类型的高可靠性传感器单元340，并根据传感器值的平均值生成环境地图。因此，这进一步提高了环境地图的精度。

确定单元134可以基于由判断单元133获得的判断结果，确定具有最高可靠性的传感器单元，作为用于观察体内环境的传感器单元。

利用这种配置，可以确定具有最高可靠性的传感器单元340，并且仅从传感器单元340的值生成环境地图。这使得可以在不包括具有低可靠性的其他传感器单元340的传感器值的情况下生成环境地图，从而提高了环境地图的精度。

判断单元133可以基于预先为多种类型的传感器单元340中的每一种设置的优先级来确定多种类型的传感器单元340中的每一种的可靠性。

利用这种配置，可以使用具有最高鲁棒性的传感器单元340的传感器值作为主传感器来生成环境地图。这使得可以在所有传感器单元340的可靠性降低的环境下生成不包括具有最低可靠性的传感器单元340的传感器值的环境地图，从而进一步提高环境地图的精度。

多种类型的传感器单元340中的一种可以是对体内环境成像的图像传感器。医学观察系统1包括基于从图像传感器获取的视频图像识别状态的识别单元136。判断单元133可以基于由识别单元136获得的识别结果，对多种类型的传感器单元340中的每一种的可靠性进行判断。

利用这种配置，可以在额外考虑手术状态的识别结果的情况下判断多种类型的传感器单元340的可靠性。因此，这进一步提高了环境地图的精度。

判断单元133可以基于关于手术前的体内环境的地图信息来判断多种类型的传感器单元340中的每一种的可靠性。

利用这种配置，可以通过将手术前的信息与手术期间多种类型的传感器单元340的传感器值进行比较来判断多种类型的传感器单元340的可靠性。结果，这进一步提高了环境地图的精度。

可以基于磁共振成像(MRI)和计算机断层摄影(CT)中的至少一种来生成关于手术前的体内环境的地图信息。

利用这种配置，可以使用现有装置(例如，MRI或CT装置)生成关于手术前的体内环境的地图信息。

断单元133可以基于关于手术前的体内环境的地图信息并基于环境地图，对多种类型的传感器单元中的每一种的可靠性进行判断。

利用这种配置，可以通过将手术开始时由传感器单元340生成的地图信息与手术期间多种类型的传感器单元340的传感器值进行比较来判断多种类型的传感器单元340的可靠性。因此，这进一步提高了环境地图的精度。

多种类型的传感器单元340中的一种可以是对体内环境成像的图像传感器。医学观察系统1可以包括基于从图像传感器获取的视频图像来识别状态的识别单元136。判断单元133可以基于预先为多种类型的传感器单元340中的每一种设置的优先级、由识别单元136获得的识别结果、关于手术前的体内环境的地图信息、以及环境地图，对多种类型的传感器单元340中的每一种的可靠性进行判断。

利用这种配置，进一步提高了环境地图的精度。

医学观察系统1A可以包括检测单元137，其基于由判断单元133获得的判断结果来检测传感器单元340的至少一部分的故障或可靠性退化。

利用这种配置，医学观察系统1可以自我判断传感器故障和体内环境的退化。这进一步提高了安全性。

检测单元137可以检测整个医学观察系统1的可靠性的退化。

利用这种配置，医学观察系统1可以自我判断传感器故障和体内环境的退化。这进一步提高了安全性。

当检测单元137已经检测到整个医学观察系统1的可靠性退化时，生成单元135可以基于多种类型的传感器单元340中具有较高可靠性的传感器单元的测量结果来生成环境地图。

利用这种配置，即使在医学观察系统1的可靠性低的情况下，也可以生成用于避免危机的环境地图。这进一步提高了安全性。

医学观察系统1(1A)可以包括通知单元138，当检测单元137已经检测到整个医学观察系统1(1A)的可靠性退化时，通知单元138通知环境地图的可靠性退化。

利用这种配置，当自主操作开启时，可以执行环境地图的精度退化的自主通知。这进一步提高了安全性。

医学观察系统1(1A)可以包括指示单元139，当检测单元137已经检测到整个医学观察系统1(1A)的可靠性退化时，该指示单元139根据基于由多种类型的传感器单元340中具有较高可靠性的传感器单元340获得的测量结果而生成的环境地图，给出自主驱动主体的操作的指示。

利用这种配置，当自主操作开启时，可以根据环境地图自主执行操作。这进一步提高了安全性。

指示单元139可以使主体执行危机避免操作。

利用这种配置，当自主操作开启时，可以自主执行避免危机的操作。这进一步提高了安全性。

多种类型的传感器单元340可以设置在内窥镜中，并且可以包括立体图像传感器和飞行时间(ToF)传感器。判断单元133可以基于由识别单元136获得的识别结果，对由于雾导致的ToF传感器的可靠性退化进行判断。

利用这种配置，可以根据体内环境的变化来优化用于生成环境地图的传感器单元340。因此，这进一步提高了环境地图的精度。

判断单元133可以基于ToF传感器的值来检测内窥镜的镜筒的前端部上的污染。

利用这种配置，可以根据体内环境的变化来优化用于生成环境地图的传感器单元340。因此，这进一步提高了环境地图的精度。

判断单元133可以基于立体图像传感器的值和ToF传感器的值之间的比较结果来检测立体图像传感器的成像范围中的光源缺陷。

利用这种配置，可以根据体内环境的变化来优化用于生成环境地图的传感器单元340。因此，这进一步提高了环境地图的精度。

医学观察系统1(1A)可以包括支撑臂装置，该支撑臂装置具有臂单元，该臂单元的至少一部分被配置为可弯曲的，并且被配置为能够支撑医疗器械。可以由臂单元支撑多种类型的传感器单元340。

利用这种配置，本公开可以应用于包括臂单元的装置。

控制装置100包括：获取单元131，获取单元131获取测量关于体内环境的信息的多种类型的传感器单元340的各个传感器值；比较单元132，比较单元132比较由获取单元131获取的多种类型的传感器单元340的各个传感器值；以及确定单元134，确定单元134基于由比较单元132获得的比较结果，确定多种类型的传感器单元340中将用于观察体内环境的传感器单元340。

利用这种配置，基于多种类型的传感器单元340的各个传感器值之间的比较结果来确定用于观察体内环境的传感器单元340。因此，可以优化用于生成体内环境地图的传感器单元340。

该控制方法包括：获取测量关于体内环境的信息的多种类型的传感器单元340的各个传感器值；比较所获取的多种类型的传感器单元的各个传感器值340；并且基于比较结果确定多种类型的传感器单元340中用于观察体内环境的传感器单元。

利用这种配置，基于多种类型的传感器单元340的各个传感器值之间的比较结果来确定用于观察体内环境的传感器单元340。因此，可以优化用于生成体内环境地图的传感器单元340。

本说明书中描述的效果仅仅是示例，因此，可能存在其他效果，不限于示例的效果。

注意，本技术也可以具有以下配置。

(1)一种医学观察系统，包括：

多种类型的传感器单元，多种类型的传感器单元测量关于体内环境的信息；

获取单元，获取单元获取多种类型的传感器单元的各个传感器值；

比较单元，比较单元比较由获取单元获取的多种类型的传感器单元的各个传感器值；以及

确定单元，确定单元基于由比较单元获得的比较结果，确定多种类型的传感器单元中用于观察体内环境的传感器单元。

(2)根据(1)所述的医学观察系统，包括生成单元，生成单元基于由确定单元确定的传感器单元获得的测量结果来生成体内环境的环境地图。

(3)根据(1)或(2)所述的医学观察系统，包括判断单元，判断单元基于由比较单元获得的比较结果对多种类型的传感器单元中的每种类型的传感器单元的可靠性进行判断，

其中，确定单元基于由判断单元获得的判断结果，确定多种类型的传感器单元中要用于观察体内环境的传感器单元。

(4)根据(3)所述的医学观察系统，

其中，确定单元基于由判断单元获得的判断结果，确定具有高可靠性的至少两种类型的传感器单元作为用于观察体内环境的传感器单元。

(5)根据(3)或(4)所述的医学观察系统，

其中，确定单元基于由判断单元获得的判断结果，确定具有最高可靠性的传感器单元作为用于观察体内环境的传感器单元。

(6)根据(3)至(5)中任一项所述的医学观察系统，

其中，判断单元基于为多种类型的传感器单元中的每种类型的传感器单元预先设置的优先级，对多种类型的传感器单元中的每种类型的传感器单元的可靠性进行判断。

(7)根据(3)至(6)中任一项所述的医学观察系统，

其中，多种类型的传感器单元中的一种类型的传感器单元是对体内环境成像的图像传感器，

医学观察系统还包括识别单元，识别单元基于从图像传感器获取的视频图像来识别状态，并且

判断单元基于由识别单元获得的识别结果，对多种类型的传感器单元中的每种类型的传感器单元的可靠性进行判断。

(8)根据(3)至(7)中任一项所述的医学观察系统，

其中，判断单元基于关于手术前的体内环境的地图信息，对多种类型的传感器单元中的每种类型的传感器单元的可靠性进行判断。

(9)根据(8)所述的医学观察系统，

其中，基于磁共振成像(MRI)和计算机断层摄影(CT)中的至少一种生成关于手术前的体内环境的地图信息。

(10)根据(8)或(9)所述的医学观察系统，

其中，判断单元基于关于手术前的体内环境的地图信息并基于环境地图，对多种类型的传感器单元中的每种类型的传感器单元的可靠性进行判断。

(11)根据(3)至(10)中任一项所述的医学观察系统，

其中，多种类型的传感器单元中的一种类型的传感器单元是对体内环境成像的图像传感器，

医学观察系统还包括识别单元，识别单元基于从图像传感器获取的视频图像来识别状态，并且

判断单元基于预先为多种类型的传感器单元中的每种类型的传感器单元设置的优先级、由识别单元获得的识别结果、关于手术前的体内环境的地图信息、以及环境地图，对多种类型的传感器单元中的每种类型的传感器单元的可靠性进行判断。

(12)根据(3)至(11)中任一项所述的医学观察系统，包括检测单元，检测单元基于由判断单元获得的判断结果来检测传感器单元的至少一部分的故障或可靠性的退化。

(13)根据(12)所述的医学观察系统，

其中，检测单元检测整个医学观察系统的可靠性的退化。

(14)根据(13)所述的医学观察系统，

其中，当检测单元已经检测到整个医学观察系统的可靠性的退化时，

生成单元基于在多种类型的传感器单元中具有相对高可靠性的传感器单元的测量结果来生成环境地图。

(15)根据(13)或(14)所述的医学观察系统，包括通知单元，当检测单元已经检测到整个医学观察系统的可靠性的退化时，通知单元通知环境地图的可靠性的退化。

(16)根据(14)或(15)所述的医学观察系统，包括指示单元，当检测单元已经检测到整个医学观察系统的可靠性的退化时，指示单元根据基于由多种类型的传感器单元中具有相对高可靠性的传感器单元获得的测量结果而生成的环境地图，给出自主驱动的主体的操作指示。

(17)根据(16)所述的医学观察系统，

其中，指示单元使主体执行危机避免操作。

(18)根据(7)所述的医学观察系统，

其中，多种类型的传感器单元设置在内窥镜中，并且包括立体图像传感器和飞行时间(ToF)传感器，并且

判断单元基于由识别单元获得的识别结果来判断由于雾导致的ToF传感器的可靠性的退化。

(19)根据(18)所述的医学观察系统，

其中，判断单元基于ToF传感器的值来检测内窥镜的镜筒的前端部上的污染。

(20)根据(18)或(19)所述的医学观察系统，

其中，判断单元基于立体图像传感器的值和ToF传感器的值之间的比较结果，来检测立体图像传感器的成像范围中的光源缺陷。

(21)根据(1)至(20)中任一项所述的医学观察系统，包括支撑臂装置，支撑臂装置具有臂单元，臂单元的至少一部分被配置为可弯曲的并且被配置为能够支撑医疗器械，

其中，多种类型的传感器单元由臂单元支撑。

(22)一种控制装置，包括：

获取单元，获取单元获取测量关于体内环境的信息的多种类型的传感器单元的各个传感器值；

比较单元，比较单元比较由获取单元获取的多种类型的传感器单元的各个传感器值；以及

确定单元，确定单元基于由比较单元获得的比较结果，确定多种类型的传感器单元中用于观察体内环境的传感器单元。

(23)一种控制方法，包括：

获取测量关于体内环境的信息的多种类型的传感器单元的各个传感器值；

比较所获取的多种类型的传感器单元的各个传感器值；并且

基于比较结果，确定多种类型的传感器单元中用于观察体内环境的传感器单元。

附图标记列表

1、1A 医学观察系统

100 控制装置

110 通信单元

120 存储单元

130 控制单元

131 获取单元

132 比较单元

133 判断单元

134 确定单元

135 生成单元

136 识别单元

137 检测单元

138 通知单元

139 指示单元

140 通信控制单元。

Claims (20)

1.一种医学观察系统，包括：

多种类型的传感器单元，所述多种类型的传感器单元测量关于体内环境的信息；

获取单元，所述获取单元获取所述多种类型的传感器单元的各个传感器值；

比较单元，所述比较单元比较由所述获取单元获取的所述多种类型的传感器单元的所述各个传感器值；以及

确定单元，所述确定单元基于由所述比较单元获得的比较结果，确定所述多种类型的传感器单元中用于观察所述体内环境的传感器单元。

2.根据权利要求1所述的医学观察系统，包括生成单元，所述生成单元基于由所述确定单元确定的所述传感器单元获得的测量结果来生成所述体内环境的环境地图。

3.根据权利要求2所述的医学观察系统，包括判断单元，所述判断单元基于由所述比较单元获得的所述比较结果对所述多种类型的传感器单元中的每种类型的传感器单元的可靠性进行判断，

其中，所述确定单元基于由所述判断单元获得的判断结果，确定所述多种类型的传感器单元中要用于观察所述体内环境的所述传感器单元。

4.根据权利要求3所述的医学观察系统，

其中，所述确定单元基于由所述判断单元获得的所述判断结果，确定具有高可靠性的至少两种类型的传感器单元作为用于观察所述体内环境的所述传感器单元。

5.根据权利要求3所述的医学观察系统，

其中，所述判断单元基于为所述多种类型的传感器单元中的每种类型的传感器单元预先设置的优先级，对所述多种类型的传感器单元中的每种类型的传感器单元的所述可靠性进行判断。

6.根据权利要求3所述的医学观察系统，

其中，所述多种类型的传感器单元中的一种类型的传感器单元是对所述体内环境成像的图像传感器，

所述医学观察系统还包括识别单元，所述识别单元基于从所述图像传感器获取的视频图像来识别状态，并且

所述判断单元基于由所述识别单元获得的识别结果，对所述多种类型的传感器单元中的每种类型的传感器单元的所述可靠性进行判断。

7.根据权利要求3所述的医学观察系统，

其中，所述判断单元基于关于手术前的所述体内环境的地图信息，对所述多种类型的传感器单元中的每种类型的传感器单元的所述可靠性进行判断。

8.根据权利要求7所述的医学观察系统，

其中，所述判断单元基于关于手术前的所述体内环境的地图信息并基于所述环境地图，对所述多种类型的传感器单元中的每种类型的传感器单元的所述可靠性进行判断。

9.根据权利要求3所述的医学观察系统，

其中，所述多种类型的传感器单元中的一种类型的传感器单元是对所述体内环境成像的图像传感器，

所述医学观察系统还包括识别单元，所述识别单元基于从所述图像传感器获取的视频图像来识别状态，并且

所述判断单元基于预先为所述多种类型的传感器单元中的每种类型的传感器单元设置的优先级、由所述识别单元获得的识别结果、关于手术前的所述体内环境的地图信息、以及所述环境地图，对所述多种类型的传感器单元中的每种类型的传感器单元的所述可靠性进行判断。

10.根据权利要求3所述的医学观察系统，包括检测单元，所述检测单元基于由所述判断单元获得的判断结果来检测所述传感器单元的至少一部分的故障或可靠性的退化。

11.根据权利要求10所述的医学观察系统，

其中，所述检测单元检测整个医学观察系统的可靠性的退化。

12.根据权利要求11所述的医学观察系统，

其中，当所述检测单元已经检测到所述整个医学观察系统的可靠性的退化时，

所述生成单元基于在所述多种类型的传感器单元中具有相对高可靠性的所述传感器单元的测量结果来生成环境地图。

13.根据权利要求11所述的医学观察系统，包括通知单元，当所述检测单元已经检测到所述整个医学观察系统的可靠性的退化时，所述通知单元通知所述环境地图的可靠性的退化。

14.根据权利要求11所述的医学观察系统，包括指示单元，当所述检测单元已经检测到所述整个医学观察系统的可靠性的退化时，所述指示单元根据基于由所述多种类型的传感器单元中具有相对高可靠性的所述传感器单元获得的测量结果而生成的所述环境地图，给出自主驱动的主体的操作的指示。

15.根据权利要求14所述的医学观察系统，

其中，所述指示单元使所述主体执行危机避免操作。

16.根据权利要求6所述的医学观察系统，

其中，所述多种类型的传感器单元设置在内窥镜中，并且包括立体图像传感器和飞行时间(ToF)传感器，并且

所述判断单元基于由所述识别单元获得的识别结果来判断由于雾导致的所述ToF传感器的可靠性的退化。

17.根据权利要求16所述的医学观察系统，

其中，所述判断单元基于所述ToF传感器的值来检测所述内窥镜的镜筒的前端部上的污染。

18.根据权利要求1所述的医学观察系统，包括支撑臂装置，所述支撑臂装置具有臂单元，所述臂单元的至少一部分被配置为可弯曲的并且被配置为能够支撑医疗器械，

其中，所述多种类型的传感器单元由所述臂单元支撑。

19.一种控制装置，包括：

获取单元，所述获取单元获取测量关于体内环境的信息的多种类型的传感器单元的各个传感器值；

比较单元，所述比较单元比较由所述获取单元获取的所述多种类型的传感器单元的所述各个传感器值；以及

确定单元，所述确定单元基于由所述比较单元获得的比较结果，确定所述多种类型的传感器单元中用于观察所述体内环境的传感器单元。

20.一种控制方法，包括：

获取测量关于体内环境的信息的多种类型的传感器单元的各个传感器值；

比较所获取的所述多种类型的传感器单元的各个传感器值；并且

基于比较结果，确定所述多种类型的传感器单元中用于观察所述体内环境的传感器单元。

Images