CN116018538A - 内窥镜系统、控制装置、控制方法以及记录介质 - Google Patents

Abstract

内窥镜系统(10)具备内窥镜(2)、使内窥镜(2)移动的移动装置(3)、存储部以及具有处理器的控制装置(4)。存储部存储被检体内的第一区域的第一位置信息和第一旋转角信息、以及被检体内的第二区域的第二位置信息和第二旋转角信息。第一旋转角信息是规定第一区域的内窥镜图像的旋转角的信息，第二旋转角信息是规定第二区域的内窥镜图像的旋转角的信息。处理器根据第一位置信息、第二位置信息、第一旋转角信息、第二旋转角信息以及被检体内的第三区域的第三位置信息计算第三区域的第三旋转角信息，在当前的摄像区域包含于第三区域的情况下，根据第三旋转角信息使内窥镜图像旋转，将旋转后的内窥镜图像输出到显示装置。

Description

内窥镜系统、控制装置、控制方法以及记录介质

技术领域

本发明涉及内窥镜系统、控制装置、控制方法以及记录介质。

本申请基于在2020年9月10日在美国临时申请的美国专利临时申请第63/076,408号主张优先权，并在此引用其内容。

背景技术

以往，已知有通过控制电动的保持架来使保持于保持架的内窥镜移动的内窥镜系统(例如，参照专利文献1)。

专利文献1的内窥镜系统存储在手动模式下操作者使内窥镜移动期间的保持架各关节的旋转角度的时间序列变化，在自动恢复模式下，对各关节的旋转角度的时间序列变化进行逆再现。由此，内窥镜向与手动模式下的移动轨迹相反的方向移动，自动地恢复到初始的位置和姿态。

现有技术文献

专利文献

专利文献1：日本专利第6161687号公报

发明内容

发明所要解决的课题

在手术者一边观察显示于显示装置的内窥镜图像一边进行患部的手术时，显示装置上的内窥镜图像的上下方向是重要的。内窥镜图像的上下方向表示内窥镜图像内的被摄体的旋转角，在其他表述中也称为天地方向。根据内窥镜图像的上下方向，脏器的配置和组织的外观不同。因此，为了使手术者能够准确地识别显示装置上的内窥镜图像内的脏器和组织，优选为能够在显示装置上显示适当的上下方向的内窥镜图像。

但是，随着内窥镜在体内的移动，内窥镜图像的上下方向发生变化。此外，对于手术者而言优选的内窥镜图像的上下方向根据观察位置、手术内容而不同。专利文献1的内窥镜系统仅再现手动模式下的移动轨迹，不具有根据内窥镜的位置或观察位置来调整内窥镜图像的上下方向的功能。因此，为了调整内窥镜图像的上下方向，手术者需要暂时对操作中的处置器具放开手而中断处置，手动操作内窥镜来调整内窥镜的姿态。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够自动地调整内窥镜图像的上下方向的内窥镜系统、控制装置、控制方法以及记录介质。

用于解决课题的手段

本发明的一个方式是一种内窥镜系统，其具备：内窥镜，其插入到被检体内(患者体腔内)并取得该被检体内的内窥镜图像；移动装置，其保持该内窥镜并使该内窥镜移动；存储部；以及控制装置，其具有至少1个处理器，所述存储部存储所述被检体内的第一区域的第一位置信息和第一旋转角信息、以及所述被检体内的与所述第一区域不同的第二区域的第二位置信息和第二旋转角信息，所述第一旋转角信息是规定所述第一区域的所述内窥镜图像的旋转角的信息，所述第二旋转角信息是规定所述第二区域的所述内窥镜图像的旋转角的信息，所述至少1个处理器进行以下处理：根据所述第一位置信息、所述第一旋转角信息、所述第二位置信息、所述第二旋转角信息以及所述被检体内的第三区域的第三位置信息，计算所述第三区域的第三旋转角信息，所述第三区域是与所述第一区域和第二区域不同的区域，在由所述内窥镜当前拍摄的当前的摄像区域包含于所述第三区域的情况下，根据所述第三旋转角信息使所述内窥镜图像旋转，将旋转后的所述内窥镜图像输出到显示装置。

本发明的另一方式是一种控制装置，其对由内窥镜取得并显示于显示装置的内窥镜图像进行控制，其中，所述控制装置具有存储部和至少1个处理器，所述存储部存储被检体内的第一区域的第一位置信息和第一旋转角信息、以及所述被检体内的与所述第一区域不同的第二区域的第二位置信息和第二旋转角信息，所述第一旋转角信息是规定所述第一区域的所述内窥镜图像的旋转角的信息，所述第二旋转角信息是规定所述第二区域的所述内窥镜图像的旋转角的信息，所述至少1个处理器进行以下处理：根据所述第一位置信息、所述第一旋转角信息、所述第二位置信息、所述第二旋转角信息和所述被检体内的第三区域的第三位置信息计算所述第三区域的第三旋转角信息，所述第三区域是与所述第一区域和第二区域不同的区域，在由所述内窥镜当前拍摄的当前的摄像区域包含于所述第三区域的情况下，根据所述第三旋转角信息使所述内窥镜图像旋转，将旋转后的所述内窥镜图像输出到显示装置。

本发明的另一方式是一种控制方法，使用被检体内的第一区域的第一位置信息和第一旋转角信息、以及所述被检体内的与所述第一区域不同的第二区域的第二位置信息和第二旋转角信息来控制由内窥镜取得并显示于显示装置的内窥镜图像，其中，所述第一旋转角信息是规定所述第一区域的所述内窥镜图像的旋转角的信息，所述第二旋转角信息是规定所述第二区域的所述内窥镜图像的旋转角的信息，所述控制方法包括以下步骤：根据所述第一位置信息、所述第一旋转角信息、所述第二位置信息、所述第二旋转角信息以及所述被检体内的第三区域的第三位置信息来计算所述第三区域的第三旋转角信息，所述第三区域是与所述第一区域和第二区域不同的区域；在由所述内窥镜当前拍摄的当前的摄像区域包含于所述第三区域的情况下，根据所述第三旋转角信息使所述内窥镜图像旋转；以及将旋转后的所述内窥镜图像输出到显示装置。

本发明的其他方式是一种计算机可读取的非暂时性记录介质，其记录有用于使计算机执行上述控制方法的控制程序。

发明效果

根据本发明，起到能够根据被检体内的观察位置向操作者提供适当的上下方向的内窥镜图像的效果。

附图说明

图1A是表示内窥镜系统的整体结构的外观图。

图1B是说明插入腹腔内的内窥镜的移动的图。

图1C是表示机械臂的前端部和内窥镜的图。

图2是表示内窥镜系统的整体结构的框图。

图3A是表示第一实施方式的控制方法的时序图，是说明手动模式下的用户的操作和处理器的处理的图。

图3B是表示第一实施方式的控制方法的流程图，是说明自主模式下的处理器的处理的图。

图4A是说明决定第一位置信息和第一旋转角信息的步骤中的内窥镜的操作的图。

图4B是说明决定第二位置信息和第二旋转角信息的步骤中的内窥镜的操作的图。

图5A是表示O点处的内窥镜图像的图。

图5B是表示B点处的内窥镜图像的图。

图5C是表示通过旋转调整了上下方向的图5B的内窥镜图像的图。

图6A是表示A点处的内窥镜图像的图。

图6B是表示通过旋转调整了上下方向的图6A的内窥镜图像的图。

图7是表示在手动模式下存储于存储部的位置信息以及旋转角信息的图。

图8A是表示第二实施方式的控制方法的时序图，是说明手动模式下的用户的操作和处理器的处理的图。

图8B是表示第二实施方式的控制方法的流程图，是说明自主模式下的处理器的处理的图。

图9是表示第三实施方式的控制方法的流程图，是说明自主模式下的处理器的处理的图。

图10是表示第一变形例的斜视型内窥镜的图。

图11A是表示第一变形例的控制方法的时序图，是说明手动模式下的用户的操作和处理器的处理的图。

图11B是表示第一变形例的控制方法的流程图，是说明自主模式下的处理器的处理的图。

图12是表示第二变形例的具有弯曲部的内窥镜的图。

图13A是表示其他变形例的控制方法的时序图，是说明手动模式下的用户的操作和处理器的处理的图。

图13B是表示其他变形例的控制方法的流程图，是说明自主模式下的处理器的处理的图。

图14A是表示图1A的内窥镜系统的一个变形例的整体结构的外观图。

图14B是表示图1A的内窥镜系统的其他变形例的整体结构的外观图。

具体实施方式

(第一实施方式)

参照附图对本发明的第一实施方式的内窥镜系统、控制装置、控制方法以及记录介质进行说明。

如图1A所示，本实施方式的内窥镜系统10用于将内窥镜2和1个以上的处置器具6插入到作为被检体的患者X的体内，一边利用内窥镜2观察处置器具6一边利用处置器具6对处置部位进行处置的手术，例如用于腹腔镜手术。

如图1B所示，内窥镜2经由形成于体壁的孔H插入到被检体内、例如腹腔内。由此，内窥镜2相对于被检体固定，在作为枢轴点的孔H的位置处被体壁支承，能够绕通过枢轴点H的枢轴(第一枢轴)P1摆动。在图1A和图1B所示的腹腔镜手术中，枢轴P1在患者X的从腹侧朝向背侧的前后方向上延伸。通过内窥镜2绕枢轴P1的摆动，由内窥镜2拍摄的摄像区域能够在包含大动脉F的第一区域与包含骨盆G的第二区域之间移动。

内窥镜2和处置器具6也可以经由贯通于孔H的套管针内插入到被检体内。套管针是在两端开口的筒状的器具。在该情况下，内窥镜2在孔H的位置处被套管针支承。

如图1A以及图2所示，内窥镜系统10具备：内窥镜2；移动装置3，其保持内窥镜2并使内窥镜2在被检体内移动；内窥镜处理器4，其与内窥镜2连接并对由内窥镜2拍摄到的内窥镜图像E进行处理；控制装置1，其与移动装置3以及内窥镜处理器4连接并对移动装置3进行控制；以及显示装置5，其与内窥镜处理器4连接并显示内窥镜图像E。

内窥镜2是具有与内窥镜2的长度轴I同轴的视轴(光轴)C的直视型内窥镜，例如是硬性镜。内窥镜2具有摄像元件2a，对被检体X内、例如腹腔内进行拍摄，取得包含处置器具6的前端的内窥镜图像E(参照图5A至图6B)。摄像元件2a例如是设置于内窥镜2的前端部的三维照相机，拍摄立体图像作为内窥镜图像E。摄像元件2a是CCD(Charge Coupled Device：电荷耦合器件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器等图像传感器，通过光电转换将从规定区域接收到的光转换为电信号，由此生成规定区域的图像。作为内窥镜图像E的立体图像是通过内窥镜处理器4等对具有视差的2个图像进行图像处理而生成的。在该情况下，内窥镜2的前端部具有立体光学系统。

内窥镜图像E被从内窥镜2发送到内窥镜处理器4，在内窥镜处理器4中实施必要的处理，从内窥镜处理器4发送到显示装置5，显示在显示装置5的显示画面5a上。显示装置5是液晶显示器、有机EL显示器等任意的显示器。手术者一边观察显示于显示画面5a的内窥镜图像E一边对插入到体内的处置器具6进行操作。显示装置5也可以具备扬声器等声音装置。

除了显示装置5以外，还可以设置由用户使用并通过通信网络与控制装置1和内窥镜处理器4进行通信的终端，在终端上显示内窥镜图像E。终端没有特别限定，为笔记本型计算机、膝上型计算机、平板型计算机或智能手机等。

移动装置3具备保持内窥镜2并对内窥镜2的位置以及姿态进行三维控制的机械臂3a(包括电动内窥镜保持架)。移动装置3具有多个关节3b、3c，通过多个关节3b、3c的动作，能够以枢轴P1为支点使内窥镜2移动而三维地变更内窥镜2的位置和姿态。

如图1C所示，关节3c是使内窥镜2绕长度轴I旋转的旋转关节，例如设置于机械臂3a的前端部。通过关节3c的旋转，内窥镜2绕与长度轴I同轴的光轴C旋转，由此，内窥镜图像E内的被摄体的旋转角、即内窥镜图像E的上下方向发生变化。

移动装置3具备检测多个关节3b、3c各自的旋转角度的多个角度传感器3d。角度传感器3d例如是设置于各关节3b、3c的编码器、电位计或霍尔传感器等。

如图2所示，控制装置1具备中央运算处理装置那样的至少1个处理器11、存储器12、存储部13、输入接口14、输出接口15以及用户接口16。控制装置1例如可以是台式计算机、平板型计算机、膝上型计算机、智能手机或移动电话等。

处理器11可以是单处理器、多处理器或多核处理器。处理器11读出并执行存储于存储部13的程序。

存储器12例如是包含ROM(read-only memory：只读存储器)或RAM(Random AccessMemory：随机存取存储器)区域的半导体存储器。存储器12也可以与后述的存储部13同样地存储处理器11的处理所需的数据(即，也可以作为“存储部”进行动作)。

存储部13是计算机可读取的非暂时性记录介质，例如是包括硬盘或闪存等半导体存储器的非易失性记录介质。存储部13存储有包括追随控制程序(省略图示)以及图像控制程序(控制程序)1a的各种程序、以及处理器11的处理所需的数据。处理器11执行的后述的处理的一部分也可以通过FPGA(Field Programmable Gate Array：现场可编程门阵列)、SoC(System-on-a-Chip：片上系统)、ASIC(Application Specific Integrated Circuit：专用集成电路)、以及PLD(Programmable Logic Device：可编程逻辑器件)等专用的逻辑电路、硬件等来实现。

存储部13也可以是代替内置于控制装置1的记录介质而经由通信网络与具备通信接口的控制装置1连接的云服务器那样的服务器。通信网络例如可以是因特网等公共线路、专用线路、或者LAN(Local Area Network：局域网)。各种装置的连接可以是有线连接和无线连接中的任一种。

另外，处理内窥镜图像E的内窥镜处理器4也可以具备处理器11。即，也可以与控制装置1所包含的处理器11同样地，内窥镜处理器4具备处理器、专用的逻辑电路或者硬件，与处理器11同样地进行后述的处理。内窥镜处理器4和控制装置1也可以是一体的。也可以在内窥镜处理器4和控制装置1中分别设置1个以上的处理器。

控制装置1所具备的上述至少1个处理器11、存储器12、存储部13、输入接口14、输出接口15以及用户接口16中的任一个的结构也可以与内窥镜处理器4以及控制装置1分开，而进一步设置于用户所使用的终端。另外，控制装置1也可以与移动装置3为一体。

输入接口14和输出接口15连接到内窥镜处理器4。控制装置1能够从内窥镜2经由内窥镜处理器4取得内窥镜图像E，能够将内窥镜图像E经由内窥镜处理器4输出到显示装置5。也可以是，输入接口14与内窥镜2直接连接，输出接口15与显示装置5直接连接，使得控制装置1能够从内窥镜2直接取得内窥镜图像E，并将内窥镜图像E直接输出到显示装置5。

另外，输入接口14以及输出接口15与移动装置3连接。控制装置1从移动装置3取得由角度传感器3d检测出的关节3b、3c的旋转角度的信息，将用于驱动关节3b、3c的控制信号发送到移动装置3。

用户接口16具有用于供手术者等用户向用户接口16进行输入的按钮、鼠标、键盘以及触摸面板等输入设备，受理来自用户的输入。

另外，用户接口16具有用于供用户切换后述的手动模式和自主模式的单元，例如开关。

另外，用户接口16构成为能够受理用户的第一指示以及第二指示。第一指示以及第二指示是用于使控制装置1执行后述的位置信息以及旋转角信息的登记的指示。例如，用户接口16具有由操作者操作的按钮，通过按钮被第一次操作来受理第一指示，通过按钮被第二次操作来受理第二指示。

处理器11能够以手动模式以及自主模式中的任意模式进行动作。

手动模式是允许手术者等用户对内窥镜2的操作的模式。在手动模式下，手术者能够用手把持内窥镜2的基端部，手动地使内窥镜2移动。或者，手术者能够使用与移动装置3连接的操作装置对内窥镜2进行远程操作。操作装置能够包括按钮、操纵杆以及触摸面板等。

自主模式是根据映现在内窥镜图像E内的处置器具6的位置来控制移动装置3，从而使内窥镜2自动地追随处置器具6的模式。在自主模式下，处理器11根据内窥镜图像E取得处置器具6的前端的三维位置，根据处置器具6的前端的三维位置和在内窥镜2的视野内设定的规定的目标点的三维位置来控制移动装置3。目标点例如是与内窥镜图像E的中心点对应的光轴C上的点。由此，控制装置1控制内窥镜2的移动，使内窥镜2追随处置器具6，以使处置器具6的前端配置于内窥镜图像E内的中心点。

进而，在自主模式下，处理器11按照读入到存储器12的图像控制程序1a来执行图3A以及图3B所示的控制方法，由此控制显示于显示画面5a的内窥镜图像E的旋转角。

接着，对处理器11执行的控制方法进行说明。

如图3A和图3B所示，本实施方式的控制方法包括：步骤SB2，设定内窥镜2的初始位置；步骤SB3、SB4，决定被检体内的第一区域的第一位置信息和第一旋转角信息；步骤SB5、SB6，决定被检体内的第二区域的第二位置信息和第二旋转角信息；步骤SB7、SB8，计算被检体内的第三区域的第三位置信息和第三旋转角信息；步骤SB9，使存储部13存储位置信息和旋转角信息；步骤SC4～SC9，根据由内窥镜2当前拍摄的当前的摄像区域使内窥镜图像E旋转；以及步骤SC10，将旋转后的内窥镜图像E输出到显示装置5。

如图3A所示，步骤SB2～SB9在手动模式下执行，如图3B所示，步骤SC3～SC10在自主模式下执行。

手术者等用户在将保持于移动装置3的内窥镜2插入腹腔内之后，切换为手动模式(SA1、SB1)，通过使内窥镜2在腹腔内移动而开始环视(SA3)。环视是观察腹腔内的整体来确认脏器以及组织的位置等的作业。由于每个患者的脏器以及组织的位置不同，所以每次插入都需要该作业。在环视中，手术者通过使内窥镜2绕枢轴P1旋转，从而利用内窥镜2观察包含具有解剖学特征的至少2个特定组织在内的范围。在本实施方式中，特定组织是大动脉F和骨盆G。

如图3A所示，在环视之前，手术者将内窥镜2的初始位置登记于控制装置1(SA2)。例如，手术者将内窥镜2配置在期望的初始位置，操作用户接口16的规定的按钮。处理器11响应于规定的按钮被操作这一情况，计算内窥镜2的当前的位置φ，将当前的位置φ设为初始位置φ＝0°而存储于存储部13(SB2)。位置φ是内窥镜2绕枢轴P1的周向的位置，根据由角度传感器3d检测的关节3b、3c的旋转角度来计算。位置φ表示摄像区域绕枢轴P1的周向的位置。

接着，如图4A和图5A所示，手术者将内窥镜2配置在从正面拍摄大动脉F的位置(O点)，调整内窥镜2绕光轴C的旋转角ω，以使大动脉F配置在内窥镜图像E内的期望的旋转角处(SA4)。这里的大动脉F的旋转角是绕内窥镜图像E的中心点的周向的位置。在本实施方式中，如图5A所示，调整旋转角ω，以使大动脉F水平地配置在内窥镜图像E内。接下来，手术者向用户接口16输入第一指示(SA5)。

在第一指示的输入后，手术者一边维持在O点处调整后的旋转角ω一边使内窥镜2从O点绕枢轴P1旋转，由此利用内窥镜2观察大动脉F的整体。如图5A和图5B所示，随着内窥镜2从O点朝向B点旋转，大动脉F在内窥镜图像E内旋转移动。B点是在内窥镜图像E内观察到大动脉F的范围的端点。

响应于用户接口16受理了第一指示这一情况，处理器11根据内窥镜图像E决定包含大动脉(第一特定组织)F的第一区域的第一位置信息和第一旋转角信息(SB3、SB4)。第一旋转角信息是规定第一区域的内窥镜图像E的旋转角的信息。

具体而言，在存储部13中存储有对包含特定组织的图像与特定组织的种类之间的对应关系进行机器学习而得到的学习完毕模型1b。在步骤SB3中，处理器11使用学习完毕模型1b来识别内窥镜图像E内的大动脉F，将大动脉F包含于内窥镜图像E内的内窥镜2的位置φ的范围决定为第一位置信息。即，第一区域是O点与B点之间的区域。

例如，第一位置信息为φ＝0°～20°。这样，代替步骤SA2、SB2的初始位置的设定，处理器11也可以将受理第一指示的时刻的内窥镜2的位置φ设定为初始位置φ＝0°。即，在用户所希望的时机以及部位决定初始位置。

并且，处理器11也可以不经过学习完毕模型1b的处理，而将受理第一指示的时刻的内窥镜2的位置φ设定为第一位置信息。即，在用户所期望的时机和部位决定第一位置信息。

接着，在步骤SB4中，处理器11将用户接口16受理第一指示的时刻的内窥镜图像E和内窥镜2的旋转角ω分别设定为第一基准内窥镜图像和第一基准旋转角，根据第一基准内窥镜图像和第一基准旋转角来决定第一旋转角信息。

具体而言，处理器11计算相对于规定的初始旋转角ω＝0°的第一基准旋转角，作为受理第一指示的时刻的位置φ处的内窥镜图像E的目标旋转角θt。计算出的目标旋转角θt表示在受理第一指示的时刻的位置φ处将大动脉F水平地配置在内窥镜图像E内所需的内窥镜图像E的旋转量。在本实施方式中，将第一基准旋转角ω设定为初始旋转角0°。

接着，处理器11针对在第一位置信息所包含的其他位置φ处取得的内窥镜图像E，计算为了使内窥镜图像E内的大动脉F与第一基准内窥镜图像内的大动脉F一致而需要的内窥镜图像E的旋转量Δθ。接下来，处理器11通过将旋转量Δθ与第一基准旋转角相加，来计算其他位置φ处的目标旋转角θt。计算出的目标旋转角θt表示在其他位置φ将大动脉F水平地配置在内窥镜图像E内所需的内窥镜图像E的旋转量。图5C表示旋转了B点处的目标角度θt后的图5B的内窥镜图像E。

如以上那样，处理器11计算用于在第一位置信息所包含的各位置φ＝0°、…、20°将大动脉F水平地配置的内窥镜图像E的目标旋转角θt，将各位置φ＝0°、…、20°处的目标旋转角θt决定为第一旋转角信息。在图7中，作为第一旋转角信息，仅代表性地记载了φ＝0°、20°处的目标旋转角θt＝0°、-10°。

接着，如图4B所示，手术者在拍摄骨盆G的位置(D点)配置内窥镜2。在以初始旋转角ω＝0°观察骨盆G的情况下，如图6A所示，骨盆G能够在内窥镜图像E内配置于不适当的位置。手术者调整内窥镜2绕光轴C的旋转角ω，以使骨盆G配置于内窥镜图像E内的期望的旋转角处(SA6)，向用户接口16输入第二指示(SA7)。在本实施方式中，如图6B所示，调整旋转角ω，以使骨盆G在内窥镜图像E内配置于上方。

在输入第二指示后，手术者一边维持在D点调整后的旋转角ω一边使内窥镜2从D点绕枢轴P1旋转，由此利用内窥镜2观察骨盆G的整体。此时，随着内窥镜2从D点朝向A点旋转，骨盆G也在内窥镜图像E内旋转移动。A点是在内窥镜图像E内观察到骨盆G的范围的端点。

响应于用户接口16受理了第二指示这一情况，处理器11根据内窥镜图像E决定包含骨盆(第二特定组织)G的第二区域的第二位置信息和第二旋转角信息(SB5、SB6)。第二旋转角信息是规定第二区域的内窥镜图像E的旋转角的信息。

具体而言，在步骤SB5中，处理器11使用学习完毕模型1b来识别内窥镜图像E内的骨盆G，将骨盆G包含于内窥镜图像E内的内窥镜2的位置φ的范围决定为第二位置信息。即，第二区域是D点与A点之间的区域。例如，第二位置信息为φ＝70°～90°。

另外，关于第二位置信息，处理器11也可以不经过学习完毕模型1b的处理，而将受理第二指示的时刻的内窥镜2的位置φ设定为第二位置信息。即，在用户所期望的时机和部位决定第二位置信息。

接着，在步骤SB6中，处理器11将用户接口16受理第二指示的时刻的内窥镜图像E和内窥镜2的旋转角ω分别设定为第二基准内窥镜图像和第二基准旋转角，根据第二基准内窥镜图像和第二基准旋转角来决定第二旋转角信息。

具体而言，处理器11计算相对于初始旋转角ω＝0°的第二基准旋转角，作为受理第二指示的时刻的位置φ处的内窥镜图像E的目标旋转角θt。计算出的目标旋转角θt表示在受理第二指示的时刻的位置φ处将骨盆G在内窥镜图像E内配置于上方所需的内窥镜图像E的旋转量。

接着，处理器11针对在第二位置信息所包含的其他位置φ处取得的内窥镜图像E，计算为了使内窥镜图像E内的骨盆G与第二基准内窥镜图像内的骨盆G一致所需的内窥镜图像E的旋转量Δθ。接下来，处理器11通过将旋转量Δθ与第二基准旋转角相加，来计算其他位置φ处的目标旋转角θt。计算出的目标旋转角θt表示在其他位置φ处将骨盆G在内窥镜图像E内配置于上方所需的内窥镜图像E的旋转量。

如以上那样，处理器11计算用于在第二位置信息所包含的各位置φ＝70°、…、90°处将骨盆G配置于上方的内窥镜图像E的目标旋转角θt，将各位置φ＝70°、…、90°处的目标旋转角θt决定为第二旋转角信息。在图7中，作为第二旋转角信息，仅代表性地记载了φ＝70°、90°处的目标旋转角θt＝100°、90°。

接下来，处理器11基于第一位置信息、第一旋转角信息、第二位置信息以及第二旋转角信息来计算第三区域的第三位置信息以及第三旋转角信息(SB7、SB8)。第三区域是与第一区域以及第二区域不同的区域，在本实施方式中是A点与B点之间的区域。

在步骤SB7中，处理器11将第一位置信息与第二位置信息之间的位置φ的范围决定为第三位置信息。例如，第三位置信息为φ＝20°～70°。

接着，在步骤SB8中，处理器11基于第一位置信息、第二位置信息、第三位置信息以及第一旋转角信息、第二旋转角信息来计算第三旋转角信息。第三旋转角信息是规定第三区域的内窥镜图像E的旋转角的信息。

具体而言，处理器11计算第三位置信息与第一以及第二位置信息之间的位置关系，基于位置关系、第一旋转角信息以及第二旋转角信息来计算第三旋转角信息。

作为一例，认为第三位置信息的各位置φ(M点)是将A点与B点之间的轨迹内分为m：n的内分点。处理器11基于比m：n、A点的旋转角100°以及B点的旋转角-10°，计算各位置φ处的目标旋转角θt。例如，位置φ＝45°将A点与B点之间的轨迹内分为1：1，因此位置φ＝45°处的目标旋转角θt为-10°与100°之间的中央值即45°。

由此，计算出随着位置φ从B点朝向A点变化而从100°朝向-10°逐渐变化的目标旋转角θt。

处理器11将各位置φ＝20°、…、70°处的目标旋转角θt决定为第三旋转角信息。在图7中，作为第三旋转角信息，仅代表性地记载了φ＝45°处的目标旋转角θt＝45°。

即，第三区域是如第一区域和第二区域中的骨盆G、大动脉F那样，成为内窥镜图像E的旋转角的参量的特定组织不会映现在内窥镜图像内的区域。在这样的区域中，由学习完毕模型1b进行的特定组织的识别以及由用户进行的所希望的旋转角的决定是困难的。因此，需要基于第一区域和第二区域的第一位置信息和第二位置信息以及第一旋转角信息和第二旋转角信息来计算第三位置信息和第三旋转角信息。

接着，在步骤SB9中，处理器11将在步骤SB3～SB8中决定的第一位置信息、第一旋转角信息、第二位置信息、第二旋转角信息、第三位置信息以及第三旋转角信息存储于存储部13。由此，如图7所示，在存储部13中生成如下数据，该数据包含表示摄像区域的位置的内窥镜2的旋转角度φ和各旋转角度φ处的内窥镜图像E的目标旋转角θt。

在环视结束后，手术者从手动模式切换到自主模式，通过处置器具6处置大动脉F和骨盆G。如图3B所示，当手术者切换为自主模式时(SC2)，处理器11通过使旋转关节3c旋转而使内窥镜2的旋转角ω与初始旋转角0°一致，一边将旋转角ω维持为0°，一边通过控制移动装置3而使内窥镜2追随处置器具6的前端(SC3)。并且，处理器11与内窥镜2的追随并行地控制显示于显示画面5a的内窥镜图像E的上下方向(SC4～SC10)。

处理器11在装置1、3的启动中，从移动装置3依次接收关节3b、3c的旋转角度，根据关节3b、3c的旋转角度计算内窥镜2的当前位置φ(SC1)。

处理器11根据内窥镜2的当前位置、第一位置信息和第二位置信息，判定当前的摄像区域包含在第一区域、第二区域和第三区域中的哪一个区域中(SC4、SC6、SC8)。

具体而言，在当前位置φ包含于第一位置信息(φ＝0°～20°)的情况下，处理器11判定为当前的摄像区域包含于第一区域(SC4的“是”)。接着，处理器11根据存储于存储部13的第一旋转角信息，使内窥镜图像E在该内窥镜图像E的平面内旋转(SC5)。具体而言，处理器11从存储部13读出当前位置φ的目标旋转角θt，通过图像处理使内窥镜图像E旋转目标旋转角θt。接着，处理器11将旋转后的内窥镜图像E从控制装置1输出到显示装置5并显示于显示画面5a(SC10)。

在旋转后的内窥镜图像E中，大动脉F水平地配置。因此，在内窥镜2在φ＝0°～20°的范围内移动而取得包含大动脉F的内窥镜图像E的期间，显示于显示画面5a的内窥镜图像E内的大动脉F被维持为水平。例如，在内窥镜2从O点到B点绕枢轴P1摆动了20°的情况下，内窥镜图像E从0°旋转到-10°。

在当前位置φ包含于第二位置信息(φ＝70°～90°)的情况下，处理器11判定为当前的摄像区域包含于第二区域(SC4的“否”且SC6的“是”)。接着，处理器11根据存储于存储部13的第二旋转角信息，使内窥镜图像E在该内窥镜图像E的平面内旋转(SC7)。具体而言，处理器11从存储部13读出当前位置φ的目标旋转角θt，通过图像处理使内窥镜图像E旋转目标旋转角θt。接着，处理器11将旋转后的内窥镜图像E从控制装置1输出到显示装置5并显示于显示画面5a(SC10)。

在旋转后的内窥镜图像E中，骨盆G配置于上方。因此，在内窥镜2在φ＝70°～90°的范围内移动而取得包含骨盆G的内窥镜图像E的期间，显示于显示画面5a的内窥镜图像E内的骨盆G维持在上方。例如，在内窥镜2从A点到D点绕枢轴P1摆动了20°的情况下，内窥镜图像E从100°旋转到90°。

在当前位置φ不包含于第一位置信息和第二位置信息中的任意一个的情况下(SC4的“否”且SC6的“否”)，处理器11判定为当前的摄像区域包含于第三区域(SC8)。接着，处理器11根据存储于存储部13的第三旋转角信息，使内窥镜图像E在该内窥镜图像E的平面内旋转(SC9)。具体而言，处理器11从存储部13读出当前位置φ的旋转角，通过图像处理使内窥镜图像E旋转旋转角。接着，处理器11将旋转后的内窥镜图像E从控制装置1输出到显示装置5并显示于显示画面5a(SC10)。

显示于显示画面5a的内窥镜图像E旋转了与位置φ对应的目标旋转角θt，随着位置φ从第一区域侧向第二区域侧变化，目标旋转角θt从第一区域的目标旋转角朝向第二区域的目标旋转角逐渐变化。因此，例如，在内窥镜2绕枢轴P1从B点摆动到A点的情况下，显示于显示画面5a的内窥镜图像E从-10°向一个方向旋转到100°。

如以上说明的那样，根据本实施方式，包含特定组织F的第一区域的第一位置信息和第一旋转角信息被存储于存储部13，该第一旋转角信息规定用于将特定组织F配置于手术者期望的旋转角的内窥镜图像E的目标旋转角θt。另外，包含特定组织G的第二区域的第二位置信息和第二旋转角信息被存储于存储部13，该第二旋转角信息规定用于将特定组织G配置于手术者期望的旋转角的内窥镜图像E的目标旋转角θt。并且，作为第一区域与第二区域之间的第三区域的第三旋转角信息，插补在第一旋转角信息的目标旋转角θt与第二旋转角信息的目标旋转角θt之间逐渐变化的目标旋转角θt，并存储于存储部13。

之后，在自主模式下，通过使内窥镜图像E旋转与当前的摄像区域的位置φ对应的目标旋转角θt，从而自动地调整内窥镜图像E的上下方向。具体而言，在当前的摄像区域是包含特定组织F、G的第一区域或第二区域时，使内窥镜图像E自动地旋转以规定的旋转角配置特定组织F、G的目标旋转角θt。在当前的摄像区域是不包含特定组织F、G的第三区域时，使内窥镜图像E自动地旋转根据第一旋转角信息和第二旋转角信息估计出的适当的目标旋转角θt。

这样，能够向操作者提供与腹腔内当前的摄像区域的位置对应的适当的上下方向的内窥镜图像E。

另外，通过自动地调整内窥镜图像E的上下方向，能够减轻手术者的压力，并且能够缩短处置时间。即，在手术者自己调整内窥镜图像E的上下方向的情况下，手术者必须暂时对操作中的处置器具6放开手，手动地使内窥镜2旋转。根据本实施方式，手术者不需要为了上下方向的调整而操作内窥镜2，因此手术者能够不中断处置而继续进行。

(第二实施方式)

接着，参照附图对本发明的第二实施方式的内窥镜系统、控制装置、控制方法以及记录介质进行说明。

本实施方式在处理器11代替图像处理而通过内窥镜2的旋转来使内窥镜图像E旋转这一点上与第一实施方式不同。在本实施方式中，对与第一实施方式不同的结构进行说明，对与第一实施方式相同的结构标注相同的附图标记并省略说明。

本实施方式的内窥镜系统10与第一实施方式同样地具备控制装置1、内窥镜2、移动装置3、内窥镜处理器4以及显示装置5。

图8A以及图8B表示在本实施方式中处理器11执行的控制方法。

如图8A和图8B所示，本实施方式的控制方法包括：步骤SB2，决定内窥镜2的初始位置；步骤SB3、SB4’，决定被检体内的第一区域的第一位置信息和第一旋转角信息；步骤SB5、SB6’，决定被检体内的第二区域的第二位置信息和第二旋转角信息；步骤SB7、SB8’，计算被检体内的第三区域的第三位置信息和第三旋转角信息；步骤SB9，使存储部13存储位置信息和旋转角信息；步骤SC4～SC9’，根据由内窥镜2当前拍摄的当前的摄像区域使内窥镜图像E旋转；以及步骤SC10，将旋转后的内窥镜图像E输出到显示装置5。

如图8A所示，步骤SB2～SB9在手动模式下执行，如图8B所示，步骤SC4～SC10在自主模式下执行。

与第一实施方式同样，用户进行步骤SA1～SA5。响应于用户接口16受理了第一指示这一情况，处理器11根据内窥镜图像E决定第一区域的第一位置信息和第一旋转角信息(SB3、SB4’)。

具体而言，在步骤SB3的下一个步骤SB4’中，处理器11将用户接口16受理第一指示的时刻的内窥镜图像E和内窥镜2的旋转角ω分别设定为第一基准内窥镜图像和第一基准旋转角。

接着，处理器11计算相对于规定的初始旋转角ω＝0°的第一基准旋转角，作为受理第一指示的时刻的位置φ处的内窥镜2的目标旋转角ωt。

接着，处理器11针对在第一位置信息所包含的其他位置φ处取得的内窥镜图像E，计算为了使内窥镜图像E内的大动脉F与第一基准内窥镜图像内的大动脉F一致而需要的内窥镜图像E的旋转量Δθ。接着，处理器11通过将旋转量Δθ与第一基准旋转角相加，计算其他位置φ处的内窥镜2的目标旋转角ωt。

如以上那样，处理器11计算用于在第一位置信息所包含的各位置φ＝0°、…、20°将大动脉F水平地配置的内窥镜2的目标旋转角ωt，将各位置φ＝0°、…、20°处的目标旋转角ωt决定为第一旋转角信息。

接着，用户进行步骤SA6、SA7。响应于用户接口16受理了第二指示这一情况，处理器11根据内窥镜图像E决定第二区域的第二位置信息和第二旋转角信息(SB5、SB6’)。

具体而言，在步骤SB5的下一个步骤SB6’中，处理器11将用户接口16受理第二指示的时刻的内窥镜图像E和内窥镜2的旋转角ω分别设定为第二基准内窥镜图像和第二基准旋转角。

接着，处理器11计算相对于初始旋转角ω＝0°的第二基准旋转角，作为受理第二指示的时刻的位置φ处的内窥镜2的目标旋转角ωt。

接着，处理器11针对在第二位置信息所包含的其他位置φ处取得的内窥镜图像E，计算为了使内窥镜图像E内的骨盆G与第二基准内窥镜图像内的大动脉G一致而需要的内窥镜图像E的旋转量Δθ。接着，处理器11通过将旋转量Δθ与第二基准旋转角相加，计算其他位置φ处的内窥镜2的目标旋转角ωt。

如以上那样，处理器11计算用于在第二位置信息所包含的各位置φ＝70°、…、90°处将骨盆G配置于上方的内窥镜2的目标旋转角ωt，将各位置φ＝70°、…、90°处的目标旋转角ωt决定为第二旋转角信息。

接下来，处理器11基于第一位置信息、第一旋转角信息、第二位置信息以及第二旋转角信息来计算第三区域的第三位置信息以及第三旋转角信息(SB7、SB8’)。具体而言，在步骤SB7的下一个步骤SB8’中，处理器11与步骤SB8’同样地，将第三位置信息的各位置φ＝20°、…、70°处的目标旋转角ωt决定为第三旋转角信息。

接着，在步骤SB9中，处理器11使存储部13存储在步骤SB3、SB4’、SB5、SB6’、SB7、SB8’中决定的位置信息和旋转角信息。由此，在存储部13中生成如下数据，该数据包含表示摄像区域的位置的内窥镜2的旋转角度φ和各旋转角度φ处的内窥镜2的目标旋转角ωt。

接着，如图8B所示，处理器11计算内窥镜2的当前位置φ(SC1)。当切换为自主模式时(SC2的“是”)，处理器11判定当前的摄像区域包含于第一区域、第二区域以及第三区域中的哪一个(SC4、SC6、SC8)。

在判定为当前的摄像区域包含于第一区域的情况下(SC4的“是”)，处理器11根据存储于存储部13的第一旋转角信息使内窥镜2旋转(SC5’)。具体而言，处理器11从存储部13读出当前位置φ的目标旋转角ωt，通过使内窥镜2旋转至目标旋转角ωt来使内窥镜图像E旋转。

在判定为当前的摄像区域包含于第二区域的情况下(SC4的“否”且SC6的“是”)，处理器11根据存储于存储部13的第二旋转角信息使内窥镜2旋转(SC7’)。具体而言，处理器11从存储部13读出当前位置φ的目标旋转角ωt，通过使内窥镜2旋转目标旋转角ωt来使内窥镜图像E旋转。

在判定为当前的摄像区域包含于第三区域的情况下(SC7)，处理器11根据存储于存储部13的第三旋转角信息使内窥镜2旋转(SC8’)。具体而言，处理器11从存储部13读出当前位置φ的目标旋转角ωt，通过使内窥镜2旋转目标旋转角ωt来使内窥镜图像E旋转。

在步骤SC5’、SC7’或SC9’之后，处理器11将旋转后的内窥镜图像E从控制装置1输出到显示装置5并显示于显示画面5a(SC10)。

如以上说明的那样，根据本实施方式，与第一实施方式同样地，在自主模式下，通过使内窥镜2旋转至与当前的摄像区域的位置φ对应的目标旋转角ωt，从而自动地调整内窥镜图像E的上下方向。具体而言，在当前的摄像区域是包含特定组织F、G的第一区域或第二区域时，使内窥镜2自动地旋转到使特定组织F、G以规定的旋转角配置的目标旋转角ωt。在当前的摄像区域是不包含特定组织F、G的第三区域时，使内窥镜2自动地旋转到根据第一旋转角信息和第二旋转角信息估计出的适当的目标旋转角ωt。

这样，能够向操作者提供与腹腔内当前的摄像区域的位置对应的适当的上下方向的内窥镜图像E。另外，通过自动地调整内窥镜图像E的上下方向，能够减轻手术者的压力，并且能够缩短处置时间。

并且，根据本实施方式，通过内窥镜2绕光轴C的旋转使内窥镜图像E旋转，由此能够消除用于使内窥镜图像E旋转的图像处理，能够减少处理器11的负荷。另外，用户通过目视确认内窥镜2的配置于体外的部分的旋转角ω，能够在感觉上识别内窥镜图像E的上下方向。

在本实施方式中，通过内窥镜2整体绕光轴C的旋转来使内窥镜图像E旋转，但也可以取而代之，一边维持内窥镜2绕光轴C的旋转角ω一边使摄像元件2a绕光轴C旋转。在该情况下，用于使摄像元件2a旋转的旋转机构设置于内窥镜2。

通过摄像元件2a相对于内窥镜2的主体的旋转，也能够与使内窥镜2整体旋转时同样地使内窥镜图像E旋转。

(第三实施方式)

接着，参照附图对本发明的第三实施方式的内窥镜系统、控制装置、控制方法以及记录介质进行说明。

本实施方式在通过内窥镜2绕光轴C的旋转和图像处理的组合来使内窥镜图像E旋转这一点上与第一及第二实施方式不同。在本实施方式中，对与第一及第二实施方式不同的结构进行说明，对与第一及第二实施方式相同的结构标注相同的附图标记并省略说明。

本实施方式的内窥镜系统10与第一实施方式同样地具备控制装置1、内窥镜2、移动装置3、内窥镜处理器4以及显示装置5。

图9表示在本实施方式中处理器11以自主模式执行的控制方法。本实施方式的控制方法除了在第二实施方式中说明的步骤SB2、SB3、SB4’、SB5、SB6’、SB7、SB8’、SB9、SC1～SC4、SC5’、SC6、SC7’、SC8、SC9’以外，还包括判断内窥镜2的旋转角ω是否为规定的极限角的步骤SC11和通过图像处理使内窥镜图像E旋转的步骤SC12。

在步骤SB9之后，如图9所示，处理器11计算内窥镜2的当前位置φ(SC1)。当切换为自主模式时(SC2的“是”)，处理器11执行步骤SC1～SC4、SC5’、SC6、SC7’、SC8、SC9’。

在步骤SC5’、SC7’、SC9’中，处理器11根据由角度传感器3d检测出的旋转关节3c的旋转角度，判断内窥镜2的旋转角ω是否达到内窥镜2的可旋转范围的极限角(SC11)。内窥镜2能够旋转的可旋转范围有时被物理上的制约等限制。例如，在内窥镜2和移动装置3的内部的线缆中，由于内窥镜2的旋转而产生扭转，因此以不产生过度的扭转的方式设定内窥镜2的可旋转范围。

在旋转角ω未达到极限角而内窥镜2旋转至目标旋转角ωt的情况下(SC11的“否”)，处理器11将旋转后的内窥镜图像E输出至显示装置5(SC10)。

另一方面，在旋转角ω达到目标旋转角ωt之前达到极限角的情况下(SC11的“是”)，处理器11使内窥镜2的旋转在极限角停止，接着，通过图像处理使内窥镜图像E旋转相对于目标旋转角ωt不足的旋转角(SC12)，将旋转后的内窥镜图像E输出至显示装置5(SC10)。

如以上说明的那样，根据本实施方式，通过组合内窥镜2绕光轴C的旋转和图像处理，能够实现仅通过内窥镜2的旋转难以达成的内窥镜图像E的旋转。

本实施方式的其他效果与第一及第二实施方式相同，因此省略说明。

(第一变形例)

接着，对第一至第三实施方式的内窥镜系统10、控制装置1、控制方法以及记录介质的第一变形例进行说明。

如图10所示，本变形例在内窥镜2为斜视型这一点上与上述的第一至第三实施方式不同。

斜视型内窥镜2具有：长条的插入部2b，其具有长度轴I并插入到被检体内；以及摄像部2c，其包含摄像元件2a并与插入部2b的基端连接。通过旋转关节3c的旋转，插入部2b和摄像部2c绕长度轴I一体地旋转。另外，在分离型的斜视型镜的情况下，摄像头(摄像部2c)和光学观察管(插入部2b)具有不同的旋转角信息，但在本变形例中，通过使摄像头和光学观察管一体地旋转，作为共同的旋转角信息进行处理。

在直视型的内窥镜2的情况下，视轴(光轴)C与长度轴I同轴，因此即使内窥镜2绕长度轴I旋转，也能够维持视轴C的位置。另一方面，在斜视型的内窥镜2的情况下，视轴C相对于长度轴I倾斜，因此随着内窥镜2绕长度轴I的旋转，视轴C绕长度轴I旋转移动，摄像区域移动。

图11A以及图11B表示在本变形例中处理器11执行的控制方法。如图11A和图11B所示，本变形例的控制方法包括步骤SB2’、SB3～SB9和步骤SC3’、SC4～SC10。

在步骤SB2’中，处理器11将内窥镜2的当前位置φ设定为初始位置φ＝0°，将内窥镜2的当前姿态ω设定为初始姿态ω＝0°。内窥镜2的姿态ω是绕长度轴I的旋转角，相当于视轴C相对于长度轴I的姿态。

接着，响应于用户接口16受理了第一指示这一情况(SA5)，处理器11决定第一位置信息和第一旋转角信息(SB3、SB4)，进而，保持受理第一指示的时刻的内窥镜2的第一姿态的信息。

接着，响应于用户接口16受理了第二指示这一情况(SA7)，处理器11决定第二位置信息和第二旋转角信息(SB5、SB6)，进而，保持受理第二指示的时刻的内窥镜2的第二姿态的信息。

在步骤SB9中，处理器11除了位置信息以及旋转角信息之外，还将第一姿态以及第二姿态存储于存储部13。由此，在存储部13中生成如下数据，该数据包含表示摄像区域的位置的内窥镜2的旋转角度φ、各旋转角度φ处的内窥镜图像E的目标旋转角θt、以及与各摄像区域对应的内窥镜2的第一姿态和第二姿态。

接着，在自主模式下，处理器11通过控制移动装置3来控制内窥镜2的位置和姿态，使内窥镜2追随处置器具6的前端(SC3’)。在此，处理器11根据存储于存储部13的第一位置信息和第二位置信息以及第一姿态和第二姿态来控制内窥镜2的位置和姿态，由此在摄像区域包含于第一区域时将内窥镜2的姿态ω控制为第一姿态，在摄像区域包含于第二区域时将内窥镜2的姿态ω控制为第二姿态。

然后，与第一实施方式同样地，处理器11根据当前的摄像区域通过图像处理使内窥镜图像E旋转目标旋转角θt(SC4～SC9)。

如上所述，在斜视型内窥镜2的情况下，通过内窥镜2绕长度轴I的旋转，摄像区域移动。因此，仅通过利用内窥镜2的旋转使内窥镜图像E旋转的第二实施方式的控制方法，难以控制内窥镜图像E的上下方向。

根据本变形例，在手动模式下，存储拍摄第一区域时的内窥镜2的第一姿态和拍摄第二区域时的内窥镜2的第二姿态。并且，在自主模式下，在第一区域的拍摄时，内窥镜2的姿态被控制为第一姿态，并且通过基于图像处理的旋转来调整内窥镜图像E的上下方向。另外，在自主模式下，在第二区域的拍摄时，内窥镜2的姿态被控制为第二姿态，并且通过基于图像处理的旋转来调整内窥镜图像E的上下方向。由此，能够适当地控制由斜视型内窥镜2取得的内窥镜图像E的上下方向。

(第二变形例)

接着，对第一至第三实施方式的内窥镜系统10、控制装置1、控制方法以及记录介质13的第二变形例进行说明。

如图12所示，本变形例在内窥镜2具有弯曲部2d这一点上与上述的第一至第三实施方式不同。

内窥镜2具有：长条的插入部2b，其插入到被检体内；以及弯曲部2d，其设置于插入部2b的前端部，能够在与插入部2b的长度轴I交叉的方向上弯曲。在弯曲部2d弯曲的情况下，视轴C相对于长度轴I倾斜，因此，视轴C随着内窥镜2绕长度轴I的旋转而绕长度轴I旋转移动，摄像区域移动。并且，视轴C相对于长度轴I的倾斜方向和倾斜角度根据弯曲部2d的弯曲方向和弯曲角度而不同。

在本变形例中，处理器11执行的控制方法与第一变形例同样，包括步骤SB2’、SB3～SB9和步骤SC3’、SC4～SC10。但是，作为内窥镜2的姿态，使用弯曲部2d的旋转方向和旋转角度来代替绕长度轴I的旋转角ω。

即，在步骤SB2’中，处理器11将弯曲部2d的当前的弯曲方向和弯曲角度设定为初始姿态。然后，在步骤SB9中，处理器11将受理第一指示的时刻的弯曲部2d的弯曲方向和弯曲角度作为第一姿态存储于存储部13，将受理第二指示的时刻的弯曲部2d的弯曲方向和弯曲角度作为第二姿态存储于存储部13。

并且，在自主模式的步骤SC3’中，处理器11根据存储于存储部13的第一位置信息和第二位置信息以及第一姿态和第二姿态来控制内窥镜2的位置和姿态，由此，在摄像区域包含于第一区域时，将弯曲部2d的弯曲方向和弯曲角度控制为第一姿态，在摄像区域包含于第二区域时，将弯曲部2d的弯曲方向和弯曲角度控制为第二姿态(SC3’)。

如上所述，在具有弯曲部2d的内窥镜2的情况下，根据弯曲部2d的弯曲方向和弯曲角度，摄像区域通过内窥镜2的旋转而旋转移动。因此，难以通过利用内窥镜2的旋转使内窥镜图像E旋转的第二实施方式的控制方法来控制内窥镜图像E的上下方向。

根据本变形例，与第一变形例同样地，在自主模式下，在第一区域的拍摄时，内窥镜2的姿态被控制为在手动模式下存储的第一姿态，并且内窥镜图像E的上下方向通过基于图像处理的旋转而被调整。另外，在自主模式下，在第二区域的拍摄时，内窥镜2的姿态被控制为在手动模式下存储的第二姿态，并且内窥镜图像E的上下方向通过基于图像处理的旋转而被调整。由此，能够适当地控制由具有弯曲部2d的内窥镜2取得的内窥镜图像E的上下方向。

在上述各实施方式以及各变形例中，处理器11在手动模式下计算第三旋转角信息并存储于存储部13，但也可以取而代之，如图13A以及图13B所示，处理器11在自主模式的执行中实时地计算第三旋转角信息(SC13)。换言之，处理器11在手动模式下不进行第三位置信息以及第三旋转角信息的决定以及存储。在该情况下，第三区域是指不是第一区域和第二区域的区域。

在各实施方式以及各变形例的自主模式下，在判定为当前的摄像区域包含于第三区域(既不是第一区域也不是第二区域)的情况下，处理器11也可以基于当前位置φ、第一位置信息、第一旋转角信息、第二位置信息以及第二旋转角信息实时地计算内窥镜2的当前位置φ处的目标旋转角θt或者ωt(SC13)。并且，在当前的摄像区域包含于第一区域以及第二区域中的任意区域(不包含于第三区域)的情况下，处理器11不实时地计算目标旋转角θt或者ωt，而使其与第一旋转角信息或者第二旋转角信息一致即可。由此，能够减少在手动模式时存储于存储部13的位置信息以及旋转角信息的量，仅计算在自主模式的操作时需要的第三位置信息以及第三旋转角信息即可，因此减轻对系统的负荷。

另外，处理器11在当前的摄像区域包含于第一区域或第二区域的情况下，也可以将事先存储的第一位置信息或第二位置信息、或者第一旋转角信息或第二旋转角信息更新为当前的位置信息以及旋转角信息。在更新后使内窥镜2移动，在判断为当前的摄像区域包含于第一区域或第二区域的情况下，能够使用更新后的第一位置信息、第二位置信息、第一旋转角信息、第二旋转角信息。在进行更新的情况下，用户只要从用户接口16进行更新指示即可。由此，即使在患者的身体的一部分因气腹或者体位的调整等而变形的情况下，也能够将位置信息以及旋转角信息更新为与当前的状况对应的正确的信息。

在上述各实施方式和各变形例中，处理器11识别内窥镜图像E内的特定组织，根据识别出的特定组织来决定各位置信息和各旋转角信息，但也可以取而代之，根据受理各指示的时刻的内窥镜2的位置φ和旋转角ω来决定各位置信息和各旋转角信息。

即，在手动模式下，手术者在期望的位置以期望的旋转角ω配置内窥镜2，输入第一指示。处理器11将在用户接口16受理第一指示的时刻的内窥镜2的位置φ的周边范围决定为第一位置信息，将在用户接口16受理第二指示的时刻的内窥镜2的旋转角ω决定为第一旋转角信息。

同样地，手术者在其他期望的位置以期望的旋转角ω配置内窥镜2，输入第二指示。处理器11将在用户接口16受理第二指示的时刻的内窥镜2的位置φ的周边范围决定为第二位置信息，将在用户接口16受理第二指示的时刻的内窥镜2的旋转角ω决定为第二旋转角信息。

根据该结构，手术者能够将被检体内的任意区域登记为第一区域和第二区域，能够进一步按照手术者的感觉来决定位置信息和旋转角信息。另外，即使在第一以及第二区域中不包含特定组织的情况下，也能够不进行学习完毕模型1b的处理，而任意地决定并存储第一以及第二区域的位置信息以及旋转角信息。

也可以并用基于内窥镜图像E内的特定组织的位置信息以及旋转角信息的决定、和基于受理指示的时刻的内窥镜2的位置φ以及旋转角ω的位置信息以及旋转角信息的决定。

例如，处理器11也可以如在第一至第三实施方式以及它们的变形例中说明的那样，在根据内窥镜图像E内的特定组织F、G决定第一位置信息和第二位置信息以及第一旋转角信息和第二旋转角信息之后，根据手术者的指示，进一步决定与第一区域及第二区域不同的任意区域的位置信息及旋转角信息。

在上述各实施方式以及各变形例中，设为特定组织是大动脉F以及骨盆G，但特定组织只要是具有解剖学特征的任意的脏器或者组织即可，例如也可以是子宫。

在上述各实施方式以及各变形例中，存储有2个区域的位置信息以及旋转角信息，但也可以取而代之，存储3个以上的区域的位置信息以及旋转角信息。由此，能够提高基于事先存储的信息来计算位置信息以及旋转角信息的情况下的精度。

在上述各实施方式以及各变形例中，表示摄像区域的位置的内窥镜2的位置φ通过以枢轴点H为原点的二维极坐标系来表述，但也可以取而代之，通过三维极坐标系来表述。即，也可以是，内窥镜2被支承为能够绕通过枢轴点H且与第一枢轴P1垂直的第二枢轴P2摆动，摄像区域的位置表述为(φ1，φ2)。φ1是绕第一枢轴P1的旋转角度，φ2是绕第二枢轴P2的旋转角度。在该情况下，第一位置信息、第二位置信息以及第三位置信息分别是包含旋转角度φ1、φ2的三维信息。

在上述各实施方式以及各变形例中，摄像区域的位置也可以代替极坐标系而由其他种类的坐标系表示。例如，摄像区域的位置也可以通过以孔H为原点的笛卡尔坐标系来表述。

在上述各实施方式和各变形例中，摄像区域的位置φ的坐标系是相对于被检体固定的全局坐标系，但也可以取而代之，是相对于内窥镜2的前端的相对坐标系。

在上述各实施方式和各变形例中，在手动模式下决定第一位置信息和第二位置信息并存储在存储部13中，但也可以取而代之，在手术前将第一位置信息和第二位置信息预先存储在存储部13中。

在手术前，有时取得包含处置部位的范围的检查图像、例如腹部的CT图像。通过对多个CT图像进行反卷积处理，生成腹腔内的三维图像。也可以基于这样的手术前的三维图像，在手术前决定第一位置信息以及第二位置信息并存储于存储部13。在该情况下，在手动模式下，省略步骤SB4、SB6。

根据该结构，能够减少手动模式下的处理器11的计算量。

在上述各实施方式和变形例中，处理器11也可以在手动模式下将拍摄第一区域而得到的内窥镜图像E即第一内窥镜图像和拍摄第二区域而得到的内窥镜图像E即第二内窥镜图像保存于存储部13。例如，在步骤SB3中，处理器11将识别出大动脉F的1个以上的内窥镜图像E作为第一内窥镜图像保存于存储部13。另外，在步骤SB6中，处理器11将识别出骨盆G的1个以上的内窥镜图像E作为第二内窥镜图像保存于存储部13。

在该情况下，处理器11也可以在自主模式下基于第一内窥镜图像和第二内窥镜图像来判定当前的摄像区域包含于第一区域、第二区域和第三区域中的哪一个区域。即，处理器11将当前的内窥镜图像E与第一内窥镜图像和第二内窥镜图像进行比较。并且，处理器11在存在与当前的内窥镜图像E相同或类似的第一内窥镜图像的情况下判定为当前的摄像区域包含于第一区域，在存在与当前的内窥镜图像E相同或类似的第二内窥镜图像的情况下判定为当前的摄像区域包含于第二区域。

在上述各实施方式和各变形例中，在内窥镜图像E内包含特定组织的情况下，处理器11也可以从存储于存储部13的数据库1c读出与特定组织的旋转角有关的信息，根据读出的与旋转角有关的信息使内窥镜图像E旋转。旋转角是绕内窥镜图像E的中心点的角度。根据该结构，能够使内窥镜图像E旋转，以使内窥镜图像E内的特定组织配置于规定的旋转角。

例如，在数据库1c中登记有大动脉F以及骨盆G以外的1个以上的特定组织的种类和各种类的旋转角。处理器11识别内窥镜图像E内的特定组织，从数据库1c读出特定组织的旋转角，使内窥镜图像E旋转，以使特定组织配置于旋转角。

作为一例，作为特定组织的子宫J优选配置在内窥镜图像E内的上方，因此在数据库1c中，作为子宫J的旋转角，登记有相当于12点的位置的90°。处理器11使内窥镜图像E旋转，以使识别出的子宫J配置在90°的位置。由此，在内窥镜图像E内包含子宫J的情况下，自动地调整内窥镜图像E的上下方向，使得子宫J配置在90°的位置。

在上述各实施方式和各变形例中，根据内窥镜图像E内的特定组织F、G来控制内窥镜图像E的旋转，但除此之外，也可以根据内窥镜图像E内的处置器具6来控制内窥镜图像E的旋转。

例如，处理器11能够以根据特定组织F、G控制内窥镜图像E的旋转的第一旋转模式和根据处置器具6控制内窥镜图像E的旋转的第二旋转模式进行动作。手术者等用户能够使用用户接口16来切换第一旋转模式和第二旋转模式。

在第二模式下，处理器11检测当前的内窥镜图像E内的处置器具6的角度，通过内窥镜2的旋转或图像处理，使内窥镜图像E旋转以使处置器具6的角度与规定的目标角度相等，将旋转后的内窥镜图像E输出到显示装置5并显示于显示画面5a。处置器具6的角度例如是处置器具6的轴的长度轴相对于内窥镜图像E的水平线的角度。

为了使手术者一边观察内窥镜图像E一边适当地操作处置器具6，重要的是显示于显示画面5a的内窥镜图像E内的处置器具6的角度适当。但是，由于手术者使处置器具6移动或者追随处置器具6的内窥镜2的姿态变化，内窥镜图像E内的处置器具6的角度变化。

手术者根据需要从第一旋转模式切换为第二旋转模式，由此能够使内窥镜图像E内的处置器具6以目标角度显示在显示画面5a上。

在上述各实施方式和各变形例中，手术者用手把持处置器具6并手动进行操作，但也可以取而代之，如图14A和图14B所示，处置器具6由与移动装置3不同的第二移动装置31保持和控制。在该情况下，控制装置1也可以从使内窥镜2移动的移动装置3和使处置器具6移动的第二移动装置31分别取得内窥镜2和处置器具6的位置的信息。第二移动装置31与移动装置3同样，通过机械臂或电动保持架保持处置器具6，按照控制装置101的控制，三维地变更处置器具6的位置和姿态。处置器具6可以如图14A所示那样与机械臂的前端连接而与机械臂为一体，也可以如图14B所示那样与机械臂分体而由机械臂把持。

附图标记说明

1控制装置

11处理器

12存储器

13存储部、记录介质

14输入接口

15输出接口

16用户接口

1a 图像控制程序

1b 学习完毕模型

1c 数据库

2内窥镜

2a摄像元件

3移动装置

3a机械臂

3b、3c关节

3d角度传感器

4内窥镜处理器

5显示装置

5a显示画面

6处置器具

A、B、D、O位置

C光轴、视轴

P1第一枢轴

P2第二枢轴

E内窥镜图像

F大动脉、第一特定组织

G骨盆、第二特定组织

H孔

Claims (26)

1.一种内窥镜系统，其具备：

内窥镜，其插入到被检体内并取得该被检体内的内窥镜图像；

移动装置，其保持该内窥镜并使该内窥镜移动；

存储部；以及

控制装置，其具有至少1个处理器，

所述存储部存储所述被检体内的第一区域的第一位置信息和第一旋转角信息、以及所述被检体内的与所述第一区域不同的第二区域的第二位置信息和第二旋转角信息，所述第一旋转角信息是规定所述第一区域的所述内窥镜图像的旋转角的信息，所述第二旋转角信息是规定所述第二区域的所述内窥镜图像的旋转角的信息，

所述至少1个处理器进行以下处理：

根据所述第一位置信息、所述第一旋转角信息、所述第二位置信息、所述第二旋转角信息以及所述被检体内的第三区域的第三位置信息，计算所述第三区域的第三旋转角信息，所述第三区域是与所述第一区域和第二区域不同的区域，

在由所述内窥镜当前拍摄的当前的摄像区域包含于所述第三区域的情况下，根据所述第三旋转角信息使所述内窥镜图像旋转，

将旋转后的所述内窥镜图像输出到显示装置。

2.根据权利要求1所述的内窥镜系统，其中，

所述至少1个处理器通过图像处理使所述内窥镜图像旋转。

3.根据权利要求1所述的内窥镜系统，其中，

所述移动装置能够使该内窥镜绕所述内窥镜的光轴旋转，

所述至少1个处理器控制所述移动装置而使所述内窥镜绕所述光轴旋转，由此使所述内窥镜图像旋转。

4.根据权利要求1所述的内窥镜系统，其中，

所述至少1个处理器能够以允许用户对所述内窥镜的操作的手动模式进行动作，

在所述手动模式下，所述至少1个处理器决定所述第一位置信息、所述第一旋转角信息、所述第二位置信息以及所述第二旋转角信息并存储于所述存储部。

5.根据权利要求4所述的内窥镜系统，其中，

所述至少1个处理器进行以下处理：

根据所述内窥镜图像内所包含的第一特定组织来决定所述第一位置信息和所述第一旋转角信息，

根据所述内窥镜图像内所包含的第二特定组织来决定所述第二位置信息和所述第二旋转角信息。

6.根据权利要求5所述的内窥镜系统，其中，

所述存储部存储对包含特定组织的图像与该特定组织的种类之间的对应关系进行机器学习而得到的学习完毕模型，

所述至少1个处理器进行以下处理：

使用存储于所述存储部的所述学习完毕模型来识别所述内窥镜图像内的所述第一特定组织和所述第二特定组织，

根据识别出所述第一特定组织的所述内窥镜图像的摄像区域的位置来决定所述第一位置信息，并且根据所述内窥镜图像内的所述第一特定组织的旋转角来决定所述第一旋转角信息，

根据识别出所述第二特定组织的所述内窥镜图像的摄像区域的位置来决定所述第二位置信息，并且根据所述内窥镜图像内的所述第二特定组织的旋转角来决定所述第二旋转角信息。

7.根据权利要求4所述的内窥镜系统，其中，

所述控制装置还具有受理用户的指示的用户接口，

所述至少1个处理器进行以下处理：

根据所述用户接口受理第一指示时的所述摄像区域的位置来决定所述第一位置信息，并且根据所述用户接口受理所述第一指示时的所述内窥镜绕光轴的旋转角来决定所述第一旋转角信息，

根据所述用户接口受理第二指示时的所述摄像区域的位置来决定所述第二位置信息，并且根据所述用户接口受理所述第二指示时的所述内窥镜绕光轴的旋转角来决定所述第二旋转角信息。

8.根据权利要求4所述的内窥镜系统，其中，

所述至少1个处理器将拍摄所述第一区域而得到的内窥镜图像即第一内窥镜图像和拍摄所述第二区域而得到的所述内窥镜图像即第二内窥镜图像保存于所述存储部。

9.根据权利要求8所述的内窥镜系统，其中，

所述至少1个处理器根据保存于所述存储部的所述第一内窥镜图像和所述第二内窥镜图像，判定所述当前的摄像区域包含于所述第一区域、所述第二区域和所述第三区域中的哪一个。

10.根据权利要求1所述的内窥镜系统，其中，

在所述存储部中预先存储有根据在手术前取得的所述被检体内的检查图像而决定的所述第一位置信息和所述第二位置信息。

11.根据权利要求1所述的内窥镜系统，其中，

所述至少1个处理器进行以下处理：

在所述当前的摄像区域包含于所述第一区域的情况下，根据所述第一旋转角信息使所述内窥镜图像旋转，

在所述当前的摄像区域包含于所述第二区域的情况下，根据所述第二旋转角信息使所述内窥镜图像旋转。

12.根据权利要求11所述的内窥镜系统，其中，

所述处理器根据所述摄像区域的位置、所述第一位置信息和所述第二位置信息，判定所述当前的摄像区域包含于所述第一区域、所述第二区域和所述第三区域中的哪一个。

13.根据权利要求1所述的内窥镜系统，其中，

所述内窥镜在相对于所述被检体固定的规定的枢轴点处被支承为能够绕第一枢轴摆动，通过所述内窥镜绕该第一枢轴的摆动，所述摄像区域能够在所述第一区域与所述第二区域之间移动，

所述第一位置信息、所述第二位置信息以及所述第三位置信息分别包含所述内窥镜绕所述第一枢轴的旋转角度。

14.根据权利要求13所述的内窥镜系统，其中，

所述内窥镜在所述规定的枢轴点处被支承为能够绕第二枢轴摆动，该第二枢轴与所述第一枢轴垂直，

所述第一位置信息、所述第二位置信息以及所述第三位置信息分别是三维信息，还包括所述内窥镜绕所述第二枢轴的旋转角度。

15.根据权利要求13所述的内窥镜系统，其中，

所述移动装置具有1个以上的关节和检测该1个以上的关节各自的旋转角度的1个以上的角度传感器，

所述处理器根据由所述1个以上的角度传感器检测出的旋转角度，计算所述内窥镜绕所述第一枢轴的旋转角度。

16.根据权利要求1所述的内窥镜系统，其中，

在所述存储部中存储有将特定组织的种类和旋转角信息对应起来的数据库，

在所述第三区域的所述内窥镜图像内包含所述特定组织的情况下，所述处理器进行以下处理：

从所述数据库读出与所述内窥镜图像内的所述特定组织的种类对应的所述旋转角信息，

根据读出的所述旋转角信息使所述内窥镜图像旋转。

17.根据权利要求1所述的内窥镜系统，其中，

所述至少1个处理器进行以下处理：

计算所述第三位置信息与所述第一位置信息和第二位置信息之间的位置关系，

根据该位置关系、所述第一旋转角信息和所述第二旋转角信息计算所述第三旋转角信息。

18.根据权利要求3所述的内窥镜系统，其中，

在所述内窥镜绕所述光轴的旋转角达到了规定的可旋转范围的极限角的情况下，所述至少1个处理器通过图像处理使所述内窥镜图像旋转。

19.根据权利要求1所述的内窥镜系统，其中，

所述内窥镜是直视型内窥镜或斜视型内窥镜。

20.根据权利要求1所述的内窥镜系统，其中，

所述内窥镜在该内窥镜的前端部具有能够以电动方式弯曲的弯曲部。

21.根据权利要求1所述的内窥镜系统，其中，

在所述当前的摄像区域包含于所述第一区域的情况下，所述至少1个处理器能够将所述第一位置信息或所述第一旋转角信息更新为当前的摄像区域的位置信息或旋转角信息，

在所述当前的摄像区域包含于所述第二区域的情况下，所述至少1个处理器能够将所述第二位置信息或所述第二旋转角信息更新为当前的摄像区域的位置信息或旋转角信息。

22.根据权利要求4所述的内窥镜系统，其中，

在所述手动模式下，所述至少1个处理器计算所述第三位置信息和所述第三旋转角信息并存储于所述存储部。

23.根据权利要求1所述的内窥镜系统，其中，

所述至少1个处理器能够以通过控制所述移动装置而使所述内窥镜自主地移动的自主模式进行动作，

所述至少1个处理器在所述自主模式中计算所述第三位置信息和所述第三旋转角信息。

24.一种控制装置，其对由内窥镜取得并显示于显示装置的内窥镜图像进行控制，其中，

所述控制装置具有存储部和至少1个处理器，

所述存储部存储被检体内的第一区域的第一位置信息和第一旋转角信息、以及所述被检体内的与所述第一区域不同的第二区域的第二位置信息和第二旋转角信息，所述第一旋转角信息是规定所述第一区域的所述内窥镜图像的旋转角的信息，所述第二旋转角信息是规定所述第二区域的所述内窥镜图像的旋转角的信息，

所述至少1个处理器进行以下处理：

根据所述第一位置信息、所述第一旋转角信息、所述第二位置信息、所述第二旋转角信息和所述被检体内的第三区域的第三位置信息计算所述第三区域的第三旋转角信息，所述第三区域是与所述第一区域和第二区域不同的区域，

在由所述内窥镜当前拍摄的当前的摄像区域包含于所述第三区域的情况下，根据所述第三旋转角信息使所述内窥镜图像旋转，

将旋转后的所述内窥镜图像输出到显示装置。

25.一种控制方法，使用被检体内的第一区域的第一位置信息和第一旋转角信息、以及所述被检体内的与所述第一区域不同的第二区域的第二位置信息和第二旋转角信息来控制由内窥镜取得并显示于显示装置的内窥镜图像，其中，

所述第一旋转角信息是规定所述第一区域的所述内窥镜图像的旋转角的信息，所述第二旋转角信息是规定所述第二区域的所述内窥镜图像的旋转角的信息，

所述控制方法包括以下步骤：

根据所述第一位置信息、所述第一旋转角信息、所述第二位置信息、所述第二旋转角信息以及所述被检体内的第三区域的第三位置信息来计算所述第三区域的第三旋转角信息，所述第三区域是与所述第一区域和第二区域不同的区域；

在由所述内窥镜当前拍摄的当前的摄像区域包含于所述第三区域的情况下，根据所述第三旋转角信息使所述内窥镜图像旋转；以及

将旋转后的所述内窥镜图像输出到显示装置。

26.一种计算机可读取的非暂时性记录介质，其存储有用于使计算机执行权利要求25所述的控制方法的控制程序。

Images