CN103188987A - 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法 - Google Patents

Abstract

公开了一种手术机器人系统及其腹腔镜操作方法。手术机器人系统包括：接面部，向与接触的施术者面部的运动方向及大小相对应的方向及大小游动；运动检测部，输出对应于接面部游动方向及大小的传感信息；操作命令生成部，利用传感信息生成并输出有关视觉部的位置及图像输入角度中的一个以上的操作命令。该手术机器人仅通过施术者想看到所需手术部位的行为就能够控制腹腔镜的位置及图像输入角度。

Description

手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法

技术领域

本发明涉及手术，更具体地说，涉及一种手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法。

背景技术

手术机器人是指具有能够代替由医生进行的手术行为的功能的机器人。这种手术机器人具有与人相比能够进行准确精密动作且能够进行远程手术的优点。

目前全世界正在开发的手术机器人有骨外科手术机器人、腹腔镜（laparoscope）手术机器人、立体定向手术机器人等。在此，腹腔镜手术机器人是利用腹腔镜和小型手术工具进行微创手术的机器人。

腹腔镜手术机器人是在肚脐部位钻孔1cm左右之后插入用于观察腹腔内的作为内窥镜的腹腔镜而进行手术的尖端手术技术，是期待将来有很大发展的领域。

近来，腹腔镜发展到，安装有电脑芯片，从而能够获得比肉眼观察更清晰的放大图像，而且，若通过监控器看着画面的同时使用特别设计的腹腔镜手术工具，则可以进行任何手术。

此外，腹腔镜手术的其手术范围与剖腹手术几乎相同，但与剖腹手术相比并发症少，而且手术后能够尽快进行治疗，从而具有保持手术患者体力或免疫功能的优点。因此，在美国和欧洲等国家，治疗大肠癌等时腹腔镜手术日益公认为标准手术。

手术机器人系统通常包括主机器人和从机器人。若施术者操作主机器人所具有的操纵器（例如手柄），则结合于从机器人的机器臂或由机器臂把持的手术工具被操作，从而进行手术。主机器人和从机器人通过网络连接而进行网络通信。

然而，现有的手术机器人系统，施术者为了取得有关手术部位的图像，用户需要进行单独操作，以便将腹腔镜移动到所需位置，或调节图像输入角度。即，施术者在手术过程中利用手或脚单独输入用于控制腹腔镜的操作。

但是，这在需要保持注意力高度集中的手术进行过程中，可能成为降低施术者注意力的原因，而注意力下降引起的不完整手术可能导致严重的并发症。

现在，进行腹腔镜手术时，通过腹腔镜拍摄的手术图像输出给用户，用户看着该图像进行手术，但是与直接剖腹进行的手术相比，存在真实感降低的问题。发生这些问题的原因可以是，腹腔镜在腹腔内移动及旋转而照射其它部位时，用户可以看到的图像输出到相同位置及大小的监控器上，因此，所述操纵器和图像之间的相对距离感及运动，与实际腹腔内的手术工具和脏器之间的相对距离感及运动不同。

此外，通过腹腔镜拍摄的手术图像仅包括手术工具的部分图像，所以这些手术工具彼此碰撞或重叠时，可能发生用户难以操作或视野被遮挡无法顺利进行手术的情况。

上述背景技术是发明人为了导出本发明而保留或导出本发明的过程中所学到的技术信息，不一定是本发明申请之前向公众公开的公知技术。

发明内容

技术问题

本发明的目的在于，提供一种仅通过施术者想看到所需手术部位的行为就能够控制腹腔镜的位置及图像输入角度的手术机器人系统及其腹腔镜操作方法。

另外，本发明的目的在于，提供一种不需要施术者进行用于操作腹腔镜的单独操作从而能够使施术者完全集中于手术行为的手术机器人系统及其腹腔镜操作方法。

另外，本发明的目的在于，提供一种不需要学习利用面部识别的设备操作方法而能够直观了解操作方法的手术机器人系统及其腹腔镜操作方法。

另外，本发明的目的在于，提供一种不必使用胳膊而仅通过在三维空间上的面部运动来能够以多种方式控制内窥镜装置的手术机器人系统及其腹腔镜操作方法。

另外，本发明的目的在于，提供一种对应于根据手术用内窥镜的运动而变化的内窥镜的视点，改变在用户看的监控器上输出的内窥镜图像的输出位置，从而能够使用户更真实地感受到实际手术状况的体感式手术用图像处理装置及其方法。

另外，本发明的目的在于，提供一种在当前时间提取之前输入存储的内窥镜图像并与当前的内窥镜图像一同输出到画面显示部，从而能够将有关内窥镜图像变化的信息通知给用户的体感式手术用图像处理装置及其方法。

另外，本发明的目的在于，提供一种将手术时利用内窥镜实际拍摄的内窥镜图像和预先生成并存储于图像存储部的手术工具的建模图像进行各自或彼此匹配或调节其尺寸等图像修改后，向用户可观察的监控部输出的体感式手术用图像处理装置及其方法。

另外，本发明的目的在于，提供一种体感式手术用图像处理装置及其方法，通过与不断变化的内窥镜的视点对应地旋转及移动监控器，从而能够使用户更生动地感受到手术真实感。

除了本发明提出的之外的其它技术问题可以通过下面的说明容易理解。

解决技术问题的方法

根据本发明的一实施方式，提供一种手术机器人，利用操作信号控制视觉部的位置及图像输入角度中的一个以上，其包括：接面部，向与被接触的施术者面部的运动方向及大小相对应的方向及大小游动；运动检测部，输出对应于接面部游动的方向及大小的传感信息；操作命令生成部，利用传感信息生成并输出有关视觉部的位置及图像输入角度中一个以上的操作命令。

操作命令为有关视觉部的直线操作及旋转操作中的至少一个的命令时，可以与其相应地变更操作手术机器人的操作手柄方向。

接面部可以形成为，作为手术机器人的控制台（console）面板的一部分。

为了固定施术者面部位置，可以在接面部的一个以上部位突出形成有支承部。

在接面部可以穿孔形成有接目部，从而使通过视觉部获得的图像以视觉信息方式能够看到。

接面部可以由透光材料形成，从而使通过视觉部获得的图像以视觉信息方式能够看到。

手术机器人还可以包括：接触检测部，检测施术者面部是否接触于接面部或支承部；原状恢复部，当通过接触检测部识别到接触解除时，接面部恢复到指定为默认（default）的位置及状态的基准状态。

原状恢复部可以通过根据传感信息的接面部游动方向及大小的反向操作，能够使接面部恢复到基准状态。

手术机器人还可以包括：眼球跟踪部，将依次生成的图像数据按时间顺序进行比较和判断，并生成解析瞳孔位置变化、眼睛模样变化及注视方向中的至少一个的解析信息。此外，手术机器人也还可以包括：摄像部，在手术机器人的内侧朝向接面部拍摄而生成图像数据；存储部，用于存储所生成的图像数据。

操作命令生成部判断解析信息作为任一操作命令是否满足预定的变化，若满足时，输出相应的操作命令。

视觉部可以是显微镜、内窥镜中的任一种，内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上。

接面部以被弹性体支承的方式形成于控制台面板的前表面，弹性体可以提供恢复力，以便解除接面部运动施加的外力时，使接面部恢复到原位置。

根据本发明的另一实施方式，提供一种手术机器人，利用操作信号控制视觉部的位置及图像输入角度中的一个以上，其包括：接目部，用于将通过视觉部获得的图像作为视觉信息提供；眼球跟踪部，生成对通过接目部看到的瞳孔位置变化、眼睛模样变化及注视方向中的至少一个进行解析的解析信息；操作命令生成部，判断解析信息作为任一操作命令是否满足预定的变化，若满足时，输出用于操作视觉部的操作命令。

眼球跟踪部可以包括：摄像单元，在手术机器人的内侧朝向接目部拍摄而生成图像数据；存储单元，用于存储生成的图像数据；眼球跟踪单元，将依次生成的图像数据按时间顺序进行比较判断，并生成解析瞳孔位置变化、眼睛模样变化及注视方向中的至少一个的解析信息。

接目部可以在作为手术机器人的控制台（console）面板的一部分的接面部上穿孔形成。

根据本发明的另一实施方式，提供一种手术机器人，利用操作信号控制视觉部，其包括：拍摄部，拍摄对象物而生成图像数据；角度及距离算出部，解析包含于图像数据中的面部的两眼中心点的连接线与画面中心线所形成的内角大小及旋转方向，并与根据之前拍摄的图像数据解析出的内角大小及旋转方向进行比较，以生成有关面部旋转方向及旋转角度的位移量信息；操作命令生成部，生成并输出操作命令以与所述位移量信息相应地操作所述视觉部。

角度及距离算出部还可以算出根据之前拍摄的图像数据解析出的所述面部内的基准点与根据图像数据解析出的面部内的基准点之间的距离信息，而为了视觉部的平行移动操作，算出的距离信息可包含于位移量信息。

角度及距离算出部还可以算出根据之前拍摄的图像数据解析出的面部内两眼间距与根据图像数据解析出的面部内两眼间距之间的变化量，两眼间距之间的变化量包含于位移量信息，以用于调节视觉部的图像倍率。

视觉部可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上。

视觉部可以是用于获得三维图像的装置，可以根据面部和眼睛的位置调节三维图像处理所需的左/右图像重叠程度。

手术机器人还可以包括：存储部，用于存储认证用户的照片图像；判断部，算出图像数据中的面部特征要素和照片图像中的面部特征要素之间的类似度，在算出的类似度大于等于预定值时，控制操作命令生成部生成并输出操作命令。在此，面部特征要素可以是构成部位的位置及模样、瞳孔颜色、面部模样、皮肤颜色、皱纹形状、红晕中的一个以上，构成部位可以是眼睛、眉毛、鼻子和嘴中的一个以上。

手术机器人还可以包括：存储部，用于存储有效用户信息，该有效用户信息是面部轮廓所处的区域信息及图像数据中面部大小的基准值中的一种以上；判断部，判断包含于图像数据中的面部是否满足有效用户信息，在满足时，控制操作命令生成部生成并输出操作命令。

手术机器人还可以包括：判断部，判断包含于图像数据中的面部运动状态是否保持规定时间以上，在面部运动状态保持规定时间以上时，控制操作命令生成部生成并输出操作命令。

手术机器人还可以包括：判断部，判断包含于图像数据中的面部运动程度是否超出预定范围，在超出预定范围时，控制操作命令生成部生成并输出操作命令。

手术机器人还可以包括：存储部，存储对头部运动及面部表情中一个以上的变化生成的操作命令信息；判断部，解析多个图像数据来生成头部运动及面部表情中一个以上的变化信息，控制所述操作命令生成部生成并输出与操作命令信息对应的相应操作命令。

根据本发明的另一实施方式，提供一种视觉部操作方法，用于手术机器人控制视觉部的位置及图像输入角度中的一个以上，其特征在于，包括如下步骤：输出对应于接面部游动方向及大小的传感信息的步骤；利用传感信息，生成并输出有关视觉部的位置及图像输入角度中一个以上的操作命令的步骤；接面部作为手术机器人的控制台面板的一部分形成，并向与施术者面部的运动方向及大小相对应的方向及大小游动。

视觉部操作方法还可以包括如下步骤：判断施术者面部是否处于与接面部接触状态的步骤；处于接触状态时，开始输出传感信息的进行控制的步骤。

视觉部操作方法还可以包括如下步骤：接触状态解除时，判断接面部是否以作为指定为默认（default）的位置及状态的基准状态存在的步骤，未以基准状态存在时，恢复到基准状态的进行处理的步骤。

恢复到基准状态，可以通过根据传感信息的接面部游动方向及大小的反向操作来进行。

视觉部操作方法还可以包括如下步骤：生成并存储在手术机器人的内侧朝向接面部拍摄的图像数据的步骤；将存储的图像数据按时间顺序进行比较判断，并生成解析瞳孔位置变化、眼睛模样变化及注视方向中一种以上的解析信息的步骤。

视觉部操作方法还可以包括如下步骤：判断解析信息作为任一操作命令是否满足预定的变化的步骤；若满足时，输出相应的预定的操作命令的步骤。

接面部被弹性体支承地形成在控制台面板的前表面，弹性体可以提供恢复力，以便解除接面部运动施加的外力时，接面部恢复到原位置。

根据本发明的另一实施方式，提供一种手术机器人，利用操作信号控制视觉部的位置及图像输入角度中的一个以上，其包括：接面部，用于将通过视觉部获得的图像作为视觉信息提供；分析处理部，生成解析通过接面部看到的面部运动的解析信息；操作命令生成部，判断解析信息作为任一操作命令是否满足预定的变化，若满足时，输出用于操作视觉部的操作命令。

分析处理部可以包括：摄像单元，在手术机器人的内侧朝向所述接面部拍摄而生成图像数据；存储单元，用于存储生成的图像数据；分析单元，在依次生成的图像数据中，按时间顺序比较判断规定特征点的位置变化，并生成有关面部运动的解析信息。

接面部可以作为所述手术机器人的控制台（console）面板的一部分形成，接面部可以由透光材料形成，从而使通过视觉部获得的图像以视觉信息方式能够看到。

根据本发明的另一实施方式，提供一种视觉部操作方法，用于手术机器人控制视觉部的位置及图像输入角度中的一个以上，其特征在于，包括如下步骤：生成解析通过接目部看到的瞳孔位置变化、眼睛模样变化及注视方向中一种以上的解析信息的步骤；判断解析信息作为任一操作命令是否满足预定的变化的步骤；若满足时，生成并输出有关视觉部的位置及图像输入角度中一个以上的操作命令的步骤。

生成解析信息的步骤可以包括如下步骤：生成并存储在手术机器人的内侧朝向接目部拍摄的图像数据的步骤；将存储的图像数据按时间顺序进行比较判断，并生成解析瞳孔位置变化、眼睛模样变化及注视方向中一种以上的解析信息的步骤。

根据本发明的另一实施方式，提供一种视觉部操作方法，用于手术机器人对视觉部进行操作，其包括如下步骤：拍摄对象物而生成图像数据的步骤；解析包含于图像数据中的面部内两眼中心点的连接线与画面中心线所形成的内角大小及旋转方向，并与根据之前拍摄的图像数据解析出的内角大小及旋转方向进行比较，以生成有关面部旋转方向及旋转角度的位移量信息的步骤；生成并输出操作命令以与所述位移量信息对应地操作所述视觉部的步骤。

生成位移量信息的步骤可以包括如下步骤：算出根据之前拍摄的图像数据解析出的面部内的基准点与根据图像数据解析出的面部内的基准点之间的距离信息的步骤；使所述算出的距离信息包含于所述位移量信息，以用于所述视觉部的平行移动操作的步骤。

生成位移量信息的步骤可以包括如下步骤：算出根据之前拍摄的图像数据解析出的面部内两眼间距与根据图像数据解析出的面部内两眼间距之间的变化量的步骤；使所述两眼间距之间的变化量包含于所述位移量信息，以用于调节所述视觉部的图像倍率的步骤。

视觉部可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上。

视觉部可以是用于获得三维图像的装置，可以根据面部和眼睛的位置调节三维图像处理所需的左/右图像重叠程度。

视觉部操作方法还可以包括如下步骤：算出包含于图像数据中的面部特征要素和预先存储于存储部的认证用户的照片图像之间的类似度的步骤；在算出的类似度大于等于预定值时，进行控制以执行所述生成并输出操作命令的步骤的步骤。在此，面部特征要素可以是构成部位的位置及模样、瞳孔颜色、面部模样、皮肤颜色、皱纹形状、红晕中的一个以上，构成部位可以是眼睛、眉毛、鼻子和嘴中的一个以上。

视觉部操作方法还可以包括如下步骤：判断包含于图像数据中的面部是否满足预先存储的有效用户信息的步骤；在满足时，进行控制以执行所述生成并输出操作命令的步骤的步骤。在存储部可以预先存储有效用户信息，该有效用户信息是在图像数据中面部轮廓所处的区域信息及包含于图像数据中的面部大小的基准值中的一种以上。

视觉部操作方法还可以包括如下步骤：判断包含于图像数据中的面部运动状态是否保持规定时间以上的步骤；在面部运动状态保持规定时间以上时，进行控制以执行所述生成并输出操作命令的步骤的步骤。。

视觉部操作方法还可以包括如下步骤：判断包含于图像数据中的面部运动程度是否超出预定范围的步骤；在超出预定范围时，进行控制以执行生成并输出操作命令的步骤的步骤。

视觉部操作方法还可以包括如下步骤：解析多个图像数据来生成面部表情及头部运动中一个以上的变化信息的步骤；根据对应于面部表情及头部运动中一个以上的变化信息的操作命令信息，生成并输出相应操作命令的步骤。在存储部可以预先存储对头部运动及面部表情的变化生成的操作命令信息。

另外，根据本发明的另一实施方式，提供一种体感式手术用图像处理装置，其包括：图像输入部，接收从手术用内窥镜提供的内窥镜图像；画面显示部，将内窥镜图像输出在特定区域；画面显示控制部，变更对应于手术用内窥镜的视点而输出内窥镜图像的画面显示部的特定区域。

在此，手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上，也可以是立体内窥镜。

在此，画面显示控制部可以包括：内窥镜视点追踪部，对应于手术用内窥镜的移动及旋转，追踪手术用内窥镜的视点信息；图像移动信息提取部，利用手术用内窥镜的视点信息，提取内窥镜图像的移动信息；图像位置设定部，利用移动信息，设定在画面显示部输出内窥镜图像的特定区域。

此外，画面显示控制部可以对应于手术用内窥镜的视点坐标变化值，移动内窥镜图像的中心点。

根据本发明的另一实施方式，提供一种体感式手术用图像处理装置，其包括：图像输入部，接收从手术用内窥镜以彼此不同时间点提供的第一内窥镜图像和第二内窥镜图像；画面显示部，将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出；图像存储部，用于存储第一内窥镜图像和第二内窥镜图像；画面显示控制部，用于控制画面显示部，以与手术用内窥镜的彼此不同视点对应地，将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出。

在此，图像输入部可以比先于第二内窥镜图像接收第一内窥镜图像，画面显示部可以输出使彩度、亮度、颜色及画面图案中一种以上不同的第一内窥镜图像和第二内窥镜图像。

此外，画面显示控制部还可以包括存储图像显示部，画面显示部输出实时输入的第二内窥镜图像的期间，提取存储于图像存储部的第一内窥镜图像而输出给画面显示部。

根据本发明的另一实施方式，提供一种体感式手术用图像处理装置，其包括：图像输入部，接收从手术用内窥镜提供的内窥镜图像；画面显示部，将内窥镜图像输出在特定区域；图像存储部，用于存储对手术用内窥镜拍摄的手术对象进行手术的有关手术工具的建模图像；图像匹配部，将内窥镜图像和建模图像彼此匹配而生成输出图像；画面显示控制部，变更对应于手术用内窥镜的视点而输出内窥镜图像的画面显示部的特定区域，并向画面显示部输出匹配的内窥镜图像和建模图像。

在此，图像匹配部可以将包含于内窥镜图像中的实际手术工具图像和包含于建模图像中的建模手术工具图像进行彼此匹配，而生成输出图像。

此外，图像匹配部还可以包括：特性值运算部，利用内窥镜图像及结合于一个以上机器臂的实际手术工具的位置坐标信息中的一个以上来运算特性值；建模图像实现部，实现对应于特性值运算部运算的特性值的建模图像。

在此，图像匹配部还可以包括重叠图像处理部，从建模手术工具图像去除建模手术工具图像和实际手术工具图像的重叠区域，而且，可以利用手术工具的操作信息来设定向建模图像输出的建模手术工具图像的位置。

根据本发明的另一实施方式，提供一种体感式手术用图像处理装置，其包括：图像输入部，接收从手术用内窥镜提供的内窥镜图像；画面显示部，输出内窥镜图像；画面驱动部，使画面显示部旋转及移动；画面驱动控制部，用于控制画面驱动部，使得画面驱动部对应于手术用内窥镜的视点，旋转及移动画面显示部。

在此，画面驱动控制部可以包括：内窥镜视点追踪部，对应于手术用内窥镜的移动及旋转，追踪手术用内窥镜的视点信息；图像移动信息提取部，利用手术用内窥镜的视点信息，提取内窥镜图像的移动信息；驱动信息生成部，利用移动信息，生成画面显示部的画面驱动信息。

在此，画面驱动部可以是一端结合于所述画面显示部，并使所述画面显示部沿着规定的移动槽移动，或者所述画面驱动部是一端结合于所述画面显示部，并使所述画面显示部在空间上移动及旋转的机器臂形式的空间上移动的驱动部。

在此，画面显示部可以包括拱顶形屏幕和在拱顶形屏幕上投射内窥镜图像的投影仪。

根据本发明的另一实施方式，提供一种体感式手术用图像处理方法，用于手术用图像处理装置输出内窥镜图像，其包括如下步骤：接收从手术用内窥镜提供的内窥镜图像的步骤；向画面显示部的特定区域输出内窥镜图像的步骤；以及变更对应于手术用内窥镜的视点而输出内窥镜图像的画面显示部的特定区域的步骤。

在此，手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上，也可以是立体内窥镜。

此外，变更画面显示部的特定区域的步骤可以包括如下步骤：对应于手术用内窥镜的移动及旋转，追踪手术用内窥镜的视点信息的步骤；利用手术用内窥镜的视点信息，提取内窥镜图像的移动信息的步骤；以及利用移动信息，设定在画面显示部输出内窥镜图像的特定区域的步骤。

在此，变更画面显示部的特定区域的步骤可以包括如下步骤：对应于手术用内窥镜的视点坐标变化值，移动内窥镜图像的中心点的步骤。

根据本发明的另一实施方式，提供一种体感式手术用图像处理方法，用于手术用图像处理装置输出内窥镜图像，其包括如下步骤：接收从手术用内窥镜以彼此不同时间点提供的第一内窥镜图像和第二内窥镜图像的步骤；将第一内窥镜图像和第二内窥镜图像输出到画面显示部的彼此不同区域的步骤；存储第一内窥镜图像和第二内窥镜图像的步骤；以及对应于手术用内窥镜的彼此不同视点，使第一内窥镜图像和第二内窥镜图像在彼此不同区域输出的控制画面显示部的步骤。

在此，在接收内窥镜图像的步骤，可以比先于第二内窥镜图像接收第一内窥镜图像，在输出步骤，可以输出使彩度、亮度、颜色及画面图案中一种以上不同的第一内窥镜图像和第二内窥镜图像。

此外，画面显示部控制步骤还可以包括如下步骤：画面显示部输出实时输入的第二内窥镜图像的期间，提取存储于图像存储部的第一内窥镜图像而输出给画面显示部的步骤。

根据本发明的另一实施方式，提供一种体感式手术用图像处理方法，用于手术用图像处理装置输出内窥镜图像，其包括如下步骤：接收从手术用内窥镜提供的内窥镜图像的步骤；将内窥镜图像输出在画面显示部的特定区域的步骤；存储对手术用内窥镜拍摄的手术对象进行手术的有关手术工具的建模图像的步骤；将内窥镜图像和建模图像彼此匹配而生成输出图像的步骤；以及变更对应于手术用内窥镜的视点而输出内窥镜图像的画面显示部的特定区域，并向画面显示部输出匹配的内窥镜图像和建模图像的步骤。

在此，生成输出图像的步骤，可以将包含于内窥镜图像中的实际手术工具图像和包含于建模图像中的建模手术工具图像彼此匹配，而生成输出图像。

此外，生成输出图像的步骤还可以包括如下步骤：利用内窥镜图像及结合于一个以上机器臂的实际手术工具的位置坐标信息中的一个以上来运算特性值的步骤；以及实现对应于运算的特性值的建模图像的步骤。

在此，生成输出图像的步骤还可以包括如下步骤：从建模手术工具图像去除建模手术工具图像和实际手术工具图像的重叠区域的步骤。

此外，可以利用手术工具的操作信息来设定向建模图像输出的建模手术工具图像的位置。

根据本发明的另一实施方式，提供一种体感式手术用图像处理方法，用于手术用图像处理装置输出内窥镜图像，其包括如下步骤：接收从手术用内窥镜提供的内窥镜图像的步骤；向画面显示部输出内窥镜图像的步骤；以及对应于手术用内窥镜的视点，使画面显示部旋转及移动的步骤。

在此，旋转及移动画面显示部的步骤可以包括如下步骤：对应于手术用内窥镜的移动及旋转，追踪手术用内窥镜的视点信息的步骤；利用手术用内窥镜的视点信息，提取内窥镜图像的移动信息的步骤；利用移动信息，生成画面显示部的动作信息的步骤。

在此，画面显示部可以包括拱顶形屏幕和在拱顶形屏幕上投射内窥镜图像的投影仪。

根据本发明的另一实施方式，提供一种记录介质，为了执行所述体感式手术用图像处理方法，具备可由数字处理装置执行的指令程序，并记录有可由数字处理装置读取的程序。

根据本发明的另一实施方式，提供一种体感式手术用图像处理装置，其包括：图像输入部，接收从一端旋转的手术用内窥镜以彼此不同时间点提供的第一内窥镜图像和第二内窥镜图像；画面显示部，将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出；画面显示控制部，用于控制画面显示部，以便对应于手术用内窥镜的彼此不同视点，将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出。

在此，手术用内窥镜可以周期性地进行旋转，本实施例还可以包括旋转操作部，该旋转操作部是设定与手术用内窥镜的一端旋转相关的旋转方向、旋转角速度、加减速形式、旋转速度、旋转时间起始点、旋转时间结束点、旋转时间长度及旋转半径中一种以上的旋转相关信息。

在此，手术用内窥镜的一端以形成闭合图形的方式进行旋转，可以以圆锥体或多角锥体形状旋转，手术用内窥镜的旋转轨迹可以是圆形、椭圆形、三角形及矩形中的任一种。

此外，画面显示控制部可以包括：连续图像生成部，提取第一内窥镜图像和第二内窥镜图像的重叠区域，而生成连续图像；周边图像生成部，提取第一内窥镜图像和第二内窥镜图像的非重叠区域，而生成周边图像。

根据本发明的另一实施方式，提供一种体感式手术用图像处理装置，其包括：第一图像输入部，从手术用内窥镜接收第一内窥镜图像；第二图像输入部，接收从结合于手术用内窥镜的一侧并以手术用内窥镜为中心旋转的辅助内窥镜以彼此不同时间点提供的多个第二内窥镜图像；画面显示部，将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出；画面显示控制部，用于控制画面显示部，以便对应于手术用内窥镜和辅助内窥镜的彼此不同视点，将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出。

在此，辅助内窥镜可以周期性地进行旋转，本实施例还可以包括旋转操作部，该旋转操作部是设定与辅助内窥镜的一端旋转相关的旋转方向、旋转角速度、加减速形式、旋转速度、旋转时间起始点、旋转时间结束点、旋转时间长度及旋转半径中一种以上的旋转相关信息。

此外，画面显示控制部可以包括：连续图像生成部，提取第一内窥镜图像和第二内窥镜图像的重叠区域，而生成连续图像；周边图像生成部，提取第一内窥镜图像和第二内窥镜图像的非重叠区域，而生成周边图像。

此外，画面显示控制部可以包括：连续图像生成部，从第一内窥镜图像生成连续图像；周边图像生成部，提取第二内窥镜图像而生成连续图像的周边图像。

此外，辅助内窥镜可拆装地结合于手术用内窥镜。

根据本发明的另一实施方式，提供一种体感式手术用图像处理方法，是手术用图像处理装置输出内窥镜图像的方法，其包括如下步骤：接收从一端旋转的手术用内窥镜以彼此不同时间点提供的第一内窥镜图像和第二内窥镜图像的步骤；将第一内窥镜图像和第二内窥镜图像输出到画面显示部的彼此不同区域的步骤；控制画面显示部，以与手术用内窥镜的彼此不同视点对应地，将第一内窥镜图像和第二内窥镜图像输出到彼此不同区域的步骤。

在此，手术用内窥镜可以周期性地进行旋转，本实施例还可以包括如下步骤：设定与手术用内窥镜的一端旋转相关的旋转方向、旋转角速度、加减速形式、旋转速度、旋转时间起始点、旋转时间结束点、旋转时间长度及旋转半径中一种以上的旋转相关信息的步骤。

在此，手术用内窥镜的一端以形成闭合图形的方式进行旋转，可以以圆锥体或多角锥体形状旋转，手术用内窥镜的旋转轨迹可以是圆形、椭圆形、三角形及矩形中的任一种。

此外，控制画面显示部的步骤可以包括如下步骤：提取第一内窥镜图像和第二内窥镜图像的重叠区域，而生成连续图像的步骤；以及提取第一内窥镜图像和第二内窥镜图像的非重叠区域，而生成周边图像的步骤。

根据本发明的另一实施方式，提供一种体感式手术用图像处理方法，其包括如下步骤：从手术用内窥镜接收第一内窥镜图像的步骤；接收结合于手术用内窥镜的一侧并以手术用内窥镜为中心旋转的辅助内窥镜以彼此不同时间点提供的多个第二内窥镜图像的步骤；将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出的步骤；控制画面显示部，以与手术用内窥镜和辅助内窥镜的彼此不同视点对应地将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出的步骤。

在此，辅助内窥镜可以周期性地进行旋转，本实施例还可以包括如下步骤：设定与辅助内窥镜的一端旋转相关的旋转方向、旋转角速度、加减速形式、旋转速度、旋转时间起始点、旋转时间结束点、旋转时间长度及旋转半径中一种以上的旋转相关信息的步骤。

此外，控制画面显示部的步骤可以包括如下步骤：提取第一内窥镜图像和第二内窥镜图像的重叠区域，而生成连续图像的步骤；提取第一内窥镜图像和第二内窥镜图像的非重叠区域，而生成周边图像的步骤。

此外，控制画面显示部的步骤可以包括如下步骤：从第一内窥镜图像生成连续图像的步骤；提取第二内窥镜图像而生成连续图像的周边图像的步骤。

此外，本实施例还可以包括如下步骤：将辅助内窥镜可拆装地结合在手术用内窥镜的步骤。

在此，画面显示部可以包括拱顶形屏幕和在拱顶形屏幕上投射内窥镜图像的投影仪。

此外，根据本实施例的另一实施方式，提供一种记录介质，为了执行所述体感式手术用图像处理方法，具备可由数字处理装置执行的指令程序，并记录有可由数字处理装置读取的程序。

除了上述之外的其它实施方式、特征、优点，可以通过下面的附图、权利要求的范围及发明的详细说明会更明确。

发明效果

根据本发明的实施例，具有仅通过施术者想看到所需手术部位的行为就能够控制腹腔镜的位置及图像输入角度的效果。

此外，不需要施术者进行用于操作腹腔镜的单独操作，从而还具有能够使施术者完全集中于手术行为的效果。

此外，不需要学习利用面部识别的设备操作方法，从而还具有能够直观了解操作方法的效果。

此外，还具有不必使用胳膊而仅通过在三维空间上的面部运动来以多种方式控制内窥镜装置的效果。

此外，本发明涉及的体感式手术用图像处理装置及其方法，对应于根据手术用内窥镜的运动而变化的内窥镜的视点，改变在用户看的监控器上输出的内窥镜图像的输出位置，从而具有能够使用户更真实地感受到实际手术状况的效果。

此外，本发明涉及的体感式手术用图像处理装置及其方法，在当前时间提取之前输入存储的内窥镜图像并与当前的内窥镜图像一同输出到画面显示部，从而具有能够将有关内窥镜图像变化的信息通知给用户的效果。

此外，本发明涉及的体感式手术用图像处理装置及其方法，具有能够将手术时利用内窥镜实际拍摄的内窥镜图像和预先生成并存储于图像存储部的手术工具的建模图像各自或彼此匹配，或调节其尺寸等进行图像修改后，向用户可观察的监控部输出的效果。

此外，本发明涉及的体感式手术用图像处理装置及其方法，对应于不断变化的内窥镜的视点旋转及移动监控器，从而具有能够使用户更生动地感受到手术真实感的效果。

附图说明

图1是示出本发明的一实施例涉及的手术机器人的整个结构的俯视图。

图2是示出本发明的一实施例涉及的手术机器人的主界面的概念图。

图3至图6是例示出本发明的一实施例涉及的接面部的运动形态的示意图。

图7是概略示出本发明的一实施例涉及的用于生成腹腔镜操作命令的腹腔镜显示部的构成的框图。

图8是示出本发明的一实施例涉及的腹腔镜操作命令传送方法的流程图。

图9是概略示出本发明的另一实施例涉及的用于生成腹腔镜操作命令的腹腔镜显示部的构成的框图。

图10是示出本发明的另一实施例涉及的腹腔镜操作命令传送方法的流程图。

图11是概略示出本发明的另一实施例涉及的用于生成腹腔镜操作命令的腹腔镜显示部的构成的框图。

图12是示出本发明的另一实施例涉及的腹腔镜操作命令传送方法的流程图。

图13是示出本发明的另一实施例涉及的腹腔镜操作命令传送方法的流程图。

图14是例示出本发明的实施例涉及的腹腔镜显示部的图像显示形式的示意图。

图15是示出本发明的另一实施例涉及的腹腔镜操作命令传送方法的流程图。

图16是示出本发明的另一实施例涉及的手术机器人的主界面的概念图。

图17是概略示出本发明的另一实施例涉及的腹腔镜操作单元的构成的框图。

图18是示出本发明的另一实施例涉及的腹腔镜操作单元的动作概念的示意图。

图19和图20是分别例示出为了操作本发明的另一实施例涉及的腹腔镜而面部运动的示意图。

图21是示出本发明的另一实施例涉及的腹腔镜操作单元的动作过程的流程图。

图22是具体示出本发明的另一实施例涉及的图21的步骤1610的流程图。

图23是示出本发明的实施例涉及的手术机器人的整个结构的俯视图。

图24是示出本发明的第一实施例涉及的手术机器人的主界面的概念图。

图25是示出本发明的第一实施例涉及的手术机器人的框图。

图26是示出本发明的第一实施例涉及的体感式手术用图像处理装置的框图。

图27是示出本发明的第一实施例涉及的体感式手术用图像处理装置的流程图。

图28是示出根据本发明的第一实施例涉及的体感式手术用图像处理方法输出图像的构成图。

图29是示出本发明的第二实施例涉及的手术机器人的框图。

图30是示出本发明的第二实施例涉及的体感式手术用图像处理装置的框图。

图31是示出本发明的第二实施例涉及的体感式手术用图像处理方法的流程图。

图32是示出根据本发明的第二实施例涉及的体感式手术用图像处理方法输出图像的构成图。

图33是示出本发明的第三实施例涉及的手术机器人的框图。

图34是示出本发明的第三实施例涉及的体感式手术用图像处理装置的框图。

图35是示出本发明的第三实施例涉及的体感式手术用图像处理方法的流程图。

图36是示出根据本发明的第三实施例涉及的体感式手术用图像处理方法输出图像的构成图。

图37是示出本发明的第四实施例涉及的手术机器人的主界面的概念图。

图38是示出本发明的第四实施例涉及的手术机器人的框图。

图39是示出本发明的第四实施例涉及的体感式手术用图像处理装置的框图。

图40是示出本发明的第四实施例涉及的体感式手术用图像处理方法的流程图。

图41是示出本发明的第五实施例涉及的手术机器人的主界面的概念图。

图42是示出本发明的第六实施例涉及的体感式手术用图像处理装置的框图。

图43是示出本发明的第六实施例涉及的体感式手术用图像处理方法的流程图。

图44是示出本发明的第六实施例涉及的手术用内窥镜的旋转动作的示意图。

图45是示出本发明的第六实施例涉及的手术用内窥镜的旋转动作的示意图。

图46和图47是示出本发明的第六实施例涉及的内窥镜图像的示意图。

图48是示出本发明的第七实施例涉及的辅助内窥镜的旋转动作的示意图。

图49是示出本发明的第八实施例涉及的手术机器人的主界面的概念图。

具体实施方式

本发明可以进行多种变化，也可以具有多种实施例，在此例示具体实施例进行详细说明。但是，本发明并不限于具体实施方式，应当理解为，包括属于本发明的思想及技术范围内的所有变化、均等物至代替物。认为在对本发明的说明中有关已知技术的详细说明可能混淆本发明的旨意的情况下，省略该详细说明。

可以使用诸如“第一”和“第二”的术语来描述各种构成要素，但是所述构成要素不受所述术语限制。所述术语仅用于将一个构成要素与另一构成要素区分开来。

在本申请中使用的术语仅用于说明具体的实施例，并不意在限制本发明。单数表示包括复数表示，只要可以清晰地区别理解。在本申请中，诸如“包括”或“具有”等术语表示存在于说明书的描述中采用的特征、序号、步骤、操作、构成要素、组件或其组合，而不排除存在或增加一个或多个不同的特征、序号、步骤、操作、构成要素、组件或其组合的可能性。

另外，可能在说明书中记载的“…部”、“…器”、“模块”等术语表示至少处理一种功能或动作的单位，其可以通过硬件或软件或者硬件及软件的结合实现。

下面，参照附图详细说明本发明的实施例，在参照附图进行说明时，相同或相应的构成要素赋予相同附图标记，省略对其的重复说明。

此外，说明本发明的不同实施例时，不应该独立解释或实施各实施例，应当理解为，在各实施例中说明的特征要素和/或技术思想可以与个别说明的其它实施例组合解释或实施。

此外，根据下面的说明可明确本发明是能够广泛应用于内窥镜、显微镜等利用视觉部的手术或试验等的技术思想。而且，内窥镜也可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜等多种。下面，为了便于说明和理解，视觉部为一种内窥镜、即腹腔镜的情况为例进行说明。

图1是示出本发明的一实施例涉及的手术机器人的整个结构的俯视图，图2是示出本发明的一实施例涉及的手术机器人的主界面的概念图，图3至图6是例示出本发明的一实施例涉及的接面部的运动形态的示意图。

参照图1和图2，手术机器人系统包括：从机器人2，对躺在手术台上的患者进行手术；主机器人1，用于施术者远程操作从机器人2。主机器人1和从机器人2不必是物理上独立的单独装置，可以集成为一体式，在这种情况下，主界面4可相当于例如一体式机器人的界面部分。

主机器人1的主界面4包括监控部6、腹腔镜显示部20和主操纵器，从机器人2包括机器臂3和腹腔镜5。

主界面4的监控部6可以由一个以上的监控器构成，以便能够在各监控器上单独显示手术时所需的信息。在图1和图2中例示出了以腹腔镜显示部20为基准在两侧各包括一个监控器6，监控器的数量可以根据需要显示信息的类型或种类等设定为不同。

监控部6例如可以输出有关患者的一种以上的生物信息。此时，可以通过监控部6的一个以上的监控器输出显示患者状态的指标、例如体温、脉搏、呼吸及血压等生物信息中的一个以上，输出多个信息的情况，也可以按区域划分而输出各信息。为了将这些生物信息提供给主机器人1，从机器人2可以包括生物信息测量单元，该生物信息测量单元包括体温测量模块、脉搏测量模块、呼吸测量模量、血压测量模块、心电图测量模块等中的一个以上。通过各模块测量的生物信息也可以以模拟信号或数字信号的形式自从机器人2传送给主机器人1，而主机器人1可以通过监控部6显示接收到的生物信息。

主截面4的腹腔镜显示部（Telescopic）20向施术者提供通过腹腔镜5输入的手术部位的图像。施术者通过在腹腔镜显示部20的接面部210形成的接目部220观看图像，并通过操纵主操纵器来操作机器臂3和末端执行器（effector），从而对手术部位进行手术。在图2中作为接面部210的一例例示出了以面板（panel）形式构成的情况，然而，接面部210也可以形成为向主界面4的内侧凹陷。此外，在图2中例示出了在接面部210形成有施术者用于观看由腹腔镜5获得的图像的接目部220的情况，但是，接面部210由透视其后面的图像的材料形成时，也可以省略形成接目部220。施术者能够透视接面部210后面的图像的接面部210，例如由透明材料形成，或者也可以涂有偏振模或由用于观看3D IMAX电影的墨镜等透光性材料形成。

腹腔镜显示部20可以构成为，不仅具有作为用于施术者通过接目部220确认来自腹腔镜5图像的显示装置的功能，同时具有作为用于控制腹腔镜5位置和图像输入角度的控制命令输入部的功能。

在腹腔镜显示部20的接面部210突出形成有多个支承部230、240，以便施术者的面部接触或接近该支承部230、240，从而能够识别施术者的面部运动。例如，在上部形成的支承部230与施术者的额头接触，以能够用于固定额头位置，而在侧部形成的支承部240与施术者的眼睛下方部位（例如颧骨部位）接触，以能够用于固定面部位置。在图2中例示出的支承部的位置及数量是例示的，支承部的位置或形状可以有多种，例如下颚固定用托架、面部左右托架290等，支承部的数量也可以不同。面部左右托架的情况，例如可以以条状或板状等形状形成，面部向左侧或右侧运动时，进行支承以使接面部210向对应方向运动。

通过如此形成的支承部230、240，施术者的面部位置被固定，若施术者在通过接目部220观看来自腹腔镜5的图像的过程中向任一方向转动面部，则能够检测到该面部运动而将其作为用于调节腹腔镜5的位置及/或图像输入角度的输入信息利用。例如，当施术者想要确认当前以图像显示的手术部位的左侧部位（即，位于显示画面左侧的部位）时，只要面部朝向左侧的相对转动头部，就能够控制腹腔镜5进行与其相应操作而输出该部位的图像。

即，腹腔镜显示部20的接面部210与主界面4结合构成，以便随着施术者的面部运动，其位置和/或角度变更。为此，主界面4和腹腔镜显示部20的接面部210可以通过游动部250彼此结合。游动部250例如可以由弹性体形成，以便于改变腹腔镜显示部20的位置及/或角度，而且解除施术者面部运动施加的外力的情况下能够恢复到原状态。此外，游动部250由非弹性体形成的情况，也可以通过腹腔镜显示部20控制原状恢复部（参照图9）来使腹腔镜显示部20恢复到原状态。

通过游动部250接面部210可以操作成，在由XYZ轴形成的三维空间中，以虚拟中心点和坐标为基准，向直线方向移动，或向任一方向（例如顺时针方向、逆时针方向等中的一种以上）旋转移动。在此，虚拟中心点可以是接面部210内的任一点或轴，例如可以是接面部210的中心点。

在图3至图6中例示出接面部210的运动形态。

施术者的面部运动方向与X、Y或Z轴平行时，如图3所示，接面部210向面部运动施加力的方向平行移动。

施术者的面部运动方向为在X-Y平面上旋转的情况，如图5所例示，接面部210以基准轴为中心向面部运动施加力的方向旋转移动。此时，根据施加力的方向，接面部210可以向顺时针或逆时针方向旋转移动。

根据施术者面部运动的力向X、Y和Z轴中的两个轴施加时，如图6所例示，接面部210以虚拟中心点和施加力的两个轴为基准进行旋转移动。

如此，接面部210以垂直/水平方向移动及旋转移动，根据面部移动施加的力的方向来决定，也可以如上所述的一种以上的运动形态组合来表示。

在下面参照相关附图详细说明腹腔镜显示部20检测施术者面部运动而生成相应的操作命令的方法及构成。

如图1和图2所例示，主界面4具有主操纵器，以便施术者用双手分别把持进行操作。主操纵器可以具有两个手柄10，或其以上数量的手柄10，随着施术者操作手柄10，相应操作信号传送到从机器人2，从而控制机器臂3。可以通过施术者操作手柄10来进行机器臂3的位置移动、旋转、切割作业等手术动作。

例如，手柄10可以包括主手柄（main handle）和副手柄（sub handle）。施术者可以仅通过主手柄操作从机器臂3或腹腔镜5等，或者也可以操作副手柄同时使多个手术设备进行实时操作。主手柄及副手柄根据其操作方式可以具有多种机械结构，例如，可以使用操纵杆形式、键盘、跟踪球、触摸屏等用于使从机器人2的机器臂3及/或其它手术设备动作的多种输入单元。

主操纵器并不限定于手柄10形状，只要是通过网络能够控制机器臂3动作的形式，均可不受限制地适用。

主机器人1和从机器人2可以通过有线通信网或无线通信网相连接，从而将操作信号、通过腹腔镜5输入的腹腔镜图像等传送给对方。如果，需要在相同及/或相近时间传送通过主界面4上所具有的多个手柄10的多个操作信号及/或用于调节腹腔镜5的操作信号时，各操作信号可以彼此独立地传送到从机器人2。在此，各操作信号‘独立’传送是表示，操作信号之间彼此不干扰，一个操作信号不会影响另一个操作信号。这样的，为了彼此独立地传送多个操作信号，可以利用如下不同方式，在生成各操作信号的阶段对各操作信号赋予标题信息进行传送，或者使各操作信息根据其生成顺序进行传送，或者关于各操作信息的传送顺序预定优先顺序并根据其顺序进行传送等。此时，可以独立地具有传送各操作信息的传送路径，从而从本质上防止各操作信号之间干扰。

从机器人2的机器臂3可以具有多自由度地驱动。机器臂3例如可以包括：手术工具，插入在患者的手术部位；偏转驱动部，根据手术位置以使手术工具向偏转（yaw）方向旋转；俯仰驱动部，向与偏转驱动部的旋转驱动正交的俯仰（pitch）方向旋转手术工具；移送驱动部，向长度方向移动手术工具；旋转驱动部，用于旋转手术工具；手术工具驱动部，设在手术工具的末端，用于切开或切割手术病灶。但是，机器臂3的结构并不限定于此，应该理解为，本发明的保护范围并不限定于这些例示。此外，施术者通过操作手柄10使机器臂3向对应方向旋转、移动等实际控制过程，与本发明的要旨有一定距离，故省略对其的详细说明。

为了对患者进行手术，可以利用一个以上的从机器人2，而用于将手术部位以便能够通过接面部220确认的图像（即画面图像）显示的腹腔镜5也可以由独立的从机器人2来实现。此外，如上所述，本发明的实施例可以广泛应用于利用除腹腔镜之外的各种手术用内窥镜（例如胸腔镜、关节镜、鼻镜等）的手术中。

图7是概略示出本发明的一实施例涉及的用于生成腹腔镜操作命令的腹腔镜显示部的构成的框图，图8是示出本发明的一实施例涉及的腹腔镜操作命令传送方法的流程图。

参照图7，腹腔镜显示部20包括运动检测部310、操作命令生成部320和传送部330。除此之外，腹腔镜显示部20还可以包括施术者通过接目部220能够视觉识别由腹腔镜5输入的手术部位图像的构成要素，但这些与本发明的要旨有一定距离，故省略对其的说明。

运动检测部310，通过检测施术者将面部接触于接面部210的支承部230（及/或240）的状态下向某方向移动面部，来输出传感信息。运动检测部310可以包括用于检测面部运动方向及大小（例如距离）的传感单元。传感单元只要是能够检测接面部210向某方向运动多少的传感单元即可，例如，可以是用于检测支承接面部210的具有弹性的游动部250向某方向拉伸多少的传感器，或者设在主机器人1的内侧，以用于检测在接面部210内侧表面形成的特定点接近或/及旋转多少的传感器等。

操作命令生成部320利用从运动检测部310接收的传感信息来解析施术者的面部运动方向及大小，并根据解析结果生成用于控制腹腔镜5位置及图像输入角度的操作命令。

传送部330将通过操作命令生成部320生成的操作命令传送给从机器人2，以便操作腹腔镜5的位置及图像输入角度，以提供相应的图像。为了传送用于操作机器臂3的操作命令，传送部330也可以是主机器人1所具有的传送部。

图8中示出了本发明的一实施例涉及的腹腔镜操作命令传送方法。

参照图8，在步骤410中，腹腔镜显示部20检测到施术者的面部运动，则转到步骤420，利用通过检测面部运动所生成的传感信息来生成用于操作腹腔镜5的操作命令。

接着，在步骤430中，将在步骤420中生成的用于操作腹腔镜5的操作命令传送给从机器人2。

在此，通过操作腹腔镜5所生成的操作命令，也可以对主机器人1执行特定动作的作用。例如，通过检测面部旋转来旋转腹腔镜5时，有关旋转的操作命令传送给从机器人2的同时，使主机器人1的操作手柄方向也与其相应地变更，从而能够保持施术者的直观性和手术便利性。例如，若检测到接面部210的旋转信号，则腹腔镜5根据生成的操作信号进行旋转，此时，屏幕上显示的图像及其图像上看到的手术用工具的位置可能与当前操作手柄的手的位置不一致，所以可以执行移动操作手柄位置的动作，以使与屏幕上显示的手术用工具的位置一致。如此控制操作手柄方向，不仅可以是接面部210旋转运动时适用，只要是屏幕上显示的手术用工具的位置/方向与实际操作手柄的位置/方向不一致的情况，直线运动时也同样可以适用。

图9是概略示出本发明的另一实施例涉及的用于生成腹腔镜操作命令的腹腔镜显示部的构成的框图，图10是示出本发明的另一实施例涉及的腹腔镜操作命令传送方法的流程图。

参照图9，腹腔镜显示部20可以包括运动检测部310、操作命令生成部320、传送部330、接触检测部510、原状恢复部520。

示出的运动检测部310、操作命令生成部320和传送部330在前面参照图7进行了说明，故省略对其的说明。但是，运动检测部310作为接触检测部510的传感信息识别到施术者面部接触于支承部230（或/及240）的期间能够执行动作。

接触检测部510通过检测施术者的面部是否接触于支承部230（或/及240）来输出传感信息。为此，例如，在支承部的端部可以具有接触检测传感器，除此之外，也可以适用能够检测面部是否接触的各种检测方式。

原状恢复部520作为接触检测部的传感信息识别到施术者的面部与支承部230（或/及240）的接触结束了时，通过控制电机驱动部530来使接面部210恢复到原状态。原状恢复部520可以包括在下面说明的电机驱动部530。

在图9中例示出，作为使接面部210恢复到原状态的动作单元利用电机的电机驱动部530，但用于实现相同目的的动作单元并不限定于此。例如，也可以通过气压或液压等各种方法使接面部210恢复到原状态的进行处理。

原状恢复部520，例如可以利用有关接面部210基准状态（即位置及/或角度）的信息来控制电机驱动部530，或者利用根据操作命令生成部320解析的面部运动方向及大小来控制电机驱动部530向其反方向及大小操作，从而使接面部210恢复到原位置。

例如，施术者为了确认与当前以图像显示的手术部位不同的部位或对该部位采取措施而向该方向转动面部（接面部210也相应移动或旋转）以使腹腔镜5被相应操作的状态下，若检测到面部对接面部210的接触结束时，原状恢复部520可以控制电机驱动部530，使接面部210恢复到指定为默认（default）的基准状态。

电机驱动部530可以包括通过控制原状恢复部520而旋转的电机，电机驱动部530和接面部210彼此结合，以便通过电机的旋转能够调节接面部210的状态（即位置及/或角度）。电机驱动部530可以收纳在主界面4的内侧。电机驱动部530所包括的电机，例如可以是用于能够进行多自由度（degree offreedom）运动的球形电机，为了消除倾斜角度的极限，球形电机的支承结构由球形轴承和圆形转子构成，或者也可以构成为具有用于支承圆形转子的三个自由度的框架结构。

即使接面部210通过上述各构成要素的动作恢复到原状态，操作命令生成部320不会生成及传送对于其的操作命令，所以通过腹腔镜5输入并输出的图像不会改变。因此，能够保持之后施术者通过接目部220确认腹腔镜5图像同时进行手术的一致性。

至此，参照图9说明了通过操作电机驱动部530来实现腹腔镜显示部20的接目部210恢复原状态的情况，但解除施术者面部运动施加的外力时，也可以通过具有弹力的弹性体材料的游动部250来恢复到原状态。接面部210通过弹力恢复到原状态时，用于操作腹腔镜5的操作信号也不会生成。

在图10中示出了本发明的另一实施例涉及的腹腔镜操作命令传送方法。

参照图10，在步骤410中，腹腔镜显示部20检测到施术者的面部运动，则转到步骤420，利用通过检测面部运动所生成的传感信息来生成用于操作腹腔镜5的操作命令。之后，在步骤430中，将在步骤420中生成的用于操作腹腔镜5的操作命令传送给从机器人2。

接着，在步骤610中，腹腔镜显示部20判断施术者对接面部210的接触是否解除。若保持接触状态时，再次转到步骤410，若接触状态解除时，转到步骤620，以控制接面部210恢复到原位置。

图11是概略示出本发明的另一实施例涉及的用于生成腹腔镜操作命令的腹腔镜显示部的构成的框图。

参照图11，腹腔镜显示部20可以包括接触检测部510、摄像部710、存储部720、眼球跟踪部730、操作命令生成部320、传送部330和控制部740。

接触检测部510通过检测施术者的面部是否接触于在接面部210突出形成的支承部230（或/及240）来输出传感信息。

摄像部710根据接触检测部510的传感信息检测到施术者的面部与接面部210接触了时实时拍摄施术者眼睛的图像。摄像部710可以配置成，在主界面4的内侧能够拍摄通过接目部220看到的施术者眼睛。通过摄像部710拍摄到的有关施术者眼睛的图像存储在存储部720，以便眼球跟踪部730进行眼球跟踪（eye tracking）处理。

通过摄像部710拍摄的图像只要是眼球跟踪部730能够进行眼球跟踪（eyetracking）处理的即可，也可以执行用于处理眼球跟踪部730的所需预处理之后存储在存储部720。用于眼球跟踪处理的图像生成方法及生成的图像类型，对于本领域的技术人员来说是显而易见的，故省略对其的说明。

眼球跟踪部730将以实时或规定周期存储在存储部720的图像按时间顺序进行比较分析，并解析施术者瞳孔位置变化及其注视方向来输出解析信息。此外，眼球跟踪部730也可以解析瞳孔模样（例如，眨眼等）来输出对其的解析信息。

操作命令生成部320参照眼球跟踪部730的解析信息来生成操作命令，该操作命令用于控制腹腔镜5的位置及/或图像输入角度，以便施术者的注视方向变化时与其相对应。此外，若瞳孔模样变化是用于输入预定命令的，则操作命令生成部320也可以生成对于此的操作命令。例如，根据瞳孔模样变化的指定命令，可以预定为例如连续眨两次右眼时腹腔镜5接近手术部位，连续眨两次左眼时向顺时针方向旋转等。

传送部330将由操作命令生成部320生成的操作命令传送给从机器人2，以便操作腹腔镜5的位置和图像输入角度，以提供相应图像。为了传送用于操作机器臂3的操作命令，传送部330也可以是已经设在主机器人1的传送部。

控制部740控制所述各构成要素执行指定动作。

至此，参照图11说明了利用眼球跟踪技术识别及处理瞳孔运动的腹腔镜显示部20。但是，并不限定于此，腹腔镜显示部20也可以以检测施术者面部自身的运动来进行识别及处理的方式实现。作为一例，也可以由摄像部710拍摄面部图像，若由分析处理部代替眼球跟踪部730解析拍摄图像中的特定点（例如，两眼位置、鼻子位置、人中位置等中一个以上）的位置及变化，则操作命令生成部320生成与其相应的操作命令。

图12是示出本发明的另一实施例涉及的腹腔镜操作命令传送方法的流程图。

参照图12，在步骤810中，若腹腔镜显示部20通过接触检测部510检测到施术者面部接触，则激活摄像部710生成有关通过接目部220看到的施术者眼睛的数字图像数据，并存储在存储部720。

在步骤820中，腹腔镜显示部20通过比较判断以实时或规定周期存储在存储部720的数字图像数据来生成有关施术者瞳孔位置及注视方向变化的解析信息。比较判断时，腹腔镜显示部20允许有一定误差，所以在规定范围内的位置信息变化，也可以识别为瞳孔位置未发生变化。

在步骤830中，腹腔镜显示部20判断施术者变更的注视方向是否维持了预定临界时间以上。

若变更的注视方向维持了临界时间以上，则在步骤840中，腹腔镜显示部20生成用于操作腹腔镜5能够接收该位置图像的操作命令，而传送给从机器人2。在此，临界时间可以设定为，根据施术者的瞳孔颤动或用于综合确认手术部位整体等的瞳孔运动，腹腔镜5不会被操作的时间，该时间值也可以根据试验、统计设定，或根据施术者等设定。

但是，变更的注视方向没有维持临界时间以上，则再次转到步骤810。

图13是示出本发明的另一实施例涉及的腹腔镜操作命令传送方法的流程图，图14是例示出本发明的实施例涉及的腹腔镜显示部的图像显示形式的示意图。

参照图13，在步骤810中，若腹腔镜显示部20通过接触检测部510检测到施术者面部接触，则激活摄像部710生成有关通过接目部220看到的施术者眼睛的数字图像数据，并存储在存储部720。

在步骤820中，腹腔镜显示部20通过比较判断以实时或规定周期存储在存储部720的数字图像数据来生成有关施术者瞳孔位置及注视方向变化的解析信息。

在步骤910中，腹腔镜显示部20判断施术者的注视方向是否为预定的设定。

在图14中例示出腹腔镜显示部20的图像显示形式。

如图14所例示，施术者可以通过接目部220确认通过腹腔镜5提供的影像图像1010，该影像图像可以包括手术部位和器械1020。此外，腹腔镜显示部20的图像，可以重叠显示施术者的注视位置1030，也可以一同显示设定位置。

作为设定位置可以包括外轮廓边1040、第一旋转指示位置1050和第二旋转指示位置1060等中的一个以上。例如，施术者注视位于外轮廓边1040中任一方向的边临界时间以上时，能够控制腹腔镜5向该方向移动。即，若注视外轮廓边1040中的左侧边临界时间以上时，为了拍摄比当前显示位置位于左侧的部位，能够控制腹腔镜5向左侧移动。此外，若施术者注视第一旋转指示位置1050临界时间以上时，也可以控制腹腔镜向逆时针方向旋转，若施术者注视第二旋转指示位置1060临界时间以上时，控制腹腔镜向顺时针方向旋转。

再次参照图13，施术者注视位置不是上述设定的位置时，再次转到步骤810。

但是，再次参照图13，施术者注视位置为上述设定的位置时，转到步骤920，判断施术者注视是否维持了预定的临界时间以上。

如果施术者对设定位置的注视维持了临界时间以上时，在步骤930中，腹腔镜显示部20使腹腔镜5根据指定命令对该设定位置进行操作的生成操作命令，而传送给从机器人2。

但是，如果施术者对该设定位置的注视没有维持临界时间以上时，再次转到步骤810。

图15是示出本发明的另一实施例涉及的腹腔镜操作命令传送方法的流程图。

参照图15，在步骤810中，若腹腔镜显示部20通过接触检测部510检测到施术者面部接触，则激活摄像部710生成有关通过接目部220看到的施术者眼睛的数字图像数据，并存储在存储部720。

在步骤1110中，腹腔镜显示部20通过比较判断以实时或规定周期存储在存储部720的图像信息来生成有关运行者眼睛模样变化的解析信息。例如，解析信息可以是有关在规定时间内施术者眼睛眨了几次，若眨眼时哪只眼睛眨眼等的信息。

在步骤1120中，腹腔镜显示部20判断有关眼睛模样变化的解析信息是否满足预定的指定条件。例如，根据眼睛模样变化的指定条件可以预先设定，例如，在规定时间内右眼是否连续眨眼二次，在规定时间内左眼是否连续眨眼二次等。

如果有关眼睛模样变化的解析信息满足预定条件时，转到步骤1130，用满足该条件时的指定命令生成用于操作腹腔镜5的操作命令，并传送给从机器人2。例如，根据眼睛模样变化的指定命令可以预先指定为，例如，右眼连续眨眼二次时，腹腔镜5接近手术部位，左眼连续眨眼二次时，向顺时针方向旋转等。

但是，如果有关眼睛模样变化的解析信息不满足预定条件时，转到步骤910。

图16是示出本发明的另一实施例涉及的手术机器人的主界面的概念图。

参照图16，主机器人1的主界面4包括监控部6、主操纵器和拍摄单元1210。虽然未图示，如上所述的从机器人2可以包括机器臂3和腹腔镜5。

如图所示，主界面4的监控部6可以由一个以上的监控器构成，可以在各监控器上单独显示手术时所需的信息（例如由腹腔镜5拍摄的图像、患者的生物信息等）。当然，监控器的数量可以根据需要显示的信息类型或种类等设定为不同。

通过监控部6显示的患者的生物信息（例如脉搏、呼吸、血压、体温等）也可以按区域划分输出，这些生物信息可以通过从机器人2所具有的生物信息测量单元测量后提供给主机器人1。

拍摄单元1210是以非接触式拍摄施术者模样（例如面部区域）的单元。拍摄单元1210例如可以由包括图像传感器的摄像机装置来实现。

由拍摄单元1210拍摄的图像提供给腹腔镜操作单元1200（参照图17），腹腔镜操作单元1200利用解析该图像获得的有关对象物变化量的信息来控制腹腔镜5执行旋转、移动操作或执行图像的放大/缩小操作。

此外，主界面4可以具有主操纵器，以便施术者用双手分别把持进行操作。主操纵器可以具有两个以上手柄10，随着施术者操作手柄10，相应的操作信号传送到从机器人2，从而控制机器臂3。施术者可以通过操作手柄10来进行机器臂3的位置移动、旋转、切割作业等手术动作。

例如，手柄10可以包括主手柄和副手柄，施术者可以仅通过主手柄操作具有多自由度地驱动的从机器人2的机器臂3或腹腔镜5等，或者也可以操作副手柄同时使多个手术设备进行实时操作。当然，主操纵器并不限定于手柄形状，只要是通过网络能够控制机器臂3动作的形式，均可不受限制地适用。

从机器人2可以利用一个以上，以便对患者进行手术，用于通过显示部6以能够确认的图像（即画面图像）显示手术部位的腹腔镜5也可以由独立的从机器人2实现。如上所述，本发明的实施例可以广泛应用于利用除腹腔镜之外的各种手术用内窥镜（例如胸腔镜、关节镜、鼻镜等）的手术中。

图17是概略示出本发明的另一实施例涉及的腹腔镜操作单元的构成的框图，图18是示出本发明的另一实施例涉及的腹腔镜操作单元的动作概念的示意图，图19和图20是分别例示出为了操作本发明的另一实施例涉及的腹腔镜而面部运动的示意图。

参照图13，腹腔镜操作单元1200包括存储部1220、角度及距离算出部1230、操作命令生成部1240和传送部1250。在图示的构成要素中的一个以上，可以通过软件程序实现，或者可以由硬件和软件程序的组合构成。另外，可以省略图示的一个以上的构成要素。

存储部1220用于存储通过拍摄单元1210拍摄的影像图像、通过角度及距离算出部1230算出的位移量信息。

位移量信息可以包括利用算出周期中连续的两张影像图像算出的两眼的延长线与画面中心线（即经过影像图像的横向和竖向中心点的水平线）之间的内角和有关旋转方向的信息、面部内的基准点之间的移动距离信息、两眼的中心点之间的间距变化量信息等。

当然，为了算出位移量信息等，并不仅限利用连续的两张影像图像，也可以利用当前影像图像和之前任何时候拍摄的影像图像。例如，存在第n-3次拍摄的影像图像、第n-2次拍摄的影像图像、第n-1次拍摄的影像图像、当前时间的第n次拍摄的影像图像时，解析时利用的影像图像的拍摄周期为3的情况，可以利用第n-3次拍摄的影像图像和第n次拍摄的影像图像来算出位移量信息等。虽然省略另行说明，但这些原则不仅可以适用于位移量信息，也可以同样适用于算出角度和距离等。但是，本说明书中为了便于说明和理解，解析用于生成特定信息的影像图像时，利用当前拍摄的影像图像和之前拍摄的影像图像的情况为例进行说明。

角度及距离算出部1230在由拍摄单元1210拍摄且存储于存储部1220的影像图像中利用算出周期中连续的两张影像图像（即当前拍摄的影像图像和之前拍摄的影像图像）来生成影像图像之间的位移量信息，并存储在存储部1220。

在此，角度及距离算出部1230可以生成利用连续的两张影像图像算出的有关两眼的延长线与画面中心线之间的内角和旋转方向的信息、面部内的基准点之间的移动距离信息、两眼的中心点之间的间距变化量信息等。

下面，说明角度及距离算出部1230生成位移量信息的方法。但是，通过解析影像图像来识别面部区域、眼睛位置及基准点（例如鼻子中心点）位置的影像解析技术，对于本领域的技术人员来说是显而易见的，故省略对其的详细说明。

首先，为了生成有关面部转动的信息，如图19所示，角度及距离算出部1230在由拍摄单元1210拍摄且存储于存储部1220的影像图像中算出双目（两眼）的延长线与画面中心线之间的内角大小，并与解析之前影像图像的内角大小进行比较，从而生成有关旋转方向和旋转角度的信息。

即，如图19的（b）和（c）所例示，例如通过边缘检测技术等图像处理技术识别在由拍摄单元1210拍摄并生成的影像图像中双目的位置和形状，因此，取得各眼的中心点之后，算出连接各眼中心点的虚拟直线与画面中心线所形成的内角大小和面部旋转方向。即，若之前生成的影像图像是（a）的原始影像图像，而当前生成的影像图像是与（b）相同的影像图像，则可以通过相互比较在各影像图像连接画面中心线和两眼中心点的直线所形成的交点在面部的哪个位置形成及相应的内角大小，来识别面部向哪个方向旋转了多少角度。

其次，为了生成有关面部平行移动的信息，角度及距离算出部1230在由拍摄单元1210拍摄且存储于存储部1220的影像图像中，检测面部内预定的基准点（例如鼻子中心点）从影像图像的横向和竖向中心点移动了多少。

即，如图19的（d）所例示，在用虚线表示的原始影像图像中，基准点与影像图像的中心点一致，但在当前的影像图像中，可以识别到基准点从影像图像的中心点向右侧平行移动了任意距离。当然，平行移动方向可以是上下左右等多种。

其次，为了生成有关画面放大和缩小的信息，角度及距离算出部1230在由拍摄单元1210拍摄且存储于存储部1220的影像图像中算出双目间距（图20的d1、d2或d3），并运算出算出的距离比之前拍摄存储的影像图像中的双目距离增加（即施术者的面部向接近拍摄单元1210的方向移动）还是减少（即施术者的面部向远离拍摄单元1210的方向移动）。双目距离可以指定及适用多种，例如、各眼的中心点之间的距离，或各眼的外轮廓线之间的最短距离等。

操作命令生成部1240利用通过角度及距离算出部1230算出的位移量信息，来生成用于控制腹腔镜5位置（例如移动、旋转等）及图像倍率（例如放大、缩小等）的操作命令。

若识别到施术者的面部向任一方向旋转了时，操作命令生成部1240生成用于使腹腔镜5旋转的操作命令；若识别到施术者的面部向任一方向平行移动了时，操作命令生成部1240生成用于使腹腔镜5向相应方向及相应距离移动的操作命令；若识别到施术者的面部接近或远离拍摄单元1240方向时，操作命令生成部1240生成使由腹腔镜5拍摄生成的影像图像的倍率放大或缩小的操作命令。

传送部1250将由操作命令生成部1240生成的操作命令传送给从机器人2，以便操作腹腔镜5位置等，以提供相应图像。为了传送用于操作机器臂3的操作命令，传送部1250也可以是已经设在主机器人1的传送部。

此外，虽然在图17中未图示，也还可以包括判断部，该判断部用于判断当前通过拍摄单元1210拍摄的影像图像中的用户是否为被认证用户。

即，判断部判断当前拍摄的影像图像中的面部模样是否与作为被认证用户预先存储在存储部1220的影像图像中的面部模样在误差范围内一致，只有在一致的情况下，能够进行根据上述方式的腹腔镜操作。当然，判断部判断是否为被认证用户时，不仅可以利用面部模样这一特征要素，也可以利用眼睛/眉毛/鼻子/嘴的位置和形状、瞳孔颜色、皮肤颜色、皱纹、红晕等特征要素中的一个以上。

如此，增设有判断部，所以，即使通过拍摄单元1210拍摄的影像图像中拍摄到多人，腹腔镜仅对施术者面部模样的变化联动操作。

此外，判断部可以通过判断影像图像中的面部模样是否位于预定的区域或面部大小是否大于等于影像图像中预定的尺寸，来进一步判断是否使上述腹腔镜操作单元1200作用。当然，判断部也可以由判断面部大小是否符合预定的尺寸标准来代替判断面部大小是否大于等于预定的尺寸。这是施术者面部贴的太近时也有可能导致误动作的原因。

例如，如图18所例示，判断部可以通过判断面部是否位于在显示出由拍摄单元1210拍摄的影像图像的显示区域1310内的预定区域1320，来决定腹腔镜操作单元1200是否作用。当然，并不限制面部包含于整个预定区域1320，也可以预先设定为，只要面部的一部分包含于预定区域1320即可。

如果，面部位于预定区域1320内时，可以使腹腔镜操作单元1200进行动作，否则，使腹腔镜操作单元1200不进行动作。

此外，如图18所例示，判断部可以通过判断包含于影像图像内的面部大小是否大于预定区域1320的大小，来决定腹腔镜操作单元1200是否作用。面部大小是否大于预定区域1320的大小，例如，可以通过判断检测面部外轮廓线而计算的面积和预定区域1320的大小有什么关系来进行。此时，还可以判断面部大小是否小于指定阈值。

如果，如（a）所示，面部大小小于预定区域的尺寸时，可能是位于远离主界面4的第三人，或者即便是施术者，也位于远离主界面4而不进行手术动作，所以可以使腹腔镜操作单元1200不起作用。

如此，判断部只有在预定区域1320内显示规定尺寸以上的面部时，使腹腔镜操作单元1200作用，因此，能够防止腹腔镜5根据非施术者的第三人的面部运动或与手术动作无关地运动而误操作。

此外，判断部也可以只有在由拍摄单元1210拍摄的影像图像中面部运动保持一定时间时，使上述腹腔镜操作单元1200作用的进行处理。例如，可以预先设定为，只有在识别到施术者注视前方的正常状态下将头向右侧倾斜规定角度之后保持规定时间（例如两秒）时，腹腔镜操作单元1200生成并传送操作命令，以使腹腔镜向右侧旋转或/及移动相应角度。当然，判断部不仅是面部运动保持规定时间时，也可以是面部运动超出预定范围时，使腹腔镜操作单元1200作用的进行处理。

由此，能够防止施术者有意识或无意思地进行回头或移动等行动时，插入于患者腹部的腹腔镜5随着施术者的运动突然被操作的危险。这方面可以与前面描述的方法类似的处理，即，面部脱离接触式结构时，切断施术者运动传递给从机器人2，从而确保患者安全。

此外，判断部也还可以执行请求功能，在由拍摄单元1210拍摄的影像图像中识别到面部内的特征部位变化（例如眨眼）时，请求由操作命令生成部1240生成相应的操作命令并传送给从机器人2。存储部1220可以预先存储特征部位变化时应生成何种操作命令的信息。

例如，在手术过程中，由拍摄单元1210拍摄的影像图像被雾气变模糊而无法看清对象物时等，若施术者只眨左眼，则操作命令生成部1240可以生成用于向腹腔内排出二氧化碳而打开阀门的操作命令，并传送给从机器人2。作为另一例，在手术过程中，施术者只眨右眼，则可以生成并输出使当前手术中部位的之前图像作为增强现实显示或消失在主界面4的监控器6上的操作命令。

当然，判断部除了识别影像图像中的面部内的特征部位变化来指示生成操作命令的方法之外，也可以利用图像解析技术识别上下点头或左右摇头动作来指示生成相应操作命令。例如，若识别到施术者点头动作时，识别为肯定反应，若识别到施术者摇头动作时，识别为否定反应。

利用这些，当在特定情况下手术机器人要求施术者对某些动作的执行进行是/否的选择时，施术者不必按下设在控制台或操作手柄上的按钮，仅通过点头或摇头行为，也可以应答手术机器人。

此外，本实施例涉及的非接触式腹腔镜控制方法，使用三维腹腔镜时，也可以根据面部和眼睛的位置调节三维图像处理所需的左/右图像重叠程度。

图21是示出本发明的另一实施例涉及的腹腔镜操作单元的动作过程的流程图。

参照图21，在步骤1610中，腹腔镜操作单元1200通过解析拍摄有施术者面部的影像图像来检测面部区域、眼睛位置及基准点（例如鼻子中心点）位置。

接着，在步骤1620中，腹腔镜操作单元1200对该影像图像算出两眼延长线与画面中心线之间的内角和旋转方向，并利用与对之前拍摄的影像图像算出的内角和旋转方向的差，来算出当前施术者的面部旋转方向和旋转角度。

此外，在步骤1630中，腹腔镜操作单元1200对该影像图像算出面部内的基准点与之前拍摄的影像图像中的面部基准点之间的距离变化量。

此外，在步骤1640中，腹腔镜操作单元1200对该影像图像算出两眼中心点之间的距离，并参照对之前拍摄的影像图像算出的两眼中心点之间的距离，来算出两眼之间的距离变化量。

上述步骤1620至步骤1640，可以按顺序或不按顺序执行，或者也可以同时执行。

在步骤1650中，腹腔镜操作单元1200生成与在步骤1620至步骤1640中算出的位移量信息相应的操作命令并提供给从机器人2，以便操作腹腔镜5。

图22是具体示出本发明的另一实施例涉及的图21的步骤1610的流程图。

上述图21的步骤1610是关于腹腔镜操作单元1200通过解析拍摄有施术者面部的影像图像来检测面部区域、眼睛位置及基准点（例如鼻子中心点）位置的步骤。

参照具体例示出步骤1610的图22，腹腔镜操作单元1200在步骤1710中接收拍摄有施术者面部的影像图像，之后转到步骤1720通过解析该影像图像来检测面部区域、眼睛位置及基准点（例如鼻子中心点）位置。

接着，在步骤1730中，腹腔镜操作单元1200判断施术者的该运动状态是否维持了规定时间。

如果该运动状态维持了规定时间，则识别为需要操作腹腔镜5，从而转到步骤1620至步骤1640。

但是，如果该运动状态没有维持规定时间，则识别为与腹腔镜5操作无关的运动，从而再次转到步骤1710。

如此，为了保证是否操作腹腔镜5的准确性，步骤1610可以具体化为多个步骤。

除此之外，步骤1610可以具体化为多种方式。

作为一例，判断接收的影像图像中的面部模样作为被认证用户与预先存储在存储部1220的面部模样在误差范围内是否一致，只有在误差范围内一致时，可以转到步骤1620至步骤1640的进行具体化。

作为另一例，判断接收的影像图像中的面部模样是否位于预定区域或者面部大小是否大于等于预定尺寸或者小于等于预定尺寸，只有在面部大小大于等于指定尺寸且位于符合指定区域时，才转到步骤1620至步骤1640的进行具体化。

此外，步骤1610可以用不同方式进行具体化，也可以综合包括一个以上的实施例而进行具体化。

所述的腹腔镜操作方法也可以通过软件程序等实现。构成程序的代码及代码段，可由该领域的计算机编成人员容易推理出。而且，程序存储在计算机可读介质（computer readable media）上，被计算机读取执行，从而实现所述方法。计算机可读介质包括磁记录媒体、光记录媒体及载波媒体。

图23是示出本发明的实施例涉及的手术机器人的整个结构的俯视图，图24是示出本发明的第一实施例涉及的手术机器人的主界面的概念图。

本实施例特征在于，对应于根据手术用内窥镜的运动而变化的内窥镜视点，来改变向用户看到的监控器输出的内窥镜图像的输出位置，从而能够使用户更真实地感受到实际手术状况。即，内窥镜视点可以与进行手术的用户视点一致，所以本实施例具有如下特征，使腹腔内的内窥镜视点与在外部手术现场输出内窥镜图像的监控器的位置及输出方向一致，从而位于外部手术现场的系统动作反映出实际在患者内部运动的内窥镜动作，更加有真实感。

本实施例涉及的手术用内窥镜不仅可以是腹腔镜，也可以是胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜等手术时作为拍摄工具使用的不同种类的工具。此外，本实施例涉及的手术用内窥镜可以是立体内窥镜。即，本实施例涉及的手术用内窥镜可以是生成立体图像信息的立体内窥镜，这种生成立体图像信息的方式可以由不同技术来实现。例如，本实施例涉及的手术用内窥镜为了获得具有立体信息的多个图像可以具有多个摄像机，或者可以采用利用一个摄像机获得多个图像等不同方式获得立体图像。除了这些方式之外，本实施例涉及的手术用内窥镜可以通过其它不同方式生成立体图像。

此外，本实施例涉及的体感式手术用图像处理装置，并不仅限于如图所示的手术机器人系统来实现，只要是手术时输出内窥镜图像9并利用手术工具进行手术的系统均可适用。下面，以在手术机器人系统上适用本实施例涉及的手术用图像处理装置的情况为中心进行说明。

参照图23和24，手术机器人系统包括：从机器人2，对躺在手术台上的患者进行手术；主机器人1，用于施术者远程操作从机器人2。主机器人1和从机器人2不必是物理上独立的单独装置，可以集成为一体式，在这种情况，主界面4可相当于例如一体式机器人的界面部分。

主机器人1的主界面4包括监控部6和主操纵器，从机器人2包括机器臂3和器械5a。器械5a是如腹腔镜等内窥镜，对患者直接进行操作的手术器械等手术工具。

主界面4具有主操纵器，以便施术者用双手分别把持进行操作。如图23和24所例示，主操纵器可以具有两个手柄10，随着施术者操作手柄10，相应的操作信号传送到从机器人2，从而控制机器臂3。可以通过施术者操作手柄10来进行机器臂3及/或器械5a的位置移动、旋转、切割作业等。

例如，手柄10可以包括主手柄（main handle）和副手柄（sub handle）。也可以仅通过一个手柄操作从机器臂3或器械5a等，或者也可以增加副手柄同时使多个手术设备进行实时操作。主手柄及副手柄根据其操作方式可以具有多种机械结构，例如，可以使用操纵杆形式、键盘、跟踪球、触摸屏等用于使从机器人2的机器臂3及/或其它手术设备动作的多种输入单元。

主操纵器并不限定于手柄10形状，只要是通过网络能够控制机器臂3动作的形式，均可不受限制地适用。

在主界面4的监控部6以画面图像显示由器械5a输入的内窥镜图像9、摄像机图像及建模图像。此外，显示在监控部6的信息，根据被选择的图像种类可以是多种多样的。

监控部6可以由一个以上的监控器构成，以便能够在各监控器上单独显示手术时所需的信息。在图23和图24中例示出了监控部6包括三个监控器，监控器的数量可以根据需要显示信息的类型或种类等设定为不同。此外，监控部6包括多个监控器时，画面可以彼此联动扩展。即，内窥镜图像9如在一个监控器上显示的窗口（window）那样，可以自由移动于各监控器，在各监控器上输出彼此连接的部分图像，所以也可以输出整个图像。

从机器人2和主机器人1可以通过有线或无线相连接，从而主机器人1可以向从机器人2传送操作信号，从机器人2向主机器人1传送由器械5a输入的内窥镜图像9。如果，需要在相同及/或相近时间传送通过主界面4上所具有的两个手柄10的两个操作信号及/或用于调节器械5a位置的操作信号时，各操作信号可以彼此独立地传送到从机器人2。在此，各操作信号‘独立’传送是表示，操作信号之间彼此不干扰，一个操作信号不会影响另一个操作信号。这样的，为了彼此独立地传送多个操作信号，可以利用如下不同方式，在生成各操作信号的阶段对各操作信号赋予标题信息进行传送，或者使各操作信息根据其生成顺序进行传送，或者关于各操作信息的传送顺序预先设定优先顺序并根据其顺序进行传送等。此时，可以独立地具有传送各操作信息的传送路径，从而从本质上防止各操作信号之间干扰。

从机器人2的机器臂3可以具有多自由度地驱动。机器臂3例如可以包括：手术工具，插入在患者的手术部位；偏转驱动部，根据手术位置以使手术工具向偏转（yaw）方向旋转；俯仰驱动部，向与偏转驱动部的旋转驱动正交的俯仰（pitch）方向旋转手术工具；移送驱动部，向长度方向移动手术工具；旋转驱动部，用于旋转手术工具；手术工具驱动部，设在手术工具的末端，用于切开或切割手术病灶。但是，机器臂3的结构并不限定于此，应该理解为，本发明的保护范围并不限定于这些例示。此外，施术者通过操作手柄10使机器臂3向对应方向旋转、移动等实际控制过程，与本发明的要旨有一定距离，故省略对其的详细说明。

为了对患者进行手术，可以利用一个以上的从机器人2，而用于通过监控部6以画面图像显示手术部位的器械5a，也可以由独立的从机器人2来实现，主机器人1也可以与从机器人2一体化。

图25是示出本发明的第一实施例涉及的手术机器人的框图。参照图25，示出了包括图像输入部2310、画面显示部2320、臂操作部2330、操作信号生成部340、画面显示控制部2350、控制部370的主机器人1，和包括机器臂3、内窥镜8的从机器人2。

本实施例涉及的体感式手术用图像处理装置可以由包括图像输入部2310、画面显示部2320、画面显示控制部2350的模块实现，当然，这种模块也可以包括臂操作部2330、操作信号生成部340、控制部370。

图像输入部2310通过有线或无线传送接收由从机器人2的内窥镜8输入的图像。内窥镜8也可以作为本实施例涉及的手术工具的一种，其数量可以是一个以上。

画面显示部2320将对应于通过图像输入部2310接收的图像的画面图像作为视觉信息输出。画面显示部2320将内窥镜图像以原来大小或放大（ZoomIn）/缩小（Zoom Out）输出，或者将内窥镜图像和后述建模图像相匹配或以单独图像输出。

此外，画面显示部2320也可以将内窥镜图像和反映整个手术状况的图像、例如摄像机拍摄手术对象外部生成的摄像机图像同时及/或相匹配输出，以便容易掌握手术状况。

此外，画面显示部2320也可以执行如下功能，输出输出图像的一部分或在单独画面上生成的窗口（window）上输出缩小整个图像（内窥镜图像、建模图像及摄像机图像等）的图像，施术者利用上述主操纵器从输出的缩小图像选择或旋转特定点时，整个输出图像移动或旋转，所谓CAD程序的鸟瞰图（bird`s eye view）功能。如上所述的对输出到画面显示部2320的图像进行放大/缩小、移动、旋转等的功能，可以由控制部370对应主操纵器操作来进行控制。

画面显示部2320可以以监控部6等形式实现，用于将接收图像通过画面显示部2320以画面图像输出的图像处理程序，可以通过控制部370、画面显示控制部2350或单独的图像处理部(未图示)执行。本实施例涉及的画面显示部2320可以是实现各种技术的显示器，例如，多视觉显示器、UHDTV（7380×4320）等超高分辨率的监控器。此外，本实施例涉及的画面显示部2320可以是3D显示器。例如，本实施例涉及的画面显示部2320可以利用双目视差原理使用户分析左眼用和右眼用图像来识别。这种3D图像实现方式可以以眼镜式（例如红蓝眼镜方式（Anaglyph）、偏光眼镜方式（被动式眼镜）、快门眼镜方式（主动式眼镜）等）、双凸透镜方式、障碍法等不同方式来实现。

画面显示部2320将输入的内窥镜图像输出到特定区域。在此，特定区域可以是在画面上具有规定大小及位置的区域。如上所述的这些特定区域可以对应于内窥镜8的视觉变化来决定。

画面显示控制部2350可以对应于内窥镜8的视觉设定这些特定区域。即，画面显示控制部2350对应于内窥镜8旋转、移动等动作追踪其视点，并反映这些，在画面显示部2320设定输出内窥镜图像的特定区域。

臂操作部2330是使施术者能够操作从机器人2的机器臂3的位置及功能的单元。如图24所例示，臂操作部2330可以形成为手柄10形状，但并不限定于该形状，可以变更为用于实现相同目的的不同形状来实现。例如，也可以部分形成为手柄形状，其他部分形成为离合器按钮等不同形状，也还可以形成手指插入管或插入环，施术者手指能够插入于该插入管或插入环并进行固定，以便容易操作手术工具。

施术者为了移动机器臂3及/或内窥镜8的位置或进行手术操作而操作臂操作部2330时，操作信号生成部340生成与其相应的操作信号，并传送给从机器人2。操作信号可以通过有线或无线通信网传送。

操作信号生成部340利用根据施术者操作臂操作部340的相应操作信息生成操作信号，生成的操作信号传送给从机器人2，结果使得实际手术工具进行对应于操作信号的操作。而且，根据操作信号操作的实际手术工具的位置及操作形状，施术者可以通过内窥镜8输入的图像来确认。

图26是示出本发明的第一实施例涉及的体感式手术用图像处理装置的框图。参照图26，画面显示控制部2350可以包括内窥镜视点追踪部351、图像移动信息提取部353、图像位置设定部355。

内窥镜视点追踪部351对应于内窥镜8的移动及旋转，追踪内窥镜8的视点信息。在此，视觉信息表示内窥镜所视的视点（view point），这些视点信息可以从所述手术机器人系统操作内窥镜8的信号提取。即，视点信息可以由操作内窥镜8移动及旋转运动的信号来特定。这些内窥镜8操作信号在手术机器人系统生成并传送到操作内窥镜8的机器臂3，所以利用这些信号，可以追踪内窥镜8的所视方向。

图像移动信息提取部353利用内窥镜8的视点信息，来提取内窥镜图像的移动信息。即，内窥镜8的视点信息可以包括有关被取得的内窥镜图像的拍摄对象的位置变化量信息，从这些信息可以提取内窥镜图像的移动信息。

图像位置设定部355利用提取的移动信息来设定输出内窥镜图像的画面显示部2320的特定区域。例如，若内窥镜8的视点信息变化为规定向量A，则有关患者内部脏器的内窥镜图像，对应于该向量，来特定其移动信息，并利用该移动信息设定画面显示部2320的特定区域。若内窥镜图像变化为规定向量B，则可以利用这些信息和画面显示部2320的尺寸、形状、分辨率，来设定在画面显示部2320实际输出内窥镜图像的特定区域。

图27是示出本发明的第一实施例涉及的体感式手术用图像处理装置的流程图。下面所要执行的各步骤可以以画面显示控制部2350为主体进行，但各步骤不必以描述顺序的时间序列执行。

在步骤S511中，对应于内窥镜8的移动及旋转，追踪作为有关内窥镜8所视视点的信息的内窥镜8的视点信息。视点信息根据操作内窥镜8移动及旋转运动的信号来特定，所以能够追踪内窥镜8的所视方向。

在步骤S513中，利用内窥镜8的视点信息，提取内窥镜图像的移动信息，该内窥镜图像的移动信息对应于内窥镜图像的拍摄对象的位置变化量。

在步骤S515中，利用提取的移动信息，设定在画面显示部2320输出内窥镜图像的特定区域。即，若如上所述的特定内窥镜8的视点信息及内窥镜图像的移动信息，则利用这些移动信息，设定在画面显示部2320输出内窥镜图像的特定区域。

在步骤S517中，在画面显示部2320设定的特定区域输出内窥镜图像。

图28是示出根据本发明的第一实施例涉及的体感式手术用图像处理方法输出图像的构成图。画面显示部2320可以是整个画面，通过内窥镜8取得的内窥镜图像2620可以输出到画面显示部2320的特定位置，例如，内窥镜图像2620的中心点位于坐标X、Y。坐标X、Y可对应于内窥镜8视点的变化量来设定。例如，内窥镜8的视点信息及内窥镜图像的移动量向左+1、向竖向-1的变化时，内窥镜图像2620的中心点可以向坐标X+1、Y-1的位置移动。

图29是示出本发明的第二实施例涉及的手术机器人的框图。参照图29，示出了包括图像输入部2310、画面显示部2320、臂操作部2330、操作信号生成部340、画面显示控制部2350、图像存储部360、控制部370的主机器人1，和包括机器臂3、内窥镜8的从机器人2。下面，主要说明与上述的区别。

本实施例特征在于，在当前时间，提取之前输入存储的内窥镜图像并与当前内窥镜图像一同输出到画面显示部2320，从而能够向用户通知有关内窥镜图像变化的信息。

图像输入部2310接收从手术用内窥镜以彼此不同时间点提供的第一内窥镜图像和第二内窥镜图像。在此，第一、第二等序数可以是用于区分彼此不同内窥镜图像的识别号，第一内窥镜图像和第二内窥镜图像可以是内窥镜8在彼此不同时间点及视点拍摄的图像。此外，图像输入部2310可以比先于第二内窥镜图像接收第一内窥镜图像。

图像存储部360存储该第一内窥镜图像和第二内窥镜图像。图像存储部360不仅存储第一内窥镜图像和第二内窥镜图像的实际图像内容的图像信息，也存储有关输出到画面显示部2320的特定区域的信息。

画面显示部2320向彼此不同区域输出第一内窥镜图像和第二内窥镜图像，而画面显示控制部2350可以控制画面显示部2320，以便对应于内窥镜8的彼此不同视点，将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出。

在此，画面显示部2320可以输出使彩度、亮度、颜色及画面图案中一种以上不同的第一内窥镜图像和第二内窥镜图像。例如，画面显示部2320将当前输入的第二内窥镜图像以彩色图像输出，而过去图像的第一内窥镜图像以黑白图像等输出，从而能够使用户区分图像。参照图32，例示出了作为当前输入图像的第二内窥镜图像622以彩色图像输出于坐标X1、Y1，而作为过去输入图像的第一内窥镜图像621形成有画面图案、即斜杠图案而输出于坐标X2、Y2。

此外，作为之前图像的第一内窥镜图像可以继续或仅在预定时间内输出。后者的情况，过去图像仅在规定时间内向画面显示部2320输出，所以画面显示部2320可以持续更新为新的内窥镜图像。

图30是示出本发明的第二实施例涉及的体感式手术用图像处理装置的框图。参照图30，画面显示控制部2350可以包括内窥镜视点追踪部351、图像移动信息提取部353、图像位置设定部355、存储图像显示部357。

内窥镜视点追踪部351对应于内窥镜8的移动及旋转来追踪内窥镜8的视点信息，图像移动信息提取部353利用内窥镜8的视点信息来提取上述内窥镜图像的移动信息。

图像位置设定部355利用提取的移动信息来设定在画面显示部2320输出内窥镜图像的特定区域。

在画面显示部2320输出实时输入的第二内窥镜图像的期间，存储图像显示部357提取存储于存储部360的第一内窥镜图像向画面显示部2320输出。由于第一内窥镜图像和第二内窥镜图像的其输出区域及图像信息彼此不同，所以，存储图像显示部357向画面显示部2320输出作为过去图像的第一内窥镜图像，过去图像是从图像存储部360提取这些信息而存储的。

图31是示出本发明的第二实施例涉及的体感式手术用图像处理方法的流程图。下面描述的各步骤可以以画面显示控制部2350为主体进行，大致可以区分为输出第一内窥镜图像的步骤和输出第二内窥镜图像的步骤，但如上所述的第一内窥镜图像和第二内窥镜图像可以同时输出。

在步骤S511中，对应于内窥镜8的第一移动及旋转信息，追踪作为有关内窥镜8所视视点的信息的内窥镜8的视点信息。

在步骤S513中，提取第一内窥镜图像的移动信息，在步骤S515中，利用提取的移动信息，设定在画面显示部2320输出内窥镜图像的特定区域，在步骤S517中，在设定位置输出第一内窥镜图像。

在步骤S519中，在图像存储部360存储有关输出的第一内窥镜图像的信息及第一画面位置。

在步骤S521中，对应于内窥镜8的第二移动及旋转信息，追踪作为有关内窥镜8所视视点的信息的内窥镜8的视点信息。

在步骤S522中，提取第二内窥镜图像的移动信息，在步骤S523中，利用提取的移动信息，设定在画面显示部2320输出内窥镜图像的特定区域，在步骤S524中，在设定位置输出第二内窥镜图像。

在步骤S525中，在图像存储部360存储有关输出的第二内窥镜图像的信息及第一画面位置。在步骤S526中，与第二内窥镜图像一同向第一画面位置输出存储于图像存储部360的第一内窥镜图像。在此，第一内窥镜图像可以与第二内窥镜图像的彩度、亮度、颜色及画面图案中一种以上不同的输出。

图33是示出本发明的第三实施例涉及的手术机器人的框图。参照图33，示出了包括图像输入部2310、画面显示部2320、臂操作部2330、操作信号生成部340、画面显示控制部2350、控制部370、图像匹配部450的主机器人1，和包括机器臂3、内窥镜8的从机器人2。下面，主要说明与上述的区别。

本实施例的特征在于，能够将手术时利用内窥镜实际拍摄的内窥镜图像和预先生成并存储于图像存储部360的手术工具的建模图像各自或彼此匹配，或调节其尺寸等进行图像修改后，向用户可观察的画面显示部2320输出。

图像匹配部450将通过图像输入部2320接收的内窥镜图像和存储于所述图像存储部360的有关手术工具的建模图像进行彼此匹配，并生成输出图像，且将其输出到画面显示部2320。内窥镜图像是利用内窥镜拍摄患者身体内部的图像，仅拍摄限定区域而获得的图像，所以包括手术工具的部分模样的图像。

建模图像是将整个手术工具的形状以2D或3D图像实施而生成的图像。建模图像可以是手术开始时间之前的特定时间、例如在初期设定状态拍摄的手术工具图像。建模图像是通过计算机模拟手术技术生成的图像，所以图像匹配部450可以在实际内窥镜图像上匹配示出的手术工具和建模图像输出。建模实际物体而获得图像的技术，与本发明的要旨有一定距离，故省略对其的详细说明。此外，图像匹配部450的具体功能、不同细节结构等，在下面参照相关附图进行详细说明。

控制部370控制各构成要素的动作，以便能够执行所述功能。控制部370也可以执行将通过图像输入部2310输入的图像转换成通过画面显示部2320显示的影像图像。此外，控制部360控制图像匹配部450，以便根据臂操作部2330的操作而输入相应操作信息时，与其相应的通过画面显示部2320输出建模图像。

包含于内窥镜图像中的实际手术工具是包含于通过内窥镜8输入而传送到主机器人1的图像中的手术工具，是直接对患者身体实施手术行为的手术工具。与此相比，包含于建模图像中的建模手术工具预先数学建模手术工具而以2D或3D图像存储于图像存储部360。内窥镜图像的手术工具和建模图像的建模手术工具，可以由根据施术者操作臂操作部2330而被主机器人1识别的操作信息（即有关手术工具移动、旋转等的信息）控制。可以通过操作信息决定实际手术工具和建模手术工具的其位置及操作形状。参照图36，内窥镜图像2620与建模图像2610相匹配而输出在画面显示部2320的坐标X、Y。

建模图像不仅包括手术工具图像，也可以包括建模患者脏器而再构成的图像。即建模图像包括参照从计算机断层摄影检查（CT、ComputerTomography）、磁共振（MR、Magnetic Resonance）、正电子发射断层扫描（PET、Positron Emission Tomography）、单光子发射计算机断层扫描（SPECT、SinglePhoton Emission Computed Tomography）、超声波扫描（US、Ultrasonography）等图像设备获取的图像再构成的患者脏器表面的2D或3D图像，此时，若将实际内窥镜图像和计算机建模图像进行匹配，则可以向施术者进一步提供包含手术部位的整个图像。

图34是示出本发明的第三实施例涉及的体感式手术用图像处理装置的框图。参照图34，图像匹配部450可以包括特性值运算部451、建模图像实现部453、重叠图像处理部455。

特性值运算部451利用由从机器人2的腹腔镜8输入提供的图像及/或结合于机器臂3的实际手术工具的位置的坐标信息等运算特性值。实际手术工具的位置可以参照从机器人2的机器臂3的位置值来识别，有关该位置的信息，也可以自从机器人2提供给主机器人1。

特性值运算部451例如可以利用通过腹腔镜8的图像等运算出腹腔镜8的视角（FOV、Field of View）、放大率、视点（例如所视方向）、所视深度等，和实际手术工具的种类、方向、深度、弯曲程度等特性值。利用腹腔镜8的图像运算特性值时，也可以利用提取包含于该图像中的对象物的外轮廓线、形状识别、用于识别倾斜角度等的图像识别技术。此外，实际手术工具的种类等，也可以在机器臂3上结合该手术工具的过程等中预先输入。

建模图像实现部453实现对应于由特性值运算部451运算的特性值的建模图像。有关建模图像的数据可以从图像存储部360提取。即，建模图像实现部453提取对应于腹腔镜8的特性值（视角（FOV、Field of View）、放大率、视点、所视深度等，和实际手术工具的种类、方向、深度、弯曲程度等）的有关手术工具等的建模图像数据来实现建模图像，以便与内窥镜图像的手术工具等匹配。

建模图像实现部453提取对应于由特性值运算部451运算的特性值的图像的方法可以有多种。例如，建模图像实现部453可以直接利用腹腔镜8的特性值提取与其对应的建模图像。即，建模图像实现部453可以参照所属腹腔镜8的视角、放大率等数据提取与其对应的2D或3D建模手术工具图像，并将其与内窥镜图像进行匹配。在此，如视角、放大率等特性值可以通过与根据最初设定值的基准图像进行比较算出，或将依次生成的腹腔镜8图像彼此进行比较运算。

此外，根据其它实施例，建模图像实现部453可以利用用于决定腹腔镜8及机器臂3位置及操作形状的操作信息提取建模图像。即，如上所述的内窥镜图像的手术工具可以由根据施术者操作臂操作部2330而被主机器人1识别的操作信息控制，对应于内窥镜图像的特性值的建模手术工具的位置及操作形状可以根据操作信息决定。

该操作信息可以按时间序列存储在单独的数据库，建模图像实现部453可以参照该数据库识别实际手术工具的特性值，并与其对应地提取有关建模图像的信息。即，输出到建模图像中的手术工具的位置，可以利用手术工具的位置变更信号的累积数据来设定。例如，若有关作为手术工具中的一个手术器械的操作信息包括顺时针方向旋转90度及向延伸方向移动1cm的信息时，建模图像实现部453对应于该操作信息改变包含于建模图像中的手术器械的形状并进行提取。

在此，手术器械安装在具有致动器的手术机器臂的前端部，驱动部（未图示）所具有的驱动轮（未图示）从致动器接收驱动力而动作，而与驱动轮连接的插入于手术患者体内的操作物进行规定动作，从而进行手术。驱动轮形成为圆盘形，结合于致动器从而能够接收驱动力。此外，驱动轮的数量可以对应控制对象的数量来决定，这些驱动轮的技术，对于手术器械相关的技术人员来说是显而易见的，故省略详细说明。

重叠图像处理部455为了防止实际拍摄的内窥镜图像和建模图像重叠而输出建模图像的部分图像。即，内窥镜图像包括手术工具的部分形状，而建模图像实现部453输出与其对应的建模手术工具时，重叠图像处理部455确认内窥镜图像的实际手术工具图像和建模手术工具图像的重叠区域，并从建模手术工具图像中删除重叠部分，从而使两个图像彼此一致。重叠图像处理部455从建模手术工具图像中删除建模手术工具图像与实际手术工具图像的重叠区域，从而处理重叠区域。

例如，实际手术工具的全长为20cm，考虑特性值（视角（FOV、Field ofView）、放大率、视点、所视深度等，和实际手术工具的种类、方向、深度、弯曲程度等）时内窥镜图像的实际手术工具图像的长度为3cm时，重叠图像处理部455利用特性值，使建模图像包含未输出到内窥镜图像中的建模手术工具图像输出。

图35是示出本发明的第三实施例涉及的体感式手术用图像处理方法的流程图。下面，主要说明与上述的区别。

在步骤S131中，对手术对象及/或手术工具预先生成建模形状并存储。建模图像可以通过计算机模拟技术建模，本实施例也可以利用单独的建模图像生成装置生成建模图像。

在步骤S132中，特性值运算部351运算出内窥镜图像的特性值。如上所述，特性值运算部351利用由从机器人2的腹腔镜8输入提供的图像及/或结合于机器臂3的实际手术工具的位置的坐标信息等运算特性值，特性值可以是腹腔镜8的视角（FOV、Field of View）、放大率、视点例如所视方向）、所视深度等，和实际手术工具的种类、方向、深度、弯曲程度等。

在步骤S133中，图像匹配部450对应于内窥镜图像提取建模图像，并处理重叠部分使两个图像彼此匹配之后向画面显示部2320输出。在此，其输出时间可以设定为多种多样，内窥镜图像和建模图像最初在彼此相同时间输出，或内窥镜图像输出之后建模图像一同输出等。

图37是示出本发明的第四实施例涉及的手术机器人的主界面的概念图。参照图37，主界面4可以包括监控部6、手柄10、监控器驱动单元12、移动槽13。下面，主要说明与上述的区别。

本实施例的特征在于，对应于如上所述的不断变化的内窥镜8的视点，使主界面4的监控部6旋转及移动，从而能够使用户更生动地感受到手术的真实感。

监控器驱动单元12的一端与监控部6结合，另一端与主界面4的本体部结合，通过对监控部6施加驱动力，使驱动部6旋转及移动。在此，旋转是不同轴（X、Y、Z）中心的旋转，即，可以包括俯仰（pitch）、翻滚（roll）、偏转（yaw）轴的旋转。参照图37，示出了通过偏转轴的旋转。

此外，监控器驱动单元12沿着位于监控部6下端的主界面4本体部形成的移动槽13移动（B方向），从而能够使监控部6根据内窥镜8的视点移动。移动槽13面向用户的方向凹陷形成，从而监控部6沿着移动槽13移动时能够使监控部6的前面始终面向用户。

图38是示出本发明的第四实施例涉及的手术机器人的框图。参照图38，示出了包括图像输入部2310、画面显示部2320、臂操作部2330、操作信号生成部340、控制部370、画面驱动控制部380、画面驱动部390的主机器人1，和包括机器臂3、内窥镜8的从机器人2。下面，主要说明与上述的区别。

画面驱动部390是使如上述监控部6的画面显示部2320旋转及移动的单元，例如，可以包括电机、监控部6支承单元等。画面驱动控制部380可以控制画面驱动部390，以便画面驱动部390使画面显示部2320对应于内窥镜8的视点旋转及移动。画面驱动部390可以包括所述电机驱动单元12，使监控部6沿着移动槽13移动。

参照图39，画面驱动控制部380可以包括：内窥镜视点追踪部381，对应于内窥镜8的移动及旋转，追踪内窥镜8的视点信息；图像移动信息提取部383，利用内窥镜8的视点信息，提取内窥镜图像的移动信息；驱动信息生成部385，利用移动信息，生成画面显示部2320的建模信息（画面驱动信息）。利用在驱动信息生成部385生成的画面显示部2320的建模信息，画面驱动部390如上所述的驱动画面显示部2320。

此外，根据另一实施例，画面驱动部390也可以根据用户命令驱动。例如，画面驱动控制部380可以由用户界面、例如由用户可操作的开关（ex.脚踏板开关）代替，此时，也可以根据用户操作，控制画面驱动部30的旋转及移动。

该画面驱动部390的动作，也可以通过触摸屏进行控制。例如，画面显示部2320由触摸屏实现，若用户利用手指等触摸画面显示部2320的状态下向规定方向拖动，则画面显示部2320也可以相应地旋转及移动。此外，也可以追踪用户眼睛，或者利用根据接面部的移动方向生成的旋转/移动信号或根据语音命令生成的旋转/移动信号等，控制画面显示部2320的建模。

图40是示出本发明的第四实施例涉及的体感式手术用图像处理方法的流程图。下面所要执行的各步骤可以以画面驱动控制部380为主体进行。

在步骤S181中，对应于内窥镜8的移动及旋转，追踪作为有关内窥镜8所视视点的信息的内窥镜8的视点信息。

在步骤S182中，利用内窥镜8的视点信息，提取内窥镜图像的移动信息，该内窥镜图像的移动信息对应于内窥镜图像的拍摄对象的位置变化量。

在步骤S183中，利用内窥镜8的视点信息及/或提取的移动信息，生成所述画面驱动信息。即，若如上所述的特定内窥镜8的视点信息及内窥镜图像的移动信息，则利用该移动信息生成使画面显示部2320移动及旋转的信息。

在步骤S814中，使画面显示部2320对应画面驱动信息移动及旋转。

图41是示出本发明的第五实施例涉及的手术机器人的主界面的概念图。参照图41，示出了拱顶屏幕191、投影仪192、工作台193、第一内窥镜图像621、第二内窥镜图像622。

本实施例的特征在于，利用拱顶屏幕191和投影仪192实现如上所述的在画面显示部2320的特性区域输出内窥镜图像的功能，从而用户通过宽屏幕能够更快更方便地确认手术状况。

投影仪192将内窥镜图像投射到拱顶屏幕191。在此，内窥镜图像可以是被投射的图像前端部的形状为球形的球形图像。在此，球形并不仅表示严格数学意义上的球形，可以包括椭圆形、截面为曲线形状、部分球形等各种形态。

拱顶屏幕191包括：开放的前面端部；内部拱顶面，呈半球形状，以反射投影仪12投射的图像。拱顶屏幕191尺寸可以是用户便于观看的尺寸，例如，其直径为1m～2m左右。拱顶屏幕191的内部拱顶面可以分别按区域进行表面处理，或具有半球形状。此外，拱顶屏幕191可以形成为，以其中心轴为中心轴对称，用户视线位于拱顶屏幕191的中心轴。

投影仪192可位于进行手术的用户和拱顶屏幕191之间，以防止用户遮挡投射的图像。此外，为了防止用户遮挡工作时投射的图像，且确保工作台空间，投影仪192可以安装在工作台530的底面。内部拱顶面可以由反射率高的物质形成或涂敷该物质。

利用这些拱顶屏幕191和投影仪192时，如上所述的可以对应于内窥镜8的不同视点，向拱顶屏幕191的特定区域投射第一内窥镜图像621和第二内窥镜图像622。

图42是示出本发明的第六实施例涉及的体感式手术用图像处理装置的框图。参照图42，画面显示控制部2350可以包括内窥镜视点追踪部351、图像移动信息提取部353、图像位置设定部355、存储图像显示部357、连续图像生成部352和周边图像生成部354。下面，主要说明与上述的区别。

本实施例具有如下特征，使手术用内窥镜的一端旋转，从而能够获得多个图像，以确保用户宽视角。即，本实施例的特征在于，使手术用内窥镜的一端旋转以形成规定轨迹，从而不仅可以获得手术部位图像，还可以获得周边图像，能够使用户观看更宽部位。

连续图像生成部352提取从手术用内窥镜获取的第一内窥镜图像和第二内窥镜图像的重叠区域，而生成连续图像。第一内窥镜图像和第二内窥镜图像可以是从旋转的手术用内窥镜以彼此不同时间点提供的图像。参照图44，手术用内窥镜221以旋转轴A为中心倾斜旋转，从而能够获取多个内窥镜图像。

手术用内窥镜221的一端以形成不同轨迹的旋转，例如，作为以规定长度延伸的手术用内窥镜221的一端的光入射部（镜头部分）形成旋转轨迹，另一端位于旋转轴上，所以整体以圆锥体或多角锥体形状旋转，一端的旋转轨迹可以为圆形、椭圆形、三角形、矩形、其它多边形、闭合图形（closed figure）等各种形状。在此，闭合图形也可以理解为包括闭合曲线的概念。

此外，手术用内窥镜221旋转速度及时间可以根据需要决定。例如，手术用内窥镜221的一端可以周期性地进行旋转，或根据用户操作的任意方式相应地旋转。在此，‘周期性’的意思是，可以包括手术用内窥镜221以恒速进行圆形运动的情况。此外，‘周期性’的意思是，也可以包括旋转状态和非旋转状态周期性重复的情况。

此外，根据图45所示的实施例，手术用内窥镜221具有弯曲形状，以旋转轴A为中心旋转时，手术用内窥镜221的一端可以形成规定轨迹的旋转。此时，手术用内窥镜221可以包括：第一轴222，以与旋转轴A重叠状态延伸；第二轴223，一端结合有光入射部，以与第一轴222隔开状态向旋转轴A方向延伸；轴连接部224，与旋转轴A方向不平行延伸，用于连接第一轴222的一端和第二轴223的另一端。

此外，光入射部的旋转轨迹可以为圆形、椭圆形、三角形、矩形、其它多边形、闭合图形（closed figure）等各种形状。

在此，手术用内窥镜221的旋转方向、旋转程度、旋转轨迹形状、旋转轨迹大小、旋转速度等旋转相关属性，可以预先程序化而存储在存储部（未图示）。

画面显示控制部2350可以参照预先存储的旋转相关属性，提取多个图像的重叠区域，并将这些区域以连续图像生成。例如，提取手术用内窥镜221的视角为70度、旋转轨迹为圆形、旋转轨迹为半径2cm时拍摄的图像的重叠部分，被提取的重叠图像可以是可持续看到的连续图像。

周边图像生成部354提取第一内窥镜图像和第二内窥镜图像的非重叠区域而生成周边图像。非重叠区域可以是所述第一内窥镜图像和第二内窥镜图像彼此不重叠的区域。而且，该区域可以是预定的区域。例如，可以将图46中除了预定的连续图像232之外的区域的图像设定为非重叠区域的周边图像231。

参照图46，示出了重叠被连续拍摄而持续看到的连续图像232，和不重叠而作为周边图像处理的图像231。各圆形表示彼此不同的内窥镜图像，为了区分彼此，可以称为第一内窥镜图像或第二内窥镜图像。连续图像232是在画面上连续地持续看到的图像，周边图像232是仅在非连续拍摄时看到的图像。为了区分显示这些，连续图像232显示为明亮清晰，周边图像231显示为与此不同。即，连续图像232和周边图像231的亮度、彩度和颜色等可以彼此不同的显示。

参照图47，连续图像232可以是预定区域的图像。即，如图46所示，若只将所有周边图像232重叠的区域的图像设定为连续图像232时，主要看到的连续图像232的尺寸可能变小，所以也可以将多个周边图像232、例如2～3个左右周边图像231重叠的区域的图像设定为连续图像232。此时，连续图像232包括与周边图像232相比相对连续图像的信息，拍摄区域的尺寸可以比所有周边图像231重叠的区域的尺寸大。

图43是示出本发明的第六实施例涉及的体感式手术用图像处理方法的流程图。下面所要执行的各步骤可以以画面显示控制部2350为主体进行。

在步骤S211中，图像输入部2310从旋转的手术用内窥镜221接收以彼此不同时间点提供的第一内窥镜图像和第二内窥镜图像。在此，画面显示控制部2350如上所述的对应于手术用内窥镜221一端的移动及旋转，追踪作为手术用内窥镜221所视视点的信息的手术用内窥镜221的视点信息。

在步骤S212中，利用手术用内窥镜221的视点信息，提取内窥镜图像的移动信息，该内窥镜图像的移动信息对应于内窥镜图像的拍摄对象的位置变化量。

在步骤S213中，利用手术用内窥镜221的视点信息及/或提取的移动信息，设定输出第一内窥镜图像和第二内窥镜图像的画面位置。即，若如上所述的特定手术用内窥镜221的视点信息及内窥镜图像的移动信息，则利用这些移动信息，设定在画面显示部2320输出第一内窥镜图像和第二内窥镜图像的画面位置。

在步骤S214中，在作为画面显示部2320的设定位置的彼此不同区域输出第一内窥镜图像和第二内窥镜图像。

图48是示出本发明的第七实施例涉及的辅助内窥镜的旋转动作的示意图。参照图48，示出了手术用内窥镜241、辅助内窥镜242、结合部243。

本实施例还设置在手术用内窥镜241周围旋转的辅助内窥镜242，以取得多个内窥镜图像，从而如上所述的可以生成连续图像和周边图像。即，辅助内窥镜242在手术用内窥镜241周围旋转的同时获取内窥镜图像，从而从重叠图像和非重叠图像获取连续图像和周边图像。

辅助内窥镜242可旋转的结合于手术用内窥镜241的一侧、例如侧面。辅助内窥镜242也可以适用通过镜头接收光而获取图像的普通内窥镜结构。在此，可以将由手术用内窥镜241获取的图像称为第一内窥镜图像，由辅助内窥镜242获取的图像称为第二内窥镜图像。

此外，辅助内窥镜242以中心轴A为中心与手术用内窥镜241可拆装地结合，或与手术用内窥镜241一体结合。前者的情况具有如下优点，辅助内窥镜242可以在患者体外与手术用内窥镜241结合，或独立于手术用内窥镜241插入到患者体内之后在其内与手术用内窥镜241结合，从而获取所述第一内窥镜图像和第二内窥镜图像。

此外，根据另一实施例，可以将手术用内窥镜241的第一内窥镜图像设定为连续图像，辅助内窥镜242的第二内窥镜图像设定为周边图像。即，本实施例具有如下优点，不必提取重叠区域，而生成连续图像和周边图像，从而缩短图像处理时间。

图49是示出本发明的第八实施例涉及的手术机器人的主界面的概念图。参照图49，所述主界面4可以包括监控部6、手柄10、空间移动驱动部25。下面，主要说明与上述的区别。

本实施例具有如下特征，为了使监控部6在空间上自由旋转及移动的，监控部6结合于在空间上可自由运动的空间移动驱动部25。在此，监控部6可以是所述画面显示部2320。

空间移动驱动部25的一端结合于监控部6，另一端结合于主界面4的本体部，通过向监控部6施加驱动力，使监控部6在空间上旋转及移动。在此，旋转可以包括对应于空间移动驱动部25所具有的多个关节数量以不同轴（X、Y、Z）中心的旋转、即，俯仰（pitch）、翻滚（roll）、偏转（yaw）轴的旋转。

空间移动驱动部25可以以机器臂形式实现，具有如下特征，通过手柄10操作，或对应于如上所述的不断变化的手术用内窥镜的视点旋转及移动主界面4的监控部6，从而使用户更生动地感受到手术的真实感。

此外，本发明的另一实施例还可以包括旋转操作部（未图示），该旋转操作部使所述手术用内窥镜221及/或辅助内窥镜242旋转。旋转操作部可以是用户决定有关内窥镜旋转的信息，例如旋转方向、旋转角速度、加减速形式、旋转速度、旋转时间起始点、旋转时间结束点、旋转时间长度、旋转方向、旋转半径等旋转相关信息。

在此，旋转方向是内窥镜旋转的方向，如顺时针方向或逆时针方向，加减速形式表示直线、S转弯、指数函数形式等内窥镜以各种形式旋转的形态。此外，旋转角速度和旋转速度是手术用内窥镜221或辅助内窥镜242的一端旋转的速度，旋转时间起始点是开始旋转的时间信息，旋转时间结束点是结束旋转的时间信息。此外，旋转半径是手术用内窥镜221以圆锥形旋转时旋转轴与手术用内窥镜221的一端之间的距离，弯曲内窥镜时，轴连接部224的长度，辅助内窥镜242与手术用内窥镜241的隔开距离。

旋转操作部可以包括用户能够操作的界面，例如，界面可以由操纵杆形式、按钮形式、键盘、跟踪球、触摸屏等用于操作机器臂及/或其它手术设备的各种形式实现。用户利用该界面设定旋转相关信息并输入该信息时，手术用内窥镜221以圆锥形状旋转或以第一轴222为中心旋转，从而使其一端旋转，而且辅助内窥镜242也可以以手术用内窥镜241为中心轴进行旋转。

除此之外，本发明的实施例涉及的体感式手术用图像处理装置的有关具体规格、嵌入式系统、O/S等共同平台技术和通信协议、I/O界面等界面标准化技术及致动器、电池、摄像机、传感器等零件标准化技术等的详细说明，对于本发明所属技术领域的技术人员来说是显而易见的，故省略详细说明。

本发明涉及的体感式手术用图像处理方法，可以由通过各种计算机单元执行的程序命令形式实现，并存储在计算机可读介质中。即，记录介质可以是记录用于在计算机上执行所述各步骤的程序的计算机可读记录介质。

所述计算机可读介质可以单独或组合形式包括程序命令、数据文件、数据结构等。记录在所述介质的程序命令可以是为本发明而特别设计构成的，或者也可以是对于计算机软件技术人员来说公知的。作为计算机可读记录介质的例，包括如硬盘、软盘及磁带的磁介质（Magnetic Media）、如CD-ROM、DVD的光学介质（Optical Media）、如软式光盘（Floptical Disk）的磁光介质（Magneto-Optical Media）及如只读存储器（ROM）、随机存取存储器（RAM）、闪存等存储并执行程序命令的特别构成的硬件装置。

所述介质也可以是包括传送用于指定程序命令、数据结构等信号的搬送波的光或金属线、波导管等传送介质。作为程序命令的例，不仅包括由编译器生成的机械语言代码，还包括使用解析程序等通过计算机执行的高级语言代码。所述硬件装置为了执行本发明的动作可以作为一个以上的软件模块动作的构成。

在上述参照本发明的优选实施例进行了说明，但对于该技术领域的普通技术人员来说，在不超出权利要求书记载的本发明的思想及区域的范围内，本发明可以进行多种修改和变更。

Claims (10)

1.一种手术机器人，利用操作信号控制视觉部，其包括：

拍摄部，拍摄对象物而生成图像数据；

角度及距离算出部，解析在包含于所述图像数据中的面部中两眼中心点的连接线与画面中心线所形成的内角大小及旋转方向，并与根据之前拍摄的图像数据解析出的内角大小及旋转方向进行比较，从而生成所述面部旋转方向及旋转角度的位移量信息；以及

操作命令生成部，生成并输出操作命令以与所述位移量信息相应地操作所述视觉部。

2.如权利要求1所述的手术机器人，其特征在于，

所述角度及距离算出部还算出根据之前拍摄的图像数据解析出的所述面部内的基准点与根据所述图像数据解析出的面部内的基准点之间的距离信息，

算出的所述距离信息包含于所述位移量信息，以用于所述视觉部的平行移动操作。

3.如权利要求1所述的手术机器人，其特征在于，

所述角度及距离算出部还算出根据之前拍摄的图像数据解析出的所述面部内的两眼间距与根据所述图像数据解析出的所述面部内的两眼间距之间的变化量，

所述两眼间距之间的变化量包含于所述位移量信息，以用于调节所述视觉部的图像倍率。

4.如权利要求1所述的手术机器人，其特征在于，

所述视觉部是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上。

5.如权利要求4所述的手术机器人，其特征在于，

所述视觉部是用于获得三维图像的装置。

6.如权利要求5所述的手术机器人，其特征在于，

当所述视觉部为用于获得三维图像的装置时，其根据面部和眼睛的位置调节三维图像处理所需的左/右图像重叠程度。

7.如权利要求1所述的手术机器人，还包括：

存储部，用于存储认证用户的照片图像；以及

判断部，算出包含于所述图像数据中的面部特征要素和包含于所述照片图像中的面部特征要素之间的类似度，并在算出的类似度大于等于预定值时，控制所述操作命令生成部生成并输出所述操作命令。

8.如权利要求7所述的手术机器人，其特征在于，

所述面部特征要素是构成部位的位置及模样、瞳孔颜色、面部模样、皮肤颜色、皱纹形状、红晕中的一个以上，

所述构成部位是眼睛、眉毛、鼻子和嘴中的一个以上。

9.如权利要求1所述的手术机器人，其特征在于，还包括：

存储部，用于存储有效用户信息，该有效用户信息是面部轮廓所处的区域信息及包含于图像数据中的面部大小的基准值中的一种以上；

判断部，判断包含于所述图像数据中的面部是否满足所述有效用户信息，在满足时，控制所述操作命令生成部生成并输出所述操作命令。

10.如权利要求1所述的手术机器人，其特征在于，还包括：

判断部，判断包含于所述图像数据中的面部运动状态是否保持规定时间以上，当所述面部运动状态保持规定时间以上时，控制所述操作命令生成部生成并输出所述操作命令。

Images