CN113543934A - 力觉显示装置以及力觉显示方法 - Google Patents

力觉显示装置以及力觉显示方法 Download PDF

Info

Publication number
CN113543934A
CN113543934A CN202080019745.6A CN202080019745A CN113543934A CN 113543934 A CN113543934 A CN 113543934A CN 202080019745 A CN202080019745 A CN 202080019745A CN 113543934 A CN113543934 A CN 113543934A
Authority
CN
China
Prior art keywords
force
display
surgical tool
unit
display mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080019745.6A
Other languages
English (en)
Other versions
CN113543934B (zh
Inventor
原口大辅
田中靖志
古泽悠贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Riverfield Inc
Original Assignee
Riverfield Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Riverfield Inc filed Critical Riverfield Inc
Publication of CN113543934A publication Critical patent/CN113543934A/zh
Application granted granted Critical
Publication of CN113543934B publication Critical patent/CN113543934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension

Abstract

本公开提供易于提高手术工具操作的准确性和安全性的手术工具的力觉显示装置以及力觉显示方法。力觉显示装置是以操作者可感知的方式向操作者显示作用于能够通过闭合来握持对象物并通过张开来剥离所述对象物的手术工具上的力的装置。力觉显示装置具有：输入部，所述手术工具的握持力的测量信号以及剥离力的测量信号被输入给所述输入部，所述握持力是握持所述对象物的力，所述剥离力是剥离所述对象物的力；图像生成部，所述图像生成部基于所述测量信号创建图像信息，所述图像信息以握持显示方式显示与所述握持力相关的信息，并且以剥离显示方式显示与所述剥离力相关的信息，所述剥离显示方式是不同于所述握持显示方式的显示方式；以及输出部，所述输出部向显示所述图像信息的显示部输出已创建的所述图像信息。

Description

力觉显示装置以及力觉显示方法
相关申请的交叉引用
本国际申请要求2019年3月15在日本专利局提交的日本发明专利申请第2019-048548号的优先权，日本发明专利申请第2019-048548号的全部内容通过引用而并入本文。
技术领域
本公开涉及适用于握持钳子等手术工具的医用机器人系统的力觉显示装置以及力觉显示方法。
背景技术
近年来，使用用于手术辅助的医用机器人的内窥镜外科手术逐渐普及。在内窥镜外科手术中，使用安装在医用机器人上的腹腔镜、内窥镜、钳子等手术工具。
医生能够远程操作医用机器人的手术工具。此外，还提出了一种能够进行直观操作的医疗机器人的方案。而且，为了提高准确性和安全性，还提出了一种能够进行力觉呈现的医用机器人的方案，其能够将作用在手术工具上的外力传达给操作医用机器人的医生(例如参照专利文献1以及2)。
专利文献1公开了根据医疗用具所受的测量到的应力来从触觉控制器接收触觉反馈的内容，并公开了为了具有针所受到的应力的触感而在显示器上显示测量到的应力等的内容。
专利文献2公开了基于由触觉反馈生成的信息来更新三维触觉表现的内容。另外，在下文中还将三维表记为3D。具体地，记载了当判定为外科器具接触患者的骨骼时，更新患者状态的3D表现，例如3D图示表现和/或3D触觉表现的内容。
现有技术文献
专利文献
专利文献1：日本特表2005-510289号公报
专利文献2：日本特开2018-158104号公报
发明内容
发明要解决的问题
在力觉的呈现方法是通过带给执行操作的医生的手的触觉来进行呈现的情况下，具有可供正在执行操作的医生直观地把握力觉的优点。但另一方面，即使对触觉所呈现的强度相同，若接受的医生不同则强度的感知也有可能不同，从而有可能缺乏准确性。此外，由于力觉只呈现给执行操作的医生，而不呈现给其他医生等，所以难以确保由第三方实施的实时检查和客观性。
如专利文献1以及2中所公开的技术，在于显示器上显示测量到的应力等的方法中，换言之，在显示力觉的方法中，例如，难以确切地显示作用在通过闭合来握持对象物并通过张开来剥离所述对象物的手术工具例如钳子上的外力的方向。换言之，难以进行显示以能够轻易地区分所显示的外力是握持对象物时作用的力还是剥离对象物时作用的力。
本公开的一个方面优选提供易于提高手术工具操作的准确性和安全性的手术工具的力觉显示装置以及力觉显示方法。
解决问题的技术方案
本公开的第一方面涉及的力觉显示装置以操作者可感知的方式向操作者显示作用于能够通过闭合来握持对象物并通过张开来剥离所述对象物的手术工具上的力，该力觉显示装置设置有：输入部，所述手术工具的握持力的测量信号以及剥离力的测量信号被输入给所述输入部，所述握持力是握持所述对象物的力，所述剥离力是剥离所述对象物的力；图像生成部，所述图像生成部基于所述测量信号创建图像信息，所述图像信息以握持显示方式显示与所述握持力相关的信息，并且以剥离显示方式显示与所述剥离力相关的信息，其中，所述剥离显示方式是不同于所述握持显示方式的显示方式；以及输出部，所述输出部向显示所述图像信息的显示部输出已创建的所述图像信息。
本公开的第二方面涉及的力觉显示方法以操作者可感知的方式向操作者显示作用于能够通过闭合来握持对象物并通过张开来剥离所述对象物的手术工具上的力，该力觉显示方法具有以下步骤：输入步骤，在所述输入步骤中输入所述手术工具的握持力的测量信号以及剥离力的测量信号，所述握持力是握持所述对象物的力，所述剥离力是剥离所述对象物的力；图像生成步骤，在所述图像生成步骤中基于所述测量信号创建图像信息，所述图像信息以握持显示方式显示与所述握持力相关的信息，并且以剥离显示方式显示与所述剥离力相关的信息，其中，所述剥离显示方式是不同于所述握持显示方式的显示方式；以及输出步骤，在所述输出步骤中向显示所述图像信息的显示部输出已创建的所述图像信息。
根据本公开的第一方式涉及的力觉显示装置以及第二方面涉及的力觉显示方法，能够以握持显示方式显示与握持力相关的信息，并且以剥离显示方式显示与剥离力相关的信息，其中，剥离显示方式是不同于握持显示方式的显示方式。因此，易于把握所显示的信息是与握持力相关的信息还是与剥离力相关的信息。
在本公开的第一方面中，优选所述握持显示方式是基于所述手术工具的种类而使颜色或色彩不同的显示方式，并且所述剥离显示方式是基于所述手术工具的种类而使颜色或色彩不同的显示方式，优选所述图像生成部使所述握持显示方式形成为使用第一颜色或第一色彩的显示方式，并且使所述剥离显示方式形成为使用不同于所述第一颜色或第一色彩的第二颜色或第二色彩的显示方式。
如上所述，通过以基于手术工具的种类使颜色或色彩不同的方式来进行显示，而易于对信息进行目视识别。例如，能够通过所显示的颜色或色彩确认以握持显示方式或剥离显示方式显示的手术工具的种类。此外，通过使用第一颜色或第一色彩显示握持显示方式，并且使用不同于第一颜色或第一色彩的第二颜色或第二颜色色彩显示剥离显示方式，而易于对握持显示方式和剥离显示方式进行识别。
在本公开的第一方面中，优选所述握持显示方式以及所述剥离显示方式是基于所述手术工具的力的大小而改变长度的显示方式，优选所述图像生成部生成所述图像信息，所述图像信息将所显示的长度小于具有预定长度的基准指标的显示方式和所显示的长度大于所述基准指标的显示方式中的一者作为所述握持显示方式，并且将另一者作为所述剥离显示方式。
如上所述，通过比对基准指标而改变所显示的长度，来显示是与握持力相关的信息还是与剥离力相关的信息，而易于对信息进行目视识别。例如，通过使所显示的长度小于基准指标，来显示与握持力相关的信息，通过使所显示的长度大于基准指标，来显示与剥离力相关的信息，从而易于对信息进行目视识别。
此外，将所显示的长度与基准指标之差的大小作为握持力的大小或剥离力的大小而进行显示。因此，易于对握持力的大小或剥离力的大小进行目视识别。
在本公开的第一方面中，优选所述握持显示方式以及所述剥离显示方式是具有长度基于所述手术工具的力的大小而改变的棒状形状或带状形状的显示方式。
如上所述，通过以长度基于手术工具的力的大小而改变的棒状形状或带状形状进行显示，而易于与基准指标进行比较。因此，易于把握所显示的信息是与握持力相关的信息还是与剥离力相关的信息。
在本公开的第一方面中，优选所述握持显示方式以及所述剥离显示方式是基于所述手术工具的力的大小而改变颜色或色彩的显示方式。
如上所述，通过基于手术工具的力的大小改变所显示的颜色或色彩，而易于把握手术工具的力的大小。因此，易于把握所显示的握持力或剥离力的大小。
在本公开的第一方面中，优选所述握持显示方式以及所述剥离显示方式是具有预定形状的显示图形的面积基于所述手术工具的力的大小而改变的显示方式，优选所述图像生成部生成所述图像信息，所述图像信息使所述握持显示方式形成为包含基准线的一个所述显示图形的显示方式，并且使所述剥离显示方式形成为将所述基准线夹在中间且隔开间隔而配置的两个所述显示图形的显示方式。
如上所述，通过形成为一个或两个显示图形，来显示是与握持力相关的信息还是与剥离力相关的信息，从而易于对信息进行目视识别。而且，在显示一个显示图形的情况下，以包含基准线的方式对显示图形进行显示，在显示两个显示图形的情况下，以将基准线夹在中间且隔开间隔的方式对显示图形进行显示，由此，更易于对信息进行目视识别。此外，将显示图形的面积作为握持力的大小或剥离力的大小来进行显示。因此，易于对握持力的大小或剥离力的大小进行目视识别。
在本公开的第一方面中，优选所述握持显示方式以及所述剥离显示方式是具有面积基于所述手术工具的力的大小而改变的扇形形状的显示方式。
如上所述，通过以面积基于手术工具的力的大小而改变的扇形形状进行显示，而易于对握持力的大小以及剥离力的大小进行把握。
发明的效果
根据本公开的第一方面涉及的力觉显示装置以及第二方面涉及的力觉显示方法，由于以握持显示方式显示与握持力相关的信息，并且以剥离显示方式显示与剥离力相关的信息，其中，剥离显示方式是不同于握持显示方式的显示方式，所以能够实现易于提高手术工具操作的准确性和安全性的效果。
附图说明
图1是说明本公开的第一实施方式涉及的医用机器人系统的构成的框图。
图2是说明设置于图1的从属单元的匣盒的构成的立体图。
图3是说明与图1的控制装置中的力觉显示相关的控制的流程图。
图4A是说明图1的显示装置中的显示方式的示意图，图4B是说明另一方式的示意图，图4C是说明又一方式的示意图。
图5是说明图1的显示装置中的其他显示方式的示意图。
图6是说明力觉显示部中的显示方式的示意图。
图7A是说明剥离显示方式的图，图7B是说明握持显示方式的图，图7C是说明没有测量到力的情况下的显示方式的图。
图8是说明本公开的第一实施方式的第一变形例涉及的医用机器人系统的构成的框图。
图9是说明图8的显示装置中的显示方式的示意图。
图10是说明本公开的第一实施方式的第二变形例涉及的医用机器人系统的构成的框图。
图11A是说明第一显示装置中的显示方式的示意图，图11B是说明第二显示装置中的显示方式的示意图。
图12是说明本公开的第二实施方式涉及的医用机器人系统的构成的框图。
图13是说明图12的从属单元的构成的框图。
图14是说明图12的显示装置中的显示方式的示意图。
图15是说明图14的第一力觉显示部、第二力觉显示部、和第三力觉显示部中的显示方式的示意图。
图16是说明本公开的第二实施方式的第一变形例涉及的医用机器人系统的构成的框图。
图17是说明图16的显示装置中的第一力觉显示部、第二力觉显示部、和第三力觉显示部中的显示方式的示意图。
图18是说明本公开的第二实施方式的第二变形例涉及的医用机器人系统的构成的框图。
图19是说明图18的显示装置中的第一力觉显示部、第二力觉显示部、和第三力觉显示部中的显示方式的示意图。
图20是说明本公开的第二实施方式的第三变形例涉及的医用机器人系统的构成的框图。
图21是说明图20的显示装置中的第一力觉显示部、第二力觉显示部、和第三力觉显示部中的显示方式的示意图。
图22是说明本公开的第二实施方式的第四变形例涉及的医用机器人系统的构成的框图。
图23是说明图22的显示装置中的第一力觉显示部、第二力觉显示部、和第三力觉显示部中的显示方式的示意图。
附图标记的说明
1、101、201、301、401、501、601、701…医用机器人系统；
14…手术工具；14s…基准指标；
50、150、250、350、450、550、650、750…控制装置(力觉显示装置)；
51…输入部；53、153、253、353、453、553、653、753…图像生成部；
54…输出部；60…显示装置(显示部)；260A…第一显示装置(显示部)；
260B…第二显示装置(显示部)；S12、S15、S18…输入步骤；
S14、S17、S20…图像生成步骤、输出步骤
具体实施方式
[第一实施方式]
以下，将参照图1至图7对本公开的第一实施方式涉及的医用机器人系统1进行说明。本实施方式的医用机器人系统1用于辅助手术。本实施方式的医用机器人系统1适合用于辅助例如内窥镜外科手术。
如图1所示，医用机器人系统1具备从属单元10、内窥镜单元20、操作单元30、发声装置40、控制装置50、以及显示装置60。另外，控制装置50相当于力觉显示装置的一个例子，显示装置60相当于显示部的一个例子。
如图1以及图2所示，从属单元10支承用于内窥镜外科手术的钳子等手术工具14。此外，从属单元10根据对操作单元30输入的操作来控制手术工具14的位置和姿势中的至少一者。此外，在手术工具14是钳子的情况下，从属单元10驱动钳子进行开合。
在本实施方式中，从属单元10具有第一从属装置10A以及第二从属装置10B。另外，从属单元10所具有的从属装置的数量可以大于或小于两个。
在本实施方式中，第一从属装置10A以及第二从属装置10B为机械臂。而且，第一从属装置10A以及第二从属装置10B具有相同的构成，并支承相同类型的手术工具14。
另外，第一从属装置10A以及第二从属装置10B只要能够控制手术工具14的位置和姿势中的至少一者即可，或者只要能够驱动作为手术工具14的钳子进行开合即可，可以不具有臂状的结构。
如图2所示，第一从属装置10A以及第二从属装置10B中至少设置有匣盒11、轴12、以及关节部13。另外，在不需要区分匣盒11、轴12、以及关节部13是设置于第一从属装置10A还是设置于第二从属装置10B的情况下，将其标记为匣盒11、轴12、以及关节部13。在需要区分是设置于第一从属装置10A还是设置于第二从属装置10B的情况下，将其分别标记为匣盒11A、轴12A和关节部13A，以及匣盒11B、轴12B和关节部13B。
匣盒11支承轴12、关节部13、以及手术工具14。在本实施方式中，匣盒11具有立方体状的形状。
匣盒11中可以收纳有用于对轴12、关节部13、以及手术工具14中的至少一个进行驱动的气动致动器等驱动源。此外，匣盒11中可以收纳有用于对施加于轴12的外力进行测量的轴传感器15、用于对施加于关节部13的外力进行测量的关节传感器16、以及用于对作为手术工具14的钳子向外部施加的开合力进行测量的手术工具传感器17中的至少一个。
另外，在不需要区分轴传感器15、关节传感器16、以及手术工具传感器17是设置于第一从属装置10A还是设置于第二从属装置10B的情况下，将其标记为轴传感器15、关节传感器16、以及手术工具传感器17。在需要区分是设置于第一从属装置10A还是设置于第二从属装置10B的情况下，将其分别标记为轴传感器15A、关节传感器16A和手术工具传感器17A，以及轴传感器15B、关节传感器16B和手术工具传感器17B。
轴12是从匣盒11延伸且形成为圆筒状或者圆柱状的部件。轴12配置为能够绕其自身的中心轴线而相对于匣盒11进行旋转。另外，轴12可以形成为圆筒状或者圆柱状，也可以形成为棱柱状。
关节部13支承手术工具14，并且通过弯曲来控制手术工具14的位置和姿势。关节部13位于轴12与手术工具14之间。换言之，关节部13的一个端部与轴12中的远离匣盒11侧的端部相邻，另一个端部与手术工具14相邻。另外，作为关节部13的结构，只要能够弯曲即可，对其具体结构没有特别限定。
如图1所示，内窥镜单元20用于获取进行内窥镜外科手术时使用的影像或者图像。具体地，获取患者体腔内的作为手术对象的区域的影像或者图像。获取到的影像或者图像的信息被输出给控制装置50。另外，内窥镜单元20只要能够输出影像或者图像的信息即可，对其构成没有限定。
操作单元30用于控制从属单元10。具体地，在通过操作第一从属装置10A以及第二从属装置10B来进行内窥镜外科手术时使用操作单元30。
操作单元30具备手操作部31以及脚操作部35。在医用机器人系统1的操作者(例如，内窥镜外科手术的操作者)用手输入从属单元10的动作时使用手操作部31。
手操作部31具备对应于操作者右手的右手用操作部32以及对应于操作者左手的左手用操作部33。右手用操作部32以及左手用操作部33将由操作者输入的信息转换成信号并输出给控制部52。此外，右手用操作部32以及左手用操作部33基于从控制部52输入的控制信号来向操作者呈现力觉。
另外，对右手用操作部32以及左手用操作部33的构成以及方式没有限定。此外，手操作部31可以具有如上所述的右手用操作部32以及左手用操作部33这两者，也可以仅具有右手用操作部32以及左手用操作部33中的一者。
在操作者用脚来操作从属单元10的动作和功能时使用脚操作部35。脚操作部35具备第一脚开关36、第二脚开关37、以及第三脚开关38。第一脚开关36、第二脚开关37、以及第三脚开关38是操作者通过用脚踩踏来操作的开关。
例如，可以例举向手术工具14供应和停止供应高频电流、对从属单元10的控制模式进行切换等。另外，由脚操作部35进行的操作的种类和内容没有特别限定。此外，脚操作部35可以如上所述地具有三个脚开关，也可以具有少于三个的脚开关，或可以具有多于三个的脚开关。
发声装置40基于从控制装置50输入的控制信号来向包括操作者在内的参与内窥镜外科手术的相关人员中的至少一部分人发出声音。对产生声音的构成等没有特别限定。
控制装置50控制从属单元10的动作等以及发声装置40中的发声。控制装置50控制在显示装置60中显示的内容和显示的方式。
如图1所示，控制装置50是具有CPU、ROM、RAM、输入/输出接口等的计算机等信息处理装置。存储在上述ROM等存储装置中的程序使CPU、ROM、RAM、输入/输出接口协同动作并至少作为输入部51、控制部52、图像生成部53、以及输出部54发挥作用。另外，CPU是中央运算处理单元的简称。
信号从外部输入至输入部51。具体地，输入部51与操作单元30连接，以便与操作相关的信号能够输入至输入部51，并且输入部51与内窥镜单元20连接，以便影像和/或图像的信号能够输入至输入部51。
而且，输入部51与用于对施加于轴12的外力进行测量的轴传感器15、用于对施加于关节部13的外力进行测量的关节传感器16、以及用于对作为手术工具14的钳子向外部施加的开合力进行测量的手术工具传感器17连接，以便测量信号能够输入至输入部51。
另外，配置轴传感器15、关节传感器16、以及手术工具传感器17的位置只要是能够测量到各自的测量对象的外力的位置即可，对其位置没有限定。此外，对轴传感器15、关节传感器16、以及手术工具传感器17测量外力的方式没有特别限定。
控制部52生成对从属单元10以及手术工具14的动作和功能发挥进行控制的信号。控制信号基于从操作单元30输入的与操作相关的信号而生成。
图像生成部53生成图像信息，该图像信息是在显示装置60中显示的影像和/或图像的信息。具体地，基于从内窥镜单元20输入的影像和/或图像的信号，以及从轴传感器15、关节传感器16和手术工具传感器17输入的信号而生成图像信息。关于图像信息的内容将在后文进行叙述。
输出部54输出在控制部52生成的控制信号以及在图像生成部53生成的图像信息。输出部54与从属单元10、手术工具14连接，以便能够输出控制信号，并且输出部54与显示装置60连接，以便能够输出图像信息。
显示装置60基于从控制装置50输出的图像信息来显示影像和/或图像。显示装置60向包括内窥镜外科手术的操作者在内的手术参与者进行影像和/或图像的显示。作为显示装置60，只要能够显示影像和/或图像即可，对其方式或构成没有特别限定。
接下来，对具备上述构成的医用机器人系统1中的控制，具体地，与力觉的显示相关的控制进行说明。首先，参照图3对控制装置50中的运算处理的流程进行说明，然后对显示的内容进行说明。
如图3所示，若向控制装置50供给电力，则控制装置50在S11中执行判定时间计数器是否已达到预定时间的处理。在本实施方式中，预定时间为200ms。另外，预定时间可以是如上所述的200ms，也可以大于或小于200ms。
在判定为时间计数器没有达到预定时间的情况下，即，在判定为“否”的情况下，控制装置50再次执行S11的判定处理。
在判定为时间计数器已经达到预定时间的情况下，即，在判定为“是”的情况下，控制装置50将处理转移到S12的输入步骤。在S12中，控制装置50执行判定是否已经检测到作用在轴12上的外力的处理。换言之，执行判定是否从轴传感器15向输入部51输入有作为力测量信号的臂测量信号的处理。
在判定为已经检测到作用在轴12上的外力的情况下，即，在判定为“是”的情况下，控制装置50将处理转移到S13。在S13中，控制装置50执行生成将检测到的外力呈现为力觉的控制信号的处理。检测到的外力是由轴传感器15测量到的力的大小。检测到的外力是基于从轴传感器15输出的测量信号而推算的。
具体地，执行以下处理：使与设置有输出测量信号的轴传感器15的从属装置相对应的手操作部31将检测到的外力呈现为力觉。例如执行以下处理：在输出测量信号的轴传感器15对作用在第一从属装置10A的轴12上的力进行测量的情况下，使用于操作第一从属装置10A的手操作部31(即，右手用操作部32或者左手用操作部33)将检测到的外力呈现为力觉。
而且，执行根据基于输入的测量信号而推算的力的大小，来设定要呈现的力觉的强度的处理。对应的手操作部31基于从控制装置50输出的控制信号，向操作者呈现与作用在轴传感器15上的力相对应的力觉。
若S13的处理结束，则控制装置50将处理转移到S14的图像生成步骤以及输出步骤。在S14中，控制装置50执行以下处理：将与检测到的外力相对应的有关外力的信息呈现为能够通过视觉来把握的信息。具体地，执行生成图像信息的处理，该图像信息用于显示不仅与设置有输出测量信号的轴传感器15的从属装置相对应，并且还与基于输入的测量信号而推算的力的大小相对应的影像和/或图像。关于生成图像信息的处理的内容将在后文进行叙述。生成的图像信息被输出给显示装置60。显示装置60基于输入的图像信息来显示影像和/或图像。
若S14的处理结束，或者，在S12中在判定为没有检测到作用在轴12上的外力的情况下，即，在判定为“否”的情况下，则控制装置50将处理转移到S15的输入步骤。在S15中，控制装置50执行判定是否已经检测到作用在关节部13上的外力的处理。换言之，执行判定是否从关节传感器16向输入部51输入有作为力测量信号的关节测量信号的处理。
在判定为已经检测到作用在关节部13上的外力的情况下，即，在判定为“是”的情况下，控制装置50将处理转移到S16。在S16中，控制装置50执行生成控制信号的处理，其中，控制信号用于将检测到的外力呈现为力觉。检测到的外力是由关节传感器16测量到的力的大小。检测到的外力是基于从关节传感器16输出的测量信号而推算的。
具体地，执行以下处理：使与设置有输出测量信号的关节传感器16的从属装置相对应的手操作部31将检测到的外力呈现为力觉。而且，执行根据基于输入的测量信号而推算的力的大小，来设定要呈现的力觉的强度的处理。对应的手操作部31基于从控制装置50输出的控制信号，向操作者呈现与作用在关节传感器16上的力相对应的力觉。
若S16的处理结束，则控制装置50将处理转移到S17的图像生成步骤以及输出步骤。在S17中，控制装置50执行以下处理：将与检测到的外力相对应的有关力的信息呈现为能够通过视觉来把握的信息。具体地，执行生成图像信息的处理，该图像信息用于显示不仅与设置有输出测量信号的关节传感器16的从属装置相对应，并且还与基于输入的测量信号而推算的力的大小相对应的影像和/或图像。关于生成图像信息的处理的内容将在后文进行叙述。生成的图像信息被输出给显示装置60。显示装置60基于输入的图像信息来显示影像和/或图像。
若S17的处理结束，或者，当在S15中判定为没有检测到作用在关节部13上的外力时，即，在判定为“否”的情况下，则控制装置50将处理转移到S18的输入步骤。在S18中，控制装置50执行判定是否已经检测到作用在手术工具14上的外力的处理。换言之，执行判定是否从手术工具传感器17向输入部51输入有作为力测量信号的手术工具测量信号的处理。
在判定为已经检测到作用在手术工具14上的外力的情况下，即，在判定为“是”的情况下，控制装置50将处理转移到S19。在S19中，控制装置50执行生成将检测到的外力呈现为力觉的控制信号的处理。检测到的外力是由手术工具传感器17测量到的力的大小。具体地，由手术工具传感器17测量到的力的大小与钳子进行握持的力或进行剥离的力的大小相对应。检测到的外力是基于从手术工具传感器17输出的测量信号而推算的。
具体地，执行以下处理：使与设置有输出测量信号的手术工具传感器17的从属装置相对应的手操作部31将检测到的外力呈现为力觉。而且，执行根据基于输入的测量信号而推算的力的大小，来设定要呈现的力觉的强度的处理。对应的手操作部31基于从控制装置50输出的控制信号，向操作者呈现与作用在手术工具传感器17上的力相对应的力觉。
若S19的处理结束，则控制装置50将处理转移到S20的图像生成步骤以及输出步骤。在S20中，控制装置50执行以下处理：将与检测到的外力相对应的有关作用在手术工具上的力的信息呈现为能够通过视觉来把握的信息。具体地，控制装置50执行生成图像信息的处理，该图像信息用于显示不仅与设置有输出测量信号的手术工具传感器17的从属装置相对应的，并且还与基于输入的测量信号而推算的力的大小相对应的影像和/或图像。关于生成图像信息的处理的内容将在后文进行叙述。生成的图像信息被输出给显示装置60。显示装置60基于输入的图像信息来显示影像和/或图像。
若S20的处理结束，则控制装置50将处理转移到S21。在S21中，控制装置50执行将时间计数器重置为0的处理。若重置处理结束，则控制装置50返回到S11，并重复执行上述处理。例如，至少在医用机器人系统1对内窥镜外科手术进行辅助的期间重复执行上述处理。
接下来，对在图像生成部53中生成的图像信息进行说明。具体地，对显示装置60中的显示方式进行说明。图4A是说明显示装置60基于由本实施方式的图像生成部53生成的图像信息而进行显示的方式的示意图。
如图4A所示，图像生成部53在显示装置60的显示面中，将内窥镜图像显示部61设定在左右方向上的中央，并且将第一力觉显示部62设定在内窥镜图像显示部61的左下方，将第二力觉显示部63设定在内窥镜图像显示部61的右上方。
内窥镜图像显示部61是具有比第一力觉显示部62以及第二力觉显示部63大的面积的区域。图像生成部53生成图像信息，该图像信息使从内窥镜单元20输入的影像或者图像的信息显示在内窥镜图像显示部61。
第一力觉显示部62以及第二力觉显示部63是具有比内窥镜图像显示部61小的面积的区域。图像生成部53基于从轴传感器15、关节传感器16和手术工具传感器17输入的信号而生成图像信息。
通过边框从其他区域中划分出第一力觉显示部62和第二力觉显示部63。第一力觉显示部62以及第二力觉显示部63在被划分的内部基于从轴传感器15、关节传感器16和手术工具传感器17输入的信号进行显示。本实施方式的第一力觉显示部62以及第二力觉显示部63具有形成为相同矩形的且呈相同颜色的边框。关于第一力觉显示部62以及第二力觉显示部63中的显示方式将在后文进行叙述。
在本实施方式中，第一力觉显示部62是基于从与第一从属装置10A对应的轴传感器15、关节传感器16和手术工具传感器17输入的信号而进行显示的区域，第二力觉显示部63是基于从与第二从属装置10B对应的轴传感器15、关节传感器16和手术工具传感器17输入的信号而进行显示的区域。
另外，第一力觉显示部62也可以是基于从与第二从属装置10B对应的轴传感器15、关节传感器16和手术工具传感器17输入的信号而进行显示的区域，第二力觉显示部63也可以是基于从与第一从属装置10A对应的轴传感器15、关节传感器16和手术工具传感器17输入的信号而进行显示的区域。
另外，在本实施方式中，第一力觉显示部62位于显示装置60的显示面中的左下方，第二力觉显示部63位于显示装置60的显示面中的右上方，不过，也可以如图4B所示，第一力觉显示部62位于显示面中的左上方，第二力觉显示部63位于显示面中的右下方，还可以如图4C所示，第一力觉显示部62位于显示面中的左侧中央的略上方，第二力觉显示部63位于显示面中的右侧中央的略下方。
此外，在本实施方式中，以第一力觉显示部62以及第二力觉显示部63具有形成为相同矩形的且呈相同颜色的边框为例进行了说明，不过，第一力觉显示部62以及第二力觉显示部63可以具有形成为不同形状的边框。例如图5所示，第一力觉显示部62可以具有形成为矩形的边框，而第二力觉显示部63可以具有形成为椭圆形的边框。
而且，在本实施方式中，以第一力觉显示部62以及第二力觉显示部63具有呈相同颜色的边框为例进行了说明，不过，第一力觉显示部62以及第二力觉显示部63可以具有呈不同颜色的边框。
接下来，对第一力觉显示部62以及第二力觉显示部63中的显示方式进行说明。另外，由于第一力觉显示部62以及第二力觉显示部63中的显示方式相同，所以以第一力觉显示部62中的显示方式为代表来进行说明，而省略对第二力觉显示部63中的显示方式的说明。此外，第一力觉显示部62以及第二力觉显示部63为了易于相互区分，可以显示第一从属装置10A以及第二从属装置10B的名称。
在图6中示出了第一力觉显示部62中的显示方式。即，在第一力觉显示部62显示有第一从属装置10A的轴12、关节部13、以及手术工具14的三维模型。即，显示有三维模型的轴12m、三维模型的关节部13m、以及三维模型的手术工具14m。三维模型以反映实际的轴12的姿势和关节部13的弯曲状态的方式进行显示。
另外，基于经由输入部51输入的表示手术工具14的种类的种类信息来确定三维模型中的手术工具14m的形状。表示手术工具14的种类的种类信息与待显示的三维模型中的手术工具14m的形状建立对应并存储在控制装置50中。图像生成部53获取与输入的种类信息建立了对应的手术工具14m的形状信息，并生成用于显示三维模型的图像信息。
另外，经由输入部51输入的种类信息可以是设置医疗机器人系统1的作业人员或进行内窥镜外科手术的操作者等所输入的信息，也可以是从用于检测所安装的手术工具14的种类的传感器输出的检测信号。
在三维模型中的轴12m的部分，显示有基于从轴传感器15输入的信号而表示力的大小和力的方向的圆锥状的图形15f。此外，在三维模型中的关节部13m的部分，显示有基于从关节传感器16输入的信号而表示力的大小和力的方向的圆锥状的图形16f。
在本实施方式中，从圆锥状图形的底面到顶点的距离对应于力的大小。此外，圆锥状的图形所显示的颜色会根据力的大小而变化。例如，随着力的增加，颜色会变成绿色、黄色和红色。而且，在本实施方式中，从圆锥状图形的底面趋向顶点的方向表示力的方向。
在与三维模型中的手术工具14相邻的区域，例如在与三维模型中的手术工具14的前端侧相邻的区域，基于从手术工具传感器17输入的信号而显示带状图形，该带状图形示出作为手术工具14的钳子闭合的力的大小或张开的力的大小。
在本实施方式中，如图7A所示，通过以剥离显示方式进行显示来表现作为手术工具14的钳子张开的力，其中，剥离显示方式是带状图形14f的长度大于预先规定的基准指标14s的显示方式。此外，如图7B所示，通过以握持显示方式进行显示来表现手术工具14闭合的力，其中，握持显示方式是带状图形14f的长度小于基准指标14s的显示方式。
此外，带状图形14f与基准指标14s的长度之差根据力的大小而改变，通过该长度之差来表示力的大小。例如，若力变大，则该长度之差被显示得较大，若力变小，则该长度之差被显示得较小。
另外，带状图形14f的颜色可以根据力的大小而改变。例如，随着力的增加，颜色会变成绿色、黄色和红色。在手术工具传感器17没有测量到力的情况下，如图7C所示，带状图形14f显示为与基准指标14s相同的长度，并且显示为白色。
根据如上构成的控制装置50，能够以握持显示方式显示与握持力相关的信息，并且以剥离显示方式显示与剥离力相关的信息，其中，剥离显示方式是不同于握持显示方式的方式。因此，易于把握所显示的信息是与握持力相关的信息还是与剥离力相关的信息。
通过与基准指标14s相比对地改变带状图形14f的长度来显示是与握持力相关的信息还是与剥离力相关的信息，而易于对信息进行目视识别。此外，通过将带状图形14f的长度与基准指标14s之差的大小作为握持力的大小或剥离力的大小来进行显示，而易于对握持力的大小或剥离力的大小进行目视识别。
通过以基于手术工具传感器17所测量的力的大小来改变长度的带状图形14f方式进行显示，而易于与基准指标14s进行比较。因此，易于把握所显示的信息是与握持力相关的信息还是与剥离力相关的信息。
通过基于手术工具传感器17所测量的力的大小改变带状图形14f的颜色或色彩，而易于把握手术工具14的力的大小。因此，易于把握所显示的握持力或剥离力的大小。
能够创建图像信息，并且使图像信息显示在显示装置60，其中，该图像信息与测量到外力的部位建立关联并将该外力的信息显示为图像。换言之，所显示的外力的信息能够以可识别在何处进行了测量的方式显示。
此外，由于在不同于内窥镜图像显示部61的第一力觉显示部62和第二力觉显示部63将外力的信息显示为图像，所以与将外力的信息叠加显示在内窥镜图像显示部61的情况相比，易于把握所显示的外力的信息。而且，也不会妨碍到对显示在内窥镜图像显示部61的作用于轴12、关节部13、手术工具14上的力进行目视识别。
与用数值来表现外力值的大小的情况相比，通过用颜色、形状、以及面积中的至少一个来表现外力值的大小，更易于直观地把握外力值的大小。
与显示作用在1个部位(例如仅作用在关节部13)上的外力等的情况相比，通过显示与作用在关节部13上的力、以及作用在作为第一从属装置10A和第二从属装置10B中的除关节部13以外的部位的轴12上的外力相关的信息，更易于把握所操作的第一从属装置10A和第二从属装置10B的状况。
例如，在第一从属装置10A和第二从属装置10B相接触的情况下，因接触而产生的外力会作用于第一从属装置10A和第二从属装置10B中的除关节部13以外的部位(例如轴12)。由于显示了与该外力相关的信息，所以操作者能够把握第一从属装置10A和第二从属装置10B相接触的情况。
通过显示钳子张开的力的信息和钳子闭合的力的信息来作为与作用在手术工具14上的力相关的信息，而易于把握手术工具14的操作状况。另外，在此也将钳子张开的力表述成剥离力，并且将钳子闭合的力表述成握持力。
通过对表示第一从属装置10A和第二从属装置10B所握持的手术工具14的形状的图像进行显示，而易于把握所显示的外力的信息是在第一从属装置10A测量到的外力的信息还是在第二从属装置10B测量到的外力的信息。
[第一实施方式的第一变形例]
接下来，将参照图8以及图9对本公开的第一实施方式的第一变形例涉及的医用机器人系统进行说明。本变形例的医用机器人系统的基本构成与第一实施方式相同，不过，与第一实施方式的不同之处在于没有设置内窥镜单元。因此，在本变形例中，使用图8以及图9对与力觉的显示相关的内容进行说明，并且省略其他说明。
如图8所示，本变形例的医用机器人系统101具备从属单元10、操作单元30、发声装置40、控制装置150、以及显示装置60。另外，控制装置150相当于力觉显示装置的一个例子。
控制装置150控制从属单元10的动作等和发声装置40中的发声，并且控制在显示装置60中显示的内容和显示的方式。
如图8所示，控制装置150是具有CPU、ROM、RAM、输入/输出接口等的计算机等信息处理装置。存储在上述ROM等存储装置中的程序使CPU、ROM、RAM、输入/输出接口协同动作并至少作为输入部51、控制部52、图像生成部153、以及输出部54发挥作用。
图像生成部153生成图像信息，该图像信息是在显示装置60中显示的影像和/或图像的信息。具体地，基于从轴传感器15、关节传感器16和手术工具传感器17输入的信号而生成图像信息。与第一实施方式的图像生成部53不同之处在于不基于从内窥镜单元20输入的影像和/或图像的信号生成图像信息。
接下来，对具备上述构成的医用机器人系统101中的控制进行说明。另外，由于控制装置150中的与力觉的显示相关的控制与第一实施方式相同，所以省略其说明。
接下来，对在图像生成部153中生成的图像信息进行说明。具体地，对显示装置60中的显示方式进行说明。图9是说明显示装置60基于由本变形例的图像生成部153生成的图像信号而进行显示的方式的示意图。
如图9所示，显示装置60的显示面被左右划分为左侧和右侧，图像生成部153将第一力觉显示部162设定在左侧，并将第二力觉显示部163设定在右侧。换言之，与第一实施方式相比，不同之处在于显示装置60的显示面中没有设定内窥镜图像显示部61。
另外，在本变形例中，以左右划分显示面为例进行了说明，不过，也可以上下划分显示面，对划分方式没有限定。此外，在本变形例中第一力觉显示部162的显示面积与第二力觉显示部163的显示面积相等，不过，第一力觉显示部162的显示面积可以小于或大于第二力觉显示部163的显示面积。
而且，在本变形例中第一力觉显示部162以及第二力觉显示部163都被相同的矩形的边框所包围，不过，第一力觉显示部162以及第二力觉显示部163的边框可以是不同的形状，也可以是矩形以外的形状，对形状没有特别限定。此外，第一力觉显示部162以及第二力觉显示部163的边框的颜色可以是相同的颜色，也可以是不同的颜色。
由于本变形例的第一力觉显示部162以及第二力觉显示部163中的显示方式与第一实施方式的第一力觉显示部62以及第二力觉显示部63中的显示方式相同，所以省略其说明。
根据上述控制装置150，由于内窥镜单元20不是必须的构成，所以与第一实施方式的医用机器人系统1相比，在不使用内窥镜单元20的手术中也可灵活使用医用机器人系统101。
[第一实施方式的第二变形例]
接下来，将参照图10以及图11对本公开的第一实施方式的第二变形例涉及的医用机器人系统进行说明。本变形例的医用机器人系统以及力觉显示装置的基本构成与第一实施方式相同，不过，所设置的显示装置的数量与第一实施方式不同。因此，在本变形例中，使用图10以及图11对与力觉的显示相关的内容进行说明，并且省略其他说明。
如图10所示，本变形例的医用机器人系统201具备从属单元10、内窥镜单元20、操作单元30、发声装置40、控制装置250、第一显示装置260A以及第二显示装置260B。另外，控制装置250相当于力觉显示装置，第一显示装置260A以及第二显示装置260B相当于显示部的一个例子。
控制装置250控制从属单元10的动作等和发声装置40中的发声，并且控制在第一显示装置260A以及第二显示装置260B中显示的内容和显示的方式。
如图10所示，控制装置250是具有CPU、ROM、RAM、输入/输出接口等的计算机等信息处理装置。存储在上述ROM等存储装置中的程序使CPU、ROM、RAM、输入/输出接口协同动作并至少作为输入部51、控制部52、图像生成部253、以及输出部54发挥作用。
控制装置250控制从属单元10的动作等和发声装置40中的发声，并且控制在显示装置60中显示的内容和显示的方式。
图像生成部253生成图像信息，该图像信息是在第一显示装置260A以及第二显示装置260B中显示的影像和/或图像的信息。具体地，基于从内窥镜单元20输入的影像和/或图像的信号来生成向第一显示装置260A输出的图像信息，并基于从轴传感器15、关节传感器16和手术工具传感器17输入的信号来生成向第二显示装置260B输出的图像信息。关于图像信息的内容将在后文进行叙述。
第一显示装置260A以及第二显示装置260B基于从控制装置250输出的图像信息来显示影像和/或图像。第一显示装置260A以及第二显示装置260B向包括内窥镜外科手术的操作者在内的手术的参与者进行影像和/或图像的显示。作为第一显示装置260A以及第二显示装置260B，只要能够显示影像和/或图像即可，对其方式或构成没有限定。
另外，第一显示装置260A以及第二显示装置260B可以具有相同大小的显示面，或者可以是其中一个具有比另一个更大的显示面。此外，显示影像和/或图像的方式或构成可以是相同的，也可以是不同的。
接下来，对具备上述构成的医用机器人系统201中的控制进行说明。另外，由于控制装置250中的与力觉的显示相关的控制与第一实施方式相同，所以省略其说明。
接下来，对在图像生成部253中生成的图像信息进行说明。具体地，对第一显示装置260A以及第二显示装置260B中的显示方式进行说明。图11是说明第一显示装置260A以及第二显示装置260B基于由本变形例的图像生成部253生成的图像信号而进行显示的方式的示意图。
如图10所示，图像生成部253在第一显示装置260A的显示面中设定内窥镜图像显示部261。此外，第二显示装置260B被左右划分为左侧和右侧，第一力觉显示部262被设定在左侧，第二力觉显示部263被设定在右侧。
另外，在本变形例中，在第一显示装置260A中设定内窥镜图像显示部261，在第二显示装置260B中设定第一力觉显示部262以及第二力觉显示部263，不过，也可以在第一显示装置260A中设定第一力觉显示部262以及第二力觉显示部263，并且在第二显示装置260B中设定内窥镜图像显示部261。
根据上述控制装置250，由于设定有内窥镜图像显示部261的显示装置和设定有第一力觉显示部262以及第二力觉显示部263的显示装置不同，所以易于提高内窥镜图像的可视性和力觉显示的可视性。
[第二实施方式]
接下来，将参照图12至图15对本公开的第二实施方式涉及的医用机器人系统以及力觉显示装置进行说明。本实施方式的医用机器人系统以及力觉显示装置的基本构成与第一实施方式相同，不过，从属单元的构成以及力觉显示方式与第一实施方式不同。因此，在本实施方式中，使用图12至图15对从属单元的构成以及力觉显示方式进行说明，并且省略其他说明。
如图12所示，本实施方式的医用机器人系统301具备从属单元310、内窥镜单元20、操作单元30、发声装置40、控制装置350、以及显示装置60。另外，控制装置350相当于力觉显示装置的一个例子。
与第一实施方式的从属单元10相同，从属单元310支承用于内窥镜外科手术的钳子等手术工具14，并根据对操作单元30输入的操作来控制手术工具14的位置和姿势中的至少一者。此外，在手术工具14是钳子的情况下，从属单元310驱动钳子进行开合。
在本实施方式中，从属单元310具有第一从属装置10A、第二从属装置10B、以及第三从属装置10C。
在本实施方式中，第一从属装置10A、第二从属装置10B、以及第三从属装置10C为机械臂。而且，第三从属装置10C具有与第一从属装置10A以及第二从属装置10B相同的构成，并支承相同类型的手术工具14。
另外，与第一从属装置10A以及第二从属装置10B相同，第三从属装置10C只要可以控制手术工具14的位置和姿势中的至少一者或者驱动作为手术工具14的钳子进行开合即可。此外，第三从属装置10C可以不具有臂状的结构。
与图2所示的第一从属装置10A以及第二从属装置10B相同，在第三从属装置10C中至少设置有匣盒11、轴12、以及关节部13。另外，在不需要区分匣盒11、轴12、以及关节部13设置在第一从属装置10A、第二从属装置10B、以及第三从属装置10C中的哪一个中的情况下，将其标记为匣盒11、轴12、以及关节部13。
在需要区分是设置在第一从属装置10A中还是设置在第二从属装置10B中亦或设置在第三从属装置10C中的情况下，将其分别标记为匣盒11A、轴12A和关节部13A；匣盒11B、轴12B和关节部13B；以及匣盒11C、轴12C和关节部13C。
而且，如图13所示，与第一从属装置10A以及第二从属装置10B相同，在第三从属装置10C中设置有用于对施加于轴12的外力进行测量的轴传感器15、用于对施加于关节部13的外力进行测量的关节传感器16、以及用于对作为手术工具14的钳子向外部施加的开合力进行测量的手术工具传感器17。
另外，在需要区分设置在第三从属装置10C中的轴传感器15、关节传感器16、以及手术工具传感器17的情况下，将其标记为轴传感器15C、关节传感器16C、以及手术工具传感器17C。
控制装置350控制从属单元310的动作等以及发声装置40中的发声，并且控制在显示装置60中显示的内容和显示的方式。
如图12所示，控制装置350是具有CPU、ROM、RAM、输入/输出接口等的计算机等信息处理装置。存储在上述ROM等存储装置中的程序使CPU、ROM、RAM、输入/输出接口协同动作并至少作为输入部51、控制部52、图像生成部353、以及输出部54发挥作用。
图像生成部353生成图像信息，该图像信息是在显示装置60中显示的影像和/或图像的信息。具体地，基于从内窥镜单元20输入的影像和/或图像的信号，以及从轴传感器15、关节传感器16和手术工具传感器17输入的信号而生成图像信息。关于图像信息的内容将在后文进行叙述。
接下来，对具备上述构成的医用机器人系统301中的控制进行说明。另外，由于控制装置350中的与力觉的显示相关的控制与第一实施方式相同，所以省略其说明。
接下来，对在图像生成部353中生成的图像信息进行说明。具体地，对显示装置60中的显示方式进行说明。图14是说明显示装置60基于由本变形例的图像生成部353生成的图像信号而进行显示的方式的示意图。
如图14所示，图像生成部353在显示装置60的显示面中，将内窥镜图像显示部361设定在左右方向上的左侧，并且将力觉显示部365设定在左右方向上的右侧。在力觉显示部365的内部，从左侧向右侧依次设定有第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364。
内窥镜图像显示部361是具有比第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364大的面积的区域。图像生成部353生成图像信息，该图像信息使从内窥镜单元20输入的影像或者图像的信息显示在内窥镜图像显示部361。
第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364是设定在力觉显示部365内部的区域。此外，第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364是具有比内窥镜图像显示部361小的面积的区域。图像生成部353基于从轴传感器15、关节传感器16和手术工具传感器17输入的信号而生成图像信息。
通过边框从其他区域中划分出第一力觉显示部362、第二力觉显示部363、和第三力觉显示部364。此外，第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364在被划分的内部基于从轴传感器15、关节传感器16和手术工具传感器17输入的信号进行显示。在本实施方式的第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364具有形成为相同矩形的边框。此外，第一力觉显示部362以及第二力觉显示部363具有呈相同颜色的边框，第三力觉显示部364具有颜色与第一力觉显示部362以及第二力觉显示部363不同的边框。关于第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式将在后文进行叙述。
在本实施方式中，第一力觉显示部362是基于从与第一从属装置10A对应的轴传感器15、关节传感器16和手术工具传感器17输入的信号而进行显示的区域，第二力觉显示部363是基于从与第二从属装置10B对应的轴传感器15、关节传感器16和手术工具传感器17输入的信号而进行显示的区域，第三力觉显示部364是基于从与第三从属装置10C对应的轴传感器15、关节传感器16和手术工具传感器17输入的信号而进行显示的区域。
接下来，对第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式进行说明。另外，由于第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式是相同的，所以以第一力觉显示部362中的显示方式为代表进行说明，而省略第二力觉显示部363以及第三力觉显示部364中的显示方式的说明。
在本实施方式中，为了易于区分第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364，在第一力觉显示部362显示“Left Arm”的名称，在第二力觉显示部363显示“Right Arm”的名称，并在第三力觉显示部364显示“Third Arm”的名称。
在图15中示出了第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式。在第一力觉显示部362中，显示有第一从属装置10A的轴12、关节部13、以及手术工具14的三维模型。即，显示有三维模型的轴12m、三维模型的关节部13m、以及三维模型的手术工具14m。三维模型以反映实际的轴12的姿势和关节部13的弯曲状态的方式进行显示。
同样地，在第二力觉显示部363以及第三力觉显示部364中也分别显示有第二从属装置10B以及第三从属装置10C的轴12、关节部13、以及手术工具14的三维模型。
另外，基于经由输入部51输入的表示手术工具14的种类的种类信息来确定三维模型中的手术工具14m的形状。表示手术工具14的种类的种类信息与待显示的三维模型中的手术工具14m的形状建立对应并存储在控制装置350中。图像生成部353获取与输入的种类信息建立了对应的手术工具14m的形状信息，并生成用于显示三维模型的图像信息。
另外，经由输入部51输入的种类信息可以是设置医疗机器人系统301的作业人员或进行内窥镜外科手术的操作者等所输入的信息，也可以是从用于检测所安装的手术工具14的种类的传感器输出的检测信号。
在与三维模型中的轴12m相邻的位置处，显示有基于从轴传感器15输入的信号而表示力的大小的柱形图形315f。在本实施方式中，在显示柱形图形315f的位置处显示有“Force(Shaft)”，并且，在柱形图形315f的基准线的位置处显示有“Base”。
此外，在与三维模型中的关节部13m相邻的位置处，显示有基于从关节传感器16输入的信号而表示力的大小的柱形图形316f。在本实施方式中，在显示柱形图形316f的位置处显示有“Force(Wrist)”，并且，在柱形图形316f的基准线的位置处显示有“Base”。
在本实施方式中，柱形图形315f以及柱形图形316f是沿横向延伸的图形，柱形图形315f以及柱形图形316f的长度对应于力的大小。此外，柱形图形315f以及柱形图形316f的颜色根据力的大小而改变。例如，随着力的增加，颜色会变成绿色、黄色和红色。
在与三维模型中的手术工具14相邻的位置处，显示有基于从手术工具传感器17输入的信号而表示作为手术工具14的钳子闭合的力的大小或张开的力的大小的扇形图形314f。
在本实施方式中，扇形图形314f显示在半圆形的边框中。半圆形的边框由沿水平方向呈直线状延伸的边框和向上方凸起的圆弧形的边框构成。此外，设置有从沿水平方向延伸的边框的中央向上方延伸的基准线。
在本实施方式中，以握持显示方式来表现手术工具14闭合的力，其中，握持显示方式是在基准线的左侧处显示扇形图形314f的显示方式。此外，以剥离显示方式来表现作为手术工具14的钳子张开的力，其中，剥离显示方式是在基准线的右侧处显示扇形图形314f的显示方式。另外，也可以通过在基准线的右侧处显示扇形图形314f来表现手术工具14闭合的力，并且可以通过在基准线的左侧处显示扇形图形314f来表现作为手术工具14的钳子张开的力。
由扇形图形314f的面积来表现力的大小。换言之，由从基准线起的张角的大小来表现力的大小。例如，若力增加，则扇形图形314f的面积就会增加，若力减少，则扇形图形314f的面积就会减少。
或者可以根据力的大小改变扇形图形314f的颜色。例如，随着力的增加，颜色会变成绿色、黄色和红色。在手术工具传感器17没有测量到力的情况下，只显示半圆形的边框以及基准线，而不显示扇形图形314f。
根据上述控制装置350，通过在分别对应于第一从属装置10A、第二从属装置10B、以及第三从属装置10C而设置的第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364的内侧显示在相应的从属装置测量到的外力，使得即使在设置有多个从属装置的情况下，也易于把握所显示的外力的信息是在哪个从属装置测量到的外力的信息。
通过分别与第一从属装置10A、第二从属装置10B、以及第三从属装置10C相对应地使第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364的形状以及至少一部分色彩不同，而易于把握所显示的外力的信息是在哪个从属装置测量到的外力的信息。
通过将表示第一从属装置10A、第二从属装置10B、以及第三从属装置10C分别握持的手术工具14的形状的图像显示在相对应的第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中，而易于把握所显示的外力的信息是在握持哪个手术工具14的从属装置测量到的外力的信息。
[第二实施方式的第一变形例]
接下来，将参照图16以及图17对本公开的第二实施方式的第一变形例涉及的医用机器人系统进行说明。本变形例的医用机器人系统以及力觉显示装置的基本构成与第二实施方式相同，不过，力觉显示部中的显示方式与第二实施方式不同。因此，在本变形例中，使用图16以及图17对力觉显示部中的显示方式进行说明，并且省略其他说明。
如图16所示，本实施方式的医用机器人系统401具备从属单元310、内窥镜单元20、操作单元30、发声装置40、控制装置450、以及显示装置60。另外，控制装置450相当于力觉显示装置的一个例子。
控制装置450控制从属单元310的动作等以及发声装置40中的发声，并且控制在显示装置60中显示的内容和显示的方式。
如图16所示，控制装置450是具有CPU、ROM、RAM、输入/输出接口等的计算机等信息处理装置。存储在上述ROM等存储装置中的程序使得CPU、ROM、RAM、输入/输出接口协同动作并至少作为输入部51、控制部52、图像生成部453、以及输出部54发挥作用。
图像生成部453生成图像信息，该图像信息是在显示装置60中显示的影像和/或图像的信息。具体地，基于从内窥镜单元20输入的影像和/或图像的信号，以及从轴传感器15、关节传感器16和手术工具传感器17输入的信号而生成图像信息。关于图像信息的内容将在后文进行叙述。
接下来，对具备上述构成的医用机器人系统401中的控制进行说明。另外，由于控制装置450中的与力觉的显示相关的控制与第一实施方式相同，所以省略其说明。此外，由于显示装置60中的显示方式与第二实施方式相同，所以省略其说明。
接下来，对第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式进行说明。另外，由于第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式是相同的，所以以第一力觉显示部362中的显示方式为代表进行说明，而省略第二力觉显示部363以及第三力觉显示部364中的显示方式的说明。
在图17中示出了第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式。在第一力觉显示部362中，显示有第一从属装置10A的轴12、关节部13、以及手术工具14的三维模型。即，显示有三维模型的轴12m、三维模型的关节部13m、以及三维模型的手术工具14m。三维模型以反映实际的轴12的姿势和关节部13的弯曲状态的方式进行显示。
同样地，在第二力觉显示部363以及第三力觉显示部364中也分别显示有第二从属装置10B以及第三从属装置10C的轴12、关节部13、以及手术工具14的三维模型。
在三维模型中的轴12m处，显示有基于从轴传感器15输入的信号而表示力的大小以及力的方向的具有圆锥形状前端的圆柱形图形415f。
此外，在三维模型中的关节部13m处，显示有基于从关节传感器16输入的信号而表示力的大小以及力的方向的具有圆锥形状前端的圆柱形图形416f。
在本实施方式中，圆柱形图形415f以及圆柱形图形416f的长度对应于力的大小，圆柱形图形415f以及圆柱形图形416f的延伸方向对应于力的方向。此外，圆柱形图形415f以及圆柱形图形416f的颜色可以根据力的大小而改变。例如，随着力的增加，颜色可以变成绿色、黄色和红色。
在与三维模型中的手术工具14相邻的位置处，显示有基于从手术工具传感器17输入的信号而表示作为手术工具14的钳子闭合的力的大小或张开的力的大小的扇形图形414f。
在本实施方式中，以显示一个扇形图形414f的握持显示方式来表现手术工具14闭合的力。此外，以显示分裂为两个的扇形图形414f的剥离显示方式来表现作为手术工具14的钳子张开的力。
而且，在显示一个扇形图形414f的情况下，可以以包含基准线的方式来显示扇形图形414f，在显示两个扇形图形414f的情况下，可以以将基准线夹在中间且隔开间隔的方式来显示扇形图形414f。
由扇形图形414f的面积表现力的大小。例如，若力增加，则扇形图形414f的面积就会增加，若力减少，则扇形图形414f的面积就会减少。
或者可以根据力的大小来改变扇形图形414f的颜色。例如，随着力的增加，颜色会变成绿色、黄色和红色。在手术工具传感器17没有测量到力的情况下，不显示扇形图形414f。
根据上述控制装置450，通过显示一个或两个扇形图形414f，来显示是与握持力相关的信息还是与剥离力相关的信息，从而易于对信息进行目视识别。此外，通过将扇形图形414f的面积作为握持力的大小或剥离力的大小来进行显示，而易于对握持力的大小或剥离力的大小进行目视识别。
而且，在显示一个扇形图形414f的情况下，以包含基准线的方式来显示扇形图形414f，并且在显示两个扇形图形414f的情况下，以将基准线夹在中间且隔开间隔的方式来显示扇形图形414f，由此，更易于对信息进行目视识别。
[第二实施方式的第二变形例]
接下来，将参照图18以及图19对本公开的第二实施方式的第二变形例涉及的医用机器人系统进行说明。本变形例的医用机器人系统以及力觉显示装置的基本构成与第二实施方式相同，不过，力觉显示部中的显示方式与第二实施方式不同。因此，在本变形例中，使用图18以及图19对力觉显示部中的显示方式进行说明，并且省略其他说明。
如图18所示，本实施方式的医用机器人系统501具备从属单元310、内窥镜单元20、操作单元30、发声装置40、控制装置550、以及显示装置60。控制装置550相当于力觉显示装置的一个例子。
控制装置550控制从属单元310的动作等和发声装置40中的发声。此外，控制装置550控制在显示装置60中显示的内容和显示的方式。
如图18所示，控制装置550是具有CPU、ROM、RAM、输入/输出接口等的计算机等信息处理装置。存储在上述ROM等存储装置中的程序使得CPU、ROM、RAM、输入/输出接口协同动作并至少作为输入部51、控制部52、图像生成部553、以及输出部54发挥作用。
图像生成部553生成图像信息，该图像信息是在显示装置60中显示的影像和/或图像的信息。具体地，基于从内窥镜单元20输入的影像和/或图像的信号，以及从轴传感器15、关节传感器16和手术工具传感器17输入的信号而生成图像信息。关于图像信息的内容将在后文进行叙述。
接下来，对具备上述构成的医用机器人系统501中的控制进行说明。另外，由于控制装置550中的与力觉的显示相关的控制与第一实施方式相同，所以省略其说明。此外，由于显示装置60中的显示方式与第二实施方式相同，所以省略其说明。
接下来，对第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式进行说明。另外，由于第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式是相同的，所以以第一力觉显示部362中的显示方式为代表进行说明，而省略第二力觉显示部363以及第三力觉显示部364中的显示方式的说明。
在图19中示出了第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式。在第一力觉显示部362中，显示有第一从属装置10A的轴12、关节部13、以及手术工具14的三维模型。即，显示有三维模型的轴12m、三维模型的关节部13m、以及三维模型的手术工具14m。三维模型以反映实际的轴12的姿势和关节部13的弯曲状态的方式进行显示。
同样地，在第二力觉显示部363以及第三力觉显示部364中也分别显示有第二从属装置10B以及第三从属装置10C的轴12、关节部13、以及手术工具14的三维模型。
在三维模型中的轴12m处，显示有基于从轴传感器15输入的信号而表示力的大小以及力的方向的圆环状图形515f。
此外，在三维模型中的关节部13m处，显示有基于从关节传感器16输入的信号而表示力的大小以及力的方向的圆环状图形516f。在本实施方式中，圆环状图形515f以及圆环状图形516f呈具有部分缺口的形状，不过也可以呈没有缺口的形状。
此外，在本实施方式中，圆环状图形515f以及圆环状图形516f中显示的颜色对应于力的大小并且对应于力作用的方向。具体地，通过改变圆环状图形515f以及圆环状的图形516f中的、与力作用的方向相对应的区域的颜色，来显示力作用的方向。而且随着力的增加，与力作用的方向相对应的区域的颜色会变成绿色、黄色和红色。
在与三维模型中的手术工具14相邻的位置处，显示有基于从手术工具传感器17输入的信号而表示作为手术工具14的钳子闭合的力的大小或张开的力的大小的扇形图形514f。
在本实施方式中，以将扇形图形514f显示为红色的握持显示方式来表现手术工具14闭合的力。此外，以将扇形图形514f显示为蓝色的剥离显示方式来表现作为手术工具14的钳子张开的力。
由扇形图形514f的面积表现力的大小。例如，若力增加，则扇形图形514f的面积就会增加，若力减少，则扇形图形514f的面积就会减少。
或者，可以根据力的大小改变扇形图形514f的颜色的深浅。例如，随着力的增加，颜色会变成深色，而随着力的减少，颜色会变成浅色。在手术工具传感器17没有测量到力的情况下，不显示扇形图形514f。
根据上述控制装置550，通过以不同的颜色或色彩来显示扇形图形514f，而易于对信息进行目视识别。例如，可以通过所显示的颜色或色彩来确认以握持显示方式和剥离显示方式显示的扇形图形514f。
根据力的大小来改变扇形图形514f的颜色或色彩的深浅，而易于把握扇形图形514f中的力的大小。因此，易于把握所显示的握持力或剥离力的大小。
另外，可以基于手术工具14的种类来确定扇形图形514f中的颜色或色彩。由此，易于对信息进行目视识别。与第二实施方式相同，手术工具14的种类能够使用经由输入部51输入的表示手术工具14的种类的种类信息。
[第二实施方式的第三变形例]
接下来，将参照图20以及图21对本公开的第二实施方式的第三变形例涉及的医用机器人系统进行说明。本变形例的医用机器人系统以及力觉显示装置的基本构成与第二实施方式相同，不过，力觉显示部中的显示方式与第二实施方式不同。因此，在本变形例中，使用图20以及图21对力觉显示部中的显示方式进行说明，并且省略其他说明。
如图20所示，本实施方式的医用机器人系统601具备从属单元310、内窥镜单元20、操作单元30、发声装置40、控制装置650、以及显示装置60。控制装置650相当于力觉显示装置的一个例子。
控制装置650控制从属单元310的动作等和发声装置40中的发声。此外，控制装置650控制在显示装置60中显示的内容和显示的方式。
如图20所示，控制装置650是具有CPU、ROM、RAM、输入/输出接口等的计算机等信息处理装置。存储在上述ROM等存储装置中的程序使得CPU、ROM、RAM、输入/输出接口协同动作并至少作为输入部51、控制部52、图像生成部653、以及输出部54发挥作用。
图像生成部653生成图像信息，该图像信息是在显示装置60中显示的影像和/或图像的信息。具体地，基于从内窥镜单元20输入的影像和/或图像的信号，以及从轴传感器15、关节传感器16和手术工具传感器17输入的信号而生成图像信息。关于图像信息的内容将在后文进行叙述。
接下来，对具备上述构成的医用机器人系统601中的控制进行说明。另外，由于控制装置650中的与力觉的显示相关的控制与第一实施方式相同，所以省略其说明。此外，由于显示装置60中的显示方式与第二实施方式相同，所以省略其说明。
接下来，对第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式进行说明。另外，由于第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式是相同的，所以以第一力觉显示部362中的显示方式为代表进行说明，而省略第二力觉显示部363以及第三力觉显示部364中的显示方式的说明。
在图21中示出了第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式。在第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364的下部，显示有基于从轴传感器15输入的信号而表示力的大小的圆形图形615f。在本实施方式中，在显示圆形图形615f的位置处显示有“Force(Shaft)”。
在第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364的中部，显示有基于从关节传感器16输入的信号而表示力的大小的圆形图形616f。在本实施方式中，在显示圆形图形616f的位置处显示有“Force(Wrist)”。
在第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364的上部，显示有基于从手术工具传感器17输入的信号而表示力的大小的圆形图形614f。在本实施方式中，在显示圆形图形614f的位置处显示有“Grip”。
在本实施方式中，圆形图形615f、圆形图形616f、以及圆形图形614f的颜色根据力的大小而改变。例如，随着力的增加，颜色会变成绿色、黄色和红色(或橙色)。
根据上述控制装置650，通过用颜色来表现外力的值的大小，与用数值来表现外力的值的大小的情况相比，更易于直观地把握外力的值的大小。
[第二实施方式的第四变形例]
接下来，将参照图22以及图23对本公开的第二实施方式的第四变形例涉及的医用机器人系统进行说明。本变形例的医用机器人系统以及力觉显示装置的基本构成与第二实施方式相同，不过，力觉显示部中的显示方式与第二实施方式不同。因此，在本变形例中，使用图22以及图23对力觉显示部中的显示方式进行说明，并且省略其他说明。
如图22所示，本实施方式的医用机器人系统701具备从属单元310、内窥镜单元20、操作单元30、发声装置40、控制装置750、以及显示装置60。另外，控制装置750相当于力觉显示装置的一个例子。
控制装置750控制从属单元310的动作等和发声装置40中的发声。此外，控制装置750控制在显示装置60中显示的内容和显示的方式。
如图22所示，控制装置750是具有CPU、ROM、RAM、输入/输出接口等的计算机等信息处理装置。存储在上述ROM等存储装置中的程序使得CPU、ROM、RAM、输入/输出接口协同动作并至少作为输入部51、控制部52、图像生成部753、以及输出部54发挥作用。
图像生成部753生成图像信息，该图像信息是在显示装置60中显示的影像和/或图像的信息。具体地，基于从内窥镜单元20输入的影像和/或图像的信号，以及从轴传感器15、关节传感器16和手术工具传感器17输入的信号而生成图像信息。关于图像信息的内容将在后文进行叙述。
接下来，对具备上述构成的医用机器人系统701中的控制进行说明。另外，由于控制装置750中的与力觉的显示相关的控制与第一实施方式相同，所以省略其说明。此外，由于显示装置60中的显示方式与第二实施方式相同，所以省略其说明。
接下来，对第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式进行说明。另外，由于第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式是相同的，所以以第一力觉显示部362中的显示方式为代表进行说明，而省略第二力觉显示部363以及第三力觉显示部364中的显示方式的说明。
在图23中示出了第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364中的显示方式。在第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364的下部，显示有基于从轴传感器15输入的信号而表示力的大小的圆形图形715f。在本实施方式中，在显示圆形图形715f的位置处显示有“Force(Shaft)”。
在第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364的中部，显示有基于从关节传感器16输入的信号而表示力的大小的圆形图形716f。在本实施方式中，在显示圆形图形716f的位置处显示有“Force(Wrist)”。
在第一力觉显示部362、第二力觉显示部363、以及第三力觉显示部364的上部，显示有基于从手术工具传感器17输入的信号而表示力的大小的圆形图形714f。在本实施方式中，在显示圆形图形714f的位置处显示有“Grip”。
在本实施方式中，圆形图形715f、圆形图形716f、以及圆形图形714f的面积根据力的大小而改变，并且圆形图形715f、圆形图形716f、以及圆形图形714f的颜色也根据力的大小而改变。例如，随着力的增加，圆形图形的面积增加，并且圆形图形的颜色会变成绿色、黄色和红色(或橙色)。
根据上述控制装置750，通过用颜色、形状、以及面积来表现外力的值的大小，与用数值来表现外力的值的大小的情况相比，更易于直观地把握外力的值的大小。
另外，本公开的技术范围不限于上述实施方式，在不脱离本公开的主旨的范围内可以施加各种变更。例如，本公开不限于应用在上述实施方式或变形例中，也可以应用在由这些实施方式或变形例适当组合而形成的实施方式中，对此没有特别限定。

Claims (8)

1.一种力觉显示装置，其以操作者可感知的方式向操作者显示作用于能够通过闭合来握持对象物并通过张开来剥离所述对象物的手术工具上的力，该力觉显示装置的特征在于，设置有：
输入部，所述手术工具的握持力的测量信号以及所述手术工具的剥离力的测量信号被输入给所述输入部，所述握持力是握持所述对象物的力，所述剥离力是剥离所述对象物的力；
图像生成部，所述图像生成部基于所述测量信号创建图像信息，所述图像信息以握持显示方式显示与所述握持力相关的信息，并且以剥离显示方式显示与所述剥离力相关的信息，其中，所述剥离显示方式是不同于所述握持显示方式的显示方式；以及
输出部，所述输出部向显示所述图像信息的显示部输出已创建的所述图像信息。
2.根据权利要求1所述的力觉显示装置，其特征在于，
所述握持显示方式是基于所述手术工具的种类而使颜色或色彩不同的显示方式，并且所述剥离显示方式是基于所述手术工具的种类而使颜色或色彩不同的显示方式，
所述图像生成部使所述握持显示方式形成为使用第一颜色或第一色彩的显示方式，并且使所述剥离显示方式形成为使用不同于所述第一颜色或第一色彩的第二颜色或第二色彩的显示方式。
3.根据权利要求1所述的力觉显示装置，其特征在于，
所述握持显示方式以及所述剥离显示方式是基于所述手术工具的力的大小而改变长度的显示方式，
所述图像生成部生成所述图像信息，所述图像信息将所显示的长度小于具有预定长度的基准指标的显示方式和所显示的长度大于所述基准指标的显示方式中的一者作为所述握持显示方式，并且将另一者作为所述剥离显示方式。
4.根据权利要求3所述的力觉显示装置，其特征在于，
所述握持显示方式以及所述剥离显示方式是具有长度基于所述手术工具的力的大小而改变的棒状形状或带状形状的显示方式。
5.根据权利要求3或4所述的力觉显示装置，其特征在于，
所述握持显示方式以及所述剥离显示方式是基于所述手术工具的力的大小而改变颜色或色彩的显示方式。
6.根据权利要求1所述的力觉显示装置，其特征在于，
所述握持显示方式以及所述剥离显示方式是具有预定形状的显示图形的面积基于所述手术工具的力的大小而改变的显示方式，
所述图像生成部生成所述图像信息，所述图像信息使所述握持显示方式形成为包含基准线的一个所述显示图形的显示方式，并且使所述剥离显示方式形成为将所述基准线夹在中间且隔开间隔而配置的两个所述显示图形的显示方式。
7.根据权利要求6所述的力觉显示装置，其特征在于，
所述握持显示方式以及所述剥离显示方式是具有面积基于所述手术工具的力的大小而改变的扇形形状的显示方式。
8.一种力觉显示方法，其以操作者可感知的方式向操作者显示作用于能够通过闭合来握持对象物并通过张开来剥离所述对象物的手术工具上的力，该力觉显示方法的特征在于，具有以下步骤：
输入步骤，在所述输入步骤中输入所述手术工具的握持力的测量信号以及所述手术工具的剥离力的测量信号，所述握持力是握持所述对象物的力，所述剥离力是剥离所述对象物的力；
图像生成步骤，在所述图像生成步骤中基于所述测量信号创建图像信息，所述图像信息以握持显示方式显示与所述握持力相关的信息，并且以剥离显示方式显示与所述剥离力相关的信息，其中，所述剥离显示方式是不同于所述握持显示方式的显示方式；以及
输出步骤，在所述输出步骤中向显示所述图像信息的显示部输出已创建的所述图像信息。
CN202080019745.6A 2019-03-15 2020-02-14 力觉显示装置以及力觉显示方法 Active CN113543934B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-048548 2019-03-15
JP2019048548A JP6801897B2 (ja) 2019-03-15 2019-03-15 力覚表示装置および力覚表示方法
PCT/JP2020/005839 WO2020189120A1 (ja) 2019-03-15 2020-02-14 力覚表示装置および力覚表示方法

Publications (2)

Publication Number Publication Date
CN113543934A true CN113543934A (zh) 2021-10-22
CN113543934B CN113543934B (zh) 2022-07-15

Family

ID=72431004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080019745.6A Active CN113543934B (zh) 2019-03-15 2020-02-14 力觉显示装置以及力觉显示方法

Country Status (5)

Country Link
US (1) US20220151721A1 (zh)
EP (1) EP3939749A4 (zh)
JP (1) JP6801897B2 (zh)
CN (1) CN113543934B (zh)
WO (1) WO2020189120A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098981A (zh) * 2021-11-24 2022-03-01 东南大学 一种双臂协作的头颈部辅助牵拉手术机器人及其控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022168905A1 (ja) * 2021-02-04 2022-08-11 オリンパス株式会社 内視鏡システム、手技支援方法および手技支援プログラム
CN117042716A (zh) * 2021-03-23 2023-11-10 瑞德医疗机器股份有限公司 力觉通知装置以及力觉通知方法
EP4342409A1 (en) * 2021-05-18 2024-03-27 RIVERFIELD Inc. Force sense display device, force sense display method, and program

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002316087A (ja) * 2001-04-18 2002-10-29 Ricoh Co Ltd 粘着部品の剥離方法と剥離工具及び剥離装置
US20030097060A1 (en) * 2001-11-21 2003-05-22 Yanof Jeffrey Harold Tactile feedback and display in a CT image guided robotic system for interventional procedures
CN1669532A (zh) * 2005-03-11 2005-09-21 天津大学 具有力感觉的显微外科手术机器人控制系统
US20080059131A1 (en) * 2006-08-29 2008-03-06 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
US20120071863A1 (en) * 2010-09-17 2012-03-22 Samsung Electronics Co., Ltd. Surgery robot system, surgery apparatus and method for providing tactile feedback
WO2015021333A1 (en) * 2013-08-07 2015-02-12 Cornell Universty Semiconductor tweezers and instrumentation for tissue detection and characterization
CN104424838A (zh) * 2013-08-26 2015-03-18 王尧 宫腔镜手术模拟器
CN106650237A (zh) * 2016-11-16 2017-05-10 南京信息工程大学 一种支持力触觉反馈的虚拟柔性体手术仿真系统
CN107205779A (zh) * 2014-12-29 2017-09-26 助视会有限公司 手术模拟器系统和方法
CN107736932A (zh) * 2017-10-27 2018-02-27 上海诺英医疗器械有限公司 一种低温等离子剥离刀手术系统及方法
WO2018163680A1 (ja) * 2017-03-10 2018-09-13 ソニー株式会社 手術用システム、外科手術システム、制御装置、起歪体、外科手術用器具、並びに外力検知システム
US20180263714A1 (en) * 2017-03-16 2018-09-20 KB Medical SA Robotic navigation of robotic surgical systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3756556B2 (ja) * 1995-10-06 2006-03-15 オリンパス株式会社 把持鉗子
US6810281B2 (en) * 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
JP2001104333A (ja) * 1999-10-07 2001-04-17 Hitachi Ltd 手術支援装置
JP2006043349A (ja) * 2004-08-09 2006-02-16 Hitachi Medical Corp 手術支援装置
US20070074584A1 (en) * 2005-10-03 2007-04-05 Joseph Talarico Gentle touch surgical instrument and method of using same
US8709036B2 (en) * 2009-05-13 2014-04-29 University of Pittsburgh—of the Commonwealth System of Higher Education Tension transducing forceps
US11278346B2 (en) * 2017-06-28 2022-03-22 Cilag Gmbh International Systems and methods of displaying surgical instrument status
JP2019048548A (ja) 2017-09-08 2019-03-28 いすゞ自動車株式会社 ミラーベースカバー

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002316087A (ja) * 2001-04-18 2002-10-29 Ricoh Co Ltd 粘着部品の剥離方法と剥離工具及び剥離装置
US20030097060A1 (en) * 2001-11-21 2003-05-22 Yanof Jeffrey Harold Tactile feedback and display in a CT image guided robotic system for interventional procedures
CN1669532A (zh) * 2005-03-11 2005-09-21 天津大学 具有力感觉的显微外科手术机器人控制系统
US20080059131A1 (en) * 2006-08-29 2008-03-06 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
US20120071863A1 (en) * 2010-09-17 2012-03-22 Samsung Electronics Co., Ltd. Surgery robot system, surgery apparatus and method for providing tactile feedback
US20160174998A1 (en) * 2013-08-07 2016-06-23 Cornell Universty Semiconductor tweezers and instrumentation for tissue detection and characterization
WO2015021333A1 (en) * 2013-08-07 2015-02-12 Cornell Universty Semiconductor tweezers and instrumentation for tissue detection and characterization
CN104424838A (zh) * 2013-08-26 2015-03-18 王尧 宫腔镜手术模拟器
CN107205779A (zh) * 2014-12-29 2017-09-26 助视会有限公司 手术模拟器系统和方法
CN106650237A (zh) * 2016-11-16 2017-05-10 南京信息工程大学 一种支持力触觉反馈的虚拟柔性体手术仿真系统
WO2018163680A1 (ja) * 2017-03-10 2018-09-13 ソニー株式会社 手術用システム、外科手術システム、制御装置、起歪体、外科手術用器具、並びに外力検知システム
US20180263714A1 (en) * 2017-03-16 2018-09-20 KB Medical SA Robotic navigation of robotic surgical systems
CN107736932A (zh) * 2017-10-27 2018-02-27 上海诺英医疗器械有限公司 一种低温等离子剥离刀手术系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098981A (zh) * 2021-11-24 2022-03-01 东南大学 一种双臂协作的头颈部辅助牵拉手术机器人及其控制方法
CN114098981B (zh) * 2021-11-24 2024-05-07 东南大学 一种双臂协作的头颈部辅助牵拉手术机器人及其控制方法

Also Published As

Publication number Publication date
CN113543934B (zh) 2022-07-15
WO2020189120A1 (ja) 2020-09-24
EP3939749A1 (en) 2022-01-19
EP3939749A4 (en) 2022-07-13
JP6801897B2 (ja) 2020-12-16
US20220151721A1 (en) 2022-05-19
JP2020146374A (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
CN113543934B (zh) 力觉显示装置以及力觉显示方法
US11607280B2 (en) Apparatus and method for using a remote control system in surgical procedures
AU2019352792B2 (en) Indicator system
KR102171873B1 (ko) 햅틱 글로브 및 수술로봇 시스템
JP2020048708A (ja) 手術システムおよび表示方法
GB2608088A (en) Control system
KR20140112208A (ko) 수술 로봇 및 그 제어방법
US20160175057A1 (en) Assistance device for imaging support of a surgeon during a surgical operation
KR101967635B1 (ko) 엔드 이펙터 및 원격 제어 장치
KR20140126473A (ko) 마커 및 이를 이용한 수술 도구 포즈 추정 방법
US20210307861A1 (en) Communication of detected tissue characterization in a surgical robotic platform
CN113906496A (zh) 医用机器人系统的力觉显示装置以及力觉显示方法
US20220378531A1 (en) Surgical robot
JP5800609B2 (ja) 医療用マスタスレーブマニピュレータ
US20210041314A1 (en) Use of pressure sensitive material for force feedback in a surgical instrument
US20240081918A1 (en) Force sense display device, force sense display method, and computer readable medium
EP4316407A1 (en) Force sensation notification device and force sensation notification method
CN113786238B (zh) 一种手术器械操作应力感知方法及系统
US20220167964A1 (en) Method and system for color based indication of suture strain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant