CN108135658A - 手术控制设备、手术控制方法及程序 - Google Patents

手术控制设备、手术控制方法及程序 Download PDF

Info

Publication number
CN108135658A
CN108135658A CN201680057478.5A CN201680057478A CN108135658A CN 108135658 A CN108135658 A CN 108135658A CN 201680057478 A CN201680057478 A CN 201680057478A CN 108135658 A CN108135658 A CN 108135658A
Authority
CN
China
Prior art keywords
block
state
control
operating personnel
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680057478.5A
Other languages
English (en)
Other versions
CN108135658B (zh
Inventor
前田毅
和田成司
坂口竜已
松浦加奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108135658A publication Critical patent/CN108135658A/zh
Application granted granted Critical
Publication of CN108135658B publication Critical patent/CN108135658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种能够在控制手术设备时通过非接触式输入防止手术设备的不正确运动的手术控制装置、手术控制方法、以及程序。条件估计单元(64)基于来自操作人员的至少一种类型的非接触式输入估计通过识别单元(61)进行识别的操作人员的条件。指令单元(62)基于来自通过识别单元(61)进行识别的操作人员的至少一种类型的非接触式输入，根据通过条件估计单元(64)估计的条件来限制对手术相机(11)、相机臂(12)或图像处理单元(66)执行的控制。本发明适用于例如具有手术相机(11)、相机臂(12)、运动识别相机(13)、显示器(14)、控制装置(15)、眼镜17、麦克风(18)、标记物、脚踏开关(20)等并且能够通过参考图像执行治疗的手术系统。

Description

手术控制设备、手术控制方法及程序
技术领域
本公开涉及一种手术控制设备、手术控制方法以及程序，更具体地，涉及被配置为在通过非接触式输入控制手术设备的情况下防止手术设备发生错误操作的手术控制设备、手术控制方法、以及程序。
背景技术
构想了这样一种手术系统，其中，手术系统通过输入诸如声音、手势、以及视线等非接触式信息而控制手术设备(例如，参考PTL 1)。在这种手术系统中，需要实施灭菌措施的操作人员能够在不触摸操纵按钮和其他控制装置的情况下控制手术设备。
然而，与通过触摸的输入相比较，非接触式输入可能导致错误识别输入，由此使得手术设备按照错误的方式操作。对于手术系统，手术设备的任何错误操作都会影响患者的生命，因此，必须防止手术设备的任何错误操作。
引用列表
专利文献
专利文献1：美国专利申请公开第2011/026678号
发明内容
技术问题
因此，在通过非接触式输入控制手术设备时，要求实现故障保护，以防止手术设备的错误操作。
考虑到上述情形而执行的本公开内容旨在当通过非接触式输入控制手术设备时防止手术设备的错误操作。
问题的解决方案
根据本公开的一方面，提供一种手术控制设备。该手术控制设备具有：状态估计块，被配置为基于由第一非接触式输入识别块识别的来自用户的至少一种类型的非接触式输入来估计用户的状态；和限制块，所述限制块被配置为基于通过第二非接触式输入识别块进行识别的来自用户的至少一种类型的非接触式输入、根据通过状态估计块估计的状态来限制手术设备的控制操作。
根据本公开的其他方面实施的手术控制方法与程序与根据本公开的一方面实施的手术控制设备对应。
就本公开的一方面而言，基于由第一非接触式输入识别块识别的来自用户的至少一种类型的非接触式输入来估计用户的状态，并且基于通过第二非接触式输入识别块进行识别的来自用户的至少一种类型的非接触式输入、根据估计状态显示手术设备的控制操作。
发明的有利效果
根据本公开的一方面，能够控制手术设备。此外，根据本公开的另一方面，当利用非接触式输入控制手术设备时，能够防止手术设备的错误操作。
应注意，此处描述的效果不一定受限制；即，本公开内容中描述的任何效果可以是此处表示的效果。
附图说明
图1是示出作为应用了本公开内容的第一实施方式实践的手术系统的配置的一个示例的框图。
图2是示出通过在图1中描述的相机臂来对手术相机进行的驱动操作的示图。
图3是示出在图1中所描述的控制设备的配置的一个示例的框图。
图4是示出输入信息与命令之间的关系的一个示例的示图。
图5是示出对在图3中所描述的控制块的枢轴移动命令的执行的描述的示图。
图6是对在图3中所描述的控制块的滑动移动命令的执行的描述的示图。
图7是示出通过在图3中所描述的状态估计块进行估计的操作人员的状态的一个示例的示图。
图8是对在图3中所描述的状态估计块中估计操作人员状态的方法的描述的示图。
图9是指示通过在图1中描述的手术系统的控制设备执行控制处理的流程图。
图10是指示在图9中描述的状态估计处理的细节的流程图。
图11是示出作为应用了本公开内容的第二实施方式而实施的手术系统的配置的一个示例的框图。
图12是示出计算机的硬件的配置的一个示例的框图。
具体实施方式
下面描述了执行本公开内容的模式(以下称为实施方式)。应注意，将按照下列序列展开描述。
1.第一实施方式：手术系统(图1至图10)
2.第二实施方式：手术系统(图11)
3.第三实施方式：计算机(图12)
<第一实施方式>
(作为第一实施方式实践的手术系统的配置的示例)
图1是示出作为应用本技术的第一实施方式实践的手术系统的配置的一个示例的框图。
手术系统10具有手术相机11、相机臂12、动作识别相机13、显示器14、控制设备15、手术台16、手术眼镜17、麦克风18、标记物19，以及脚踏开关20。手术系统10布置在手术室等中并且能够进行诸如利用手术相机11拍摄参考图像的手术操作等治疗。
更具体地，手术系统10的手术相机11(手术成像设备)是由相机臂12保持的诸如3D相机等的模态装置(modality device)。手术相机11拍摄躺在手术台16上的患者21的手术部位的图像并且将合成的3D图像作为手术部位图像发送至控制设备15。相机臂12保持手术相机11，以控制手术相机11的位置和角度。
例如，动作识别相机13是2D相机并且布置在显示器14的顶部。动作识别相机13拍摄将手术眼镜17、麦克风18、以及标记物19佩戴在头部22A上的操作人员22的图像。动作识别相机13将由于成像而获得的2D图像作为操作人员图像发送至控制设备15。
显示器14是具有比较大的屏幕并且布置在距操作人员22比较远的位置处(在图1描述的示例中，是与操作人员22直接相对的位置，且手术台16介于该位置与操作人员22之间)的3D显示器。显示了从控制设备15发送的手术部位图像等。
控制设备15将操作模式设置成手动模式或免提模式。在手动模式中，基于操作人员22的双手的输入(例如，施加给相机臂12的力和操纵按钮以及安装在各个部件块上的未描述的其他控制件等的操作)来控制手术系统10。在免提模式中，基于与操作人员22的双手无关的声音、视线、头部22A的移动和方向的非接触式输入以及基于通过腿22B与脚踏开关20的接触的输入来控制手术系统10。
控制设备15接收从动作识别相机13发送的操作人员图像并且检测操作人员22的头部22A上佩戴的标记物19在操作人员图像内的位置，由此检测头部22A的移动(头部跟踪)并且识别头部22A的方向。进一步地，控制设备15从操作人员图像识别由操作人员22完成的手势。
控制设备15接收指示从手术眼镜17发送的操作人员22的视线的方向的信息并且基于该信息及头部22A的位置和方向识别视线在显示器14的屏幕上的位置。控制设备15接收从麦克风18发送的声音，以对该声音执行声音识别。控制设备15从脚踏开关20接收指示在脚踏开关20上完成的操纵的操纵信号并且基于该操纵信号识别在脚踏开关20上完成的操纵的内容。
进一步地，如果操作模式是免提模式，则控制设备15使用头部22A的移动和方向、操作人员22的手势、指示视线在显示器14的屏幕上的视线的位置的视线位置信息、声音识别结果、音量、以及指示在脚踏开关20上完成的操纵的内容的操纵信息作为输入信息。基于输入信息，控制设备15识别来自操作人员22的命令及操作人员22的状态。
根据操作人员22的状态，控制设备15许可来自操作人员22的命令。根据许可命令，控制设备15控制通过手术相机11的成像、控制相机臂12的驱动、控制显示器14的显示、并且改变操作模式。
手术眼镜17佩戴在操作人员22的头部22A的周围并且包括3D偏光眼镜和视线检测装置。操作人员22能够通过手术眼镜17的3D偏光眼镜查看显示器14，由此识别在显示器14上作为3D图像显示的手术部位图像。
进一步地，通过手术眼镜17观看周围，操作人员22的视线能够进入手术眼镜17中。手术眼镜17的视线装置检测操作人员22的视线并且将指示视线的方向的信息发送至控制设备15。
麦克风18佩戴在操作人员22的头部22A上。麦克风拾取包括操作人员22的声音等的周围的声音并且将拾取的声音发送至控制设备15。标记物19佩戴在操作人员22的头部22A上。
脚踏开关20布置在操作人员22周围并且通过接触操作人员22的腿22B而被操纵。脚踏开关20将指示由操作人员22的腿22B完成的操纵的操纵信号发送至控制设备15。
利用上述所述手术系统10，操作人员22使患者21躺在手术台16上并且在通过手术眼镜17观看显示器14上显示的手术部位图像等的同时执行诸如手术操作等的治疗。
此外，当改变操作模式、手术相机11的成像条件、手术相机11的位置和角度、显示器14的显示等时，操作人员22执行非接触式输入操作或接触式脚踏输入操作。因此，操作人员22能够利用手中持有的手术工具(未描述)执行输入操作。应注意，操作人员22执行输入操作时，操作人员22不需要每次都执行灭菌处理。
还应注意，对于视线检测方法、检测头部22A的移动和方向及操作人员22的手势的方法，以及获得声音的方法可以采用任何方法。例如，视线检测装置或麦克风18可以不是可佩戴式装置。
在本描述中，将显示器14的水平方向称之为x方向，将竖直方向称之为y方向，并且将垂直于显示器14的屏幕的方向称之为z方向。
(手术相机的驱动的述)
图2是示出通过图1中的相机臂12驱动手术相机11的示图。
如图2的A中描述的，相机臂12能够使得手术相机11在不改变成像中心的情况下执行用于改变成像角度的枢转移动。更具体地，相机臂12能够移动手术相机11，以始终保持距手术部位的中心P(即，通过手术相机11成像的目标)的距离恒定。该设置允许手术相机11拍摄在手术部位的中心P中相同、但成像角度不同的手术部位图像。
进一步地，如在图2的B中描述的，相机臂12能够使得手术相机11在x方向上执行滑动移动，即，在x方向上移动成像中心。更具体地，相机臂12能够在x方向上移动手术相机11。该设置允许手术相机11沿着x方向移动手术部位的中心p，即，成像目标。
进一步地，尽管未描述，相机臂12能够使得手术相机11在y方向或z方向上执行滑动移动。如果手术相机11在y方向上执行滑动移动，手术相机11则能够放大或缩小成像范围。此外，如果手术相机11在z方向上执行滑动移动，则手术相机11能够沿着z方向移动手术部位的中心P。
应注意，在本描述中，假设通过相机臂12移动手术相机11而执行手术相机11的滑动移动；然而，通过相机臂12改变手术相机11的成像角度来执行滑动移动也是可行的。
(控制设备的配置的示例)
图3是示出图1中描述的控制设备15的配置的一个示例的框图。
在图3中描述的控制设备15具有识别块61、命令块62、模式设置块63、状态估计块64、控制块65以及图像处理块66。
控制设备15中的识别块61具有声音识别块71、视线识别块72、头部识别块73、手势识别块74以及操纵识别块75。
声音识别块71(非接触式输入识别块)对从麦克风18发送的声音执行声音识别，以将语音识别为操作人员22(用户)的非接触式输入。此外，声音识别块71将从麦克风18发送的声音的音量识别为操作人员22的非接触式输入。声音识别块71将语音和音量(即，声音识别的结果)作为输入信息供应至命令块62。
视线识别块72(非接触式输入识别块)基于指示从手术眼镜17发送的视线的方向的信息以及由头部识别块73识别的头部22A的位置和方向而将视线在显示器14的屏幕上的位置识别为操作人员22的非接触式输入。视线识别块72将指示其位置的视线位置信息作为输入信息供应至命令块62、状态估计块64以及图像处理块66。
头部识别块73(非接触式输入识别块)从动作识别相机13发送的操作人员图像检测标记物19在操作人员图像内的位置，以将操作人员22的头部22A的位置、移动、以及方向识别为操作人员22的非接触式输入。头部识别块73将头部22A的移动和方向作为输入信息供应至命令块62和状态估计块64。此外，头部识别块73将头部22A的位置和方向供应至视线识别块72。
手势识别块74(非接触式输入识别块)从动作识别相机13发送的操作人员图像识别由操作人员22做出的手势的输入作为操作人员22的非接触式输入。手势识别块74将由操作人员22做出的手势作为输入信息供应至命令块62。
操纵识别块75(接触输入识别块)接收从脚踏开关20发送的操纵信号并且将在脚踏开关20上完成的操纵的内容识别为来自操作人员22的接触输入。操纵识别块75将指示该操纵的内容的操纵信息作为输入信息供应至命令块62。
基于从识别块61供应的输入信息，命令块62识别从操作人员22发出的命令。如果所识别的命令是用于改变操作模式的命令，则命令块62将该命令通知给模式设置块63。
另一方面，如果从操作人员22发出的所识别的命令不是用于改变操作模式的命令，则命令块62(限制块)根据从状态估计块64供应的状态限制从操作人员22发出的命令。即，根据从状态估计块64供应的状态，命令块62许可从操作人员22发出的预定命令。命令块62将许可命令供应至控制块65。
根据从命令块62供应的命令，模式设置块63将操作模式设置成手动模式或免提模式。模式设置块63将设置模式供应至状态估计块64。
如果从模式设置块63供应的操作模式是免提模式，状态估计块64则基于从识别块61供应的输入信息来估计操作人员22的状态。状态估计块64将估计状态通知给命令块62。
控制块65执行从命令块62供应的命令。更具体地，如果从命令块62供应的命令是与手术相机11的成像控制相关联的命令，则控制块65根据该命令执行手术相机11(手术设备)的成像控制。
如果从命令块62供应的命令是与相机臂12的驱动控制相关联的命令，则控制块65根据该命令执行相机臂12(手术设备)的驱动控制。进一步地，如果从命令块62供应的命令是与显示器14的显示控制相关联的命令，则控制块65通过将该命令供应至图像处理块66而控制图像处理块66(手术设备)。
图像处理块66处理从手术相机11发送的手术部位图像。更具体地，图像处理块66将从手术相机11发送的手术部位图像无变化地供应至显示器14，由此显示该手术部位图像。
进一步地，如果从控制块65供应的命令是注释显示命令，则图像处理块66基于从视线识别块72供应的视线位置信息将标记(预定图像)叠加在与从手术相机11发送的手术部位图像内的操作人员22的视线对应的位置上。接着，图像处理块66将叠加了标记的所成像的手术部位供应至显示器14，由此显示该手术部位图像。
此外，如果从控制块65供应的命令是用于在显示器14上显示诸如菜单按钮的GUI(图形用户界面)的菜单显示命令，则图像处理块66将从手术相机11发送的手术部位图像与GUI图像叠加。图像处理块66将叠加了GUI的手术部位图像供应至显示器14，由此显示该手术部位图像。
(输入信息与命令之间的关系示例)
图4是示出输入信息与命令之间的关系的一个示例的示图。
如在图4中描述的，如果输入信息中的声音识别结果是“放大”并且视线位置信息指示显示器14的屏幕内的位置，则命令块62识别出来自操作人员22的命令是使得手术相机11将与在视线位置信息中指示的视线位置对应的对象周围缩小的命令(以下称之为放大成像命令)。
同样，如果输入信息中的声音识别结果是“缩小”并且视线位置信息指示显示器14的屏幕内的位置，则命令块62识别出来自操作人员22的命令是使得手术相机11将与在视线位置信息中指示的视线位置对应的对象周围缩小的命令(以下称之为缩小成像命令)。
如果输入信息中的声音识别结果是“聚焦”并且视线位置信息指示显示器14的屏幕内的位置，则命令块62识别出来自操作人员22的命令是用于执行手术相机11的聚焦控制的命令(以下称之为聚焦控制命令)，因此，聚焦与由视线位置信息指示的视线位置对应的对象。
应注意，放大成像命令、缩小成像命令、以及聚焦控制命令是与手术相机11的成像控制相关联的命令，因此，将这些类型的命令分类成“成像控制”。
如上所述，操作人员22能够利用适于命令输入的声音输入成像控制的内容，并且利用适于位置输入的视线输入成像控制所需的位置。因此，操作人员22能够容易执行与成像控制相关联的命令。
进一步地，如果输入信息中的声音识别结果是“枢转”，视线位置信息指示显示器14的屏幕内的位置，视线位置信息并不随着时间而改变，头部22A的移动是行进的，并且操纵信息指示按压脚踏开关20，那么命令块62识别出来自操作人员22的命令是用于控制相机臂12的命令(以下称之为枢转移动命令)，因此，手术相机11根据头部22A的移动枢转地移动。
如果输入信息中的声音识别结果是“滑动”，头部22A的移动是转动的，视线位置信息指示显示器14的屏幕内的位置，由视线位置信息指示的位置的瞬时变化方向与头部22A的转动方向相同，并且操纵信息指示按压脚踏开关20，那么命令块62识别出来自操作人员22的命令是用于控制相机臂12的命令(以下称之为滑动移动命令)，因此，手术相机11根据视线的位置滑动。
应注意，枢转移动命令和滑动移动命令是与相机臂12的驱动控制相关联的命令，因此，将这些类型的命令分类成“相机臂控制”。
如上所述，如果两条或多条输入信息的组合不满足条件，则命令块62不将用于改变手术部位图像的任何该等命令识别为从操作人员22发出的“成像控制”类型或“相机臂控制”类型的命令。
例如，即使输入信息中的声音识别结果是“放大”(“缩小”或“聚焦”)，但视线位置信息不指示屏幕内的位置，则命令块62确定做出的识别是错误的，由此未识别出来自操作人员22的命令是放大成像命令(缩小成像命令或聚焦控制命令)。
相反，即使输入信息中的视线位置信息指示屏幕内的位置，但声音识别结果不是“放大”(“缩小”或“聚焦”)，则命令块62确定做出的识别是错误的，由此未识别出来自操作人员22的命令是放大成像命令(缩小成像命令或聚焦控制命令)。
即使输入信息中的声音识别结果是“聚焦”，视线位置信息指示屏幕内的位置，头部22A的移动是行进的，并且操纵信息指示按压脚踏开关20，但视线位置信息指示瞬时变化，则命令块62确定做出的识别是错误的，由此未识别出来自操作人员22的命令是枢转移动命令。
进一步地，即使输入信息中的声音识别结果是“聚焦”，视线位置信息指示屏幕内的位置，头部22A的移动是行进的，并且视线位置信息不瞬时变化，但操纵信息未指示按压脚踏开关20，则命令块62确定做出的识别是错误的，由此未识别出来自操作人员22的命令是枢转移动命令。
因此，能够提高改变手术部位图像的命令的识别命中率并且由此极大地影响手术操作。因此，能够增强手术的安全性。
此外，极大地改变手术部位图像的内容的类型为“相机臂控制”的命令比类型为“成像控制”的命令更为影响手术。因此，在图4描述的示例中，在类型为“相机臂控制”的命令的识别条件下的输入信息的条数比类型为“成像控制”的命令的识别条件下的输入信息条数多3至2条。
应注意，可以将操纵信息指示按压脚踏开关20的条件添加到类型为“成像控制”的命令的识别条件中，由此将识别信息下的输入信息的条数增加至3条。
如果输入信息中的声音识别结果是“菜单”并且操纵信息指示按压脚踏开关20，则命令块62识别出来自操作人员22的命令是菜单显示命令。应注意，菜单显示命令是与诸如图像处理块66(显示控制设备)的菜单按钮及其他控制件的GUI的显示控制相关联的命令，因此，将菜单显示命令的类型分类成“菜单显示控制”。
进一步地，如果输入信息中的声音识别结果是“注释”或“指针(pointer)”并且操纵信息指示按压脚踏开关20，则命令块62识别出来自操作人员22的命令是注释显示命令，显示与显示器14的屏幕内的操作人员22的视线对应的位置处的标记作为注释。应注意，注释显示命令是与图像处理块66的注释的显示控制相关联的命令，因此，将注释命令类型分类成“注释显示控制”。
此外，如果输入信息中的声音识别结果是“免提”并且操纵信息指示按压脚踏开关20，则命令块62识别出来自操作人员22的命令是用于将操作模式设置成免提模式的命令(以下称之为免提模式命令)。
如果输入信息中的声音识别结果是“停止”并且操纵信息指示按压脚踏开关20，则命令块62识别为来自操作人员22的命令是用于将正常状态下的操作模式设置成手动模式的命令(以下称之为手动模式命令)。
如上所述，当操作人员22将与菜单显示命令、注释显示命令、或手动模式命令相关联的语音输入到麦克风18中并且通过按压脚踏开关20执行输入操纵时，命令块62识别已输入的命令。
进一步地，如果输入信息中的操纵信息指示长按压脚踏开关20，则命令块62识别为来自操作人员22的命令是正常状态下的手动模式命令。如果由输入信息中的视线位置信息指示的位置在显示器14的屏幕之外并且操纵信息指示按压脚踏开关20，则命令块62识别为来自操作人员22的命令是正常状态下的手动模式命令。
此外，如果输入信息中的操作人员22的手势不是注册手势或输入信息中的音量大于预定值，则命令块62识别出命令是紧急状态下的手动模式命令。紧急状态表示在紧急情况下由于错误操作等必须停止免提模式的状态。
应注意，如果这些识别条件不是其他命令的识别条件，则紧急状态下识别手动模式命令的条件可以是不同于操作人员22的姿势是注册姿势的条件或不同于声音音量大于预定值的条件。
免提模式命令和手动模式命令是与控制设备15的操作模式的控制相关联的命令，因此，将这些命令类型分类成“模式控制”。
应注意，输入信息与命令之间的关系不受图4中描述的上述所述示例的限制。
即，如果操作人员22通过使用声音和音量、视线、头部22A的移动和方向、手势、或适合于这些输入内容的类型的脚踏开关20的操纵而能够输入用于命令识别所需的输入内容时，识别条件则不受具体的某些条件的限制。例如，在图4描述的示例中，在类型是“菜单显示控制”、“注释显示控制”以及“模式控制”的命令识别条件的情况下，非接触式输入的输入信息的类型的数目是一；然而，输入信息的类型的数目可以大于一。
进一步地，只要命令用于控制手术系统10的各个块，那么通过命令块62识别的命令可以是任何命令。例如，命令块62可以识别用于设置手术相机11的各种类型的参数的命令。
(执行枢转移动命令的说明)
图5是示出通过图3中描述的控制块65执行的枢转移动命令的示图。
应注意，图5中的A是示出从y方向上观看的头部22A和显示器14的示图。图5中的B是示出从z方向与y方向之间的方向上观看的手术相机11的示图。
如图5的A中描述的，当操作人员22发出声音“枢转”并且操作人员22的视线定位在显示器14的屏幕内的位置R处时，如果操作人员22在按压脚踏开关20的同时，仅在x方向上移位头部22A，而不在屏幕上移动视线位置，则命令块62识别枢转移动命令。
如果从命令块62供应枢转移动命令，则控制块65驱动控制相机臂12，以致使手术相机11在x方向上枢转移动与头部22A的行进量对应的量。因此，如在图5的B中描述的，手术相机11在x方向上行进与头部22A的行进量对应的量，而不改变距中心P的距离。
(滑动移动命令的执行的说明)
图6是示出通过在图3中描述的控制块65执行滑动移动命令的示图。
应注意，图6的A中是示出从y方向上观看的头部22A和显示器14的示图，而图6的B是示出从z方向观看的手术相机11的示图。
如图6的A中描述的，当操作人员22发出声音“枢转”并且操作人员22的视线定位在显示器14的屏幕内的位置R处时，如果操作人员22使头部22A在右侧方向上转动角α，以在按压脚踏开关20的同时，在屏幕上的x方向上移动的视线位置，则命令块62识别滑动移动命令。
如果从命令块62供应滑动移动命令，则控制块65驱动控制相机臂12，以使手术相机11在x方向上滑动，由此在移动至成像中心之后，将与视线的位置R’对应的对象放置在屏幕上。因此，手术部位的中心P(即，手术相机11的成像目标)在x方向上行进。
应注意，控制块65可以根据头部22A的转动速度控制滑动移动的速度。
(已估计的操作人员状态的示例)
图7是示出通过图3中的状态估计块64估计的操作人员22的状态的示例的示图。
如在图7中描述的，状态估计块64估计操作人员22处于手术程序之外的动作状态、俯瞰状态、密切注视状态、或观察状态。
手术程序之外的动作状态表示操作人员22正在执行手术程序之外的动作的状态(例如，检查持有镊子的手或了解助手及周围人员的情形)。在手术程序之外的动作状态下，假设操作人员22不与显示器14直接相对。因此，不需要改变手术部位图像。因此，如果将操作人员22的状态估计为手术程序之外的动作状态，则命令块62将除了类型为改变操作模式的“模式控制”的命令之外的来自操作人员22的命令限制为类型为不改变手术部位图像的“菜单显示控制”的命令。
例如，俯瞰状态表示操作人员22俯视手术部位以检查组织损伤或出血的状态，在俯瞰状态下，假设操作人员22的视线在显示器14的屏幕内频繁地移动。此外，在俯瞰状态下，操作人员22可以将手术部位图像内的预定位置指示给周围的助手或人员。因此，如果将操作人员22的状态估计为俯瞰状态，则将除类型为“模式控制”的命令之外的来自操作人员22的命令限制为类型为“菜单显示控制”的命令和与手术部位图像上的注释叠加的类型为“注释显示控制”的命令。
密切注视状态是操作人员22在密切注视手术部位图像内的单个点的同时执行手术操作的状态。在密切注视状态下，操作人员22的视线处于显示器14的屏幕内并且操作人员22的视线的移动较不频繁，但是，假设操作人员22是移动的。在密切注视状态下，操作人员22不一定改变手术部位图像的内容，但是，操作人员22必须注视在适合于手术程序的成像条件下拍摄的手术部位图像。因此，如果将操作人员22的状态估计为注视状态，则命令块62将除类型为“模式控制”的命令之外的来自操作人员22的命令限制为类型为“菜单显示控制”和“注释显示控制”的命令以及改变成像条件的类型为“成像控制”的命令。
观察状态是操作人员22临时中断手术程序以观察患者21用于重要治疗的状态。在观察状态下，假设操作人员22的视线在显示器14的屏幕内并且操作人员22的视线的移动和操作人员22的移动较不频繁。在观察状态下，操作人员22必须从各个方向上观察手术部位，因此，必须改变手术部位图像的内容。
因此，如果假设操作人员22的状态是观察状态，则命令块62许可除类型为“模式控制”的命令之外的来自操作人员22的全部命令。即，命令块62仅许可类型为“菜单显示控制”、“注释显示控制”、“以及成像控制”的命令，而且还许可改变手术相机11的位置的类型为“相机臂控制”的命令。
如上所述，改变手术部位图像的必要性的程度按照这种顺序增大：从手术程序状态之外的动作到俯瞰状态至密切注视状态至观察状态。
这里应注意的是，假设在改变手术部位图像的必要性较高的状态下，许可在较低状态下许可的全部命令；然而，确定这些状态中的每个状态所许可的命令也是可行的。
例如，如果操作人员22的状态是手术程序之外的动作状态、俯瞰状态、密切注视状态或观察状态，则仅可以许可类型为“菜单显示控制”、“注释显示控制”、“成像控制”或“相机臂控制”的命令。
(估计操作人员状态的方法的说明)
图8是示出在图3中描述的状态估计块64中估计操作人员22的状态的方法的示图。
基于头部22A的方向或在输入信息中的视线位置信息，状态估计块64确定操作人员22是否与显示器14直接相对。
更具体地，如果头部22A的方向在显示器14的方向上，则状态估计块64确定操作人员22与显示器14直接相对；如果头部22A的方向不在显示器14的方向上，则状态估计块64确定操作人员22不与显示器14直接相对。
可替代地，如果由视线位置信息指示的位置在显示器14的屏幕内，则状态估计块64确定操作人员22与显示器14直接相对；如果由视线位置信息指示的位置在显示器14的屏幕之外，则状态估计块64确定操作人员22不与显示器14直接相对。
基于由视线位置信息指示的位置在预定时间内的行进量，如果行进量大于预定的值，则状态估计块64确定视线的行进量高；如果行进量小于预定值，则状态估计块64确定视线的行进量低。
进一步地，基于头部22A的移动，如果头部22A的移动量大于预定时间内的预定值，则状态估计块64确定操作人员22正在移动；如果头部22A的移动量小于预定值，则状态估计块64确定操作人员22不是移动的。
应注意的是，识别块61识别除操作人员22的头部22A之外的部位的移动，并且状态估计块64基于除操作人员22的头部22A之外的部位的移动而确定操作人员22是否移动也是可行的。在这种情况下，如果操作人员22的头部22A之外的部位在预定时间内的移动量大于预定值，则识别块61确定操作人员22正在移动；如果操作人员22的头部22A之外的部位的移动量小于预定值，则识别块61确定操作人员22不是移动的。
如在图8中描述的，如果发现操作人员22不与显示器14直接相对，则状态估计块64估计操作人员22的状态为手术程序之外的动作状态。在这种情况下，已许可的来自操作人员22的命令的除“模式控制”之外的类型是“菜单显示控制”。
此外，如果发现操作人员22与显示器14直接相对并且视线的行进量高，则状态估计块64估计操作人员22的状态是俯瞰状态。在这种情况下，除“模式控制”之外的已许可命令的类型是“菜单显示控制”和“注释显示控制”。
进一步地，如果发现操作人员22与显示器14直接相对，发现视线的行进量低，并且发现操作人员22在移动，则状态估计块64估计操作人员22的状态为密切注视状态。在这种情况下，除“模式控制”之外的已许可命令的类型是“菜单显示控制”、“注释显示控制”、以及“成像控制”。
此外，如果发现操作人员22不与显示器14直接相对，发现视线的行进量低，并且发现操作人员22不是移动的，则状态估计块64估计操作人员22的状态为观察状态。在这种情况下，除“模式控制”之外的已许可命令的类型是“菜单显示控制”、“注释显示控制”、“成像控制”、以及“相机臂控制”。
应注意，由于操作人员22在注视显示器14的同时通过使用镊子等执行手术程序，所以操作人员22的头部22A在手术程序过程中移动的频率非常低，但是，双手的移动频率高。因此，如果不在头部22A的移动量大于预定值、而是在头部22A的移动量小于预定值且头部22A之外的移动量大于预定值的情况下，状态估计块64可以确定操作人员22的状态为密切注视状态。
(通过手术系统的处理的说明)
图9是指示由在图1中描述的手术系统10的控制设备15执行控制处理的流程图。例如，当接通控制设备15的电源时，该控制处理开始。
在图9中描述的步骤S11中，模式设置块63将处理模式设置成手动模式并且将该信息供应至状态估计块64。
在步骤S12中，识别块61识别输入信息。识别块61将输入信息中的声音识别结果信息、音量信息、手势信息以及操纵信息供应至命令块62。此外，识别块61将视线位置信息供应至命令块62、状态估计块64、以及图像处理块66。识别块61将头部22A的移动和方向作为输入信息供应至命令块62和状态估计块64。
在步骤S13中，基于从识别块61供应的输入信息，命令块62识别来自操作人员22的命令。在步骤S14中，命令块62确定已识别的命令的类型是否是“模式控制”。
如果在步骤S14中识别的命令的类型是“模式控制”，则命令块62将该命令通知给模式设置块63，在其之后，处理进行至步骤S15。在步骤S15中，根据从命令块62供应的命令，模式设置块63改变操作模式。模式设置块63将改变的模式供应至状态估计块64，在其之后，处理进行至步骤S16。
另一方面，如果未发现在步骤S14中识别的命令的类型是“模式控制”，则处理进行至步骤S16。
在步骤S16中，状态估计块64确定从模式设置块63供应的操作模式是否是免提模式。如果在步骤S16中发现操作模式是免提模式，则处理进行至步骤S17。
在步骤S17中，控制设备15基于从识别块61供应的输入信息执行用于估计操作人员22的状态的状态估计处理。后面将参考图10描述该状态估计处理的细节。
在步骤S18中，命令块62确定是否许可在步骤S13中识别的来自操作人员22的除“模式控制”类型的命令之外的命令的类型。如果发现在步骤S18中许可该命令的类型，则命令块62将该命令供应至控制块65。
然后，在步骤S19中，控制块65执行从命令块62供应的命令，在其之后，处理进行至步骤S20。
另一方面，如果在步骤S16中发现操作模式不是免提模式或者如果在步骤S18中发现未许可除“模式控制”类型的命令之外的来自操作人员22的命令的类型，则处理进行至步骤S20。
在步骤S20中，控制设备15确定是否断开控制设备15的电源；例如，控制设备15确定操作人员22是否已经发出断开控制设备15的电源的命令。如果在步骤s20中发现未断开控制设备15的电源，处理则返回至步骤S12，以重复步骤S12至S20的处理。
另一方面，如果在步骤S20中发现断开控制设备15的电源，处理终止。
图10是指示在图9中描述的步骤S17中的状态估计处理的细节的流程图。
在图10描述的步骤S41中，基于头部22A的方向或输入信息中的视线位置信息，状态估计块64确定操作人员22是否与显示器14直接相对。
如果在步骤S41中发现操作人员22不与显示器14直接相对，则在步骤S42中状态估计块64估计操作人员22的状态为手术程序之外的动作状态，从而将其通知给命令块62。
在步骤S43中，命令块62将除“模式控制”之外的已许可的来自操作人员22的命令的类型设置为“菜单显示控制”。然后，处理返回至图9中描述的步骤S17，在其之后，执行步骤S18中的处理。
另一方面，如果在步骤S41中发现操作人员22与显示器14直接相对，则在步骤S44中状态估计块64基于由视线位置信息指示的位置在预定时间内的行进量确定视线的行进量是否高。
如果在步骤S44中发现视线的行进量高，则在步骤S45中状态估计块64估计操作人员22的状态是俯瞰状态，由此将其通知给命令块62。
在步骤S46中，命令块62将除“模式控制”之外的已许可的来自操作人员22的命令的类型设置为“菜单显示控制”和“注释显示控制”。然后，处理返回至在图9中描述的步骤S17，以重复步骤S18中的处理。
进一步地，如果在步骤S44中发现视线的行进量低，则在步骤S47中状态估计块64基于头部22A的移动确定操作人员22是否移动。如果在步骤S47中发现操作人员22是移动的，则状态估计块64在步骤S48中估计操作人员22的状态为密切注视状态，由此将其通知给命令块62。
在步骤S49中，命令块62将除“模式控制”之外的已许可的来自操作人员22的命令的类型设置为“菜单显示控制”、“注释显示控制”、以及“成像控制”。然后，处理返回至图9中描述的步骤S17，以重复步骤S18中的处理。
另一方面，如果在步骤S47中发现操作人员22不是移动的，则在步骤S50中状态估计块64估计操作人员22的状态为观察状态，由此将其通知给命令块62。
在步骤S51中，命令块62将已许可的来自操作人员22的命令的类型设置为“菜单显示控制”、“注释显示控制”、“成像控制”、以及“相机臂控制”。然后，处理返回至图9中描述的步骤S17，以重复步骤S18中的处理。
如上所述，基于两种或多种类型的非接触式输入的组合，手术系统10控制手术相机11、相机臂12、或图像处理块66。因此，例如，通过执行适合于输入内容的类型的非接触式输入操作，操作人员22能够容易并且直观地控制手术相机11、相机臂12、以及图像处理块66。即，手术系统10能够实现NUI(自然用户界面)。因此，减轻操作人员22的负担。
进一步地，与通过一种类型的非接触式输入控制手术相机11、相机臂12、或图像处理块66的情况相比较，上述所述两种或多种类型的非接触式输入提高了输入识别的命中率，这反过来又增强了手术程序的安全性。
因为手术系统10允许以非接触式方式或通过腿22B的接触而执行输入操作，所以即使双手因执行手术程序而被占用，操作人员22自身也能够执行输入操作。因此，与操作人员22执行输入操作的情况相比较，由于输入操作，所以不需要中断手术程序，由此节省了手术时间。此外，与除操作人员22之外的人执行输入操作的情况相比较，手术系统10允许操作人员22按照操作者22的意图执行控制，由此减轻操作人员22的负担。
进一步地，手术系统10能够根据操作人员22的状态来限制执行由操作人员22发出的命令，从而实现真正的故障安全，由此防止由于来自操作人员22的命令的错误识别而导致的操作人员22所不期望的控制操作。因此，手术程序的安全性得以增强。
再进一步地，因为手术系统10能够将操作模式从免提模式改变成手动模式，所以如果由于来自操作人员22的命令的错误识别而执行操作人员22不期望的控制操作，则能够停止意外的控制操作。
<第二实施方式>
(手术系统的第二实施方式的配置的示例)
图11是示出应用了本公开内容的手术系统的第二实施方式的配置的一个示例的框图。
利用在图11中描述的配置，以相同的参考符号表示与之前通过图1描述的部件相同的配置部件。将适当地跳过重复性描述。
在配置中，在图11中描述的手术系统100与在图1中描述的手术系统10的不同之处在于手术系统100具有显示器101和控制设备102、而非显示器14和控制设备15，并且不具有手术眼镜17和标记物19。
利用手术系统100，显示器101与操作人员22之间的距离比显示器14与操作人员22之间的距离短，因此，在不使用手术眼镜17的情况下，操作人员22通过肉眼将在显示器101上显示的手术部位图像识别为3D图像。
更具体地，手术系统100的显示器101是具有比较小的屏幕的3D显示器并且布置在比较靠近操作人员22的位置处(在图11描述的示例中，是在手术台16上并且靠近操作人员22的位置处)。显示器101显示从控制设备102发送的手术部位图像等。动作识别相机13布置在显示器101的顶部上。
除识别头部22A的视线和移动及方向的方法之外，控制设备102以与控制设备15相似的方式进行操作，因此，下面仅描述了该识别方法。控制设备102检测头部22A在从动作识别相机13发送的操作人员图像内的位置，以识别头部22A的移动和方向。进一步地，控制设备102从操作人员图像检测操作人员22的视线的方向，以基于检测方向识别视线在显示器14的屏幕上的位置。
应注意，利用手术系统100，操作人员22不使用手术眼镜17，因此，通过使用利用动作识别相机13拍摄的操作人员图像执行视线的检测；然而，通过使操作人员22佩戴具有视线检测装置的手术眼镜而通过视线检测装置执行视线的检测也是可行的。
进一步地，利用手术系统100，因为动作识别相机13与操作人员22之间的距离短，所以从操作人员图像检测头部22A的移动和方向；然而，使操作人员22佩戴标记物19，以从标记物19在操作人员图像内的位置检测头部22A的移动和方向也是可行的。
再进一步地，显示器101可以布置在距操作人员22比较远的位置处。显示器101是3D显示器，即，操作人员22通过3D偏光眼镜通过该3D显示器能够识别3D图像，因此，操作人员22可以使用3D偏光眼镜。
<第三实施方式>
(应用了本公开内容的计算机的说明)
通过硬件或软件能够执行控制设备15(102)的上述处理操作的序列。在通过软件执行该处理操作的序列时，将构成该软件的程序安装在计算机上。应注意，计算机包括内置于专用硬件中的计算机和通用个人计算机，例如，其中能够安装各个程序用于执行各种功能。
图12是示出用于通过程序执行上述处理操作的序列的计算机的硬件的一个示例的框图。
在计算机200中，通过总线204互连CPU(中央处理单元)201、ROM(只读存储器)202、以及RAM(随机存取存储器)203。
总线204进一步与输入/输出接口205连接。输入/输出接口205与输入块206、输出块207、存储块208、通信块209、以及驱动器210连接。
输入块206包括键盘、鼠标、麦克风等。输出块207包括显示器、扬声器等。存储块208包括硬盘驱动、非易失性存储器等。通信块209包括网络接口等。驱动器210驱动诸如磁盘、光盘、磁光盘、或半导体存储器等可移除介质211。
利用上述配置的计算机200，CPU 201经由输入/输出接口205和总线204将程序从存储块208加载到RAM 203中并且执行已加载的程序，以执行上述所述序列的处理操作。
通过计算机200(CPU 201)执行的程序可被设置成记录到可移除介质211中，即，封装介质等。此外，通过诸如局域网、互联网、或数字卫星广播等有线或无线传输介质可以提供程序。
利用计算机200，通过将可移除介质211加载到驱动器210上而能够经由输入/输出接口205将程序安装在存储块208中。此外，通信块209经由有线或无线传输介质接收程序而能够将程序安装到存储块208中。否则，能够提前将程序安装到ROM 202或存储块208中。
应注意，通过计算机200运行的程序可以是按照遵循本描述中描述的序列的时间序列方式或以并行方式或根据需要时刻按需执行处理的程序。
在本描述中，系统表示两个或多个配置部件(设备、模块(零件)等)的累加，与所有配置部件是否在同一外壳内无关。因此，容纳在单独外壳中并且经由网络互连的两个或多个设备是系统或者具有容纳在一个外壳中的两个或多个模块的一个设备也是系统。
应注意，此处描述的效果并不一定必须受限制；即，本公开内容中描述的任何效果可以是此处表示的效果。
尽管本公开内容的优选实施方式并不局限于上述所述实施方式，并且在不背离本公开内容的实质的情况下，可以做出变形。
例如，在第一实施方式至第三实施方式中，控制设备15(102)基于两种或多种类型的非接触式输入组合执行控制操作并且根据操作人员22的状态限制控制操作，两者由此增强了手术程序的安全性；然而，还可以实现为仅使用上述所述措施中的一种，以增强手术程序的安全性。
进一步地，只要目标是手术设备，则通过控制设备15(102)限制的目标可以是任何事物。例如，控制设备15(102)还能够控制诸如内诊镜和视频显微镜等手术成像设备。
而且，并非通过手术相机11的成像控制、而是通过按压图像处理块66中的手术部位图像实现缩放控制也是可行的。
在这种情况下，根据放大成像命令，图像处理块66放大从手术相机11发送的手术部位图像，以执行电子缩放，其中，从手术部位图像生成以放大方式在与视线的位置对应的对象周围拍摄的放大图像。同样，根据缩小成像命令，图像处理块66还原从手术相机11发送的手术部位图像，以从手术部位图像生成通过缩小方式在与视线的位置对应的对象周围拍摄的缩小图像。应注意，此刻，基于视线位置信息，图像处理块66可以将标记物叠加在与放大图像或缩小图像内的视线对应的位置上。
进一步地，尽管在显示器14上显示了手术部位图像，然而，可以始终执行注释显示。非接触式输入并不限制于操作人员22的声音和视线、头部22A的移动和方向、以及操作人员22的手势。例如，非接触式输入可以包括除操作人员22的头部22A之外的移动和姿势。
接受非接触式输入的设备可以是佩戴式的，如手术眼镜17和麦克风18，或者可以不是佩戴式的。
即使操作模式是手动模式，控制设备15(102)也可以估计操作人员22的状态并且根据估计状态限制手术相机11、相机臂12、以及图像处理块66的控制。
应注意，本公开还能够采用下列配置。
(1)一种手术控制设备，包括：
状态估计块，被配置为基于由第一非接触式输入识别块识别的来自用户的至少一种类型的非接触式输入估计用户的状态；和
限制块，被配置为基于来自通过第二非接触式输入识别块进行识别的用户的至少一种类型的非接触式输入、根据通过所述状态估计块估计的状态限制手术设备的控制操作。
(2)根据上面(1)所述的手术控制设备，其中，
非接触式输入是用户的声音、视线、动作、或手势。
(3)根据上面(1)或(2)所述的手术控制设备，其中，
基于来自通过第二非接触式输入识别块进行识别的用户的至少一种类型的非接触式输入与来自通过接触式输入识别块进行识别的用户的接触输入执行控制操作。
(4)根据上面(1)至(3)中任一项所述的手术控制设备，其中，
状态估计块估计手术程序之外的动作状态、俯瞰状态、注视状态、或观察状态等用户的状态。
(5)根据上面(4)所述的手术控制设备，其中，
手术设备的控制操作是显示控制设备的菜单显示控制操作、显示控制设备的注释显示控制操作、用于拍摄手术部位图像的手术成像设备的成像控制操作、或用于保持手术成像设备的臂驱动控制操作。
(6)根据上面(5)所述的手术控制设备，其中，
如果状态估计块将用户的状态估计为手术程序之外的动作状态，限制块则将手术设备的控制操作限制为显示控制设备的菜单显示控制操作。
(7)根据上面(5)或(6)所述的手术控制设备，其中，
如果状态估计块将用户的状态估计为俯瞰状态，限制块则将手术设备的控制操作限制为显示控制设备的注释显示控制操作。
(8)根据上面(5)至(7)中任一项所述的手术控制设备，其中，
如果状态估计块将用户的状态估计为注视状态，限制块则将手术设备的控制操作限制为手术成像设备的成像控制操作。
(9)根据上面(5)至(8)中任一项所述的手术控制设备，其中，
如果状态估计块将用户的状态估计为观察状态，限制块则将手术设备的控制操作限制为臂驱动控制操作。
(10)根据上面(1)至(9)中任一项所述的手术控制设备，其中，
模式设置块，被配置为基于来自通过第二非接触式输入识别块进行识别的用户的至少一种类型的非接触式输入设置手术控制设备的操作模式。
(11)根据上面(10)所述的手术控制设备，其中，
如果操作模式是用于控制手术设备的模式，状态估计块则基于来自用户的至少一种类型的非接触式输入估计状态。
(12)一种手术控制方法，包括由手术控制设备执行以下步骤：
状态估计步骤，基于由第一非接触式输入识别块识别的来自用户的至少一种类型的非接触式输入估计用户的状态；和
限制步骤，基于来自通过第二非接触式输入识别块进行识别的用户的至少一种类型的非接触式输入、根据通过状态估计步骤中的处理进行估计的状态限制手术设备的控制操作。
(13)一种用于使计算机用作如下功能块的程序：
状态估计块，被配置为基于由第一非接触式输入识别块识别的来自用户的至少一种类型的非接触式输入估计用户的状态；和
限制块，被配置为基于来自通过第二非接触式输入识别块进行识别的用户的至少一种类型的非接触式输入、根据通过状态估计块进行估计的状态限制手术设备的控制操作。
参考符号列表
11 手术相机、12 相机臂、15 控制设备、62 命令块、63 模式设置块、64 状态估计块、66 图像处理块、71 声音识别块、72视线识别块、73 头部识别块、74 手势识别块、75 操纵识别块。

Claims (13)

1.一种手术控制设备，包括：
状态估计块，被配置为基于由第一非接触式输入识别块识别的来自用户的至少一种类型的非接触式输入来估计所述用户的状态；
和
限制块，被配置为基于由第二非接触式输入识别块识别的来自所述用户的至少一种类型的非接触式输入，根据由所述状态估计块估计的所述状态来限制手术设备的控制操作。
2.根据权利要求1所述的手术控制设备，其中，
所述非接触式输入是所述用户的声音、视线、移动、或手势。
3.根据权利要求1所述的手术控制设备，其中，
所述控制操作基于由所述第二非接触式输入识别块识别的来自所述用户的至少一种类型的非接触式输入和由接触式输入识别块识别的来自所述用户的接触的输入来执行。
4.根据权利要求1所述的手术控制设备，其中，
所述状态估计块将所述用户的状态估计为手术程序之外的动作状态、俯瞰状态、密切注视状态、或观察状态。
5.根据权利要求4所述的手术控制设备，其中，
所述手术设备的控制操作是显示控制设备的菜单显示控制操作、所述显示控制设备的注释显示控制操作、用于拍摄手术部位图像的手术成像设备的成像控制操作，或用于保持所述手术成像设备的臂驱动控制操作。
6.根据权利要求5所述的手术控制设备，其中，
如果所述状态估计块将所述用户的状态估计为所述手术程序之外的动作状态，则所述限制块将所述手术设备的所述控制操作限制为所述显示控制设备的所述菜单显示控制操作。
7.根据权利要求5所述的手术控制设备，其中，
如果所述状态估计块将所述用户的状态估计为所述俯瞰状态，则所述限制块将所述手术设备的所述控制操作限制为所述显示控制设备的所述注释显示控制操作。
8.根据权利要求5所述的手术控制设备，其中，
如果所述状态估计块将所述用户的状态估计为所述密切注视状态，则所述限制块将所述手术设备的所述控制操作限制为所述手术成像设备的所述成像控制操作。
9.根据权利要求5所述的手术控制设备，其中，
如果所述状态估计块将所述用户的状态估计为所述观察状态，则所述限制块将所述手术设备的所述控制操作限制为所述臂驱动控制操作。
10.根据权利要求1所述的手术控制设备，进一步包括：
模式设置块，被配置为基于由所述第二非接触式输入识别块识别的来自所述用户的至少一种类型的非接触式输入来设置所述手术控制设备的操作模式。
11.根据权利要求10所述的手术控制设备，其中，
所述状态估计块估计所述操作模式是否是基于来自所述用户的至少一种类型的非接触式输入来控制所述手术设备的模式时的状态。
12.一种手术控制方法，包括由手术控制设备执行的以下步骤：
状态估计步骤，基于由第一非接触式输入识别块识别的来自用户的至少一种类型的非接触式输入估计所述用户的状态；和
限制步骤，基于由第二非接触式输入识别块识别的来自所述用户的至少一种类型的非接触式输入，根据由所述状态估计步骤中的处理估计的所述状态限制手术设备的控制操作。
13.一种用于使具有如下计算机用作如下功能块功能的程序：
状态估计块，被配置为基于由第一非接触式输入识别块识别的来自用户的至少一种类型的非接触式输入估计所述用户的状态；和
限制块，被配置为基于由第二非接触式输入识别块识别的来自所述用户的至少一种类型的非接触式输入，根据由所述状态估计块估计的所述状态限制手术设备的控制操作。
CN201680057478.5A 2015-10-09 2016-09-27 手术控制设备、手术控制方法及存储介质 Active CN108135658B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015201343 2015-10-09
JP2015-201343 2015-10-09
PCT/JP2016/078347 WO2017061294A1 (ja) 2015-10-09 2016-09-27 手術用制御装置、手術用制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN108135658A true CN108135658A (zh) 2018-06-08
CN108135658B CN108135658B (zh) 2021-09-10

Family

ID=58487616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057478.5A Active CN108135658B (zh) 2015-10-09 2016-09-27 手术控制设备、手术控制方法及存储介质

Country Status (5)

Country Link
US (1) US11439473B2 (zh)
EP (1) EP3335661A4 (zh)
JP (2) JP6904254B2 (zh)
CN (1) CN108135658B (zh)
WO (1) WO2017061294A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108392269A (zh) * 2017-12-29 2018-08-14 广州布莱医疗科技有限公司 一种手术辅助方法及手术辅助机器人
CN109754651A (zh) * 2019-01-31 2019-05-14 北京汉博信息技术有限公司 手术示教方法及系统
CN111265310A (zh) * 2020-02-27 2020-06-12 首都医科大学附属北京地坛医院 一种医用手术防针刺保护系统
CN112437642A (zh) * 2018-07-26 2021-03-02 索尼公司 信息处理设备、信息处理方法和程序
CN113842209A (zh) * 2021-08-24 2021-12-28 深圳市德力凯医疗设备股份有限公司 超声设备控制方法、超声设备及计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018198685A (ja) 2017-05-26 2018-12-20 ソニー株式会社 制御装置、制御方法、および手術システム
US10610310B2 (en) * 2017-10-02 2020-04-07 Robin Elizabeth McKenzie TODD User interface system and methods for overlaying surgical video output
DE102017221084A1 (de) * 2017-11-24 2019-05-29 Siemens Healthcare Gmbh Bildgebende medizinische Einrichtung und Verfahren für eine durch Bildgebung gestützte Intervention
US11373356B2 (en) * 2018-03-28 2022-06-28 Robert Bosch Gmbh Method and system for efficient rendering of 3D particle systems for weather effects
JPWO2020195204A1 (zh) * 2019-03-22 2020-10-01
CN113797418A (zh) * 2020-06-12 2021-12-17 中强光电股份有限公司 医疗影像设备以及医疗影像显示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10127565A (ja) * 1996-10-29 1998-05-19 Olympus Optical Co Ltd 体腔内処置観察システム
JP2001299691A (ja) * 2000-04-25 2001-10-30 Olympus Optical Co Ltd 内視鏡装置の操作システム
CN101119680A (zh) * 2005-02-18 2008-02-06 皇家飞利浦电子股份有限公司 医疗设备的自动控制
US20140024889A1 (en) * 2012-07-17 2014-01-23 Wilkes University Gaze Contingent Control System for a Robotic Laparoscope Holder
US20140121834A1 (en) * 2011-07-15 2014-05-01 Olympus Corporation Manipulator system
US20140142386A1 (en) * 2010-03-29 2014-05-22 Olympus Corporation Operation input unit and manipulator system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463361B1 (en) 1994-09-22 2002-10-08 Computer Motion, Inc. Speech interface for an automated endoscopic system
EP1853167A2 (en) * 2005-02-18 2007-11-14 Koninklijke Philips Electronics N.V. Automatic control of a medical device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10127565A (ja) * 1996-10-29 1998-05-19 Olympus Optical Co Ltd 体腔内処置観察システム
JP2001299691A (ja) * 2000-04-25 2001-10-30 Olympus Optical Co Ltd 内視鏡装置の操作システム
CN101119680A (zh) * 2005-02-18 2008-02-06 皇家飞利浦电子股份有限公司 医疗设备的自动控制
US20140142386A1 (en) * 2010-03-29 2014-05-22 Olympus Corporation Operation input unit and manipulator system
US20140121834A1 (en) * 2011-07-15 2014-05-01 Olympus Corporation Manipulator system
US20140024889A1 (en) * 2012-07-17 2014-01-23 Wilkes University Gaze Contingent Control System for a Robotic Laparoscope Holder

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108392269A (zh) * 2017-12-29 2018-08-14 广州布莱医疗科技有限公司 一种手术辅助方法及手术辅助机器人
CN108392269B (zh) * 2017-12-29 2021-08-03 广州布莱医疗科技有限公司 一种手术辅助方法及手术辅助机器人
CN112437642A (zh) * 2018-07-26 2021-03-02 索尼公司 信息处理设备、信息处理方法和程序
CN109754651A (zh) * 2019-01-31 2019-05-14 北京汉博信息技术有限公司 手术示教方法及系统
CN111265310A (zh) * 2020-02-27 2020-06-12 首都医科大学附属北京地坛医院 一种医用手术防针刺保护系统
CN111265310B (zh) * 2020-02-27 2021-10-22 首都医科大学附属北京地坛医院 一种医用手术防针刺保护系统
CN113842209A (zh) * 2021-08-24 2021-12-28 深圳市德力凯医疗设备股份有限公司 超声设备控制方法、超声设备及计算机可读存储介质
CN113842209B (zh) * 2021-08-24 2024-02-09 深圳市德力凯医疗设备股份有限公司 超声设备控制方法、超声设备及计算机可读存储介质

Also Published As

Publication number Publication date
US11439473B2 (en) 2022-09-13
EP3335661A1 (en) 2018-06-20
EP3335661A4 (en) 2019-05-22
JP2021168160A (ja) 2021-10-21
CN108135658B (zh) 2021-09-10
WO2017061294A1 (ja) 2017-04-13
JPWO2017061294A1 (ja) 2018-08-02
US20180256272A1 (en) 2018-09-13
JP6904254B2 (ja) 2021-07-14

Similar Documents

Publication Publication Date Title
CN108135658A (zh) 手术控制设备、手术控制方法及程序
US11344374B2 (en) Detection of unintentional movement of a user interface device
JP6306236B2 (ja) 奥行きセンサーの使用による装置のタッチフリー操作
CN108472084B (zh) 具有训练或辅助功能的外科手术系统
WO2017061293A1 (ja) 手術システム、並びに、手術用制御装置および手術用制御方法
US10992857B2 (en) Input control device, input control method, and operation system
JP7442444B2 (ja) 装置の拡張現実起動
EP3819867A1 (en) Surgical scene assessment based on computer vision
CN113906475A (zh) 用于在内窥镜视频视图内自动重新定位可视区的方法和系统
JP2007163864A (ja) 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体
CN113366583A (zh) 用于计算机辅助手术系统的摄像机控制系统和方法
JP2009211563A (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
WO2017038248A1 (ja) 機器操作装置、機器操作方法、及び電子機器システム
Nishikawa et al. Real-time visual tracking of the surgeon’s face for laparoscopic surgery
KR101374316B1 (ko) 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법
KR20150105803A (ko) 자이로 센서를 이용한 3ｄ 내시경 시스템
KR20180100831A (ko) 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치
CN107920863B (zh) 用于控制包括成像模态的系统的设备和方法
JP6790734B2 (ja) 装置、方法、およびプログラム
US20220321803A1 (en) Medical observation system, control device, and control method
US20220287643A1 (en) Systems and methods for detecting physical contact of a surgical instrument with patient tissue
CN114341945A (zh) 用于生成关于图像的至少一个被检查区域的信息的显微镜、控制电路、方法和计算机程序
LI et al. Computer Vision Technologies Towards the Actualization of Robotic Scrub Nurses
KR20130085144A (ko) 동적으로 햅틱 피드백을 제공하는 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant