CN103491848A - 医疗用内窥镜系统 - Google Patents

医疗用内窥镜系统 Download PDF

Info

Publication number
CN103491848A
CN103491848A CN201280019593.5A CN201280019593A CN103491848A CN 103491848 A CN103491848 A CN 103491848A CN 201280019593 A CN201280019593 A CN 201280019593A CN 103491848 A CN103491848 A CN 103491848A
Authority
CN
China
Prior art keywords
mentioned
operator
endoscope system
medical endoscope
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280019593.5A
Other languages
English (en)
Other versions
CN103491848B (zh
Inventor
根本伊织
关口洁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN103491848A publication Critical patent/CN103491848A/zh
Application granted granted Critical
Publication of CN103491848B publication Critical patent/CN103491848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

医疗内窥镜系统具备摄像装置、多个控制对象设备以及控制多个控制对象设备的控制器。控制器具备:操作者设定部,其将预先登录的多个操作候选者中的一个操作候选者设定为允许操作的操作者,将除一个操作候选者以外的操作候选者设定为禁止操作的操作禁止者;物体检测部,其根据从摄像装置输出的图像来检测具备规定条件的物体;操作者识别部,其从由物体检测部检测出的物体确定与用操作者设定部设定的操作者相当的物体,并将所确定的上述物体识别为上述操作者;动作检测部,其检测所确定的物体的规定的动作;控制信号生成部,其根据由动作检测部得到的检测结果,来生成控制多个控制对象设备中的至少一个控制对象设备的控制信号;以及设备控制部,其基于控制信号来控制至少一个控制对象设备。

Description

医疗用内窥镜系统
技术领域
本发明涉及一种通过控制器来控制电手术刀装置、气腹装置、内窥镜用照相机装置等多个设备的医疗用内窥镜系统。
背景技术
在医疗领域中,以往已知一种具备控制多个设备的控制器的医疗用内窥镜系统。在这种医疗用内窥镜系统中,通过操作连接于控制器的操作面板,能够经由控制器来操作系统内的任意的设备。
另外,连接于控制器的操作面板通常设置在手术室内的非灭菌区域,因此从卫生层面上来看手术操作者(例如医生)直接操作操作面板不合适。因此,在以往的医疗用内窥镜系统中,一般由辅助手术操作者的辅助者(例如护士)根据手术操作者的指示来操作操作面板,由此操作设备。
然而,指出了以下问题:在辅助者所介入的设备的操作中,难以在手术操作者所期望的定时不发生延迟地操作设备。
作为与这种问题相关联的技术存在手势技术。手势技术例如在专利文献1和专利文献2中被公开,近年来还被应用于医疗用内窥镜系统。
通过将手势技术应用于医疗用内窥镜系统,手术操作者能够不经由辅助者而直接操作设备,因此能够在期望的定时操作设备。
专利文献1:日本特开2004-289850号公报
专利文献2:国际公开第03/025859号刊
发明内容
发明要解决的问题
如上所述,将手势技术应用于医疗用内窥镜系统是非常有意义的,但另一方面,针对手势技术确定了特有的问题。具体地说,在手势识别中利用了设置于医疗用内窥镜系统的照相机,但在照相机的视场范围内存在多个手术操作者的情况下,有时控制器响应于不打算操作设备的手术操作者的动作而对设备进行控制。
通常,期望在手术中进行设备的设定值的变更等设备的操作的人只是主导手术的确定的手术操作者。其他手术操作者不会违反该确定的手术操作者的意思来进行设备的操作,基于该情况,在医疗用内窥镜系统中,需要禁止由除该确定的一个手术操作者以外的人操作设备,从而可靠地排除基于如上所述的误识别的设备的控制。
然而,在专利文献1和专利文献2所公开的技术中,难以充分排除基于误识别的设备的控制。
在专利文献1中,公开了一种与如下的控制方法有关的技术:确定设备与人的对应关系,能够使用人的运动、姿势、状态等顺利地进行操作等。更为具体地说,公开了如下一种技术:基于预先确定的位置、姿势、人的优先级从多个人选择一个人,根据这个人的姿势、动作来控制设备。
另外,在专利文献2中,公开了如下一种技术:一边进行个人识别一边进行手势识别,由此在室内不受场所约束地提供与个人对应的界面。更为具体地说,公开了如下一种技术:根据对象的头部和身高来进行个人识别,根据手势语(Hand sign)而向预先登录的室内的操作对象发送操作命令。
专利文献1和专利文献2所公开的技术都不是仅允许预先确定的一个人来操作设备并明确禁止除此以外的人的操作的技术。因此,以医疗用内窥镜系统所要求的水平来充分排除基于误识别的设备的控制是困难的。
基于如上所述的实际情况,其课题在于提供如下一种医疗用内窥镜系统:仅允许确定的一个手术操作者通过手势操作设备,而禁止除此以外的其他人通过手势进行操作。
用于解决问题的方案
本发明的第一方式提供一种具备摄像装置、多个控制对象设备以及控制上述多个控制对象设备的控制器的医疗用内窥镜系统,上述控制器具备:操作者设定部,其将预先登录的多个操作候选者中的一个操作候选者设定为允许操作的操作者,将除上述一个操作候选者以外的操作候选者设定为禁止操作的操作禁止者;物体检测部,其根据从上述摄像装置输出的图像来检测具备规定条件的物体;操作者识别部,其从由上述物体检测部检测出的物体确定与用上述操作者设定部设定的操作者相当的物体,并将所确定的上述物体识别为上述操作者;动作检测部,其检测所确定的上述物体的规定的动作;控制信号生成部,其根据由上述动作检测部得到的检测结果,来生成控制上述多个控制对象设备中的至少一个控制对象设备的控制信号;以及设备控制部,其基于上述控制信号来控制上述至少一个控制对象设备。
本发明的第二方式提供如下一种医疗用内窥镜系统:在第一方式所述的医疗用内窥镜系统中,上述控制器具备操作者追加部,该操作者追加部将由上述操作者设定部设定的操作禁止者变更为操作者。
本发明的第三方式提供如下一种医疗用内窥镜系统:在第二方式所述的医疗用内窥镜系统中,还具备显示部,其显示医疗用内窥镜系统的信息;以及输入部,其接收来自医疗用内窥镜系统的外部的输入,上述操作者追加部构成为,在用于操作上述多个控制对象设备中的每个控制对象设备的画面显示于上述显示部的状态下,按照来自上述输入部的输入将由上述操作者设定部设定的操作禁止者变更为操作者。
本发明的第四方式提供如下一种医疗用内窥镜系统:在第一方式所述的医疗用内窥镜系统中,还包括对作为上述规定条件的上述物体的一部分模型信息进行存储的存储部,上述物体检测部参照上述存储部中存储的上述模型信息,根据从上述摄像装置输出的图像来检测具备上述规定条件的上述物体。
本发明的第五方式提供如下一种医疗用内窥镜系统:在第四方式所述的医疗用内窥镜系统中,上述存储部还存储有用于识别上述物体的识别信息,上述操作者识别部参照上述存储部中存储的上述识别信息,从由上述物体检测部检测出的物体确定与用上述操作者设定部设定的操作者相当物体,将所确定的上述物体识别为上述操作者。
本发明的第六方式提供如下一种医疗用内窥镜系统:在第五方式所述的医疗用内窥镜系统中,上述存储部还存储有作为与上述规定的动作有关的信息的手势信息,上述动作检测部参照上述存储部中存储的上述手势信息,来检测所确定的上述物体的上述规定的动作。
发明的效果
根据本发明,能够提供一种仅允许确定的一个手术操作者通过手势操作设备而禁止除此以外的其他人通过手势进行操作的医疗用内窥镜系统。
附图说明
图1是本发明的实施例1所涉及的医疗用内窥镜系统的整体结构图。
图2是用于说明本发明的实施例1所涉及的医疗用内窥镜系统所包括的系统控制器的结构的图。
图3是用于对本发明的实施例1所涉及的医疗用内窥镜系统所包括的存储部中存储的数据进行说明的图。
图4是用于对由本发明的实施例1所涉及的医疗用内窥镜系统所包括的动作检测部进行的处理的一部分进行说明的图。
图5A是用于说明实施例1所涉及的医疗用内窥镜系统的操作者设定处理中的画面切换的图。
图5B是用于说明实施例1所涉及的医疗用内窥镜系统的操作者设定处理中的画面切换的变形例的图。
图6是表示实施例1所涉及的医疗用内窥镜系统的操作者设定处理的流程图。
图7是表示图6所例示的操作者设定处理后的操作者的设定状态的一例的图。
图8是表示实施例1所涉及的医疗用内窥镜系统的设备控制处理的流程图。
图9A是表示图8所例示的设备控制处理中的手术室内的情况的图。
图9B是表示本发明的实施例1所涉及的医疗用内窥镜系统所包括的手势用照相机的摄像范围的图。
图10是用于说明本发明的实施例2所涉及的医疗用内窥镜系统所包括的系统控制器的结构的图。
图11是用于说明实施例2所涉及的医疗用内窥镜系统的操作者追加处理中的画面切换的图。
图12是表示实施例2所涉及的医疗用内窥镜系统的操作者追加处理的流程图。
图13是表示图12所例示的操作者设定处理前后的操作者的设定状态的一例的图。
具体实施方式
图1是本实施例所涉及的医疗用内窥镜系统的整体结构图。首先,一边参照图1一边对本实施例所涉及的医疗用内窥镜系统3的结构进行概述。
图1所例示的医疗用内窥镜系统3与用于患者48躺卧的病床10一起设置在手术室2内。
医疗用内窥镜系统3包括:载置于拖车11上的电手术刀装置13、气腹装置14、内窥镜用照相机装置15、光源装置16、录像机(Video tape recorder)17、储气瓶18、显示装置19、集中显示面板20、操作面板21、系统控制器22、RFID(Radio Frequency Identification:无线射频)终端35以及手势用照相机36。
另外,医疗用内窥镜系统3还包括:载置于拖车12上的内窥镜用照相机装置23、光源装置24、图像处理装置25、显示装置26、集中显示面板27以及中继单元28。
并且,医疗用内窥镜系统3还包括:经由线缆9与系统控制器22相连接的患者监视系统4、远程控制器30、经由照相机线缆31a与内窥镜用照相机装置15相连接且经由光导件线缆31b与光源装置16相连接的内窥镜31、经由照相机线缆32a与内窥镜用照相机装置23相连接且经由光导件线缆32b与光源装置24相连接的内窥镜32、以及连接于系统控制器22的头戴式的麦克风33。
储气瓶18中填充有二氧化碳。显示装置19例如是TV监视器,构成为显示来自内窥镜31的内窥镜图像等。另一方面,显示装置26构成为显示来自内窥镜32的内窥镜图像等。另外,集中显示面板20和集中显示面板27构成为选择性地显示要在手术中显示的所有数据。操作面板21是由处于非灭菌区域的护士来操作的集中操作装置,包括用于显示医疗用内窥镜系统3的信息的液晶显示器等的显示部和与该显示部一体地设置的用于接收来自医疗用内窥镜系统3的外部的输入的触摸传感器。
RFID终端35构成为与在内窥镜31、电手术刀装置13等设备所嵌入的ID标签之间以无线方式交换设备的ID信息。手势用照相机36构成为输出拍摄手术室2内的情况而得到的图像。
系统控制器22经由未图示信号线与载置于拖车11上的任意的设备相连接。中继单元28经由未图示的信号线与载置于经由拖车12上的任意的设备相连接,系统控制器22经由中继线缆29与中继单元28相连接。
如上述那样构成的医疗用内窥镜系统3能够通过以下记载的几种方法来控制连接于系统控制器22的任意设备。
第一方法是如下方法:系统控制器22根据从手势用照相机36输出的手术室2内的图像来识别确定的手术操作者(例如主刀医生等)的手势,由此来控制任意设备。
第二方法是如下方法:系统控制器22使操作面板21的显示部显示用于操作连接于系统控制器22的任意设备的操作按钮、显示设备的设定值等的GUI画面,并通过检测由护士等进行的操作面板21的操作来控制任意的设备。
作为第三方法,是如下方法:系统控制器22通过检测由手术操作者(例如主刀医生等)进行的远程控制器30的操作来控制任意的设备。
作为第四方法,是如下方法:系统控制器22通过识别从麦克风33输入的手术操作者(例如主刀医生等)的语音来控制任意的设备。
下面,进一步详细地说明通过手势来控制任意的设备的方法(第一方法)。
首先,一边参照图2至图4一边说明系统控制器22的结构。图2是用于说明本实施例所涉及的医疗用内窥镜系统所包括的系统控制器的结构的图。图3是用于对本实施例所涉及的医疗用内窥镜系统所包括的存储部中存储的数据进行说明的图。图4是用于说明由本实施例所涉及的医疗用内窥镜系统所包括的动作检测部进行的处理的一部分的图。
如图2所例示那样,医疗用内窥镜系统3具备:作为摄像装置的手势用照相机36、多个控制对象设备(电手术刀装置13、气腹装置14、内窥镜用照相机装置15、光源装置16)、控制多个控制对象设备的系统控制器22、操作面板21以及麦克风33。此外,在图2中,作为控制对象设备,例示了电手术刀装置13、气腹装置14、内窥镜用照相机装置15、以及光源装置16,但控制对象设备并不限于这些装置。能够将连接于系统控制器22的任意的设备设为控制对象设备。
系统控制器22包括:物体检测部51、操作者识别部52、动作检测部53、控制信号生成部54、设备控制部55、物体设定部56、操作者设定部57、动作设定部59、触摸面板检测部60、语音检测部61以及存储部62。
物体检测部51构成为根据手势用照相机36所输出的图像来检测具备规定的条件的物体。物体例如是手术室2内的人,规定的条件是物体的一部分,例如是人的脸。即,物体检测部51通过检测从手势用照相机36输出的图像中包含的人的脸来检测手术室2内的手术操作者。此外,如图3所示,该规定的条件作为人的身体的部位(物体的一部分)的模型信息65而被存储到存储部62,并且物体设定部56以基于来自操作面板21、麦克风33的输入,参照存储部62中存储的确定的部位(在此为头)的模型信息65的方式来进行设定。
操作者识别部52构成为:从由物体检测部51检测出的手术操作者中确定与由操作者设定部57预先设定的允许进行操作的操作者相当的该手术操作者,将被确定的手术操作者识别为操作者。具体地说,操作者识别部52通过将用物体检测部51检测出的手术室2中存在的多个手术操作者的脸的图像与由操作者设定部57设定的操作者的脸的图像进行比较,来确定被预先设定为操作者的手术操作者,并识别为操作者。此外,所谓操作者,是指只要不特意地打招呼就允许操作的操作者。如图3所示,将允许操作的操作者存储到存储部62来作为操作者设定信息63。另外,将操作者的脸的图像存储到存储部62来作为手术操作者的脸数据64。脸数据64作为用于识别手术操作者的识别信息而发挥作用。而且,操作者识别部52参照由操作者设定部57设定的操作者设定信息63以及允许操作的操作者(手术操作者)的脸数据64。
动作检测部53构成为检测所确定的手术操作者、即操作者的规定的动作。规定的动作例如是手的运动,更为具体地说,是将从右向左摆手的动作、从左向右摆手的动作、握手的动作、将手打开的动作、摆手的动作等。即,动作检测部53检测操作者的手势。更为具体地说,首先,如图4所示,根据从手势用照相机36输出的图像,参照存储部62中存储的模型信息65来检测操作者的各部位(例如头、手、胳膊、腿等),根据所检测出的各部位来估计操作者的姿势并形成人体的骨骼模型。然后,跟踪根据从手势用照相机36随时输出的图像而形成的骨骼模型的运动,来检测操作者的动作。最后,通过判断所检测出的动作是否为规定的动作来检测手势动作。此外,如图3所示,与该规定的动作有关的信息作为手势信息66被存储到存储部62,并且动作设定部59以基于来自操作面板21、麦克风33的输入,参照存储部62中存储的手势信息66的全部或者一部分的方式来进行设定。
控制信号生成部54构成为根据由动作检测部53得到的检测结果来生成控制多个操作对象设备中的至少一个操作对象设备的控制信号。即,控制信号生成部54生成将通过由动作检测部53检测出的手势确定的设备控制为与手势相应的内容的信号。
设备控制部55构成为基于来自控制信号生成部54的控制信号来控制至少一个操作对象设备。即,设备控制部55根据由动作检测部53检测出的手势来控制电手术刀装置13等控制对象设备。
操作者设定部57构成为将预先登录的多个手术操作者(即操作候选者)中的一个手术操作者设定为允许操作的操作者,将除该手术操作者以外的手术操作者设定为禁止操作的操作禁止者。
接着,一边参照图5A至图7一边具体地说明设定操作者的处理的流程。图5A是用于说明本实施例所涉及的医疗用内窥镜系统的操作者设定处理中的画面切换的图。图5B是用于说明本实施例所涉及的医疗用内窥镜系统的操作者设定处理中的画面切换的变形例的图。图6是表示本实施例所涉及的医疗用内窥镜系统的操作者设定处理的流程图。图7是表示图6所例示的操作者设定处理后的操作者的设定状态的一例的图。
在操作面板21中显示图5A所例示的登录画面100的状态下按下设置于登录画面100的设定按钮101,由此开始操作者的设定处理。此外,在登录画面100中除了设定按钮101以外还设置有手术选择按钮组102。通过从手术选择按钮组102选择手术的按钮,来切换为用于操作与所选择的手术有关的外围设备的外围设备操作画面300。
当在登录画面100中按下设定按钮101时,操作面板21中显示的画面切换为图5A所例示的系统控制器设定画面200,从而启动系统控制器22的设定模式(图6的S1)。
在系统控制器设定画面200中,能够进行包含允许通过手势操作设备的操作者的设定的、与医疗用内窥镜系统3有关的各种设定。当在系统控制器设定画面200中进行变更操作者的设定的输入时,操作者设定部57按照输入来变更操作者的设定,将进行该变更得到的该操作者设定信息63保存到存储部62(图6的S2)。
此外,从被登录到系统控制器22中且在存储部62中存储有脸数据的手术操作者(登录者)中选择一个手术操作者来作为操作者,由此进行操作者的设定。由此,将所选择的手术操作者设定为操作者,并且将除所选择的手术操作者以外的手术操作者自动设定为禁止操作的操作禁止者。图7例示了在选择手术操作者(登录者)A来作为登录者的情况下被记录到存储部62的操作者的设定状态。
另外,图5A所示的操作者设定处理中的画面切换是一例,并不限于图5A所示的例子。例如图5B所示,最初,作为第一登录画面,也可以显示设置有操作者按钮组110和设定按钮101的手术操作者登录画面110。而且,当按下从操作者按钮组110选择确定的手术操作者的按钮时,显示所选择的手术操作者的脸图像,并确认是否将所选择的手术操作者设定为操作者,之后作为第二登录画面,可以显示设置有手术选择按钮组102和设定按钮101的手术操作者登录画面110。
接着,一边参照图8、图9A以及图9B一边对识别手势并控制设备的处理的流程进行具体地说明。图8是表示本实施例所涉及的医疗用内窥镜系统的设备控制处理的流程图。图9A是表示图8所例示的设备控制处理中的手术室2内的情况的图。图9B是表示本实施例所涉及的医疗用内窥镜系统所包括的手势用照相机的摄像范围的图。
在步骤S10中,手势用照相机36对如图9A所例示那样的存在多个手术操作者(手术操作者A、手术操作者B、手术操作者C、手术操作者D)的手术室2内进行拍摄,将生成的图像输出到系统控制器22。
此外,为了检测手术操作者的手势动作,条件是至少包括手术操作者的脸的上半身进入手势用照相机36的摄像范围内,且即使手术操作者向左右伸出胳膊,手也不会从摄像范围内露出。因此,手势用照相机36期望设置为满足这样的条件。例如,当手势用照相机36的摄像范围是图9B所示的剖面线部分时,在手术操作者B或者手术操作者C为操作者的情况下能够正常地检测手势动作。另外,在手势动作中还包含脚等下半身的动作的情况下,设置手势用照相机36以使手术操作者的下半身进入手势用照相机36的摄像范围内。在此,设为手势用照相机36被设置在使手术室整体进入摄像范围那样的位置处。
在步骤S11中,物体检测部51参照存储部62中存储的模型信息65,根据手势用照相机36所输出的图像来检测作为由物体设定部56设定的规定条件的人的脸,由此检测手术操作者。在此,例如设为通过检测手术室2内的手术操作者B的脸来检测手术操作者B。
在步骤S12中,操作者识别部52将根据从手势用照相机36输出的图像检测出的手术操作者B的脸的图像与存储在存储部62中且通过操作者设定部57被设定为操作者的手术操作者A的脸数据进行比较。在比较处理中,也可以使用作为手术操作者A的脸数据而与脸图像一起被存储到存储部62的各种信息(脸的部分的相対位置、眼的大小、鼻子的大小等)。根据其结果,操作者识别部52判断所检测出的手术操作者是否与操作者一致(步骤S13)。此外,在此,在步骤S13中判断为与操作者不一致,因此返回到步骤S11,反复进行从步骤S11到步骤S13的处理。
当在第二次物体检测处理(步骤S11)中检测到手术操作者A的脸的图像时,操作者识别部52在步骤S13中判断所检测出的手术操作者是否与操作者一致,在步骤S14中将所检测出的手术操作者识别为操作者。由此,操作者识别部52确定手术操作者A并识别为操作者。
在步骤S15至步骤S18中,动作检测部53通过从手势用照相机36输出的图像来监视用操作者识别部52确定的手术操作者A的动作,由手术操作者A来检测由动作设定部59设定的规定的手势动作。
具体地说,动作检测部53在步骤S15中参照存储部62中存储的各部位的模型信息65,如图4所示那样根据从手势用照相机36输出的图像来检测用操作者识别部52确定的作为操作者的手术操作者A的身体的各部位。然后,在步骤S16中,根据所检测出的各部位来估计操作者的姿势并形成人体的骨骼模型。进而,在步骤S17中,跟踪根据从手势用照相机36随时输出的图像而形成的骨骼模型的运动来检测操作者的动作。最后,在步骤S18中,参照存储部62中存储的手势信息66来判断所检测出的动作是否为手势动作。当判断为是手势动作时,执行步骤S19的处理,当判断为不是手势动作时,返回到步骤S11并反复进行上述处理。
在步骤S19中,控制信号生成部54根据用动作检测部53检测出的手势动作来生成控制控制对象设备的控制信号,并输出到设备控制部55。
在步骤S20中,设备控制部55按照来自控制信号生成部54的控制信号来对控制对象设备进行控制。例如,在动作检测部53检测到从右向左摆手的手势动作的情况下,进行控制使得从光源装置16射出的光量降低,在动作检测部53检测到从左向右摆手的手势动作的情况下,进行控制使得从光源装置16射出的光量增加。另外,在检测到握手的手势动作的情况下,将光源装置16控制为断开,在检测到将手打开的手势动作的情况下,将光源装置16控制为接通。
在如上述那样构成的医疗用内窥镜系统3中,仅手术操作者A能够通过手势动作来控制设备,除此以外的手术操作者B、手术操作者C、手术操作者D不能根据手势控制设备。因此,通过预先恰当地进行的操作者的设定,即使如图9A所例示那样在手术室2内存在多个手术操作者的情况下,也能够防止系统控制器22响应于不打算操作设备的手术操作者的动作而控制设备。
另外,在操作者的设定中,当将手术操作者A设定为操作者时,手术操作者B、手术操作者C、手术操作者D自动被设定为操作禁止者。由此,能够防止误将多个手术操作者设定为操作者的情况。
因而,根据医疗用内窥镜系统3,能够仅允许确定的一个手术操作者通过手势操作设备,禁止除此以外的其他人通过手势进行操作,其结果,能够以医疗用内窥镜系统所要求的高水平来充分排除基于误识别的设备的控制。
实施例2
图10是用于说明本实施例所涉及的医疗用内窥镜系统所包括的系统控制器的结构的图。
图10所例示的系统控制器22a在包括操作者追加部58这一点上与图2所例示的实施例1所涉及的系统控制器22不同。其它点与系统控制器22相同,因此对相同的结构要素附加相同的附图标记并省略说明。另外,本实施例所涉及的医疗用内窥镜系统3a在包括系统控制器22a来取代系统控制器22这一点上与图1所例示的实施例1所涉及的医疗用内窥镜系统3不同。其它点与医疗用内窥镜系统3相同。
操作者追加部58构成为将由操作者设定部57设定的操作禁止者变更为操作者。因此,在医疗用内窥镜系统3a中,操作者识别部52从由物体检测部51检测出的手术操作者中确定与用操作者设定部57和操作者追加部58设定的操作者相当的手术操作者,将所确定的手术操作者识别为操作者。
一边参照图11至图13一边具体地说明追加操作者的处理的流程。图11是用于说明本实施例所涉及的医疗用内窥镜系统的操作者追加处理中的画面切换的图。图12是表示本实施例所涉及的医疗用内窥镜系统的操作者追加处理的流程图。图13是表示图12所例示的操作者设定处理前后的操作者的设定状态的一例的图。
在操作面板21中显示图11所例示的外围设备操作画面400的状态下按下设置于外围设备操作画面400的操作者设定按钮402,由此开始操作者的追加处理。此外,在外围设备操作画面400中除了操作者设定按钮402以外还设置有注销按钮401。当按下注销按钮401时,将显示画面切换为登录画面100。
当在外围设备操作画面400中按下操作者设定按钮402时,启动系统控制器22的操作者追加模式(图12的S21)。
当启动操作者追加模式时,在外围设备操作画面400的下部显示仅被设定为当前操作者的手术操作者A的按钮为接通状态(用剖面线显示)的操作者按钮组403。
当经过规定时间、例如3秒时,操作者按钮组403的显示消失。在显示操作者按钮组403期间,选择想要追加为操作者的手术操作者的按钮,由此操作者追加部58按照该输入来变更操作者的设定,变更得到的该操作者设定信息被保存到存储部62(图12的S22)。由此,例如在选择了手术操作者C的按钮的情况下,如图13所例示那样,存储部62中记录的操作者的设定状态从仅手术操作者A一人被设定为操作者的状态变为手术操作者A和手术操作者B二人被设定为操作者的状态。
在实施例1所涉及的医疗用内窥镜系统3中,为了变更操作者的设定,需要暂时从外围设备操作画面400经由登录画面100切换为系统控制器设定画面200,与此相对地在医疗用内窥镜系统3a中,能够从手术中显示的外围设备操作画面400追加操作者。因此,在医疗用内窥镜系统3a中,在手术中需要例外地追加操作者的情况下,以很少的操作就能够容易且迅速地追加手术操作者。作为需要例外地追加手术操作者的情况,例如能够列举如下情况:操作者的手占着而不能进行手势动作,因此需要其他手术操作者例外地控制设备、为了教育年轻的医生而需要处于指导的立场的医生控制设备等。
另外,追加操作者并将多个人设定为操作者的状态被例外地认可,因此由操作者追加部58进行的设定与由操作者设定部57进行的设定不同。具体地说,关于由操作者设定部57进行的设定,只要操作者设定部57不重新变更设定就维持该设定。也就是说,不论是显示用于不同的外围设备的外围设备操作画面,还是将系统控制器22的电源断开,都维持设定状态。与此相对地,由操作者追加部58进行的设定是在按下外围设备操作画面400的注销按钮401后切换为登录画面100而被取消。
因而,根据医疗用内窥镜系统3a,基本上与实施例1所涉及的医疗用内窥镜系统3同样地,能够仅允许确定的一个手术操作者通过手势操作设备,禁止除此以外的其他人通过手势进行操作,其结果,能够以医疗用内窥镜系统所要求的高水平来充分排除基于误识别的设备的控制。
并且,根据医疗用内窥镜系统3a,能够在简单的操作中例外地追加操作者并将多个人设定为操作者,因此即使在原来的操作者不能进行手势操作的情况下等,也能够由其他手术操作者通过手势进行设备的控制,能够不发生延迟地进行手术。另外,通过始终作为例外的设定进行处理,能够防止存在多个操作者的设定状态持久不变。
以上,示出了从外围设备操作画面400追加操作者的例子,但也可以进行从外围设备操作画面400删除操作者的处理。也可以通过按下外围设备操作画面400中显示的操作者按钮组403中的已经被设定为操作者的按钮,来从操作者向操作禁止者进行设定变更。由此,能够在外围设备操作画面400中任意地变更操作者。
另外,示出了从操作面板21中显示的外围设备操作画面400追加操作者的例子,但与设备的控制同样地,也可以使用从手势用照相机36输出的图像通过手势进行操作者的追加处理。另外,还可以使用麦克风33通过语音输入来进行操作者的追加处理。
另外,外围设备操作画面400中显示的操作者设定按钮402也可以在设定中不显示。由此,仅变更设定就能够获得与对医疗用内窥镜系统3和医疗用内窥镜系统3a进行切换相同的效果。
附图标记说明
2:手术室;3、3a:医疗用内窥镜系统;4:患者监视系统;9:线缆;10:病床;11、12:拖车;13:电手术刀装置;14:气腹装置;15、23:内窥镜用照相机装置;16、24:光源装置;17:录像机;18:储气瓶;19、26:显示装置;20、27:集中显示面板;21:操作面板;22、22a:系统控制器;25:图像处理装置;28:中继单元;29:中继线缆;30:远程控制器;31、32:内窥镜;31a、32a:照相机线缆;31b、32b:光导件线缆;33:麦克风;35:RFID终端;36:手势用照相机;48:患者;51:物体检测部;52:操作者识别部;53:动作检测部;54:控制信号生成部;55:设备控制部;56:物体设定部;57:操作者设定部;58:操作者追加部;59:动作设定部;60:触摸面板检测部;61:语音检测部;62:存储部;63:操作者设定信息;64:脸数据;65:模型信息;66:手势信息;100:登录画面;101:设定按钮;102:手术选择按钮组;200:系统控制器设定画面;201、301、401:注销按钮;300、400:外围设备操作画面;402:操作者设定按钮。

Claims (6)

1.一种医疗用内窥镜系统,具备摄像装置、多个控制对象设备、以及控制上述多个控制对象设备的控制器,该医疗用内窥镜系统的特征在于,
上述控制器具备:
操作者设定部,其将预先登录的多个操作候选者中的一个操作候选者设定为允许操作的操作者,将除上述一个操作候选者以外的操作候选者设定为禁止操作的操作禁止者;
物体检测部,其根据从上述摄像装置输出的图像来检测具备规定条件的物体;
操作者识别部,其根据由上述物体检测部检测出的物体确定与用上述操作者设定部设定的操作者相当的物体,并将所确定的上述物体识别为上述操作者;
动作检测部,其检测所确定的上述物体的规定的动作;
控制信号生成部,其根据上述动作检测部的检测结果,来生成控制上述多个控制对象设备中的至少一个控制对象设备的控制信号;以及
设备控制部,其基于上述控制信号来控制上述至少一个控制对象设备。
2.根据权利要求1所述的医疗用内窥镜系统,其特征在于,
上述控制器还具备操作者追加部,该操作者追加部将由上述操作者设定部设定的操作禁止者变更为操作者。
3.根据权利要求2所述的医疗用内窥镜系统,其特征在于,还具备:
显示部,其显示医疗用内窥镜系统的信息;以及
输入部,其接收来自医疗用内窥镜系统的外部的输入,
上述操作者追加部构成为,在用于操作上述多个控制对象设备中的每个控制对象设备的画面显示于上述显示部的状态下,按照来自上述输入部的输入将由上述操作者设定部设定的操作禁止者变更为操作者。
4.根据权利要求1所述的医疗用内窥镜系统,其特征在于,
还包括对作为上述规定条件的上述物体的一部分的模型信息进行存储的存储部,
上述物体检测部参照上述存储部中存储的上述模型信息,根据上述摄像装置所输出的图像来检测具备上述规定条件的上述物体。
5.根据权利要求4所述的医疗用内窥镜系统,其特征在于,
上述存储部还存储有用于识别上述物体的识别信息,
上述操作者识别部参照上述存储部中存储的上述识别信息,根据由上述物体检测部检测出的物体确定与用上述操作者设定部设定的操作者相当的物体,将所确定的上述物体识别为上述操作者。
6.根据权利要求5所述的医疗用内窥镜系统,其特征在于,
上述存储部还存储有作为与上述规定的动作有关的信息的手势信息,
上述动作检测部参照上述存储部中存储的上述手势信息,来检测所确定的上述物体的上述规定的动作。
CN201280019593.5A 2011-12-26 2012-12-10 医疗用内窥镜系统 Active CN103491848B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-284117 2011-12-26
JP2011284117 2011-12-26
PCT/JP2012/081982 WO2013099580A1 (ja) 2011-12-26 2012-12-10 医療用内視鏡システム

Publications (2)

Publication Number Publication Date
CN103491848A true CN103491848A (zh) 2014-01-01
CN103491848B CN103491848B (zh) 2015-10-07

Family

ID=48697073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280019593.5A Active CN103491848B (zh) 2011-12-26 2012-12-10 医疗用内窥镜系统

Country Status (5)

Country Link
US (1) US20140002624A1 (zh)
EP (1) EP2679140A4 (zh)
JP (1) JP5356633B1 (zh)
CN (1) CN103491848B (zh)
WO (1) WO2013099580A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104545774A (zh) * 2015-01-30 2015-04-29 合肥德铭电子有限公司 一体化移动微创电子内镜系统
CN104970754A (zh) * 2015-06-25 2015-10-14 云南电网有限责任公司电力科学研究院 一种基于Kinect传感器手势控制内窥镜光纤的方法
CN105125155A (zh) * 2015-06-25 2015-12-09 云南电网有限责任公司电力科学研究院 一种基于手势控制内窥镜光纤的方法
CN106419815A (zh) * 2016-09-19 2017-02-22 成都测迪森生物科技有限公司 一种具有穿戴功能的移动式喉镜
CN106419814A (zh) * 2016-09-19 2017-02-22 成都测迪森生物科技有限公司 一种移动式高效喉镜
CN113627219A (zh) * 2020-05-07 2021-11-09 杭州海康慧影科技有限公司 器械检测方法、装置和计算机设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5747366B1 (ja) * 2013-07-22 2015-07-15 オリンパス株式会社 医療用携帯端末装置
DE102014204251A1 (de) * 2014-03-07 2015-09-10 Siemens Aktiengesellschaft Verfahren zu einer Interaktion zwischen einer Assistenzvorrichtung und einem medizinischen Gerät und/oder einem Bedienpersonal und/oder einem Patienten, Assistenzvorrichtung, Assistenzsystem, Einheit und System
JP6598508B2 (ja) * 2014-05-12 2019-10-30 キヤノンメディカルシステムズ株式会社 超音波診断装置とそのプログラム
US9696813B2 (en) * 2015-05-27 2017-07-04 Hsien-Hsiang Chiu Gesture interface robot
CN109074421B (zh) * 2016-03-30 2024-04-16 皇家飞利浦有限公司 自动人员识别和定位以及自动流程监视
US10891394B2 (en) * 2018-02-28 2021-01-12 Karl Storz Imaging, Inc. System and method for identifying and authenticating a user of a medical device, and controlling access to patient data generated by the medical device
JP7283037B2 (ja) 2018-07-26 2023-05-30 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
EP3744285A1 (en) * 2019-05-27 2020-12-02 Leica Instruments (Singapore) Pte. Ltd. Microscope system and method for controlling a surgical microcope

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1223391A (zh) * 1997-11-27 1999-07-21 松下电器产业株式会社 控制方法
JP2002336184A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 内視鏡システム
CN1423228A (zh) * 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
US20040030367A1 (en) * 2002-08-09 2004-02-12 Olympus Optical Co., Ltd. Medical control device, control method for medical control device, medical system device and control system
US20060182346A1 (en) * 2001-09-17 2006-08-17 National Inst. Of Adv. Industrial Science & Tech. Interface apparatus
JP2008161569A (ja) * 2006-12-28 2008-07-17 Olympus Medical Systems Corp 内視鏡システム
CN102012780A (zh) * 2009-09-04 2011-04-13 索尼公司 信息处理设备、控制显示的方法以及控制显示的程序
JP2011221699A (ja) * 2010-04-07 2011-11-04 Yaskawa Electric Corp 操作指示認識装置及びロボット

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60179713A (ja) * 1984-02-28 1985-09-13 Olympus Optical Co Ltd 内視鏡装置
JP2819154B2 (ja) 1989-06-23 1998-10-30 ヤマハ発動機株式会社 ハイブリッド燃料電池の運転方法
JP3007698B2 (ja) * 1991-01-25 2000-02-07 オリンパス光学工業株式会社 内視鏡システム
JP3045812B2 (ja) * 1991-06-27 2000-05-29 旭光学工業株式会社 内視鏡用光源装置
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JPH09238894A (ja) * 1996-03-07 1997-09-16 Asahi Optical Co Ltd 内視鏡装置
JP2004289850A (ja) 1997-11-27 2004-10-14 Matsushita Electric Ind Co Ltd 制御方法、機器制御装置、及びプログラム記録媒体
US6322496B1 (en) * 1998-11-06 2001-11-27 Asahi Kogaku Kogyo Kabushiki Kaisha Electronic endoscope system
US6775397B1 (en) * 2000-02-24 2004-08-10 Nokia Corporation Method and apparatus for user recognition using CCD cameras
US7660444B2 (en) * 2000-02-24 2010-02-09 Nokia Corporation Method and apparatus for user recognition using CCD cameras
JP3864035B2 (ja) * 2000-05-19 2006-12-27 オリンパス株式会社 内視鏡システム
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
US7317955B2 (en) * 2003-12-12 2008-01-08 Conmed Corporation Virtual operating room integration
US7846107B2 (en) * 2005-05-13 2010-12-07 Boston Scientific Scimed, Inc. Endoscopic apparatus with integrated multiple biopsy device
TWI324313B (en) * 2006-08-25 2010-05-01 Compal Electronics Inc Identification mathod
KR101055554B1 (ko) * 2007-03-27 2011-08-23 삼성메디슨 주식회사 초음파 시스템
WO2011079150A1 (en) * 2009-12-22 2011-06-30 Integrated Endoscopy, Inc. Methods and systems for disabling an endoscope after use
WO2012129474A1 (en) * 2011-03-24 2012-09-27 Beth Israel Deaconess Medical Center Medical image viewing and manipulation contactless gesture-responsive system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1223391A (zh) * 1997-11-27 1999-07-21 松下电器产业株式会社 控制方法
JP2002336184A (ja) * 2001-05-21 2002-11-26 Olympus Optical Co Ltd 内視鏡システム
US20060182346A1 (en) * 2001-09-17 2006-08-17 National Inst. Of Adv. Industrial Science & Tech. Interface apparatus
US20040030367A1 (en) * 2002-08-09 2004-02-12 Olympus Optical Co., Ltd. Medical control device, control method for medical control device, medical system device and control system
CN1423228A (zh) * 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
JP2008161569A (ja) * 2006-12-28 2008-07-17 Olympus Medical Systems Corp 内視鏡システム
CN102012780A (zh) * 2009-09-04 2011-04-13 索尼公司 信息处理设备、控制显示的方法以及控制显示的程序
JP2011221699A (ja) * 2010-04-07 2011-11-04 Yaskawa Electric Corp 操作指示認識装置及びロボット

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104545774A (zh) * 2015-01-30 2015-04-29 合肥德铭电子有限公司 一体化移动微创电子内镜系统
CN104970754A (zh) * 2015-06-25 2015-10-14 云南电网有限责任公司电力科学研究院 一种基于Kinect传感器手势控制内窥镜光纤的方法
CN105125155A (zh) * 2015-06-25 2015-12-09 云南电网有限责任公司电力科学研究院 一种基于手势控制内窥镜光纤的方法
CN104970754B (zh) * 2015-06-25 2016-09-28 云南电网有限责任公司电力科学研究院 一种基于Kinect传感器手势控制内窥镜光纤的方法
CN106419815A (zh) * 2016-09-19 2017-02-22 成都测迪森生物科技有限公司 一种具有穿戴功能的移动式喉镜
CN106419814A (zh) * 2016-09-19 2017-02-22 成都测迪森生物科技有限公司 一种移动式高效喉镜
CN113627219A (zh) * 2020-05-07 2021-11-09 杭州海康慧影科技有限公司 器械检测方法、装置和计算机设备

Also Published As

Publication number Publication date
EP2679140A1 (en) 2014-01-01
JPWO2013099580A1 (ja) 2015-04-30
EP2679140A4 (en) 2015-06-03
WO2013099580A1 (ja) 2013-07-04
US20140002624A1 (en) 2014-01-02
JP5356633B1 (ja) 2013-12-04
CN103491848B (zh) 2015-10-07

Similar Documents

Publication Publication Date Title
CN103491848A (zh) 医疗用内窥镜系统
CN103460281B (zh) 内窥镜手术系统
KR101794842B1 (ko) 이미지들을 캡처하는 것을 돕기 위해 햅틱 피드백을 제공하기 위한 시스템 및 방법
EP2732761A1 (en) Augmented reality system in the patient care environment
US20090254109A1 (en) Operation system
US20130023738A1 (en) Mobile phone for health inspection and method using same
US20220084667A1 (en) Medical operation recording method, medical device, and storage medium
CN105873539A (zh) 医疗系统
US11219491B2 (en) Centralized control apparatus and method of controlling one or more controlled apparatuses including medical device
CN104224116A (zh) 医用传感器及其使用方法和操作设备
CN104918574B (zh) 医疗用便携终端装置
EP1691313A2 (en) Operation information management device and surgery system
RU2343825C2 (ru) Электронный монитор артериального давления
JP2005135344A (ja) 医療情報システム
CN105763937A (zh) 具有健康监测功能的显示装置及健康监测方法
CN104853690A (zh) 医疗辅助装置以及医疗设备的分场景设定信息的处理方法
KR20150089834A (ko) 생체 신호를 측정하는 원격 제어 장치
JP7014036B2 (ja) 情報処理装置及び画面切り替え方法
CN112640442B (zh) 图像记录再现装置、图像记录方法和内窥镜系统
JP2006271789A (ja) 医療診断システム、サーバ装置、映像表示装置、リモートコントローラ及び認証処理システム
JP2016067692A (ja) 医療システム
CN102743155B (zh) 用于监护仪的监测信息监测方法和设备
JP6176945B2 (ja) 生体情報モニタ
JP2017205150A (ja) 医療画像記録装置
US20220122705A1 (en) Central monitoring system, monitoring device, mobile terminal, and patient monitoring method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151109

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Patentee before: Olympus Medical Systems Corp.