CN114025674A - 内窥镜装置、控制方法、控制程序及内窥镜系统 - Google Patents

内窥镜装置、控制方法、控制程序及内窥镜系统 Download PDF

Info

Publication number
CN114025674A
CN114025674A CN202080047212.9A CN202080047212A CN114025674A CN 114025674 A CN114025674 A CN 114025674A CN 202080047212 A CN202080047212 A CN 202080047212A CN 114025674 A CN114025674 A CN 114025674A
Authority
CN
China
Prior art keywords
operator
image
endoscope
sight
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080047212.9A
Other languages
English (en)
Inventor
东未央
设乐健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114025674A publication Critical patent/CN114025674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00013—Operational features of endoscopes characterised by signal transmission using optical means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本发明提供一种能够提高操作性的内窥镜装置、控制方法、控制程序及内窥镜系统。内窥镜(110)具有插入于活体内的插入部和操作部(111)。内窥镜装置(120)与内窥镜(110)连接。控制部(121)使与自装置可执行的动作建立对应的图像显示于显示装置(130)的显示画面的一部分上。视线位置检测部(122)检测内窥镜(110)的操作者的视线位置。控制部(121)根据由视线位置检测部(122)检测出的视线位置来进行操作者是否注视着上述图像的判定。然后，控制部(121)根据该判定的结果和对应于操作者对操作部(111)的操作而输入的指示信号来执行与该图像建立对应的动作。

Description

内窥镜装置、控制方法、控制程序及内窥镜系统
技术领域
本发明涉及一种内窥镜装置、控制方法、控制程序及内窥镜系统。
背景技术
以往，在进行通过内窥镜得到的图像的显示的控制等的内窥镜装置中，提出了一种用于受理切换图像的显示模式的操作等各种操作的结构。例如，作为用于操作内窥镜或与内窥镜相关的医疗装置的结构，专利文献1中记载了如下结构：将多个开关显示于监视器，通过内窥镜的操作者的声音或视线输入以远程操作的方式选择该开关，并通过脚踏开关确定并执行。并且，专利文献2中记载了如下结构：在专利文献1的结构中，通过脚踏开关的操作使声音输入有效，以防止操作者以外的人发声而导致的错误动作。
以往技术文献
专利文献
专利文献1：日本特开平11-332883号公报
专利文献2：日本特开2001-299691号公报
发明内容
发明要解决的技术课题
通常，内窥镜具备插入于活体内的插入部和用于操作该插入部的操作部，该操作部设置于内窥镜中操作者把持的部分。即，操作者在把持着内窥镜的同时通过手上的操作部操作插入部，而该操作要求高度的集中力。并且，要求操作者在进行插入部的操作的同时还进行切换图像的显示模式的操作等针对内窥镜装置的各种操作。
然而，在上述以往技术中，操作者无法在手上操作着内窥镜的插入部的同时容易地进行用于使内窥镜装置执行操作者所期望的动作的操作，从而操作性差。
例如，在专利文献1及2的结构中，为了执行操作者所期望的动作，需要脚踏开关的操作。因此，操作者会被强迫进行难度较高的如下作业：在专注于针对内窥镜的手上的操作的同时还要进行脚下的操作。
本发明是鉴于上述情况而完成的，其目的在于，提供一种能够提高操作性的内窥镜装置、控制方法、控制程序及内窥镜系统。
用于解决技术课题的手段
本发明的内窥镜装置与具有插入于活体内的插入部和操作部的内窥镜连接，并且使与自装置可执行的动作建立对应的图像显示于显示画面的一部分上，该内窥镜装置具备：检测部，检测上述内窥镜的操作者的视线位置；及控制部，根据由上述检测部检测出的上述视线位置来进行上述操作者是否注视着上述图像的判定，并根据上述判定的结果和对应于上述操作者对上述操作部的操作而输入的指示动作执行的指示信号来执行与上述图像建立对应的上述动作。
本发明的控制方法为与具有插入于活体内的插入部和操作部的内窥镜连接的内窥镜装置的控制方法，包括如下步骤：使与上述内窥镜装置可执行的动作建立对应的图像显示于显示画面的一部分上；检测上述内窥镜的操作者的视线位置；根据检测出的上述视线位置来进行上述操作者是否注视着上述图像的判定；及根据上述判定的结果和对应于上述操作者对上述操作部的操作而输入的指示动作执行的指示信号来执行与上述图像建立对应的上述动作。
本发明的控制程序为与具有插入于活体内的插入部和操作部的内窥镜连接的内窥镜装置的控制程序，用于使计算机执行如下步骤：使与上述内窥镜装置可执行的动作建立对应的图像显示于显示画面的一部分上的步骤；检测上述内窥镜的操作者的视线位置的步骤；根据检测出的上述视线位置来进行上述操作者是否注视着上述图像的判定的步骤；及上述判定的结果和对应于上述操作者对上述操作部的操作而输入的指示动作执行的指示信号来执行与上述图像建立对应的上述动作的步骤。
本发明的内窥镜系统具备上述内窥镜装置、上述内窥镜及上述显示画面。
发明效果
根据本发明，能够提供一种能够提高操作性的内窥镜装置、控制方法、控制程序及内窥镜系统。
附图说明
图1是表示具备作为本发明的内窥镜装置的一实施方式的内窥镜装置120的内窥镜系统100的一例的框图。
图2是表示内窥镜110的概略结构的一例的图。
图3是表示显示装置130及按钮的一例的图。
图4是表示通过内窥镜装置120进行的动作控制的具体例的图。
图5是表示通过内窥镜装置120进行的动作控制的处理的一例的流程图。
图6是表示视线位置在画面321的外侧时的辅助图像620的显示的一例的图。
图7是表示显示装置130及按钮的另一例的图。
图8是表示在图7所示的例子中视线位置在画面321的外侧时的辅助图像620的显示的一例的图。
图9是表示内窥镜系统100的另一例的图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。
图1是表示具备作为本发明的内窥镜装置的一实施方式的内窥镜装置120的内窥镜系统100的一例的框图。内窥镜系统100具备内窥镜110、内窥镜装置120、显示装置130及眼动仪140。并且，内窥镜系统100还可以具备操作台150。
内窥镜110具备用于获得活体内的内窥镜图像的成像元件及用于获得活体内的超声波图像的超声波振子的至少任一个。尽管未图示，但在此对内窥镜110既具备成像元件也具备超声波振子的结构例进行说明。
成像元件拍摄活体内的像光并输出摄像信号。例如，成像元件由CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)型图像传感器或CCD(Charge-Coupled Device，电荷耦合器件)型图像传感器等固体摄像元件构成。
例如，内窥镜110上设置有将从设置于内窥镜装置120的未图示的光源射出的光照射于活体内的体腔内壁的未图示的照明窗，成像元件利用该光的反射光进行拍摄。
超声波振子为产生超声波并照射所产生的超声波的振子。并且，超声波振子还作为接收所照射的超声波的回波信号并输出接收到的回波信号的超声波换能器而动作。
并且，内窥镜110具备插入于活体内的插入部(参考图2)和操作部111。操作部111在内窥镜中设置于内窥镜的操作者(例如，医生)把持的部分(例如，插入部的基端部)。关于内窥镜110的结构，将在图2中进行后述。
内窥镜装置120与内窥镜110连接，并且进行使基于通过内窥镜110得到的信号的图像显示于显示装置130的控制。具体而言，内窥镜装置120具备未图示的内窥镜图像用处理器，该内窥镜图像用处理器控制内窥镜110的成像元件的驱动，并且通过对从内窥镜110的成像元件输出的摄像信号实施各种图像处理来生成内窥镜图像。并且，内窥镜装置120具备未图示的超声波图像用处理器，该超声波图像用处理器控制内窥镜110的超声波振子的驱动，并且通过对从内窥镜110的超声波振子输出的回波信号实施各种图像处理来生成超声波图像。
并且，内窥镜装置120生成通过显示装置130显示的观察用图像，该观察用图像包括通过内窥镜图像用处理器及超声波图像用处理器得到的内窥镜图像及超声波图像的至少任一个。并且，内窥镜装置120包括未图示的DSC(Digital Scan Converter，数字扫描转换器)，该DSC将所生成的观察用图像转换(光栅转换)成按照显示装置130的扫描方式的图像信号，并对转换后的图像信号实施灰度处理等各种图像处理。并且，内窥镜装置120通过向显示装置130输出经DSC的图像处理的观察用图像来控制通过显示装置130进行的观察用图像的显示。
进而，内窥镜装置120具备控制部121和视线位置检测部122，作为可执行各种动作(关于具体例，将在图3等中进行后述)且用于执行这些动作中操作者所期望的动作的结构。视线位置检测部122构成检测部。
控制部121使与内窥镜装置120(自装置)可执行的动作建立对应的按钮显示于显示装置130的显示画面的一部分上。该按钮为供操作者从内窥镜装置120的各动作中选择执行对象动作的图像(图标)，其构成与动作建立对应的图像。
并且，控制部121也可以针对内窥镜装置120的多个动作分别显示与该动作建立对应的按钮。关于通过控制部121的控制而显示的按钮的具体例，将在图3等中进行后述。
视线位置检测部122检测内窥镜110的操作者的视线位置。操作者的视线位置例如是指与显示装置130的显示画面平行的面上的与操作者的视线相交的位置。在图1所示的结构例中，视线位置检测部122根据通过眼动仪140得到的信息来检测操作者的视线位置，该眼动仪140检测操作者的视线的位置等。
作为眼动仪140，可以使用从通过摄像装置拍摄操作者的脸部而得的图像中检测视线位置的方式、使用佩戴于操作者的眼睛上的特殊的隐形眼镜来检测视线位置的方式、测定移动操作者的眼球的筋肉等所产生的电位的方式等各种方式的眼动仪。
在此，将从通过摄像装置拍摄操作者的脸部而得的图像中检测视线位置的方式的眼动仪用作眼动仪140，并对该例子进行说明。在该情况下，眼动仪140例如由光源、摄像装置及处理电路构成，该光源对操作者的脸部照射近红外线，该摄像装置拍摄被该光源照射近红外线的操作者的脸部，该处理电路根据基于脸部图像(通过摄像装置得到)的处理来确定操作者的视线位置。
另外，眼动仪140可以为如图1所示的结构例那样与内窥镜装置120连接的结构，也可以为作为视线位置检测部122而组装到内窥镜装置120中的结构(未图示)。
控制部121根据由视线位置检测部122检测出的操作者的视线位置来进行操作者是否注视着显示于显示装置130的显示画面的按钮的判定。操作者注视着按钮是指操作者的视线朝向该按钮，即操作者将视力集中在该按钮上。
例如，控制部121通过判定视线位置是否包括在显示装置130的显示画面中显示有按钮的区域内来进行操作者是否注视着按钮的判定。但是，判定操作者是否注视着按钮的方法并不限于此。例如，控制部121也可以通过判定显示装置130的显示画面中显示有按钮的区域的中心位置与视线位置之间的距离是否为阈值以上来进行操作者是否注视着按钮的判定。
并且，对应于操作者对内窥镜110的操作部111的操作而输出的通过内窥镜装置120指示动作执行的指示信号(触发信号)输入于控制部121。并且，控制部121根据操作者是否注视着按钮的判定和上述指示信号的输入来进行执行与按钮建立对应的动作的控制。具体而言，若在断定操作者注视着按钮的状态下输入指示信号，则控制部121执行与该按钮建立对应的动作。
显示装置130通过来自控制部121的控制来显示上述观察用图像或按钮等图像。例如，显示装置130为对内窥镜装置120一体设置的结构。或者，显示装置130也可以为设置于内窥镜装置120的外部且通过与内窥镜装置120进行通信而由内窥镜装置120进行控制的结构。在该情况下，显示装置130与内窥镜装置120之间的通信可以为有线通信，也可以为无线通信。并且，显示装置130可以包括多个显示装置。
操作台150为供操作者对内窥镜装置120进行各种操作的用户界面。例如，操作台150可以使用按压式按钮、切换开关、触摸面板、声音输入器件等各种用户界面。除能够执行基于上述判定及指示信号的动作以外，控制部121还可以能够执行通过操作台150指示的动作。
另外，内窥镜装置120包括统一控制整个内窥镜系统100且执行包括控制程序的程序来进行处理的各种处理器、RAM(Random Access Memory，随机存取存储器)及ROM(ReadOnly Memory，只读存储器)。
作为各种处理器，包括执行程序来进行各种处理的通用的处理器即CPU(CentralProcessing Unit，中央处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等在制造之后可变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)或ASIC(Application Specific Integrated Circuit，专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
更具体而言，这些各种处理器的结构为组合半导体元件等电路元件而成的电路。内窥镜装置120可以由各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。
图2是表示内窥镜110的概略结构的一例的图。图2所示的内窥镜110主要具备操作部111、插入部204及经由内窥镜装置120的连接器部(未图示)与控制部121连接的通用线缆206。
插入部204大部分为沿着插入路径向任意的方向弯曲的软管207。在该软管207的前端连结有弯曲部208，在该弯曲部208的前端连结有前端部210。弯曲部208为了使前端部210朝向所期望的方向而设置，通过转动设置于操作部111的弯曲操作旋钮209，能够进行弯曲操作。尽管未图示，但在前端部210设置有上述成像元件、超声波振子及照明窗等。
操作部111为操作者把持的部分，其设置于软管207的基端(软管207中与前端部210相反的一侧的端部)，并且具备受理来自操作者的操作的各零件。例如，除上述弯曲操作旋钮209以外，操作部111上还设置有按压式按钮202等。作为用于向控制部121输出上述指示信号的触发开关，例如可以使用按压式按钮202。在该情况下，若操作者按下按压式按钮202，则上述指示信号经由通用线缆206输入于控制部121。
在该情况下，操作者通过在把持着操作部111的状态下使用弯曲操作旋钮209等来操作前端部210的同时，在将自己的视线对准到显示于显示装置130的按钮上的状态下按下按压式按钮202，能够使内窥镜装置120执行与该按钮对应的动作。
由此，能够通过操作者的手上的操作部111同时进行前端部210的操作及内窥镜装置120的操作。因此，例如，与使用操作者的手上的操作部111及操作者的脚下的脚踏开关分别进行前端部210的操作及内窥镜装置120的操作的结构相比，能够简化操作者的作业。另外，前端部210的操作还包括维持前端部210的位置或姿势的操作。
另外，用于向控制部121输出指示信号的触发开关并不限于按压式按钮202，可以为设置于操作部111的其他按钮，也可以为设置于操作部111的按压式按钮以外的触摸传感器等。
图3是表示显示装置130及按钮的一例的图。在图3所示的例子中，显示装置130由两个监视器310及320构成。监视器310具有根据来自内窥镜装置120的控制来显示通过内窥镜110得到的内窥镜图像或超声波图像等观察用图像的画面311。在图3所示的例子中，作为观察用图像，在监视器310中显示有超声波图像。
监视器320具有根据来自内窥镜装置120的控制来显示与内窥镜装置120可执行的多个动作建立对应的各按钮的画面321。画面321构成显示画面。
在图3所示的例子中，监视器320显示有按钮B1～B5。按钮B1～B5与向B(Brightness，亮度)模式的转移、向CD(Color Doppler，彩色多普勒)模式的转移、向PD(Power Doppler，能量多普勒)模式的转移、向PW(Pulse Wave，脉冲波)模式的转移、向M(Motion，动作)模式的转移预先建立对应。
B模式、CD模式、PD模式、PW模式及M模式为互不相同的超声波图像生成模式。例如，B模式为将超声波回波的振幅转换为亮度来显示断层图像的模式。
CD模式为将包括通过多普勒法得到的方向的血流速度的信息以用彩色重叠的方式显示于B模式图像上的模式。PW模式为显示根据脉冲波的发送/接收检测出的超声波回波源的速度(例如，血流速度)的模式。
PD模式为将彩色多普勒法中的多普勒信号的功率信息以用彩色重叠的方式显示于B模式图像上的模式。M模式为将关注断层图像上的某条直线时的经时变化图像化来显示的模式。
图3所示的按钮仅为一例，可以省略图3所示的按钮的一部分的显示，也可以在画面321上进一步显示与向其他模式的转移建立对应的按钮。作为其他模式，例如有A(Amplitude，振幅)模式等。
并且，与显示于画面321的按钮建立对应的动作并不限于向特定的超声波图像生成模式的转移。例如，与显示于画面321的按钮建立对应的动作也可以为超声波图像及内窥镜图像中显示于画面311的图像的切换、显示于画面311的观察用图像的作为动态图像的保存或作为静态图像的保存、或测量等诊断支援功能或显示于画面321的按钮的切换等。
并且，在图3所示的结构例中，在监视器320的下部设置有眼动仪140的摄像装置。当操作者选择显示于监视器320的按钮B1～B5时，操作者的脸部会朝向监视器320，因此通过在监视器320设置眼动仪140的摄像装置，能够精确地检测操作者的视线位置。
图4是表示通过内窥镜装置120进行的动作控制的具体例的图。状态401为操作者的视线位置在画面321内移动的状态。光标410为表示操作者的视线位置的图像，其显示于由视线位置检测部122检测出的画面321上的操作者的当前的视线位置。在图4所示的例子中，光标410由圆形图像构成，但构成光标410的图像并不限于此。视线轨迹420为光标410的移动轨迹。
控制部121根据视线位置检测部122的检测结果依次更新光标410及视线轨迹420。但是，控制部121也可以不在画面321上显示视线轨迹420。
并且，在光标410位于按钮B1～B5中的某一区域内的情况下，控制部121可以进行强调显示该按钮的控制。按钮的强调显示是指将该按钮显示为比其他按钮更显眼。
例如，在图3的状态401下，光标410位于按钮B3的区域内，因此控制部121通过使按钮B3的外周线粗于其他按钮的外周线而强调显示了按钮B3。由此，操作者能够容易地掌握通过自己的视线指示的按钮为按钮B3。但是，按钮的强调显示并不限于此，可以设为改变按钮的颜色、改变按钮的大小等各种强调显示。
并且，在状态401下，控制部121将按钮B1～B5设定为非激活状态。在此，按钮的激活状态是指如下状态：若在光标410位于该按钮的区域内时输入上述指示信号，则控制部121执行与该按钮对应的动作。
另一方面，按钮的非激活状态是指如下状态：即使在光标410位于该按钮的区域内时输入上述指示信号，控制部121也不会执行与该按钮对应的动作。即，在状态401下，按钮B3设定为非激活状态，因此即使按下触发开关(例如，按压式按钮202)来输入指示信号，也不会执行与按钮B3对应的动作。
在状态401下，若光标410位于按钮B3的区域内的状态维持1秒以上，则会成为状态402。在状态402下，控制部121将按钮B3设定为激活状态。此时，控制部121可以通过改变按钮B3的显示方式来通知操作者按钮B3成为激活状态的情况。
在图4所示的例子中，控制部121通过使按钮B3的颜色与其他按钮不同而通知了操作者按钮B3成为激活状态的情况。但是，激活状态的按钮的显示方式并不限于此，例如可以为设为与非激活状态的按钮不同的颜色、使非激活状态的按钮变大等各种显示方式。
在状态402下按下触发开关的情况下，控制部121执行与按钮B3对应的动作，即向PD模式的转移。由此，显示于监视器310的超声波图像切换为PD模式的超声波图像。
另一方面，在状态402下，若光标410脱离按钮B3的区域而移动到按钮B2的区域，则会成为状态403。在状态403下，控制部121使按钮B3返回到非激活状态。并且，控制部121强调显示按钮B2。但是，在该时点，光标410位于按钮B2的区域内的状态不到1秒，按钮B2仍处于非激活状态。
在状态403下按下触发开关的情况下，由于按钮B2处于非激活状态，因此控制部121不会执行与按钮B2对应的动作，从而操作是无效的。由此，例如，在快要按下触发开关之前操作者的视线发生摇动或视线位置检测部122发生错误检测的情况下，能够抑制操作者执行不经意的动作。
图5是表示通过内窥镜装置120进行的动作控制的处理的一例的流程图。首先，内窥镜装置120检测操作者的视线位置(步骤S501)。接着，内窥镜装置120判断通过步骤S501检测出的视线位置是否在显示于画面321的按钮上(步骤S502)。例如，在图3所示的例子中，内窥镜装置120判断视线位置是否位于按钮B1～B5中的某一区域内。
在步骤S502中，在视线位置不在按钮上的情况下(步骤S502：否)，内窥镜装置120将所有按钮设定为非激活状态(步骤S503)。接着，内窥镜装置120更新画面321的绘图(步骤S504)，返回到步骤S501。步骤S504中的绘图的更新例如包括光标410的移动或各按钮的强调显示的切换等。
在步骤S502中，在视线位置在按钮上的情况下(步骤S502：是)，内窥镜装置120判断检测出的视线位置在该按钮(以下，称为对象按钮。)上的状态是否维持了1秒以上(步骤S505)。例如，内窥镜装置120将步骤S502的判断结果的历史存储于上述RAM等存储器中，并根据该历史来进行步骤S505的判断。
在步骤S505中，在视线位置在对象按钮上的状态未维持1秒以上的情况下(步骤S505：否)，内窥镜装置120转移到步骤S503。在视线位置在对象按钮上的状态维持了1秒以上的情况下(步骤S505：是)，内窥镜装置120将对象按钮设定为激活状态(步骤S506)。
接着，内窥镜装置120更新画面321的绘图(步骤S507)。步骤S507中的绘图的更新例如包括光标410的移动或对象按钮处于激活状态的情况的显示(例如，改变对象按钮的颜色)等。
接着，内窥镜装置120判断是否检测出按下触发按钮(例如，按压式按钮202)的情况(步骤S508)。即，内窥镜装置120判断是否输入了上述指示信号。
在步骤S508中，在未检测出按下触发按钮的情况的情况下(步骤S508：否)，内窥镜装置120返回到步骤S501。在检测出按下触发按钮的情况的情况下(步骤S508：是)，内窥镜装置120执行与对象按钮对应的动作(步骤S509)，并返回到步骤S501。
图5所示的步骤S501例如由内窥镜装置120的视线位置检测部122执行。图5所示的步骤S502～S509例如由内窥镜装置120的控制部121执行。
如在图4及图5中说明那样，在断定操作者持续注视按钮预先设定的时间(例如，1秒)以上的状态下输入指示信号，则内窥镜装置120执行与该按钮建立对应的动作。由此，能够抑制操作者执行不经意的动作。
并且，若断定操作者注视着按钮的状态持续上述时间，即，若该按钮成为激活状态，则内窥镜装置120改变该按钮的显示方式。由此，操作者能够容易地掌握通过按下触发开关可执行与所注视的按钮对应的动作的情况。
对将1秒用作直至使按钮成为激活状态的时间(预先设定的时间)的情况进行了说明，但直至使按钮成为激活状态的时间可以不到1秒，也可以长于1秒。并且，也可以将直至使按钮成为激活状态的时间设为0秒，即当操作者注视按钮时该按钮立刻成为激活状态。
图6是表示视线位置在画面321的外侧时的辅助图像620的显示的一例的图。图6所示的视线位置610为由视线位置检测部122检测出的视线位置。如图6所示的例子那样，在由视线位置检测部122检测出的视线位置610在画面321的外侧的情况下，控制部121可以代替上述光标410而将显示辅助图像620显示于画面321。
图6的虚拟对角线601及602虚拟地表示矩形画面321的两条对角线。中心603为虚拟对角线601与602的交点，即画面321的中心。图6的虚拟线段604虚拟地表示连接中心603和视线位置610的线段。虚拟对角线601及602、中心603及虚拟线段604实际上可以不显示于画面321。
控制部121在画面321的端部中的与虚拟线段604相交的位置显示辅助图像620。由此，能够在画面321的端部中的画面321的中心603与视线位置610之间的端部显示表示视线位置610的方向的辅助图像620。
在图6所示的例子中，辅助图像620为半圆形图像，该半圆形图像为以画面321的端部中的与虚拟线段604相交的位置为中心的圆的包括在画面321内的部分。并且，辅助图像620为与光标410不同的颜色的图像。如此，通过将与光标410不同的图像用作辅助图像620，操作者能够容易地掌握视线位置610在辅助图像620所表示的方向上的情况，而不是视线位置610在辅助图像620的位置的情况。
并且，控制部121根据视线位置检测部122的检测结果依次更新辅助图像620。并且，若视线位置610成为画面321的内侧，则控制部121在视线位置610显示光标410来代替辅助图像620。
如此，在画面321的内侧检测出视线位置610的状态下，内窥镜装置120在画面321中的检测出视线位置610的位置显示表示视线位置610的光标410。另一方面，在画面321的外侧检测出视线位置610的状态下，内窥镜装置120在画面321的端部中的画面321的中心603与视线位置610之间的端部显示表示视线位置610的方向的辅助图像620。
由此，例如，即使由视线位置检测部122检测出的视线位置610因眼动仪140的跟踪不良等而偏离实际的操作者的视线位置，由于知晓检测出的自己的视线位置610的方向，因此操作者也能够直观地掌握从当前状态向哪个方向移动视线才能够将光标410对准到所期望的按钮上。因此，能够抑制由眼动仪140的跟踪不良等引起的操作混乱。
图7是表示显示装置130及按钮的另一例的图。在图7中，对与图3所示的部分相同的部分标注相同的符号，并省略说明。在图7所示的例子中，显示装置130由一个的监视器320构成。监视器320的画面通过软件处理划分为三个画面311、321及701。
监视器320根据来自内窥镜装置120的控制将通过内窥镜110得到的超声波图像显示于画面311。并且，监视器320根据来自内窥镜装置120的控制将与内窥镜装置120可执行的多个动作建立对应的各按钮显示于画面321(图7的斜线部)。并且，监视器320根据来自内窥镜装置120的控制将通过内窥镜110得到的内窥镜图像显示于画面701。
在图7所示的例子中，监视器320在画面321上显示有按钮B1～B3。
操作者通过注视显示于画面321的按钮B1～B3中的某一个1秒以上，并在该状态下按下内窥镜110的按压式按钮202，能够启动与按钮B1～B3中所注视的按钮对应的超声波图像生成模式。
例如，若操作者注视按钮B3在1秒以上，并在该状态下按下内窥镜110的按压式按钮202，则显示于画面311的超声波图像切换为PD模式的超声波图像。
如图7所示，内窥镜装置120可以在包括在具有画面321的监视器320中的与画面321不同的画面311上显示通过内窥镜110得到的观察用图像。由此，操作者能够在一个监视器320中观察通过内窥镜110得到的观察用图像和用于使内窥镜装置120执行所期望的动作的按钮B1～B3。因此，操作者能够在根据观察用图像进行观察的同时通过较少地移动视线并按下触发开关而使内窥镜装置120执行所期望的动作。因此，能够提高操作性。
图8是表示在图7所示的例子中视线位置在画面321的外侧时的辅助图像620的显示的一例的图。在图7所示的例子中，如图8所示，在由视线位置检测部122检测出的视线位置610在画面321的外侧的情况下，控制部121可以在画面321上显示辅助图像620来代替光标410。
具体而言，与图6所示的例子相同地，控制部121在画面321的端部中的画面321的中心与视线位置610之间的端部显示辅助图像620。即，控制部121使光标410或辅助图像620显示于画面321的范围内，而不显示于画面311。
由此，能够使光标410或辅助图像620不显示于显示超声波图像等观察用图像的画面311，从而抑制光标410或辅助图像620妨碍通过观察用图像进行的诊断。
(显示装置130的变形例)
在图3、图7及图8中，对由自立式监视器310及320构成显示装置130的例子进行了说明，但显示装置130的结构并不限于此。例如，显示装置130也可以由包括在操作台150上的触摸面板等显示装置或投影仪等构成。
(操作者的脸部区域的提取)
在眼动仪140包括在视线位置检测部122中的结构中，眼动仪140可以预先存储有操作者的脸部的特征信息。在该情况下，眼动仪140根据操作者的脸部的特征信息从由拍摄操作者的摄像装置得到的摄像图像中提取操作者的脸部区域。该脸部区域的提取可以使用脸部认证等中使用的各种方法。
并且，眼动仪140根据所提取的脸部区域的图像来检测操作者的视线位置。由此，例如，即使摄像图像中映现有操作者以外的人物(例如，操作者的助手或患者)的情况下，也能够精确地检测操作者的视线位置。
或者，也可以对操作者粘贴具有光学特征的标记，并使用该标记来提取操作者的脸部区域。光学特征是指特定的形状或颜色等图像匹配等图像处理中可提取的特征。作为一例，以星形贴纸为标记，粘贴于操作者的胸部等。
眼动仪140检测由拍摄贴有上述标记的操作者的摄像装置得到的摄像图像中的标记的位置，并根据检测出的标记的位置来提取摄像图像中的操作者的脸部区域。例如，在标记粘贴于操作者的胸部的情况下，由于检测出的标记的位置为操作者的胸部的位置，因此能够断定该位置的上方的区域为操作者的脸部区域。
在该情况下，眼动仪140也同样地根据所提取的脸部区域的图像来检测操作者的视线位置。由此，例如，即使在摄像图像中映现有操作者以外的人物的情况下，也能够精确地检测操作者的视线位置。
如此，眼动仪140可以使用脸部识别或标记将检测视线位置的区域限定于由摄像装置得到的摄像图像中的操作者的脸部区域。由此，能够精确地检测操作者的视线位置。
图9是表示内窥镜系统100的另一例的图。在图9中，对与图1所示的部分相同的部分标注相同的符号，并省略说明。如图9所示，内窥镜系统100可以包括陀螺仪传感器910来代替眼动仪140。陀螺仪传感器910佩戴于操作者的头部，并且向内窥镜装置120输出通过测定操作者的头部的角速度而得且表示操作者的头部的三维姿势变化的信息。
内窥镜装置120的视线位置检测部122根据从陀螺仪传感器910输出的信息来检测操作者的视线位置。即，操作者的视线的移动在一定程度上与操作者的头部的移动度联动，因此能够根据从陀螺仪传感器910输出的信息来间接检测操作者的视线位置。
如此，通过视线位置检测部122进行的视线位置的检测并不限于通过眼动仪140得到的信息，也可以根据通过陀螺仪传感器910等其他机构得到的信息来进行。
在如上构成的内窥镜装置120中，使与可执行的动作建立对应的图像显示于显示画面的一部分上，并根据内窥镜的操作者的视线位置来进行操作者是否注视着该图像的判定。并且，内窥镜装置120根据该判定的结果和对应于针对内窥镜的操作部的操作而输入的指示信号来执行与图像建立对应的动作。
由此，能够通过操作者的手上的操作部同时进行内窥镜的操作及内窥镜装置120的操作。因此，例如，与使用操作者的手上的操作部及操作者的脚下的脚踏开关分别进行内窥镜的操作及内窥镜装置120的操作的结构相比，能够简化操作者的作业。因此，能够提高操作性。
并且，通过使用眼动仪或陀螺仪传感器，例如，即使不使用头戴式显示器等大型佩戴工具，也能够提高操作性。
存储于内窥镜装置120的ROM等中的控制程序存储于计算机可读取的非临时性(non-transitory)存储介质中。这种“计算机可读取的存储介质”例如包括CD-ROM(CompactDisc-ROM，光盘)等光学介质或USB(Universal Seria1 Bus，通用串行总线)存储器或存储卡等磁存储介质等。并且，也可以通过经由互联网等网络的下载来提供这种程序。
如上所述，本说明书中至少记载有以下事项。
(1)一种内窥镜装置，其与具有插入于活体内的插入部和操作部的内窥镜连接，并且使与自装置可执行的动作建立对应的图像显示于显示画面的一部分上，该内窥镜装置具备：
检测部，检测上述内窥镜的操作者的视线位置；及
控制部，根据由上述检测部检测出的上述视线位置来进行上述操作者是否注视着上述图像的判定，并根据上述判定的结果和对应于上述操作者对上述操作部的操作而输入的指示动作执行的指示信号来执行与上述图像建立对应的上述动作。
(2)根据(1)所述的内窥镜装置，其中，
若在断定上述操作者注视着上述图像的状态下输入上述指示信号，则上述控制部执行与上述图像建立对应的上述动作。
(3)根据(2)所述的内窥镜装置，其中，
若在断定上述操作者持续注视上述图像预先设定的时间以上的状态下输入上述指示信号，则上述控制部执行与上述图像建立对应的上述动作。
(4)根据(3)所述的内窥镜装置，其中，
若断定上述操作者注视着上述图像的状态持续上述时间，则上述控制部改变上述图像的显示方式。
(5)根据(1)至(4)中任一项所述的内窥镜装置，其中，
上述插入部具有软管，
上述操作部设置于上述软管的基端。
(6)根据(1)至(5)中任一项所述的内窥镜装置，其中，
上述操作部为上述操作者在把持的状态下使用的操作部。
(7)根据(1)至(6)中任一项所述的内窥镜装置，其中，
上述控制部在上述显示画面的内侧检测出上述视线位置的状态下，在上述显示画面中的检测出上述视线位置的位置显示表示上述视线位置的光标，在上述显示画面的外侧检测出上述视线位置的状态下，在上述显示画面的端部中的上述显示画面的中心与上述视线位置之间的端部显示表示上述视线位置的方向的辅助图像。
(8)根据(1)至(7)中任一项所述的内窥镜装置，其中，
上述检测部根据上述操作者的脸部的特征信息从由拍摄上述操作者的摄像装置得到的摄像图像中提取上述操作者的脸部区域，并根据所提取的上述脸部区域的图像来检测上述视线位置。
(9)根据(1)至(7)中任一项所述的内窥镜装置，其中，
上述检测部检测由拍摄贴有具有光学特征的标记的上述操作者的摄像装置得到的摄像图像中的上述标记的位置，根据检测出的上述标记的位置来提取上述摄像图像中的上述操作者的脸部区域，并根据所提取的上述脸部区域的图像来检测上述视线位置。
(10)根据(1)至(9)中任一项所述的内窥镜装置，其中，
上述控制部使通过上述内窥镜得到的观察用图像显示于包括在具有上述显示画面的监视器内的与上述显示画面不同的画面上。
(11)根据(1)至(10)中任一项所述的内窥镜装置，其中，
上述检测部根据通过眼动仪得到的信息来检测上述视线位置。
(12)根据(1)至(10)中任一项所述的内窥镜装置，其中，
上述检测部根据通过佩戴于上述操作者的头部的陀螺仪传感器的得到的信息来检测上述视线位置。
(13)一种控制方法，其为与具有插入于活体内的插入部和操作部的内窥镜连接的内窥镜装置的控制方法，包括如下步骤：
使与上述内窥镜装置可执行的动作建立对应的图像显示于显示画面的一部分上；
检测上述内窥镜的操作者的视线位置；
根据检测出的上述视线位置来进行上述操作者是否注视着上述图像的判定；及
根据上述判定的结果和对应于上述操作者对上述操作部的操作而输入的指示动作执行的指示信号来执行与上述图像建立对应的上述动作。
(14)一种控制程序，其为与具有插入于活体内的插入部和操作部的内窥镜连接的内窥镜装置的控制程序，用于使计算机执行如下步骤：
使与上述内窥镜装置可执行的动作建立对应的图像显示于显示画面的一部分上的步骤；
检测上述内窥镜的操作者的视线位置的步骤；
根据检测出的上述视线位置来进行上述操作者是否注视着上述图像的判定的步骤；及
根据上述判定的结果和对应于上述操作者对上述操作部的操作而输入的指示动作执行的指示信号来执行与上述图像建立对应的上述动作的步骤。
(15)一种内窥镜系统，其具备：
(1)至(12)中任一项所述的内窥镜装置；
上述内窥镜；及
上述显示画面。
根据上述记载，能够掌握以下附记项1至12所述的内窥镜装置。
[附记项1]
一种内窥镜装置，其与具有插入于活体内的插入部和触发开关的内窥镜连接，并且使与自装置可执行的动作建立对应的图像显示于显示画面的一部分上，
该内窥镜装置具备处理器，
上述处理器检测上述内窥镜的操作者的视线位置，并且
根据上述视线位置来进行上述操作者是否注视着上述图像的判定，并根据上述判定的结果和对应于上述操作者对上述触发开关的操作而输入的指示动作执行的指示信号来执行与上述图像建立对应的上述动作。
[附记项2]
根据附记项1记载的内窥镜装置，其中，
若在断定上述操作者注视着上述图像的状态下输入上述指示信号，则上述处理器执行与上述图像建立对应的上述动作。
[附记项3]
根据附记项2所述的内窥镜装置，其中，
若在断定上述操作者持续注视上述图像预先设定的时间以上的状态下输入上述指示信号，则上述处理器执行与上述图像建立对应的上述动作。
[附记项4]
根据附记项3记载的内窥镜装置，其中，
若断定上述操作者注视着上述图像的状态持续上述时间，则上述处理器改变上述图像的显示方式。
[附记项5]
根据附记项1至4任一项所述的内窥镜装置，其中，
上述插入部具有软管，
上述触发开关设置于上述软管的基端。
[附记项6]
根据附记项1至5任一项所述的内窥镜装置，其中，
上述触发开关为上述操作者在把持的状态下使用的触发开关。
[附记项7]
根据附记项1至6任一项所述的内窥镜装置，其中，
上述处理器在上述显示画面的内侧检测出上述视线位置的状态下，在上述显示画面中的检测出上述视线位置的位置显示表示上述视线位置的光标，在上述显示画面的外侧检测出上述视线位置的状态下，在上述显示画面的端部中的上述显示画面的中心与上述视线位置之间的端部显示表示上述视线位置的方向的辅助图像。
[附记项8]
根据附记项1至7任一项所述的内窥镜装置，其中，
上述处理器根据上述操作者的脸部的特征信息从由拍摄上述操作者的摄像装置得到的摄像图像中提取上述操作者的脸部区域，并根据所提取的上述脸部区域的图像来检测上述视线位置。
[附记项9]
根据附记项1至7任一项所述的内窥镜装置，其中，
上述处理器检测由拍摄贴有具有光学特征的标记的上述操作者的摄像装置得到的摄像图像中的上述标记的位置，根据检测出的上述标记的位置来提取上述摄像图像中的上述操作者的脸部区域，并根据所提取的上述脸部区域的图像来检测上述视线位置。
[附记项10]
根据附记项1至9任一项所述的内窥镜装置，其中，
上述处理器使通过上述内窥镜得到的观察用图像显示于包括在具有上述显示画面的监视器内的与上述显示画面不同的画面上。
[附记项11]
根据附记项1至10任一项所述的内窥镜装置，其中，
上述处理器根据通过眼动仪得到的信息来检测上述视线位置。
[附记项12]
根据附记项1至10任一项所述的内窥镜装置，其中，
上述处理器根据通过佩戴于上述操作者的头部的陀螺仪传感器得到的信息来检测上述视线位置。
符号说明
100-内窥镜系统，110-内窥镜，111-操作部，120-内窥镜装置，121-控制部，122-视线位置检测部，130一显示装置，140-眼动仪，150-操作台，202-按压式按钮，204-插入部，206-通用线缆，207-软管，208-弯曲部，209-弯曲操作旋钮，210-前端部，310、320-监视器，311、321、701-画面，401～403-状态，410-光标，420-视线轨迹，601、602-虚拟对角线，603-中心，604-虚拟线段，610-视线位置，620-辅助图像，910-陀螺仪传感器，B1～B5-按钮。

Claims (15)

1.一种内窥镜装置，其与具有插入于活体内的插入部和操作部的内窥镜连接，并且使与自装置能执行的动作建立对应的图像显示于显示画面的一部分，所述内窥镜装置具备：
检测部，检测所述内窥镜的操作者的视线位置；及
控制部，根据由所述检测部检测出的所述视线位置来进行所述操作者是否注视着所述图像的判定，并根据所述判定的结果和对应于所述操作者对所述操作部的操作而输入的指示动作执行的指示信号来执行与所述图像建立对应的所述动作。
2.根据权利要求1所述的内窥镜装置，其中，
若在判定为所述操作者注视着所述图像的状态下输入所述指示信号，则所述控制部执行与所述图像建立对应的所述动作。
3.根据权利要求2所述的内窥镜装置，其中，
若在判定为所述操作者持续注视所述图像预先设定的时间以上的状态下输入所述指示信号，则所述控制部执行与所述图像建立对应的所述动作。
4.根据权利要求3所述的内窥镜装置，其中，
若判定为所述操作者注视着所述图像的状态持续所述时间，则所述控制部改变所述图像的显示方式。
5.根据权利要求1至4中任一项所述的内窥镜装置，其中，
所述插入部具有软管，
所述操作部设置于所述软管的基端。
6.根据权利要求1至5中任一项所述的内窥镜装置，其中，
所述操作部为在所述操作者把持的状态下使用的操作部。
7.根据权利要求1至6中任一项所述的内窥镜装置，其中，
所述控制部在所述显示画面的内侧检测出所述视线位置的状态下，在所述显示画面中的检测出所述视线位置的位置显示表示所述视线位置的光标，在所述显示画面的外侧检测出所述视线位置的状态下，在所述显示画面的端部中的所述显示画面的中心与所述视线位置之间的端部显示表示所述视线位置的方向的辅助图像。
8.根据权利要求1至7中任一项所述的内窥镜装置，其中，
所述检测部根据所述操作者的脸部的特征信息从由拍摄所述操作者的摄像装置得到的摄像图像中提取所述操作者的脸部的区域，并根据所提取的所述脸部的区域的图像来检测所述视线位置。
9.根据权利要求1至7中任一项所述的内窥镜装置，其中，
所述检测部检测由拍摄装有具有光学特征的标记的所述操作者的摄像装置得到的摄像图像中的所述标记的位置，根据检测出的所述标记的位置来提取所述摄像图像中的所述操作者的脸部的区域，并根据所提取的所述脸部的区域的图像来检测所述视线位置。
10.根据权利要求1至9中任一项所述的内窥镜装置，其中，
所述控制部使通过所述内窥镜得到的观察用图像显示于包括在具有所述显示画面的监视器且与所述显示画面不同的画面。
11.根据权利要求1至10中任一项所述的内窥镜装置，其中，
所述检测部根据通过眼动仪得到的信息来检测所述视线位置。
12.根据权利要求1至10中任一项所述的内窥镜装置，其中，
所述检测部根据通过佩戴于所述操作者的头部的陀螺仪传感器得到的信息来检测所述视线位置。
13.一种控制方法，其为与具有插入于活体内的插入部和操作部的内窥镜连接的内窥镜装置的控制方法，包括如下步骤：
使与所述内窥镜装置能执行的动作建立对应的图像显示于显示画面的一部分；
检测所述内窥镜的操作者的视线位置；
根据检测出的所述视线位置来进行所述操作者是否注视着所述图像的判定；及
根据所述判定的结果和对应于所述操作者对所述操作部的操作而输入的指示动作执行的指示信号来执行与所述图像建立对应的所述动作。
14.一种控制程序，其为与具有插入于活体内的插入部和操作部的内窥镜连接的内窥镜装置的控制程序，用于使计算机执行如下步骤：
使与所述内窥镜装置能执行的动作建立对应的图像显示于显示画面的一部分的步骤；
检测所述内窥镜的操作者的视线位置的步骤；
根据检测出的所述视线位置来进行所述操作者是否注视着所述图像的判定的步骤；及
所述判定的结果和对应于所述操作者对所述操作部的操作而输入的指示动作执行的指示信号来执行与所述图像建立对应的所述动作的步骤。
15.一种内窥镜系统，其具备：
权利要求1至12中任一项所述的内窥镜装置；
所述内窥镜；及
所述显示画面。
CN202080047212.9A 2019-08-09 2020-05-12 内窥镜装置、控制方法、控制程序及内窥镜系统 Pending CN114025674A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019147056 2019-08-09
JP2019-147056 2019-08-09
PCT/JP2020/018916 WO2021029117A1 (ja) 2019-08-09 2020-05-12 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム

Publications (1)

Publication Number Publication Date
CN114025674A true CN114025674A (zh) 2022-02-08

Family

ID=74570573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080047212.9A Pending CN114025674A (zh) 2019-08-09 2020-05-12 内窥镜装置、控制方法、控制程序及内窥镜系统

Country Status (4)

Country Link
US (1) US20220110510A1 (zh)
JP (1) JP7214876B2 (zh)
CN (1) CN114025674A (zh)
WO (1) WO2021029117A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001299691A (ja) * 2000-04-25 2001-10-30 Olympus Optical Co Ltd 内視鏡装置の操作システム
JP2011206425A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
CN105873539A (zh) * 2014-07-22 2016-08-17 奥林巴斯株式会社 医疗系统
WO2017038241A1 (ja) * 2015-08-28 2017-03-09 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
CN108371533A (zh) * 2017-01-30 2018-08-07 精工爱普生株式会社 内窥镜操作辅助系统
WO2018173681A1 (ja) * 2017-03-24 2018-09-27 ソニー株式会社 医療用システムの制御装置、医療用システムの制御方法及び医療用システム
CN108778093A (zh) * 2016-04-19 2018-11-09 奥林巴斯株式会社 内窥镜系统
JP2019013397A (ja) * 2017-07-05 2019-01-31 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
IT1401669B1 (it) * 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US20140024889A1 (en) * 2012-07-17 2014-01-23 Wilkes University Gaze Contingent Control System for a Robotic Laparoscope Holder
JP2014144073A (ja) 2013-01-28 2014-08-14 Hoya Corp キーボードカバー及び医療システム
US20140368432A1 (en) * 2013-06-17 2014-12-18 Tencent Technology (Shenzhen) Company Limited Wearable smart glasses as well as device and method for controlling the same
US10278782B2 (en) * 2014-03-19 2019-05-07 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
JP2015192697A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
JP2016035654A (ja) * 2014-08-01 2016-03-17 広島県 視線検出装置および視線入力システム
JP6456003B2 (ja) * 2015-09-16 2019-01-23 富士フイルム株式会社 視線操作装置及び方法、並びに医療機器
US10921897B2 (en) * 2018-01-18 2021-02-16 Intuitive Surgical Operations, Inc. System and method for assisting operator engagement with input devices
US20220202515A1 (en) * 2019-05-29 2022-06-30 Intuitive Surgical Operations, Inc. Operating mode control systems and methods for a computer-assisted surgical system
EP3848779A1 (en) * 2020-01-09 2021-07-14 BHS Technologies GmbH Head-mounted display system and method for controlling a medical imaging device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001299691A (ja) * 2000-04-25 2001-10-30 Olympus Optical Co Ltd 内視鏡装置の操作システム
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
JP2011206425A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 画像処理装置、画像処理方法、画像処理プログラム、及び立体内視鏡装置
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
CN105873539A (zh) * 2014-07-22 2016-08-17 奥林巴斯株式会社 医疗系统
WO2017038241A1 (ja) * 2015-08-28 2017-03-09 富士フイルム株式会社 機器操作装置、機器操作方法、及び電子機器システム
US20180160881A1 (en) * 2015-08-28 2018-06-14 Fujifilm Corporation Apparatus operation device, apparatus operation method, and electronic apparatus system
CN108778093A (zh) * 2016-04-19 2018-11-09 奥林巴斯株式会社 内窥镜系统
CN108371533A (zh) * 2017-01-30 2018-08-07 精工爱普生株式会社 内窥镜操作辅助系统
WO2018173681A1 (ja) * 2017-03-24 2018-09-27 ソニー株式会社 医療用システムの制御装置、医療用システムの制御方法及び医療用システム
JP2019013397A (ja) * 2017-07-05 2019-01-31 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム

Also Published As

Publication number Publication date
JP7214876B2 (ja) 2023-01-30
JPWO2021029117A1 (zh) 2021-02-18
WO2021029117A1 (ja) 2021-02-18
US20220110510A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
JP6017746B1 (ja) 医療用診断装置、超音波観察システム、医療用診断装置の作動方法および医療用診断装置の作動プログラム
JP4884567B2 (ja) 内視鏡システム
JP4856286B2 (ja) 内視鏡システム
US10506913B2 (en) Apparatus operation device, apparatus operation method, and electronic apparatus system
WO2018211969A1 (ja) 入力制御装置、入力制御方法、および手術システム
JP6390145B2 (ja) 超音波画像診断装置及び超音波画像診断装置の作動方法
JP2016538089A (ja) 外科手術中の外科医の画像化支援のための支援機器
JPWO2015122355A1 (ja) 内視鏡システム
US20160361044A1 (en) Medical observation apparatus, method for operating medical observation apparatus, and computer-readable recording medium
WO2015146836A1 (ja) 内視鏡システム
JPWO2015122354A1 (ja) 内視鏡システム
JP2006192030A (ja) 超音波画像診断装置
JP2011530370A (ja) ハンズフリー制御を用いる音響撮像装置
JP2017176773A (ja) 手術支援システム、手術支援方法、手術支援プログラム
WO2021029117A1 (ja) 内視鏡装置、制御方法、制御プログラム、及び内視鏡システム
US11224329B2 (en) Medical observation apparatus
US11375878B2 (en) Information presentation system including a flexible tubular insertion portion
JP2021194268A6 (ja) 血管観察システムおよび血管観察方法
JP2021194268A (ja) 血管観察システムおよび血管観察方法
WO2021085017A1 (ja) 血管内視鏡システムおよび血管径測定方法
JP2006325016A (ja) コントローラ
WO2020121536A1 (ja) ユーザインタフェース装置、医療システム、操作制御方法、及び操作制御プログラム
JP6291355B2 (ja) 電子内視鏡システム及びこれに用いる頭部ジェスチャ検出型遠隔操作装置
JP2022132940A (ja) 内視鏡及び内視鏡システム
JP2019093073A (ja) 内視鏡表示装置、及び、内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination