CN114430668A - 内窥镜控制装置、内窥镜控制方法及程序 - Google Patents

内窥镜控制装置、内窥镜控制方法及程序 Download PDF

Info

Publication number
CN114430668A
CN114430668A CN202080063616.7A CN202080063616A CN114430668A CN 114430668 A CN114430668 A CN 114430668A CN 202080063616 A CN202080063616 A CN 202080063616A CN 114430668 A CN114430668 A CN 114430668A
Authority
CN
China
Prior art keywords
endoscope
image
content
learning
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080063616.7A
Other languages
English (en)
Inventor
西村博一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN114430668A publication Critical patent/CN114430668A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A61B1/0055—Constructional details of insertion parts, e.g. vertebral elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/015—Control of fluid supply or evacuation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

图像取得部(261)取得被插入到被检体内的内窥镜所拍摄的内窥镜图像。操作内容决定部(262)根据图像取得部(261)取得的内窥镜图像，从规定的多个操作内容中决定1个以上的操作内容。操作控制部(263)根据所决定的操作内容来控制内窥镜的动作。操作内容决定部(262)通过向通过机器学习而生成的1个以上的操作选择模型(265)输入从图像取得部(261)取得的内窥镜图像中取得的输入数据，决定1个以上的操作内容，所述机器学习将过去所拍摄的内窥镜图像即学习用图像和表示针对拍摄了所述学习用图像的内窥镜的操作内容的标签用作教师数据。

Description

内窥镜控制装置、内窥镜控制方法及程序
技术领域
本发明涉及内窥镜控制装置、内窥镜控制方法以及程序。
背景技术
在内窥镜观察中，将具有挠性的细长的插入部插入到被检体内的深部。近年来，推进了关于使插入部的操作自动化的技术的研究，例如在日本专利第3645223号公报中公开了如下技术：在将能够向上下左右弯曲的弯曲部设置于插入部的电子内窥镜装置中，控制该弯曲部的弯曲角度以使该插入部的前端部朝向所拍摄的管腔的中心。
发明内容
发明所要解决的课题
日本专利第3645223号公报没有记载考虑褶皱以及肠壁等那样的被检体内的构造物的存在来控制弯曲部的弯曲角度。因此，根据日本专利第3645223号公报所公开的技术，在所拍摄的管腔的一部分被位于该管腔的近前侧的褶皱遮挡的情况下，可能产生该内窥镜的插入部的前端部不会避开该褶皱而向与该褶皱接触的方向移动这样的问题。另外，根据日本专利第3645223号公报所公开的技术，在管腔位于隐藏在肠壁的里侧的位置的情况下，可能产生该内窥镜的插入部的前端部不会绕到该肠壁的侧方而向与该肠壁接触的方向移动这样的问题。即，根据日本专利第3645223号公报所公开的技术，存在产生无法适当地操作插入部的前端部的状况的问题。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够适当地操作插入部的前端部的内窥镜控制装置、内窥镜控制方法以及程序。
用于解决课题的手段
为了解决上述课题，本发明的一个方式的内窥镜控制装置具有：图像取得部，其取得被插入到被检体内的内窥镜所拍摄的内窥镜图像；操作内容决定部，其根据在图像取得部中取得的内窥镜图像，从规定的多个操作内容中决定1个以上的操作内容；以及控制部，其根据在操作内容决定部中决定的操作内容来控制内窥镜的动作，操作内容决定部通过向通过机器学习而生成的1个以上的操作选择模型输入从图像取得部取得的内窥镜图像中取得的输入数据，决定1个以上的操作内容，其中机器学习将过去所拍摄的内窥镜图像即学习用图像和标签用作教师数据，标签表示针对拍摄了学习用图像的内窥镜的操作内容。
本发明的另一方式是一种控制内窥镜的动作的方法，取得被插入到被检体内的内窥镜所拍摄的内窥镜图像，通过向通过机器学习而生成的1个以上的操作选择模型输入从取得的内窥镜图像中取得的输入数据，决定针对内窥镜的1个以上的操作内容，其中机器学习将过去所拍摄的内窥镜图像即学习用图像和标签用作教师数据，标签表示针对拍摄了学习用图像的内窥镜的操作内容，基于所决定的操作内容来控制内窥镜的动作。
另外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的方案作为本发明的方式也是有效的。
附图说明
图1是示出实施方式的内窥镜系统的结构的图。
图2的(a)和(b)是示出内窥镜图像的例子的图。
图3的(a)和(b)是示出内窥镜图像的例子的图。
图4是实施方式的内窥镜系统的功能框图。
图5是表示教师数据的例子的图。
图6是表示教师数据的例子的图。
图7是表示教师数据的例子的图。
图8是表示教师数据的例子的图。
图9是表示教师数据的例子的图。
图10是表示教师数据的例子的图。
图11是表示教师数据的例子的图。
图12是表示教师数据的例子的图。
图13是表示教师数据的例子的图。
图14是表示教师数据的例子的图。
图15是表示教师数据的例子的图。
图16的(a)以及(b)是表示学习用图像的例子的图。
图17的(a)以及(b)是表示学习用图像的例子的图。
图18的(a)以及(b)是表示学习用图像的例子的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
图1表示实施方式的内窥镜系统1的结构。内窥镜系统1设置于内窥镜检查室，具备内窥镜控制装置2、内窥镜10、输入装置50以及显示装置60。内窥镜控制装置2具有处理装置20、插入形状检测装置30以及外力信息取得装置40，具有对插入到被检者的体内的内窥镜10的动作进行自动操作的功能。内窥镜10的自动操作由具备1个以上的处理器22和存储介质24的处理装置20实施。
输入装置50是由用户操作的输入接口，构成为向处理装置20输出与用户的操作对应的指示。输入装置50例如可以包括鼠标、键盘、触摸面板等那样的操作装置。显示装置60是对从处理装置20输出的内窥镜图像等进行画面显示的设备，可以是液晶显示器、有机EL显示器。
内窥镜10具备包含固体摄像元件(例如CCD图像传感器或CMOS图像传感器)的摄像部。固体摄像元件将入射光转换为电信号，并输出至处理装置20。处理装置20具有对由固体摄像元件光电转换后的摄像信号实施A/D转换、噪声去除等信号处理的图像处理部，生成内窥镜图像。另外，图像处理部也可以设置于内窥镜10侧，内窥镜10生成内窥镜图像。处理装置20使显示装置60实时地显示由内窥镜10拍摄的影像。
内窥镜10具备：插入部11，其插入到被检体内；操作部16，其设置于插入部11的基端侧；以及通用缆线17，其从操作部16延伸设置。内窥镜10通过设置于通用缆线17的端部的内窥镜连接器(未图示)，与处理装置20装卸自如地连接。
细长形状的插入部11从前端侧朝向基端侧依次具有硬质的前端部12、弯曲自如地形成的弯曲部13、具有挠性的长条的挠性管部14。在前端部12、弯曲部13以及挠性管部14的内部，沿着插入部11的长度方向以规定的间隔配置有多个源线圈18，所述多个源线圈18产生与从处理装置20供给的线圈驱动信号对应的磁场。
在实施方式的内窥镜系统1中，处理装置20对内窥镜10进行自动操作，对被检体内的内窥镜10的动作进行自动控制，但也能够由用户把持操作部16而手动操作内窥镜10。
内窥镜10的基本操作如下。
·用于使插入部11前进的“按压操作”
·用于使插入部11后退的“拉拽操作”
·用于使弯曲部13弯曲的“角度操作”
·用于使插入部11绕插入轴旋转的“扭转操作”
·用于向前端部12的前方喷出气体的“送气操作”
·用于使液体向前端部12的前方喷出的“送水操作”
·用于吸引存在于前端部12的附近的组织片等物体的“吸引操作”
·用于使弯曲部13向多个方向弯曲而使前端部12朝向多个方向来搜索管腔的“搜索操作”
在内窥镜10被插入到被检体内的状态下，当医生等用户操作了内窥镜10的释放开关时，处理装置20在操作了释放开关的时刻捕捉内窥镜图像，发送到图像服务器(未图示)进行记录。释放开关也可以设置于输入装置50。在内窥镜10的内部设置有用于传送从处理装置20供给的照明光来对被检体内进行照明的光导(未图示)。在前端部12设置有：照明窗，其用于向被摄体射出由光导传输的照明光；以及摄像部，其以规定的周期拍摄被摄体并输出摄像信号。
操作部16具备用于供用户操作内窥镜10的操作部件。操作部16包括角度旋钮，所述角度旋钮用于使弯曲部13向与插入部11的长轴交叉的至少上下左右这4个方向弯曲。操作部16可以包括用于供用户输入摄影指示的1个以上的释放开关。
处理装置20与插入形状检测装置30、外力信息取得装置40、输入装置50以及显示装置60各结构装卸自如地连接。处理装置20接受从输入装置50输入的用户的指示，实施与该指示对应的处理。另外，处理装置20取得从内窥镜10周期性地输出的摄像信号，使显示装置60显示内窥镜图像。
在实施方式中，处理装置20具有生成并输出用于控制内窥镜10的动作的控制信号的功能。具体而言，处理装置20构成为，根据基于从内窥镜10输出的摄像信号而生成的内窥镜图像，对内窥镜10的动作进行自动操作。
插入形状检测装置30具有检测设置于插入部11的多个源线圈18分别产生的磁场，并基于该检测出的磁场的强度而取得多个源线圈18各自的位置的功能。插入形状检测装置30生成表示所取得的多个源线圈18的位置的插入形状信息，并输出到处理装置20以及外力信息取得装置40。
外力信息取得装置40存储有如下数据：未施加外力的状态下的插入部11的规定的多个位置的曲率(或者曲率半径)以及弯曲角度的数据；在从假定的所有方向对插入部11的任意的位置施加了规定的外力的状态下取得的该规定的多个位置的曲率(或者曲率半径)以及弯曲角度的数据。外力信息取得装置40基于从插入形状检测装置30输出的插入形状信息来确定设置于插入部11的多个源线圈18的位置，并取得该多个源线圈18各自的位置处的曲率(或者曲率半径)以及弯曲角度。外力信息取得装置40可以根据取得的曲率(或者曲率半径)以及弯曲角度和预先存储的各种数据，而取得表示该多个源线圈18各自的位置处的外力的大小以及方向的外力信息。外力信息取得装置40将取得的外力信息向处理装置20输出。
在实施方式中，作为外力信息取得装置40用于计算设置于插入部11的多个源线圈18各自的位置处的外力的方法，可以使用日本专利第5851204号公报所公开的方法，或者也可以使用日本专利第5897092号公报所公开的方法。另外，也可以构成为在插入部11设置应变传感器、压力传感器、加速度传感器、陀螺仪传感器以及无线元件等电子部件，外力信息取得装置40基于从该电子部件输出的信号来计算多个源线圈18各自的位置处的外力。
实施方式的处理装置20实施对内窥镜10的插入部11的动作进行自动操作的控制。以下，在对实施方式的自动操作控制技术进行说明之前，对用于与实施方式的控制技术进行对比的对比技术进行说明。
<对比技术说明>
首先，对医生对内窥镜的手动操作进行研究。医生在使内窥镜前端部朝向管腔方向前进时，根据各种判断来操作内窥镜。具体而言，医生观察内窥镜图像，例如瞬间判断避开存在于管腔的近前的障碍物、不使内窥镜前端部与粘膜表面接触、不对肠道施加负荷、设想更靠前的路径来决定本次的路径等，来操作内窥镜。
图2的(a)表示内窥镜图像的一例。内窥镜图像70a是用内窥镜拍摄由橡胶形成的肠道(橡胶肠道)而得到的图像。医生观察内窥镜图像70a，当确认到管腔存在于图像中央时，判断为可以使内窥镜前端部前进，使内窥镜前端部向前方行进。
图2的(b)表示内窥镜图像的另一例。内窥镜图像70b也同样是拍摄橡胶肠道而得到的图像。医生观察内窥镜图像70b，确认管腔存在于图像上部，判断为当在该状态下使内窥镜前端部前进时会与近前的褶皱接触。因此，医生操作角度旋钮以使弯曲部13向上方弯曲，以使管腔被拍摄在图像中央。当管腔被拍摄在图像中央时，成为与图2的(a)所示的内窥镜图像70a相同的状态，因此医生判断为可以使内窥镜前端部前进，使内窥镜前端部向前方行进。
只有医生才能够简单地实施以上的判断以及操作，若想要通过装置实现该判断以及操作，则需要复杂的步骤。以下，作为用于与实施方式进行对比的对比技术，对用于实现与医生同等的手动操作的自动操作方法进行说明。对比技术通过以下的步骤来实施。
(S1)取得成为对象的内窥镜图像。
(S2)实施基于内窥镜图像所包含的色调、边缘、形状信息、其他特征量的区域分割。
(S3)将分割后的各区域分类为管腔、褶皱、粘膜、残渣等各种结构。
(S4)根据S3的分类结果，确定内窥镜图像中包含的场景。该场景例如是管腔被包含于前方、管腔被包含于上方、管腔被包含于下方、在管腔的近前存在障碍物、未拍摄到管腔等预先定义的场景。
(S5)预先将操作内容与各场景建立对应，基于在S4中分类的场景来决定操作内容。
作为一例，说明对比技术处理图2的(a)所示的内窥镜图像70a的步骤。对比技术在取得内窥镜图像70a时(S1)，实施区域分割处理(S2)，确定内窥镜图像70a中的管腔区域、褶皱的轮廓线、粘膜表面区域等(S3)。接着，对比技术对管腔的位置、形状、在管腔的近前侧没有障碍物的情况等进行图像识别，确定内窥镜图像70a包含“管腔被包含于前方”的场景(S4)。在对比技术中，将所定义的场景与内窥镜的操作内容预先建立对应，将“管腔被包含于前方”的场景与内窥镜的“按压操作”建立对应。因此，根据对比技术，通过对内窥镜图像70a进行图像解析，决定内窥镜的“按压操作”作为之后进行的操作(S5)。
在处理图2的(b)所示的内窥镜图像70b的情况下，对比技术在取得内窥镜图像70a时(S1)，实施区域分割处理(S2)，确定内窥镜图像70a中的管腔区域、褶皱的轮廓线、粘膜表面区域等(S3)。对比技术对管腔的位置、形状、在管腔的近前侧没有障碍物的情况等进行图像识别，确定内窥镜图像70b包含“管腔被包含于上方”的场景(S4)。将“管腔被包含于上方”的场景与内窥镜的“向上方向的角度操作”建立对应。因此，根据对比技术，通过对内窥镜图像70b进行图像解析，决定内窥镜的“向上方向的角度操作”作为之后进行的操作(S5)。
如上所述，通过对比技术比较容易地处理图2的(a)、(b)所示的内窥镜图像70a、70b。以下，对基于对比技术的另一内窥镜图像的处理进行说明。
图3的(a)表示内窥镜图像的另一例。内窥镜图像70c是对被检者的大肠的弯曲部进行拍摄而得到的图像。在内窥镜图像70c中未清楚地拍摄出管腔，但如果是医生，由于内窥镜图像70c的右侧明亮，因此能够找到使内窥镜前端部从左侧绕入，使前端部进入弯曲部的管腔的路径。因此，在显示内窥镜图像70c的状态下，首先需要进行使内窥镜前端部朝向左方向的操作。
若想要通过对比技术来实现该操作的决定，则需要预先定义“左侧较暗，右侧较亮，且管腔因弯曲而被遮挡”的场景，进而将内窥镜的“向左方向的角度操作”与该场景建立对应。通过预先准备这些定义以及对应，对比技术能够基于图3的(a)的内窥镜图像70c，决定“向左方向的角度操作”作为之后进行的操作。
图3的(b)表示内窥镜图像的另一例。内窥镜图像70d是对被检者的管腔进行拍摄而得到的图像，管腔被拍摄于从中央稍微靠右下的位置。但是，当将内窥镜向右下方向进行角度操作时，存在内窥镜前端部与存在于图像右下侧的褶皱的粘膜面接触的可能性。此时，如果是医生，则对内窥镜进行暂时向左上方向的角度操作，然后使其前进，进而进行向右下方向的角度操作，由此避免内窥镜前端部与褶皱粘膜面的接触。因此，在显示内窥镜图像70d的状态下，首先需要进行使内窥镜前端部朝向左上方向的操作。
如果想要通过对比技术来实现该操作的决定，则需要预先定义“管腔存在于右下位置、且内窥镜前端部位于与褶皱粘膜面接近的位置”的场景，进而将内窥镜的“向左上方向的角度操作”与该场景对应起来。通过预先准备这些定义和对应，对比技术能够根据图3的(b)的内窥镜图像70d，决定“向左上方向的角度操作”作为此后要进行的操作。
如上所述，在对比技术中，特别是在S4的场景确定处理时，不容易预先定义与状况对应的适当的场景，另外，包含场景的识别方法的算法非常复杂且高难度，不容易实现。另外，将操作内容与定义的各场景建立对应实际上也成为非常高难度的作业。
以以上为前提，对实施方式中的内窥镜10的自动操作控制技术进行说明。根据实施方式的控制技术，不需要对比技术中的S4的场景确定处理，另外也不需要将场景与操作内容建立对应的作业，具有能够省略复杂且高难度的算法的构建的优点。
图4是用于说明实施方式的内窥镜系统1的结构的功能框图。内窥镜系统1具备内窥镜10、处理装置20、插入形状检测装置30、外力信息取得装置40、输入装置50以及显示装置60。
图4所示的结构在硬件上能够通过1个以上的处理器22、存储器、辅助存储装置、其他LSI来实现，在软件上通过加载到存储器的程序等来实现，但在此描绘了通过它们的协作来实现的功能块。因此，本领域技术人员应当理解这些功能块能够仅通过硬件、仅通过软件、或者通过它们的组合以各种形式实现。例如也可以将用于使处理装置20的至少一部分功能执行的程序存储于存储介质24，处理器22从存储介质24将程序加载到存储器来实现处理装置20的各功能。
插入形状检测装置30具备接收天线310以及插入形状信息取得部320。接收天线310构成为具有三维地检测多个源线圈18分别产生的磁场的多个线圈。接收天线310在检测到多个源线圈18分别产生的磁场时，将与该检测到的磁场的强度对应的磁场检测信号输出到插入形状信息取得部320。
插入形状信息取得部320基于从接收天线310输出的磁场检测信号，取得多个源线圈18各自的位置。插入形状信息取得部320生成表示多个源线圈18各自的位置的插入形状信息，并输出到动作控制部260以及外力信息取得装置40。
具体而言，作为多个源线圈18的位置，插入形状信息取得部320取得以被检体的规定的位置(肛门等)为原点或基准点的假想的空间坐标系中的多个三维坐标值。插入形状信息取得部320生成包含多个源线圈18的三维坐标值的插入形状信息，并输出到动作控制部260以及外力信息取得装置40。
外力信息取得装置40基于从插入形状检测装置30输出的插入形状信息，取得该多个源线圈18各自的位置处的曲率(或者曲率半径)以及弯曲角度。外力信息取得装置40可以根据取得的曲率(或者曲率半径)以及弯曲角度和预先存储的各种数据，取得表示该多个源线圈18各自的位置处的外力的大小以及方向的外力信息。外力信息取得装置40将取得的外力信息向动作控制部260输出。
内窥镜10具备源线圈18、摄像部110、进退机构141、弯曲机构142、AWS机构143以及旋转机构144。进退机构141、弯曲机构142、AWS机构143以及旋转机构144构成内窥镜10中的动作机构。
摄像部110具有：观察窗，其入射来自被照明光照明的被摄体的返回光；以及固体摄像元件(例如CCD图像传感器或CMOS图像传感器)，其拍摄该返回光并输出摄像信号。
进退机构141具有用于实现使插入部11前进及后退的动作的机构。例如进退机构141可以构成为具有配置于夹着插入部11相对的位置的一对辊和使该一对辊旋转的马达。进退机构141根据从处理装置20输出的进退控制信号来驱动马达，使一对辊旋转，由此选择性地执行使插入部11前进的动作和使插入部11后退的动作中的任一个动作。
弯曲机构142具有用于实现使弯曲部13弯曲的动作的机构。例如，弯曲机构142可以构成为具有：设置于弯曲部13的多个弯曲块；与该多个弯曲块连结的多个线材；以及用于牵引该多个线材的马达。弯曲机构142根据从处理装置20输出的弯曲控制信号来驱动马达，使多个线材的牵引量变化，由此能够使弯曲部13向与插入部11的长轴交叉的至少上下左右这4个方向中的任一个方向弯曲。另外，实施方式的弯曲部13可以具有向与插入部11的长轴交叉的8个方向中的任一个方向弯曲的构造。
AWS(Airfeeding，Water feeding，and Suction：送气、送水、吸引)机构143具有用于实现送气动作、送水动作及吸引动作的机构。例如AWS机构143可以构成为具有：设置于插入部11、操作部16以及通用缆线17的内部的送气送水管路以及吸引管路这2个管路；以及进行将该2个管路中的一方开放并将另一方堵塞的动作的电磁阀。
AWS机构143在根据从处理装置20输出的AWS控制信号而使电磁阀工作以开放送气送水管路的情况下，使从处理装置20供给的包含水及空气中的至少一方的流体在该送气送水管路中流通，从形成于前端部12的排出口排出该流体。另外，AWS机构143在根据从处理装置20输出的AWS控制信号而使电磁阀工作以打开吸引管路的情况下，将在处理装置20中产生的吸引力作用于该吸引管路，利用该吸引力来吸引存在于在前端部12形成的吸引口附近的物体。
旋转机构144具有用于实现以插入部11的插入轴为旋转轴使插入部11旋转的动作的机构。例如，旋转机构144可以构成为具有：在挠性管部14的基端侧将插入部11支承为能够旋转的支承部件；和用于使该支承部件旋转的马达。旋转机构144根据从处理装置20输出的旋转控制信号来驱动马达，使支承部件旋转，由此使插入部11绕插入轴旋转。另外，在实施方式中，插入部11的插入轴可以是插入部11的长度方向的中心轴。
处理装置20具备光源部210、图像处理部220、线圈驱动信号生成部230、驱动控制部240、显示控制部250以及动作控制部260。
光源部210生成用于对被检体内进行照明的照明光，并将该照明光提供给内窥镜10。光源部210可以具有1个以上的LED或1个以上的灯作为光源。光源部210可以根据从动作控制部260供给的动作控制信号使照明光的光量变化。
图像处理部220具有信号处理电路，对从内窥镜10输出的摄像信号实施规定的处理而生成内窥镜图像，将该生成的内窥镜图像输出到显示控制部250和动作控制部260。
线圈驱动信号生成部230生成用于驱动源线圈18的线圈驱动信号。线圈驱动信号生成部230具有驱动电路，根据从动作控制部260供给的动作控制信号而生成线圈驱动信号，并供给到源线圈18。
驱动控制部240根据从动作控制部260供给的动作控制信号，生成与内窥镜10的基本操作对应的控制信号，驱动内窥镜10中的动作机构。具体而言，驱动控制部240对基于进退机构141的进退动作、基于弯曲机构142的弯曲动作、基于AWS机构143的AWS动作以及基于旋转机构144的旋转动作中的至少1个动作进行控制。驱动控制部240具备进退控制部241、弯曲控制部242、AWS控制部243以及旋转控制部244。
进退控制部241基于从动作控制部260供给的动作控制信号，生成并输出用于控制进退机构141的动作的进退控制信号。具体而言，进退控制部241基于从动作控制部260供给的动作控制信号，生成并输出用于控制设置于进退机构141中的马达的旋转的进退控制信号。
弯曲控制部242基于从动作控制部260供给的动作控制信号，生成并输出用于控制弯曲机构142的动作的弯曲控制信号。具体而言，弯曲控制部242基于从动作控制部260供给的动作控制信号，生成并输出用于控制设置于弯曲机构142中的马达的旋转的弯曲控制信号。
AWS控制部243根据从动作控制部260供给的动作控制信号，控制未图示的泵等，由此选择性地执行用于将包含水及空气中的至少一方的流体向内窥镜10供给的动作、及用于产生用于吸引存在于前端部12的吸引口附近的物体的吸引力的动作中的任一个动作。
另外，AWS控制部243生成并输出用于控制AWS机构143的动作的AWS控制信号。具体而言，AWS控制部243基于从动作控制部260供给的动作控制信号，生成并输出用于控制设置于AWS机构143中的电磁阀的动作状态的AWS控制信号。
旋转控制部244基于从动作控制部260供给的动作控制信号，生成并输出用于控制旋转机构144的动作的旋转控制信号。具体而言，旋转控制部244基于从动作控制部260供给的动作控制信号，生成并输出用于控制设置于旋转机构144中的马达的旋转的旋转控制信号。
显示控制部250生成包含从图像处理部220输出的内窥镜图像的显示图像，并使显示装置60显示该生成的显示图像。
动作控制部260具有生成用于使内窥镜10进行与来自操作部16和输入装置50的指示等对应的动作的动作控制信号并输出到驱动控制部240的功能。另外，动作控制部260具有如下功能：在内窥镜10的自动插入模式被设定为开启的情况下，根据由图像处理部220生成的内窥镜图像，对内窥镜10的动作进行自动控制。动作控制部260具备图像取得部261、操作内容决定部262、操作控制部263、驱动判定部264以及操作选择模型265。
图像取得部261从图像处理部220取得插入到被检体内的内窥镜10拍摄到的内窥镜图像。内窥镜10的摄像部110以规定的周期(例如30帧/秒)将摄像信号提供给图像处理部220，图像处理部220根据摄像信号生成内窥镜图像，并提供给图像取得部261。因此，图像取得部261以规定的周期取得内窥镜图像。
操作内容决定部262具有如下功能：根据在图像取得部261中取得的内窥镜图像，从规定的多个操作内容中决定1个以上的操作内容。换言之，操作内容决定部262根据对被检体内进行拍摄而得到的内窥镜图像，从内窥镜操作的多个选项中决定接下来应该实施的操作内容。规定的多个操作内容可以由作为上述基本操作的按压操作、拉拽操作、角度操作、扭转操作、送气操作、送水操作、吸引操作中的至少1种操作构成。
在实施方式中，可以在图像取得部261取得内窥镜图像的每个时机，操作内容决定部262决定内窥镜10的操作内容，操作控制部263生成与所决定的操作内容对应的动作控制信号，并提供给驱动控制部240。
另外，作为其他的时机例子，也可以是，驱动控制部240根据操作控制部263的动作控制信号来驱动内窥镜10的动作机构，在结束了该驱动的时机，操作内容决定部262使用由图像取得部261取得的内窥镜图像来决定内窥镜10的操作内容，操作控制部263生成动作控制信号。
例如，在驱动控制部240对内窥镜10的动作机构进行驱动控制时，驱动判定部264判定为驱动控制部240正在对动作机构进行驱动控制。当驱动控制部240的驱动控制结束时，驱动判定部264判定为驱动控制结束。此时，驱动判定部264向操作内容决定部262通知应该决定新的操作内容，操作内容决定部262使用新取得的内窥镜图像来决定内窥镜10的操作内容。这样，操作内容决定部262可以根据在动作机构的驱动完成后或即将完成之前由图像取得部261取得的内窥镜图像，决定内窥镜10的操作内容。
操作内容决定部262通过向操作选择模型265输入从图像取得部261中取得的内窥镜图像中取得的输入数据，决定对拍摄了该内窥镜图像的内窥镜10而言适当的操作内容。操作选择模型265是通过机器学习而生成的已学习模型，其中所述机器学习将过去拍摄到的内窥镜图像即学习用图像和表示针对拍摄了学习用图像的内窥镜的操作内容的标签用作教师数据。
在实施方式中，使相当于包含输入层、1个以上卷积层以及输出层的多层神经网络的CNN(Convolutional Neural Network：卷积神经网络)中的各耦合系数(权重)通过深度学习等学习方法进行学习，由此生成操作选择模型265。
(实施例1)
在生成操作选择模型265时，进行使用了教师数据的机器学习，该教师数据包含学习用图像和标签，该学习用图像是过去用内窥镜拍摄肠道或结肠模型的内部而得到的内窥镜图像，该标签表示最适合由该学习用图像表示的状况的操作内容是5个操作内容中的哪一个。
在此，5个操作内容包括：用于使弯曲部13弯曲而使前端部12朝向上方的角度操作UPS；用于使弯曲部13弯曲而使前端部12朝向下方的角度操作DOS；用于使弯曲部13弯曲而使前端部12朝向左方的角度操作LES；用于使弯曲部13弯曲而使前端部12朝向右方的角度操作RIS；以及用于固定弯曲部13的弯曲角度而将前端部12的朝向维持为当前的朝向的角度维持操作AMS。
在所有的实施例中，前端部12的上下方向被设定为与插入部11的插入轴正交的方向，并且被设定为与设置于摄像部110的固体摄像元件的垂直方向对应的方向。另外，在所有的实施例中，前端部12的左右方向被设定为与插入部11的插入轴正交的方向，并且被设定为与设置于摄像部110的图像传感器的水平方向对应的方向。因此，在实施例中，前端部12的上下方向与从图像处理部220输出的内窥镜图像的上下方向一致，前端部12的左右方向与该内窥镜图像的左右方向一致。
在生成教师数据时，专家观察学习用图像，从上述的5个操作内容中主观地选择在该学习用图像所示的状况下最能进行的一个操作内容，将选择出的操作内容的标签赋予给该学习用图像。专家可以是医生。例如在图2的(b)所示的内窥镜图像70b为学习用图像的情况下，由于管腔存在于图像上部，因此，专家决定应该进行使内窥镜前端部朝向上方的操作、即角度操作UPS，对内窥镜图像70b赋予角度操作UPS的标签。通过对多个过去的内窥镜图像实施该标签赋予作业，生成教师数据。
以下，示出包含学习用图像以及标签的教师数据的例子。
图5表示教师数据的例子。对图5所示的学习用图像都赋予了表示上方向的角度操作的“角度操作UPS的标签”。图5所示的学习用图像是判断为应该使弯曲部13向上方弯曲来作为之后要进行的内窥镜操作的图像。
图6表示教师数据的另一例。对图6所示的学习用图像都赋予了表示右方向的角度操作的“角度操作RIS的标签”。图6所示的学习用图像是判断为应该使弯曲部13向右方向弯曲作为此后要进行的内窥镜操作的图像。
图7表示教师数据的另一例。对图7所示的学习用图像都赋予了表示下方向的角度操作的“角度操作DOS的标签”。图7所示的学习用图像是判断为应该使弯曲部13向下方弯曲作为之后要进行的内窥镜操作的图像。
图8表示教师数据的另一例。对图8所示的学习用图像都赋予了表示左方向的角度操作的“角度操作LES的标签”。图8所示的学习用图像是判断为应该使弯曲部13向左方向弯曲作为此后要进行的内窥镜操作的图像。
关于用于将弯曲部13的弯曲角度固定而将前端部12的朝向维持为当前的朝向的角度维持操作AMS的教师数据，省略图示，但例如也可以对后面示出的图13所示的学习用图像赋予“角度维持操作AMS”的标签。
通过至少使用图5～图8所示的教师数据进行机器学习而生成实施例1的操作选择模型265。
操作内容决定部262通过向1个以上的操作选择模型265输入从图像取得部261取得的内窥镜图像中取得的输入数据，由此决定1个以上的操作内容，其中所述1个以上的操作选择模型265通过将学习用图像和表示针对拍摄了学习用图像的内窥镜的操作内容的标签用作教师数据的机器学习而生成。具体而言，操作内容决定部262取得在图像取得部261取得的内窥镜图像中包含的各像素的像素值等多维数据，将该多维数据作为输入数据输入到操作选择模型265的神经网络的输入层。操作选择模型265从神经网络的输出层输出与能够被选择为内窥镜10的操作内容的5个操作内容分别对应的5个似然度。操作内容决定部262能够得到与输出数据所包含的5个似然度中最高的1个似然度对应的操作内容作为内窥镜10的操作内容的选择结果。
在实施例1中，操作内容决定部262构成为，通过将从图像取得部261取得的内窥镜图像中取得的输入数据输入到操作选择模型265并使其进行处理，从而得到选择结果，其中该选择结果表示从包含用于使前端部12的朝向朝着与插入部11的插入轴正交的4个方向的操作和用于使前端部12的朝向维持为当前的朝向的操作在内的5个操作内容中选择出的一个操作内容。
操作控制部263具有根据在操作内容决定部262中决定的操作内容来控制内窥镜10的动作的功能。操作控制部263也可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，设定所决定的操作内容中的动作量。操作控制部263生成用于进行与由操作内容决定部262决定的操作内容和该操作内容中的动作量对应的动作控制的动作控制信号，并输出到驱动控制部240。
对实施例1的作用进行说明。以下，以进行与从肛门插入到大肠的肠道内的插入部11的插入操作相关的控制的情况为例进行说明。
用户在连接内窥镜系统1的各部并接通电源后，将内窥镜10的前端部12插入被检体的肛门。此时，用户操作输入装置50而将内窥镜10的自动插入模式设定为开启，由此，处理装置20执行内窥镜10的自动操作功能。
光源部210向内窥镜10供给照明光，摄像部110以规定的周期对被照射了该照明光的被摄体进行摄像，并将摄像信号发送到处理装置20。图像处理部220根据摄像信号生成内窥镜图像，并提供给显示控制部250和图像取得部261。
此时，线圈驱动信号生成部230将线圈驱动信号提供给多个源线圈18，接收天线310检测由多个源线圈18分别产生的磁场，插入形状信息取得部320生成插入部11的插入形状信息。插入形状信息被提供给动作控制部260以及外力信息取得装置40。外力信息取得装置40根据插入形状信息生成多个源线圈18各自的位置处的外力信息，并向动作控制部260供给。
操作内容决定部262将从图像取得部261取得的内窥镜图像中取得的输入数据输入到操作选择模型265并使其进行处理，由此从内窥镜10的操作所涉及的5个操作内容中决定一个操作内容。
操作控制部263根据在操作内容决定部262中决定的操作内容，生成控制内窥镜10的动作的动作控制信号。此时，操作控制部263可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，进行用于设定所决定的操作内容中的动作量的处理。操作控制部263生成用于进行与所决定的操作内容和所设定的动作量相应的动作控制的动作控制信号并向驱动控制部240输出。
在实施例1中，在由操作内容决定部262决定的操作内容是角度操作UPS、角度操作DOS、角度操作LES以及角度操作RIS中的任意一个的情况下，操作控制部263设定弯曲部13的弯曲角度CAS作为该操作内容中的动作量。然后，操作控制部263生成用于执行使弯曲部13弯曲弯曲角度CAS的控制的动作控制信号，并向驱动控制部240输出。另外，除了用于使弯曲部13弯曲的控制之外，操作控制部263还可以设定插入部11的旋转角度RAS并生成用于执行使插入部11旋转旋转角度RAS的控制的动作控制信号。
另一方面，在由操作内容决定部262决定的操作内容是角度维持操作AMS的情况下，操作控制部263设定插入部11的移动量MAS作为该操作内容中的动作量。然后，操作控制部263生成用于一并执行使弯曲部13的弯曲角度固定为当前的弯曲角度的控制和使插入部11前进移动量MAS的控制的动作控制信号，并向驱动控制部240输出。另外，移动量MAS优选设定为能够使插入到肠道内的插入部11安全地前进的范围内的值。
此外，在实施例1中，操作控制部263基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方来设定动作量，但也可以读入预先储存于存储介质24中的设定值来设定动作量。
当用户基于显示于显示装置60上的内窥镜图像而确认到观察结束时，操作输入装置50而将内窥镜10的自动插入模式设定为关闭。由此，处理装置20停止内窥镜10的自动操作功能的执行。
以上，根据实施例1，操作内容决定部262能够根据内窥镜图像，从与内窥镜10的操作相关的规定的多个操作内容中选择与专家选择的可能性高的操作内容相同的操作内容。并且，根据实施例1，操作控制部263能够设定所选择的操作内容中的动作量，生成用于对内窥镜10进行动作控制的动作控制信号。因此，根据实施例1，通过利用作为已学习模型的操作选择模型265，能够简单地决定内窥镜10的操作内容。
在实施例1中，操作内容决定部262也可以利用与输出5个操作内容各自的似然度的操作选择模型265不同的操作选择模型来决定操作内容。该操作选择模型例如可以是构成为输出角度操作UPS、角度操作DOS、角度操作LES以及角度操作RIS这4个操作内容各自的似然度的已学习模型。在该情况下，操作控制部263可以根据由操作内容决定部262决定的操作内容而生成用于进行使弯曲部13弯曲的控制的动作控制信号，并向驱动控制部240输出。
此时，操作控制部263也可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，生成使插入部11前进或后退的动作控制信号。
在以下的实施例2～7中，对操作选择模型265的变形进行说明，但适当省略与实施例1重复的说明。
(实施例2)
实施例2的操作选择模型265是使相当于包含输入层、1个以上的卷积层以及输出层的多层神经网络的CNN中的各耦合系数(权重)通过深度学习等学习方法进行学习而生成的已学习模型。在实施例2的操作选择模型265的生成时，进行使用了教师数据的机器学习，该教师数据包含：学习用图像，其是过去用内窥镜拍摄肠道或结肠模型的内部而得到的内窥镜图像；以及标签，其表示最适合由该学习用图像表示的状况的操作内容是9个操作内容中的哪一个。
在此，9个操作内容例如包括：角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度维持操作AMS、用于使弯曲部13弯曲而使前端部12朝向右上方向的角度操作URS、用于使弯曲部13弯曲而使前端部12朝向左上方向的角度操作ULS、用于使弯曲部13弯曲而使前端部12朝向左下方向的角度操作DLS、用于使弯曲部13弯曲而使前端部12朝向右下方向的角度操作DRS。
此外，在所有的实施例中，前端部12的右上方向被设定为与插入部11的插入轴正交的方向，并且被设定为位于前端部12的上方向与右方向之间的方向。另外，前端部12的左上方向被设定为与插入部11的插入轴正交的方向，并且被设定为位于前端部12的上方向与左方向之间的方向。另外，前端部12的左下方向被设定为与插入部11的插入轴正交的方向，并且被设定为位于前端部12的下方向与左方向之间的方向。另外，前端部12的右下方向被设定为与插入部11的插入轴正交的方向，并且被设定为位于前端部12的下方向与右方向之间的方向。
在生成教师数据时，专家观察学习用图像，从上述的9个操作内容中主观地选择在该学习用图像所示的状况下最能进行的一个操作内容，将选择出的操作内容的标签赋予给该学习用图像。通过对大量的过去的内窥镜图像实施该标签赋予作业，生成教师数据。
以下，示出包含学习用图像以及标签的教师数据的例子。
图9表示教师数据的例子。对图9所示的学习用图像都赋予了表示右上方向的角度操作的“角度操作URS的标签”。图9所示的学习用图像是判断为应该使弯曲部13向右上方向弯曲作为之后要进行的内窥镜操作的图像。
图10表示教师数据的另一例。对图10所示的学习用图像中都赋予了表示右下方向的角度操作的“角度操作DRS的标签”。图10所示的学习用图像是判断为应该使弯曲部13向右下方向弯曲作为之后要进行的内窥镜操作的图像。
图11表示教师数据的另一例。对图11所示的学习用图像中都赋予了表示左下方向的角度操作的“角度操作DLS的标签”。图11所示的学习用图像是判断为应该使弯曲部13向左下方向弯曲作为之后要进行的内窥镜操作的图像。
图12表示教师数据的另一例。对图12所示的学习用图像中都赋予了表示左上方向的角度操作的“角度操作ULS的标签”。图12所示的学习用图像是判断为应该使弯曲部13向左上方向弯曲作为之后要进行的内窥镜操作的图像。
实施例2的操作选择模型265通过至少使用图5～图12所示的教师数据进行机器学习而生成。
操作内容决定部262向通过将学习用图像和表示针对拍摄了学习用图像的内窥镜的操作内容的标签用作教师数据的机器学习而生成的1个以上的操作选择模型265输入从图像取得部261取得的内窥镜图像中取得的输入数据，由此决定1个以上的操作内容。具体而言，操作内容决定部262取得图像取得部261取得的内窥镜图像中包含的各像素的像素值等多维数据，将该多维数据作为输入数据输入到操作选择模型265的神经网络的输入层。实施例2的操作选择模型265从神经网络的输出层输出与能够选择为内窥镜10的操作内容的9个操作内容分别对应的9个似然度。操作内容决定部262能够得到与输出数据所包含的9个似然度中最高的1个似然度对应的操作内容作为内窥镜10的操作内容的选择结果。
在实施例2中，操作内容决定部262构成为，通过将从图像取得部261取得的内窥镜图像中取得的输入数据输入到操作选择模型265并使其进行处理，从而得到选择结果，其中该选择结果表示从包含用于使前端部12的朝向朝着与插入部11的插入轴正交的8个方向的操作和用于使前端部12的朝向维持为当前的朝向的操作在内的9个操作内容中选择出的一个操作内容。
操作控制部263具有根据在操作内容决定部262中决定的操作内容来控制内窥镜10的动作的功能。操作控制部263也可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，设定所决定的操作内容中的动作量。操作控制部263生成用于进行与由操作内容决定部262决定的操作内容和该操作内容中的动作量对应的动作控制的动作控制信号，并输出到驱动控制部240。
对实施例2的作用进行说明。
操作内容决定部262将从图像取得部261取得的内窥镜图像中取得的输入数据输入到实施例2的操作选择模型265并使其进行处理，由此从内窥镜10的操作所涉及的9个操作内容中决定一个操作内容。
操作控制部263根据在操作内容决定部262中决定的操作内容，生成控制内窥镜10的动作的动作控制信号。此时，操作控制部263可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，进行用于设定所决定的操作内容中的动作量的处理。操作控制部263生成用于进行与所决定的操作内容和所设定的动作量相应的动作控制的动作控制信号并向驱动控制部240输出。
在实施例2中，在由操作内容决定部262决定的操作内容是角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度操作URS、角度操作ULS、角度操作DLS以及角度操作DRS中的任一个的情况下，作为该操作内容中的动作量，操作控制部263设定弯曲部13的弯曲角度CBS。然后，操作控制部263生成用于执行使弯曲部13弯曲弯曲角度CBS的控制的动作控制信号，并向驱动控制部240输出。另外，除了使弯曲部13弯曲的控制之外，操作控制部263还可以设定插入部11的旋转角度RBS并生成用于执行使插入部11旋转旋转角度RBS的控制的动作控制信号。
另一方面，在由操作内容决定部262决定的操作内容是角度维持操作AMS的情况下，操作控制部263设定插入部11的移动量MBS作为该操作内容中的动作量。然后，操作控制部263生成用于一并执行使弯曲部13的弯曲角度固定为当前的弯曲角度的控制和使插入部11前进移动量MBS的控制的动作控制信号，并向驱动控制部240输出。另外，移动量MBS优选设定为能够使插入到肠道内的插入部11安全地前进的范围内的值。
此外，在实施例2中，操作控制部263基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方来设定动作量，但也可以读入预先储存于存储介质24中的设定值来设定动作量。
以上，根据实施例2，操作内容决定部262能够根据内窥镜图像，从与内窥镜10的操作相关的规定的多个操作内容中选择与专家选择的可能性高的操作内容相同的操作内容。并且，根据实施例2，操作控制部263能够设定所选择的操作内容中的动作量，生成用于对内窥镜10进行动作控制的动作控制信号。因此，根据实施例2，通过利用作为已学习模型的操作选择模型265，能够简单地决定内窥镜10的操作内容。
在实施例2中，操作内容决定部262也可以利用与输出9个操作内容各自的似然度的操作选择模型265不同的操作选择模型来决定操作内容。该操作选择模型例如可以是构成为输出角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度操作URS、角度操作ULS、角度操作DLS以及角度操作DRS这8个操作内容各自的似然度的已学习模型。在该情况下，操作控制部263可以根据由操作内容决定部262决定的操作内容而生成用于进行使弯曲部13弯曲的控制的动作控制信号，并向驱动控制部240输出。
此时，操作控制部263也可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，生成用于使插入部11前进或后退的动作控制信号。
(实施例3)
实施例3的操作选择模型265是使相当于包含输入层、1个以上的卷积层以及输出层的多层神经网络的CNN中的各耦合系数(权重)通过深度学习等学习方法进行学习而生成的已学习模型。在实施例3的操作选择模型265的生成时，进行使用了教师数据的机器学习，其中该教师数据包含：学习用图像，其是过去用内窥镜拍摄肠道或结肠模型的内部而得到的内窥镜图像；以及标签，其表示最适合由该学习用图像表示的状况的操作内容是10个操作内容中的哪一个。
在此，10个操作内容包括角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度操作URS、角度操作ULS、角度操作DLS、角度操作DRS、使前端部12前进的按压操作PSS、使前端部12后退的拉拽操作PLS。
在生成教师数据时，专家观察学习用图像，从上述的10个操作内容中主观地选择在该学习用图像所示的状况下最能进行的一个操作内容，将选择出的操作内容的标签赋予给该学习用图像。通过对大量的过去的内窥镜图像实施该标签赋予作业，生成教师数据。
以下，示出包含学习用图像以及标签的教师数据的例子。
图13表示教师数据的例子。对图13所示的学习用图像中都赋予了表示按压操作的“按压操作PSS的标签”。图13所示的学习用图像是判断为应该使前端部12前进作为此后要进行的内窥镜操作的图像。
图14表示教师数据的另一例。对图14所示的学习用图像都赋予了表示拉拽操作的“拉拽操作PLS的标签”。图14所示的学习用图像是判断为应该使前端部12后退作为此后要进行的内窥镜操作的图像。在此，作为需要进行拉拽操作的状况的典型例，有前端部12过度接近大肠的粘膜表面的状况、以及在内窥镜医生之间统称为“红球”的前端部12与粘膜表面接触的状况等。
实施例3的操作选择模型265通过至少使用图5～图14所示的教师数据进行机器学习而生成。
操作内容决定部262向通过将学习用图像和表示针对拍摄了学习用图像的内窥镜的操作内容的标签用作教师数据的机器学习而生成的1个以上的操作选择模型265输入从图像取得部261取得的内窥镜图像中取得的输入数据，由此决定1个以上的操作内容。具体而言，操作内容决定部262取得图像取得部261取得的内窥镜图像中包含的各像素的像素值等多维数据，将该多维数据作为输入数据输入到操作选择模型265的神经网络的输入层。实施例3的操作选择模型265从神经网络的输出层输出与能够选择为内窥镜10的操作内容的10个操作内容分别对应的10个似然度。操作内容决定部262能够得到与输出数据所包含的10个似然度中最高的1个似然度对应的操作内容作为内窥镜10的操作内容的选择结果。
在实施例3中，操作内容决定部262构成为，通过将从图像取得部261取得的内窥镜图像中取得的输入数据输入到操作选择模型265并使其进行处理，从而得到表示从10个操作内容中选择出的一个操作内容的选择结果，其中所述10个操作内容包括用于使前端部12的朝向朝着与插入部11的插入轴正交的8个方向的操作和用于使前端部12前进或后退的操作。
操作控制部263具有根据在操作内容决定部262中决定的操作内容来控制内窥镜10的动作的功能。操作控制部263也可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，设定所决定的操作内容中的动作量。操作控制部263生成用于进行与由操作内容决定部262决定的操作内容和该操作内容中的动作量对应的动作控制的动作控制信号，并输出到驱动控制部240。
对实施例3的作用进行说明。
操作内容决定部262将从图像取得部261取得的内窥镜图像中取得的输入数据输入到实施例3的操作选择模型265并进行处理，由此从与内窥镜10的操作相关的10个操作内容中决定一个操作内容。
操作控制部263根据在操作内容决定部262中决定的操作内容，生成控制内窥镜10的动作的动作控制信号。此时，操作控制部263可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，进行用于设定所决定的操作内容中的动作量的处理。操作控制部263生成用于进行与所决定的操作内容和所设定的动作量相应的动作控制的动作控制信号并向驱动控制部240输出。
在实施例3中，在由操作内容决定部262决定的操作内容是角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度操作URS、角度操作ULS、角度操作DLS以及角度操作DRS中的任一个的情况下，操作控制部263设定弯曲部13的弯曲角度CCS作为该操作内容中的动作量。然后，操作控制部263生成用于执行使弯曲部13弯曲弯曲角度CCS的控制的动作控制信号，并向驱动控制部240输出。另外，除了使弯曲部13弯曲的控制之外，操作控制部263还可以设定插入部11的旋转角度RCS并生成用于执行使插入部11旋转旋转角度RCS的控制的动作控制信号。
在由操作内容决定部262决定的操作内容是按压操作PSS的情况下，操作控制部263设定插入部11的移动量MCS作为该操作内容中的动作量。然后，操作控制部263生成用于执行使插入部11前进移动量MCS的控制的动作控制信号，并向驱动控制部240输出。另外，移动量MCS优选设定为能够使插入到肠道内的插入部11安全地前进的范围内的值。
在由操作内容决定部262决定的操作内容为拉拽操作PLS的情况下，操作控制部263设定插入部11的移动量MDS作为该操作内容中的动作量。然后，操作控制部263生成用于执行使插入部11后退移动量MDS的控制的动作控制信号，并向驱动控制部240输出。另外，移动量MDS优选设定为能够使插入到肠道内的插入部11安全地后退的范围内的值。
此外，在实施例3中，操作控制部263基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方来设定动作量，但也可以读入预先储存于存储介质24中的设定值来设定动作量。
以上，根据实施例3，操作内容决定部262能够根据内窥镜图像，从与内窥镜10的操作相关的规定的多个操作内容中选择与专家选择的可能性高的操作内容相同的操作内容。并且，根据实施例3，操作控制部263能够设定所选择的操作内容中的动作量，生成用于对内窥镜10进行动作控制的动作控制信号。因此，根据实施例3，通过利用作为已学习模型的操作选择模型265，能够简单地决定内窥镜10的操作内容。
根据实施例3中的操作内容决定部262以及操作控制部263，例如在摄像部110的视野内的管腔的一部分被位于该管腔的近前侧的褶皱遮挡的情况下，能够实现使前端部12的位置以及朝向改变以使得不与该褶皱接触并且使前端部12接近该管腔那样的插入操作。另外，根据操作内容决定部262以及操作控制部263，例如，在摄像部110的视野内的管腔处于隐藏于肠壁的里侧的位置的情况下，能够实现在使前端部12绕到该肠壁的侧方之后使前端部12接近该管腔那样的插入操作。
(实施例4)
实施例4的操作选择模型265是使相当于包含输入层、1个以上的卷积层以及输出层的多层神经网络的CNN中的各耦合系数(权重)通过深度学习等学习方法进行学习而生成的已学习模型。在实施例4的操作选择模型265的生成时，进行使用了教师数据的机器学习，其中该教师数据包含：学习用图像，其是过去用内窥镜拍摄肠道或结肠模型的内部而得到的内窥镜图像；以及标签，其表示最适合由该学习用图像表示的状况的操作内容是12个操作内容中的哪一个。
在此，12个操作内容包括角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度操作URS、角度操作ULS、角度操作DLS、角度操作DRS、按压操作PSS、拉拽操作PLS、角度维持操作AMS、用于使前端部12朝向多个方向来搜索管腔的搜索操作SES。
在生成教师数据时，专家观察学习用图像，从上述的12个操作内容中主观地选择在该学习用图像所示的状况下最能进行的一个操作内容，将选择出的操作内容的标签赋予给该学习用图像。通过对大量的过去的内窥镜图像实施该标签赋予作业，生成教师数据。
以下，示出包含学习用图像以及标签的教师数据的例子。
图15表示教师数据的例子。对图15所示的学习用图像都赋予了表示搜索操作的“搜索操作SES的标签”。图15所示的学习用图像是判断为应该使弯曲部13向多个方向弯曲来拍摄多个方向作为此后要进行的内窥镜操作的图像。
实施例4的操作选择模型265通过至少使用图5～图15所示的教师数据进行机器学习而生成。
操作内容决定部262向通过将学习用图像和表示针对拍摄了学习用图像的内窥镜的操作内容的标签用作教师数据的机器学习而生成的1个以上的操作选择模型265输入从图像取得部261取得的内窥镜图像中取得的输入数据，由此决定1个以上的操作内容。具体而言，操作内容决定部262取得图像取得部261取得的内窥镜图像中包含的各像素的像素值等多维数据，将该多维数据作为输入数据输入到操作选择模型265的神经网络的输入层。实施例4的操作选择模型265从神经网络的输出层输出与能够选择为内窥镜10的操作内容的12个操作内容分别对应的12个似然度。操作内容决定部262能够得到与输出数据所包含的12个似然度中最高的1个似然度对应的操作内容作为内窥镜10的操作内容的选择结果。
在实施例4中，操作内容决定部262构成为，通过将从图像取得部261取得的内窥镜图像中取得的输入数据输入到操作选择模型265并使其进行处理，从而得到选择结果，其中该选择结果表示从包含用于使前端部12的朝向朝着与插入部11的插入轴正交的8个方向的操作、用于使前端部12前进或后退的操作、用于使前端部12的朝向维持为当前的朝向的操作、以及用于搜索前端部12的附近的管腔的操作在内的12个操作内容中选择出的一个操作内容。
操作控制部263具有根据在操作内容决定部262中决定的操作内容来控制内窥镜10的动作的功能。此时，操作控制部263也可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，设定所决定的操作内容中的动作量。操作控制部263生成用于进行与由操作内容决定部262决定的操作内容和该操作内容中的动作量对应的动作控制的动作控制信号，并输出到驱动控制部240。
对实施例4的作用进行说明。
操作内容决定部262将从图像取得部261取得的内窥镜图像中取得的输入数据输入到实施例4的操作选择模型265并使其进行处理，由此从与内窥镜10的操作相关的12个操作内容中决定一个操作内容。
操作控制部263根据在操作内容决定部262中决定的操作内容，生成控制内窥镜10的动作的动作控制信号。此时，操作控制部263可以基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方，进行用于设定所决定的操作内容中的动作量的处理。操作控制部263生成用于进行与所决定的操作内容和所设定的动作量相应的动作控制的动作控制信号并向驱动控制部240输出。
在实施例4中，在由操作内容决定部262决定的操作内容是角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度操作URS、角度操作ULS、角度操作DLS以及角度操作DRS中的任一个的情况下，操作控制部263设定弯曲部13的弯曲角度CDS作为该操作内容中的动作量。然后，操作控制部263生成用于执行使弯曲部13弯曲弯曲角度CDS的控制的动作控制信号，并向驱动控制部240输出。另外，除了使弯曲部13弯曲的控制之外，操作控制部263还可以设定插入部11的旋转角度RDS并生成用于执行使插入部11旋转旋转角度RDS的控制的动作控制信号。
在由操作内容决定部262决定的操作内容是按压操作PSS的情况下，操作控制部263设定插入部11的移动量MES作为该操作内容中的动作量。然后，操作控制部263生成用于执行使插入部11前进移动量MES的控制的动作控制信号，并向驱动控制部240输出。另外，移动量MES优选设定为能够使插入到肠道内的插入部11安全地前进的范围内的值。
在由操作内容决定部262决定的操作内容为拉拽操作PLS的情况下，操作控制部263设定插入部11的移动量MFS作为该操作内容中的动作量。然后，操作控制部263生成用于执行使插入部11后退移动量MFS的控制的动作控制信号，并向驱动控制部240输出。另外，移动量MFS优选设定为能够使插入到肠道内的插入部11安全地后退的范围内的值。
在由操作内容决定部262决定的操作内容是角度维持操作AMS的情况下，操作控制部263生成用于执行将弯曲部13的弯曲角度维持为当前的弯曲角度的控制的动作控制信号，并向驱动控制部240输出。
在由操作内容决定部262决定的操作内容是搜索操作SES的情况下，操作控制部263设定插入部11的移动量MGS作为该操作内容中的动作量。然后，操作控制部263生成用于执行使插入部11后退移动量MGS之后再使前端部12朝向多个方向的控制的动作控制信号，并向驱动控制部240输出。此时，操作控制部263可以生成用于执行使前端部12朝向4个或8个方向的控制的动作控制信号。在与搜索操作SES有关的处理中，实施使前端部12朝向多个方向并从在各个方向上拍摄到的内窥镜图像中找到管腔的处理。
此外，在实施例4中，操作控制部263基于从插入形状检测装置30输出的插入形状信息和从外力信息取得装置40输出的外力信息中的至少一方来设定动作量，但也可以读入预先储存于存储介质24中的设定值来设定动作量。
以上，根据实施例4，操作内容决定部262能够根据内窥镜图像，从与内窥镜10的操作相关的12个操作内容中选择与专家选择的可能性高的操作内容相同的操作内容。并且，根据实施例4，操作控制部263能够设定所选择的操作内容中的动作量，生成用于对内窥镜10进行动作控制的动作控制信号。因此，根据实施例4，通过利用作为已学习模型的操作选择模型265，能够简单地决定内窥镜10的操作内容。
另外，在实施例1～4中，说明了教师数据可以包含表示角度操作的标签、表示按压操作的标签。教师数据还可以包括表示将插入部11绕插入轴扭转的操作即扭转操作的标签，具体而言，可以包括表示左扭转操作的标签和/或表示右扭转操作的标签。
(实施例5)
在实施例1～4中，使用包含内窥镜图像和表示操作内容的标签的教师数据，通过机器学习生成了操作选择模型265。在实施例5中，对操作内容和该操作内容中的动作量的组合设定标签，通过机器学习生成操作选择模型265。
实施例5的操作选择模型265是使相当于包含输入层、1个以上的卷积层以及输出层的多层神经网络的CNN中的各耦合系数(权重)通过深度学习等学习方法进行学习而生成的已学习模型。在实施例5的操作选择模型265的生成时，进行使用了教师数据的机器学习，该教师数据包含：学习用图像，其是过去用内窥镜拍摄肠道或结肠模型的内部而得到的内窥镜图像；以及标签，其表示最适合由该学习用图像表示的状况的操作内容是12个操作内容中的哪一个。
在此，12个操作内容包括角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度操作URS、角度操作ULS、角度操作DLS、角度操作DRS、移动量相对较大的按压操作PSS_AL、移动量相对较小的按压操作PSS_AS、拉拽操作PLS、搜索操作SES。
在生成教师数据时，专家观察学习用图像，从上述的12个操作内容中主观地选择在该学习用图像所示的状况下最能进行的一个操作内容，将选择出的操作内容的标签赋予给该学习用图像。通过对大量的过去的内窥镜图像实施该标签赋予作业，生成教师数据。
以下，示出包含学习用图像以及标签的教师数据的例子。
图16的(a)表示拍摄大肠的弯曲小的状态而得到的学习用图像，图16的(b)表示拍摄大肠的弯曲大的状态而得到的学习用图像。对于图16的(a)、(b)中的任意一个学习用图像，专家都判断应该使前端部12前进来作为此后要进行的内窥镜操作。
此时，对于图16的(a)的学习用图像，判断为能够使插入部11前进比较长的距离。另一方面，对于图16的(b)的学习用图像，判断为无法使插入部11前进较长的距离，而是前进比较短的距离。因此，对图16的(a)所示的学习用图像赋予表示将移动量设为5cm的按压操作的“按压操作PSS_AL的标签”，对图16的(b)所示的学习用图像赋予表示将移动量设为2cm的按压操作的“按压操作PSS_AS的标签”。
在实施例3中，对图13所示的学习用图像都赋予了表示按压操作的“按压操作PSS的标签”，但在实施例5中，对图13所示的学习用图像赋予“按压操作PSS_AL的标签”或“按压操作PSS_AS的标签”中的任一个。
通过至少使用图5～图12、图14～图16所示的教师数据进行机器学习而生成实施例5的操作选择模型265。
操作内容决定部262向通过将学习用图像和表示针对拍摄了学习用图像的内窥镜的操作内容的标签用作教师数据的机器学习而生成的1个以上的操作选择模型265输入从图像取得部261取得的内窥镜图像中取得的输入数据，由此决定1个以上的操作内容。具体而言，操作内容决定部262取得图像取得部261取得的内窥镜图像中包含的各像素的像素值等多维数据，将该多维数据作为输入数据输入到操作选择模型265的神经网络的输入层。实施例5的操作选择模型265从神经网络的输出层输出与能够选择为内窥镜10的操作内容的12个操作内容分别对应的12个似然度。操作内容决定部262能够得到与输出数据所包含的12个似然度中最高的1个似然度对应的操作内容作为内窥镜10的操作内容的选择结果。
对实施例5的作用进行说明。
操作内容决定部262将从图像取得部261取得的内窥镜图像中取得的输入数据输入到实施例5的操作选择模型265并使其进行处理，由此从与内窥镜10的操作相关的12个操作内容中决定一个操作内容。
在由操作内容决定部262决定的操作内容是按压操作PSS_AL的情况下，操作控制部263生成用于执行使插入部11前进5cm的控制的动作控制信号，并向驱动控制部240输出。由此，进退控制部241生成用于使插入部11前进5cm的进退控制信号，驱动进退机构141。
在由操作内容决定部262决定的操作内容是按压操作PSS_AS的情况下，操作控制部263生成用于执行使插入部11前进2cm的控制的动作控制信号，并向驱动控制部240输出。由此，进退控制部241生成用于使插入部11前进2cm的进退控制信号，驱动进退机构141。
如上所述，在实施例5中，对插入部11的按压操作和基于该按压操作的移动量的组合设定标签，作为教师数据用于机器学习。另外，关于动作量，将按压操作分为2个等级，但也可以分为3个以上的等级。
另外，不仅是按压操作，也可以对角度操作和基于该角度操作的旋转角度的组合设定标签，作为教师数据用于机器学习。这样，在实施例5中，使用对操作内容和该操作内容中的动作量的组合设定了标签的教师数据，生成操作选择模型265。由此，通过利用操作选择模型265，能够简单地决定内窥镜10的操作内容和动作量。
(实施例6)
一般而言，从对患者的负担的观点出发，大肠内窥镜检查优选在短时间内结束。因此，优选在安全的状况下无浪费地执行迅速的插入操作，但另一方面，根据大肠的状态需要慎重的操作。因此，在实施例6中，对操作内容和该操作内容中的动作速度的组合设定标签，通过机器学习生成操作选择模型265。
实施例6的操作选择模型265是使相当于包含输入层、1个以上的卷积层以及输出层的多层神经网络的CNN中的各耦合系数(权重)通过深度学习等学习方法进行学习而生成的已学习模型。在实施例6的操作选择模型265的生成时，进行使用了教师数据的机器学习，其中该教师数据包含：学习用图像，其是过去用内窥镜拍摄肠道或结肠模型的内部而得到的内窥镜图像；以及标签，其表示最适合由该学习用图像表示的状况的操作内容是12个操作内容中的哪一个。
在此，12个操作内容包括角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度操作URS、角度操作ULS、角度操作DLS、角度操作DRS、移动速度相对快的按压操作PSS_SH、移动速度相对慢的按压操作PSS_SL、拉拽操作PLS、搜索操作SES。
在生成教师数据时，专家观察学习用图像，从上述的12个操作内容中主观地选择在该学习用图像所示的状况下最能进行的一个操作内容，将选择出的操作内容的标签赋予给该学习用图像。通过对大量的过去的内窥镜图像实施该标签赋予作业，生成教师数据。
以下，示出包含学习用图像以及标签的教师数据的例子。
图17的(a)示出对未产生异常的部位进行拍摄而得到的学习用图像，图17的(b)示出对产生粘膜炎症等异常的部位进行拍摄而得到的学习用图像。对于图17的(a)、(b)中的任意一个学习用图像，专家都判断为应该使前端部12前进来作为此后要进行的内窥镜操作。
此时，专家对于图17的(a)的学习用图像判断为可以使插入部11以比较快的速度前进。另一方面，对于图17的(b)的学习用图像，判断为需要慎重地使插入部11前进，以比较慢的速度前进。因此，对图17的(a)所示的学习用图像赋予表示将移动速度设为5cm/秒的按压操作的“按压操作PSS_SH的标签”，对图17的(b)所示的学习用图像赋予表示将移动速度设为2cm/秒的按压操作的“按压操作PSS_SL的标签”。
在实施例3中，对图13所示的学习用图像都赋予了表示按压操作的“按压操作PSS的标签”，但在实施例6中，对图13所示的学习用图像赋予“按压操作PSS_SH的标签”或“按压操作PSS_SL的标签”中的任一个。
通过至少使用图5～图12、图14、图15、图17所示的教师数据进行机器学习而生成实施例6的操作选择模型265。
操作内容决定部262向通过将学习用图像和表示针对拍摄了学习用图像的内窥镜的操作内容的标签用作教师数据的机器学习而生成的1个以上的操作选择模型265输入从图像取得部261取得的内窥镜图像中取得的输入数据，由此决定1个以上的操作内容。具体而言，操作内容决定部262取得图像取得部261取得的内窥镜图像中包含的各像素的像素值等多维数据，将该多维数据作为输入数据输入到操作选择模型265的神经网络的输入层。实施例6的操作选择模型265从神经网络的输出层输出与能够选择为内窥镜10的操作内容的12个操作内容分别对应的12个似然度。操作内容决定部262能够得到与输出数据所包含的12个似然度中最高的1个似然度对应的操作内容作为内窥镜10的操作内容的选择结果。
对实施例6的作用进行说明。
操作内容决定部262将从图像取得部261取得的内窥镜图像中取得的输入数据输入到实施例6的操作选择模型265并使其进行处理，由此从与内窥镜10的操作相关的12个操作内容中决定一个操作内容。
在由操作内容决定部262决定的操作内容是按压操作PSS_SH的情况下，操作控制部263生成用于执行使插入部11以5cm/秒的速度前进的控制的动作控制信号，并向驱动控制部240输出。由此，进退控制部241生成用于使插入部11以5cm/秒的速度前进的进退控制信号，驱动进退机构141。另外，关于驱动时间，可以预先设定为规定时间(例如1秒)。
在由操作内容决定部262决定的操作内容是按压操作PSS_SL的情况下，操作控制部263生成用于执行使插入部11以2cm/秒的速度前进的控制的动作控制信号，并向驱动控制部240输出。由此，进退控制部241生成用于使插入部11以2cm/秒的速度前进的进退控制信号，驱动进退机构141。另外，关于驱动时间，可以预先设定为规定时间。
如上所述，在实施例6中，对插入部11的按压操作和基于该按压操作的动作速度的组合设定标签，作为教师数据用于机器学习。另外，关于动作速度，将按压操作分为2个等级，但也可以分为3个以上的等级。
另外，不仅是按压操作，也可以对角度操作和基于该角度操作的动作速度的组合设定标签，作为教师数据用于机器学习。这样，在实施例6中，使用对操作内容和该操作内容中的动作速度的组合设定了标签的教师数据，生成操作选择模型265。由此，通过利用操作选择模型265，能够简单地决定内窥镜10的操作内容和动作速度。
(实施例7)
在内窥镜10的自动插入控制中，优选控制为，在使前端部12前进时，根据对前端部12施加的来自肠道的阻力(外力)，中止或变更实施中的动作。在作用于前端部12的外力大的情况下，前端部12有可能按压褶皱等构造物，因此若外力超过规定的控制阈值，则停止前端部12的前进，使前端部12后退。这样，确定在前进动作中用于中止或变更前进动作的控制阈值。
另一方面，在发生肠狭窄的情况下，由于肠道变窄，因此施加于前端部12的阻力变高，但为了进行内窥镜观察，需要使前端部12前进。因此，在实施例7中，根据是否狭窄，通过机器学习生成用于实现使施加于前端部12的阻力的控制阈值不同的自动插入控制的操作选择模型265。
实施例7的操作选择模型265是使相当于包含输入层、1个以上的卷积层和输出层的多层神经网络的CNN中的各耦合系数(权重)通过深度学习等学习方法进行学习而生成的已学习模型。在实施例7的操作选择模型265的生成时，进行使用了教师数据的机器学习，其中该教师数据包含：学习用图像，其是过去用内窥镜拍摄肠道或结肠模型的内部而得到的内窥镜图像；以及标签，其表示最适合由该学习用图像表示的状况的操作内容是12个操作内容中的哪一个。
在此，12个操作内容包括角度操作UPS、角度操作DOS、角度操作LES、角度操作RIS、角度操作URS、角度操作ULS、角度操作DLS、角度操作DRS、将相对小的阻力作为前进停止的控制阈值的按压操作PSS_TS、将相对大的阻力作为前进停止的控制阈值的按压操作PSS_TL、拉拽操作PLS、搜索操作SES。
在生成教师数据时，专家观察学习用图像，从上述的12个操作内容中主观地选择在该学习用图像所示的状况下最能进行的一个操作内容，将选择出的操作内容的标签赋予给该学习用图像。通过对大量的过去的内窥镜图像实施该标签赋予作业，生成教师数据。
以下，示出包含学习用图像以及标签的教师数据的例子。
图18的(a)表示对未发生狭窄的管腔进行拍摄而得到的学习用图像，图18的(b)表示对发生了狭窄的管腔进行拍摄而得到的学习用图像。专家对于图18的(a)、(b)中的任意一个学习用图像都判断为应该使前端部12前进来作为此后要进行的内窥镜操作。
此时，对于图18的(a)的学习用图像，专家判断为可以使用通常的控制阈值对插入部11进行前进控制。另一方面，对于图18的(b)的学习用图像，判断为需要使插入部11以稍强的前进力一边扩大管腔一边前进，提高通常的前进控制中的前进停止的控制阈值。因此，在前端部12受到的阻力F超过控制阈值时停止前进的前进控制中，对图18的(a)所示的学习用图像赋予表示将控制阈值设为F1的按压操作的“按压操作PSS_TS的标签”，对图18的(b)所示的学习用图像赋予表示将控制阈值设为F2(＞F1)的按压操作的“按压操作PSS_TL的标签”。
在实施例3中，对图13所示的学习用图像都赋予了表示按压操作的“按压操作PSS的标签”，但在实施例7中，对图13所示的学习用图像赋予“按压操作PSS_TS的标签”或“按压操作PSS_TL的标签”中的任一个。
通过至少使用图5～图12、图14、图15、图18所示的教师数据进行机器学习而生成实施例7的操作选择模型265。
操作内容决定部262向通过将学习用图像和表示针对拍摄了学习用图像的内窥镜的操作内容的标签用作教师数据的机器学习而生成的1个以上的操作选择模型265输入从图像取得部261取得的内窥镜图像中取得的输入数据，由此决定1个以上的操作内容。具体而言，操作内容决定部262取得图像取得部261取得的内窥镜图像中包含的各像素的像素值等多维数据，将该多维数据作为输入数据输入到操作选择模型265的神经网络的输入层。实施例7的操作选择模型265从神经网络的输出层输出与能够选择为内窥镜10的操作内容的12个操作内容分别对应的12个似然度。操作内容决定部262能够得到与输出数据所包含的12个似然度中最高的1个似然度对应的操作内容作为内窥镜10的操作内容的选择结果。
对实施例7的作用进行说明。
操作内容决定部262将从图像取得部261取得的内窥镜图像中取得的输入数据输入到实施例6的操作选择模型265并使其进行处理，由此从与内窥镜10的操作相关的12个操作内容中决定一个操作内容。
操作控制部263在由操作内容决定部262决定的操作内容为按压操作PSS_TS的情况下，生成用于执行前进控制的动作控制信号，并向驱动控制部240输出。操作控制部263监视施加于前端部12的外力，若外力超过F1，则向进退控制部241输出前进控制的停止指示信号。
操作控制部263在由操作内容决定部262决定的操作内容为按压操作PSS_TL的情况下，生成用于执行前进控制的动作控制信号，并向驱动控制部240输出。操作控制部263监视施加于前端部12的外力，若外力超过F2，则向进退控制部241输出前进控制的停止指示信号。
如上所述，在实施例7中，对插入部11的按压操作和基于该按压操作的控制阈值的组合设定标签，作为教师数据用于机器学习。另外，关于控制阈值，将按压操作分为2个等级，但也可以分为3个以上的等级。另外，不仅是按压操作，也可以对角度操作和该角度操作中的控制阈值的组合设定标签，作为教师数据用于机器学习。
以上，基于实施方式以及多个实施例对本发明进行了说明。这些实施方式和实施例是例示，本领域技术人员应当理解这些各构成要素和各处理过程的组合可以有各种变形例，并且这样的变形例也在本发明的范围内。也可以分别组合使用实施例1～7中说明的操作选择模型265。
例如，在实施例5中，说明了对操作内容和该操作内容中的动作量的组合设定标签而作为教师数据使用的情况，在实施例6中，说明了对操作内容和该操作内容中的操作速度的组合设定标签而作为教师数据使用的情况。在变形例中，也可以对操作内容、动作量和动作速度的组合设定标签而作为教师数据使用，生成操作选择模型265。
另外，也可以生成用于决定操作内容的第一操作选择模型265a和用于决定使用第一操作选择模型265a决定的操作内容中的动作量(或动作速度)的第二操作选择模型265b，将第一操作选择模型265a和第二操作选择模型265b组合使用。在该情况下，可以使用将为了生成第一操作选择模型265a而使用的各类别的教师数据组细分化后的教师数据来生成第二操作选择模型265b。
在实施方式中，作为学习模型，说明了作为近年来的DeepNeuralNetwork(深度神经网络)中的最基本且稳定的方法之一的CNN，但也可以使用更复杂的网络模型。例如，除了内窥镜图像之外，还能够构建将数值化后的内窥镜插入形状信息用于输入的多模态(Multimodal)的网络模型。由此，能够实现不仅将内窥镜图像还将内窥镜的插入状况加入到判定条件中的控制。
在实施例中，设定了作为基本操作的角度操作、按压操作、拉拽操作、搜索操作的标签，但也可以生成对“扭转操作”、“送气操作”、“送水操作”、“吸引操作”设定了标签的教师数据，通过机器学习生成操作选择模型265。
另外，操作内容决定部262也可以具有：管腔深部方向检测部，其根据图像取得部261取得的内窥镜图像来检测管腔的深部方向；以及容易行进方向判断部，其根据内窥镜图像来判断内窥镜的前端部的行进比其他方向容易的方向，操作内容决定部262也可以根据所述容易行进方向判断部的判断结果和所述管腔深部方向检测部的检测结果来决定所述操作内容。
并且，容易行进方向判断部也可以具有障碍有无判断部，该障碍有无判断部判断在向由上述管腔深部方向检测部检测出的管腔深部方向行进的情况下是否存在成为行进障碍的障碍物，上述容易行进方向判断部也可以根据上述障碍有无判断部的判断结果，判断上述内窥镜的前端部的行进比其他方向容易的方向。在该情况下，作为障碍物的例子，管腔的粘膜或者褶皱等符合。例如，可以在判断为向管腔深部方向行进时粘膜与内窥镜前端部碰撞的情况下，判断为存在障碍物。
另外，关于将没有障碍物的行进方向中的哪个方向判断为比其他方向容易，也可以将没有障碍物的方向中的、根据内窥镜图像可知内窥镜的前端部过去行进过的方向作为容易行进方向。
另外，也可以基于在上述容易行进方向判断部中判断出的方向与在上述管腔深部方向检测部中检测出的方向所成的角度来决定上述操作内容。例如，也可以是，在将在上述容易行进方向判断部中判断出的方向与在上述管腔深部方向检测部中检测出的方向所成的角度设为角度X时，将行进方向的角度Y设为Y＝X/2而向该方向行进。即，也可以向构成在上述容易行进方向判断部中判断出的方向与在上述管腔深部方向检测部中检测出的方向的二等分线的方向行进。另外，行进方向也可以是基于在上述容易行进方向判断部中判断出的方向与在上述管腔深部方向检测部中检测出的方向的矢量的合成矢量所表示的方向。另外，也可以在基于管腔深部方向检测部的检测结果的方向矢量A与容易行进方向判断部的方向矢量B的合成矢量C的方向上行进，进而，也可以对方向矢量A、B分别进行加权a、b，在合成矢量C＝1/2(a*A+b*B)的方向上行进。
另外，操作内容决定部262也可以具有根据图像取得部261取得的内窥镜图像来识别管腔的深部形状的管腔深部形状识别部，根据识别出的管腔深部形状来决定操作内容及其动作量或动作速度。并且，也可以是，操作内容决定部262具有操作内容变更部，该操作内容变更部在内窥镜受到规定的控制阈值以上的阻力时变更操作内容，所述操作内容变更部根据所述管腔深部的形状，变更所述操作内容变更部变更操作的所述阻力的控制阈值。
产业上的可利用性
本发明能够利用于对内窥镜进行自动操作的技术领域。
标号说明
1...内窥镜系统、2…内窥镜控制装置、10…内窥镜、11…插入部、12…前端部、13…弯曲部、14…挠性管部、16…操作部、17…通用缆线、18…源线圈、20…处理装置、22…处理器、24…存储介质、30…插入形状检测装置、40…外力信息取得装置、50…输入装置、60…显示装置、110…摄像部、141…进退机构、142…弯曲机构、143…AWS机构、144…旋转机构、210…光源部、220…图像处理部、230…线圈驱动信号生成部、240…驱动控制部、241…进退控制部、242…弯曲控制部、243…AWS控制部、244…旋转控制部、250…显示控制部、260…动作控制部、261…图像取得部、262…操作内容决定部、263…操作控制部、264…驱动判定部、265…操作选择模型、310…接收天线、320…插入形状信息取得部。

Claims (16)

1.一种内窥镜控制装置，其特征在于，所述内窥镜控制装置具备：
图像取得部，其取得被插入到被检体内的内窥镜所拍摄的内窥镜图像；
操作内容决定部，其根据在所述图像取得部中取得的内窥镜图像，从规定的多个操作内容中决定1个以上的操作内容；以及
控制部，其根据在所述操作内容决定部中决定的操作内容来控制所述内窥镜的动作，
所述操作内容决定部通过向通过机器学习而生成的1个以上的操作选择模型输入从所述图像取得部取得的内窥镜图像中取得的输入数据，决定所述1个以上的操作内容，其中所述机器学习将过去所拍摄的内窥镜图像即学习用图像和标签用作教师数据，所述标签表示针对拍摄了所述学习用图像的内窥镜的操作内容。
2.根据权利要求1所述的内窥镜控制装置，其特征在于，
教师数据包含所述学习用图像和表示使内窥镜的弯曲部弯曲的操作的标签。
3.根据权利要求2所述的内窥镜控制装置，其特征在于，
教师数据包含所述学习用图像、和表示使内窥镜的前端部前进的操作或表示使内窥镜的前端部后退的操作的标签。
4.根据权利要求3所述的内窥镜控制装置，其特征在于，
教师数据包含所述学习用图像和表示使内窥镜的前端部朝向多个方向来搜索管腔的操作的标签。
5.根据权利要求1所述的内窥镜控制装置，其特征在于，
教师数据包含所述学习用图像和表示操作内容与该操作内容中的动作量的组合的标签。
6.根据权利要求1所述的内窥镜控制装置，其特征在于，
教师数据包含所述学习用图像和表示操作内容与该操作内容中的动作速度的组合的标签。
7.根据权利要求1所述的内窥镜控制装置，其特征在于，
教师数据包含所述学习用图像和表示操作内容与该操作内容中的控制阈值的组合的标签。
8.根据权利要求1所述的内窥镜控制装置，其特征在于，
所述操作内容决定部构成为，通过向操作选择模型输入所述输入数据并进行处理，从而得到表示从4个操作内容中选择的一个操作内容的选择结果，其中所述4个操作内容包括用于使前端部的朝向朝着被设定为与插入轴正交的方向的4个方向的操作。
9.根据权利要求1所述的内窥镜控制装置，其特征在于，
所述操作内容决定部构成为，通过向操作选择模型输入所述输入数据并进行处理，从而得到表示从5个操作内容中选择的一个操作内容的选择结果，其中所述5个操作内容包括：用于使前端部的朝向朝着被设定为与插入轴正交的方向的4个方向的操作；以及用于使所述前端部的朝向维持为当前的朝向的操作。
10.根据权利要求1所述的内窥镜控制装置，其特征在于，
所述操作内容决定部构成为，通过向操作选择模型输入所述输入数据并进行处理，从而得到表示从8个操作内容中选择的一个操作内容的选择结果，其中所述8个操作内容包括用于使前端部的朝向朝着被设定为与插入轴正交的方向的8个方向的操作。
11.根据权利要求1所述的内窥镜控制装置，其特征在于，
所述操作内容决定部构成为，通过向操作选择模型输入所述输入数据并进行处理，从而得到表示从9个操作内容中选择的一个操作内容的选择结果，其中所述9个操作内容包括：用于使前端部的朝向朝着被设定为与插入轴正交的方向的8个方向的操作；以及用于使所述前端部的朝向维持为当前的朝向的操作。
12.根据权利要求1所述的内窥镜控制装置，其特征在于，
所述操作内容决定部构成为，通过向操作选择模型输入所述输入数据并进行处理，从而得到表示从10个操作内容中选择的一个操作内容的选择结果，其中所述10个操作内容包括：用于使前端部的朝向朝着被设定为与插入轴正交的方向的8个方向的操作；用于使内窥镜插入部前进的操作；以及用于使所述内窥镜插入部后退的操作。
13.根据权利要求1所述的内窥镜控制装置，其特征在于，
所述操作内容决定部构成为，通过向操作选择模型输入所述输入数据并进行处理，从而得到表示从12个操作内容中选择的一个操作内容的选择结果，其中所述12个操作内容包括：用于使前端部的朝向朝着被设定为与插入轴正交的方向的8个方向的操作；用于使内窥镜插入部前进的操作；用于使所述内窥镜插入部后退的操作；用于使所述前端部的朝向维持为当前的朝向的操作；以及用于搜索所述被检体内的所述前端部的附近的管腔的操作。
14.根据权利要求1所述的内窥镜控制装置，其特征在于，
所述操作内容决定部构成为，通过向操作选择模型输入所述输入数据并进行处理，从各操作内容中选择一个操作内容而得到选择结果，其中所述各操作内容除了包括用于使前端部的朝向朝着被设定为与插入轴正交的方向的4个方向的操作、以及用于使所述前端部的朝向维持为当前的朝向的操作的5个操作内容，还进一步添加了用于使内窥镜插入部绕插入轴旋转的操作、用于向所述前端部的前方喷出气体的操作、用于向所述前端部的前方喷出液体的操作、以及用于吸引存在于所述前端部的附近的物体的操作中的至少1个操作内容。
15.一种内窥镜控制方法，所述内窥镜控制方法控制内窥镜的动作，
取得被插入到被检体内的内窥镜所拍摄的内窥镜图像，
通过向通过机器学习而生成的1个以上的操作选择模型输入从取得的所述内窥镜图像中取得的输入数据，决定针对所述内窥镜的1个以上的操作内容，其中所述机器学习将过去所拍摄的内窥镜图像即学习用图像和标签用作教师数据，所述标签表示针对拍摄了所述学习用图像的内窥镜的操作内容，
基于所决定的操作内容来控制所述内窥镜的动作。
16.一种程序，所述程序使计算机实现以下功能：
取得被插入到被检体内的内窥镜所拍摄的内窥镜图像；
通过向通过机器学习而生成的1个以上的操作选择模型输入从取得的所述内窥镜图像中取得的输入数据，决定针对所述内窥镜的1个以上的操作内容，其中所述机器学习将过去所拍摄的内窥镜图像即学习用图像和标签用作教师数据，所述标签表示针对拍摄了所述学习用图像的内窥镜的操作内容；以及
基于所决定的操作内容来控制所述内窥镜的动作。
CN202080063616.7A 2019-09-10 2020-09-08 内窥镜控制装置、内窥镜控制方法及程序 Pending CN114430668A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPPCT/JP2019/035561 2019-09-10
PCT/JP2019/035561 WO2021048925A1 (ja) 2019-09-10 2019-09-10 内視鏡制御装置、内視鏡制御装置の作動方法及びプログラム
PCT/JP2020/033888 WO2021049475A1 (ja) 2019-09-10 2020-09-08 内視鏡制御装置、内視鏡制御方法及びプログラム

Publications (1)

Publication Number Publication Date
CN114430668A true CN114430668A (zh) 2022-05-03

Family

ID=74866157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080063616.7A Pending CN114430668A (zh) 2019-09-10 2020-09-08 内窥镜控制装置、内窥镜控制方法及程序

Country Status (4)

Country Link
US (1) US20220192466A1 (zh)
JP (1) JPWO2021049475A1 (zh)
CN (1) CN114430668A (zh)
WO (2) WO2021048925A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7374224B2 (ja) * 2021-01-14 2023-11-06 コ，ジファン 内視鏡を用いた大腸検査ガイド装置
WO2023175855A1 (ja) * 2022-03-17 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡制御システムおよび内視鏡制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2238440B (en) * 1989-11-24 1994-07-27 Olympus Optical Co Methods of detecting endoscope insertion direction
JP5094036B2 (ja) * 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
JP4323515B2 (ja) * 2006-12-25 2009-09-02 オリンパス株式会社 内視鏡システム
CN102123650B (zh) * 2009-01-29 2014-04-16 奥林巴斯医疗株式会社 内窥镜系统
WO2011040111A1 (ja) * 2009-09-30 2011-04-07 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2016114097A1 (ja) * 2015-01-15 2016-07-21 オリンパス株式会社 オーバーチューブ
CN110769737B (zh) * 2017-06-21 2022-03-29 奥林巴斯株式会社 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置
JP6749020B2 (ja) * 2017-11-29 2020-09-02 水野 裕子 内視鏡ナビゲーション装置
CN111465340B (zh) * 2017-12-25 2023-06-13 奥林巴斯株式会社 推荐操作呈现系统、推荐操作呈现控制装置以及推荐操作呈现控制方法
WO2019155617A1 (ja) * 2018-02-09 2019-08-15 オリンパス株式会社 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体

Also Published As

Publication number Publication date
WO2021048925A1 (ja) 2021-03-18
WO2021049475A1 (ja) 2021-03-18
US20220192466A1 (en) 2022-06-23
JPWO2021049475A1 (zh) 2021-03-18

Similar Documents

Publication Publication Date Title
EP2425760B1 (en) Endoscope system
US20220192466A1 (en) Endoscope control apparatus, endoscope control method, and storage medium storing a program
US20210022585A1 (en) Endoscope system, endoscope control device, operating method of endoscope system, and non-transitory computer-readable recording medium storing endoscope control program
US20150223670A1 (en) Insertion system, insertion supporting device, insertion supporting method and recording medium
JP7150997B2 (ja) 情報処理装置、内視鏡制御装置、情報処理装置の作動方法、内視鏡制御装置の作動方法及びプログラム
EP1902661B1 (en) Endoscope device
JP6957645B2 (ja) 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法
US20220361733A1 (en) Endoscopic examination supporting apparatus, endoscopic examination supporting method, and non-transitory recording medium recording program
JP7245360B2 (ja) 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ
US10123681B2 (en) Endoscope insertion shape observation apparatus having a controller to drive bending of insertion portion of endoscope
JP2023527968A (ja) ハイブリッド撮像及びナビゲーションのためのシステム及び方法
US20220218180A1 (en) Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded
US8795157B1 (en) Method and system for navigating within a colon
US20190231167A1 (en) System and method for guiding and tracking a region of interest using an endoscope
JP2004167010A (ja) 内視鏡挿入方向検出装置
WO2023230013A1 (en) Systems and methods for self-alignment and adjustment of robotic endoscope
CN116940275A (zh) 内窥镜图像处理装置及内窥镜图像处理方法
WO2021181918A1 (ja) 内視鏡用プロセッサ、内視鏡、内視鏡システム、情報処理方法、プログラム及び学習モデルの生成方法
JP5948524B1 (ja) カプセル型医療装置誘導システム
WO2023175855A1 (ja) 内視鏡制御システムおよび内視鏡制御方法
US20240062471A1 (en) Image processing apparatus, endoscope apparatus, and image processing method
CN114699169A (zh) 一种多模态导航插管系统
CN114746002A (zh) 包括带有光源的医疗成像设备和根据传感器对光的检测移动传感器的构件的医疗系统
JPH02218330A (ja) 内視鏡の挿入方向の検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination