CN113168699A - 计算机程序、信息处理方法以及内窥镜用处理器 - Google Patents

计算机程序、信息处理方法以及内窥镜用处理器 Download PDF

Info

Publication number
CN113168699A
CN113168699A CN202080006626.7A CN202080006626A CN113168699A CN 113168699 A CN113168699 A CN 113168699A CN 202080006626 A CN202080006626 A CN 202080006626A CN 113168699 A CN113168699 A CN 113168699A
Authority
CN
China
Prior art keywords
image
information
recognizer
lesion
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080006626.7A
Other languages
English (en)
Other versions
CN113168699B (zh
Inventor
池谷浩平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN113168699A publication Critical patent/CN113168699A/zh
Application granted granted Critical
Publication of CN113168699B publication Critical patent/CN113168699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种计算机程序等，其检测病变的能力高。一种计算机程序，其由计算机执行以下处理：获取由内窥镜拍摄的图像；将由所述内窥镜拍摄的图像输入到根据图像来识别病变部位的第1识别器和根据图像以比所述第1识别器高的识别精度来识别病变部位的第2识别器中；获取包括所述第1识别器所识别的识别结果在内的临时信息；输出包括所获取的所述临时信息在内的图像；获取与包括所述第2识别器所识别的识别结果在内的所述临时信息相对应的确定信息；以及输出包括所获取的所述确定信息在内的图像。

Description

计算机程序、信息处理方法以及内窥镜用处理器
技术领域
本技术涉及一种计算机程序、信息处理方法以及内窥镜用处理器。
背景技术
已开发一种计算机辅助诊断技术，其通过使用学习模型从内窥镜图像等医学图像中自动地检测病变部位。已知一种通过具有教师的机器学习来生成学习模型的方法，该机器学习使用赋予正确答案标签的教师数据。
本发明提出一种学习方法，其将使用由普通内窥镜拍摄的图像组作为教师数据的第1学习与使用由胶囊内窥镜拍摄的图像组作为教师数据的第2学习进行组合(专利文献1)。
现有技术文献
专利文献
专利文献1国际公开第2017/175282号
发明内容
发明所要解决的课题
然而，在专利文献1的方法中，存在检测病变的能力不足的问题。
本公开的目的在于提供一种计算机程序等，其检测病变的能力高。
用于解决课题的方案
本公开的一实施方式提供的一种计算机程序，其由计算机执行以下处理：获取由内窥镜拍摄的图像；将由所述内窥镜拍摄的图像输入到根据图像来识别病变部位的第1识别器和根据图像以比所述第1识别器高的识别精度来识别病变部位的第2识别器中；获取包括所述第1识别器所识别的识别结果在内的临时信息；输出包括所获取的所述临时信息在内的图像；获取与包括所述第2识别器所识别的识别结果在内的所述临时信息相对应的确定信息；以及输出包括所获取的所述确定信息在内的图像。
发明效果
根据本公开，可以提供一种计算机程序等，其检测病变的能力高。
附图说明
图1是示出诊断支持系统的外观的说明图。
图2是说明诊断支持系统的结构的说明图。
图3是与实施方式1中的第1已学习模型的生成处理相关的说明图。
图4是与第2已学习模型的生成处理相关的说明图。
图5是示出控制装置的结构的功能框图。
图6是说明光量信息的调整的说明图。
图7是示意性地说明诊断支持系统的操作的时序图。
图8是示出在显示装置上显示的画面示例的图。
图9是示出由诊断支持系统执行的处理步骤的一例的流程图。
图10是示出实施方式2中的控制装置的结构的功能框图。
图11是示出由实施方式2中的诊断支持系统执行的处理步骤的一例的流程图。
图12是与实施方式3中的第2已学习模型相关的说明图。
图13是示出实施方式4中的控制装置的结构的功能框图。
图14是示出实施方式5中的控制装置的结构的功能框图。
具体实施方式
将参照示出其实施方式的附图来具体说明本发明。
(实施方式1)
图1是示出诊断支持系统10的外观的说明图。诊断支持系统10包括内窥镜用处理器20、内窥镜40和显示装置50。显示装置50例如是液晶显示装置或有机EL(ElectroLuminescence)显示装置。
显示装置50设置在带脚轮的收容架16的上层。内窥镜用处理器20收纳在收容架16的中层。收容架16配置在省略图示的内窥镜检查用床的附近。收容架16具有抽屉式棚架，该抽屉式棚架用于装载与内窥镜用处理器20相连接的键盘15。
内窥镜用处理器20呈大致长方体形状，并且在一面上具备触摸面板25。在触摸面板25的下部配置有读取部28。读取部28例如是USB连接器、SD(Secure Digital)卡槽、或者CD-ROM(Compact Disc Read Only Memory)驱动器等的、用于进行便携式记录介质的读写的连接用接口。
内窥镜40具有插入部44、操作部43、光导可挠管49以及观测器用连接器48。操作部43设置有控制按钮431。插入部44为细长的，一端经由止弯部45与操作部43连接。插入部44从操作部43侧依次具有柔性部441、弯曲部442以及前端部443。弯曲部442因应弯曲旋钮433的操作而弯曲。
光导可挠管49是细长的，其中第一端连接在操作部43，第二端连接在观测器用连接器48。光导可挠管49是软性的。观测器用连接器48呈大致长方体形状。在观测器用连接器48上设有用于连接供气供水用管的供气供水口36(参照图2)。
图2是说明诊断支持系统10的结构的说明图。如前所述，诊断支持系统10包括内窥镜用处理器20、内窥镜40和显示装置50。内窥镜用处理器20除了触摸面板25以及读取部28之外，还具备控制装置21、主存储装置22、辅助存储装置23、通信部24、显示装置I/F(Interface)26、输入装置I/F27、内窥镜用连接器31、光源33、泵34以及总线。内窥镜用连接器31包括电连接器311及光学连接器312。
控制装置21包括控制部211，并由电路基板等构成。在该基板上安装有FPGA(FieldProgrammable Gate Array)、ASIC(Application Specific Integrated Circuit)、以及作为用于执行本实施方式中的程序63的运算控制装置的CPU(Central Processing Unit)等电路。控制装置21经由总线与用于构成内窥镜用处理器20的硬件各部相连接。
主存储装置22是SRAM(Static Random Access Memory)、DRAM(Dynamic RandomAccess Memory)和闪存等存储装置。主存储装置22暂时存储由控制部211执行的处理过程中所需的信息、以及在控制部211正在执行中的程序。
通信部24是用于在内窥镜用处理器20与网络之间进行数据通信的接口。触摸面板25具备液晶显示面板等显示部251和层叠在显示部251上的输入部252。
显示装置I/F26是用于连接内窥镜用处理器20和显示装置50的接口。输入装置I/F27是用于连接内窥镜用处理器20和键盘15等输入装置的接口。
光源33例如是白色LED等高亮度的白色光源。光源33经由省略图示的驱动器与总线连接。光源33的点亮、熄灭以及亮度的变更由控制部211控制。从光源33照射的照明光入射到光学连接器312上。光学连接器312与观测器用连接器48卡接，并且向内窥镜40提供照明光。
泵34产生用于内窥镜40的供气供水功能的压力。泵34经由省略图示的驱动器与总线连接。泵34的开、关以及压力的变更由控制部211控制。泵34经由供水箱35与设置在观测器用连接器48上的供气供水口36相连接。
辅助存储装置23是SRAM、闪存或硬盘等存储装置。在辅助存储装置23中保存有作为第1识别器的第1已学习模型61、作为第2识别器的第2已学习模型62、由控制部211执行的程序63、以及执行程序63所需的各种数据。第1已学习模型61、第2已学习模型62以及程序63也可以是由控制部211通过通信部24经由所谓的因特网等网络从外部装置下载并存储在辅助存储装置23中。第1已学习模型61、第2已学习模型62以及程序63也可以是由控制部211经由读取部28从便携式存储介质63a中读取并存储在辅助存储装置23中。第1已学习模型61、第2已学习模型62以及程序63也可以是由控制部211从半导体存储器63b中读出。
图3是与实施方式1中的第1已学习模型61的生成处理相关的说明图。控制部211生成包括深度学习在内的机器学习的已学习模型，其中，该深度学习以内窥镜的图像信息作为输入，以表示该图像内是否包含病变的信息作为输出。控制部211执行机器学习，该机器学习用于学习通过内窥镜拍摄检查部而获得的图像(原始图像52)内与该检查部的病变相关的图像特征量。第1已学习模型61例如是神经网络，是CNN(Convolution NeuralNetwork)。第1已学习模型61具备：输入层，其用于接受内窥镜图像的输入；输出层，其用于输出表示有无病变的信息(识别结果)；以及中间层，其用于提取内窥镜图像的图像特征量。
输入层具有用于接受内窥镜图像中所包含的各个像素的像素值的输入的多个神经元，并且将输入的像素值传递给中间层。中间层具有用于提取内窥镜图像的图像特征量的多个神经元，并将使用各种参数提取出的图像特征量传递给输出层。例如，当第1已学习模型61是CNN时，中间层具有使用于对从输入层输入的各像素的像素值进行卷积的卷积层与用于对在卷积层中进行卷积的像素值进行映射的池化层交替连接的结构，并在压缩作为对象物的图像区域的像素信息的同时，最终提取图像特征量。输出层具有用于输出表示有无病变的识别结果的一个或多个神经元，并根据从中间层输出的图像特征量，来输出表示是否包含病变的识别信息。
控制部211使用教师数据，来执行中间层中的各种参数的学习，该教师数据将通过内窥镜拍摄检查部而获得的多个图像与各图像中的与检查部的病变相关的信息相对应。例如，如图3所示，教师数据相对于内窥镜图像，被构建成标记了有无病变和与病变部位相对应的图像区域的坐标范围的数据集。另外，病变也可以包括可能被诊断为病变的部位，即病变候选。控制部211使用对过去所实施的大量检查的图像及诊断结果进行收集的数据来执行学习。数据中还包含诊断为没有病变的状态下的图像。另外，在图3中，用虚线的矩形框示出被标记的图像区域。与病变部位相对应的图像区域也可以使用例如Grad-CAM(Gradient-weighted Class Activation Mapping)等模型可视化方法来提取。控制部211将严重影响来自输出层的输出的区域作为病变部位提取。
控制部211将教师数据中包含的内窥镜的图像输入到输入层，经过中间层中的运算处理，并且从输出层获取表示有无病变的识别结果。例如，作为从输出层输出的识别结果，控制部211除了内窥镜图像中有无病变之外，还会获取用于识别与病变部位相对应的图像区域的识别结果。控制部211将从输出层输出的识别结果与在教师数据中对图像进行标记的病变相关的信息、即正确答案值进行比较，优化用于在中间层进行运算处理的各种参数，以使来自输出层的输出值接近正确答案值。该参数例如是神经元间的权重、偏差等。各种参数的优化方法并没有特别限定，例如控制部211使用误差反向传播算法来优化各种参数。控制部211对教师数据中所包含的各个图像执行上述处理，并生成第1已学习模型61。
图4是与第2已学习模型62的生成处理相关的说明图。第2已学习模型62在输入到第1已学习模型61的内窥镜图像(原始图像52)中，将执行后述的预定的预处理且能够高精度识别的内窥镜图像(处理图像54)作为输入。第2已学习模型62输出内窥镜图像中有无病变，以及表示该病变的内容(肿瘤/良性、肿瘤/恶性等)的估计结果。控制部211生成包括深度学习在内的机器学习的已学习模型，其中，该深度学习以内窥镜的图像信息作为输入，以表示该图像内有无病变以及内容的信息作为输出。控制部211执行机器学习，该机器学习用于学习通过内窥镜拍摄检查部而获得的图像(处理图像54)内与该检查部的病变相关的图像特征量。第2已学习模型62例如是神经网络，是CNN。第2已学习模型62具备：输入层，其用于接受内窥镜图像的输入；输出层，其用于输出与病变相关的信息(识别结果)；以及中间层，其用于提取内窥镜图像的图像特征量。
输入层具有用于接受内窥镜图像中所包含的各个像素的像素值的输入的多个神经元，并且将输入的像素值传递给中间层。中间层具有用于提取内窥镜图像的图像特征量的多个神经元，并将使用各种参数提取出的图像特征量传递给输出层。例如，当第2已学习模型62是CNN时，中间层具有使用于对从输入层输入的各像素的像素值进行卷积的卷积层与用于对在卷积层中进行卷积的像素值进行映射的池化层交替连接的结构，并在压缩作为对象物的图像区域的像素信息的同时，最终提取图像特征量。输出层具有用于输出表示与病变相关的信息的识别结果的一个或多个神经元，并根据从中间层输出的图像特征量，来输出表示有无病变以及内容的识别信息。
控制部211使用教师数据，来执行中间层中的各种参数的学习，该教师数据将通过内窥镜拍摄检查部而获得的多个图像与各图像中的与检查部的病变相关的信息相对应。例如，如图3所示，教师数据相对于内窥镜图像，被构建标记了有无病变、与病变部位相对应的图像区域的坐标范围、以及病变内容的数据集。控制部211使用对过去所实施的大量检查的图像及诊断结果进行收集的数据来执行学习。数据中还包含诊断为没有病变的状态下的图像。另外，在图4中，用粗线的矩形框示出被标记的图像区域。
控制部211将教师数据中包含的内窥镜的图像输入到输入层，经过中间层中的运算处理，并且从输出层获取表示有无病变以及内容的识别结果。例如，作为从输出层输出的识别结果，控制部211除了内窥镜图像中有无病变之外，还会获取用于识别与病变部位相对应的图像区域以及病变内容的识别结果。控制部211将从输出层输出的识别结果与在教师数据中对图像进行标记的病变相关的信息、即正确答案值进行比较，优化用于在中间层进行运算处理的各种参数，以使来自输出层的输出值接近正确答案值。该参数例如是神经元间的权重、偏差等。各种参数的优化方法并没有特别限定，例如控制部211使用误差反向传播算法来优化各种参数。控制部211对教师数据中所包含的各个图像执行上述处理，并生成第2已学习模型62。
第2已学习模型62也可以是具有与第1已学习模型61相同的结构的已学习模型，第2已学习模型62也可以是具备比第1已学习模型61的层数更多的中间层并且提高了图像识别精度的已学习模型。第2已学习模型62也可以具有比第1已学习模型61更长的处理时间。例如，在第1已学习模型61中，将灰度图像信息提供给输入信息，在第2已学习模型62中，将包含RGB(Red Green Blue)值在内的图像信息提供给输入信息。
另外，在本实施方式中，对第1已学习模型61和第2已学习模型62为CNN的情况进行了说明，然而，第1已学习模型61和第2已学习模型62并不限定于CNN，还可以使用除CNN之外的神经网络。此外，也可以是不使用神经网络的强化学习模型、支持向量机、回归树等由其他学习算法构建的已学习模型。第1已学习模型61和第2已学习模型62还可以是由R-CNN、Faster R-CNN、Mask R-CNN、SSD(Single Shot Multibook Detector)、或YOLO(You OnlyLook Once)等任意物体检测算法构建的已学习模型。具有以下结构：当在输入图像中检测出多个病变部位时，将各个病变部位输入到第1已学习模型61和第2已学习模型62中，并输出识别结果。另外，第1已学习模型61和第2已学习模型62也可以由外部装置生成并安装在内窥镜用处理器20中。
此外，在本实施方式中，说明了将已学习模型应用于第1识别器和第2识别器的例子，但是并不限定于通过内窥镜图像来识别病变的方法。例如，第1识别器和第2识别器也可以计算内窥镜图像的图像特征量，并且通过与预先存储的病变图像进行模式匹配等，来识别内窥镜图像中有无包含病变或内容。
图5是示出控制装置21的结构的功能框图。控制装置21包括控制部211、A/D转换部212、信号处理部213、噪音去除部214。控制部211是用于执行本实施方式中的程序63的运算控制装置，并使用一个或多个CPU或多核CPU等。此外，控制部211通过执行存储在辅助存储装置23中的程序63，来实现显示控制部215和系统控制部216的各个功能。在图5中，将这些部位表示为功能部。
A/D转换部212例如使用A/D转换器。A/D转换部212将通过设置在内窥镜40的前端部443上的摄像元件拍摄的并传送到内窥镜用处理器20的拍摄图像51的电信号转换为数字数据(RAW数据)。拍摄图像51通过运动图像得到，例如由1秒钟60帧等多个帧的静止图像构成。其中，RAW数据是指对从摄像元件得到的模拟信号进行A/D转换后的数据，并且是未执行其他校正的数据。A/D转换部212将拍摄图像51转换为作为RAW数据的原始图像52。另外，A/D转换部212也可以对作为RAW数据的原始图像52仅实施不会产生时间延迟的信号处理。将通过A/D转换部212转换的原始图像52分别输入到第1已学习模型61和信号处理部213中。
信号处理部213是通过使用ASIC等来执行原始图像52的伽马校正、轮廓增强、放大/缩小等各种图像处理的信号处理电路。信号处理部213根据需要执行原始图像52的位数的变更处理，例如执行将由A/D转换部212转换后的10位灰度的原始图像52转换为8位灰度，并变更为适合于后续的图像处理的位数的图像处理。信号处理部213生成执行图像处理后的图像(内窥镜图像53)以便于其处于用户更容易看到的状态下，并输入到显示控制部215中。此外，信号处理部213将为了提高病变的识别精度而执行图像处理后的图像输入到噪音去除部214中。
噪音去除部214是所谓的视频存储器，并且包括用于保持噪音去除前的前一帧和前前一帧的图像的存储器。噪音去除部214根据前一帧和前前一帧的图像之间的差异，来执行去除对象帧图像中的噪音的图像处理。将由信号处理部213和噪音去除部214执行图像处理的图像(处理图像54)输入到第2已学习模型62中。
控制部211通过执行存储在辅助存储装置23中的程序63、或者读出构成第1已学习模型61的实际文件，以作为第1已学习模型61发挥功能。第1已学习模型61根据原始图像52将与有无病变相关的信息输出到显示控制部215中。
控制部211通过执行存储在辅助存储装置23中的程序63、或者读出构成第2已学习模型62的实际文件，以作为第2已学习模型62发挥功能。第2已学习模型62根据处理图像54，将与有无病变以及内容相关的信息输出到显示控制部215中。
显示控制部215获取基于来自第1已学习模型61的输出信息而获得的临时信息和基于来自第2已学习模型62的输出信息而获得的确定信息，并且控制包括临时信息在内的临时信息图像55和包括确定信息在内的确定信息图像56显示在显示装置50上。进一步地，显示控制部215根据来自第1已学习模型61的输出信息，获取与包括原始图像52的病变部位在内的摄像区域的亮度相关的光量信息。当包括病变部位在内的区域的拍摄图像过亮或者过暗时，则在已学习模型中对图像的识别精度可能会降低。显示控制部215根据来自第1已学习模型61的输出信息，导出用于判断原始图像52中的病变部位的亮度的光量信息。将所导出的光量信息输入到系统控制部216中。
系统控制部216读出预先存储的光量控制信息数据库(未图示)，基于所获取的光量信息来确定适当的光量控制信息，将所确定的光量控制信息输出到内窥镜用处理器20的光源33，并控制光源33的光量。通过系统控制部216的控制，根据需要来减少或增加光源33的光量，因此可以获得适当调整了病变部位的亮度的拍摄图像51，并且将调整了病变部位的亮度和色彩的处理图像54输入到第2已学习模型62中。
图6是说明光量信息的调整的说明图。图6的A示出了病变部位包含在右里侧的状态下的图像的一例。一般情况下，显示图像时，图像的跟前侧的区域较为明亮，越靠里侧的区域越暗。因此，当在病变部位位于右里侧的状态下进行拍摄时，如图6的A所示，包含病变部位在内的区域显示得较暗，有可能在第1识别器中能够识别，但是在第2识别器中无法得到高精度的识别结果。在这种情况下，控制部211基于图像信息来获取用于表示亮度低的光量信息，并确定基于所获取的光量信息的光量控制信息。控制部211根据所确定的光量控制信息，例如将使光量增加到预定值的控制信息输出到光源33中。
图6的B示出了基于光量信息进行调整后的且病变部位包含在右里侧的状态下的图像的一例。如上所述，当光源33的光量增加时，如图6的B所示，得到包括病变部位在内的区域较明亮的状态下的图像。识别器可以根据调整病变部位的亮度和色彩后的图像进行判断。
图6的C示出了病变部位包含在跟前侧的状态下的图像的一例。在图6的C所示的示例中，病变部位包含在跟前侧中，并且病变内部的一部分产生由光量过多引起的光晕。如图6的C所示，当图像产生光晕时，有可能在第1识别器中能够识别，但是在第2识别器中无法得到高精度的识别结果。在这种情况下，控制部211基于图像信息来获取用于表示亮度高的光量信息，并确定基于所获取的光量信息的光量控制信息。控制部211根据所确定的光量控制信息，例如将使光量降低到预定值的控制信息输出到光源33中。如此一来，可以通过适当地调整光量来降低图像整体的亮度，即使在病变部位位于跟前的情况下，也能够获得在关注区域中不产生光晕的图像。
图7是示意性地说明诊断支持系统10的操作的时序图。横轴表示时间。图7的A示出了通过摄像元件141输出拍摄图像51的时序。图7的B示出了通过A/D转换部212的图像处理来输出原始图像52的时序。图7的C示出了第1识别器(第1已学习模型61)基于原始图像52输出临时信息的时序。图7的D示出了通过信号处理部213的图像处理来输出执行处理后的图像的时序。图7的E示出了通过噪音去除部214的图像处理来输出处理图像54的时序。图7的F示出了第2识别器(第2已学习模型62)基于处理图像54输出确定信息的时序。
在时间t1，由摄像元件141输出拍摄图像51的“a”帧。A/D转换部212执行A/D转换处理，并在时间t1输出“a”的原始图像52。在时间t2，控制部211将原始图像52输入到第1已学习模型61中，并输出包括识别结果在内的临时信息。控制部211将临时信息图像55显示在显示装置50上，并输出光量信息。此外，在时间t2，信号处理部213执行图像处理，并输出实施“a”的图像处理后的图像。在时间t3，噪音去除部214执行图像处理，并输出“a”的处理图像54。在时间t4，控制部211将处理图像54输入到第2已学习模型62中，并输出包括识别结果在内的确定信息。控制部211将确定信息图像56显示在显示装置50上。由此，对摄像元件141拍摄的1帧图像的处理完成。同样地，在时间t2，由摄像元件141输出“b”帧。之后的操作相同，因此省略其说明。
在图7所示的示例中，从摄像元件141的输出延迟1帧后，输出临时信息，从临时信息的输出再延迟2帧后输出确定信息。由于来自第1识别器的输出可以与信号处理部213的输出同时得到，因此用户几乎不会感到延迟地就可以得到临时信息。由于来自第2识别器的输出比从摄像元件的输出延迟3帧，因此将1帧周期设为例如33ms，则延迟约0.1秒，因此用户有可能会感到一些延迟。
另外，在时间t2接收光量信息的输出并进行光量的调整时，进一步延迟确定信息的输出后而得到。例如，当接收到“a”的第1已学习模型61的输出信息并在时间t3输出光量信息以控制光源时，在时间t4输出的“d”的帧相当于基于“a”被控制为适当的光量的帧。因此，在时间t7，从摄像元件的输出延迟6帧后输出确定信息，该确定信息进行了光量调整。
说明与内窥镜用处理器20连接的内窥镜40的功能的概略。在观测器用连接器48、光导可挠管49、操作部43和插入部44的内部，插入有纤维束、线缆束、供气管和供水管等。从光源33射出的照明光经由光学连接器312及纤维束，从设置在前端部443上的照明窗发射。
利用设置在前端部443上的摄像元件拍摄由照明光照射的范围。从摄像元件经由线缆束及电连接器311向内窥镜用处理器20传送拍摄图像51。
控制部211对拍摄图像51实施图像处理，并且生成用户容易看到并容易发现病变的内窥镜图像53。控制部211通过第1已学习模型61的识别结果生成包括临时信息在内的临时信息图像55。控制部211通过第2已学习模型62的识别结果生成包括确定信息在内的确定信息图像56。控制部211将内窥镜图像53、临时信息图像55以及确定信息图像56输出到显示装置50中。
图8是示出在显示装置50上显示的画面示例的图。图8的A示出了内窥镜图像53的显示画面的一例。在内窥镜检查期间，实时更新内窥镜图像53。操作内窥镜40的用户一边观察内窥镜图像53，一边操作内窥镜40。
图8的B示出了临时信息图像55的显示画面的一例。在图8的B的示例中，临时信息图像55是在内窥镜图像53上叠加并显示临时信息的图像。临时信息是基于第1已学习模型61的识别结果而获得的信息，包括图像区域内有无病变以及位置的识别结果。临时信息以用户可识别的形式显示在显示装置50上。在图8的B的示例中，通过用虚线的边框表示的临时标记551来显示临时信息，该临时标记包括通过第1已学习模型61识别为病变的区域。
图8的C示出了确定信息图像56的第1示例的显示画面的一例。在图8的C的示例中，确定信息图像56是在内窥镜图像53上叠加并显示确定信息的图像。确定信息是基于第2已学习模型62的识别结果而获得的信息，包括图像区域内的病变内容和位置的识别结果。确定信息以用户可识别的方式显示在显示装置50上。在图8的C的示例中，通过用粗线的边框表示的确定标记561来显示确定信息，该确定标记包括通过第2已学习模型62识别为病变的区域。所显示的确定信息也可以包含表示病变的内容的文本等。
图8的D示出了确定信息图像56的第2示例的显示画面的一例。在图8的D的示例中，确定信息图像56是在内窥镜图像53上叠加并显示确定信息的图像。确定信息使用由实线的边框表示的确定标记562以及表示识别结果的内容的文本(“Neoplastic”等)来显示，该确定标记包括通过第2已学习模型62识别为病变(良性)的区域。边框由双重矩形框表示。如图8的D所示，在由第1识别器临时识别为病变的区域中，由第2识别器获得包括无病变或良性病变等识别结果的确定信息时，控制部211显示确定信息图像56，该确定信息图像包括删除临时标记551的信息、或者显示表示病变部位为良性的确定标记562以及文本等的信息。
优选地，确定标记561、562可以根据病变的内容(良性或恶性)，以不同的颜色或形状进行显示。例如，当病变部位为良性时可以用绿色标记显示确定信息，当病变部位为恶性时用红色标记显示确定信息，也可以当病变部位为良性时用圆形标记来显示确定信息，当病变部位为恶性时用四边形形状标记来显示确定信息。确定信息除了使用确定标记来显示以外，也可以以通过合成语音读出文本的方式来输出，或者也可以使用与病变内容相对应的不同的音乐等来输出。另外，当确定信息图像56中包含用于表示多个病变部位的确定标记561、562时，例如也可以根据病变部位的数量来输出使频率、节拍或输出频率等发生变化的蜂鸣音、音乐等。此外，也可以使用包含用于表示确定标记的数量的数值进行显示，该确定标记用于表示病变部位。
图9是示出由诊断支持系统10执行的处理步骤的一例的流程图。图9所示的流程图记载了由内窥镜用处理器20的控制部211、A/D转换部212、信号处理部213以及噪音去除部214执行的处理。控制部211等与内窥镜图像53的生成、光源33以及配置在内窥镜40的前端部443上的摄像元件的控制等处理并行地执行图9中所示的处理。
A/D转换部212从内窥镜40获取拍摄图像51(步骤S11)。A/D转换部212对所获取的拍摄图像51执行A/D转换(步骤S12)，并生成原始图像52。控制部211将原始图像52提供给第1已学习模型61(步骤S21)，并确定所输出的输出信息(步骤S22)。控制部211基于所确定的输出信息将临时信息临时存储在辅助存储装置23中。控制部211生成用于在内窥镜图像53上叠加并显示临时信息的临时信息图像55，并将包括临时信息在内的临时信息图像55显示在显示装置50上(步骤S23)。例如，显示在病变部位表示临时标记的确定信息图像。
控制部211等生成子进程，并且与步骤S21以后的处理并行地执行步骤S41的处理。信号处理部213对原始图像52执行各种图像处理(步骤S41)。噪音去除部214对执行了图像处理的图像执行噪音去除(步骤S42)，并生成处理图像54。
控制部211将处理图像54提供给第2已学习模型62(步骤S43)，并确定所输出的输出信息(步骤S44)。控制部211基于所确定的输出信息将确定信息临时存储在辅助存储装置23中。控制部211生成用于在内窥镜图像53上叠加并显示确定信息的确定信息图像56，并将包括确定信息在内的确定信息图像56显示在显示装置50上(步骤S45)。例如，当第1已学习模型61的临时信息和第2已学习模型62的确定信息包含针对病变的相同识别结果时，控制部211代替包含表示临时标记551的病变部位在内的临时信息图像55，显示用于表示确定标记561的确定信息图像56。此外，当第1已学习模型61的临时信息和第2已学习模型62的确定信息包含不同内容时，控制部211代替包含表示临时标记551的病变部位在内的临时信息图像55，显示删除了用于显示在病变部位上的临时标记551的确定信息图像56。
控制部211在步骤S23的处理后，获取与包括原始图像52的病变部位在内的摄像区域的图像的亮度相关的光量信息(步骤S24)。控制部211根据光量信息，判断是否控制光源33的光量(步骤S25)。例如，当包括原始图像52的病变部位在内的摄像区域的亮度在预先设定的阈值范围内时，由于病变部位的亮度适当，因此判断为不需要光量控制。当判断为不需要光量控制时(步骤S25：NO)，控制部211跳过光量控制处理，进入步骤S13进行处理。
另一方面，当包括原始图像52的病变部位在内的摄像区域的亮度为预先设定的阈值以上或阈值以下时，判断为病变部位过亮或过暗，因此需要进行光量控制。当判断为需要进行光量控制时(步骤S25：YES)，控制部211参照预先存储的光量控制信息数据库，并获取与光量信息相对应的光量控制信息(步骤S26)。控制部211将所获取的光量控制信息输出到内窥镜用处理器20的光源33(步骤S27)。控制光源33的光量。
控制部211判断拍摄是否结束(步骤S13)。当判断为拍摄尚未结束时(步骤S13：NO)，控制部211使处理返回到步骤S11，并获取新的拍摄图像。当判断为摄影已结束时(步骤S13：YES)，控制部211等结束一系列的处理。另外，控制部211等也可以在步骤S13的处理后进行步骤S11的循环处理。
如此一来，在诊断支持系统10中，首先由第1识别器(第1已学习模型61)输出临时信息。通过将用于对来自摄像元件141的模拟信号进行A/D转换后的RAW数据(原始图像52)直接输入到第1识别器，从而缩短检测时间延迟，并提高检查的实时性能。接下来，通过第2识别器(第2已学习模型62)输出确定信息。通过向识别精度高的第2识别器输入实施了预处理的图像，可以提高识别精度，并且提高可靠度。
(实施方式2)
在实施方式2中，基于光量信息而获得的光量控制信息代替内窥镜用处理器20的光源33而输出到第1信号处理部中。图10是示出实施方式2中的控制装置21的结构的功能框图。实施方式2中的诊断支持系统10的结构除了在控制装置21中具备第1信号处理部218和第2信号处理部219这一点、以及诊断支持系统10执行的处理的详细内容不同这一点以外，其他部分与实施方式1中的结构相同，因此对共同的结构标注相同的附图标记，并省略其详细说明。
在实施方式2中，系统控制部216获取从显示控制部215输出的光量信息，读出预先存储的光量控制信息数据库(未图示)，并获取包括适合原始图像52的图像处理的参数信息在内的光量控制信息。系统控制部216将光量控制信息输出到第1信号处理部218。在实施方式2中，根据原始图像52的亮度，代替实施方式1的光源33的光量控制，通过对原始图像52实施图像处理，来调整输入到第2已学习模型62的处理图像54中所包含的病变部位的亮度，并提高图像的识别精度。即，在实施方式2中的光量控制信息中，包含与对应于图像亮度的信号处理电路的参数控制相关的信息。
第1信号处理部218是通过使用ASIC等来执行原始图像52的放大/缩小、位数的变更等各种图像处理的信号处理电路。进一步地，第1信号处理部218根据从系统控制部216输出的光量控制信息，变更各种信号处理的参数，并且执行用于适当地调整原始图像52的亮度的图像处理。第1信号处理部218将为了提高病变的识别精度而执行图像处理后的图像输入到噪音去除部214中。
第2信号处理部219是通过使用ASIC等来执行原始图像52的伽马校正、轮廓增强等各种图像处理的信号处理电路。第2信号处理部219生成执行了使用户更容易看到的图像处理后的图像(内窥镜图像53)，并输入到显示控制部215中。
图11是示出由实施方式2中的诊断支持系统10执行的处理步骤的一例的流程图。图11所示的流程图记载了由内窥镜用处理器20的控制部211、A/D转换部212、第1信号处理部218、第2信号处理部219以及噪音去除部214执行的处理。对于与实施方式1的图9相同的处理赋予相同的步骤编号，并省略其详细说明。
A/D转换部212从内窥镜40获取拍摄图像51(步骤S11)，对所获取的拍摄图像51执行A/D转换(步骤S12)，并生成原始图像52。控制部211将原始图像52提供给第1已学习模型61(步骤S21)，并确定所输出的输出信息(步骤S22)。控制部211基于所确定的输出信息将临时信息临时存储在辅助存储装置23中。控制部211生成用于在内窥镜图像53上叠加并显示临时信息的临时信息图像55，并将包括临时信息在内的临时信息图像55显示在显示装置50上(步骤S23)。
控制部211获取与包括原始图像52的病变部位在内的摄像区域的图像亮度相关的光量信息(步骤S24)。控制部211根据光量信息，判断是否控制原始图像52的光量(步骤S25)。例如，当包括原始图像52的病变部位在内的摄像区域的亮度在预先设定的阈值范围内时，由于病变部位的亮度适当，因此判断为不需要光量控制。当判断为不需要光量控制时(步骤S25：NO)，控制部211跳过光量控制处理，进入步骤S13进行处理。
另一方面，当包括原始图像52的病变部位在内的摄像区域的亮度为预先设定的阈值以上或阈值以下时，判断为病变部位过亮或过暗，因此需要进行光量控制。当判断为需要进行光量控制时(步骤S25：YES)，控制部211参照预先存储的光量控制信息数据库，并获取与光量信息相对应的光量控制信息(步骤S261)。控制部211将所获取的光量控制信息输出到第1信号处理部218中(步骤S271)。
控制部211等生成子进程，并且与步骤S21以后的处理并行地执行步骤S411的处理。控制部211等也可以通过在这2个进程中执行进程间通信来实现处理的同步。第1信号处理部218获取从控制部211输出的光量控制信息，并判断是否变更信号处理电路的参数(步骤S411)。当判断为不需要变更参数时(步骤S411：YES))，第1信号处理部218跳过参数变更的处理，进入下一步骤S41进行处理。
另一方面，当判断为需要变更参数时(步骤S411：NO)，第1信号处理部218根据光量控制信息来变更信号处理电路的参数(步骤S412)，并且根据变更后的参数对原始图像52进行各种图像处理(步骤S41)。噪音去除部214对执行了图像处理的图像执行噪音去除(步骤S42)，并生成处理图像54。将包括处理图像54的病变部位在内的摄像区域调整为适当的亮度。
控制部211将处理图像54提供给第2已学习模型62(步骤S43)，并确定所输出的输出信息(步骤S44)。控制部211基于所确定的输出信息将确定信息临时存储在辅助存储装置23中。控制部211生成用于在内窥镜图像53上叠加并显示确定信息的确定信息图像56，并将包括确定信息在内的确定信息图像56显示在显示装置50上(步骤S45)。
控制部211判断拍摄是否结束(步骤S13)。当判断为拍摄尚未结束时(步骤S13：NO)，控制部211使处理返回到步骤S11，并获取新的拍摄图像。当判断为摄影已结束时(步骤S13：YES)，控制部211等结束一系列的处理。
根据本实施方式，通过利用第1识别器的输出信号进行信号处理电路的参数控制，将执行更适当的预处理后的图像输入到第2识别器中。可以在不进行光源33控制的情况下，提高第2识别器的识别精度。
(实施方式3)
在实施方式3中，噪音去除部214和第2已学习模型62的内容不同，在第2已学习模型62中执行噪音去除。实施方式2中的诊断支持系统10的结构除了噪音去除部214和第2已学习模型62的内容不同这一点以外，其他部分与实施方式1和实施方式2中的结构相同，因此对共同的结构标注相同的附图标记，并省略其详细说明。
实施方式3中的噪音去除部214保持噪音去除前的前一帧和前前一帧的图像。噪音去除部214并不进行与噪音去除相关的图像处理，而将所保存的该帧图像、前一帧图像以及前前一帧图像输入到第2已学习模型62。
图12是与实施方式3中的第2已学习模型62相关的说明图。控制部211是基于教师数据进行学习，并构建(生成)用于将时间序列的多个内窥镜图像作为输入、将去除噪音后的时间序列中的最后一个内窥镜图像中有无病变以及内容的识别结果作为输出的神经网络，其中，该教师数据将未去除时间序列的多个噪音的内窥镜图像与去除噪音后的时间序列中的最后一个内窥镜图像中有无病变和内容的识别结果相对应。
输入层具有按时间序列接受多个内窥镜图像的单个或多个神经元，将所输入的多个内窥镜图像传递到中间层。中间层形成有在CNN的卷积层和池化层之后连接自回归层的多层结构。自回归层例如作为LSTM(Long Short Term Memory/长期短期存储)模型进行安装，包括这样的自回归层在内的神经网络被称为RNN(递归型神经网络)。通过卷积层和池化层，提取按时间序列输入的各个内窥镜图像的特征量。自回归层输出所提取的各个特征量的变化量。输出层具有一个或多个神经元，并且根据从中间层输出的各个内窥镜图像的特征量的变化量，生成并输出执行噪音去除后的时间序列中的最后一个内窥镜图像中有无病变以及内容的识别结果。例如，通过组合误差反向传播算法((Backpropagation)和BPTT(Backpropagation Through Time)来执行对形成CNN和RNN的连接结构的神经网络的学习。另外，图12所示的第2已学习模型62的结构是一例，本实施方式并不限定于此。
通过已学习模型237去除的噪音中包含各种噪音。噪音的第1示例是从摄像元件获得的拍摄图像51中所包含的所谓杂音等噪音。噪音的第2示例是处理图像54中所包含的气泡等异物。例如，当处理图像54中包含气泡时，由于形状和病变部位近似，因此有可能将其错误地识别为病变部位。这些异物与病变部位不同，会发生移动、消失等变化。
根据本实施方式，通过第2识别器来识别包含噪音相关信息在内的与病变部位相关的信息。通过已学习模型237来执行噪音去除，可以进一步提高识别精度。
(实施方式4)
在实施方式4中，将执行相同图像处理后的图像输入到第1已学习模型61和第2已学习模型62中。图13是示出实施方式4中的控制装置21的结构的功能框图。实施方式4中的诊断支持系统10的结构除了诊断支持系统10执行的处理的详细内容不同这一点以外，其他部分与实施方式1中的结构相同，因此对共同的结构标注相同的附图标记，并省略其详细说明。
如图13所示，在实施方式3中，拍摄图像51通过A/D转换部212执行A/D转换，通过信号处理部213执行伽马校正、轮廓增强、放大/缩小等各种图像处理。将执行各种图像处理的图像分别输入到第1已学习模型61和第2已学习模型62中。另外，对于分别输入到第1已学习模型61和第2已学习模型62中的图像，在通过信号处理部213执行图像处理之后，还可以在未图示的噪音去除部中执行噪音去除等图像处理。
第1已学习模型61和第2已学习模型62是具有不同层数的学习模型。第1已学习模型61和第2已学习模型62以执行相同预处理的图像信息作为输入。第2已学习模型62具有中间层的层数比第1已学习模型61多且识别精度高的结构。与实施方式1和实施方式2相同，从第1已学习模型61中输出用于识别有无病变部位的临时信息。从第2已学习模型62输出用于识别有无病变部位以及内容的确定信息。
在实施方式4中，内窥镜用处理器20的控制部211与实施方式1相同，根据从第1已学习模型61输出的图像的光量信息，将光量控制信息输出到光源33中。通过光量控制信息来控制光源33的光量。在第1已学习模型61和第2已学习模型62中，输入将包括病变部位在内的摄像区域调整为适当的亮度后拍摄的图像。另外，控制部211与实施方式2相同，也可以将光量控制信息输出到信号处理部213中，并调整图像的亮度。
(实施方式5)
在实施方式5中，临时信息以及确定信息的通知方式与实施方式1不同。实施方式5中的诊断支持系统10的硬件结构与实施方式1相同，因此对共同的结构标注相同的附图标记，并省略其详细说明。
图14是示出实施方式5中的控制装置21的结构的功能框图。实施方式5中的诊断支持系统10的控制部211通过执行存储在辅助存储装置23中的程序63来实现通知信息控制部2151的功能。
临时信息和确定信息并不限定于使用标记等与图像一起输出的信息，例如也可以通过合成语音、蜂鸣音、音乐、振动等来输出。通知信息控制部2151根据基于由显示控制部215获取的来自第1已学习模型61的输出信息而获得的临时信息和基于来自第2已学习模型62的输出信息而获得的确定信息，生成包括临时信息在内的临时通知信息和包括确定信息在内的确定通知信息。
在这种情况下，通知信息控制部2151通过使用不同的蜂鸣音、音乐、合成语音、振动模式等，以不同的通知模式来生成临时通知信息和确定通知信息，以使得通知对象可以区分临时信息和确定信息。例如，通知信息控制部2151使用第1蜂鸣音来通知临时通知信息，并且使用与第1蜂鸣音不同的第2蜂鸣音来通知用户确定通知信息。通知信息控制部2151可以通过改变声音模式和振动模式的组合，以可区分的方式来通知临时通知信息和确定通知信息。例如，在临时信息中输出无病变信息之后，确定信息中输出存在病变的情况下，即，当临时信息与确定信息不一致时，通知信息控制部2151可以通过使用第3蜂鸣音等其它不同的通知模式，以可区分的方式来通知用户。当在临时信息中输出存在病变的信息之后，确定信息中输出无病变时，通知信息控制部2151可以使用第4蜂鸣音等通知方式，以可区分的方式来通知用户，该第4蜂鸣音用于表示作为确定通知信息已取消存在病变的信息。通知信息控制部2151参照与通知模式相关联地存储临时信息和确定信息的表格，来生成临时通知信息以及确定通知信息。
通知信息控制部2151通过经由外部装置501输出所生成的临时通知信息和确定通知信息来通知用户。外部装置501例如包括设置在内窥镜用处理器20上的扬声器、设置在内窥镜40上的振动产生装置等。外部装置501例如也可以包括内窥镜40的用户所使用的智能手机上配备的扬声器、振动产生装置等。基于显示控制部215的控制，通知信息控制部2151与用于显示确认了病变的内窥镜图像53的帧的时间点相关联，并从外部装置501输出与该内窥镜图像53的帧相关的临时通知信息和确定通知信息。即，用户可以与针对该病变部位的临时通知信息和确定通知信息相对应地对显示在显示装置50上的内窥镜图像53中的病变部位进行确认。另外，输出临时通知信息和确定通知信息的时序并不限定于由显示控制部215控制的时序，还可以是由通知信息控制部2151控制的时序。
根据本实施方式，并不将通知信息叠加在内窥镜图像53上，而是使用作为其他通知单元的扬声器、振动发生器等来通知医生等用户，由此可以提高内窥镜图像53的可视性。
另外，应该理解的是，上述公开的实施方式在所有方面均为例示性的，而非限制性的。可以相互组合各个实施例中所记载的技术特征，并且旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明范围内。
符号说明
10 诊断支持系统
20 内窥镜用处理器
21 控制装置
211 控制部
212 A/D转换部
213 信号处理部
214 噪音去除部
215 显示控制部
2151 通知信息控制部
218 第1信号处理部
219 第2信号处理部
22 主存储装置
23 辅助存储装置
33 光源
40 内窥镜
50 显示装置
501 外部装置
51 拍摄图像
52 原始图像
53 内窥镜图像
54 处理图像
55 临时信息图像
56 确定信息图像
61 第1已学习模型
62 第2已学习模型
63 程序
141 摄像元件。

Claims (12)

1.一种计算机程序，其由计算机执行以下处理：
获取由内窥镜拍摄的图像，
将由所述内窥镜拍摄的图像输入到根据图像来识别病变部位的第1识别器和根据图像以比所述第1识别器高的识别精度来识别病变部位的第2识别器中，
获取包括所述第1识别器所识别的识别结果在内的临时信息，
输出包括所获取的所述临时信息在内的图像，
获取与包括所述第2识别器所识别的识别结果在内的所述临时信息相对应的确定信息，
以及输出包括所获取的所述确定信息在内的图像。
2.根据权利要求1所述的计算机程序，其中，
根据所述确定信息，从包括所述临时信息在内的图像中删除所述临时信息。
3.根据权利要求1或2所述的计算机程序，其中，
将通过用于从所述内窥镜的摄像元件中获得的电信号转换为RAW数据的转换器转换后的图像输入到所述第1识别器中。
4.根据权利要求1至3中任意一项所述的计算机程序，其中，
将通过用于从所述内窥镜的摄像元件中获得的电信号转换为RAW数据的转换器、信号处理部、以及噪音去除部执行处理后的图像输入到所述第2识别器中。
5.根据权利要求1至4中任意一项所述的计算机程序，其中，
获取与包括由所述第1识别器识别的所述病变部位在内的图像的所述病变部位的摄像区域的亮度相关的光量信息，
将根据所获取的所述光量信息执行预定处理后的图像输入到所述第2识别器中。
6.根据权利要求5所述的计算机程序，其中，
所述预定处理包括根据所述光量信息控制从所述内窥镜的光源所照射的光量。
7.根据权利要求5所述的计算机程序，其中，
所述预定处理包括信号处理电路的参数控制、γ校正、轮廓增强和噪音去除中的至少一个。
8.一种内窥镜用处理器，其具备：
存储部，其用于存储权利要求1至7中任意一项所述的计算机程序；
以及控制部，其用于从所述存储部读出并执行所述计算机程序。
9.一种信息处理方法，其包括以下处理：
获取由内窥镜拍摄的图像，
将由所述内窥镜拍摄的图像输入到根据图像来识别病变部位的第1识别器和根据图像以比所述第1识别器高的识别精度来识别病变部位的第2识别器中，
获取包括所述第1识别器所识别的识别结果在内的临时信息，
输出包括所获取的所述临时信息在内的图像，
获取与包括所述第2识别器所识别的识别结果在内的所述临时信息相对应的确定信息，
以及输出包括所获取的所述确定信息在内的图像。
10.一种内窥镜用处理器，其具备：
第1获取部，其用于获取由内窥镜拍摄的图像；
输入部，其用于将由所述内窥镜拍摄的图像输入到根据图像来识别病变部位的第1识别器和根据图像以比所述第1识别器高的识别精度来识别病变部位的第2识别器中；
第2获取部，其用于获取包括所述第1识别器所识别的识别结果在内的临时信息；
第1输出部，其用于输出包括所获取的所述临时信息在内的图像；
第3获取部，其用于获取与包括所述第2识别器所识别的识别结果在内的所述临时信息相对应的确定信息；
以及第2输出部，其用于输出包括所获取的所述确定信息在内的图像。
11.一种信息处理方法，其包括以下处理：
获取由内窥镜拍摄的图像，
将由所述内窥镜拍摄的图像输入到根据图像来识别病变部位的第1识别器和根据图像以比所述第1识别器高的识别精度来识别病变部位的第2识别器中，
通知包括所述第1识别器所识别的识别结果在内的临时信息，
以与所述临时信息的通知方式不同的方式，来通知与包括所述第2识别器所识别的识别结果在内的所述临时信息相对应的确定信息。
12.一种内窥镜用处理器，其具备：
获取部，其用于获取由内窥镜拍摄的图像；
输入部，其用于将由所述内窥镜拍摄的图像输入到根据图像来识别病变部位的第1识别器和根据图像以比所述第1识别器高的识别精度来识别病变部位的第2识别器中；
第1通知部，其用于通知包括所述第1识别器所识别的识别结果在内的临时信息；
以及第2通知部，其用于以与所述临时信息的通知方式不同的方式，来通知与包括所述第2识别器所识别的识别结果在内的所述临时信息相对应的确定信息。
CN202080006626.7A 2019-07-18 2020-07-07 计算机程序、信息处理方法以及内窥镜用处理器 Active CN113168699B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019133163 2019-07-18
JP2019-133163 2019-07-18
PCT/JP2020/026525 WO2021010225A1 (ja) 2019-07-18 2020-07-07 コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ

Publications (2)

Publication Number Publication Date
CN113168699A true CN113168699A (zh) 2021-07-23
CN113168699B CN113168699B (zh) 2023-07-25

Family

ID=74210642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080006626.7A Active CN113168699B (zh) 2019-07-18 2020-07-07 计算机程序、信息处理方法以及内窥镜用处理器

Country Status (4)

Country Link
US (1) US11937767B2 (zh)
JP (1) JP7304951B2 (zh)
CN (1) CN113168699B (zh)
WO (1) WO2021010225A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3901903B1 (en) * 2020-04-23 2023-06-14 Siemens Healthcare GmbH Classifying a lesion based on longitudinal studies
JP7488789B2 (ja) * 2021-05-12 2024-05-22 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法
JP2023044308A (ja) * 2021-09-17 2023-03-30 Hoya株式会社 コンピュータプログラム、情報処理方法及び内視鏡
WO2024084578A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104072A (ja) * 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
CN104102898A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 识别器更新装置、信息处理装置及识别器更新方法
CN104335580A (zh) * 2012-06-14 2015-02-04 奥林巴斯株式会社 图像处理装置和立体图像观察系统
US20150125047A1 (en) * 2013-11-01 2015-05-07 Sony Computer Entertainment Inc. Information processing device and information processing method
CN107153833A (zh) * 2016-03-03 2017-09-12 富士胶片株式会社 图像处理装置及其工作方法
JP2017213058A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム
CN108416744A (zh) * 2018-01-30 2018-08-17 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4171833B2 (ja) * 2002-03-19 2008-10-29 国立大学法人東京工業大学 内視鏡誘導装置および方法
WO2017175282A1 (ja) 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2019054045A1 (ja) 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
JP6949999B2 (ja) * 2017-12-26 2021-10-13 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11104072A (ja) * 1997-10-03 1999-04-20 Mitsubishi Electric Corp 医療支援システム
JP2011087793A (ja) * 2009-10-23 2011-05-06 Hoya Corp 電子内視鏡用プロセッサ
CN104335580A (zh) * 2012-06-14 2015-02-04 奥林巴斯株式会社 图像处理装置和立体图像观察系统
CN104102898A (zh) * 2013-04-15 2014-10-15 欧姆龙株式会社 识别器更新装置、信息处理装置及识别器更新方法
US20150125047A1 (en) * 2013-11-01 2015-05-07 Sony Computer Entertainment Inc. Information processing device and information processing method
CN104615234A (zh) * 2013-11-01 2015-05-13 索尼电脑娱乐公司 信息处理设备以及信息处理方法
CN107153833A (zh) * 2016-03-03 2017-09-12 富士胶片株式会社 图像处理装置及其工作方法
JP2017213058A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム
CN108416744A (zh) * 2018-01-30 2018-08-17 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
JPWO2021010225A1 (ja) 2021-12-02
CN113168699B (zh) 2023-07-25
WO2021010225A1 (ja) 2021-01-21
JP7304951B2 (ja) 2023-07-07
US11937767B2 (en) 2024-03-26
US20210393109A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
CN113168699B (zh) 计算机程序、信息处理方法以及内窥镜用处理器
US11907849B2 (en) Information processing system, endoscope system, information storage medium, and information processing method
US9723971B2 (en) Image processing apparatus, method, and program
US11457876B2 (en) Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region
JP6704095B1 (ja) プログラム、情報処理方法及び情報処理装置
JP6744175B2 (ja) 医用画像表示装置及び読影レポート作成支援装置
JPWO2021024301A1 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
US20220222840A1 (en) Control device, image processing method, and storage medium
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
WO2021140644A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及びコンピュータ読み取り可能な記録媒体
JP6994582B2 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
US20240138651A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
JPH119547A (ja) 内視鏡システム
US20240122444A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US20240087723A1 (en) Program, information processing method, and information processing device
US20220351396A1 (en) Medical image data creation apparatus for training, medical image data creation method for training and non-transitory recording medium in which program is recorded
US20240127531A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
WO2024095673A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
US20240135642A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
CN117398042B (zh) 一种ai辅助检测的3d内窥镜系统及成像方法
US20220375089A1 (en) Endoscope apparatus, information processing method, and storage medium
WO2023144936A1 (ja) 画像判定装置、画像判定方法、及び、記録媒体
WO2023089716A1 (ja) 情報表示装置、情報表示方法、及び、記録媒体
WO2021153437A1 (ja) 内視鏡用プロセッサ、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant