CN112399816A - 信息处理装置和模型生成方法 - Google Patents

信息处理装置和模型生成方法 Download PDF

Info

Publication number
CN112399816A
CN112399816A CN201980043891.XA CN201980043891A CN112399816A CN 112399816 A CN112399816 A CN 112399816A CN 201980043891 A CN201980043891 A CN 201980043891A CN 112399816 A CN112399816 A CN 112399816A
Authority
CN
China
Prior art keywords
model
diagnosis
prediction
endoscopic image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980043891.XA
Other languages
English (en)
Other versions
CN112399816B (zh
Inventor
牧野贵雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to CN202410051899.3A priority Critical patent/CN117814732A/zh
Priority claimed from PCT/JP2019/044578 external-priority patent/WO2020116115A1/ja
Publication of CN112399816A publication Critical patent/CN112399816A/zh
Application granted granted Critical
Publication of CN112399816B publication Critical patent/CN112399816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供一种信息处理装置等，其用于提示与疾病相关的判断结果以及判断理由。信息处理装置具备：图像获取部，其用于获取内窥镜图像(49)；第1获取部，其用于向当输入了内窥镜图像(49)时输出与疾病的诊断标准相关的诊断标准预测的第1模型(61)中，输入所述图像获取部获取的内窥镜图像(49)，并获取所输出的诊断标准预测；以及输出部，其用于将所述第1获取部获取的诊断标准预测与基于所述内窥镜图像(49)获取的与所述疾病的状态相关的诊断预测进行关联并输出。

Description

信息处理装置和模型生成方法
技术领域
本发明涉及一种信息处理装置和模型生成方法。
背景技术
本发明提出一种图像处理装置，其用于执行内窥镜图像等的纹理分析，并且执行与病理诊断相对应的分类。通过使用这种诊断支持技术，即使是没有高度专业知识和经验的医生也可以迅速做出诊断。
现有技术文献
专利文献
专利文献1日本特开2017-70609号公报
发明内容
发明所要解决的课题
但是，根据专利文献1的图像处理装置的分类对于用户来说是黑匣子。因此，对于所输出的分类，用户并非总是能理解并认可其分类的理由。
例如，已知在溃疡性大肠炎(UC:Ulcerative Colitis)中，观看相同内窥镜图像的专业医生之间的判断可能会有所不同。在这种疾病的情况下，对于使用诊断支持技术而做出的判断结果，可能无法使作为用户的医生认可。
一方面，本发明的目的在于提供一种信息处理装置等，其用于提示与疾病相关的判断结果以及判断理由。
用于解决课题的方案
信息处理装置具备：图像获取部，其用于获取内窥镜图像；第1获取部，其用于向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入所述图像获取部获取的内窥镜图像，并获取所输出的诊断标准预测；以及输出部，其用于将所述第1获取部获取的诊断标准预测与基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
发明效果
本发明可以提供一种信息处理装置等，其用于提示有助于与疾病诊断相关的判断结果和判断的区域。
附图说明
[图1]是说明诊断支持系统的概要的说明图。
[图2]是说明诊断支持系统的配置的说明图。
[图3]是说明第1评分学习模型的配置的说明图。
[图4]是说明第2模型的配置的说明图。
[图5]是示意性地说明诊断支持系统的操作的时序图。
[图6]是说明程序的处理流程的流程图。
[图7]是说明第1变形例中的诊断支持系统的概要的说明图。
[图8]是说明第2变形例中的画面显示的说明图。
[图9]是说明第3变形例中的画面显示的说明图。
[图10]是示意性地说明第4变形例中的操作的时序图。
[图11]是说明用于生成模型的处理的概要的说明图。
[图12]是说明模型生成系统的配置的说明图。
[图13]是说明教师数据DB的记录布局的说明图。
[图14]是说明教师数据输入画面的说明图。
[图15]是说明教师数据输入画面的说明图。
[图16]是说明用于生成学习模型的程序的处理流程的流程图。
[图17]是说明用于更新学习模型的程序的处理流程的流程图。
[图18]是说明用于收集教师数据的程序的处理流程的流程图。
[图19]是说明实施方式3中的诊断支持系统的概要的说明图。
[图20]是说明从第2模型获取的特征量的说明图。
[图21]是说明特征量与评分之间的转换的说明图。
[图22]是说明特征量DB的记录布局的说明图。
[图23]是说明用于创建转换器的程序的处理流程的流程图。
[图24]是说明实施方式3中的内窥镜检查时的程序的处理流程的流程图。
[图25]是说明实施方式4中的诊断支持系统的概要的说明图。
[图26]是说明实施方式4中的内窥镜图像和评分之间的转换的说明图。
[图27]是说明用于创建实施方式4中的转换器的程序的处理流程的流程图。
[图28]是说明实施方式4中的内窥镜检查时的程序的处理流程的流程图。
[图29]是说明实施方式5中的诊断支持系统的概要的说明图。
[图30]是说明实施方式6中的第1评分学习模型的配置的说明图。
[图31]是说明实施方式6中的画面显示的说明图。
[图32]是说明实施方式7中的画面显示的说明图。
[图33]是说明实施方式8中的诊断支持系统的概要的说明图。
[图34]是说明实施方式9中的诊断支持系统的概要的说明图。
[图35]是说明第1模型的配置的说明图。
[图36]是说明提取部的配置的说明图。
[图37]是说明实施方式9中的程序的处理流程的流程图。
[图38]是说明用于提取关注区域的子程序的处理流程的流程图。
[图39]是说明实施方式9中的第1变形例的画面显示的说明图。
[图40]是说明实施方式9中的第2变形例的画面显示的说明图。
[图41]是说明实施方式9中的第3变形例的画面显示的说明图。
[图42]是说明实施方式10中的用于提取关注区域的子程序的处理流程的流程图。
[图43]是实施方式11中的信息处理装置的功能框图。
[图44]是说明实施方式12中的诊断支持系统的配置的说明图。
[图45]是实施方式13中的服务器的功能框图。
[图46]是说明实施方式14中的模型生成系统的配置的说明图。
[图47]是实施方式15中的信息处理装置的功能框图。
[图48]是说明实施方式16中的诊断支持系统的配置的说明图。
具体实施方式
[实施方式1]
在本实施方式中，以用于支持溃疡性大肠炎的诊断的诊断支持系统10为例进行说明。溃疡性大肠炎是大肠粘膜发炎的炎症性肠病之一。已知患处从直肠发展到大肠周围，并朝向口腔侧发展。
由于有时反复出现症状强烈的活跃期和症状减轻的缓解期、以及当炎症持续发生时则大肠癌的发病风险增加等，因此建议发病后通过定期的大肠内窥镜检查来进行过程观察。
医生将大肠内窥镜的前端插入到例如盲肠后，一边取出一边观察内窥镜图像。在患处，即发炎部分，可以看到炎症在整个内窥镜图像上扩展。
WHO(World Hearth Organization)等公共机构、医学会和各个医疗机构等分别建立了诊断各种疾病时所使用的诊断标准。例如，在溃疡性大肠炎中，将患处的发红程度、意味着血管可见的血管透见程度和溃疡程度等多个项目列为诊断标准。
医生在研究诊断标准的各项内容的基础上，进行综合地判断并通过内窥镜14诊断正在观察中的部位。诊断包括判断正在观察中的部位是否为溃疡性大肠炎的患处、以及如果是患处则判断是重度还是轻度等的严重程度。熟练的医生会在取出大肠内窥镜的同时研究诊断标准的各项内容，并实时诊断正在观察中的位置。医生会在取出大肠内窥镜的过程中进行综合性地诊断，以判断因溃疡性大肠炎而发炎的患处范围。
图1是说明诊断支持系统10的概要的说明图。将使用内窥镜14(参见图2)拍摄的内窥镜图像49输入到第1模型61和第2模型62中。当输入了内窥镜图像49时，第2模型62输出与溃疡性大肠炎的状态相关的诊断预测。在图1所示的示例中，输出以下诊断预测：正常，即并非溃疡性大肠炎的患处的概率为70％，轻度溃疡性大肠炎的概率为20％。后文将对第2模型62的细节进行说明。
第1模型61包括第1评分学习模型611、第2评分学习模型612和第3评分学习模型613。在下面的描述中，当不需要特别区分第1评分学习模型611至第3评分学习模型613时，有时可以将其简单地描述为第1模型61。
当输入了内窥镜图像49时，第1评分学习模型611输出用于量化与发红程度相关的评估的第1评分的预测值。当输入了内窥镜图像49时，第2评分学习模型612输出用于量化与血管透见程度相关的评估的第2评分的预测值。当输入了内窥镜图像49时，第3评分学习模型613输出用于量化与溃疡程度相关的评估的第3评分的预测值。
发红程度、血管透见程度和溃疡程度是包含在医生在诊断溃疡性大肠炎的状态时所使用的诊断标准中的诊断标准项目的示例。第1评分至第3评分的预测值是与溃疡性大肠炎的诊断标准相关的诊断标准预测的示例。
在图1所示的示例中，输出第1评分为10，第2评分为50，第3评分为5的预测值。另外，第1模型61也可以包括用于输出评分预测值的评分学习模型，该评分用于量化易出血程度以及分泌物附着程度等、与溃疡性大肠炎有关的各种诊断标准项目的评估。后文将对第1模型61的细节进行说明。
第1模型61和第2模型62的输出分别由第1获取部和第2获取部获取。基于由第1获取部和第2获取部获取的输出，在显示装置16(参见图2)上显示图1中的下方所示的画面。所显示的画面包括内窥镜图像栏73、第1结果栏71、第1停止按钮711、第2结果栏72以及第2停止按钮722。
在内窥镜图像栏73中实时显示使用内窥镜14拍摄的内窥镜图像49。在第1结果栏71中，一览显示从第1模型61输出的诊断标准预测。在第2结果栏72中，显示从第2模型62输出的诊断预测。
第1停止按钮711是用于接收第1模型61的操作停止指令的第1接收部的示例。即，在选择了第1停止按钮711时，停止对使用第1模型61的评分预测值的输出。第2停止按钮722是用于接收第2模型62的操作停止指令的第2接收部的示例。即，在选择了第2停止按钮722时，停止对使用第2模型62的评分预测值的输出。
医生通过参考显示在第1结果栏71中的诊断标准预测，将显示在第2结果栏72中的诊断预测与诊断标准对照并确认结果是否适当的依据，并判断是否采用显示在第1结果栏71中的诊断预测。
图2是说明诊断支持系统10的配置的说明图。诊断支持系统10包括内窥镜14、内窥镜用处理器11和信息处理装置20。信息处理装置20具备控制部21、主存储装置22、辅助存储装置23、通信部24、显示装置I/F(Interface)26、输入装置I/F27以及总线。
内窥镜14具备长条插入部142，其在前端部具有摄像元件141。内窥镜14经由内窥镜连接器15与内窥镜用处理器11连接。内窥镜用处理器11从摄像元件141接收视频信号，执行各种图像处理，并且生成适合于医生观察的内窥镜图像49。即，内窥镜用处理器11发挥用于基于从内窥镜14获取的视频信号生成内窥镜图像49的图像生成部的作用。
控制部21是用于执行本实施方式中的程序的运算控制装置。控制部21使用一个或多个CPU(Central Processing Unit)、GPU(Graphics Processing Unit)或者多核CPU等。控制部21经由总线与用于构成信息处理装置20的硬件各部相连接。
主存储装置22是SRAM(Static Random Access Memory)、DRAM(Dynamic RandomAccess Memory)和闪存等存储装置。主存储装置22暂时存储由控制部21执行的处理过程中所需的信息、以及在控制部21正在执行中的程序。
辅助存储装置23是SRAM、闪存或硬盘等存储装置。辅助存储装置23存储第1模型61、第2模型62、由控制部21执行的程序、以及执行程序所需的各种数据。如前所述，第1模型61包括第1评分学习模型611、第2评分学习模型612以及第3评分学习模型613。另外，第1模型61和第2模型62也可以存储在与信息处理装置20连接的外部大容量存储装置中。
通信部24是用于在信息处理装置20与网络之间进行数据通信的接口。显示装置I/F26是用于连接信息处理装置20和显示装置16的接口。显示装置16是用于输出从第1模型61获取的诊断标准预测和从第2模型62获取的诊断预测的输出部的示例。
输入装置I/F27是用于连接信息处理装置20和键盘17等输入装置的接口。信息处理装置20是通用个人计算机、平板电脑或智能手机等信息设备。
图3是说明第1评分学习模型611的配置的说明图。当输入了内窥镜图像49时，第1评分学习模型611输出第1评分预测值。
第1评分是当技术熟练的医生观看内窥镜图像49时，基于溃疡性大肠炎的诊断标准来量化所判断的发红程度的数值。例如，医生设定评分，将100分设为满分，可以将“没有发红”设为0分，“严重发红”设为100分。
另外，医生可以按照“没有发红”、“轻度”、“中度”、“重度”等4个阶段进行判断，也可以设置评分进行判断，例如将“没有发红”设为0分、“轻度”设为1分、“中度”设为2分、“重度”设为3分。在设定评分时，也可以将“重度”侧设为较小的数值。
本实施方式中的第1评分学习模型611是通过使用例如
CNN(Convolutional Neural Network)的机器学习而生成的学习模型。第1评分学习模型611由输入层531、中间层532、输出层533、以及具有省略图示的卷积层和池化层的神经网络模型53构成。后文将对第1评分学习模型611的生成方法进行说明。
将内窥镜图像49输入到第1评分学习模型611中。所输入的图像在经过卷积层和池化层的重复处理后输入到全连接层中。将第1评分的预测值输出到输出层533中。
同样地，第2评分是当技术熟练的专业医生观看内窥镜图像49时，基于溃疡性大肠炎的诊断标准来判断血管透见程度的数值。第3评分是当技术熟练的专业医生观看内窥镜图像49时，基于溃疡性大肠炎的诊断标准来判断溃疡程度的数值。由于第2评分学习模型612和第3评分学习模型613的配置与第1评分学习模型611的配置相同，因此省略其图示和说明。
图4是说明第2模型62的配置的说明图。当输入了内窥镜图像49时，第2模型62输出溃疡性大肠炎的诊断预测。诊断预测是当技术熟练的专业医生观看内窥镜图像49时关于如何诊断溃疡性大肠炎的预测。
本实施方式的第2模型62例如是通过使用CNN的机器学习而生成的学习模型。第2模型62由输入层531、中间层532、输出层533、以及具有省略图示的卷积层和池化层的神经网络模型53构成。后文将对第2模型62的生成方法进行说明。
将内窥镜图像49输入到第2模型62中。所输入的图像在经过卷积层和池化层的重复处理后输入到全连接层中。将诊断预测输出到输出层533。
在图4中，输出层533具有4个输出节点，其用于分别输出由技术熟练的专业医生在观看内窥镜图像49时给出的判断为重度溃疡性大肠炎的概率、中度溃疡性大肠炎的概率、轻度溃疡性大肠炎的概率、以及正常即并非溃疡性大肠炎的患处的概率。
图5是示意性地说明诊断支持系统10的操作的时序图。图5A示出了摄像元件141的拍摄时间。图5B示出了通过内窥镜用处理器11内的图像处理来生成内窥镜图像49的时间。图5C示出了第1模型61和第2模型62基于内窥镜图像49输出预测的时间。图5D示出了在显示装置16上显示的时间。图5A至图5D的横轴均指示时间。
在时间t0，由摄像元件141拍摄“a”帧。将视频信号发送到内窥镜用处理器11。内窥镜用处理器11进行图像处理，并在时刻t1生成“a”的内窥镜图像49。控制部21获取由内窥镜用处理器11生成的内窥镜图像49，并将其输入到第1模型61和第2模型62。在时间t2，控制部21分别获取从第1模型61和第2模型62输出的预测。
在时间t3，控制部21将“a”帧的内窥镜图像49和预测输出到显示装置16。由此，对摄像元件141拍摄的1帧图像的处理完成。同样地，在时间t6，由摄像元件141拍摄“b”帧。在时间t7生成“b”的内窥镜图像49。控制部21在时间t8获取预测，并且在时间t9将“b”帧的内窥镜图像49和预测输出到显示装置16。由于“c”帧之后的操作相同，因此省略其说明。由此，同步显示内窥镜图像49和由第1模型61和第2模型62做出的预测。
图6是说明程序的处理流程的流程图。每当控制部21从内窥镜用处理器11获取一帧的内窥镜图像49时，就执行参考图6进行说明的程序。
控制部21从内窥镜用处理器11获取内窥镜图像49(步骤S501)。控制部21将获取的内窥镜图像49输入到第2模型62，并且获取从输出层533输出的诊断预测(步骤S502)。控制部21将获取的内窥镜图像49输入到用于构成第1模型61的评分学习模型之一中，并且获取从输出层533输出的评分的预测值(步骤S503)。
控制部21判断用于构成第1模型61的评分学习模型的处理是否完成(步骤S504)。当判断为尚未完成时(在步骤S504中为NO)，控制部21返回步骤S503。
当判断为已经完成时(在步骤S504中为YES)，控制部21生成参照图1中的下方说明的图像，并将其输出到显示装置16(步骤S505)。控制部21完成处理。
根据本实施方式，本发明能够提供一种诊断支持系统10，其将从第1模型61输出的诊断标准预测和从第2模型62输出的诊断预测与内窥镜图像49一起显示。医生在观察内窥镜图像49的同时，能够确认预测由技术熟练的专业医生观看相同的内窥镜图像49时给出的诊断的诊断预测、以及诊断标准预测。
医生可以通过参考显示在第1结果栏71中的诊断标准预测，将显示在第2结果栏72中的诊断预测与诊断标准对照并确认结果是否适当的依据，并判断是否采用显示在第1结果栏71中的诊断预测。
在第2结果栏72中，也可以仅仅显示概率最高的项目和此概率。可以通过减少要显示的字数来增大字体尺寸。医生在关注内窥镜图像栏73的同时，感知第2结果栏72的显示的变化。
医生可以通过选择第1停止按钮711来停止对评分的预测和显示。医生可以通过选择第2停止按钮722来停止对诊断预测和诊断预测的显示。医生通过重新选择第1停止按钮711或第2停止按钮722来以恢复对诊断预测和诊断标准预测的显示。
第1停止按钮711和第2停止按钮722可以通过键盘17、鼠标、触摸面板或语音输入等任意的输入装置来进行操作。第1停止按钮711和第2停止按钮722也可以使用设置在内窥镜14的操作部上的控制按钮等来进行操作。
优选地，例如，当执行切除息肉或EMR(Endoscopic Mucosal Resection：内窥镜粘膜切除术)等内窥镜下治疗时，从摄像元件141的拍摄到显示在显示装置16的时滞要尽可能的短。医生可以通过选择第1停止按钮711和第2停止按钮722来停止诊断预测和诊断标准预测，以缩短时滞。
另外，也可以通过并行处理来执行使用构成第1模型61的各个评分学习模型的诊断标准预测以及使用第2模型62的诊断预测。通过使用并行处理，可以改善显示装置16显示的实时性。
根据本实施方式，可以提供一种信息处理装置20等，其用于提示与例如溃疡性大肠炎等预定疾病相关的判断结果以及判断理由。通过观看第2模型62输出的疾病的诊断概率和与第1模型61输出的诊断标准相关的评分两方面，医生可以确认是否基于诊断标准输出正确的结果。
假设第2模型62的输出与第1模型61的输出之间存在不一致时，医生怀疑溃疡性大肠炎以外的疾病，可以进行询问指导医生、或者追加必要的检查等处理。由此，可以避免忽视罕见疾病等。
可以通过不同的硬件来执行使用第1模型61的诊断标准预测和使用第2模型62的诊断预测。
内窥镜图像49也可以是记录在电子病历系统等中的图像。例如，通过将在随访时拍摄的各个图像输入到第1模型61中，从而可以提供能够比较各个评分的时间变化的诊断支持系统10。
[第1变形例]
图7是说明第1变形例中的诊断支持系统10的概要的说明图。除了与图2的不同点之外，省略其说明。显示装置16包括第1显示装置161和第2显示装置162。第1显示装置161连接到显示装置I/F26。第2显示装置162连接到内窥镜用处理器11。优选地，第1显示装置161和第2显示装置162彼此相邻地布置。
在第1显示装置161上实时显示由内窥镜用处理器11生成的内窥镜图像49。在第2显示装置162上显示由控制部21获取的诊断预测以及诊断标准预测。
根据本变形例，可以提供一种诊断支持系统10，其在减少内窥镜图像49显示的时滞的同时，显示诊断预测和诊断标准预测。
诊断支持系统10也可以具有3个以上的显示装置16。例如，也可以将内窥镜图像49、第1结果栏71和第2结果栏72分别显示在不同的显示装置16上。
[第2变形例]
图8是说明第2变形例中的画面显示的说明图。除了与图1中的下方的不同点之外，省略其说明。在本变形例中，CPU21以图表格式输出第1结果栏71和第2结果栏72。
在第1结果栏71中，以三轴的图表格式显示3个诊断标准预测。在图8中，朝向上方的轴表示第1评分、即与发红相关的评分预测值。朝向右下的轴表示第2评分、即与血管透见相关的评分预测值。朝向左下的轴表示第3评分、即与溃疡相关的评分预测值。
第1评分、第2评分和第3评分的预测值显示在内侧的三角形中。在第2结果栏72中，通过条形图显示从第2模型62输出的诊断预测。根据本变形例，医生可以通过观看三角形和条形图来直观地掌握诊断标准预测。
[第3变形例]
图9是说明第3变形例中的画面显示的说明图。图9是由用于支持克罗恩病诊断的诊断支持系统10所显示的画面。克罗恩病也与溃疡性大肠炎一样，是一种炎症性肠病。在图9中，第1评分表示在肠道的长度方向上延伸的纵向溃疡的程度，第2评分表示作为密集的粘膜脊的鹅卵石外观图像的程度，第3评分是表示红色斑点的口疮的程度。
诊断支持系统10支持其诊断的疾病并不限定于溃疡性大肠炎和克罗恩病。本发明能够提供一种诊断支持系统10，其用于支持能够创建适当的第1模型61和第2模型62的任意疾病的诊断。用户可以在内窥镜检查期间切换支持哪种疾病的诊断。也可以在多个显示装置16上显示用于支持各个疾病的诊断的信息。
[第4变形例]
图10是示意性地说明第4变形例中的操作的时序图。对于与图5共通的部分，省略其说明。图10示出了当使用第1模型61和第2模型62进行处理时需要花费很长时间时的时序图的示例。
在时间t0，由摄像元件141拍摄“a”帧。内窥镜用处理器11进行图像处理，并在时刻t1生成“a”的内窥镜图像49。控制部21获取由内窥镜用处理器11生成的内窥镜图像49，并将其输入到第1模型61和第2模型62。在时间t2，控制部21将“a”的内窥镜图像49输出到显示装置16。
在时间t6，由摄像元件141拍摄“b”帧。内窥镜用处理器11进行图像处理，并在时间t7生成“b”的内窥镜图像49。未将“b”的内窥镜图像49输入到第1模型61和第2模型62。在时间t8，控制部21将“b”的内窥镜图像49输出到显示装置16。
在时间t9，控制部21基于分别从第1模型61和第2模型62输出的“a”的内窥镜图像49来获取预测。在时间t10，控制部21将基于“a”的内窥镜图像49的预测输出到显示装置16。在时间t12，由摄像元件141拍摄“c”帧。由于后续处理与从时间t0至时间t10相同，因此省略其说明。由此，同步显示内窥镜图像49和由第1模型61和第2模型62做出的预测。
根据本变形例，即使使用第1模型61和第2模型62的处理需要花费时间，通过间隔地设置第1模型61和第2模型62中要输入的内窥镜图像49，可以实现实时显示。
[实施方式2]
本实施方式涉及一种模型生成系统19，其用于生成第1模型61和第2模型62。对于与实施方式1共通的部分省略说明。
图11是说明用于生成模型的处理的概要的说明图。在教师数据DB64(参见图12)中，记录有将内窥镜图像49与技术熟练的专业医生等专家的判断结果相关联的多组教师数据。专家的判断结果是基于内窥镜图像49对溃疡性大肠炎进行诊断的第1评分、第2评分和第3评分。
通过将内窥镜图像49和诊断结果的组作为教师数据进行机器学习，来生成第2模型62。通过将内窥镜图像49和第1评分的组作为教师数据进行机器学习，来生成第1评分学习模型611。通过将内窥镜图像49和第2评分的组作为教师数据进行机器学习，来生成第2评分学习模型612。通过将内窥镜图像49和第3评分的组作为教师数据进行机器学习，来生成第3评分学习模型613。
图12是说明模型生成系统19的配置的说明图。模型生成系统19包括服务器30和客户端40。服务器30具备控制部31、主存储装置32、辅助存储装置33、通信部34和总线。客户端40具备控制部41、主存储装置42、辅助存储装置43、通信部44、显示部46、输入部47和总线。
控制部31是用于执行本实施方式中的程序的运算控制装置。控制部31使用一个或多个CPU、多核CPU或GPU等。控制部31经由总线与用于构成服务器30的硬件各部相连接。
主存储装置32是SRAM、DRAM、闪存等存储装置。主存储装置32暂时存储由控制部31执行的处理过程中所需的信息、以及在控制部31正在执行中的程序。
辅助存储装置33是SRAM、闪存、硬盘或磁带等存储装置。辅助存储装置33存储由控制部31执行的程序、教师数据DB64以及执行程序所需的各种数据。更进一步地，由控制部31生成的第1模型61和第2模型62也被存储在辅助存储装置33中。另外，教师数据DB64、第1模型61和第2模型62也可以存储在与服务器30连接的外部大容量存储装置等中。
服务器30是通用个人计算机、平板电脑、大型计算机、在大型计算机上运行的虚拟机、云计算系统或量子计算机。服务器30也可以是执行分布式处理的多个个人计算机等。
控制部41是用于执行本实施方式中的程序的运算控制装置。控制部41是用于执行本实施方式中的程序的运算控制装置。控制部41使用一个或多个CPU、多核CPU或GPU等。控制部41经由总线与用于构成客户端40的硬件各部相连接。
主存储装置42是SRAM、DRAM、闪存等存储装置。在主存储装置42中，暂时保存在控制部41执行的处理过程中所需的信息以及在控制部41正在执行的程序。
辅助存储装置43是SRAM、闪存或硬盘等存储装置。辅助存储装置43存储由控制部41执行的程序和执行程序所需的各种数据。
通信部44是用于在客户端40与网络之间进行数据通信的接口。显示部46例如是液晶显示面板或有机EL(Electro Luminescence)显示面板等。输入部47例如是键盘17和鼠标等。客户端40也可以具有层叠了显示部46和输入部47的触摸面板。
客户端40是创建教师数据的专业医生等所使用的通用个人计算机、平板电脑或智能手机等信息设备。客户端40也可以是基于控制部31的控制来实现用户界面的、即所谓的瘦客户端。当使用瘦客户端时，由客户端40执行的后述处理中的大部分由控制部31代替控制部41来执行。
图13是说明教师数据DB64的记录布局的说明图。教师数据DB64是用于记录生成第1模型61和第2模型62的教师数据的DB。教师数据DB64具有部位字段、疾病字段、内窥镜图像字段、内窥镜所见字段和评分字段。评分字段具有发红字段、血管透见字段和溃疡字段。
在部位字段中，记录有拍摄内窥镜图像49的部位。在疾病字段中，记录有在创建教师数据时由专业医生等判断的疾病的名称。在内窥镜图像字段中，记录有内窥镜图像49。在内窥镜所见字段中，记录有由专业医生等通过观察内窥镜图像49来判断的疾病状态、即内窥镜所见。
在发红字段中，记录有由专业医生等通过观察内窥镜图像49来判断的与发红相关的第1评分。在血管透见字段中，记录有由专业医生等通过观察内窥镜图像49来判断的与血管透见相关的第2评分。在溃疡字段中，记录有由专业医生等通过观察内窥镜图像49来判断的与血管相关的第3评分。教师数据DB64对于一张内窥镜图像49具有一个记录。
图14和图15是说明教师数据输入画面的说明图。图14示出当在不使用现有的第1模型61和第2模型62的情况下创建教师数据时，控制部41在显示部46上显示的画面的示例。
图14所示的画面包括内窥镜图像栏73、第1输入栏81、第2输入栏82、下一页按钮89、患者ID栏86、疾病名称栏87以及模型按钮88。第1输入栏81包括第1评分输入栏811、第2评分输入栏812以及第3评分输入栏813。在图14中，将模型按钮88设置为“不使用模型”状态。
内窥镜图像49显示在内窥镜图像栏73中。内窥镜图像49可以是通过输入教师数据的专业医生等进行的内窥镜检查所拍摄的图像，或者也可以是从服务器30分发来的图像。专业医生等基于内窥镜图像49对在疾病名称栏87中显示的“溃疡性大肠炎”进行诊断，并选择设置在第2输入栏82的左端的复选框。
另外，“异常图像”是指由于例如存在很多残留或者晃动等情况，由专业医生等判断为不适合用于诊断的图像。被判断为“异常图像”的内窥镜图像49不记录在教师数据DB64中。
专业医生等基于内窥镜图像49判断第1评分至第3评分，并将其分别输入到第1评分输入栏811至第3评分输入栏813中。在输入完成后，专业医生等选择下一页按钮89。控制部41将内窥镜图像49、对第1输入栏81的输入以及对第2输入栏82的输入发送到服务器30。控制部31将新记录追加到教师数据DB64，并且记录内窥镜图像49、内窥镜所见以及各个评分。
图15示出了当参考现有的第1模型61和第2模型62创建教师数据时，控制部41在显示部46上显示的画面的示例。在图15中，将模型按钮88设置为“模型使用中”状态。另外，当尚未生成现有的第1模型61和第2模型62时，将模型按钮88设定为不选择“模型使用中”的状态。
将内窥镜图像49输入到第1模型61和第2模型62中的结果显示在第1输入栏81和第2输入栏82中。在第2输入栏82中，默认情况下选中具有最高概率的项目左端的复选框。
专业医生等基于内窥镜图像49判断第1输入栏81中的各个评分是否正确，并根据需要变更评分。专业医生等基于内窥镜图像49判断第2输入栏82中的复选是否正确，并根据需要重新选择复选框。在使第1输入栏81和第2输入栏82处于适当的状态之后，专业医生等选择下一页按钮89。后续处理与参考图14进行说明的“不使用模型”的情况相同，因此省略其说明。
图16是说明用于生成学习模型的程序的处理流程的流程图。参考图16进行说明的程序用于生成构成第1模型61的各个学习模型以及第2模型62。
控制部31选择作为创建对象的学习模型(步骤S522)。作为创建对象的学习模型是构成第1模型61的各个学习模型中的任意一个或者或第2模型62。控制部31从教师数据DB64提取必要字段，并创建由一对内窥镜图像49和输出数据组成的教师数据(步骤S523)。
例如，当生成第1评分学习模型611时，输出数据是与发红相关的评分。控制部31从教师数据DB64提取内窥镜图像字段和发红字段。同样地，当生成第2模型62时，输出数据是内窥镜所见。控制部31从教师数据DB64中提取内窥镜图像字段和内窥镜所见字段。
控制部31将在步骤S523中创建的教师数据分离为训练数据和测试数据(步骤S524)。控制部31使用训练数据并通过使用误差反向传播法等来调整中间层532的参数，以执行有教师的机器学习并生成学习模型(步骤S525)。
控制部31使用训练数据来验证学习模型的精度(步骤S526)。当将训练数据中的内窥镜图像49输入到学习模型中时，通过计算输出与对应于内窥镜图像49的输出数据一致的概率来进行验证。
控制部31判断在步骤S525中生成的学习模型的精度是否合格(步骤S527)。当判断为合格时(在步骤S527中为YES)，控制部31将学习模型记录在辅助存储装置33中。(步骤S528)。
当判断为不合格时(在步骤S527中为NO)，控制部31判断是否完成处理(步骤S529)。例如，当从步骤S524到步骤S529的处理重复预定次数时，控制部31判断为完成处理。当判断为尚未完成处理时(在步骤S529中为NO)，控制部31返回步骤S524。
当判断为完成处理时(在步骤S529为YES)，或者在步骤S528完成之后，控制部31判断是否完成处理(步骤S531)。当判断为尚未完成处理时(在步骤S531中为NO)，控制部31返回步骤S522。当判断为完成处理时(在步骤S531中为YES)，控制部31完成处理。
另外，当没有生成判断为合格的学习模型时，在重新修正记录在教师数据DB64中的各个记录并追加此记录之后，再次执行参考图16进行说明的程序。
在完成例如药品医疗设备等法律上的批准等手续之后，利用参考图16说明的程序来更新的第1模型61和第2模型62经由网络或记录介质分发到信息处理装置20。
图17是说明用于更新学习模型的程序的处理流程的流程图。当在教师数据DB64中记录有追加的记录时，适当地执行参考图17进行说明的程序。另外，可以将追加的教师数据记录到与教师数据DB64不同的数据库中。
控制部31获取更新对象的学习模型(步骤S541)。控制部31获取追加的教师数据(步骤S542)。具体而言，控制部31从追加到教师数据DB64的记录中，获取记录在内窥镜图像字段中的内窥镜图像49、以及与在步骤S541中获取的学习模型相对应的输出数据。
控制部31将内窥镜图像49设定为学习模型的输入数据，并且将与内窥镜图像49相关联的输出数据设定为学习模型的输出(步骤S543)。控制部31通过误差反向传播法来更新学习模型的参数(步骤S544)。控制部31记录所更新的参数(步骤S545)。
控制部31判断追加到教师数据DB64中的记录的处理是否已经完成(步骤S546)。当判断为尚未完成时(在步骤S546中为NO)，控制部31返回步骤S542。当判断为已经完成时(在步骤S546中为YES)，控制部31完成处理。
在完成例如药品医疗设备等法律上的批准等手续之后，利用参考图17说明的程序来更新的第1模型61和第2模型62经由网络或记录介质分发到信息处理装置20。由此，更新第1模型61和第2模型62。另外，用于构成第1模型61和第2模型62的学习模型可以同时更新，或者也可以单独更新。
图18是说明用于收集教师数据的程序的处理流程的流程图。控制部41从省略图示的电子病历系统或搭载在内窥镜用处理器11上的硬盘等获取内窥镜图像49(步骤S551)。控制部41经由参考图14说明的模型按钮88来判断是否选择使用模型(步骤S552)。
当判断为没有选择使用模型时(在步骤S552中为NO)，控制部41将参考图14进行说明的画面显示在显示部46上(步骤S553)。当判断选择了使用模型时(在步骤S552为YES)，控制部41从服务器30获取第1模型61和第2模型62(步骤S561)。
另外，控制部41也可以将获取的第1模型61和第2模型62暂时存储在辅助存储装置43中。由此，控制部41可以省略第2次之后的步骤S561的处理。
控制部41将在步骤S551中获取的内窥镜图像49分别输入到在步骤S561中获取的第1模型61和第2模型62，并且获取从输出层533输出的估计结果(步骤S562)。控制部41将参考图15进行说明的画面显示在显示部46上(步骤S563)。
在步骤S553或步骤S563完成之后，控制部41经由输入部47获取用户的判断结果输入(步骤S564)。控制部41判断是否在第2输入栏82中选择了“异常图像”(步骤S565)。当判断为选择了“异常图像”时(在步骤S565为YES)，控制部41完成处理。
当判断为未选择“异常图像”时(在步骤S565中为NO)，控制部41将使内窥镜图像49与用户的输入结果相关联的教师记录发送到服务器30(步骤S566)。另外，教师记录可以经由USB(Universal Serial Bus)存储器等便携式记录介质记录在教师数据DB64中。
控制部31在教师数据DB64中创建新记录，并记录所接收的教师记录。另外，例如，当多个专家对同一内窥镜图像49做出判断并且预定数量的专家判断一致时，也可以将其记录在教师数据DB64中。由此，可以提高教师数据DB64的精度。
根据本实施方式，可以收集教师数据，并且可以生成和更新第1模型61和第2模型62。
[实施方式3]
本实施方式涉及一种诊断支持系统10，其用于基于从第2模型62的中间层532提取的特征量，按照诊断标准输出评分。对于与实施方式1或实施方式2共通的部分，省略其说明。
图19是说明实施方式3中的诊断支持系统10的概要的说明图。将使用内窥镜14拍摄的内窥镜图像49输入到第2模型62中。当输入了内窥镜图像49时，第2模型62输出溃疡性大肠炎的诊断预测。如后所述，从用于构成第2模型62的中间层532的节点获取第1特征量651、第2特征量652和第3特征量653等特征量65。
第1模型61包括第1转换器631、第2转换器632和第3转换器633。第1特征量651通过第1转换器631转换成用于表示发红程度的第1评分的预测值。第2特征量652通过第2转换器632转换成用于表示血管透见程度的第2评分的预测值。第3特征量653通过第3转换器633转换成用于表示溃疡程度的第3评分的预测值。当下面的描述中没有特别区分第1转换器631至第3转换器633时，将其记载为转换器63。
第1模型61和第2模型62的输出分别由第1获取部和第2获取部获取。基于由第1获取部和第2获取部获取的输出，在显示装置16上显示图19中的下方所示的画面。由于所显示的画面与实施方式1中说明的画面相同，因此省略其说明。
图20是说明从第2模型62获取的特征量的说明图。中间层532包含相互连接的多个节点。当将内窥镜图像49输入到第2模型62时，内窥镜图像49的各种特征量出现在各个节点中。例如，出现在5个节点中的各个特征量用特征量A65A到特征量E65E的符号表示。
在通过卷积层和池化层进行重复处理之后，特征量可以从输入到全连接层之前的节点获取，或者也可以从包含在全连接层中的节点获取。
图21是说明特征量与评分之间的转换的说明图。在图21中的上方示意性地示出了包含在教师数据DB64中的教师数据。在教师数据DB64中，记录有将内窥镜图像49与专业医生等专家的判断结果相关联的教师数据。由于教师数据DB64的记录布局与参考图13进行说明的实施方式1中的教师数据DB64的记录布局相同，因此省略其说明。
如前所述，将内窥镜图像49输入到第2模型62，并且获取特征量A65A等多个特征量。在获取的特征量和与内窥镜图像49相关联的第1评分至第3评分之间进行相关性分析，并且选择与各个评分相关性高的特征量。在图21中，示出了第1评分与特征量A65A之间的相关性、第2评分与特征量C65C之间的相关性、以及第3评分与特征量D65D之间的相关性高的情况。
通过在第1评分和特征量A65A之间进行回归分析来获取第1转换器631。同样地，通过在第2评分和特征量C65C之间进行回归分析来获取第2转换器632，并且通过在第3评分和特征量D65D之间进行回归分析来获取第3转换器633。在回归分析中可以使用线性回归，或者也可以使用非线性回归。也可以使用神经网络来进行回归分析。
图22是说明特征量DB的记录布局的说明图。特征量DB是将教师数据和从内窥镜图像49获取的特征量相关联地进行记录的DB。特征量DB具有部位字段、疾病字段、内窥镜图像字段、内窥镜所见字段、评分字段和特征量字段。评分字段具有发红字段、血管透见字段和溃疡字段。特征量字段具有A字段、B字段等多个子字段。
在部位字段中，记录有拍摄内窥镜图像49的部位。在疾病字段中，记录有在创建教师数据时由专业医生等判断的疾病的名称。在内窥镜图像字段中，记录有内窥镜图像49。在内窥镜所见字段中，记录有由专业医生等通过观察内窥镜图像49来判断的疾病状态、即内窥镜所见。
在发红字段中，记录有由专业医生等通过观察内窥镜图像49来判断的与发红相关的第1评分。在血管透见字段中，记录有由专业医生等通过观察内窥镜图像49来判断的与血管透见相关的第2评分。在溃疡字段中，记录有由专业医生等通过观察内窥镜图像49来判断的与溃疡相关的第3评分。在特征量字段的各个子字段中，记录有从中间层532的各个节点获取的特征量A64A等特征量。
特征量DB对于一张内窥镜图像49具有一个记录。将特征量DB存储在辅助存储装置33中。特征量DB也可以存储在与服务器30连接的外部大容量存储装置等中。
图23是说明用于创建转换器63的程序的处理流程的流程图。控制部31从教师数据DB64中选择一个记录(步骤S571)。控制部31将记录在内窥镜图像字段中的内窥镜图像49输入到第2模型62，并从中间层532的各个节点获取特征量(步骤S572)。控制部31在特征量DB中创建新记录，并对在步骤S571中获取的记录中记录的数据和在步骤S572中获取的特征量进行记录(步骤S573)。
控制部31判断是否完成处理(步骤S574)。例如，当预定数量的教师数据记录的处理完成时，控制部31判断为完成处理。当判断为尚未完成处理时(在步骤S574中为NO)，控制部31返回步骤S571。
当判断为完成处理时(在步骤S574中为YES)，控制部31从特征量DB的评分字段中选择一个子字段(步骤S575)。控制部31从特征量DB的特征量字段中选择一个子字段(步骤S576)。
控制部31在步骤S575中选择的评分与步骤S576中选择的特征量之间进行相关性分析，并计算相关性系数(步骤S577)。控制部31将计算出的相关性系数暂时记录在主存储装置32或辅助存储装置33中(步骤S578)。
控制部31判断是否完成处理(步骤S579)。例如，当完成评分和特征量的所有组合的相关性分析时，控制部31判断为完成处理。当在步骤S577中计算出的相关性系数为预定阈值以上时，控制部31也可以判断为完成处理。
当判断为尚未完成处理时(在步骤S579中为NO)，控制部31返回步骤S576。当判断为完成处理时(在步骤S579中为YES)，控制部31选择与在步骤S575中选择的评分相关性最高的特征量(步骤S580)。
控制部31以在步骤S575中选择的评分作为目标变量、以在步骤S580中选择的特征量作为说明变量来进行回归分析，并且计算用于特定将特征量转换为评分的转换器63的参数(步骤S581)。例如，当在步骤S575中选择的评分是第1评分时，则在步骤S581中特定的转换器63是第1转换器631，并且当在步骤S575中选择的评分是第2评分时，则在步骤S581中特定的转换器63是第2转换器632。控制部31将计算出的转换器63存储在辅助存储装置33中(步骤S582)。
控制部31判断特征量DB的所有评分字段的处理是否完成(步骤S583)。当判断为尚未完成时(在步骤S583中为NO)，控制部31返回步骤S575。当判断为已经完成时(在步骤S583中为YES)，控制部31完成处理。由此，生成了用于构成第1模型61的各个转换器63。
在完成例如药品医疗设备等法律上的批准等手续之后，包括利用参考图23说明的程序来创建的转换器63的第1模型61经由网络或记录介质分发到信息处理装置20。
图24是说明实施方式3中的内窥镜检查时的程序的处理流程的流程图。图24的程序是由控制部21代替参考图6说明的程序来执行的。
控制部21从内窥镜用处理器11获取内窥镜图像49(步骤S501)。控制部21将获取的内窥镜图像49输入到第2模型62，并且获取从输出层533输出的诊断预测(步骤S502)。
控制部21从包含在第2模型62的中间层532中的预定节点获取特征量(步骤S601)。预定节点是获取在参考图23说明的步骤S580中所选择的特征量的节点。控制部21通过转换器63转换所获取的特征量，并计算出评分(步骤S602)。
控制部21判断所有评分的计算是否完成(步骤S603)。当判断为尚未完成时(在步骤S603中为NO)，控制部21返回步骤S601。当判断为已经完成时(在步骤S603中为YES)，控制部21生成参考图19中的下方说明的图像，并将其输出到显示装置16(步骤S604)。控制部21完成处理。
根据本实施方式，由于通过深度学习生成的学习模型只有第2模型62，因此可以以相对较少的计算量来实现诊断支持系统10。
通过从第2模型62的中间层532获取特征量，可以获得与评分相关性高的特征量，而并不限定于人们通常可以想到的范围内的特征量。因此，可以基于内窥镜图像49高精度地计算每个诊断标准预测。
另外，可以通过与实施方式1中相同的方法来计算第1评分、第2评分和第3评分中的一部分。
[实施方式4]
本实施方式涉及一种信息处理系统，其用于基于除深度学习之外的方法来计算诊断标准预测。对于与实施方式1或实施方式2共通的部分，省略其说明。
图25是说明实施方式4中的诊断支持系统10的概要的说明图。将使用内窥镜14拍摄的内窥镜图像49输入到第2模型62中。当输入了内窥镜图像49时，第2模型62输出溃疡性大肠炎的诊断预测。
第1模型61包括第1转换器631、第2转换器632和第3转换器633。当输入了内窥镜图像49时，第1转换器631输出用于表示发红程度的第1评分的预测值。当输入了内窥镜图像49时，第2转换器632输出用于表示血管透见程度的第2评分的预测值。当输入了内窥镜图像49时，第3转换器633输出用于表示溃疡程度的第3评分的预测值。
第1模型61和第2模型62的输出分别由第1获取部和第2获取部获取。基于由第1获取部和第2获取部获取的输出，在显示装置16上显示图25中的下方所示的画面。由于所显示的画面与实施方式1中说明的画面相同，因此省略其说明。
图26是说明实施方式4中的内窥镜图像49与评分之间的转换的说明图。另外，在图26中，省略了第2模型62的图示。
在本实施方式中，使用了转换器A63A和转换器B63B等各种转换器63，用于当输入了内窥镜图像49时输出特征量。例如，通过转换器A63A将内窥镜图像49转换为特征量A65A。
转换器63例如基于满足预定条件的像素的数量或比例，将内窥镜图像49转换为特征量。转换器63可以通过使用SVM(Support Vector Machine)或随机森林等的分类，将内窥镜图像49转换为特征量。
在由转换器63转换的特征量和与内窥镜图像49相关联的第1评分至第3评分之间进行相关性分析，并且选择与各个评分相关性高的特征量。在图26中，示出了第1评分与特征量A65A之间的相关性、第2评分与特征量C65C之间的相关性、以及第3评分与特征量D65D之间的相关性高的情况。
在第1评分和特征量A65A之间进行回归分析，并且通过与转换器A63A组合来求出第1转换器631。同样地，在第2评分和特征量C65C之间进行回归分析，并且通过与转换器C63C组合来求出第2转换器632。
图27是说明用于创建实施方式4中的转换器63的程序的处理流程的流程图。控制部31从教师数据DB64中选择一个记录(步骤S611)。控制部31分别使用转换器A63A和转换器B63B等多个转换器63，并且将记录在内窥镜图像字段中的内窥镜图像49转换为特征量(步骤S612)。控制部31在特征量DB中创建新记录，并对在步骤S611中获取的记录中记录的数据和在步骤S612中获取的特征量进行记录(步骤S613)。
控制部31判断是否完成处理(步骤S614)。例如，当预定数量的教师数据记录的处理完成时，控制部31判断为完成处理。当判断为尚未完成处理时(在步骤S614中为NO)，控制部31返回步骤S611。
当判断为完成处理时(在步骤S614中为YES)，控制部31从特征量DB的评分字段中选择一个子字段(步骤S575)。由于从步骤S575到步骤S581的处理与参照图23说明的程序的处理流程相同，因此省略其说明。
控制部31对通过回归分析获得的结果与在步骤S612中将内窥镜图像49转换为特征量的转换器63进行组合来计算新的转换器63(步骤S620)。控制部31将计算出的转换器63存储在辅助存储装置33中(步骤S621)。
控制部31判断特征量DB的所有评分字段的处理是否完成(步骤S622)。当判断为尚未完成时(在步骤S622中为NO)，控制部31返回步骤S575。当判断为已经完成时(在步骤S622中为YES)，控制部31完成处理。由此，生成了用于构成第1模型61的各个转换器63。
在完成例如药品医疗设备等法律上的批准等手续之后，包括利用参考图27说明的程序来创建的转换器63的第1模型61经由网络或记录介质分发到信息处理装置20。
图28是说明实施方式4中的内窥镜检查时的程序的处理流程的流程图。图28的程序是由控制部21代替参考图6说明的程序来执行的。
控制部21从内窥镜用处理器11获取内窥镜图像49(步骤S501)。控制部21将获取的内窥镜图像49输入到第2模型62，并且获取从输出层533输出的诊断预测(步骤S502)。
控制部21将获取的内窥镜图像49输入到包含在第1模型61中的转换器63中，并计算评分(步骤S631)。
控制部21判断所有评分的计算是否完成(步骤S632)。当判断为尚未完成时(在步骤S632中为NO)，控制部21返回步骤S631。当判断为已经完成时(在步骤S632中为YES)，控制部21生成参考图25中的下方说明的图像，并将其输出到显示装置16(步骤S633)。控制部21完成处理。
根据本实施方式，由于通过深度学习生成的学习模型只有第2模型62，因此可以以相对较少的计算量来实现诊断支持系统10。
另外，可以通过与实施方式1或实施方式3中相同的方法来计算第1评分、第2评分和第3评分中的一部分。
[实施方式5]
本实施方式涉及一种诊断支持系统10，其用于支持对癌症或息肉等局限性疾病的诊断。对于与实施方式1或实施方式2共通的部分，省略其说明。
图29是说明实施方式5中的诊断支持系统10的概要的说明图。将使用内窥镜14拍摄的内窥镜图像49输入到第2模型62中。在第2模型62中，当输入了内窥镜图像49时，输出用于对预测为存在息肉或癌症等病变部位的病变区域74的范围进行预测的区域预测、以及此病变是良性还是恶性等的诊断预测。在图29中，预测病变区域74内的息肉为“恶性”的概率为5％，“良性”的概率为95％。
第2模型62使用RCNN(Regions with Convolutional Neural Network)、FastRCNN、Faster RCNN、SSD(Single Shot Multibook Detector)、或YOLO(You Only LookOnce)等任意的物体检测算法来生成的学习模型。由于一直以来学习模型都用于接受医学图像的输入并输出存在病变部位的区域和诊断预测，因此省略其详细说明。
第1模型61包括第1评分学习模型611、第2评分学习模型612和第3评分学习模型613。当输入了病变区域74内的图像时，第1评分学习模型611输出用于表示边界清晰程度的第1评分的预测值。当输入了病变区域74内的图像时，第2评分学习模型612输出用于表示表面凹凸不平的程度的第2评分的预测值。当输入了病变区域74内的图像时，第3评分学习模型613输出用于表示发红程度的第3评分的预测值。
在图29所示的示例中，输出第1评分为50、第2评分为5、第3评分为20的预测值。另外，第1模型61也可以包括评分学习模型，该评分学习模型用于输出是否呈有蒂状和分泌物附着程度等与息肉相关的各种诊断标准项目相关的诊断标准预测。
第1模型61和第2模型62的输出分别由第1获取部和第2获取部获取。基于由第1获取部和第2获取部获取的输出，在显示装置16上显示图29中的下方所示的画面。由于所显示的画面与实施方式1中说明的画面相同，因此省略其说明。
当在内窥镜图像49中检测到多个病变区域74时，将各个病变区域74输入到第1模型61，并且输出诊断标准预测。通过选择显示在内窥镜图像栏73中的病变区域74，用户可以浏览与该病变区域74相关的诊断预测和评分。另外，也可以在画面上一览显示与多个病变区域74相关的诊断预测和评分。
病变区域74也可以被圆形、椭圆形或任意的闭合曲线包围。在这种情况下，通过用黑色或白色遮盖周边区域，从而将校正为适合于输入到第1模型61的形状的图像输入到第1模型61。例如，当多个息肉彼此靠近时，可以切除包含一个息肉的区域，并且可以通过第1模型61来计算评分。
[实施方式6]
本实施方式涉及一种诊断支持系统10，其用于输出第1模型61为疾病相关诊断标准中所规定的各个类别的概率。对于与实施方式1共通的部分省略说明。
图30是说明实施方式6中的第1评分学习模型611的配置的说明图。使用参考图30说明的第1评分学习模型611来代替参考图3说明的第1评分学习模型611。
第1评分学习模型611在输出层533中具有3个输出节点，该输出节点用于当输入了内窥镜图像49时，基于溃疡性大肠炎的诊断标准输出发红程度为“判断1”、“判断2”和“判断3”等3个阶段中的每一个的概率。“判断1”意味着发红程度为“正常”，“判断2”意味着“红斑”，“判断3”意味着“严重红斑”。
同样地，在第2评分学习模型612中，“判断1”意味着血管透见程度为“正常”，“判断2”意味着血管透见程度为“呈斑状消失”，“判断3”意味着血管透见几乎在整个区域上“消失”。
另外，评分学习模型的输出层533的节点数量是任意的。在本实施方式中，第3评分学习模型613在输出层533中具有从“判断1”到“判断4”的4个输出节点。“判断1”意味着溃疡程度为“无”，“判断2”意味着“糜烂”，“判断3”意味着“中等”深度的溃疡，“判断4”意味着“深度”溃疡。
图31是说明实施方式6中的画面显示的说明图。将内窥镜图像栏73显示在画面的左上方。将第1结果栏71和第1停止按钮711显示在画面的右侧。将第2结果栏72和第2停止按钮722显示在内窥镜图像栏73的下方。
根据本实施方式，可以提供一种诊断支持系统10，其用于按照诊断标准中规定的定义以表现方式来显示第1结果栏71。
[实施方式7]
本实施方式涉及一种诊断支持系统10，其用于当第1模型61的输出与第2模型62的输出之间存在不一致时显示注意提醒。对于与实施方式1共通的部分省略说明。
图32是说明实施方式7中的画面显示的说明图。在图32所示的示例中，输出以下诊断标准预测：正常的概率为70％，用于表示发红程度的第1评分为70，用于表示血管透见程度的第2评分为50，用于表示溃疡程度的第3评分为5。
将警告栏75显示在画面下方。当作为“发红”程度的第1评分数值较高时，警告栏75根据诊断标准，应该判定为不"正常"，因此表示第1结果栏71和第2结果栏72之间存在不一致。基于诊断标准通过规则库来判断是否存在不一致。
这样一来，当第1模型61的输出与第2模型62的输出之间存在不一致时，显示警告栏75以唤起作为用户的医生的注意。
[实施方式8]
本实施例涉及一种诊断支持系统10，其用于使内窥镜用处理器11和信息处理装置20一体化。对于与实施方式1共通的部分省略说明。
图33是说明实施方式8中的诊断支持系统10的概要的说明图。另外，在图33中，对于用于实现光源、供气供水泵以及摄像元件141的控制部等的内窥镜用处理器11的基本功能的结构，省略其图示以及说明。
诊断支持系统10包括内窥镜14和内窥镜用处理器11。内窥镜用处理器11具备内窥镜连接部12、控制部21、主存储装置22、辅助存储装置23、通信部24、显示装置I/F26、输入装置I/F27和总线。
由于控制部21、主存储装置22、辅助存储装置23、通信部24、显示装置I/F26和输入装置I/F27与实施方式1相同，因此省略其说明。内窥镜14经由内窥镜连接器15与内窥镜连接部12连接。
根据本实施方式，控制部21经由内窥镜连接部12从内窥镜14接收视频信号并执行各种图像处理，以生成适合于医生观察的内窥镜图像49。控制部21将所生成的内窥镜图像49输入到第1模型61中，并且根据诊断标准获取各个项目的诊断标准预测。控制部21将所生成的内窥镜图像49输入到第2模型62中，并且获取疾病的诊断预测。
另外，第1模型61和第2模型62也可以被配置为接受从内窥镜14获取的视频信号或者基于视频信号生成内窥镜图像49的过程中的图像。如此一来，可以提供一种诊断支持系统10，其能够利用在生成适合于医生观察的图像的过程中丢失的信息。
[实施方式9]
本实施方式涉及一种诊断支持系统10，其用于显示内窥镜图像49中的影响从第1模型61输出的诊断标准预测的区域。对于与实施方式1共通的部分省略说明。
图34是说明实施方式9中的诊断支持系统10的概要的说明图。图34示出了诊断支持系统10，其在参考图1说明的实施方式1的诊断支援系统10中追加了用于提取影响第2评分的区域的提取部66。
与实施方式1相同，将内窥镜图像49输入到第1模型61和第2模型62，并且其各自的输出通过第1获取部和第2获取部获取。在内窥镜图像49中，通过提取部66提取影响第2评分的关注区域。
提取部66可以通过例如CAM(Class Activation Mapping)、Grad-CAM(Gradient-weighted Class Activation Mapping)、或者Grad-CAM++等已知的关注区域可视化方法的算法来实现。
提取部66可以通过由控制部21执行的软件来实现，也可以通过图像处理芯片等硬件来实现。在下面的说明中，以通过软件实现提取部66的情况为例进行说明。
控制部21基于由第1获取部和第2获取部获取的输出以及由提取部66提取的关注区域，在显示装置16上显示图34中的下方所示的画面。所显示的画面包括内窥镜图像栏73、第1结果栏71、第2结果栏72和关注区域栏78。
在内窥镜图像栏73中实时显示使用内窥镜14拍摄的内窥镜图像49。在第1结果栏71中，显示从第1模型61输出的诊断标准预测。在第2结果栏72中，显示从第2模型62输出的诊断预测。
在图34所示的示例中，通过选择光标76显示由用户选择的用于表示第1结果栏71中的第2评分的“血管透见”项目。
在关注区域栏78中，通过关注区域指标781显示由提取部66提取出的关注区域。关注区域指标781通过热图或等高线显示来表现对第2评分的影响的大小。在图34中，关注区域指标781也可以通过用于包围使用阴影线来显示的关注区域指标781对第2评分的影响大于预定阈值的区域的框等来表现，其中，对诊断标准预测的影响越大的场所阴影线就越密。
另外，当用户选择了用于表示第1评分的“发红”项目时，将选择光标76显示在“发红”项目中。提取部66提取影响第1评分的区域。同样地，当用户选择了用于表示第3评分的“溃疡”项目时，将选择光标76显示在“溃疡”项目中。提取部66提取影响第3评分的区域。当用户没有选择任何一个诊断标准项目时，则不显示选择光标76，并且在关注区域栏78中不显示关注区域指标781。
诊断支持系统10可以同时接受多个诊断标准项目的选择。在这种情况下，诊断支持系统10具有多个提取部66，其用于针对接受选择的各个诊断标准项目，提取影响诊断标准预测的区域。
图35是说明第1模型61的配置的说明图。在本实施方式中，对参考图3说明概要的第1模型61的配置进行更进一步地详细说明。
将内窥镜图像49输入到特征量提取部551。特征量提取部551通过重复卷积层和池化层而构成。在卷积层中，在多个滤波器中的每一个和输入图像之间进行卷积处理。在图35中，重叠的正方形示意性地示出了不同的滤光器进行卷积处理的图像。
在池化层中，输入图像被缩小。在特征量提取部551的最终层中，生成多个用于反映原始内窥镜图像49的各种特征的小图像。将用于一维排列这些图像中的各个像素的数据输入到全连接层552。通过机器学习来调整特征量提取部551和全连接层552的参数。
通过柔性最大值层553调整全连接层552的输出以使其总数为1，并且从柔性最大值层553输出各个节点的预测概率。表1示出了柔性最大值层553的输出的示例。
[表1]
输出节点序号 评分范围
1 大于等于0且小于10
2 大于等于20且小于40
3 大于等于40且小于60
4 大于等于60且小于80
5 大于等于80且小于等于100
例如，从柔性最大值层553的第1节点输出第1评分的值为0以上且小于20的概率。从柔性最大值层553的第2节点输出第1评分的值为20以上且小于40的概率。所有节点的概率的总和为1。
通过典型值计算部554计算并输出作为柔性最大值层553输出的典型值的评分。典型值是例如评分的期望值或中心值等。
图36是说明提取部66的配置的说明图。控制部21将与典型值计算部554计算出的评分相对应的柔性最大值层553的输出节点设置为“1”，将除此之外的其他输出节点设置为“0”。控制部21计算全连接层552的反向传播。
控制部21基于通过反向传播获得的特征量提取部551的最终层的图像来生成热图。由此，确定关注区域指标781。
例如可以通过CAM(Class Activation Mapping)、Grad-CAM(Gradient-weightedClass Activation Mapping)、或者Grad-CAM++等已知的方法来生成热图。
另外，控制部21可以进行特征量提取部551的反向传播，并基于最终层之外的图像来生成热图。
例如，当使用Grad-CAM时，具体而言，控制部21接收第1评分学习模型611、第2评分学习模型612或第3评分学习模型613的模型类型以及多个卷积层中任意层的名称。控制部21将接收到的模型类型和层名称输入到Grad-CAM代码中，并且在求出梯度的基础上生成热图。控制部21将所生成的热图、以及与该热图相对应的模型名称和层名称显示在显示装置16上。
图37是说明实施方式9中的程序的处理流程的流程图。图37的程序是由控制部21代替参考图6说明的程序来执行的。由于从步骤S501到步骤S504的处理与参考图6说明的程序的处理流程相同，因此省略其说明。
控制部21判断是否接受与关注区域相关的显示的选择(步骤S651)。当判断为接收选择时(在步骤S651中为YES)，控制部21启动用于提取关注区域的子程序(步骤S652)。用于提取关注区域的子程序是从内窥镜图像49中提取对预定诊断标准预测有影响的关注区域的子程序。后文将对用于提取关注区域的子程序的处理流程进行说明。
当判断为不接受选择时(在步骤S651中为NO)，或者在步骤S652完成之后，控制部21生成参考图34中的下方说明的图像，并将其输出到显示装置16(步骤S653)。之后，控制部21完成处理。
图38是说明用于提取关注区域的子程序的处理流程的流程图。用于提取关注区域的子程序是从内窥镜图像49中提取对预定诊断标准预测有影响的关注区域的子程序。用于提取关注区域的子程序通过软件来实现提取部66的功能。
控制部21判断与典型值计算部554计算出的评分相对应的柔性最大值层553的输出节点(步骤S681)。控制部21将在步骤S681中判断的节点设置为“1”，将除此之外的其他柔性最大值层的节点设置为“0”。控制部21计算全连接层552的反向传播(步骤S682)。
控制部21生成与特征量提取部551的最终层相对应的图像。控制部21对所生成的多个图像进行预定的加权，并且计算图像上的各部位赋予柔性最大值层553的权重。控制部21基于权重较大的部分来确定关注区域指标781的形状以及位置(步骤S683)。
根据本实施方式，可以提供一种诊断支持系统10，其用于显示内窥镜图像49的哪个部分影响诊断标准预测。通过将关注区域指标781和显示在内窥镜图像栏73中的内窥镜图像49进行比较，用户可以了解内窥镜图像49的哪个部分有助于诊断标准预测。例如，当存在残留的部分或存在光斑的部分等未正常拍摄的部分有助于诊断标准预测时，用户可以判断为应忽略所显示的诊断标准预测。
通过分开显示内窥镜图像栏73和关注区域栏78，用户可以在不受关注区域指标781阻碍的状态下观察内窥镜图像49的颜色以及质感等。另外，通过以相同比例显示内窥镜图像栏73和关注区域栏78，用户可以更直观地掌握内窥镜图像49和关注区域指标781之间的位置关系。
[第1变形例]
图39是说明实施方式9中的第1变形例的画面显示的说明图。在本变形例中，将内窥镜图像49和关注区域指标781重叠并显示在关注区域栏78中。即，CPU21在内窥镜图像栏73和关注区域栏78中显示相同的内窥镜图像49。
根据本实施方式，用户可以直观地掌握内窥镜图像49和关注区域指标781之间的位置关系。此外，通过观察内窥镜图像栏73，可以在不受关注区域指标781阻碍的状态下观察内窥镜图像49。
[第2变形例]
本变形例相对于实施方式6中的诊断支持系统10追加用于显示关注区域指标781的功能。表2示出了第1评分学习模型611的柔性最大值层553的示例。
[表2]
输出节点序号 预测内容
1 正常
2 有红斑
3 有严重红斑
例如，从柔性最大值层553的第1节点输出发红状态为“正常”的概率。从柔性最大值层553的第2节点输出“有红斑”的概率。从柔性最大值层553的第3节点输出“有严重红斑”的概率。
不执行典型值计算部554中的运算，并且从第1模型61直接输出柔性最大值层553的输出节点。
图40是说明实施方式9中的第2变形例的画面显示的说明图。在本变形例中，将与疾病相关的诊断标准中规定的各个类别的概率输出到第1结果栏71中。
在图40所示的示例中，通过选择光标76显示用户在第1结果栏71的第1评分中选择了“正常”项目，在第2评分中选择了“呈斑状消失”项目。在图40的中央部显示有上下排列的2个关注区域栏78。
以第1评分为例进行说明。控制部21将与用户选择的“正常”相对应的柔性最大值层553的输出节点设置为“1”，将除此之外的其他输出节点设置为“0”。控制部21执行全连接层552的反向传播，并生成用于表示影响“正常”概率为90％的判断的部分的关注区域指标781。
控制部21在上侧的关注区域栏78中显示与“发红”为“正常”的概率相关的关注区域指标781。当用户将选择改变为“红斑”的项目时，控制部21将与“红斑”相对应的柔性最大值层553的输出节点设置为“1”，将除此之外的其他输出节点设置为“0”。控制部21执行全连接层552的反向传播，生成用于表示影响“红斑”概率为10％的判断的部分的关注区域指标781，并更新画面。
用户也可以通过操作选择光标76来在例如“发红”项目中选择“正常”项目和“红斑”项目。用户可以在关注区域栏78中分别确认影响“发红”为“正常”的概率的部分和影响“发红”为“红斑”的概率的部分。
[第3变形例]
本变形例追加对诊断预测的项目显示关注区域指标781的功能。图41是说明实施方式9中的第3变形例的画面显示的说明图。
在图41所示的示例中，通过选择光标76显示用户选择了第2结果栏72中的“轻度”项目。在关注区域栏78中显示有用于表示影响溃疡性大肠炎为“轻度”的判断的部位的关注区域指标781。
用户可以通过关注区域指标781来确认影响判断为“轻度”的概率为20％的部分。用户可以例如通过从不同方向进一步观察由关注区域指标781表示的场所等以再次确认第2模型62判断为“轻度”的结果是否合适。
[实施方式10]
本实施方式涉及一种诊断支持系统10，其不使用反向传播就可以实现提取部66。
图42是说明实施方式10中的用于提取关注区域的子程序的处理流程的流程图。用于提取关注区域的子程序是从内窥镜图像49中提取对预定诊断标准预测有影响的关注区域的子程序。执行参考图42说明的子程序以代替参考图38说明的子程序。
控制部21从内窥镜图像49中选择一个像素(步骤S661)。控制部21赋予在步骤S661中选择的像素以微小变化(步骤S662)。微小变化是通过对所选择的像素的RGB(Red GreenBlue)中的任意一个值加上或减去1来赋予的。
控制部21将赋予变化的内窥镜图像49输入到与用户所选择的项目相关的第1模型61中，并获取诊断标准预测(步骤S663)。控制部21计算与基于赋予变化前的内窥镜图像49而获取的诊断标准预测进行比较的、即诊断标准预测中的变化量(步骤S664)。
对诊断标准预测的影响越强的像素，因该像素的微小变化而引起的诊断标准预测的变化量就越大。因此，在步骤S664中计算出的变化量表示该像素对诊断标准预测的影响的强弱。
控制部21与在步骤S661中选择的像素的位置相关联地记录在步骤S664中计算出的变化量(步骤S665)。控制部21判断是否完成了所有像素的处理(步骤S666)。当判断为尚未完成时(在步骤S666中为NO)，控制部21返回步骤S661。
当判断为已经完成时(在步骤S666中为YES)，控制部21基于像素的位置和变化量来映射变化量(步骤S667)。例如，通过基于变化量的大小来创建热图或创建等高线以执行映射，并且确定用于表示变化量大的区域的关注区域指标781的形状以及位置。之后，控制部21完成处理。
另外，在步骤S661中，控制部21可以例如在垂直和水平方向上每隔几个像素来选择像素。通过对像素进行间隔处理，可以使用于提取关注区域的子程序的处理高速化。
执行图37中的从步骤S651到步骤S653的处理，以代替参考图24说明的实施方式3中的内窥镜检查时的程序的步骤S604，并且在步骤S652中启动本实施方式中的子程序。可以将用于显示关注区域指标781的功能添加到实施方式3中的诊断支持系统10中。
执行图37中的从步骤S651到步骤S653的处理，以代替参考图28说明的实施方式4中的内窥镜检查时的程序的步骤S633，并且在步骤S652中启动本实施方式中的子程序。可以将用于显示关注区域指标781的功能添加到实施方式4中的诊断支持系统10中。
根据本实施方式，可以提供一种诊断支持系统10，其用于即使当第1模型61不具有柔性最大值层553和全连接层552时、也就是说即使使用除神经网络模型53以外的方法时，也可以显示关注区域指标781。
本实施方式中的程序也可以应用于第2模型62的关注区域的提取。在这种情况下，在参考图42说明的用于提取关注区域的子程序的步骤S663中，控制部21将赋予变化的内窥镜图像49输入到第2模型62中，并获取诊断预测。在接下来的步骤S664中，控制部21将基于赋予变化前的内窥镜图像49而获取的“轻度”概率与在步骤S664中获取的“轻度”概率进行比较，并计算出诊断预测的变化量。
[实施方式11]
图43是是实施方式11中的信息处理装置20的功能框图。信息处理装置20包括图像获取部281、第1获取部282和输出部283。图像获取部281获取内窥镜图像49。
第1获取部282向当输入了内窥镜图像49时输出与疾病的诊断标准相关的诊断标准预测的第1模型61中，输入图像获取部281获取的内窥镜图像49，并获取所输出的诊断标准预测；输出部283将第1获取部282获取的诊断标准预测与基于内窥镜图像49获取的与疾病的状态相关的诊断预测进行关联并输出
[实施方式12]
本实施方式涉及一种通过组合操作通用计算机90和程序97来实现本实施方式中的诊断支持系统10的方式。图44是示出实施方式12中的诊断支持系统10的配置的说明图。对于与实施方式1共通的部分省略说明。
本实施方式中的诊断支持系统10包括计算机90、内窥镜用处理器11和内窥镜14。计算机90具备控制部21、主存储装置22、辅助存储装置23、通信部24、显示装置I/F26、输入装置I/F27、读取部29和总线。计算机90是通用个人计算机、平板电脑或服务器端计算机等信息设备。
将程序97记录在便携式记录介质96上。控制部21经由读取部29读取程序97，并将其保存在辅助存储装置23中。此外，控制部21也可以读取存储在用于在计算机90内安装的闪存等半导体存储器98中的程序97。更进一步地，控制部21也可以从通信部24和经由图中未示出的网络相连接的图中未示出的其他服务器端计算机中下载程序97，并将其保存在辅助存储装置23中。
将程序97作为计算机90的控制程序进行安装，并加载到主存储装置22中执行。由此，计算机90、内窥镜用处理器11和内窥镜14作为上述诊断支持系统10发挥作用。
[实施方式13]
图45是实施方式13中的服务器30的功能框图。服务器30具有获取部381和生成部382。获取部381获取用于将内窥镜图像49和对用于疾病诊断的诊断标准进行判断的判断结果相关联地进行记录的多组教师数据。生成部382使用教师数据来生成用于当输入了内窥镜图像49时输出对疾病的诊断标准进行预测的诊断标准预测的第1模型。
[实施方式14]
本实施方式涉及一种通过组合操作通用服务器端计算机901、客户端计算机902和程序97来实现本实施方式中的模型生成系统19的方式。图46是示出实施方式14中的模型生成系统19的配置的说明图。对于与实施方式2共通的部分省略说明。
本实施方式中的模型生成系统19包括服务器端计算机901和客户端计算机902。服务器端计算机901具备控制部31、主存储装置32、辅助存储装置33、通信部34、读取部39和总线。服务器端计算机901是通用个人计算机、平板电脑、大型计算机、在大型计算机上运行的虚拟机、云计算系统或量子计算机。服务器端计算机901也可以是执行分布式处理的多个个人计算机等。
客户端计算机902具备控制部41、主存储装置42、辅助存储装置43、通信部44、显示部46、输入部47和总线。客户端计算机902是通用个人计算机、平板电脑或智能手机之类的信息设备。
将程序97记录在便携式记录介质96上。控制部31经由读取部39读取程序97，并将其保存在辅助存储装置33中。此外，控制部31也可以读取存储在用于在服务器端计算机901内安装的闪存等半导体存储器98中的程序97。更进一步地，控制部31也可以从通信部24和经由图中未示出的网络相连接的图中未示出的其他服务器端计算机中下载程序97，并将其保存在辅助存储装置33中。
将程序97作为服务器端计算机901的控制程序进行安装，并加载到主存储装置22中执行。控制部31经由网络，将程序97中的由控制部41执行的部分分发到客户端计算机902中。将所分发的程序97作为客户端计算机902的控制程序进行安装，并加载到主存储装置42中执行。
由此，服务器端计算机901和客户端计算机902作为上述诊断支持系统10发挥作用。
[实施方式15]
图47是实施方式15中的信息处理装置20的功能框图。信息处理装置20具有图像获取部281、第1获取部282、提取部66和输出部283。图像获取部281获取内窥镜图像49。
第1获取部282向当输入了内窥镜图像49时输出与疾病的诊断标准相关的诊断标准预测的第1模型61中，输入图像获取部281获取的内窥镜图像49，并获取所输出的诊断标准预测；提取部66从内窥镜图像49中提取影响由第1获取部282获取的诊断标准预测的区域。输出部283将由第1获取部282获取的诊断标准预测、用于表示由提取部66提取的区域的指标、以及与基于内窥镜图像49获取的疾病状态相关的诊断预测相关联地输出。
[实施方式16]
本实施方式涉及一种通过组合操作通用计算机90和程序97来实现本实施方式中的诊断支持系统10的方式。图48是示出实施方式16中的诊断支持系统10的配置的说明图。对于与实施方式1共通的部分省略说明。
本实施方式中的诊断支持系统10包括计算机90、内窥镜用处理器11和内窥镜14。计算机90具备控制部21、主存储装置22、辅助存储装置23、通信部24、显示装置I/F26、输入装置I/F27、读取部29和总线。计算机90是通用个人计算机、平板电脑或服务器端计算机等信息设备。
将程序97记录在便携式记录介质96上。控制部21经由读取部29读取程序97，并将其保存在辅助存储装置23中。此外，控制部21也可以读取存储在用于在计算机90内安装的闪存等半导体存储器98中的程序97。更进一步地，控制部21也可以从通信部24和经由图中未示出的网络相连接的图中未示出的其他服务器端计算机中下载程序97，并将其保存在辅助存储装置23中。
将程序97作为计算机90的控制程序进行安装，并加载到主存储装置22中执行。由此，计算机90、内窥镜用处理器11和内窥镜14作为上述诊断支持系统10发挥作用。
各个实施例中所述的技术特征(结构要求)可以彼此组合，并且可以通过组合来形成新的技术特征。
应该理解的是，本次公开的实施方式在所有方面均为例示性的，而非限制性的。本发明的范围不是上述含义，而是由权利要求示出，并且旨在包括与权利要求等同的含义和范围内的所有修改。
(附录1)
一种信息处理装置，其具备：
图像获取部，其用于获取内窥镜图像；
第1获取部，其用于向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入所述图像获取部获取的内窥镜图像，
并获取所输出的诊断标准预测；
以及输出部，其用于将所述第1获取部获取的诊断标准预测与基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
(附录2)
根据附录1所述的信息处理装置，其中，
所述第1获取部从多个第1模型中获取各个项目的诊断标准预测，所述第1模型分别输出所述疾病的诊断标准中所包含的多个项目的诊断标准预测。
(附录3)
根据附录1或2所述的信息处理装置，其中，
所述第1模型是通过机器学习生成的学习模型。
(附录4)
根据附录1或2所述的信息处理装置，其中，
所述第1模型输出基于由所述图像获取部获取的内窥镜图像而计算出的数值。
(附录5)
根据附录1至4中任意一项所述的信息处理装置，其具备：
第1接收部，其用于接收所述第1获取部的操作停止指令。
(附录6)
根据附录1至5中任意一项所述的信息处理装置，其中，
所述诊断预测是向当输入了内窥镜图像时输出所述疾病的诊断预测的第2模型中，输入所述图像获取部获取的内窥镜图像后而输出的诊断预测。
(附录7)
根据附录6所述的信息处理装置，其中，
所述第2模型是通过机器学习生成的学习模型。
(附录8)
根据附录6或7所述的信息处理装置，其中，
所述第2模型是神经网络模型，其具备：
输入层，其用于输入内窥镜图像；
输出层，其用于输出疾病的诊断预测；
以及中间层，其用于通过将内窥镜图像与诊断预测相关联地进行记录的多组教师数据来学习参数；
所述第1模型基于从所述中间层的预定节点获取的特征量来输出诊断标准预测。
(附录9)
根据附录6或7所述的信息处理装置，其中，
当输入了内窥镜图像时，所述第2模型输出与所述疾病中所包含的病变区域相关的区域预测；
当输入了病变区域的内窥镜图像时，所述第1模型输出与所述疾病的诊断标准相关的诊断标准预测；
所述第1获取部将由所述图像获取部获取的内窥镜图像中的与从所述第2模型输出的区域预测相对应的部分输入到所述第1模型中，并且获取所输出的诊断标准预测。
(附录10)
根据附录6至9中任意一项所述的信息处理装置，其具备：
第2接收部，其用于接收停止获取所述诊断预测的指令。
(附录11)
根据附录6至10中任意一项所述的信息处理装置，其中，
所述输出部还输出所述图像获取部获取的内窥镜图像。
(附录12)
根据附录1至11中任意一项所述的信息处理装置，其中，
所述图像获取部实时获取在内窥镜检查期间拍摄的内窥镜图像，
所述输出部与所述图像获取部获取内窥镜图像相同步地进行输出。
(附录13)
一种内窥镜用处理器，其具备：
内窥镜连接部，其用于连接内窥镜；
图像生成部，其用于基于从所述内窥镜连接部所连接的内窥镜中获取的视频信号生成内窥镜图像；
第1获取部，其用于向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入所述图像生成部生成的内窥镜图像，并获取所输出的诊断标准预测；
以及输出部，其用于将所述第1获取部获取的诊断标准预测与基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
(附录14)
一种由计算机执行处理的信息处理方法，其中：
获取内窥镜图像，
向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入获取的内窥镜图像，获取所输出的诊断标准预测，
将获取的诊断标准预测与基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
(附录15)
一种由计算机执行处理的程序，其中：
获取内窥镜图像，
向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入获取的内窥镜图像，获取所输出的诊断标准预测，
将获取的诊断标准预测与基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
(附录16)
一种模型生成方法，其中，
获取通过将内窥镜图像与作为用于疾病诊断的诊断标准而判断的判断结果进行关联并记录的多组教师数据，
使用所述教师数据生成第1模型，所述第1模型用于在输入了内窥镜图像时输出关于疾病诊断标准进行预测的诊断标准预测。
(附录17)
根据附录16所述的模型生成方法，其中，
所述教师数据包括对所述诊断标准中所包含的多个诊断标准项目中的每一个进行判断的判断结果，
与多个所述诊断标准项目中的每一个相对应地生成所述第1模型。
(附录18)
根据附录16或17所述的模型生成方法，其中，
所述第1模型通过调整中间层参数的深度学习生成，以便在获取的内窥镜图像输入了输入层时，获取的判断结果从输出层输出。
(附录19)
根据附录16或17所述的模型生成方法，其中，
所述第1模型，
向当输入了内窥镜图像时输出所述疾病的诊断预测的神经网络模型中，输入获取的教师数据中的内窥镜图像，
从构成所述神经网络模型的中间层的节点，获取与输入的内窥镜图像相关的多个特征量，
从获取的多个特征量中，选择与判断结果相关性高的特征量，所述判断结果与所述内窥镜图像相关联，
通过在选择的特征量和量化所述判断结果的评分之间进行回归分析，确定基于选择的特征量计算所述评分的计算方法而生成。
(附录20)
根据附录16或17所述的模型生成方法，其中，
所述第1模型，
从获取的内窥镜图像中提取多个特征量，
从提取的多个特征量中，选择与判断结果相关性高的特征量，所述判断结果与所述内窥镜图像相关联，
通过在选择的特征量和量化所述判断结果的评分之间进行回归分析，确定基于选择的特征量计算所述评分的计算方法而生成。
(附录21)
根据附录16至20中任意一项所述的模型生成方法，其中，
所述疾病是溃疡性大肠炎，
所述诊断标准预测是与内窥镜图像的发红、血管透见或者溃疡的严重程度相关的预测。
(附录22)
一种由计算机执行处理的程序，其中：
获取通过将内窥镜图像与作为用于疾病诊断的诊断标准而判断的判断结果进行关联并记录的多组教师数据，
向当输入了内窥镜图像时输出所述疾病的诊断预测的神经网络模型中，输入获取的教师数据中的内窥镜图像，
从构成所述神经网络模型的中间层的节点，获取与输入的内窥镜图像相关的多个特征量，
将获取的多个特征量和量化判断结果的评分关联并进行记录，所述判断结果与输入的内窥镜图像相关联，
基于记录的多个特征量中的每一个和所述评分的相关性，选择和所述评分的相关性高的特征量，
通过在选择的特征量和所述评分之间进行回归分析，确定基于选择的特征量计算所述评分的计算方法而生成第1模型，所述第1模型在输入了内窥镜图像时输出关于所述疾病的诊断标准进行预测的诊断标准预测。
(附录23)
一种信息处理装置，其具备：
图像获取部，其用于获取内窥镜图像；
第1获取部，其用于向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入所述图像获取部获取的内窥镜图像，并获取所输出的诊断标准预测；
提取部，其从所述内窥镜图像中提取影响所述第1获取部获取的诊断标准预测的区域；
以及输出部，其用于将所述第1获取部获取的诊断标准预测、表示所述提取部提取的区域的指标、以及基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
(附录24)
根据附录23所述的信息处理装置，其中，
所述第1获取部从多个第1模型中获取各个项目的诊断标准预测，所述第1模型分别输出所述疾病的诊断标准相关的多个项目的诊断标准预测，
具备用于从多个所述项目中接收选择项目的接收部，
所述提取部提取对所述接收部接收的选择项相关的诊断标准预测有影响的区域。
(附录25)
根据附录23或24所述的信息处理装置，其中，
所述输出部并排输出所述内窥镜图像和所述指标。
(附录26)
根据附录23或24所述的信息处理装置，其中，
所述输出部重叠输出所述内窥镜图像和所述指标。
(附录27)
根据附录23至26中任意一项所述的信息处理装置，其具备：
停止接收部，其用于接收所述提取部的操作停止指令。
(附录28)
根据附录23至27中任意一项所述的信息处理装置，其具备：
第2获取部，其用于向当输入了内窥镜图像时输出所述疾病的诊断预测的第2模型中，输入所述图像获取部获取的内窥镜图像，并获取所输出的诊断预测，
所述输出部输出所述第2获取部获取的诊断标准预测、所述第1获取部获取的诊断预测、以及所述指标。
(附录29)
一种信息处理装置，其具备：
图像获取部，其用于获取内窥镜图像；
第2获取部，其用于向当输入了内窥镜图像时输出疾病的诊断预测的第2模型中，输入所述图像获取部获取的内窥镜图像，并获取所输出的诊断预测；
提取部，其从所述内窥镜图像中提取影响所述第2获取部获取的诊断标准预测的区域；
以及输出部，其用于将所述第2获取部获取的诊断预测、表示所述提取部提取的区域的指标进行关联并输出。
(附录30)
一种内窥镜用处理器，其具备：
内窥镜连接部，其用于连接内窥镜；
图像生成部，其用于基于从所述内窥镜连接部所连接的内窥镜中获取的视频信号生成内窥镜图像；
第1获取部，其用于向当输入了从内窥镜获取的视频信号时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入从所述内窥镜获取的视频信号，并获取所输出的诊断标准预测；
提取部，其从所述内窥镜图像中提取影响所述第1获取部获取的诊断标准预测的区域；
以及输出部，其用于将所述第1获取部获取的诊断标准预测、表示所述提取部提取的区域的指标、以及基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
(附录31)
一种由计算机执行处理的信息处理方法，其中：
获取内窥镜图像，
向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入获取的内窥镜图像，获取所输出的诊断标准预测，
从所述内窥镜图像中，提取影响获取的诊断标准预测的区域，
将获取的诊断标准预测、表示提取的区域的指标、以及基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
(附录32)
一种由计算机执行处理的程序，其中：
获取内窥镜图像，
向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入获取的内窥镜图像，获取所输出的诊断标准预测，
从所述内窥镜图像中，提取影响获取的诊断标准预测的区域，
将获取的诊断标准预测、表示提取的区域的指标、以及基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
符号说明
10 诊断支持系统
11 内窥镜用处理器
12 内窥镜连接部
14 内窥镜
141 摄像元件
142 插入部
15 内窥镜连接器
16 显示装置
161 第1显示装置
162 第2显示装置
17 键盘
19 模型生成系统
20 信息处理装置
21 控制部
22 主存储装置
23 辅助存储装置
24 通信部
26 显示装置I/F
27 输入装置I/F
281 图像获取部
282 第1获取部
283 输出部
29 读取部
30 服务器
31 控制部
32 主存储装置
33 辅助存储装置
34 通信部
381 获取部
382 生成部
39 读取部
40 客户端
41 控制部
42 主存储装置
43 辅助存储装置
44 通信部
46 显示部
47 输入部
49 内窥镜图像
53 神经网络模型
531 输入层
532 中间层
533 输出层
551 特征量提取部
552 全连接层
553 柔性最大值层
554 典型值计算部
61 第1模型
611 第1评分学习模型
612 第2评分学习模型
613 第3评分学习模型
62 第2模型
63 转换器
631 第1转换器
632 第2转换器
633 第3转换器
64 教师数据DB
65 特征量
651 第1特征量
652 第2特征量
653 第3特征量
66 提取部
71 第1结果栏
711 第1停止按钮
72 第2结果栏
722 第2停止按钮
73 内窥镜图像栏
74 病变区域
75 警告栏
76 选择光标
78 关注区域栏
781 关注区域指标(指标)
81 第1输入栏
811 第1评分输入栏
812 第2评分输入栏
813 第3评分输入栏
82 第2输入栏
86 患者ID栏
87 疾病名称栏
88 模型按钮
89 下一页按钮
90 计算机
901 服务器端计算机
902 客户端计算机
96 便携式记录介质
97 程序
98 半导体存储器。

Claims (15)

1.一种信息处理装置，其具备：
图像获取部，其用于获取内窥镜图像；
第1获取部，其用于向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入所述图像获取部获取的内窥镜图像，并获取所输出的诊断标准预测；
以及输出部，其用于将所述第1获取部获取的诊断标准预测与基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
2.根据权利要求1所述的信息处理装置，其中，
所述第1获取部从多个第1模型中获取各个项目的诊断标准预测，所述第1模型分别输出所述疾病的诊断标准中所包含的多个项目的诊断标准预测。
3.根据权利要求1或2所述的信息处理装置，其中，
所述第1模型是通过机器学习生成的学习模型。
4.根据权利要求1或2所述的信息处理装置，其中，
所述第1模型输出基于由所述图像获取部获取的内窥镜图像而计算出的数值。
5.根据权利要求1至4中任意一项所述的信息处理装置，其具备：
第1接收部，其用于接收所述第1获取部的操作停止指令。
6.根据权利要求1至5中任意一项所述的信息处理装置，其中，
所述诊断预测是向当输入了内窥镜图像时输出所述疾病的诊断预测的第2模型中，输入所述图像获取部获取的内窥镜图像后而输出的诊断预测。
7.根据权利要求6所述的信息处理装置，其中，
所述第2模型是通过机器学习生成的学习模型。
8.根据权利要求6或7所述的信息处理装置，其中，
所述第2模型是神经网络模型，其具备：
输入层，其用于输入内窥镜图像；
输出层，其用于输出疾病的诊断预测；
以及中间层，其用于通过将内窥镜图像与诊断预测相关联地进行记录的多组教师数据来学习参数；
所述第1模型基于从所述中间层的预定节点获取的特征量来输出诊断标准预测。
9.根据权利要求6或7所述的信息处理装置，其中，
当输入了内窥镜图像时，所述第2模型输出与所述疾病中所包含的病变区域相关的区域预测；
当输入了病变区域的内窥镜图像时，所述第1模型输出与疾病的诊断标准相关的诊断标准预测；
所述第1获取部将由所述图像获取部获取的内窥镜图像中的与从所述第2模型输出的区域预测相对应的部分输入到所述第1模型中，并且获取所输出的诊断标准预测。
10.根据权利要求6至9中任意一项所述的信息处理装置，其具备：
第2接收部，其用于接收停止获取所述诊断预测的指令。
11.根据权利要求1至10中任意一项所述的信息处理装置，其中，
所述图像获取部实时获取在内窥镜检查期间拍摄的内窥镜图像，
所述输出部与所述图像获取部获取内窥镜图像相同步地进行输出。
12.一种信息处理装置，其具备：
图像获取部，其用于获取内窥镜图像；
第1获取部，其用于向当输入了内窥镜图像时输出与疾病的诊断标准相关的诊断标准预测的第1模型中，输入所述图像获取部获取的内窥镜图像，并获取所输出的诊断标准预测；
提取部，其从所述内窥镜图像中提取影响所述第1获取部获取的诊断标准预测的区域；
以及输出部，其用于将所述第1获取部获取的诊断标准预测、表示所述提取部提取的区域的指标、以及基于所述内窥镜图像获取的与所述疾病的状态相关的诊断预测进行关联并输出。
13.根据权利要求12所述的信息处理装置，其中，
所述第1获取部从多个第1模型中获取各个项目的诊断标准预测，所述第1模型分别输出所述疾病的诊断标准相关的多个项目的诊断标准预测，
具备用于从多个所述项目中接收选择项目的接收部，
所述提取部提取对所述接收部接收的选择项相关的诊断标准预测有影响的区域。
14.一种模型生成方法，其中，
获取通过将内窥镜图像与作为用于疾病诊断的诊断标准而判断的判断结果进行关联并记录的多组教师数据，
使用所述教师数据生成第1模型，所述第1模型用于在输入了内窥镜图像时输出关于疾病诊断标准进行预测的诊断标准预测。
15.根据权利要求14所述的模型生成方法，其中，
所述教师数据包括对所述诊断标准中所包含的多个诊断标准项目中的每一个进行判断的判断结果，
与多个所述诊断标准项目中的每一个相对应地生成所述第1模型。
CN201980043891.XA 2018-12-04 2019-11-13 信息处理装置和模型生成方法 Active CN112399816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410051899.3A CN117814732A (zh) 2018-12-04 2019-11-13 模型生成方法

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201862775197P 2018-12-04 2018-12-04
US62/775,197 2018-12-04
JP2019-100647 2019-05-29
JP2019100647A JP6877486B2 (ja) 2018-12-04 2019-05-29 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP2019-100649 2019-05-29
JP2019100648A JP7015275B2 (ja) 2018-12-04 2019-05-29 モデルの生成方法、教師データの生成方法、および、プログラム
JP2019100649A JP6872581B2 (ja) 2018-12-04 2019-05-29 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP2019-100648 2019-05-29
PCT/JP2019/044578 WO2020116115A1 (ja) 2018-12-04 2019-11-13 情報処理装置およびモデルの生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410051899.3A Division CN117814732A (zh) 2018-12-04 2019-11-13 模型生成方法

Publications (2)

Publication Number Publication Date
CN112399816A true CN112399816A (zh) 2021-02-23
CN112399816B CN112399816B (zh) 2024-01-05

Family

ID=71011993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043891.XA Active CN112399816B (zh) 2018-12-04 2019-11-13 信息处理装置和模型生成方法

Country Status (3)

Country Link
JP (4) JP6872581B2 (zh)
CN (1) CN112399816B (zh)
DE (1) DE112019006011T5 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7440388B2 (ja) 2020-09-28 2024-02-28 株式会社日立製作所 画像診断支援装置および画像処理方法
KR102253398B1 (ko) * 2020-11-19 2021-05-18 주식회사 웨이센 인공지능 기반의 영상 처리 및 사용자 이벤트를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
WO2022114357A1 (ko) * 2020-11-25 2022-06-02 주식회사 아이도트 영상 병변 진단 시스템
KR102268771B1 (ko) * 2020-11-26 2021-06-24 주식회사 웨이센 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치
KR102505791B1 (ko) * 2021-01-11 2023-03-03 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
JP7413295B2 (ja) 2021-02-05 2024-01-15 株式会社日立製作所 画像処理装置、画像処理方法及びプログラム
WO2022200624A2 (en) * 2021-03-26 2022-09-29 Datawalk Spolka Akcyjna Systems and methods for end-to-end machine learning with automated machine learning explainable artificial intelligence
JP7368922B2 (ja) * 2021-05-24 2023-10-25 アナウト株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JPWO2023032317A1 (zh) * 2021-09-02 2023-03-09
CN115206512B (zh) * 2022-09-15 2022-11-15 武汉大学人民医院（湖北省人民医院） 基于物联网的医院信息管理方法及装置
WO2024105910A1 (ja) * 2022-11-18 2024-05-23 株式会社 Sai 疾病リスク評価装置、疾病リスク評価システム、及び疾病リスク評価方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124755A (ja) * 2003-10-22 2005-05-19 Olympus Corp 内視鏡用画像処理装置
US20050207645A1 (en) * 2002-12-12 2005-09-22 Olympus Corporation Information processor
CN1725975A (zh) * 2002-12-12 2006-01-25 奥林巴斯株式会社 信息处理装置
JP2007209770A (ja) * 2007-03-16 2007-08-23 Olympus Corp 内視鏡診断支援装置
WO2016121811A1 (ja) * 2015-01-29 2016-08-04 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
WO2017057572A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
US20180218499A1 (en) * 2015-09-29 2018-08-02 Fujifilm Corporation Image processing apparatus, endoscope system, and image processing method

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3823494C2 (de) * 1988-07-11 1997-11-27 En Versorgung Schwaben Ag Verfahren und Vorrichtung zur Feuerungsdiagnose und dessen Ergebnisse verwendende Feuerungsregelung
JPH08305855A (ja) * 1995-05-01 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> 画像のパターン認識方法及び装置
JPH08249300A (ja) * 1995-03-13 1996-09-27 Minolta Co Ltd ニューラルネットワーク及びその作成方法
JP2000155840A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 画像処理方法
JP2003126045A (ja) 2001-10-22 2003-05-07 Olympus Optical Co Ltd 診断支援装置
EP1394715A1 (en) 2002-08-02 2004-03-03 Europroteome AG An expert system for clinicial outcome prediction
CN1839391A (zh) 2003-06-25 2006-09-27 美国西门子医疗解决公司 用于乳房成像的自动诊断和决策支持的系统和方法
JP5738720B2 (ja) 2011-03-24 2015-06-24 日本メナード化粧品株式会社 メラニン合成能力評価方法及び美容アドバイス方法並びにそれらを用いるメラニン合成能力評価システム及び美容アドバイスシステム
JP6027803B2 (ja) 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
JP6027065B2 (ja) 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
EP3357403B1 (en) * 2015-09-28 2019-08-21 Fujifilm Corporation Image processing device, endoscope system, and image processing method
JP6580446B2 (ja) 2015-10-09 2019-09-25 サイバネットシステム株式会社 画像処理装置及び画像処理方法
JPWO2018020558A1 (ja) * 2016-07-25 2019-05-09 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018159363A1 (ja) * 2017-03-01 2018-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019087971A1 (ja) * 2017-10-30 2019-05-09 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
WO2019087790A1 (ja) * 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
JP6889282B2 (ja) 2017-12-22 2021-06-18 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2019142243A1 (ja) * 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法
EP3806101A4 (en) 2018-05-28 2021-07-21 FUJIFILM Corporation TRAINING DATA COLLECTION DEVICE, TRAINING DATA COLLECTION METHOD AND PROGRAM, TRAINING SYSTEM, TRAINED MODEL AND ENDOSCOPE IMAGE PROCESSING DEVICE

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207645A1 (en) * 2002-12-12 2005-09-22 Olympus Corporation Information processor
CN1725975A (zh) * 2002-12-12 2006-01-25 奥林巴斯株式会社 信息处理装置
JP2005124755A (ja) * 2003-10-22 2005-05-19 Olympus Corp 内視鏡用画像処理装置
JP2007209770A (ja) * 2007-03-16 2007-08-23 Olympus Corp 内視鏡診断支援装置
WO2016121811A1 (ja) * 2015-01-29 2016-08-04 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
WO2017057572A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
US20180218499A1 (en) * 2015-09-29 2018-08-02 Fujifilm Corporation Image processing apparatus, endoscope system, and image processing method
US20180214004A1 (en) * 2015-09-29 2018-08-02 Fujifilm Corporation Image processing apparatus, endoscope system, and image processing method

Also Published As

Publication number Publication date
JP2021119996A (ja) 2021-08-19
JP2020089710A (ja) 2020-06-11
JP2020089711A (ja) 2020-06-11
CN112399816B (zh) 2024-01-05
JP2020089712A (ja) 2020-06-11
JP7015275B2 (ja) 2022-02-02
JP7155330B2 (ja) 2022-10-18
JP6872581B2 (ja) 2021-05-19
DE112019006011T5 (de) 2021-09-09
JP6877486B2 (ja) 2021-05-26

Similar Documents

Publication Publication Date Title
CN112399816B (zh) 信息处理装置和模型生成方法
CN117814732A (zh) 模型生成方法
CN113538313B (zh) 一种息肉分割方法、装置、计算机设备及存储介质
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
CN112533525B (zh) 内窥镜用处理器、信息处理装置、程序、信息处理方法以及学习模型的生成方法
CN115345819A (zh) 一种胃癌图像识别系统、装置及其应用
US9514529B2 (en) Diagnostic reading request system, diagnostic reading request intermediary device, control program, and diagnostic reading result evaluation method
CN103458765B (zh) 图像处理装置
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
CN113164142B (zh) 相似度确定装置、方法及程序
CN113129293A (zh) 医学图像分类方法、装置、计算机设备和存储介质
US10430905B2 (en) Case search device and method
JP2006149654A (ja) 眼底の病変についての診断の支援
KR102261408B1 (ko) 의료영상을 이용한 질환정보 제공 방법
CN114445406A (zh) 肠镜图像分析方法、装置和医学图像处理设备
JP2009128053A (ja) 医療画像表示装置
KR20230118054A (ko) 의료 영상으로부터 바이오마커 발현을 예측하는 방법및 시스템
Biradher et al. Classification of wireless capsule endoscopy bleeding images using deep neural network
CN116128784A (zh) 一种图像处理方法、装置、存储介质及终端
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
CN117059263B (zh) 基于双视图胸片的肺动脉高压发生概率的确定方法及系统
US20230274424A1 (en) Appartus and method for quantifying lesion in biometric image
EP4379740A1 (en) Device and method for generating virtual pneumoperitoneum model of patient
US11776121B2 (en) Method and apparatus for providing information needed for diagnosis of lymph node metastasis of thyroid cancer
US20230274421A1 (en) Method for providing information about diagnosis of gallbladder polyp and device for providing information about diagnosis of gallbladder polyp using same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant