CN113164025A - 医疗支持系统、医疗支持设备和医疗支持方法 - Google Patents

医疗支持系统、医疗支持设备和医疗支持方法 Download PDF

Info

Publication number
CN113164025A
CN113164025A CN201980080786.3A CN201980080786A CN113164025A CN 113164025 A CN113164025 A CN 113164025A CN 201980080786 A CN201980080786 A CN 201980080786A CN 113164025 A CN113164025 A CN 113164025A
Authority
CN
China
Prior art keywords
tile
evaluation
image
evaluation value
medical support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980080786.3A
Other languages
English (en)
Inventor
笹田志织
竹中健人
大塚和朗
渡边守
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113164025A publication Critical patent/CN113164025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

提供了一种医疗支持系统，配备有：导出装置，基于通过对患处成像而获得的患处图像来导出患处的评估值；以及向用户呈现评估值的显示装置。该导出装置具有：剪切单元，其将患处图像剪切为具有瓦片形状的多个瓦片图像；以及评估导出单元，使用通过机器学习获得的确定单元来导出表示多个瓦片图像中的患处的评估的瓦片评估值。

Description

医疗支持系统、医疗支持设备和医疗支持方法
技术领域
本公开涉及医疗支持系统、医疗支持设备和医疗支持方法。
背景技术
内科医生在对病人进行医疗实践时使用各种技术。例如，在溃疡性结肠炎等的情况下，使用内窥镜进行医疗实践。在这种医疗实践中，内科医生从通过内窥镜获得的图像中评估患处的病理状况，并在长时间持续监测的同时控制剂量等。在难以通过这种监测的随访来评估病理状况的情况下，可以进行活组织检查，以通过病理诊断做出明确的诊断(参考下面的非专利文献)。
现有技术文献
非专利文献
非专利文献1：Theodore R.Levin,"Complications of Colonoscopy in anIntegrated Health Care Delivery System",Ann Intern Med,2006Dec 19,145(12):880-6。
发明内容
技术问题
然而，基于内窥镜图像的病理状况的评估是视觉判断，导致取决于个体专家而发生评估变化。此外，当为了医学检查而进行活组织检查时，如上述非专利文献1中所述，担心对活体来说存在风险，例如由于样本收集期间穿孔的影响而导致出血，从而导致传染病的影响。考虑到上述情况，需要能够在内窥镜检查中使病理状况的评估更加便利。
问题的解决方案
根据本公开，提供一种医疗支持系统，包括：导出装置，基于通过对患处成像而获得的患处图像来导出针对所述患处的评估值；以及显示装置，向用户呈现所述评估值，其中，所述导出装置包括：剪切单元，将所述患处图像剪切为瓦片形状的多个瓦片图像；以及评估导出单元，通过使用通过机器学习获得的确定单元来导出表示所述多个瓦片图像中的所述患处的评估的瓦片评估值。
进一步地，根据本公开，提供一种医疗支持设备，包括：剪切单元，将通过对患处成像而获得的患处图像剪切为瓦片形状的多个瓦片图像；评估导出单元，通过使用通过机器学习获得的确定单元来导出表示所述多个瓦片图像中的所述患处的评估的瓦片评估值；以及显示控制单元，控制向用户呈现瓦片评估值的显示装置。
进一步地，根据本公开，提供一种医疗支持方法，包括：由导出装置将通过对患处成像而获得的患处图像剪切为瓦片形状的多个瓦片图像，并且由所述导出装置通过使用通过机器学习获得的确定单元来导出表示所述多个瓦片图像中的所述患处的评估的瓦片评估值；以及由显示装置向用户呈现所述瓦片评估值。
附图说明
图1是示出根据本公开实施方式的医疗支持系统的概述的示意图。
图2是图示根据同一实施方式的显示器的示例的图。
图3是示出根据同一实施方式的医疗支持系统的配置示例的框图。
图4是示出根据同一实施方式的医疗支持系统的操作示例的示意图。
图5是图示根据同一实施方式的显示器的示例的图。
图6是示出根据同一实施方式的医疗支持系统的操作流程的示例的流程图。
图7是示出根据同一实施方式的医疗支持系统的操作流程的示例的流程图。
图8是示出根据同一实施方式的显示器的变型例的示意图。
图9A是示出了当对被判定为可分析的病例进行内镜检查评分时内镜医师和DNUC之间的相关性的散点图。
图9B是示出了当对被判定为高确信度的病例进行内镜检查评分时内镜医师和DNUC之间的相关性的散点图。
图10是图示根据同一实施方式的医疗支持系统的硬件配置示例的图。
具体实施方式
下面将参照附图详细描述本公开的优选实施方式。请注意，通过使用相同的附图标记表示具有基本相同功能配置的组件，本说明书和附图中将省略多余的描述。
请注意，将按以下顺序进行描述。
1.技术概述
2.实施方式
2.1.功能和配置
2.2.操作流程
3.变型例
4.示例
5.硬件配置示例
(1.技术概述)
首先，将参照图1和图2描述根据本公开实施方式的医疗支持系统的技术概述。图1是示出关于根据本公开的技术的技术概述的图。图2是示出在医疗支持系统中包括的显示装置上显示的患处图像的示例的图。
参照图1和图2，在胃肠疾病的检查中，内科医生1例如使用内窥镜110检查患者2的内部，并且由内窥镜110成像的患者身体内部的患处图像Or显示在显示装置130上。内科医生1可以通过视觉检查显示在显示装置130上的患处图像Or来检查患者的内部。在根据本公开的技术中，显示装置130与患处图像Or一起显示叠加于患处图像Or的通过使用机器学习获得的患处的病理状况的评估图像A至D。内科医生1可以通过机器学习考虑病理状况的评估结果来进行诊断，从而提高诊断精度。
接下来，将参照图2描述显示在显示装置130上的评估图像A至D。如图2所示，显示装置130显示例如患者姓名N和关于内窥镜110的成像的详细信息I，并且进一步显示由内窥镜拍摄的患处图像Or以及评估图像A、评估图像B、评估图像C和评估图像D，每个评估图像呈现通过在患处图像Or上使用机器学习导出的对患处的评估。
在医疗支持系统1000中，除了由评估图像A至D呈现的对患处的评估之外，可以进一步呈现整体的评估图像A至D中的每一个的整体评估值βA至βD。在评估图像A至D中，根据切割成瓦片形状的每个瓦片的评估值，以不同的颜色等呈现患处的评估。
通过使用如上所述的医疗支持系统1000，考虑到由医疗支持系统1000导出的患处的评估和自己的诊断，内科医生1可以更有把握地进行病理状况的诊断。
例如，根据本实施方式的医疗支持系统1000可以应用于使用内窥镜的胃肠疾病检查。具体而言，医疗支持系统1000可适用于炎症性肠病如溃疡性结肠炎或克罗恩病的检查。尽管本说明书将描述根据本实施方式的医疗支持系统1000用于溃疡性结肠炎检查的示例性情况，但是不言而喻，根据本公开的技术不限于这样的示例。
(2.实施方式)
下面将详细描述上述医疗支持系统1000。医疗支持系统1000的描述将是使用由内窥镜拍摄的患处图像的示例。下面描述的医疗支持系统1000包括内窥镜110、导出装置120和显示装置130，但是内窥镜110不必包括在医疗支持系统1000中。此外，显示装置130不必包括在医疗支持系统1000中。
(2.1.功能和配置)
医疗支持系统1000包括内窥镜110、导出装置120和显示装置130。医疗支持系统1000具有通过使用由内窥镜110拍摄的患处图像作为输入来操作由导出装置120中的机器学习生成的确定单元的功能，以便导出患处的评估值，并且在显示装置130上向用户呈现患处的评估值。
内窥镜110具有对患者内部进行成像并获取患处图像的功能。患处图像是包括由内科医生检查的患处的图像。具体地，患处图像是患处的血管图像、不规则性和溃疡部分具有高可见度的图像。患处图像可以是由内窥镜拍摄的患处的图像，可以是由内窥镜连续拍摄的运动图像，或者可以是通过暂停由内窥镜拍摄的运动图像而获得的静止图像。例如，在患处图像是运动图像的情况下，医疗支持系统1000可以向用户实时呈现下面描述的瓦片评估值。尽管本实施方式示出了内窥镜用作成像设备的示例，但是本实施方式不限于这样的示例。对患处成像的成像设备在形式上不受限制，并且可以是已知的成像设备。
具体而言，作为通过拍摄患处获得的拍摄图像，可以使用内窥镜的白光图像。白光图像是内窥镜的基本功能最容易捕捉到的图像。因此，当可以通过白光图像评估病理状况时，可以抑制内窥镜检查的时间、项目和成本。
例如，在难以用白光图像评估病理状况的情况下，允许使用通过窄带成像(NBI)获得的图像，在该图像中通过特殊光强调血管，或者通过应用强调不规则性的靛蓝胭脂红染色获得的染色图像。通过额外地将这些NBI图像和染色图像与白光图像一起用于包括在导出装置120中的确定单元的生成，可以提高患处的评估精度。
导出装置120具有剪切单元122和评估导出单元124。导出装置120具有基于患处图像导出对患处的病理状况的评估的功能。例如，导出装置120可以通过细分患处图像、导出细分图像的评估值、并基于每个评估值进一步计算整体图像的整体评估值来导出对患处的病理状况的评估。
剪切单元122具有将由内窥镜110拍摄的患处图像剪切为多边形瓦片形状的瓦片图像的功能。剪切单元122以能够确定患处的病理状况的尺寸将患处图像剪切为多个瓦片图像。能够确定患处的病理状况的尺寸可以是包括诸如血管图像或溃疡的检查目标的尺寸。
具体地，剪切单元122可以将患处图像剪切成四边形形状，例如正方形。剪切单元122可以以使得四边形的外接圆为5mm或更大且15mm或更小的方式剪切患处图像。切割成多边形的瓦片图像至少包括上述检查目标。瓦片图像的形状不限于多边形，并且可以是能够获得患处图像的细分图像的任何形状。此外，瓦片图像可以根据位置被切割成具有不同形状的随机形状。
评估导出单元124具有使用基于由剪切单元122剪切出的瓦片图像通过机器学习获得的确定单元来导出瓦片评估值的功能。瓦片评估值是为每个瓦片图像导出的患处的评估值。该评估值或者是由内科医生(内窥镜专家)通过对患处的表面进行目视检查来判断的患处的病理状况的评估值，或者是由内科医生(病理学家)通过对患处进行病理检查来进行诊断而获得的病理检查评估值。
具体而言，患处的病理状况的评估值是由内科医生对患处的出血、肿瘤或血管透视图进行评分的评估值。患处的病理状况的评估值可以是通过任何已知的评分方法获得的评估值。
例如，可以使用UCEIS评分作为对患处的病理状况的评估值。UCEIS评分是一个指标，最近被用作指示溃疡性结肠炎严重程度的评估值。UCEIS评分可以进行精确的分类，使得可以制定精确的诊断策略和减少内窥镜医师之间的评估差异。
具体而言，如下表1所示，UCEIS评分用于评估溃疡性结肠炎的至少血管类型、出血、糜烂和溃疡。评估导出单元124可以导出溃疡性结肠炎中的血管通透性、出血、糜烂和溃疡中的每一个的评估值。
表1
Figure BDA0003102031660000071
此外，Mayo评分可用作患处病理状况的评估值。Mayo评分可以将溃疡性结肠炎的严重程度分为几个级别，从0到3。具体而言，Mayo评分具有为多个项目定义的评估值，如下表2至5所示。评估导出单元124可以针对溃疡性结肠炎中的血管透视影像、出血、糜烂和溃疡中的每一个、针对内窥镜特征、直肠出血和内科医生的整体评估中的每一个导出评估值。
表2
得分 内窥镜特征
0 正常或不活动。
1 轻度(红斑、血管类型减少、轻度脆弱)。
2 中度(明显红斑，无血管图案，脆弱，糜烂)。
3 严重(自发性出血、溃疡)。
表3
得分 直肠出血
0 没看到血。
1 大便带血的情况不到一半。
2 大部分时间便血明显。
3 只有血能通过。
表4
得分 大便频率
0 与每天正常大便次数相同。
1 每天比平时多1到2次大便。
2 每天比平时多3到4次大便。
3 每天比正常情况多5次或更多次大便。
表5
得分 医师整体评估
0 正常
1 轻度疾病
2 中度疾病
3 重症
在Mayo评分中，上述单项总评分为2分或更低且没有一个子评分超过1分的情况被定义为“Mayo评分缓解”。此外，在Mayo评分中，Mayo评分从基线下降3分或更多或30％或更多，并且直肠出血子评分下降1分或更多，或者直肠出血分量为0或1的情况被定义为“Mayo评分改善”。此外，Mayo评分定义了当内窥镜特征的子评分为0或1时的“粘膜愈合”。
病理检查的评估值是内科医生等基于包括患处的活检在内的病理检查的诊断结果来确定病理状况的等级的评估值。病理检查的评估值可以是通过任何已知的评分方法获得的评估值。
例如，病理检查的评估值可以通过使用活检组织学发现的Geboes评分来确定。Geboes评分是溃疡性结肠炎病理表现评分的常用指标。具体来说，Geboes评分是基于下表6所示定义的评估。
表6
级别 定义
0级 仅结构改变，没有慢性炎症细胞(淋巴细胞或浆细胞)浸润增加。
1级 固有层慢性炎症细胞(淋巴细胞或浆细胞)的浸润。
2级 固有层中性粒细胞和嗜酸性粒细胞浸润。
3级 上皮中中性粒细胞的浸润。
4级 腺窝破坏。
5级 糜烂和溃烂。
Geboes评分是从0到5的6级评估。然而，当足以确定是否存在炎症时，评估导出单元124可以导出评估值，其中等级0至2被确定为没有发现(没有炎症)，而等级3至5被确定为具有病理性炎症的状态。
确定单元是由机器学习生成的。具体地，在机器学习中，通过使用大量患处图像以及内科医生通过对患处的视觉检查对患处图像的评估或通过病理检查的评估中的至少一个或多个来生成确定单元。通过在机器学习中学习至少10，000个患处图像和它们的评估，有可能以在多个内科医生之间评估值中具有基本上相同水平的差异的准确度来做出确定。例如，可以通过使用深度神经网络的机器学习来生成确定单元。
例如，由于难以通过对患处的视觉检查来对诸如溃疡性结肠炎的疾病进行评估，所以即使内科医生是专家，他们通过对患处的视觉检查所进行的评估在内科医生之间也存在差异。根据本实施方式，通过使用由机器学习生成的确定单元，可以在没有专家的情况下进行诸如溃疡性结肠炎的疾病的诊断评估。此外，通过使用由机器学习生成的确定单元，可以避免内科医生之间的评估差异，使得能够基于通过基于更客观和可再现的标准的评估获得的评估值对患者进行治疗。
同时，病理检查有可能对患者造成损害，并有可能在组织收集过程中导致患者出现并发症。此外，由于进行病理检查的病理学家的数量有限，所以可以在有限的位置进行病理检查，导致进行诊断的时间延长。此外，病理检查会给病人带来额外的费用。根据本实施方式，通过使用由机器学习生成的确定单元，可以在不收集组织的情况下导出病理检查的结果，从而抑制患者的身体、时间和经济负担的发生。此外，由于病理检查的结果是确定的诊断，所以由机器学习生成的确定单元可以以更高的精度导出病理检查的评估。
在本实施方式中，可以通过执行数据的机器学习来生成确定单元，其中大量患处图像与除了上述评估之外的参数相关联。例如，可以通过对大量患处图像和提供患处图像的患者的剂量或治疗方法进行机器学习来生成确定单元。
评估导出单元124导出基于评估项目的瓦片评估值，作为瓦片评估值。例如，评估项目可以是患处的出血、肿瘤或血管透视影像的项目，并且可以是病理检查的项目。此外，评估导出单元124可以计算包括各个评估项目的混合的瓦片评估值。例如，可以通过使用患处的出血、溃疡或血管透视影像的至少两个或多个评估值来导出评估值。例如，在这种情况下，可以通过合计患处的出血、溃疡或血管透视影像的至少两个或多个评估值来确定评估值。
除了瓦片评估值之外，评估导出单元124还计算每个瓦片评估值的可靠性。可靠性是指示瓦片评估值的确定性的值，并且可以用0到1的概率或数值来表示(例如，1具有最高的确定性)。当可靠性为阈值或更高时，评估导出单元124可以判断瓦片评估值是可靠的，并且可以将可靠性输出到下述显示装置130。相反，当可靠性小于阈值时，评估导出单元124可以判断瓦片评估值不可靠，并且不必将瓦片评估值输出到下述显示装置130，或者可以将指示不可分析的结果输出到显示装置130。
评估导出单元124基于瓦片评估值来估计关于整体患处图像的整体评估值。这使得用户能够评估整体患处的图像而不是图像的一部分，使得能够对溃疡性疾病做出更准确的诊断。
具体而言，整体评估值可以被导出为通过对包括在患处图像中的瓦片图像的瓦片评估值进行平均而获得的平均评估值。然而，当评估诸如出血之类的评估项目时，评估导出单元124可以通过对出血部位进行加权来导出整体评估值，所述评估项目的特征在于出现或不出现而不是病理状况的程度。在这种情况下，评估推导单元124可以通过使用瓦片评估值的最大值来代替瓦片评估值的平均值或者除了瓦片评估值的平均值之外还使用瓦片评估值的最大值来导出整体评估值。
此外，评估导出单元124可以通过进一步使用瓦片评估值的概率分布来导出整体评估值。例如，推导设备120可以考虑瓦片评估值的离差度、标准偏差等来导出整体评估值。
此外，评估导出单元124可以基于每个瓦片图像的亮度从多个瓦片图像中选择要用于估计整体评估值的瓦片图像。根据该推导，评估推导单元124可以从患处图像中排除包含噪声、过度照明、阴影等的瓦片图像，这使得难以推导出瓦片评估值。
具体地，评估导出单元124可以使用其亮度为第一阈值或更大和第二阈值或更小的瓦片图像来估计整体评估值。第二阈值代表高于第一阈值的亮度阈值。这些阈值可以由用户等适当地确定。利用该配置，评估导出单元124可以排除亮度高于第二阈值的瓦片图像，并且可以排除亮度低于第一阈值的瓦片图像。因此，评估导出单元124可以增加导出的瓦片评估值的可靠性，从而实现具有更高可靠性的整体评估值的估计。
显示装置130向用户呈现瓦片评估值或整体评估值中的至少一个。显示装置130可以是例如触摸面板型显示器、三维显示器、空间显示器、投影型显示器等。具体地，显示装置130可以是阴极射线管(CRT)显示器、液晶显示器、等离子显示器、电致发光(EL)显示器、激光投影仪、发光二极管投影仪、灯等中的任何一种。
这里，将参考图4详细描述导出装置120和显示装置130的操作。图4是示出导出装置120和显示装置130的操作的示意图。
如图4所示，导出装置120从内窥镜110获取患处图像Or。导出装置120通过剪切单元122将患处图像剪切为网格状图像，诸如瓦片图像120a、瓦片图像120b、瓦片图像120c、瓦片图像120d等。图4显示了一个被剪切成4×4(＝16)个瓦片图像的患处图像。评估导出单元124通过使用确定单元10导出针对这些瓦片图像120a至120d中的每一个的瓦片评估值Sc和可靠性α。
如图4所示，瓦片图像120a具有瓦片评估值Sc为0.9和可靠性α为0的导出值。类似地，对于其他瓦片图像，瓦片图像120b具有作为瓦片评估值Sc为0.94和可靠性α为0.5的导出值，瓦片图像120c具有作为瓦片评估值Sc为0.155和可靠性α为1的导出值，并且瓦片图像120d具有作为瓦片评估值Sc为0.5和可靠性α为0的导出值。评估导出单元124进一步从单个瓦片图像导出整体评估值β。
显示装置130获取上述瓦片评估值和整体评估值β并将这些值呈现给用户。在显示装置130中，通过基于瓦片评估值在患处图像上叠加不同的显示，可以展示患处图像中病理状况评估的分布。例如，显示装置130可以根据瓦片图像的瓦片评估值来改变瓦片图像的颜色。此外，显示装置130可以根据瓦片图像的瓦片评估值的可靠性来改变瓦片图像的透明度。
将参照图5进一步描述叠加在瓦片图像上的显示模式。图5示出了叠加在瓦片图像上的显示模式的示例。患处图像Or1是指示通常良好的病理状况的图像，患处图像Or2是包括指示良好的病理状况的范围和指示不良的病理状况的范围的图像，患处图像Or3是通常指示不良的病理状况的图像。瓦片评估值Sc(即，好的或差的病理状况)以不同的显示模式呈现。例如，瓦片评估值Sc可以以不同的颜色等呈现(如在热图中)，而瓦片评估值的可靠性可以通过例如颜色的透明度来呈现。在图5中，在图示瓦片评估值的图像Ef1至Ef3中，不同的颜色由不同的阴影类型(即，斜线或点阴影)表示，并且每种颜色的透明度由每种阴影的密度表示。
尽管上面已经参考图4和图5描述了瓦片图像的评估值和整体评估值的显示示例，显示示例不限于图4和图5所示的显示示例。例如，如图2所示，显示装置130可以显示患处图像Or和其中针对每个评估项目叠加显示评估值的患处图像。通过该显示，用户(内科医生)可以可视地检查指示每个评估项目的瓦片评估值的图像Ef1至Ef3，同时可视地检查实际患处图像Or1至Or3。因此，用户可以在考虑医疗支持系统1000的评估和用户对病理状况的评估的同时检查患者。
(2.2.操作流程)
这里，参照图6和图7，将描述用于在医疗支持系统1000中生成确定单元的确定单元生成流程S100的示例和医疗支持系统1000的整体操作流程S200的示例。
将参考图6描述确定单元生成流程S100。
首先，导出装置120获取用于学习的患处图像(S102)。
接下来，用于学习的患处图像被剪切成瓦片图像(S104)。瓦片图像可以以固定的形状剪切，或者可以以随机的形状剪切。
接下来，将用于学习的患处图像剪切成瓦片图像，并且为学习馈送患处图像的评估值(S106)。患处图像的评估值是由内科医生等判断的评估值，并且包括通过内科医生对患处的视觉检查的评估、基于病理检查的结果的评估等。
接下来，判断是否已经执行了用于学习的N个或更多个患处图像的学习(S108)。当还没有执行用于学习的N个或更多患处图像的学习时(S108/否)，重复患处图像的学习，直到操作达到N个或更多图像的学习。用于机器学习的患处图像可以通过旋转、放大、缩小、变形等进行数据增加。通过使用至少10,000个患处图像进行学习，可以生成高度可靠的确定单元。
在上文中，已经描述了确定单元生成流程S100。
接下来，参考图7，将描述使用确定单元的医疗支持系统1000的整体操作流程S200。
首先，导出装置120通过使用内窥镜110等获取用于确定的患处图像(S202)。患处图像可以是由内窥镜110监控的运动图像，或者可以是由内窥镜110拍摄的静止图像。
接下来，剪切单元122剪切患处图像以确定为瓦片图像(S204)。瓦片图像可以以固定的形状剪切，或者可以以随机的形状剪切。
接下来，导出装置120通过使用生成的确定单元来导出瓦片图像的瓦片评估值和瓦片图像的可靠性(S206)。当导出瓦片评估值时，导出装置120可以进一步导出整体患处图像的整体评估值。例如，导出装置120可以从患处图像中的瓦片评估值的平均值导出整体评估值，或者可以从瓦片评估值的最大值和平均值的组合导出整体评估值。此外，导出装置120可以进一步组合瓦片评估值的概率分布来导出整体评估值。例如，推导设备120可以考虑瓦片评估值的离散度、标准偏差等来推导整体评估值。
此后，显示装置130向用户呈现瓦片图像的瓦片评估值和瓦片评估值的可靠性(S208)。显示装置130可以进一步显示整体评估值。
医疗支持系统1000的整体操作流程如上所述。根据执行这些操作的医疗支持系统1000，考虑到由医疗支持系统1000导出的对患处的评估和内科医生1的诊断，内科医生1可以以更高的确信度进行病理状况的诊断。
(3.变型例)
将参考图8描述显示在显示装置130上的显示的变型例。图8是示出显示在显示装置130上的显示的变型的图。在上述实施方式中，显示装置130显示患处图像，其中每个项目的评估值与患处图像Or一起呈现。相比之下，在本变型中，与其中呈现每个项目的评估值的评估图像一起，显示装置130进一步显示内窥镜110在患者体内的位置和对应于内窥镜110的位置的整体评估值。
如图8所示，例如，显示装置130可以显示指示内窥镜在从显示装置130的显示区域的一端到另一端的范围内的位置的显示条130a。显示条130a通过纵向上从一端到另一端的部分来指示被检查部分的长度。例如，当诊断用于结肠镜检查时，显示条130a可以具有这样的设置，其中显示条130a的一端指示内窥镜的插入起点(例如，肛门)处的0cm，并且显示条130a的另一端指示结肠镜检查的终点(例如，150cm)。检查时内窥镜在大肠中的位置130b可以由对应于显示条130a的纵向方向的插入长度来表示。
此外，显示条130a可以包括颜色连续变化的范围130c。具体地，显示条130a可以以随着显示条130a的每个整体评估值而变化的颜色显示。此外，显示条130a可以用标记130d高亮显示具有特征整体评估值的位置。例如，从内窥镜检查的开始到结束被确定为具有高的整体评估值的位置可以通过标记130d在显示中突出显示。标记130d可以附加到由用户选择的部分等。
可选地，显示装置130可以对患处图像中具有高瓦片评估值的部分使用放大显示。利用这些显示方法，医疗支持系统1000可以以强调的方式向用户呈现被判断为具有特别差的病理状况的部分。
(4.示例)
在下文中，将参考示例更具体地描述由根据本实施方式的医疗支持系统生成的确定单元。以下示出的示例是用于示出根据本实施方式的医疗支持系统的可行性和效果的一个条件示例，并且根据本公开的技术不限于以下示例。
(背景)
通过内镜和组织学评估对溃疡性结肠炎进行客观评估是很重要的。然而，由于经验的个体差异，溃疡性结肠炎的评估在观察者内部和观察者之间存在差异。因此，为了对溃疡性结肠炎进行一致且客观的实时评估，本示例旨在开发用于基于内窥镜图像评估UC(DNUC)的深度神经网络。
具体而言，客观观察是溃疡性结肠炎(以下简称UC)患者管理的关键。
例如，过去的研究表明，内窥镜评估可以预测UC的临床结果。因此，越来越多的病例将内镜评估用于以内镜缓解为治疗目标的UC患者的评估和管理。然而，由于内窥镜观察需要培训，内窥镜评估可能会有所不同，这取决于内窥镜医师。
另一方面，组织学缓解被认为是另一个临床结果可预测的治疗目标。例如，在患者具有最小残留急性炎症的情况下，疾病更有可能复发，因此，没有残留急性炎症的组织学缓解可以被设定为最终治疗目标。判断组织学缓解的组织学评估是一项重要的评估。然而，这种评估需要粘膜标本，根据病理学家的不同，可能有不同的解释。
以这种方式，专家对内窥镜图像或粘膜样本的评估是基于个人经验进行主观解释的，使得难以进行概括评估和实时特征评估。
在这里，近年来，有报告指出人工智能(AI)在各种医学领域使用深度学习的作用。深度神经网络(DNN)是一种人工智能机器学习方法，它构建了一个深度学习架构。本示例开发了一个DNN超声心动图系统(DNUC)，该系统通过使用超声心动图内窥镜图像构建DNN来实现一致且客观的内窥镜和组织学评估。此外，开发的DNUC的准确性通过验证测试进行评估。
(概要)
本示例包括两个阶段，开发阶段和验证阶段。在开发阶段，使用过去的内窥镜图像和活检标本开发了DNUC在验证阶段；根据新的测试数据检查DNUC的有效性。
在开发阶段，通过重新检查从1000名患者和3285份活检标本获得的20149张结肠镜图像，构建了DNUC算法(即确定单元)。
在验证阶段，收集新的测试数据来评估DNUC算法的准确性。在UC的评估中，UC内镜严重指数(UCEIS)为0的情况被定义为内镜缓解，而Geboes评估值(评分)为3或更低的情况被定义为组织学缓解。具体而言，在验证阶段，从500名登记的患者中获得了2400个内窥镜图像和2317个活检标本，并对DNUC中内窥镜和组织学缓解的确定准确性以及与专家的一致程度进行了评估。如下文详细描述的，DNUC在确定内镜缓解方面表现出高诊断准确性(90.1％)和高一致性。DNUC和内窥镜医师在确定内镜缓解方面的kappa相关系数为0.785。此外，DNUC在确定组织学缓解方面显示出高诊断准确性(90.9％)。在确定组织学缓解时，DNUC和活检结果之间的kappa相关系数为0.748。
(患者)
在开发阶段，过去的内窥镜图像和活检标本是通过重新检查一系列在东京医科齿科大学医院接受结肠镜检查的UC患者的病例获得的。在验证阶段，通过登记2018年4月至11月在同一医院接受结肠镜检查治疗UC的患者，获得了新的测试数据。关于开发阶段数据的使用，通过选择退出方法获得了所有患者的同意。此外，在核实阶段，获得了所有患者的书面知情同意。
然而，符合以下排除标准的患者被排除在外。
(1)有结肠剪切术史的患者，或有炎症性肠病、克罗恩病、结肠/直肠肿瘤或肠道伴发感染但尚未确诊的患者。
(2)结肠镜检查禁忌的患者。
(3)因血液疾病或抗血栓/抗凝治疗而禁忌进行活检的患者。
此外，对于所有患者，根据蒙特利尔分类判断疾病程度，使用部分Mayo评分或评估值判断临床活动。所有的病人都用Nifrec或Mobiprep(EA Pharma Co.,Ltd.)进行了标准的肠道预处理，并记录肠道冲洗情况。
(内窥镜检查程序和评估)
结肠镜粘膜图像(图像大小为4.5MB)是通过用标准结肠镜检查(奥林巴斯医疗系统公司)拍摄的。一般结肠镜检查，色素内镜检查是在白光检查后进行。然而，在本示例中使用的图像仅是白光图像。
UC内镜严重程度指数(UCEIS)用于评估UC的内镜严重程度。具体而言，通过简单地将血管透视影像(评估值0至2)、出血(评估值0至3)和糜烂和溃疡(评估值0至3)相加，在总值范围0至8内获得了UCEIS评估值，其中UCEIS评估值0被定义为内镜缓解。尽管UCEIS通常对具有最高严重性的疾病区域的评估值进行评分，但是本示例基于所有拍摄的内窥镜图像获得评估值。
(组织学评估)
从患者的结肠粘膜收集活检标本。Geboes评估值(评分)用于评估溃疡性结肠炎的炎症的组织学严重程度，其中Geboes评估值(评分)为3或更低的情况被定义为组织学缓解。
(开发阶段)
准备了一个数据集，用于训练和构建DNUC。具体而言，如上所述，收集从2015年7月至2018年3月对1000名患者进行的结肠镜检查的总共20149幅图像。还收集了这些患者的3285份活检标本(已经取样)。请注意，排除了没有进行组织活检的区域的内窥镜图像。
所有图像的内镜检查评估值由一名内镜医师评估(有11年的IBD内镜检查史)，而所有粘膜标本的组织学活动由一名病理学家评估(有13年的IBD病理史)。内窥镜医师和病理学家都不知道对方的检测结果。
这里，组织学信息系统评估值和组织学数据的数量和百分比(括号中的百分比(％))在下面的表7中示出。将组织学数据与进行组织活检的区域的内窥镜图像相关联。
表7
Figure BDA0003102031660000181
将拍摄的内窥镜图像输入到DNUC，以便在内窥镜图像和评估值(UCEIS评估和组织学评估)上训练DNUC。DNUC还旨在输出内镜缓解(已实现/未实现)、组织学缓解(已实现/未实现)和UCEIS评估值的结果。为了实现精确的输出，DNUC截止值被设置为85％或更高，并且不满足截止值的图像被判断为“不可分析”。为了实现更精确的输出，将DNUC的另一截止值设置为95％或更高，并且满足该截止值的图像被判断为“高确信度”。
DNUC的学习如下进行。
首先，将原始的1080×1080像素的内窥镜图像分割成299×299像素的正方形瓦片。接下来，通过计算分割的正方形瓦片的平均亮度值，去除过度曝光和暗区域的影响，从而实现适用于DNUC学习的瓦片的选择。然后对方形瓦片进行数据增强，包括从0到359度的随机旋转、从0.8到1.2倍的缩放(放大/缩小)、反转或从0.8到1.2倍的剪切。
此后，DNUC通过应用最新的DNN体系结构，Inception v3模型来构建。具体来说，改变了初始模型的最后一层，并使用softmax激活函数对每个评估值进行分类。用2000×10个时期训练初始模型，得到每个评估值的概率。此外，对来自同一原始图像的299×299像素正方形瓦片的所有结果进行平均和评分。
来自DNUC的输出结果可以呈现给用户，例如，通过创建叠加图像，其中基于原始内窥镜图像用特定的半透明颜色对瓦片进行着色。可以基于评估值的结果和概率来确定填充颜色和透射率。
(验证阶段)
收集新的测试数据集，以评估已构建的DNUC的诊断准确性。具体而言，对所有上述患者进行结肠镜检查，其中拍摄五个结肠部位(升结肠、横结肠、降结肠、乙状结肠和直肠)的内窥镜图像，并从五个相应部分收集五个粘膜活检标本。结肠镜检查由7名不同的内窥镜医师进行。
然而，重症UC患者在乙状结肠镜检查或有限数量的活检标本的限制下进行检查。内窥镜图像由处于开发阶段的同一名内窥镜医师进行评估。400例轻中度UC患者的活检标本由同一名病理学家在开发阶段进行评估，而其余活检标本由另一名不知情的病理学家进行评估。
为每个内窥镜图像输出DNUC的结果。将输出结果与内窥镜和组织学数据进行比较，通过以下评估项目评估DNUC。
(1)作为主要评估项目(终点)，设定了评估内镜缓解时DNUC的准确性和预测组织学缓解时DNUC的准确性。
(2)作为次要评估项目(终点)，DNUC确定UCEIS的能力、每个结肠部位的内窥镜和组织学缓解中的DNUC准确性、高确信度情况下的DNUC准确性以及由于肠道冲洗状态引起的分层情况下的DNUC准确性。
(统计分析)
这里，使用500幅图像的小规模试点测试估计，在开发阶段至少需要10,000幅图像，在验证阶段至少需要1000幅图像。因此，DNUC的诊断准确性是通过将DNUC的输出结果与专家(内窥镜专家和病理学家)评估的数据进行比较来确定的，然后，DNUC和专家之间在内窥镜和组织学缓解方面的一致程度是通过使用kappa相关系数来计算的。此外，在对UCEIS评分时，专家和DNUC之间的相关性由组内相关系数(ICC)来判断(图9A和图9B)。统计分析采用SPSS 21.0版(IBM)。
(患者的内窥镜和组织学结果)
在验证阶段，登记了500名患者。下表8显示了入选患者的临床特征。
表8
Figure BDA0003102031660000201
如表8所示，298名(59.6％)患者接受了结肠镜检查以评估疾病活动性，202名(40.4％)患者接受了结肠镜检查以进行癌症筛查。根据内镜医师对并发症风险的判断，共有42名患者未接受全结肠镜检查。此外，60名患者的活检标本少于4份。
从这些患者中，获得了2400个内窥镜图像和2317个活检标本。下表9显示了由专家(内窥镜专家和病理学家)对获得的内窥镜图像和活检标本进行评估的结果。
表9
Figure BDA0003102031660000211
如表9所示，60.9％的图像被判断为内窥镜缓解，76.8％的标本被判断为组织学缓解。通过内窥镜检查判断为中度至重度(UCEIS评估值为3或更高)的大多数粘膜标本被判断为组织学活动。判断UCEIS评估值为0、1或2的粘膜被判断为组织学缓解，其百分比分别为98.5％(1438中的1,417)、78.3％(346中的271)和41.8％(189中的79)。
(评估DNUC的内镜评估值)
在内窥镜评估值中，92.4％的图像被DNUC判断为“可分析”，而50.7％的图像被判断为“高确信度”。
关于上述主要评估项目(终点)，如下表10所示，DNUC在确定内镜缓解方面显示出高敏感性(94.3％)、高特异性(83.1％)、高阳性预测值(PPV：90.3％)、高阴性预测值(NPV：89.8％)和高诊断准确性(90.1％)。此外，在内窥镜缓解期，DNUC和内窥镜医师之间的kappa相关系数为0.785。也就是说，DNUC在评估UC患者粘膜炎症方面的准确性与内窥镜检查者的准确性相当。
表10
Figure BDA0003102031660000221
此外，关于上述二级评估项目(终点)，在对UCEIS评分时，专家和DNUC之间的ICC为0.861，如图9A所示。特别是在高确信度的情况下，DNUC显示了非常高的准确性(98.7％)和高一致性(卡帕相关系数为0.972)，如图9B所示。DNUC的准确性和一致性是可以接受的，但直肠DNUC的准确性相对较低，如下表11所示。此外，如下表12所示，当肠道灌洗的评估值为“差”至“不合格”时，DNUC的准确性也较低。
表11
Figure BDA0003102031660000222
表12
Figure BDA0003102031660000231
(DNUC组织学缓解评估)
在通过DNUC预测组织学缓解中，92.0％的图像被判断为“可分析”，40.9％的图像被判断为“高确信度”。
关于上述主要评估项目(终点)，DNUC表明，在组织学缓解的预测中，高敏感性(92.6％)、高特异性(85.0％)、高PPV(95.6％)、高NPV(76.7％)和高诊断准确性(90.9％)如下表13所示。此外，在组织学缓解期，DNUC和活检结果之间的kappa相关系数为0.748。也就是说，DNUC能够预测组织学缓解，而不需要粘膜活检。
表13
Figure BDA0003102031660000232
在确信度高的情况下，DNUC表示非常高的准确性(97.6％)和高一致性(kappa相关系数0.938)。DNUC的准确性和一致性对于上述二级评估项目(终点)来说是可以接受的，但直肠DNUC的准确性和一致性相对较低，如下表14所示。此外，如下表15所示，当肠道灌洗的评估值为“差”至“不合格”时，DNUC的准确性和一致性也相对较低。
表14
Figure BDA0003102031660000241
表15
Figure BDA0003102031660000242
(结论)
从上述示例中可以看出，对UC的客观评估，即内窥镜和组织学评估的结合，被认为对于选择UC的治疗方法和监测对药物治疗的反应是重要的。特别是，认为评估对于设计和评估适当的临床试验是重要的。然而，不幸的是，专家的评估可能不一致，并可能受到专家个人经验的影响。因此，临床试验需要中立的第三方进行独立评估。
鉴于这些，根据本公开的技术的发明人已经构建了用于基于UC的内窥镜图像来评估粘膜炎症和预测组织学炎症的DNUC。由于所构建的DNUC的诊断能力被认为与有经验的专家的能力相当，因此认为DNUC可用于内窥镜图像的客观评估。
具体来说，与内窥镜医师相比，DNUC在评估内窥镜缓解方面显示出更高的准确性和更高的一致性。此外，在UCEIS评分中，DNUC和内窥镜医师之间的ICC为0.861。因此，认为DNUC具有临床能力。
DNUC等AI系统筛查时间短，劳动量小，使得内窥镜检查后立即获得结果成为可能。以上实例的结果表明，DNUC可以明显地实时实施客观一致的内镜评估。根据该结果，DNUC可以解决诸如在多个内窥镜专家之间出现的评估差异的问题。因此，DNUC有望在临床实践和临床试验中得到有效利用。
此外，根据对UC的研究，已实现临床和内镜缓解的患者可能仍有组织学上活动的疾病，因此具有高复发风险。也就是说，由于内窥镜指数和组织学指数之间的一致性是逐渐的，所以认为重复活检以通过组织学指数判断缓解是重要的。
典型地，用于组织学评估的活组织检查是通过在结肠镜检查期间收集结肠粘膜来进行的，因此，评估是针对有限的区域进行的。相比之下，DNUC可以在结肠粘膜的任何部位进行评估。特别地，本实施方式已经证明，DNUC能够以高准确度和高一致性预测组织学缓解。据此，DNUC可以在不使用活检标本的情况下评估组织学缓解，因此DNUC也有望有助于降低医疗费用。
如上所述，在本实施方式中构建的DNUC可以评估UC患者的粘膜炎症，具有与内镜医师相同的准确性。此外，在本实施方式中构建的DNUC可以预测组织学缓解，而无需使用粘膜标本。可以看出，本例中构建的DNUC是一种客观一致的评估方法，适用于临床实践和临床试验。
(5.硬件配置示例)
将参考图10描述根据本实施方式的医疗支持系统1000中包括的诸如导出装置的硬件配置的示例。图10是图示诸如根据本实施方式的导出装置的硬件配置的示例的框图。
如图10所示，信息处理设备900包括CPU(中央处理单元)901、ROM(只读存储器)902、RAM(随机存取存储器)903和主机总线904a。此外，信息处理设备900包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911和通信设备913。信息处理设备900可以具有诸如电路、DSP或ASIC来代替CPU 901或与其相结合。
CPU 901用作算术处理设备或控制设备，并且根据各种程序控制信息处理设备900中的整体操作。CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序和计算参数。ROM 903临时存储在CPU 901的执行中使用的程序、在执行中适当改变的参数等。例如，CPU901可以用作图3所示的评估导出单元124。
CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a相互连接。主机总线904a经由桥接器904连接到外部总线904b，例如外围组件互连/接口(PCI)总线。不需要将主机总线904a、桥接器904和外部总线904b彼此分开，并且这些功能可以在一条总线上实现。
输入设备906由用户向其输入信息的设备实现，例如鼠标、键盘、触摸面板、按钮、麦克风、开关或控制杆。此外，输入设备906可以是例如使用红外线或其他无线电波的遥控设备，或者支持信息处理设备900的操作的外部连接设备，例如移动电话或PDA。此外，输入设备906可以包括例如输入控制电路，该输入控制电路基于用户使用上述输入装置输入的信息生成输入信号，并将输入信号输出到CPU 901。通过操作输入设备906，信息处理设备900的用户可以向信息处理设备900输入各种数据并指示处理操作。
输出设备907由能够视觉或听觉地向用户通知所获取的信息的设备形成。这种设备的示例包括显示装置，例如CRT显示装置、液晶显示装置、等离子显示装置、EL显示装置、激光投影仪、LED投影仪和灯，以及音频输出设备，例如扬声器和耳机。输出设备907输出例如由信息处理设备900执行的各种处理获得的结果。具体地，输出设备907可以以诸如文本、图像、表格和图形的各种格式可视地显示由信息处理设备900执行的各种处理所获得的结果。可选地，输出设备907可以将由再现的音频数据、声学数据等组成的音频信号转换成模拟信号，并可听见地输出该信号。例如，输出设备907可以用作图3所示的显示装置130。
存储设备908是作为信息处理设备900的存储单元的示例而形成的数据存储设备。存储设备908例如由诸如HDD、半导体存储设备、光存储设备、光磁存储设备等磁存储设备来实现。存储设备908可以包括存储介质、将数据记录在存储介质上的记录设备、从存储介质读取数据的读取设备、删除记录在存储介质上的数据的删除设备等。存储设备908存储由CPU 901执行的程序、各种数据以及从外部获取的各种数据等。存储设备908存储例如患处图像或在图3所示的评估导出单元124中使用的评估图像、导出瓦片评估值时使用的各种参数等。
驱动器909是用于存储介质的读取器/写入器，并且内置或外部连接到信息处理设备900。驱动器909读取记录在诸如安装磁盘、光盘、磁光盘或半导体存储器的可移动存储介质上的信息，并将读取的信息输出到随机存取存储器903。驱动器909还可以将信息写入可移动存储介质。
连接端口911是连接到外部设备的接口。例如，连接端口911可以是与外部设备的连接端口，能够通过通用串行总线等传输数据。
通信设备913例如是由用于连接到网络920的通信设备等形成的通信接口。通信设备913可以是例如用于有线或无线LAN(局域网)、LTE(长期演进)、Bluetooth(注册商标)、WUSB(无线USB)等的通信卡。此外，通信设备913可以是用于光通信的路由器、ADSL(非对称数字用户线路)路由器、用于各种通信的调制解调器等。通信设备913可以根据诸如TCP/IP的预定协议向和从因特网和其他通信设备发送和接收信号等。利用通信设备913，例如，如图3所示，可以在导出装置120、内窥镜110和显示装置130之间执行各种类型的信息的输入和输出。
网络920是从连接到网络920的设备传输的信息的有线或无线传输路径。例如，网络920可以包括公共网络，例如互联网、电话网络和卫星通信网络，或者包括以太网(注册商标)、WAN(广域网)等的各种LAN(局域网)。此外，网络920可以包括专用网络，例如IP-VPN(互联网协议虚拟专用网络)。
此外，当程序加载到诸如信息处理设备900中内置的CPU、ROM和随机存取存储器的硬件时，还可以创建用于实现与根据上述本实施方式的医疗支持系统1000的各个配置相同的功能的计算机程序。此外，存储计算机程序的记录介质也可以包括在根据本公开的技术范围内。
上面已经参照附图详细描述了本公开的优选实施方式。然而，本公开的技术范围不限于这些示例。对于本公开领域的技术人员来说，显而易见的是，可以在权利要求中描述的技术思想的范围内构思各种修改和变更，并且自然地落入本公开的技术范围内。
此外，本说明书中描述的效果仅仅是说明性的或示例性的，而不是限制性的。也就是说，除了上述效果之外或代替上述效果，根据本说明书的描述，根据本公开的技术可以表现出对于本领域技术人员来说显而易见的其他效果。
请注意，以下配置也属于本公开的技术范围。
(1)一种医疗支持系统，包括：
导出装置，基于通过对患处成像而获得的患处图像来导出所述患处的评估值；以及
显示装置，向用户呈现所述评估值，
其中，所述导出装置包括：剪切单元，将所述患处图像剪切为瓦片形状的多个瓦片图像；以及评估导出单元，通过使用通过机器学习获得的确定单元来导出表示多个瓦片图像中的所述患处的评估的瓦片评估值。
(2)根据(1)所述的医疗支持系统，其中，所述评估导出单元进一步基于所述瓦片评估值来估计关于整体的所述患处图像的整体评估值。
(3)根据(2)所述的医疗支持系统，其中，所述剪切单元以能够确定所述患处的病理状况的尺寸将所述患处图像剪切为所述多个瓦片图像。
(4)根据(2)或(3)所述的医疗支持系统，其中，所述评估导出单元根据所述多个瓦片图像的亮度，从所述多个瓦片图像中选择待用于估计所述整体评估值的所述瓦片图像。
(5)根据(4)所述的医疗支持系统，其中，所述评估导出单元在估计所述整体评估值时，使用具有大于或等于第一阈值且小于或等于第二阈值的亮度的所述瓦片图像，所述第二阈值大于所述第一阈值。
(6)根据(2)至(5)中任一项所述的医疗支持系统，其中，所述显示装置根据所述瓦片评估值使指示不同显示模式的所述多个瓦片图像叠加于所述患处图像显示。
(7)根据(6)所述的医疗支持系统，其中，所述导出装置进一步导出所述瓦片评估值的可靠性。
(8)根据(7)所述的医疗支持系统，其中，所述显示装置进一步根据所述可靠性使指示不同显示模式的所述多个瓦片图像叠加于所述患处图像显示。
(9)根据(2)至(8)中任一项所述的医疗支持系统，其中，所述评估导出单元通过使用所述瓦片评估值中的所述评估值的平均值、最大值或概率分布中的至少一个或多个来估计所述整体评估值。
(10)根据(6)至(8)中任一项所述的医疗支持系统，
其中，所述患处图像由内窥镜拍摄，并且
所述显示装置显示所述内窥镜在患者体内的位置，并显示对应于所述患者体内的所述位置的所述整体评估值。
(11)根据(6)至(8)中任一项所述的医疗支持系统，其中，所述患处图像的一部分根据所述瓦片评估值在所述显示装置上显示为放大图像。
(12)根据(3)至(11)中任一项所述的医疗支持系统，其中，所述剪切单元将所述患处图像剪切为多边形的瓦片图像，并且所述剪切单元以所述多边形具有5mm或更大且15mm或更小的外接圆的方式剪切所述患处图像。
(13)根据(6)至(8)中任一项所述的医疗支持系统，其中，所述瓦片评估值是与对所述患处的出血、肿瘤或可见血管模式的项目的评估或对病理检查项目的评估中的至少任何一个或多个相关的瓦片评估值。
(14)根据(13)所述的医疗支持系统，其中，所述显示装置排列显示所述患处图像、和按照每个所述项目进行了叠加显示的所述患处图像。
(15)一种医疗支持设备，包括：
剪切单元，将通过对患处成像而获得的患处图像剪切为瓦片形状的多个瓦片图像；
评估导出单元，通过使用通过机器学习获得的确定单元来导出表示所述多个瓦片图像中的所述患处的评估的瓦片评估值；以及
显示控制单元，控制向用户呈现瓦片评估值的显示装置。
(16)一种医疗支持方法，包括：
由导出装置将通过对患处成像而获得的患处图像剪切为瓦片形状的多个瓦片图像，并且由所述导出装置通过使用通过机器学习获得的确定单元来导出表示所述多个瓦片图像中的所述患处的评估的瓦片评估值；以及
由显示装置向用户呈现所述瓦片评估值。
符号说明
110 内窥镜
120 导出装置
122 剪切单元
124 评估导出单元
130 显示装置。

Claims (16)

1.一种医疗支持系统，包括：
导出装置，基于通过对患处成像而获得的患处图像来导出所述患处的评估值；以及
显示装置，向用户呈现所述评估值，
其中，所述导出装置包括：剪切单元，将所述患处图像剪切为瓦片形状的多个瓦片图像；以及评估导出单元，通过使用通过机器学习获得的确定单元来导出表示多个瓦片图像中的所述患处的评估的瓦片评估值。
2.根据权利要求1所述的医疗支持系统，其中，所述评估导出单元进一步基于所述瓦片评估值来估计关于整体的所述患处图像的整体评估值。
3.根据权利要求2所述的医疗支持系统，其中，所述剪切单元以能够确定所述患处的病理状况的尺寸将所述患处图像剪切为所述多个瓦片图像。
4.根据权利要求2所述的医疗支持系统，其中，所述评估导出单元根据所述多个瓦片图像的亮度，从所述多个瓦片图像中选择待用于估计所述整体评估值的所述瓦片图像。
5.根据权利要求4所述的医疗支持系统，其中，所述评估导出单元在估计所述整体评估值时，使用具有大于或等于第一阈值且小于或等于第二阈值的亮度的所述瓦片图像，所述第二阈值大于所述第一阈值。
6.根据权利要求2所述的医疗支持系统，其中，所述显示装置根据所述瓦片评估值使指示不同显示模式的所述多个瓦片图像叠加于所述患处图像显示。
7.根据权利要求6所述的医疗支持系统，其中，所述导出装置进一步导出所述瓦片评估值的可靠性。
8.根据权利要求7所述的医疗支持系统，其中，所述显示装置进一步根据所述可靠性使指示不同显示模式的所述多个瓦片图像叠加于所述患处图像显示。
9.根据权利要求2所述的医疗支持系统，其中，所述评估导出单元通过使用所述瓦片评估值中的所述评估值的平均值、最大值或概率分布中的至少一个或多个来估计所述整体评估值。
10.根据权利要求6所述的医疗支持系统，
其中，所述患处图像由内窥镜拍摄，并且
所述显示装置显示所述内窥镜在患者体内的位置，并显示对应于所述患者体内的所述位置的所述整体评估值。
11.根据权利要求6所述的医疗支持系统，其中，所述患处图像的一部分根据所述瓦片评估值在所述显示装置上显示为放大图像。
12.根据权利要求3所述的医疗支持系统，其中，所述剪切单元将所述患处图像剪切为多边形的瓦片图像，并且所述剪切单元以所述多边形具有5mm或更大且15mm或更小的外接圆的方式剪切所述患处图像。
13.根据权利要求6所述的医疗支持系统，其中，所述瓦片评估值是与对所述患处的出血、肿瘤或血管透视影像的项目的评估或对病理检查项目的评估中的至少任何一个或多个相关的瓦片评估值。
14.根据权利要求13所述的医疗支持系统，其中，所述显示装置排列显示所述患处图像、和按照每个所述项目进行了叠加显示的所述患处图像。
15.一种医疗支持设备，包括：
剪切单元，将通过对患处成像而获得的患处图像剪切为瓦片形状的多个瓦片图像；
评估导出单元，通过使用通过机器学习获得的确定单元来导出表示所述多个瓦片图像中的所述患处的评估的瓦片评估值；以及
显示控制单元，控制向用户呈现所述瓦片评估值的显示装置。
16.一种医疗支持方法，包括：
由导出装置将通过对患处成像而获得的患处图像剪切为瓦片形状的多个瓦片图像，并且由所述导出装置通过使用通过机器学习获得的确定单元来导出表示所述多个瓦片图像中的所述患处的评估的瓦片评估值；以及
由显示装置向用户呈现所述瓦片评估值。
CN201980080786.3A 2018-12-13 2019-12-04 医疗支持系统、医疗支持设备和医疗支持方法 Pending CN113164025A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018233204 2018-12-13
JP2018-233204 2018-12-13
JP2019022255 2019-02-12
JP2019-022255 2019-02-12
PCT/JP2019/047351 WO2020121906A1 (ja) 2018-12-13 2019-12-04 医療支援システム、医療支援装置及び医療支援方法

Publications (1)

Publication Number Publication Date
CN113164025A true CN113164025A (zh) 2021-07-23

Family

ID=71076038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980080786.3A Pending CN113164025A (zh) 2018-12-13 2019-12-04 医疗支持系统、医疗支持设备和医疗支持方法

Country Status (5)

Country Link
US (1) US20220020147A1 (zh)
EP (1) EP3895597B1 (zh)
JP (1) JP7476800B2 (zh)
CN (1) CN113164025A (zh)
WO (1) WO2020121906A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220039639A1 (en) * 2020-08-06 2022-02-10 Assistance Publique-Hopitaux De Paris Methods and devices for calculating a level of "clinical relevance" for abnormal small bowel findings captured by capsule endoscopy video
US20220102008A1 (en) * 2020-09-30 2022-03-31 Genentech, Inc. Methods and systems for placebo response modeling
KR102283673B1 (ko) * 2020-11-30 2021-08-03 주식회사 코어라인소프트 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법
JP2022135013A (ja) * 2021-03-04 2022-09-15 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
WO2022209390A1 (ja) 2021-03-31 2022-10-06 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2022249817A1 (ja) * 2021-05-27 2022-12-01 富士フイルム株式会社 医療画像処理装置及び内視鏡システム
WO2023026538A1 (ja) * 2021-08-27 2023-03-02 ソニーグループ株式会社 医療支援システム、医療支援方法及び評価支援装置
WO2023058503A1 (ja) * 2021-10-04 2023-04-13 富士フイルム株式会社 内視鏡システム、医療画像処理装置及びその作動方法
WO2023089718A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
JP7465409B2 (ja) 2022-01-19 2024-04-10 コ，ジファン 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273916A (zh) * 2007-03-30 2008-10-01 吉温成像有限公司 评估患者状况的系统和方法
US20160070949A1 (en) * 2013-05-14 2016-03-10 Pathxl Limited Method And Apparatus
WO2016151711A1 (ja) * 2015-03-20 2016-09-29 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20170161891A1 (en) * 2015-12-03 2017-06-08 Case Western Reserve University Scaling up convolutional networks
WO2018065482A1 (fr) * 2016-10-04 2018-04-12 Universite Paris Descartes Procédé et dispositif de traitement d'au moins une image d'une partie donnée d'au moins un poumon d'un patient
US20180146844A1 (en) * 2015-07-15 2018-05-31 Sony Corporation Medical observation device and medical observation method
US20180184882A1 (en) * 2015-06-25 2018-07-05 Hoya Corporation Endoscope system and evaluation value calculation device
US20180256145A1 (en) * 2013-05-21 2018-09-13 Camplex, Inc. Surgical visualization systems
WO2018180631A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4594835B2 (ja) * 2005-09-09 2010-12-08 オリンパスメディカルシステムズ株式会社 画像表示装置
US11847936B2 (en) * 2018-11-15 2023-12-19 Intuitive Surgical Operations, Inc. Training users using indexed to motion pictures

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101273916A (zh) * 2007-03-30 2008-10-01 吉温成像有限公司 评估患者状况的系统和方法
US20160070949A1 (en) * 2013-05-14 2016-03-10 Pathxl Limited Method And Apparatus
US20180256145A1 (en) * 2013-05-21 2018-09-13 Camplex, Inc. Surgical visualization systems
WO2016151711A1 (ja) * 2015-03-20 2016-09-29 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20180184882A1 (en) * 2015-06-25 2018-07-05 Hoya Corporation Endoscope system and evaluation value calculation device
US20180146844A1 (en) * 2015-07-15 2018-05-31 Sony Corporation Medical observation device and medical observation method
US20170161891A1 (en) * 2015-12-03 2017-06-08 Case Western Reserve University Scaling up convolutional networks
WO2018065482A1 (fr) * 2016-10-04 2018-04-12 Universite Paris Descartes Procédé et dispositif de traitement d'au moins une image d'une partie donnée d'au moins un poumon d'un patient
WO2018180631A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法

Also Published As

Publication number Publication date
EP3895597A1 (en) 2021-10-20
JPWO2020121906A1 (ja) 2021-10-28
US20220020147A1 (en) 2022-01-20
EP3895597B1 (en) 2024-01-24
JP7476800B2 (ja) 2024-05-01
WO2020121906A1 (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
CN113164025A (zh) 医疗支持系统、医疗支持设备和医疗支持方法
JP6875709B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
Cai et al. Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video)
Chen et al. Accurate classification of diminutive colorectal polyps using computer-aided analysis
Ito et al. Endoscopic diagnostic support system for cT1b colorectal cancer using deep learning
JP7037220B2 (ja) 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
McGill et al. Narrow band imaging to differentiate neoplastic and non-neoplastic colorectal polyps in real time: a meta-analysis of diagnostic operating characteristics
BR112020008774A2 (pt) Aparelho para auxiliar no diagnóstico por imagem, método para a coleta de dados, método para auxiliar no diagnóstico por imagem e programa para auxiliar no diagnóstico por imagem
Barua et al. Real-time artificial intelligence–based optical diagnosis of neoplastic polyps during colonoscopy
Aihara et al. Computer-aided diagnosis of neoplastic colorectal lesions using ‘real-time’numerical color analysis during autofluorescence endoscopy
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Vleugels et al. Effects of training and feedback on accuracy of predicting rectosigmoid neoplastic lesions and selection of surveillance intervals by endoscopists performing optical diagnosis of diminutive polyps
US11684239B2 (en) Method, system and computer readable medium for evaluating colonoscopy performance
JP5576775B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2021054477A2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP5931418B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2013027636A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Rex Key quality indicators in colonoscopy
CN113112449A (zh) 一种肠癌辅助诊断模型构建和辅助诊断方法及系统
Jeny et al. The place of high-resolution computed tomography imaging in the investigation of interstitial lung disease
Ahmad et al. Implementation of optical diagnosis with a “resect and discard” strategy in clinical practice: DISCARD3 study
Yegin et al. Quantitative assessment of liver fibrosis by digital image analysis: Relationship to Ishak staging and elasticity by shear‐wave elastography
Macken et al. Parameters influencing the quality of colonoscopy in Belgium: a critical evaluation
WO2022114088A1 (ja) ハンナ病変の指摘のためのプログラム、学習済みモデル及びその生成方法
JP2006334140A (ja) 異常陰影候補の表示方法及び医用画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination