CN112189236A - 学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置 - Google Patents

学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置 Download PDF

Info

Publication number
CN112189236A
CN112189236A CN201980034313.XA CN201980034313A CN112189236A CN 112189236 A CN112189236 A CN 112189236A CN 201980034313 A CN201980034313 A CN 201980034313A CN 112189236 A CN112189236 A CN 112189236A
Authority
CN
China
Prior art keywords
image
observation result
diagnostic information
learning data
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980034313.XA
Other languages
English (en)
Other versions
CN112189236B (zh
Inventor
三浦悟朗
大酒正明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112189236A publication Critical patent/CN112189236A/zh
Application granted granted Critical
Publication of CN112189236B publication Critical patent/CN112189236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供一种容易收集用于使从内窥镜图像中识别病变的模型学习的学习数据的学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置。在将内窥镜图像与观察结果诊断信息进行关联、并使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中时，将被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示。

Description

学习数据收集装置、学习数据收集方法和程序、学习系统、学 习完毕模型、以及内窥镜图像处理装置
技术领域
本发明涉及学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置，特别是涉及从内窥镜图像中识别病变的技术。
背景技术
市场中存在保管内窥镜图像的内窥镜归档系统、或保管内窥镜检查信息、患者信息、及内窥镜图像的内窥镜管理系统。而且，正在对在内窥镜检查时进行病变的检测或病变的鉴别的内窥镜CAD(Computer Aided Diagnosis)系统的实用化进行研究。
在专利文献1中，记载有一种识别器，其用于将与医用图像的关注区域对应的图像特征组分类为规定个数的图像观察结果。
以往技术文献
专利文献
专利文献1：日本特开2017-068838号公报
发明内容
发明要解决的技术课题
在专利文献1中，记载有一种如下的技术：针对由图像诊断医生预先设定的十个图像观察结果的每一个，从预先收集的数百～数千个图像中提取图像特征组，并使用提取到的图像特征组进行学习，由此生成识别器。
另外，为了使搭载于内窥镜CAD系统的AI(Artificial Intelligence)引擎进行学习，医师需要从内窥镜管理系统、内窥镜归档系统等各个系统中单独获取病变图像、拍摄到病变图像时的观察结果诊断信息、及在内窥镜检查时记录的检查动态画面等，并将其转换为可进行AI学习的形式。
这样就存在以下课题：为了使模型学习，需要收集大量的症状例等学习数据，且需要付出巨大的努力来收集大量的学习数据。
本发明是鉴于上述情况而完成的，其目的是提供一种容易收集用于使从内窥镜图像中识别病变的模型学习的学习数据的学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置。
用于解决技术课题的手段
为了达到上述目的，学习数据收集装置的一个方面是如下的学习数据收集装置：其中，具备：显示控制部，其使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域，并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域；接受部，其接受通过输入装置进行的操作，即对内窥镜图像和观察结果诊断信息进行选择的操作，内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像，观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关；关联部，其将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联；以及记录控制部，其使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中，显示控制部将在关联部中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示。
根据本方面，由于设为将被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示，所以能够按每个观察结果诊断信息的组确认内窥镜图像。
优选接受部接受由输入装置选择一个标签的操作，显示控制部使被分类到所选择的标签的组的内窥镜图像显示于图像显示区域。由此，能够确认选择的标签的组的内窥镜图像。
优选显示控制部将能选择的所有内窥镜图像分类为一个组。由此，能够确认能选择的所有内窥镜图像。
优选接受部接受将显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像拖放至显示于观察结果诊断信息显示区域的观察结果诊断信息的操作，关联部将被拖放的内窥镜图像与观察结果诊断信息进行关联。由此，能够适当选择内窥镜图像和与该内窥镜图像关联的观察结果诊断信息。
优选接受部接受将显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个观察结果诊断信息拖放至显示于图像显示区域的内窥镜图像的操作，关联部将被拖放观察结果诊断信息的内窥镜图像与该观察结果诊断信息进行关联。由此，能够适当选择内窥镜图像和与该内窥镜图像关联的观察结果诊断信息。
优选显示控制部使表示被进行了关联的观察结果诊断信息的识别信息附属于内窥镜图像而显示于图像显示区域。由此，能够确认按每个内窥镜图像进行了关联的观察结果诊断信息。
优选显示控制部使识别信息显示在标签中。由此，能够适当地识别标签。
优选识别信息是与观察结果诊断信息对应的编号。由此，能够适当地显示识别信息。
优选显示控制部使识别信息附属于观察结果诊断信息而显示于观察结果诊断信息显示区域。由此，能够使用户识别观察结果诊断信息与编号的对应。
优选显示控制部重叠显示所选择的图像。由此，可减少显示图像数量，能够容易选择内窥镜图像。
优选接受部接受指定内窥镜图像中拍摄到的病变的位置信息的操作，记录控制部使所指定的位置信息作为学习数据记录在记录装置中。由此，能够将病变的位置信息包含在学习数据中。
为了达到上述目的，学习系统的一个方面是如下的学习系统：其中，具备：显示装置；输入装置；记录装置；学习数据收集装置；以及使用模型从内窥镜图像中识别病变的识别器，所述学习系统使用学习数据使模型学习，所述学习数据收集装置具备：显示控制部，其使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域，并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域；接受部，其接受通过输入装置进行的操作，即对内窥镜图像和观察结果诊断信息进行选择的操作，内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像，观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关；关联部，其将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联；以及记录控制部，其使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中，显示控制部将在关联部中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示。
根据本方面，可利用由能够确认每个观察结果诊断信息的内窥镜图像的学习数据收集装置收集的学习数据适当地使模型学习。
为了达到上述目的，学习完毕模型的一个方面是如下的学习完毕模型：其中，具备：显示装置；输入装置；记录装置；学习数据收集装置；以及使用模型从内窥镜图像中识别病变的识别器，所述学习完毕模型已利用使用学习数据使模型学习的学习系统进行了学习，所述学习数据收集装置具备：显示控制部，其使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域，并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域；接受部，其接受通过输入装置进行的操作，即对内窥镜图像和观察结果诊断信息进行选择的操作，内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像，观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关；关联部，其将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联；以及记录控制部，其使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中，显示控制部将在关联部中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示。
根据本方面，能够获取利用适当收集的学习数据进行了学习的学习完毕模型。
为了达到上述目的，内窥镜图像处理装置的一个方面是如下的内窥镜图像处理装置：其具备使用模型从内窥镜图像中识别病变的识别器，使用学习完毕模型分析内窥镜图像，学习完毕模型已利用使用学习数据使模型学习的学习系统进行了学习，学习系统是如下的学习系统：其中，具备：显示装置；输入装置；记录装置；以及学习数据收集装置，使用学习数据使模型学习，所述学习数据收集装置具备：显示控制部，其使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域，并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域；接受部，其接受通过输入装置进行的操作，即对内窥镜图像和观察结果诊断信息进行选择的操作，内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像，观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关；关联部，其将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联；以及记录控制部，其使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中，显示控制部将在关联部中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示。
根据本方面，能够使用利用适当收集的学习数据进行了学习的学习完毕模型分析内窥镜图像。
为了达到上述目的，学习数据收集方法的一个方面是如下的学习数据收集方法：其中，包括：显示控制工序，使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域，并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域；接受工序，接受通过输入装置进行的操作，即对内窥镜图像和观察结果诊断信息进行选择的操作，内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像，观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关；关联工序，将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联；以及记录控制工序，使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中，显示控制工序将在关联工序中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示。
根据本方面，由于设为将被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示，所以能够按每个观察结果诊断信息的组确认内窥镜图像。
为了达到上述目的，用于使计算机执行学习数据收集方法的程序的一个方面是用于使计算机执行如下的学习数据收集方法的程序：其中，学习数据收集方法包括：显示控制工序，使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域，并且使与病变相关的一个或多个观察结果诊断信息显示于显示装置的观察结果诊断信息显示区域；接受工序，接受通过输入装置进行的操作，即对内窥镜图像和观察结果诊断信息进行选择的操作，内窥镜图像是显示于图像显示区域的内窥镜图像中的至少一个内窥镜图像，观察结果诊断信息与显示于观察结果诊断信息显示区域的观察结果诊断信息中的至少一个内窥镜图像相关；关联工序，将所选择的内窥镜图像与所选择的观察结果诊断信息进行关联；以及记录控制工序，使被进行了关联的内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中，显示控制工序将在关联工序中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示。
根据本方面，由于设为将被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个组使内窥镜图像切换显示，所以能够按每个观察结果诊断信息的组确认内窥镜图像。
发明效果
根据本方面，能够容易收集用于使从内窥镜图像中识别病变的模型学习的学习数据。
附图说明
图1是表示内窥镜图像学习系统的结构的一例的框图。
图2是表示内窥镜管理报告终端的结构的一例的框图。
图3是表示AI引擎的结构的一例的框图。
图4是表示学习方法的处理的流程图。
图5是表示内窥镜检查实施工序的详细的处理的流程图。
图6是表示内窥镜报告制作工序的详细的处理的流程图。
图7是表示内窥镜报告制作画面的一例的图。
图8是表示AI学习图像关联画面的一例的图。
图9是表示AI学习图像关联工序的详细的处理的流程图。
图10是表示AI学习图像关联画面的一例的图。
图11是表示AI学习图像关联画面的一例的图。
图12是表示AI学习图像关联画面的一例的图。
图13是表示AI学习图像关联画面的一例的图。
图14是表示AI学习图像关联画面的一例的图。
图15是表示AI学习图像关联画面的一例的图。
图16是表示AI学习图像关联画面的一例的图。
图17是表示AI学习图像关联画面的一例的图。
图18是表示病理请求工序的详细的处理的流程图。
图19是表示AI学习数据输出工序的详细的处理的流程图。
图20是表示内窥镜管理报告终端的结构的一例的框图。
图21是表示病变位置信息输入方法的处理的流程图。
图22是表示病变位置信息输入画面的一例的图。
图23是表示病变位置信息输入画面的一例的图。
图24是表示病变位置信息输入画面的一例的图。
图25是表示病变位置信息输入画面的一例的图。
图26是表示病变位置信息输入画面的一例的图。
图27是表示病变位置信息输入画面的一例的图。
图28是表示病变位置信息输入画面的一例的图。
图29是表示内窥镜装置的结构的一例的框图。
具体实施方式
以下，参照附图对本发明的优选实施方式进行详细说明。
<第一实施方式>
〔内窥镜图像学习系统的结构〕
图1是表示内窥镜图像学习系统10的结构的一例的框图。内窥镜图像学习系统10具有在医院内构建的院内LAN(Local Area Network)20、在医院的内窥镜科内构建的内窥镜科本地LAN30、在医院内或医院外构建的AI(Artificial Intelligence)学习LAN50等。
在院内LAN20中，连接有电子病历系统22和病理系统24。
电子病历系统22是管理医院内的所有患者的检查信息的系统。另外，病理系统24是管理病理检体和病理诊断信息的系统。电子病历系统22和病理系统24可以由1台计算机构成，也可以是分散到多个计算机的结构。
在内窥镜科本地LAN30中，连接有内窥镜管理报告终端32、视频采集终端38、内窥镜管理服务器40、及动态画面存储NAS(Network Attached Storage)46。
内窥镜管理报告终端32是用于医师制作与由未图示的内窥镜装置进行的内窥镜检查相关的内窥镜报告42(后述)的终端。
图2是表示内窥镜管理报告终端32的结构的一例的框图。内窥镜管理报告终端32具备输入设备34、显示器36和学习数据收集装置80。
输入设备34(输入装置的一例)例如可应用鼠标、或键盘。显示器36(显示装置的一例)例如可应用液晶监视器。也可以使用带触摸屏的显示器，兼备输入设备34和显示器36。
学习数据收集装置80收集从内窥镜图像中识别病变的模型的在学习中使用的学习数据。学习数据收集装置80具备接受部82、显示控制部84、关联部86和记录控制部88。
接受部82接受输入设备34进行的操作。显示控制部84使内窥镜图像和观察结果诊断信息显示于显示器36。关联部8基于由接受部82接受的后述的关联操作，将内窥镜图像与观察结果诊断信息进行关联。记录控制部88将由关联部86进行了关联的内窥镜图像和观察结果诊断信息记录在内窥镜管理服务器40中。
返回到图1的说明，视频采集终端38捕获未图示的内窥镜装置的摄像装置拍摄的动态画面，并将其发送到动态画面存储NAS46。另外，视频采集终端38捕获未图示的内窥镜装置的摄像装置拍摄的静止画面，并将其发送到内窥镜管理服务器40。
内窥镜管理服务器40经由内窥镜管理报告终端32管理未图示的内窥镜装置。另外，内窥镜管理服务器40记录由内窥镜管理报告终端32制作的内窥镜报告42和由内窥镜装置的摄像装置拍摄到的静止画面即检查图像44。
动态画面存储NAS46记录由内窥镜装置的摄像装置拍摄到的动态画面。
在AI学习LAN50中，连接有AI引擎52。AI引擎52识别所输入的内窥镜图像中包含的病变，并将识别到的病变的信息输出。AI引擎52例如由GPU(Graphics Processing Unit)构成。
图3是表示AI引擎52的结构的一例的框图。AI引擎52具备输入部54、特征量提取部56、识别部58、输出部60、学习数据输入部62、及学习部64。
内窥镜图像被输入到输入部54。内窥镜图像不限于静止画面，也可以是动态画面。
特征量提取部56从被输入到输入部54的内窥镜图像中提取特征量。识别部58(识别器的一例)根据由特征量提取部56提取到的特征量，使用模型识别内窥镜图像中包含的病变。输出部60将识别部58识别到的病变的信息输出。
用于使模型学习的学习数据被输入学习数据输入部62。学习部64具备与识别部58同样的模型。学习部64利用被输入到学习数据输入部62的学习数据使模型学习。通过学习部64进行了学习的学习完毕模型被输入到识别部58。由此，识别部58的模型被更新为学习完毕模型。
也可以设为在特征量提取部56和识别部58中使用模型识别内窥镜图像中包含的病变的结构，学习部64学习特征量提取部56和识别部58的模型并更新为学习完毕模型。
再次返回到图1的说明，电子病历系统22与内窥镜管理服务器40经由医嘱网关(order gateway)70连接。医嘱网关70由1台计算机服务器构成。医嘱网关70从电子病历系统22或未图示的医嘱系统接收检查信息和患者信息，并将检查医嘱信息发送到内窥镜管理服务器40。内窥镜管理服务器40记录接收到的检查医嘱。
另外，医嘱网关70从内窥镜管理服务器40接收内窥镜报告42和检查实绩信息，并将其发送到电子病历系统22或未图示的医疗会计系统。
病理系统24与内窥镜管理服务器40经由病理系统网关72连接。病理系统网关72由1台计算机服务器构成。病理系统网关72从病理系统24获取病理诊断结果，并将病理诊断结果发送到内窥镜管理服务器40。内窥镜管理服务器40记录接收到的病理诊断结果。
AI引擎52与内窥镜管理服务器40经由AI学习数据输出网关74连接。AI学习数据输出网关74从内窥镜管理服务器40接收学习数据，并将其发送到AI引擎52。
〔学习方法〕
内窥镜图像学习系统10将内窥镜图像和观察结果诊断信息作为学习数据，使从内窥镜图像中识别病变的模型学习。图4是表示使用了内窥镜图像学习系统10的学习方法的处理的流程图。学习方法具有内窥镜检查实施工序(步骤S10)、内窥镜报告制作工序(步骤S20)、AI学习图像关联工序(步骤S30)、病理请求工序(步骤S40)、AI学习数据输出工序(步骤S50)、以及AI学习工序(步骤S60)。
〔内窥镜检查实施工序的详细情况〕
在内窥镜检查实施工序中，对患者实施内窥镜检查。图5是表示内窥镜检查实施工序的详细的处理的流程图。内窥镜检查实施工序具有检查信息获取工序(步骤S11)、动态画面拍摄开始工序(步骤S12)、病变部位静止画面拍摄工序(步骤S13)、静止画面服务器转送工序(步骤S14)、动态画面拍摄结束工序(步骤S15)、以及动态画面服务器转送工序(步骤S16)。
<检查信息获取工序(步骤S11)>
在检查信息获取工序中，获取实施的内窥镜检查的检查信息。医师使用内窥镜管理报告终端32的输入设备34输入检查信息。检查信息中包含检查部位信息、检查日、患者的姓名、年龄、性别等信息。将所输入的检查信息从内窥镜管理报告终端32发送到内窥镜管理服务器40。
<动态画面拍摄开始工序(步骤S12)>
在动态画面拍摄开始工序中，开始拍摄动态画面的内窥镜图像。医师操作未图示的内窥镜装置的摄像装置，拍摄动态画面。所拍摄的动态画面实时显示于未图示的内窥镜装置的显示装置。另外，将所拍摄的动态画面随时输入视频采集终端38。
<病变部位静止画面拍摄工序(步骤S13)>
在病变部位静止画面拍摄工序中，拍摄病变部位的静止画面的内窥镜图像。医师利用内窥镜装置的显示装置观察拍摄到的动态画面，当动态画面中拍摄到病变部位时，操作未图示的摄像装置，拍摄静止画面。
<静止画面服务器转送工序(步骤S14)>
在静止画面服务器转送工序中，将拍摄到的静止画面转送至内窥镜管理服务器40。将通过病变部位静止画面拍摄工序拍摄到的静止画面从未图示的内窥镜装置的摄像装置发送到视频采集终端38。视频采集终端38将接收到的静止画面发送到内窥镜管理服务器40。内窥镜管理服务器40将接收到的静止画面记录为检查图像44。内窥镜管理服务器40也可以一起记录检查图像44和缩小了检查图像的尺寸的缩略图图像。
<动态画面拍摄结束工序(步骤S15)>
在动态画面拍摄结束工序中，使动态画面的拍摄结束。当内窥镜检查结束时，医师结束通过未图示的内窥镜装置的摄像装置进行的动态画面的拍摄。
<动态画面服务器转送工序(步骤S16)>
在动态画面服务器转送工序中，将拍摄到的动态画面转送至动态画面存储NAS46。将拍摄到的动态画面随时转送至视频采集终端38，并在动态画面服务器转送工序中从视频采集终端38转送至动态画面存储NAS46。动态画面存储NAS46将转送来的动态画面记录为检查图像。
通过以上操作，结束内窥镜检查实施工序。
〔内窥镜报告制作工序的详细情况〕
在内窥镜报告制作工序中，制作与在内窥镜检查实施工序中进行的内窥镜检查相关的内窥镜报告42。内窥镜报告42由医师使用内窥镜管理报告终端32来制作。
图6是表示内窥镜报告制作工序的详细的处理的流程图。内窥镜报告制作工序具有关键图像选择工序(步骤S21)、病变标记工序(步骤S22)、观察结果诊断信息输入工序(步骤S23)、以及结束判定工序(步骤S24)。
<关键图像选择工序(步骤S21)>
在关键图像选择工序中，医师选择在内窥镜报告42的制作中使用的关键图像。关键图像是指例如明确拍摄了病变的图像。显示控制部84将内窥镜管理服务器40中记录的检查图像显示在显示器36上。医师使用输入设备34，从所显示的检查图像中选择关键图像。关键图像的数量并不限定。
<病变标记工序(步骤S22)>
在病变标记工序中，对关键图像附加表示病变的位置的病变标记。医师使用输入设备34，对显示于显示器36的关键图像附加病变标记。
<观察结果诊断信息输入工序(步骤S23)>
在观察结果诊断信息输入工序中，输入由观察结果信息和诊断信息构成的观察结果诊断信息。医师使用输入设备34，输入与内窥镜检查和关键图像相关的观察结果诊断信息。
<结束判定工序(步骤S24)>
在结束判定工序中，对所选择的关键图像判定是否所有输入已结束。在输入未结束的情况下，返回到步骤S22，进行同样的处理。在所有输入已结束的情况下，医师使用输入设备34，通过进行该旨意的输入完成内窥镜报告42，结束内窥镜报告制作工序。
〔AI学习图像关联工序的详细情况〕
在AI学习图像关联工序中，将内窥镜图像与观察结果诊断信息进行关联，制作在AI引擎52的学习中使用的学习数据(学习数据收集方法的一例)。AI学习图像关联工序使用内窥镜管理报告终端32来进行。
图7是表示显示于显示器36的内窥镜报告制作画面100的一例的图。在内窥镜报告制作画面100中，进行上述内窥镜报告制作工序(步骤S20)。
在内窥镜报告制作画面100中，显示有症例收录按键102。在制作内窥镜报告42后，医师使用输入设备34的鼠标等指向设备，将指针移到症例收录按键102并点击。通过该操作，显示器36的显示转到AI学习图像关联画面110。也可以将该操作设为结束判定工序(步骤S24)的结束的输入。
图8是表示显示于显示器36的AI学习图像关联画面110的一例的图。在AI学习图像关联画面110中进行AI学习图像关联工序。如图8所示，AI学习图像关联画面110具有图像显示区域112和观察结果诊断信息显示区域114。
显示控制部84使显示器36中显示AI学习图像关联画面110。另外，从内窥镜管理服务器40，读出在内窥镜报告制作工序中制作了内窥镜报告42的患者的检查图像44，并使其显示于图像显示区域112(显示控制工序的一例)。
显示控制部84使多个标签显示于图像显示区域112，多个标签中的任一个处于激活状态。在图8所示的例子中，显示有标签116-1、116-2、及116-3。
显示控制部84将可进行关联的所有检查图像分类为一个组，并将该组的检查图像显示于与标签116-1关联的区域。若检查图像为静止画面，则可以显示静止画面的缩略图图像，若检查图像为动态画面，则可以显示动态画面的最前面的图像等代表图像。在图8所示的例子中，标签116-1处于激活状态，可进行关联的检查图像显示于图像显示区域112。在标签116-1中，为了识别标签的种类，显示有文字“ALL”。
此外，图像显示区域112中的显示图像的大小可适当选择。在图8所示的例子中，在图像显示区域112显示了两个检查图像118-1和118-2，但可通过相对较小设定显示图像的大小，相对增加显示图像的数量。
另外，显示控制部84从内窥镜管理服务器40中读出在内窥镜报告制作工序中制作了内窥镜报告42的患者的观察结果诊断信息，并使其显示于观察结果诊断信息显示区域114(显示控制工序的一例)。在图8所示的例子中，显示有两个观察结果诊断信息120-1和120-2。对观察结果诊断信息120-1和120-2分别附加了与观察结果诊断信息对应的识别信息122-1即编号“1”、及与识别信息122-2对应的编号“2”。
显示于图像显示区域112的标签116-2和116-3是分别与观察结果诊断信息120-1和120-2关联的标签。在标签116-2和116-3中，为了识别标签的种类，显示有识别信息122-1的编号“1”和识别信息122-2的编号“2”。
图9是表示AI学习图像关联工序的详细的处理的流程图。AI学习图像关联工序具有AI学习图像选择工序(步骤S31)、关联工序(步骤S32)、所有图像判定工序(步骤S33)、以及所有观察结果诊断信息判定工序(步骤S34)。
<AI学习图像选择工序(步骤S31)>
在AI学习图像选择工序中，对AI学习中使用的检查图像和与该检查图像相关的观察结果诊断信息进行选择。
医师选择显示于AI学习图像关联画面110的图像显示区域112的检查图像中的至少一个检查图像。另外，选择显示于观察结果诊断信息显示区域114的观察结果诊断信息中、与选择的检查图像进行了关联的观察结果诊断信息(接受工序的一例)。接着，使用输入设备34，进行将选择的检查图像拖拽和释放(拖放)至选择的观察结果诊断信息的位置的操作。
拖拽操作是指如下的操作：在使用鼠标时，在将鼠标指针的位置移动到选择的检查图像的位置的状态下，点击操作鼠标左键，并在保持点击操作的状态下使鼠标指针移动。在拖拽操作中，伴随着鼠标指针的移动，复制并移动所选择的检查图像。另外，释放操作是指如下的操作：在使拖拽操作的鼠标指针或复制的检查图像的位置对准选择的观察结果诊断信息的位置的状态下，放开鼠标左键。
图10是表示在AI学习图像关联画面110中将选择的检查图像118-1朝向选择的观察结果诊断信息120-1拖拽操作的状态的一例的图。在拖拽操作中，选择的检查图像118-1的复制图像126与鼠标指针124一起移动。
<关联工序(步骤S32)>工
在关联工序中，将所选择的检查图像与观察结果诊断信息进行关联。在此，关联部86在AI学习图像选择工序中将被拖放的检查图像与观察结果诊断信息进行关联。在图10所示的例子中，将检查图像118-1与观察结果诊断信息120-1关联。
这样，通过将检查图像拖放至观察结果诊断信息，能够容易进行检查图像与观察结果诊断信息的关联。
图11是表示将检查图像118-1与观察结果诊断信息120-1关联后的AI学习图像关联画面110的一例的图。显示控制部84将表示与检查图像118-1进行了关联的观察结果诊断信息120-1的识别信息122-1的编号“1”作为附属显示128-1附属显示于检查图像118-1。由此，医师能够确认到检查图像118-1与观察结果诊断信息120-1进行了关联。
图12是表示进一步进行了检查图像118-2与观察结果诊断信息120-1的关联、及检查图像118-2与观察结果诊断信息120-2的关联后的AI学习图像关联画面110的一例的图。
在检查图像118-2中，附属显示了表示识别信息122-1的编号“1”的附属显示128-2、及表示识别信息122-1的编号“2”的附属显示128-3。由此，医师能够确认到检查图像118-2与观察结果诊断信息120-1和120-2进行了关联。
这样，通过在关联后的图像中显示表示观察结果诊断信息的识别信息的附属显示，能够识别将图像与哪个观察结果诊断信息关联。另外，当将一个检查图像与多个观察结果诊断信息进行了关联时，由于对各个观察结果诊断信息的识别信息进行显示，所以能够识别进行了关联的所有观察结果诊断信息。
在图9～图12所示的AI学习图像关联画面110中，将标签116-1设为处于激活状态，但医师可利用输入设备34将标签116-2或116-3的标签设为处于激活状态。
图13是表示在图12所示的AI学习图像关联画面110中医师通过使用输入设备34选择标签116-2而将标签116-2激活时的AI学习图像关联画面110的一例的图。标签116-2是与观察结果诊断信息120-1关联的标签。显示控制部84将与观察结果诊断信息120-1进行了关联的检查图像分类为一个组，并使该组的检查图像显示于与标签116-2关联的区域。因此，当标签116-2被选择时，显示控制部84使与观察结果诊断信息120-1进行了关联的检查图像显示于图像显示区域1112。在图13所示的例子中，显示了与观察结果诊断信息120-1进行了关联的检查图像118-1和118-2。
另外，图14是表示在图12所示的AI学习图像关联画面110中医师通过使用输入设备34选择标签116-3而将标签116-3激活时的AI学习图像关联画面110的一例的图。标签116-3是与观察结果诊断信息120-2关联的标签。显示控制部84将与观察结果诊断信息120-2进行了关联的检查图像分类为一个组，并使该组的检查图像显示于与标签116-3关联的区域。因此，当标签116-3被选择时，显示控制部84使与观察结果诊断信息120-2进行了关联的检查图像显示于图像显示区域112。在图14所示的例子中，显示了与观察结果诊断信息120-2进行了关联的检查图像118-2。
这样，显示控制部84将被与观察结果诊断信息进行了关联的检查图像分类成每个观察结果诊断信息的组，并且使用标签按每组切换显示检查图像。因此，通过选择显示于图像显示区域112的多个标签中期望的标签，可仅显示与观察结果诊断信息进行了关联的检查图像，该观察结果诊断信息与选择的标签关联。由此，能够确认到与观察结果诊断信息进行了关联的图像遗漏。医生确认已为每个观察结果诊断信息配齐了必要的图像，若有多余或不足则再次进行选择操作。
在此，对针对每一个检查图像进行拖放操作的例子进行了说明，但也可以将多个检查图像作为选择图像进行拖放操作。图15是表示在AI学习图像关联画面110中选择了显示于图像显示区域112的检查图像118-3～118-10中的检查图像118-3、118-7、118-8、及118-9的状态的一例的图。在此，将检查图像118-3、118-7、118-8、及118-9的外框用粗线包围，并勾选了复选框，以便能够识别已进行了选择。
通过从该状态将检查图像118-3、118-7、118-8、及118-9统一进行拖放操作，能够以一次性操作将检查图像118-3、118-7、118-8、及118-9与期望的观察结果诊断信息关联。
另外，当选择了多个检查图像时，也可以将选择的检查图像重叠显示。图16是表示在AI学习图像关联画面110中将所选择的检查图像118-3、118-7、118-8、及118-9重叠显示的一例的图。通过像这样将已选择图像重叠显示，能够减少显示图像数量，可设定医师容易选择检查图像的显示。
与图15所示的情况同样，通过从重叠显示状态将检查图像118-3、118-7、118-8、及118-9统一进行拖放操作，能够以一次性操作将检查图像118-3、118-7、118-8、及118-9与期望的观察结果诊断信息关联。
在此，对将检查图像拖放操作至观察结果诊断信息的情况进行了说明，但也可以将观察结果诊断信息拖放操作至检查图像。
另外，关联操作不限定于拖放操作。图17是表示在AI学习图像关联画面110中选择检查图像后进行了鼠标右键的点击操作的状态的一例的图。在此，选择了检查图像118-3、118-7、118-8、及118-9，通过之后的点击操作显示了右点击菜单130。
右点击菜单130中包含用于将选择的检查图像与观察结果诊断信息120-1进行关联的“与1关联”的选择项目、及用于将选择的检查图像与观察结果诊断信息120-2进行关联的“与2关联”的选择项目。
医师可通过将鼠标指针对准右点击菜单130的“与1关联”或“与2关联”的选择项目的位置并点击操作鼠标左键，将检查图像118-3、118-7、118-8、及118-9与观察结果诊断信息120-1或120-2关联。
<所有图像判定工序(步骤S33)>
在所有图像判定工序中，对所有检查图像判定是否已关联观察结果诊断信息。在此，对显示于与标签116-1关联的区域的所有检查图像进行判定。当存在未关联观察结果诊断信息的检查图像时，返回到步骤S31，进行同样的处理。当对所有检查图像都关联了观察结果诊断信息时，转到步骤S34。
<所有观察结果诊断信息判定工序(步骤S34)>
在所有观察结果诊断信息判定工序中，对所有观察结果诊断信息判定是否已关联检查图像。在此，对显示于观察结果诊断信息显示区域114的所有观察结果诊断信息进行判定。当存在未关联检查图像的观察结果诊断信息时，返回到步骤S31，进行同样的处理。
在对所有观察结果诊断信息关联了检查图像的情况下，记录控制部88使进行了关联的检查图像和观察结果诊断信息作为学习数据记录在内窥镜管理服务器40(记录装置的一例)中(记录控制工序的一例)，结束本流程图的处理并结束AI学习图像关联工序。
此外，在将内窥镜图像与观察结果诊断信息进行了关联时，也可以依次记录在内窥镜管理服务器40中。另外，也可以设为即使在未对所有检查图像关联观察结果诊断信息的情况下，或未对所有观察结果诊断信息关联检查图像的情况下，也使AI学习图像关联工序结束。
〔病理请求工序的详细情况〕
在病理请求工序中，对于应对在内窥镜检查中采集的病理检体进行的病理诊断，进行请求书的制作和病理诊断结果的获取。图18是表示病理请求工序的详细的处理的流程图。病理请求工序具有有无活检判定工序(步骤S41)、病理请求制作工序(步骤S42)、病理请求发送工序(步骤S43)、病理请求诊断工序(步骤S44)、以及所有病理请求结束判定工序(步骤S45)。
<有无活检判定工序(步骤S41)>
在有无活检判定工序中，医师判定是否存在应进行病理诊断的检体。当不存在应进行病理诊断的检体时，结束本流程图的处理，并结束病理请求工序。当存在应进行病理诊断的检体时，转到步骤S42。
<病理请求制作工序(步骤S42)>
在病理请求制作工序中，医师在内窥镜管理报告终端32中针对在内窥镜检查中获取的病理检体，根据内窥镜的观察结果和识别病理检体的信息制作病理请求。
<病理请求发送工序(步骤S43)>
在病理请求发送工序中，经由医嘱网关70，将在病理请求制作工序中制作的病理请求发送到电子病历系统22。电子病历系统22将所接收的病理请求作为医嘱进行管理，并请求病理系统24进行病理诊断。
<病理诊断接收工序(步骤S44)>
在病理诊断接收工序中，病理系统网关72对于已进行病理请求、且病理诊断结果未接收的检查，从病理系统24接收病理诊断结果，并发送到内窥镜管理服务器40。内窥镜管理服务器40将所接收的病理诊断结果进一步与进行了关联的检查图像和观察结果诊断信息关联并存储。
<所有病理请求结束判定工序(步骤S45)>
在所有病理请求结束判定工序中，对获取的所有病理检体判定是否进行了病理请求。当有未进行病理请求的病理检体时，返回到步骤S42，重复同样的处理。当对所有病理检体进行了病理请求时，结束本流程图的处理，并结束病理请求工序。
〔AI学习数据输出工序的详细情况〕
在AI学习数据输出工序中，将在AI学习图像关联工序中进行了关联的检查图像和观察结果诊断信息作为学习数据输出。图19是表示AI学习数据输出工序的详细的处理的流程图。AI学习数据输出工序具有学习数据检索工序(步骤S51)、静止画面和动态画面检索工序(步骤S52)、静止画面和动态画面数据输出工序(步骤S53)。
<学习数据检索工序(步骤S51)>
在学习数据检索工序中，AI学习数据输出网关74从记录在内窥镜管理服务器40中的学习数据中检索在学习部64中未进行学习的未学习数据。例如，通过提取在上次向AI引擎52发送了学习数据的时点记录在内窥镜管理服务器40中的学习数据与当前记录在内窥镜管理服务器40中的学习数据之间的差分，检索在学习部64中未进行学习的学习数据。
<静止画面和动态画面检索工序(步骤S52)>
在静止画面和动态画面检索工序中，AI学习数据输出网关74从记录在内窥镜管理服务器40中的静止画面和动态画面存储NAS46中检索在学习数据检索工序中检索到的未学习数据的静止画面和动态画面。
<静止画面和动态画面数据输出工序(步骤S53)>
在静止画面和动态画面数据输出工序中，AI学习数据输出网关74将在静止画面和动态画面检索工序中检索到的静止画面数据和动态画面数据及与该静止画面和动态画面进行了关联的观察结果诊断信息发送到AI引擎52。当将病理诊断结果进行了关联时，AI学习数据输出网关74将该病理诊断结果一起发送到AI引擎52。将所发送的静止画面数据等从学习数据输入部62输入到学习部64。
〔AI学习工序(步骤S60)〕
在AI学习工序中，学习部64利用被输入到学习数据输入部62的学习数据使模型学习。将通过学习部64进行了学习的学习完毕模型输入到识别部58，并将识别部58的模型更新为学习完毕模型。
如以上所述，根据本实施方式，能够适当地使模型学习。
<第二实施方式>
〔病变位置信息的输入〕
在第二实施方式中，作为学习数据还包括检查图像的病变位置信息。医师使用内窥镜管理报告终端32输入病变位置信息。在本实施方式中，利用边界框来记录病变位置。边界框是包含病变的矩形区域，在此，利用至少两个坐标位置来确定。
图20是表示第二实施方式所涉及的内窥镜管理报告终端32的结构的一例的框图。此外，对与图6所示的框图共同的部分赋予相同的符号，并省略其详细说明。
内窥镜管理报告终端32的接受部82具备坐标接收部83。坐标接收部83接收并接受从输入设备34输入的边界框的至少两个坐标位置。
图21是表示病变位置信息输入方法的处理的流程图。在此，对针对利用一次内窥镜检查拍摄的多个检查图像按顺序输入病变位置信息的方法进行说明。病变位置信息输入方法具有检查图像显示工序(步骤S71)、矩形区域输入工序(步骤S72)、病变位置信息关联工序(步骤S73)、以及结束判定工序(步骤S74)。
<检查图像显示工序(步骤S71)>
在检查图像显示工序中，显示控制部84将记录在内窥镜管理服务器40中的检查图像中符合的内窥镜检查的检查图像的一个显示在显示器36中。
图22是表示显示在显示器36中的病变位置信息输入画面140的一例的图。在病变位置信息输入画面140中进行病变位置信息输入。在图22所示的病变位置信息输入画面140中，显示有检查图像142-1。另外，在检查图像142-1中包含病变L。
<矩形区域输入工序(步骤S72)>
在矩形区域输入工序中，针对显示于显示器36的检查图像，医师输入包含病变位置的矩形区域。通过指定矩形区域的左上方的第一点，并进一步指定成为矩形区域的第一点的对角的右下方的第二点，进行矩形区域的输入。通过例如操作输入设备34的鼠标、或用手指操作触摸屏等来进行第一点和第二点的指定。
图22～图25是表示在病变位置信息输入画面140中利用鼠标的操作输入矩形区域的一例的图。在检查图像142-1的包含病变L的最小面积的矩形区域中，将左上方的位置设为位置P1，将右下方的位置设为位置P2。在此，对输入左上方的位置为位置P1、右下方的位置为位置P2的矩形区域的情况进行说明。
显示控制部84使鼠标指针144、引导线146、及引导线148显示在病变位置信息输入画面140中。即，如图22所示，在病变位置信息输入画面140中显示了鼠标指针144。另外，在病变位置信息输入画面140中，显示了为了表示容易看到鼠标指针144的垂直方向位置和水平方向位置的垂直方向的引导线146和水平方向的引导线148。引导线146和148的交叉点是鼠标指针144的位置。
医师为了输入矩形区域，首先，如图22所示，使鼠标指针144移动到位置P1。接下来，在使鼠标指针144对准位置P1的状态下，进行按下鼠标左键的点击操作，并在保持点击操作的状态下，进行使鼠标指针144向位置P2移动的拖拽操作。图23是表示从位置P1到达位置P2为止的拖拽操作中的状态的图。如图23所示，在拖拽操作中，显示使拖拽开始位置(在此，位置P1)与当前鼠标指针144的位置为对角的矩形150。
当进一步继续拖拽操作，如图24所示使鼠标指针144移动到位置P2时，在使鼠标指针144对准位置P2的状态下，放开鼠标的点击操作。
通过该操作，左上方的位置为位置P1、右下方的位置为位置P2的矩形150确定为边界框152。接受部82的坐标接收部83接收边界框152左上方的位置P1在显示器36内的坐标(X1，Y1)、及右下方的位置P2在显示器36内的坐标(X2，Y2)。
此外，在此，输入了包含病变L的最小面积的矩形区域，但只要矩形区域包含病变L，也可以不是最小面积的矩形区域。
当使用触摸屏输入矩形区域时，例如只要用手指接触设为矩形区域的第一点的位置，并在保持手指接触触摸屏不变而使手指移动到设为矩形区域的第二点的位置后从触摸屏离开即可。另外，也可以使用两根手指同时指定第一点和第二点。
<病变位置信息关联工序(步骤S73)>
在病变位置信息关联工序中，关联部86根据在矩形区域输入工序中输入的矩形区域计算病变位置信息，并将计算出的病变位置信息与检查图像关联。
关联部86获取显示控制部84使显示器36显示的检查图像142-1在显示器36内的坐标。根据该检查图像142-1在显示器36内的坐标和边界框152在显示器36内的坐标，计算在检查图像142-1内的边界框152的坐标作为病变位置信息。
记录控制部88将计算出的病变位置信息与检查图像关联并记录在内窥镜管理服务器40中。
<结束判定工序(步骤S74)>
在结束判定工序中，对所有检查图像判定是否已关联病变位置信息。当存在未关联病变位置信息的检查图像时，返回到步骤S71，重复同样的处理。即，如图25所示，显示控制部84将检查图像142-1的下一检查图像即检查图像142-2显示在显示器36中。
当在矩形区域输入工序中结束拖拽操作，检查图像142-1的矩形区域的输入结束时，立即显示检查图像142-2。这样，通过不等待拖拽操作结束以外的操作就使下一检查图像显示，可迅速进行矩形区域的输入。此外，也可以通过点击用于在拖拽操作结束后使下一检查图像显示的按键等，使下一检查图像显示。通过像这样使下一检查图像显示，可针对一个图像输入多个矩形区域。
当对所有检查图像都关联了病变位置信息时，结束本流程图的处理。
本实施方式所涉及的病变位置信息的输入例如可在第一实施方式的AI学习图像选择工序(步骤S31)之前进行。另外，可考虑在关联工序(步骤S32)之后，仅对关联了观察结果诊断信息的检查图像进行。在病变标记工序(步骤S22)中，也可以进行同样的处理。
另外，在学习数据检索工序(步骤S51)中，也可以考虑以附加有病变位置信息的条件进行检索。另外，作为检索条件，也可考虑使用病变位置信息的面积。
在本实施方式中，将矩形区域的第一点指定为左上方，将第二点指定为右下方，但只要能够指定成为对角的两点，对所指定的位置和顺序并没有限定。另外，矩形区域的角也可以是圆角。病变位置信息可以是圆形区域。
图26是表示关于输入圆形区域的一例的图。在使鼠标指针144对准病变L的中心位置即位置P3的状态下，当按下鼠标左键进行拖拽操作时，以位置P3为中心的圆形区域154扩大。可通过在该圆形区域154包含病变L的位置放开拖拽操作，输入圆形区域。
关联部86将显示器36中的圆形区域154的中心坐标和距中心坐标的距离(圆形区域的半径)变换为检查图像142-1内的中心坐标和距中心坐标的距离，并作为病变位置信息来获取。
另外，也可以通过指定三个点来输入椭圆区域。在该情况下，可考虑指定第一点为中心坐标，第二点为水平方向的距中心坐标的距离，第三点为垂直方向的距中心坐标的距离等。
而且，当在检查图像显示工序中显示新的检查图像时，可以使在前一个检查图像的矩形区域输入中使用的边界框显示。在图27所示的例子中，在输入第二个检查图像142-2的矩形区域时，显示了第一个检查图像142-1的边界框156。另外，在图28所示的例子中，在输入第二个检查图像142-2的圆形区域时，显示了第一个检查图像142-1的圆形区域158。
由于在相同的病变的情况下多是以同样的位置和同样的大小拍摄，所以通过以先前指定的位置为基准进行显示，可容易地指定病变位置
<第三实施方式>
对具备使用在第一实施方式中生成的学习完毕模型分析医疗图像的医疗图像处理装置的内窥镜装置进行说明。
图29是表示内窥镜装置90的结构的一例的框图。内窥镜装置90例如与内窥镜科本地LAN30(参照图1)连接。内窥镜装置90具备内窥镜91、医疗图像处理装置94、及显示装置98。
内窥镜91具备光源92和摄像装置93。光源92向患者的体腔内的被观察区域照射照射光。摄像装置93接收来自被观察区域的反射光来拍摄被观察区域的内窥镜图像。
医疗图像处理装置94(内窥镜图像处理装置的一例)具备医疗图像获取部95、医疗图像分析处理部96、及医疗图像分析结果获取部97。
医疗图像获取部95获取医疗图像。在本实施方式中，获取由内窥镜91拍摄的内窥镜图像。
医疗图像分析处理部96对由医疗图像获取部95获取的医疗图像进行分析。在本实施方式中，使用在第一实施方式中生成的学习完毕模型从内窥镜图像中识别病变。
医疗图像分析结果获取部97获取医疗图像分析处理部96中的分析结果。
显示装置98例如可应用液晶监视器。在显示装置98中，显示出利用内窥镜91拍摄的内窥镜图像、及在医疗图像分析结果获取部97中获取的分析结果。在本实施方式中，对识别到的病变的区域着色并与内窥镜图像重叠显示。也可以用框包围病变的区域并重叠显示。
根据如此构成的内窥镜装置90，可通过学习完毕模型从拍摄中的内窥镜图像中识别病变，使进行内窥镜检查的医师识别病变。
在此，对将医疗图像处理装置94设置在内窥镜装置90中的情况进行了说明，但也可以设置在内窥镜管理报告终端32或视频采集终端38中。
<附记>
除了上述方面和例子以外，以下记载的结构也包括在本发明的范围中。
〔附记1〕
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测应关注的区域即关注区域，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
〔附记2〕
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测是否有应关注对象，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
〔附记3〕
一种医疗图像处理装置，其中，
医疗图像分析结果获取部从记录医疗图像的分析结果的记录装置中获取分析结果，
分析结果是包含在医疗图像中的应关注区域即关注区域、和是否有应关注对象中的任一方或双方。
〔附记4〕
一种医疗图像处理装置，其中，
医疗图像是通过照射白色频带的光、或作为白色频带的光的多个波长频带的光而得的普通光图像。
〔附记5〕
一种医疗图像处理装置，其中，
医疗图像是通过照射特定波长频带的光而得的图像，
特定波长频带是比白色波长频带窄的频带。
〔附记6〕
一种医疗图像处理装置，其中，
特定波长频带是可见范围的蓝色或绿色频带。
〔附记7〕
一种医疗图像处理装置，其中，
特定波长频带包括390nm以上450nm以下或530nm以上550nm以下的波长频带，并且，特定波长频带的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。
〔附记8〕
一种医疗图像处理装置，其中，
特定波长频带是可见范围的红色频带。
〔附记9〕
一种医疗图像处理装置，其中，
特定波长频带包括585nm以上615nm以下或610nm以上730nm以下的波长频带，并且，特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
〔附记10〕
一种医疗图像处理装置，其中，
特定波长频带包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带，并且，特定波长频带的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波长频带具有峰波长。
〔附记11〕
一种医疗图像处理装置，其中，
特定波长频带包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带，并且，特定波长频带的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。
〔附记12〕
一种医疗图像处理装置，其中，
医疗图像是拍摄了生物体内的生物体内图像，
生物体内图像具有生物体内的荧光物质发出的荧光的信息。
〔附记13〕
一种医疗图像处理装置，其中，
荧光是通过向生物体内照射峰值为390nm以上470nm以下的激励光而得的。
〔附记14〕
一种医疗图像处理装置，其中，
医疗图像是拍摄了生物体内的生物体内图像，
特定波长频带是红外光的波长频带。
〔附记15〕
一种医疗图像处理装置，其中，
特定波长频带包括790nm以上820nm以下或905nm以上970nm以下的波长频带，并且，特定波长频带的光在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。
〔附记16〕
一种医疗图像处理装置，其中，
医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部基于通过照射白色频带的光、或作为白色频带的光的多个波长频带的光而得的普通光图像，获取具有特定波长频带的信息的特殊光图像，
医疗图像是特殊光图像。
〔附记17〕
一种医疗图像处理装置，其中，
特定波长频带的信号是通过基于包含在普通光图像中的RGB(Red Green Blue)或者CMY(Cyan，Magenta，Yellow)的颜色信息的运算而得的。
〔附记18〕
一种医疗图像处理装置，其中，
具备特征量图像生成部，其利用基于通过照射白色频带的光、或作为白色频带的光的多个波长频带的光而得的普通光图像、和通过照射特定波长频带的光而得的特殊光图像中的至少一方的运算，生成特征量图像，
医疗图像是特征量图像。
〔附记19〕
一种内窥镜装置，其中，具备：
根据附记1至18中任一项所述的医疗图像处理装置；以及
内窥镜，其通过照射白色波长频带的光、或特定波长频带的光中至少任一个获取图像，
〔附记20〕
一种诊断支援装置，其中，
具备附记1至18中任一项所述的医疗图像处理装置。
〔附记21〕
一种医疗业务支援装置，其中，
具备附记1至18中任一项所述的医疗图像处理装置。
<其他>
上述图像处理方法可配置为用于使计算机实现各工序的程序，也可配置存储该程序的CD-ROM(Compact Disk-Read Only Memory)等非暂时性记录介质。
在至此说明的实施方式中，例如，执行学习数据收集装置80的各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(CentralProcessing Unit)、专门用于图像处理的处理器即GPU(Graphics Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、以及具有为了执行ASIC(Application SpecificIntegrated Circuit)等特定处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器(例如，多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合)构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以服务器和客户端等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的各种处理器作为硬件结构来构成各种处理部。
而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。
本发明的技术范围不限于上述实施方式中记载的范围。在不脱离本发明主旨的范围内，可在各实施方式之间对各实施方式中的构成要素等进行适当组合。
符号说明
10 内窥镜图像学习系统
20 院内LAN
22 电子病历系统
24 病理系统
30 内窥镜科本地LAN
32 内窥镜管理报告终端
34 输入设备
36 显示器
38 视频采集终端
40 内窥镜管理服务器
42 内窥镜报告
44 检查图像
46 动态画面存储NAS
50 AI学习LAN
52 AI引擎
54 输入部
56 特征量提取部
58 识别部
60 输出部
62 学习数据输入部
64 学习部
70 医嘱网关
72 病理系统网关
74 AI学习数据输出网关
80 学习数据收集装置
82 接受部
83 坐标接收部
84 显示控制部
86 关联部
88 记录控制部
90 内窥镜装置
91 内窥镜
92 光源
93 摄像装置
94 医疗图像处理装置
95 医疗图像获取部
96 医疗图像分析处理部
97 医疗图像分析结果获取部
100 内窥镜报告制作画面
102 症例收录按键
110 AI学习图像关联画面
112 图像显示区域
114 观察结果诊断信息显示区域
116-1～116-3 标签
118-1～118-10 检查图像
120-1、120-2 观察结果诊断信息
122-1、122-2 识别信息
124、144 鼠标指针
126 复制图像
128-1～128-3 附属显示
130 右点击菜单
140 病变位置信息输入画面
142-1、142-2 检查图像
146、148 引导线
150 矩形
152、156 边界框
154、158 圆形区域
S10～S60 学习方法的各工序
S71～S74 病变位置信息输入方法的各工序

Claims (17)

1.一种学习数据收集装置，其中，
具备：
显示控制部，其使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域，并且使与病变相关的一个或多个观察结果诊断信息显示于所述显示装置的观察结果诊断信息显示区域；
接受部，其接受通过输入装置进行的操作，即对内窥镜图像和观察结果诊断信息进行选择的操作，所述内窥镜图像是显示于所述图像显示区域的内窥镜图像中的至少一个内窥镜图像，所述观察结果诊断信息与显示于所述观察结果诊断信息显示区域的观察结果诊断信息中的所述至少一个内窥镜图像相关；
关联部，其将选择的所述内窥镜图像与选择的所述观察结果诊断信息进行关联；以及
记录控制部，其使被进行了关联的所述内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中，
所述显示控制部将在所述关联部中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个所述组使内窥镜图像切换显示。
2.根据权利要求1所述的学习数据收集装置，其中，
所述接受部接受由所述输入装置选择一个标签的操作，
所述显示控制部使被分类到选择的所述标签的组的内窥镜图像显示于所述图像显示区域。
3.根据权利要求1或2所述的学习数据收集装置，其中，
所述显示控制部将能选择的所有内窥镜图像分类为一个组。
4.根据权利要求1至3中任一项所述的学习数据收集装置，其中，
所述接受部接受将显示于所述图像显示区域的内窥镜图像中的至少一个内窥镜图像拖放至显示于所述观察结果诊断信息显示区域的观察结果诊断信息的操作，
所述关联部将被拖放的所述内窥镜图像与观察结果诊断信息进行关联。
5.根据权利要求1至4中任一项所述的学习数据收集装置，其中，
所述接受部接受将显示于所述观察结果诊断信息显示区域的观察结果诊断信息中的至少一个观察结果诊断信息拖放至显示于所述图像显示区域的内窥镜图像的操作，
所述关联部将被拖放观察结果诊断信息的所述内窥镜图像与该观察结果诊断信息进行关联。
6.根据权利要求1至5中任一项所述的学习数据收集装置，其中，
所述显示控制部使表示进行了关联的所述观察结果诊断信息的识别信息附属于内窥镜图像而显示于所述图像显示区域。
7.根据权利要求6所述的学习数据收集装置，其中，
所述显示控制部使所述识别信息显示在所述标签中。
8.根据权利要求6或7所述的学习数据收集装置，其中，
所述识别信息是与观察结果诊断信息对应的编号。
9.根据权利要求6至8中任一项所述的学习数据收集装置，其中，
所述显示控制部使所述识别信息附属于观察结果诊断信息而显示于所述观察结果诊断信息显示区域。
10.根据权利要求1至9中任一项所述的学习数据收集装置，其中，
所述显示控制部重叠显示选择的所述图像。
11.根据权利要求1至10中任一项所述的学习数据收集装置，其中，
所述接受部接受指定所述内窥镜图像中拍摄到的病变的位置信息的操作，
所述记录控制部使被指定的所述位置信息作为所述学习数据记录在所述记录装置中。
12.一种学习系统，其中，具备：
显示装置；
输入装置；
记录装置；
权利要求1至11中任一项所述的学习数据收集装置；以及
使用模型从内窥镜图像中识别病变的识别器，
使用所述学习数据使所述模型学习。
13.一种学习完毕模型，其已利用权利要求12所述的学习系统进行了学习。
14.一种内窥镜图像处理装置，其使用权利要求13所述的学习完毕模型分析内窥镜图像。
15.一种学习数据收集方法，其中，
包括：
显示控制工序，使由内窥镜拍摄到的一个或多个内窥镜图像显示于显示装置的图像显示区域，并且使与病变相关的一个或多个观察结果诊断信息显示于所述显示装置的观察结果诊断信息显示区域；
接受工序，接受通过输入装置进行的操作，即对内窥镜图像和观察结果诊断信息进行选择的操作，所述内窥镜图像是显示于所述图像显示区域的内窥镜图像中的至少一个内窥镜图像，所述观察结果诊断信息与显示于所述观察结果诊断信息显示区域的观察结果诊断信息中的所述至少一个内窥镜图像相关；
关联工序，将选择的所述内窥镜图像与选择的所述观察结果诊断信息进行关联；以及
记录控制工序，使被进行了关联的所述内窥镜图像和观察结果诊断信息作为从内窥镜图像中识别病变的模型的在学习中使用的学习数据记录在记录装置中，
所述显示控制工序将在所述关联工序中被与观察结果诊断信息进行了关联的内窥镜图像分类成每个观察结果诊断信息的组，并且使用标签按每个所述组使内窥镜图像切换显示。
16.一种程序，其用于使计算机执行权利要求15所述的学习数据收集方法。
17.一种记录介质，其是非暂时性计算机可读记录介质，当存储于所述记录介质的指令被计算机读取时，所述记录介质使计算机执行权利要求16所述的程序。
CN201980034313.XA 2018-05-28 2019-05-07 内窥镜用学习数据收集装置、内窥镜用学习数据收集方法和记录介质、学习系统、学习完毕模型、以及内窥镜图像处理装置 Active CN112189236B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018101498 2018-05-28
JP2018-101498 2018-05-28
PCT/JP2019/018231 WO2019230302A1 (ja) 2018-05-28 2019-05-07 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置

Publications (2)

Publication Number Publication Date
CN112189236A true CN112189236A (zh) 2021-01-05
CN112189236B CN112189236B (zh) 2024-07-23

Family

ID=68696941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980034313.XA Active CN112189236B (zh) 2018-05-28 2019-05-07 内窥镜用学习数据收集装置、内窥镜用学习数据收集方法和记录介质、学习系统、学习完毕模型、以及内窥镜图像处理装置

Country Status (5)

Country Link
US (1) US11776692B2 (zh)
EP (1) EP3806101A4 (zh)
JP (1) JP7042907B2 (zh)
CN (1) CN112189236B (zh)
WO (1) WO2019230302A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6877486B2 (ja) * 2018-12-04 2021-05-26 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP7462424B2 (ja) * 2020-01-15 2024-04-05 キヤノンメディカルシステムズ株式会社 医用情報処理装置、学習用データ生成プログラムおよび学習用データ生成方法
WO2021166749A1 (ja) * 2020-02-18 2021-08-26 ソニー・オリンパスメディカルソリューションズ株式会社 学習装置及び医療用画像処理装置
JPWO2022044642A1 (zh) * 2020-08-28 2022-03-03
JP2024112325A (ja) * 2021-04-26 2024-08-21 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP7190534B1 (ja) * 2021-06-14 2022-12-15 アサヒ飲料株式会社 微生物の検出方法
KR102672710B1 (ko) * 2023-07-06 2024-06-05 주식회사 서르 내시경 영상 합성 장치 및 합성 방법
CN117115241B (zh) * 2023-09-06 2024-03-29 北京透彻未来科技有限公司 一种追寻数字病理图像在缩放过程中中心焦点的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP2007209770A (ja) * 2007-03-16 2007-08-23 Olympus Corp 内視鏡診断支援装置
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
WO2015118850A1 (ja) * 2014-02-07 2015-08-13 国立大学法人広島大学 内視鏡画像診断支援システム
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6697743B2 (ja) 2015-09-29 2020-05-27 パナソニックＩｐマネジメント株式会社 情報端末の制御方法及びプログラム
JP6746360B2 (ja) 2016-04-13 2020-08-26 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
WO2020188682A1 (ja) * 2019-03-18 2020-09-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP2007209770A (ja) * 2007-03-16 2007-08-23 Olympus Corp 内視鏡診断支援装置
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
WO2015118850A1 (ja) * 2014-02-07 2015-08-13 国立大学法人広島大学 内視鏡画像診断支援システム
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOUNGHAK SHIN等: "Comparison of Hand-craft Feature based SVM and CNN based Deep Learning Framework for Automatic Polyp Classification", 《ANNU. INT. CONF IEEE ENG. MED. BIOL. SOC.》 *

Also Published As

Publication number Publication date
CN112189236B (zh) 2024-07-23
JPWO2019230302A1 (ja) 2021-06-24
US11776692B2 (en) 2023-10-03
EP3806101A4 (en) 2021-07-21
WO2019230302A1 (ja) 2019-12-05
EP3806101A1 (en) 2021-04-14
US20210052137A1 (en) 2021-02-25
JP7042907B2 (ja) 2022-03-28

Similar Documents

Publication Publication Date Title
CN112189236B (zh) 内窥镜用学习数据收集装置、内窥镜用学习数据收集方法和记录介质、学习系统、学习完毕模型、以及内窥镜图像处理装置
US11734820B2 (en) Medical image processing device, medical image processing method, and medical image processing program
WO2021147429A1 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
US9445713B2 (en) Apparatuses and methods for mobile imaging and analysis
JP5242866B1 (ja) 画像管理装置、方法、及び読影用プログラム
JP6967602B2 (ja) 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム
RU2633320C2 (ru) Отбор изображений для оптического исследования шейки матки
CN110662477A (zh) 信息处理装置、控制方法和程序
EP4091532A1 (en) Medical image processing device, endoscope system, diagnosis assistance method, and program
WO2017199635A1 (ja) 画像解析装置、画像解析システム、及び画像解析装置の作動方法
WO2019130924A1 (ja) 画像処理装置、内視鏡システム、画像処理方法、及びプログラム
WO2020174863A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
US12016739B2 (en) Systems and methods for capturing, displaying, and manipulating medical images and videos
JPWO2019088008A1 (ja) 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
JP7547057B2 (ja) 医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
WO2023282143A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
WO2021176852A1 (ja) 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム
US20240339187A1 (en) Medical support system, report creation support method, and information processing apparatus
WO2023145078A1 (ja) 医療支援システムおよび医療支援方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant