CN112367896A - 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序 - Google Patents

医用图像处理装置、医用图像处理系统、医用图像处理方法及程序 Download PDF

Info

Publication number
CN112367896A
CN112367896A CN201980044607.0A CN201980044607A CN112367896A CN 112367896 A CN112367896 A CN 112367896A CN 201980044607 A CN201980044607 A CN 201980044607A CN 112367896 A CN112367896 A CN 112367896A
Authority
CN
China
Prior art keywords
image
classification
unit
area
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980044607.0A
Other languages
English (en)
Inventor
加门骏平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112367896A publication Critical patent/CN112367896A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种观察者能够掌握在医用图像的自动分类中有助于分类的区域的医用图像处理装置、医用图像处理系统、医用图像处理方法及程序。具备：图像获取部(40)，其获取拍摄生物体而生成的拍摄图像(38)；分类部(48)，其将拍摄图像分类为两个以上的类别；图像生成部(50)，其生成使分类部的分类对象的拍摄图像中的、有助于使用了分类部的分类的区域的位置可视化的区域图像；以及显示信号发送部(44)，其将表示拍摄图像、使用分类部导出的分类结果及区域图像的显示信号向显示装置发送，显示信号发送部把将区域图像与拍摄图像分开显示的显示信号向显示装置发送。

Description

医用图像处理装置、医用图像处理系统、医用图像处理方法及 程序
技术领域
本发明涉及医用图像处理装置、医用图像处理系统、医用图像处理方法及程序，特别是涉及医用图像中的病变的自动分类。
背景技术
在医疗领域中，进行有使用了内窥镜系统等医疗设备(modality)的检查。近年来，已知有对使用内窥镜观测器(scope)拍摄的时间序列图像即内窥镜图像等医用图像进行分析、对内窥镜图像所含有的病变进行自动分类并提供分类结果的技术。此外，在本说明书中，图像的分类与图像的鉴别被视为相同的概念。
专利文献1记载有一种内窥镜图像处理系统，其辅助检测使用内窥镜拍摄的图像中的特征病变部位。该文献所记载的内窥镜图像处理系统在执行病变推定功能时，在显示于监视器的图像中将推定为病变部位的位置用虚线包围来进行显示。
专利文献2记载有一种图像处理系统，其对拍摄了血管的拍摄图像整体的浓淡进行纹理分析，并使用纹理分析的结果，进行与非肿瘤及腺瘤等病理诊断对应的分类。在该文献中，记载有显示分类的正解概率的例子。
专利文献3记载有一种内窥镜装置，其从使用内窥镜装置拍摄的体腔内的图像中去除不适合诊断的图像。
专利文献4记载有一种图像处理装置，其对使用医用观察装置按时间序列拍摄生物体内管腔得到的时间序列图像进行处理。该文献所记载的图像处理装置将构成时间序列图像的图像内的正常粘膜的区域判别为特定区域。另外，该文献所记载的图像处理装置计算特定区域的可靠度。
以往技术文献
专利文献
专利文献1：日本特许第5528255号公报
专利文献2：日本特开2017-70609号公报
专利文献3：日本特许第4615963号公报
专利文献4：日本特许第5576711号公报
发明内容
发明要解决的技术课题
当使用AI(Artificial Intelligence)对在使用了内窥镜装置的体腔内的检查中发现的病变的病种实施自动分类时，实施自动分类的AI以在检查中获取的图像作为输入而输出分类结果。
然而，在检查时获取的图像也包括在尽管存在病变但病变被某些物体隐藏时等病变的一部分未拍摄到的图像、虽拍摄到病变但是模糊的图像等不适合使用AI分类的图像。在这种情况下，存在AI输出不合适的分类结果的可能性。
专利文献1至专利文献4所记载的发明在对上述的不适合自动分类的图像进行分类时，有可能输出不合适的分类结果。另一方面，观察者难以判定分类结果是否合适。
本发明是鉴于这种情况而完成的，其目的在于提供一种观察者能够掌握在医用图像的自动分类中分类是否合适的医用图像处理装置、医用图像处理系统、医用图像处理方法及程序。
用于解决技术课题的手段
为了达到上述目的，提供如下发明方面。
第一方面所涉及的医用图像处理装置具备：图像获取部，其获取拍摄生物体而生成的拍摄图像；分类部，其将拍摄图像分类为两个以上的类别；图像生成部，其生成使分类部的分类对象的拍摄图像中的、有助于使用了分类部的分类的区域的位置可视化的区域图像；以及显示信号发送部，其将表示拍摄图像、使用分类部导出的分类结果及区域图像的显示信号向显示装置发送，显示信号发送部把将区域图像与拍摄图像分开显示的显示信号向显示装置发送。
根据第一方面，将拍摄图像分类为两个以上的类别，生成使在拍摄图像中有助于分类的区域可视化的区域图像，使用显示装置将区域图像与区域图像分开显示。由此，观察者能够掌握有助于分类的区域，可掌握分类是否合适。
拍摄图像可应用使用医疗机器拍摄的医用图像。医用图像是指拍摄使用内窥镜装置、CT装置、MRI装置及X射线摄像装置等医疗设备生成的生物体而得到的图像。
作为类别，可应用规定的医疗分类。
第二方面可以设为如下的结构：在第一方面的医用图像处理装置中，图像生成部根据拍摄图像的分类结果改变区域图像的可视化方式。
根据第二方面，易于识别分类的区别。
作为可视化方式的例子，可列举使用了颜色的可视化方式、及改变位置的可视化方式。也可以是并用这些方式的可视化方式。
第三方面可以是如下的结构：在第一方面或第二方面的医用图像处理装置中，分类部基于根据拍摄图像获取的特征量对拍摄图像进行分类，图像生成部基于特征量生成区域图像。
根据第三方面，可生成基于拍摄图像的特征量的区域图像。
在第三方面中，也可以将拍摄图像分割为多个区域，对每个区域计算特征量，并基于每个区域的特征特定拍摄图像中的有助于分类的区域。
第四方面可以设为如下的结构：在第一方面或第二方面的医用图像处理装置中，分类部应用已学习的深度学习器，图像生成部基于深度学习器中的中间层的信息生成区域图像。
根据第四方面，可生成基于已学习的深度学习器的中间层的信息的区域图像。
第五方面可以设为如下的结构：在第一方面至第四方面中任一方面的医用图像处理装置中，分类部针对在拍摄图像中设定的多个区域的每一个，计算对分类的归属程度，并基于归属程度进行拍摄图像的分类。
根据第五方面，可进行基于归属程度的分类。
作为归属程度的例子，可列举对类别的归属概率、及类别的得分。
第六方面可以设为如下的结构：在第五方面的医用图像处理装置中，图像生成部基于归属程度生成区域图像。
根据第六方面，可生成基于归属程度的区域图像。
第七方面可以设为如下的结构：在第一方面至第六方面中任一方面的医用图像处理装置中，分类部进行基于区域图像的分类的例外判定，显示信号发送部将表示使用了分类部的例外判定的结果的显示信号向显示装置发送。
根据第七方面，对于分类困难的拍摄图像，可抑制不合适的分类结果的输出。
显示信号发送部可将取代表示分类结果而表示例外判定的结果的显示信号向显示装置发送。显示信号发送部可将表示分类结果及例外判定的结果的显示信号向显示装置发送。
第八方面可以设为如下的结构：在第七方面的医用图像处理装置中，分类部基于区域图像，计算使用分类部导出的分类结果的可靠度，显示信号发送部将表示可靠度的显示信号向显示装置发送。
根据第八方面，可掌握分类的可靠度。
第九方面可以设为如下的结构：在第八方面的医用图像处理装置中，具备：存储指示获取部，其获取所述拍摄图像的存储指示；以及存储部，其存储所述拍摄图像，所述存储部在基于所述拍摄图像的存储指示向所述存储部存储所述拍摄图像时，将所述分类结果、所述例外判定的结果及所述分类结果的可靠度中的至少任一者与所述拍摄图像关联。
根据第九方面，可利用拍摄图像及与拍摄图像关联的信息。另外，可确认与拍摄图像关联的信息。
第十方面可以设为如下的结构：在第一方面至第九方面中任一方面的医用图像处理装置中，显示信号发送部将表示分类结果的文字信息的显示信号显示于显示装置。
根据第十方面，可基于文字信息掌握分类结果。
文字信息可以是任何种类的语言。文字信息可应用缩略语。
第十一方面所涉及的医用图像处理系统具备：图像获取部，其获取拍摄生物体而生成的拍摄图像；分类部，其将拍摄图像分类为两个以上的类别；图像生成部，其生成使分类部的分类对象的拍摄图像中的、有助于使用了分类部的分类的区域的位置可视化的区域图像；显示部，其显示拍摄图像及区域图像；以及显示信号发送部，其将表示拍摄图像及区域图像的显示信号向显示装置发送，显示信号发送部把将区域图像与拍摄图像分开显示的显示信号向显示部发送。
根据第十一方面，能够获得与第一方面同样的效果。
在第十一方面中，可适当组合与通过第二方面至第十方面特定的事项同样的事项。在该情况下，作为负责在医用图像处理装置中特定的处理或功能的构成要素，可理解为负责与此对应的处理或功能的医用图像处理系统的构成要素。
第十二方面所涉及的医用图像处理方法包括：图像获取工序，获取拍摄生物体而生成的拍摄图像；分类工序，将拍摄图像分类为两个以上的类别；图像生成工序，生成使分类工序的分类对象的拍摄图像中的、在分类工序中有助于分类的区域的位置可视化的区域图像；以及显示信号发送工序，将表示拍摄图像、在分类工序中导出的分类结果及区域图像的显示信号向显示装置发送，在显示信号发送工序中，把将区域图像与拍摄图像分开显示的显示信号向显示装置发送。
根据第十二方面，能够获得与第一方面同样的效果。
在第十二方面中，可适当组合与通过第二方面至第十方面特定的事项同样的事项。在该情况下，作为负责在医用图像处理装置中特定的处理或功能的构成要素，可理解为负责与此对应的处理或功能的医用图像处理方法的构成要素。
第十三方面所涉及的程序使计算机实现：图像获取功能，获取拍摄生物体而生成的拍摄图像；分类功能，将拍摄图像分类为两个以上的类别；图像生成功能，生成使分类功能的分类对象的拍摄图像中的、有助于使用分类功能分类的区域的位置可视化的区域图像；以及显示信号发送功能，将表示拍摄图像、使用分类功能导出的分类结果及区域图像的显示信号向显示装置发送，即，把将区域图像与拍摄图像分开显示的显示信号向显示装置发送。
根据第十三方面，可获得与第一方面同样的效果。
在第十三方面中，可适当组合与通过第二方面至第十方面特定的事项同样的事项。在该情况下，作为负责在医用图像处理装置中特定的处理或功能的构成要素，可理解为负责与此对应的处理或功能的程序的构成要素。
发明效果
根据本发明，将拍摄图像分类为两个以上的类别，生成使在拍摄图像中有助于分类的区域可视化的区域图像，使用显示装置将区域图像与区域图像分开显示。由此，观察者能够掌握有助于分类的区域，可掌握分类是否合适。
附图说明
图1是包括实施方式所涉及的医用图像处理装置的内窥镜系统的整体结构图。
图2是表示医用图像处理装置的硬件结构的框图。
图3是第一实施方式所涉及的医用图像处理装置的功能框图。
图4是应用于第一实施方式的显示画面的说明图。
图5是比较例所涉及的显示画面的说明图。
图6是分类结果的可靠性较低时的显示画面的说明图。
图7是表示分类结果的可靠性较低时的另一例的显示画面的说明图。
图8是存在多个病变时的显示画面的说明图。
图9是分类结果的显示例的说明图。
图10是作为分类结果显示归属概率的例子的说明图。
图11是作为分类结果显示得分的例子的说明图。
图12是表示医用图像处理方法的顺序的流程图。
图13是区域图像的变形例所涉及的显示画面的说明图。
图14是分类结果的第一变形例所涉及的显示画面的说明图。
图15是分类结果的第二变形例所涉及的显示画面的说明图。
图16是应用与贡献度对应的浓淡的区域图像的说明图。
图17是应用与贡献度对应的热图的区域图像的说明图。
图18是表示应用了卷积神经网络的分类部的结构例的框图。
图19是卷积神经网络的特征量的形状变迁的概念图。
图20是基于卷积神经网络的中间层的信息的可视化的概念图。
图21是分割(segmentation)技术的说明图。
图22是表示无法检测的显示画面的说明图。
图23是表示无法判定的显示画面的说明图。
图24是第三实施方式所涉及的医用图像处理装置的功能框图。
具体实施方式
以下，按照附图对本发明的优选实施方式进行详细说明。在本说明书中，对相同的构成要素标注相同的参照符号，并适当省略重复说明。
[内窥镜系统的整体结构]
图1是包括实施方式所涉及的医用图像处理装置的内窥镜系统的整体结构图。图1所示的内窥镜系统9具备内窥镜10、光源装置11、处理器装置12、显示装置13、医用图像处理装置14、输入装置15及监视器装置16。
内窥镜10是电子内窥镜。另外，内窥镜10是软性内窥镜。内窥镜10具备插入部20、操作部21及通用塞绳22。插入部20插入受检体内。插入部20整体细径且形成为长条状。
插入部20具备软性部25、弯曲部26及顶端部27。插入部20连接设置软性部25、弯曲部26及顶端部27而构成。软性部25从插入部20的基端侧朝向顶端侧依次具有挠性。弯曲部26具有在操作部21被操作时可弯曲的结构。顶端部27内置有未图示的摄像光学系统及摄像元件28等。
摄像元件28适用CMOS型摄像元件或CCD型摄像元件。CMOS是Complementary MetalOxide Semiconductor的缩略语。CCD是Charge Coupled Device的缩略语。
顶端部27的顶端面27a配置有未图示的观察窗。观察窗是形成于顶端部27的顶端面27a的开口。观察窗安装有未图示的罩体。在观察窗的后方配置有未图示的摄像光学系统。摄像元件28的摄像面经由观察窗及摄像光学系统等入射有被观察部位的图像光。摄像元件28拍摄入射到摄像元件28的摄像面的被观察部位的图像光，并输出摄像信号。在此所说的摄像包括将来自被观察部位的反射光转换为电信号这样的意思。
操作部21与插入部20的基端侧连接设置。操作部21具备施术者操作的各种操作部件。具体而言，操作部21具备两种弯曲操作旋钮29。弯曲操作旋钮29在弯曲部26的弯曲操作时使用。此外，施术者可被称作医师、操作者、观察者及用户等。
操作部21具备送气送水按钮30及吸引按钮31。送气送水按钮30在施术者进行送气送水操作时使用。吸引按钮31在施术者进行吸引操作时使用。
操作部21具备静止图像拍摄指示部32及处置器具导入口33。静止图像拍摄指示部32在拍摄被观察部位的静止图像时由施术者操作。处置器具导入口33是向插通插入部20的内部的处置器具贯穿通路的内部插入处置器具的开口。此外，处置器具贯穿通路及处置器具省略图示。对静止图像标注符号39并图示于图3。
通用塞绳22是将内窥镜10连接于光源装置11的连接塞绳。通用塞绳22内包有插通插入部20的内部的光导35、信号电缆36及未图示的流体管。
另外，通用塞绳22的顶端部具备与光源装置11连接的连接器37a、及从连接器37a分支并与处理器装置12连接的连接器37b。
如将连接器37a连接于光源装置11，则光导35及未图示的流体管向光源装置11插入。由此，经由光导35及未图示的流体管，从光源装置11向内窥镜10供给必要的照明光、水及气体。
其结果，从顶端部27的顶端面27a的未图示的照明窗向被观察部位照射照明光。另外，响应于送气送水按钮30的按下操作，从顶端部27的顶端面27a的未图示的送气送水喷嘴向顶端面27a的未图示的观察窗喷射气体或水。
若将连接器37b连接于处理器装置12，则信号电缆36与处理器装置12电连接。由此，经由信号电缆36，从内窥镜10的摄像元件28向处理器装置12输出被观察部位的摄像信号，并且从处理器装置12向内窥镜10输出控制信号。
在本实施方式中，作为内窥镜10列举软性内窥镜为例进行了说明，但作为内窥镜10，也可以使用硬性内窥镜等可拍摄被观察部位的动态画面的各种电子内窥镜。
光源装置11经由连接器37a向内窥镜10的光导35供给照明光。照明光可应用白色光或特定波长频带的光。照明光也可以组合白色光及特定波长频带的光。光源装置11构成为可适当选择对应于观察目的的波长频带的光作为照明光。
白色光可以是白色的波长频带的光或多个波长频带的光中的任一种。特定波长频带是比白色的波长频带窄的频带。特定波长频带的光可以应用一种波长频带的光，也可以应用多个波长频带的光。特定波长频带有时也被称作特殊光。
处理器装置12经由连接器37b及信号电缆36控制内窥镜10的动作。另外，处理器装置12经由连接器37b及信号电缆36，从内窥镜10的摄像元件28获取摄像信号。处理器装置12应用规定的帧率获取从内窥镜10输出的摄像信号。
处理器装置12基于从内窥镜10获取的摄像信号，生成被观察部位的观察图像即内窥镜图像。在此所说的内窥镜图像38包含动态图像。内窥镜图像38也可以包含静止图像39。此外，对动态图像标注符号38a并图示于图3。实施方式所示的内窥镜图像38是拍摄图像的一例。
在操作了操作部21的静止图像拍摄指示部32的情况下，处理器装置12在生成动态图像的同时，基于从摄像元件28获取的摄像信号生成被观察部位的静止图像39。静止图像39可以针对动态图像的分辨率以高分辨率生成。
在生成内窥镜图像38时，处理器装置12进行白平衡调整及阴影校正等应用了数字信号处理的画质的校正。处理器装置12可以将由DICOM规格规定的附带信息附加于内窥镜图像38。此外，DICOM是Digital Imaging and Communications in Medicine的缩略语。
内窥镜图像38是拍摄受检体内、即生物体内的生物体内图像。当内窥镜图像38为使用特定波长频带的光拍摄得到的图像时，两者为特殊光图像。然后，处理器装置12将生成的内窥镜图像38分别输入到显示装置13和医用图像处理装置14。处理器装置12也可以按照以DICOM规格为依据的通信协议，经由未图示的网络将内窥镜图像38输出到未图示的存储装置。此外，网络可应用图2所图示的网络140。
显示装置13连接于处理器装置12。显示装置13显示从处理器装置12发送来的内窥镜图像38。施术者可在确认显示于显示装置13的内窥镜图像38的同时，进行插入部20的进退操作等。当在被观察部位检测到病变等时，施术者可操作静止图像拍摄指示部32来拍摄被观察部位的静止画面。
医用图像处理装置14可使用计算机。输入装置15可使用能够与计算机连接的键盘及鼠标等。输入装置15与计算机的连接可以是有线连接或无线连接中的任一种。监视器装置16可使用能够与计算机连接的各种监视器。
作为医用图像处理装置14，可以使用工作站及服务器装置等诊断支援装置。在该情况下，输入装置15及监视器装置16设置在分别与工作站等连接的多个终端的每一个中。而且，作为医用图像处理装置14，也可以使用进行医疗报告等的制作支援的诊疗业务支援装置。
医用图像处理装置14进行内窥镜图像38的获取及内窥镜图像38的存储。医用图像处理装置14进行监视器装置16的再现控制。此外，说明书中的图像这一用语包含表示图像的电信号、及表示图像的信息等图像数据这样的意思。本说明书中的图像这一用语是指图像本身、及图像数据中的至少任一者。
另外，图像的存储这一用语可替读为图像的保存。在此所说的图像的存储是指图像的非暂时性存储。医用图像处理装置14也可以具备暂时存储图像的暂时存储用存储器。
输入装置15用于对医用图像处理装置14输入操作指示。监视器装置16在医用图像处理装置14的控制下进行内窥镜图像38的显示。监视器装置16也可以作为医用图像处理装置14中的各种信息的显示部发挥功能。
医用图像处理装置14可经由图1中未图示的网络与未图示的存储装置连接。图像的存储格式、及经由网络的各装置间的通信可应用DICOM规格、及以DICOM规格为依据的协议等。
未图示的存储装置可应用非暂时性存储数据的存储器等。也可以使用未图示的服务器装置来管理存储装置。服务器装置可应用存储并管理各种数据的计算机。
包括实施方式所示的医用图像处理装置14、及监视器装置16的结构是医用图像处理系统的一例。
[第一实施方式所涉及的医用图像处理装置的说明]
〔医用图像处理装置的硬件结构〕
图2是表示医用图像处理装置的硬件结构的框图。图2所示的医用图像处理装置14具备控制部120、存储器122、存储装置124、网络控制器126、电源装置128、显示器控制器130、输入输出接口132及输入控制器134。此外，图2所示的I/O表示输入输出接口。
控制部120、存储器122、存储装置124、网络控制器126、显示器控制器130及输入输出接口132经由总线136以可进行数据通信的方式连接。
<控制部>
控制部120作为医用图像处理装置14的整体控制部、各种运算部及存储控制部发挥功能。控制部120执行存储在存储器122所具备的ROM(read only memory)中的程序。
控制部120可以经由网络控制器126，从未图示的外部的存储装置下载程序，并执行下载的程序。外部的存储装置可以经由网络140与医用图像处理装置14以可通信的方式连接。
控制部120将存储器122所具备的RAM(random access memory)作为运算区域，与各种程序协作执行各种处理。由此，可实现医用图像处理装置14的各种功能。
控制部120控制从存储装置124读出数据、及向存储装置124写入数据。控制部120可以经由网络控制器126，从外部的存储装置获取各种数据。控制部120可使用获取的各种数据来执行运算等各种处理。
控制部120可以包括一个或两个以上的处理器(processor)。作为处理器的一例，可列举FPGA(Field Programmable Gate Array)及PLD(Programmable Logic Device)等。FPGA及PLD是在制造后可改变电路结构的设备。
作为处理器的另一例，可列举ASIC(Application Specific IntegratedCircuit)。ASIC具备为了执行特定的处理而专门设计的电路结构。
控制部120可应用相同种类的两个以上的处理器。例如，控制部120可以使用两个以上的FPGA，也可以使用两个PLD。控制部120也可以应用不同种类的两个以上的处理器。例如，控制部120可以应用一个以上的FPGA和一个以上的ASIC。
在具备多个控制部120时，多个控制部120可以使用一个处理器而构成。作为用一个处理器构成多个控制部120的一例，有使用一个以上的CPU(Central Processing Unit)与软件的组合来构成一个处理器、且该处理器作为多个控制部120发挥功能的方式。此外，本说明书中的软件与程序的含义相同。
作为用一个处理器构成多个控制部120的另一例，可列举使用用一个IC芯片实现包括多个控制部120的系统整体的功能的处理器的方式。作为用一个IC芯片实现包括多个控制部120的系统整体的功能的处理器的代表例，可列举SoC(System On Chip)。此外，IC是Integrated Circuit的缩略语。
这样，控制部120使用一个以上的各种处理器作为硬件结构来构成。
<存储器>
存储器122具备未图示的ROM及未图示的RAM。ROM存储在医用图像处理装置14中执行的各种程序。ROM存储用于执行各种程序的参数及文件等。RAM作为数据的暂时存储区域及控制部120的工作区域等发挥功能。
<存储装置>
存储装置124非暂时性存储各种数据。存储装置124可以安装于医用图像处理装置14的外部。也可以取代存储装置124或者与其一并应用大容量的半导体存储器装置。
<网络控制器>
网络控制器126控制与外部装置之间的数据通信。数据通信的控制可以包括数据通信的流量的管理。经由网络控制器126连接的网络140可应用LAN等公知的网络。
<电源装置>
电源装置128可应用UPS(Uninterruptible Power Supply)等大容量型的电源装置。电源装置128在由于停电等而切断了商用电源时，向医用图像处理装置14的各部供给电源。
<显示器控制器>
显示器控制器130作为基于从控制部120发送的指令信号控制监视器装置16的显示器驱动器发挥功能。
<输入输出接口>
输入输出接口132以可与医用图像处理装置14和外部机器通信的方式连接。输入输出接口132可应用USB(Universal Serial Bus)等通信规格。
<输入控制器>
输入控制器134将使用输入装置15输入的信号的形式转换为适合医用图像处理装置14的处理的形式。经由输入控制器134从输入装置15输入的信息经由控制部120向各部发送。
此外，图2所示的医用图像处理装置14的硬件结构只是一例，可以适当地进行追加、删除及变更。此外，图2所示的医用图像处理装置14的硬件结构也可应用于第一实施方式的其他实施方式。
〔医用图像处理装置的功能块的说明〕
图3是第一实施方式所涉及的医用图像处理装置的功能框图。医用图像处理装置14具备图像获取部40、图像处理部42、显示控制部44及存储部46。图像获取部40从处理器装置12获取内窥镜图像38。图像获取部40将内窥镜图像38存储于内窥镜图像存储部46a。
图像获取部40可以经由存储卡等信息存储介质，从处理器装置12获取内窥镜图像38。图像获取部40可以经由图2所示的网络140获取内窥镜图像38。
即，图像获取部40可获取由时间序列的帧图像38b构成的动态图像38a。当在动态图像38a的拍摄中途实施了静止画面拍摄时，图像获取部40可获取静止图像39。
图像处理部42具备分类部48、区域图像生成部50。分类部48从内窥镜图像38中进行病变的自动分类。本说明书中的分类这一用语可替读为鉴别。
即，分类部48可将内窥镜图像38分类为规定的类别，并导出分类结果。分类部48在自动分类内窥镜图像38时，对构成动态图像38a的帧图像38b赋予类别的信息。分类部48可以对所有的帧图像38b赋予类别的信息，也可以对每几帧的帧图像38b赋予类别的信息。分类部48也可以对静止图像39赋予类别的信息。此外，类别及类别的信息可替读为分类结果。
分类部48将分类结果与帧图像38b关联并存储于分类存储部46b。下述表1中示出适用于分类部48的类别的例子。
[表1]
Figure BDA0002873681310000131
此外，上述表1所记载的NICE是NBI International Colorectal EndoscopicClassification的缩略语。NBI是Narrow Band Imaging的缩略语。JNET是The Japan NBIExpert Team的缩略语。
区域图像生成部50在内窥镜图像38中生成表示有助于分类的区域的区域图像。区域图像生成部50将区域图像存储于区域图像存储部46c。区域图像使用符号208图示于图4。
显示控制部44将使内窥镜图像38、及使用区域图像生成部50生成的区域图像显示于监视器装置16的显示控制信号向监视器装置16发送。显示控制部44将使表示使用分类部48导出的内窥镜图像38的分类结果的文字信息显示于监视器装置16的显示控制信号向监视器装置16发送。实施方式所示的显示控制部44是显示信号发送部的一例。
监视器装置16将内窥镜图像38、区域图像、及表示分类结果的文字信息显示于同一画面。监视器装置16将内窥镜图像38和区域图像显示于画面中的不同区域。表示分类结果的文字信息使用符号212图示于图4。后面说明使用监视器装置16显示的画面的详细内容。
存储部46具备内窥镜图像存储部46a、分类存储部46b及区域图像存储部46c。内窥镜图像存储部46a存储使用图像获取部40获取的内窥镜图像38。
图像处理部42读出存储于内窥镜图像存储部46a的内窥镜图像38，并实施内窥镜图像38的图像处理。显示控制部44读出存储于内窥镜图像存储部46a的内窥镜图像38，并使内窥镜图像38显示于监视器装置16。
分类存储部46b将使用分类部48分类的内窥镜图像38的类别与内窥镜图像38关联存储。具体而言，分类存储部46b将构成动态图像38a的帧图像38b的类别与帧图像38b关联存储。显示控制部44从分类存储部46b读出分类结果，并使表示分类结果的文字信息等显示于监视器装置16。
区域图像存储部46c存储使用区域图像生成部50生成的区域图像。显示控制部44从区域图像存储部46c读出区域图像，并使区域图像显示于监视器装置16。
图3所示的存储部46可应用一个以上的存储元件。即，存储部46可具备分别与内窥镜图像存储部46a、分类存储部46b及区域图像存储部46c对应的三个存储元件。另外，内窥镜图像存储部46a、分类存储部46b及区域图像存储部46c可分别应用多个存储元件。而且，可使用一个存储元件来构成内窥镜图像存储部46a、分类存储部46b及区域图像存储部46c中的二个或全部。
〔显示于监视器装置的显示画面的说明〕
<区域图像的说明>
图4是应用于第一实施方式的显示画面的说明图。图4所示的显示画面200包括内窥镜图像显示区域202、区域图像显示区域204及分类结果显示区域206。
内窥镜图像显示区域202是显示内窥镜图像38的区域。内窥镜图像显示区域202可显示静止图像39。内窥镜图像显示区域202可切换显示内窥镜图像38和静止图像39。符号209表示有助于内窥镜图像38的分类的区域即分类贡献区域209。在图4中，示意性示出分类贡献区域209。
区域图像显示区域204显示区域图像208。区域图像208高光显示分类贡献对应区域210。分类贡献对应区域210是与分类贡献区域209对应的、区域图像208中的区域。
分类结果显示区域206显示表示分类结果的文字信息212。在图4中，示出了将肿瘤的英语表述即neoplastic作为文字信息212显示于分类结果显示区域206的例子。此外，文字信息212可以是任何种类的语言。即，文字信息212可应用日语表述、或除英语以外的外语表述。另外，文字信息212可应用缩略语。
图5是比较例所涉及的显示画面的说明图。比较画面220是显示自动分类的结果的画面，是从内窥镜图像38中发现肿瘤222、并将内窥镜图像38分类为肿瘤的例子。比较画面220显示内窥镜图像38、及表示分类结果的文字信息212。此外，在图5中示意性图示了肿瘤222。
图5所示的比较画面220显示了表示分类结果的文字信息212，但在内窥镜图像38分类困难的情况下，可能有时会出现错误的分类结果。另一方面，图4所示的显示画面200显示与内窥镜图像38对应的区域图像208，且在区域图像208中显示分类贡献对应区域210。由此，观察者可凭视觉掌握分类部48基于内窥镜图像38的哪一区域进行分类。另外，区域图像208可成为分类结果的可靠性的指标。
图6是分类结果的可靠性较低时的显示画面的说明图。图6所示的显示画面200a是分类结果错误的情况，表示基于内窥镜图像38的与肿瘤222不同的区域进行了分类时的例子。
图6所示的区域图像208a显示与应设为分类贡献对应区域210a的区域不同的区域230作为分类贡献对应区域。
图7是表示分类结果的可靠性较低时的另一例的显示画面的说明图。图7所示的显示画面200b是无法发现内窥镜图像38的肿瘤222时的例子。
图7所示的区域图像208b未显示应设为分类贡献对应区域的区域210b。可认为在显示图7所示的显示画面200b时，由于肿瘤222模糊、及肿瘤222的尺寸较小等原因，分类部48无法发现分类对象。
在该情况下，操作者操作图1所示的内窥镜10，通过对准焦点或者放大显示病变及病变的周围，从而分类部48可进行正确的分类。即，在将区域图像208与内窥镜图像38一并显示的情况下，可向操作者启示用于使正确的分类结果显示于分类部48的操作。
在本实施方式中，示出了在显示于一个监视器装置16的显示画面200中显示内窥镜图像显示区域202及区域图像显示区域204的例子，但也可以在两个监视器装置中的一个上显示包括内窥镜图像显示区域202的显示画面200，在另一个上显示包括区域图像显示区域204的显示画面200。
另外，也可以在显示于一个监视器装置16的一个显示画面200中，按时间分割切换显示内窥镜图像显示区域202和区域图像显示区域204。而且，也可以使区域图像显示区域204重叠显示在内窥镜图像显示区域202中。例如，可在图7所示的内窥镜图像显示区域202的左下角等、在内窥镜图像显示区域202中不会阻碍观察内窥镜图像38的位置重叠显示区域图像显示区域204。
由于观察者在进行精细操作的同时进行内窥镜图像的观察，因此倾向于讨厌视点移动。在使区域图像显示区域204重叠显示于内窥镜图像显示区域202时，显示画面200b中的内窥镜图像显示区域202与区域图像显示区域204配置在更近的位置。由此，起到观察者的视点移动变少这样的效果。
图8是存在多个病变时的显示画面的说明图。图8所示的显示画面200d对应于内窥镜图像38中存在的多个病变，提取第一分类贡献区域209a及第二分类贡献区域209b。
在区域图像208g中，显示与第一分类贡献区域209a对应的第一分类贡献对应区域210g、及与第二分类贡献区域209b对应的第二分类贡献对应区域210h。第一分类贡献对应区域210g及第二分类贡献对应区域210h应用可区别彼此的显示方式。
另外，显示画面200d的分类结果显示区域206a显示与第一分类贡献对应区域210g对应的表示第一分类结果的第一文字信息212e、及与第二分类贡献对应区域210h对应的表示第二分类结果的第二文字信息212f。
当存在诸如非肿瘤性病变和肿瘤性病变的不同分类的病变时，在从内窥镜图像38输出一个分类结果的系统中，难以返回适当的分类结果。另一方面，在本实施方式所涉及的医用图像处理装置14中，如图8所示，在区域图像208g中使用每个分类的显示方式，使第一分类贡献区域209a及第二分类贡献区域209b可视化。由此，即使在内窥镜图像38中存在多个病变、且多个病变的分类不同时，也可获得适当的分类结果。
<分类结果显示的说明>
图9是分类结果的显示例的说明图。在图9中，示出显示特定的类别作为分类结果的例子。图9所示的文字信息212a表示分类结果为NICE1。
图10是显示归属概率作为分类结果的例子的说明图。在图10中，示出显示各类别的归属概率作为分类结果的例子。图10所示的文字信息212b表示NICE1的归属概率为98％、NICE2的归属概率为2％、及NICE3的归属概率为0％。
图10所示的文字信息212b也可以仅是表示NICEl的归属概率为98％的文字。图10所示的文字信息212b也可以是表示NICEl的归属概率为98％、及NICE2的归属概率为2％的文字。
图11是显示得分作为分类结果的例子的说明图。在图11中，示出显示各类别的得分作为分类结果的例子。图11所示的文字信息212c表示NICEl的得分为1.23、NICE2的得分为0.002、及NICE3的得分为0.05。图10所示的归属概率、及图11所示的得分是类别的归属程度的一例。
〔医用图像处理方法的顺序〕
图12是表示医用图像处理方法的顺序的流程图。在内窥镜图像获取工序S10中，图3所示的图像获取部40获取内窥镜图像38。在内窥镜图像存储工序S12中，图像获取部40将在内窥镜图像获取工序S10中获取的内窥镜图像38存储于内窥镜图像存储部46a。
在分类工序S14中，分类部48将内窥镜图像38分类为规定的类别。在分类结果存储工序S16中，分类部48将在分类工序S14中导出的分类结果存储于分类存储部46b。
在区域图像生成工序S18中，区域图像生成部50基于分类结果生成图4所示的区域图像208等区域图像。在区域图像存储工序S20中，区域图像生成部50将在区域图像生成工序S18中生成的区域图像存储于区域图像存储部46c。
在显示信号发送工序S22中，显示控制部44向监视器装置16生成显示信号。从显示控制部44向监视器装置16发送的显示信号包括表示内窥镜图像38、及区域图像208的显示信号。从显示控制部44向监视器装置16发送的显示信号也可以包括表示分类结果的显示信号。
〔显示画面的变形例〕
<区域图像的变形例>
图13是区域图像的变形例所涉及的显示画面的说明图。图13所示的显示画面200c在区域图像208c的背景中合成缩小了内窥镜图像38后的图像。即，区域图像208c使分类贡献对应区域210重叠显示在缩小的内窥镜图像38中。可以将缩小了内窥镜图像38后的图像的分辨率设为低于内窥镜图像38的分辨率。
<分类结果的变形例>
图14是分类结果的第一变形例所涉及的显示画面的说明图。图14所示的区域图像208d重叠显示表示分类结果的文字信息212d。在区域图像208d中，可以应用将文字信息212d的颜色改为分类贡献对应区域210的颜色等的、文字信息212d的强调。
图15是分类结果的第二变形例所涉及的显示画面的说明图。图15所示的显示画面200e对内窥镜图像38的框201及区域图像208h的框207赋予与分类结果相应的颜色。此外，也可以仅对框201赋予颜色，亦可以仅对框207赋予颜色。即，显示画面200e对内窥镜图像38的框201及区域图像208h的框207中的至少任一者赋予与分类结果相应的颜色。
由于观察者在进行精细操作的同时进行内窥镜图像的观察，因此担心观察者的视点移动及观察者对文字信息的视觉识别等会对观察者的操作带来不良影响。另一方面，观看图15所示的显示画面200e的操作者可几乎不移动视点地掌握分类结果。
医用图像处理装置14不仅根据分类结果对框201等赋予颜色，也可以是在分类结果为肿瘤时等特定的分类时对框201等赋予颜色、在为其他分类时不对框201等赋予颜色的方式。另外，医用图像处理装置14可以在后述的例外判定时对框201等赋予颜色，也可以在根据可靠度改变显示时根据可靠度改变颜色。
此外，在改变颜色的方式中，可包括在同一色彩中改变浓淡的方式。例如，可在分类为肿瘤时设为深红，在分类为非肿瘤时设为浅红。颜色的赋予并不限定于框201等。也可以对框201及框207以外的区域赋予颜色。而且，与文字信息相比，只要是容易抑制操作者的视点移动及掌握操作者的分类结果的方式，就可应用记号等除颜色以外的显示方式。
<其他变形例>
区域图像也可以根据分类结果改变显示方式。例如，在将内窥镜图像38分类为肿瘤或非肿瘤两个类别时，可以改变肿瘤时的颜色和非肿瘤时的颜色。在该例子中，可在分类为肿瘤时设为红色，在分类为非肿瘤时设为蓝色。
另外，也可以以可显示多个区域图像显示区域204的方式构成显示画面，并根据分类结果改变区域图像208的位置。例如，在可上下显示两个区域图像显示区域204的显示画面中，可在分类为肿瘤时设为上方的区域图像显示区域204，在分类为非肿瘤时设为下方的区域图像显示区域204。根据以上说明的显示画面的变形例，可辅助操作者的视觉识别性。根据实施方式所示的分类结果显示方式是可视化方式的一例。
<与分类的贡献度相应的区域图像的显示例>
图16是应用与贡献度相应的浓淡的区域图像的说明图。图16所示的显示画面200e在区域图像208e的分类贡献对应区域210e中应用与贡献度相应的浓淡。
图16所示的分类贡献对应区域210e的中央附近211a变浓，周围211b变淡。这表示中央附近211a的贡献度高，周围211b的贡献度低。此外，贡献度的分类可以设为三个层次以上。
图17是应用与贡献度相应的热图的区域图像的说明图。图17所示的200f在区域图像208f的分类贡献对应区域210f中应用与贡献度相应的热图。
图17所示的分类贡献对应区域210f在中央附近211a应用红色，在周围211b应用蓝色。中央附近211a与周围211b之间的中间区域211c应用从红色向蓝色变化的中间色。作为中间色，可列举橙色、黄色及绿色等。
图17所示的分类贡献对应区域210f表示中央附近211a的贡献度高，随着从中央附近211a朝向周围211b去，贡献度降低，周围211b的贡献度最低。此外，在此所说明的变形例也可以适当组合两个以上。
〔分类、及有助于分类的区域的可视化的详细说明〕
接下来，对内窥镜图像38的分类、及有助于分类的区域的可视化的具体例进行说明。
<模式1>
作为模式1，示出根据内窥镜图像38计算特征量、基于特征量进行分类、并进行有助于分类的区域的可视化的例子。基于特征量的分类可应用SVM(support vectormachine)等方法。例如，从内窥镜图像38中提取血管区域，计算所提取的血管区域的特征量。
作为其他方法，可列举进行内窥镜图像38的纹理分析并使用分析结果计算特征量的方法、及SIFT(scale-invariant feature transform)等计算局部特征量的方法等。
按照将对象图像分割为多个区域时的区域单位对使用上述方法计算出的特征量进行分析。由此，可计算区域单位的类别归属概率。可进行基于区域单位的类别归属概率的每个区域的可视化处理。实施方式所示的多个区域是在区域图像中设定的多个区域的一例。
<模式2>
作为模式2。示出对卷积神经网络的中间层的信息进行分析并将内窥镜图像38分类、并使有助于分类的区域可视化的例子。该方法可对分类和可视化同时进行处理。
图18是表示应用了卷积神经网络的分类部的结构例的框图。以下，有时将卷积神经网络简记作CNN(Convolutional Neural Network)。实施方式所示的应用了卷积神经网络的分类部是深度学习器的一例。
图18所示的分类部300是图3所示的分类部48的一例。分类部300具备CNN302、误差计算部304及参数更新部306。
CNN302对拍摄于内窥镜图像38的病变的种类进行图像识别。CNN302具有多个层结构，保持多个权重参数。CNN302的权重参数从初始值更新为最佳值，从而未学习模型可变为已学习模型。
CNN302具备输入层310、中间层312及输出层314。中间层312具有由卷积层320及池化层322构成的多个组。另外，中间层312具备全连接层324。各层成为多个节点通过边缘连接的结构。
在输入层310中，输入作为学习对象的内窥镜图像38。中间层312从自输入层310输入的内窥镜图像38中提取特征。卷积层320对在前一层中位于附近的节点实施过滤处理并获取特征图。此外，过滤处理与使用了过滤器的卷积运算含义相同。
池化层322将从卷积层320输出的特征图缩小而生成新的特征图。卷积层320起到从内窥镜图像38进行边缘提取等特征提取的作用。
池化层322起到提供鲁棒性(robust)的作用，使得所提取的特征不会受到平行移动等带来的影响。此外，中间层312并不限于将卷积层320及池化层322设为一组的情况，也可存在卷积层320连续的情况、及包括未图示的归一化层的结构。
输出层314基于应用中间层312而提取到的特征，对拍摄于内窥镜图像38的病变的种类进行分类。在已学习CNN302中，例如，可将医用图像分类为肿瘤或非肿瘤两个类别。识别结果可设为与肿瘤或非肿瘤对应的两种得分。
应用于学习前的CNN302中的卷积层320的过滤器系数、偏移值、及与全连接层324中的下一层的连接权重被设置为任意的初始值。
误差计算部304获取从CNN302的输出层314输出的识别结果、及对内窥镜图像38的正解数据370，并计算两者间的误差。作为误差的计算方法的一例，可列举柔性最大值(softmax)交叉熵(Cross Entropy)及S型(Sigmoid)等。
参数更新部306基于应用误差计算部304而计算出的误差，应用误差反向传播法调整CNN302的权重参数。参数更新部306重复进行参数的调整处理，并进行重复学习直至CNN302的输出与正解数据370之差变小。
分类部300使用存储于未图示的数据库中的内窥镜图像38的数据集，进行优化CNN302的各参数的学习，从而生成已学习模型。
图19是卷积神经网络的特征量的形状变迁的概念图。符号330表示示意性信息。Input data表示输入层310的信息330a。从Conv.1到Conv.5表示中间层312。从FC6到FC8表示全连接层324。在图19中，输入层310的信息330a的信息量及中间层312的信息330b的信息量使用宽度×高度×信道数来表示。
卷积神经网络在汇集输入图像的空间信息的同时进行最终输出。如图19所示，卷积神经网络随着从输入层310向中间层312前进，汇集具有宽度及高度的空间信息，在全连接层324的信息330c以后，丢失空间信息。
即，通过对中间层312的信息330b进行分析，可提取保持空间信息的特征。但是，通常，中间层312的信息330b的信道数比输入层310的信息330a的信道数多。
在图19所示的例子中，相对于在输入层310中信息330a的信道数为3，在中间层312的Conv4中，信息330b的信道数增加到384。因此，如何汇集信道方向的信息以使分类贡献区域可视化成为问题。以下，示出汇集信道方向的信息而使分类贡献区域可视化的例子。
《第一例》
通常，对最终输出贡献大的信道有绝对值大的倾向。因此，比较中间层312的各信道中的信息的绝对值，提取绝对值更大的信道。使提取的信道可视化。由此，可使对最终输出的贡献更大的区域可视化。
在提取信道时，可以提取多个信道。作为提取多个信道时的一例，可列举按照绝对值从大到小的顺序提取规定数的信道的例子。在提取多个信道时，也可以使多个信道平均化。
《第二例》
也可以在中间层312的信道方向上进行主成分分析，并提取主成分来使提取的主成分可视化。例如，可通过将信道的维度削减至一维，来使提取的主成分可视化。第二例由于所有信道的信息被可视化，因此可进行比第一例准确的可视化。
《第三例》
最终输出结果成为分类的各类别标签的得分。对分类的各类别标签的得分的贡献度可使用微分来导出。例如，可应用Grad-CAM(Gradient-weighted Class ActivationMapping)来导出对分类的各类别标签的得分的贡献度。
将任意类别c的得分设为yc。将任意中间层的第k个信道的特征图设为Ak。将特征图Ak的坐标(i，j)的值设为Ak ij。可通过下式获得使类别c的贡献度可视化后的图LC Grad-CAM。
[数学式1]
Figure BDA0002873681310000231
Figure BDA0002873681310000232
Figure BDA0002873681310000233
ReLU(x)＝max{x，0}
图LC Grad-CAM表示汇集了信道方向的信息的、使分类贡献区域可视化的区域图像。
图20是基于卷积神经网络的中间层的信息的可视化的概念图。图20所示的例子表示将包含两种动物的处理对象图像380分类为一只动物381a或另一只动物381b、并使成为分类依据的区域可视化的例子。
第一已分类图像382表示分类为一只动物381a、且成为分类依据的区域384被可视化的例子。第二已分类图像386表示分类为另一只动物381b、且成为分类依据的区域388被可视化的例子。
在将模式2应用于内窥镜图像38的分类时，只要将处理对象图像380作为内窥镜图像38、将两种动物设为两种类别即可。两种动物可以作为两种特征区域。
<模式3>
作为模式3，示出应用分割技术进行区域的可视化的例子。图21是分割技术的说明图。在图21中，示出将包含人物391a及动物391b的分类对象图像390分类为人物区域394、动物区域396及背景区域398的例子。符号392表示已分类图像。
在分割技术中，可得到每个区域的类别归属概率。可进行基于归属概率的各区域的可视化。另外，可基于应用分割技术得到的区域，进行分类对象图像390的分类。例如，也可以将应用于分类的类别中的、占分类对象图像390的面积最大的类别作为分类结果。
[第一实施方式的作用效果]
根据第一实施方式所涉及的医用图像处理装置，可获得以下作用效果。
〔1〕
在显示于监视器装置16的显示画面200中，在内窥镜图像显示区域202中显示内窥镜图像38。在显示画面200的不同于内窥镜图像显示区域202的区域图像显示区域204中显示区域图像208。区域图像208包括与有助于内窥镜图像38的分类的分类贡献区域209对应的分类贡献对应区域210。由此，观察者可凭视觉掌握分类部48基于内窥镜图像38的哪个区域进行分类。另外，区域图像208可成为分类结果的可靠性的指标。
〔2〕
使分类结果显示于监视器装置16。由此，观察者可视觉识别内窥镜图像38的分类结果。
〔3〕
作为分类结果，导出各类别的归属程度。使各类别的归属程度显示于监视器装置16。归属程度可应用各类别的归属概率、各类别的得分。由此，观察者可视觉识别各类别的归属程度。
〔4〕
可根据分类结果来改变区域图像208的显示方式。由此，可提高分类结果的视觉识别性。
[第二实施方式所涉及的医用图像处理装置的说明]
接下来，对第二实施方式所涉及的医用图像处理装置进行说明。第二实施方式所涉及的医用图像处理装置在内窥镜图像38的分类中追加了例外判定。即，在使用第一实施方式所示的模式1、模式2及模式3使内窥镜图像38的病变区域可视化的基础上，对区域图像进行分析来实施例外判定。
例如，当从内窥镜图像38中检测到的病变区域的面积为规定的阈值以下时，可能无法检测。当从内窥镜图像38中检测到病变区域为多个、且各病变区域的面积均为规定的阈值以上时，可能无法判定。
此外，第二实施方式所涉及的医用图像处理装置应用与第一实施方式所涉及的医用图像处理装置14同样的硬件及功能块。省略对第二实施方式所涉及的医用图像处理装置的硬件及功能块的说明。
〔无法检测时的显示画面〕
图22是表示无法检测的显示画面的说明图。图22所示的显示画面400显示表示无法检测的undetectable作为文字信息412。在显示表示无法检测的文字信息412时，在区域图像408中不显示分类贡献对应区域410。此外，在图22中，使用实线示意性图示无法检测时的病变区域407。使用两点划线示意性图示可检测时的病变区域407。
文字信息412可应用将表示无法检测的文字信息覆盖表示分类结果的文字信息的方式。显示画面400除表示分类结果的文字信息以外，还可应用表示无法检测的方式。
图3所示的分类部48也可以对区域图像408进行分析以量化分类的可靠度，显示控制部44也可以使表示分类的可靠度的得分等数值显示于显示画面400。此外，图22所示的符号402表示内窥镜图像显示区域。符号404表示区域图像显示区域。符号406表示分类结果显示区域。
〔无法判定时的显示画面〕
图23是表示无法判定的显示画面的说明图。图23所示的显示画面400a显示表示无法判定的undeterminable作为文字信息412a。在显示表示无法判定的文字信息412a时，在区域图像408a中，显示表示无法判定的分类贡献对应区域410a。
作为表示无法判定的分类贡献对应区域410a的例子，可列举与不同分类对应的两种显示方式混在一起的例子。在图23中，图示了在根据分类改变颜色时将两种颜色混在一起的分类贡献对应区域410a。此外，图23的符号409表示分类贡献区域。
[第二实施方式的作用效果]
根据第二实施方式所涉及的医用图像处理装置，可获得以下作用效果。
〔1〕
当内窥镜图像38中的病变无法检测时、及无法判定时，显示表示无法检测或无法判定的文字信息412。由此，操作者可掌握不合适的分类。
〔2〕
基于区域图像计算分类的可靠度。在显示画面中显示可靠度。由此，可识别分类的可靠性。
[第三实施方式所涉及的医用图像处理装置的说明]
图24是第三实施方式所涉及的医用图像处理装置的功能框图。图24所示的医用图像处理装置14a相对于图3所示的医用图像处理装置14，具备存储指示获取部41。存储指示获取部41获取从图1所示的处理器装置12发送的内窥镜图像38的存储指示。存储指示获取部41也可以从内窥镜10获取内窥镜图像38的存储指示。
当存储指示获取部41获取到内窥镜图像38的存储指示时，使用图像获取部40获取的内窥镜图像38与分类结果、区域图像、例外判定结果及可靠度中的至少一个相关联并存储于内窥镜图像存储部46a。
医用图像处理装置14a可以将分类结果等与内窥镜图像38进行合成并存储，也可以将分类结果等与内窥镜图像38分别进行存储。可以在操作者操作了未图示的操作按钮等时从处理器装置12发送内窥镜图像38的存储指示，也可以基于分类结果等从处理器装置12自动发送内窥镜图像38的存储指示。处理器装置12也可以在可靠度为规定的阈值以上时判定为医用图像处理装置14a获得了合适的分类结果，自动发送内窥镜图像38的存储指示。
[第三实施方式的作用效果]
根据第三实施方式所涉及的医用图像处理装置，可获得以下作用效果。
〔1〕
在内窥镜检查之后，用户在制作报告时，可确认分类结果等是否合适。
〔2〕
再次检查时，可参照直到上次的检查结果。
[内窥镜系统的变形例]
〔处理器装置的变形例〕
处理器装置12也可以具有医用图像处理装置14的功能。即，处理器装置12也可以与医用图像处理装置14一体构成。在该方式中，显示装置13可兼用作监视器装置16。处理器装置12可具备连接输入装置15的连接端子。
〔照明光的变形例〕
作为可使用本实施方式所示的内窥镜系统9获取的医用图像的一例，可列举照射白色频带的光、或作为白色频带的光的多个波长频带的光而得到的普通光图像。
作为可使用本实施方式所示的内窥镜系统9获取的医用图像的另一例，可列举照射特定波长区域的光而得到的图像。特定波长频带可应用比白色频带窄的频带。可应用以下变形例。
<第一例>
特定波长频带的第一例是可视化范围的蓝色频带或绿色频带。第一例的波长频带包含390纳米以上450纳米以下、或530纳米以上550纳米以下的波长频带，而且第一例的光在390纳米以上450纳米以下、或530纳米以上550纳米以下的波长频带内具有峰波长。
<第二例>
特定波长频带的第二例是可视化范围的红色频带。第二例的波长频带包含585纳米以上615纳米以下、或610纳米以上730纳米以下的波长频带，而且第二例的光在585纳米以上615纳米以下、或610纳米以上730纳米以下的波长频带内具有峰波长。
<第三例>
特定波长频带的第三例包含吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带，而且第三例的光在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带具有峰波长。该第三例的波长频带包含400±10纳米、440±10纳米、470±10纳米、或600纳米以上750纳米以下的波长频带，而且第三例的光在400±10纳米、440±10纳米、470±10纳米、或600纳米以上750纳米以下的波长频带具有峰波长。
<第四例>
特定波长频带的第四例是用于观察生物体内的荧光物质发出的荧光、并且激励该荧光物质的激励光的波长频带。例如，是390纳米以上470纳米以下的波长频带。此外，荧光的观察有时被称作荧光观察。
<第五例>
特定波长频带的第五例是红外光的波长频带。该第五例的波长频带包含790纳米以上820纳米以下、或905纳米以上970纳米以下的波长频带，而且第五例的光在790纳米以上820纳米以下、或905纳米以上970纳米以下的波长频带具有峰波长。
〔特殊光图像的生成例〕
处理器装置12也可以基于使用白色光拍摄得到的普通光图像，生成具有特定波长频带的信息的特殊光图像。此外，在此所说的生成包括获取。在该情况下，处理器装置12作为特殊光图像获取部发挥功能。而且，处理器装置12可通过基于普通光图像所包含的红、绿及蓝、或者蓝绿、品红及黄色的颜色信息的运算来获得特定波长频带的信号。
此外，红、绿及蓝有时表示为RGB(Red、Green、Blue)。另外，蓝绿、品红及黄色有时表示为CMY(Cyan、Magenta、Yellow)。
〔特征量图像的生成例〕
作为医用图像，可使用基于照射白色频带的光或作为白色频带的光的多个波长频带的光而得到的普通图像、以及照射特定波长频带的光而得到的特殊光图像中的至少任一种的运算，生成特征量图像。
[对使计算机作为图像处理装置发挥功能的程序的应用例]
上述图像处理方法可构成为使用计算机来实现与图像处理方法中的各工序对应的功能的程序。例如，可构成使计算机实现内窥镜图像获取功能、图像处理功能、显示信号发送功能及存储功能的程序。图像处理功能可包括分类功能及区域图像生成功能。
可将上述使计算机实现图像处理功能的程序存储在作为有形物体的非暂时性信息存储介质、即计算机可读取的信息存储介质中，通过信息存储介质来提供程序。
另外，也可以取代将程序存储于非暂时性信息存储介质来提供的形态，而是经由网络来提供程序信号的形态。
[关于实施方式及变形例等的组合]
在上述实施方式中说明的构成要素及在变形例说明的构成要素可适当组合使用，另外，也可置换一部分构成要素。
[对其他机器的应用例]
在上述实施方式中，作为医用图像例示了内窥镜图像，但本实施方式所示的自动分类也可应用于使用CT装置、MRI装置及X射线摄像装置等获取的医用图像。实施方式所示的医用图像是拍摄图像的一例。
以上说明的本发明的实施方式在不偏离本发明的主旨的范围内，可以适当变更、追加或删除构成要件。本发明不限定于以上说明的实施方式，可在本发明的技术思想内由具有该领域的普通知识的人员进行多种变形。
符号说明
9 内窥镜系统
10 内窥镜
11 光源装置
12 处理器装置
13 显示装置
14 医用图像处理装置
14a 医用图像处理装置
15 输入装置
16 监视器装置
20 插入部
21 操作部
22 通用塞绳
25 软性部
26 弯曲部
27 顶端部
27a 顶端面
28 摄像元件
29 弯曲操作旋钮
30 送气送水按钮
31 吸引按钮
32 静止图像拍摄指示部
33 处置器具导入口
35 光导
36 信号电缆
37a 连接器
37b 连接器
38 内窥镜图像
38a 动态图像
38b 帧图像
39 静止图像
40 图像获取部
41 存储指示获取部
42 图像处理部
44 显示控制部
46 存储部
46a 内窥镜图像存储部
46b 分类存储部
46c 区域图像存储部
48 分类部
50 区域图像生成部
120 控制部
122 存储器
124 存储装置
126 网络控制器
128 电源装置
130 显示器控制器
132 输入输出接口
134 输入控制器
136 总线
140 网络
200 显示画面
200a 显示画面
200b 显示画面
200c 显示画面
200d 显示画面
200e 显示画面
201 框
202 内窥镜图像显示区域
204 区域图像显示区域
206 分类结果显示区域
206a 分类结果显示区域
207 框
208 区域图像
208a 区域图像
208b 区域图像
208c 区域图像
208d 区域图像
208e 区域图像
208f 区域图像
208g 区域图像
208h 区域图像
209 分类贡献区域
209a 第一分类贡献区域
209b 第二分类贡献区域
210 分类贡献对应区域
210a 应设为分类贡献对应区域的区域
210b 应设为分类贡献对应区域的区域
210e 分类贡献对应区域
210f 分类贡献对应区域
210g 第一分类贡献对应区域
210h 第二分类贡献对应区域
211a 中央附近
211b 周围
211c 中间区域
212 文字信息
212a 文字信息
212b 文字信息
212c 文字信息
212d 文字信息
212e 第一文字信息
212f 第二文字信息
213a 第一病变
213b 第二病变
220 比较画面
222 肿瘤
230 区域
300 分类部
302 CNN
304 误差计算部
306 参数更新部
310 输入层
312 中间层
314 输出层
320 卷积层
322 池化层
324 全连接层
330 信息
330a 输入层的信息
330b 中间层的信息
330c 全连接层的信息
370 正解数据
380 处理对象图像
381a 一只动物
381b 另一只动物
382 第一已分类图像
384 成为分类依据的区域
386 第二已分类图像
388 成为分类依据的区域
390 分类对象图像
391a 人物
391b 动物
392 已分类图像
394 人物区域
396 动物区域
400 显示画面
400a 显示画面
402 内窥镜图像显示区域
404 区域图像显示区域
406 分类结果显示区域
408 区域图像
410 分类贡献对应区域
412 文字信息
412a 文字信息
S10至S22 医用图像处理方法的各工序。

Claims (14)

1.一种医用图像处理装置，
具备：
图像获取部，其获取拍摄生物体而生成的拍摄图像；
分类部，其将所述拍摄图像分类为两个以上的类别；
图像生成部，其生成使所述分类部的分类对象的所述拍摄图像中的、有助于使用了所述分类部的分类的区域的位置可视化的区域图像；以及
显示信号发送部，其将表示所述拍摄图像、使用所述分类部导出的分类结果及所述区域图像的显示信号向显示装置发送，
所述显示信号发送部向所述显示装置发送将所述区域图像与所述拍摄图像分开显示的显示信号。
2.根据权利要求1所述的医用图像处理装置，其中，
所述图像生成部根据所述拍摄图像的分类结果改变所述区域图像的可视化方式。
3.根据权利要求1或2所述的医用图像处理装置，其中，
所述分类部基于根据所述拍摄图像获取的特征量对所述拍摄图像进行分类，
所述图像生成部基于所述特征量生成所述区域图像。
4.根据权利要求1或2所述的医用图像处理装置，其中，
所述分类部应用已学习的深度学习器，
所述图像生成部基于所述深度学习器中的中间层的信息生成所述区域图像。
5.根据权利要求1至4中任一项所述的医用图像处理装置，其中，
所述分类部针对在所述拍摄图像中设定的多个区域的每一个区域，计算对所述分类的归属程度，并基于所述归属程度进行所述拍摄图像的分类。
6.根据权利要求5所述的医用图像处理装置，其中，
所述图像生成部基于所述归属程度生成所述区域图像。
7.根据权利要求1至6中任一项所述的医用图像处理装置，其中，
所述分类部进行基于所述区域图像的分类的例外判定，
所述显示信号发送部将表示使用了所述分类部的例外判定的结果的显示信号向所述显示装置发送。
8.根据权利要求7所述的医用图像处理装置，其中，
所述分类部基于区域图像，计算使用所述分类部导出的分类结果的可靠度，
所述显示信号发送部将表示所述可靠度的显示信号向所述显示装置发送。
9.根据权利要求8所述的医用图像处理装置，其中，
所述医用图像处理装置具备：
存储指示获取部，其获取所述拍摄图像的存储指示；以及
存储部，其存储所述拍摄图像，
所述存储部在基于所述拍摄图像的存储指示向所述存储部存储所述拍摄图像时，将所述分类结果、所述例外判定的结果及所述分类结果的可靠度中的至少任一者与所述拍摄图像建立关联。
10.根据权利要求1至9中任一项所述的医用图像处理装置，其中，
所述显示信号发送部将表示所述分类结果的文字信息的显示信号显示于所述显示装置。
11.一种医用图像处理系统，
具备：
图像获取部，其获取拍摄生物体而生成的拍摄图像；
分类部，其将所述拍摄图像分类为两个以上的类别；
图像生成部，其生成使所述分类部的分类对象的所述拍摄图像中的、有助于使用了所述分类部的分类的区域的位置可视化的区域图像；
显示部，其显示所述拍摄图像及所述区域图像；以及
显示信号发送部，其将表示所述拍摄图像及所述区域图像的显示信号向显示装置发送，
所述显示信号发送部向所述显示部发送将所述区域图像与所述拍摄图像分开显示的显示信号。
12.一种医用图像处理方法，
包括：
图像获取工序，获取拍摄生物体而生成的拍摄图像；
分类工序，将所述拍摄图像分类为两个以上的类别；
图像生成工序，生成使所述分类工序的分类对象的所述拍摄图像中的、在所述分类工序中有助于分类的区域的位置可视化的区域图像；以及
显示信号发送工序，将表示所述拍摄图像、在所述分类工序中导出的分类结果及所述区域图像的显示信号向显示装置发送，
在所述显示信号发送工序中，向所述显示装置发送将所述区域图像与所述拍摄图像分开显示的显示信号。
13.一种程序，其使计算机实现：
图像获取功能，获取拍摄生物体而生成的拍摄图像；
分类功能，将所述拍摄图像分类为两个以上的类别；
图像生成功能，生成使所述分类功能的分类对象的所述拍摄图像中的、使用所述分类功能有助于分类的区域的位置可视化的区域图像；以及
显示信号发送功能，将表示所述拍摄图像、使用所述分类功能导出的分类结果及所述区域图像的显示信号向显示装置发送，即，向所述显示装置发送将所述区域图像与所述拍摄图像分开显示的显示信号。
14.一种存储介质，是非暂时性计算机可读存储介质，在通过计算机读取了保存于所述存储介质的指令的情况下，使计算机执行：
图像获取功能，获取拍摄生物体而生成的拍摄图像；
分类功能，将所述拍摄图像分类为两个以上的类别；
图像生成功能，生成使所述分类功能的分类对象的所述拍摄图像中的、使用所述分类功能有助于分类的区域的位置可视化的区域图像；以及
显示信号发送功能，将表示所述拍摄图像、使用所述分类功能导出的分类结果及所述区域图像的显示信号向显示装置发送，即，向所述显示装置发送将所述区域图像与所述拍摄图像分开显示的显示信号。
CN201980044607.0A 2018-07-09 2019-06-14 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序 Pending CN112367896A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-130138 2018-07-09
JP2018130138 2018-07-09
PCT/JP2019/023696 WO2020012872A1 (ja) 2018-07-09 2019-06-14 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN112367896A true CN112367896A (zh) 2021-02-12

Family

ID=69142574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044607.0A Pending CN112367896A (zh) 2018-07-09 2019-06-14 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序

Country Status (5)

Country Link
US (2) US11991478B2 (zh)
EP (1) EP3821790B1 (zh)
JP (2) JP7270626B2 (zh)
CN (1) CN112367896A (zh)
WO (1) WO2020012872A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821272A (zh) * 2022-06-28 2022-07-29 上海蜜度信息技术有限公司 图像识别方法、系统、介质、电子设备及目标检测模型

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149120A1 (ja) * 2020-01-20 2021-07-29 オリンパス株式会社 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム
WO2021156974A1 (ja) * 2020-02-05 2021-08-12 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、表示制御装置及び内視鏡装置
JP2021145726A (ja) * 2020-03-16 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察システム及び医療用画像処理装置の作動方法
WO2022009478A1 (ja) * 2020-07-07 2022-01-13 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
EP3968214A1 (en) 2020-09-15 2022-03-16 Robert Bosch GmbH Device and method for classifying images and accessing the robustness of the classification
JP7461866B2 (ja) * 2020-12-23 2024-04-04 名古屋電機工業株式会社 情報処理装置、情報処理方法およびプログラム
JPWO2022224859A1 (zh) * 2021-04-23 2022-10-27
US20240249827A1 (en) * 2021-05-26 2024-07-25 Sony Group Corporation Image processing device, image processing method, and recording medium
US12062169B2 (en) * 2022-04-25 2024-08-13 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-functional computer-aided gastroscopy system optimized with integrated AI solutions and method
JP2024083838A (ja) * 2022-12-12 2024-06-24 ＤｅｅｐＥｙｅＶｉｓｉｏｎ株式会社 情報処理装置、情報処理方法及びプログラム
CN116681681B (zh) * 2023-06-13 2024-04-02 富士胶片（中国）投资有限公司 内窥镜图像的处理方法、装置、用户设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103547207A (zh) * 2011-06-02 2014-01-29 奥林巴斯株式会社 荧光观察装置
WO2015045576A1 (ja) * 2013-09-26 2015-04-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法及びプロセッサ装置の作動方法
WO2017023569A1 (en) * 2015-08-04 2017-02-09 Siemens Aktiengesellschaft Visual representation learning for brain tumor classification
WO2018003503A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 画像処理装置および画像処理方法、並びに医療用撮像システム
CN108135457A (zh) * 2015-10-26 2018-06-08 奥林巴斯株式会社 内窥镜图像处理装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4615963Y1 (zh) 1967-05-29 1971-06-03
JPS557671B2 (zh) 1974-03-28 1980-02-27
JPS523156A (en) 1975-06-25 1977-01-11 Matsushita Electric Ind Co Ltd Television receiver
JPS5528255U (zh) 1978-08-12 1980-02-23
JPS5576711U (zh) 1978-11-21 1980-05-27
JP4615963B2 (ja) 2004-10-29 2011-01-19 オリンパス株式会社 カプセル型内視鏡装置
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
EP2415389B1 (en) * 2005-04-13 2016-05-04 Olympus Corporation Image processing apparatus and method for analysing mucosa, villi or feces
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP5005981B2 (ja) 2006-08-03 2012-08-22 オリンパスメディカルシステムズ株式会社 画像表示装置
JP2010172673A (ja) 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP5576711B2 (ja) 2010-05-14 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5528255B2 (ja) 2010-08-16 2014-06-25 Ｈｏｙａ株式会社 内視鏡画像処理システム
US20140036054A1 (en) * 2012-03-28 2014-02-06 George Zouridakis Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
EP3115634A1 (en) 2015-07-08 2017-01-11 National Oilwell Varco Norway AS Bearing arrangement
JP6633641B2 (ja) * 2015-09-29 2020-01-22 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP6580446B2 (ja) 2015-10-09 2019-09-25 サイバネットシステム株式会社 画像処理装置及び画像処理方法
JP6656357B2 (ja) 2016-04-04 2020-03-04 オリンパス株式会社 学習方法、画像認識装置およびプログラム
JP2017213097A (ja) 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018003395A1 (ja) * 2016-06-29 2018-01-04 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
JP6927211B2 (ja) 2016-07-04 2021-08-25 日本電気株式会社 画像診断学習装置、画像診断装置、方法およびプログラム
JP6916415B2 (ja) * 2016-07-04 2021-08-11 株式会社ニコン 画像処理装置、撮像装置
JP6785941B2 (ja) * 2017-03-01 2020-11-18 富士フイルム株式会社 内視鏡システム及びその作動方法
JP6749473B2 (ja) * 2017-03-30 2020-09-02 富士フイルム株式会社 内視鏡システム及びその作動方法
EP3698702B1 (en) * 2017-10-17 2023-06-07 FUJIFILM Corporation Medical image processing device and endoscope device
CN111278349B (zh) * 2017-10-26 2023-03-24 富士胶片株式会社 医疗图像处理装置
WO2019146066A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103547207A (zh) * 2011-06-02 2014-01-29 奥林巴斯株式会社 荧光观察装置
WO2015045576A1 (ja) * 2013-09-26 2015-04-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法及びプロセッサ装置の作動方法
WO2017023569A1 (en) * 2015-08-04 2017-02-09 Siemens Aktiengesellschaft Visual representation learning for brain tumor classification
CN108135457A (zh) * 2015-10-26 2018-06-08 奥林巴斯株式会社 内窥镜图像处理装置
WO2018003503A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 画像処理装置および画像処理方法、並びに医療用撮像システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821272A (zh) * 2022-06-28 2022-07-29 上海蜜度信息技术有限公司 图像识别方法、系统、介质、电子设备及目标检测模型

Also Published As

Publication number Publication date
US20240205374A1 (en) 2024-06-20
EP3821790B1 (en) 2024-07-24
JPWO2020012872A1 (ja) 2021-08-02
JP7270626B2 (ja) 2023-05-10
EP3821790A1 (en) 2021-05-19
US20210097331A1 (en) 2021-04-01
JP2023083555A (ja) 2023-06-15
EP3821790A4 (en) 2021-09-08
US11991478B2 (en) 2024-05-21
WO2020012872A1 (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
US11991478B2 (en) Medical image processing apparatus, medical image processing system, medical image processing method, and program
US11918176B2 (en) Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
US11734820B2 (en) Medical image processing device, medical image processing method, and medical image processing program
US12106394B2 (en) Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
US11074690B2 (en) Method for enhancing the visibility of blood vessels in color images and visualization systems implementing the method
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
CN113453607B (zh) 医用图像处理装置及方法
JP7122328B2 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
WO2019087969A1 (ja) 内視鏡システム、報知方法、及びプログラム
CN112739250A (zh) 医用图像处理装置、处理器装置、医用图像处理方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination