CN111065314B - 诊断支持系统、内窥镜系统、处理器及诊断支持方法 - Google Patents

诊断支持系统、内窥镜系统、处理器及诊断支持方法 Download PDF

Info

Publication number
CN111065314B
CN111065314B CN201880057372.4A CN201880057372A CN111065314B CN 111065314 B CN111065314 B CN 111065314B CN 201880057372 A CN201880057372 A CN 201880057372A CN 111065314 B CN111065314 B CN 111065314B
Authority
CN
China
Prior art keywords
image
region
interest
detection information
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880057372.4A
Other languages
English (en)
Other versions
CN111065314A (zh
Inventor
加门骏平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN111065314A publication Critical patent/CN111065314A/zh
Application granted granted Critical
Publication of CN111065314B publication Critical patent/CN111065314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Endoscopes (AREA)

Abstract

本发明的目的在于提供一种能够向用户提示有用的信息的诊断支持系统、内窥镜系统、处理器及诊断支持方法。根据本发明的一方式所涉及的诊断支持系统，将表示检测到的药剂和/或器材的第1检测信息及表示检测到的关心区域的第2检测信息赋予给医用图像，并且以与检测信息相应的方式进行一览显示，因此用户能够轻松地掌握检测信息(第1、第2检测信息)及检测信息与图像之间的关系。如此，根据第1方式，能够向用户提示有用的信息(检测信息)，从而用户能够有效地进行诊断及报告单创建等。

Description

诊断支持系统、内窥镜系统、处理器及诊断支持方法
技术领域
本发明涉及一种诊断支持系统、内窥镜系统、处理器及诊断支持方法。
背景技术
在使用医疗设备的诊断中，有时使用药剂和/或器材进行检查及处置并获取受检体的图像。在该情况下，需要将所使用的药剂和/或器材及手技的内容等记载于诊断后创建的报告单中，但医生等用户的作业负担较大，因此已知有减轻作业负担的技术。
例如，下述专利文献1中记载有通过图像识别从内窥镜图像检测检查中所使用的药剂和/或器材，并根据检测结果辅助基于医务工作者用于创建医疗文件(内窥镜检查报告单、检查实施记录)的输入操作的内容。具体而言，在内窥镜检查报告单中，检测信息或从检测信息提取的反映信息自动输入于处置区域的处置信息栏、实施区域的手技栏、加法栏、药剂栏及器材栏等。并且，专利文献1中记载有显示检测到的药剂和/或器材的名称(在图像的标签中显示药剂名、处置器具名称等)的内容。
现有技术文献
专利文献
专利文献1：日本特开2016-62488号公报
发明内容
发明要解决的技术课题
当根据通过内窥镜等获取的图像进行检查时，所使用的药剂和/或器材与关心区域(病变、病变候选等)之间的关系(对哪一种关心区域使用了哪一种药剂和/或器材)非常重要。然而，在上述专利文献1中并未考虑这种关系，从而难以掌握药剂和/或器材与关心区域之间的关系。用户进行关系建立负担较大，从而可能会导致错误。
如此，在以往的技术中所提示的信息的有用性较低，用户难以有效地进行基于图像的诊断及报告单创建等。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够向用户提示有用的信息的诊断支持系统、内窥镜系统、处理器及诊断支持方法。
用于解决技术课题的手段
为了实现上述目的，本发明的第1方式所涉及的诊断支持系统具备：医用图像获取部，获取多个医用图像；显示控制部，将多个医用图像一览显示于显示装置；第1检测部，通过图像识别从多个医用图像检测拍摄多个医用图像时所使用的药剂和/或器材；第2检测部，通过图像识别检测多个医用图像中的关心区域；第1检测信息赋予部，将表示检测到的药剂和/或器材的第1检测信息赋予给检测到药剂和/或器材的医用图像；及第2检测信息赋予部，将表示检测到的关心区域的第2检测信息赋予给检测到关心区域的医用图像，显示控制部以与第1检测信息及第2检测信息相应的方式一览显示多个医用图像。
根据第1方式，将表示检测到的药剂和/或器材的第1检测信息及表示检测到的关心区域的第2检测信息赋予给医用图像，并且以与检测信息相应的方式进行一览显示，因此用户能够轻松地掌握药剂和/或器材、关心区域及图像的关系。如此，根据第1方式，能够向用户提示有用的信息，从而用户能够有效地进行诊断及报告单创建等。
在第1方式及以下各方式中，“药剂”包含用于观察关心区域(病变部等)的形状、凹凸等的染料及染色剂，“器材(器具)”包含用于对受检体进行活检、切除等的处置器具。并且，“关心区域”包含病变区域、病变候选区域及处置后的区域。另外，在第1方式中，医用图像获取部可以通过包含摄影光学系统及摄像元件的摄像装置拍摄图像而获取多个医用图像，也可以经由网络和/或记录介质获取另行记录的多个医用图像。
在第1方式及以下各方式中，医用图像也称为医疗图像。并且，拍摄医用图像时所使用的光源能够使用产生白色频带的光、作为白色频带包含多个波长(窄频带光)的光、红外光及激励光的光源。并且，通过第1方式获取的医用图像可以是照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的普通光图像，也可以是根据普通光图像获取的具有特定的波长频带的信息的特殊光图像。
第2方式所涉及的诊断支持系统在第1方式中，还具备：关心区域判定部，判定与多个医用图像中的图像即对象图像中所包含的关心区域相同的关心区域是否包含于多个医用图像中的其他医用图像且检测到药剂和/或器材的医用图像即比较图像，当在比较图像中包含相同的关心区域时，第1检测信息赋予部即使在从对象图像未检测到药剂和/或器材的情况下也向对象图像赋予第1检测信息。根据第2方式，对“没有映出药剂和/或器材，但包含与检测到药剂和/或器材的图像相同的关心区域的图像”也赋予第1检测信息(表示药剂和/或器材的信息)，并且以与所赋予的第1检测信息相应的方式显示图像。因此，根据第2方式，能够向用户提示有用的信息(所显示的图像为实际上没有映出药剂和/或器材，但与药剂和/或器材相关图像)。另外，“相同的关心区域是否包含于其他医用图像”的判定能够根据图像的相似度及特征量等进行。
第3方式所涉及的诊断支持系统在第1方式中，医用图像获取部获取由多个帧图像构成的动态图像，第2检测部通过图像识别从多个帧图像检测关心区域，该诊断支持系统还具备：关心区域判定部，判定与多个医用图像中的图像即对象图像中所包含的关心区域相同的关心区域是否包含于多个帧图像中所包含的图像且检测到药剂和/或器材的图像即比较图像，当在比较图像中包含相同的关心区域时，第1检测信息赋予部即使在从对象图像未检测到药剂和/或器材的情况下也向对象图像赋予第1检测信息。
根据第3方式，即便一览显示的多个医用图像中的图像(对象图像)为不包含药剂和/或器材的图像，当包含与检测到药剂和/或器材的帧图像(比较图像)中所包含的关心区域相同的关心区域时，也会赋予第1检测信息，因此能够向用户提示有用的信息(所显示的图像为实际上没有映出药剂和/或器材，但与药剂和/或器材相关的图像)。另外，“相同的关心区域是否包含于其他医用图像”的判定能够根据图像的相似度及特征量等进行。另外，在第3方式中，“动态图像”可以是不以记录为前提的实时取景图像，也可以是记录用的动态图像。
第4方式所涉及的诊断支持系统在第1至第3方式中的任一个方式中，医用图像获取部根据用户的摄影命令操作获取构成多个医用图像的医用图像。根据第4方式，用户通过亲自操作能够拍摄所期望的图像。
第5方式所涉及的诊断支持系统在第1至第4方式中的任一个方式中，医用图像获取部根据对药剂和/或器材的检测获取医用图像。根据第5方式，根据对药剂和/或器材的检测自动拍摄医用图像，从而能够有效地获取并显示适合于诊断的图像(例如检查、处置等情景的图像)。在第5方式中，药剂和/或器材的检测对象可以是构成实时取景图像的帧图像，也可以是构成记录用的动态图像的帧图像。
第6方式所涉及的诊断支持系统在第1至第5方式中的任一个方式中，医用图像获取部根据对关心区域的检测获取多个医用图像。根据第6方式，根据对关心区域的检测自动拍摄医用图像，从而能够有效地获取并显示适合于检查、诊断的图像。在第6方式中，关心区域的检测对象可以是构成实时取景图像的帧图像，也可以是构成记录用的动态图像的帧图像。
第7方式所涉及的诊断支持系统在第1至第6方式中的任一个方式中，显示控制部仅一览显示检测到关心区域的医用图像。根据第7方式，通过仅一览显示检测到关心区域的医用图像，能够有效地进行诊断、报告单创建等。
第8方式所涉及的诊断支持系统在第1至第7方式中的任一个方式中，显示控制部对检测到药剂和/或器材的医用图像标注与第1检测信息相应的文字、数字、记号及色彩中的至少一个，对检测到关心区域的医用图像标注与第2检测信息相应的文字、数字、记号及色彩中的至少一个而一览显示多个医用图像。第8方式规定识别显示的具体方式。
第9方式所涉及的诊断支持系统在第1至第8方式中的任一个方式中，显示控制部以与药剂和/或器材的特征相应的配置一览显示多个医用图像。在第9方式中，能够以与有无药剂和/或器材、种类等特征相应的配置(例如，汇整配置特征相同或近似的图像)进行一览显示，从而用户能够有效地阅览所显示的图像。
第10方式所涉及的诊断支持系统在第1至第9方式中的任一个方式中，显示控制部以与关心区域的特征相应的配置一览显示多个医用图像。在第10方式中，能够以与图像中有无关心区域、大小等特征相应的配置(例如，汇整配置特征相同或近似的图像)进行一览显示。
第11方式所涉及的诊断支持系统在第1至第10方式中的任一个方式中，还具备：特征指定部，指定药剂和/或器材的特征，显示控制部仅一览显示检测到具有指定的特征的药剂和/或器材的医用图像。根据第11方式，用户通过显示使用了特定的药剂和/或器材的图像，并阅览所显示图像，能够有效的进行诊断、报告单创建。
为了实现上述目的，本发明的第12方式所涉及的内窥镜系统具备：第1至第11方式中的任一个方式所涉及的诊断支持系统；显示装置；及内窥镜，具有插入部及摄像部，插入部插入于受检体且具有前端硬质部、与前端硬质部的基端侧连接的弯曲部及与弯曲部的基端侧连接的软性部，摄像部具备与插入部的基端侧连接的操作部、使被摄体的光学像成像的摄影透镜及使光学像成像的摄像元件，摄影透镜设置于前端硬质部，医用图像获取部通过摄像部获取多个医用图像。第12方式所涉及的内窥镜系统具备第1至第11方式中的任一个方式所涉及的诊断支持系统，因此根据通过内窥镜获取的图像，能够向用户提示有用的信息(检测信息)，从而用户能够有效地进行诊断及报告单创建等。
为了实现上述目的，本发明的第13方式所涉及的处理器为第12方式所涉及的内窥镜系统的处理器，其具备显示控制部、第1检测部、第2检测部、第1检测信息赋予部及第2检测信息赋予部。根据第13方式，能够执行用于向用户提示第12方式所涉及的内窥镜系统中有用的信息(检测信息)的处理。
为了实现上述目的，本发明的第14方式所涉及的诊断支持方法具备：医用图像获取工序，获取多个医用图像；显示控制工序，将多个医用图像一览显示于显示装置；第1检测工序，通过图像识别从多个医用图像检测拍摄多个医用图像时所使用的药剂和/或器材；第2检测工序，通过图像识别检测多个医用图像中的关心区域；第1检测信息赋予工序，将表示检测到的药剂和/或器材的第1检测信息赋予给检测到药剂和/或器材的医用图像；及第2检测信息赋予工序，将表示检测到的关心区域的第2检测信息赋予给检测到关心区域的医用图像，在显示控制工序中，以与第1检测信息及第2检测信息相应的方式一览显示多个医用图像。根据第14方式，与第1方式相同地，能够向用户提示有用的信息(检测信息)，从而用户能够有效地进行诊断及报告单创建等。另外，记录有程序的计算机可读取的编码的记录介质也能够作为本发明的方式来举出，该程序使诊断支持系统执行对第14方式的结构进一步具有与第2至第11方式相同的结构的诊断支持方法及这些方式的诊断支持方法。
发明效果
如以上进行的说明，根据本发明的诊断支持系统、内窥镜系统、处理器及诊断支持方法，能够向用户提示有用的信息。
附图说明
图1是第1实施方式所涉及的内窥镜系统的外观图。
图2是表示内窥镜系统的结构的框图。
图3是表示内窥镜的前端硬质部的结构的图。
图4是表示图像处理部的功能结构的图。
图5是表示存储于存储部的图像及信息的图。
图6是表示医用图像与第1、第2检测信息的建立对应关联的情况的图。
图7是表示诊断支持方法的处理的流程图。
图8是表示诊断支持方法的处理的另一流程图。
图9是表示摄影条件设定画面的例子的图。
图10是表示显示条件设定画面的例子的图。
图11是表示赋予第1、第2检测信息的处理的流程图。
图12是表示图像的一览显示的情况的图。
图13是表示图像的一览显示的情况的另一图。
图14是表示图像的一览显示的情况的又一图。
图15是表示图像的一览显示的情况的又一图。
图16是表示显示条件设定画面的例子的另一图。
图17是表示保存指定图像的情况的图。
图18是表示与对关心区域的检测相应的自动拍摄的处理的图。
图19是表示一边拍摄动态图像一边拍摄静态图像的情况的图。
图20是表示第2实施方式中的图像处理部的功能结构的图。
图21是表示赋予第1、第2检测信息的处理的流程图。
图22是表示基于与其他图像的比较的赋予检测信息的情况的图。
图23是表示基于与帧图像的比较的赋予检测信息的处理的流程图。
具体实施方式
以下，参考附图对本发明所涉及的诊断支持系统、内窥镜系统、处理器及诊断支持方法的实施方式进行详细说明。
＜第1实施方式＞
图1是表示第1实施方式所涉及的内窥镜系统10(诊断支持系统、诊断支持装置、内窥镜系统、处理器、医疗图像处理装置)的外观图，图2是表示内窥镜系统10的主要部分结构的框图。如图1、2所示，内窥镜系统10由内窥镜主体100(内窥镜)、处理器200(处理器、医疗图像处理装置)、光源装置300及显示器400(显示装置)构成。
＜内窥镜主体的结构＞
内窥镜主体100具备手持操作部102(操作部)及与该手持操作部102连接设置的插入部104(插入部)。执业医师(用户)把持手持操作部102进行操作，并且将插入部104插入于受检体(活体)的体内而进行观察。并且，在手持操作部102设置有送气送水按钮BT1、吸引钮BT2、分配各种功能的功能按钮BT3及接收摄影命令操作的摄影按钮BT4。插入部104从手持操作部102侧依次由软性部112(软性部)、弯曲部114(弯曲部)及前端硬质部116(前端硬质部)构成。即，在前端硬质部116的基端侧连接有弯曲部114，在弯曲部114的基端侧连接有软性部112。在插入部104的基端侧连接有手持操作部102。用户通过操作手持操作部102而使弯曲部114弯曲从而能够向上下左右改变前端硬质部116的朝向。在前端硬质部116设置有摄影光学系统130(医用图像获取部、医用图像摄影部、摄影装置、摄像部)、照明部123及钳道口126等(参考图1～图3)。
在进行观察、处置时，通过操作操作部208(参考图2)，从照明部123的照明用透镜123A、123B能够照射可见光及红外光中的任一个或两者。并且，通过操作送气送水按钮BT1，从未图示的送水喷嘴喷射清洗水而能够清洗摄影光学系统130的摄影透镜132(摄影透镜)及照明用透镜123A、123B。在前端硬质部116中开口的钳道口126连通有未图示的管路，在该管路中插入贯通用于肿瘤摘除等的未图示的处置器具，并且使其适当地进退而对受检体实施所需的处置。
如图1～图3所示，在前端硬质部116的前端侧端面116A配设有摄影透镜132(摄像部)。在摄影透镜132的里侧配设有CMOS(Complementary Metal-Oxide Semiconductor/互补金属氧化物半导体)型摄像元件134(摄像元件、摄像部、摄影装置、医疗图像获取部)、驱动电路136及AFE138(AFE：Analog Front End/模拟前端)，通过这些要件输出图像信号。摄像元件134为彩色摄像元件，且具备由以特定的图案排列(拜耳排列、X-Trans(注册商标)排列、蜂窝排列等)配置成矩阵状(二维排列)的多个受光元件构成的多个像素。摄像元件134的各像素包含：微透镜；红色(R)、绿色(G)或蓝色(B)的滤色器；及光电转换部(光电二极管等)。摄影光学系统130能够由红色、绿色、蓝色这三个颜色的像素信号生成彩色图像，也能够由红色、绿色、蓝色中的任一个颜色或两个颜色的像素信号生成图像。另外，在第1实施方式中，对摄像元件134为CMOS型摄像元件的情况进行说明，但摄像元件134也可以是CCD(Charge Coupled Device/电荷耦合器件)型。
受检体(肿瘤部、病变部)的光学像通过摄影透镜132成像于摄像元件134的受光面(摄像面)而转换为电信号，并且经由未图示的信号电缆输出至处理器200而转换为影像信号。由此，在与处理器200连接的显示器400中显示观察图像。
并且，在前端硬质部116的前端侧端面116A与摄影透镜132相邻地设置有照明部123的照明用透镜123A(可见光用)、123B(红外光用)。在照明用透镜123A、123B的里侧配设有后述的光导件170的射出端，该光导件170插入贯通于插入部104、手持操作部102及通用电缆106，光导件170的入射端配置于光导件连接器108内。
＜光源装置的结构＞
如图2所示，光源装置300由照明用的光源310、光圈330、聚光透镜340及光源控制部350等构成，并且使照明光(可见光或红外光)入射于光导件170。光源310具备可见光源310A及红外光源310B，且能够照射可见光及红外光中的一个或两个。基于可见光源310A及红外光源310B的照明光的照度由光源控制部350控制，根据需要能够降低照明光的照度，或停止照明。
＜光源的波长频带＞
光源310(可见光源310A)可以是产生白色频带的光或作为白色频带的光产生多个波长频带的光的光源，也可以是产生窄于白色波长频带的特定的波长频带的光的光源。特定的波长频带可以是可见区域的蓝色频带或绿色频带或者可见区域的红色频带。当特定的波长频带为可见区域的蓝色频带或绿色频带时，也可以包含390nm以上且450nm以下或530nm以上且550nm以下的波长频带，且特定的波长频带的光在390nm以上且450nm以下或530nm以上且550nm以下的波长频带内具有峰值波长。并且，当特定的波长频带为可见区域的红色频带时，也可以包含585nm以上且615nm以下或610nm以上且730nm以下的波长频带，且特定的波长频带的光在585nm以上且615nm以下或610nm以上且730nm以下的波长频带内具有峰值波长。
上述的特定的波长频带的光也可以包含氧合血红蛋白及还原血红蛋白中的吸光系数不同的波长频带，且在氧合血红蛋白及还原血红蛋白中的吸光系数不同的波长频带中具有峰值波长。在该情况下，特定的波长频带也可以包含400±10nm、440±10nm、470±10nm或600nm以上且750nm的波长频带，且特定的波长频带的光在400±10nm、440±10nm、470±10nm或600nm以上且750nm以下的波长频带中具有峰值波长。
并且，光源310(红外光源310B)所产生的光也可以包含790nm以上且820nm以下或905nm以上且970nm以下的波长频带，且在790nm以上且820nm以下或905nm以上且970nm以下的波长频带中具有峰值波长。
并且，光源310也可以具备照射峰值波长为390nm以上且470nm以下的激励光的光源。在该情况下，能够获取具有受检体(活体)内的荧光物质所发射的荧光的信息的医用图像(活体内图像)。当获取荧光图像时，也可以使用荧光法用染料(荧光素、吖啶橙等)。
光源310的光源种类(激光光源、氙灯光源、LED光源(LED：Light-Emitting Diode/发光二极管)等)、波长、有无滤波器等优选根据被摄体的种类、观察目的等构成，并且进行观察时优选根据被摄体的种类、观察目的等组合和/或切换照明光的波长。当切换波长时，例如也可以通过使配置于光源前方且设置有透射或遮挡特定波长的光的滤波器的圆板状的滤波器(旋转式滤色器)旋转，切换所照射的光的波长。
并且，实施本发明时所使用的摄像元件并不限定于对各像素配设有滤色器的彩色摄像元件如摄像元件134，也可以是单色摄像元件。当使用单色摄像元件时，能够依次切换照明光的波长而以帧顺序(颜色顺序)进行拍摄。例如，可以将射出的照明光的波长在紫色、蓝色、绿色、红色之间依次切换，也可以照射宽频带光(白色光)而通过旋转式滤色器(红色、绿色、蓝色等)切换射出的照明光的波长。并且，也可以照射一个或多个窄频带光(绿色、蓝色等)而通过旋转式滤色器(绿色、蓝色等)切换射出的照明光的波长。窄频带光也可以是波长不同的两个波长以上的红外光。
通过将光导件连接器108(参考图1)连结于光源装置300，从光源装置300照射的照明光经由光导件170传输至照明用透镜123A、123B，并从照明用透镜123A、123B照射于观察范围。
＜处理器的结构＞
根据图2对处理器200的结构进行说明。处理器200经由图像输入控制器202及图像输入接口205输入从内窥镜主体100输出的图像信号，并通过图像处理部204进行所需的图像处理而经由视频输出部206输出。由此，在显示器400(显示装置)中显示观察图像(活体内图像)。这些处理在CPU210(CPU：Central Processing Unit/中央处理单元)的控制下进行。即，CPU210具有作为医用图像获取部、显示控制部、第1检测部、第2检测部、第1检测信息赋予部、第2检测信息赋予部、关心区域判定部及特征指定部的功能。在存储部207存储有被摄体的图像(医用图像、摄影图像)及后述的检测信息(第1、第2检测信息)。声音处理部209通过CPU210及图像处理部204的控制，从扬声器209A输出设定显示条件时的警告消息(声音)等。
并且，ROM211(ROM：Read Only Memory/只读存储器)为非易失性存储元件(非临时性记录介质)，且存储有使CPU210和/或图像处理部204执行本发明所涉及的诊断支持方法的程序的计算机可读取的编码。RAM212(RAM：Random Access Memory/随机存取存储器)为进行各种处理时的临时存储用的存储元件，并且也能够用作图像获取时的缓冲存储器。
＜图像处理部的功能＞
图4是表示图像处理部204(医疗图像获取部、医疗图像分析处理部、医疗图像分析结果获取部)的功能结构的图。图像处理部204具有医用图像获取部204A、显示控制部204B、第1检测部204C、第2检测部204D、第1检测信息赋予部204E、第2检测信息赋予部204F、特征指定部204G及存储控制部204H。第1检测部204C及第2检测部204D也作为医疗图像分析处理部进行动作。
并且，图像处理部204也可以具备特殊光图像获取部，该特殊光图像获取部根据照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的普通光图像，获取具有特定的波长频带的信息的特殊光图像。在该情况下，特定的波长频带的信号能够通过基于普通光图像中所包含的RGB(R：红色、G：绿色、B：蓝色)或CMY(C：青色，M：品红色，Y：黄色)的颜色信息的运算获得。
并且，图像处理部204具备通过基于照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的普通光图像及照射特定的波长频带的光而获得的特殊光图像中的至少一个的运算，生成特征量图像的特征量图像生成部，并且也可以获取及显示作为医用图像(医疗图像)的特征量图像。
关于图像处理部204基于这些功能的处理，将在后面详细叙述。另外，基于这些功能的处理在CPU210的控制下进行。
上述的图像处理部204的功能能够使用各种处理器(processor)实现。在各种处理器中例如包含执行软件(程序)而实现各种功能的通用的处理器即CPU(CentralProcessing Unit)。
并且，在上述各种处理器中还包含FPGA(Field Programmable Gate Array/现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(ProgrammableLogic Device：PLD)。而且，ASIC(Application Specific Integrated Circuit/专用集成电路)等为了执行特定的处理而具有专门设计的电路结构的处理器即专用电气电路等也包含于上述各种处理器中。
各部的功能可以由一个处理器来实现，也可以组合多个处理器来实现。并且，多个功能也可以由一个处理器来实现。作为将多个功能由一个处理器来构成的例子，第1，有如以客户端或服务器等计算机为代表，由一个以上的CPU与软件的组合来构成一个处理器，且该处理器有实现多个功能的方式。第2，有如以片上系统(System On Chip：SoC)等为代表，使用将整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此，各种功能作为硬件结构使用一个以上上述各种处理器而构成。
而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的电气电路(circuitry)。
当上述处理器(或电气电路)执行软件(程序)时，将执行的软件(包含执行本发明所涉及的诊断支持方法的程序)的计算机可读取的编码存储于ROM211(参考图2)等非临时性记录介质，处理器参考该软件。当使用软件进行处理时，例如RAM212(参考图2)被用作临时的存储区域，并且，例如参考存储于EEPROM(Electronically Erasable andProgrammable Read Only Memory/电可擦可编程只读存储器)的数据。另外，在图4中，省略EEPROM等器件的图示。
＜操作部的结构＞
处理器200具备操作部208。操作部208具备未图示的操作模式设定开关等，并且能够操作可见光和/或红外光的照射。并且，操作部208包含未图示的键盘及鼠标，用户经由这些器件能够进行摄影条件及显示条件的设定操作(将在后面叙述)。另外，如上所述，操作模式的设定也可以对手持操作部102的功能按钮BT3(参考图1)分配操作模式设定功能来进行。
＜存储部的结构＞
存储部207(记录装置)由CD(Compact Disk/光盘)、DVD(Digital VersatileDisk/数字通用光盘)、硬盘(Hard Disk)及各种半导体存储器等非临时性记录介质构成，并且将图5所示的图像及信息彼此建立关联并存储。如图5所示，在存储部207存储有摄影图像207A、第1检测信息207B、第2检测信息207C、指定图像207D及建立关联信息207E。例如，如图6所示，摄影图像207A、指定图像207D与第1检测信息207B和/或第2检测信息207C通过建立关联信息207E对应关联地被记录。在图6中，“i101”等为图像的识别信息。摄影图像207A、指定图像207D、第1检测信息207B及第2检测信息207C通过经由操作部208的操作、CPU210和/或图像处理部204的控制显示于显示器400。
除了上述的图像以外，还可以将对医用图像(医疗图像)中所包含的应关注的区域即关注区域(关心区域)及有无应关注的对象中的任一个或两者的分析结果存储于存储部207(记录装置)。在该情况下，图像处理部204(医疗图像分析处理部、医疗图像分析结果获取部)能够从存储部207获取这些分析结果并显示于显示器400。
＜显示装置的结构＞
显示器400(显示装置)通过经由操作部208的操作及CPU210和/或图像处理部204的控制显示摄影图像(医用图像)、摄影条件设定画面、显示条件设定画面、第1检测信息及第2检测信息等(参考图9～11等)。并且，显示器400具有用于进行摄影条件设定操作和/或显示条件设定操作的未图示的触摸面板。
＜诊断支持方法的处理＞
对使用了内窥镜系统10的受检体的诊断支持方法进行说明。图7、8是表示第1实施方式所涉及的诊断支持方法的处理的流程图。
＜摄影条件的设定＞
在图7、8的流程图中，在进行拍摄之前，根据用户命令进行摄影条件及显示条件的设定(步骤S100、S102)。但是，该设定也可以在拍摄中或拍摄后进行。图9是表示摄影条件设定画面的例子的图。在图9中，关于摄影条件的各选项，示出了条件名称(区域C01～C06)、设定条件的内容(区域V01～V06)及下拉用的按钮(按钮A01～A06)。设置于画面下部的按钮B01为显示条件确定用按钮，按钮B02为条件变更的取消用按钮，按钮B03为用于返回初始设定的按钮。图9的画面显示于显示器400，用户经由显示器400的触摸面板和/或操作部208的键盘和/或鼠标的操作能够设定显示条件。
区域C01、V01示出了“从所获取的图像是否检测关心区域”，能够指定经由按钮A01的“开启”(进行检测)或“关闭”(不进行检测)。当“开启”被选择时，通过图像处理部204(第2检测部204D)检测关心区域(病变区域、病变候选区域等；也称为关注区域)。区域C02、V02示出了“当检测到关心区域时，是否进行自动拍摄”，通过经由按钮A02的操作能够指定“开启”(进行自动拍摄)或“关闭”(不进行自动拍摄)。当“开启”被选择时，医用图像获取部204A(医用图像获取部)根据对关心区域的检测控制摄影光学系统130而进行拍摄。区域C03、V03示出了“从所获取的图像是否检测器材”，通过经由按钮A03的操作能够选择“开启”(进行检测)或“关闭”(不进行检测)。“器材”包含用于对受检体进行活检、切除等的处置器具(例如钳子、注射针、镊子、软管等)，能够从钳道口126插入于受检体内。并且，区域C04、V04示出了“当检测到器材时，是否自动进行拍摄”，通过经由按钮A04的选择操作能够选择“开启”(进行自动拍摄)或“关闭”(不进行自动拍摄)。当“开启”被选择时，根据基于第1检测部204C(第1检测部)的器材的检测，医用图像获取部204A控制摄影光学系统130而进行拍摄。
区域C05、V05示出了“从所获取的图像是否检测药剂”，通过经由按钮A05的操作能够选择“开启”(进行检测)或“关闭”(不进行检测)。“药剂”包含用于观察病变的形状、凹凸等的染料及染色剂。并且，区域C06、V06示出了“当检测到药剂时，是否自动进行拍摄”，通过经由按钮A06的选择操作能够选择“开启”(进行自动拍摄)或“关闭”(不进行自动拍摄)。当“开启”被选择时，根据基于第1检测部204C的药剂的检测，医用图像获取部204A控制摄影光学系统130而进行拍摄。
通过经由这种设定画面而设定条件，能够在所期望的条件下进行拍摄，因此用户能够有效地进行诊断及报告单创建等。另外，图9中的条件设定为一例，也可以进行条件的追加或删除及内容的变更。
＜显示条件的设定＞
图10是表示一览显示条件设定画面的例子的图。区域C07、V07示出了检测到的药剂的显示方式，通过经由按钮A07的选择操作能够指定名称的文字显示及记号显示等。区域C08、V08示出了检测到的器材的显示方式，通过经由按钮A08的选择操作能够指定名称显示及手技名称显示等。区域C09、V09示出了检测到关心区域的图像的识别显示方式，通过经由按钮A09的选择操作能够指定框(图形)赋予、文字和/或数字赋予及色彩赋予等。区域C10、V10示出了“是否仅显示检测到关心区域的图像”，通过经由按钮A10的选择操作能够指定“开启”或“关闭”。区域C11、V11示出了“是否按药剂的每个种类显示图像”，通过经由按钮A11的选择操作能够指定“开启”或“关闭”。区域C12、V12示出了“是否仅显示对特定种类的药剂的图像”，通过经由按钮A12的选择操作能够指定“开启”或“关闭”。
通过经由这种设定画面而设定条件，能够在所期望的条件下显示图像，因此用户能够有效地进行诊断及报告单创建等。
若在步骤S100、S102中结束摄影条件及显示条件的设定，且内窥镜主体100的插入部104插入于受检体内，则通过摄影光学系统130及图像处理部204(医用图像获取部204A)开始实时取景图像的获取及向显示器400的显示(步骤S104)。由此，用户能够观察受检体内的情况。若用户通过插入部104的插入操作及弯曲操作将前端硬质部116朝向所期望的方向并操作摄影按钮BT4，则医用图像获取部204A接收摄影命令操作。由此，步骤S106中的判断(有无摄影命令)得到肯定而转到步骤S108(医用图像获取工序)，并通过摄影光学系统130(医用图像摄影部、摄影装置，医疗图像获取部)及医用图像获取部204A(摄影控制部、医疗图像获取部)获取医用图像(静态图像；医疗图像、内窥镜图像)。并且，即使在不存在摄影按钮BT4的操作的情况下，当基于关心区域检测、药剂检测等的自动拍摄(参考图9)为“开启”时，只要满足设定条件，则通过医用图像获取部204A执行摄影命令(步骤S106中“是”)而拍摄医用图像(步骤S108)。在步骤S108中拍摄的图像可以是静态图像，也可以是动态图像，但以下设为拍摄静态图像来进行说明。
若在步骤S108中获取了医用图像，则将所获取的医用图像存储于存储部207。医用图像获取部204A持续进行医用图像的获取及存储，直至拍摄结束(步骤S110中“是”)，并获取多个医用图像。当拍摄结束时，医用图像获取部204A结束实时取景图像的获取及显示。
＜药剂和/或器材的检测＞
若在步骤S110为止的处理中获取了多个医用图像，则图像处理部204(第1检测部204C)通过图像识别从所获取的多个医用图像检测药剂和/或器材(步骤S112：第1检测工序)。并且，第2检测部204D(第2检测部)通过图像识别从所获取的多个医用图像检测关心区域(步骤S114：第2检测工序)。步骤S112、S114先进行哪一个步骤均可。
＜药剂的检测方法＞
步骤S112中的药剂(包含染料、染色剂)的检测例如能够使用上述的专利文献1(日本特开2016-062488号公报)中所记载的方法，并根据色调特征量进行。具体而言，图像处理部204(第1检测部204C)根据医用图像的各像素中的R(红色)、G(绿色)、B(蓝色)的像素值除掉暗部像素及晕光像素，对没有被除掉的各像素计算色调特征量(G/R、B/G)，并且按分割了医用图像的每个小块计算色调特征量的平均值。若将关于G/R的平均值设为μGR且将关于B/G的平均值设为μBG而标绘μGR、μBG，则标绘结果根据每个药剂(染料、染色剂等)表示不同的分布。因此，通过将关于检测对象药剂的标绘结果(特征量空间中的位置)与关于每个药剂的分布进行比较，能够判别所获取的医用图像中所使用的药剂。也可以预先对检测结果(例如药剂的种类、名称)建立关联使用该种类而进行的处置、手技的内容等，并且使其包含于对图像赋予的检测信息(第1检测信息)。
另外，药剂的检测也可以利用机器学习(深度学习等)的结果来进行(参考关于对关心区域的检测的后述的记载)。
＜器材的检测方法＞
步骤S112中的器材的检测也能够使用上述的专利文献1中所记载的方法来进行。具体而言，将各处置器具插入贯通于钳子通道(与钳道口126连通的未图示的管路)时的内窥镜图像设为模版图像，并且第1检测部204C对照模版图像与检查时的内窥镜图像，由此检测任一处置器具被使用。模版图像按每个处置器具准备多个钳子通道方向、突出长度及开闭状态不同的图像。并且，关于因旋转而图像上的形状发生变化的非对称形状的处置器具，准备多个旋转角度不同的图像。
为了从内窥镜图像检测处置器具，第1检测部204C从内窥镜图像检测边缘。在边缘检测用的图像中使用R图像(由红色像素的像素信号生成的图像)或G图像(由绿色像素的像素信号生成的图像)。当处置器具护套为红色时，使用G图像为佳。使用模板匹配、霍夫变换等从边缘图像内检测线段形状，对照检测到的线段形状与模版图像，并计算一致度。将一致度最高的模版图像的处置器具设为检测结果。另外，也可以预先对检测结果(例如器材的种类、名称)建立关联使用该器材进行的处置、手技的内容等，并且使其包含于对图像赋予的检测信息(第1检测信息)。
另外，器材的检测与药剂的检测相同地，也可以利用机器学习(深度学习等)的结果来进行(参考关于对关心区域的检测的后述的记载)。
＜对关心区域的检测方法＞
步骤S114中的对关心区域的检测能够通过第2检测部204D例如具备公知的CAD系统(CAD：Computer Aided Diagnosis/计算机辅助诊断)来进行。具体而言，例如根据医用图像的像素的特征量，能够提取有无关心区域(应关注的区域即关注区域)及关心区域中的对象(应关注的对象)。在该情况下，第2检测部204D将检测对象图像分割为多个矩形区域，并将所分割的各矩形区域设定为局部区域。第2检测部204D对检测对象图像的每个局部区域计算局部区域内的像素的特征量(例如色相)，并且从各局部区域中将具有特定色相的局部区域确定为关心区域。
对关心区域的检测也可以利用机器学习(深度学习等)的结果来进行。例如，当新的图像每次存储于存储部207时(或每次拍摄新的图像时)，第2检测部204D根据深度学习算法进行使用了深度学习(Deep learning)的图像分析处理，由此分析图像中是否包含关心区域。深度学习算法为公知的卷积神经网络(Convolutional neural network)方法即经卷积层及池化层的重复、全连接层及输出层而识别图像中是否包含关心区域的算法。也可以是如下方式，即，在如图9所示的条件设定画面中能够设定“是否进行这种机器学习”和/或“是否利用学习结果”。
另外，在步骤S114中，能够将关心区域的种类、数量、形状、大小等设为检测对象。并且，在图7中，对所有图像的拍摄结束(步骤S110中“是”)之后进行对药剂和/或器材及关心区域的检测，但也可以每次拍摄图像(步骤S108及步骤S110之间)时进行对药剂和/或器材及关心区域的检测。
＜检测信息的赋予＞
若在步骤S112、S114中检测到药剂和/或器材、关心区域，则图像处理部204(第1检测信息赋予部204E、第2检测信息赋予部204F)根据检测结果对摄影图像赋予第1、第2检测信息(步骤S116：第1检测信息赋予工序、第2检测信息赋予工序)。参考图11对检测信息的赋予进行说明。
第1检测信息赋予部204E(第1检测信息赋予部)判断第1检测部204C是否检测到药剂和/或器材(步骤S116-1)。当检测到药剂和/或器材时(步骤S116-1中“是”)，第1检测信息赋予部204E将表示药剂和/或器材的第1检测信息(第1检测信息207B)赋予给检测到药剂和/或器材的图像(医用图像)(步骤S116-2)，并转到步骤S116-3。当未检测到药剂和/或器材时(步骤S116-1中“否”)，第1检测信息赋予部204E并不赋予第1检测信息而转到步骤S116-3。
在步骤S116-3中，第2检测信息赋予部204F(第2检测信息赋予部)判断第2检测部204D是否检测到关心区域。当检测到关心区域时(步骤S116-3中“是”)，第2检测信息赋予部204F将表示关心区域的第2检测信息(第2检测信息207C)赋予给检测到关心区域的图像(医用图像)(步骤S116-4)，并转到步骤S116-5。当未检测到关心区域时(步骤S116-3中“否”)，第2检测信息赋予部204F并不赋予第2检测信息而转到步骤S116-5。在步骤S116-5中，第1检测信息赋予部204E及第2检测信息赋予部204F判断对所有图像是否结束了处理，若处理结束(步骤S116-5中“是”)，则返回图7、8的流程图(图8的步骤S118)。当处理尚未结束时(步骤S116-5中“否”)，返回步骤S116-1。
在上述步骤中，第1检测信息赋予部204E例如能够将药剂和/或器材的种类、名称及使用检测到的药剂和/或器材进行的手技的内容作为第1检测信息来赋予。并且，第2检测信息赋予部204F例如能够将关心区域的种类(病变、病变候选等)、大小及形状作为第2检测信息来赋予。
＜医用图像的一览显示＞
若对第1、第2检测信息的处理结束，则显示控制部204B(显示控制部)将摄影图像(多个医用图像)一览显示于显示器400(步骤S118：显示控制工序)。与关于图9的上述摄影条件的设定相同地，一览显示的条件的设定能够经由图10所示的显示条件设定画面进行。用户通过操作部208进行显示条件设定操作，并根据该操作，显示控制部204B设定显示条件。显示条件的设定可以是拍摄前、拍摄中及拍摄后中的任一个。另外，图10所示的选项及内容为显示条件的一例，也可以采用其他选项及内容。
＜一览显示的方式1＞
图12是表示一览显示的方式1的图。在方式1中，将在步骤S116中赋予的第1、第2检测信息以文字和/或记号来赋予而将图像一览显示于显示器400(显示装置)。具体而言，在图12的(a)部分所示的例子中，将第1检测信息(药剂的名称、手技的内容)作为文字信息对图像赋予，图12的(b)部分所示的例子将第1检测信息作为记号对与(a)部分相同的图像赋予。根据内容，对这些文字及记号可以标注不同的数字及颜色。这种图像的显示控制由显示控制部204B进行。
另外，在图12中标注了双重线的框线(对第2检测信息进行图形显示的例子)的图像表示检测到关心区域(关心区域ROI)的图像。并且，图12的(a)部分及(b)部分的右上角的图像为未检测到关心区域而未标注框线的图像，右下角的图像为检测到关心区域ROI及钳子FR的图像。通过识别显示检测到关心区域的图像，能够向用户提示有用的信息(所显示的图像为确认必要性高的图像)，从而用户能够有效地进行诊断及报告单创建等。另外，按钮B04为用于显示在所显示的图像之前拍摄的图像的按钮，按钮B05为用于显示在所显示的图像之后拍摄的图像的按钮。
＜一览显示的方式2＞
在方式2中，显示控制部204B以与药剂和/或器材的特征相应的配置将图像(多个医用图像)一览显示于显示器400。例如，当为与图12相同的图像时，在方式2中，如图13所示，根据药剂和/或器材的种类，将图像的显示位置分为区域R1～R4。并且，在进行显示时，根据所属的图像的数量变更显示位置(将图像数量多的种类显示于上方)。
＜一览显示的方式3＞
在方式3中，根据用户的操作指定所显示的图像的特征(药剂和/或器材的种类、手技的内容、有无关心区域等)，显示控制部204B仅一览显示具有所指定的特征的图像。具体而言，用户经由操作部208的键盘和/或鼠标及显示器400的触摸面板进行特征指定的操作，按照该操作指定特征指定部204G(特征指定部)所显示的图像的特征，根据所指定的特征，显示控制部204B将图像一览显示于显示器400。图14是基于方式3的显示的例子。图14的(a)部分示出了仅一览显示“无处置”的图像的情况，所指定的图像的特征(“无处置”)示于画面左上角的区域R5。并且，在画面右下角显示有用于显示其他种类(“活检图像”)的图像的按钮B06，若用户经由操作部208操作按钮B06，则作为图像的特征指定“活检”而如图14的(b)部分仅一览显示活检图像。相应于此，显示控制部204B将一览显示于区域R5的图像的种类变更为“活检”，并且将按钮B06的显示变更为其他特征(在该情况下，为“切除”)。
＜一览显示的方式4＞
在方式4中，显示控制部204B仅一览显示检测到关心区域的图像。在进行显示时，根据关心区域的特征(例如，大小)变更显示位置。具体而言，如图15的例子所示，根据关心区域的大小(在图15的例子中，“5mm以上”及“3mm以上且小于5mm”)仅一览显示检测到关心区域的图像。一览显示的关心区域的大小的设定例如能够经由图16所示的画面(显示检测到已核对的种类的大小的关心区域的图像；黑色圆点标记表示已核对的种类)进行。关心区域的大小能够由第2检测部204D根据摄影条件(摄影倍率、关心区域的像素数等)等进行计算，但代替第2检测部204D中的大小计算或附加，也可以将大小测量用的标度或标识与图像一同显示。
＜指定图像的保存＞
若步骤S118中的图像的一览显示结束，则图像处理部204(存储控制部204H)判断是否存在保存图像的指定(图8的步骤S120)。如图17的例子所示，该判断能够通过对一览显示的图像i1～i6设置核对框CB并且存储控制部204H判断在按钮B07被操作的时刻是否存在已核对的图像来进行。另外，按钮B08为取消按钮。存储控制部204H将对核对框CB打勾的图像(在图17的例子中，为图像i1、i3、i4、i5、i6)作为指定图像207D保存于存储部207(步骤S122)。这些图像例如能够附加(建立关联)于诊断报告单的雏形，由此能够有效地进行报告单创建。
另外，存储控制部204H将在步骤S116中赋予的第1、第2检测信息分别作为第1检测信息207B及第2检测信息207C与指定图像207D建立关联并存储于存储部207(步骤S122；参考图5)。此时，存储控制部204H将指定图像207D与第1检测信息207B及第2检测信息207C建立关联的信息作为建立关联信息207E(参考图5、6)存储于存储部207。
若保存了指定图像，则CPU210及图像处理部204判断是否结束处理(步骤S124)。若为“是”，则结束处理，若为“否”，则返回步骤S104的开始显示实时取景图像。
＜摄影及显示的其他方式＞
对医用图像的摄影及显示的其他方式进行说明。以下进行说明的方式根据经由摄影条件设定画面(图9)及显示条件设定画面(图10)的设定来执行。
＜与关心区域等的检测相应的自动拍摄＞
在图9的摄影条件设定画面中，当“关心区域检测”(区域V01)及“关心区域检测时的自动拍摄”(区域V02)为“开启”时，执行关心区域的检测及检测时的自动拍摄。具体而言，若第2检测部204D从帧图像(由多个帧图像构成的实时取景图像或记录用动态图像的帧图像)检测到关心区域(图18的步骤S105-1中“是”)，则通过摄影光学系统130及医用图像获取部204A获取医用图像(步骤S108)。通过显示控制部204B能够以上述图15的方式一览显示通过对关心区域的检测被自动拍摄的图像。对关心区域(病变候选等)的检测在步骤S114中能够与上述的方式相同地进行。
关于对药剂和/或器材的检测及与检测相应的自动拍摄，也与关心区域的情况相同地，根据经由图9的摄影条件设定画面的条件设定(区域V03～V06设为“开启”)执行，并且能够显示图像。
根据进行与这种对关心区域、药剂和/或器材的检测相应的自动拍摄的方式，用户能够轻松地获取并显示适合于诊断的图像，由此能够有效地进行报告单创建。
＜与动态图像摄影并行的静态图像摄影＞
在上述方式中，在图7、8所示的流程图中，对获取并显示实时取景图像(步骤S104)并且根据用户的命令拍摄静态图像(步骤S106、S108)的情况进行了说明，但图像的拍摄并不限定于这种方式。也可以拍摄动态图像的同时根据用户的命令拍摄静态图像。具体而言，例如，如图19的流程图所示，在步骤S104中的开始显示实时取景图像之后，根据经由操作部208和/或摄影按钮BT4的动态图像摄影命令(步骤S105-2中“是”)，医用图像获取部204A开始动态图像摄影(步骤S105-3)。并且，医用图像获取部204A根据经由操作部208和/或摄影按钮BT4的静止图像摄影命令(步骤S105-4中“是”)拍摄静态图像(步骤S105-5)，并且重复步骤S105-4、S105-5的处理，直至静态图像及动态图像摄影结束(步骤S105-6中“是”)。若静态图像及动态图像摄影结束(步骤S105-6中“是”)，则转到图7的步骤S112。根据这种方式，能够拍摄用于连续观察的动态图像，并且尤其在应关注的状况下能够拍摄静态图像。
如以上进行的说明，根据第1实施方式，能够向用户提示有用的信息(检测信息)，从而用户能够有效地进行诊断及报告单创建等。
＜第2实施方式＞
在上述的第1实施方式中，对实际上检测到药剂和/或器材及关心区域的图像赋予第1、第2检测信息(参考图11)，但在第2实施方式中，当满足条件时，对实际上未检测到药剂和/或器材的图像也赋予第1检测信息。以下，对这种第2实施方式中的检测信息的赋予进行说明。另外，第2实施方式中的内窥镜系统的结构的不同点在于图像处理部204具备关心区域判定部204I(关心区域判定部；参考图20)，但关于其他要件与第1实施方式相同，因此对相同的要件标注相同的参考符号并省略说明。
＜基于与其他一览显示图像的比较的检测信息赋予(方式1)＞
当实际上仅对映出药剂和/或器材的图像赋予第1检测信息时，无法因对病变部(关心区域)注入药剂之前及处置之前等拍摄而没有映出药剂和/或器材的图像赋予检测信息。然而，优选设为虽然是没有映出这种药剂和/或器材的图像，但也能够掌握“是与对关心区域的处置相关联的图像”。因此，在方式1中，对一览显示的多个图像进行“是否映出与检测到药剂和/或器材的图像中所包含的关心区域相同的关心区域”的判定，当为映出相同的关心区域的图像时，即便未检测到药剂和/或器材也赋予第1检测信息。图像的一览显示根据如此赋予的第1检测信息进行。因此，根据方式1，用户即便是没有映出药剂和/或器材的图像，但也能够掌握“是与对关心区域的处置相关联的图像”。
图21是表示第2实施方式(方式1)中的检测信息的赋予(相当于图7的步骤S116)的详细内容的流程图。第1检测信息赋予部204E在对象图像(构成一览显示的多个医用图像的各图像；检测信息赋予的判断对象)中判断第1检测部204C是否检测到药剂和/或器材(步骤S116-6)。该判断能够根据步骤S112的结果来进行。当检测到药剂和/或器材时(步骤S116-6中“是”)，转到步骤S116-7，第2检测信息赋予部204F判断第2检测部204D是否从对象图像检测到关心区域。该判断能够根据步骤S114的结果来进行。当还检测到关心区域时(步骤S116-7中“是”)，第1检测信息赋予部204E将表示药剂和/或器材的第1检测信息(第1检测信息207B)赋予给对象图像(步骤S116-8)。
并且，在步骤S116-8中，第2检测信息赋予部204F将表示关心区域的第2检测信息(第2检测信息207C)赋予给对象图像。当从对象图像检测到药剂和/或器材但未检测到关心区域时(步骤S116-7中“否”)，通过第1检测信息赋予部204E仅赋予第1检测信息(步骤S116-9)。在上述步骤中，第1检测信息赋予部204E例如能够将药剂和/或器材的种类、名称及使用检测到的药剂和/或器材进行的手技的内容作为第1检测信息来赋予。并且，第2检测信息赋予部204F例如能够将关心区域的种类(病变、病变候选等)、大小及形状作为第2检测信息来赋予。
另一方面，当从对象图像未检测到药剂和/或器材时(步骤S116-6中“否”)，第2检测信息赋予部204F也判断第2检测部204D是否检测到关心区域(步骤S116-10)。该判断能够根据步骤S114的结果来进行。当检测到关心区域时(步骤S116-10中“是”)，即从对象图像未检测到药剂和/或器材但检测到关心区域时，转到步骤S116-11。在步骤S116-11中，判断“与对象图像中所包含的关心区域相同的关心区域是否包含于一览显示的多个医用图像中的其他图像且检测到药剂和/或器材的图像(比较图像)”。关心区域判定部204I例如根据图像的相似度、图像的特征量、各图像的摄像时间的信息、图像之间的移动矢量及这些判断基准的复合能够进行步骤S116-11中的对关心区域的一致性的判断。并且，根据步骤S112的结果能够判断在比较图像中是否检测到药剂和/或器材。
当相同的关心区域包含于其他图像(比较图像)时(步骤S116-11中“是”)，第2检测信息赋予部204F赋予第2检测信息，而且第1检测信息赋予部204E将第1检测信息赋予给对象图像(步骤S116-12)。赋予给对象图像的第1检测信息可以与比较图像完全相同，也可以改变成能够识别为考虑关心区域的一致性而赋予的信息。例如，能够标注如“活检器材：待检测”那样的检测信息。将步骤S116-11、12中的检测信息赋予的情况示于图22中。在图22所示的例子中，从图像i7(比较图像)检测到活检器材，从图像i8(对象图像)未检测到活检器材，但图像i8中所包含的关心区域与图像i7中所包含的关心区域相同，因此对图像i8赋予“活检器材：检测”的检测信息(第1检测信息)。相同地，当从比较图像检测到药剂时，第1检测信息赋予部204E也将第1检测信息(例如，“甲基紫：检测”、“甲基紫：待检测”)赋予给对象图像。
若对一个图像的处理结束，则第1检测信息赋予部204E及第2检测信息赋予部204F在步骤S116-15中判断对所有图像(所有一览显示的多个图像)是否结束了处理，若处理结束(步骤S116-15中“是”)，则返回图8的流程图(步骤S118)。当处理尚未结束时(步骤S116-15中“否”)，返回步骤S116-6。
如此，在第2实施方式(方式1)中，对“实际上没有映出药剂和/或器材，但包含与检测到药剂和/或器材的图像(比较图像)相同的关心区域的图像(对象图像)”也赋予第1检测信息。图像的一览显示以与关于第1实施方式的如上所述的第1、第2检测信息相应的方式进行。因此，根据第2实施方式(方式1)，能够向用户提示有用的信息(即便是没有映出药剂和/或器材的图像，但也“是与对关心区域的处置相关联的图像”)。
另外，当相同的关心区域不包含于其他图像时(步骤S116-11中“否”)，通过第2检测信息赋予部204F仅表示关心区域的第2检测信息赋予给图像(步骤S116-13)。并且，在步骤S116-10中“否”的情况下，即均未检测到药剂和/或器材及关心区域的情况下，均不赋予第1检测信息及第2检测信息(步骤S116-14)。
＜基于与动态图像的帧图像比较的检测信息赋予(方式2)＞
在上述方式1中，根据在一览显示的多个图像中将一个图像与其他图像进行比较的结果赋予检测信息，但在方式2中，将一览显示的多个医用图像中所包含的每个图像(对象图像)与构成动态图像的多个帧图像且检测到药剂和/或器材的图像(比较图像)进行比较而赋予检测信息。
当对摄影图像赋予第1、第2检测信息时，存在用户没有拍摄使用药剂和/或器材的情形(映出药剂和/或器材的图像不包含于一览显示的对象即多个图像)的可能性。在该情况下，仅进行摄影图像彼此之间的比较，难以判断对象图像为与药剂和/或器材相关的图像，从而有时无法适当地赋予检测信息。因此，在方式2中，对检查中所获取的构成动态图像的多个帧图像检测药剂和/或器材，并且在检测到药剂和/或器材的帧图像(比较图像)及对象图像中进行是否映出相同的关心区域的判定。当映出相同的关心区域时，向对象图像赋予检测信息。通过如此进行处理，即便映出药剂和/或器材的图像不包含于一览显示的图像，也能够赋予表示药剂和/或器材的第1检测信息。
方式2的处理与方式1的处理相同。但是，在方式2中，代替图21的步骤S116-11中的“其他图像”，将构成动态图像的多个帧图像中所包含的图像且检测到药剂和/或器材的图像设为比较图像。与动态图像并行进行的静态图像的拍摄例如能够通过关于图19的上述方式进行。将方式2中的对象图像与比较图像的比较部分的处理示于图23(步骤S116-11a)中。根据步骤S112、S114的结果能够判断是否检测到药剂和/或器材及关心区域。在步骤S116-11a中“是”的情况下，在步骤S116-12中，除了第2检测信息以外，第1检测信息赋予部204E还附加第1检测信息。在步骤S116-12中，向对象图像赋予的第1检测信息可以与比较图像完全相同，也可以改变成能够识别为考虑关心区域的一致性而赋予的信息。例如，能够标注如“活检器材：待检测”那样的检测信息。
如此，在第2实施方式(方式2)中，对“实际上没有映出药剂和/或器材，但包含与检测到药剂和/或器材的图像(比较图像)相同的关心区域的图像(对象图像)”也赋予第1检测信息。图像的一览显示与方式1相同地以与第1、第2检测信息相应的方式进行。因此，根据方式2，能够向用户提示有用的信息(即便是没有映出药剂和/或器材的图像，但也“是与对关心区域的处置相关联的图像”)。
关于方式1、2，如上所述，在第2实施方式中也能够向用户提示有用的信息(检测信息)，从而用户能够有效地进行诊断及报告单创建等。另外，与关于第1实施方式的上述方式相同地，也可以使用机器学习(深度学习等)的结果进行对关心区域的检测及对“是否映出相同的关心区域”的判断。
(附记)
除了上述的实施方式的各方式以外，以下记载的结构也包含于本发明的范围内。
(附记1)
医疗图像处理装置中，医疗图像分析处理部根据医疗图像的像素的特征量，检测应关注的区域即关注区域，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记2)
医疗图像处理装置中，医疗图像分析处理部根据医疗图像的像素的特征量，检测有无应关注的对象，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记3)
医疗图像处理装置中，医疗图像分析结果获取部，
从记录装置获取医疗图像的分析结果，
分析结果为医疗图像中所包含的应关注的区域即关注区域及有无应关注的对象中的任一个或两者。
(附记4)
医疗图像处理装置中，医疗图像为照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的普通光图像。
(附记5)
医疗图像处理装置中，医疗图像为照射特定的波长频带的光而获得的图像，
特定的波长频带为窄于白色的波长频带的频带。
(附记6)
医疗图像处理装置中，特定的波长频带为可见区域的蓝色或绿色频带。
(附记7)
医疗图像处理装置中，特定的波长频带包含390nm以上且450nm以下或530nm以上且550nm以下的波长频带，且特定的波长频带的光在390nm以上且450nm以下或530nm以上且550nm以下的波长频带内具有峰值波长。
(附记8)
医疗图像处理装置中，特定的波长频带为可见区域的红色频带。
(附记9)
医疗图像处理装置中，特定的波长频带包含585nm以上且615nm以下或610nm以上且730nm以下的波长频带，且特定的波长频带的光在585nm以上且615nm以下或610nm以上且730nm以下的波长频带内具有峰值波长。
(附记10)
医疗图像处理装置中，特定的波长频带包含氧合血红蛋白及还原血红蛋白中的吸光系数不同的波长频带，且特定的波长频带的光在氧合血红蛋白及还原血红蛋白中的吸光系数不同的波长频带中具有峰值波长。
(附记11)
医疗图像处理装置中，特定的波长频带包含400±10nm、440±10nm、470±10nm或600nm以上且750nm以下的波长频带，且特定的波长频带的光在400±10nm、440±10nm、470±10nm或600nm以上且750nm以下的波长频带中具有峰值波长。
(附记12)
医疗图像处理装置中，医疗图像为照出活体内的活体内图像，
活体内图像具有活体内的荧光物质发射的荧光的信息。
(附记13)
医疗图像处理装置中，荧光将峰值波长为390以上且470nm以下的激励光照射于活体内而获得。
(附记14)
医疗图像处理装置中，医疗图像为照出活体内的活体内图像，
特定的波长频带为红外光的波长频带。
(附记15)
医疗图像处理装置中，特定的波长频带包含790nm以上且820nm以下或905nm以上且970nm以下的波长频带，且特定的波长频带的光在790nm以上且820nm以下或905nm以上且970nm以下的波长频带中具有峰值波长。
(附记16)
医疗图像处理装置中，医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部根据照射白色频带的光或作为白色频带的光照射多个波长频带的光，获得的普通光图像而获取具有特定的波长频带的信息的特殊光图像，
医疗图像为特殊光图像。
(附记17)
医疗图像处理装置中，特定波长频带的信号通过基于普通光图像中所包含的RGB或CMY的颜色信息的运算获得。
(附记18)
医疗图像处理装置具备特征量图像生成部，该特征量图像生成部通过基于照射白色频带的光或作为白色频带的光照射多个波长频带的光而获得的普通光图像及照射特定的波长频带的光而获得的特殊光图像中的至少一个的运算，生成特征量图像，
医疗图像为特征量图像。
(附记19)
内窥镜装置具备：附记1至18中的任一个所记载的医疗图像处理装置；及
内窥镜，照射白色的波长频带的光或特定的波长频带的光中的至少一个而获取图像。
(附记20)
诊断支持装置具备附记1至18中的任一个所记载的医疗图像处理装置。
(附记21)
医疗业务支持装置具备附记1至18中的任一个所记载的医疗图像处理装置。
以上，对本发明的实施方式及其他方式进行了说明，但本发明并不限定于上述方式，在不脱离本发明的精神的范围内，能够进行各种变形。
符号说明
10-内窥镜系统，100-内窥镜主体，102-手持操作部，104-插入部，106-通用电缆，108-光导件连接器，112-软性部，114-弯曲部，116-前端硬质部，116A-前端侧端面，123-照明部，123A-照明用透镜，123B-照明用透镜，126-钳道口，130-摄影光学系统，132-摄影透镜，134-摄像元件，136-驱动电路，138-AFE，170-光导件，200-处理器，202-图像输入控制器，204-图像处理部，204A-医用图像获取部，204B-显示控制部，204C-第1检测部，204D-第2检测部，204E-第1检测信息赋予部，204F-第2检测信息赋予部，204G-特征指定部，204H-存储控制部，204I-关心区域判定部，205-图像输入接口，206-视频输出部，207-存储部，207A-摄影图像，207B-第1检测信息，207C-第2检测信息，207D-指定图像，207E-建立关联信息，208-操作部，209-声音处理部，209A-扬声器，210-CPU，211-ROM，212-RAM，300-光源装置，310-光源，310A-可见光源，310B-红外光源，330-光圈，340-聚光透镜，350-光源控制部，400-显示器，A01-按钮，A02-按钮，A03-按钮，A04-按钮，A05-按钮，A06-按钮，A07-按钮，A08-按钮，A09-按钮，A10-按钮，A11-按钮，A12-按钮，B01-按钮，B02-按钮，B03-按钮，B04-按钮，B05-按钮，B06-按钮，B07-按钮，B08-按钮，BT1-送气送水按钮，BT2-吸引钮，BT3-功能按钮，BT4-摄影按钮，C01-区域，C02-区域，C03-区域，C04-区域，C05-区域，C06-区域，C07-区域，C08-区域，C09-区域，C10-区域，C11-区域，C12-区域，CB-核对框，FR-钳子，R1-区域，R2-区域，R3-区域，R4-区域，R5-区域，ROI-关心区域，S100～S124-诊断支持方法的各步骤，V01-区域，V02-区域，V03-区域，V04-区域，V05-区域，V06-区域，V07-区域，V08-区域，V09-区域，V10-区域，V11-区域，V12-区域，i1-图像，i2-图像，i3-图像，i4-图像，i5-图像，i6-图像，i7-图像，i8-图像。

Claims (13)

1.一种诊断支持系统，其具备：
医用图像获取部，其获取多个医用图像；
显示控制部，其将所述多个医用图像一览显示于显示装置；
第1检测部，其通过图像识别，从所述多个医用图像检测拍摄所述多个医用图像时所使用的药剂和/或器材；
第2检测部，其通过图像识别来检测所述多个医用图像中的关心区域；
第1检测信息赋予部，其将表示所述检测到的所述药剂和/或器材的第1检测信息赋予给检测到所述药剂和/或器材的医用图像；以及
第2检测信息赋予部，其将表示所述检测到的所述关心区域的第2检测信息赋予给检测到所述关心区域的医用图像，
所述显示控制部以与所述第1检测信息以及所述第2检测信息相应的方式一览显示所述多个医用图像，
该诊断支持系统还具备关心区域判定部，该关心区域判定部判定与作为所述多个医用图像中的图像的对象图像中所包含的关心区域相同的关心区域是否被包含于比较图像，其中，该比较图像是所述多个医用图像中的其他医用图像、且是检测到所述药剂和/或器材的医用图像，
在所述比较图像中包含所述相同的关心区域的情况下，即使从所述对象图像未检测到所述药剂和/或器材的情况下，所述第1检测信息赋予部也对所述对象图像赋予所述第1检测信息。
2.根据权利要求1所述的诊断支持系统，其中，
所述医用图像获取部获取由多个帧图像构成的动态图像，
所述第2检测部通过图像识别从所述多个帧图像检测所述关心区域，
所述诊断支持系统还具备关心区域判定部，该关心区域判定部判定与作为所述多个医用图像中的图像的对象图像中所包含的关心区域相同的关心区域是否被包含于比较图像中，其中，比较图像是所述多个帧图像中所包含的图像、且是检测到所述药剂和/或器材的图像，
在所述比较图像中包含所述相同的关心区域的情况下，即使从所述对象图像未检测到所述药剂和/或器材的情况下，所述第1检测信息赋予部也对所述对象图像赋予所述第1检测信息。
3.根据权利要求1或2所述的诊断支持系统，其中，
根据用户的摄影指示操作，所述医用图像获取部获取构成所述多个医用图像的医用图像。
4.根据权利要求1或2所述的诊断支持系统，其中，
根据所述药剂和/或器材的检测，所述医用图像获取部获取所述多个医用图像。
5.根据权利要求1或2所述的诊断支持系统，其中，
根据所述关心区域的检测，所述医用图像获取部获取所述多个医用图像。
6.根据权利要求或2所述的诊断支持系统，其中，
所述显示控制部仅一览显示检测到所述关心区域的医用图像。
7.根据权利要求或2所述的诊断支持系统，其中，
所述显示控制部与所述第1检测信息相应地对检测到所述药剂和/或器材的医用图像标注文字、数字、记号及色彩中的至少一个，与所述第2检测信息相应地对检测到所述关心区域的医用图像标注文字、数字、记号及色彩中的至少一个而一览显示所述多个医用图像。
8.根据权利要求1或2所述的诊断支持系统，其中，
所述显示控制部以与所述药剂和/或器材的特征相应的配置来一览显示所述多个医用图像。
9.根据权利要求1或2所述的诊断支持系统，其中，
所述显示控制部以与所述关心区域的特征相应的配置来一览显示所述多个医用图像。
10.根据权利要求1或2所述的诊断支持系统，其中，
该诊断支持系统还具备特征指定部，该特征指定部指定所述药剂和/或器材的特征，
所述显示控制部仅一览显示检测到具有所述指定的特征的所述药剂和/或器材的医用图像。
11.一种内窥镜系统，其具备：
权利要求1至10中任意一项所述的诊断支持系统；
所述显示装置；以及
内窥镜，其具有：插入部，其被插入于受检体，该插入部具有前端硬质部、与所述前端硬质部的基端侧连接的弯曲部、以及与所述弯曲部的基端侧连接的软性部；操作部，其与所述插入部的基端侧连接；以及摄像部，其具备使被摄体的光学像成像的摄影透镜以及所述光学像被成像的摄像元件，所述摄影透镜设置于所述前端硬质部，
所述医用图像获取部通过所述摄像部获取所述多个医用图像。
12.一种处理器，其是权利要求11所述的内窥镜系统的处理器，
所述处理器具备所述显示控制部、所述第1检测部、所述第2检测部、所述第1检测信息赋予部以及所述第2检测信息赋予部。
13.一种诊断支持方法，其中，该诊断支持方法具备以下工序：
医用图像获取工序，获取多个医用图像；
显示控制工序，将所述多个医用图像一览显示于显示装置；
第1检测工序，通过图像识别，从所述多个医用图像检测拍摄所述多个医用图像时所使用的药剂和/或器材；
第2检测工序，通过图像识别来检测所述多个医用图像中的关心区域；
第1检测信息赋予工序，将表示所述检测到的所述药剂和/或器材的第1检测信息赋予给检测到所述药剂和/或器材的医用图像；以及
第2检测信息赋予工序，将表示所述检测到的所述关心区域的第2检测信息赋予给检测到所述关心区域的医用图像，
在所述显示控制工序中，以与所述第1检测信息以及所述第2检测信息相应的方式一览显示所述多个医用图像，
该诊断支持方法还具备关心区域判定该工序，在该关心区域判定工序中，判定与作为所述多个医用图像中的图像的对象图像中所包含的关心区域相同的关心区域是否被包含于比较图像，其中，该比较图像是所述多个医用图像中的其他医用图像、且是检测到所述药剂和/或器材的医用图像，
在所述第1检测信息赋予工序中，在所述比较图像中包含所述相同的关心区域的情况下，即使从所述对象图像未检测到所述药剂和/或器材的情况下，也对所述对象图像赋予所述第1检测信息。
CN201880057372.4A 2017-09-07 2018-07-09 诊断支持系统、内窥镜系统、处理器及诊断支持方法 Active CN111065314B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-172325 2017-09-07
JP2017172325 2017-09-07
PCT/JP2018/025873 WO2019049503A1 (ja) 2017-09-07 2018-07-09 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法

Publications (2)

Publication Number Publication Date
CN111065314A CN111065314A (zh) 2020-04-24
CN111065314B true CN111065314B (zh) 2022-06-07

Family

ID=65634781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057372.4A Active CN111065314B (zh) 2017-09-07 2018-07-09 诊断支持系统、内窥镜系统、处理器及诊断支持方法

Country Status (5)

Country Link
US (1) US11398033B2 (zh)
EP (1) EP3679853A4 (zh)
JP (1) JP7091349B2 (zh)
CN (1) CN111065314B (zh)
WO (1) WO2019049503A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7373335B2 (ja) * 2019-09-18 2023-11-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
US11759110B2 (en) * 2019-11-18 2023-09-19 Koninklijke Philips N.V. Camera view and screen scraping for information extraction from imaging scanner consoles
WO2023149013A1 (ja) * 2022-02-01 2023-08-10 富士フイルム株式会社 医療支援装置、内視鏡装置、医療支援方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101043843A (zh) * 2004-06-30 2007-09-26 詹姆士·V·西茨曼 用于微创手术和其它内部处置的医疗装置
JP2016062488A (ja) * 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム
JP5985084B2 (ja) * 2014-06-19 2016-09-06 オリンパス株式会社 内視鏡プロセッサ
JP2017086685A (ja) * 2015-11-13 2017-05-25 オリンパス株式会社 内視鏡業務支援システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1780651A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
CN101686799B (zh) * 2007-07-12 2012-08-22 奥林巴斯医疗株式会社 图像处理装置以及图像处理装置的动作方法
US9147174B2 (en) * 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
WO2012107041A1 (de) * 2011-02-11 2012-08-16 Olaf Christiansen Endoskopisches bildverarbeitungssystem mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische vermessungsinformation erzeugen
CN103140160B (zh) 2011-03-30 2015-06-17 奥林巴斯医疗株式会社 图像管理装置、图像管理装置的工作方法以及胶囊型内窥镜系统
CN105142493A (zh) * 2013-08-30 2015-12-09 奥林巴斯株式会社 图像管理装置
WO2015037340A1 (ja) * 2013-09-10 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP6192602B2 (ja) 2014-06-25 2017-09-06 オリンパス株式会社 画像記録装置
JP6243311B2 (ja) 2014-09-30 2017-12-06 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6373773B2 (ja) 2015-02-27 2018-08-15 オリンパス株式会社 内視鏡業務支援システム
CN114019990A (zh) * 2016-02-24 2022-02-08 深圳市大疆创新科技有限公司 用于控制可移动物体的系统和方法
WO2018211590A1 (ja) * 2017-05-16 2018-11-22 オリンパス株式会社 内視鏡のための画像処理装置及び内視鏡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101043843A (zh) * 2004-06-30 2007-09-26 詹姆士·V·西茨曼 用于微创手术和其它内部处置的医疗装置
JP5985084B2 (ja) * 2014-06-19 2016-09-06 オリンパス株式会社 内視鏡プロセッサ
JP2016062488A (ja) * 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム
JP2017086685A (ja) * 2015-11-13 2017-05-25 オリンパス株式会社 内視鏡業務支援システム

Also Published As

Publication number Publication date
WO2019049503A1 (ja) 2019-03-14
CN111065314A (zh) 2020-04-24
US20200193602A1 (en) 2020-06-18
EP3679853A1 (en) 2020-07-15
US11398033B2 (en) 2022-07-26
EP3679853A4 (en) 2020-10-14
JPWO2019049503A1 (ja) 2020-10-15
JP7091349B2 (ja) 2022-06-27

Similar Documents

Publication Publication Date Title
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
US11950760B2 (en) Endoscope apparatus, endoscope operation method, and program
JP6907324B2 (ja) 診断支援システム、内視鏡システム及び診断支援方法
WO2019087790A1 (ja) 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
CN111065314B (zh) 诊断支持系统、内窥镜系统、处理器及诊断支持方法
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US11957299B2 (en) Endoscope image processing apparatus, endoscope image processing method, and program
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN117481579A (zh) 内窥镜系统及其工作方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
JP2003164414A (ja) 蛍光診断画像表示方法および表示装置
CN116234487A (zh) 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序
CN115066196A (zh) 医用图像处理装置、内窥镜系统、医用图像处理方法及程序
CN114554937A (zh) 内窥镜系统、控制程序及显示方法
WO2022181748A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
CN116887745A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant