CN116887745A - 医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序 - Google Patents

医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序 Download PDF

Info

Publication number
CN116887745A
CN116887745A CN202280016305.4A CN202280016305A CN116887745A CN 116887745 A CN116887745 A CN 116887745A CN 202280016305 A CN202280016305 A CN 202280016305A CN 116887745 A CN116887745 A CN 116887745A
Authority
CN
China
Prior art keywords
region
interest
medical image
image processing
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280016305.4A
Other languages
English (en)
Inventor
加门骏平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116887745A publication Critical patent/CN116887745A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)

Abstract

本发明的目的在于提供一种能够减小关注区域漏看的可能性并且抑制不必要的语音输出的医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序。本发明的一方式所涉及的医疗图像处理装置具备处理器，其中，处理器执行：图像获取处理，获取时间序列的医疗图像；关注区域检测处理，从获取的医疗图像中检测关注区域；显示控制处理，使显示装置显示医疗图像；第一通知处理，当通过关注区域检测处理检测到关注区域时，使显示装置重叠显示医疗图像和与检测到的关注区域相关的信息；以及第二通知处理，当通过关注区域检测处理检测到关注区域时，从语音输出装置输出语音，比第一通知处理靠后执行第二通知处理。

Description

医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图 像处理程序
技术领域
本发明涉及医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序，特别是涉及通知关注区域的检测结果的技术。
背景技术
作为医生等用户进行医疗图像的观察或诊断时的辅助，已知有通知医疗图像处理装置对关注区域的检测结果的技术。例如，在专利文献1中记载有通过选自多个关注区域检测部之内的关注区域检测部检测关注区域并通知(显示)其结果的技术。另外，在专利文献2中记载有用语音通知检测结果或鉴别结果的技术。
以往技术文献
专利文献
专利文献1：WO17/081976号公报
专利文献2：日本特开2020-69300号公报
发明内容
发明要解决的技术课题
在通过AI(Artificial Intelligence：人工智能)等从如内窥镜图像或超声波图像那样的医疗图像中检测以病变为首的关注区域并通知给用户的情况下，为了防止病变的漏看，要求立即通知检测对象。但是，在AI进行的自动检测中可能产生假阳性，在该情况下，存在进行错误通知且用户感到烦琐这样的问题。特别是当频繁地错误输出基于语音的通知时，与基于显示的通知的情况相比，存在用户感到更加烦琐的趋势。但是，在如上述的专利文献1、2那样的以往技术中，难以减小关注区域漏看的可能性并且抑制不必要的语音输出。
本发明是鉴于这样的情况而完成的，其目的在于提供能够减小关注区域漏看的可能性并且抑制不必要的语音输出的医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序。
用于解决技术课题的手段
为了实现上述目的，本发明的第一方式所涉及的医疗图像处理装置具备处理器，其中，处理器执行：图像获取处理，获取时间序列的医疗图像；关注区域检测处理，从获取的医疗图像中检测关注区域；显示控制处理，使显示装置显示医疗图像；第一通知处理，当通过关注区域检测处理检测到关注区域时，使显示装置重叠显示医疗图像和与检测到的关注区域相关的信息；第二通知处理，当通过关注区域检测处理检测到关注区域时，从语音输出装置输出语音，比第一通知处理靠后执行第二通知处理。
在第一方所涉及的医疗图像处理装置中，处理器在检测到关注区域时进行第一通知处理(向显示装置的显示)。由此，获得防止关注区域漏看的效果。此外，从防止漏看的观点来看，优选的是，处理器在检测到关注区域时即刻(以尽可能短的延迟)进行第一通知处理，但容许伴随装置中的处理的必然的延迟、医疗图像的获取是间歇性的而引起的延迟。
在关注区域的检测中，假阳性处于多为瞬时发生、很少持续发生的趋势。因此，如果抑制瞬时检测到关注区域时的语音输出，则能够减轻用户因假阳性引起的语音输出而感到烦琐的程度。在第一实施方式中，从这样的观点来看，处理器比第一通知处理靠后执行输出语音的第二通知处理。即，处理器在第一通知处理(画面显示)之后的期间中即使检测到关注区域也不进行语音输出，因此抑制了该期间的基于瞬时假阳性的语音输出。
处理器(医疗图像处理装置)可以根据用户的指定来设定“以何种程度延迟第二通知(延迟时间或者待机时间)”，也可以不根据用户的指定来设定。用户可考虑基于假阳性的语音输出的抑制程度和基于语音的通知力的平衡，指定延迟时间。
根据第一方式所涉及的医疗图像处理装置，通过这样的第一、第二通知处理，能够减小关注区域漏看的可能性，并且抑制不必要的语音输出(基于瞬时假阳性的语音输出)。
此外，在第一方式及以下各方式中，“时间序列的医疗图像的获取”包括依次获取以确定的帧率拍摄的多个医疗图像。获取可以是实时的，也可以不是实时的。
第一方式所涉及的医疗图像处理装置例如可作为医疗图像处理系统的处理器部分来实现，但不限于这样的方式。此外，“医疗图像”是指以诊断、治疗、测量等为目的，作为对人体等生物体进行摄影、测量等的结果而获得的图像，例如可举出内窥镜图像、超声波图像、CT图像(CT：Computed Tomography)、MRI图像(MRI：Magnetic Resonance Imaging)。医疗图像也称为医用图像。另外，在第一方式及以下各方式中，“关注区域(ROI：Region ofInterest)”可以是医疗图像中的病变区域或病变候补区域、器官或脉管、实施了处置的区域、拍到处置器具等的区域。“关注区域”有时也被称为“关心区域”。
第二方式所涉及的医疗图像处理装置在第一方式中，当在关注区域检测处理中检测到关注区域后经过第一期间之后又检测到关注区域时，处理器执行第二通知处理，当经过第一期间之后未检测到关注区域时，处理器不执行第二通知处理。当在检测到关注区域后经过第一期间之后又检测到关注区域时，可认为是持续检测，瞬时假阳性的可能性低，因此能够进行第二通知处理(语音输出)。此外，在第二方式中，处理器能够根据观察的目的或对象、或者用户的指定来设定“第一期间”的值。
第三方式所涉及的医疗图像处理装置在第一或第二方式中，处理器在第一通知处理中对应于医疗图像中的关注区域的位置重叠显示信息。第三方式具体地规定第一通知处理的方式。处理器可以将信息显示在医疗图像中的关注区域内，也可以显示在关注区域的周边。另外，处理器也可以在显示装置的显示画面中的医疗图像显示区域外显示信息。
第四方式所涉及的医疗图像处理装置在第一至第三方式中的任一方式中，处理器执行检测次数计算处理，对通过关注区域检测处理检测到的关注区域计算连续检测次数，当连续检测次数超过预先确定的次数时，执行第二通知处理。当连续检测次数超过预先确定的次数时，可认为“是持续检测，瞬时假阳性的可能性低”，因此能够如第四方式那样执行第二通知处理。处理器可以根据用户的指定来设定“预先确定的次数”，也可以不根据用户的指定来设定。
第五方式所涉及的医疗图像处理装置在第四方式中，处理器还执行：特征量保持处理，保持检测到的关注区域的特征量；相同性判定处理，通过对从在第一时刻拍摄的医疗图像中检测到的第一关注区域的特征量和从在比进行保持的第一时刻靠前的时刻即第二时刻拍摄的第二医疗图像中检测到的第二关注区域的特征量进行比较，判定第一关注区域和第二关注区域的相同性，在检测次数计算处理中，根据相同性判定处理中的判定结果，计算对于第一关注区域的连续检测次数。如第五方式所述，通过考虑关注区域的相同性来计算连续检测次数，能够更适当地进行第二通知处理。此外，“保持”可以是暂时性的记录(存储)，也可以是非暂时性的记录。另外，关于第一、第二关注区域，“特征量”例如是种类、位置、形状、大小、色彩，但不限于这些例子。
第六方式所涉及的医疗图像处理装置在第五方式中，处理器当在相同性判定处理中判断为第一关注区域和第二关注区域相同时，在检测次数计算处理中，在增加对第二关注区域所记录的连续检测次数之后，作为第一关注区域的连续检测次数来计算。第六方式规定连续检测次数计算的具体方式。
第七方式所涉及的医疗图像处理装置在第五或第六方式中，处理器在相同性判定处理中，将通过特征量保持处理保持的特征量中关于直至比第一时刻早确定的期间前的时刻的特征量与第一关注区域的特征量比较，由此进行相同性的判定。在第七方式中，“比第一时刻早确定的期间前的时刻”与第五方式中的“第二时刻”相对应。该“确定的期间”可考虑计算成本的增大或相同性判定的精度降低的问题而设定。
第八方式所涉及的医疗图像处理装置在第一至第七方式中的任一方式中，处理器在第二通知处理中，使语音输出装置输出语音之后，在确定的期间不输出语音。第八方式考虑到当频繁地输出语音或持续长时间输出时用户有时感到烦琐，设置了语音输出的停止期间。处理器可以根据用户的指定来设定“确定的期间”，也可以不根据用户的指定来设定。
第九方式所涉及的医疗图像处理装置在第一至第八方式中的任一方式中，处理器在第一通知处理中，根据第二通知处理中的语音输出状态变更第一通知处理的方式。在第九方式中，例如，当进行第二通知处理时(即，持续检测到关注区域且瞬时假阳性的可能性低的情况)，处理器能够增加通过第一通知处理重叠显示的信息的识别力，通过这样的第一通知处理的方式变更，能够通知是持续性检测。另外，处理器可以与第二通知处理(语音输出)同时变更第一通知处理的方式，也可以使定时前后变更。
第十方式所涉及的医疗图像处理装置在第一至第九方式中的任一方式中，处理器在第一通知处理中将字符、图形、符号中的至少一个作为信息(与检测到的关注区域相关的信息)进行重叠显示。第十方式规定与医疗图像重叠的信息的具体方式。处理器也可以重叠显示与关注区域的特征量相应的信息。
为了实现上述目的，本发明的第十一方式所涉及的内窥镜系统具备：第一至第十方式中任一方式所述的医疗图像处理装置；内窥镜观测器，其插入受检体，具有拍摄医疗图像的摄像部；显示装置；以及语音输出装置。第十一方式所涉及的内窥镜系统具备第一至第十方式中任一方式所涉及的医疗图像处理装置，因此能够减小关注区域漏看的可能性并且抑制不必要的语音输出。此外，第十一方式所涉及的内窥镜系统也可以具备光源装置。该光源装置能够将普通光(白色光)、特殊光(窄带光等)、及它们的组合作为观察光。光源装置优选根据器官或部位、观察目的或观察对象的种类等照射波长频带不同的观察光。
为了实现上述目的，本发明的第十二方式所涉及的医疗图像处理方法由具备处理器的医疗图像处理装置来执行，其中，处理器执行：图像获取工序，获取时间序列的医疗图像；关注区域检测工序，从获取的医疗图像中检测关注区域；显示控制工序，使显示装置显示医疗图像；第一通知工序，当在关注区域检测工序中检测到关注区域时，使显示装置重叠显示医疗图像和与所检测到的关注区域相关的信息；以及第二通知工序，当在关注区域检测工序中检测到关注区域时，从语音输出装置输出语音，比第一通知工序靠后进行第二通知工序。根据第十二方式，能够与第一方式同样地减小关注区域漏看的可能性并且抑制不必要的语音输出。第十二方式所涉及的医疗图像处理方法还可以包括与第二至第十方式同样的结构。
为了实现上述目的，本发明的第十三方式所涉及的医疗图像处理程序使具备处理器的医疗图像处理装置执行医疗图像处理方法，其中，医疗图像处理方法包括：图像获取工序，获取时间序列的医疗图像；关注区域检测工序，从获取的医疗图像中检测关注区域；显示控制工序，使显示装置显示医疗图像；第一通知工序，当在关注区域检测工序中检测到关注区域时，使显示装置重叠显示医疗图像和与检测到的关注区域相关的信息；以及第二通知工序，当在关注区域检测工序中检测到关注区域时，从语音输出装置输出语音，第二通知工序比第一通知工序靠后进行。根据第十三方式，能够与第一方式、第十二方式同样地减小关注区域漏看的可能性并且抑制不必要的语音输出。另外，第十三方式所涉及的医疗图像处理程序也可以是还执行与第二至第十方式同样的处理的程序。此外，记录有这些方式的程序的计算机可读代码的非暂时性记录介质也能够作为本发明的方式而举出。
发明效果
如上所述，根据本发明所涉及的医疗图像处理装置、内窥镜系统、医疗图像处理方法、及医疗图像处理程序，能够减小关注区域漏看的可能性并且抑制不必要的语音输出。
附图说明
图1是第一实施方式所涉及的内窥镜系统的外观图。
图2是表示内窥镜系统的主要部分结构的图。
图3是表示处理器的功能结构的框图。
图4是表示关注区域检测部的结构的图。
图5是表示检测器的层结构的例子的图。
图6是表示基于滤波器的卷积处理的情形的图。
图7是表示第一实施方式所涉及的医疗图像处理方法的次序的流程图。
图8是表示处理条件的设定画面的例子的图。
图9是表示重叠显示(第一通知处理)的例子的图。
图10是表示基于语音的通知(第二通知处理)的详情的流程图。
图11是表示语音输出的具体例(其1)的图。
图12是表示语音输出的具体例(其2)的图。
图13是表示语音输出的具体例(其3)的图。
图14是表示语音输出的具体例(其4)的图。
图15是表示语音输出的具体例(其5)的图。
图16是表示语音输出的具体例(其6)的图。
具体实施方式
下面，参照附图，对本发明所涉及的医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序的实施方式详细地进行说明。
<第一实施方式>
<内窥镜系统的结构>
图1是第一实施方式所涉及的内窥镜系统10(医疗图像处理装置、内窥镜系统)的外观图，图2是表示内窥镜系统10的主要部分结构的框图。如图1、2所示，内窥镜系统10由内窥镜观测器100(内窥镜观测器、摄像装置)、医疗图像处理部200(医疗图像处理装置、处理器)、光源装置300(光源装置)及监视器400(显示装置)构成。也可以将利用电磁波或超声波、或者磁性来判定内窥镜观测器100的状态的外部设备(判定装置)连接于内窥镜系统10。
<内窥镜观测器的结构>
内窥镜观测器100具备手边操作部102和与该手边操作部102连接设置的插入部104。施术者(用户)握持手边操作部102进行操作，将插入部104插入受检体的体内并进行观察。另外，在手边操作部102设置有供气供水按钮141、吸引按钮142、及被分配了各种功能的功能按钮143、及接受摄影指示操作(静态图像、动态图像)的摄影按钮144。插入部104从手边操作部102侧起依次由软性部112、弯曲部114、前端硬质部116构成。即，在前端硬质部116的基端侧连接有弯曲部114，在弯曲部114的基端侧连接有软性部112。在插入部104的基端侧连接有手边操作部102。用户通过操作手边操作部102，能够使弯曲部114弯曲，向上下左右改变前端硬质部116的方向。在前端硬质部116设置有摄影光学系统130、照明部123、钳道口126等(参照图1、2)。
在观察、处置时，通过操作部208(参照图2)的操作，能够从照明部123的照明用透镜123A、123B照射白色光(普通光)和/或窄带光(特殊光：例如红色窄带光、绿色窄带光、蓝色窄带光及紫色窄带光中的一种以上)。另外，通过供气供水按钮141的操作，能够从未图示的供水喷嘴放出洗净水，对摄影光学系统130的摄影透镜132(摄影透镜、摄影部)、及照明用透镜123A、123B进行清洗。与在前端硬质部116开设的钳道口126连通有未图示的管路，在该管路中插通有用于肿瘤摘除等的未图示的处置器具，适当地进退，能够实施受检体所需的处置。
如图1、2所示，在前端硬质部116的前端侧端面116A配设有摄影透镜132(摄像部)。在摄影透镜132内侧配设有CMOS(Complementary Metal-Oxide Semiconductor)型的摄像元件134(摄像元件、摄像部)、驱动电路136、AFE138(AFE：Analog Front End，摄影部)，由这些要素输出图像信号。摄像元件134是彩色摄像元件，具备由以特定的图案排列(拜耳排列、X-Trans(注册商标)排列、蜂窝排列等)配置(二维排列)成矩阵状的多个受光元件构成的多个像素。摄像元件134的各像素包括微透镜、红色(R)、绿色(G)或蓝色(B)的彩色滤波器及光电转换部(光电二极管等)。摄影光学系统130能够由红、绿、蓝这三种颜色的像素信号生成彩色图像，也能够由红、绿、蓝中任意的一种颜色或两种颜色的像素信号生成图像。此外，在第一实施方式中，对摄像元件134是CMOS型的摄像元件的情况进行说明，但摄像元件134也可以是CCD(Charge Coupled Device)型。此外，摄像元件134的各像素还可以具备与紫色光源310V对应的紫色彩色滤波器、和/或与红外光源对应的红外用滤波器。
受检体的光学像通过摄影透镜132在摄像元件134的受光面(摄像面)上成像并转换成电信号，经由未图示的信号电缆输出到医疗图像处理部200并转换为影像信号。由此，内窥镜图像被显示在与医疗图像处理部200连接的监视器400上。
另外，在前端硬质部116的前端侧端面116A，与摄影透镜132相邻设置有照明部123的照明用透镜123A、123B。在照明用透镜123A、123B内，配置有后述的光导170的射出端，该光导170插通于插入部104、手边操作部102及通用电缆106，光导170的入射端配置于光导连接器108内。
手边操作部102也可以具备记录内窥镜观测器100的个体信息(个体信息、观测器信息)的未图示的观测器信息记录部。个体信息例如为内窥镜观测器100的类型(是直视还是侧视等)、机型、个体识别号码、光学系统的特性(视角、形变等)等。处理器210(观测器信息获取部、个体信息获取部)能够获取该个体信息并将其用于医疗图像处理。此外，观测器信息记录部也可以设置于光导连接器108。
在内窥镜系统10中，通过使用上述结构的内窥镜观测器100以确定的帧率依次拍摄受检体(可通过摄像部及图像获取部220(参照图3)的控制来进行)，能够依次获取时间序列的医疗图像。用户一边将内窥镜观测器100(插入部104)插入作为受检体的生物体内或拔除，一边进行观察。
<光源装置的结构>
如图2所示，光源装置300由照明用的光源310、光圈330、聚光透镜340及光源控制部350等构成，使观察光沿光导170入射。光源310具备分别照射红色、绿色、蓝色、紫色的窄带光的红色光源310R、绿色光源310G、蓝色光源310B及紫色光源310V，能够照射红色、绿色、蓝色及紫色的窄带光。光源310形成的观察光的照度由光源控制部350控制，可根据需要变更(提高或降低)观察光的照度、及停止照明。
光源310能够将红色、绿色、蓝色及紫色的窄带光以任意的组合发出。例如，能够同时发出红色、绿色、蓝色及紫色的窄带光并将白色光(普通光)作为观察光进行照射，也能够通过发出任一种或者两种光而照射窄带光(特殊光)。光源310还可以具备照射红外光(窄带光的一例)的红外光源。另外，也可以通过照射白色光的光源和使白色光及各窄带光透过的滤波器来照射白色光或窄带光作为观察光。
<光源的波长频带>
光源310可以是产生白色频带的光、或作为白色频带的光产生多个波长频带的光的光源，也可以是产生比白色波长频带窄的特定波长频带的光的光源。特定波长频带也可以是可视范围的蓝色频带或绿色频带、或者可视范围的红色频带。当特定波长频带是可视范围的蓝色频带或绿色频带时，也可以包含390nm以上450nm以下、或530nm以上550nm以下的波长频带，且在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰值波长。另外，当特定波长频带是可视范围的红色频带时，也可以包含585nm以上615nm以下、或610nm以上730nm以下的波长频带，且特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰值波长。
上述的特定波长频带也可以包含在氧合血红蛋白和还原血红蛋白中吸光系数不同的波长频带，且在氧合血红蛋白和还原血红蛋白中吸光系数不同的波长频带具有峰值波长。在该情况下，特定波长频带也可以包含400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带，且在400±10nm、440±10nm、470±10nm或600nm以上750nm以下的波长频带具有峰值波长。
另外，光源310产生的光也可以包含790nm以上820nm以下、或905nm以上970nm以下的波长频带，且在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰值波长。
另外，光源310也可以具备照射峰值为390nm以上470nm以下的激励光的光源。在该情况下，能够获取具有受检体(生物体)内的荧光物质所发出的荧光的信息的医疗图像(医用图像、生物体内图像)。在获取荧光图像时，也可以使用荧光法用色素剂(荧光素、吖啶橙等)。
光源310的光源类型(激光光源、氙气光源、LED光源(LED：Light-Emitting Diode)等)、波长、滤波器的有无等，优选根据被摄体的种类、部位、器官、观察的目的等来构成，另外，在观察时，优选根据被摄体的种类、部位、器官、观察的目的等对观察光的波长进行组合和/或切换。在切换波长的情况下，例如，也可以通过使配置于光源的前方且设置有透过或遮住特定波长的光的滤波器的圆盘状的滤波器(旋转彩色滤波器)旋转来切换所照射的光的波长。
另外，实施本发明时所使用的摄像元件不限于像摄像元件134那样针对各像素配设有彩色滤波器的彩色摄像元件，也可以是单色摄像元件。在使用单色摄像元件的情况下，能够依次切换观察光的波长并按面顺序(颜色顺序)进行拍摄。例如，可以在(紫色、蓝色、绿色、红色)之间依次切换射出的观察光的波长，也可以照射宽带光(白色光)并利用旋转彩色滤波器(红色、绿色、蓝色、紫色等)切换射出的观察光的波长。另外，也可以照射一个或多个窄带光(绿色、蓝色、紫色等)并利用旋转彩色滤波器(绿色、蓝色、紫色等)切换射出的观察光的波长。窄带光也可以是波长不同的两个波长以上的红外光。
通过将光导连接器108(参照图1、2)与光源装置300连接，从光源装置300照射的观察光经由光导170传送至照明用透镜123A、123B，从照明用透镜123A、123B照射至观察范围。
<医疗图像处理部的结构>
基于图2对医疗图像处理部200的结构进行说明。医疗图像处理部200经由图像输入控制器202输入从内窥镜观测器100输出的图像信号，由处理器210(图像获取部220：处理器、计算机、医疗图像处理装置)进行所需的图像处理并经由视频输出部206输出。由此，在监视器400(显示装置)上显示观察图像(医疗图像、医用图像)。通信控制部205在与未图示的医院内系统(HIS：Hospital Information System)或医院内LAN(Local Area Network)、和/或外部的系统或网络之间进行通信控制。在记录部207(记录装置)记录有表示受检体的图像(内窥镜图像、医疗图像、医用图像)、部位信息、检测结果的信息等。语音处理部209通过处理器210的控制，能够从扬声器209A(语音输出装置)输出与检测结果或通知处理(第二通知处理)相关的消息(语音)。
另外，ROM211(ROM：Read Only Memory)是非易失性的存储元件(非暂时性记录介质)，存储有使处理器210执行各种图像处理方法的程序的计算机可读代码。RAM212(RAM：Random Access Memory)是进行各种处理时的临时存储用的存储元件，另外，也可用作图像获取时的缓冲器。
此外，用户能够经由操作部208进行医疗图像处理的执行指示或执行所需的条件的指定，显示控制部232(参照图3)能够使监视器400显示进行这些指示时的画面(例如，参照图8)或关注区域的检测结果等。
<处理器的功能>
图3是表示处理器210的功能结构的框图。处理器210具备图像获取部220(图像获取部)、关注区域检测部222(关注区域检测部)、检测次数计算部226(检测次数计算部)、特征量计算部228(特征量计算部)、相同性判定部230(相同性判定部)、显示控制部232(显示控制部)、第一通知部234(第一通知部)、第二通知部236(第二通知部)、记录控制部238(记录控制部)、以及通信控制部240。另外，如图4所示，关注区域检测部222具备检测器223和切换控制部224。检测器223能够由观察部位或器官、检测算法等不同的多个检测器构成，在图4所示的方式中，具备咽头用检测器223A、食管用检测器223B、胃用检测器223C及十二指肠用检测器223D。切换控制部224可以基于内窥镜图像的分析结果(部位或器官、视线方向等)切换使监视器400(显示装置)显示检测结果的检测器，也可以基于由上述的外部设备(判定装置)获取的摄像信息(表示摄像装置的位置和/或方向的信息)进行切换。此外，处理器210可以使多个检测器动作并使其显示一部分检测器的检测结果，也可以仅使显示检测结果的检测器动作。
处理器210能够利用上述的功能进行医疗图像的特征量的计算、强调或减少特定的频带分量的处理、强调特定的对象(关注区域、期望深度的血管等)或使其不明显的处理。处理器210也可以具备特殊光图像获取部，其基于照射白色频带的光或作为白色频带的光的多个波长频带的光而获得的普通光图像，获取具有特定波长频带的信息的特殊光图像。在该情况下，特定波长频带的信号可通过基于普通光图像中所含的RGB(R：红，G：绿，B：蓝)或者CMY(C：青色，M：品红，Y：黄色)的颜色信息的运算来获得。另外，处理器210也可以具备特征量图像生成部，以获取及显示作为医疗图像(医用图像)的特征量图像，所述特征量图像生成部通过基于照射白色频带的光或作为白色频带的光的多个波长频带的光而获得的普通光图像和照射特定波长频带的光而获得的特殊光图像中的至少一方的运算而生成特征量图像。
另外，也可以是，图像获取部220(处理器)获取利用与部位信息所示的部位对应的波长频带的观察光拍摄的内窥镜图像(医疗图像)作为医疗图像，显示控制部232使监视器400(显示装置)显示对利用该波长频带的观察光拍摄的医疗图像的识别结果。例如，在胃的情况下，能够将利用白色光(普通光)拍摄的图像供于检测(识别)，在食管的情况下，能够将利用BLI(Blue Laser Imaging：注册商标)等特殊光(蓝色窄带光)拍摄的图像供于检测(识别)。图像获取部220也可以根据部位来获取利用LCI(Linked Color Imaging：注册商标)等特殊光拍摄且被实施了图像处理(在LCI的情况下，扩大接近粘膜色的颜色的彩度差或色相差)的图像。
关于使用上述功能的医疗图像处理，后面叙述其详情。
<使用学习完毕模型的检测器>
上述的检测器可使用CNN(Convolutional Neural Network)、SVM(SupportVector Machine)等通过机器学习而构成的学习完毕模型(使用由拍摄生物体所得的图像构成的图像集进行学习的模型)构成。下面，对由CNN构成检测器223(咽头用检测器223A～十二指肠用检测器223D)时的层结构进行说明。
<CNN的层结构的例子>
图5是表示检测器223的层结构的例子的图。在图5的(a)部分所示的例子中，检测器223包括输入层250、中间层252以及输出层254。输入层250输入由图像获取部220获取的内窥镜图像(医疗图像)并输出特征量。中间层252包括卷积层256及池化层258，输入由输入层250输出的特征量并计算其他特征量。这些层成为多个“节点”用“边缘”连接而成的结构，保持多个权重参数。权重参数的值随着学习的进行而变化。如图5的(b)部分所示的例子，检测器223也可以包括全连接层260。检测器223的层结构不限于卷积层256和池化层258一层一层地重复的情况，也可以连续地包括多个任一层(例如，卷积层256)。另外，也可以连续地包括多个全连接层260。
<中间层中的处理>
中间层252通过卷积运算及池化处理来计算特征量。由卷积层256进行的卷积运算是通过使用滤波器的卷积运算来获取特征图的处理，承担从图像中进行边缘提取等特征提取的作用。通过使用该滤波器的卷积运算，对一个滤波器生成一个信道(一张)的“特征图”。“特征图”的尺寸通过卷积而向下缩放，随着在各层中进行卷积而变小。由池化层258进行的池化处理是将通过卷积运算输出的特征图缩小(或放大)而形成新的特征图的处理，承担赋予鲁棒性的作用，以使所提取的特征不受平行移动等带来的影响。中间层252可由进行这些处理的一个或多个层构成。
图6是表示滤波器进行的卷积处理的情形的图。在中间层252的最初(第一个)卷积层中，进行由多个医疗图像构成的图像集(在学习时为学习用图像集，在检测等识别时为识别用图像集)和滤波器F1的卷积运算。图像集由具有纵为H、横为W的图像尺寸的N张(N信道)图像构成。当输入普通光图像时，构成图像集的图像是R(红色)、G(绿色)、B(蓝色)这三个信道的图像。就与该图像集进行卷积运算的滤波器F1而言，由于图像集为N信道(N张)，因此例如在尺寸5(5×5)的滤波器的情况下，滤波器尺寸成为5×5×N的滤波器。通过使用该滤波器F1的卷积运算，对一个滤波器F1生成一个信道(一张)的“特征图”。就在第二个卷积层中使用的滤波器F2而言，例如在尺寸3(3×3)的滤波器的情况下，滤波器尺寸成为3×3×M。
与第一个卷积层同样，在第二个至第n个卷积层中进行使用滤波器F2～Fn的卷积运算。之所以第n个卷积层中的“特征图”的尺寸小于第二个卷积层中的“特征图”的尺寸，是因为被直至前段为止的卷积层或池化层向下缩放。
在中间层252的层中的接近输入侧的卷积层中，进行低阶的特征提取(边缘的提取等)，随着接近输出侧而进行高阶的特征提取(与对象物的形状、结构等相关的特征的提取)。此外，在为了测量等而进行分段的情况下，被后半部分的卷积层向上缩放，在最后的卷积层中，获得与所输入的图像集相同尺寸的“特征图”。另一方面，当进行物体检测时，输出位置信息即可，因此向上缩放不是必须的。
此外，中间层252除了卷积层256及池化层258之外，还可以包含进行批量标准化的层。批量标准化处理是以进行学习时的小批量为单位将数据的分布规范化的处理，承担快速地进行学习、降低对初始值的依赖性、抑制过度学习等作用。
<输出层中的处理>
输出层254是基于从中间层252输出的特征量进行映在所输入的医疗图像(普通光图像、特殊光图像)中的关注区域的位置检测并输出其结果的层。当进行分段时，输出层254通过从中间层252获得的“特征图”，以像素级掌握图像中所拍摄的关注区域的位置。即，能够对内窥镜图像的每个像素检测是否属于关注区域，并输出其检测结果。另一方面，当进行物体检测时，不需要像素级的判断，输出层254输出对象物的位置信息。
输出层254也可以是执行与病变相关的鉴别(分类)并输出鉴别结果的层。例如，输出层254将内窥镜图像分成“肿瘤性”、“非肿瘤性”、“其他”这三个类别，作为鉴别结果，可以设为与“肿瘤性”、“非肿瘤性”及“其他”对应的三个分数(三个分数的合计为100％)进行输出，在能够根据三个分数明确地分类的情况下，也可以输出分类结果。此外，当输出鉴别结果时，中间层252或者输出层254可以包括全连接层作为最后一层或多个层(参照图5的(b)部分)，也可以不包括全连接层。
输出层254也可以是输出关注区域的测量结果的层。在通过CNN进行测量的情况下，能够在将成为对象的关注区域例如如上所述进行分段之后，基于其结果由处理器210等进行测量。另外，也能够从检测器223直接输出成为对象的关注区域的测量值。在直接输出测量值的情况下，因为针对图像学习测量值本身，所以成为测量值的回归问题。
优选的是，在使用上述结构的CNN的情况下，在学习的过程中，将输出层254所输出的结果与对于图像集的识别的正解进行比较来计算损失(误差)，进行将中间层252中的权重参数从输出侧的层朝向输入侧的层更新的处理(误差反向传播)以使损失变小。
<基于CNN以外的方法的识别>
检测器223也可以通过CNN以外的方法进行检测。例如，可基于所获取的医疗图像的像素的特征量来检测关注区域。在该情况下，检测器223将检测对象图像例如分割成多个矩形区域，将分割出的各矩形区域设定为局部区域，对检测对象图像的每个局部区域计算局部区域内的像素的特征量(例如色调)，从各局部区域中将具有特定色调的局部区域确定为关注区域。同样地，检测器223也可以进行基于特征量的分类、测量。
<检测器的结构的变形例>
构成检测器223的各检测器(咽头用检测器223A～十二指肠用检测器223D)也可以由与不同波长频带的观察光对应的多个检测器(例如，普通光用检测器和特殊光用检测器)构成。在该情况下，普通光用检测器及特殊光用检测器优选分别为通过使用普通光图像、特殊光图像的机器学习而构成的学习完毕模型。
在图5、图6中，主要对检测器的结构进行了说明，但在本发明中，也可以取代检测器、或除此以外还设置分类器、测量器。另外，检测器、分类器、或者测量器也可以分为普通光用和特殊光用。
<各种处理器的功能的实现>
上述的处理器210的功能可使用各种处理器(processor)及记录介质来实现。在各种处理器中，例如包括执行软件(程序)来实现各种功能的通用处理器即CPU(CentralProcessing Unit)。另外，在上述的各种处理器中，还包括专门用于图像处理的处理器即GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等在制造后可变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)。在如本发明这样进行图像的处理时，使用GPU的结构是有效的。此外，ASIC(Application SpecificIntegrated Circuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等也包含在上述的“各种处理器”中。
各部的功能可以由一个处理器实现，也可以由相同种类或不同种类的多个处理器(例如，多个FPGA、或者CPU和FPGA的组合、或CPU和GPU的组合)实现。另外，也可以由一个处理器实现多个功能。作为由一个处理器构成多个功能的例子，首先，有诸如以计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个功能来实现的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种功能。。此外，更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路(circuitry)。这些电路也可以是使用逻辑和、逻辑积、逻辑非、异或、以及将它们组合的逻辑运算来实现上述功能的电路。
在上述的处理器或者电路执行软件(程序)时，将可由所执行的软件的计算机(例如，构成处理器210的各种处理器、电路、和/或它们的组合)读取的代码预先存储于ROM211(ROM：Read Only Memory)等非暂时性记录介质中，计算机参照该软件。预先存储于非暂时性记录介质中的软件包括用于执行本发明所涉及的医疗图像处理方法的医疗图像处理程序及执行时所使用的数据(在显示方式、通知方式的设定中使用的数据、在检测器223中使用的权重参数等)。也可以将代码记录在各种光磁记录装置、半导体存储器等非暂时性记录介质中而非ROM211中。在进行使用软件的处理时，例如使用RAM212(RAM：Random AccessMemory)作为暂时性存储区域，另外，例如也可参照存储于未图示的EEPROM(Electronically Erasable and Programmable Read Only Memory)中的数据。作为“非暂时性记录介质”，也可以使用记录部207。
<记录于记录部的信息>
在记录部207中记录有内窥镜图像(医疗图像)、实施了图像处理的处理后内窥镜图像(医疗图像)、摄像信息(表示内窥镜图像的摄像位置和/或摄像方向的信息)、检测结果、及处理条件(进行检测或通知时的条件)等。也可以一并记录其他信息。记录控制部238将这些信息相关联进行记录。
<医疗图像处理>
对上述的结构的内窥镜系统10中的医疗图像处理(本发明所涉及的医疗图像处理方法及医疗图像处理程序的执行)进行说明。图7是表示第一实施方式所涉及的医疗图像处理方法的次序的流程图。下面，对由检测器223检测关注区域的情况进行说明，在进行分类或测量时也能够同样地进行处理。此外，以下说明的次序也可以根据需要调换顺序来执行。
<初始设定>
处理器210基于经由操作部208的用户的操作、和/或预先设定的处理条件(例如，默认的处理条件)，设定医疗图像处理方法/程序的执行所需的条件(步骤S100：初始设定工序)。例如，设定使其动作的检测器的指定、检测器的切换或者选择的条件、检测结果的显示或通知的方式(显示或非显示的设定、显示的字符、图形、符号或其色彩、语音输出的条件等)。处理器210可以使构成检测器223的多个检测器全部动作(在该情况下，也可以针对一部分检测器进行检测结果的显示)，也可以使一部分检测器动作而使未使监视器400(显示装置)显示检测结果的检测器(检测处理)停止。用户例如能够经由如图8所示的画面进行处理条件的设定。在图8的例子中，用户能够通过经由操作部208的单选按钮的开启/关闭操作或向数值输入栏的数值输入操作来设定处理条件。此外，处理器210不仅能够在处理开始时进行处理条件的设定，也能够在以下的步骤的执行中进行处理条件的设定。
<内窥镜图像的获取>
图像获取部220(处理器，图像获取部)获取在受检体的生物体内拍摄的内窥镜图像(医疗图像)(步骤S110：图像获取处理、图像获取工序)。图像获取部220可通过内窥镜观测器100的摄影部(摄影透镜132、摄像元件134、AFE138等)以预先确定的帧率依次拍摄作为受检体的生物体的内部而实时获取时间序列的内窥镜图像(医疗图像)。另外，图像获取部220也可以非实时获取已经拍摄并记录的内窥镜图像。例如，可以获取被记录在记录部207中的内窥镜图像或处理后内窥镜图像，也可以经由通信控制部205从外部的装置或系统获取图像。显示控制部232(处理器，显示控制部)使监视器400(显示装置)显示获取的内窥镜图像(步骤S120：显示控制处理、显示控制工序)。
<关注区域的检测>
检测器223(处理器)使用检测器223从内窥镜图像(医疗图像)中检测关注区域(步骤S130：关注区域检测处理、关注区域检测工序)。检测器223可通过使用构成检测器223的检测器中的多个检测器来进行多个检测处理。在关注区域的检测中，检测器223能够以像素级掌握通过上述的“特征图”映在图像中的关注区域的位置(即，对内窥镜图像的每个像素检测是否属于关注区域)，并输出其检测结果。此外，作为由内窥镜系统10检测的关注区域(关心区域)的例子，可举出息肉、癌、大肠憩室、炎症、治疗疤痕(EMR瘢痕(EMR：EndoscopicMucosal Resection)、ESD瘢痕(ESD：Endoscopic Submucosal Dissection)、夹持部位等)、出血点、穿孔、血管异型性、或者各种处置器具。在超声波内窥镜等超声波装置的情况下，也可以将器官或脉管作为关注区域进行检测。
此外，处理器210可以对获取的内窥镜图像的所有帧进行关注区域的检测或通知，也可以间歇性地(以确定的帧间隔)进行。
另外，切换控制部224(处理器)优选根据观察对象的器官、部位、或者摄像信息等切换使监视器400(显示装置)显示检测结果的检测器(切换处理、切换工序)。在切换目标的检测器为停止动作的状态的情况下，切换控制部224开始基于该检测器的检测处理。另外，切换控制部224也可以使未使监视器400(显示装置)显示检测结果的检测器的动作(检测处理)停止。这样，通过切换检测器(识别器)，能够向用户提供适当的诊断辅助功能(检测器检测的检测结果)。
<检测到关注区域时的通知>
当检测器223检测到关注区域时(在步骤S140中为YES)，第一通知部234(处理器)使监视器400(显示装置)重叠显示与所检测到的关注区域相关的信息和内窥镜图像(医疗图像)(步骤S150：第一通知处理、第一通知工序)。另外，第二通知部236(处理器)比重叠显示(第一通知处理)靠后从扬声器209A(语音输出装置)输出语音(步骤S160：第二通知处理、第二通知工序)。通知的详情及具体方式将在后面描述。处理器210重复步骤S110～S160的处理，直至内窥镜图像的获取结束或通过用户的操作而判断为“结束处理”(在步骤S170中为YES)为止。
<重叠显示的具体方式>
图9是表示重叠显示(第一通知处理)的例子的图。在该图中，在监视器400的画面500上显示有内窥镜图像502。当从内窥镜图像502中检测到关注区域504时，第一通知部234(处理器)使字符、图形、符号中的至少一个作为“与关注区域相关的信息”重叠显示在内窥镜图像502上。例如，如图9的(a)部分所示，第一通知部234能够在内窥镜图像502的区域外重叠显示图标506(旗形的图形或者符号)。另外，第一通知部234也可以如图9的(b)部分所示在关注区域504的位置(内窥镜图像502的区域内)进行重叠显示(在该部分为边界框508(图形))，亦可以如该图的(c)部分所示在与关注区域504分离的位置进行重叠显示(在该部分为箭头510(图形、符号))。
第一通知部234可以在不依赖于关注区域504的位置的位置进行重叠显示，也可以在与关注区域504的位置对应的位置进行重叠显示。例如，在图9的(d)部分所示的例子中，第一通知部234对应于在内窥镜图像502的右下部分拍摄到关注区域504，对画面500的右下部分的区域512进行着色。就第一通知部234而言，优选的是，当在与关注区域504的位置对应的位置进行重叠显示时，如果内窥镜图像中的关注区域的位置等发生变化，则使重叠显示信息的位置与之相应地移动。此外，第一通知部234在进行重叠显示时也可以组合色彩、亮度的变更。
<基于语音的通知的详情>
即使连续地检测到关注区域等某些对象物，如果不是持续检测到同一对象物，则假阳性的可能性高，因此可认为不应该进行语音输出。于是，在第一方式中，如下所述判定关注区域的相同性，并基于判定结果进行语音输出。
图10是表示步骤S160中的基于语音的通知(第二通知处理，第二通知工序)的详情的流程图。当在步骤S150中进行了第一通知处理时，特征量计算部228(处理器)计算及保持关注区域的特征量(步骤S200：特征量计算处理/特征量计算工序、特征量保持处理/特征量保持工序)。“特征量”例如是指种类、位置、大小、形状、色彩等。特征量计算部228可基于内窥镜图像的分析、检测器223的输出来计算特征量。另外，特征量计算部228可以将计算出的特征量保持于RAM212等暂时性记录介质中，也可以保持(记录)于记录部207等非暂时性记录介质中。在此，“暂时性保持”包括例如处理结束后依次清除、断开电源时清除等方式。
相同性判定部230(处理器)将计算出的特征量与所保持的特征量进行比较，判定关注区域的相同性(步骤S210：相同性判定处理、相同性判定工序)。相同性的判定可基于对关注区域的连续检测次数来进行。具体而言，相同性判定部230通过对从在第一时刻拍摄的内窥镜图像(医疗图像)中检测到的关注区域(第一关注区域)的特征量与从在第二时刻(比第一时刻靠前的时刻)拍摄的内窥镜图像(第二医疗图像)中检测到的关注区域(第二关注区域)的特征量(特征量计算部228保持的特征量)进行比较，判定第一关注区域与第二关注区域的相同性。第二时刻可设为比第一时刻早确定的期间，用户可经由如图8所示的处理条件的设定画面，指定该“确定的期间”的值。
第二通知部236根据相同性判定处理中的判定结果，计算对第一关注区域的连续检测次数。具体而言，当第一关注区域和第二关注区域相同时(在步骤S220中为YES)，第二通知部236在增加对第二关注区域的连续检测次数之后，作为第一关注区域的连续检测次数来计算(步骤S230：检测次数计算处理、检测次数计算工序)。另一方面，当第一关注区域和第二关注区域不同时(在步骤S220中为NO)，第二通知部236将第一关注区域作为新的关注区域计算连续次数(步骤S240：检测次数计算处理，检测次数计算工序)。第二通知部236可以与上述的特征量的情况同样地，将计算出的连续检测次数保持于RAM212等暂时性记录介质中，也可以保持(记录)于记录部207等非暂时性记录介质中。在此，“暂时性保持”包括例如处理结束后依次清除、断开电源时清除等方式。
此外，相同性判定部230也可以基于检测器223进行的跟踪、关注区域的位置的重叠、或者根据内窥镜图像计算出的optical flow来判断关注区域的相同性。“opticalflow”是指以图像间的对应点等为线索，推断在图像上拍摄的部分或被摄体整体的动作并进行矢量化。
另外，相同性判定部230及第二通知部236(处理器)可以对内窥镜图像的所有帧进行相同性的判定及连续检测次数的计算，也可以间歇性地进行。例如，在内窥镜图像的帧率为30fps(frames per second)的情况下，相同性的判定可以是30fps，也可以低于30fps(例如，10fps)。相同性的判定可与检测器223的帧率相匹配。
如果这样计算出的连续检测次数超过阈值(在步骤S250中为YES)，则第二通知部236从扬声器209A(语音输出装置)输出语音(步骤S260：第二通知处理、第二通知工序)。
<语音输出的具体例(其1)：连续检测次数超过阈值的情况>
图11是表示语音输出的具体例(其1)的图。在该图的例子中，在时刻t1未检测到关注区域，在时刻t1检测到关注区域504，开始边界框508的重叠显示(第一通知处理)。另外，在时刻t2、t3、t4也检测到相同的关注区域504并进行重叠显示。在这样的状况下，如果将连续检测次数的阈值设为三次，则在时刻t4，连续检测次数达到四次，超过阈值(即，在时刻t1检测到关注区域504后经过了第一期间(＝t2-t1)之后又检测到相同的关注区域504)，因此，第二通知部236从扬声器209A输出语音。此外，在图11中，利用扬声器的图标520表示输出语音(图标本身也可以不显示在画面500上；在以下的例子中也是同样的)。这样，第二通知部236(处理器)在比重叠显示靠后执行语音输出。
<语音输出的具体例(其2)：连续检测次数不超过阈值的情况>
图12是表示语音输出的具体例(其2)的图。在图12所示的例子中，从时刻t1到时刻t3，检测到同一关注区域504且重叠显示有边界框508(第一通知处理)，但在时刻t4未检测到关注区域504(即，在时刻t1检测到关注区域504后经过了第一期间之后未检测到相同的关注区域504)，因此连续检测次数(三次)未超过阈值(三次)(在步骤S250中为NO)，第二通知部236不进行语音输出。在图12中，通过打了叉的图标522表示不输出语音。
如上所述，假阳性(检测器223将不是关注区域的区域判断为关注区域)处于瞬时发生的情况较多、而持续发生的情况较少的趋势。因此，如图12的例子所示，在瞬时(时刻t1～t3)检测到关注区域的情况下，只要不进行语音输出，就能够减小由于假阳性而导致的语音输出而使用户感到烦琐的可能性。另一方面，由于在画面显示(第一通知处理)中强调了关注区域，因此与唤起用户的注意相关联，可期待防止病变等漏看的效果。
<语音输出的具体例(其3)：判断关注区域的相同性的情况>
图13是表示判断关注区域的相同性时的语音输出的具体例(其3)的图。在图13的例子中，在时刻t1～t4检测到关注区域(关注区域504、507)，重叠显示有边界框508、509(第一通知处理)，但由于关注区域504的检测次数为三次(时刻t1～t3)，关注区域507的检测次数为两次(时刻t3、t4)，因此第二通知部236在时刻t4不进行语音输出。由此，能够抑制由于瞬时假阳性而导致的不必要的语音输出。
<语音输出的具体例(其4)：与相同性的判断期间相关的例子>
在使用检测器223等AI的关注区域的检测中，与假阳性同样，假阴性(尽管在内窥镜图像中存在关注区域，可是AT却判断为“不存在关注区域”)也成为难以避开的问题。例如，如图14所示的例子，可能发生“即使在时刻t1、t2、t4从内窥镜图像中检测到关注区域(关注区域504A、504B)，在时刻t3也会由于检测器223的判断错误而检测不到关注区域(关注区域504A)”这样的状况。在该情况下，可能产生“无法适当地计算连续检测次数，应该输出声音却未输出”这样的问题。因此，检测次数计算部226、相同性判定部230及第二通知部236(处理器)不仅是上一帧而且直至更靠前的帧中的关注区域均包含关注区域的相同性的判断对象。
在图14的例子中，假定相同性判定部230利用在时刻t4检测到的关注区域504B和在时刻t2检测到的关注区域504A比较检测结果(关注区域的有无、特征量)且能够判定为“相同”的情况，在该情况下，检测次数计算部226增加关注区域504A的连续检测次数。于是，时刻t4的连续检测次数成为四次，超过阈值(三次)，因此第二通知部236在时刻t4从扬声器209A输出语音(在图14中，用时刻t4的图标520表示)。通过这种相同性的判定，能够避免由于假阴性而无法适当地计算连续检测次数的问题。此外，就成为比较对象的过去的帧而言，即使过多去追溯历史来计算，计算成本的增大或相同性判定的精度降低也可能成为问题，因此优选限定于当前帧(在图14的例子中为时刻t4(第一时刻))的附近时间(直到确定的期间前；时刻t2(第二时刻))。
此外，在图14的例子中，检测次数计算部226及相同性判定部230也可以不将连续检测次数数到“四次”，而是控制为“连续检测次数维持在三次，但继续判断为持续检测到相同的关注区域”。当这样维持连续检测次数而不增加时，如果在时刻t4的下一帧中检测到相同的关注区域504A，则连续检测次数达到四次，进行基于语音输出的通知。
<语音输出的具体例(其5)：限制语音输出的例子>
在内窥镜系统10中，在基于语音输出的通知(第二通知处理)中，也可以控制为在连续检测次数超过确定的次数之后不产生语音输出。例如，在图15的例子中，在时刻t4，连续检测次数达到四次，输出语音，但在连续检测次数达到五次的时刻t5以后的确定的期间(直至时刻t7为止的三帧)，第二通知部236(处理器)不输出语音。由此，能够避免频繁产生语音输出而使用户感到烦琐的问题。此外，在图15的例子中，也可以是，在经过了确定的期间的时刻t8解除语音的非输出，但当解除后又检测到相同的对象(关注区域)时，再次控制为不进行语音输出(在该情况下，在时刻t8以后也不进行语音输出)。由此，能够避免在观察相同对象的期间多次频繁地产生语音输出而使用户感到烦琐的问题。
<语音输出的具体例(其6)：使重叠显示的方式与语音输出状态联动的例子>
在内窥镜系统10中，也可以根据第二通知处理中的语音输出状态来变更画面显示(重叠显示：第一通知处理)的方式。例如，在图16的例子中，在连续检测次数达到四次且超过阈值的时刻t4以后输出语音，但第一通知部234(处理器)使在关注区域504重叠显示的边界框511的框线比直至时刻t1～t3为止的边界框508粗。作为与语音输出状态对应的画面显示的方式的变更，可以变更这样重叠显示的图形等的颜色、大小、或者形状，也可以组合如图9的例子所示的其他图形等的重叠显示。通过这样的画面显示的方式变更，能够向用户直观地传达内窥镜系统10更可信地通知检测对象的情况。此外，第一通知部234可以将画面显示的方式变更与语音输出状态的变化(语音输出开始/停止等)同时(在图9的例子中为时刻t4)进行，也可以在前后的大概时间进行。
如上所述，根据第一实施方式，能够减小关注区域漏看的可能性并且抑制不必要的语音输出。
<对其他医疗图像的应用>
在上述的第一实施方式中，对使用作为医疗图像(医用图像)的一方式的内窥镜图像(光学内窥镜的图像)进行识别的情况进行了说明，但本发明所涉及的医疗图像处理装置、医疗图像处理方法及医疗图像处理程序也能够应用于超声波内窥镜装置(超声波内窥镜系统)、超声波图像诊断装置等使用除内窥镜图像以外的医疗图像的情况。
(附记)
除了上述的实施方式及变形例之外，以下所记载的结构也包含在本发明的范围内。
(附记1)
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测作为应关注区域的关注区域，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记2)
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测应关注对象的有无，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记3)
一种医疗图像处理装置，其中，
医疗图像分析结果获取部从记录医疗图像的分析结果的记录装置进行获取，
分析结果为医疗图像中所含的作为应关注区域的关注区域和应关注对象的有无中的任一方或者双方。
(附记4)
一种医疗图像处理装置，其中，
医疗图像是照射白色频带的光、或作为白色频带的光照射多个波长频带的光而获得的普通光图像。
(附记5)
一种医疗图像处理装置，其中，
医疗图像是照射特定波长频带的光而获得的图像，
特定波长频带是比白色波长频带窄的频带。
(附记6)
一种医疗图像处理装置，其中，
特定波长频带是可视范围的蓝色或者绿色频带。
(附记7)
一种医疗图像处理装置，其中，
特定波长频带包含390nm以上450nm以下或530nm以上550nm以下的波长频带，且特定波长频带的光在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰值波长。
(附记8)
一种医疗图像处理装置，其中，
特定波长频带是可视范围的红色频带。
(附记9)
一种医疗图像处理装置，其中，
特定波长频带包含585nm以上615nm以下或610nm以上730nm以下的波长频带，且特定波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰值波长。
(附记10)
一种医疗图像处理装置，其中，
特定波长频带包含在氧合血红蛋白和还原血红蛋白中吸光系数不同的波长频带，且特定波长频带的光在氧合血红蛋白和还原血红蛋白中吸光系数不同的波长频带内具有峰值波长。
(附记11)
一种医疗图像处理装置，其中，
特定波长频带包含400±10nm、440±10nm、470±10nm或600nm以上750nm以下的波长频带，且特定波长频带的光在400±10nm、440±10nm、470±10nm或600nm以上750nm以下的波长频带内具有峰值波长。
(附记12)
一种医疗图像处理装置，其中，
医疗图像是拍摄生物体内所得的生物体内图像，
生物体内图像具有生物体内的荧光物质所发出的荧光的信息。
(附记13)
一种医疗图像处理装置，其中，
荧光可通过向生物体内照射峰值为390以上470nm以下的激励光而获得。
(附记14)
一种医疗图像处理装置，其中，
医疗图像是拍摄生物体内所得的生物体内图像，
特定波长频带是红外光的波长频带。
(附记15)
一种医疗图像处理装置，其中，
特定波长频带包含790nm以上820nm以下或905nm以上970nm以下的波长频带，且特定波长频带的光在790nm以上820nm以下或905nm以上970nm以下的波长频带内具有峰值波长。
(附记16)
一种医疗图像处理装置，其中，
医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部基于照射白色频带的光、或作为白色频带的光照射多个波长频带的光而获得的普通光图像，获取具有特定波长频带的信息的特殊光图像，
医疗图像是特殊光图像。
(附记17)
一种医疗图像处理装置，其中，
特定波长频带的信号通过基于普通光图像中所含的RGB或者CMY的颜色信息的运算来获得。
(附记18)
一种医疗图像处理装置，其中，
具备特征量图像生成部，该特征量图像生成部通过基于照射白色频带的光、或作为白色频带的光照射多个波长频带的光而获得的普通光图像和照射特定波长频带的光而获得的特殊光图像中的至少一方的运算，生成特征量图像，
医疗图像是特征量图像。
(附记19)
一种内窥镜装置，具备：
附记1至18中任一项所述的医疗图像处理装置；以及
照射白色的波长频带的光或特定波长频带的光中的至少任一种光来获取图像的内窥镜。
(附记20)
一种诊断辅助装置，具备附记1至18中任一项所述的医疗图像处理装置。
(附记21)
一种医疗业务辅助装置，具备附记1至18中任一项所述的医疗图像处理装置。
以上对本发明的实施方式及其他例子进行了说明，但本发明不限于上述的方式，在不脱离本发明的精神的范围内，可以进行各种变形。
符号说明
10 内窥镜系统
100 内窥镜观测器
102 手边操作部
104 插入部
106 通用电缆
108 光导连接器
112 软性部
114 弯曲部
116 前端硬质部
116A 前端侧端面
123 照明部
123A 照明用透镜
123B 照明用透镜
126 钳道口
130 摄影光学系统
132 摄影透镜
134 摄像元件
136 驱动电路
141 供气供水按钮
142 吸引按钮
143 功能按钮
144 摄影按钮
170 光导
200 医疗图像处理部
202 图像输入控制器
205 通信控制部
206 视频输出部
207 记录部
208 操作部
209 语音处理部
209A 扬声器
210 处理器
211 ROM
212 RAM
220 图像获取部
222 关注区域检测部
223 检测器
223A 咽头用检测器
223B 食管用检测器
223C 胃用检测器
223D 十二指肠用检测器
224 切换控制部
226 检测次数计算部
228 特征量计算部
230 相同性判定部
232 显示控制部
234 第一通知部
236 第二通知部
238 记录控制部
240 通信控制部
250 输入层
252 中间层
254 输出层
256 卷积层
258 池化层
260 全连接层
300 光源装置
310 光源
310B 蓝色光源
310G 绿色光源
310R 红色光源
310V 紫色光源
330 光圈
340 聚光透镜
350 光源控制部
400 监视器
500 画面
502 内窥镜图像
504 关注区域
504A 关注区域
504B 关注区域
506 图标
507 关注区域
508 边界框
509 边界框
510 箭头
511 边界框
512 区域
520 图标
522 图标
F1 滤波器
F2 滤波器
S100～S260 医疗图像处理方法的各步骤

Claims (14)

1.一种医疗图像处理装置，其具备处理器，其中，
所述处理器执行：
图像获取处理，获取时间序列的医疗图像；
关注区域检测处理，从所述获取的医疗图像中检测关注区域；
显示控制处理，在显示装置上显示所述医疗图像；
第一通知处理，当通过所述关注区域检测处理检测到关注区域时，使所述显示装置重叠显示所述医疗图像和与所述检测到的关注区域相关的信息；以及
第二通知处理，当通过所述关注区域检测处理检测到关注区域时，从语音输出装置输出语音，
比所述第一通知处理靠后执行所述第二通知处理。
2.根据权利要求1所述的医疗图像处理装置，其中，
当在所述关注区域检测处理中检测到关注区域后经过第一期间之后又检测到所述关注区域时，所述处理器执行所述第二通知处理，当经过所述第一期间之后未检测到所述关注区域时，所述处理器不执行所述第二通知处理。
3.根据权利要求1或2所述的医疗图像处理装置，其中，
所述处理器在所述第一通知处理中对应于所述医疗图像中的所述关注区域的位置重叠显示所述信息。
4.根据权利要求1至3中任一项所述的医疗图像处理装置，其中，
所述处理器执行检测次数计算处理，对通过所述关注区域检测处理检测到的所述关注区域计算连续检测次数，
当所述连续检测次数超过预先确定的次数时，执行所述第二通知处理。
5.根据权利要求4所述的医疗图像处理装置，其中，
所述处理器还执行：
特征量保持处理，保持所述检测到的关注区域的特征量；以及
相同性判定处理，通过对从在第一时刻拍摄的医疗图像中检测到的第一关注区域的特征量和从在比进行所述保持的所述第一时刻靠前的时刻即第二时刻拍摄的第二医疗图像中检测到的第二关注区域的特征量进行比较，判定所述第一关注区域和所述第二关注区域的相同性，
在所述检测次数计算处理中，根据所述相同性判定处理中的判定结果，计算对于所述第一关注区域的所述连续检测次数。
6.根据权利要求5所述的医疗图像处理装置，其中，
所述处理器当在所述相同性判定处理中判断为所述第一关注区域和所述第二关注区域相同时，在所述检测次数计算处理中，在增加对所述第二关注区域所记录的连续检测次数之后，作为所述第一关注区域的连续检测次数来计算。
7.根据权利要求5或6所述的医疗图像处理装置，其中，
所述处理器在所述相同性判定处理中，将通过所述特征量保持处理保持的所述特征量中关于直至比所述第一时刻早确定的期间前的时刻的特征量与所述第一关注区域的特征量进行比较，由此进行所述相同性的判定。
8.根据权利要求1至7中任一项所述的医疗图像处理装置，其中，
所述处理器在所述第二通知处理中，使所述语音输出装置输出语音之后，在确定的期间不输出语音。
9.根据权利要求1至8中任一项所述的医疗图像处理装置，其中，
所述处理器在所述第一通知处理中，根据所述第二通知处理中的语音输出状态变更所述第一通知处理的方式。
10.根据权利要求1至9中任一项所述的医疗图像处理装置，其中，
所述处理器在所述第一通知处理中将字符、图形、符号中的至少一个作为所述信息进行所述重叠显示。
11.一种内窥镜系统，其具备：
权利要求1至10中任一项所述的医疗图像处理装置；
内窥镜观测器，其插入受检体，具有拍摄所述医疗图像的摄像部；
所述显示装置；以及
所述语音输出装置。
12.一种医疗图像处理方法，其由具备处理器的医疗图像处理装置来执行，其中，
所述处理器执行：
图像获取工序，获取时间序列的医疗图像；
关注区域检测工序，从所述获取的医疗图像中检测关注区域；
显示控制工序，使显示装置显示所述医疗图像；
第一通知工序，当在所述关注区域检测工序中检测到关注区域时，使所述显示装置重叠显示所述医疗图像和与所述检测到的关注区域相关的信息；以及
第二通知工序，当在所述关注区域检测工序中检测到关注区域时，从语音输出装置输出语音，
比所述第一通知工序靠后进行所述第二通知工序。
13.一种医疗图像处理程序，其使具备处理器的医疗图像处理装置执行医疗图像处理方法，其中，
所述医疗图像处理方法包括：
图像获取工序，获取时间序列的医疗图像；
关注区域检测工序，从所述获取的医疗图像中检测关注区域；
显示控制工序，使显示装置显示所述医疗图像；
第一通知工序，当在所述关注区域检测工序中检测到关注区域时，使所述显示装置重叠显示所述医疗图像和与所述检测到的关注区域相关的信息；以及
第二通知工序，当在所述关注区域检测工序中检测到关注区域时，从语音输出装置输出语音，
所述第二通知工序比所述第一通知工序靠后进行。
14.一种记录介质，其为非暂时性且计算机可读取的记录介质，其中，
记录有权利要求13所述的程序。
CN202280016305.4A 2021-03-01 2022-02-28 医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序 Pending CN116887745A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-031698 2021-03-01
JP2021031698 2021-03-01
PCT/JP2022/008166 WO2022186109A1 (ja) 2021-03-01 2022-02-28 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム

Publications (1)

Publication Number Publication Date
CN116887745A true CN116887745A (zh) 2023-10-13

Family

ID=83153752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280016305.4A Pending CN116887745A (zh) 2021-03-01 2022-02-28 医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序

Country Status (5)

Country Link
US (1) US20230410303A1 (zh)
EP (1) EP4302680A1 (zh)
JP (1) JPWO2022186109A1 (zh)
CN (1) CN116887745A (zh)
WO (1) WO2022186109A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6246431B2 (ja) 2015-11-10 2017-12-13 オリンパス株式会社 内視鏡装置
WO2020036109A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN112584739B (zh) * 2018-08-20 2024-04-05 富士胶片株式会社 医疗图像处理系统
EP3858222B1 (en) * 2018-09-28 2023-11-22 FUJIFILM Corporation Medical image processing device, medical image processing method, program, diagnosis assistance device, and endoscope system
JP7038641B2 (ja) 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
WO2021029292A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援方法、及び画像診断支援プログラム

Also Published As

Publication number Publication date
WO2022186109A1 (ja) 2022-09-09
US20230410303A1 (en) 2023-12-21
EP4302680A1 (en) 2024-01-10
JPWO2022186109A1 (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
US20210343011A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
US20210235980A1 (en) Medical-use image processing device, endoscope system, and medical-use image processing method
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
JP2020069300A (ja) 医療診断支援装置、内視鏡システム、及び医療診断支援方法
US11948080B2 (en) Image processing method and image processing apparatus
US20220151462A1 (en) Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program
CN112218570A (zh) 图像处理装置、内窥镜系统及图像处理方法
US20220327702A1 (en) Medical image processing apparatus, method for operating medical image processing apparatus, and endoscope system
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
US20220285010A1 (en) Medical image processing apparatus, medical image processing method, and program
JP7125499B2 (ja) 画像処理装置及び画像処理方法
US20230157768A1 (en) Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program
US20220383533A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and program
CN116887745A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法及医疗图像处理程序
US20230389774A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
US20220151461A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
US11992178B2 (en) Image processing device, endoscope system, and image processing method
US20230245304A1 (en) Medical image processing device, operation method of medical image processing device, medical image processing program, and recording medium
CN117500427A (zh) 医用图像处理装置、医用图像处理方法及程序
CN114980799A (zh) 医疗图像处理装置、医疗图像处理方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination