CN117481579A - 内窥镜系统及其工作方法 - Google Patents

内窥镜系统及其工作方法 Download PDF

Info

Publication number
CN117481579A
CN117481579A CN202311562672.7A CN202311562672A CN117481579A CN 117481579 A CN117481579 A CN 117481579A CN 202311562672 A CN202311562672 A CN 202311562672A CN 117481579 A CN117481579 A CN 117481579A
Authority
CN
China
Prior art keywords
medical image
image
light
light source
endoscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311562672.7A
Other languages
English (en)
Inventor
加门骏平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN117481579A publication Critical patent/CN117481579A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

本发明的目的在于提供一种能够根据部位适当地显示医疗图像的识别结果的医疗图像处理装置、内窥镜系统、以及医疗图像处理方法。本发明的一个方式所涉及的医疗图像处理装置具备：医疗图像获取部，其从依次拍摄受检体的生物体内的多个部位的图像的医疗器械获取医疗图像；部位信息获取部，其获取表示所获取的医疗图像的生物体内的部位的部位信息；识别器，其进行医疗图像的识别；以及显示控制部，其使识别的结果以与部位信息所示的部位对应的方式显示于显示装置。

Description

内窥镜系统及其工作方法
本申请是2020年1月29日向中国国家知识产权局提出的题为“医疗图像处理装置、内窥镜系统、以及医疗图像处理方法”的申请No.202080012641.2的分案申请。
技术领域
本发明涉及一种进行医疗图像的识别的医疗图像处理装置、内窥镜系统、以及医疗图像处理方法。
背景技术
已知作为医生等用户进行医疗图像的观察或诊断时的辅助，进行图像的强调或显示方式的变更。例如，在专利文献1中记载有基于窄波段光图像的特征量来判别受检体像的种类，并基于其结果对白色光图像实施强调处理。
以往技术文献
专利文献
专利文献1：日本特开2001-135983号公报
发明内容
发明要解决的技术课题
在进行医疗图像的观察或诊断时，诊断目的或诊断方法根据不同的部位而不同，因此需要切换辅助方法。然而，虽然在上述专利文献1中记载了在观察或诊断的对象为上消化系统的情况和下消化系统的情况下、或者根据血管存在的深度来变更特征量的计算处理或强调处理的方法(颜色变换)的情况，但并未考虑在同一检查中连续观察不同的部位(不同的脏器或同一脏器内的不同位置)的情况下以何种方式显示识别结果。
这样，在以往的技术中，难以根据部位适当地显示医疗图像的识别结果。
本发明是鉴于上述情况而完成的，其目的在于提供一种能够根据部位适当地显示医疗图像的识别结果的医疗图像处理装置、内窥镜系统、以及医疗图像处理方法。
用于解决技术课题的手段
为了实现上述目的，本发明的第一方式所涉及的医疗图像处理装置具备：医疗图像获取部，其从依次拍摄受检体的生物体内的多个部位的图像的医疗器械获取医疗图像；部位信息获取部，其获取表示所获取的医疗图像的生物体内的部位的部位信息；识别器，其进行医疗图像的识别；以及显示控制部，其使识别的结果以与部位信息所示的部位对应的方式显示于显示装置。
第一方式所涉及的医疗图像处理装置使对于多个部位进行拍摄而得到的医疗图像的识别结果以与部位对应的方式显示于显示装置。因此，能够根据部位适当地显示医疗图像的识别结果。另外，用户能够容易地掌握作为识别对象的部位的切换。此外，“部位”是指脏器(食道、胃、小肠、大肠等)和/或在脏器内的位置不同的部位，在同一脏器的同一位置距表面的距离(深度)不同的情况不包括在“部位不同”中。
在第一方式中，“医疗图像的获取”包括依次获取以确定的帧率拍摄而得到的多个医疗图像。获取可以是实时的，也可以不是实时的。
第一方式所涉及的医疗图像处理装置例如能够作为医疗图像处理系统的处理器来实现，但不限于这样的方式。此外，“医疗图像”是指作为以诊断、治疗、计测等为目的对人体等生物体进行摄影、计测等的结果而得到的图像，例如可举出内窥镜图像、超声波图像、CT图像(CT：Computed Tomography)、MRI图像(MRI：Magnetic ResonanceImaging)。另外，可举出获取这些图像的装置作为第一方式中的“医疗器械”的例子。医疗图像也称为医用图像。
第二方式所涉及的医疗图像处理装置在第一方式中，识别器具备进行医疗图像的识别的多个识别器，该多个识别器分别与生物体内的多个部位对应，由根据部位信息所示的部位从多个识别器中选择出的识别器进行医疗图像的识别。根据第二方式，识别器是分别与多个部位对应的多个识别器，具备分别与生物体内的多个部位对应的多个识别器，由与部位信息所示的部位对应地选择出的识别器进行医疗图像的识别，因此能够根据部位进行适当的识别。在第二方式中，“多个识别器”可以包括以与部位对应的方法和/或条件(参数的项目、值等)进行相同内容(检测、分类、计测等)的识别的多个识别器，也可以包括根据部位进行不同内容的识别的多个识别器。也可以包括内容、方法和/或条件不同的多个识别器。另外，在第二方式中，医疗图像处理装置可根据部位信息选择识别器。
第三方式所涉及的医疗图像处理装置在第一或第二方式中，部位信息获取部分析医疗图像而获取部位信息。第三方式规定部位信息获取方法的一个方式，例如能够基于医疗图像的特征量来获取部位信息。
第四方式所涉及的医疗图像处理装置在第一或第二方式中，部位信息获取部获取用户输入的信息作为部位信息。第四方式规定部位信息获取方法的一个方式。
第五方式所涉及的医疗图像处理在第一或第二方式中，还具备部位推定部，该部位推定部利用与医疗图像获取部不同的外部设备来推定部位，部位信息获取部获取表示所推定的部位的信息作为部位信息。第五方式规定部位信息获取方法的一个方式，可使用利用磁、超声波等推定部位的设备。
第六方式所涉及的医疗图像处理装置在第一至第五方式中的任一方式中，识别器是学习完毕模型。优选学习完毕模型是使用由拍摄生物体而获取的图像构成的图像组进行了学习的模型。
第七方式所涉及的医疗图像处理装置在第一至第六方式中的任一方式中，显示控制部使与部位对应的显示方式的信息重叠在医疗图像上而显示于显示装置。在第七方式中，可举出文字、数字、图形、记号以及它们的组合作为“信息”的例子，另外，显示的信息和/或其色彩或亮度也可以根据识别的结果和/或识别的结果的准确度而不同。
第八方式所涉及的医疗图像处理装置在第一方式至第七方式中的任一方式中，显示控制部根据部位将识别的结果控制成显示或不显示。由此，能够根据部位适当地显示医疗图像的识别结果，用户能够根据部位高效地观察识别结果。
第九方式所涉及的医疗图像处理装置在第一至第八方式中的任一方式中，显示控制部在显示装置的显示区域中使识别的结果显示于与部位对应的区域。在第九方式中，显示控制部可以使识别的结果与医疗图像重叠显示，也可以使其显示于显示区域中医疗图像的显示区域以外的区域。通过使识别的结果显示于与部位对应的区域，能够适当地显示识别结果。
第十方式所涉及的医疗图像处理装置在第一至第九方式中的任一方式中，显示控制部使医疗图像以与部位对应的显示方式显示于显示装置。根据第十方式，通过以与部位对应的显示方式除了显示识别结果以外，还显示医疗图像，能够进行更适当的显示。
第十一方式所涉及的医疗图像处理装置在第十方式中，显示控制部以与部位信息对应的显示位置和/或尺寸使医疗图像显示于显示装置。第十一方式规定医疗图像的与部位对应的显示的一个方式。
第十二方式所涉及的医疗图像处理装置在第一至第十一方式中的任一方式中，医疗图像获取部获取利用与部位信息所示的部位对应的波段的观察光拍摄而得到的医疗图像作为医疗图像，显示控制部使针对利用波段的观察光拍摄而得到的医疗图像的识别的结果显示于显示装置。根据第十二方式，通过使用利用与部位对应的波段的观察光拍摄而得到的医疗图像，能够进行准确的识别。例如，可使用将普通光(白色光)、特殊光(窄波段光等)、或者普通光与特殊光的组合作为观察光进行拍摄而得到的医疗图像。
第十三方式所涉及的医疗图像处理装置在第一至第十二方式中的任一方式中，还具备医疗图像处理部，其对医疗图像实施与部位对应的图像处理。通过与部位对应的图像处理，能够生成可进行准确观察的医疗图像。
第十四方式所涉及的医疗图像处理装置在第一至第十三方式中的任一方式中，识别器是从医疗图像中检测关注区域的检测器。检测器例如可由分层型网络构成。
第十五方式所涉及的医疗图像处理装置在第一至第十三方式中的任一方式中，识别器是对医疗图像进行分类的分类器。分类器例如可由分层型网络构成。
第十六方式所涉及的医疗图像处理装置在第一至第十三方式中的任一方式中，识别器是对医疗图像进行计测的计测器。计量器例如可由分层型网络构成。
第十七方式所涉及的医疗图像处理装置在第一至第十六方式中的任一方式中，显示控制部使所获取的部位信息显示于显示装置。根据第十七方式，在忘记输入部位信息或自动识别部位信息存在错误的情况下，用户能够容易地注意到。显示控制部可利用文字、图形、记号以及它们的组合来显示部位信息。也可以使部位信息的色彩或明亮度变化。
第十八方式所涉及的医疗图像处理装置在第一至第十七方式中的任一方式中，还具备接受部，其接受用户对显示方式的设定，显示控制部根据所接受的设定的显示方式使识别的结果显示于显示装置。由此，用户能够通过期望的方式显示识别结果。
为了实现上述目的，本发明的第十九方式所涉及的内窥镜系统具备：第一至第十八方式中任一方式所涉及的医疗图像处理装置；显示装置；内窥镜观测器，其作为医疗器械插入到受检体中，并且具有依次拍摄多个部位的图像的摄影部；以及光源装置，其向受检体照射观察光。由于第十九方式所涉及的内窥镜系统具备第一至第十八方式中任一方式所涉及的医疗图像处理装置，所以能够根据部位适当地显示医疗图像的识别结果。另外，用户能够容易地掌握作为识别对象的部位的切换。此外，在第十九方式中，可将普通光(白色光)、特殊光(窄波段光等)、以及它们的组合设为观察光。另外，优选光源装置根据部位照射波段不同的观察光。
为了实现上述目的，本发明的第二十方式所涉及的医疗图像处理方法是一种医疗图像处理装置进行的医疗图像处理方法，所述医疗图像处理装置具有：医疗图像获取部，其从依次拍摄受检体的生物体内的多个部位的图像的医疗器械获取医疗图像；以及识别器，其进行医疗图像的识别，其中，所述医疗图像处理方法包括：医疗图像获取步骤，获取医疗图像；部位信息获取步骤，获取表示所获取的医疗图像的生物体内的部位的部位信息；识别步骤，进行医疗图像的识别；以及显示控制步骤，使识别的结果以与部位信息所示的部位对应的方式显示于显示装置。根据第二十方式，与第一方式同样地，能够根据部位适当地显示医疗图像的识别结果。另外，用户能够容易地掌握作为识别对象的部位的切换。
第二十方式所涉及的医疗图像处理方法还可以包括与第二至第十八方式同样的结构。另外，作为本发明的方式，还可列举使医疗图像处理装置或计算机执行这些方式的医疗图像处理方法的程序、以及记录了该程序的计算机可读代码的非暂时性记录介质。
发明效果
如以上所作说明，根据本发明所涉及的医疗图像处理装置、内窥镜系统、以及医疗图像处理方法，能够进行与部位对应的识别及识别结果的显示。
附图说明
图1是表示第一实施方式所涉及的内窥镜系统的结构的图。
图2是表示内窥镜系统的结构的另一图。
图3是图像处理部的功能框图。
图4是表示卷积神经网络的结构例的图。
图5是表示滤光片进行的卷积处理的情况的图。
图6是表示记录于记录部的信息的图。
图7是表示第一实施方式所涉及的医疗图像处理方法的步骤的流程图。
图8是表示与部位对应的强调显示的例子的图。
图9是表示与部位对应的强调显示的例子的另一图。
图10是表示与部位对应的强调显示的例子的另一图。
图11是表示部位信息的显示例的图。
图12是第二实施方式中的图像处理部的功能框图。
图13是表示第二实施方式中的识别器的结构例的图。
图14是表示第二实施方式中的识别器的结构例的另一图。
图15是表示第二实施方式中的识别器的结构例的再一图。
图16是表示第二实施方式所涉及的医疗图像处理方法的步骤的流程图。
图17是表示控制识别器的情况的图。
图18是表示控制识别器的情况的另一图。
图19是表示利用大肠用内窥镜的显示例的图。
具体实施方式
以下，参照附图对本发明所涉及的医疗图像处理装置、内窥镜系统、以及医疗图像处理方法的实施方式进行详细说明。
＜第一实施方式＞
＜内窥镜系统的结构＞
图1是内窥镜系统10(医疗图像处理装置、内窥镜系统)的外观图，图2是表示内窥镜系统10的主要部分结构的框图。如图1、2所示，内窥镜系统10由内窥镜观测器100(医疗器械、内窥镜观测器、内窥镜主体)、内窥镜处理器装置200(医疗图像处理装置)、光源装置300(光源装置)、以及监视器400(显示装置)构成。也可以将用于利用电磁波或超声波获取部位信息的外部设备(未图示)与内窥镜系统10连接。
＜内窥镜观测器的结构＞
内窥镜观测器100具备手边操作部102和与该手边操作部102连接设置的插入部104。施术者(用户)把持手边操作部102进行操作，将插入部104插入受检体(生物体)的体内进行观察。另外，手边操作部102上设有供气供水按钮141、吸引按钮142、被分配有各种功能的功能按钮143、以及接受拍摄指示操作(静止图像、动态图像)的拍摄按钮144。插入部104从手边操作部102侧依次由软性部112、弯曲部114、顶端硬质部116构成。即，弯曲部114连接于顶端硬质部116的基端侧，软性部112连接于弯曲部114的基端侧。手边操作部102连接于插入部104的基端侧。用户可通过操作手边操作部102来使弯曲部114弯曲，向上下左右改变顶端硬质部116的朝向。顶端硬质部116中设有摄影光学系统130、照明部123、钳道126等(参照图1、2)。
在观察、处置时，通过操作部208(参照图2)的操作，能够从照明部123的照明用透镜123A、123B照射白色光和/或窄波段光(红色窄波段光、绿色窄波段光、蓝色窄波段光、及紫色窄波段光中的一个以上)。另外，可利用供气供水按钮141的操作从未图示的供水喷嘴排出清洗水，对摄影光学系统130的摄影透镜132(摄影透镜、摄影部)及照明用透镜123A、123B进行清洗。在顶端硬质部116开口的钳道126中连通有未图示的管路，在该管路中插通用于摘除肿瘤等的未图示的处置器具，可适当地进行插拔而对受检体实施必要的处置。
如图1、2所示，在顶端硬质部116的顶端侧端面116A上配设有摄影透镜132(摄影部)。在摄影透镜132的里侧配设有CMOS(Complementary Metal-Oxide Semiconductor)型摄像元件134(摄像元件、摄影部)、驱动电路136、AFE138(AFE：Analog Front End、摄影部)，利用这些构成要素输出图像信号。摄像元件134是彩色摄像元件，具备由通过特定的图案排列(拜耳排列、X-Trans(注册商标)排列、蜂窝排列等)呈矩阵状配置(二维排列)的多个受光元件构成的多个像素。摄像元件134的各像素包括微透镜、红(R)、绿(G)或蓝( B)的彩色滤光片及光电转换部(光电二极管等)。摄影光学系统130既能够根据红、绿、蓝三种颜色的像素信号生成彩色图像，也能够根据红、绿、蓝中任意一种颜色或两种颜色的像素信号生成图像。此外，在第一实施方式中对摄像元件134是CMOS型的摄像元件的情况进行了说明，但摄像元件134也可以是CCD(Charge Coupled Device)型。此外，摄像元件134的各像素还可以具备与紫色光源310V对应的紫色彩色滤光片和/或与红外光源对应的红外滤光片。
受检体的光学图像利用摄影透镜132成像于摄像元件134的受光面(摄像面)并转换为电信号，经由未图示的信号电缆输出到内窥镜处理装置200并转换为影像信号。由此，在与内窥镜处理装置200连接的监视器400上显示内窥镜图像。
另外，在顶端硬质部116的顶端侧端面116A上，与摄影透镜132相邻设有照明部123的照明用透镜123A、123B。在照明用透镜123A、123B的里侧配设有后述的光导170的射出端，该光导170插通于插入部104、手边操作部102及通用电缆106，光导170的入射端配置在光导连接器108内。
用户一边将上述结构的内窥镜观测器100(插入部104)插入作为受检体的生物体内或从其中拔出，一边以确定的帧率进行摄影(能够利用摄影部和医疗图像获取部220的控制来进行)，由此能够依次拍摄生物体内的多个部位的图像。
＜光源装置的结构＞
如图2所示，光源装置300由照明用的光源310、光圈330、聚光透镜340及光源控制部350等构成，使观察光向光导170入射。光源310具备分别照射红色、绿色、蓝色、紫色的窄波段光的红色光源310R、绿色光源310G、蓝色光源310B、及紫色光源310V，能够照射红色、绿色、蓝色、及紫色的窄波段光。光源310的观察光的照度由光源控制部350控制，可根据需要变更(提高或降低)观察光的照度以及停止照明。
光源310可通过任意的组合发出红色、绿色、蓝色、及紫色的窄波段光。例如，既能够同时发出红色、绿色、蓝色、及紫色的窄波段光而照射白色光(普通光)作为观察光，也能够通过发出任一种或两种光而照射窄波段光(特殊光)。光源310还可以具备照射红外光(窄波段光的一例)的红外光源。另外，也可以利用照射白色光的光源、和透射白色光及各窄波段光的滤光片，照射白色光或窄波段光作为观察光。
＜光源的波段＞
光源310可以是产生白色波段的光、或作为白色波段的光产生多个波段的光的光源，也可以是产生比白色的波段窄的特定的波段的光的光源。特定的波段可以是可见范围的蓝色波段或绿色波段、或者可见范围的红色波段。当特定的波段是可见范围的蓝色波段或绿色波段时，可以包含390nm以上450nm以下、或530nm以上550nm以下的波段，而且，在390nm以上450nm以下或530nm以上550nm以下的波段内具有峰波长。另外，当特定的波段是可见范围的红色波段时，可以包含585nm以上615nm以下、或610nm以上730nm以下的波段，而且，特定的波段的光在585nm以上615nm以下或610nm以上730nm以下的波段内具有峰波长。
上述特定的波段也可以包含在氧化血红蛋白和还原血红蛋白中吸光系数不同的波段，而且，特定的波段的光在氧化血红蛋白和还原血红蛋白中在吸光系数不同的波段具有峰波长。在该情况下，特定的波段可以包含400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段，而且，特定的波段的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段具有峰波长。
另外，光源310所产生的光的波段也可以包含790nm以上820nm以下、或905nm以上970nm以下的波段，而且，光源310所产生的光在790nm以上820nm以下或905nm以上970nm以下的波段具有峰波长。
另外，光源310也可以具备照射峰值为390nm以上470nm以下的激励光的光源。在该情况下，能够获取具有受检体(生物体)内的荧光物质所发出的荧光的信息的医疗图像(医用图像、生物体内图像)。在获取荧光图像时，也可以使用荧光法用色素剂(荧光素、吖啶橙等)。
光源310的光源种类(激光光源、氙气光源、LED光源(LED：Light-Emitting Diode)等)、波长、滤光片的有无等优选根据被摄体的种类、观察目的等来构成，另外在观察时，优选根据被摄体的种类、部位、观察目的等组合和/或切换观察光的波长。在切换波长时，例如可以通过使配置于光源的前方且设有透射或遮蔽特定波长的光的滤光片的圆板状的滤光片(旋转彩色滤光片)旋转来切换所照射的光的波长。
另外，实施本发明时所使用的摄像元件并不限定于像摄像元件134那样针对各像素配设有彩色滤光片的彩色摄像元件，也可以是单色摄像元件。在使用单色摄像元件时，可依次切换观察光的波长来按照面顺序(颜色顺序)进行摄像。例如可以在窄波段光(紫色、蓝色、绿色、红色)之间依次切换出射的观察光的波长，也可以照射宽波段光(白色光)并利用旋转彩色滤光片(红色、绿色、蓝色、紫色等)切换所出射的观察光的波长。另外，也可以照射一个或多个窄波段光(绿色、蓝色、紫色等)并利用旋转彩色滤光片(绿色、蓝色、紫色等)切换所出射的观察光的波长。窄波段光可以是波长不同的两种波长以上的红外光(第一窄波段光、第二窄波段光)。
通过将光导连接器108(参照图1、2)连结于光源装置300，从光源装置300照射的观察光经由光导170传递到照明用透镜123A、123B，并从照明用透镜123A、123B向观察范围照射。
＜内窥镜处理器装置的结构＞
基于图2说明内窥镜处理器装置200的结构。内窥镜处理器装置200经由图像输入控制器202输入从内窥镜观测器100输出的图像信号，在图像处理部204(医疗图像处理部234等)中进行必要的图像处理，并经由视频输出部206输出。由此在监视器400(显示装置)上显示观察图像(生物体内图像)。这些处理在CPU210(CPU：Central Processing Unit)的控制下进行。通信控制部205与未图示的医院内系统(HIS：Hospital Information System)或医院内LAN(Local Area Network)、和/或外部系统或网络之间进行关于医疗图像或部位信息的通信控制。在记录部207(记录装置)中记录有受检体的图像(内窥镜图像、医疗图像、医用图像)、部位信息、表示识别结果(检测、分类、计测等)的信息等(参照图6及相关记载)。声音处理部209通过CPU210和图像处理部204的控制，从扬声器209A输出与识别处理和识别结果有关的消息(声音)。
另外，ROM211(ROM：Read Only Memory)是非易失性的存储元件(非暂时性记录介质)，存储有使CPU210和/或图像处理部204(医疗图像处理装置、计算机)执行各种图像处理方法的程序的计算机可读取的代码。RAM212(RAM：Random Access Memory)是各种处理时的暂时存储用的存储元件，另外也能够用作获取图像时的缓冲器。
此外，用户能够经由操作部208进行医疗图像处理的执行指示或执行所需的条件的指定，显示控制部230能够使这些指示时的画面、识别的结果等显示于监视器400。
＜图像处理部的功能＞
图3是图像处理部204的功能框图。图像处理部204具备医疗图像获取部220(医疗图像获取部)、部位信息获取部222(部位信息获取部)、识别器224(识别器)、显示控制部230(显示控制部)、部位推定部232(部位推定部)、医疗图像处理部234(医疗图像处理部)、接受部236(接受部)和记录控制部238(记录控制部)。稍后将描述使用这些功能的医疗图像处理的细节。
图像处理部204利用上述功能能够进行医疗图像的特征量的计算、强调或降低特定的波段的成分的处理、强调或使特定的对象(关注区域、期望深度的血管等)不明显的处理。图像处理部204也可以具备特殊光图像获取部，该特殊光图像获取部基于照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像，获取具有特定的波段的信息的特殊光图像。在该情况下，特定的波段的信号可利用基于普通光图像中所包含的RGB(R：红、G：绿、B：蓝)或者CMY(C：蓝绿、M：品红、Y：黄)的颜色信息的运算来获得。另外，图像处理部204也可以具备特征量图像生成部，获取并显示作为医疗图像(医用图像)的特征量图像，该特征量图像生成部通过基于照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像、和照射特定的波段的光而得到的特殊光图像中的至少一方的运算来生成特征量图像。此外，上述处理在CPU210的控制下执行。
＜各种处理器的功能的实现＞
上述图像处理部204的各部的功能可使用各种处理器(processor)及记录介质来实现。在各种处理器中，包括例如通过执行软件(程序)来实现各种功能的通用处理器即CPU(Central Processing Unit)。另外，在上述各种处理器中，也包括专门用于图像处理的处理器即GPU(Graphi cs Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)。在如本发明那样进行图像的学习或识别的情况下，使用了GPU的结构是有效的。而且，具有为了执行ASIC(Application Specific Integrated Circuit)等特定的处理而专门设计的电路结构的处理器即专用电路等也包括在上述各种处理器中。
各部的功能可以由一个处理器来实现，也可以由同种或异种的多个处理器(例如，多个FPGA、或CPU与FPGA的组合、或者CPU与GPU的组合)来实现。另外，还可以用一个处理器来实现多个功能。作为用一个处理器实现多个功能的例子，首先，有诸如以计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个功能来实现的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来实现各种功能。而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的电路(circuitry)。这些电路也可以是使用逻辑和、逻辑积、逻辑非、异或以及将它们组合的逻辑运算来实现上述功能的电路。
在上述处理器或电路执行软件(程序)时，将执行的软件的计算机(例如，构成图像处理部204的各种处理器或电路、和/或它们的组合)可读代码预先存储在ROM211(ROM：ReadOnly Memory)等非暂时性记录介质中，计算机参照该软件。预先存储在非暂时性记录介质中的软件包括用于执行本发明所涉及的医疗图像处理方法的程序及在执行时所使用的数据(与部位信息的获取有关的数据、用于显示方式的特定的数据、在识别器中使用的参数等)。也可以不将代码存储于ROM211，而是将其存储于各种光磁记录装置、半导体存储器等非暂时性记录介质中。在使用了软件进行处理时，例如将RAM212(RAM：Random AccessMemory)用作暂时性存储区域，另外例如也可参照存储于未图示的EEPROM(FlectricallyErasable and Programmable Read Only Memory)中的数据。也可以将记录部207用作“非暂时性记录介质”。
＜基于学习完毕模型的识别器＞
上述识别器(检测器、分类器、计测器)可使用CNN(Convolutional NeuralNetwork)、SVM(Support Vectot Machine)等学习完毕模型(使用由拍摄生物体而得到的图像构成的图像组进行了学习的模型)来构成。以下，对由CNN构成识别器的情况下的层结构进行说明。此外，主要对检测器(进行关注区域的检测的识别器)进行说明，但对于分类(鉴别)用、计测用也可以采用同样的层结构。
＜CNN的层结构例＞
图4是表示CNN的层结构例的图。在图4的(a)部分所示的例子中，CNN562包括输入层562A、中间层562B和输出层562C。输入层562A输入医疗图像获取部220获取的内窥镜图像(医疗图像)并输出特征量。中间层562B包括卷积层564和池化层565，通过输入从输入层562A输出的特征量来计算其他特征量。这些层形成为通过“边缘”连接了多个“节点”的构造，并且保持多个权重参数。权重参数的值随着学习的进行而变化。CNN562可以如图4的(b)部分所示的例子包括全连接层566。CNN562的层结构不限于卷积层564和池化层565一个接一个地重复的情况，也可以连续包括多个任一层(例如，卷积层564)。另外，也可以连续包括多个全连接层566。
＜中间层中的处理＞
中间层562B通过卷积运算和池化处理来计算特征量。在卷积层564中进行的卷积运算是通过使用了滤光片的卷积运算来获取特征图的处理，承担从图像中提取边缘等特征提取的作用。通过使用了该滤光片的卷积运算，对1个滤光片生成1通道(1幅)的“特征图”。“特征图”的尺寸通过卷积被缩小(downscaling)，随着在各层进行卷积而变小。在池化层565中进行的池化处理是将通过卷积运算输出的特征图缩小(或放大)而获得新的特征图的处理，承担提供鲁棒性以防止所提取的特征受到平行移动等的影响的作用。中间层562B可由进行这些处理的一层或多层来构成。
图5是表示图4所示的CNN562的中间层562B的结构例的示意图。在中间层562B的最初(第一)卷积层中，进行由多个医疗图像构成的图像组(学习时为学习用图像组，识别时为识别用图像组)与滤光片F1的卷积运算。图像组由具有高H、宽W的图像尺寸的N幅(N通道)图像构成。在输入普通光图像的情况下，构成图像组的图像是R(红色)、G(绿色)、B(蓝色)这三个通道的图像。与该图像组进行卷积运算的滤光片F1由于图像组是N通道(N幅)，所以例如在尺寸为5(5×5)的滤光片的情况下，滤光片尺寸成为5×5×N。利用使用了该滤光片F1的卷积运算，对1个滤光片F1生成1通道(1幅)的“特征图”。用于第二卷积层的滤光片F2例如在尺寸为3(3× 3)的滤光片的情况下，滤光片尺寸成为3× 3× M。
与第一卷积层同样地，在第二至第n卷积层，进行使用了滤光片F2～Fn的卷积运算。第n卷积层中的“特征图”的尺寸比第二卷积层中的“特征图”的尺寸小，这是因为利用到前段为止的卷积层或池化层进行缩小。
在中间层562B的层中，在靠近输入侧的卷积层中进行低阶特征提取(边缘提取等)，随着靠近输出侧进行高阶特征提取(与对象物的形状、结构等相关的特征提取)。此外，在以计测等为目的进行分割的情况下，在后半部分的卷积层中被放大(upscal ing)，在最后的卷积层中得到与输入的图像组相同尺寸的“特征图”。另一方面，在进行物体检测的情况下，只要输出位置信息即可，因此放大不是必须的。
此外，除了卷积层564和池化层565之外，中间层562B还可以包括进行批量归一化(Batch Normal i zati on)的层。批量归一化处理是在进行学习时以小批次为单位对数据的分布进行归一化的处理，并且起到使学习快速进行、降低对初始值的依赖性、抑制过度学习等作用。
＜输出层中的处理＞
输出层562C是基于从中间层562B输出的特征量，对所输入的医疗图像(普通光图像、特殊光图像)中拍摄到的关注区域进行位置检测并输出其结果的层。在进行分割的情况下，输出层562C根据从中间层562B得到的“特征图”，以像素级掌握图像中拍摄到的关注区域的位置。即，能够按内窥镜图像的每个像素检测是否属于关注区域，并将其检测结果输出。另一方面，在进行物体检测的情况下，无需以像素级进行的判断，输出层562C输出对象物的位置信息。
输出层562C也可以执行与病变相关的鉴别(分类)并输出鉴别结果。例如，输出层562C可以将内窥镜图像分类为“肿瘤性”、“非肿瘤性”及“其他”这三个类别，并作为鉴别结果输出与“肿瘤性”、“非肿瘤性”及“其他”对应的三个得分(三个得分的合计为100％)，也可以在能够根据三个得分明确地进行分类的情况下输出分类结果。此外，在输出鉴别结果的情况下，输出层562C可以包含全连接层作为最后的一层或多层(参照图4的(b)部分)，也可以不包含。
输出层562C也可以输出关注区域的计测结果。在通过CNN进行计测的情况下，例如，可如上所述分割成为对象的关注区域，然后基于其结果通过图像处理部204等进行计测。另外，也可从识别器224直接输出成为对象的关注区域的计测值。在直接输出计测值的情况下，由于对图像学习计测值本身，所以成为计测值的回归问题。
在使用上述结构的CNN的情况下，优选地，在学习过程中，通过将输出层562C输出的结果与对图像组的识别的准确结果进行比较来计算损失(误差)，并以减少损失的方式进行从输出侧层向输入侧层更新中间层562B中的权重参数的处理(误差反向传播)。
＜基于CNN以外的方法的识别＞
识别器224也可以通过CNN以外的方法进行识别(关注区域的检测等)。例如，可基于所获取的医疗图像的像素的特征量来检测关注区域。在该情况下，识别器224将检测对象图像例如分割为多个矩形区域，将分割后的各矩形区域设定为局部区域，针对检测对象图像的每个局部区域计算局部区域内的像素的特征量(例如色相)，从各局部区域中确定具有特定的色相的局部区域作为关注区域。同样地，识别器224可以进行基于特征量的分类或计测。
＜记录在记录部中的信息＞
图6是表示记录于记录部207的信息的例子的图。在图6的例子中，记录内窥镜图像260(医疗图像)、实施了图像处理的处理后内窥镜图像262(医疗图像)、部位信息264(表示拍摄了医疗图像的生物体内的部位的部位信息)、识别结果266(识别的结果：检测、分类、计测等)、以及处理条件268(进行识别或结果的显示时的条件)。也可以一并记录其他信息。记录控制部238将这些信息相关联地进行记录。
＜医疗图像处理方法＞
对上述结构的内窥镜系统10中的医疗图像处理方法进行说明。图7是表示第一实施方式所涉及的医疗图像处理方法的步骤的流程图。以下，对识别器224是检测器的情况进行说明，但分类器或计测器的情况也可同样地进行处理。
＜初始设定＞
接受部236(接受部)基于经由操作部208的用户的操作和/或记录部207中记录的处理条件268(例如默认的处理条件)，设定执行所需的条件(步骤S100：初始设定步骤)。例如，设定显示方式(显示的文字、图形、记号或其色彩等)、识别结果的显示或非显示的设定、显示或非显示的条件(显示识别结果的部位、不显示的部位等)、部位信息与显示方式(例如，显示位置和/或尺寸)的关系等、部位信息的获取方法。此外，也可以在以下步骤的执行中进行条件设定或变更。
＜内窥镜图像的获取＞
医疗图像获取部220(医疗图像获取部)获取在受检体的生物体内进行拍摄而得到的内窥镜图像(医疗图像)(步骤S110：医疗图像获取步骤)。医疗图像获取部220能够利用内窥镜观测器100(医疗器械)的摄影部(摄影透镜132、摄像元件134、AFE1 38等)以预先确定的帧率依次拍摄作为受检体的生物体的内部来实时获取内窥镜图像。另外，医疗图像获取部220也可以非实时地获取已经拍摄并记录的内窥镜图像。例如，可以获取记录部207中记录的内窥镜图像260或处理后内窥镜图像262，也可以经由通信控制部205从外部的装置或系统获取图像。另外，在已经获取了部位信息的情况下(例如，执行一次以上直到步骤S170的处理，并返回到步骤S110继续进行处理的情况)，也可以获取利用与部位信息所示的部位对应的波段的观察光进行拍摄而得到的内窥镜图像(医疗图像)。例如，在胃的情况下能够获取用白色光进行拍摄而得到的图像，在食道的情况下能够获取用蓝色窄波段光进行拍摄而得到的图像。显示控制部230使所获取的内窥镜图像显示于监视器400。
＜部位信息的获取＞
部位信息获取部222(部位信息获取部)获取表示拍摄了内窥镜图像的生物体内的部位的部位信息(步骤S120：部位信息获取步骤)。部位信息获取部222可通过分析内窥镜图像、利用用户输入的部位信息、或者利用与医疗图像获取部220不同的外部设备的信息等来获取部位信息。可基于在步骤S100中设定的条件来确定通过哪种方法获取部位信息。在进行内窥镜图像的分析的情况下，部位信息获取部222(部位信息获取部)可使用被摄体的颜色等特征量进行分析。可以使用用于分析的学习完毕模型(CNN、SVM等)。在用户输入的情况下，可使用经由操作部208输入的信息。另外，作为“外部设备”，可使用利用电磁波、超声波、放射线等观测内窥镜的插入部位的装置，在该情况下，部位推定部232(部位推定部)可根据通过外部设备获取的信息来推定部位(参照图19所示的例子)。
＜图像的识别＞
识别器224进行内窥镜图像(医疗图像)的识别(步骤S140：识别步骤)。在进行关注区域的检测的情况下，如上所述，识别器224可利用“特征图”以像素级掌握图像中拍摄到的关注区域的位置(即，对内窥镜图像的每个像素检测是否属于关注区域)，并输出其检测结果。作为检测的关注区域(关心区域)的例子，可列举息肉、癌、大肠憩室、炎症、治疗疤痕(EMR瘢痕(EMR：Endoscopic MucosalResection)、ESD瘢痕(ESD：EndoscopicSubmucosalDissection)、夹持部位等)、出血点、穿孔、血管异型性等。
＜内窥镜图像及识别结果的显示＞
显示控制部230(显示控制部)使内窥镜图像及识别结果以与部位信息所示的部位对应的方式显示于监视器400(显示装置)(步骤S150：显示控制步骤)。如以下的各方式所示，显示控制部230可以根据部位变更重叠在内窥镜图像上的图形的形状、颜色、大小、位置等，也可以变更部位信息的显示方式，还可以是它们的组合。
＜第一显示方式＞
例如，在食道和胃中，粘膜的颜色差别很大，因此通过重叠适合于各个部位的颜色的图形，能够使检测结果更加显著。另外，与被扁平上皮覆盖的食道相比，胃发生炎症或萎缩等复杂且细微的状态变化，因此需要更详细地观察粘膜。因此，在胃的情况下，不优选在内窥镜图像上直接重叠图形等的方法。
图8、9是表示考虑了这种情况的显示方式的图。图8表示在内窥镜图像800上直接重叠图形的情况，(b)部分是涂抹了关注区域802的例子，(c)部分是用图形804包围了关注区域802的例子，(d)部分是显示了箭头806的例子。例如，在食道的情况下，能够以这样的显眼的形态进行显示。此外，图8的(a)部分是表示不进行强调显示的状态的图(参考用)，在内窥镜图像800中拍摄有关注区域802。与此相对，在图9的例子中，在监视器400(显示装置)的显示区域中，使识别的结果显示在与部位对应的区域中(不将图形等直接重叠在内窥镜图像上，而是显示在监视器400的显示区域中的内窥镜图像的显示范围外)。该图的(a)部分表示在显示区域的右上显示了外框808的例子，(b)部分表示在显示区域的左右显示了外框810的例子，(c)部分表示在显示区域的右上显示了星形记号812的例子。例如，在胃的情况下，通过使用这样的方式，识别结果的显示不会阻碍观察，用户能够更详细地观察粘膜。此外，通过上述条件设定，也可以根据部位来显示或不显示识别结果。另外，在将识别结果设定为非显示的情况下，可以是“进行识别但不显示结果”这样的方式。另外，也可以根据部位以外的确定的条件(经过时间等)来显示或不显示识别结果。进而，也可以根据识别结果和/或其准确度来变更显示方式(改变图形、改变色彩或亮度等)。
此外，既可以如图8、9的例子那样在一个画面上显示内窥镜图像及识别结果，也可以如图10的例子那样在两个画面上显示内窥镜图像及识别结果。在图10的例子中，以两个画面显示出内窥镜图像820和识别结果显示图像822，在识别结果显示图像822中与关注区域802对应的位置显示有记号824。在两个画面或更多画面上显示的情况下，可以在同一监视器的不同画面上进行分割显示，也可以在多个监视器上分别进行显示。在从图10那样的以两个画面显示的方式变更为图8、9那样的以一个画面显示的方式的情况下，也可以按照观察画面(内窥镜图像、识别结果)的显示位置和/或尺寸进行变更。由此，能够进行充分利用了监视器尺寸的观察画面显示。
医疗图像获取部220可以获取利用与部位信息所示的部位对应的波段的观察光拍摄而得到的内窥镜图像(医疗图像)作为医疗图像，并且显示控制部230可以使针对利用该波段的观察光拍摄而得到的医疗图像的识别结果显示在监视器400(显示装置)上。例如，在胃的情况下，可将用白色光(普通光)拍摄到的图像供于识别，在食道的情况下，可将用BLI(Blue Laser Imaging：注册商标)等特殊光(蓝色窄波段光)拍摄到的图像供于识别。根据部位，也可以使用利用LCI(Linked Color Imaging：注册商标)等特殊光拍摄并实施了图像处理(在LCI的情况下，扩展接近粘膜颜色的颜色的色度差或色相差)的图像。可由医疗图像处理部234(医疗图像处理部)实施与部位对应的图像处理。
这样，在内窥镜系统10中进行与部位对应的识别及识别结果的显示，因此能够提示对用户来说最佳的图像。
＜第二显示方式＞
在第二显示方式中，显示控制部230(显示控制部)使部位信息获取部222获取的部位信息显示于监视器400(步骤S150：部位信息显示步骤、显示控制步骤)。图11是表示部位信息的显示例的图。图11的(a)部分是在内窥镜图像830中除了用框834包围关注区域832之外还用文字(“gastric”)显示了部位信息836的例子，该图的(b)部分是在内窥镜图像840中用模式图842上的箭头842A显示了部位信息的例子。部位信息也可以用其他图标来显示，还可以根据部位来改变显示方式(文字或记号的内容、位置、形状、色彩等)。通过这样的部位信息的显示，在根据观察图像自动识别(通过图像的分析来获取)部位信息的情况下，用户能够注意到识别错误，在通过用户输入获取了部位信息的情况下，能够使用户注意到忘记输入。此外，在第二显示方式中，可与第一显示方式同样地进行部位信息的获取、识别等处理。
此外，通过图8～11中的记号或图形等的显示方式只不过是一例，可以根据用户的设定操作等采用与这些例子不同的显示方式。
＜识别结果等的记录＞
记录控制部238(记录控制部)将内窥镜图像及识别结果分别作为内窥镜图像260、识别结果266记录在记录部207中(步骤S160：记录控制步骤)。在对内窥镜图像实施了图像处理的情况下，可记录处理后内窥镜图像262，也可以与内窥镜图像260、识别结果266相配合地记录部位信息264和/或处理条件268。优选将这些信息相互关联地进行记录。图像处理部204判断是否结束处理(步骤S170)，在继续的情况下返回到步骤S110，例如对下一帧进行上述处理。
可对内窥镜图像的各帧进行上述内窥镜图像和部位信息的获取、内窥镜图像的识别、内窥镜图像及识别结果的显示。因此，当由于内窥镜观测器100的插入或拔出而使观察部位变化时，识别结果的显示方式也根据观察部位的变化而变化。由此，在第一实施方式所涉及的内窥镜系统10中，能够根据部位适当地显示医疗图像的识别结果。另外，用户能够容易地掌握作为识别对象的部位的切换。
此外，关于识别结果的显示，也可以设置判断由在步骤S120中获取的部位信息所示的部位与此前的部位(例如，在以确定的帧率连续拍摄的情况下，关于拍摄定时的差为阈值以下的过去的帧(正前的帧等)的部位)相比是否发生了变化的步骤(判断步骤)、以及在部位发生了变化的情况下再次设定显示方式的步骤(再设定步骤)。可通过图像处理部204(例如部位信息获取部222、显示控制部230)进行这些判断和再设定。
＜第二实施方式＞
在第一实施方式中对识别器224是单个识别器的情况进行了说明，但在第二实施方式中，识别器具备多个识别器，其是进行医疗图像的识别的多个识别器，并且分别与生物体内的多个部位对应。而且，由根据部位信息所示的部位从多个识别器中选择出的识别器进行医疗图像的识别。
图12是表示第二实施方式所涉及的内窥镜系统中的图像处理部204A的功能结构的图。图像处理部204A具备选择部226(选择部)和控制部228(控制部)，另外，识别器224A如以下所作说明，在包括多个识别器这一点上与第一实施方式中的图像处理部204(参照图3)不同。第二实施方式所涉及的内窥镜系统的除此以外的结构与第一实施方式所涉及的内窥镜系统10相同，因此省略详细的说明。
＜识别器的结构＞
在第二实施方式所涉及的内窥镜系统(内窥镜系统、医疗图像处理装置)中，“识别器”是进行医疗图像的识别的多个识别器，并且是与生物体内的多个部位分别对应的多个识别器，可由检测器、分类器(鉴别器)、计测器、以及它们的组合构成。图13是表示由识别内容不同的多个识别器(检测器、分类器、以及计测器)构成的识别器的例子的图。在图13的例子中，识别器224A具备检测器250、分类器252、以及计测器254，各个识别器具有与多个脏器(部位的一个方式)分别对应的多个识别器。具体而言，检测器250具有食道用检测器240和胃用检测器241，分类器252具有食道用分类器242和胃用分类器243，计测器254具有食道用计测器244和胃用计测器245。
图14是表示检测器250的结构的图。检测器250具有与同一脏器的不同位置(部位的一个方式)分别对应的多个检测器(识别器的一个方式)。具体而言，食道用检测器240具有食道用第一检测器240A(食道上部用)和食道用第二检测器240B(食道下部用)，胃用检测器241具有胃用第一检测器241A(胃上部用)和胃用第二检测器241B(胃下部用)。同样，分类器252、计测器254也可由多个分类器、多个计测器构成。此外，在图14中说明了对各脏器设置2个(上部、下部)检测器的情况，但也可以对各脏器设置三个以上的检测器(参照对大肠进行识别时的记载；后述)。
此外，“多个部位”是指脏器(食道、胃、小肠、大肠等)和/或在脏器内的位置不同的多个部位，在同一脏器的同一位置距表面的距离(深度)不同的情况不包括在“部位不同”中。
此外，在图13、14中说明了对多个部位设置识别内容不同的多个识别器的方式，但也可以仅设置对特定的脏器进行特定的内容的识别(检测、分类、计测)的识别器。例如，也可以是“对食道设置检测器，对胃设置分类器”这样的方式。具体而言，如图15所示，也可以由食道用检测器240和胃用分类器243构成识别器225(食道用检测器240、胃用分类器243可采用关于图13、14的上述方式)。识别器225也具有食道用的识别器和胃用的识别器，是本发明的医疗图像处理装置中的“与生物体内的多个部位分别对应的多个识别器”的一个方式。
＜基于与部位对应的图像组的学习＞
识别器224A和识别器225可与第一实施方式中的识别器224同样地使用多个CNN或SVM等学习完毕模型来构成。优选的是，这些多个学习完毕模型是使用由根据设为识别对象的部位拍摄了生物体的不同部位而得到的图像构成的图像组进行了学习的、分别不同的模型。例如，食道用第一检测器240A、食道用第二检测器240B分别是使用由拍摄了食道的上部、下部而得到的图像构成的图像组进行了学习的模型。另外，胃用第一检测器241A、胃用第二检测器241B分别是使用由拍摄了胃的上部、下部而得到的图像构成的图像组进行了学习的模型。同样，食道用分类器242和胃用分类器243、食道用计测器244和胃用计测器245分别是使用由拍摄了食道、胃而得到的图像构成的图像组进行了学习的分类用、计测用的模型。此外，与识别器224A同样地，识别器225也是使用由根据设为识别对象的部位拍摄了不同部位而得到的图像构成的图像组进行了学习的模型。这样，通过使用与部位对应的图像组进行学习，能够根据部位进行准确的识别。
＜识别器的选择＞
图16是表示第二实施方式所涉及的医疗图像处理方法的步骤的流程图。在该流程图中，包括选择识别器的处理(步骤S130：选择步骤)。除此以外的处理与第一实施方式相同，因此省略详细的说明。在步骤S130中，选择部226(选择部)从多个识别器中选择与部位信息所示的部位对应的识别器。在第二实施方式所涉及的内窥镜系统中，能够从构成识别器224A或识别器225的识别器(参照图13～15)中选择识别器。
＜识别器的控制＞
图17是表示识别器的控制的例子的图。在该例子中，控制部228根据部位仅使特定的识别器工作，显示控制部230使基于已工作的识别器的识别结果以与部位对应的方式显示。在进行检测时，控制部228在部位信息表示食道的情况下使食道用检测器240(若是上部则为食道用第一检测器240A，若是下部则为食道用第二检测器240B)工作，在表示胃的情况下使胃用检测器241(若是上部则为胃用第一检测器241A，若是下部则为胃用第二检测器241B)工作。也可以根据观察或诊断的目的等使分类器252或计测器254工作。此外，内窥镜图像从医疗图像获取部220输入到识别器，部位信息从部位信息获取部222输入到显示控制部230。图18是表示识别器的控制的另一例的图。在该例子中，控制部228使多个识别器(在该情况下，为检测器250、分类器252、计测器254)并行工作，显示控制部230根据部位切换识别结果的显示(例如在进行检测的情况下，使基于检测器250的识别结果显示)。
＜识别结果等的显示＞
在第二实施方式中，可与第一实施方式的情况同样地进行内窥镜图像、识别结果、部位信息的显示(参照图8～11)。
这样，根据第二实施方式所涉及的内窥镜系统，能够与第一实施方式所涉及的内窥镜系统10同样地根据部位适当地显示医疗图像的识别结果。另外，用户能够容易地掌握作为识别对象的部位的切换。
＜关于大肠内窥镜的应用例＞
在第一、第二实施方式中主要说明了对作为上消化系统的食道、胃进行识别及显示的情况，但本发明的医疗图像处理装置及医疗图像处理方法也可应用于对直肠、大肠等下消化系统进行识别以及显示的情况。在该情况下，可以与上述第一、第二实施方式同样地设置单个识别器，也可以设置识别内容(检测、分类、计测等)或识别部位不同的多个识别器。在设置识别部位不同的多个识别器的情况下，例如可设置与直肠、乙状结肠、降结肠、横结肠、升结肠、盲肠、回肠、空肠分别对应的识别器。这些识别器也优选设为使用由拍摄了各部位而得到的图像构成的图像组进行了学习的学习完毕模型，进行误差反向传播的处理。
图19是表示关于大肠的内窥镜图像850的显示例的图，与作为关于上消化系统的显示例的图11对应。在图19中，显示了包围关注区域851的框853。另外，图19的(a)部分是利用与部位相当的文字(“Rectumn”)来显示部位信息852的例子，该图的(b)部分是在模式图854中显示了部位信息的例子(在部位信息所示的位置显示圆圈标记854A)。此外，内窥镜图像或识别结果的显示可与第一、第二实施方式同样地进行(参照图8～11)。这样，在进行对下消化系统的识别及显示的情况下，也能够通过将识别结果等以与部位对应的方式进行显示，根据部位适当地显示医疗图像的识别结果。另外，用户能够容易地掌握作为识别对象的部位的切换。
＜对内窥镜图像以外的应用＞
在上述第一、第二实施方式及其他应用例中，对使用作为医疗图像(医用图像)的一个方式的内窥镜图像进行识别的情况进行了说明，但本发明所涉及的医疗图像处理装置及医疗图像处理方法也能够应用于使用超声波图像等内窥镜图像以外的医疗图像的情况。
(附记)
除了上述第一、第二实施方式及其他应用例以外，以下记载的结构也包含在本发明的范围内。
(附记1)
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测作为应关注区域的关注区域，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记2)
一种医疗图像处理装置，其中，
医疗图像分析处理部基于医疗图像的像素的特征量，检测有无应关注对象，
医疗图像分析结果获取部获取医疗图像分析处理部的分析结果。
(附记3)
一种医疗图像处理装置，其中，
医疗图像分析结果获取部从进行记录的记录装置获取医疗图像的分析结果，
分析结果是医疗图像中所包含的作为应关注区域的关注区域、和有无应关注对象中的任一方或双方。
(附记4)
一种医疗图像处理装置，其中，
医疗图像是通过照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像。
(附记5)
一种医疗图像处理装置，其中，
医疗图像是通过照射特定的波段的光而得到的图像，
特定的波段是比白色波段窄的波段。
(附记6)
一种医疗图像处理装置，其中，
特定的波段是可见范围的蓝色或绿色波段。
(附记7)
一种医疗图像处理装置，其中，
特定的波段包括390nm以上450nm以下或530nm以上550nm以下的波段，并且，特定的波段的光在390nm以上450nm以下或530nm以上550nm以下的波段内具有峰波长。
(附记8)
一种医疗图像处理装置，其中，
特定的波段是可见范围的红色波段。
(附记9)
一种医疗图像处理装置，其中，
特定的波段包括585nm以上615nm以下或610nm以上730nm以下的波段，并且，特定的波段的光在585nm以上615nm以下或610nm以上730nm以下的波段内具有峰波长。
(附记10)
一种医疗图像处理装置，其中，
特定的波段包括氧合血红蛋白与还原血红蛋白中的吸光系数不同的波段，并且，特定的波段的光在氧合血红蛋白与还原血红蛋白中的吸光系数不同的波段具有峰波长。
(附记11)
一种医疗图像处理装置，其中，
特定的波段包括400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段，并且，特定的波段的光在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波段具有峰波长。
(附记12)
一种医疗图像处理装置，其中，
医疗图像是拍摄了生物体内的生物体内图像，
生物体内图像具有生物体内的荧光物质发出的荧光的信息。
(附记13)
一种医疗图像处理装置，其中，
荧光是通过向生物体内照射峰值为390nm以上470nm以下的激励光而得到的。
(附记14)
一种医疗图像处理装置，其中，
医疗图像是拍摄了生物体内的生物体内图像，
特定的波段是红外光的波段。
(附记15)
一种医疗图像处理装置，其中，
特定的波段包括790nm以上820nm以下或905nm以上970nm以下的波段，并且，特定的波段的光在790nm以上820nm以下或905nm以上970nm以下的波段具有峰波长。
(附记16)
一种医疗图像处理装置，其中，
医疗图像获取部具备特殊光图像获取部，该特殊光图像获取部基于通过照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像，获取具有特定的波段的信息的特殊光图像，
医疗图像是特殊光图像。
(附记17)
一种医疗图像处理装置，其中，
特定的波段的信号是通过基于普通光图像中所包含的RGB或者CMY的颜色信息的运算而得到的。
(附记18)
一种医疗图像处理装置，其中，
具备特征量图像生成部，其通过基于照射白色波段的光、或作为白色波段的光照射多个波段的光而得到的普通光图像、和照射特定的波段的光而得到的特殊光图像中的至少一方的运算，生成特征量图像，
医疗图像是特征量图像。
(附记19)
一种内窥镜装置，其中，具备：
附记1至18中任一项所述的医疗图像处理装置；以及
内窥镜，其通过照射白色波段的光、或特定的波段的光中至少任一个获取图像。
(附记20)
一种诊断辅助装置，其中，
具备附记1至18中任一项所述的医疗图像处理装置。
(附记21)
一种医疗业务辅助装置，其中，
具备附记1至18中任一项所述的医疗图像处理装置。
以上对本发明的实施方式及其他例进行了说明，但本发明并不限定于上述方式，可以在不脱离本发明的精神的范围内进行各种变形。
符号说明
10内窥镜系统
100内窥镜观测器
102手边操作部
104插入部
106通用电缆
108光导连接器
112软性部
114弯曲部
116顶端硬质部
116A顶端侧端面
123照明部
123A照明用透镜
123B照明用透镜126钳道口130摄影光学系统132摄影透镜
134摄像元件136驱动电路138AFE
141供气供水按钮
142吸引按钮
143功能按钮
144拍摄按钮
170光导200内窥镜处理器装置202图像输入控制器204图像处理部
204A图像处理部
205通信控制部
206视频输出部
207记录部
208操作部
209声音处理部
209A扬声器
210CPU
211ROM
212RAM
220医疗图像获取部
222部位信息获取部
224识别器
224A识别器
225识别器
226选择部
228控制部
230显示控制部
232部位推定部
234医疗图像处理部
236接受部
238记录控制部
240食道用检测器
240A食道用第一检测器
240B食道用第二检测器
241胃用检测器
241A胃用第一检测器
241B胃用第二检测器
242食道用分类器
243胃用分类器
244食道用计测器
245胃用计测器
250检测器
252分类器
254 计测器
260 内窥镜图像
262 处理后内窥镜图像
264 部位信息
266 识别结果
268 处理条件
300 光源装置
310 光源
310B 蓝色光源
3106 绿色光源
310R 红色光源
310V 紫色光源
330 光圈
340 聚光透镜
350 光源控制部
400 监视器
562 CNN
562A 输入层
562B 中间层
562C 输出层
564 卷积层
565 池化层
566 全连接层
800 内窥镜图像
802 关注区域
804 图形
806 箭头
808 外框
810 外框
820 内窥镜图像
822识别结果显示图像
830内窥镜图像
832关注区域
834框
836部位信息
840内窥镜图像
842模式图
842A箭头
850内窥镜图像
851关注区域
852部位信息
853框
854模式图
854A圆圈标记
F1滤光片
F2滤光片
Fn滤光片
S100～S170医疗图像处理方法的各步骤

Claims (14)

1.一种内窥镜系统，其具备内窥镜观测器、光源装置以及处理器，该内窥镜观测器具有软性部并获取图像，该内窥镜系统的特征在于，
所述处理器执行以下操作：
使所述光源装置通过多个光源模式中的一个光源模式照射光，
从与生物体的多个部位分别对应的多个识别器中，根据所述部位及所述光源模式选择识别器，
使所选择的识别器的识别结果显示于显示装置。
2.根据权利要求1所述的内窥镜系统，其中，
所述处理器对在所述内窥镜观测器获取的所述图像进行分析，获取表示所述生物体的所述部位的部位信息。
3.根据权利要求2所述的内窥镜系统，其中，
所述处理器使所述识别结果与所述部位信息一起显示于所述显示装置。
4.根据权利要求2或3所述的内窥镜系统，其中，
所述处理器使所述识别结果以与由所述部位信息表示的部位相对应的方式显示于显示装置。
5.根据权利要求1至4中的任意一项所述的内窥镜系统，其中，
所述处理器执行以下操作：
在拍摄所述生物体的第一部位的情况下，显示针对以所述多个光源模式中的第一光源模式获取的图像的所述识别结果，
在拍摄所述生物体的与所述第一部位不同的第二部位的情况下，不显示针对以所述第一光源模式获取的所述图像的所述识别结果。
6.根据权利要求5所述的内窥镜系统，其中，
所述第一部位是食道，所述第二部位是胃。
7.根据权利要求5或6所述的内窥镜系统，其中，
所述处理器执行以下操作：
在拍摄所述第一部位的情况下，使所述识别结果显示于所述显示装置，
在拍摄与所述第一部位以及所述第二部位不同的第三部位的情况下，不使所述识别结果显示于所述显示装置。
8.根据权利要求5至7中的任意一项所述的内窥镜系统，其中，
所述第一光源模式是照射特殊光的模式。
9.根据权利要求1至8中的任意一项所述的内窥镜系统，其中，
所述光源装置具备照射红色、绿色、蓝色以及紫色的光的发光二极管作为光源。
10.根据权利要求1至8中的任意一项所述的内窥镜系统，其中，
所述处理器在获取所述图像的期间，不依赖于用户的操作而进行所述识别器的所述选择。
11.根据权利要求1至10中的任意一项所述的内窥镜系统，其中，
所述多个识别器是通过使用图像组进行学习而构成的多个学习完毕模型，所述图像组由根据作为识别对象的部位对生物体的不同部位进行拍摄而得到的图像构成。
12.根据权利要求1至11中的任意一项所述的内窥镜系统，其中，
所述处理器执行以下操作：
根据所述部位仅使所述多个识别器中的特定识别器工作，并且使已工作的所述特定识别器的所述识别结果显示于所述显示装置，或者
使所述多个识别器中的多个识别器并行地工作，并且根据所述部位切换已工作的所述多个识别器的所述识别结果的显示。
13.根据权利要求1至12中的任意一项所述的内窥镜系统，其中，
所选择的所述识别器根据所述部位进行从所述图像中检测关注区域、进行所述图像的分类、以及进行所述图像的计测中的一个以上。
14.一种内窥镜系统的工作方法，该内窥镜系统具有内窥镜观测器、光源装置以及处理器，该内窥镜观测器具有软性部，该内窥镜系统的工作方法的特征在于，
所述处理器执行以下操作：
使所述光源装置通过多个光源模式中的一个光源模式照射光，
从与生物体的多个部位分别对应的多个识别器中，根据所述部位及所述光源模式选择识别器，
使所选择的识别器的识别结果显示于显示装置。
CN202311562672.7A 2019-02-08 2020-01-29 内窥镜系统及其工作方法 Pending CN117481579A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019021803 2019-02-08
JP2019-021803 2019-02-08
PCT/JP2020/003093 WO2020162275A1 (ja) 2019-02-08 2020-01-29 医療画像処理装置、内視鏡システム、及び医療画像処理方法
CN202080012641.2A CN113395929A (zh) 2019-02-08 2020-01-29 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202080012641.2A Division CN113395929A (zh) 2019-02-08 2020-01-29 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法

Publications (1)

Publication Number Publication Date
CN117481579A true CN117481579A (zh) 2024-02-02

Family

ID=71947655

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202080012641.2A Pending CN113395929A (zh) 2019-02-08 2020-01-29 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法
CN202311562672.7A Pending CN117481579A (zh) 2019-02-08 2020-01-29 内窥镜系统及其工作方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202080012641.2A Pending CN113395929A (zh) 2019-02-08 2020-01-29 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法

Country Status (5)

Country Link
US (1) US20210343011A1 (zh)
EP (1) EP3922163A4 (zh)
JP (2) JPWO2020162275A1 (zh)
CN (2) CN113395929A (zh)
WO (1) WO2020162275A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
WO2022191058A1 (ja) * 2021-03-09 2022-09-15 富士フイルム株式会社 内視鏡画像処理装置、方法及びプログラム
JPWO2022239529A1 (zh) * 2021-05-13 2022-11-17
CN113610847B (zh) * 2021-10-08 2022-01-04 武汉楚精灵医疗科技有限公司 一种白光模式下胃部标志物评估方法及系统
WO2023067922A1 (ja) * 2021-10-20 2023-04-27 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム
WO2023084969A1 (ja) * 2021-11-11 2023-05-19 富士フイルム株式会社 医療画像評価支援装置及び医療画像評価支援装置の作動方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4920614B2 (ja) * 2008-02-20 2012-04-18 オリンパス株式会社 照明装置および内視鏡システム
JP5541914B2 (ja) 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2012249956A (ja) * 2011-06-06 2012-12-20 Toshiba Corp カプセル内視鏡画像処理装置及びカプセル内視鏡システム
WO2013140667A1 (ja) * 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2017012676A (ja) * 2015-07-06 2017-01-19 オリンパス株式会社 内視鏡システム
CN108135457B (zh) * 2015-10-26 2020-02-21 奥林巴斯株式会社 内窥镜图像处理装置
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
JP6749473B2 (ja) * 2017-03-30 2020-09-02 富士フイルム株式会社 内視鏡システム及びその作動方法
CN110663251B (zh) * 2017-06-02 2021-12-31 富士胶片株式会社 医疗图像处理装置

Also Published As

Publication number Publication date
WO2020162275A1 (ja) 2020-08-13
JPWO2020162275A1 (ja) 2021-12-02
US20210343011A1 (en) 2021-11-04
CN113395929A (zh) 2021-09-14
JP2023087014A (ja) 2023-06-22
EP3922163A4 (en) 2022-04-06
EP3922163A1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
CN117481579A (zh) 内窥镜系统及其工作方法
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
US11925311B2 (en) Medical diagnosis support device, endoscope system, and medical diagnosis support method
CN111936032B (zh) 图像处理装置、内窥镜系统及图像处理方法
CN112423645B (zh) 内窥镜系统
WO2020075578A1 (ja) 医用画像処理装置、内視鏡システム、及び医用画像処理方法
US20220151462A1 (en) Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program
CN112218570A (zh) 图像处理装置、内窥镜系统及图像处理方法
JP2021086350A (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
CN114945315A (zh) 医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统
JPWO2020059445A1 (ja) 画像処理装置及び画像処理方法
US11911007B2 (en) Image processing device, endoscope system, and image processing method
US20230157768A1 (en) Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program
EP4101364A1 (en) Medical image processing device, endoscope system, medical image processing method, and program
US20230389774A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
WO2022186109A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
US20230245304A1 (en) Medical image processing device, operation method of medical image processing device, medical image processing program, and recording medium
US20220151461A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination