CN114845624A - 医用图像处理装置、医用图像处理方法及程序 - Google Patents

医用图像处理装置、医用图像处理方法及程序 Download PDF

Info

Publication number
CN114845624A
CN114845624A CN202080086065.6A CN202080086065A CN114845624A CN 114845624 A CN114845624 A CN 114845624A CN 202080086065 A CN202080086065 A CN 202080086065A CN 114845624 A CN114845624 A CN 114845624A
Authority
CN
China
Prior art keywords
medical image
display
specific scene
image processing
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080086065.6A
Other languages
English (en)
Inventor
大酒正明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114845624A publication Critical patent/CN114845624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种能够减轻识别器的识别与用户的识别之间的背离的医用图像处理装置、医用图像处理方法及程序。医用图像处理装置具备处理器(210)、存储器(207)及监视器(400)，其中，处理器(204)按时间序列依次获取多个医用图像，基于获取的医用图像，识别医用图像的特定场景，获取识别出的特定场景的识别频率，根据识别频率，在监视器上显示表示以两个阶段以上变化的识别程度的报知显示。

Description

医用图像处理装置、医用图像处理方法及程序
技术领域
本发明涉及医用图像处理装置、医用图像处理方法及程序。
背景技术
使用内窥镜装置的诊断及诊察是通过将由内窥镜装置获取的内窥镜图像显示在监视器上，并且医生观察显示在监视器上的内窥镜图像来进行。
如专利文献1所记载的那样，已知有通过对内窥镜图像进行图像处理来推定病变部，在该病变部重叠标记并显示在监视器上来辅助医生观察的技术。
以往技术文献
专利文献
专利文献1：日本特开2011-87793号公报
发明内容
发明要解决的技术课题
此外，近年来，通过深度学习能够实现图像内的对象物的高精度自动识别。作为对内窥镜装置的深度学习的应用例之一，有时使用通过深度学习制作的识别器。具体地说，用通过深度学习制作的识别器从内窥镜图像中自动进行特定场景的识别，通过将识别出的特定场景提示给用户(医生等)来报知已观察到特定场景。
但是，识别器识别特定场景的情况和实际上用户观察到的情况有时产生背离。例如，即使在使内窥镜观测器快速移动时瞬间拍摄到特定场景的情况下，识别器也有时会识别出该特定场景，在该情况下，报知用户已识别。另一方面，在瞬间拍摄到特定场景的情况下，用户不会进行该特定场景的观察。这样，识别器识别特定场景的情况和实际上用户观察的情况有时产生背离。
此外，由于识别器将已观察的情况报知给用户，因此用户尽管本来未观察到该特定场景，也可能看到报知显示而将特定场景误识别为已观察到。
本发明是鉴于这样的情况而完成的，其目的在于提供一种能够减轻识别器的识别与用户的识别之间的背离的医用图像处理装置、医用图像处理方法及程序。
用于解决技术课题的手段
作为用于达到上述目的的本发明的一方式的医用图像处理装置具备处理器，其中，处理器按时间序列依次获取多个医用图像，基于获取的医用图像，识别医用图像的特定场景，获取识别出的特定场景的识别频率，根据识别频率，在监视器上显示表示以两个阶段以上变化的识别程度的报知显示。
根据本方式，由于根据医用图像的特定场景的识别频率，在监视器上显示表示以两个阶段以上变化的识别程度的报知显示，因此能够将处理器中的特定场景的识别频率报知给用户，能够减轻用户观察特定场景的情况与处理器的特定场景的识别之间的背离。
优选的是，处理器根据识别频率，在监视器上显示不同的颜色作为报知显示。
优选的是，处理器根据识别频率，在监视器上显示不同的线型作为报知显示。
优选的是，处理器根据识别频率，在监视器上显示不同的模糊状态作为报知显示。
优选的是，处理器基于识别出的特定场景的医用图像的张数，获取识别频率。
优选的是，处理器基于识别出的特定场景的以时间序列连续的医用图像的张数，获取识别频率。
优选的是，处理器计算特定场景的医用图像的特征量，通过基于特定场景的特征量对医用图像进行分类来识别特定场景。
优选的是，处理器计算特定场景的医用图像的特征量，基于特征量与医用图像的相似度来识别特定场景。
优选的是，处理器在识别频率为第一阈值以上的情况下，将报知显示从初始显示切换为第一显示，并显示在监视器上。
优选的是，处理器在识别频率为大于第一阈值的第二阈值以上的情况下，将报知显示从第一显示切换为第二显示，并显示在监视器上。
优选的是，处理器在监视器上显示具有多个特定场景的每一个的多个参照图像，进行第一显示及第二显示。
优选的是，处理器在监视器上显示包括与多个特定场景对应的部位的模型图像，使识别出的特定场景与模型图像相对应，进行第一显示及第二显示。
优选的是，处理器使识别出特定场景的位置与模型图像上的位置相对应，使报知显示重叠在模型图像上并显示在监视器上。
优选的是，处理器在尚未识别出特定场景的情况下，在监视器上显示与报知显示不同的初始显示。
作为本发明的另一方式的医用图像处理方法包括：医用图像获取步骤，按时间序列依次获取多个医用图像；特定场景识别步骤，基于获取的医用图像，识别医用图像的特定场景；频率获取步骤，获取通过特定场景识别步骤识别出的特定场景的识别频率；以及显示控制步骤，根据识别频率，在监视器上显示表示以两个阶段以上变化的识别程度的报知显示。
作为本发明的另一方式的程序使计算机执行医用图像处理方法，所述医用图像处理方法包括：医用图像获取步骤，按时间序列依次获取多个医用图像；特定场景识别步骤，基于获取的医用图像，识别医用图像的特定场景；频率获取步骤，获取通过特定场景识别步骤识别出的特定场景的识别频率；以及显示控制步骤，根据识别频率，在监视器上显示表示以两个阶段以上变化的识别程度的报知显示。
发明效果
根据本发明，能够减轻识别器的识别与用户的识别之间的背离。
附图说明
图1是内窥镜系统的外观图。
图2是表示内窥镜系统的主要部分结构的框图。
图3是图像处理部中的医用图像处理装置的功能框图。
图4是表示CNN的结构的图。
图5是表示中间层的结构例的示意图。
图6是表示医用图像处理方法的流程图。
图7是识别频率的获取的流程图。
图8是表示报知显示的例子的图。
图9是医用图像处理方法的流程图。
图10是识别频率的获取的流程图。
图11是表示第一变形例1的具体例的图。
图12是表示第二变形例1的具体例的图。
图13是表示第三变形例1的具体例的图。
图14是表示第四变形例1的具体例的图。
图15是表示第五变形例1的具体例的图。
图16是表示第一变形例2的图。
图17是表示第二变形例2的图。
图18是表示在两个监视器上进行显示的情况的图。
具体实施方式
下面，根据附图对本发明所涉及的医用图像处理装置、医用图像处理方法及程序的优选实施方式进行说明。
<内窥镜系统的结构>
图1是内窥镜系统10的外观图，图2是表示内窥镜系统10的主要部分结构的框图。如图1、2所示，内窥镜系统10由内窥镜观测器100、内窥镜处理器装置200、光源装置300及监视器400构成。此外，内窥镜处理器装置200搭载本发明的医用图像处理装置。
<内窥镜观测器的结构>
内窥镜观测器100具备手边操作部102和与该手边操作部102连接设置的插入部104。施术者(用户)握持手边操作部102进行操作，将插入部104插入受检体(生物体)的体内进行观察。另外，在手边操作部102上设有供气供水按钮141、吸引按钮142、及被分配有各种功能的功能按钮143、以及接受拍摄指示操作(静止图像、动态图像)的拍摄按钮144。插入部104从手边操作部102侧起依次由软性部112、弯曲部114、顶端硬质部116构成。即，弯曲部114连接于顶端硬质部116的基端侧，软性部112连接于弯曲部114的基端侧。手边操作部102连接于插入部104的基端侧。用户可通过操作手边操作部102来使弯曲部114弯曲，向上下左右改变顶端硬质部116的朝向。在顶端硬质部116中设置有摄影光学系统130、照明部123、钳道口126等(参照图1、2)。
在观察及处置时，通过操作部208(参照图2)的操作，能够从照明部123的照明用透镜123A、123B照射白色光和/或窄带光(红色窄带光、绿色窄带光、蓝色窄带光、及紫色窄带光中的一种以上)。另外，可通过供气供水按钮141的操作从未图示的供水喷嘴排出清洗水，对摄影光学系统130的摄影透镜132及照明用透镜123A、123B进行清洗。在顶端硬质部116开口的钳道口126中连通有未图示的管路，在该管路中插通用于切除肿瘤等的未图示的处置器具，可适当地进行插拔而对受检体实施必要的处置。
如图1及图2所示，在顶端硬质部116的顶端侧端面116A上配设有摄影透镜132。在摄影透镜132的里侧配设有CMOS(Complementary Metal-Oxide Semiconductor)型摄像元件134、驱动电路136以及AFE138(AFE：Analog Front End)，利用这些要素输出图像信号。摄像元件134是彩色摄像元件，具备由通过特定的图案排列(拜耳排列、X-Trans(注册商标)排列、蜂窝排列等)呈矩阵状配置(二维排列)的多个受光元件构成的多个像素。摄像元件134的各像素包括微透镜、红(R)、绿(G)或蓝(B)的彩色滤光片及光电转换部(光电二极管等)。摄影光学系统130既能够从红、绿、蓝三种颜色的像素信号生成彩色图像，也能够根据红、绿、蓝中任意一种颜色或两种颜色的像素信号生成图像。此外，摄像元件134也可以是CCD(Charge Coupled Device)型。另外，摄像元件134的各像素还可以具备与紫色光源310V对应的紫色彩色滤光片和/或与红外光源对应的红外用滤光片。
受检体的光学图像利用摄影透镜132成像于摄像元件134的受光面(摄像面)并转换为电信号，经由未图示的信号电缆输出到内窥镜处理器装置200并转换为视频信号。由此，在与内窥镜处理器装置200连接的监视器400上画面显示被摄体的内窥镜图像(医用图像)。
另外，在顶端硬质部116的顶端侧端面116A上，与摄影透镜132相邻设有照明部123的照明用透镜123A、123B。在照明用透镜123A、123B的里侧配设有后述的光导170的射出端，该光导170插通于插入部104、手边操作部102及通用电缆106，光导170的入射端配置在光导连接器108内。
用户一边将上述结构的内窥镜观测器100插入作为受检体的生物体内或从其中拔出，一边以确定的帧率进行摄影，由此能够依次拍摄生物体内的时间序列的内窥镜图像。
<光源装置的结构>
如图2所示，光源装置300由照明用的光源310、光圈330、聚光透镜340及光源控制部350等构成，使观察光向光导170入射。光源310具备分别照射红色、绿色、蓝色、紫色的窄带光的红色光源310R、绿色光源310G、蓝色光源310B及紫色光源310V，能够照射红色、绿色、蓝色及紫色的窄带光。光源310的观察光的照度由光源控制部350控制，可根据需要变更(提高或降低)观察光的照度以及停止照明。
光源310可将红色、绿色、蓝色及紫色的窄带光任意组合进行发光。例如，既能够同时发出红色、绿色、蓝色及紫色的窄带光而照射白色光(普通光)作为观察光，也能够通过发出任一种或两种光而照射窄带光(特殊光)。光源310还可以具备照射红外光(窄带光的一例)的红外光源。另外，也可以利用照射白色光的光源、和透射白色光及各窄带光的滤光片，照射白色光或窄带光作为观察光。
<光源的波长频带>
光源310可以是产生白色频带的光、或作为白色频带的光产生多个波长频带的光的光源，也可以是产生比白色的波长频带窄的特定的波长频带的光的光源。特定的波长频带可以是可见范围的蓝色频带或绿色频带、或者可见范围的红色频带。当特定的波长频带是可见范围的蓝色频带或者绿色频带时，可以包含390nm以上450nm以下、或530nm以上550nm以下的波长频带，而且，在390nm以上450nm以下或530nm以上550nm以下的波长频带内具有峰波长。另外，当特定的波长频带是可见范围的红色频带时，可以包含585nm以上615nm以下、或610nm以上730nm以下的波长频带，而且，特定的波长频带的光在585nm以上615nm以下或610nm以上730nm以下的波长频带内具有峰波长。
上述特定的波长频带的光也可以包含吸光系数在氧合血红蛋白和还原血红蛋白中不同的波长频带，而且，在吸光系数在氧合血红蛋白和还原血红蛋白中不同的波长频带具有峰波长。在该情况下，特定的波长频带可以包含400±10nm、440±10nm、470±10nm、或600nm以上750nm的波长频带，而且，在400±10nm、440±10nm、470±10nm、或600nm以上750nm以下的波长频带具有峰波长。
另外，光源310所产生的光也可以包含790nm以上820nm以下、或905nm以上970nm以下的波长频带，而且，在790nm以上820nm以下或905nm以上970nm以下的波长频带具有峰波长。
另外，光源310也可以具备照射峰值为390nm以上470nm以下的激励光的光源。在该情况下，能够获取具有受检体(生物体)内的荧光物质所发出的荧光的信息的内窥镜图像。在获取荧光图像时，也可以使用荧光法用色素剂(荧光素、吖啶橙等)。
光源310的光源种类(激光光源、氙光源、LED光源(LED：Light-Emitting Diode)等)、波长、滤光片的有无等优选根据被摄体的种类、部位、观察的目的等来构成，另外在观察时，优选根据被摄体的种类、部位、观察的目的等组合和/或切换观察光的波长。在切换波长时，例如可以通过使配置于光源的前方且设有透射或遮蔽特定波长的光的滤光片的圆板状的滤光片(旋转彩色滤光片)旋转来切换所照射的光的波长。
另外，实施本发明时所使用的摄像元件不限于像摄像元件134那样针对各像素配设有彩色滤光片的彩色摄像元件，也可以是单色摄像元件。在使用单色摄像元件时，可依次切换观察光的波长来按照面顺序(颜色顺序)进行摄像。例如可以在(紫色、蓝色、绿色、红色)之间依次切换出射的观察光的波长，也可以照射宽带光(白色光)并利用旋转彩色滤光片(红色、绿色、蓝色、紫色等)切换所出射的观察光的波长。另外，也可以照射一个或多个窄带光(绿色、蓝色、紫色等)并利用旋转彩色滤光片(绿色、蓝色、紫色等)切换所出射的观察光的波长。窄带光可以是波长不同的两个波长以上的红外光(第一窄带光、第二窄带光)。
通过将光导连接器108(参照图1、2)连接于光源装置300，从光源装置300照射的观察光经由光导170传递到照明用透镜123A、123B，并从照明用透镜123A、123B向观察范围照射。
<内窥镜处理器装置的结构>
基于图2对内窥镜处理器装置200的结构进行说明。内窥镜处理器装置200经由图像输入控制器202输入从内窥镜观测器100输出的图像信号，在图像处理部204中进行必要的图像处理，并经由视频输出部206输出。由此在监视器400上显示内窥镜图像。这些处理在CPU210(CPU：Central Processing Unit)的控制下进行。此外，CPU210作为医用图像处理装置的处理器发挥作用。通信控制部205与未图示的医院内系统(HIS：Hospital InformationSystem)或医院内LAN(Local Area Network)、和/或外部的系统或网络之间进行关于医用图像的获取等的通信控制。
<图像处理部的功能>
图像处理部204能够进行内窥镜图像的特征量的计算、强调或减少特定的频带的分量的处理、强调特定的对象(关注区域、所期望的深度的血管等)或使其不明显的处理。图像处理部204也可以具备特殊光图像获取部(未图示)，该特殊光图像获取部基于照射白色频带的光、或作为白色频带的光照射多个波长频带的光而得到的普通光图像，获取具有特定的波长频带的信息的特殊光图像。在该情况下，特定的波长频带的信号可利用基于普通光图像中所包含的RGB(R：红，G：绿，B：蓝)或者CMY(C：蓝绿，M：品红，Y：黄)的颜色信息的运算来获得。另外，图像处理部204也可以具备特征量图像生成部(未图示)，获取并显示作为内窥镜图像的特征量图像，该特征量图像生成部通过基于照射白色频带的光、或作为白色频带的光照射多个波长频带的光而得到的普通光图像、和照射特定的波长频带的光而得到的特殊光图像中的至少一方的运算来生成特征量图像。此外，上述处理在CPU210的控制下进行。
而且，如以下所述，图像处理部204具有医用图像处理装置中的各功能。
图3是图像处理部204中的医用图像处理装置的功能框图。图像处理部204具备医用图像获取部220、特定场景识别部222、频率获取部224以及显示控制部226。
<各种处理器的功能的实现>
上述图像处理部204的各部的功能可使用各种处理器(processor)及记录介质来实现。在各种处理器中，包括例如通过执行软件(程序)来实现各种功能的通用处理器即CPU(Central Processing Unit)。另外，在上述各种处理器中，也包括专门用于图像处理的处理器即GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等制造后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)。在如本发明这样进行图像的学习或识别的情况下，使用了GPU的结构是有效的。而且，具有为了执行ASIC(Application Specific Integrated Circuit)等特定的处理而专门设计的电路结构的处理器即专用电路等也包括在上述各种处理器中。
各部的功能可以由一个处理器来实现，也可以由相同种类或不同种类的多个处理器(例如，多个FPGA、或CPU和FPGA的组合、或者CPU和GPU的组合)来实现。另外，还可以用一个处理器来实现多个功能。作为用一个处理器构成多个功能的例子，首先，有诸如以计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个功能来实现的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种功能。而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件组合的电路(circUitry)。这些电路也可以是使用逻辑和、逻辑积、逻辑非、异或以及将它们组合的逻辑运算来实现上述功能的电路。
在上述处理器或电路执行软件(程序)时，将执行的软件的计算机(例如，构成图像处理部204的各种处理器或电路、和/或它们的组合)可读取代码先存储在ROM211(ROM：ReadOnly Memory)等非暂时性记录介质中，计算机参照该软件。预先存储在非暂时性记录介质中的软件包括用于执行本发明所涉及的医用图像处理装置的工作方法的程序及在执行时使用的数据(与医用图像的获取有关的数据、用于报知条件及报知方式的特定的数据、在识别部中使用的参数等)。也可以不将代码记录于ROM211，而是将其记录于各种光磁记录装置、半导体存储器等非暂时性记录介质中。在使用了软件进行处理时，例如将RAM212(RAM：Random Access Memory)用作暂时性存储区域，另外例如也可参照存储于未图示的EEPROM(Flectronically Erasable and Programmable Read Only Memory)中的数据。也可以将记录部207用作“非暂时性记录介质”。
另外，ROM211(ROM：Read Only Memory)是非易失性的存储元件(非暂时性记录介质)，存储有使CPU210和/或图像处理部204执行各种图像处理方法的程序的计算机可读取代码。RAM212(RAM：Random Access Memory)是各种处理时的暂时存储用的存储元件，另外也可用作图像获取时的缓冲器。声音处理部209通过CPU210的控制从扬声器209A输出声音及语音。
操作部208可由未图示的键盘、鼠标等设备构成，用户能够经由操作部208进行处理的执行指示或执行所需的条件的指定。
记录部207记录获取到的内窥镜图像。另外，记录有用于控制医用图像处理装置的程序及信息。记录部207作为医用图像处理装置的存储器发挥功能。
<基于神经网络的特定场景识别部>
上述图像处理部204中的特定场景识别部222由识别特定场景的识别器构成，该识别器使用神经网络等已学习模型(使用由拍摄生物体而得到的图像构成的图像组进行了学习的模型)构成。在此，特定场景是指例如食道、十二指肠、贲门、幽门、胃角部、胃底部、胃体部、前庭部、小弯、大弯等。下面，对使用CNN(Convolutional Neural Network)作为神经网络时的结构进行说明。
<识别部的结构例>
图4是表示CNN232(神经网络)的结构的图。在图4的(a)部分所示的例子中，CNN232具有输入层232A、中间层232B及输出层232C。输入层232A输入医用图像获取部220获取的内窥镜图像并输出特征量。中间层232B包括卷积层234和池化层235，通过输入从输入层232A输出的特征量来计算其他特征量。这些层形成为通过“边缘”连接了多个“节点”的构造，应用于输入的图像的权重系数与节点及边缘相关联，并存储在未图示的权重系数存储部中。权重系数的值随着学习的进行而变化。
<中间层的处理>
中间层232B通过卷积运算和池化处理来计算特征量。在卷积层234中进行的卷积运算是通过使用了滤光片的卷积运算来获取特征图的处理，承担从图像中提取边缘等特征提取的作用。通过使用了该滤光片的卷积运算，对一个滤光片生成一通道(一张)的“特征图”。“特征图”的尺寸在通过卷积被缩小(downscaling)时，随着在各层进行卷积而变小。在池化层235中进行的池化处理是将通过卷积运算输出的特征图缩小(或放大)而获得新的特征图的处理，承担提供鲁棒性以防止所提取的特征受到平行移动等的影响的作用。中间层232B可由进行这些处理的一层或多层来构成。此外，CNN232也可以构成为没有池化层235。
CNN232也可以如图4的(b)部分所示的例子那样包括全连接层236。CNN232的层结构不限于卷积层234和池化层235一层一层地重复的情况，也可以连续包括多个任意一层(例如，卷积层234)。
图5是表示图4所示的CNN232的中间层232B的结构例的示意图。在中间层232B的最初(第一)卷积层中，进行由多个内窥镜图像构成的图像组与滤光片F1的卷积运算。图像组由具有高H、宽W的图像尺寸的N张(N通道)图像构成。在输入普通光图像的情况下，构成图像组的图像是R(红色)、G(绿色)、B(蓝色)这三个通道的图像。与该图像组进行卷积运算的滤光片F1由于图像组是N通道(N张)，因此例如在尺寸为5(5×5)的滤光片的情况下，滤光片尺寸成为5×5×N的滤光片。通过使用了该滤光片F1的卷积运算，对一个滤光片F1生成一通道(一张)的“特征图”。第二个卷积层中使用的滤光片F2例如在尺寸为3(3×3)的滤光片的情况下，滤光片尺寸成为3×3×M。
与第一个卷积层同样地，在第二个至第n个卷积层中进行使用了滤光片F2～Fn的卷积运算。第n个卷积层中的“特征图”的尺寸小于第二个卷积层中的“特征图”的尺寸是因为被直至前段的卷积层或池化层缩小。
在中间层232B的层中，在靠近输入侧的卷积层中进行低阶特征提取(边缘提取等)，随着靠近输出侧，进行高阶特征提取(与识别对象的形状、结构等有关的特征提取)。
此外，除了卷积层234及池化层235之外，中间层232B还可以包括进行批量归一化(Batch Normalization)的层。批量归一化处理是在进行学习时以小批量为单位对数据的分布进行归一化的处理，并且起到使学习快速进行、降低对初始值的依赖性、抑制过度学习等作用。
输出层232C以符合特定场景识别的形式输出中间层232B计算出的特征量。输出层232C也可以包括全连接层。
<医用图像处理方法的各处理>
接下来，对使用医用图像处理装置的医用图像处理方法进行说明。此外，下面，对将由内窥镜系统10获取的内窥镜图像作为医用图像进行处理的情况进行说明，但本发明的应用不限于此。例如，在本发明中，也能够将由其他内窥镜系统10获取的内窥镜图像作为医用图像，由医用图像处理装置进行处理。
图6是表示医用图像处理方法的流程图。下面，沿着图6对各步骤进行说明。
·医用图像获取步骤
医用图像获取部220按时间序列依次获取多个医用图像(步骤S10)。医用图像获取部220可以获取由内窥镜观测器100拍摄的体腔的医用图像，也可以获取记录在记录部207中的体腔的医用图像。
·特定场景识别步骤
特定场景识别部222在获取的医用图像中识别特定场景。特定场景识别部222接收医用图像，将医用图像输入到上述CNN中并分步从医用图像中提取特征量。特定场景识别部222最终利用该特征量，通过进行类别分类(例如食道、十二指肠、贲门、幽门、胃角部、胃底部、胃体部、前庭部、小弯、大弯、其他11类别分类)来识别特定场景。此外，该识别方法的详细说明记载在以下文献中(B.Zhou，A.Lapedriza，J.Xiao，A.Torralba，andA.Oliva.Learning deep features for scene recognition using places database.InNeural Information Processing Systems(NIPS)，pages 487-495，20114.1，4，6，8))。另外，特定场景识别部222也可通过将最终提取的特征量与预先保存在记录部207中的特征量(例如十二指肠的特征量)进行比较并计算相似度来识别特定场景。此外，该识别手法的详细说明记载在以下文献中(FaceNet：A Unified Embedding for Face Recognition andClustering https://arxiv.org/abs/1503.03832))。
在特定场景识别部222在接收到的医用图像中无法识别特定场景的情况下(步骤S11的No时)，医用图像获取部220在有下一张医用图像时(步骤S19的Yes时)获取下一张医用图像(步骤S10)。另一方面，在特定场景识别部222在医用图像中能够识别特定场景的情况下(步骤S11的Yes时)，转入更新识别频率的记录的频率获取步骤(步骤S12)。
·频率获取步骤
当特定场景识别部222在医用图像中识别出特定场景时，频率获取部224更新识别频率的记录(步骤S12)。例如，在作为特定场景的十二指肠被特定场景识别部222识别出的情况下，将十二指肠的识别频率从0更新为1。识别频率的更新也可以考虑各种方式，例如更新为0至64等。此外，关于识别频率的更新，稍后将详细地进行说明。
·显示控制步骤
显示控制部226在识别频率为第一阈值以上(步骤S13的Yes时)、初始显示被显示在监视器400上、且作为报知显示之一的第一显示尚未显示在监视器400上的情况下(步骤S14的No时)，使初始显示改变为第一显示(步骤S15)。
另一方面，显示控制部226在识别频率为第一阈值以上(步骤S13的Yes时)、第一显示已经显示在监视器400上的情况下(步骤S14的Yes时)，并且在识别频率为第二阈值以上的情况下(步骤S16的Yes时)，使初始显示改变为第二显示。此外，第一阈值及第二阈值由用户适当地设定。这样，通过根据特定场景识别部222的特定场景的识别频率分步变化，使初始显示、第一画面或第二画面显示在监视器400上，用户能够知道识别频率。
在识别频率低于第一阈值(步骤S13的No时)、或者识别频率低于第二阈值(步骤S16的No时)、或者第二显示已经显示在监视器400上的情况下(步骤S17的Yes时)，在有下一张医用图像时，医用图像获取部220获取下一张医用图像(步骤S10)。
<频率获取步骤>
接下来，对由频率获取部224进行的频率获取步骤进行说明。
图7是识别频率的获取的流程图。在图7中，对根据在内窥镜图像中识别出特定场景(例如幽门)的图像数更新识别频率的情况进行说明。此外，图中的n为识别出特定场景的图像数，N为频率更新阈值，由用户适当地设定。
初始状态下，设为n＝0(步骤S20)。医用图像获取部220接收医用图像(步骤S21)。在特定场景识别部222在医用图像中识别出特定场景的情况下(步骤S22的Yes)，将识别出特定场景的图像数n更新为n+1(步骤S23)。在更新后的图像数n为频率阈值N以上的情况下(步骤S24的Yes时)，频率获取部224进行识别频率的更新(步骤S25)。例如，当频率阈值为5时(N＝5)，在特定场景识别部222在五张医用图像中识别出幽门的情况下，频率获取部224进行幽门部的识别频率的更新。之后，转入用图6进行了说明的显示控制步骤(步骤S13～18：步骤S26)。
在特定场景识别部222在获取的医用图像中没有识别出特定场景的情况下(步骤S22的No时)，或者在更新后的图像数n小于频率阈值N的情况下(步骤S24的No时)，或者在用图6进行了说明的显示控制步骤(步骤S13～18)之后，在有下一张医用图像时(步骤S27的Yes时)，医用图像获取部220获取下一张医用图像。
此外，特定场景识别部222识别的特定场景可以是一处，也可以是多处。在特定场景识别部222识别的特定场景是多处的情况下，对每个特定场景设定频率阈值，对每个特定场景进行识别频率的更新。
<报知显示>
接下来，对由显示控制部226进行的向监视器400的报知显示进行说明。
图8是表示由显示控制部226进行的向监视器400的报知显示的例子的图。
在图8所示的情况下，实时拍摄的内窥镜图像(医用图像)301显示在监视器400的主显示区域。另外，在监视器400的副显示区域，显示由参照图像构成的报知显示303。
报知显示303由特定场景1～9的参照图像(303A～303I)构成。
在尚未被特定场景识别部222识别的特定场景4、8、9(符号303D、303H、303I)中，为初始显示且仅显示框线305。这样，通过将初始显示设为与报知显示不同的显示，用户能够知道尚未由特定场景识别部222进行特定场景的识别的情况。另一方面，在特定场景1～3、5、6、7(符号303A、303B、303C、303E、303F、303H、303I)中，识别频率为第一阈值以上且显示第一显示(特定场景的参照图像307)。另外，在特定场景2中，识别频率为第二阈值以上且显示第二显示(框线305的线型从实线变更为虚线)。
如上所述，在本实施方式中，根据医用图像的特定场景的识别频率切换报知显示并显示在监视器400上，因此用户能够知道医用图像处理装置(特定场景识别部222)中的特定场景的识别频率。因此，本实施方式能够减轻医用图像处理装置(特定场景识别部222)的识别与用户的识别之间的背离。
接下来，对上述实施方式的变形例进行说明。
<医用图像处理方法的各处理的变形例>
对医用图像处理方法的各处理的变形例进行说明。在上述实施方式中，对在监视器400上显示第一显示和第二显示的情况进行了说明，但在本例中，对变更为第三显示以上并在监视器400上进行报知显示的情况进行说明。
图9是本例中的医用图像处理方法的流程图。此外，图9中的m的值表示报知显示中的画面的序号。另外，与各报知显示对应地设定阈值。因此，在识别频率为第m阈值以上的情况下，显示第m显示。
在初始状态下，m＝1(步骤S30)。医用图像获取部220按时间序列依次获取多个医用图像(步骤S31)。之后，特定场景识别部222在获取的医用图像中可识别出特定场景的情况下(步骤S32的Yes时)，频率获取部224更新识别频率的记录(步骤S33)。之后，显示控制部226在识别频率为第m阈值以上(步骤S34的Yes时)、且第m显示尚未显示在监视器400上的情况下(步骤S35的No时)，改变为第m显示(步骤S36)。另一方面，在第m显示已经显示在监视器400上的情况下，设为m＝m+1(步骤S37)。
在特定场景识别部222无法识别特定场景的情况下(步骤S32的No时)，或者在改变为第m显示的情况(步骤S36)之后，在有下一张医用图像时(步骤S38的Yes时)，医用图像获取部220获取医用图像。
如上所述，在本例中，不限于向第一显示及第二显示的变化，也进行向第三显示以上的变更。由此，用户能够更准确地掌握医用图像处理装置中的特定场景的识别频率。
<识别频率的更新的变形例>
接下来，对识别频率的更新的变形例进行说明。在图7中对基于可识别特定场景的医用图像的张数进行识别频率的更新的例子进行了说明，但在本例中，基于按时间序列连续的识别图像的张数进行识别频率的更新。此外，图中的n为识别出特定场景的图像数，N为频率更新阈值，由用户适当地设定。
图10是本例的频率获取部224中的识别频率的获取的流程图。
在初始状态中，设为n＝0(步骤S40)。医用图像获取部220按时间序列连续获取医用图像(步骤S41)。在特定场景识别部222在医用图像中识别出特定场景的情况下(步骤S42的Yes)，识别出特定场景的图像数n更新为n+1(步骤544)。另一方面，在特定场景识别部222无法识别特定场景的情况下，将计数器设为n＝0(步骤S49)，在有下一张医用图像时，获取下一张医用图像。
在更新后的识别出特定场景的图像数n为频率阈值N以上的情况下(步骤S45的Yes时)，进行识别频率的更新(步骤S46)。之后，进行在图7中说明的显示控制步骤(步骤S13～步骤S18：步骤S47)。之后，在有下一张医用图像时(步骤S48的Yes时)转入下一张内窥镜图像的处理。
如上所述，在本例中，在能够连续地在规定张数的医用图像中识别出特定场景的情况下，进行识别频率的更新。因此，能够高精度地反映用户进行观察的情况，输出特定场景识别部222的识别结果。
<报知显示的变形例1>
接下来，对报知显示的变形例1进行说明。在本例中，作为报知显示，对使用参照图像时的各种变形例进行说明。
沿着图11～图15，是对报知显示的第一变形例1至第五变形例1的具体例进行说明的图。此外，图中的IMGB是初始显示，IMG1是从初始显示切换的第一显示，IMG2是从第一显示切换的第二显示。
在图11所示的第一变形例1中，框线的颜色根据识别频率而变化。
例如，在IMGB中，框线311为黑色，在IMG1中，框线313为白色，在IMG2中，框线315为红色。这样，看到本例的报知显示的用户能够通过框线的颜色来掌握特定场景识别部222的识别频率。
在图12所示的第二变形例1中，框线的种类(线型)根据识别频率而变化。
例如，在IMGB中，框线321为细的虚线，在IMG1中，框线323为比框线321粗略的虚线，在IMG2中，框线325为实线。这样，看到本例的报知显示的用户能够通过框线的种类来掌握特定场景识别部222的识别频率。
在图13所示的第三变形例1中，参照图像的背景色根据识别频率而变化。
例如，在IMGB中，背景331为白色，在IMG1中，背景333为灰色，在IMG2中，背景335为黑色。这样，看到本例的报知显示的用户能够通过背景的颜色来掌握特定场景识别部222的识别频率。
在图14所示的第四变形例1中，参照图像的周边的颜色发生变化。
例如，在IMGB中，参照图像的周边341为白色，在IMG1中，参照图像的周边343为粉红色，在IMG2中，参照图像的周边345为红色。这样，看到本例的报知显示的用户能够通过参照图像的颜色来掌握特定场景识别部222的识别频率。
在图15所示的第五变形例1中，参照图像的图像逐渐变得清晰(模糊程度发生变化)。
例如，在IMGB中，不显示参照图像但显示无图案图像351，在IMG1中，显示不清晰的(模糊状态的)参照图像353，在IMG2中，显示清晰的状态的参照图像355。这样，看到本例的报知显示的用户能够通过参照图像的清晰程度(模糊程度)来掌握特定场景识别部222的识别频率。
<报知显示的变形例2>
接下来，对报知显示的变形例2进行说明。在本例中，使报知显示重叠在包括与多个特定场景对应的部位的模型图像上。
图16是表示第一变形例2的图。在本例中，是表示在模拟胃的模型图像361上进行报知显示的图。模型图像361包括与多个特定场景对应的部位。而且，在识别出各特定场景的情况下，作为报知显示，进行根据识别频率改变颜色的带显示。在图16所示的情况下，对特定场景A进行作为第一显示的带显示363A，对特定场景D进行作为第一显示的带显示363D。另外，对特定场景B进行作为第二显示的带显示363B，对特定场景C进行作为第二显示的带显示363C，对特定场景E进行作为第二显示的带显示363E。此外，作为第一显示的带显示363A及363D以相同颜色显示，作为第二显示的带显示363B、363C及363E以相同颜色显示。这样，看到本例的报知显示的用户能够通过与模型图像重叠的带显示的颜色来掌握特定场景识别部222的识别频率。
图17是表示第二变形例2的图。在本例中，是表示在模拟胃的模型图像371上进行报知显示的图。模型图像371包括与多个特定场景对应的部位。而且，在各特定场景被识别出规定的阈值以上的情况下，作为报知显示在与识别出的特定场景对应的位置显示识别标记373。识别标记373根据特定场景的位置重叠显示，且识别标记重叠的部位的颜色根据重叠程度而变化。作为具体例，识别标记373以每次重叠时逐渐变亮的方式进行显示。这样，看到本例的报知显示的用户能够通过显示在模型图像371上且每次重叠时颜色改变的识别标记373的显示来掌握特定场景识别部222的识别频率。
<监视器显示的变形例>
接下来，对监视器显示的变形例进行说明。在本例中，在两个第一监视器及第二监视器上进行显示。
图18是表示在两个监视器(第一监视器及第二监视器)上进行显示时的图。
在第一监视器400A上，显示实时获取的医用图像301。在第二监视器400B上，进行在图8中进行了说明的报知显示303。这样，通过使用两个监视器进行报知显示303，能够进行可视性提高的显示。
以上对本发明的例子进行了说明，但本发明不限于上述的实施方式，当然，在不脱离本发明的精神的范围内可以进行各种变形。
符号说明
10：内窥镜系统
100：内窥镜观测器
102：手边操作部
104：插入部
106：通用电缆
108：光导连接器
112：软性部
114：弯曲部
116：顶端硬质部
116A：顶端侧端面
123：照明部
123A：照明用透镜
123B：照明用透镜
126：钳道口
130：摄影光学系统
132：摄影透镜
134：摄像元件
136：驱动电路
141：供气供水按钮
142：吸引按钮
143：功能按钮
144：拍摄按钮
170：光导
200：内窥镜处理器装置
202：图像输入控制器
204：图像处理部
205：通信控制部
206：视频输出部
207：记录部
208：操作部
209：声音处理部
209A：扬声器
210：CPU
211：ROM
212：RAM
220：医用图像获取部
222：特定场景识别部
224：频率获取部
226：显示控制部

Claims (17)

1.一种医用图像处理装置，具备处理器，其中，
所述处理器
按时间序列依次获取多个医用图像，
基于获取的所述医用图像，识别所述医用图像的特定场景，
获取所述识别出的所述特定场景的识别频率，
根据所述识别频率，在监视器上显示表示以两个阶段以上变化的识别程度的报知显示。
2.根据权利要求1所述的医用图像处理装置，其中，
所述处理器根据所述识别频率，在所述监视器上显示不同的颜色作为所述报知显示。
3.根据权利要求1或2所述的医用图像处理装置，其中，
所述处理器根据所述识别频率，在所述监视器上显示不同的线型作为所述报知显示。
4.根据权利要求1至3中任一项所述的医用图像处理装置，其中，
所述处理器根据所述识别频率，在所述监视器上显示不同的模糊状态作为所述报知显示。
5.根据权利要求1至4中任一项所述的医用图像处理装置，其中，
所述处理器基于所述识别出的所述特定场景的所述医用图像的张数，获取所述识别频率。
6.根据权利要求1至4中任一项所述的医用图像处理装置，其中，
所述处理器基于所述识别出的所述特定场景的以时间序列连续的所述医用图像的张数，获取所述识别频率。
7.根据权利要求1至6中任一项所述的医用图像处理装置，其中，
所述处理器计算所述特定场景的所述医用图像的特征量，通过基于所述特定场景的所述特征量对所述医用图像进行类别分类来识别所述特定场景。
8.根据权利要求1至6中任一项所述的医用图像处理装置，其中，
所述处理器计算所述特定场景的所述医用图像的特征量，基于所述特征量与所述医用图像的相似度来识别所述特定场景。
9.根据权利要求1至6中任一项所述的医用图像处理装置，其中，
所述处理器在所述识别频率为第一阈值以上的情况下，将所述报知显示从初始显示切换为第一显示，并显示在所述监视器上。
10.根据权利要求9所述的医用图像处理装置，其中，
所述处理器在所述识别频率为大于所述第一阈值的第二阈值以上的情况下，将所述报知显示从所述第一显示切换为第二显示，并显示在所述监视器上。
11.根据权利要求10所述的医用图像处理装置，其中，
所述处理器在所述监视器上显示具有多个所述特定场景的每一个的多个参照图像，进行所述第一显示及所述第二显示。
12.根据权利要求10所述的医用图像处理装置，其中，
所述处理器在所述监视器上显示包括与多个所述特定场景对应的部位的模型图像，使识别出的所述特定场景与所述模型图像相对应，进行所述第一显示及所述第二显示。
13.根据权利要求12所述的医用图像处理装置，其中，
所述处理器使识别出所述特定场景的位置与所述模型图像上的位置相对应，使所述报知显示重叠在所述模型图像上并显示在所述监视器上。
14.根据权利要求1至13中任一项所述的医用图像处理装置，其中，
所述处理器在尚未识别出所述特定场景的情况下，在所述监视器上显示与所述报知显示不同的初始显示。
15.一种医用图像处理方法，包括：
医用图像获取步骤，按时间序列依次获取多个医用图像；
特定场景识别步骤，基于获取的所述医用图像，识别所述医用图像的特定场景；
频率获取步骤，获取通过所述特定场景识别步骤识别出的所述特定场景的识别频率；以及
显示控制步骤，根据所述识别频率，在监视器上显示表示以两个阶段以上变化的识别程度的报知显示。
16.一种程序，其使计算机执行医用图像处理方法，所述医用图像处理方法包括：
医用图像获取步骤，按时间序列依次获取多个医用图像；
特定场景识别步骤，基于获取的所述医用图像，识别所述医用图像的特定场景；
频率获取步骤，获取通过所述特定场景识别步骤识别出的所述特定场景的识别频率；以及
显示控制步骤，根据所述识别频率，在监视器上显示表示以两个阶段以上变化的识别程度的报知显示。
17.一种记录介质，其是非临时性且计算机可读取的记录介质，其中，
记录有权利要求16所述的程序。
CN202080086065.6A 2019-12-26 2020-12-17 医用图像处理装置、医用图像处理方法及程序 Pending CN114845624A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019236673 2019-12-26
JP2019-236673 2019-12-26
PCT/JP2020/047179 WO2021132023A1 (ja) 2019-12-26 2020-12-17 医用画像処理装置、医用画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN114845624A true CN114845624A (zh) 2022-08-02

Family

ID=76574466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080086065.6A Pending CN114845624A (zh) 2019-12-26 2020-12-17 医用图像处理装置、医用图像处理方法及程序

Country Status (5)

Country Link
US (1) US20220285010A1 (zh)
EP (1) EP4082421A4 (zh)
JP (1) JPWO2021132023A1 (zh)
CN (1) CN114845624A (zh)
WO (1) WO2021132023A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114945315A (zh) * 2020-01-20 2022-08-26 富士胶片株式会社 医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统
WO2023090091A1 (ja) * 2021-11-19 2023-05-25 富士フイルム株式会社 画像処理装置及び内視鏡システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4624841B2 (ja) * 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
JP5368668B2 (ja) * 2006-06-01 2013-12-18 富士フイルム株式会社 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
JP4914680B2 (ja) * 2006-09-05 2012-04-11 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5226618B2 (ja) * 2009-06-29 2013-07-03 オリンパス株式会社 画像抽出装置、画像抽出方法および画像抽出プログラム
JP5455550B2 (ja) 2009-10-23 2014-03-26 Ｈｏｙａ株式会社 電子内視鏡用プロセッサ
JP5492729B2 (ja) * 2010-09-28 2014-05-14 富士フイルム株式会社 内視鏡画像記録装置、及び内視鏡画像記録装置の作動方法、並びにプログラム
JP6120762B2 (ja) * 2013-12-13 2017-04-26 オリンパス株式会社 画像処理装置
WO2018138828A1 (ja) * 2017-01-26 2018-08-02 オリンパス株式会社 画像処理装置、動作方法およびプログラム
WO2019220848A1 (ja) * 2018-05-17 2019-11-21 富士フイルム株式会社 内視鏡装置、内視鏡操作方法、及びプログラム
JP7100505B2 (ja) * 2018-06-19 2022-07-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム

Also Published As

Publication number Publication date
JPWO2021132023A1 (zh) 2021-07-01
EP4082421A1 (en) 2022-11-02
WO2021132023A1 (ja) 2021-07-01
EP4082421A4 (en) 2023-02-08
US20220285010A1 (en) 2022-09-08

Similar Documents

Publication Publication Date Title
US11925311B2 (en) Medical diagnosis support device, endoscope system, and medical diagnosis support method
CN111936032B (zh) 图像处理装置、内窥镜系统及图像处理方法
US11200460B2 (en) Image learning device, image learning method, neural network, and image classification device
US20210343011A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
US11948080B2 (en) Image processing method and image processing apparatus
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
US20210342592A1 (en) Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
US20220285010A1 (en) Medical image processing apparatus, medical image processing method, and program
US20220327702A1 (en) Medical image processing apparatus, method for operating medical image processing apparatus, and endoscope system
CN113543694A (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
US20220151462A1 (en) Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program
US11978550B2 (en) Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
JPWO2020059445A1 (ja) 画像処理装置及び画像処理方法
US20230157768A1 (en) Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program
WO2019146079A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
WO2021153471A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム
US20230389774A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
US20220151461A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
US11689689B2 (en) Infrared imaging system having structural data enhancement
US20230410303A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination