CN116916808A - 医用图像处理装置、医用图像处理方法及程序 - Google Patents

医用图像处理装置、医用图像处理方法及程序 Download PDF

Info

Publication number
CN116916808A
CN116916808A CN202280016131.1A CN202280016131A CN116916808A CN 116916808 A CN116916808 A CN 116916808A CN 202280016131 A CN202280016131 A CN 202280016131A CN 116916808 A CN116916808 A CN 116916808A
Authority
CN
China
Prior art keywords
scene
medical image
image processing
notification
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280016131.1A
Other languages
English (en)
Inventor
大酒正明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116916808A publication Critical patent/CN116916808A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种用户能够有效地进行医用图像的观察的医用图像处理装置、医用图像处理方法及程序。医用图像处理装置的处理器进行如下处理：医用图像获取处理，依次获取时间序列的医用图像；第一场景识别处理，从医用图像中识别第一场景；第二场景识别处理，当识别出第一场景时，从医用图像中识别第二场景；第一通知处理，通知识别出第一场景；第二通知处理，通知识别出第二场景。

Description

医用图像处理装置、医用图像处理方法及程序
技术领域
本发明涉及医用图像处理装置、医用图像处理方法及程序，特别是涉及辅助进行医用图像的观察的用户的医用图像处理装置、医用图像处理方法及程序的技术。
背景技术
一般的内窥镜装置从内窥镜的插入部的前端照射照明光，由摄像装置拍摄被观察对象并获取医用图像。所拍摄的医用图像显示在监视器上，用户观察被摄在监视器上的医用图像，进行检查。
近年来，使用通过机器学习进行学习的识别器，由此能够高精度地识别医用图像(非专利文献1)。在内窥镜装置中，也考虑使用通过机器学习进行学习的识别器自动识别特定场景，将识别出的场景通知给用户。
例如，在专利文献1所记载的技术中，记载有一种根据内窥镜操作者的动作来通知由内窥镜装置获取的医用图像中所含的关注区域的关注信息的技术。
以往技术文献
非专利文献
非专利文献1：A.Krizhevsky，I.Sutskever，and G.Hinton.ImageNetclassification with deep convolutional neural networks.In NIPS，2012
专利文献
专利文献1：日本特开2020-146202号公报
发明内容
发明要解决的技术课题
在此，在用户(医生)想要观察特定检查场景的情况下，有时仅通知识别出特定检查场景是不够的。在内窥镜装置的插入部位于特定检查场景附近的情况下，用户能够比较快地使内窥镜装置识别出特定检查场景。另一方面，在内窥镜装置的插入部位于远离特定检查场景的部位的情况下，直至在使内窥镜装置识别出特定检查场景之前，用户必须在没有任何辅助的状态下调整拍摄的场所、角度及距离等，直到识别出特定检查场景为止，有时需要时间。
本发明是鉴于这样的情况而完成的，其目的在于提供一种用户能够有效地进行医用图像的观察的医用图像处理装置、医用图像处理方法及程序。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式所涉及的医用图像处理装置具备处理器，其中，处理器进行以下处理：医用图像获取处理，依次获取时间序列的医用图像；第一场景识别处理，从医用图像中获取第一场景；第二场景识别处理，当识别出第一场景时，从医用图像中识别第二场景；第一通知处理，通知识别出第一场景；以及第二通知处理，通知识别出第二场景。
根据本方式，从医用图像中识别出第一场景，并将识别出第一场景的情况通知给用户，从医用图像中识别出第二场景，并将识别出第二场景的情况通知给用户。由此，用户被通知识别出第一场景及第二场景，因此能够掌握拍摄医用图像的摄像装置(例如内窥镜的插入部)位于何处，能够更有效地进行医用图像的观察。
优选的是，第一场景包含第二场景。
根据本方式，用户能够在被通知识别出第一场景之后，预测第二场景的识别，能够更有效地进行医用图像的观察。
优选的是，医用图像处理装置具备对每个第一场景进行第二场景识别处理的第二场景识别器，第一场景识别处理至少识别两个以上的第一场景，根据在第一场景识别处理中识别出的第一场景来选择第二场景识别器，识别第二场景。
优选的是，关于第一通知处理，在判定为在第二场景识别处理中识别出第二场景以后，不进行第一通知处理。
根据本方式，在一次识别出第二场景并通知给用户之后，不进行第一通知处理，能够抑制多次通知，抑制重复的通知妨碍观察。
优选的是，关于第一通知处理，在进行了第二场景的摄影以后，不进行第一通知处理。
根据本方式，在进行了第二场景的摄影之后，不进行第一通知处理，能够抑制多次通知，抑制重复的通知妨碍观察。
优选的是，关于第二场景识别处理，在判定为识别出第二场景以后，不进行第二场景的识别处理。
根据本方式，在识别出第二场景之后，不进行第二场景的识别处理，能够有效地使用计算资源。另外，能够抑制由于重复识别相同的第二场景而导致重复的通知妨碍观察。
优选的是，关于第二场景识别处理，在进行了第二场景的摄影以后，不进行第二场景的识别处理。
根据本方式，在拍摄第二场景之后，不进行第二场景的识别处理，能够有效地使用计算资源。另外，能够抑制由于重复识别相同的第二场景而导致重复的通知妨碍观察。
优选的是，第二通知处理持续通知识别出第二场景。
根据本方式，当有多个观察的部位时，能够辅助用户全面地进行观察。
优选的是，第一通知处理进行基于画面显示的通知，第二通知处理进行基于声音的通知。
优选的是，画面显示是第一场景的样品图像。
优选的是，第一场景识别处理及第二场景识别处理使用卷积神经网络(Convolutional Neutral Network)来进行。
优选的是，第一场景识别处理基于分类评分，进行第一场景的识别。
优选的是，第二场景识别处理基于相似度，进行第二场景的识别。
优选的是，第一场景及第二场景是拍摄了胃内部的部位的场景。
本发明的另一方式所涉及的医用图像处理方法使用具备处理器的医用图像处理装置，其中，处理器进行以下工序：医用图像获取工序，依次获取时间序列的医用图像；第一场景识别工序，从医用图像中识别第一场景；第二场景识别工序，当识别出第一场景时，从医用图像中识别出第二场景；第一通知工序，通知识别出第一场景；以及第二通知工序，通知识别出第二场景。
本发明的另一方式所涉及的程序使具备处理器的医用图像处理装置执行医用图像处理方法，其中，使处理器进行以下工序：医用图像获取工序，依次获取时间序列的医用图像；第一场景识别工序，从医用图像中识别第一场景；第二场景识别工序，当识别出第一场景时，从医用图像中识别第二场景；第一通知工序，通知识别出第一场景；以及第二通知工序，通知识别出第二场景。
发明效果
根据本发明，从医用图像中识别出第一场景，并将识别出第一场景的情况通知给用户，从医用图像中识别出第二场景，并将识别出第二场景的情况通知给用户，因此能够掌握拍摄医用图像的摄像装置位于何处，能够更有效地进行医用图像的观察。
附图说明
图1是表示内窥镜系统的整体结构的概略图。
图2是表示医用图像处理装置的实施方式的框图。
图3是表示第一场景识别部和第二场景识别部的具体结构例的图。
图4是对基于显示器上的显示的通知进行说明的图。
图5是对基于显示器上的显示的通知进行说明的图。
图6是对基于显示器上的显示的通知进行说明的图。
图7是表示模型图像向显示器的显示形式的一例的图。
图8是表示医用图像处理方法的流程图。
图9是表示医用图像处理方法的流程图。
图10是表示医用图像处理方法的流程图。
图11是由第一通知部进行的、通知识别出第一场景的显示方式。
图12是由第二通知部进行的、通知识别出第二场景的显示方式。
图13是表示医用图像处理方法的流程图。
具体实施方式
下面，按照附图对本发明所涉及的医用图像处理装置、医用图像处理方法及程序的优选実施方式进行说明。
[包括医用图像处理装置的内窥镜系统的整体结构]
<第一实施方式>
图1是表示包括本发明所涉及的医用图像处理装置的内窥镜系统的整体结构的概略图。
如图1所示，内窥镜系统9具备作为电子内窥镜的内窥镜观测器10、光源装置11、内窥镜处理器装置12、显示装置13、医用图像处理装置14、操作部15、以及显示器16。
内窥镜观测器10是拍摄包括被摄体像的时间序列的医用图像的装置，例如，是下部或上部消化管用观测器。该内窥镜观测器10具有插入到受检体(例如，胃)内且具有前端和基端的插入部20、与插入部20的基端侧连接设置且供施术者即医生握持进行各种操作的手边操作部21、以及与手边操作部21连接设置的通用塞绳22。
插入部20整体形成为细径且长条状。插入部20是从其基端侧朝向前端侧依次连接设置具有挠性的软性部25、可通过手边操作部21的操作而弯曲的弯曲部26、以及内置有未图示的摄像光学系统(物镜)及摄像元件28等的前端部27而构成。
摄像元件28是CMOS(complementary metal oxide semiconductor)型或CCD(charge coupled device)型的摄像元件。被观察部位的像光经由在前端部27的前端面上开设的未图示的观察窗、及配置在该观察窗的后方的未图示的物镜入射到摄像元件28的摄像面。摄像元件28拍摄入射到其摄像面的被观察部位的像光(转换为电信号)，并输出摄像信号。即，通过摄像元件28依次拍摄医用图像。此外，获取医用图像，作为之后说明的动态画面38及静止画面39。
在手边操作部21设置有由医生(用户)操作的各种操作部件。具体而言，在手边操作部21设置有用于弯曲部26的弯曲操作的两种弯曲操作钮29、供气供水操作用的供气供水按钮30、以及吸引操作用的吸引按钮31。另外，在手边操作部21设置有用于进行被观察部位的静止画面39的摄影指示的静止画面摄影指示部32和向插通于插入部20内的处置器具插通路(未图示)内插入处置器具(未图示)的处置器具导入口33。
通用塞绳22是用于将内窥镜观测器10连接至光源装置11的连接塞绳。该通用塞绳22内包有插通到插入部20内的光导35、信号电缆36及流体管(未图示)。另外，在通用塞绳22的端部设置有与光源装置11连接的连接器37a以及从该连接器37a分支且与内窥镜处理器装置12连接的连接器37b。
通过将连接器37a与光源装置11连接，将光导35及流体管(未图示)插入到光源装置11。由此，经由光导35及流体管(未图示)，从光源装置11对内窥镜观测器10供给必要的照明光、水以及气体。其结果是，从前端部27的前端面的照明窗(未图示)朝向被观察部位照射照明光。另外，根据上述的供气供水按钮30的按下操作，从前端部27的前端面的供气供水喷嘴(未图示)朝向前端面的观察窗(未图示)喷射气体或水。
通过将连接器37b与内窥镜处理器装置12连接，信号电缆36和内窥镜处理器装置12电连接。由此，经由信号电缆36，从内窥镜观测器10的摄像元件28向内窥镜处理器装置12输出被观察部位的摄像信号，并且从内窥镜处理器装置12向内窥镜观测器10输出控制信号。
光源装置11经由连接器37a向内窥镜观测器10的光导35供给照明光。照明光选择白色光(白色波长频带的光或多个波长频带的光)、或者一个或多个特定波长频带的光、或者它们的组合等对应于观察目的的各种波长频带的光。
内窥镜处理器装置12经由连接器37b及信号电缆36控制内窥镜观测器10的动作。另外，内窥镜处理器装置12基于经由连接器37b及信号电缆36从内窥镜观测器10的摄像元件28获取的摄像信号，生成由包括被摄体像的时间序列的帧图像38a构成的图像(也称为“动态画面38”)。而且，当用内窥镜观测器10的手边操作部21操作静止画面摄影指示部32时，内窥镜处理器装置12与动态画面38的生成同时，将动态画面38中的一张帧图像38a设为与摄影指示的定时对应的静止画面39。
动态画面38及静止画面39是拍摄受检体内、即生物体内而得的医用图像。而且，当动态画面38及静止画面39是由上述特定波长频带的光(特殊光)获得的图像时，两者为特殊光图像。然后，内窥镜处理器装置12将生成的动态画面38及静止画面39输出到显示装置13和医用图像处理装置14。
此外，内窥镜处理器装置12也可以基于由上述的白色光获得的普通光图像，生成(获取)具有上述特定波长频带的信息的特殊光图像。在该情况下，内窥镜处理器装置12作为特殊光图像获取部发挥作用。而且，内窥镜处理器装置12通过进行基于普通光图像中所含的红、绿及蓝[RGB(Red、Green、Blue)]或者青色、品红及黄色[CMY(Cyan、Magenta、Yellow)]的颜色信息的运算而获得特定波长频带的信号。
另外，内窥镜处理器装置12例如也可以基于由上述的白色光获得的普通光图像和由上述的特定波长频带的光(特殊光)获得的特殊光图像中的至少一方，生成公知的氧饱和度图像等特征量图像。在该情况下，内窥镜处理器装置12作为特征量图像生成部发挥作用。此外，包括上述的生物体内图像、普通光图像、特殊光图像、及特征量图像的动态画面38或静止画面39都是为了基于图像进行诊断、检查而拍摄人的人体、或将测量的结果图像化所得的医用图像。
显示装置13与内窥镜处理器装置12连接，作为显示从该内窥镜处理器装置12输入的动态画面38及静止画面39的显示部发挥作用。医生(用户)一边确认在显示装置13上显示的动态画面38，一边进行插入部20的进退操作等，当在被观察部位发现病变等时，操作静止画面摄影指示部32，执行被观察部位的静止画面拍摄，另外，进行诊断、活检等处置。此外，在与之后说明的医用图像处理装置14连接的显示器16上，也同样地显示动态画面38及静止画面39。另外，在显示器16上显示动态画面38及静止画面39的情况下，也一起进行之后说明的通知显示。因此，优选的是，用户观察显示器16的显示进行诊断等。
[医用图像处理装置]
图2是表示医用图像处理装置14的实施方式的框图。医用图像处理装置14依次获取时间序列的医用图像，并将第一场景及第二场景的识别通知给用户。医用图像处理装置14例如由计算机构成。操作部15除了与计算机有线连接或无线连接的键盘及鼠标等之外，还包括设置在内窥镜观测器10的手边操作部21的按钮类，显示器(显示部)16使用可与计算机连接的液晶监视器等各种监视器。
医用图像处理装置14由医用图像获取部40、CPU(Central Processing Unit)41、第一场景识别部42、第二场景识别部43、第一通知部44、第二通知部45、显示控制部46、语音控制部47及存储器48构成。各部的处理由一个或多个处理器来实现。在此，处理器可以由CPU41构成，也可以由未图示的一个或多个CPU构成。
CPU41基于储存在存储器48中的操作系统、包括本发明所涉及的医用图像处理程序的各种程序进行动作，统一控制医用图像获取部40、第一场景识别部42、第二场景识别部43、第一通知部44、第二通知部45、显示控制部46、语音控制部47，另外，作为这些各部的一部分发挥作用。
医用图像获取部40进行医用图像获取处理，依次获取时间序列的医用图像。医用图像获取部40使用与内窥镜处理器装置12(图1)有线连接或无线连接的未图示的图像输入输出接口，从内窥镜处理器装置12获取包括被摄体像的时间序列的医用图像。在本例中，获取由内窥镜观测器10拍摄的动态画面38。另外，当通过内窥镜观测器10在动态画面38的拍摄中途进行了已述的静止画面39的拍摄时，医用图像获取部40从内窥镜处理器装置12获取动态画面38及静止画面39。
第一场景识别部42进行第一场景识别处理。在此，第一场景是指比以下说明的第二场景宽的范围的场景，第一场景包含第二场景。例如，当用内窥镜装置检查胃内部时，第一场景为贲门、幽门、胃角部、胃底部、胃体部、前庭部、小弯、大弯、及其以外。因此，第一场景可设为检查对象的各区域的场景。
第一场景识别部42通过各种方法，从所输入的医用图像中进行第一场景的识别。例如，第一场景识别部42由识别器构成，所述识别器由Convolutional Neural Network等构成。第一场景识别部42的识别器为了预先识别第一场景而对图像(医用图像)进行学习，使用学习完毕的参数，识别第一场景。
第二场景识别部43进行第二场景识别处理。第一场景识别部42识别为第一场景的医用图像被输入到第二场景识别部43。在此，第二场景是指在第一场景中也适于观察或诊察的场景，是指比第一场景窄的范围的场景。例如，第一场景识别部42将胃内部的贲门识别为第一场景，第二场景识别部43将贲门位于图像中央且具有适于观察的场景的医用图像识别为第二场景。例如，第一场景识别部42将医用图像由于摄像装置的移动等而抖动的情况、由于遮蔽物而变暗的情况也识别为第一场景，但第二场景识别部43仅将没有模糊及抖动且以适当的亮度拍摄的情况识别为第二场景。第二场景识别部43的识别器为了预先识别第二场景而对图像(医用图像)进行学习，使用学习完毕的参数，识别第二场景。
第一场景识别部42及第二场景识别部43也可以对所输入的医用图像进行分类或根据相似度进行判定而进行识别。当第一场景识别部42及第二场景识别部43对医用图像进行分类而进行场景识别时，可利用文献(B.Zhou，A.Lapedriza，J.Xiao，A.Torralba，andA.Oliva.Learning deep features for scene recognition using places database.InNeural Information Processing Systems(NIPS)，pages 487-495，2014.1，4，6，8)中记载的技术。另外，在第一场景识别部42及第二场景识别部43根据医用图像的特征量的相似度进行场景识别的情况下，可利用文献(FaceNet：A Unified Embedding for Face Recognition and Clustering https：//arxiv.org/abs/1503.03832)中记载的技术。
第一通知部44进行第一通知处理，并向用户通知识别出第一场景。第一通知部44通过各种方法向用户通知识别出第一场景。例如第一通知部44经由显示控制部46通过显示器16来通知识别出第一场景。具体而言，第一通知部44在被描绘在显示器16的子区域的器官的模型图中，对与识别出的第一场景对应的区域(通知显示)附加颜色、进行闪烁或点亮而进行显示，由此向用户通知识别出第一场景。在识别第一场景期间，第一通知部44可以持续通知识别出第一场景，也可以在进行了一定期间的通知之后结束通知，亦可以缓慢地结束通知(颜色缓慢地消失等)。此外，在上述的说明中，对第一通知部44通过在显示器16上进行通知显示来进行通知的例子进行了说明，但通知方式不限于此。例如，第一通知部44也可以经由语音控制部47通过扬声器17进行通知。在该情况下，通过利用扬声器17输出通知声，向用户通知识别出第一场景。
第二通知部45进行第二通知处理，通知识别出第二场景。第二通知部45通过各种方法向用户通知识别出第二场景。例如第二通知部45经由显示控制部46通过显示器16来通知识别出第二场景。具体而言，第二通知部45对被描绘在显示器16的子区域的器官的图的局部区域附加颜色进行显示。具体而言，第二通知部45在被描绘在显示器16的子区域的器官的模型图中，对与识别出的第二场景对应的区域设置圆圈(通知显示)，附加颜色进行显示、闪烁或点亮，由此向用户通知识别出第二场景。在识别第一场景期间，第一通知部44可以持续通知识别出第一场景，也可以在进行了一定期间的通知之后结束通知，亦可以缓慢地结束通知(颜色缓慢地消失等)。此外，在上述的说明中，对第二通知部45通过在显示器16上进行通知显示来进行通知的例子进行了说明，但通知方式不限于此。例如，第二通知部45也可以经由语音控制部47通过扬声器17进行通知。在该情况下，通过利用扬声器17输出通知声，向用户通知识别出第二场景。
第一通知部44和第二通知部45可以分别独立地进行通知，第一通知部44和第二通知部45也可以相关联地进行通知。在第一通知部44和第二通知部45相关联地进行通知的情况下，可考虑在进行一方的通知时不进行另一方的通知的方式。另外，第一通知部44和第二通知部45也可以通过不同的通知方式进行通知。例如，也可以是，第一通知部44通过显示器16的画面显示进行通知，第二通知部45通过扬声器17输出的声音进行通知。另外，也可以是，第二通知部45通过显示器16的画面显示进行通知，第一通知部44通过扬声器17输出的声音进行通知。
显示控制部46通过第一通知部44或第二通知部45使显示器16显示通知显示。具体而言，显示控制部46基于第一通知部44的控制，在显示器16上显示通知识别出第一场景的通知显示。另外，显示控制部46基于第二通知部45的控制，在显示器16上显示通知识别出第二场景的通知显示。另外，显示控制部46基于医用图像获取部40所获取的医用图像(动态画面38)，生成显示用的图像数据并输出到显示器16。由此，用户一边观察医用图像，一边通知第一场景的识别及第二场景的识别。
语音控制部47通过第一通知部44或第二通知部45，从扬声器17重放通知声。具体而言，语音控制部47基于第一通知部44的控制，使扬声器17重放通知识别出第一场景的通知声。另外，语音控制部47基于第二通知部45的控制，使扬声器17重放通知识别出第二场景的通知声。
存储器48包括闪存、ROM(Read-only Memory)、RAM(Random Access Memory)、硬盘装置等。闪存、ROM及硬盘装置是存储操作系统、本发明所涉及的医用图像处理程序等各种程序、及所拍摄的静止画面39等的非易失性存储器。另外，RAM是作为临时存储被存储在非易失性存储器中的各种程序的区域及CPU41的作业区域发挥作用的、可进行数据的快速读写的易失性存储器。
接下来，对第一场景识别部42及第二场景识别部43的具体结构例进行说明。
在本例中，对分别观察胃内部的七个部位、进行在各部位拍摄代表性的场景的一系列观察的情况进行说明。具体而言，将胃内部的七个部位分别作为第一场景、将进行摄影的代表性的场景作为第二场景进行识别。
图3是表示第一场景识别部42和第二场景识别部43的具体结构例的图。
第一场景识别部42由第一场景识别器42a构成，第二场景识别部43由第二场景识别器43a～43g构成。第一场景识别器42a和第二场景识别器43a～43g是由CNN(Convolutional Neural Network)构成的学习完毕模型，预先进行了机器学习。例如，第一场景识别器42a使用由拍摄胃内部的七个部位所得的医用图像构成的学习数据进行学习，以分别识别胃内部的七个部位(参照图4)的场景。例如，第二场景识别器43a～43g进行机器学习，以识别与第一场景的胃内部的七个部位中的每一个部位对应的适于摄影的场景。例如，第二场景识别器43a～43g使用由在胃内部的七个部位中适于摄影的场景的医用图像构成的学习数据进行学习。
第一场景识别器42a被输入动态画面38，在各帧图像38a中识别第一场景。例如第一场景识别部42通过分类评分来识别帧图像38a的第一场景。第一场景识别器42a对输入的帧图像38a输出分类评分，识别出分类评分最高的部位的第一场景。第一场景识别器42a在帧图像38a中识别出第一场景时，将帧图像38a发送到与识别出的第一场景对应的第二场景识别器43a～43g。例如，当第一场景识别器42a从输入的帧图像38a中识别出胃内部的第二部位的第一场景时，第一场景识别器42a将帧图像38a发送到与第二部位对应的第二场景识别器43b。此外，第一场景识别器42a在帧图像38a中无法识别第一场景时，不向第二场景识别器43a～43g发送帧图像38a。
第二场景识别器43a～43g被输入由第一场景识别器42a识别出第一场景的帧图像38a，识别第二场景。例如第二场景识别器43a～43g根据相似度识别帧图像38a的第二场景。具体而言，第二场景识别器43a～43g对输入的帧图像38a输出相似度，在输出阈值以上的相似度的情况下，识别第二场景，在输出低于阈值的相似度的情况下，不识别第二场景。
第二场景识别器43a～43g与胃内部的七个部位中的每一个对应设置。具体而言，在由第一场景识别器42a识别为是第一部位的第一场景的情况下，被识别为是第一部位的帧图像38a被输入到第二场景识别器43a。另外，在由第一场景识别器42a识别为是第二部位的第一场景的情况下，被识别为是第二部位的帧图像38a被输入到第二场景识别器43b。这样，根据由第一场景识别器42a识别出的各部位，向对应的第二场景识别器43a～43g输入帧图像38a。
在上述的例子中，第一场景识别器42a识别多个第一场景，第二场景识别器43a～43g识别每个第一场景中的第二场景。由此，能够由进行了机器学习的学习完毕模型有效地构成第一场景识别器42a及第二场景识别器43a～43g。
接下来，对于表示识别出第一场景的第一通知及表示识别出第二场景的第二通知，说明具体例。
图4至图6是对基于显示器16上的显示的通知进行说明的图。在图4至图6中示出作为检查对象的胃的模型图像101，在模型图像101中示出与第一场景的第一部位～第七部位对应的通知显示。具体而言，在模型图像101中示出与第一部位的第一场景对应的通知显示109A、与第二部位的第一场景对应的通知显示109B、与第三部位的第一场景对应的通知显示109C、与第四部位的第一场景对应的通知显示109D、与第五部位的第一场景对应的通知显示109E、与第六部位的第一场景对应的通知显示109F、与第七部位的第一场景对应的通知显示109G。此外，通知显示109A～109G分别配置于与胃的第一部位～第七部位对应的位置。
另外，在图4至图6中示出表示当前的内窥镜观测器10的插入部20在胃内部处于哪个位置的示意图103。此外，在示意图103中，示出检查的靶105。靶105例如是预先特定了位置的病变部或息肉等，在本例的检查中，观察或拍摄靶105。
在图4所示的情况下，如示意图103所示，在胃的检查刚开始之后，插入部20为到靶105有距离的状态。因此，在由插入部20的摄像元件28拍摄的医用图像中，未进行第一场景及第二场景的识别，模型图像101的通知显示109A～109G熄灭。此外，也可以是，通知显示109A～109G例如在不通知的情况下用灰色来显示，在通知的情况下，用白或黑来显示等，通过颜色的切换进行通知。
在图5所示的情况下，如示意图103所示，插入部20为与靶105的距离变近的状态。而且，摄像元件28拍摄具有包括靶105的第二部位的第一场景的医用图像，由第一场景识别部42识别第二部位的第一场景。另外，在模型图像101中，由于识别出第二部位的第一场景，因此与第二部位对应的通知显示109B点亮。由此，用户能够识别出插入部20前进至包括靶105的第二部位附近，用户能够接受使插入部20前进至靶105的辅助。此外，在本例中，识别出第一场景的通知通过点亮通知显示109B来进行，但不限于此。例如，第一通知部44也可以通过使显示器16显示第一场景的样品图像来通知识别出第一场景。
在图6所示的情况下，如示意图103所示，插入部20为到达靶105的状态。因为插入部20到达靶105，所以通过摄像元件28拍摄第二部位的第二场景，通过第二场景识别部43识别第二部位的第二场景。在模型图像101中，通过识别出第二部位的第二场景，从而第二部位的第二场景的通知显示111B点亮。由此，用户能够掌握插入部20到达靶105且摄像元件28处于能够拍摄第二部位的第二场景的状态的情况。
接下来，对上述的模型图像101的显示器16上的显示方式的例子进行说明。
图7是表示模型图像101向显示器16的显示方式的一例的图。
如图7所示，在显示器16的显示画面的主区域显示有内窥镜图像113。该内窥镜图像113是由前端部27的摄像元件28拍摄的图像，是随时更新的动态画面38。另外，在显示器16的显示画面的子区域显示有模型图像101。用户通过在显示器16的子区域显示具有通知显示的模型图像101，能够掌握插入部20相对于靶105位于多远的距离，能够有效地利用内窥镜装置进行观察。
接下来，对使用医用图像处理装置14进行的医用图像处理方法进行说明。
图8是表示医用图像处理方法的流程图。
医用图像获取部40接收医用图像(医用图像获取工序：步骤S101)。之后，第一场景识别部42从接收的医用图像中识别第一场景(第一场景识别工序：步骤S102)。在第一场景识别部42未能识别出第一场景的情况下，医用图像获取部40判定是否有时间序列的下一个图像(步骤S106)，在有医用图像的情况下，图像获取部接收医用图像(步骤S101)，在没有医用图像的情况下，本处理结束。
另一方面，在第一场景识别部42识别出第一场景的情况下，第一通知部44通知识别出第一场景(第一通知工序：步骤S103)。之后，第二场景识别部43从医用图像中识别出第二场景(第二场景识别工序：步骤S104)。在由第二场景识别部43识别出第二场景的情况下，由第二通知部45通知识别出第二场景(第二通知工序：步骤S105)。之后，由图像获取部判定有无下一个图像(步骤S106)，在有下一个图像的情况下，获取下一个医用图像。
如上所述，根据本实施方式，从医用图像中识别第一场景，并将识别出第一场景的情况通知给用户，从医用图像中识别第二场景，并将识别出第二场景的情况通知给用户。由此，用户被通知识别出第一场景及第二场景，因此能够更有效地进行医用图像的观察。
<第二实施方式>
接下来，对第二实施方式进行说明。在本实施方式中，在识别出第二场景以后，第二场景识别部43不进行相同的第一场景中的第二场景的识别处理。由此，能够有效地使用计算资源，另外，通过重复识别相同的第二场景，能够抑制第二通知处理被重复进行而妨碍观察。
图9是表示本实施方式的医用图像处理方法的流程图。
医用图像获取部40接收医用图像(步骤S201)。之后，第一场景识别部42从接收的医用图像中识别第一场景(步骤S202)。在第一场景识别部42未能识别出第一场景的情况下，医用图像获取部40判定是否有下一个医用图像(步骤S207)，在有下一个医用图像的情况下，医用图像获取部40接收医用图像(步骤S201)，在没有下一个医用图像的情况下，本处理结束。
另一方面，在第一场景识别部42识别出第一场景的情况下，第一通知部44通知识别出第一场景(步骤S203)。之后，第二场景识别部43根据过去的识别记录判定是否存在识别过识别出的第一场景中的第二场景的情况(步骤S204)。在此，在有多个第一场景的情况(例如图3及4所示的例子)下，因为对每个第一场景设置有第二场景识别部43(第二场景识别器43a～43g)，所以对每个第一场景进行该判定。在存在识别过第二场景的情况时，第二场景识别部43不进行第二场景的识别，医用图像获取部40进行下一个医用图像的获取(步骤S207)。在此，在本例中，第二场景识别部43根据过去的识别记录进行是否识别过第二场景的判定，但也可以根据过去的第二场景的摄影记录进行是否识别过第二场景的判定。在不存在识别过第二场景的情况时，第二场景识别部43进行第二场景的识别(步骤S205)。而且，在由第二场景识别部43识别出第二场景的情况下，通过第二通知部45进行表示识别出第二场景的通知处理(步骤S206)。之后，由医用图像获取部40判定有无下一个图像(步骤S207)，在有下一个图像的情况下，获取下一个医用图像。
如上所述，根据本实施方式，在过去识别出第二场景的情况下，第二场景识别部43不进行第二场景的识别。由此，能够有效地使用计算资源，另外，通过重复识别相同的第二场景，能够抑制频繁地进行第二通知处理而妨碍观察。
<第三实施方式>
接下来，对第三实施方式进行说明。在本实施方式中，第一通知部44和第二通知部45选取其一显示识别出第一场景的通知显示和识别出第二场景的通知显示。
图10是表示医用图像处理方法的流程图。
医用图像获取部40接收医用图像(步骤S301)。之后，第一场景识别部42从接收的医用图像中识别第一场景(步骤S302)。在第一场景识别部42未能识别出第一场景的情况下，医用图像获取部40判定是否有时间序列的下一个图像(步骤S306)，在有医用图像的情况下，图像获取部接收医用图像(步骤S301)，在没有医用图像的情况下，本处理结束。
另一方面，在第一场景识别部42识别出第一场景的情况下，接下来由第二场景识别部43识别第二场景(步骤S303)。而且，在由第二场景识别部43未能识别出第二场景的情况下，由第一通知部44通知识别出第一场景(步骤S304)。
图11是由第一通知部44进行的、通知识别出第一场景的显示方式。此外，在图5中已经进行了说明的部位标注相同的符号并省略说明。如图11所示，第一通知部44通过点亮通知显示109B，向用户通知识别出第二部位的第一场景。
另外，在由第二场景识别部43识别出第二场景的情况下，由第二通知部45通知识别出第二场景(步骤S305)。
图12是由第二通知部45进行的、通知识别出第二场景的显示方式。此外，在图6中已经进行了说明的部位标注相同的符号并省略说明。如图12所示，第二通知部45通过点亮通知显示111B，向用户通知识别出第二部位的第二场景。此外，在本例的情况下，使表示识别出第二部位的第一场景的通知显示109B熄灭，仅点亮表示识别出第二场景的通知显示111B。这样，通过选取其一显示表示识别出第一场景的通知显示和表示识别出第二场景的通知显示，能够向用户进行明确的通知。
在由第一通知部44进行通知(步骤S304)后、或由第二通知部45进行通知(步骤S305)后，由图像获取部判定有无下一个图像(步骤S306)，在有下一个图像的情况下，获取下一个医用图像。此外，第一通知部44在识别出第二场景的情况下或进行了第二场景的摄影的情况下，优选即使是之后识别出对应的第一场景的情况，也不进行通知。由此，能够抑制由于重复的通知而妨碍观察。
如上所述，根据本实施方式，选取其一进行识别出第一场景的通知显示和识别出第二场景的通知显示，能够向用户进行明确的通知。此外，在上述的例子中，对与基于通知显示的通知相关的例子进行了说明，但不限于此。第一通知部44及第二通知部45也可以使用语音进行选取其一的通知。
<第四实施方式>
接下来，对第四实施方式进行说明。在本实施方式中，在识别出一个第二场景时，第二场景识别部43在这以后不进行第二场景的识别处理。另外，在本实施方式中，第一通知部44和第二通知部45选取其一显示识别出第一场景的通知显示和识别出第二场景的通知显示。
图13是表示医用图像处理方法的流程图。
医用图像获取部40接收医用图像(步骤S401)。之后，第一场景识别部42从接收的医用图像中识别第一场景(步骤S402)。在第一场景识别部42未能识别出第一场景的情况下，医用图像获取部40判定是否有下一个医用图像(步骤S407)，在有下一个医用图像的情况下，医用图像获取部40接收医用图像(步骤S401)，在没有下一个医用图像的情况下，本处理结束。
另一方面，在第一场景识别部42识别出第一场景的情况下，第二场景识别部43判定是否存在识别过第二场景的情况(步骤S403)。在存在识别过第二场景的情况时，第二场景识别部43不进行第二场景的识别，由第一通知部44通知识别出第一场景(步骤S406)。另外，在不存在识别过第二场景的情况时，第二场景识别部43进行第二场景的识别(步骤S404)。而且，在进行了第二场景的识别的情况下，由第二通知部45通知识别出第二场景(步骤S405)。另外，在未进行第二场景的识别的情况下，由第一通知部44通知识别出第一场景(步骤S406)。
如上所述，在本实施方式中，在识别出第二场景的情况下，第二场景识别部43在这以后不进行第二场景的识别处理。另外，在本实施方式中，选取其一进行识别出第一场景的通知显示和识别出第二场景的通知显示。由此，能够有效地使用计算资源，且能够向用户进行明确的通知。
[其他]
在上述实施方式中，内窥镜处理器装置和医用图像处理装置分体设置，但内窥镜处理器装置和医用图像处理装置也可以一体化。即，也可以在内窥镜处理器装置中设置作为医用图像处理装置的功能。
另外，测量出的检查时间或处置时间与诊断报告等相关联地保存于医用图像处理装置内的存储器，但不限于此，也可以保存于与医用图像处理装置连接的外部存储器(保存部)。
此外，医用图像不限于由内窥镜观测器拍摄的内窥镜图像，例如，也可以是通过超声波诊断装置等其他模态获取的时间序列的图像。
另外，执行上述实施方式的医用图像处理装置的各种控制的硬件结构是如下所示的各种处理器(processor)。各种处理器包括执行软件(程序)并作为各种控制部发挥作用的通用处理器即CPU(Central Processing Unit)、FPGA(Field Programmable GateArray)等在制造后可变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、ASIC(Application Specific Integrated Circuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器(例如，多个FPGA、或CPU与FPGA的组合)构成。另外，也可以由一个处理器构成多个控制部。作为由一个处理器构成多个控制部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个控制部发挥作用的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包含多个控制部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种控制部。
另外，本发明包括通过安装于计算机上而使计算机作为本发明所涉及的医用图像处理装置发挥作用的医用图像处理程序、及记录有该医用图像处理程序的非易失性存储介质。
以上对本发明的例子进行了说明，但本发明不限于上述的实施方式，当然在不脱离本发明的主旨的范围内可以进行各种变形。
符号说明
9：内窥镜系统
10：内窥镜观测器
11：光源装置
12：内窥镜处理器装置
13：显示装置
14：医用图像处理装置
15：操作部
16：显示器
17：扬声器
20：插入部
21：手边操作部
22：通用塞绳
25：软性部
26：弯曲部
27：前端部
28：摄像元件
29：弯曲操作钮
30：供气供水按钮
31：吸引按钮
32：静止画面摄影指示部
33：处置器具导入口
35：光导
36：信号电缆
37a：连接器
37b：连接器
38：动态画面
38a：帧图像
39：静止画面
40：医用图像获取部
41：CPU
42：第一场景识别部
43：第二场景识别部
44：第一通知部
45：第二通知部
46：显示控制部
47：语音控制部
48：存储器。

Claims (17)

1.一种医用图像处理装置，其具备处理器，其中，
所述处理器进行以下处理：
医用图像获取处理，依次获取时间序列的医用图像；
第一场景识别处理，从所述医用图像中识别第一场景；
第二场景识别处理，当识别出所述第一场景时，从所述医用图像中识别第二场景；
第一通知处理，通知识别出所述第一场景；以及
第二通知处理，通知识别出所述第二场景。
2.根据权利要求1所述的医用图像处理装置，其中，
所述第一场景包含所述第二场景。
3.根据权利要求1或2所述的医用图像处理装置，其中，
所述医用图像处理装置具备对每个所述第一场景进行所述第二场景识别处理的第二场景识别器，
所述第一场景识别处理至少识别两个以上的所述第一场景，
根据在所述第一场景识别处理中识别出的所述第一场景来选择所述第二场景识别器，识别所述第二场景。
4.根据权利要求1至3中任一项所述的医用图像处理装置，其中，
关于所述第一通知处理，在判定为在所述第二场景识别处理中识别出所述第二场景以后，不进行所述第一通知处理。
5.根据权利要求1至3中任一项所述的医用图像处理装置，其中，
关于所述第一通知处理，在进行了所述第二场景的摄影以后，不进行所述第一通知处理。
6.根据权利要求1至5中任一项所述的医用图像处理装置，其中，
关于所述第二场景识别处理，在判定为识别出所述第二场景以后，不进行所述第二场景的识别处理。
7.根据权利要求1至5中任一项所述的医用图像处理装置，其中，
关于所述第二场景识别处理，在进行了所述第二场景的摄影以后，不进行所述第二场景的识别处理。
8.根据权利要求1至7中任一项所述的医用图像处理装置，其中，
所述第二通知处理持续通知识别出所述第二场景。
9.根据权利要求1至8中任一项所述的医用图像处理装置，其中，
所述第一通知处理进行基于画面显示的通知，
所述第二通知处理进行基于声音的通知。
10.根据权利要求9所述的医用图像处理装置，其中，
所述画面显示是所述第一场景的样品图像。
11.根据权利要求1至10中任一项所述的医用图像处理装置，其中，
所述第一场景识别处理及所述第二场景识别处理使用卷积神经网络来进行。
12.根据权利要求11所述的医用图像处理装置，其中，
所述第一场景识别处理基于分类评分，进行所述第一场景的识别。
13.根据权利要求11或12所述的医用图像处理装置，其中，
所述第二场景识别处理基于相似度，进行所述第二场景的识别。
14.根据权利要求1至13中任一项所述的医用图像处理装置，其中，
所述第一场景及所述第二场景是拍摄了胃内部的部位的场景。
15.一种医用图像处理方法，其使用具备处理器的医用图像处理装置，其中，
所述处理器进行以下工序：
医用图像获取工序，依次获取时间序列的医用图像；
第一场景识别工序，从所述医用图像中识别第一场景；
第二场景识别工序，当识别出所述第一场景时，从所述医用图像中识别第二场景；
第一通知工序，通知识别出所述第一场景；以及
第二通知工序，通知识别出所述第二场景。
16.一种程序，其使具备处理器的医用图像处理装置执行医用图像处理方法，其中，
使所述处理器进行以下工序：
医用图像获取工序，依次获取时间序列的医用图像；
第一场景识别工序，从所述医用图像中识别第一场景；
第二场景识别工序，当识别出所述第一场景时，从所述医用图像中识别第二场景；
第一通知工序，通知识别出所述第一场景；以及
第二通知工序，通知识别出所述第二场景。
17.一种记录介质，其为非暂时性且计算机可读取的记录介质，其中，
记录有权利要求16所述的程序。
CN202280016131.1A 2021-03-04 2022-02-28 医用图像处理装置、医用图像处理方法及程序 Pending CN116916808A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021034207 2021-03-04
JP2021-034207 2021-03-04
PCT/JP2022/008168 WO2022186111A1 (ja) 2021-03-04 2022-02-28 医用画像処理装置、医用画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN116916808A true CN116916808A (zh) 2023-10-20

Family

ID=83153749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280016131.1A Pending CN116916808A (zh) 2021-03-04 2022-02-28 医用图像处理装置、医用图像处理方法及程序

Country Status (5)

Country Link
US (1) US20230410304A1 (zh)
EP (1) EP4302681A4 (zh)
JP (1) JPWO2022186111A1 (zh)
CN (1) CN116916808A (zh)
WO (1) WO2022186111A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147308B2 (ja) * 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP2018515164A (ja) * 2015-03-27 2018-06-14 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 画像分類を用いた脳腫瘍自動診断方法および脳腫瘍自動診断システム
JP6949999B2 (ja) * 2017-12-26 2021-10-13 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
JP7166430B2 (ja) * 2019-03-08 2022-11-07 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7060536B2 (ja) 2019-03-13 2022-04-26 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理装置の作動方法及びプログラム、内視鏡システム
CN111080639A (zh) * 2019-12-30 2020-04-28 四川希氏异构医疗科技有限公司 基于人工智能的多场景消化道内镜图像识别方法及系统

Also Published As

Publication number Publication date
US20230410304A1 (en) 2023-12-21
EP4302681A4 (en) 2024-08-21
EP4302681A1 (en) 2024-01-10
WO2022186111A1 (ja) 2022-09-09
JPWO2022186111A1 (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
US20230086972A1 (en) Medical image processing device, endoscope system, medical image processing method, and program
CN107708521B (zh) 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
US11302092B2 (en) Inspection support device, endoscope device, inspection support method, and inspection support program
US20110299748A1 (en) Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
US11607109B2 (en) Endoscopic image processing device, endoscopic image processing method, endoscopic image processing program, and endoscope system
JP7308258B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法
WO2007119297A1 (ja) 医療用画像処理装置及び医療用画像処理方法
US20200305698A1 (en) Image processing device, endoscope system, image processing method, and program
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN112969403A (zh) 医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
CN113453607B (zh) 医用图像处理装置及方法
CN117042669A (zh) 内窥镜处理器、内窥镜装置以及诊断用图像显示方法
JPWO2019087969A1 (ja) 内視鏡システム、報知方法、及びプログラム
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
CN116916808A (zh) 医用图像处理装置、医用图像处理方法及程序
CN112969402B (zh) 内窥镜系统以及用于内窥镜系统的图像处理装置和图像处理方法
US20240074638A1 (en) Medical image processing apparatus, medical image processing method, and program
US20240000299A1 (en) Image processing apparatus, image processing method, and program
US20230414066A1 (en) Endoscope image processing apparatus, endoscope image processing method, and endoscope image processing program
WO2023038004A1 (ja) 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体
US20220414885A1 (en) Endoscope system, medical image processing device, and operation method therefor
EP4316337A1 (en) Medical image processing device, medical image processing method, and program
WO2023162216A1 (ja) 画像処理装置、画像処理方法及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination