CN116963653A - 医用图像处理装置、医用图像处理方法及程序 - Google Patents

医用图像处理装置、医用图像处理方法及程序 Download PDF

Info

Publication number
CN116963653A
CN116963653A CN202280019934.2A CN202280019934A CN116963653A CN 116963653 A CN116963653 A CN 116963653A CN 202280019934 A CN202280019934 A CN 202280019934A CN 116963653 A CN116963653 A CN 116963653A
Authority
CN
China
Prior art keywords
interest
region
notification sound
medical image
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280019934.2A
Other languages
English (en)
Inventor
大酒正明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116963653A publication Critical patent/CN116963653A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供一种能够不给用户带来不适、不会损坏通知声的提醒注意的效力而输出通知声的医用图像处理装置、医用图像处理方法及程序。医用图像处理装置(14)具备处理器及输出通知声的语音通知器(17)，其中，处理器进行：图像接收处理，接收以时间序列连续的图像；关注区域检测处理，从图像中检测关注区域；以及声音控制处理，当通过关注区域检测处理当前检测到关注区域时，进行使语音通知器在一定期间输出通知声的控制，根据从通过关注区域检测处理过去结束关注区域的检测的时点到通过关注区域检测处理当前存在关注区域的检测的时点的第一时间，从语音通知器输出通知声。

Description

医用图像处理装置、医用图像处理方法及程序
技术领域
本发明涉及医用图像处理装置、医用图像处理方法及程序，特别涉及输出通知声的医用图像处理装置、医用图像处理方法及程序的技术。
背景技术
在内窥镜检查中，用户(例如医生)将在前端带摄像装置的观测器插入被检查者的体腔进行检查。在显示器屏幕上显示观测器所具备的摄像装置拍摄的内窥镜图像，用户观察该内窥镜图像。一般来说，在内窥镜检查中，用户观察内窥镜图像，发现病变，或者进行切除病变等处置。
内窥镜检查由于同时进行基于观测器的操作的摄影和检查，因此用户的负担大、漏看病变成为问题。
近年来，可以通过深度学习进行高精度的自动图像识别(非专利文献1)。提出了一种在内窥镜检查中也从内窥镜图像中自动检测病变、并通知给用户的系统。例如，已知一种技术，当由通过深度学习进行了学习的检测器(学习完毕模型)检测到内窥镜图像中的关注区域时，在显示器(监视器)上显示通知标记，或者通过用四方包围关注区域来进行强调显示，向用户通知检测到的关注区域。但是，由于用户是通过目视进行内窥镜检查，因此有时甚至也会漏看所述的通知显示或强调显示。
对此，提出了一种技术，当检测到关注区域时，与通知显示同时进行鸣叫，从而不仅调动用户的视觉，还调动听觉，由此进行提醒注意(专利文献1)。
以往技术文献
非专利文献
非专利文献1：A.Krizhevsky，I.Sutskever，and G.Hinton.ImageNetclassification with deep convolutional neural networks.In NIPS，2012
专利文献
专利文献1：日本特开2006-129950号公报
发明内容
发明要解决的技术课题
然而，在检测到关注区域期间，当不停地输出通知声时，有时会给用户带来不适。因此，在检测到关注区域时输出通知声，即使在之后继续检测到关注区域的情况下，也能够通过停止通知声的输出来抑制给用户带来的不适。
在此，在内窥镜检查中，由于是移动观测器而进行，因此有时关注区域会暂时脱离摄影画面。另外，在一边观察内窥镜图像一边对关注区域(病变)进行处置的情况下，有时因关注区域被处置器具遮住等，病变暂时从画面上消失。另外，因一边观察内窥镜图像一边进行的送水、内窥镜图像的模糊、虚化等的影响，有时检测器暂时无法检测关注区域。如果像这样在关注区域的检测暂时中断，之后再次检测到关注区域的情况下输出通知声，则往往会在短时间内重复通知声的输出，给用户带来不适。另外，由于像这样在短时间内好多次重复通知声的输出，用户对通知声已习惯，使得通知声的提醒注意的效力减弱。
在上述的专利文献1中，对于这样在短时间内重复输出通知声的问题未提及。
本发明是鉴于这样的情况而完成的，其目的在于提供一种能够不给用户带来不适、不损坏通知声的提醒注意的效力而输出通知声的医用图像处理装置、医用图像处理方法及程序。
用于解决技术课题的手段
为了实现上述目的，作为本发明的一方式的医用图像处理装置具备处理器及输出通知声的语音通知器，其中，处理器进行：图像接收处理，接收以时间序列连续的图像；关注区域检测处理，从图像中检测关注区域；声音控制处理，当通过关注区域检测处理当前检测到关注区域时，进行使语音通知器在一定期间输出通知声的控制，根据从通过关注区域检测处理过去结束关注区域的检测的时点到通过关注区域检测处理当前存在关注区域的检测的时点的第一时间，从语音通知器输出通知声。
根据本方式，根据从过去结束关注区域的检测的时点到当前存在关注区域的检测的时点的第一时间，从语音通知器输出通知声。由此，能够基于过去的关注区域的检测的定时控制通知声的输出，能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
优选的是，在声音控制处理中，通过关注区域检测处理间断地检测关注区域，在第一时间不足第一阈值的情况下，停止通知声的输出。
根据本方式，即使在间断地检测到关注区域的情况下，也能够不重复通知声的输出、不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
优选的是，在声音控制处理中，在第一时间为第一阈值以上的情况下，通过语音通知器输出通知声，在第一时间不足第一阈值的情况下，通过语音通知器停止通知声的输出。
优选的是，处理器进行：所述第二时间检测处理，检测相当于通过关注区域检测处理在过去检测到关注区域时的第一时间的第二时间；以及阈值变更处理，根据第二时间，变更第一阈值。
根据本方式，根据相当于过去检测到关注区域时的第一时间的第二时间变更第一阈值，并基于该第一阈值控制通知声的输出。由此，能够在适当的定时输出通知声，能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
优选的是，处理器进行对通过关注区域检测处理在图像内检测到的关注区域的数量进行计数的关注区域数计数处理，在阈值变更处理中，在关注区域的数量为第二阈值以上的情况下，增大第一阈值。
根据本方式，对检测到的关注区域的数量进行计数，在其数量为第二阈值以上的情况下，增大第一阈值。由此，能够在适当的定时输出通知声，能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
优选的是，处理器进行对通过关注区域检测处理在图像内检测到的关注区域的数量进行计数的关注区域数计数处理，在阈值变更处理中，在关注区域的数量不足第二阈值的情况下，减小第一阈值。
根据本方式，对检测到的关注区域的数量进行计数，在其数量不足第二阈值的情况下，减小第一阈值。由此，能够在适当的定时输出通知声，能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
优选的是，第一阈值设定在1.5秒以上至2.5秒以下的范围内。
优选的是，第一阈值在0.5秒以上至3.5秒以下的范围内变更。
优选的是，处理器进行计算在关注区域检测处理中检测到的关注区域的面积的面积计算处理，在声音控制处理中，在面积计算处理中计算出的面积小于第三阈值的情况下，通过语音通知器输出通知声，在面积计算处理中计算出的面积为第三阈值以上、且第一时间小于第一阈值的情况下，停止基于语音通知器的通知声的输出，在面积计算处理中计算出的面积为第三阈值以上、且第一时间为第一阈值以上的情况下，通过语音通知器输出通知声。
根据本方式，根据检测到的关注区域的面积，控制通知声的输出，因此能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
优选的是，处理器进行分类处理，进行在关注区域检测处理中检测到的关注区域的分类，在声音控制处理中，在分类处理中分类的分类结果为特定的类型的情况下，通过语音通知器输出通知声，在分类处理中分类的分类结果为特定外的类型、且第一时间小于第一阈值的情况下，通过语音通知器停止通知声的输出，在分类处理中分类的分类结果为特定外的类型、且第一时间为第一阈值以上的情况下，通过语音通知器输出通知声。
根据本方式，根据检测到的关注区域的分类，控制通知声的输出，因此能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
优选的是，在声音控制处理中，基于以时间序列连续的图像的张数，检测第一时间。
优选的是，具备显示在图像接收处理中接收的图像的显示部，强调通过关注区域检测处理检测到的当前的关注区域，并在显示部显示。
作为本发明的另一方式的医用图像处理方法使用具备处理器及输出通知声的语音通知器的医用图像处理装置，其中，处理器执行：图像接收工序，接收以时间序列连续的图像；关注区域检测工序，从图像中检测关注区域；以及声音控制工序，当通过关注区域检测工序当前检测到关注区域时，进行使语音通知器在一定期间输出通知声的控制，根据从通过关注区域检测工序过去结束关注区域的检测的时点到通过关注区域检测工序当前存在关注区域的检测的时点的第一时间，从语音通知器输出通知声。
作为本发明的另一方式的程序使用具备处理器及输出通知声的语音通知器的医用图像处理装置执行图像处理方法，其中，使处理器执行：图像接收工序，接收以时间序列连续的图像；关注区域检测工序，从图像中检测关注区域；以及声音控制工序，当通过关注区域检测工序当前检测到关注区域时，进行使语音通知器在一定期间输出通知声的控制，根据从通过关注区域检测工序过去结束关注区域的检测的时点到通过关注区域检测工序当前存在关注区域的检测的时点的第一时间，从语音通知器输出通知声。
发明效果
根据本发明，根据从过去结束关注区域的检测的时点到当前存在关注区域的检测的时点的第一时间，从语音通知器输出通知声。由此，能够基于过去的关注区域的检测的定时来控制通知声的输出，能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
附图说明
图1是表示内窥镜系统的整体结构的概略图。
图2是表示医用图像处理装置的结构的框图。
图3是对以往的短时间内重复输出通知声的例子进行说明的图。
图4是对根据连续未检测时间输出通知声的情况进行说明的图。
图5是对连续未检测时间进行说明的图。
图6是对间断地检测关注区域的情况进行说明的图。
图7是表示图像处理方法的流程的图。
图8是表示医用图像处理装置的结构的框图。
图9是对过去的连续未检测时间进行说明的图。
图10是表示医用图像处理装置14的结构的框图。
图11是对输出通知声的定时进行说明的图。
图12是表示医用图像处理装置的结构的框图。
图13是对输出通知声的定时进行说明的图。
图14是表示医用图像处理装置的结构的框图。
图15是对输出通知声的定时进行说明的图。
具体实施方式
下面，按照附图对本发明的医用图像处理装置、医用图像处理方法及程序的优选实施方式进行说明。
[包括医用图像处理装置的内窥镜系统的整体结构]
<第一实施方式>
图1是表示包括本发明所涉及的医用图像处理装置的内窥镜系统的整体结构的概略图。
如图1所示，内窥镜系统9具备作为电子内窥镜的内窥镜观测器10、光源装置11、内窥镜处理器装置12、显示装置13、医用图像处理装置14、操作部15、以及显示器16。
内窥镜观测器10拍摄包括被摄体像的时间序列的医用图像，例如是下部或上部消化管用观测器。该内窥镜观测器10具有插入到受检体(例如胃、大肠)内且具有前端和基端的插入部20、与插入部20的基端侧连接设置且供施术者即医生握持进行各种操作的手边操作部21、以及与手边操作部21连接设置的通用塞绳22。
插入部20整体为细径且形成为长条状。插入部20是从其基端侧朝向前端侧依次连接设置具有挠性的软性部25、可通过手边操作部21的操作而弯曲的弯曲部26、以及内置有未图示的摄像光学系统(物镜)及摄像元件28等的前端部27而构成的。
摄像元件28是CMOS(complementary metal oxide semiconductor)型或CCD(charge coupled device)型的摄像元件。被观察部位的像光经由在前端部27的前端面上开设的未图示的观察窗、及配置在该观察窗的后方的未图示的物镜入射到摄像元件28的摄像面。摄像元件28拍摄入射到其摄像面的被观察部位的像光(转换为电信号)，并输出摄像信号。即，通过摄像元件28依次拍摄医用图像。此外，获取医用图像，作为之后说明的动态画面38及静态画面39。
在手边操作部21设置有由用户(医生)操作的各种操作部件。具体而言，在手边操作部21设置有用于弯曲部26的弯曲操作的两种弯曲操作旋钮29、供气供水操作用的供气供水按钮30、以及吸引操作用的吸引按钮31。另外，在手边操作部21设置有用于进行被观察部位的静态画面39的摄影指示的静态画面摄影指示部32和向插通于插入部20内的处置器具插通路(未图示)内插入处置器具(未图示)的处置器具导入口33。
通用塞绳22是用于将内窥镜观测器10连接至光源装置11的连接塞绳。该通用塞绳22内包有插通到插入部20内的光导35、信号电缆36及流体管(未图示)。另外，在通用塞绳22的端部设置有与光源装置11连接的连接器37a和从该连接器37a分支且与内窥镜处理器装置12连接的连接器37b。
通过将连接器37a与光源装置11连接，光导35及流体管(未图示)被插入到光源装置11。由此，经由光导35及流体管(未图示)，从光源装置11对内窥镜观测器10供给必要的照明光、水以及气体。其结果是，从前端部27的前端面的照明窗(未图示)朝向被观察部位照射照明光。另外，根据上述的供气供水按钮30的按下操作，从前端部27的前端面的供气供水喷嘴(未图示)朝向前端面的观察窗(未图示)喷射气体或水。
通过将连接器37b与内窥镜处理器装置12连接，信号电缆36和内窥镜处理器装置12电连接。由此，经由信号电缆36，从内窥镜观测器10的摄像元件28向内窥镜处理器装置12输出被观察部位的摄像信号，并且从内窥镜处理器装置12向内窥镜观测器10输出控制信号。
光源装置11经由连接器37a向内窥镜观测器10的光导35供给照明光。照明光选择白色光(白色波长频带的光或多个波长频带的光)、或者一个或多个特定波长频带的光、或者它们的组合等对应于观察目的的各种波长频带的光。
内窥镜处理器装置12经由连接器37b及信号电缆36控制内窥镜观测器10的动作。另外，内窥镜处理器装置12基于经由连接器37b及信号电缆36从内窥镜观测器10的摄像元件28获取的摄像信号，生成由包括被摄体像的时间序列的帧图像38a构成的图像(也称为“动态画面38”)。而且，当用内窥镜观测器10的手边操作部21操作静态画面摄影指示部32时，内窥镜处理器装置12与动态画面38的生成同时，将动态画面38中的一张帧图像38a设为与摄影指示的定时相应的静态画面39。
动态画面38及静态画面39是拍摄受检体内、即生物体内而得的医用图像。此外，当动态画面38及静态画面39是通过上述特定波长频带的光(特殊光)获得的图像时，两者为特殊光图像。然后，内窥镜处理器装置12将生成的动态画面38及静态画面39输出到显示装置13和医用图像处理装置14。此外，动态画面38通过30fps(frames per second)、60fps、或120fps来获取。
此外，内窥镜处理器装置12也可以基于通过上述的白色光而获得的普通光图像，生成(获取)具有上述的特定波长频带的信息的特殊光图像。在该情况下，内窥镜处理器装置12作为特殊光图像获取部发挥作用。而且，内窥镜处理器装置12通过进行基于普通光图像中所含的红、绿及蓝[RGB(Red、Green、Blue)]或者青色、品红及黄色[CMY(Cyan、Magenta、Yellow)]的颜色信息的运算而获得特定波长频带的信号。
另外，内窥镜处理器装置12例如也可以基于通过上述的白色光获得的普通光图像和通过上述的特定波长频带的光(特殊光)获得的特殊光图像中的至少一方，生成公知的氧饱和度图像等特征量图像。在该情况下，内窥镜处理器装置12作为特征量图像生成部发挥作用。此外，包括上述的生物体内图像、普通光图像、特殊光图像、及特征量图像的动态画面38或静态画面39都是为了基于图像进行诊断、检查而拍摄人的人体、或将测量的结果图像化所得的医用图像。
显示装置13与内窥镜处理器装置12连接，作为显示从该内窥镜处理器装置12输入的动态画面38及静态画面39的显示部发挥作用。用户一边确认在显示装置13上显示的动态画面38，一边进行插入部20的进退操作等，当在被观察部位发现病变等时，操作静态画面摄影指示部32，执行被观察部位的静态画面摄像，另外，进行诊断、活检等处置。此外，在与之后说明的医用图像处理装置14连接的显示器16上，也同样地显示动态画面38及静态画面39。另外，在显示器16上显示动态画面38及静态画面39的情况下，也一起进行之后说明的通知显示。因此，优选的是，用户观察显示器16的显示进行诊断等。
＜第一实施方式>
[医用图像处理装置]
图2是表示医用图像处理装置14的结构的框图。医用图像处理装置14依次获取时间序列的医用图像，检测关注区域并输出通知声。医用图像处理装置14例如由计算机构成。操作部15除了与计算机有线连接或无线连接的键盘及鼠标等之外，还包括设置在内窥镜观测器10的手边操作部21的按钮类，显示器(显示部)16使用可与计算机连接的液晶监视器等各种监视器。
医用图像处理装置14由医用图像获取部40、CPU(Central Processing Unit)41、关注区域检测部42、显示控制部46、声音控制部47及存储器48构成。各部的处理由一个或多个处理器来实现。在此，处理器可以由CPU41构成，也可以由未图示的一个或多个CPU构成。
CPU41基于存储在存储器48中的操作系统、包括医用图像处理程序的各种程序进行动作，统一控制医用图像获取部40、关注区域检测部42、显示控制部46、声音控制部47，另外，作为这些各部的一部分发挥作用。
医用图像获取部40进行接收以时间序列连续的医用图像(图像)的图像接收处理。医用图像获取部40使用与内窥镜处理器装置12(图1)有线连接或无线连接的未图示的图像输入输出接口，从内窥镜处理器装置12获取包括被摄体像的以时间序列连续的医用图像。在本例中，获取由内窥镜观测器10拍摄的动态画面38。另外，当利用内窥镜观测器10在动态画面38的拍摄中途进行了已述的静态画面39的拍摄时，医用图像获取部40从内窥镜处理器装置12获取动态画面38及静态画面39。
关注区域检测部42进行从医用图像获取部40获取的医用图像中检测关注区域的关注区域检测处理。在此，所谓关注区域是指病变、检查对象的臓器的各部位等。作为关注区域(病变)的具体例，为Cancer(癌)的病变、Adenoma(腺瘤)的病变、及Hyperplastic(增生的)病变。关注区域检测部42例如由Convolutional Neural Network模型的检测器构成。关注区域检测部42预先通过深度学习进行训练。具体而言，以将医用图像输入ConvolutionalNeural Network模型来检测关注区域的方式进行学习。而且，由学习完成的学习完毕模型构成关注区域检测部42。
另外，关注区域检测部42具备连续检测数记录部43及连续未检测数记录部44。连续检测数记录部43记录关注区域检测部42连续地检测到关注区域的帧的张数。另外，连续未检测数记录部44记录关注区域检测部42连续地未检测到关注区域的帧的张数。例如，关注区域检测部42在基于连续检测数记录部43中的记录以预先确定的帧数连续地检测到关注区域的情况下，确定关注区域的检测。另外，例如，关注区域检测部42能够基于连续未检测数记录部44的记录计算之后说明的连续未检测时间(第一时间)。
显示控制部46使显示器16显示医用图像。另外，显示控制部46使显示器16显示检测到的关注区域的强调显示。显示控制部46基于医用图像获取部40获取的医用图像(动态画面38)生成显示用的图像数据，并将其输出到显示器16。另外，显示控制部46使显示器16显示例如用矩形包围检测到的关注区域的强调显示。
声音控制部47进行声音控制处理，当由关注区域检测部42检测到关注区域时，从语音通知器17输出通知声。语音通知器17例如由扬声器构成。通知声在一定期间输出。例如通知声由一秒钟的“Pong(砰)”这样的声音和之后的两秒钟的余音构成。此外，通知声的长度可通过设定进行变更。例如，通知声(Pong(砰)这样的声音)在以人类的感觉不感到长的范围(1秒以上至2秒以下的范围)之间由用户设定。另外，余音在以人类的感觉听不见连续的通知声的范围(2秒以上至3秒以下的范围)之间由用户设定。
另外，声音控制部47根据连续未检测时间输出通知声。声音控制部47对连续未检测时间和第一阈值进行比较，如果在连续未检测时间为第一阈值时检测到关注区域，则输出通知声。另外，即使是在连续未检测时间不足第一阈值时检测到关注区域的情况，声音控制部47也停止通知声的输出。在此，第一阈值根据帧图像38a的张数或时间而设定。例如，在第一阈值按帧图像38a的张数设定的情况下，按照60fps的动态画面设定而设定为30帧。另外，例如，在第一阈值按时间设定的情况下，设定为0.5秒。此外，就第一阈值而言，例如，当考虑大肠的检查的所需时间及观察部位的数量等时，优选设定在0.5秒以上至3.5秒以下的范围内，进一步优选设定在1.5秒以上至2.5秒以下的范围内。而且，即使是变更第一阈值的情况(以下说明的第二实施方式及第三实施方式)，也优选第一阈值在0.5秒以上至3.5秒以下的范围内变更。
存储器48包含闪存、ROM(Read-only Memory)、RAM(Random Access Memory)、硬盘装置等。闪存、ROM及硬盘装置是存储操作系统、医用图像处理程序等各种程序、及拍摄的静态画面39等的非易失性存储器。另外，RAM是作为暂时存储被存储在非易失性存储器中的各种程序的区域及CPU41的作业区域发挥作用的、可进行数据的高速读写的易失性存储器。
接下来，对基于声音控制部47的通知声的输出进行说明。
图3是对以往的在短时间内重复输出通知声的例子进行说明的图。此外，图示的医用图像101A～101H是构成动态画面38的帧图像38a，但与实际的帧率并不对应。
在图3所示的例子中，以时间序列连续的医用图像101A～101H被医用图像获取部40接收。然后，关注区域检测部42在医用图像101B～101D中检测病变F，也在医用图像101G～101H中检测病变F。然后，当关注区域检测部42在医用图像101C中检测到病变F时，声音控制部47通过语音通知器17输出通知声“Pong”。在该情况下，关注区域检测部42被设定为当连续检测数记录部43的记录变为“2”时确定检测。因此，声音控制部47在医用图像101C中的病变F的检测的定时由语音通知器17输出通知声。另外，在医用图像101H中检测到病变F的情况下，声音控制部47也同样地输出通知声。医用图像101C中的通知声与医用图像101H中的通知声的间隔为较短的间隔(在图示的情况下为4帧(医用图像101D～101G))。这样，当以短的间隔重复输出通知声时，有时给用户带来不适，损坏通知声的提醒注意的效力。因此，在本实施方式中，如以下说明的那样，声音控制部47根据连续未检测时间输出通知声。
图4是对根据连续未检测时间输出通知声的情况进行说明的图。在图4所示的情况下，与图3同样地以时间序列连续的医用图像101A～101H被医用图像获取部40接收。然后，关注区域检测部42在医用图像101B～101D及医用图像101G～101H中检测关注区域。在本例的情况下，连续未检测时间例如设定为两秒钟，声音控制部47在未经过两秒钟的连续未检测时间的情况下，即使为检测到病变F的情况，也停止通知声的输出。在图示的情况下，在医用图像101D中有关注区域的检测，之后，在没有经过连续未检测时间期间，在医用图像101G及医用图像101H中检测病变F。因此，即使是在医用图像101G及医用图像101H中检测到病变F的情况，声音控制部47也停止通知声的输出。这样，通过根据连续未检测时间控制通知声的输出，抑制在短时间内重复输出通知声，能够防止通知声的提醒注意的效力受损。
接下来，对连续未检测时间的设定进行说明。声音控制部47根据连续未检测时间从语音通知器17输出通知声。在此，连续未检测时间是指从过去结束关注区域的检测的时点到当前有关注区域的检测的时点的时间。
图5是对连续未检测时间进行说明的图。此外，图示的帧H1～H10是构成动态画面38的帧图像38a，但与实际的帧率并不对应。在图5中示出以时间序列连续的帧H1～H10，另外，示出输出通知声的定时(在输出通知声的帧中示出圆圈)、及在各帧中是否检测到关注区域(在检测到关注区域的情况下，将有检测涂黑，在未检测到关注区域的情况下，将无检测涂黑)。在帧H1及H2中，由关注区域检测部42检测关注区域。之后，在帧H3～H6中未检测到关注区域，在帧H7～H10中检测到关注区域。而且，在帧H8中，输出通知声。在此，连续未检测时间T为帧H3～帧H6的期间。而且，因为连续未检测时间T为设定的第一阈值以上，所以声音控制部47在帧H8中输出通知声。此外，在该情况下，关注区域检测部42被设定为当连续检测数记录部43的记录为“2”时确定检测，因此在帧H8的关注区域的检测的定时输出通知声。
图6是对间断地检测关注区域的情况进行说明的图。
图6与图5同样地示出以时间序列连续的帧H1～H10。在图6所示的情况下，在帧H2、帧H4、帧H6及帧H7中检测到关注区域。连续未检测时间T为帧H3及帧H5的期间。而且，连续未检测时间T不足设定的第一阈值，因此即使是检测到关注区域的情况，声音控制部47也停止通知声的输出。这样，通过根据连续未检测时间控制通知声的输出，在间断地检测到关注区域的情况下，不输出通知声，抑制了在短时间内重复输出通知声。
接下来，对使用医用图像处理装置14的图像处理方法进行说明。
图7是表示图像处理方法的流程的图。此外，图像处理方法的各工序通过图像处理装置的处理器执行程序而进行。
首先，医用图像获取部40接收医用图像(图像接收工序：步骤S101)。之后，关注区域检测部42在接收到的医用图像中检测关注区域(关注区域检测工序：步骤S102)。在关注区域检测部42在接收到的医用图像中未检测到关注区域的情况下，连续未检测数记录部44对未检测数进行计数(步骤S109)。之后，连续检测数记录部43将连续检测数的计数初始化(回到0)(步骤S110)。
另一方面，在关注区域检测部42在接收到的医用图像中检测到关注区域的情况下，连续检测数记录部43对检测数进行计数(步骤S103)。之后，连续检测数记录部43判定检测到关注区域的帧的张数的计数是否为规定值以上(声音控制工序：步骤S104)。在该情况下，关注区域检测部42被设定为当为规定值以上时确定关注区域的检测。接下来，当检测数的计数为规定值以上时，连续未检测数记录部44判定未检测的计数是否为第一阈值以上(步骤S105)。在该情况下，根据连续未检测数记录部44的记录数，测量连续未检测时间。连续未检测数记录部44在未检测数不足第一阈值的情况下，将未检测数初始化(步骤S111)，医用图像获取部40判定是否有新的医用图像(步骤S108)，在有新的医用图像的情况下，重新获取医用图像(步骤S101)。另一方面，连续未检测数记录部44在未检测数为第一阈值以上的情况下，将未检测数的计数初始化(步骤S106)。之后，声音控制部47输出通知声(声音控制工序：步骤S107)。之后，医用图像获取部40判定是否有新的图像(步骤S108)，在有新的图像的情况下，获取图像(步骤S101)。
如上所述，根据本实施方式，根据从过去结束关注区域的检测的时点到当前有关注区域的检测的时点的连续未检测时间，输出通知声。由此，本实施方式能够基于从过去的关注区域的检测起的经过时间来控制通知声的输出，能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
<第二实施方式>
接下来，对本发明的第二实施方式进行说明。在本实施方式中，检测相当于过去检测到关注区域时的连续未检测时间的过去的连续未检测时间(第二时间)，根据该过去的连续未检测时间来变更第一阈值。
图8是表示本实施方式的医用图像处理装置14的结构的框图。此外，对在图2中已经进行了说明的部位标注相同的符号并省略说明。
第二时间检测部51进行第二时间检测处理，检测相当于由关注区域检测部42在过去检测到关注区域时的连续未检测时间的过去的连续未检测时间。
图9是对过去的连续未检测时间进行说明的图。在图9中，与图5所示的情况同样地，示出以时间序列连续的帧H1～H14。在图9所示的情况下，在帧H1、H7、H8、H12、H13、H14中检测到关注区域。另外，在帧H8及H13中检测到关注区域的定时，输出通知声。在此，当将帧H13设为当前的帧、并考虑帧H13中的通知声的输出时，连续未检测时间T是与帧H9～H11对应的时间，过去的连续未检测时间TP是与帧H2～H6对应的时间。这样，第二时间检测部51检测过去的连续未检测时间TP。通过预先记录连续未检测时间T，第二时间检测部51检测过去的连续未检测时间TP。
阈值变更部52(图8)根据第二时间检测部51检测的过去的连续未检测时间TP，变更第一阈值。阈值变更部52能够通过各种方式变更第一阈值。
例如，阈值变更部52在过去的连续未检测时间TP为规定值以上的情况下，增大第一阈值。而且，当检测到更长的连续未检测时间时，声音控制部47输出通知声。另外，例如，阈值变更部52在过去的连续未检测时间TP不足规定值的情况下，减小第一阈值。而且，当检测到更短的连续未检测时间时，声音控制部47输出通知声。
另外，例如，就阈值变更部52而言，可以是在过去的连续未检测时间TP不足规定值的情况下，增大第一阈值，也可以是在过去的连续未检测时间TP为规定值以上的情况下，减小第一阈值。
如上所述，根据本实施方式，根据过去的连续未检测时间TP变更第一阈值，并基于变更后的第一阈值控制通知声的输出。由此，本实施方式能够在适当的定时输出通知声，能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
<第三实施方式>
接下来，对本发明的第三实施方式进行说明。在本实施方式中，对关注区域检测部42检测到的关注区域数进行计数，并根据关注区域数变更第一阈值。
图10是表示本实施方式的医用图像处理装置14的结构的框图。此外，对在图2中已经进行了说明的部位标注相同的符号，并省略说明。
关注区域数计数部61进行关注区域数计数处理，对每一(帧)医用图像记录医用图像内的由关注区域检测部42检测到的关注区域的数量。
阈值变更部52根据关注区域数计数部61的计数，进行变更第一阈值的阈值变更处理。例如，阈值变更部52在关注区域的数量为第二阈值以上的情况下，增大第一阈值。例如，声音控制部47控制为在检测到许多病变的情况下，以长的连续未检测时间输出通知声。由此，能够防止检测许多的病变而频繁地输出通知声。另外，例如，阈值变更部52在关注区域的数量不足第二阈值的情况下，减小第一阈值。由此，在检测到数量少的病变的情况下，输出通知声，以免漏看病变。
图11是对本实施方式的输出通知声的定时进行说明的图。
图11(A)是对检测到的病变的数量不足第二阈值的情况进行说明的图。图11(B)是对检测到的病变的数量为第二阈值以上的情况进行说明的图。
在图11(A)中，关注区域检测部42在医用图像101B～101D、101G及101H中检测到病变F1。而且，关注区域数计数部61将在各医用图像中检测到的关注区域的数量计数为“1”。因为检测到的关注区域的数量不足第二阈值(在该情况下第二阈值设为2)，所以阈值变更部52减小第一阈值。因此，声音控制部47根据短的连续未检测时间(在图示的情况下为2帧)的经过，在医用图像101H中的病变F1的检测的定时输出通知声。
在图11(B)中，关注区域检测部42在医用图像101B～101D、101G及101H中检测到病变F1及F2。而且，关注区域数计数部61将在各医用图像中检测到的关注区域的数量计数为“2”。因为检测到的关注区域的数量为第二阈值以上(在该情况下第二阈值设为2)，所以阈值变更部52增大第一阈值。因此，声音控制部47根据短的连续未检测时间(在图示的情况下为2帧)的经过，在医用图像101H中的病变F1及F2的检测的定时停止通知声的输出。此外，在图示的情况下，关注区域检测部42被设定为当连续检测数记录部43的记录数为2时设为检测确定。
根据本实施方式，对检测到的关注区域的数量进行计数，在该数量为第二阈值以上的情况下，增大第一阈值，在该数量不足第二阈值的情况下，减小第一阈值。由此，本实施方式能够在适当的定时输出通知声，因此能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
<第四实施方式>
接下来，对第四实施方式进行说明。在本实施方式中，根据检测到的关注区域的面积的大小及连续未检测时间，控制通知声的输出。
图12是表示本实施方式的医用图像处理装置14的结构的框图。此外，对在图2中已经进行了说明的部位标注相同的符号，并省略说明。
面积计算部71进行面积计算处理，计算由关注区域检测部42检测到的关注区域的面积。面积计算部71能够通过进行图像处理来计算检测到的关注区域的面积。
声音控制部47根据关注区域的大小及连续未检测时间，控制通知声的输出。例如，声音控制部47在关注区域的面积小于第三阈值的情况下，输出通知声。另外，声音控制部47在关注区域的面积大于第三阈值的情况下，且在连续未检测时间小于第一阈值的情况下，停止通知声的输出。另外，声音控制部47在关注区域的面积为大于第三阈值的情况下，且在连续未检测时间为第一阈值以上的情况下，输出通知声。
图13是对本实施方式中的输出通知声的定时进行说明的图。图13(A)是表示检测到的病变F的面积不足第三阈值的情况的图。图13(B)是表示检测到的病变F的面积为第三阈值以上的情况的图。
在图13(A)中，关注区域检测部42在医用图像101B～101D、101G及101H中检测到病变F。而且，面积计算部71计算在医用图像101B～101D、101G及101H中的每一个中检测到的病变F的面积。在图13(A)所示的情况下，因为在医用图像101B～101D、101G及101H中的每一个中检测到的病变F的面积不足第三阈值，所以无论连续未检测时间如何，都在医用图像H中检测到病变F的定时输出通知声。这样，在关注区域小的情况下，根据关注区域的检测输出通知声，进行提醒注意，由此能够防止用户对关注区域的漏看。
在图13(B)所示的情况下，病变F的面积为第三阈值以上。因此，声音控制部47根据连续未检测时间输出通知声。在此，在图13(B)所示的情况下，因为连续未检测时间为第一阈值以下，所以声音控制部47虽然在医用图像101G及101H中检测到病变F，但是停止通知声的输出。这样，通过停止通知声的输出，在关注区域较大的情况下，用户通过视觉也能够充分地进行识别，因此能够防止超过了所需而输出通知声。
如上所述，根据本实施方式，根据检测到的关注区域的面积，控制通知声的输出，因此能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
<第五实施方式>
接下来，对本发明的第五实施方式进行说明。在本实施方式中，根据关注区域检测部42检测到的关注区域的类型，控制通知声的输出。
图14是表示本实施方式的医用图像处理装置14的结构的框图。此外，对在图2中已经进行了说明的部位标注相同的符号，并省略说明。
分类部81进行由关注区域检测部42检测到的关注区域的分类的分类处理。例如，在关注区域为病变的情况下，分类部81根据病变的类型或程度进行分类。另外，在关注区域是检查对象的部位的情况下，分类部81根据部位的类型进行分类。分类部81能够通过各种方法进行检测到的关注区域的分类。例如，分类部81能够使用由CNN的学习完毕模型构成的分类器进行检测到的关注区域的分类。
声音控制部47根据关注区域的类型，控制通知声的输出。例如，声音控制部47在由分类部81进行分类的分类结果为特定的类型的情况下，输出通知声。在此，特定的类型是指重症的病变、重伤的病变、特别值得注意而不能漏看的病变、成为标志的部位等。另外，声音控制部47在由分类部81进行分类的分类结果为特定外的类型、且连续未检测时间小于第一阈值的情况下，停止通知声的输出。另外，声音控制部47在由分类部81进行分类的分类结果为特定外的类型、且连续未检测时间为第一阈值以上的情况下，通过语音通知器17输出通知声。
图15是对本实施方式中的输出通知声的定时进行说明的图。图15(A)是表示检测到的病变F的分类结果为特定的类型的情况的图。图15(B)是表示检测到的病变F的分类结果为特定的类型以外的情况的图。
在图15(A)中，关注区域检测部42在医用图像101B～101D、101G及101H中检测到病变F。而且，分类部81进行在医用图像101B～101D、101G及101H中的每一个中检测到的病变F的分类。在图15(A)所示的情况下，病变F为特定的类型，因此无论连续未检测时间如何，都在医用图像H中检测到病变F的定时，输出通知声。这样，当病变F为特定的类型(例如，重症的病变)时，每次检测都输出通知声，防止用户对关注区域漏看。
在图15(B)所示的情况下，病变F为特定外的类型。因此，声音控制部47根据连续未检测时间输出通知声。在此，在图15(B)所示的情况下，连续未检测时间为第一阈值以下，因此声音控制部47虽然在医用图像101G及101H中检测到病变F，但停止通知声的输出。
如上所述，根据本实施方式，由于根据检测到的关注区域的分类，控制通知声的输出，因此能够不给用户带来不适、不损坏通知声的提醒注意的效力而进行通知声的输出。
<其他>
在上述实施方式中，医用图像处理装置14的执行处理的处理部(医用图像获取部40、关注区域检测部42、第二时间检测部51、阈值变更部52、关注区域数计数部61、面积计算部71、分类部81)(processing unit)的硬件结构是如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种处理部发挥作用的通用处理器即CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等在制造后可变更电路结构的处理器即可编程逻辑器件(Programmabl e Logic Device：PLD)、以及ASIC(Application Specific Integrated Circuit)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
一个处理部可以由这些各种处理器中的一个构成，也可以由相同类型或不同类型的两个以上的处理器(例如，多个FPGA、或者CPU与FPGA的组合)构成。另外，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥作用的形态。其次，有诸如以片上系统(System On Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包含多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的上述各种处理器作为硬件结构来构成各种处理部。
此外，更具体而言，这些各种处理器的硬件结构是将半导体元件等电路元件组合而成的电路(circuitry)。
上述的各结构及功能可通过任意的硬件、软件、或者两者的组合而适当地实现。例如，对于使计算机执行上述的处理步骤(处理次序)的程序、记录有这样的程序的计算机可读取的记录介质(非暂时性记录介质)、或者可安装这样的程序的计算机，也能够应用本发明。
以上对本发明的例子进行了说明，但本发明不限于上述的实施方式，当然在不脱离本发明的主旨的范围内能够进行各种变形。
符号说明
9：内窥镜系统
10：内窥镜观测器
11：光源装置
12：内窥镜处理器装置
13：显示装置
14：医用图像处理装置
15：操作部
16：显示器
17：语音通知器
20：插入部
21：手边操作部
22：通用塞绳
25：软性部
26：弯曲部
27：前端部
28：摄像元件
29：弯曲操作旋钮
30：供气供水按钮
31：吸引按钮
32：静态画面摄影指示部
33：处置器具导入口
35：光导
36：信号电缆
37a：连接器
37b：连接器
38：动态画面
38a：帧图像
39：静态画面
40：医用图像获取部
41：CPU
42：关注区域检测部
43：连续检测数记录部
44：连续未检测数记录部
46：显示控制部
47：声音控制部
48：存储器。

Claims (15)

1.一种医用图像处理装置，其具备处理器及输出通知声的语音通知器，其中，
所述处理器进行：
图像接收处理，接收以时间序列连续的图像；
关注区域检测处理，从所述图像中检测关注区域；以及
声音控制处理，当通过所述关注区域检测处理当前检测到关注区域时，进行使所述语音通知器在一定期间输出所述通知声的控制，根据从通过所述关注区域检测处理过去结束关注区域的检测的时点到通过所述关注区域检测处理当前存在关注区域的检测的时点的第一时间，从所述语音通知器输出所述通知声。
2.根据权利要求1所述的医用图像处理装置，其中，
在所述声音控制处理中，通过所述关注区域检测处理间断地检测所述关注区域，在所述第一时间不足第一阈值的情况下，停止所述通知声的输出。
3.根据权利要求1所述的医用图像处理装置，其中，
在所述声音控制处理中，
在所述第一时间为第一阈值以上的情况下，通过所述语音通知器输出所述通知声，
在所述第一时间不足第一阈值的情况下，通过所述语音通知器停止所述通知声的输出。
4.根据权利要求2或3所述的医用图像处理装置，其中，
所述处理器进行：
第二时间检测处理，检测相当于通过所述关注区域检测处理在过去检测到关注区域时的所述第一时间的第二时间；以及
阈值变更处理，根据所述第二时间，变更所述第一阈值。
5.根据权利要求4所述的医用图像处理装置，其中，
所述处理器进行：
对通过所述关注区域检测处理在所述图像内检测到的关注区域的数量进行计数的关注区域数计数处理，
在所述阈值变更处理中，
在所述关注区域的数量为第二阈值以上的情况下，增大所述第一阈值。
6.根据权利要求4或5所述的医用图像处理装置，其中，
所述处理器进行：
对通过所述关注区域检测处理在所述图像内检测到的所述关注区域的数量进行计数的关注区域数计数处理，
在所述阈值变更处理中，
在所述关注区域的数量不足第二阈值的情况下，减小所述第一阈值。
7.根据权利要求2或3所述的医用图像处理装置，其中，
所述第一阈值设定在1.5秒以上至2.5秒以下的范围内。
8.根据权利要求4至6中任一项所述的医用图像处理装置，其中，
所述第一阈值在0.5秒以上至3.5秒以下的范围内变更。
9.根据权利要求2至8中任一项所述的医用图像处理装置，其中，
所述处理器进行：
计算在所述关注区域检测处理中检测到的关注区域的面积的面积计算处理，
在所述声音控制处理中，
在所述面积计算处理中计算出的所述面积小于第三阈值的情况下，通过所述语音通知器输出所述通知声，
在所述面积计算处理中计算出的所述面积为第三阈值以上、且所述第一时间小于所述第一阈值的情况下，停止基于所述语音通知器的所述通知声的输出，
在所述面积计算处理中计算出的所述面积为第三阈值以上、且所述第一时间为所述第一阈值以上的情况下，通过所述语音通知器输出所述通知声。
10.根据权利要求2至8中任一项所述的医用图像处理装置，其中，
所述处理器进行分类处理，进行在所述关注区域检测处理中检测到的关注区域的分类，
在所述声音控制处理中，
在所述分类处理中分类的分类结果为特定的类型的情况下，通过所述语音通知器输出所述通知声，
在所述分类处理中分类的分类结果为特定外的类型、且所述第一时间小于所述第一阈值的情况下，停止基于所述语音通知器的所述通知声的输出，
在所述分类处理中分类的分类结果为特定外的类型、且所述第一时间为所述第一阈值以上的情况下，通过所述语音通知器输出所述通知声。
11.根据权利要求1至10中任一项所述的医用图像处理装置，其中，
在所述声音控制处理中，基于以时间序列连续的所述图像的张数，检测所述第一时间。
12.根据权利要求1至11中任一项所述的医用图像处理装置，其中，
具备显示在所述图像接收处理中接收的所述图像的显示部，
强调通过所述关注区域检测处理检测到的关注区域，并在所述显示部显示。
13.一种医用图像处理方法，其使用具备处理器及输出通知声的语音通知器的医用图像处理装置，其中，
所述处理器执行：
图像接收工序，接收以时间序列连续的图像；
关注区域检测工序，从所述图像中检测关注区域；以及
声音控制工序，当通过所述关注区域检测工序当前检测到关注区域时，进行使所述语音通知器在一定期间输出所述通知声的控制，根据从通过所述关注区域检测工序过去结束关注区域的检测的时点到通过所述关注区域检测工序当前存在关注区域的检测的时点的第一时间，从所述语音通知器输出所述通知声。
14.一种程序，其使用具备处理器及输出通知声的语音通知器的医用图像处理装置执行图像处理方法，其中，
使所述处理器执行：
图像接收工序，接收以时间序列连续的图像；
关注区域检测工序，从所述图像中检测关注区域；以及
声音控制工序，当通过所述关注区域检测工序当前检测到关注区域时，进行使所述语音通知器在一定期间输出所述通知声的控制，根据从通过所述关注区域检测工序过去结束关注区域的检测的时点到通过所述关注区域检测工序当前存在关注区域的检测的时点的第一时间，从所述语音通知器输出所述通知声。
15.一种记录介质，其为非暂时性且计算机可读取的记录介质，其中，
记录有权利要求14所述的程序。
CN202280019934.2A 2021-03-23 2022-03-14 医用图像处理装置、医用图像处理方法及程序 Pending CN116963653A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021048511 2021-03-23
JP2021-048511 2021-03-23
PCT/JP2022/011198 WO2022202430A1 (ja) 2021-03-23 2022-03-14 医用画像処理装置、医用画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN116963653A true CN116963653A (zh) 2023-10-27

Family

ID=83397187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280019934.2A Pending CN116963653A (zh) 2021-03-23 2022-03-14 医用图像处理装置、医用图像处理方法及程序

Country Status (5)

Country Link
US (1) US20240005500A1 (zh)
EP (1) EP4316337A1 (zh)
JP (1) JPWO2022202430A1 (zh)
CN (1) CN116963653A (zh)
WO (1) WO2022202430A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4751593B2 (ja) 2004-11-02 2011-08-17 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
WO2020036109A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN113164023B (zh) * 2018-11-28 2024-02-23 奥林巴斯株式会社 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质
JP7290729B2 (ja) * 2019-08-13 2023-06-13 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援装置の作動方法、及び画像診断支援プログラム

Also Published As

Publication number Publication date
WO2022202430A1 (ja) 2022-09-29
EP4316337A1 (en) 2024-02-07
US20240005500A1 (en) 2024-01-04
JPWO2022202430A1 (zh) 2022-09-29

Similar Documents

Publication Publication Date Title
US20150313445A1 (en) System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope
JP7413585B2 (ja) 医用画像処理装置、作動方法、プログラム、及び記録媒体、診断支援装置並びに内視鏡システム
US20140022367A1 (en) Device, system and method of displaying in-vivo images at variable rate
WO2020170791A1 (ja) 医療画像処理装置及び方法
JP2009537284A (ja) 画像を作成しかつ改善するためのシステムおよび方法
US12020808B2 (en) Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2020184257A1 (ja) 医用画像処理装置及び方法
JPH03165732A (ja) 内視鏡の暗部領域の検出方法
WO2020054542A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP7507797B2 (ja) 医用画像処理装置、内視鏡システム、医用画像処理装置の作動方法、プログラム、及び記録媒体
CN116963653A (zh) 医用图像处理装置、医用图像处理方法及程序
JPWO2019039252A1 (ja) 医療画像処理装置及び医療画像処理方法
JP2019005038A (ja) 内視鏡システム
KR100942997B1 (ko) 캡슐 내시경 영상의 디스플레이 시스템 및 그 방법
JP7335157B2 (ja) 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
WO2022186111A1 (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
WO2022202520A1 (ja) 医療情報処理装置、内視鏡システム、医療情報処理方法、及び医療情報処理プログラム
US8155414B2 (en) Device, system and method of in-vivo varix detection
JP2021171475A (ja) 内視鏡及び内視鏡システム
CN117042669A (zh) 内窥镜处理器、内窥镜装置以及诊断用图像显示方法
CN117500427A (zh) 医用图像处理装置、医用图像处理方法及程序
CN115038375A (zh) 内窥镜系统、控制方法及控制程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination