CN112739250A - 医用图像处理装置、处理器装置、医用图像处理方法及程序 - Google Patents

医用图像处理装置、处理器装置、医用图像处理方法及程序 Download PDF

Info

Publication number
CN112739250A
CN112739250A CN201980060943.4A CN201980060943A CN112739250A CN 112739250 A CN112739250 A CN 112739250A CN 201980060943 A CN201980060943 A CN 201980060943A CN 112739250 A CN112739250 A CN 112739250A
Authority
CN
China
Prior art keywords
region
emphasized
medical image
interest
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980060943.4A
Other languages
English (en)
Inventor
远藤麻依子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112739250A publication Critical patent/CN112739250A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)

Abstract

本发明提供一种可抑制报知医用图像中的关注区域时的显示闪烁的医用图像处理装置、处理器装置、医用图像处理方法及程序。医用图像处理装置具备:图像获取部(40),其获取内窥镜图像(38);关注区域检测部(41),其检测关注区域;强调区域设定部(42),在使用监视器装置(16)显示内窥镜图像时,所述强调区域设定部(42)根据关注区域的位置设定强调关注区域的强调区域的位置;以及显示控制部(44),其应用超过内窥镜图像的显示的更新间隔的更新间隔,更新强调区域的显示。

Description

医用图像处理装置、处理器装置、医用图像处理方法及程序
技术领域
本发明涉及医用图像处理装置、处理器装置、医用图像处理方法及程序,特别是涉及检测结果的报知。
背景技术
专利文献1记载了一种如下的超声波图像诊断装置:基于超声波图像设定关心区域,并进行受检体中的期望部位的散斑分析,实时显示超声波图像和散斑分析结果。
在实况模式下显示散斑分析结果时,当超声波图像的帧率较高时难以读取散斑分析结果,针对这样的课题,该文献所记载的装置能够设定散斑分析结果的更新率。由此,即使超声波图像的帧率较高,也能够读取散斑分析结果。
专利文献2记载了一种如下的图像处理装置:根据关注区域的检测结果,进行是否应该显示与关注区域对应的警报图像的判定,并显示与被判定为应该显示警报图像的关注区域即显示对象关注区域对应的警报图像。
该文献所记载的发明在关注区域的数量较少时,对尺寸超过阈值的关注区域不显示警报图像,在关注区域的数量较多时,对尺寸为阈值以下的关注区域不显示警报图像。
以往技术文献
专利文献
专利文献1:日本特许第4897460号公报
专利文献2:日本特开2011-255006号公报
发明内容
发明要解决的技术课题
在自动检测病变部的医疗诊断系统中,由于病变的检测位置不断变化,因此在将检测结果显示于监视器时在报知病变位置的报知部分产生闪烁,存在闪烁妨碍诊断这样的课题。
专利文献1所记载的发明虽然能够调整散斑分析结果的更新率,但是未着眼于显示散斑分析结果时的闪烁这样的课题,不具备解决该课题的构成要件。
专利文献2所记载的发明虽然切换警报图像的显示与非显示,但是未着眼于显示警报图像时的闪烁这样的课题,不具备解决该课题的构成要件。
本发明是鉴于这种情况而完成的,其目的在于提供一种可抑制报知医用图像中的关注区域时的闪烁的医用图像处理装置、处理器装置、医用图像处理方法及程序。
用于解决技术课题的手段
为了达到上述目的,提供以下发明方面。
第一方面所涉及的医用图像处理装置具备:图像获取部,其获取医用图像;关注区域检测部,其从医用图像中检测关注区域;强调区域设定部,在使用显示装置显示医用图像时,所述强调区域设定部根据关注区域的位置设定强调关注区域的强调区域的位置;以及显示控制部,其应用超过医用图像的显示的更新间隔的更新间隔,更新强调区域的显示。
根据第一方面,实施应用超过医用图像的显示的更新间隔的更新间隔更新强调区域的显示的显示定时的控制。由此,相对于医用图像的显示的更新延迟更新强调区域的位置,可抑制报知医用图像中的关注区域时的闪烁,提高用户视觉辨认关注区域时的视觉辨认度。
第二方面可以设为如下的结构:在第一方面的医用图像处理装置中,具备更新间隔设定部,所述更新间隔设定部设定强调区域的更新间隔。
第三方面可以设为如下的结构:在第二方面的医用图像处理装置中,具备信号接收部,所述信号接收部接收从外部发送的表示强调区域的更新间隔的信号,更新间隔设定部基于使用信号接收部接收到的表示强调区域的更新间隔的信号设定强调区域的更新间隔。
第四方面可以设为如下的结构:在第二方面或第三方面的医用图像处理装置中,更新间隔设定部根据获取医用图像的摄像装置的动作,设定强调区域的更新间隔。
第五方面可以设为如下的结构:在第二方面至第四方面中的任一方面的医用图像处理装置中,更新间隔设定部根据关注区域的鉴别结果,设定强调区域的更新间隔。
第六方面可以设为如下的结构:在第一方面至第五方面中的任一方面的医用图像处理装置中,在从强调区域的显示被更新的定时到下一强调区域的显示被更新的定时的期间,显示控制部维持在强调区域的显示被更新的定时的强调区域的位置并使强调区域显示于显示装置。
第七方面可以设为如下的结构:在第一方面至第六方面中的任一方面的医用图像处理装置中,显示控制部向显示装置发送使利用强调区域设定部设定的强调区域重叠显示于医用图像的信号。
第八方面可以设为如下的结构:在第一方面至第七方面中的任一方面的医用图像处理装置中,强调区域设定部基于在强调区域的更新定时的帧之前的二个以上的帧的关注区域的位置设定在强调区域的更新定时的帧的强调区域的位置。
第九方面可以设为如下的结构:在第八方面的医用图像处理装置中,强调区域设定部将在强调区域的更新定时的帧的强调区域的位置设定到在强调区域的更新定时的帧之前的二个以上的帧的关注区域的平均位置。
第十方面可以设为如下的结构:在第一方面至第九方面中的任一方面的医用图像处理装置中,强调区域设定部在强调区域的显示的更新定时,将合并了过去的帧中的强调区域所得到的强调区域设定到在强调区域的显示的更新定时的强调区域。
第十一方面所涉及的处理器装置具备:内窥镜控制部,其控制内窥镜;图像获取部,其从内窥镜获取医用图像;关注区域检测部,其从医用图像中检测关注区域;强调区域设定部,在使用显示装置显示医用图像时,所述强调区域设定部根据关注区域的位置设定强调关注区域的强调区域的位置;以及显示控制部,其应用超过医用图像的显示的更新间隔的更新间隔,更新强调区域的显示。
根据第十一方面,能够获得与第一方面同样的效果。
在第十一方面中,可适当组合与通过第二方面至第十方面特定的事项同样的事项。在该情况下,作为负责在医用图像处理装置中特定的处理或功能的构成要素,可理解为负责与此对应的处理或功能的医用图像处理系统的构成要素。
第十二方面所涉及的医用图像处理方法包括:图像获取工序,获取医用图像;关注区域检测工序,从医用图像中检测关注区域;强调区域设定工序,在使用显示装置显示医用图像时,根据关注区域的位置设定强调关注区域的强调区域的位置;以及显示控制工序,应用超过医用图像的显示的更新间隔的更新间隔,更新强调区域的显示。
根据第十二方面,能够获得与第一方面同样的效果。
在第十二方面中,可适当组合与通过第二方面至第十方面特定的事项同样的事项。在该情况下,作为负责在医用图像处理装置中特定的处理或功能的构成要素,可理解为负责与此对应的处理或功能的医用图像处理方法的构成要素。
第十三方面所涉及的程序使计算机实现:图像获取功能,获取医用图像;关注区域检测功能,从医用图像中检测关注区域;强调区域设定功能,在使用显示装置显示医用图像时,根据关注区域的位置设定强调关注区域的强调区域的位置;以及显示控制功能,应用超过医用图像的显示的更新间隔的更新间隔,更新强调区域的显示。
根据第十三方面,能够获得与第一方面同样的效果。
在第十三方面中,可适当组合与通过第二方面至第十方面特定的事项同样的事项。在该情况下,作为负责在医用图像处理装置中特定的处理或功能的构成要素,可理解为负责与此对应的处理或功能的程序的构成要素。
发明效果
根据本发明,实施应用超过医用图像的显示的更新间隔的更新间隔来更新强调区域的显示的显示定时的控制。由此,相对于医用图像的显示的更新延迟更新强调区域的位置,可抑制报知医用图像中的关注区域时的闪烁,提高用户视觉辨认关注区域时的视觉辨认度。
附图说明
图1是包括实施方式所涉及的医用图像处理装置的内窥镜系统的整体结构图。
图2是表示医用图像处理装置的硬件结构的框图。
图3是第一实施方式所涉及的医用图像处理装置的功能框图。
图4是内窥镜图像及强调区域的更新间隔的说明图。
图5是在图4的定时t1的画面显示的示意图。
图6是在图4的定时t2的帧图像的示意图。
图7是在图4的定时t3的帧图像的示意图。
图8是在图4的定时t7的帧图像的示意图。
图9是第一实施方式所涉及的医用图像处理方法的流程图。
图10是强调区域设定的第一变形例的说明图。
图11是强调区域设定的第二变形例的说明图。
图12是强调区域设定的第三变形例的说明图。
图13是第二实施方式所涉及的医用图像处理装置的功能框图。
图14是第三实施方式所涉及的医用图像处理装置的功能框图。
具体实施方式
以下,按照附图对本发明的优选实施方式进行详细说明。在本说明书中,对相同的构成要素标注相同的参照符号,并适当省略重复说明。
[内窥镜系统的整体结构]
图1是包括实施方式所涉及的医用图像处理装置的内窥镜系统的整体结构图。图1所示的内窥镜系统9具备内窥镜10、光源装置11、处理器装置12、显示装置13、医用图像处理装置14、输入装置15及监视器装置16。
图1所示的内窥镜10是电子内窥镜,而且是软性内窥镜。内窥镜10具备插入部20、操作部21及通用塞绳22。插入部20插入受检体内。插入部20整体细径且形成为长条状。
插入部20具备软性部25、弯曲部26及顶端部27。插入部20连接设置软性部25、弯曲部26及顶端部27而构成。软性部25从插入部20的基端侧朝向顶端侧依次具有弯曲的挠性。弯曲部26具有在操作部21被操作时可弯曲的结构。顶端部27内置有未图示的摄像光学系统及摄像元件28等。
摄像元件28适用CMOS型摄像元件或CCD型摄像元件。CMOS是Complementary MetalOxide Semiconductor的缩略语。CCD是Charge Coupled Device的缩略语。
顶端部27的顶端面27a配置有未图示的观察窗。观察窗是形成于顶端部27的顶端面27a的开口。观察窗安装有未图示的罩体。在观察窗的后方配置有未图示的摄像光学系统。摄像元件28的摄像面经由观察窗及摄像光学系统等入射有被观察部位的图像光。摄像元件28拍摄入射到摄像元件28的摄像面上的被观察部位的图像光,并输出摄像信号。在此所说的摄像包括将来自被观察部位的反射光转换为电信号这样的意思。
操作部21与插入部20的基端侧连接设置。操作部21具备施术者操作的各种操作部件。具体而言,操作部21具备两种弯曲操作旋钮29。弯曲操作旋钮29在弯曲部26的弯曲操作时使用。此外,施术者可被称作医生、操作者、观察者及用户等。
操作部21具备供气供水按钮30及吸引按钮31。供气供水按钮30在施术者进行供气供水操作时使用。吸引按钮31在施术者进行吸引操作时使用。
操作部21具备静止图像拍摄指示部32及处置器具导入口33。静止图像拍摄指示部32在拍摄被观察部位的静止图像时由施术者操作。处置器具导入口33是向插通插入部20的内部的处置器具贯穿通路的内部插入处置器具的开口。此外,处置器具贯穿通路及处置器具省略图示。对静止图像标注符号39并图示于图3。
通用塞绳22是将内窥镜10连接于光源装置11的连接塞绳。通用塞绳22内包有插通插入部20的内部的光导35、信号电缆36及未图示的流体管。
另外,通用塞绳22的顶端部具备与光源装置11连接的连接器37a、及从连接器37a分支并与处理器装置12连接的连接器37b。
如将连接器37a连接于光源装置11,则光导35及未图示的流体管向光源装置11插入。由此,经由光导35及未图示的流体管,从光源装置11向内窥镜10供给必要的照明光、水及气体。
其结果,从顶端部27的顶端面27a的未图示的照明窗向被观察部位照射照明光。另外,响应于供气供水按钮30的按下操作,从顶端部27的顶端面27a的未图示的供气供水喷嘴向顶端面27a的未图示的观察窗喷射气体或水。
若将连接器37b连接于处理器装置12,则信号电缆36与处理器装置12电连接。由此,经由信号电缆36,从内窥镜10的摄像元件28向处理器装置12输出被观察部位的摄像信号,并且从处理器装置12向内窥镜10输出控制信号。
在本实施方式中,作为内窥镜10列举软性内窥镜为例进行了说明,但作为内窥镜10,也可以使用硬性内窥镜等可拍摄被观察部位的动态画面的各种电子内窥镜。
光源装置11经由连接器37a向内窥镜10的光导35供给照明光。照明光可应用白色光或特定波长频带的光。照明光也可以组合白色光及特定波长频带的光。光源装置11构成为可适当选择对应于观察目的的波长频带的光作为照明光。
白色光可以是白色的波长频带的光或多个波长频带的光中的任一种。特定波长频带是比白色的波长频带窄的频带。特定波长频带的光可以应用一种波长频带的光,也可以应用多个波长频带的光。特定波长频带有时也被称作特殊光。
处理器装置12经由连接器37b及信号电缆36控制内窥镜10的动作。另外,处理器装置12经由连接器37b及信号电缆36,从内窥镜10的摄像元件28获取摄像信号。处理器装置12应用规定的帧率获取从内窥镜10输出的摄像信号。
处理器装置12基于从内窥镜10获取的摄像信号,生成被观察部位的观察图像即内窥镜图像38。在此所说的内窥镜图像38包含动态图像。内窥镜图像38也可以包含静止图像39。此外,对动态图像标注符号38a并图示于图3。
在操作了操作部21的静止图像拍摄指示部32的情况下,处理器装置12在生成动态图像的同时,基于从摄像元件28获取的摄像信号生成被观察部位的静止图像39。静止图像39可以针对动态图像的分辨率以高分辨率生成。
在生成内窥镜图像38时,处理器装置12进行白平衡调整及阴影校正等应用了数字信号处理的画质的校正。处理器装置12可以将由DICOM规格规定的附带信息附加于内窥镜图像38。此外,DICOM是Digital Imaging and Communications in Medicine的缩略语。实施方式所示的处理器装置是具备控制内窥镜的内窥镜控制部的处理器装置的一例。
处理器装置12将内窥镜图像38分别输入到显示装置13和医用图像处理装置14。处理器装置12也可以按照以DICOM规格为依据的通信协议,经由未图示的网络将内窥镜图像38输出到未图示的存储装置。此外,网络可应用图2所示的网络140。
显示装置13连接于处理器装置12。显示装置13基于从处理器装置12发送来的信号显示内窥镜图像38。施术者可在确认显示于显示装置13的内窥镜图像38的同时,进行插入部20的进退操作等。当在被观察部位检测到病变等时,施术者可操作静止图像拍摄指示部32来拍摄被观察部位的静止画面。
医用图像处理装置14可使用计算机。输入装置15可使用能够与计算机连接的键盘及鼠标等。输入装置15与计算机的连接可以是有线连接或无线连接中的任一种。监视器装置16可使用能够与计算机连接的各种监视器。
作为医用图像处理装置14,可以使用工作站及服务器装置等诊断支援装置。在该情况下,输入装置15及监视器装置16设置在分别与工作站等连接的多个终端的每一个中。而且,作为医用图像处理装置14,也可以使用进行医疗报告等的制作支援的诊疗业务支援装置。
医用图像处理装置14进行内窥镜图像38的获取及内窥镜图像38的存储。医用图像处理装置14进行监视器装置16的再现控制。此外,本说明书中的图像这一用语包含表示图像的电信号及表示图像的信息等图像数据这样的意思。即,本说明书中的图像这一用语是指图像本身及图像数据中的至少任一者。
另外,图像的存储这一用语可替读为图像的保存及图像的存储等。在此所说的图像的存储是指图像的非暂时性存储。医用图像处理装置14也可以具备暂时存储图像的暂时存储用存储器。
输入装置15用于对医用图像处理装置14输入操作指示。监视器装置16在医用图像处理装置14的控制下进行内窥镜图像38的显示。监视器装置16也可以作为医用图像处理装置14中的各种信息的显示部发挥功能。
医用图像处理装置14可经由图1中未图示的网络与未图示的存储装置连接。图像的存储格式、及经由网络的各装置间的通信可应用DICOM规格、及以DICOM规格为依据的协议等。
未图示的存储装置可应用非暂时性存储数据的存储器等。也可以使用未图示的服务器装置来管理存储装置。服务器装置可应用存储并管理各种数据的计算机。
[医用图像处理装置的硬件结构]
图2是表示医用图像处理装置的硬件结构的框图。图2所示的医用图像处理装置14具备控制部120、存储器122、存储装置124、网络控制器126、电源装置128、显示器控制器130、输入输出接132及输入控制器134。此外,图2所示的I/O表示输入输出接口。
控制部120、存储器122、存储装置124、网络控制器126、显示器控制器130及输入输出接132经由总线136以可进行数据通信的方式连接。
〔控制部〕
控制部120作为医用图像处理装置14的整体控制部、各种运算部及存储控制部发挥功能。控制部120执行存储在存储器122所具备的ROM(read only memory)中的程序。
控制部120可以经由网络控制器126,从未图示的外部的存储装置下载程序,并执行下载的程序。外部的存储装置可以经由网络140与医用图像处理装置14以可通信的方式连接。
控制部120将存储器122所具备的RAM(random access memory)作为运算区域,与各种程序协作执行各种处理。由此,可实现医用图像处理装置14的各种功能。
控制部120控制从存储装置124读出数据、及向存储装置124写入数据。控制部120可以经由网络控制器126,从外部的存储装置获取各种数据。控制部120可使用获取的各种数据来执行运算等各种处理。
控制部120可以包括一个或两个以上的处理器(processor)。作为处理器的一例,可列举FPGA(Field Programmable Gate Array)及PLD(Programmable Logic Device)等。FPGA及PLD是在制造后可改变电路结构的设备。
作为处理器的另一例,可列举ASIC(Application Specific IntegratedCircuit)。ASIC具备为了执行特定的处理而专门设计的电路结构。
控制部120可应用相同种类的两个以上的处理器。例如,控制部120可以使用两个以上的FPGA,也可以使用两个PLD。控制部120也可以应用不同种类的两个以上的处理器。例如,控制部120可以应用一个以上的FPGA和一个以上的ASIC。
在具备多个控制部120时,多个控制部120可以使用一个处理器而构成。作为用一个处理器构成多个控制部120的一例,有使用一个以上的CPU(Central Processing Unit)与软件的组合来构成一个处理器、且该处理器作为多个控制部120发挥功能的方式。此外,本说明书中的软件与程序的含义相同。
作为用一个处理器构成多个控制部120的另一例,可列举使用用一个IC芯片实现包括多个控制部120的系统整体的功能的处理器的方式。作为用一个IC芯片实现包括多个控制部120的系统整体的功能的处理器的代表例,可列举SoC(System On Chip)。此外,IC是Integrated Circuit的缩略语。
这样,控制部120使用一个以上的各种处理器作为硬件结构来构成。
〔存储器〕
存储器122具备未图示的ROM及未图示的RAM。ROM存储在医用图像处理装置14中执行的各种程序。ROM存储用于执行各种程序的参数及文件等。RAM作为数据的暂时存储区域及控制部120的工作区域等发挥功能。
〔存储装置〕
存储装置124非暂时性存储各种数据。存储装置124可以安装于医用图像处理装置14的外部。也可以取代存储装置124或者与其一并应用大容量的半导体存储器装置。
〔网络控制器〕
网络控制器126控制与外部装置之间的数据通信。数据通信的控制可以包括数据通信的流量的管理。经由网络控制器126连接的网络140可应用LAN等公知的网络。
〔电源装置〕
电源装置128可应用UPS(Uninterruptible Power Supply)等大容量型的电源装置。电源装置128在由于停电等而切断了商用电源时,向医用图像处理装置14的各部供给电源。
〔显示器控制器〕
显示器控制器130作为基于从控制部120发送的指令信号控制监视器装置16的显示器驱动器发挥功能。
〔输入输出接口〕
输入输出接口132以可与医用图像处理装置14和外部机器通信的方式连接。输入输出接口132可应用USB(Universal Serial Bus)等通信规格。
〔输入控制器〕
输入控制器134将使用输入装置15输入的信号的形式转换为适合医用图像处理装置14的处理的形式。经由输入控制器134从输入装置15输入的信息经由控制部120向各部发送。
此外,图2所示的医用图像处理装置14的硬件结构只是一例,可以适当地进行追加、删除及变更。另外,图2所示的医用图像处理装置14的硬件结构可应用于以下说明的各实施方式及变形例。
[第一实施方式所涉及的医用图像处理装置]
〔功能块的说明〕
图3是第一实施方式所涉及的医用图像处理装置的功能框图。医用图像处理装置14具备图像获取部40、关注区域检测部41、强调区域设定部42、更新间隔设定部43、显示控制部44及存储部46。
图像获取部40从处理器装置12获取内窥镜图像38。图像获取部40将内窥镜图像38存储于内窥镜图像存储部47。
图像获取部40可以经由存储卡等信息存储介质,从处理器装置12获取内窥镜图像38。图像获取部40可以经由图2所示的网络140获取内窥镜图像38。
图像获取部40可获取由时间序列的帧图像38b构成的动态图像38a。当在动态图像38a的拍摄中途实施了静止画面拍摄时,图像获取部40可获取静止图像39。
关注区域检测部41从内窥镜图像38中检测关注区域。关注区域检测部41将构成内窥镜图像38的帧图像38b分割为多个局部区域,对每个局部区域计算出特征量,可基于每个局部区域的特征量检测关注区域。
强调区域设定部42设定对从内窥镜图像38中检测到的关注区域进行强调的强调区域。强调区域设定部42可设定包围关注区域的框作为强调区域。强调区域设定部42可对检测到关注区域的所有内窥镜图像38设定强调区域。
强调区域设定部42可基于表示关注区域的位置的关注区域的坐标值设定强调区域。作为表示关注区域的位置及强调区域的位置的坐标系,可应用二维正交坐标系。
强调区域设定部42可获取关注区域的重心的坐标值作为关注区域的坐标值。强调区域设定部42可获取构成关注区域的边缘的闭合曲线上的坐标值作为关注区域的坐标值。强调区域设定部42可将构成关注区域的边缘的闭合曲线所内切的四边形设定为强调区域。强调区域可应用圆或除四边形以外的多边形来取代四边形。
更新间隔设定部43设定使用监视器装置16使强调区域重叠显示于内窥镜图像38时的强调区域的更新间隔。更新间隔设定部43设定超过内窥镜图像38中应用的更新间隔的更新间隔作为强调区域的更新间隔。此外,更新间隔是指任意的更新定时与下一更新定时之间的期间。更新间隔也可以替读为更新期间。
更新间隔设定部43也可以获取使用输入装置15输入的表示更新间隔的信息。即,医用图像处理装置14也可以具备接收表示更新间隔的信号的信号接收部。作为信号接收部,可应用连接输入装置15的输入输出接口。
显示控制部44向监视器装置16发送使内窥镜图像38及强调区域显示于监视器装置16的显示控制信号。显示控制部44应用规定的更新间隔来更新内窥镜图像38。显示控制部44应用使用更新间隔设定部43设定的强调区域的更新间隔来更新强调区域。
监视器装置16获取从显示控制部44发送的显示控制信号,并显示内窥镜图像38及强调区域。监视器装置16可将强调区域重叠显示于内窥镜图像38。
存储部46具备内窥镜图像存储部47、关注区域存储部48及强调区域存储部49。内窥镜图像存储部47存储使用图像获取部40获取的内窥镜图像38。
关注区域存储部48存储关注区域的信息。关注区域存储部48可存储与检测到关注区域的内窥镜图像38相关联的关注区域的信息。关注区域的信息可应用内窥镜图像38中的关注区域的坐标值。关注区域的坐标值与设定强调区域时所应用的关注区域的坐标值相同。
强调区域存储部49存储强调区域的信息。强调区域存储部49可存储与被设定了强调区域的内窥镜图像38相关联的强调区域的信息。
存储部46可应用一个以上的存储元件。即,存储部46可具备分别与内窥镜图像存储部47、关注区域存储部48及强调区域存储部49对应的三个存储元件。另外,内窥镜图像存储部47、关注区域存储部48及强调区域存储部49可分别应用多个存储元件。而且,可使用一个存储元件来构成内窥镜图像存储部47、关注区域存储部48及强调区域存储部49中的两个或全部。
〔内窥镜图像及强调区域的更新间隔〕
本实施方式所示的医用图像处理装置14从内窥镜图像38中检测关注区域,并设定强调关注区域的强调区域,基于关注区域及强调区域辅助诊断。另一方面,当强调关注区域的强调区域在每一帧发生了变动时,画面产生闪烁,担心会妨碍医生的诊断。
因此,本实施方式所示的医用图像处理装置14应用与内窥镜图像38的显示处理不同的间隔来更新强调区域的显示处理。由此,可抑制由强调区域的变动引起的画面闪烁。
图4是内窥镜图像及强调区域的更新间隔的说明图。在图4中示出强调区域的更新延迟的图像。图4所示的定时t1至定时t8表示内窥镜图像38的显示被更新的定时。在图4中,示出在内窥镜图像38的显示被更新的定时t1至定时t8的帧图像38b1至帧图像38b8的八张帧图像38b。
对每个帧图像38b检测关注区域。即,在从帧图像38b1到帧图像38b8中都检测关注区域150。在图4中,示意性图示关注区域150。在图4中适当省略表示关注区域的符号150的图示。后述的强调区域152也是同样的。
帧图像38b的更新率可应用例如30帧每秒那样在系统中预先设定的设定值。在更新率为30帧每秒的情况下,更新间隔为0.03秒。
从帧图像38b1到帧图像38b8中的每一者都被设定与关注区域150对应的强调区域152。另一方面,在定时t1及定时t7实施强调区域152的显示的更新,但在定时t2至定时t6及定时t8,不实施强调区域152的显示的更新。
在图4中,示出了将强调区域152的更新率设为帧图像38b的更新率的六分之一的例子。在帧图像38b的更新率为30帧每秒的情况下,强调区域152的更新率为5帧每秒。在将n设为超过1的任意数的情况下,强调区域152的更新率可设为帧图像38b的更新率的n分之一。n可以设为2以上的整数。
这样,即使在每个帧图像38b中关注区域150的位置都发生了变动的情况下,强调区域152的显示的更新间隔也比帧图像38b的显示的更新间隔慢。由此,当显示强调关注区域150的强调区域152时,相对于帧图像38b的更新延迟更新强调区域152的位置,可抑制内窥镜图像38的闪烁。
在本实施方式中,作为强调区域152的显示的更新间隔设定的例子,例示了使用每一秒钟的帧数表示的更新率,但也可以设定表示强调区域152的显示的更新间隔的期间。在将m设为超过1的任意数的情况下,强调区域152的更新间隔可设为帧图像38b的更新间隔的m倍。m可以设为2以上的整数。
另外,强调区域152的显示的更新间隔设定也可以根据帧图像38b的更新率来设定。如上所述,也可以进行将强调区域152的显示的更新率设为帧图像38b的更新率的六分之一这样的设定。
〔强调区域的显示的更新的具体例〕
图5是在图4的定时t1的帧图像的示意图。图5所示的帧图像38b1检测到关注区域1501,而且,设定基于关注区域1501的强调区域1521,强调区域1521重叠显示于关注区域1501。
强调区域1521基于关注区域1501的重心1541的坐标值来设定。在检测到关注区域1501的情况下,计算关注区域1501的重心1541的坐标值,并设定关注区域1501的重心1541的坐标值作为强调区域1521的重心的坐标值。
另外,计算构成关注区域1501的边缘的闭合曲线的坐标值,基于构成关注区域1501的边缘的闭合曲线的坐标值计算构成作为强调区域1521的四边形的各边的坐标值。
图6是图4的定时t2的帧图像的示意图。图6所示的帧图像38b2检测到关注区域1502。帧图像38b2虽然设定了强调区域1522,但不实施强调区域1522的显示的更新。即,帧图像38b2不是显示基于从帧图像38b2中检测到的关注区域1502的强调区域1522,而是显示在前一帧图像38b1中被更新的强调区域1521。
此外,符号1542表示帧图像38b2中的关注区域1502的重心。以重心1541为起点且以重心1542为终点的箭头线表示在帧图像38b2中关注区域1502的位置从帧图像38b1的关注区域1501的位置进行了移动。
图7是在图4的定时t3的帧图像的示意图。在帧图像38b3中,也是虽然设定了基于关注区域1503的强调区域1523,但不实施强调区域1523的显示的更新。即,当在帧图像38b3中检测到关注区域1503、且设定了强调区域1523时,虽然帧图像38b3的关注区域1503的显示被更新,但帧图像38b3显示在两帧之前的帧图像38b1中设定的强调区域1521。
此外,符号1543表示帧图像38b3中的关注区域1503的重心。以重心1542为起点且以重心1543为终点的箭头线表示在帧图像38b3中关注区域1503的位置从帧图像38b2的关注区域1502的位置进行了移动。省略在图4的定时t4的帧图像38b4、在定时t5的帧图像38b5及在定时t6的帧图像38b6的详细图示。
图8是在图4的定时t7的帧图像的示意图。当从帧图像38b7中检测到关注区域1507时,设定基于关注区域1507的强调区域1527。帧图像38b7中的关注区域1507的显示被更新,并且强调区域1527的显示被更新。
此外,符号1547表示帧图像38b7中的关注区域1507的重心。以重心1543为起点且以重心1547为终点的箭头线表示在帧图像38b7中关注区域1507的位置从帧图像38b4的关注区域1503的位置经由省略了图示的帧图像的关注区域150的位置而进行了移动。省略在图4的定时t8的帧图像38b8的详细图示。
〔医用图像处理方法的流程图〕
图9是第一实施方式所涉及的医用图像处理方法的流程图。第一实施方式所涉及的医用图像处理方法包括内窥镜图像获取工序S10、关注区域检测工序S12、强调区域设定工序S14、更新间隔设定工序S16、更新定时判定工序S18、强调区域更新工序S20、显示工序S22及最终帧图像判定工序S24而构成。
在内窥镜图像获取工序S10中,图3所示的医用图像处理装置14使用图像获取部40从内窥镜系统9获取构成内窥镜图像38的帧图像38b。在内窥镜图像获取工序S10之后进入关注区域检测工序S12。
在关注区域检测工序S12中,关注区域检测部41从帧图像38b中检测关注区域150,并特定关注区域150的位置及形状。医用图像处理装置14将表示关注区域150的位置的坐标值信息及关注区域150的形状信息作为关注区域150的信息存储于关注区域存储部48。在关注区域检测工序S12之后进入强调区域设定工序S14。
在强调区域设定工序S14中,强调区域设定部42基于在关注区域检测工序S12中检测到的关注区域150的位置及形状设定强调区域152的位置及形状。强调区域设定部42将强调区域152的位置信息及强调区域152的形状信息作为强调区域152的信息存储于强调区域存储部49。在强调区域设定工序S14之后进入更新间隔设定工序S16。
在更新间隔设定工序S16中,更新间隔设定部43设定超过预先设定的帧图像38b的更新间隔的更新间隔作为强调区域152的更新间隔。更新间隔设定部43也可以将更新间隔的信息存储于存储部46。
更新间隔设定工序S16也可以作为内窥镜图像获取工序S10之前等强调区域设定工序S14之前的工序来实施。即,更新间隔设定工序S16既可以在开始内窥镜检查之前实施,也可以在内窥镜检查的中途实施。更新间隔设定工序S16也可以变更预先规定的强调区域152的显示的更新间隔的初始值。
在更新间隔设定工序S16中,也可以获取用户使用输入装置15作为强调区域152的显示的更新间隔而输入的值。在更新间隔设定工序S16之后进入更新定时判定工序S18。
在更新定时判定工序S18中,显示控制部44判定是否是强调区域152的更新定时。在更新定时判定工序S18中,当显示控制部44判定为不是规定的更新定时时成为No判定,不更新强调区域152的显示而进入显示工序S22。另一方面,当显示控制部44判定为是规定的更新定时时成为Yes判定,进入强调区域更新工序S20。
在强调区域更新工序S20中,显示控制部44更新强调区域152的显示。在强调区域更新工序S20之后进入显示工序S22。实施方式所示的强调区域更新工序S20是应用超过医用图像的显示的更新间隔的更新间隔来更新强调区域的显示的显示控制工序的一例。
在显示工序S22中,显示控制部44向监视器装置16发送表示关注区域150及强调区域152的信号。监视器装置16基于从显示控制部44发送来的信号显示关注区域150及强调区域152。在显示工序S22之后进入最终帧图像判定工序S24。
在最终帧图像判定工序S24中,图像获取部40判定在内窥镜图像获取工序S10中获取的帧图像38b是否是最终的帧图像38b。图像获取部40在获取了帧图像38b之后,当未输入下一帧图像38b的期间为规定的期间以上时,可判定为已获取最终的帧图像38b。图像获取部40在接收到表示内窥镜图像38的发送结束的信号时,可判定为已获取最终的帧图像38b。
在最终帧图像判定工序S24中,当判定为图像获取部40获取了不是最终的帧图像38b的帧图像38b时成为No判定,进入内窥镜图像获取工序S10。以后,重复实施从内窥镜图像获取工序S10到最终帧图像判定工序S24的各工序,直到在最终帧图像判定工序S24中成为Yes判定。
另一方面,在最终帧图像判定工序S24中,当判定为图像获取部40已获取最终的帧图像38b时成为No判定,在实施了规定的结束处理后结束医用图像处理方法。
〔强调区域设定的变形例〕
<第一变形例>
在第一变形例所涉及的强调区域设定中,使用在从前一更新帧到本帧的各帧图像38b中设定的强调区域152,设定本帧中的强调区域152。前一更新帧是指前一个被实施了强调区域152的显示的更新的帧图像38b。本帧是指实施强调区域152的显示的更新的帧图像38b。
图10是强调区域设定的第一变形例的说明图。图10所示的帧图像38b7是在图4所示的定时t7的帧图像38b。在帧图像38b7中显示的强调区域152的位置应用作为帧图像38b7以前的帧图像38b的、帧图像38b1的强调区域1521至帧图像38b7的强调区域1527的平均位置。也可以取代平均位置,将从帧图像38b1的强调区域1521到帧图像38b7的强调区域1527为止的任意帧图像的强调区域的位置设为在帧图像38b7中显示的强调区域152的位置。
在图4中的定时t1至定时t6维持强调区域1521的显示,之后,在定时t7显示了强调区域1527的情况下,会担心产生闪烁。
因此,作为在定时t7的强调区域的位置,使用从重心1541的坐标值到重心1547的坐标值计算重心154的坐标值,将重心154的位置设定为强调区域152的位置。
例如,重心154的坐标值可应用从重心1541的坐标值到重心1547的坐标值的平均值。重心154的坐标值不必使用从重心1541的坐标值到重心1547的所有坐标值,只要使用从重心1541的坐标值到重心1547的任意两个以上的坐标值即可。
<第二变形例>
图11是强调区域设定的第二变形例的说明图。在第二变形例所涉及的强调区域设定中,在强调区域152的显示的更新定时以外的帧图像38b中,根据期间的经过,强调区域152的显示减弱。图11所示的帧图像38b中,更新定时以外的帧图像38b是帧图像38b2、帧图像38b3、帧图像38b4、帧图像38b5、帧图像38b6及帧图像38b8
作为减弱强调区域152的显示的一例,可列举使表示强调区域152的框的浓度变淡的例子。也可以在使浓度变淡时变更颜色。作为减弱强调区域152的显示的其他例子,可列举使表示强调区域152的框的粗细变细的例子、变更表示强调区域152的框的线的种类的例子。表示强调区域152的框的变更既可以连续地变更,也可以阶段性地变更。
作为减弱强调区域152的显示的其他例子,可列举使表示强调区域152的框闪烁的例子。可以应用一定的周期使表示强调区域152的框闪烁,也可以经时地改变闪烁周期。
这样,通过减弱强调区域152的显示,由强调区域152的位置变动引起的视觉上的不协调感减轻,可抑制闪烁。
<第三变形例>
图12是强调区域设定的第三变形例的说明图。在第三变形例所涉及的图像处理中,合并在多个帧图像38b中设定的强调区域152。在图12中,示出对当前的帧图像38b中的强调区域152a合并前一帧图像38b中的强调区域152b的例子。实施方式所示的当前的帧图像38b的前一帧图像38b是过去的帧的一例。
图12的上段所示的帧图像38b检测到关注区域150a,并设定了基于关注区域150a的强调区域152a。图12的上段所示的帧图像38b中所示的符号154a是关注区域150a的重心。
在图12的上段所示的帧图像38b中,示出在前一帧图像38b中检测到的关注区域150b、基于关注区域150b设定的强调区域152b、及关注区域150b的重心154b。
图12的下段所示的帧图像38b显示将强调区域152a与强调区域152b合并后的强调区域152。使用关注区域150a的重心154a的坐标值及关注区域150b的重心154b的坐标值,导出设定强调区域152时的重心154的坐标值。表示强调区域152的框的坐标值基于重心154的坐标值、表示强调区域152a的框的坐标值、及表示强调区域152b的框的坐标值来导出。
这样,通过合并强调区域152,可抑制由强调区域152的变动引起的闪烁。在本变形例中示出了合并两个强调区域152的例子,但也可以合并三个以上的强调区域152。
<第四变形例>
在内窥镜图像38中,尽管存在关注区域150,但可能有时未检测到关注区域150。未检测到关注区域150的帧图像38b的存在可能成为闪烁的原因。因此,通过对关注区域150进行时间积分,可抑制闪烁。
[第一实施方式的作用效果]
根据如上所述构成的第一实施方式所涉及的医用图像处理装置14,可以获得以下作用效果。
〔1〕
作为强调区域152的显示的更新间隔,应用超过内窥镜图像38的显示的更新间隔的期间。由此,相对于内窥镜图像38的更新延迟更新强调区域152,可抑制由强调区域152的位置移动引起的显示内窥镜图像38的画面闪烁。
〔2〕
在强调区域152被更新后的帧图像38b中,直到下一次强调区域152被更新的帧图像38b为止,维持最后被更新的强调区域152的位置。由此,帧图像38b间的强调区域152的位置移动受到抑制,可抑制显示内窥镜图像38的画面闪烁。
〔3〕
在强调区域152被更新的帧图像38b中,在强调区域152被更新的帧图像38b之前的二个以上的帧图像38b的平均位置显示强调区域152。由此,帧图像38b间的强调区域152的位置移动受到抑制,可抑制显示内窥镜图像38的画面闪烁。
〔4〕
在更新定时以外的帧图像38b中,根据期间的经过减弱强调区域152的显示。由此,帧图像38b间的强调区域152的变动受到抑制,可抑制显示内窥镜图像38的画面闪烁。
[第二实施方式所涉及的医用图像处理装置]
图13是第二实施方式所涉及的医用图像处理装置的功能框图。第二实施方式所涉及的医用图像处理装置214具备鉴别部220。存储部246具备鉴别结果存储部250。
鉴别部220可鉴别关注区域150是否是病变。鉴别部220可鉴别关注区域150是肿瘤或是非肿瘤。鉴别部220可鉴别关注区域150是否是炎症区域。医用图像处理装置214也可以取代使用关注区域检测部41的检测结果而使用血管图案的信息及向体腔内投放了着色剂时的体腔内的颜色信息等来实施内窥镜图像38的鉴别。
在使用鉴别部220的鉴别中,可应用NICE分类及JNET分类等规定的分类。此外,NICE是NBI International Colorectal Endoscopic Classification的缩略语。JNET是The Japan NBI Expert Team的缩略语。NBI是Narrow Band Imaging的缩略语。
显示控制部44可从鉴别结果存储部250读出鉴别结果,并将表示鉴别结果的信号向监视器装置16发送。监视器装置16可将鉴别结果重叠显示于内窥镜图像38。监视器装置16也可以将内窥镜图像38与鉴别结果显示于不同的区域。鉴别结果可应用表示鉴别结果的文字信息。
显示控制部44在更新鉴别结果的显示时,也可以应用超过内窥镜图像38的显示的更新间隔的更新间隔。显示控制部44在更新鉴别结果的显示时,也可以应用强调区域的显示的更新间隔。
更新间隔设定部243可设定鉴别结果的显示的更新间隔。更新间隔设定部243也可以具备设定强调区域的显示的更新间隔的强调更新间隔设定部、以及设定鉴别结果的显示的更新间隔的鉴别更新间隔设定部。
〔变形例〕
医用图像处理装置214也可以根据内窥镜图像38的鉴别结果来设定强调区域152的显示的更新间隔。例如,在鉴定结果为炎症时,炎症存在于内窥镜图像的大范围内,强调炎症的强调区域152与肿瘤等的强调区域152相比为大范围。因此,在鉴别结果为炎症时,也可以使强调区域152的显示的更新间隔比其他鉴别结果时长。
大范围的强调区域152被认为帧图像38b间的移动距离相对较短。这样的话,无需在短时间内更新强调区域152,即使延长强调区域152的显示的更新间隔,对内窥镜图像38的视觉辨认的影响也小,可有效地抑制内窥镜图像38的闪烁。
在鉴别结果为癌等具有区域性的病变时,也可以使强调区域152的显示的更新间隔比其他鉴别结果时短。由此,在鉴别结果为癌等具有区域性的病变时,可抑制对内窥镜图像38的视觉辨认的影响,而且,有效地抑制内窥镜图像38的闪烁。
[第二实施方式的作用效果]
根据如上所述构成的第二实施方式所涉及的医用图像处理装置214,可以获得以下作用效果。
〔1〕
内窥镜图像38虽然对每一帧图像38b实施自动鉴别,但存在得不到鉴别结果的帧图像38b,可能产生自动鉴别的闪烁。因此,在实施内窥镜图像38的自动鉴别并显示鉴别结果时,应用超过内窥镜图像38的显示的更新间隔的更新间隔,并更新鉴别结果的显示。由此,可有效地抑制鉴别结果的闪烁。
〔2〕
作为鉴别结果的显示的更新间隔,应用强调区域152的显示的更新间隔。由此,可使用强调区域的显示的更新间隔来更新鉴别结果的显示。
〔3〕
在鉴别结果为炎症时,应用比在其他鉴别结果时应用的强调区域152的显示的更新间隔长的更新间隔。由此,在鉴别结果为炎症时,可有效地抑制内窥镜图像38的闪烁。
〔4〕
在鉴别结果为癌等具有区域性的病变时,与其他鉴别结果时相比应用比强调区域152的显示的更新间隔短的更新间隔。由此,在鉴别结果为癌等具有区域性的病变时,可抑制对内窥镜图像38的视觉辨认的影响,而且,有效地抑制内窥镜图像38的闪烁。
[第三实施方式所涉及的医用图像处理装置]
图14是第三实施方式所涉及的医用图像处理装置的功能框图。第三实施方式所涉及的医用图像处理装置314具备内窥镜信息获取部320。存储部346具备内窥镜信息存储部350。
内窥镜信息获取部320获取内窥镜10的顶端部27的移动速度。内窥镜信息获取部320将内窥镜10的顶端部27的移动速度存储于内窥镜信息存储部350。
内窥镜10的顶端部27的移动速度可以通过对内窥镜图像38实施图像分析处理并导出帧图像38b的移动矢量而从移动矢量中导出。内窥镜10的顶端部27的移动速度也可以应用内窥镜10所具备的速度传感器的检测结果。
更新间隔设定部343根据内窥镜10的顶端部27的移动速度设定强调区域152的显示的更新间隔。例如,当内窥镜10的顶端部27的移动速度相对较快时,将强调区域152的显示的更新间隔设定得相对较快,当内窥镜10的顶端部27的移动速度相对较慢时,将强调区域152的显示的更新间隔设定得相对较慢。实施方式中记载的内窥镜10的顶端部27的移动速度是摄像装置的动作的一例。
此外,本说明书中的速度这一用语可包含表示为速度的绝对值的速率的概念。在本说明书中,可相互替读速度与速率。
[第三实施方式的作用效果]
根据如上所述构成的第三实施方式所涉及的医用图像处理装置314,可获得以下作用效果。
〔1〕
根据内窥镜10的顶端部27的移动速度设定强调区域152的显示的更新间隔。由此,即使内窥镜10的顶端部27的移动速度发生了变动时,也可抑制由强调区域152的显示引起的闪烁。
〔2〕
当内窥镜10的顶端部27的移动速度相对较快时,将强调区域152的显示的更新间隔设定为相对短的期间。由此,即使帧图像38b间的变动较大时,也能够追随强调区域152的显示。
[内窥镜系统的变形例]
〔处理器装置的变形例〕
处理器装置12也可以具有医用图像处理装置14的功能。即,处理器装置12也可以与医用图像处理装置14一体构成。在该方式中,显示装置13可兼用作监视器装置16。处理器装置12可具备连接输入装置15的连接端子。
〔照明光的变形例〕
作为可使用本实施方式所示的内窥镜系统9获取的医用图像的一例,可列举照射白色频带的光、或作为白色频带的光的多个波长频带的光而得到的普通光图像。
作为可使用本实施方式所示的内窥镜系统9获取的医用图像的另一例,可列举照射特定波长区域的光而得到的图像。特定波长频带可应用比白色频带窄的频带。可应用以下变形例。
<第一变形例>
特定波长频带的第一例是可视化范围的蓝色频带或绿色频带。第一例的波长频带包含390纳米以上450纳米以下、或530纳米以上550纳米以下的波长频带,而且第一例的光在390纳米以上450纳米以下、或530纳米以上550纳米以下的波长频带内具有峰波长。
<第二变形例>
特定波长频带的第二例是可视化范围的红色频带。第二例的波长频带包含585纳米以上615纳米以下、或610纳米以上730纳米以下的波长频带,而且第二例的光在585纳米以上615纳米以下、或610纳米以上730纳米以下的波长频带内具有峰波长。
<第三变形例>
特定波长频带的第三例包含吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带,而且第三例的光在吸光系数在氧化血红蛋白和还原血红蛋白中不同的波长频带具有峰波长。该第三例的波长频带包含400±10纳米、440±10纳米、470±10纳米、或600纳米以上750纳米以下的波长频带,而且第三例的光在400±10纳米、440±10纳米、470±10纳米、或600纳米以上750纳米以下的波长频带具有峰波长。
<第四变形例>
特定波长频带的第四例是用于观察生物体内的荧光物质发出的荧光、并且激励该荧光物质的激励光的波长频带。例如,是390纳米以上470纳米以下的波长频带。此外,荧光的观察有时被称作荧光观察。
<第五变形例>
特定波长频带的第五例是红外光的波长频带。该第五例的波长频带包含790纳米以上820纳米以下、或905纳米以上970纳米以下的波长频带,而且第五例的光在790纳米以上820纳米以下、或905纳米以上970纳米以下的波长频带具有峰波长。
〔特殊光图像的生成例〕
处理器装置12也可以基于使用白色光拍摄得到的普通光图像,生成具有特定波长频带的信息的特殊光图像。此外,在此所说的生成包括获取。在该情况下,处理器装置12作为特殊光图像获取部发挥功能。而且,处理器装置12可通过基于普通光图像所包含的红、绿及蓝、或者蓝绿、品红及黄色的颜色信息的运算来获得特定波长频带的信号。
此外,红、绿及蓝有时表示为RGB(Red、Green、Blue)。另外,蓝绿、品红及黄色有时表示为CMY(Cyan、Magenta、Yellow)。
〔特征量图像的生成例〕
作为医用图像,可使用基于照射白色频带的光或作为白色频带的光的多个波长频带的光而得到的普通图像、以及照射特定波长频带的光而得到的特殊光图像中的至少任一种的运算,生成特征量图像。
[对使计算机作为图像处理装置发挥功能的程序的应用例]
上述医用图像处理方法可构成为使用计算机来实现与医用图像处理方法中的各工序对应的功能的程序。例如,可构成使计算机实现如下功能的程序:获取医用图像的图像获取功能;从医用图像中检测关注区域的关注区域检测功能;在使用显示装置显示医用图像时,根据关注区域的位置设定强调关注区域的强调区域的位置的强调区域设定功能;以及应用超过医用图像的显示的更新间隔的更新间隔来更新强调区域的显示的显示控制功能。
可将上述使计算机实现图像处理功能的程序存储在作为有形物体的非暂时性信息存储介质、即计算机可读取的信息存储介质中,通过信息存储介质来提供程序。
另外,也可以取代将程序存储于非暂时性信息存储介质来提供的形态,而是经由网络来提供程序信号的形态。
[关于实施方式及变形例等的组合]
在上述实施方式中说明的构成要素及在变形例说明的构成要素可适当组合使用,另外,也可置换一部分构成要素。
以上说明的本发明的实施方式在不偏离本发明的主旨的范围内,可以适当变更、追加或删除构成要件。本发明不限定于以上说明的实施方式,可在本发明的技术思想内由具有该领域的普通知识的人员进行多种变形。
符号说明
9 内窥镜系统
10 内窥镜
11 光源装置
12 处理器装置
13 显示装置
14 医用图像处理装置
15 输入装置
16 监视器装置
20 插入部
21 操作部
22 通用塞绳
25 软性部
26 弯曲部
27 顶端部
27a 顶端面
28 摄像元件
29 弯曲操作旋钮
30 供气供水按钮
31 吸引按钮
32 静止图像拍摄指示部
33 处置器具导入口
35 光导
36 信号电缆
37a 连接器
37b 连接器
38 内窥镜图像
38a 动态图像
38b 帧图像
38b1 帧图像
38b2 帧图像
38b3 帧图像
38b3 帧图像
38b5 帧图像
38b6 帧图像
38b7 帧图像
38b8 帧图像
39 静止图像
40 图像获取部
41 关注区域检测部
42 强调区域设定部
43 更新间隔设定部
44 显示控制部
46 存储部
47 内窥镜图像存储部
48 关注区域存储部
49 强调区域存储部
120 控制部
122 存储器
124 存储装置
126 网络控制器
128 电源装置
130 显示器控制器
132 输入输出接口
134 输入控制器
136 总线
140 网络
150 关注区域
150a 关注区域
150b 关注区域
152 强调区域
152a 强调区域
152b 强调区域
154 重心
154a 重心
154b 重心
214 医用图像处理装置
220 鉴别部
246 存储部
250 鉴别结果存储部
314 医用图像处理装置
320 内窥镜信息获取部
343 更新间隔设定部
346 存储部
350 内窥镜信息存储部
1501 关注区域
1502 关注区域
1503 关注区域
1507 关注区域
1521 强调区域
1522 强调区域
1523 强调区域
1527 强调区域
1541 重心
1542 重心
1543 重心
1547 重心
S10至S24 医用图像处理方法的各工序。

Claims (14)

1.一种医用图像处理装置,具备:
图像获取部,其获取医用图像;
关注区域检测部,其从所述医用图像中检测关注区域;
强调区域设定部,在使用显示装置显示所述医用图像时,所述强调区域设定部根据所述关注区域的位置,设定强调所述关注区域的强调区域的位置;以及
显示控制部,其应用超过所述医用图像的显示的更新间隔的更新间隔,更新所述强调区域的显示。
2.根据权利要求1所述的医用图像处理装置,其中,
具备更新间隔设定部,所述更新间隔设定部设定所述强调区域的更新间隔。
3.根据权利要求2所述的医用图像处理装置,其中,
所述医用图像处理装置具备信号接收部,所述信号接收部接收从外部发送的表示所述强调区域的更新间隔的信号,
所述更新间隔设定部基于使用所述信号接收部接收到的表示所述强调区域的更新间隔的信号,设定所述强调区域的更新间隔。
4.根据权利要求2或3所述的医用图像处理装置,其中,
所述更新间隔设定部根据获取所述医用图像的摄像装置的动作,设定所述强调区域的更新间隔。
5.根据权利要求2至4中任一项所述的医用图像处理装置,其中,
所述更新间隔设定部根据所述关注区域的鉴别结果,设定所述强调区域的更新间隔。
6.根据权利要求1至5中任一项所述的医用图像处理装置,其中,
在从所述强调区域的显示被更新的定时起到接下来的所述强调区域的显示被更新的定时为止的期间,所述显示控制部维持在所述强调区域的显示被更新的定时的所述强调区域的位置并使所述强调区域显示于所述显示装置。
7.根据权利要求1至6中任一项所述的医用图像处理装置,其中,
所述显示控制部向所述显示装置发送使利用所述强调区域设定部设定的强调区域重叠显示于所述医用图像的信号。
8.根据权利要求1至7中任一项所述的医用图像处理装置,其中,
所述强调区域设定部基于在所述强调区域的更新定时的帧之前的二个以上的帧的所述关注区域的位置,设定在所述强调区域的更新定时的帧的强调区域的位置。
9.根据权利要求8所述的医用图像处理装置,其中,
所述强调区域设定部将在所述强调区域的更新定时的帧的强调区域的位置设定到在所述强调区域的更新定时的帧之前的二个以上的帧的所述关注区域的平均位置。
10.根据权利要求1至9中任一项所述的医用图像处理装置,其中,
所述强调区域设定部在所述强调区域的显示的更新定时,将合并了过去的帧中的强调区域所得到的强调区域设定到在所述强调区域的显示的更新定时的强调区域。
11.一种处理器装置,具备:
内窥镜控制部,其控制内窥镜;
图像获取部,其从所述内窥镜获取医用图像;
关注区域检测部,其从所述医用图像中检测关注区域;
强调区域设定部,在使用显示装置显示所述医用图像时,所述强调区域设定部根据所述关注区域的位置,设定强调所述关注区域的强调区域的位置;以及
显示控制部,其应用超过所述医用图像的显示的更新间隔的更新间隔,更新所述强调区域的显示。
12.一种医用图像处理方法,包括:
图像获取工序,获取医用图像;
关注区域检测工序,从所述医用图像中检测关注区域;
强调区域设定工序,在使用显示装置显示所述医用图像时,根据所述关注区域的位置,设定强调所述关注区域的强调区域的位置;以及
显示控制工序,应用超过所述医用图像的显示的更新间隔的更新间隔,更新所述强调区域的显示。
13.一种程序,其使计算机实现:
图像获取功能,获取医用图像;
关注区域检测功能,从所述医用图像中检测关注区域;
强调区域设定功能,在使用显示装置显示所述医用图像时,根据所述关注区域的位置,设定强调所述关注区域的强调区域的位置;以及
显示控制功能,应用超过所述医用图像的显示的更新间隔的更新间隔,更新所述强调区域的显示。
14.一种存储介质,是非暂时性计算机可读存储介质,在通过计算机读取了存储于所述存储介质的指令的情况下,使计算机执行:
图像获取功能,获取医用图像;
关注区域检测功能,从所述医用图像中检测关注区域;
强调区域设定功能,在使用显示装置显示所述医用图像时,根据所述关注区域的位置,设定强调所述关注区域的强调区域的位置;以及
显示控制功能,应用超过所述医用图像的显示的更新间隔的更新间隔,更新所述强调区域的显示。
CN201980060943.4A 2018-09-18 2019-09-05 医用图像处理装置、处理器装置、医用图像处理方法及程序 Pending CN112739250A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018173991 2018-09-18
JP2018-173991 2018-09-18
PCT/JP2019/035054 WO2020059526A1 (ja) 2018-09-18 2019-09-05 医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN112739250A true CN112739250A (zh) 2021-04-30

Family

ID=69887368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980060943.4A Pending CN112739250A (zh) 2018-09-18 2019-09-05 医用图像处理装置、处理器装置、医用图像处理方法及程序

Country Status (5)

Country Link
US (1) US20210196099A1 (zh)
EP (1) EP3854295A4 (zh)
JP (1) JP7148625B2 (zh)
CN (1) CN112739250A (zh)
WO (1) WO2020059526A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306416A (ja) * 2006-05-12 2007-11-22 Fujifilm Corp 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
US20120274754A1 (en) * 2010-02-05 2012-11-01 Olympus Corporation Image processing device, endoscope system, information storage device, and image processing method
US20150080712A1 (en) * 2012-03-27 2015-03-19 Koninklijke Philips N.V. Integration delayed optical feedback in image guidance
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
WO2017212653A1 (ja) * 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN108135457A (zh) * 2015-10-26 2018-06-08 奥林巴斯株式会社 内窥镜图像处理装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4897460B2 (ja) 2006-12-13 2012-03-14 富士フイルム株式会社 超音波診断装置、データ解析方法及びデータ解析プログラム
JP2011255006A (ja) 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2012217611A (ja) * 2011-04-08 2012-11-12 Fujifilm Corp 超音波診断装置および超音波画像生成方法
JP6230366B2 (ja) * 2013-10-16 2017-11-15 オリンパス株式会社 画像出力装置および画像出力方法
JP6566714B2 (ja) * 2014-05-19 2019-08-28 キヤノンメディカルシステムズ株式会社 X線コンピュータ断層撮影装置、画像表示装置および画像表示方法
WO2017115442A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR20170088534A (ko) * 2016-01-25 2017-08-02 삼성메디슨 주식회사 빔포밍 장치, 이를 포함하는 프로브, 초음파 진단 장치 및 그 제어방법
US11438552B2 (en) * 2016-05-27 2022-09-06 Hanwha Techwin Co., Ltd. Device and method for controlling OSD protocol
EP3463032B1 (en) * 2016-05-31 2020-12-23 Koninklijke Philips N.V. Image-based fusion of endoscopic image and ultrasound images
JPWO2018078724A1 (ja) * 2016-10-25 2019-09-05 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
WO2018198161A1 (ja) * 2017-04-24 2018-11-01 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
JP6840846B2 (ja) * 2017-06-02 2021-03-10 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JPWO2019078237A1 (ja) * 2017-10-18 2020-10-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP6956853B2 (ja) * 2018-03-30 2021-11-02 オリンパス株式会社 診断支援装置、診断支援プログラム、及び、診断支援方法
JP7071898B2 (ja) * 2018-08-09 2022-05-19 富士フイルムヘルスケア株式会社 超音波診断装置、プログラムおよび超音波診断装置の動作方法
EP3841953B1 (en) * 2018-08-20 2024-02-07 FUJIFILM Corporation Medical image processing system
GB2576574B (en) * 2018-08-24 2023-01-11 Cmr Surgical Ltd Image correction of a surgical endoscope video stream
EP3851023B1 (en) * 2018-09-11 2024-08-21 FUJIFILM Corporation Medical image processing device, medical image processing method and program, and endoscope system
WO2020066941A1 (ja) * 2018-09-26 2020-04-02 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
EP3858222B1 (en) * 2018-09-28 2023-11-22 FUJIFILM Corporation Medical image processing device, medical image processing method, program, diagnosis assistance device, and endoscope system
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
CN113498323B (zh) * 2019-02-26 2024-08-13 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
CN113543694B (zh) * 2019-03-08 2024-02-13 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
CN114269221A (zh) * 2019-09-03 2022-04-01 富士胶片株式会社 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
JP7373335B2 (ja) * 2019-09-18 2023-11-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
EP4129152A4 (en) * 2020-04-03 2023-09-20 FUJIFILM Corporation MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM, OPERATING METHOD FOR MEDICAL IMAGE PROCESSING APPARATUS, AND PROGRAM FOR MEDICAL IMAGE PROCESSING APPARATUS
DE102020111776A1 (de) * 2020-04-30 2021-11-04 Schölly Fiberoptic GmbH Verfahren zur Berechnung eines Ausgabebildes und/oder einer Folge von Ausgabebildern aus Bildrohdaten, Bildaufnahmevorrichtung, Bildaufnahmesystem und Gesamtsystem
WO2022185369A1 (ja) * 2021-03-01 2022-09-09 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007306416A (ja) * 2006-05-12 2007-11-22 Fujifilm Corp 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
US20120274754A1 (en) * 2010-02-05 2012-11-01 Olympus Corporation Image processing device, endoscope system, information storage device, and image processing method
US20150080712A1 (en) * 2012-03-27 2015-03-19 Koninklijke Philips N.V. Integration delayed optical feedback in image guidance
CN108135457A (zh) * 2015-10-26 2018-06-08 奥林巴斯株式会社 内窥镜图像处理装置
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
WO2017212653A1 (ja) * 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
WO2020059526A1 (ja) 2020-03-26
JPWO2020059526A1 (ja) 2021-08-30
EP3854295A1 (en) 2021-07-28
US20210196099A1 (en) 2021-07-01
EP3854295A4 (en) 2021-11-24
JP7148625B2 (ja) 2022-10-05

Similar Documents

Publication Publication Date Title
US11526986B2 (en) Medical image processing device, endoscope system, medical image processing method, and program
US11918176B2 (en) Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
WO2017221336A1 (ja) 内視鏡システム、画像処理装置、画像処理方法およびプログラム
US11950760B2 (en) Endoscope apparatus, endoscope operation method, and program
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
EP2556790A1 (en) Endoscopic device
US12082769B2 (en) Endoscope system
US20210342592A1 (en) Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
WO2020012872A1 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
US20210209398A1 (en) Medical image processing apparatus, processor device, medical image processing method, and program
EP3846672B1 (en) Enhancing the visibility of blood vessels in colour images
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN112584742B (zh) 医疗图像处理系统
JPWO2020178962A1 (ja) 内視鏡システム、画像処理装置、総処理時間検出方法および処理装置
JP7122328B2 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
US10863149B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
CN112739250A (zh) 医用图像处理装置、处理器装置、医用图像处理方法及程序
JP6663692B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination