CN104203075A - 医疗用图像处理装置 - Google Patents

医疗用图像处理装置 Download PDF

Info

Publication number
CN104203075A
CN104203075A CN201380018296.3A CN201380018296A CN104203075A CN 104203075 A CN104203075 A CN 104203075A CN 201380018296 A CN201380018296 A CN 201380018296A CN 104203075 A CN104203075 A CN 104203075A
Authority
CN
China
Prior art keywords
mentioned
area
unit area
region
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380018296.3A
Other languages
English (en)
Other versions
CN104203075B (zh
Inventor
田中健一
柴田佐和子
登本悠介
西村博一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN104203075A publication Critical patent/CN104203075A/zh
Application granted granted Critical
Publication of CN104203075B publication Critical patent/CN104203075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

设置于医疗用图像处理装置的运算部(41b)具有:输入部(43a),其被输入拍摄生物体粘膜得到的生物体粘膜图像;区域提取部(43c),其从被输入的生物体粘膜图像中提取与粘膜微细构造对应的粘膜微细构造区域;封闭区域识别部(43d),其识别视为被粘膜微细构造区域包围的至少一个封闭区域;以及单位区域设定部(43e),其根据粘膜微细构造区域和封闭区域来设定单位区域。

Description

医疗用图像处理装置
技术领域
本发明涉及一种对拍摄生物体粘膜得到的医用图像进行图像处理的医疗用图像处理装置。
背景技术
以往,在医疗领域中广泛进行着使用了内窥镜(包含胶囊型)装置等图像摄像装置的观察。内窥镜装置例如具有插入到作为生物体的体腔内的细长的插入部,并具有以下结构和作用:使用固体摄像元件等摄像单元拍摄通过配置于该插入部的前端部的物镜光学系统而成像的体腔内的像并作为摄像信号而输出,根据该摄像信号在监视器等显示单元中显示体腔内的像的图像。
而且,用户根据监视器等显示单元所显示的体腔内的像的图像,例如观察体腔内的脏器等。另外,内窥镜装置能够直接拍摄消化管粘膜的像。因此,用户例如能够综合地观察粘膜的色调、病变形状以及粘膜表面的微细的构造(粘膜微细构造)等各种观察结果。
以大肠、胃部、食道等各种脏器为对象提出了很多使用上述粘膜微细构造(血管、pit(腺口)、上皮构造等)的观察结果来对病情进行分类、诊断的诊断学。例如在日本广泛使用的诊断学之一存在大肠的腺口形态(pit pattern)分类。并且,近年来,由于窄频带光观察(NBI)用内窥镜的普及,对通过NBI拍摄到的医疗用图像的诊断学的研究正在盛行。
但是,在这些诊断学的理解、实践中需要足够的经验等,因此存在由于医生的不同而判断不同的情况、经验少的医生难以熟练掌握诊断学等问题。因此,正在研究、开发着以下的计算机辅助诊断(Computer Aided Diagnosis:CAD):通过对医疗用图像进行图像处理,来提供以下辅助信息:由在定量的判断标准的提供和诊断时要关注的微细构造的确定、图像分析得到的病情估计结果等。
关于内窥镜图像中的粘膜微细构造,以复杂的方式来拍摄连续的图案,难以通过以往的图像分析方法来进行高精度的提取、分析。另外,由于胃部、大肠等脏器不同而拍摄到的粘膜微细构造的图案不同,并且即使在同一脏器中,例如在胃部中幽门腺与胃底腺处也不同。
进一步说,血管、上皮构造等粘膜微细构造在内窥镜图像上二维地进行拍摄,但是如八尾建史:胃放大内視镜;79-87、2009(以后称为非专利文献)所记载那样,实际呈三维的构造。
因此,存在以下问题:难以通过以往例的图像分析来识别检测各构造、在生物体组织学上成为一个单位的范围。
例如当通过NBI拍摄胃部的幽门腺粘膜时,以腺窝边缘上皮(MCE)包围窝间部的周围的方式分布。由于它们连续地连结,因此与一个窝间部对应的MCE(=各构造)的范围不明确,难以通过以往例的图像处理来进行分析。
针对上述问题,例如在本申请人的日本专利第2918162号公报中,记载了一种以胃粘膜中的胃小区为单位区域来分割、检测小区域的方法,但是作为对象的区域的最小单位为胃小区,没有以对上述在生物体组织学上成为一个单位的范围大小的复杂且微小的构造的分析为对象。并且,并非是考虑了三维构造的区域分割方法,因此具有以下问题:在以多个单位区域堆叠或者连结的方式进行拍摄等情况下难以良好地分割各单位区域。
另一方面,关于内窥镜图像中的粘膜微细构造,以复杂的方式拍摄连续的图案,难以通过以往的图像分析方法进行高精度的提取、分析。另外,由于胃部、大肠等脏器的不同而拍摄到的粘膜微细构造的图案不同,并且即使在同一脏器中,例如在胃部中幽门腺与胃底腺处也不同。
进一步说,血管、上皮构造等粘膜微细构造在内窥镜图像上二维地进行拍摄,但是如上述非专利文献所记载的那样,实际呈三维构造。
因此,存在以下问题:难以通过以往例的图像分析来识别检测各构造、在生物体组织学上成为一个单位的范围。
例如当通过NBI拍摄胃部的幽门腺粘膜时,以腺窝边缘上皮(MCE)包围窝间部的周围的方式分布。由于它们连续地连结,因此与一个窝间部对应的MCE(=各构造)的范围不明确,难以通过以往例的图像处理来进行分析。
针对上述问题,例如在本申请人的日本专利第2918162号公报中,记载了一种以胃粘膜中的胃小区为单位区域来分割、检测小区域的方法,但是作为对象的区域的最小单位为胃小区,没有以对上述在生物体组织学上成为一个单位的范围大小的微小的构造的分析为对象。并且,并非是考虑了三维构造的区域分割方法,因此具有以下问题:在以多个单位区域堆叠或者连结的方式进行拍摄等情况下难以良好地分割各单位区域。
另外,在日本专利第4451460号公报中公开了以下内容:对内窥镜图像设定多个关心区域(简称为ROI),基于各ROI计算特征量,对pit pattern分类进行估计、辨别。此外,以手动方式进行ROI的设定。
但是,在该现有例中,如上所述以手动方式设定ROI,未公开自动地将在生物体组织学上成为一个单位的范围设定为ROI,因此难以自动地设定ROI。
本发明是鉴于上述问题而完成的,其目的在于提供一种能够通过能够根据粘膜微细构造分割设定单位区域来辅助医疗用图像上的各构造的诊断等的医疗用图像处理装置。
另外,本发明是鉴于上述点而完成的,其目的在于提供一种能够以将单位区域作为单位的尺寸来适当地设定辨别对象区域并且对辨别对象区域的生物体粘膜的状态进行辨别的医疗用图像处理装置。
发明内容
本发明的一个方式所涉及的医疗用图像处理装置具有:输入部,其被输入拍摄生物体粘膜得到的生物体粘膜图像;区域提取部,其从输入到上述输入部的上述生物体粘膜图像中提取与粘膜微细构造对应的粘膜微细构造区域;封闭区域识别部,其识别视为被上述粘膜微细构造区域包围的至少一个封闭区域;以及单位区域设定部,其基于由上述区域提取部提取出的上述粘膜微细构造区域以及由上述封闭区域识别部识别出的上述封闭区域来设定单位区域。
附图说明
图1是表示本发明的第一实施方式所涉及的具有医疗用图像处理装置的内窥镜装置的概要结构的一例的图。
图2是表示图1的光源装置所具有的旋转滤波器的结构的一例的图。
图3是表示图2的第一滤波器组所具有的各滤波器的透过特性的一例的图。
图4是表示图2的第二滤波器组所具有的各滤波器的透过特性的一例的图。
图5是表示图1的运算部的结构的框图。
图6A是表示第一实施方式中的处理内容的流程图。
图6B是表示用于模板匹配的半椭圆形状的图。
图7是内窥镜图像的示意图。
图8是放大图7的一部分的示意图。
图9是表示第一实施方式中的MCE区域MA1的检测结果的一例的图。
图10是表示第一实施方式中的包含MCE区域MA1的区域的加标记结果的一例的图。
图11是表示第一实施方式中的计算作为MCE区域MAi的特征量的宽度Wk的情况下的一例的图。
图12是表示第一实施方式中的单位区域UA3的设定的一例的图。
图13是表示第一实施方式中的单位区域UA2、UA3重叠的一例的图。
图14A是表示第一实施方式的变形例中的作为对象的粗略封闭区域CAj的一例的图。
图14B是表示变形例中的处理内容的一例的流程图。
图15是表示变形例中的芯线CL1的检测结果的一例的图。
图16是表示变形例中的虚拟线VL1的一例的图。
图17是表示变形例中的使用虚拟线VL1的加标记结果的一例的图。
图18是表示变形例中的虚拟线VL1、VL2的设定例的图。
图19A是表示本发明的第二实施方式中的运算部的结构的框图。
图19B是表示本发明的第二实施方式中的处理内容的一例的流程图。
图20是表示在内窥镜图像中MCE区域不清楚的情况下的一例的示意图。
图21是表示对图20应用在第一实施方式中说明的处理的情况下的单位区域UAj的一例的图。
图22是表示第二实施方式中的MCE区域MA2的检测结果的一例的图。
图23是表示在第二实施方式中使用的匹配滤波器MF的一例的图。
图24是表示第二实施方式中的图像数据的像素值设定的一例的图。
图25是表示第二实施方式中的粗略封闭区域候选像素CPz的检测结果的一例的图。
图26是表示第二实施方式中的对粗略封闭区域候选像素CPz的加标记结果的一例的图。
图27是表示第二实施方式中的单位区域UA2的设定的一例的图。
图28是表示本发明的第三实施方式所涉及的具有医疗用图像处理装置的内窥镜装置的概要结构的一例的图。
图29是表示图28的光源装置所具有的旋转滤波器的结构的一例的图。
图30是表示图29的第一滤波器组所具有的各滤波器的透过特性的一例的图。
图31是表示图29的第二滤波器组所具有的各滤波器的透过特性的一例的图。
图32是表示图28的运算部的结构的框图。
图33A是表示第三实施方式中的处理内容的流程图。
图33B是表示用于模板匹配的半椭圆形状的图。
图34是内窥镜图像的示意图。
图35是放大图34的一部分的示意图。
图36是表示第三实施方式中的MCE区域MB1的检测结果的一例的图。
图37是表示第三实施方式中的包含MCE区域MB1的区域的加标记结果的一例的图。
图38是表示第三实施方式中的计算作为MCE区域MBi的特征量的宽度Tk的情况下的一例的图。
图39是表示第三实施方式中的单位区域UB3的设定的一例的图。
图40是表示第三实施方式中的单位区域UB2、UB重叠的一例的图。
图41A是表示所设定的关注单位区域的图。
图41B是表示设定为包含关注单位区域的辨别对象区域Ad的设定例的图。
图42是表示图33A的步骤S509和S510的详细的处理内容的流程图。
图43A是示意性地表示输入到运算部的拍摄生物体粘膜得到的与图35示出的图像不同的图像例的图。
图43B是表示设定在图43A的图像的情况下设定的关注单位区域的例子的图。
图43C是表示在图43B中进一步设定了矩形区域的例子的图。
图43D是表示在图43C中将矩形区域内设定为辨别对象区域的例子的图。
图44是表示根据针对关注单位区域计算出的第二特征量来设定辨别对象区域的处理内容的流程图。
图45A是表示在图44的处理中在面积为阈值以上的情况下设定的辨别对象区域的图。
图45B是表示在图44的处理中在面积小于阈值的情况下设定的辨别对象区域的图。
图46是表示根据针对关注单位区域计算出的第二特征量使用两个阈值来设定辨别对象区域的处理内容的流程图。
图47是表示针对图43A的图像使用次数作为第三特征量来设定辨别对象区域的情况下的处理内容的流程图。
图48是表示在图47的处理中设定的辨别对象区域的例子的图。
图49是利用识别部识别通过共用的MCE连接的单位区域数的说明图。
图50是表示第三实施方式的变形例中的处理内容的流程图。
具体实施方式
下面,参照附图说明本发明的实施方式。
(第一实施方式)
在本发明的第一实施方式中,说明根据被拍摄为医疗用图像即内窥镜图像的粘膜微细构造来设定被分割为单位区域的区域的处理装置和处理方法。图1至图13是本发明的第一实施方式所涉及的图。
如图1所示,内窥镜装置1构成为具有:内窥镜2,其被插入到被检者的体腔内,对拍摄该体腔内的生物体组织101等被摄体而得到的图像进行信号输出;光源装置3,其发出用于照明生物体组织101的照明光;处理器4,其构成医疗用图像处理装置,该医疗用图像处理装置对来自内窥镜2的输出信号实施各种处理;显示装置5,其显示与来自处理器4的影像信号相应的图像;以及外部存储装置6,其存储与处理器4中的处理结果相应的输出信号。
内窥镜2构成为具有:插入部21a,其具备能够插入到被检者的体腔内的细长的形状和尺寸;前端部21b,其被设置于插入部21a的前端侧;以及操作部21c,其设置于插入部21a的基端侧。另外,在插入部21a的内部贯穿有光导件7,该光导件7用于将在光源装置3中发出的照明光传送到前端部21b。
光导件7的一个端面(光入射端面)装卸自如地连接于光源装置3。另外,光导件7的另一个端面(光出射端面)被配置在设置于内窥镜2的前端部21b的未图示的照明光学系统附近。根据这种结构,在光源装置3中发出的照明光在经过与光源装置3相连接的光导件7以及设置于前端部21b的未图示的照明光学系统之后射出到体腔内的生物体组织101。
在内窥镜2的前端部21b设置有对被摄体的光学像进行成像的物镜光学系统22以及电荷耦合元件(简称为CCD)23,该电荷耦合元件23被配置于物镜光学系统22的成像位置,构成拍摄光学像而获取为图像的摄像部。另外,在内窥镜2的操作部21c中设置有观察模式切换开关24,该观察模式切换开关24能够进行用于将观察模式切换为通常光观察模式和窄频带光观察模式中的任一个的指示。
光源装置3具有:白色光源31,其由氙气灯等构成;旋转滤波器32,其将从白色光源31发出的白色光设为面顺序式的照明光;电动机33,其驱动旋转滤波器32进行旋转;电动机34,其使旋转滤波器32和电动机33在与白色光源31的射出光路垂直的方向(在图1中附图标记A)上进行移动;旋转滤波器驱动部35,其根据处理器4的控制部42的控制来驱动电动机33和34;以及聚光光学系统36,其会聚通过了旋转滤波器32的照明光并提供给光导件7的入射端面。
如图2所示,旋转滤波器32呈以中心为旋转轴的圆盘形状,具有:第一滤波器组32A,其具备沿着内周侧的周向设置的多个滤波器;以及第二滤波器组32B,其具备沿着外周侧的周向设置的多个滤波器。而且,电动机33的驱动力传递到上述旋转轴,由此使旋转滤波器32旋转。此外,在旋转滤波器32中,除配置有第一滤波器组32A和第二滤波器组32B的各滤波器的部分以外的部分由遮光构件构成。
第一滤波器组32A构成为具有使红色波长频带的光通过的R滤波器32r、使绿色波长频带的光通过的G滤波器32g以及使蓝色波长频带的光通过的B滤波器32b,R滤波器32r、G滤波器32g以及B滤波器32b各自沿着旋转滤波器32内周侧的周向设置。
例如图3所示,R滤波器32r具有主要使600nm至700nm的光(R光)透过那样的结构。另外,例如图3所示,G滤波器32g具有主要使500nm至600nm的光(G光)透过那样的结构。并且,例如图3所示,B滤波器32b具有主要使400nm至500nm的光(B光)透过那样的结构。此外,在图3中,简单用R、G、B来表示R滤波器32r、G滤波器32g、B滤波器32b。
而且,在白色光源31中发出的白色光经由第一滤波器组32A,由此生成通常光观察模式用的宽频带光。
第二滤波器组32B构成为具有使蓝色且窄频带的光透过的Bn滤波器321b以及使绿色且窄频带的光透过的Gn滤波器321g,Bn滤波器321b以及Gn滤波器321g各自沿着旋转滤波器32外周侧的周向设置。
例如图4所示,Bn滤波器321b构成为使中心波长被设定为415nm左右并且与B光相比窄频带的光(Bn光)透过。
另外,例如图4所示,Gn滤波器321g构成为使中心波长被设定为540nm左右且与G光相比窄频带的光(Gn光)透过。此外,在图4中,简单用Bn、Gn表示Bn滤波器321b、Gn滤波器321g。
而且,在白色光源31中发出的白色光经由第二滤波器组32B,由此生成离散化的窄频带光观察模式用的多个频带的窄频带光。
处理器4具有具备作为本实施方式的医疗用图像处理装置的功能的结构。具体地说,如图1所示那样处理器4构成为具有图像处理部41和控制部42。另外,图像处理部41构成为具有图像数据生成部41a、运算部41b以及影像信号生成部41c。
图像处理部41的图像数据生成部41a根据控制部42的控制对来自内窥镜2的输出信号实施噪声去除和A/D变换等处理,由此生成与在CCD 23中得到的图像对应的图像数据。
图像处理部41的运算部41b使用由图像数据生成部41a生成的图像数据来进行规定的处理,由此从拍摄生物体组织101得到的图像数据中提取生物体的粘膜微细构造,并且进行如下运算:根据上述粘膜微细构造来设定基于规定条件的单位区域。
此外,在本实施方式中,设为在上述图像数据中含有生物体的粘膜微细构造,针对上述粘膜微细构造进行单位区域设定处理,该单位区域设定处理是将在生物体组织学上成为一个单位的范围设定为单位区域的处理。在后文中详细说明这种单位区域设定处理。
图像处理部41的影像信号生成部41c对由图像数据生成部41a生成的图像数据实施伽马变换和D/A变换等处理,由此生成影像信号并输出到显示装置5等。
控制部42在根据观察模式切换开关24的指示检测出进行了切换为通常光观察模式的指示的情况下,对旋转滤波器驱动部35进行用于使通常光观察模式用的宽频带光从光源装置3射出的控制。而且,旋转滤波器驱动部35根据控制部42的控制使电动机34进行动作,使得第一滤波器组32A插进白色光源31的射出光路上且使第二滤波器组32B从白色光源31的射出光路上退离。
另外,控制部42在根据观察模式切换开关24的指示检测出进行了切换为窄频带光观察模式的指示的情况下,对旋转滤波器驱动部35进行用于使窄频带光观察模式用的多个频带的窄频带光从光源装置3射出的控制。
而且,旋转滤波器驱动部35根据控制部42的控制使电动机34进行动作,使得第二滤波器组32B插进白色光源31的射出光路上且使第一滤波器组32A从白色光源31的射出光路上退离。
即,根据上述说明的内窥镜装置1的结构,在选择了通常光观察模式的情况下,能够使具有与用肉眼观察生物体组织101等观察对象物的情况大致相同的色调的图像(通常光图像)显示于显示装置5,并且存储于外部存储装置6。另外,根据上述说明的内窥镜装置1的结构,在选择了窄频带光观察模式的情况下,能够使生物体组织101内包含的表层附近的血管被强调的图像(窄频带光图像)显示于显示装置5,并且存储于外部存储装置6。
如图5所示,构成图1的医疗用图像处理装置的运算部41b具有:图像输入部(简称为输入部)43a,其从图像数据生成部41a被输入由CCD 23拍摄生物体粘膜得到的生物体粘膜图像(的图像数据);预处理部43b,其对输入到输入部43a的上述生物体粘膜图像进行预处理;区域提取部43c,其提取与预处理过的粘膜微细构造对应的粘膜微细构造区域;封闭区域识别部(或者粗略封闭区域识别部)43d,其识别视为被上述粘膜微细构造区域包围的至少一个封闭区域(或者包围区域);以及单位区域设定部43e,其根据由上述区域提取部43c提取出的上述粘膜微细构造区域以及由上述封闭区域识别部43d识别出的上述封闭区域来设定单位区域。此外,并不限定于运算部41b具备输入部43a的结构,也可以设为除运算部41b以外的图像处理部41(例如图像数据生成部41a)具备输入部43a的结构。
这样,本实施方式的作为医疗用图像处理装置的处理器4的特征在于具备运算部41b,该运算部41b具有上述输入部43a、区域提取部43c、封闭区域识别部43d以及单位区域设定部43e。此外,也可以构成为:不进行预处理,而区域提取部43c从输入到输入部43a的上述生物体粘膜图像中提取与粘膜微细构造对应的粘膜微细构造区域。
另外,图5示出的单位区域设定部43e具备:作为特征量计算部的宽度计算部44a,其根据粘膜微细构造区域或者封闭区域来计算带(belt)状的粘膜微细构造区域的宽度,该宽度作为用于设定单位区域的范围的特征量;以及范围设定部44b,其根据上述宽度的特征量来设定上述单位区域的范围。
此外,构成运算部41b的输入部43a也可以由对运算部41b输入图像数据的输入端构成。另外,示出将区域提取部43c、封闭区域识别部43d、单位区域设定部43e、宽度计算部44a、范围设定部44b设置于由中央处理装置(CPU)等构成的运算部41b内的结构,但是本实施方式并不限定于这种情况,也可以使用进行各个处理的专用的硬件来构成。例如,也可以由区域提取电路、封闭区域识别电路、单位区域设定电路、宽度算出电路、范围设定电路分别构成区域提取部43c、封闭区域识别部43d、单位区域设定部43e、宽度计算部44a、范围设定部44b。关于后述的实施方式中的卷积运算部45a、粗略封闭区域候选像素检测和加标记部45b等,也是同样的。
接着,说明具备作为医疗用图像处理装置的处理器4的内窥镜装置1的作用。
首先,手术师在接通内窥镜装置1各部的电源之后,在观察模式切换开关24中选择通常光观察模式。而且,手术师一边观察在选择通常光观察模式时显示装置5所显示的图像、即具有与用肉眼观察对象物的情况大致相同的色调的图像一边将内窥镜2插入到体腔内,由此使前端部21b接近观察对象的生物体组织101所存在的部位。
当通过观察模式切换开关24选择通常光观察模式时,R光、G光以及B光各色光从光源装置3依次向生物体组织101射出,在内窥镜2中分别获取与该各色光相应的图像。
图像处理部41的图像数据生成部41a当被输入与R光相应的图像、与G光相应的图像以及与B光相应的图像时,分别生成与各图像对应的颜色成分的图像数据。
接着,详细说明图像处理部41的运算部41b内包含的进行用于设定单位区域的单位区域设定处理的动作。图6A示出用于进行单位区域设定处理的主要处理。
下面,在本实施方式中,在窄频带光观察模式下拍摄生物体组织101上的形成上皮形态(上皮构造)的胃部的幽门腺而得到的图像数据的例子中,针对将该图像数据内包含的粘膜微细构造设为腺窝边缘上皮(MarginalCryptEpithelium:MCE)的情况,说明单位区域设定处理。
图7示意性地示出在窄频带光观察模式下拍摄胃部的幽门腺得到的图像。在窄频带光观察模式下进行拍摄,由此具有与宽频带光观察模式的情况相比更清楚地显示表层附近的构造等的优点。另外,图8示出局部地切出图7那样的图像的一部分的图像。在图7~图8中,多个带状的MCE 51重叠存在,在被MCE 51包围的内侧的(通常成为封闭区域)区域内存在窝间部52。另外,在窝间部52中分布血管53。
并且,由内窥镜2拍摄到的图像数据依赖于距离、角度等摄像条件、粘膜本身的状态,因此既存在一个MCE 51的边界清楚的情况,又存在邻接的MCE 51的边界不清楚的情况。
如图6A的步骤S1所示,将由图像数据生成部41a生成的图像数据从输入部43a输入到运算部41b内的预处理部43b内。此外,本实施方式以及其它实施方式中的图像数据由大小(横×纵的像素数)为ISX×ISY、RGB这三个(颜色成分)图像构成,R、G以及B的各图像分别具备由0至255的值构成的8比特的灰度。例如为ISX×ISY=640×480。
在下一步骤S2中,预处理部43b对被输入的图像数据进行噪声抑制、逆伽马校正等预处理。在本实施方式中,作为噪声抑制,以大小为3×3的掩模尺寸应用公知的中值滤波器(将包含关注像素的掩模内的像素值按大小排序,用中央值替换关注像素的值)。
此外,伽马校正是为了在监视器等显示图像时视觉性地附加线性的灰度而应用的非线性处理,逆伽马校正是将其恢复为原线性灰度的处理。因此,在未对输入到预处理部43b的图像数据实施伽马校正的情况下,不需要进行逆伽马校正。
进行了预处理的图像数据被输出到区域提取部43c。如步骤S3所示,区域提取部43c提取带状的MCE区域MAi(i≥1)作为与粘膜微细构造对应的粘膜微细构造区域。
MCE区域MAi的提取方法例如使用日本专利第4409166号公报所记载的基于模板匹配的构造成分提取方法。图6B示出用于模板匹配的半椭圆形状。
此外,也可以将用于模板制作的半椭圆形状的宽度W设为W=3~9(1.0步长),将深度D设定为与MCE区域MAi的深度对应的值。其它参数直接使用日本专利第4409166号公报的实施例所记载的值即可。
另外,与日本专利第4409166号公报的实施例同样地,以RGB三个图像中的G图像为对象来实施处理即可。将这种提取方法应用于图7或者图8的图像数据,例如图9所示提取MCE区域MA1。将提取出的MCE区域MA1输出到封闭区域识别部43d。此外,在图9中用斜线表示提取出的MCE区域MA1。
在图6A中的下一步骤S4中,封闭区域识别部43d进行以下处理:检测或者识别由被检测为粘膜微细构造区域的MCE区域MAi粗略包围的(换言之,作为被MCE区域MAi包围的封闭区域或者视为被MCE区域MAi包围的粗略的封闭区域的)粗略封闭区域CAj(j≥1)。
此外,在第一实施方式及其变形例中,粗略封闭区域CAj成为被包围的封闭区域,在后述的第二实施方式中,粗略封闭区域CAj包括被包围的封闭区域以及没有被完全包围但被粗略包围的粗略的封闭区域。
为了进行步骤S4的处理,对于除被检测为MCE区域MAi的区域以外的像素的区域实施公知的加标记。在对于图9的MCE区域MA1的检测结果进行应用的情况下,MCE区域MA1如图10所示那样被分割为七个标签L1~L7。此外,在图10中,在图9的MCE区域MA1实施包围开口的区域、使未闭合的端部闭塞的处理。在图10中用斜线表示MCE区域MA1。
将各标签L1~L7中的除标签内的像素包含图像数据的最外周像素(X坐标为0或者639的像素、以及Y坐标为0或者479的像素)的标签以外的标签设为粗略封闭区域CAj。在应用于图10的情况的例子中,除标签L7以外的标签L1~L6分别成为粗略封闭区域CA1~CA6。由封闭区域识别部43d检测或者识别出的粗略封闭区域CA1~CA6的信息被输出到单位区域设定部43e。
在下一步骤S5中,单位区域设定部43e的范围设定部44b进行以下处理:根据粗略封闭区域CAj计算作为MCE区域MAi的特征量的宽度,并设定单位区域UAj的范围。
单位区域设定部43e的宽度计算部44a首先计算作为与粗略封闭区域CAj邻接的MCE区域MAi的特征量的宽度Wk(k≥1)。宽度计算部44a例如从与邻接于粗略封闭区域CAj的MCE区域MAi之间的(例如粗略封闭区域CAj侧的)边界像素BPk起,在与邻接于MCE区域MAi的该粗略封闭区域CAj相反的方向上扫描像素,对MCE区域MAi的像素数进行计数,由此计算该边界像素BPk处的宽度Wk。
图11示出计算以粗略封闭区域CA3为对象的情况下的例如三个代表方向上的宽度W1、W2、W3的例子以及关注边界像素BP2而计算一个方向上的宽度W2的情况下的放大图。此外,在图11中用斜线表示MCE区域MA1。
在图11中,示出在粗略封闭区域CA3外周设定三个边界像素BP1、BP2、BP3的情况下分别从各边界像素BP1、BP2、BP3起计算与粗略封闭区域CA3邻接的MCE区域MA1的宽度W1、W2、W3的情形。下面,针对一个边界像素BP2的情况进行参照包含该边界像素BP2的一部分放大图计算宽度W2的说明。
如图11的放大图所示,与边界像素BP2邻接的粗略封闭区域CA3位于左下方向(在图11中用A表示的方向),因此从边界像素BP2起在成为与该左下方向相反方向的右上方向上扫描像素。当一边在右上方向(在图11中为粗略封闭区域CA4侧)上进行扫描一边对MCE区域MA1的像素数进行计数时成为8像素(pixels),该8pixels成为宽度W2的值。
此外,在与边界像素BPk邻接的粗略封闭区域CAj存在多个像素的情况下,在各方向上进行扫描并对像素数进行计数,将像素数最小的值设为宽度Wk的值。在图11中仅例示了粗略封闭区域CA3中的离散地示出的边界像素BP1、BP2、BP3这三个像素,但是在全部边界像素BPk实施该宽度Wk的计算。
接着,将用全部边界像素BPk计算出的宽度Wk的平均值设为与粗略封闭区域CAj邻接的MCE区域MAi的区域尺寸ASj。而且,范围设定部44b根据宽度计算部44a对宽度的计算,设定或者决定将粗略封闭区域CAj与位于从粗略封闭区域CAj起区域尺寸ASj的范围的MCE区域MAi加在一起而得到的区域作为单位区域UAj的范围。
图12示出在将图11中说明的粗略封闭区域CA3设为对象的情况下设定的单位区域UA3的例子以及与粗略封闭区域CA3邻接的MCE区域MA1的区域尺寸AS3。此外,在图12中用斜线表示所设定的单位区域UA3。图12的单位区域UA3成为将粗略封闭区域CA3与带状的MCE区域MA1加在一起而得到的区域,该带状的MCE区域MA1以包围该粗略封闭区域CA3的方式位于从该粗略封闭区域CA3的外周边界(周缘边界)起以上述宽度的平均值决定的区域尺寸AS3的范围。此外,也可以将位于包围粗略封闭区域CA3的(例如以宽度的平均值决定的)区域尺寸AS3的范围的带状的MCE区域MA1标记为MCE区域MA1-3。当使用该标记时,图12的单位区域UA3由粗略封闭区域CA3以及包围该粗略封闭区域CA3的带状的MCE区域MA1-3构成。
在上述说明中以粗略封闭区域CA3为对象,例示了根据粗略封闭区域CAj计算作为包围该粗略封闭区域CAj的带状的MCE区域MAi的特征量的宽度Wk并设定单位区域UAj的范围的处理或者方法,但是实际上对于所有的粗略封闭区域CAj均实施。
此时,如图13所示,允许某一单位区域UA3的范围与其它单位区域UA2的范围重叠。
根据图13,用斜线表示根据在图12中说明的粗略封闭区域CA3设定的单位区域UA3。另外,根据图13,通过与粗略封闭区域CA3的情况相同的处理,用斜线表示根据粗略封闭区域CA2设定的单位区域UA2。
而且,根据图13,单位区域UA2与单位区域UA3的用交叉影线表示的区域重叠,但是在设定单位区域的情况下,允许像这样某个单位区域的一部分与其它单位区域的一部分重叠。换言之,单位区域设定部43e在对多个封闭区域进行单位区域的设定的情况下,对上述多个封闭区域分别独立地进行上述单位区域的设定,其结果,允许如图13所示那样单位区域的一部分(具体地说带状的MCE区域)相互重叠。
如上所述,能够根据图像数据将在生物体组织学上成为一个单位的区域设定为单位区域UAj。换言之,能够根据图像数据将包含血管53的窝间部52那样的一个封闭区域或被视为封闭区域的粗略封闭区域CAj以及包围该粗略封闭区域CAj的带状的闭合环状的一个MCE区域MAi设定为单位区域UAj。
在上述说明中,说明在计算MCE区域MAi的宽度Wk的情况下使用粗略封闭区域CAj的边界像素BPk来进行计算的情况,但是也可以根据MCE区域MAi来进行计算。换言之,宽度计算部44a那样的特征量计算部可以根据作为粘膜微细构造区域的MCE区域MAi来计算用于设定单位区域的范围的特征量,或者也可以根据作为封闭区域的粗略封闭区域CAj来计算用于设定单位区域的范围的特征量。
此外,图6A中的步骤S2中的预处理内容并不限定于噪声抑制与逆伽马校正,也可以施加明亮度、色调的校正等。另外,预处理的各方法也并不限定方法,也可以根据作为对象的图像、设备的特性来进行变更。例如在本实施方式中,使用中值滤波器作为噪声抑制的方法,但是也可以使用平滑化滤波器等其它方法作为噪声抑制的方法。
步骤S3中的MCE区域MAi的检测或者提取方法并不限定于上述构造成分提取方法,也可以使用其它方法。例如也可以是对亮度值、色调等像素值的阈值处理、使用了伽柏滤波器等各种频率滤波器的方法、使用了作为公知技术的海赛矩阵(Hessian matrix)、矢量集中度的线段检测处理。
步骤S4中的粗略封闭区域CAj的检测或者识别方法并不限定于使用上述加标记的方法,也可以使用其它方法。例如也可以通过扫描检测出的MCE区域MAi的边界像素BPk来搜索封闭区域,从而检测粗略封闭区域CAj。
在步骤S5中,宽度Wk是通过从边界像素BPk起对像素数进行计数来进行计算的,但是并不限定于该方法,也可以使用将在步骤S3的提取MCE区域MAi时使用的模板、滤波器的尺寸用作宽度Wk等其它方法。
另外,在全部边界像素BPk中实施了宽度Wk的计算,但是并不限定于使用全部边界像素BPk的情况,例如也可以从每隔几个像素进行采样的像素起计算宽度Wk。
并且,区域尺寸ASj的计算并不限定于宽度Wk的平均值,也可以使用宽度Wk的最频值、最小值、最大值等其它统计量。
另外,区域尺寸ASj的计算并不限定于使用宽度Wk的方法,也可以根据粗略封闭区域CAj的尺寸、形状等来计算,还可以由用户设定任意的值。另外,也可以根据粗略封闭区域CAj的面积等来决定用于规定单位区域的范围的区域尺寸ASj。
并且,在本实施方式中,以距粗略封闭区域CAj的边界像素的距离来设定单位区域UAj的范围,但是并不限定于该方法,例如也可以以粗略封闭区域CAj的中心点(重心)等为基准来设定单位区域UAj的范围。
在图13中示出允许各单位区域UAj重叠的例子,但是也可以判断重叠的部分属于哪一个单位区域UAj并分割重叠的区域。
另外,在上述说明中,说明了单位区域UAj包含MCE区域MAj,但是也可以定义为单位区域UAj不包含MCE区域MAj。在该定义的情况下,成为单位区域UAj=粗略封闭区域CAj。
也可以将被设定为单位区域UAj的各像素保持为图像数据,通过影像信号生成部41c生成影像信号,由此在显示装置5等中进行图像显示。
根据本实施例的方式,针对粘膜微细构造,能够将在生物体组织学上成为一个单位的范围以能够分离或提取为单位区域的方式进行设定,因此能够辅助作为医疗用图像的内窥镜图像上的各构造的诊断等。换言之,根据本实施例的方式,能够针对粘膜微细构造将在生物体组织学上成为一个单位的范围分离设定或者提取为单位区域等。
因此,在复杂的图像数据中也能够从要诊断的区域中按每个在生物体组织学上成为一个单位的范围的单位区域进行分离或者提取,因此容易进行诊断等。与此相对地,在无法设定本实施方式那样的在生物体组织学上成为一个单位的范围的以往例的情况下,需要对在生物体组织学上多个单位地连接而成的复杂的范围进行诊断,从而难以进行诊断等。因而,根据第一实施方式,如上所述容易进行诊断,从而能够有效地辅助手术师等进行诊断等。另外,在要提取比单位区域大的区域的情况下,也能够以单位区域为单位来容易地提取所期望的区域尺寸的区域。
接着,说明第一实施方式的变形例。在本变形例中,说明例如能够在由于由癌症引起的组织被破坏、摄像条件等导致MCE区域MAi没有呈现完整的闭合曲线的情况下高精度地检测单位区域UAj的图像处理装置以及处理方法。具体地说,由于癌细胞的增殖而正常粘膜细胞被破坏或者被替换,由此有时MCE变得不清楚。下面,主要参照图14A至图18来进行说明。
本变形例相当于与对第一实施方式中的步骤S4的粗略封闭区域CAj进行检测的处理有关的变形例,在第一实施方式中的步骤S3中检测出的MCE区域MAi没有呈现完整的闭合曲线的情况等在第一实施方式中无法高精度地检测粗略封闭区域CAj的情况下也能够应用本变形例。
本变形例的结构与第一实施方式几乎相同。具体地说,第一实施方式中的构成图像处理部41的运算部41b如在图5中用虚线所示的那样,还具有对生物体粘膜图像设定虚拟的粘膜微细构造区域的虚拟粘膜微细构造设定部43f。
在本变形例的情况下,虚拟粘膜微细构造设定部43f设定虚拟的MCE区域MAi作为虚拟的粘膜微细构造区域。因此,虚拟粘膜微细构造设定部43f具有虚拟的MCE区域设定部的功能。
另外,在本变形例中,封闭区域识别部43d将被由区域提取部43c提取出的粘膜微细构造区域以及由虚拟粘膜微细构造设定部43f设定的虚拟的粘膜微细构造区域(具体地说虚拟的MCE区域MAi)包围的区域识别为在第一实施方式中说明的封闭区域(或者粗略封闭区域)。
另外,本变形例的处理如图14B所示,在图6的处理中,在步骤S3之后,在步骤S11中,如在后文中所述检测MCE区域MAj处的开口的开口端,虚拟粘膜微细构造设定部43f进行用虚拟腺VLx连接开口端的处理,在用该虚拟腺VLx进行连接的处理之后进行步骤S4的处理。其它处理成为与第一实施方式相同的处理。因而,主要仅对与第一实施方式的区别点进行说明。
图14A示出在步骤S3中检测或者提取MCE区域MA1的例子。下面,作为图14A中的用阴影表示的未闭合的粗略封闭区域CAj的候选区域CCAj而进行说明。而且,在本变形例中,对于候选区域CCAj,也与实质上(闭合的)粗略封闭区域CAj的情况同样地识别为封闭区域,能够与粗略封闭区域CAj的情况同样地设定单位区域。
与在图6A中说明的处理同样地进行图14B中的步骤S1至S3的处理。然后,在步骤S3中,区域提取部43c提取如图14A所示的MCE区域MAi(在图14A中i=1),输出到虚拟粘膜微细构造设定部43f。在如上所述那样提取出的MCE区域MAi中,在具有未闭合的两个开口端的情况下,被该两个开口端以外的部分包围的开放区域成为粗略封闭区域CAj的候选区域CCAj。因此,对于这种开放区域的候选区域CCAj的情况,也(如下所述那样检测芯线Cli并)连接开口端等从而设定封闭区域,使得能够设定在生物体组织学上成为一个单位的单位区域。
本变形例中的虚拟粘膜微细构造设定部43f进行以下那样的处理。
虚拟粘膜微细构造设定部43f首先针对MCE区域MAj通过公知的细线化等方法检测MCE区域MAi的芯线CLi。图15示出芯线CLi的检测例。此外,在图15至图18中用斜线表示MCE区域MAi(i=1)。接着,虚拟粘膜微细构造设定部43f在如图14B的步骤S11所示那样检测出的芯线CLi存在未闭合的端点(还称为开口的端)的情况下,用虚拟线VLx(x≥1)将端点之间进行连接。
图16示出虚拟线VLx的连接例。接着,与第一实施方式中的进行图6A的步骤S4的情况同样地实施公知的加标记,但是将作为加标记的对象的像素设为除被检测为MCE区域MAi的区域和虚拟线VLx以外的像素。在此以后的处理与第一实施方式相同。
如图17所示,通过使用虚拟线VLx,能够检测出仅在MCE区域MA1中未形成封闭区域的标签L7的区域。此外,在区域尺寸ASj和宽度Wk的计算中,不使用虚拟线VLx的像素,与第一实施方式同样地仅使用MCE区域MAi的边界像素BPk。然后,在步骤S4之后进行步骤S5的单位区域UAj的设定,结束图14B的处理。
此外,在本变形例中,用直线的虚拟线VLx将芯线CLi的端点之间进行了连接,但是也可以用曲线等进行连接。
另外,如图18所示,也可以从各芯线CLi的端点起在端点上的芯线CLi的延伸方向或者带状的MCE区域的延伸方向上划虚拟线VLx(在图18中为VL1、VL2),使用其交叉点来检测或者识别粗略封闭区域CAj。由此,存在能够与用直线将端点之间进行连接的情况相比高精度地检测复杂形状的粗略封闭区域CAj的情况。
根据本变形例,除了具有与第一实施方式相同的效果以外,还在由于由癌症引起组织被破坏等导致MCE区域MAi没有呈现完整的闭合曲线的情况下,也能够以高精度来设定单位区域UAj。
(第二实施方式)
接着,参照图19A-图27来说明本发明的第二实施方式。关于拍摄粘膜微细构造得到的内窥镜图像,如图20的示意图所示,例如由于由癌症引起组织被破坏、摄像条件等导致邻接的窝间部52之间的MCE 51有时如用虚线所示那样变得不清楚。
在本实施方式中,说明在这种情况下不像用图21的阴影图案所示那样设定为一个大的单位区域UAj而能够将各窝间部52设定为分开的单位区域的图像处理装置以及其处理方法。下面,参照图19A至图27来进行说明。
本实施方式相当于在第一实施方式中的步骤S1至步骤S3进行相同的处理而在步骤S4以后的粗略封闭区域CAj的检测和单位区域UAj的设定中使用不同的处理的情况,说明其处理。因而,仅说明与第一实施方式的区别点。
本实施方式的医疗用图像处理装置具有与图1相同的结构,如图19A所示,本实施方式中的运算部41b具有(在第一实施方式中)上述输入部43a、预处理部43b、区域提取部43c、封闭区域识别部43d以及单位区域设定部43e。
在本实施方式中,封闭区域识别部43d具有使用匹配滤波器的卷积运算部45a以及对粗略封闭区域的候选像素进行检测和加标记的粗略封闭区域候选像素检测和加标记部45b。此外,也可以构成为将粗略封闭区域候选像素检测和加标记部45b分为对粗略封闭区域的候选像素进行检测的粗略封闭区域候选像素检测部以及对检测出的粗略封闭区域的候选像素进行加标记的加标记部。另外,本实施方式中的单位区域设定部43e使用与第一实施方式不同的处理(具体地说上述匹配滤波器的信息)来进行单位区域的设定。
然后,按照图19B示出的处理来进行设定单位区域的处理。
图19B的步骤S21与第一实施方式的步骤S3的MCE区域检测相等,例如当在图20中应用该MCE检测处理时得到图22那样的MCE区域MAi的检测结果。此时,MCE不清楚的区域有时不被检测为MCE区域MAi。此外,在图20中用阴影图案表示MCE 51。图22的MCE区域MAi也同样用阴影图案表示。
接着,如步骤S22所示,封闭区域识别部43d的卷积运算部45a对该MCE区域MAi实施使用了匹配滤波器MF的卷积运算。关于匹配滤波器MF,例如在图23那样的43×43尺寸的矩形区域中使用设计了内侧半径11pixels、外侧半径21pixels的环型的匹配滤波器MF。此外,关于匹配滤波器MF中的滤波器系数,将灰色的环型部分设为1,将除此以外的白色部分设为0。
另外,在使用该匹配滤波器MF对MCE区域MAi的图像数据进行卷积运算时,关于该图像数据的像素值,如图24所示,将用阴影图案表示的属于MCE区域MAi的像素设为1,将除此以外的像素设为0。
然后,卷积运算的结果是,对图像数据的全部像素计算匹配滤波器响应值RVy(0≤y<ISX×ISY)。
在下一步骤S23中,封闭区域识别部43d的粗略封闭区域候选像素检测和加标记部45b使用以下式(1),利用阈值Thre1来检测或者识别匹配滤波器响应值RVy高的像素、即粗略封闭区域候选像素CPz(z≥1)。此外,本实施方式中的匹配滤波器MF的系数的合计CT为908。另外,例如将阈值Thre1设为0.6。当检测满足式(1)的像素(=粗略封闭区域候选像素CPz)时得到图25那样的结果。此外,粗略封闭区域候选像素CPz表示满足式(1)的各像素。在图25中用阴影图案表示MCE区域MAi。
匹配滤波器响应值RVy/(匹配滤波器MF的系数的合计CT)>Thre1   …(1)
在下一步骤S24中,粗略封闭区域候选像素检测和加标记部45b对粗略封闭区域候选像素CPz实施公知的加标记。其结果,例如图26所示,被分割为六个标签(L1’~L6’)。
在下一步骤S25中,单位区域设定部43e从各标签L1’~L6’各自的标签的边界像素起将匹配滤波器MF外侧的圆的半径长度(在本实施方式中为21pixels)的范围分别设定为单位区域UAj。在图27中示出以标签L2’为例的情况下的单位区域UA2。对与该单位区域UA2邻接的标签L3’等也应用同样的处理,由此能够设定单位区域。此外,与第一实施方式及其变形例同样地,允许各单位区域UAj的范围重叠。
此外,在本实施方式中,作为匹配滤波器MF,仅利用一种环型滤波器,但是形状、尺寸、滤波器的个数并不限定于此,也可以使用类圆形、多角形等匹配滤波器,还可以应用尺寸、形状不同的多个匹配滤波器,并在应用多个匹配滤波器的情况下采用滤波器的响应值RVy最大的匹配滤波器。
另外,在本实施方式中,根据匹配滤波器MF的半径来设定单位区域UAj的范围,但是并不限定于该方法,也可以根据各标签L1’~L6’的大小来计算范围,还可以由用户预先指定。
根据本实施方式,在由于由癌症引起组织被破坏、摄像条件等导致邻接的窝间部之间的MCE不清楚而多个单位区域UAj结合的情况下,或者在使用公知的细线化提取出的芯线CLi的端点不清楚的情况下,也能够将它们进行分割而高精度地设定各单位区域UAj的范围。
在包含上述变形例的情况的全部实施方式中,说明了使用输入了处理对象的图像数据整体的情况,但是也可以由用户设定任意的区域而仅将所设定的区域的范围内作为处理对象区域。
另外,使用在窄频带观察模式下拍摄到的G图像来进行了说明,但是也可以使用RGB的其它颜色信号(具体地说R图像或者B图像),还可以使用通过G/R、G(R+G+B)等各颜色信号的组合计算出的运算结果。另外,也可以使用除窄频带观察模式以外的观察模式下拍摄到的图像数据。
另外,在包含变形例的情况的全部实施方式中,举例说明了胃部的幽门腺粘膜的MCE,但是并不限定作为对象的脏器,也能够应用于胃部的胃底腺粘膜、肠上皮化生、大肠、小肠、食道等其它消化管脏器。具体地说,可举出大肠的呈现管状、绒毛状观察结果的肿瘤性病变、巴雷特食道粘膜等。
同样地,作为对象的粘膜微细构造并不限定于MCE,也可以使用血管、pit、Surface pattern(表面图案)等其它粘膜微细构造。在该情况下,根据作为对象的粘膜微细构造适当地变更检测粘膜微细构造时的阈值、滤波器系数等。
阈值、滤波器的系数等数值并不限定于本说明书所记载的数值,也可以施加值的变更。
除此以外,也可以在不改变发明的宗旨的范围内进行各种变更。
如上所述,根据本发明的医疗用图像处理装置以及使用了医疗用图像处理装置的医疗用图像处理方法,能够根据被拍摄为医疗用图像的粘膜微细构造来设定分割、提取为单位区域的区域,其结果,能够辅助用户的观察和诊断。
(第三实施方式)
在本发明的第三实施方式中,说明根据被拍摄为作为医用图像的内窥镜图像的粘膜微细构造来设定单位区域、并根据所设定的单位区域来辨别包含一个以上作为单位的单位区域的区域的粘膜的状态的医疗用图像处理装置。图28至图43D涉及本发明的第三实施方式。
如图28所示,内窥镜装置501构成为具有:内窥镜502,其被插入到被检者的体腔内,对拍摄该体腔内的生物体组织601等被摄体而得到的图像进行信号输出;光源装置503,其发出用于照明生物体组织601的照明光;处理器504,其构成医疗用图像处理装置,该医疗用图像处理装置对来自内窥镜502的输出信号实施各种处理;显示装置505,其显示与来自处理器504的影像信号相应的图像;以及外部存储装置506,其存储与处理器504中的处理结果相应的输出信号。
内窥镜502构成为具有:插入部521a,其具备能够插入到被检者的体腔内的细长的形状和尺寸;前端部521b,其设置于插入部521a的前端侧;以及操作部521c,其设置于插入部521a的基端侧。另外,在插入部521a的内部贯穿有光导件507,该光导件507用于将在光源装置503中发出的照明光传送到前端部521b。
光导件507的一端面(光入射端面)装卸自如地连接于光源装置503。另外,光导件507的另一端面(光出射端面)被配置在设置于内窥镜502的前端部521b的未图示的照明光学系统附近。根据这种结构,在光源装置503中发出的照明光在经过与光源装置503相连接的光导件507以及设置于前端部521b的未图示的照明光学系统之后射出到体腔内的生物体组织601。
在内窥镜502的前端部521b设置有对被摄体的光学像进行成像的物镜光学系统522以及电荷耦合元件(简称为CCD)523,该电荷耦合元件523被配置于物镜光学系统522的成像位置,构成拍摄光学像而获取为图像的摄像部。另外,在内窥镜502的操作部521c中设置有观察模式切换开关524,该观察模式切换开关524能够进行用于将观察模式切换为通常光观察模式和窄频带光观察模式中的任一个的指示。
光源装置503具有:白色光源531,其由氙气灯等构成;旋转滤波器532,其将从白色光源531发出的白色光设为面顺序式的照明光;电动机533,其驱动旋转滤波器532进行旋转;电动机534,其使旋转滤波器532和电动机533在与白色光源531的射出光路垂直的方向(在图1中附图标记B)上进行移动;旋转滤波器驱动部535,其根据处理器504的控制部542的控制来驱动电动机533和34;以及聚光光学系统536,其会聚通过了旋转滤波器532的照明光并提供给光导件507的入射端面。
如图29所示,旋转滤波器532呈以中心为旋转轴的圆盘形状,具有:第一滤波器组532A,其具备沿着内周侧的周向设置的多个滤波器;以及第二滤波器组532B,其具备沿着外周侧的周向设置的多个滤波器。而且,电动机533的驱动力传递到上述旋转轴,由此使旋转滤波器532旋转。此外,在旋转滤波器532中,除配置有第一滤波器组532A和第二滤波器组532B的各滤波器的部分以外的部分由遮光部件构成。
第一滤波器组532A构成为具有使红色波长频带的光通过的R滤波器532r、使绿色波长频带的光通过的G滤波器532g以及使蓝色的波长频带的光通过的B滤波器532b,R滤波器532r、G滤波器532g以及B滤波器532b各自沿着旋转滤波器532内周侧的周向设置。
例如图30所示,R滤波器532r具有主要使600nm至700nm的光(R光)透过那样的结构。另外,例如图30所示,G滤波器532g具有主要使500nm至600nm的光(G光)透过那样的结构。并且,例如图30所示,B滤波器532b具有主要使400nm至500nm的光(B光)透过那样的结构。此外,在图30中,简单用R、G、B表示R滤波器532r、G滤波器532g、B滤波器532b。
而且,在白色光源531中发出的白色光经由第一滤波器组532A,由此生成通常光观察模式用的宽频带光。
第二滤波器组532B构成为具有使蓝色且窄频带的光透过的Bn滤波器821b以及使绿色且窄频带的光透过的Gn滤波器821g,Bn滤波器821b以及Gn滤波器821g各自沿着旋转滤波器532外周侧的周向设置。
例如图31所示,Bn滤波器821b构成为使其中心波长被设定为415nm左右并且与B光相比窄频带的光(Bn光)透过。
另外,例如图31所示,Gn滤波器821g构成为使中心波长被设定为540nm左右并且与G光相比窄频带的光(Gn光)透过。此外,在图31中,简单用Bn、Gn表示Bn滤波器821b、Gn滤波器821g。
而且,在白色光源531中发出的白色光经过第二滤波器组532B,由此生成离散化的窄频带光观察模式用的多个频带的窄频带光。
处理器504具有具备作为本实施方式的医疗用图像处理装置的功能的结构。具体地说,如图1所示那样处理器504构成为具有图像处理部541和控制部542。另外,图像处理部541构成为具有图像数据生成部541a、运算部541b以及影像信号生成部541c。
图像处理部541的图像数据生成部541a根据控制部542的控制对来自内窥镜502的输出信号实施噪声去除和A/D变换等处理,由此生成与在CCD 523中得到的图像对应的图像数据。
图像处理部541的运算部541b使用由图像数据生成部541a生成的图像数据来进行规定的处理,由此从拍摄生物体组织601得到的图像数据中提取出生物体的粘膜微细构造,并且进行根据上述粘膜微细构造来设定基于规定条件的单位区域的运算,并且在设定包含作为要关注的单位区域的关注单位区域的辨别对象区域之后,根据特征量的计算,进行辨别辨别对象区域的粘膜状态的处理。
此外,在本实施方式中,设为在上述图像数据中含有生物体的粘膜微细构造,针对上述粘膜微细构造进行单位区域设定处理,该单位区域设定处理是将在生物体组织学上成为一个单位的区域或者范围设定为单位区域的处理。在后文中详细说明这种单位区域设定处理。
图像处理部541的影像信号生成部541c对由图像数据生成部541a生成的图像数据实施伽马变换和D/A变换等处理,由此生成影像信号并输出到显示装置505等。
控制部542在根据观察模式切换开关524的指示检测出进行了切换为通常光观察模式的指示的情况下,对旋转滤波器驱动部535进行用于使通常光观察模式用的宽频带光从光源装置503射出的控制。而且,旋转滤波器驱动部535根据控制部542的控制使电动机534进行动作,使得第一滤波器组532A插进白色光源531的射出光路上且使第二滤波器组532B从白色光源531的射出光路上退离。
另外,控制部542在根据观察模式切换开关524的指示检测出进行了切换为窄频带光观察模式的指示的情况下,对旋转滤波器驱动部535进行用于使窄频带光观察模式用的多个频带的窄频带光从光源装置503射出的控制。
而且,旋转滤波器驱动部535根据控制部542的控制使电动机534进行动作,使得第二滤波器组532B插进白色光源531的射出光路上且使第一滤波器组532A从白色光源531的射出光路上退离。
即,根据上述说明的内窥镜装置501的结构,在选择了通常光观察模式的情况下,能够使具有与用肉眼观察生物体组织601等观察对象物的情况大致相同的色调的图像(通常光图像)显示于显示装置505,并且存储于外部存储装置506。另外,根据上述说明的内窥镜装置501的结构,在选择了窄频带光观察模式的情况下,能够使生物体组织601内包含的表层附近的血管被强调的图像(窄频带光图像)显示于显示装置505,并且存储于外部存储装置506。
如图32所示,构成医疗用图像处理装置的运算部541b具有:图像输入部(简称为输入部)543a,其从图像数据生成部541a被输入由CCD 523拍摄生物体粘膜得到的作为医用图像信息的生物体粘膜图像(的图像数据);预处理部543c,其对输入到输入部543a的上述生物体粘膜图像进行预处理;区域提取部543c,其提取与预处理过的粘膜微细构造对应的粘膜微细构造区域;以及封闭区域识别部(或者粗略封闭区域识别部)543d,其识别视为被上述粘膜微细构造区域包围的至少一个封闭区域(或者包围区域)。
该运算部541b还具有:单位区域设定部543e,其根据由上述区域提取部543c提取出的上述粘膜微细构造区域以及由上述封闭区域识别部543d识别出的上述封闭区域来设定一个以上的单位区域;以及特征量计算部543f,其根据由该单位区域设定部543e设定的上述单位区域计算包含第一特征量等的特征量。
该运算部541b还具有:辨别对象区域设定部543g,其基于由上述特征量计算部543f计算出的特征量(具体地说第二特征量),根据多个单位区域设定辨别对象区域;辨别部543h,其根据由上述特征量计算部543f计算出的第一特征量,来辨别上述辨别对象区域的粘膜的状态;以及关注单位区域设定部543i,其在由上述单位区域设定部543e设定了多个单位区域的情况下,从多个单位区域中设定符合规定条件的、手术师等用户所关注的作为一个单位区域的关注单位区域。此外,并不限定于将关注单位区域设定部543i设置于运算部541b内部的情况,也可以设置于其外部。
上述特征量计算部543f具有:第一特征量计算部544a,其计算作为用于辨别部543h辨别具有辨别对象区域的粘膜的状态的特征量的第一特征量;第二特征量计算部544b,其计算作为用于设定辨别对象区域的特征量的第二特征量;以及第三特征量计算部544c,其针对关注单位区域周围的单位区域计算与关注单位区域的相关性有关的第三特征量。
此外,并不限定于运算部541b具备输入部543a的结构,也可以设为除运算部541b以外的图像处理部541(例如图像数据生成部541a)具备输入部543a的结构。
这样,本实施方式的作为医疗用图像处理装置的处理器504的特征在于具有运算部541b,该运算部541b具备上述输入部543a、区域提取部543c、封闭区域识别部543d、单位区域设定部543e、特征量计算部543f(的第一特征量计算部544a)以及辨别部543h,也可以根据需要来设置作为特征的结构要素以外的结构要素。此外,也可以构成为:不进行预处理,而区域提取部543c从输入到输入部543a的上述生物体粘膜图像中提取与粘膜微细构造对应的粘膜微细构造区域。
另外,图32示出的单位区域设定部543e具备:作为特征量计算部的宽度计算部545a,其根据粘膜微细构造区域或者封闭区域来计算作为用于设定单位区域的范围的特征量的带(belt)状的粘膜微细构造区域的宽度;以及范围设定部545b,其根据上述宽度的特征量来设定上述单位区域的范围。
在单位区域设定部543e设定多个单位区域的情况下,辨别对象区域设定部543g根据第二特征量从上述多个单位区域中设定辨别对象区域,第一特征量计算部544a在辨别对象区域设定部543g设定的辨别对象区域中进行第一特征量的计算。
上述辨别对象区域设定部543g也可以具有设定在根据第二特征量设定辨别对象区域时使用的阈值的阈值设定部546a,根据由阈值设定部546a设定的阈值和第三特征量,从关注单位区域及其周围的多个单位区域中设定辨别对象区域。另外,也可以在上述阈值设定部546a中如图32中用虚线表示的那样设置阈值选择部546b,通过阈值选择部546b从作为多种阈值的距离的阈值、面积的阈值、次数的阈值中选择实际使用的一个阈值,使用所选择的阈值来设定辨别对象区域。
另外,辨别部543h具有辨别用阈值设定部547a,该辨别用阈值设定部547a设定用于根据由第一特征量计算部544a计算出的第一特征量辨别粘膜的状态的辨别用阈值。
此外,构成运算部541b的输入部543a也可以由对运算部541b输入图像数据的输入端构成。另外,示出将区域提取部543c、封闭区域识别部543d、单位区域设定部543e、特征量计算部543f、辨别对象区域设定部543g、辨别部543h以及关注单位区域设定部543i等设置于运算部541b内的结构,但是本实施方式并不限定于这种情况,也可以使用进行各个处理的专用的硬件来构成。
接着,说明具备作为医疗用图像处理装置的处理器504的内窥镜装置501的作用。
首先,手术师在接通内窥镜装置501各部的电源之后,在观察模式切换开关524中选择通常光观察模式。而且,手术师一边观察在选择通常光观察模式时显示装置505所显示的图像、即具有与用肉眼观察对象物的情况大致相同的色调的图像一边将内窥镜502插入到体腔内,由此使前端部521b接近观察对象的生物体组织601所存在的部位。
当通过观察模式切换开关524选择通常光观察模式时,R光、G光以及B光各色光从光源装置503依次向生物体组织601射出,在内窥镜502中分别获取与该各色光相应的图像。
图像处理部541的图像数据生成部541a当被输入与R光相应的图像、与G光相应的图像以及与B光相应的图像时,分别生成与各图像对应的颜色成分的图像数据。
接着,详细说明图像处理部541的运算部541b内包含的进行用于设定单位区域的单位区域设定处理的动作。图33A中的步骤S501至S505表示用于进行单位区域设定处理的主要处理。
下面,在本实施方式中,在窄频带光观察模式下拍摄生物体组织601上的形成上皮形态(上皮构造)的胃部的幽门腺而得到的图像数据的例子中,针对将该图像数据内包含的粘膜微细构造设为腺窝边缘上皮(MarginalCryptEpithelium:MCE)的情况,说明单位区域设定处理。
图34示意性地示出在窄频带光观察模式下拍摄胃部的幽门腺得到的图像。在窄频带光观察模式下进行拍摄,由此具有与宽频带光观察模式的情况相比更清楚地显示表层附近的构造等的优点。另外,图35示出局部地切出图34的一部分或者与图34的一部分类似的图像的一部分而得到的图像。在图34~图35中,多个带状的MCE 551重叠存在,在被MCE 551包围的内侧的(通常成为封闭区域的)区域内存在窝间部552。另外,在窝间部552中分布血管553。
并且,由内窥镜502拍摄到的图像数据依赖于距离、角度等摄像条件、粘膜本身的状态,因此既存在一个MCE 551的边界清楚的情况,又存在邻接的MCE 551的边界不清楚的情况。在图35中,例如用附图标记B1表示的MCE551的边界清楚,但是用附图标记B2表示的MCE 551的边界不清楚。
如图33A的步骤S501所示,将由图像数据生成部541a生成的图像数据从输入部543a输入到运算部541b内的预处理部543c内。此外,本实施方式以及其它实施方式中的图像数据由大小(横×纵的像素数)为ISX×ISY、RGB这三个(颜色成分)图像构成,R、G以及B的各图像分别具备由0至255的值构成的8比特的灰度。例如为ISX×ISY=640×480。
在下一步骤S502中,预处理部543c对被输入的图像数据进行噪声抑制、逆伽马校正等预处理。在本实施方式中,作为噪声抑制,以大小3×3的掩模尺寸应用公知的中值滤波器(将包含关注像素的掩模内的像素值按大小排列,用中央值来替换关注像素的值)。
此外,伽马校正是为了在监视器等显示图像时视觉性地附加线性的灰度而应用的非线性处理,逆伽马校正是将其恢复到原线性灰度的处理。因此,在未对输入到预处理部543c的图像数据实施伽马校正的情况下,不需要进行逆伽马校正。
进行了预处理的图像数据被输出到区域提取部543c。如步骤S503所示,区域提取部543c提取带状的MCE区域MBi(i≥1)作为与粘膜微细构造对应的粘膜微细构造区域。
MCE区域MBi的提取方法例如使用日本专利第4409166号公报所记载的基于模板匹配的构造成分提取方法。图33B示出用于模板匹配的半椭圆形状。
此外,也可以将用于模板制作的半椭圆形状的宽度T设为T=3~9(1.0步长),将深度H设定为与MCE区域MBi的深度对应的值。其它参数直接使用日本专利第4409166号公报的实施例所记载的值即可。
另外,与日本专利第4409166号公报的实施例同样地,以RGB三个图像中的G图像为对象来实施处理即可。将这种提取方法应用于图34或者图35的图像数据,例如图36所示提取MCE区域MB1。将提取出的MCE区域MB1输出到封闭区域识别部543d。此外,在图36中用斜线表示提取出的MCE区域MB1。
在图33A中的下一步骤S504中,封闭区域识别部543d进行以下处理:检测或者识别被检测为粘膜微细构造区域的MCE区域MBi粗略包围的(换言之,作为被MCE区域MBi包围的封闭区域或者视为被MCE区域MBi包围的粗略的封闭区域的)粗略封闭区域CBj(j≥1)。
此外,在第三实施方式中,粗略封闭区域CBj成为被包围的封闭区域,但是也可以在如上所述那样视为被包围的粗略的封闭区域的情况下应用。
为了进行步骤S504的处理,对于除被检测为MCE区域MBi的区域以外的像素区域实施公知的加标记。在对于图36的MCE区域MB1的检测结果进行应用的情况下,MCE区域MB1如图37所示那样被分割为八个标签L11~L18。此外,在图37中用斜线表示MCE区域MB1。
将各标签L11~L18中的除标签内的像素包含图像数据的最外周像素(X坐标为0或者639的像素、以及Y坐标为0或者479的像素)的标签L18以外的标签设为粗略封闭区域CBj。在应用于图37的情况的例子中,除标签L18以外的标签L11~L17分别成为粗略封闭区域CB1~CB7。在图37中,没用附图标记明确表示全部CB1~CB7,但是例如在图40中将标签L12、L13的封闭区域表示为CB2、CB3,在图38中将标签L13、L14的封闭区域明确表示为CB3、CB4。由封闭区域识别部543d检测或者识别出的粗略封闭区域CB1~CB7的信息被输出到单位区域设定部543e。
在下一步骤S505中,单位区域设定部543e的范围设定部545b进行以下处理:根据粗略封闭区域CBj计算作为MCE区域MBi的特征量的宽度,并设定单位区域UBj的范围。
单位区域设定部543e的宽度计算部545a首先计算作为与一个粗略封闭区域CBj邻接的MCE区域MBi的特征量的宽度Tk(k≥1)。宽度计算部545a例如从与邻接于粗略封闭区域CBj的MCE区域MBi之间的(例如粗略封闭区域CBj侧的)边界像素BQk起,在与邻接于MCE区域MBi的该粗略封闭区域CBj相反的方向上扫描像素,对MCE区域MBi的像素数进行计数,由此计算该边界像素BQk处的宽度Tk。
图38示出计算以(j=3的情况下的)粗略封闭区域CB3为对象的情况下的例如三个代表方向上的宽度T1、T2、T3的例子以及关注边界像素BQ2而计算一个方向上的宽度T2的情况下的放大图。此外,在图38中用斜线表示MCE区域MB1。
在图38中,示出在粗略封闭区域CB3外周设定三个边界像素BQ1、BQ2、BQ3的情况下分别从各边界像素BQ1、BQ2、BQ3起计算与粗略封闭区域CB3邻接的MCE区域MB1的宽度T1、T2、T3的情形。下面,针对一个边界像素BQ2的情况进行参照包含该边界像素BQ2的一部分放大图计算宽度T2的说明。
如图38的放大图所示,与边界像素BQ2邻接的粗略封闭区域CB3位于左下方向(在图38中用A表示的方向),因此从边界像素BQ2起在成为与该左下方向相反方向的右上方向上扫描像素。当一边在右上方向(在图38中为粗略封闭区域CB4侧)上进行扫描一边对MCE区域MB1的像素数进行计数时成为8pixels,该8pixels成为宽度T2的值。
此外,在与边界像素BQk邻接的粗略封闭区域CBj存在多个像素的情况下,在各方向上进行扫描并对像素数进行计数,将像素数最小的值设为宽度Tk的值。在图38中仅例示了粗略封闭区域CB3中的离散地示出的边界像素BQ1、BQ2、BQ3这三个像素,但是在全部边界像素BQk实施该宽度Tk的计算。
接着,将用全部边界像素BQk计算出的宽度Tk的平均值设为与粗略封闭区域CBj邻接的MCE区域MBi的区域尺寸BSj。而且,范围设定部545b根据宽度计算部545a对宽度的计算,设定或者决定将粗略封闭区域CBj与位于从粗略封闭区域CBj起区域尺寸BSj的范围的MCE区域Mbi加在一起而得到的区域作为单位区域UBj的范围。
图39示出在将图38中说明的粗略封闭区域CB3设为对象的情况下设定的单位区域UB3的例子以及与粗略封闭区域CB3邻接的MCE区域MB1的区域尺寸BS3。此外,在图39中用斜线表示所设定的单位区域UB3。在图39中单位区域BA3成为将粗略封闭区域CB3与带状的MCE区域MB1加在一起而得到的区域,该带状的MCE区域MB1以包围该粗略封闭区域CB3的方式位于从该粗略封闭区域CB3的外周边界起以上述宽度的平均值决定的区域尺寸BS3的范围。
在上述说明中以(j=3的)粗略封闭区域CBj为对象,例示了根据粗略封闭区域CBj计算作为包围该粗略封闭区域CBj的带状的MCE区域MBi的特征量的宽度Tk并设定单位区域UBj的范围的处理或者方法,但是实际上对于所有的粗略封闭区域CBj均实施。
此时,如图40所示,允许某一单位区域UB3的范围与其它单位区域UB2的范围重叠。
根据图40,用斜线表示根据在图39中说明的粗略封闭区域CB3设定的单位区域UB3。另外,根据图40,通过与粗略封闭区域CB3的情况相同的处理,用斜线表示根据粗略封闭区域CB2设定的单位区域UB2。
而且,根据图40,单位区域UB2与单位区域UB3的用交叉影线表示的区域重叠,但是在设定单位区域的情况下,允许像这样某个单位区域的一部分与其它单位区域的一部分(具体地说带状的MCE区域)重叠。换言之,单位区域设定部543e在以将MCE区域设定成包围多个封闭区域的方式进行单位区域的设定情况下,对上述多个封闭区域分别独立地进行上述单位区域的设定,其结果,允许如图40所示那样单位区域的一部分的MCE区域相互重叠。
如上所述,能够根据图像数据将在生物体组织学上成为一个单位的区域设定为单位区域UBj。换言之,能够根据图像数据将包含血管553的窝间部552那样的一个封闭区域或被视为封闭区域的粗略封闭区域CBj以及包围该粗略封闭区域CBj的带状的闭合环状的一个MCE区域MBi设定为单位区域UBj。此外,通过对拍摄生物体组织得到的图像中的处理对象的区域应用单位区域的设定处理,由此能够将处理对象(或者其一部分)的区域识别为以单位区域为单位的单位区域群(或者单位区域集合区域)。因此,还能够将上述单位区域设定部543e视为将处理对象的区域识别为以单位区域为单位的单位区域的集合的单位区域识别部。
当这样图33A中的步骤S505的单位区域UBj的设定处理结束时,如下说明那样计算单位区域UBj的特征量,由此设定包含单位区域UBj的辨别对象区域Ad,能够进行用于辨别具有所设定的辨别对象区域Ad的粘膜的状态的处理。
因此,在步骤S505之后的步骤S506中,关注单位区域设定部543i将存在于最接近图像中心的距离的一个单位区域设定为关注单位区域UBin。图41A示出符合该条件C1(也就是说,存在于最接近图像中心的距离的一个单位区域)设定的关注单位区域UBin的一例。
在图41A示出的例子中,示出将图40所示的单位区域UB3设定为关注单位区域UBin的情况。
如图33A所示,在下一步骤S507中,第二特征量计算部544b计算关注单位区域UBin的外形(轮廓)的宽度的最大值,作为与该关注单位区域UBin的区域尺寸大小或者区域形状有关的第二特征量。第二特征量计算部544b将计算出的宽度的最大值输出到辨别对象区域设定部543g。此外,第二特征量计算部544b计算出的特征量并不限定于关注单位区域UBin的宽度的最大值,也可以是宽度的平均值,还可以如后文中所述那样计算面积。另外,也可以不计算面积,而计算关注单位区域UBin的周围长度。
在下一步骤S508中,辨别对象区域设定部543g设定将作为由阈值设定部546a设定的距离的阈值的、计算出的宽度的最大值Tmax的例如3倍设为直径的圆形区域Ac,将该圆形区域Ac的内侧设定为辨别对象区域Ad。也就是说,阈值设定部546a根据作为第二特征量的宽度的最大值来设定距离的阈值。
在图41B中,示出将由步骤S508设定的圆形区域Ac的内侧(即距离的阈值以下)设定为辨别对象区域Ad的设定例(在图41B中简称为Ac=Ad,但是Ac的内侧为Ad)。在图41B示出的例子中,将以关注单位区域UBin(的重心位置)为中心、以计算出的宽度的最大值Tmax的1/2的3倍为半径的圆形区域Ac设定为辨别对象区域Ad。而且,圆形区域Ac的内侧包含的单位区域被设定为辨别对象区域Ad的单位区域群。在图41B中,还图示了在图41A中示出的区域外侧的辨别对象区域Ad内包含的区域。
此外,并不限定于将圆形区域Ac内侧设为辨别对象区域Ad的情况,例如也可以将至少一部分包含在圆形区域Ac内的单位区域设定为辨别对象区域Ad的单位区域,或者将至少一半以上的区域包含在圆形区域Ac内的单位区域设定为辨别对象区域Ad的单位区域。另外,也可以将几乎整体包含在圆形区域Ac内的单位区域设定为辨别对象区域Ad的单位区域。
辨别对象区域设定部543g在设定(决定)辨别对象区域Ad之后,将其设定(决定)的信息输出到特征量计算部543f的第一特征量计算部544a。
如图33A中的步骤S509所示,第一特征量计算部544a例如计算辨别对象区域Ad内包含的各单位区域的圆形度,并计算它们的平均圆形度,来作为辨别对象区域Ad的第一特征量。
图42示出作为图33A中的步骤S509的第一特征量计算的圆形度计算的处理以及基于圆形度计算的处理结果的步骤S510的粘膜状态辨别的详细处理。此外,在图42中,作为第一特征量的统计量计算平均圆形度,在步骤S510中,根据平均圆形度的计算结果来进行粘膜状态的辨别,但是并不限定于平均圆形度。
当开始进行图42示出的处理时,如步骤S521所示,(构成)第一特征量计算部544a(的圆形度计算部)从关注单位区域Ubin起按编号参数J对辨别对象区域Ad内包含的单位区域附加编号(附加标记),并且设定辨别对象区域Ad内包含的单位区域的总数N。
在下一步骤S522中,圆形度计算部通过参数J=1的单位区域的轮廓追踪,来计算(单位区域的)轮廓的周围长度L(J),并且计算轮廓内的面积S(J)。
在下一步骤S523中,圆形度计算部计算参数J的单位区域的圆形度C(J)。例如用C(J)=4πS(J)/L(J)2来表示圆形度C(J)。在下一步骤S524中,圆形度计算部判断参数J是否与总数N相等,在不与总数N相等的情况下,在步骤S525中将J增大一个之后,返回到步骤S522的处理。
这样,当对辨别对象区域Ad内包含的全部单位区域进行的圆形度的计算结束时,在步骤S526中,圆形度计算部计算平均圆形度Cav作为第一特征量的统计量。
关于平均圆形度Cav,通过计算以将参数J从1至N为止的圆形度C相加并除以总数N的方式计算出的平均圆形度Cav,由此结束图33A的步骤S509的处理,转移到相当于步骤S510的处理。
在步骤S527中,辨别部543h将平均圆形度Cav与由辨别用阈值设定部547a设定的辨别用阈值进行比较,根据平均圆形度Cav是否为辨别用阈值以上,来辨别辨别对象区域Ad的粘膜状态。辨别用阈值设定部547a在使用平均圆形度作为第一特征量的情况下,例如将辨别用阈值设定为0.6左右。在步骤S527的判断处理中,在平均圆形度Cav为辨别用阈值以上的判断结果的情况下,在步骤S528中,辨别部543h辨别为粘膜(处于)具有规则的构造(的状态)。
与此相对地,在平均圆形度Cav小于辨别用阈值的判断结果的情况下,在步骤S529中,辨别部543h辨别为粘膜(处于)具有不规则的构造(的状态)。在辨别为粘膜具有不规则的构造的情况下,认为正常粘膜由于构造的破坏而其形状变为异常的状态的可能性高。
与此相对地,在平均圆形度Cav为辨别用阈值以上的情况下,认为从正常粘膜的构造处于其形状无变化的状态的可能性高。
在步骤S528,S529之后,在步骤S30中,辨别部543h将辨别结果输出到运算部541b的外部的影像信号生成部541c,将辨别结果显示在显示装置505,结束图42或者图33A的处理。
手术师能够根据由辨别部543h辨别出的粘膜的状态,得到是否辨别对象区域的粘膜为病变部的可能性高的信息,通过参考由辨别部543h得到的辨别结果,能够高效地进行诊断。
因而,根据本实施方式,按以单位区域为单位的尺寸来适当地设定辨别对象区域,从而能够对辨别对象区域内的生物体粘膜的状态进行辨别。
此外,如上所述,说明了辨别对象区域设定部543g将以下圆形区域Ac设定为辨别对象区域Ad的情况:以计算为关注单位区域UBin的第二特征量的关注单位区域UBin的外形(轮廓)的宽度的最大值的规定倍(在具体例中1.5倍)为半径的圆形区域Ac。并不限定于这样将圆形区域Ac设定为辨别对象区域Ad的情况,例如也可以如图41B中用虚线所示那样将矩形区域Ar设定为辨别对象区域Ad。此外,图41B示出的矩形区域Ar是在将关注单位区域UBin的外形(轮廓)的宽度的最大值的3倍设为一边的长度的情况下进行表示的,但是并不限定于该尺寸。
也可以如图41B示出的例子那样,单位区域设定部543e具有(在图32中用虚线表示的)圆形/矩形区域设定部545c,该圆形/矩形区域设定部545c根据第二特征量来设定以关注单位区域UBin为中心的圆形区域Ac或者矩形区域Ar,将在圆形/矩形区域设定部545c中设定的圆形区域Ac或者矩形区域Ar内包含的单位区域(群)设定为辨别对象区域Ad。
上述辨别对象区域Ad的设定方法除了能够在如图41B所示单位区域相连结的图像的情况下应用以外,还能够在如图43A所示单位区域群例如分离为上侧区域A1与下侧区域A2的构造的图像的情况下应用。在该情况下,如图43B所示,例如将存在于最接近图像中心的距离的单位区域设定为关注单位区域UBin,如图43C所示,例如大致以关注单位区域UBin为中心来设定矩形区域Ar,如图43D所示,能够将该矩形区域Ar设定为辨别对象区域Ad’。而且,能够基于图43D示出的辨别对象区域Ad’内包含的单位区域,根据上述第一特征量对辨别对象区域Ad’的粘膜状态进行辨别。
但是,在图41B示出的图像的情况下,成为通过作为与各单位区域彼此邻接的单位区域共用的粘膜微细构造的MCE来连结或者邻接的构造,与此相对地,在图43A的图像的情况下,成为作为粘膜微细构造的带状的MCE没有连结或者邻接而分离为两个区域A1、A2的构造。
如图43A所示在分离为两个区域A1、A2的情况下,认为排除与关注单位区域UBin分离的区域A1侧来设定辨别对象区域的话,能够更为适当地辨别粘膜状态。
因此,也可以根据作为更重视与关注单位区域UBin的相关性的第三特征量的、与关注单位区域UBin邻接的次数来设定辨别对象区域。在该情况下,也可以如下那样定义次数。
将关注单位区域UBin设定为0次单位区域,在存在于关注单位区域UBin周围的多个单位区域中,将与上述0次单位区域邻接的单位区域设定为1次单位区域、将与该1次单位区域邻接而不与上述0次单位区域邻接的单位区域设定为2次单位区域、将与该2次单位区域邻接而不与上述1次单位区域邻接的单位区域设定为3次单位区域、…这种情况、换言之将N作为自然数而将上述多个单位区域中的与N次单位区域邻接而不与N-1次单位区域邻接的单位区域设定为N+1次单位区域。在后文中说明具体例。
而且,上述第三特征量计算部544c计算将关注单位区域UBin设定为0次单位区域、与上述0次单位区域邻接的1次单位区域、与上述1次单位区域邻接的2次单位区域、…中的次数,来作为第三特征量。另外,与该次数相关联地,运算部541b具有识别部543j,该识别部543j在关注单位区域UBin及其其周围所存在的多个单位区域中将具有共同的粘膜微细构造的单位区域识别为相互邻接的单位区域(图32参照)。而且,第三特征量计算部544c根据由识别部543j得到的识别结果,针对存在于关注单位区域UBin周围的多个单位区域计算与关注单位区域UBin邻接的次数。因此,第三特征量计算部544c具备计算作为第三特征量的次数的次数计算部的功能。
另外,在上述说明中,说明了关注单位区域设定部543i使用条件C1(即存在于最接近图像中心的距离的一个单位区域)来设定关注单位区域UBin的情况,但是并不限定于该条件C1,也可以基于单位区域进行连接(连结)的次数的信息根据以下那样的条件C2-C5设定关注单位区域UBin。
关注单位区域设定部543i也可以通过以下条件C2-C5来设定关注单位区域UBin:
C2:相连结的单位区域的次数(后述的说明书的U-1、U-2等)被取为最高次的单位区域;
C3:最接近相连结的单位区域群整体的中心(或者重心)的单位区域;
C4:在图像中随机地设定的单位区域;
C5:手动设定的单位区域。
此外,关注单位区域UBin并不限定于一个,也可以设定多个。进一步说,关注单位区域UBin并不限定于一个,也可以对全部单位区域进行辨别对象区域Ad的设定和粘膜状态的辨别。作为此时的顺序,也可以从与上述条件(C1-C5)匹配的单位区域起依次进行实施,也可以随机地进行,也可以单纯地从图像的右上起依次进行实施。
另外,在上述说明中,说明了第一特征量计算部544a计算平均圆形度作为第一特征量的情况,但是并不限定于圆形度,也可以根据辨别对象区域Ad内包含的单位区域计算面积、色调(亮度值、像素值)、周围长度等。另外,第一特征量计算部544a除了计算平均统计量作为第一特征量以外,还可以计算分散(变动系数)统计量作为第一特征量。
另外,也可以在进行图33A的处理的情况下,在步骤S507中,第二特征量计算部544b如以下说明那样计算关注单位区域UBin的面积作为第二特征量(并非上述宽度),在步骤S508中,辨别对象区域设定部543g基于计算出的面积,根据使用面积的阈值的比较结果,使用次数来设定辨别对象区域。
辨别对象区域设定部543g根据作为第二特征量而计算出的关注单位区域UBin的面积是否为阈值(更具体地说面积的阈值)以上,来设定辨别对象区域Ad的范围。这样,辨别对象区域设定部543g根据计算出的第二特征量以单位区域为单位来设定辨别对象区域Ad(的范围)。也就是说,辨别对象区域设定部543g根据计算出的第二特征量将辨别对象区域Ad设定为包含关注单位区域UBin的单位区域群。
另外,辨别对象区域设定部543g也可以在设定辨别对象区域Ad的情况下,如以下说明那样根据表示关注单位区域UBin及其周围的单位区域UBj的构造上的相关性的第三特征量来设定(决定)。
图44示出辨别对象区域设定部543g根据作为第三特征量的面积来设定(决定)辨别对象区域Ad的处理。
如步骤S511所示,向辨别对象区域设定部543g输入由第二特征量计算部544b计算出的面积。如步骤S512所示,辨别对象区域设定部543g判断由第二特征量计算部544b计算出的面积是否为由阈值设定部546a设定的面积的阈值以上。此外,阈值设定部546a例如将面积的阈值设定为5000左右、更具体地说5000像素数。
在步骤S512的判断处理中,在面积为面积的阈值以上的判断结果的情况下,如步骤S513所示,辨别对象区域设定部543g将关注单位区域UBin以及与该关注单位区域UBin周围直接连接的所有单位区域UBj设定为辨别对象区域Ad。换言之,辨别对象区域设定部543g将以下区域设定为辨别对象区域Ad:将关注单位区域UBin设为0次单位区域而得到的0次单位区域;以及与该0次单位区域直接连接的1次单位区域的所有(单位区域或者单位区域群的)区域。
例如在图41A示出的关注单位区域UBin的面积为面积的阈值以上的情况下,如图45A所示,辨别对象区域设定部543g将关注单位区域UBin及其周围用斜线表示的所有1次单位区域(群)U-1设定为辨别对象区域Ad。与此相对地,在图44中的步骤S512的判断中,在关注单位区域UBin的面积小于面积的阈值的情况下,如步骤S514所示,辨别对象区域设定部543g将关注单位区域UBin、与该关注单位区域UBin直接连接的所有1次单位区域(群)U-1以及与1次单位区域(群)U-1直接连接的所有2次单位区域(群)U-2设定为辨别对象区域Ad。换言之,辨别对象区域设定部543g将0次单位区域、1次单位区域以及2次单位区域的所有(单位区域群的)区域设定为辨别对象区域Ad。该情况下的辨别对象区域Ad如图45B那样。而且,结束图44示出的辨别对象区域Ad的设定处理、即结束图33A中的步骤S508的处理。
这样,在作为第二特征量的例如面积值小于阈值的情况下,与面积值为阈值以上的情况相比扩大辨别对象区域Ad内包含的单位区域的范围,由此利用于从辨别对象区域Ad辨别粘膜状态的信息不会不足,能够适当地进行辨别。
辨别对象区域设定部543g在设定(决定)辨别对象区域Ad之后,将其设定(决定)的信息输出到特征量计算部543f的第一特征量计算部544a。而且,如上所述,进行图33A中的步骤S509以后的处理。
此外,辨别对象区域Ad的设定并不限定于如图44所示根据关注单位区域UBin的面积来设定为1次单位区域(群)U-1或者2次单位区域(群)U-2的情况。也可以设定为使用3次单位区域(群)U-3。例如还可以在图44的步骤S512的判断中在关注单位区域UBin的面积小于阈值(具体地说5000)的情况下,如图46的步骤S515所示,进一步判断关注单位区域UBin的面积是否为(小于上述阈值的值的)第二阈值(例如3000)以上。
而且,在关注单位区域UBin的面积值为第二阈值以上的情况下,如图42的步骤S514所示,使到2次单位区域(群)U-2为止的区域包含在辨别对象区域Ad。
与此相对地,也可以在关注单位区域UBin的面积的值小于第二阈值的情况下,如步骤S516所示,使到与2次单位区域(群)U-2周围连接的3次单位区域(群)U-3为止的区域包含在辨别对象区域Ad。这样,可以设定两个阶段的阈值并根据与阈值的比较结果来设定辨别对象区域Ad内包含的单位区域(群)的次数,也可以设定三个阶段以上的阈值并根据与阈值的比较结果来设定辨别对象区域Ad内包含的单位区域(群)的次数。
或者,例如也可以通过以下式(2)那样的运算处理来设定辨别对象区域Ad内包含的单位区域(群)的次数(将该次数定义为连接次数)N。
连接次数P=10000/(关注单位区域UBin的面积)  (2)
在此,舍掉式(2)的运算结果中的小数点以下的部分。另外,在运算结果小于1的情况下(即在关注单位区域UBin的面积超过10000的情况下),设为N=1。
接着,下面说明在图43A那样的图像的情况下利用了有效设定辨别对象区域的范围的次数的辨别对象区域设定单元和辨别对象区域设定方法。如图47的步骤S541所示,在对图43A的图像进行单位区域的设定之后,如步骤S542所示,进行关注单位区域的设定的处理。
在该情况下,识别部543j将具有共用的粘膜微细构造的单位区域识别为相互邻接的单位区域(或者单位区域群)。而且,第三特征量计算部544c根据由识别部543j得到的识别结果,计算与关注单位区域UBin邻接的单位区域的次数作为第三特征量。
如上所述,在图43A示出的图像中,例如图43B所示,例如设定关注单位区域UBin作为存在于最接近图像中心的距离的单位区域。此外,也可以如上所述以符合C1的条件以外的例如C2或者C3的条件的方式设定关注单位区域UBin。
如图47的步骤S543所示,第二特征量计算部544b进行关注单位区域UBin的面积、宽度等第二特征量的计算。如步骤S544所示,辨别对象区域设定部543g根据第二特征量的计算结果,识别成为次数的阈值以下的次数的单位区域并设定为辨别对象区域Ad。例如在通过图44的处理来设定辨别对象区域Ad的情况下,在关注单位区域UBin的面积为阈值以下的情况下,将次数为2以下的单位区域设定为辨别对象区域Ad。
图48示出对于图43A的图像的情况在关注单位区域UBin的面积为阈值以下的情况下设定的辨别对象区域Ad的例子。在该情况下,将关注单位区域UBin作为0次单位区域,并利用以下区域来设定辨别对象区域Ad:由在关注单位区域UBin外侧经由共用的MCE 551连接的四个单位区域构成的1次单位区域(群)U-1以及由在1次单位区域(群)U-1的外侧经由共用的MCE连接的七个单位区域构成的2次单位区域(群)U-2。此外,图49示出关注单位区域UBin周围的单位区域经由共用的MCE 551连接的情况的说明图。如图49所示,关注单位区域UBin的构成该关注单位区域UBin的带状的MCE 551的下侧部分与单位区域UB1和UB2的MCE 551共用。其它单位区域也同样地经由共用的MCE 551连接。识别部543j将关注单位区域UBin周围的多个单位区域中的具有作为共用的粘膜微细构造的MCE 551的单位区域识别为相互邻接的单位区域。
在这样利用相对于关注单位区域UBin的次数来设定辨别对象区域Ad的情况下,能够将与关注单位区域UBin相关性高的区域设定为辨别对象区域Ad。如图47所示,在步骤S544的下一步骤S545中,辨别部543h使用第一特征量计算部544a针对辨别对象区域Ad计算第一特征量得到的计算结果来辨别粘膜状态。并且在下一步骤S546中,辨别部543h将辨别结果输出到影像信号生成部541c,在显示装置505中显示辨别结果。而且,结束图47的处理。
如图47所示,在利用次数来设定辨别对象区域Ad的情况下,如图41B所示单位区域进行连结的情况不用说,在如图43A所示区域A1和A2那样单位区域未进行连结那样的图像的情况下,也能够以包含与关注单位区域UBin的相关性高的单位区域的方式设定辨别对象区域Ad,因此能够高精度地辨别粘膜状态。
此外,在图42中,使用平均圆形度Cav和辨别用阈值来进行辨别,但是也可以计算圆形度、面积、周围长度的变动系数CV,在变动系数的阈值(例如0.3)以上的情况下辨别为粘膜状态为不规则的构造,在小于阈值的情况下辨别为粘膜状态为规则的构造。
另外,也可以将关注单位区域UBin的圆形度、面积、周围长度与辨别对象区域Ad内的平均值进行比较,在前者与后者之比为1.3的阈值以上的情况下辨别为粘膜状态为不规则的构造,在小于阈值的情况下辨别为粘膜状态为规则的构造。
另外,在上述说明中,说明了以辨别对象区域Ad内包含的各单位区域整体来计算各种特征量的情况,但是也可以根据各单位区域内包含的血管、MCE、窝间部分别计算上述各种特征量。另外,也可以使用与血管、MCE、窝间部各自对应的阈值来辨别粘膜状态。
另外,在上述用于设定(计算)单位区域的说明中,说明了在计算MCE区域MBi的宽度Tk的情况下使用粗略封闭区域CBj的边界像素BQk来计算的情况,但是也可以根据MCE区域MBi来计算。换言之,宽度计算部545a那样的特征量计算部可以根据作为粘膜微细构造区域的MCE区域MBi计算用于设定单位区域的范围的特征量,或者也可以根据作为封闭区域的粗略封闭区域CBj计算用于设定单位区域的范围的特征量。
此外,图33A中的步骤S502中的预处理内容并不限定于噪声抑制与逆伽马校正,也可以施加明亮度、色调的校正等。另外,预处理的各方法也并不限定方法,也可以根据作为对象的图像、设备的特性来进行变更。例如在本实施方式中,使用中值滤波器作为噪声抑制的方法,但是也可以使用平滑化滤波器等其它方法作为噪声抑制的方法。
步骤S503中的MCE区域MBi的检测或者提取方法并不限定于上述构造成分提取方法,也可以使用其它方法。例如也可以是对亮度值、色调等像素值的阈值处理、使用伽柏滤波器等各种频率滤波器的方法、使用了作为公知技术的海赛矩阵、矢量集中度的线段检测处理。
步骤S504中的粗略封闭区域CBj的检测或者识别方法并不限定于使用上述加标记的方法,也可以使用其它方法。例如也可以通过扫描检测出的MCE区域MBi的边界像素BQk来搜索封闭区域,从而检测粗略封闭区域CBj。
在步骤S505中,宽度Tk是通过从边界像素BQk起对像素数进行计数来进行计算的,但是并不限定于该方法,也可以使用将在步骤S503的提取MCE区域MBi时使用的模板、滤波器的尺寸用作宽度Tk等其它方法。
另外,在全部边界像素BQk实施了宽度Tk的计算,但是并不限定于使用全部边界像素BQk的情况,例如也可以从每隔几个像素进行采样的像素起计算宽度Tk。
并且,区域尺寸BSj的计算并不限定于宽度Tk的平均值,也可以使用宽度Tk的最频值、最小值、最大值等其它统计量。
另外,区域尺寸BSj的计算并不限定于使用宽度Tk的方法,也可以根据粗略封闭区域CBj的尺寸、形状等来计算,还可以由用户设定任意的值。另外,也可以根据粗略封闭区域CBj的面积等来决定用于规定单位区域的范围的区域尺寸BSj。
并且,在本实施方式中,以距粗略封闭区域CBj的边界像素的距离来设定单位区域UBj的范围,但是并不限定于该方法,例如也可以以粗略封闭区域CBj的中心点(重心)等为基准来设定单位区域UBj的范围。
在图40中示出允许各单位区域UBj重叠的例子,但是也可以判断重叠的部分属于哪一个单位区域UBj并分割重叠的区域。
也可以将被设定为单位区域UBj的各像素保持为图像数据,通过影像信号生成部541c生成影像信号,由此在显示装置505等中进行图像显示。
根据本实施例的方式,在表示粘膜微细构造的医用图像中,将在生物体组织学上成为一个单位的区域以能够分离或者识别为单位区域的方式进行设定。而且,以单位区域为单位,以包含要关注的关注单位区域UBin的方式在其周围设定由适当尺寸的单位区域群构成的辨别对象区域,从而能够对辨别对象区域的粘膜状态进行辨别。
因此,在复杂的图像数据中也能够以在生物体组织学上的单位区域为单位,将要进行诊断的辨别对象区域设定为适当的尺寸,适当地对辨别对象区域的粘膜状态进行辨别,从而能够辅助诊断等。
与此相对地,在无法设定在生物体组织学上的单位区域的以往例的情况下,需要对在生物体组织学上多个单位地连接而成的复杂范围进行诊断,难以进行状态辨别。
此外,上述第三实施方式中,也可以将关注单位区域UBin设定为辨别对象区域Ad,(将)该关注单位区域UBin单体(设定为辨别对象区域Ad)进行第一特征量的计算,根据计算出的第一特征量来进行关注单位区域UBin的粘膜状态的辨别。具体地说,例如将在图41A中设定的关注单位区域UBin设定为辨别对象区域Ad。另外,也可以将图43B示出的关注单位区域UBin设定为辨别对象区域Ad。
图50示出该情况下的处理。图50示出的处理的步骤S501至S506与在图33A中说明的内容相同,在步骤S506的处理之后,不进行图33A的S507、S508,而进行步骤S509与S510的处理。
此外,在图33A中,对包含关注单位区域UBin的由多个单位区域构成的辨别对象区域Ad进行第一特征量的计算,但是在图50示出的步骤S509中,第一特征量计算部544a对关注单位区域UBin进行第一特征量的计算。第一特征量计算部544a例如计算圆形度作为关注单位区域UBin的第一特征量。另外,在步骤S510中,辨别部543h在计算出的圆形度例如为作为阈值的0.6以上的情况下判断为关注单位区域UBin的粘膜为规则的构造,在小于0.6的情况下判断为不规则的构造。或者也可以在关注单位区域UBin内包含的MCE的粗度(宽度)的变动系数小于0.3的情况下判断为关注单位区域UBin的粘膜为规则的构造,在0.3以上的情况下判断为不规则的构造。
此外,在上述实施方式等中,作为用于辨别粘膜状态的例子,在是规则的构造还是不规则的构造这种表示粘膜的“状态”的范畴的情况下进行了说明。并不限定于这种范畴的情况,例如也可以将第一特征量的统计量的计算结果与阈值进行比较,进行如进行是癌症还是非癌症的辨别那样的与“病情”或者“医学分类”有关的范畴的辨别。另外,在上述实施方式中,在胃部的情况下进行了说明,但是还能够应用于拍摄其它大肠、食道等生物体粘膜而得到的医用图像。
此外,也可以构成为辨别部543h具备用于计算第一特征量的第一特征量计算部544a。另外,也可以构成为辨别部543h如图32的虚线所示具备用于计算第一特征量的统计量的统计量计算部547b。另外,也可以辨别部543h根据上述统计量来辨别粘膜状态。另外,部分地组合上述实施方式等而构成的实施方式也属于本发明。
此外,本发明并不限定于上述实施方式,当然在不脱离发明的宗旨的范围内能够进行各种变更、应用。
本申请是以2012年11月7日在日本申请的特愿2012-245667号以及2012年12月5日在日本申请的特愿2012-266445号为优先权基础而申请的,上述公开内容被引用于本申请说明书、权利要求书、附图。

Claims (20)

1.一种医疗用图像处理装置,具有:
输入部,其被输入拍摄生物体粘膜得到的生物体粘膜图像;
区域提取部,其从输入到上述输入部的上述生物体粘膜图像中提取与粘膜微细构造对应的粘膜微细构造区域;
封闭区域识别部,其识别视为被上述粘膜微细构造区域包围的至少一个封闭区域;以及
单位区域设定部,其基于由上述区域提取部提取出的上述粘膜微细构造区域以及由上述封闭区域识别部识别出的上述封闭区域来设定单位区域。
2.根据权利要求1所述的医疗用图像处理装置,其特征在于,
上述区域提取部提取上述生物体粘膜图像中的带状的构造区域作为上述粘膜微细构造区域。
3.根据权利要求1或2所述的医疗用图像处理装置,其特征在于,
上述单位区域设定部在针对多个封闭区域进行上述单位区域的设定的情况下,针对上述多个封闭区域分别独立地进行上述单位区域的设定。
4.根据权利要求1~3中的任一项所述的医疗用图像处理装置,其特征在于,还具有:
特征量计算部,其根据上述粘膜微细构造区域或者上述封闭区域来计算用于设定上述单位区域的范围的特征量;以及
范围设定部,其基于上述特征量来设定上述单位区域的范围。
5.根据权利要求1~4中的任一项所述的医疗用图像处理装置,其特征在于,
上述粘膜微细构造为生物体粘膜上的血管、基于腺构造的上皮形态或者腺口形态。
6.根据权利要求1~5中的任一项所述的医疗用图像处理装置,其特征在于,
还具有虚拟粘膜微细构造设定部,该虚拟粘膜微细构造设定部针对上述生物体粘膜图像设定虚拟的粘膜微细构造区域,
上述封闭区域识别部将被由上述区域提取部提取出的上述粘膜微细构造区域以及由上述虚拟粘膜微细构造设定部设定的上述虚拟的粘膜微细构造区域包围的区域识别为上述封闭区域。
7.根据权利要求6所述的医疗用图像处理装置,其特征在于,
上述虚拟粘膜微细构造设定部将由上述区域提取部提取出的上述粘膜微细构造区域中的未闭合的端点彼此进行连接,来设定上述虚拟的粘膜微细构造区域。
8.根据权利要求6所述的医疗用图像处理装置,其特征在于,
上述虚拟粘膜微细构造设定部利用从由上述区域提取部提取出的上述粘膜微细构造区域中的上述未闭合的端点向上述粘膜微细构造区域的延伸方向延伸的虚拟线,来设定上述虚拟的粘膜微细构造区域。
9.根据权利要求4所述的医疗用图像处理装置,其特征在于,
上述特征量计算部由宽度计算部构成,该宽度计算部计算包围上述封闭区域的上述粘膜微细构造区域的宽度尺寸。
10.根据权利要求5所述的医疗用图像处理装置,其特征在于,
在上述生物体粘膜为上皮形态的情况下,上述单位区域设定部设定腺窝边缘上皮的区域以及作为一个上述封闭区域的窝间部的区域,该腺窝边缘上皮的区域与该窝间部的区域的周缘的外侧邻接,构成包围上述窝间部的闭合的带状的上述粘膜微细构造区域。
11.根据权利要求1所述的医疗用图像处理装置,其特征在于,还具有:
第一特征量计算部,其根据基于在上述单位区域设定部中设定的上述单位区域而设定的辨别对象区域来计算第一特征量;以及
辨别部,其根据由上述第一特征量计算部计算出的第一特征量来辨别具有上述辨别对象区域的粘膜的状态。
12.根据权利要求11所述的医疗用图像处理装置,其特征在于,
在上述单位区域设定部中设定有多个单位区域的情况下,还具有:
关注单位区域设定部,其从在上述单位区域设定部中设定的多个单位区域中设定作为要关注的一个单位区域的关注单位区域;
第二特征量计算部,其根据上述关注单位区域计算第二特征量;以及
辨别对象区域设定部,其根据上述第二特征量,从上述多个单位区域中设定进行上述第一特征量的计算的上述辨别对象区域,
其中,上述第一特征量计算部在上述辨别对象区域设定部中设定的上述辨别对象区域中进行上述第一特征量的计算。
13.根据权利要求12所述的医疗用图像处理装置,其特征在于,
还具有第三特征量计算部,该第三特征量计算部针对上述多个单位区域计算表示与上述关注单位区域的相关性的第三特征量,
上述辨别对象区域设定部具备阈值设定部,该阈值设定部设定在基于上述第二特征量来设定上述辨别对象区域时使用的阈值,
上述辨别对象区域设定部基于上述阈值和上述第三特征量,从上述多个单位区域中设定上述辨别对象区域。
14.根据权利要求13所述的医疗用图像处理装置,其特征在于,
上述第三特征量计算部针对上述多个单位区域计算与上述关注单位区域邻接的次数来作为上述第三特征量,
上述辨别对象区域设定部将具有上述阈值以下的次数的上述多个单位区域设定为上述辨别对象区域。
15.根据权利要求13所述的医疗用图像处理装置,其特征在于,
上述第三特征量计算部针对上述多个单位区域计算距上述关注单位区域的距离来作为上述第三特征量,
上述辨别对象区域设定部将距上述关注单位区域的距离为上述阈值以下的多个单位区域设定为上述辨别对象区域。
16.根据权利要求12所述的医疗用图像处理装置,其特征在于,
上述单位区域设定部具备矩形区域设定部,该矩形区域设定部基于上述第二特征量来设定以上述关注单位区域为中心的矩形区域的大小,
将在上述矩形区域设定部中设定的矩形区域内包含的上述多个单位区域设定为上述辨别对象区域。
17.根据权利要求14所述的医疗用图像处理装置,其特征在于,
上述第三特征量计算部计算上述多个单位区域的次数作为上述第三特征量,该多个单位区域的次数是通过以下方式计算出的:将上述关注单位区域设定为0次单位区域,将上述多个单位区域中的与上述0次单位区域邻接的单位区域识别为1次单位区域,将上述多个单位区域中的与N次单位区域邻接并且不与N-1次单位区域邻接的单位区域设定为N+1次单位区域,其中,N为自然数。
18.根据权利要求14所述的医疗用图像处理装置,其特征在于,
还具有识别部,该识别部将上述多个单位区域中的具有共同的粘膜微细构造的单位区域识别为相互邻接的单位区域,
上述第三特征量计算部基于上述识别部的识别结果,针对上述多个单位区域计算与上述关注单位区域邻接的次数。
19.根据权利要求11~18中的任一项所述的医疗用图像处理装置,其特征在于,
上述区域提取部在上述生物体粘膜图像中提取带状的构造作为上述粘膜微细构造区域。
20.根据权利要求11~19中的任一项所述的医疗用图像处理装置,其特征在于,
上述辨别部具备统计量计算部,该统计量计算部计算上述第一特征量的统计量,
上述辨别部根据上述统计量来辨别上述粘膜的状态。
CN201380018296.3A 2012-11-07 2013-11-05 医疗用图像处理装置 Active CN104203075B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012-245667 2012-11-07
JP2012245667 2012-11-07
JP2012-266445 2012-12-05
JP2012266445 2012-12-05
PCT/JP2013/079884 WO2014073527A1 (ja) 2012-11-07 2013-11-05 医療用画像処理装置

Publications (2)

Publication Number Publication Date
CN104203075A true CN104203075A (zh) 2014-12-10
CN104203075B CN104203075B (zh) 2017-03-01

Family

ID=50684630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380018296.3A Active CN104203075B (zh) 2012-11-07 2013-11-05 医疗用图像处理装置

Country Status (5)

Country Link
US (1) US9129384B2 (zh)
EP (1) EP2815692B1 (zh)
JP (1) JP5593009B1 (zh)
CN (1) CN104203075B (zh)
WO (1) WO2014073527A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494247A (zh) * 2022-04-01 2022-05-13 武汉大学 齿状线分割方法、装置、计算机设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6234648B1 (ja) * 2016-01-15 2017-11-22 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP6368870B2 (ja) * 2016-05-18 2018-08-01 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP7034102B2 (ja) * 2016-06-30 2022-03-11 ギブン イメージング リミテッド 対象の消化管における粘膜疾患の評価及び監視のためのシステム及び方法
JP6831463B2 (ja) * 2017-07-14 2021-02-17 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
CN111050628B (zh) * 2017-09-15 2022-09-06 富士胶片株式会社 医疗图像处理装置
KR102210806B1 (ko) * 2018-10-02 2021-02-01 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
JP2023005896A (ja) * 2021-06-29 2023-01-18 富士フイルム株式会社 内視鏡システム、医療画像処理装置及びその作動方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02124131A (ja) * 1988-11-02 1990-05-11 Olympus Optical Co Ltd 内視鏡画像処理装置
JP2004181096A (ja) * 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
US20090074269A1 (en) * 2006-03-16 2009-03-19 Olympus Medical Systems Corp. Medical image processing device and medical image processing method
US20110245642A1 (en) * 2010-04-05 2011-10-06 Yasuhiro Minetoma Electronic endoscope system
WO2012002012A1 (ja) * 2010-06-30 2012-01-05 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
JP2012045055A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1055198B1 (en) * 1998-12-21 2006-06-21 Koninklijke Philips Electronics N.V. Deriving dimensions of a detail of an object
JP4451460B2 (ja) 2007-03-16 2010-04-14 オリンパス株式会社 内視鏡診断支援装置
US8184888B2 (en) * 2007-09-19 2012-05-22 Siemens Medical Solutions Usa, Inc. Method and system for polyp segmentation for 3D computed tomography colonography
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5011452B2 (ja) * 2010-04-12 2012-08-29 オリンパスメディカルシステムズ株式会社 医用画像処理装置および医用画像処理装置の制御方法
JP5570866B2 (ja) * 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02124131A (ja) * 1988-11-02 1990-05-11 Olympus Optical Co Ltd 内視鏡画像処理装置
JP2004181096A (ja) * 2002-12-05 2004-07-02 Olympus Corp 画像処理方法
US20090074269A1 (en) * 2006-03-16 2009-03-19 Olympus Medical Systems Corp. Medical image processing device and medical image processing method
US20110245642A1 (en) * 2010-04-05 2011-10-06 Yasuhiro Minetoma Electronic endoscope system
WO2012002012A1 (ja) * 2010-06-30 2012-01-05 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
JP2012045055A (ja) * 2010-08-24 2012-03-08 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494247A (zh) * 2022-04-01 2022-05-13 武汉大学 齿状线分割方法、装置、计算机设备及存储介质
CN114494247B (zh) * 2022-04-01 2022-06-21 武汉大学 齿状线分割方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN104203075B (zh) 2017-03-01
EP2815692B1 (en) 2017-09-20
EP2815692A1 (en) 2014-12-24
JP5593009B1 (ja) 2014-09-17
JPWO2014073527A1 (ja) 2016-09-08
WO2014073527A1 (ja) 2014-05-15
US20140334698A1 (en) 2014-11-13
US9129384B2 (en) 2015-09-08
EP2815692A4 (en) 2016-01-13

Similar Documents

Publication Publication Date Title
CN104203075A (zh) 医疗用图像处理装置
JP5242381B2 (ja) 医療用画像処理装置及び医療用画像処理方法
EP1849402B1 (en) Medical image processing device, lumen image processing device, lumen image processing method, and programs for them
US9342881B1 (en) System and method for automatic detection of in vivo polyps in video sequences
CN112105286B (zh) 内窥镜装置、内窥镜操作方法及计算机可读取记录介质
JP7542585B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
CN107252299A (zh) 内窥镜装置以及内窥镜装置的工作方法
US11948080B2 (en) Image processing method and image processing apparatus
CN104869884A (zh) 医用图像处理装置以及医用图像处理方法
CN102300498A (zh) 用于解剖结构的红外显示设备及其信号处理方法
CN110913746B (zh) 诊断辅助装置、诊断辅助方法及存储介质
CN102984990A (zh) 诊断辅助装置
EP3932290A1 (en) Medical image processing device, processor device, endoscope system, medical image processing method, and program
US20130064436A1 (en) Medical image processing apparatus and method of operating medical image processing apparatus
US8873816B1 (en) Method and system for identification of red colored pathologies in vivo
CN107105987A (zh) 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置
CN107005683A (zh) 内窥镜装置
US12052526B2 (en) Imaging system having structural data enhancement for non-visible spectra
CN105007801B (zh) 图像处理装置以及内窥镜系统的工作方法
CN113453607B (zh) 医用图像处理装置及方法
Ghosh et al. Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy
US8929629B1 (en) Method and system for image-based ulcer detection
CN114845624A (zh) 医用图像处理装置、医用图像处理方法及程序
JP5057651B2 (ja) 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム
JPWO2020017211A1 (ja) 医用画像学習装置、医用画像学習方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151110

Address after: Tokyo, Japan, Japan

Applicant after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Olympus Medical Systems Corp.

GR01 Patent grant
GR01 Patent grant