CN106068092B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN106068092B
CN106068092B CN201680000508.9A CN201680000508A CN106068092B CN 106068092 B CN106068092 B CN 106068092B CN 201680000508 A CN201680000508 A CN 201680000508A CN 106068092 B CN106068092 B CN 106068092B
Authority
CN
China
Prior art keywords
color
image
mask
processing apparatus
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680000508.9A
Other languages
English (en)
Other versions
CN106068092A (zh
Inventor
池本洋祐
水口直志
小师敦
橘俊雄
太田纪子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN106068092A publication Critical patent/CN106068092A/zh
Application granted granted Critical
Publication of CN106068092B publication Critical patent/CN106068092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理装置,包括:彩色图像取得单元,其取得显示生物体组织的彩色图像的彩色图像数据;病变判定单元,其基于彩色图像数据对于彩色图像的各像素进行是否为病变部的像素的判定;标记单元,其基于判定的结果在彩色图像上标注显示病变部的位置的标记。上述标记为背景的彩色图像透明的标记。

Description

图像处理装置
技术领域
本发明涉及一种处理生物体组织的图像的图像处理装置。
背景技术
一般而言,生物体组织的病变部会与正常的部位显示出不同的颜色。由于彩色内窥镜装置性能的提升,已经可以识别颜色上与正常组织存在细微不同的病变部。然而,手术者为了能够基于内窥镜图像上颜色的细微差别而正确地从正常组织中识别出病变部,需要在熟练技术人员的指导下接受长期的训练。并且,即使对于熟练的手术者来说,也不能轻易地基于颜色上的细微差别而识别出病变部,要求其谨慎的作业。
因此,例如在特开2014-18332号公报(以下,记为“专利文献1”)中为了使得病变部的识别变得容易而提出了具有如下功能的电子内窥镜装置:对于使用白色光拍摄到的内窥镜图像数据,基于颜色信息来判定被摄体是否为病变部,并且进行变更被判定为病变部的像素的颜色的处理。
发明内容
就专利文献1的电子内窥镜装置所生成的标记图像而言,虽然明确地用颜色区分疑为病变部的部位,但是,由于诊断所需要的病变部的图像的信息受到损坏,因此,诊断时需要与普通观察图像认真对比而存在难以诊断的不便之处。
本发明是鉴于以上的问题而完成的,其目的在于提供一种图像处理装置,其在充分地保持病变部的图像的信息的同时,能够明确示出疑为病变部的部位。
根据本发明的一实施方式,提供一种图像处理装置,包括:彩色图像取得单元,其取得显示生物体组织的彩色图像的彩色图像数据;病变判定单元,其基于彩色图像数据对于彩色图像的各像素进行是否为病变部的像素的判定;标记单元,其基于判定的结果在彩色图像上标注显示病变部的位置的标记;其中,标记为背景的彩色图像透明的标记。
另外,在所述的图像处理装置中,也可以为如下构成:病变判定单元具有评分表生成单元,评分表生成单元生成评分表,评分表的要素中包括对于彩色图像的每个像素显示生物体组织的病变的重症度的评分,标记单元基于评分表在彩色图像上标注显示病变部的位置以及重症度的所述标记。
根据该构成,由于从标注在彩色图像上的标记也能够得到有关病变的重症度的信息,因此,能够基于客观的数据进行高级的诊断。
另外,在上述的图像处理装置中,也可以为如下构成:标记单元在彩色图像内设定作为处理的对象区域的掩模,计算掩模内的评分的代表值,基于代表值对于掩模标注标记。
另外,在上述的图像处理装置中,也可以为如下构成:标记单元设定规定的初始尺寸的掩模,对于初始尺寸的掩模计算代表值,根据代表值变更掩模的大小,以内接于变更了大小的掩模的方式标注标记。
根据该构成,由于通过标记的大小显示病变的重症度,因此,能够从被标注了标记的图像直观地把握重症度。
另外,在上述的图像处理装置中,也可以为如下构成:初始尺寸为掩模的最小尺寸。
另外,在上述的图像处理装置中,也可以为如下构成:标记单元在掩模内标注与代表值的数量相对应的标记。
根据该构成,由于通过标记的密度显示病变的重症度,因此,能够从被标注了标记的图像直观地把握重症度。
另外,在上述的图像处理装置中,也可以为如下构成:标记单元一边在彩色图像内扫描掩模,一边在彩色图像上标注标记。
另外,在上述的图像处理装置中,也可以为如下构成:标记单元以与设定完成的其他的掩模不重合的方式设定掩模。
根据该构成,不会失去已标注的标记的信息,维持了标记的信息的精度。
另外,在上述的图像处理装置中,也可以为如下构成:代表值为相加平均、加权平均、中央值、众数以及均方根中的任何一个。
另外,在上述的图像处理装置中,也可以为如下构成:生成评分表的单元包括:色彩空间转换单元,其将彩色图像数据的色彩空间转换为具有显示亮度或者明度的一个座标和显示颜色的性质的两个座标的色彩空间;评分计算单元,其基于彩色图像数据的各像素的颜色的性质计算各像素的评分。
另外,在上述的图像处理装置中,也可以为如下构成:生成评分表的单元进一步包括色彩增强单元,色彩增强单元在病变部所特有的像素值的范围的边界区域内进行提高颜色的性质的对比度的色彩增强处理,评分计算单元基于色彩增强处理之后的像素值计算各像素的评分。
另外,在上述的图像处理装置中,也可以为如下构成:评分计算单元基于与色调-饱和度空间或者色度空间中的基准点的距离计算各像素的评分。
另外,在上述的图像处理装置中,也可以为如下构成:病变部为炎症部,基准点为血液的颜色。
另外,在上述的图像处理装置中,也可以为如下构成:标记为记号。
另外,在上述的图像处理装置中,也可以为如下构成:标记为具有透过率的颜色。
另外,在上述的图像处理装置中,也可以为如下构成:标记为重症度的等高线。
另外,在上述的图像处理装置中,也可以为如下构成:彩色图像为电子内窥镜图像。
根据本发明的一实施方式,由于标注了生物体组织的彩色图像透明的标记,因此即使不参照标注标记之前的彩色图像也能够把握生物体组织的形状或结构,因此,能够更加容易且正确地进行图像诊断。
附图说明
图1为示出本发明的实施方式所涉及的电子内窥镜装置的概略构成的框图。
图2为示出与本发明的实施方式所涉及的电子内窥镜装置的图像处理有关的电路的概略构成的框图。
图3为示出图像存储器的存储区域的概略构成的图。
图4为示出图像处理电路进行的处理的顺序的流程图。
图5为用于TE处理的增益曲线的一例。
图6为示出有效像素判定处理的顺序的流程图。
图7为示出病变判定处理的顺序的流程图。
图8为在HS坐标空间内绘制了生物体组织图像的像素值的散布图。
图9为示出评分计算处理的顺序的流程图。
图10为示出色调距离、饱和度距离和相关值的关系的图表。
图11为说明标记处理(掩模的扫描)的图。
图12为示出掩模的构成的图。
图13为示出标记处理的顺序的流程图。
图14为说明标记处理的具体例子的图。
图15为说明标记处理的具体例子的图。
图16为说明标记处理的具体例子的图。
图17为说明标记处理的具体例子的图。
图18为说明标记处理的具体例子的图。
图19为说明标记处理的具体例子的图。
图20为说明标记处理的具体例子的图。
图21为显示画面的一例。
图22为本发明的第一实施方式的第一变形例的标记图像。
图23为本发明的第一实施方式的第二变形例的标记图像。
图24为示出本发明的第二实施方式的标记处理的顺序的流程图。
图25为说明图像混合处理的效果的图。
图26为说明本发明的第三实施方式中的等高线的作成方法的图。
具体实施方式
以下,参照附图对本发明的图像处理装置的实施方式进行说明。另外,在以下的说明中,作为本发明的一实施方式,以电子内窥镜系统为例进行说明。
<第一实施方式>
[电子内窥镜装置1整体的构成]
图1为示出本发明的第一实施方式的电子内窥镜装置1的构成的框图。如图1所示,电子内窥镜装置1包括电子镜(電子スコープ)100、处理器200以及监视器900。
处理器200包括系统控制器202和定时控制器204。系统控制器202执行存储在存储器212中的各种程序,并且统一控制电子内窥镜装置1整体。另外,系统控制器202连接于操作面板214。系统控制器202根据由操作面板214输入的来自手术者的指示而变更电子内窥镜装置1的各动作及用于各动作的参数。定时控制器204将调整各部分的动作的定时的同步信号输出至电子内窥镜装置1内的各电路。
灯208在利用灯电源点火器206开始动作后射出照射光L。灯208例如为氙灯、卤素灯、汞灯、金属卤素灯等高亮度灯或者LED(发光二极管)。照射光L是主要为具有从可见光区域扩展至不可见的红外光区域的光谱的宽波段光(或者至少包含可见光区域的白色光)。
从灯208射出的照明光L通过聚光透镜210会聚在LCB(光导束)102的入射端面,并且向LCB102内入射。
入射至LCB102内的照射光L在LCB102内传播,并从配置于电子镜100的前端的LCB102的射出端面射出,经由配光透镜104而照射至被摄体。来自被照射光L照射的被摄体的返回光经由物镜106在固体拍摄元件108的受光面上形成光学图像。
固体拍摄元件108为补色方格色差顺序方式(補色市松色差線順次方式)的单板式彩色CCD(电荷耦合装置)图像传感器。固体拍摄元件108对在受光面上成像的被摄体的光学图像进行拍摄,并输出模拟拍摄信号。具体而言,固体拍摄元件108将由受光面上的各像素成像的光学图像作为对应于光量的电荷蓄积,生成黄色Ye、青色Cy、绿色G、品红色Mg的颜色信号,将所生成的在垂直方向上邻接的两个像素的颜色信号相加并混合而得到扫描线,将得到的上述扫描线依次输出。此外,固体拍摄元件108并不限于CCD图像传感器,也可以调换为CMOS(互补金属氧化物半导体)图像传感器或其他种类的拍摄装置。固定拍摄元件108还可以搭载原色系滤光器(拜耳阵列滤光器)。
在电子镜100的连接部内具有驱动器信号处理电路110。以半帧周期通过固体拍摄元件108向驱动器信号处理电路110输入由上述的扫描线构成的模拟拍摄信号。此外,在以后的说明中,“半帧”也可以调换为“帧”。在本实施方式中,半帧周期、帧周期分别为1/60秒、1/30秒。驱动器信号处理电路110对于由固体拍摄元件108输入的模拟拍摄信号实施规定的处理并向处理器200的图像处理电路220输出。
驱动器信号处理电路110还访问存储器120并读取电子镜100的固有信息。存储器120中所记录的电子镜100的固有信息包括例如固体拍摄器件108的像素数或敏感度、可操作的半帧速率、型号等。驱动器信号处理电路110将从存储器120读出的固有信息输出至系统控制器202。
系统控制器202基于电子镜100的固有信息进行各种运算,并生成控制信号。系统控制器202使用所生成的控制信号控制处理器200内的各个电路的动作和定时,从而进行适合与处理器200连接的电子镜的处理。
定时控制器204根据系统控制器202的定时控制生成同步信号。驱动器信号处理电路110根据从定时控制器204供应的同步信号,按照与处理器200所生成的视频信号的半帧速率同步的定时驱动控制固体拍摄元件108。
在系统控制器202的控制下,图像处理电路220基于从电子镜100输出的拍摄信号生成图像数据。另外,图像处理电路220使用所生成的图像数据生成监视器显示用的画面数据,并且将该画面数据转换为规定的视频格式的视频信号并输出。视频信号被输入至监视器900,从而被摄体的彩色图像显示在监视器900的显示画面上。
图2为示出与电子内窥镜装置1的图像处理有关的电路的概略构成的框图。
驱动器信号处理电路110具备驱动电路112和AFE(模拟前端)114。驱动电路112基于同步信号生成固体拍摄元件108的驱动信号。AFE114对于从固体拍摄元件108输出的模拟拍摄信号进行噪音去除、信号放大/增益修正以及A/D转换,并输出数字拍摄信号。此外,在本实施方式中,也可以构成为由固体拍摄元件108或者图像处理电路220进行AFE114所进行的全部处理或者部分处理。
图像处理电路220具备基本处理部220a、输出电路220b、TE(Tone Enhancement:色调增强)处理部221、有效像素判定部222、色彩空间转换部223、病变判定部224、评分计算部225、标记处理部226、图像存储器227、显示画面生成部228以及存储器229。有关图像处理电路220的各部分所进行的处理将于后述。
图3(a)为示出图像存储器227所具备的存储区域的概略构成的图。在本实施方式的图像存储器227中设置了三个存储区域Pn、Pe、Pm。存储区域Pn为存储基本处理部220a所生成的普通观察图像数据N(表示普通观察图像NP的图像数据)的区域。存储区域Pe为存储TE处理部221所生成的色调增强图像数据E(表示色调增强图像EP的图像数据)的区域。存储区域Pm为存储标记处理部226所生成的标记图像数据M(表示标记图像MP的图像数据)的区域。
另外,如图2所示,在存储器229中存储标识表FT、评分表ST、掩模表MT、色调相关值表HCT以及饱和度相关值表SCT。标识表FT及评分表ST为由标识F(x,y)、评分Sc(x,y)构成的数值表,标识F(x,y)、评分Sc(x,y)分别示出有关普通观察图像数据N的各像素(x,y)的分析结果。具体而言,标识F(x,y)是表示在对应的像素(x,y)上所拍摄的组织有无病变的参数,评分Sc(x,y)是表示该病变的重症度的参数。有关色调相关值表HCT、饱和度相关值表SCT以及掩模表MT将于后述。
[基本处理S1]
接着,对图像处理电路220进行的处理进行说明。
图4为示出图像处理电路220进行的处理的顺序的流程图。从AFE114输出的数字信号首先通过基本处理部220a进行一般的信号处理(基本处理S1),从而生成普通观察图像数据N。
基本处理S1包括:将从AFE114输出的数字拍摄信号转换为亮度信号Y及色差信号Cb、Cr的处理;从亮度信号Y及色差信号Cb、Cr分离原色信号R、G、B的原色分离处理;除去偏置分量的钳位处理(クランプ処理);使用周围的像素的像素值修正缺陷像素的像素值的缺陷修正处理;将由单色的像素值构成的拍摄数据(RAW数据)转换为由全彩色的像素值构成的图像数据的去马赛克处理(デモザイク処理)(插值处理);使用彩色矩阵修正拍摄元件的分光特性的线性矩阵处理;修正照明光的光谱特性的白平衡处理;补偿空间频率特性的劣化的轮廓修正等。
此外,在本实施方式中,也可以构成为由驱动器信号处理电路110或者固体拍摄元件108进行基本处理部220a所进行的处理的全部或者一部分。
由基本处理部220a生成的普通观察图像数据N被输入TE处理部221的同时被存储于图像存储器227的存储区域Pn
[动作模式判定处理S2]
接着,判断是否设定为图像分析模式(S2)。本发明的实施方式所涉及的图像分析模式是对图像数据的各像素分析颜色信息,基于规定的判定基准根据颜色信息的分析结果来判定是否为拍摄了病变部的像素(以下称为“病变像素”。),并识别显示病变像素的动作模式。所判定的病变的种类可以根据检查内容来选择。在以下说明的例子中,提取炎症性肠病(IBD)的病变即炎症(包含浮肿或易出血性的红色病变)的观察图像所特有的色域的像素并进行识别显示。
此外,本实施方式的电子内窥镜装置1以在图像分析模式和普通观察模式这两个动作模式下进行动作的方式构成。动作模式通过对于电子镜100的操作部130或处理器200的操作面板214的用户操作来进行切换。在设定为普通观察模式的情况下(S2:否),处理转至S9。
[TE(色调增强)处理S3]
在选择图像分析模式的情况下(S2:是),接着进行由TE处理部221执行的TE处理S3。TE处理S3为如下处理:为了提高病变的判定精度,进行对于普通观察图像数据N的各原色信号R、G、B赋予非线性的增益(收益)的增益调整,实质性扩展判定対象的病变所特有的色域(特别是其边界部)附近的动态范围,提高颜色表现的实效的分辨率。具体而言,在TE处理S3中进行如下处理:对于各原色信号R、G、B赋予图5所示的非线性的增益而取得原色信号R′、G′、B′(色调增强图像数据E)。例如,从图5的增益曲线来看,从溃疡所特有的色域的边界区域RA到炎症所特有的色域的边界区域RB,斜率变得陡峭。根据这样的增益曲线赋予增益,从边界区域RA至边界区域RB,能够扩展原色信号R′(对原色信号R实施了TE处理S3的信号)的实质的动态范围,能够进行更精密的阈值判定。
此外,通过TE处理S3色调变化为:炎症部变红,溃疡部分变白,正常部分变绿。因此,在监视器900上显示通过TE处理S3而生成的色调增强图像数据E的情况下,与显示TE处理S3前的普通观察图像数据N的情况相比,能够容易地肉眼识别病变部(炎症部或溃疡部分)。此外,上述的TE处理S3是能够应用于本发明的色彩增强处理的一例,也可以代替TE处理S3而使用提高颜色质量、具体而言提高色调或饱和度(或色度)的对比度的其他种类的色彩增强处理。
[有效像素判定处理S4]
TE处理S3完成后,接着对色调增强图像数据E进行由有效像素判定部222执行的有效像素判定处理S4。此外,也可以省略TE处理S3而对普通观察图像数据N进行有效像素判定处理S4。
图6为示出有效像素判定处理S4的顺序的流程图。有效像素判定处理S4是判定像素值是否适合图像分析的处理,对构成图像数据的所有像素(x,y)依次执行。在有效像素判定处理S4中,首先,对于各像素(x,y),根据下述公式1,从色调增强图像数据E的原色信号R′(x,y)、G′(x,y)、B′(x,y)计算修正亮度int(x,y)(S41)。
【公式1】
int(x,y)=0.3*R′(x,y)+0.59*G′(x,y)+0.11*B′(x,y)
此外,计算出的修正亮度int(x,y)的值用于下面的适当曝光判定处理S42。另外,如公式1所表明的,修正亮度int(x,y)不是原色信号R′(x,y)、G′(x,y)、B′(x,y)的单纯平均而是作为根据人(手术者)的相对可见度特性的加权平均而求出。
接着,基于在处理S41中计算出的色调增强图像数据E的修正亮度int(x,y)及原色信号R′(x,y)、G′(x,y)、B′(x,y),对于各像素(x,y)进行判定是否为适合图像分析的曝光等级的适当曝光判定处理S42。在适当曝光判定处理S42中,在满足下面两个条件(公式2、公式3)的至少一方(或双方)的情况下,判定为适当曝光(S42:是)。此外,通过公式2规定修正亮度int(x,y)(整体的光量)的上限值,通过公式3规定各原色信号R′(x,y)、G′(x,y)、B′(x,y)的下限值。
【公式2】
int(x,y)<235
【公式3】
Max{R′(x,y),G′(x,y),B′(x,y)}>20
对于像素(x,y),如果满足公式2或公式3(或者公式2及公式3)而判定为适当曝光(S42:是)的话,则有效像素判定部222将与存储于存储器229的标识表FT的像素(x,y)相对应的标识F(x,y)的值改写为“1”(S43)。
此外,标识F(x,y)取0~2中的一个标识值。各标识值的定义如下。
0:像素数据无效
1:正常或未判定(像素数据有效)
2:病变(炎症)
另外,在适当曝光判定处理S42中,在既不满足公式2也不满足公式3的条件(或者不满足任一个条件)而判定为曝光不适当时(S42:否),有效像素判定部222将标识表FT的标识F(x,y)的值改写为“0”(S44)。
接着,在处理S45中,判定是否完成了对所有的像素(x,y)的处理。重复上述的处理S41~S45直至所有的像素(x,y)的处理完成为止。
[色彩空间转换处理S5]
有效像素判定处理S4完成后,接着通过色彩空间转换部223对色调增强图像数据E进行色彩空间转换处理S5。色彩空间转换处理S5是将由RGB3原色定义的RGB空间的像素值转换为由色调(Hue)·饱和度(Saturation)·亮度(Intensity)的3要素定义的HSI(Hue-Saturation-Intensity)空间的像素值的处理。具体而言,在色彩空间转换处理S5中,色调增强图像数据E的各像素(x,y)的原色信号R′(x,y)、G′(x,y)、B′(x,y)被转换为色调H(x,y)、饱和度S(x,y)、亮度I(x,y)。
另外,曝光不足或者过剩的像素(x,y)的数据的精度低,会降低分析结果的可靠性。因此,色彩空间转换处理S5仅对将标识F(x,y)的值设定为“1”(即在上述的有效像素判定处理S4中判定为适当曝光)的像素(x,y)进行。
由色彩空间转换部223生成的各像素(x,y)的色调H(x,y)、饱和度S(x,y)及亮度I(x,y)构成的判定用图像数据J{H(x,y)、S(x,y)、I(x,y)}被输入病变判定部224。
[病变判定处理S6]
色彩空间转换处理S5完成后,接着通过病变判定部224进行使用判定用图像数据J的病变判定处理S6。病变判定处理S6是对于内窥镜图像的各像素(x,y),根据判定用图像数据J被绘制在HS空间(色调-饱和度空间)内的后述的区域α还是区域β(图8)来判定拍摄在该像素上的生物体组织的状态(是否为炎症部)的处理。此外,HS空间与色度空间同样地,是表示颜色性质(除明亮度/亮度以外的颜色的要素)的空间。例如,在CIE 1976L*a*b*色彩空间等的其他色彩空间上进行图像分析的情况下,病变判定部224在色度空间(例如a*b*空间)上进行。
图7为示出病变判定处理S6的顺序的流程图。病变判定处理S6对构成图像数据的所有的像素(x,y)依次进行。在病变判定处理S6中,首先,参照标识表FT判断各像素(x,y)的数据是否有效(S61)。如果标识F(x,y)的值为“1”(像素数据有效)的话,则接着进行炎症判定处理S62。另外,如果标识F(x,y)的值为“0”(像素数据无效)的话,则不进行炎症判定处理S62而进入处理S64。
在此,对在炎症判定处理S62中进行的炎症判定处理S62进行说明。图8为在HS空间内绘制了从多个炎症性肠病患者的内窥镜图像数据取得的判定用图像数据J的散布图。
图8的散布图被区分为由右侧下方的虚线包围的区域β、和其以外的区域α。根据本发明人的研究判明,被熟练掌握炎症性肠病的内窥镜诊断的手术者判断为炎症部的部位的像素的大部分被绘制于区域β,被判断为非炎症部的部位的像素的大部分被绘制于区域α。这意味着,根据拍摄生物体组织得到的内窥镜观察图像的色调(色调(色合い))和饱和度(鲜明度)这两个信息能够非常可靠地判别生物体组织的状态(有无炎症)。
在炎症判定处理S62中,判定各像素(x,y)的判定用图像数据J{(H(x,y),S(x,y)}是否绘制在图8的区域β中。具体而言,在满足以下的公式4及公式5双方的情况下,判定用图像数据J{(H(x,y),S(x,y)}绘制在区域β中(即,判定为炎症部的像素)。另外,在不满足公式4及公式5的至少一方的情况下,判定用图像数据J{(H(x,y),S(x,y)}绘制在区域α中(即,判定为非炎症部的像素)。此外,δS1、δH1及δH2是可由手术者设定的修正值,通过这些修正值的设定能够适当调整判定的严苛度(灵敏度)等。
【公式4】
130+δS1≤S(x,y)
【公式5】
60+δH1≤H(x,y)≤100+δH2
在像素(x,y)的判定用图像数据J{(H(x,y),S(x,y)}被绘制在区域β中的情况下(S62:是),对应于像素(x,y)的标识F(x,y)的值被改写为“2”(炎症)(S63),进入处理S64。另外,在判定用图像数据J{H(x,y),S(x,y)}未被绘制在区域β中的情况下(S62:否),标识F(x,y)不被改写而进入处理S64。
在处理S64中,判定是否完成对所有的像素(x,y)的处理。重复上述的处理S61~S64直至所有的像素(x,y)的处理完成为止。
[评分计算处理:S7]
病变判定处理S6完成后,接着进行评分计算处理S7。评分计算处理S7是基于判定用图像数据J的像素值来计算病变部的重症度的评价值即评分Sc(x,y)的处理。评分计算处理S7对构成图像数据的所有的像素(x,y)依次进行。此外,以下说明的评分计算的算法是一例,本发明能够适用于通过各种算法算出的评分的画面显示。
[评分计算的原理]
在此,对本实施方式的评分计算的原理进行简单说明。已知症状伴随着血管的扩张及血浆成分向血管外的漏出等的发展,症状越发展则表面的正常粘膜脱落得就越多,炎症部的颜色就越接近血液的颜色。因此,炎症部的颜色和血液的颜色的相关程度(后述的相关值CV)成为表示炎症部的重症度的优良指标。在本实施方式中,计算各像素(x,y)的判定用图像数据J{H(x,y)、S(x,y)}和血液的颜色(色调、饱和度)的相关值CV(x,y),将其用作表示炎症部的重症度的评分Sc(x,y)。
[病变部的判定:S71]
图9为示出评分计算处理S7的顺序的流程图。在评分计算处理S7中,首先读出标识表FT,判断对应于像素(x,y)的标识F(x,y)的值是否为“2”(炎症)(S71)。
在标识F(x,y)的值为“2”(炎症)的情况下,即像素(x,y)为病变像素的情况下(S71:是),处理进入S72。另外,在像素(x,y)不是病变像素的情况下(S71:否),处理进入S79。
[饱和度的修正:S72]
已知血液和含有血液的生物体组织的图像的饱和度依赖于亮度。具体而言,亮度和饱和度具有负的相关,亮度越亮则饱和度越低。在S72中,使用本发明人所开发的以下的修正式(公式6)来修正判定用图像数据J(x,y)的亮度I(x,y)所带来的饱和度S(x,y)的变动。通过该修正,能够提高评分计算的精度。
【公式6】
其中,
Icorr.(x,y):判定用图像数据J的修正后的亮度
Scorr.(x,y):判定用图像数据J的修正后的饱和度
Iref:作为基准值的血样数据的亮度
Sref:作为基准值的血样数据的饱和度
θ:赋予血样数据的亮度值和饱和度值的相关系数(cosθ)的角度
此外,血样的饱和度和亮度的相关系数(实测值)为-0.86,使用θ=149.32(deg)。
[色调距离DHUE的计算:S73]
接着,通过公式7计算色调距离DHUE(x,y)(S73)。色调距离DHUE是以血样数据的色调Href为基准的、判定用图像数据J(x,y)的色调的相对值。
【公式7】
DHUE(x,y)=H(x,y)-Href
[色调相关值HCV的确定:S74]
接着,根据色调距离DHUE(x,y)确定色调相关值HCV(x,y)(S74)。色调相关值HCV(x,y)是与炎症部的重症度具有强相关的参数。图10(a)为图示色调距离DHUE和色调相关值HCV的关系的图表。色调距离DHUE在±30°以内的范围(以下称作“色调近似范围R11”。)内与炎症部的重症度具有强相关,在其以外的范围(以下称作“色调近似外范围R12”。)内几乎不存在相关。因此,本实施方式的色调相关值HCV(x,y)在色调近似外范围R12内被设定为最小值的0.0,在色调近似范围R11内被设定为色调距离DHUE(x,y)越接近0°越线性增加。另外,色调相关值HCV(x,y)被标准化为最小值为0.0,最大值为1.0。
图10(a)所示的色调距离DHUE和色调相关值HCV的关系作为色调相关值表HCT存储于存储器229。通过参照色调相关值表HCT,取得与色调距离DHUE(x,y)相对应的色调相关值HCV(x,y)。
[饱和度距离DSAT的计算:S75]
接着,通过公式8计算饱和度距离DSAT(x,y)(S75)。饱和度距离DSAT(x,y)是以血样数据的饱和度Sref为基准的、判定用图像数据J(x,y)的饱和度的相对值。
【公式8】
DSAT(x,y)=Scorr.(x,y)-Sref
[饱和度相关值SCV的确定:S76]
接着,根据饱和度距离DSAT(x,y)确定饱和度相关值SCV(x,y)(S76)。饱和度相关值SCV(x,y)也是与炎症部的重症度具有强相关的参数。图10(b)是图示饱和度距离DSAT与饱和度相关值SCV的关系的图表。饱和度距离DSAT在规定值以上的负的范围(以下称作“饱和度近似范围R22”。)内与炎症部的重症度具有强相关,在负的规定值以下的范围(以下称作“饱和度近似外范围R23”。)内几乎不存在相关。另外,可以认定在饱和度距离DSAT为零以上的范围,即病变像素的饱和度为血样数据的饱和度Sref以上的范围(以下称作“饱和度一致范围R21”。)内,重症度极高。因此,本实施方式的饱和度相关值SCV(x,y)在饱和度一致范围R21内被设定为最大值的1.0,在饱和度近似外范围R23内被设定为最小值的0.0,被设定在饱和度近似范围R22内线性地增加。另外,饱和度相关值SCV(x,y)也是标准化为最小值为0.0、最大值为1.0的值。
图10(b)所示的饱和度距离DSAT与饱和度相关值SCV的关系作为饱和度相关值表SCT存储于存储器229。通过参照饱和度相关值表SCT,取得与饱和度距离DSAT(x,y)相对应的饱和度相关值SCV(x,y)。
[相关值CV的计算:S77]
接着,通过将色调相关值HCV(x,y)与饱和度相关值SCV(x,y)相乘,得到病变像素(x,y)的颜色和血液的颜色的相关值CV(x,y)。此外,相关值CV(x,y)也是标准化为最小值为0.0、最大值为1.0的值。另外,相关值CV(x,y)以每0.1的点刻度被区分为11段。
[评分Sc更新:S78]
另外,由于相关值CV(x,y)为炎症的重症度的优良指标,因此评分表ST的评分Sc(x,y)的值通过相关值CV(x,y)改写(S78)。
[评分Sc更新:S79]
另外,在像素(x,y)不是病变像素的情况下(S71:否),不进行上述的相关值CV(x,y)的计算,并将评分表ST的评分Sc(x,y)的值改写为“0”(S79)。由此,可以以少的计算量对所有的像素(x,y)赋予评分Sc(x,y)。
在处理S80中,判定是否完成对所有的像素(x,y)的处理。重复上述的处理S71~S80,直至所有的像素(x,y)的处理完成为止。
[标记处理:S8]
评分计算处理S7完成后,接着通过标记处理部226进行标记处理S8。标记处理S8是为了容易地识别病变部而对于普通观察图像NP向病变像素分布的图像区域标注标记的处理。具体而言,在本实施方式的标记处理S8中,对病变像素分布的图像区域标注与该图像区域中的重症度相对应的的大小的记号(例如图16中的“×””标记330)。
图11为说明标记处理S8的推进方法(掩模310的扫描)的图。在本实施方式的标记处理S8中,在普通观察图像NP(以及评分表ST)内设定作为规定尺寸的图像区域的掩模310,并依次移动掩模310,同时,根据掩模310内的像素311(图12)的评分Sc对掩模310内的图像标注标记330。
[掩模的构成]
在本实施方式中,掩模310的大小(以及由掩模的大小确定的标记330的大小)根据掩模310内的像素311的评分Sc进行变动。图12为示出预先设定的初始尺寸的掩模310的图。在本实施方式中,掩模310的初始尺寸设定为5×5(水平方向的像素数×垂直方向的像素数)。掩模310的初始尺寸例如根据标注在掩模310内的图像上的标记330的肉眼识别性(例如依赖于标记330的形状的复杂度或者监视器910的显示画面的像素数等)进行设定。具体而言,掩模310的初始尺寸在确保标记330的良好的肉眼识别性的范围内以尽可能显示较多的标记330的方式设定为最小的尺寸。
掩模尺寸参照存储于存储器229的掩模表MT并基于评分Sc来确定。表1为本实施方式中使用的掩模表MT的一例。在本实施方式中,掩模尺寸以初始值(5×5)为下限,以与评分Sc成比例地变大的方式设定。
【表1】
评分Sc 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
掩模尺寸 - 5×5 6×6 7×7 8×8 9×9 10×10 11×11 12×12 13×13 14×14
如图12所示,将构成掩模310的多个像素311中的左上端的像素(即,x坐标以及y坐标均为最小的像素)称为基准点312。该基准点312的位置(xm、ym)定义为掩模310的位置。此外,也可以将掩模310内的任一像素设定为基准点312。
[基准点的扫描:S81]
图13为示出标记处理S8的顺序的流程图。在标记处理S8中,首先,复制存储在图像存储器227的存储区域Pn中的普通观察图像数据N(原图像)并作为标记图像数据M的初始值存储于存储区域Pm。另外,从存储器229读出评分表ST,并在评分表ST上进行基准点312的扫描(S81)。在本实施方式中,基准点312从评分表ST的上端的行(y=0)向下端的行(y=ymax)逐行地依次扫描(图11)。另外,基准点312在各行中从左端(x=0)向右端(x=xmax)扫描。
标记处理部226一边在评分表ST上扫描基准点312一边搜索满足以下的条件a以及条件b这两者的位置(x,y)。
·条件a:为病变像素[评分Sc(x,y)为0.1以上]
·条件b:掩模310与已经标注的标记330(更准确而言,标注标
记330时的掩模310)不重叠。
[掩模设定:S82]
当到达满足上述的条件a以及条件b这两者的位置(x,y)时,在该位置设定初始尺寸(5×5)的掩模(S82)。
[掩模内平均评分计算:S83]
接着,计算作为掩模内的像素的评分Sc(x,y)的相加平均值的平均评分ScAvg.(S83)。此外,平均评分ScAvg.(S83)也被标准化为最小值为0.0、最大值为1.0的值。另外,平均评分ScAvg.也能够由代表掩模内的评分Sc(x,y)的其他的数值(例如加权平均、中央值、众数、均方根等)代替。
[掩模尺寸更新S84]
接着,参照存储在存储器229中的掩模表MT读取与平均评分ScAvg.对应的掩模尺寸。并且,将掩模310的尺寸更新为读取到的掩模尺寸(再设定掩模310)(S84)。
[标记S85]
接着,对于标记图像数据M,以内接于再设定后的掩模310的边缘的方式标注标记330(S85)。
在处理S86中,判定是否扫描至评分表ST的最后而完成扫描。重复上述的处理S81~S86,直至扫描完所有的评分Sc(x,y)。
[标记处理的具体例子:图14~20]
接着,参照图14~20,对标记处理S8的具体例子进行说明。图14~20的普通观察图像数据N(评分表ST)中包括由多个病变像素321构成的病变部的图像320。
如图14所示,当在评分表ST上从左上开始逐行地依次扫描掩模310的基准点312(S81)时,首先检测出病变像素321a。
在病变像素321a中,为了满足上述的条件a以及条件b这两者,以病变像素321a为基准点设定初始尺寸(5×5)的掩模310a(图15的虚线框)(S82)。
接着,计算掩模310a内的评分Sc(x,y)的平均值(平均评分ScAvg.)(S83)。
如果平均评分ScAvg.的计算结果为例如0.3的话,则从掩模表MT(表1)取得与该平均评分ScAvg.的值对应的掩模尺寸7×7,并且将掩模310a的大小变更为7×7(图15的实线框)(S84)。
并且,对于标记图像MP,以内接于掩模310a的边缘的方式标注“×”标记330a(S85)。此外,在本实施方式中,虽然使用“×”作为标记330,但是标记330可以使用任意的标记(包括文字、数字、记号、图画文字、图案等。但是,堵上掩模310的整体的标记除外)。
接着,再次扫描基准点312(图16)。由于之前设定的掩模310a内不满足上述的条件b而跳过扫描。由于在病变像素321a的行上不存在满足上述的条件a以及条件b这两者的病变像素321,因此,扫描移动至下一行而检测出病变像素321b。但是,如果以病变像素321b为起点设定掩模310的话,则会与之前设定的掩模310发生干涉。因此,不在病变像素321b上设定掩模310而继续扫描。并且,在跳过之前设定的掩模310a之后即检测出病变像素321c。
在病变像素321c中,由于满足了上述的条件a以及条件b这两者,因此,以病变像素321c为起点设定初始尺寸(5×5)的掩模310c(图17)。如果掩模310c内的平均评分ScAvg.为例如0.1的话,则对应的掩模尺寸与初始尺寸(5×5)一样,因此,掩模尺寸无需更新而以内接于掩模310c的边缘的方式标注“×”标记330c。
以后,重复同样的处理S81~S86,对以病变像素321d为起点设定的掩模310d标注“×”标记330d(图18),进一步对以病变像素321e为起点设定的掩模310e标注“×”标记330e之后(图19),完成普通观察图像数据N(评分表ST)的扫描。其结果是,在普通观察图像数据N上得到标注有显示病变部的像素320的位置或其重症度的分布的标记330a、330c、330d、330e的标记图像MP(图20)。所生成的标记图像数据M被存储在图像存储器227的存储区域Pm中。
[显示画面生成处理~输出处理:S9~S10]
标记处理S8完成后,接着进行显示画面生成处理S9。显示画面生成处理S9是使用存储于图像存储器227的各种图像数据生成用于在监视器900上显示的显示画面数据的处理,通过图像处理电路220的显示画面生成部228进行。显示画面生成部228根据系统控制器202的控制,能够生成多种显示画面数据。所生成的显示画面数据在通过输出电路220b进行图像灰度校正等处理之后,被转换为规定的视频格式的视频信号并向监视器900输出(输出处理S10)。
图21是通过显示画面生成处理S9生成的显示画面的一例,是在图像分析模式下的内窥镜观察中显示的分析模式观察画面340。分析模式观察画面340具备显示拍摄日期时间的日期时间显示区域341、显示与检查相关的基本的信息(例如患者的病历号、患者名、手术者名)的基本信息显示区域342、显示普通观察图像NP(或者色调增强图像EP)的普通图像显示区域344、显示标记图像MP(标记处理S8之后的观察图像)的分析图像显示区域345。
在显示画面生成处理S9中,显示画面生成部228从图像存储器227的存储区域组Pn读出普通观察图像数据N(或者从存储区域组Pe读出色调增强图像数据E),并在图像显示区域344显示普通观察图像NP(或者色调增强图像EP)。另外,从图像存储器227的存储区域组Pm读出标记图像数据M,并在分析图像显示区域345显示标记图像MP。另外,在日期显示区域341及基本信息显示区域342显示由系统控制器202提供的信息。
手术者一边观看分析模式观察画面340一边进行内窥镜观察。具体而言,参照分析图像显示区域345所显示的标记图像MP的同时,一边查看普通图像显示区域344所显示的普通观察图像NP(或者色调增强图像EP)一边进行内窥镜观察。通过对于在标记图像MP上标记的部位进行特别慎重的观察,能够在不遗漏病变部的情况下进行准确的诊断。
另外,在本实施方式中,由于在标记图像MP上标注了背景的普通观察图像NP透明的标记330,因此能够一边仅查看标记图像MP一边进行内窥镜观察以及诊断。因此,例如也可以为生成如下分析模式观察画面340的构成,即,该分析模式观察画面340不包括普通图像显示区域344而包括大的分析图像显示区域345。
显示画面生成处理S9及输出处理S10完成后,接着判断是否继续内窥镜观察(S11)。重复上述的处理S1~S11,直至对处理器200的操作面板214进行指示内窥镜观察结束或电子内窥镜装置1的运行停止的用户操作(S11:否)为止。
以上是本发明的第一实施方式的说明。根据上述的本发明的第一实施方式的构成,由于在标记图像MP中,在病变部的图像320上标注有显示病变部的位置及重症度的标记330,因此,即使是内窥镜观察经验少的手术者也能够在不会遗漏病变部或者误判重症度的情况下进行利用内窥镜图像的正确的诊断。另外,在标记图像MP上标注未完全地覆盖背景(病变部的图像320)而使得背景的一部分从空隙透过的(即,具有透过性)标记330。从而,从标记图像MP也能够把握病变部的形状或结构,从而能够进行更加有效且更加正确的诊断。
此外,在上述的第一实施方式中,通过在普通观察图像NP上标注标记330而生成了标记图像MP,但是,也可以构成为在色调增强图像EP等其他的对于普通观察图像NP进行加工而得到的图像上标注标记330而生成标记图像MP。
<第一实施方式的第一变形例>
接着,对以上说明的本发明的第一实施方式的几个变形例进行说明。
图22为本发明的第一实施方式的第一变形例的标记图像MP。在上述的第一实施方式中,采用了如下构成:在掩模尺寸更新处理S84中,根据掩模310内的平均评分ScAvg.更新掩模尺寸,并且通过标记330的大小来表现重症度。另一方面,在第一变形例中,根据掩模310内的平均评分ScAvg.来设定标注在掩模310内的标记330的数量而非掩模尺寸。在本变形例中,通过标记330的密度来表现重症度。
此外,在本变形例中,代替上述的第一实施方式中的掩模表MT(表1),使用存储有掩模310内的平均评分ScAvg.和应该标注在掩模内的标记的数量的对应关系的标记数量表。表2中示出标记数量表的例子。
【表2】
评分Sc 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
标记的数量 0 1 2 3 4 5 6 7 8 9 10
<第一实施方式的第二变形例>
图23为本发明的第一实施方式的第二变形例的标记图像MP。在上述的第一实施方式中,采用了如下构成:通过在掩模310内标注文字或记号来对普通观察图像NP实施标记。另一方面,在本变形例中,通过根据掩模310内的平均评分ScAvg.来实施对于普通观察图像NP变更掩模310内的颜色(换言之,标注彩色的标记)的处理来表现病变部的位置及其重症度。
另外,在本实施例中,对于普通观察图像NP并非将掩模内以单一的颜色(透过率0%)涂满,而是在普通观察图像NP上标注赋予规定的透过性(例如透过率80%)的颜色。因此,与第一实施方式同样地,由于在标记图像MP上也保留有病变部的图像的信息,因此,与以规定的颜色涂满病变部的现有的方法相比,能够容易地进行正确的诊断。
另外,在本变形例中,由于无需识别标注在病变部的记号的形状,因此能够形成为将掩模的尺寸较小地设定至1×1(或者不设定掩模而逐个像素进行处理)的构成。
此外,在本变形例中,代替上述的第一实施方式中的掩模表MT(表1)而使用存储有各像素(x,y)的评分Sc(x,y)和应该标注于各像素(x,y)的颜色Col(x,y)的对应关系的显示色表。表3中示出显示色表(24位颜色)的例子。此外,由于对于评分Sc(x,y)的值为零(正常组织)的像素(x,y)赋予显示无色透明的空值(null值),因此正常组织的像素不被着色。另外,应该对各像素(x,y)标注的颜色的指定不限于利用RGB进行的指定,也可以通过其他的颜色表现(例如色调和/或饱和度)来指定。
【表3】
评分Sc 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
R值 null 0 0 0 0 0 0 255 255 255 128
G值 null 0 0 128 128 255 255 255 0 0 128
B值 null 255 128 128 0 0 255 0 0 255 0
<第二实施方式>
接着,对本发明的第二实施方式进行说明。
图24为示出本发明的第二实施方式的标记处理S8a的顺序的流程图。本实施方式的标记处理S8a代替上述的第一实施方式的标记处理S8进行。另外,对构成普通观察图像数据N的所有的像素(x,y)依次进行本实施方式的标记处理S8a。
本实施方式的电子内窥镜装置1与上述的第一实施方式的第二变形例同样地,在存储器229中存储有显示色表(表3)。另外,在本实施方式的图像存储器227中除了存储区域Pn、Pe、Pm之外还设置有存储区域Pc(参照图3(b)),所述存储区域Pc存储标记处理S8a中作成的彩色图像数据CM(显示彩色图像CMP的图像数据)。
[彩色图像数据生成:S81a]
在标记处理S8a中,首先参照存储在存储器229中的显示色表,基于评分Sc(x,y)来确定适用于各像素(x,y)的颜色Col(x,y)。此外,病变像素以外的像素的颜色Col(x,y)设定为无色透明(null值)。并且,生成由各像素(x,y)的颜色Col(x,y)构成的彩色图像数据CM,并将其存储在存储器229的存储区域Pc中(S81a)。
[图像混合处理:S82a]
接着,对彩色图像CMP赋予透过性并进行将其重合于普通观察图像NP上的图像混合处理S82a。具体而言,图像混合处理S82a为将普通观察图像数据N和彩色图像数据CM进行加权平均的处理。通过进行加权平均,能够赋予彩色图像CMP以透过性并使其与普通观察图像NP重合。此外,加权平均中的普通观察图像数据N的权重(重み)由预先设定的彩色图像CMP的透过率确定。通过图像混合处理S82a生成的标记图像数据M被存储在图像存储器227的存储区域Pm中,从而完成标记处理S8a。此外,加权平均仅对病变像素(评分Sc(x,y)>0)进行,对于健康的正常部分(评分Sc(x,y)=0)的像素(x,y),普通观察图像数据N的像素值N(x,y)不变而为标记图像数据M的像素值M(x,y)。
在此,参照图25对图像混合处理S82a的效果进行说明。
图25(a)为包括病变部的图像320的普通观察图像NP。
图25(b)为在普通观察图像NP上直接地重合了彩色图像CMP的图像(透过率0%)。
图25(c)为通过本实施方式的图像混合处理S82a生成的标记图像MP。
从图25(b)和(c)的比较可清楚得知,通过图像混合处理S82a生成的标记图像MP,根据彩图而能够从视觉上容易地把握被推定为病变部的部位或者推定的重症度。另外,由于彩图具有透过性,因此,从标记图像MP也能够在某种程度上把握病变部的形状和结构,能够更加容易地进行诊断。
<第三实施方式>
接着,对本发明的第三实施方式进行说明。在本实施方式中,通过在普通观察图像NP上重合显示Sc(x,y)的等高线CL,从而肉眼确认性良好地显示病变部的位置或重症度的分布。
图26为说明第三实施方式中的等高线CL的作成过程的图。在本实施方式中,首先,基于从图26(a)中所示的包括病变部的图像320的普通观察图像NP生成的评分表ST,参照显示色表(表3),生成图26(b)中所示的彩色图像CMP。通过对该彩色图像CMP进行例如对于彩色图像数据CM的矢量微分运算等的处理,生成等高线CL。通过使如此生成的等高线CL重合在普通观察图像NP上,生成图26(c)中所示的本实施方式的标记图像MP。
以上是本发明的例示性的实施方式的说明。本发明的实施方式不限于上述说明的方式,在本发明的技术思想的范围内可以进行各种变形。例如,通过适当组合说明书中例示性明示的实施方式等或显而易见的实施方式等而得到的内容也包含在本发明的实施方式中。
在上述的实施方式中,虽然在HSI空间中进行了病变的判定等的图像分析,但是,也可以为代替HIS空间而在以色调(hue)、饱和度(saturation)以及明度(value(或者brightness))为基底的HSV(HSB)空间中进行图像解析的构成。另外,还可以在CIE1976L*a*b色彩空间或YCbCr色彩空间等的、具有显示亮度或者明度的一个座标和显示颜色的性质(例如色调以及饱和度,或者色度)的两个座标的其他种类的色彩空间上进行图像解析。
另外,在上述的实施方式中,虽然在RGB空间上进行了TE处理S3,但是,也可以为在色彩空间转换处理S5之后在HIS空间上进行TE处理S3的构成。
另外,也可以代替TE处理S3(色彩增强处理)而应用对比度增强处理(例如通过扩大直方图的分布宽度而增强对比度的直方图等化法等)或使用了非锐化掩模滤光器的图像锐化处理等其他种类的图像增强处理。
另外,上述的实施方式是在炎症性肠病的内窥镜检查中应用了本发明的例子,当然,也可以在其他的疾病的内窥镜检查中应用本发明。
另外,上述的实施方式为,基于观察图像仅评价了一种病变(炎症)的重症度,并且对观察图像的相应部位标注与其重症度对应的标记的例子,但是,也可以为对多种病变(例如作为炎症性肠病中代表性的病变的炎症和溃疡)分别判定重症度,并且对观察图像的相应部位标注与其重症度对应的标记的构成。另外,在这种情况下,也可以根据按照病变的种类来改变显示方式(例如记号的种类或颜色)。
另外,在上述的实施方式中,仅对病变部标注标记,但是,与之相反也可以为仅对健康的正常部分标注标记的构成。另外,也可以为分别对病变部和健康的正常部分分别标注不同的标记的构成。
另外,在上述的实施方式中,使用记号、等高线以及显示色中的某一种来显示病变部的重症度,但是,也可以组合这三种显示方式的两种以上来显示病变部的重症度。另外,也可以为通过记号的种类、大小、颜色中两种以上的组合来显示重症度的构成。另外,也可以为通过组合等高线的种类(实线、虚线、点划线、波浪线等)、粗细、颜色中的某一种或者上述的两种以上来显示重症度的构成。
此外,上述的实施方式是将本发明应用于作为数码相机的一种形式的电子内窥镜装置的例子,但也可以将本发明适用于使用了其他种类的数码相机(例如数码相机或数码摄像机)的系统。例如,将本发明应用于数码相机时,能够进行体表组织的病变部的诊断支援或开颅手术时的脑组织的诊断支援。

Claims (17)

1.一种图像处理装置,其特征在于,
包括:
彩色图像取得单元,其取得显示生物体组织的彩色图像的彩色图像数据;
病变判定单元,其基于所述彩色图像数据对于所述彩色图像的各像素进行是否为病变部的像素的判定;
标记单元,其基于所述判定的结果在所述彩色图像上标注显示所述病变部的位置的标记;
其中,所述标记为背景的所述彩色图像透明的标记,
所述病变判定单元具有评分表生成单元,所述评分表生成单元生成评分表,所述评分表的要素中包括对于所述彩色图像的每个像素显示所述生物体组织的病变的重症度的评分,
所述标记单元基于所述评分表在所述彩色图像上标注显示所述病变部的位置以及重症度的所述标记,
所述标记单元在所述彩色图像内设定作为处理的对象区域的掩模,计算所述掩模内的所述评分的代表值,基于所述代表值对于所述掩模标注所述标记。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述标记单元设定规定的初始尺寸的掩模,对于所述初始尺寸的掩模计算所述代表值,根据所述代表值变更所述掩模的大小,以内接于变更了大小的所述掩模的方式标注所述标记。
3.根据权利要求2所述的图像处理装置,其特征在于,
所述初始尺寸为所述掩模的最小尺寸。
4.根据权利要求1所述的图像处理装置,其特征在于,
所述标记单元在所述掩模内标注与所述代表值的数量相对应的所述标记。
5.根据权利要求1至4中任一项所述的图像处理装置,其特征在于,
所述标记单元一边在所述彩色图像内扫描所述掩模,一边在所述彩色图像上标注所述标记。
6.根据权利要求5所述的图像处理装置,其特征在于,
所述标记单元以与设定完成的其他的所述掩模不重合的方式设定所述掩模。
7.根据权利要求1至4中任一项所述的图像处理装置,其特征在于,
所述代表值为相加平均、加权平均、中央值、众数以及均方根中的任何一个。
8.根据权利要求1至4中任一项所述的图像处理装置,其特征在于,
所述评分表生成单元包括:
色彩空间转换单元,其将所述彩色图像数据的色彩空间转换为具有显示亮度或者明度的一个座标和显示颜色的性质的两个座标的色彩空间;
评分计算单元,其基于所述彩色图像数据的各像素的颜色的性质计算各像素的评分。
9.根据权利要求8所述的图像处理装置,其特征在于,
所述评分表生成单元进一步包括色彩增强单元,所述色彩增强单元在病变部所特有的像素值的范围的边界区域内进行提高颜色的性质的对比度的色彩增强处理,
所述评分计算单元基于所述色彩增强处理之后的像素值计算各像素的评分。
10.根据权利要求8所述的图像处理装置,其特征在于,
所述评分计算单元基于与色调-饱和度空间或者色度空间中的基准点的距离计算各像素的评分。
11.根据权利要求9所述的图像处理装置,其特征在于,
所述评分计算单元基于与色调-饱和度空间或者色度空间中的基准点的距离计算各像素的评分。
12.根据权利要求10所述的图像处理装置,其特征在于,
所述病变部为炎症部,所述基准点为血液的颜色。
13.根据权利要求11所述的图像处理装置,其特征在于,
所述病变部为炎症部,所述基准点为血液的颜色。
14.根据权利要求1至4中任一项所述的图像处理装置,其特征在于,
所述标记为记号。
15.根据权利要求1至4中任一项所述的图像处理装置,其特征在于,
所述标记为具有透过率的颜色。
16.根据权利要求1所述的图像处理装置,其特征在于,
所述标记为所述重症度的等高线。
17.根据权利要求1至4中任一项所述的图像处理装置,其特征在于,
所述彩色图像为电子内窥镜图像。
CN201680000508.9A 2015-02-23 2016-02-08 图像处理装置 Active CN106068092B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015032714A JP6584090B2 (ja) 2015-02-23 2015-02-23 画像処理装置
JP2015-032714 2015-02-23
PCT/JP2016/053623 WO2016136442A1 (ja) 2015-02-23 2016-02-08 画像処理装置

Publications (2)

Publication Number Publication Date
CN106068092A CN106068092A (zh) 2016-11-02
CN106068092B true CN106068092B (zh) 2018-05-25

Family

ID=56789399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680000508.9A Active CN106068092B (zh) 2015-02-23 2016-02-08 图像处理装置

Country Status (5)

Country Link
US (1) US10231600B2 (zh)
EP (1) EP3263006B1 (zh)
JP (1) JP6584090B2 (zh)
CN (1) CN106068092B (zh)
WO (1) WO2016136442A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
JP6850225B2 (ja) * 2017-09-01 2021-03-31 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
JP6926242B2 (ja) * 2018-01-19 2021-08-25 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
KR101943011B1 (ko) 2018-01-22 2019-01-28 주식회사 뷰노 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치
WO2019146079A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
WO2019175032A1 (en) * 2018-03-14 2019-09-19 Koninklijke Philips N.V. Scoring intravascular lesions and stent deployment in medical intraluminal ultrasound imaging
JP7171254B2 (ja) 2018-06-13 2022-11-15 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
CN109222859A (zh) * 2018-08-03 2019-01-18 广州高通影像技术有限公司 一种带有ai辅助诊断功能的智能内窥镜影像系统
CN109330566A (zh) * 2018-11-21 2019-02-15 佛山市第人民医院(中山大学附属佛山医院) 一种伤口监测方法及装置
WO2020235502A1 (ja) 2019-05-23 2020-11-26 富士フイルム株式会社 画像処理装置
CN111091536B (zh) * 2019-11-25 2023-04-07 腾讯科技(深圳)有限公司 医学图像处理方法、装置、设备、介质以及内窥镜
CN111358573B (zh) * 2020-02-26 2023-06-20 西安交通大学医学院第二附属医院 高光谱成像的术区快速检测、标记的设备及检测方法
JP7485193B2 (ja) 2021-02-26 2024-05-16 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
CN113128402A (zh) * 2021-04-19 2021-07-16 国网江苏电动汽车服务有限公司 一种识别充换电设备安全状态的系统和方法
CN117257204B (zh) * 2023-09-19 2024-05-07 深圳海业医疗科技有限公司 一种内窥镜控制组件控制方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104116485A (zh) * 2013-04-26 2014-10-29 Hoya株式会社 损伤评估信息生成器及其方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
JP2003033327A (ja) * 2001-07-24 2003-02-04 Fujitsu Ltd 画像情報による診断支援装置
JP2003260027A (ja) * 2003-02-06 2003-09-16 Olympus Optical Co Ltd 内視鏡用画像処理装置
US20050027166A1 (en) 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
JP4663258B2 (ja) * 2003-06-17 2011-04-06 オリンパス株式会社 内視鏡装置
JP5562683B2 (ja) * 2010-03-03 2014-07-30 オリンパス株式会社 蛍光観察装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
JP6067264B2 (ja) 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP6234375B2 (ja) 2012-11-30 2017-11-22 オリンパス株式会社 観察装置
JP5567168B2 (ja) 2013-03-06 2014-08-06 富士フイルム株式会社 画像処理装置および内視鏡システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104116485A (zh) * 2013-04-26 2014-10-29 Hoya株式会社 损伤评估信息生成器及其方法

Also Published As

Publication number Publication date
US20170112353A1 (en) 2017-04-27
US10231600B2 (en) 2019-03-19
JP6584090B2 (ja) 2019-10-02
EP3263006A4 (en) 2018-11-14
EP3263006B1 (en) 2024-01-31
JP2016154588A (ja) 2016-09-01
CN106068092A (zh) 2016-11-02
WO2016136442A1 (ja) 2016-09-01
EP3263006A1 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
CN106068092B (zh) 图像处理装置
CN106102557B (zh) 图像处理装置
CN106102556B (zh) 图像处理装置
CN110325100B (zh) 内窥镜系统及其操作方法
CN109310301B (zh) 电子内窥镜用处理器以及电子内窥镜系统
US8027533B2 (en) Method of automated image color calibration
CN104470416B (zh) 图像处理装置和内窥镜装置
CN104116485B (zh) 损伤评估信息生成器
US10052015B2 (en) Endoscope system, processor device, and method for operating endoscope system
CN110337259B (zh) 内窥镜系统、处理器装置及内窥镜系统的工作方法
US10512433B2 (en) Correction data generation method and correction data generation apparatus
JP6531202B2 (ja) 画像処理装置
CN106714651A (zh) 评价值计算装置以及电子内窥镜系统
CN117481579A (zh) 内窥镜系统及其工作方法
CN112469324B (zh) 内窥镜系统
WO2020194693A1 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
US10646102B2 (en) Processor for electronic endoscope, and electronic endoscope system
WO2019194106A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10659658B2 (en) Processor for electronic endoscope, and electronic endoscope system
JP2016067779A (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant