CN105025776A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents
图像处理装置、图像处理方法以及图像处理程序 Download PDFInfo
- Publication number
- CN105025776A CN105025776A CN201480010431.4A CN201480010431A CN105025776A CN 105025776 A CN105025776 A CN 105025776A CN 201480010431 A CN201480010431 A CN 201480010431A CN 105025776 A CN105025776 A CN 105025776A
- Authority
- CN
- China
- Prior art keywords
- image
- arrowband
- characteristic amount
- unit
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 238000003672 processing method Methods 0.000 title claims description 9
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 115
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 230000031700 light absorption Effects 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 59
- 238000012937 correction Methods 0.000 claims description 32
- 210000004877 mucosa Anatomy 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 11
- 230000008033 biological extinction Effects 0.000 claims description 10
- 230000001678 irradiating effect Effects 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 6
- 102000001554 Hemoglobins Human genes 0.000 claims description 5
- 108010054147 Hemoglobins Proteins 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 3
- 230000002596 correlated effect Effects 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000000354 decomposition reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000009499 grossing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000002775 capsule Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 206010019909 Hernia Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000004383 yellowing Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
提供能够从内窥镜所获取的图像中高精度地提取特定深度的血管进行强调的图像处理装置等。图像处理装置(1)对通过拍摄生物体而获取的图像进行处理,其中,该图像处理装置(1)具有:窄带图像获取部(101),其获取中心波长彼此不同的至少3个窄带图像;深度特征量计算部(102),其根据彼此不同的窄带图像中的由照射于生物体的光的吸光变化所产生的信号强度的变化的差异来计算深度特征量,该深度特征量是与生物体内的血管的深度相关的特征量;以及强调图像生成部(103),其根据深度特征量生成根据血管的深度对该血管进行了强调的图像。
Description
技术领域
本发明涉及对内窥镜所获取的图像进行图像处理的图像处理装置、图像处理方法、以及图像处理程序,其中,该内窥镜对生物体的管腔内进行观察。
背景技术
近年来,作为能够对生物体的管腔内进行非侵入观察的医用观察装置,内窥镜得到广泛普及。在内窥镜的光源中通常使用疝灯等白色光源,另外还通过在该光源中组合旋转滤镜而使从光源射出的白色光窄带化来对管腔内进行照射,其中,所述旋转滤镜设置有分别使具有红色光(R)、绿色光(G)以及蓝色光(B)的波段的光透射的红色滤镜、绿色滤镜以及蓝色滤镜。能够从根据这种方式所获得的图像中观察管腔内的粘膜的大致的形状或状态、以及有无息肉等。
但是,在使用白色光进行观察的情况下,具有存在于粘膜的表层或深层的血管的视觉辨认性低、难以进行明确的观察的问题。针对这种问题,专利文献1公开了一种技术,该技术对特定深度的血管区域进行强调或者抑制。更详细地说,在专利文献1中通过对管腔内进行拍摄而获取窄带信号(窄带图像数据)以及宽带信号(宽带图像数据),并根据它们的信号的亮度比而估计血管的深度,在判定为该血管的深度是表层的情况下,使血管区域中的对比度变化而显示图像。
现有技术文献
专利文献
专利文献1:日本特开2011-98088号公报
发明内容
发明要解决的课题
但是,实际的内窥镜图像中的窄带信号与宽带信号的比率,除了血管的深度以外,还受到照射光的强度、作为被检体的生物体的个体差、以及血管的粗细等深度以外的要素的影响而变化。因此,像专利文献1那样,在单纯基于窄带信号与宽带信号的比率进行的血管的深度估计中,不能获得充分的估计精度,难以对用户期望的深度的血管进行强调。
本发明就是鉴于上述情况而完成的,其目的在于提供一种能够从内窥镜所获取的图像中高精度地提取特定深度的血管进行强调的图像处理装置、图像处理方法以及图像处理程序。
用于解决课题的手段
为了解决上述课题实现目的,本发明涉及的图像处理装置对通过拍摄生物体而获取的图像进行处理,其特征在于,该图像处理装置具有:窄带图像获取单元,其获取中心波长彼此不同的至少3个窄带图像;深度特征量计算单元,其根据彼此不同的窄带图像中的由照射于所述生物体的光的吸光变化所产生的信号强度的变化的差异来计算深度特征量,该深度特征量是与所述生物体内的血管的深度相关的特征量;以及强调图像生成单元,其根据所述深度特征量来生成根据所述血管的深度对所述血管进行了强调的图像,所述深度特征量计算单元具有:归一化特征量计算单元,其计算在所述至少3个窄带图像间对基于各像素的信号强度的值进行了归一化后的归一化特征量;以及相对特征量计算单元,其计算表示所述彼此不同的窄带图像间的所述归一化特征量之间的相对强度关系的相对特征量。
本发明涉及的图像处理方法被图像处理装置所执行,该图像处理装置对通过拍摄生物体而获取的图像进行处理,其特征在于,该图像处理方法包含:窄带图像获取步骤,获取中心波长彼此不同的至少3个窄带图像;深度特征量计算步骤,根据彼此不同的窄带图像中的由照射于所述生物体的光的吸光变化所产生的信号强度的变化的差异来计算深度特征量,该深度特征量是与所述生物体内的血管的深度相关的特征量;以及强调图像生成步骤,根据所述深度特征量生成根据所述血管的深度对所述血管进行了强调的图像,所述深度特征量计算步骤包含:归一化特征量计算步骤,计算在所述至少3个窄带图像间对基于各像素的信号强度的值进行了归一化后的归一化特征量;以及相对特征量计算步骤,计算表示所述彼此不同的窄带图像间的所述归一化特征量之间的相对强度关系的相对特征量。
本发明涉及的图像处理程序的特征在于,该图像处理程序使对通过拍摄生物体而获取的图像进行处理的图像处理装置执行:窄带图像获取步骤,获取中心波长彼此不同的至少3个窄带图像;深度特征量计算步骤,根据彼此不同的窄带图像中的由照射于所述生物体的光的吸光变化所产生的信号强度的变化的差异来计算深度特征量,该深度特征量是与所述生物体内的血管的深度相关的特征量;以及强调图像生成步骤,根据所述深度特征量生成根据所述血管的深度对所述血管进行了强调的图像,所述深度特征量计算步骤具有:归一化特征量计算步骤,计算在所述至少3个窄带图像间对基于各像素的信号强度的值进行了归一化后的归一化特征量;以及相对特征量计算步骤,计算表示所述彼此不同的窄带图像间的所述归一化特征量之间的相对强度关系的相对特征量。
发明效果
根据本发明,因为根据照射于生物体的光的吸光变化所产生的信号强度的变化的差异来计算作为与生物体内的血管的深度相关的特征量的深度特征量,并根据该深度特征量生成根据血管的深度对血管进行了强调的图像,所以能够高精度地提取用户期望的深度的血管进行强调。
附图说明
图1是示出本发明的实施方式1涉及的图像处理装置的结构的框图。
图2是示出图1所示的图像处理装置的动作的流程图。
图3是示出图1所示的归一化特征量计算部所执行的处理的流程图。
图4是示出窄带图像中的表示血管的像素的信号强度与血管的深度之间的关系的图。
图5是示出图1所示的强调图像生成部所执行的处理的流程图。
图6是示出本发明的实施方式1的变形例涉及的图像处理装置所具有的归一化特征量计算部的结构的框图。
图7是示出窄带图像中的表示血管的像素的信号强度与血管的深度之间的关系的图(血管较粗的情况下)。
图8是示出窄带图像中的表示血管的像素的信号强度与血管的深度之间的关系的图(血管较细的情况下)。
图9是示出图6所示的归一化特征量计算部所执行的处理的流程图。
图10是示出本发明的实施方式2涉及的图像处理装置的结构的框图。
图11是示出图10所示的图像处理装置的动作的流程图。
图12是示出图10所示的归一化特征量计算部所执行的处理的流程图。
具体实施方式
以下,参照附图说明本发明的实施方式涉及的图像处理装置、图像处理方法以及图像处理程序。此外,本发明不受这些实施方式限定。另外,在各附图的记载中,对相同部分标注相同标号来示出。
(实施方式1)
图1是示出本发明的实施方式1涉及的图像处理装置的框图。本实施方式1涉及的图像处理装置1是进行如下的图像处理的装置:使用中心波长彼此不同的至少3个的多个窄带图像来估计映在图像内的血管的深度,并生成以根据深度而不同的色调对血管进行了强调的管腔内图像。此外,虽然在以下的说明中将内窥镜或者胶囊型内窥镜对生物体的管腔内进行拍摄所获取的窄带图像作为处理对象,但是也可以将内窥镜或者胶囊型内窥镜以外的观察装置所获取的图像作为处理对象。
作为通过内窥镜获取窄带图像的方法的一例,可以列举使用LED的方法,该LED发出具有多个窄带的波长峰值的光。例如,将以下两种LED设置于内窥镜中,使这些LED交替发光对生物体进行照射,通过彩色的摄像元件将来自生物体内的反射光按照R(红色)成分、G(绿色)成分以及B(蓝色)成分来获取,其中一种LED发出具有以波长415nm、540nm、600nm为中心的峰值的光,另一种LED发出具有以波长460nm、540nm、630nm为中心的峰值的光。由此,能够获得分别包含415nm、460nm、540nm、600nm、630nm的波长成分的5种窄带图像。
或者,作为其他的获取窄带图像的方法的例子,可以列举如下方法:将窄带滤镜配置于疝灯等白色光源的前方,通过被该窄带滤镜窄带化的光按顺序对生物体内进行照射;或者按顺序驱动多个激光二极管,这些激光二极管分别发出中心波长彼此不同的窄带光。而且,也可以通过利用白色光对生物体内进行照射,使来自生物体的反射光经由窄带滤镜入射到摄像元件,从而获取窄带图像。
如图1所示,图像处理装置1具有:控制部10,其控制该图像处理装置1整体的动作;图像获取部20,其获取与由内窥镜拍摄的窄带图像对应的图像数据;输入部30,其通过来自外部的操作而生成输入信号;显示部40,其进行各种显示;记录部50,其存储由图像获取部20获取的图像数据和各种程序;以及运算部100,其对图像数据执行规定的图像处理。
控制部10由CPU等硬件来实现,其通过读入记录在记录部50中的各种程序,根据从图像获取部20输入的图像数据和从输入部30输入的操作信号等,向构成图像处理装置1的各个部分进行指示或者数据传送等,对图像处理装置1整体的动作进行统一控制。
图像获取部20根据包含内窥镜的系统的方式适当构成。例如,当在与胶囊型内窥镜之间交换图像数据时使用可移动型记录介质的情况下,图像获取部20由拆装自如地安装该记录介质并读出已记录的图像的图像数据的读出装置构成。另外,在设置预先保存由内窥镜拍摄的图像的图像数据的服务器的情况下,图像获取部20由与服务器连接的通信装置等构成,并与服务器进行数据通信来获取图像数据。或者,还可以由经由电缆从内窥镜输入图像信号的接口装置等构成图像获取部20。
输入部30通过例如键盘、鼠标、触摸面板及各种开关等输入设备来实现,其将根据从外部对这些输入设备的操作所生成的输入信号输出到控制部10。
显示部40由LCD或EL显示器等显示装置来实现,在控制部10的控制下,显示包含管腔内图像在内的各种画面。
记录部50由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、或者CD-ROM等信息记录装置及其读取装置等来实现。记录部50除了保存由图像获取部20所获取的图像数据以外,还保存用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序以及在该程序的执行中使用的数据等。具体地说,记录部50保存图像处理程序51等,该图像处理程序51使该图像处理装置1执行如下图像处理:根据内窥镜所获取的多个窄带图像生成以与距离表层的深度对应的颜色对生物体内的血管进行了强调的图像。
运算部100通过CPU等硬件来实现,通过读入图像处理程序51而对多个窄带图像实施图像处理,并生成以与距离表层的深度对应的颜色对生物体内的血管进行了强调的图像。
接着,对运算部100的结构进行说明。如图1所示,运算部100具有:窄带图像获取部101,其从记录部50取入至少3个窄带图像的图像数据;深度特征量计算部102,其根据窄带图像获取部101所获取的窄带图像而计算与生物体内的血管的深度相关的特征量;以及强调图像生成部103,其根据该特征量而生成以与血管的深度对应的颜色对该血管进行了强调的图像。
窄带图像获取部101获取根据中心波长彼此不同的窄带光而拍摄的至少3个窄带图像。优选获取至少分别包含R成分、G成分、B成分的窄带图像。
深度特征量计算部102根据彼此不同的窄带图像中的由照射于生物体的光的吸光变化所生成的信号强度的变化的差异而计算与生物体内的血管的深度相关的特征量(以下称为深度特征量)。更详细地说,深度特征量计算部102具有:归一化特征量计算部110,其在窄带图像获取部101所获取的窄带图像间使各像素的信号强度归一化;以及相对特征量计算部120,其根据被归一化的信号强度(以下称为已归一化信号强度),计算相对特征量,该相对特征量是表示2个窄带图像间的各像素的相对信号强度的特征量。
其中,归一化特征量计算部110具有强度校正部111,该强度校正部111以粘膜区域中的信号强度为基准对窄带图像获取部101所获取的窄带图像内的各像素的信号强度进行校正。强度校正部111具有低频图像生成部111a和粘膜区域判别部111b。低频图像生成部111a计算以构成各窄带图像的空间频率成分中的低频成分为像素值的低频图像。另外,粘膜区域判别部111b根据各窄带图像和上述低频图像来识别存在于各窄带图像内的粘膜区域。
相对特征量计算部120具有第1特征量获取部121、第2特征量获取部122以及比率计算部123。其中,第1特征量获取部121从窄带图像获取部101所获取的窄带图像中选出1个窄带图像(第1窄带图像),并获取该选出的窄带图像中的已归一化信号强度作为第1特征量。第1特征量获取部121具有:短波段选出部121a,其选出窄带图像获取部101所获取的窄带图像中的包含相对较短波长的波长成分(例如B成分或者G成分)的窄带图像;以及长波段选出部121b,其选出包含相对较短波长的波长成分(例如R成分或者G成分)的窄带图像。
第2特征量获取部122根据第1特征量获取部121所选出的窄带图像的波长成分,从窄带图像获取部101所获取的窄带图像中选出其他的窄带图像(第2窄带图像),并获取该窄带图像的已归一化信号强度作为第2特征量。更详细地说,第2特征量获取部122具有附近波段选出部122a,该附近波段选出部122a选出波长成分的频带与短波段选出部121a或者长波段选出部121b所选出的窄带图像相邻的窄带图像。
比率计算部123计算上述第1特征量和第2特征量的比率作为表示窄带图像间的相对信号强度的特征量。
强调图像生成部103具有使窄带图像之间相加的加法部130,该强调图像生成部103根据深度特征量计算部102所计算出的深度特征量,对窄带图像获取部101所获取的窄带图像和强度校正部111所校正的窄带图像进行加权相加,从而生成以与深度对应的颜色对血管进行了强调的图像。
接着,对图像处理装置1的动作进行说明。图2是示出图像处理装置1的动作的流程图。
首先,在步骤S10中,窄带图像获取部101获取中心波长彼此不同的至少3个窄带图像。作为至少3个窄带图像的组合,只要是表示生物体内的与距离粘膜表面的血管的深度对应的像素的信号强度彼此不同的特性的波段的组合,就能够不限于红色频带图像、绿色频带图像、蓝色窄带图像的组合进行使用。在以下的说明中,作为一例,获取分别以415nm、460nm、540nm、600nm、630nm作为中心波长的5个窄带图像。
在接下来的步骤S11中,归一化特征量计算部110在步骤S10中所获取的窄带图像间对信号强度的差异进行校正。这是因为在中心波长彼此不同的窄带图像间,由于照射于生物体的粘膜面等的窄带光的强度或照射面上的分光反射率的差异等造成即使在拍摄同一区域的情况下也会在信号强度上产生差异,所以要能够计算在窄带图像间能够进行比较的特征量。在此,在上述的5个波长中,中心波长630nm的窄带光对血红蛋白的吸光非常少。因此,能够认为中心波长630nm的窄带图像内的各像素的信号强度基本上表示粘膜面。因此,在实施方式1中,以中心波长630nm的窄带图像为基准,在其他的4个窄带图像中进行校正以使表示粘膜面的像素的信号强度相等。
图3是示出在步骤S11中归一化特征量计算部110所执行的处理的流程图。归一化特征量计算部110对窄带图像获取部101所获取的窄带图像中的作为基准的窄带图像(在本实施方式1中是630nm的窄带图像)以外的各窄带图像执行循环A的处理。
首先,在步骤S110中,低频图像生成部111a通过对处理对象窄带图像进行空间频率分解而分割成多个空间频段,生成以低频段的成分(低频成分)的强度作为像素值的图像(以下称为低频图像)。作为空间频率分解,例如能够通过DOG(DifferenceOf Gaussian:高斯差分,参考:アドコム·メディア株式会社「コンピュータビジョン最先端ガイド2」第8页)进行。
下面对基于DOG的低频图像的生成处理的概要进行说明。首先,通过进行窄带图像和尺度σ=σ0的高斯函数的卷积运算而计算平滑化图像Li。在此,标号i是表示运算次数的参数,i=1被作为初始值设定。接着,通过进行平滑化图像Li和尺度σ=kiσ0的高斯函数的卷积运算而计算平滑化图像Li+1。在此,标号k表示高斯函数的增加率。递增参数i并且重复这样的处理。然后,获取任意的2个平滑化图像Li=n、Li=m(n、m是自然数)间的差分图像。该差分图像是由特定的频率成分构成的图像,通过适当选择作为差分图像的基础的平滑化图像Li=n、Li=m的参数n、m而能够获取低频图像。
接着,对窄带图像内的各像素执行循环B的处理。即,在步骤S111中,粘膜区域判别部111b对窄带图像内的各像素的信号强度与通过空间频率分解所获得的该像素的低频成分的强度进行比较,判定像素的信号强度是否是低频成分的强度以上。更详细地说,粘膜区域判别部111b在窄带图像和在步骤S110中生成的低频图像中对对应的像素的像素值之间进行比较。
在像素的信号强度比低频成分的强度小的情况下(步骤S111:否),强度校正部111认为该像素不是粘膜面,转移到对下一个像素的处理。另一方面,在像素的信号强度是低频成分的强度以上的情况下(步骤S111:是),强度校正部111认为该像素是粘膜面,计算该像素的信号强度与在波长630nm的窄带图像中对应的像素的信号强度的比率(强度比:I630/Iλ)(步骤S112)。在此,标号Iλ(λ=415nm、460nm、540nm、600nm)表示处理对象窄带图像中的处理中的像素的信号强度。另外,标号I630表示波长630nm的窄带图像中的与上述处理中的像素对应的像素的信号强度。
如果对处理对象窄带图像中的所有的像素进行的粘膜面的判定都结束,则在接下来的步骤S113中,归一化特征量计算部110计算被判定为粘膜面的所有像素的强度比I630/Iλ的平均值AVG(I630/Iλ)。
而且,在步骤S114中,归一化特征量计算部110对窄带图像内的各像素的信号强度乘以平均值AVG(I630/Iλ)。这样求积之后的各像素的信号强度Iλ'=Iλ×AVG(I630/Iλ)在以下的处理中被作为已校正信号强度对待。
通过对作为基准的窄带图像以外的各窄带图像执行这些步骤S110~S114,能够在这些窄带图像间对由窄带光的强度或分光反射率等引起的信号强度的差异进行校正。之后,图像处理装置1的动作返回主程序。
此外,虽然在上述说明中通过空间频率分解计算各像素的低频成分的强度,但是也可以使用其以外的公知的各种方法(例如平滑化滤波器等)。
另外,虽然在上述说明中根据窄带图像内的各像素的信号强度与低频成分的相对强度关系来识别粘膜面,但是只要能够在多个窄带图像间进行校正以使粘膜面上的信号强度相等,也可以使用其他方法。例如,也可以生成处理对象窄带图像内的各像素与630nm的窄带图像内的对应的像素的信号强度的比率(强度比)的分布,通过计算该强度比的分布中的权重平均而求出平均值AVG(I630/Iλ),其中,权重平均中频度相对越高的强度比则权重越大。
而且,虽然在上述说明中将630nm的窄带图像作为基准对其他的窄带图像的信号强度进行了校正,但是也可以将630nm以外的窄带图像作为基准。例如,在后级的处理中,在预先了解了在对应的像素间信号强度的相对关系所需要的窄带图像的组合的情况下,也可以以该窄带图像的组合进行信号强度的校正。
在紧接着步骤S11的步骤S12中,相对特征量计算部120在彼此不同的窄带图像间计算在步骤S11中被校正的信号强度的比率(强度比)。该强度比是与生物体内的血管的深度相关的深度特征量。
在此,照射到生物体的窄带光,波长越长则粘膜面上的散射越弱,越到达更深层。另外,在实施方式1中使用的窄带光对血红蛋白的吸光,在415nm的窄带光中最多,按照415nm、460nm、540nm、600nm、630nm的顺序减少。因此,当在这些窄带光之间表示粘膜面的像素的信号强度彼此相同的情况下,各窄带图像中的表示血管的像素的信号强度与血管的深度之间,如图4所示,能看出与各频带的波长对应的关系。此外,在图4中,横轴表示血管的深度,纵轴表示信号强度,该信号强度是表示血管的像素的信号强度。另外,因为630nm的窄带光在粘膜面的吸光非常少,与表示粘膜面的像素的信号强度基本相同,所以在图4中省略记载。
如图4所示,虽然在表层附近415nm的窄带图像中的信号强度最小,但是因为415nm的窄带光非常容易散射,所以深度越深信号强度越大,相对于460nm的窄带图像中的信号强度的差越小。另外,在415nm的窄带光无法到达的中层~深层,如果对比540nm和600nm的窄带图像的信号强度,则虽然在比较表层侧540nm的窄带图像中的信号强度小,但是深度越深则二者的信号强度的差越小。
即,在表层~中层,深度越浅,则415nm和460nm的窄带图像中的强度比I460'/I415'越大。因此,能够将强度比I460'/I415'作为在表层~中层中与深度相关的深度特征量使用。另外,在中层~深层,深度越深,则600nm和540nm的窄带图像中的强度比I540'/I600'越大。因此,能够将强度比I540'/I600'作为在中层~深层中与深度相关的深度特征量使用。
作为具体的处理,如果短波段选出部121a从上述的5个窄带图像中选出短波长侧的窄带图像(例如415nm的窄带图像),则第1特征量获取部121获取被选出的窄带图像内的各像素的已校正信号强度(例如强度I415')。另外,与此对应,附近波段选出部122a选出频带与该短波长侧的窄带图像相邻的窄带图像(例如460nm的窄带图像),第2特征量获取部122获取被选出的窄带图像内的各像素的已校正信号强度(例如强度I460')。比率计算部123计算这些窄带图像间彼此对应的像素的已校正信号强度的比率I460'/I415'作为深度特征量。
另外,如果长波段选出部121b从上述的5个窄带图像中选出长波长侧的窄带图像(例如600nm的窄带图像),则第1特征量获取部121获取被选出的窄带图像内的各像素的已校正信号强度(例如强度I600')。另外,与此对应,附近波段选出部122a选出频带与该长波长侧的窄带图像相邻的窄带图像(例如540nm的窄带图像),第2特征量获取部122获取被选出的窄带图像内的各像素的已校正信号强度(例如强度I540')。比率计算部123计算这些窄带图像间彼此对应的像素的已校正信号强度的比率I540'/I600'作为深度特征量。
此外,计算强度比的波长的组合不限于上述的组合。例如,因为460nm和540nm的窄带光的吸光特性比较类似(参照图4),所以也可以计算强度比I540'/I415'来代替上述强度比I460'/I415'。
在接下来的步骤S13中,强调图像生成部103根据在步骤S12中计算出的信号强度的比率(即,深度特征量),生成以根据深度而不同的色调对血管进行了强调的强调图像。与深度对应的色调不被特别限定,在实施方式1中,以黄色强调表层的血管,以蓝色强调深层的血管。即,在所生成的强调图像中,以血管的深度越浅B成分越小、血管的深度越深R成分越小的方式进行处理。
在此,在步骤S10中获取的5个窄带图像中的460nm、540nm以及630nm的窄带图像分别近似于通过白色光获取的图像的B成分、G成分以及R成分。另外,在上述的5个窄带图像中的415nm的窄带图像中,表示表层的血管的像素的信号强度比其他的窄带图像小。另一方面,在600nm的窄带中,表示深层的血管的像素的信号强度比其他的窄带图像小。
因此,强调图像中的B成分的信号强度通过如下方式而求得:以深度越浅则越使415nm侧的比率越高的方式将415nm的窄带图像加到460nm的窄带图像上。另一方面,强调图像中的R成分的信号强度通过如下方式而求得:以深度越深则越使600nm侧的比率越高的方式将600nm的窄带图像加到630nm的窄带图像上。由此,能够生成根据深度而对血管进行了强调的图像。
此外,虽然在实施方式1中根据血管的深度对血管进行强调,但是也可以以与血管的深度对应的对比度或者饱和度或者亮度等进行强调。例如,在根据血管的深度使对比度变化的情况下,可以生成深度越浅则使对比度越高并且深度越深则使对比度越低来对血管进行了强调的图像。不限于这些例子,也能够应用根据与血管的深度相关的信息对血管进行强调的其他的各种方法。
图5是示出在步骤S13中强调图像生成部103所执行的处理的流程图。
首先,在步骤S131中,强调图像生成部103相对于460nm的窄带图像对415nm的窄带图像进行强度校正。具体地说,通过使用了在步骤S110中计算出的强度比的AVG(I630/Iλ)的下列公式(1),对窄带图像内的各像素的信号强度进行校正。在公式(1)中,标号I415”表示对已校正信号强度I415'进行了进一步校正之后的信号强度。
【数学式1】
在接下来的步骤S132中,强调图像生成部103根据窄带图像间的信号强度的比率(强度比),计算下列公式(2)和(3)所赋予的权重W1、W2。在公式(2)、(3)中,标号W1base、W2base表示对权重W1、W2预先设定的最小值,标号α、β(α、β>0)表示根据窄带图像的信号强度的比率对权重进行控制的参数。
【数学式2】
根据公式(2),血管的深度越浅则权重W1越大。另一方面,根据公式(3),血管的深度越深则权重W2越大。
在接下来的步骤S133中,强调图像生成部103根据权重W1、W2使窄带图像相加。即,计算下述公式(4)~(6)所赋予的B成分、G成分、R成分的信号强度IB、IG、IR,并生成将这些信号强度IB、IG、IR作为像素值的图像。
【数学式3】
IB=W1×I415″+(1-W1)×I460 …(4)
IG=I540 …(5)
IR=W2×I600′+(1-W2)×I630 …(6)
如上述所述,因为血管的深度越浅则权重W1越大,所以如果血管的深度较浅,则占据B成分的信号强度的校正后的415nm的窄带图像的信号强度I415”的比率变高,B成分的值被抑制(即,泛黄)。另一方面,因为血管的深度越深则权重W2越大,所以如果血管的深度较深,则占据R成分的信号强度的归一化后的600nm的窄带图像的信号强度I600'的比率变高,R成分的值被抑制(即,泛蓝)。之后,图像处理装置1的动作返回主程序。
在紧接着步骤S13的步骤S14中,运算部100输出在步骤S13中生成的强调图像,使其显示于显示部40,并且使其记录于记录部50。之后,图像处理装置1中的处理结束。
如上述所述,根据本发明的实施方式1,因为根据中心波长彼此不同的至少3个窄带图像的信号强度来计算与血管的深度相关的深度特征量,并根据该深度特征量使窄带图像之间相加,所以能够生成以与血管的深度对应的色调对血管进行了强调的图像。因此,用户通过观察这样的图像,能够详细地观察存在于期望的深度的血管。
(变形例)
接着,对本发明的实施方式1的变形例进行说明。
本变形例涉及的图像处理装置相对于图1所示的图像处理装置1,具有如图6所示的归一化特征量计算部140来代替归一化特征量计算部110。此外,本变形例涉及的图像处理装置中的归一化特征量计算部140以外的各部的结构和动作与实施方式1相同。
如图6所示,归一化特征量计算部140具有强度校正部141,该强度校正部141根据血管的粗细对窄带图像获取部101(参照图1)所获取的各窄带图像中的表示血管的像素的信号强度(以下也称为血管信号)进行强调,并对该被强调的窄带图像校正各像素的信号强度。
更详细地说,强度校正部141除了低频图像生成部111a和粘膜区域判别部111b之外,还具有空间频段分割部141a、高频成分强调部141b以及图像化部141c。此外,低频图像生成部111a和粘膜区域判别部111b的动作与实施方式1相同。
空间频段分割部141a通过对窄带图像获取部101所获取的各窄带图像进行空间频率分解,而分割成多个空间频段。高频成分强调部141b对上述多个空间频段的各频率成分进行越是高频越进行强的强调的强调处理。图像化部141c根据高频成分强调部141b所强调的频率成分而生成窄带图像。
在此,如上述所述,虽然窄带图像中的血管信号的强度和血管的深度具有与窄带光的波长对应的特性(参照图4),但是严密地说,根据血管的粗细这些特性产生变化。例如如图8所示,因为在血管较细的情况下窄带光的吸光整体上变少,所以与如图7所示的血管较粗的情况相比,血管信号的强度特性整体上向曲线图的上方移位。在这种情况下,即使血管的深度是同等程度,也具有较细的血管比起较粗的血管,窄带图像间的强度比(例如强度比I460/I415、I540/I600)变大的倾向。因此,在本变形例中,在计算深度特征量之前,通过对表示较细血管的像素的信号强度进行强调,而减轻与血管的粗细对应的吸光的差所造成的影响。
图9是示出归一化特征量计算部140所执行的处理的流程图。此外,本变形例涉及的图像处理装置整体的动作与实施方式1相同,只有归一化特征量计算部140所执行的步骤S11(参照图2)的详细动作与实施方式1不同。
如图9所示,归一化特征量计算部140对窄带图像获取部101所获取的窄带图像中的作为基准的窄带图像(例如630nm的窄带图像)以外的各窄带图像执行循环C的处理。
首先,在步骤S140中,空间频段分割部141a通过对处理对象窄带图像进行空间频率分解,而分割成多个空间频段。作为空间频率分解的方法,例如能够使用在实施方式1中说明的DOG等。
在接下来的步骤S141中,高频成分强调部141b在空间频段分割部141a所分割的各空间频段的成分的强度中乘以频段越高则值越大的系数,图像化部141c对各空间频段的强度进行合计。这样,生成高频成分被强调的窄带图像。
之后,根据高频成分被强调的窄带图像,执行步骤S111~S114。此外,步骤S111~S114中的处理与实施方式1相同。但是,在步骤S111以后,对高频成分被强调后的窄带图像执行处理。
(实施方式2)
下面,对本发明的实施方式2进行说明。
图10是示出本发明实施方式2涉及的图像处理装置的结构的框图。如图10所示,实施方式2的图像处理装置2替代图1所示的运算部100而具有运算部200。运算部200以外的图像处理装置2的各部的结构和动作与实施方式1相同。
运算部200具有窄带图像获取部101、深度特征量计算部202以及强调图像生成部203。其中,窄带图像获取部101的动作与实施方式1相同。
深度特征量计算部202具有归一化特征量计算部210和相对特征量计算部220,深度特征量计算部202根据窄带图像获取部101所获取的窄带图像来计算深度特征量。
归一化特征量计算部210除了强度校正部111之外还具有衰减量计算部211,该衰减量计算部211对窄带图像获取部101所获取的各窄带图像计算由生物体进行的波长成分的吸光所造成的衰减量,归一化特征量计算部210根据该衰减量使各窄带图像的信号强度归一化。此外,强度校正部111的结构和动作与实施方式1相同。
衰减量计算部211具有粘膜强度计算部211a、差分计算部211b以及归一化部211c。其中,粘膜强度计算部211a计算各窄带图像所包含的像素中的表示粘膜面的像素的信号强度(以下也称为粘膜强度)。更详细地说,粘膜强度计算部211a对各窄带图像计算以空间频率成分中的低频成分为像素值的低频图像。该低频图像的各像素的像素值与粘膜强度对应。或者,也可以将包含血红蛋白吸光较少的波长成分的长波段图像内的各像素的像素值作为粘膜强度来使用。此外,差分计算部211b计算各窄带图像所包含的各像素的信号强度相对于粘膜强度的差分。归一化部211c根据粘膜强度使上述差分归一化。
相对特征量计算部220具有第1特征量获取部221、第2特征量获取部222以及比率计算部223。第1特征量获取部221从窄带图像获取部101所获取的窄带图像中选出1个窄带图像(第1窄带图像),并获取对该选出的窄带图像所计算出的已归一化的差分作为第1特征量。第2特征量获取部222根据第1特征量获取部221所选出的窄带图像的波长成分,从窄带图像获取部101所获取的窄带图像中选出其他的窄带图像(第2窄带图像),并获取对该选出的窄带图像所计算出的已归一化的差分作为第2特征量。此外,第1特征量获取部221所具有的短波段选出部121a和长波段选出部121b、以及第2特征量获取部222所具有的附近波段选出部122a的动作与实施方式1相同。比率计算部223计算上述第1特征量和第2特征量的比率作为表示窄带图像间的相对衰减量的特征量。
强调图像生成部203具有使窄带图像之间相加的加法部230,该强调图像生成部203根据深度特征量计算部202所计算出的深度特征量,对窄带图像获取部101所获取的窄带图像和强度校正部111所校正的窄带图像进行加权相加,从而生成以与深度对应的颜色对血管进行了强调的图像。
接着,说明图像处理装置2的动作。图11是示出图像处理装置2的动作的流程图。此外,图11所示的步骤S10和S14中的动作与实施方式1相同。另外,与实施方式1同样,在实施方式2中也获取通过波长415nm、460nm、540nm、600nm、630nm为中心的窄带光拍摄的5个窄带图像作为窄带图像,进行图像处理。
在紧接着步骤S10的步骤S21中,归一化特征量计算部210计算各窄带图像中的由吸光造成的衰减量。在此,如上述所述,因为中心波长630nm的窄带光对血红蛋白的吸光非常少,所以能够认为该窄带图像内的各像素的信号强度基本上表示粘膜面。因此,在实施方式2中通过如下方式求得衰减量:以中心波长630nm的窄带图像为基准,在其他的4个窄带图像中进行校正以使表示粘膜面的像素的信号强度相等之后,计算相对于630nm的窄带图像的信号强度的差分。
图12是示出归一化特征量计算部210所执行的处理的流程图。归一化特征量计算部210对窄带图像获取部101所获取的各窄带图像执行循环D的处理。其中,步骤S110~S113中的处理与实施方式1相同。
接着步骤S113,衰减量计算部211对窄带图像内的各像素执行循环E的处理。
首先,在步骤S210中,粘膜强度计算部211a将在步骤S113中计算出的表示粘膜面的像素的强度比的平均值AVG(I630/Iλ)与处理对象像素的信号强度Iλ相乘。由此,获取按照粘膜强度对该信号强度Iλ进行了校正的信号强度Iλ”。
在接下来的步骤S211中,差分计算部211b计算在步骤S210中被校正的信号强度Iλ”=Iλ×AVG(I630/Iλ)与对应于处理对象像素的630nm的窄带图像内的像素的信号强度(即,粘膜强度)的差分(强度差)ΔIλ=Iλ×AVG(I630/Iλ)-I630。
在接下来的步骤S212中,归一化部211c通过除以630nm的窄带图像的信号强度而使差分ΔI归一化(参照下列公式)。这是因为上述强度差是依赖于表示粘膜面的像素的强度的值。该被归一化的差分能够被用作各窄带图像中的衰减量Aλ(λ=415nm、460nm、540nm、600nm)。即,
Aλ=ΔIλ/I630={Iλ×AVG(I630/Iλ)-I630}/I630
此外,虽然在实施方式2中以630nm的窄带图像为基准计算出了衰减量Aλ,但是也可以通过其他的方法计算衰减量。例如,也可以将各窄带图像的低频成分认为是粘膜面,在各窄带图像中以低频成分的强度作为基准(粘膜强度)使各像素的信号强度归一化,并将被归一化的信号强度与该低频成分的信号强度的差分作为衰减量。之后,图像处理装置2的动作返回主程序。
在紧接着步骤S21的步骤S22中,相对特征量计算部220在彼此不同的窄带图像间计算在步骤S21中计算出的衰减量Aλ的比率。在此,如上述所述,在各窄带图像中的表示血管的像素的信号强度与血管的深度之间,能看出与各频带的波长对应的关系。另外,在步骤S21中计算出的衰减量成为各窄带光的强度相对于如图4所示的表示粘膜面的像素的信号强度的差分。因此,在表层~中层中,深度越浅,则415nm和460nm的窄带图像间的衰减量的比A460/A415越大。另一方面,在中层~深层中,深度越深,则600nm和540nm的窄带图像间的衰减量的比A540/A600越大。
因此,在步骤S22中,计算衰减量的比作为与生物体内的血管的深度相关的深度特征量。即,将衰减量的比A460/A415作为表层~中层中与深度相关的深度特征量来使用,将衰减量的比A540/A600作为中层~深层中与深度相关的深度特征量来使用。
作为具体的处理,如果短波段选出部121a从上述的5个窄带图像中选出短波长侧的窄带图像(例如415nm的窄带图像),则第1特征量获取部221获取被选出的窄带图像内的各像素的已校正的衰减量(例如衰减量A415)。另外,与此对应,附近波段选出部122a选出频带与该短波长侧的窄带图像相邻的窄带图像(例如460nm的窄带图像),第2特征量获取部222获取被选出的窄带图像内的各像素的已校正衰减量(例如衰减量A460)。比率计算部223计算这些窄带图像间彼此对应的像素中的衰减量的比率A460/A415作为深度特征量。
另外,如果长波段选出部121b从上述的5个窄带图像中选出长波长侧的窄带图像(例如600nm的窄带图像),则第1特征量获取部221获取被选出的窄带图像内的各像素的已校正的衰减量(例如衰减量A600)。另外,与此对应,附近波段选出部122a选出频带与该长波长侧的窄带图像相邻的窄带图像(例如540nm的窄带图像),第2特征量获取部222获取被选出的窄带图像内的各像素的已校正的衰减量(例如衰减量A540)。比率计算部223计算这些窄带图像间彼此对应的像素中的衰减量的比率A540/A600作为深度特征量。
此外,虽然在上述实施方式1的变形例中阐述了窄带图像中的信号强度根据血管的粗细进行变化,但是在实施方式2中所使用的衰减量的比率,因为血管粗细的差异所引起的信号强度的变化被分母与分子相抵,所以能够获得不依赖于血管粗细的深度特征量。
在接下来的步骤S23中,强调图像生成部203根据在步骤S22中计算出的深度特征量,生成以根据深度而不同的色调对血管进行了强调的强调图像。即使在实施方式2中也与实施方式1同样,以黄色强调表层的血管,以蓝色强调深层的血管。
步骤S23中的处理的详细情况整体上与实施方式1(参照图5)相同,不同点在于,代替实施方式1中计算基于信号强度的权重W1、W2(参照步骤S132),而在本实施方式2中计算基于下述公式(7)、(8)所赋予的衰减量的权重W1'、W2'。
【数学式4】
在这种情况下,在步骤S133中,在上述的公式(4)~(6)中,代替权重W1、W2而使用权重W1'、W2'计算B成分、G成分、R成分的信号强度IB、IG、IR。
如上述所述,根据实施方式2,因为根据从中心波长彼此不同的至少3个窄带图像中计算的窄带光的衰减量,计算与血管的深度相关的深度特征量,并根据该深度特征量使窄带图像之间相加,所以能够生成以与血管的深度对应的色调对血管进行了强调的图像。因此,用户通过观察这样的图像,能够详细地观察存在于期望的深度的血管。
以上所说明的实施方式1、2以及变型例涉及的图像处理装置能够通过在个人计算机或工作站等计算机系统中执行在记录装置中记录的图像处理程序来实现。另外,也可以将这种计算机系统通过局域网、广域网(LAN/WAN)或因特网等公共线路而与其他的计算机系统或服务器等设备连接来使用。在这种情况下,实施方式1、2以及变形例涉及的图像处理装置也可以经由这些网络取得管腔内图像的图像数据、向经由这些网络连接的各种输出设备(监视器、打印机等)输出图像处理结果、或在经由这些网络连接的存储装置(记录装置及其读取装置等)中存储图像处理结果。
另外,本发明不限定于实施方式1、2以及变形例,可通过适当组合各实施方式或变形例所公开的多个结构要素来形成各种发明。例如,可从各实施方式或变形例所示的全部结构要素中去除几个结构要素来形成,也可适当组合不同实施方式或变形例所示的结构要素来形成。
标号说明
1、2:图像处理装置;10:控制部;20:图像获取部;30:输入部;40:显示部;50:记录部;51:图像处理程序;100、200:运算部;101:窄带图像获取部;102、202:深度特征量计算部;103、203:强调图像生成部;110、140、210:归一化特征量计算部;111:强度校正部;111a:低频图像生成部;111b:粘膜区域判定部;120、220:相对特征量计算部;121、221:第1特征量获取部;121a:短波段选出部;121b:长波段选出部;122、222:第2特征量获取部;122a:附近波段选出部;123、223:比率计算部;130、230:加法部;141:强度校正部;141a:空间频段分割部;141b:高频成分强调部;141c:图像化部;211:衰减量计算部;211a:粘膜强度计算部;211b:差分计算部;211c:归一化部。
Claims (19)
1.一种图像处理装置,其对通过拍摄生物体而获取的图像进行处理,其特征在于,
该图像处理装置具有:
窄带图像获取单元,其获取中心波长彼此不同的至少3个窄带图像;
深度特征量计算单元,其根据彼此不同的窄带图像中的由照射于所述生物体的光的吸光变化所产生的信号强度的变化的差异来计算深度特征量,该深度特征量是与所述生物体内的血管的深度相关的特征量;以及
强调图像生成单元,其根据所述深度特征量来生成根据所述血管的深度对所述血管进行了强调的图像,
所述深度特征量计算单元具有:
归一化特征量计算单元,其计算在所述至少3个窄带图像间对基于各像素的信号强度的值进行了归一化后的归一化特征量;以及
相对特征量计算单元,其计算表示所述彼此不同的窄带图像间的所述归一化特征量之间的相对强度关系的相对特征量。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述归一化特征量计算单元具有衰减量计算单元,该衰减量计算单元对所述各窄带图像计算由与该窄带图像对应的波长成分的吸光造成的衰减量。
3.根据权利要求2所述的图像处理装置,其特征在于,
所述衰减量计算单元具有:
粘膜强度计算单元,其计算所述各窄带图像所包含的像素中的表示粘膜面的像素的信号强度即粘膜强度;
差分计算单元,其计算所述各窄带图像所包含的各像素的信号强度相对于所述粘膜强度的差分;以及
归一化单元,其根据所述粘膜强度对所述差分进行归一化。
4.根据权利要求3所述的图像处理装置,其特征在于,
所述粘膜强度计算单元计算将构成所述各窄带图像的多个空间频率成分中的低频成分作为像素值的低频图像。
5.根据权利要求3所述的图像处理装置,其特征在于,
所述至少3个窄带图像中的1个是包含血红蛋白吸光少的波长成分的长波段图像,
所述粘膜强度计算单元将所述长波段图像作为基准对其他的窄带图像中的所述信号强度进行校正。
6.根据权利要求1所述的图像处理装置,其特征在于,
所述归一化特征量计算单元具有强度校正单元,该强度校正单元将所述至少3个窄带图像中的表示粘膜区域的像素的信号强度作为基准,对各窄带图像的所述信号强度进行校正。
7.根据权利要求6所述的图像处理装置,其特征在于,
所述强度校正单元具有:
低频图像计算单元,其对所述各窄带图像计算将构成该窄带图像的空间频率成分中的低频成分作为像素值的低频图像;以及
粘膜区域识别单元,其根据所述各窄带图像和所述低频图像,对存在于所述各窄带图像内的粘膜区域进行识别。
8.根据权利要求6所述的图像处理装置,其特征在于,
所述强度校正单元针对所述各窄带图像中的表示血管的像素的信号强度,根据该血管的粗细来进行强调,并对强调了该表示血管的像素后的窄带图像进行信号强度的校正。
9.根据权利要求8所述的图像处理装置,其特征在于,
所述强度校正单元具有:
空间频段分割单元,其将所述各窄带图像分割成多个空间频率成分;
高频成分强调单元,其针对所述多个空间频率成分,越是高频越进行强的强调;以及
图像化单元,其生成基于被所述高频成分强调单元强调后的多个空间频率成分的窄带图像。
10.根据权利要求1所述的图像处理单元,其特征在于,
所述相对特征量计算单元具有:
第1特征量获取单元,其从所述至少3个窄带图像中选出第1窄带图像,并获取该第1窄带图像的所述归一化特征量作为第1特征量;
第2特征量获取单元,其根据所述第1窄带图像所包含的波长成分,从所述至少3个窄带图像中选出与所述第1窄带图像不同的第2窄带图像,并获取该第2窄带图像的所述归一化特征量作为第2特征量;以及
相对特征量计算单元,其计算表示所述第1特征量与所述第2特征量的相对大小的特征量。
11.根据权利要求10所述的图像处理装置,其特征在于,
所述第1特征量获取单元具有短波段选出单元,该短波段选出单元选出所述至少3个窄带图像中的包含相对较短波长的波长成分的窄带图像,
所述第1特征量获取单元获取由所述短波段选出单元选出的窄带图像中的所述归一化特征量。
12.根据权利要求10所述的图像处理装置,其特征在于,
所述第1特征量获取单元具有长波段选出单元,该长波段选出单元选出所述至少3个波长成分中的包含相对较长波长的波长成分的窄带图像,
所述第1特征量获取单元获取由所述长波段选出单元选出的窄带图像中的所述归一化特征量。
13.根据权利要求10所述的图像处理装置,其特征在于,
所述第2特征量获取单元具有附近波段选出单元,该附近波段选出单元选出所述至少3个窄带图像中的波长成分的频带与所述第1窄带图像相邻的窄带图像,
所述第2特征量获取单元获取由所述附近波段选出单元选出的窄带图像中的所述归一化特征量。
14.根据权利要求10所述的图像处理装置,其特征在于,
所述相对特征量计算单元具有比率计算单元,该比率计算单元计算所述第1特征量与所述第2特征量的比率。
15.根据权利要求1所述的图像处理装置,其特征在于,
所述强调图像生成单元根据所述深度特征量生成以与所述血管的深度对应的颜色对所述血管进行了强调的图像。
16.根据权利要求1所述的图像处理装置,其特征在于,
所述至少3个窄带图像至少逐一包含红色频带图像、绿色频带图像以及蓝色频带图像。
17.根据权利要求1所述的图像处理装置,其特征在于,
所述强调图像生成单元具有加法单元,该加法单元根据所述深度特征量将所述窄带图像之间相加,从而分别计算彩色图像中的红色成分、绿色成分以及蓝色成分的信号强度。
18.一种图像处理方法,其被图像处理装置所执行,该图像处理装置对通过拍摄生物体而获取的图像进行处理,其特征在于,
该图像处理方法包含:
窄带图像获取步骤,获取中心波长彼此不同的至少3个窄带图像;
深度特征量计算步骤,根据彼此不同的窄带图像中的由照射于所述生物体的光的吸光变化所产生的信号强度的变化的差异来计算深度特征量,该深度特征量是与所述生物体内的血管的深度相关的特征量;以及
强调图像生成步骤,根据所述深度特征量生成根据所述血管的深度对所述血管进行了强调的图像,
所述深度特征量计算步骤包含:
归一化特征量计算步骤,计算在所述至少3个窄带图像间对基于各像素的信号强度的值进行了归一化后的归一化特征量;以及
相对特征量计算步骤,计算表示所述彼此不同的窄带图像间的所述归一化特征量之间的相对强度关系的相对特征量。
19.一种图像处理程序,其特征在于,该图像处理程序使对通过拍摄生物体而获取的图像进行处理的图像处理装置执行:
窄带图像获取步骤,获取中心波长彼此不同的至少3个窄带图像;
深度特征量计算步骤,根据彼此不同的窄带图像中的由照射于所述生物体的光的吸光变化所产生的信号强度的变化的差异来计算深度特征量,该深度特征量是与所述生物体内的血管的深度相关的特征量;以及
强调图像生成步骤,根据所述深度特征量生成根据所述血管的深度对所述血管进行了强调的图像,
所述深度特征量计算步骤具有:
归一化特征量计算步骤,计算在所述至少3个窄带图像间对基于各像素的信号强度的值进行了归一化后的归一化特征量;以及
相对特征量计算步骤,计算表示所述彼此不同的窄带图像间的所述归一化特征量之间的相对强度关系的相对特征量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013037294A JP6128888B2 (ja) | 2013-02-27 | 2013-02-27 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2013-037294 | 2013-02-27 | ||
PCT/JP2014/050772 WO2014132695A1 (ja) | 2013-02-27 | 2014-01-17 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105025776A true CN105025776A (zh) | 2015-11-04 |
CN105025776B CN105025776B (zh) | 2017-12-08 |
Family
ID=51427969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480010431.4A Active CN105025776B (zh) | 2013-02-27 | 2014-01-17 | 图像处理装置和图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150363932A1 (zh) |
EP (1) | EP2962623A4 (zh) |
JP (1) | JP6128888B2 (zh) |
CN (1) | CN105025776B (zh) |
WO (1) | WO2014132695A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108366717A (zh) * | 2015-12-17 | 2018-08-03 | 奥林巴斯株式会社 | 内窥镜装置 |
CN108601509A (zh) * | 2015-11-26 | 2018-09-28 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及程序 |
CN108778420A (zh) * | 2016-03-31 | 2018-11-09 | 住友重机械工业株式会社 | 中子捕获治疗法用治疗计划系统 |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160249793A1 (en) * | 2013-12-27 | 2016-09-01 | Kang-Huai Wang | Capsule Camera Device with Multi-Spectral Light Sources |
US10039439B2 (en) | 2014-09-30 | 2018-08-07 | Fujifilm Corporation | Endoscope system and method for operating the same |
JP6234350B2 (ja) * | 2014-09-30 | 2017-11-22 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
JP6153912B2 (ja) * | 2014-09-30 | 2017-06-28 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
JP6153913B2 (ja) * | 2014-09-30 | 2017-06-28 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
JPWO2016059906A1 (ja) * | 2014-10-16 | 2017-04-27 | オリンパス株式会社 | 内視鏡装置及び内視鏡用光源装置 |
CN107306491B (zh) * | 2015-01-23 | 2020-03-03 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及记录介质 |
JP6243364B2 (ja) * | 2015-01-26 | 2017-12-06 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム |
JP6408400B2 (ja) * | 2015-02-27 | 2018-10-17 | 富士フイルム株式会社 | 内視鏡システム、内視鏡プロセッサ装置、及び、内視鏡システムの作動方法 |
JP6707533B2 (ja) | 2015-05-21 | 2020-06-10 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
EP3354188A4 (en) * | 2015-09-24 | 2019-04-17 | Olympus Corporation | ENDOSCOPE DEVICE |
EP3357404A4 (en) * | 2015-09-29 | 2018-10-31 | FUJIFILM Corporation | Image processing device, endoscopic system, and image processing method |
CN108135459B (zh) | 2015-10-08 | 2020-11-13 | 奥林巴斯株式会社 | 内窥镜装置 |
CN107072487B (zh) * | 2015-11-02 | 2018-06-29 | Hoya株式会社 | 内窥镜系统以及分析装置 |
JP6779025B2 (ja) | 2016-04-01 | 2020-11-04 | 富士フイルム株式会社 | 画像処理装置及びその作動方法並びに内視鏡用プロセッサ装置及びその作動方法 |
JP6533180B2 (ja) * | 2016-04-21 | 2019-06-19 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
JPWO2017212946A1 (ja) * | 2016-06-09 | 2018-06-14 | オリンパス株式会社 | 画像処理装置 |
WO2017221353A1 (ja) * | 2016-06-22 | 2017-12-28 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム |
CN106725275A (zh) * | 2017-01-13 | 2017-05-31 | 上海市第五人民医院 | 一种用于检查直肠‑肛管黏膜病灶组织的装置 |
DE112018001744T5 (de) * | 2017-03-29 | 2019-12-19 | Sony Corporation | Medizinische Bildgebungsvorrichtung und Endoskop |
WO2018198251A1 (ja) * | 2017-04-26 | 2018-11-01 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム |
WO2018198254A1 (ja) | 2017-04-26 | 2018-11-01 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
EP3620098B1 (en) * | 2018-09-07 | 2021-11-03 | Ambu A/S | Enhancing the visibility of blood vessels in colour images |
CN110335318B (zh) * | 2019-04-28 | 2022-02-11 | 安翰科技(武汉)股份有限公司 | 一种基于摄像系统的消化道内物体测量方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007020880A (ja) * | 2005-07-15 | 2007-02-01 | Olympus Medical Systems Corp | 内視鏡 |
JP2008093172A (ja) * | 2006-10-11 | 2008-04-24 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2011218135A (ja) * | 2009-09-30 | 2011-11-04 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報表示方法 |
US20120078046A1 (en) * | 2010-09-28 | 2012-03-29 | Fujifilm Corporation | Endoscopic image display apparatus |
JP2012066066A (ja) * | 2010-08-24 | 2012-04-05 | Fujifilm Corp | 電子内視鏡システム及び血管情報取得方法 |
JP2012090725A (ja) * | 2010-10-26 | 2012-05-17 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び画像処理方法 |
WO2012098792A1 (ja) * | 2011-01-20 | 2012-07-26 | オリンパスメディカルシステムズ株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡システム |
CN102727157A (zh) * | 2011-04-01 | 2012-10-17 | 富士胶片株式会社 | 内窥镜装置 |
US20120327205A1 (en) * | 2009-12-28 | 2012-12-27 | Olympus Corporation | Image processing device, electronic apparatus, information storage device, and image processing method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8498695B2 (en) * | 2006-12-22 | 2013-07-30 | Novadaq Technologies Inc. | Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy |
JP5257891B2 (ja) * | 2007-12-05 | 2013-08-07 | 富士フイルム株式会社 | 画像処理システムおよびプログラム |
EP2461746A1 (en) * | 2009-08-05 | 2012-06-13 | Tel HaShomer Medical Research Infrastructure and Services Ltd. | Methods and devices for providing information useful in the diagnosis of abnormalities of the gastrointestinal tract |
JP5389612B2 (ja) | 2009-11-06 | 2014-01-15 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
JP5395725B2 (ja) * | 2010-04-05 | 2014-01-22 | 富士フイルム株式会社 | 電子内視鏡システム |
JP5611892B2 (ja) * | 2011-05-24 | 2014-10-22 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
-
2013
- 2013-02-27 JP JP2013037294A patent/JP6128888B2/ja active Active
-
2014
- 2014-01-17 EP EP14757268.9A patent/EP2962623A4/en not_active Withdrawn
- 2014-01-17 CN CN201480010431.4A patent/CN105025776B/zh active Active
- 2014-01-17 WO PCT/JP2014/050772 patent/WO2014132695A1/ja active Application Filing
-
2015
- 2015-08-25 US US14/834,796 patent/US20150363932A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007020880A (ja) * | 2005-07-15 | 2007-02-01 | Olympus Medical Systems Corp | 内視鏡 |
JP2008093172A (ja) * | 2006-10-11 | 2008-04-24 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2011218135A (ja) * | 2009-09-30 | 2011-11-04 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報表示方法 |
US20120327205A1 (en) * | 2009-12-28 | 2012-12-27 | Olympus Corporation | Image processing device, electronic apparatus, information storage device, and image processing method |
JP2012066066A (ja) * | 2010-08-24 | 2012-04-05 | Fujifilm Corp | 電子内視鏡システム及び血管情報取得方法 |
US20120078046A1 (en) * | 2010-09-28 | 2012-03-29 | Fujifilm Corporation | Endoscopic image display apparatus |
JP2012090725A (ja) * | 2010-10-26 | 2012-05-17 | Fujifilm Corp | 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び画像処理方法 |
WO2012098792A1 (ja) * | 2011-01-20 | 2012-07-26 | オリンパスメディカルシステムズ株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡システム |
CN102727157A (zh) * | 2011-04-01 | 2012-10-17 | 富士胶片株式会社 | 内窥镜装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108601509A (zh) * | 2015-11-26 | 2018-09-28 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及程序 |
CN108601509B (zh) * | 2015-11-26 | 2020-07-07 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及记录有程序的介质 |
CN108366717A (zh) * | 2015-12-17 | 2018-08-03 | 奥林巴斯株式会社 | 内窥镜装置 |
CN108366717B (zh) * | 2015-12-17 | 2020-04-07 | 奥林巴斯株式会社 | 内窥镜装置 |
CN108778420A (zh) * | 2016-03-31 | 2018-11-09 | 住友重机械工业株式会社 | 中子捕获治疗法用治疗计划系统 |
Also Published As
Publication number | Publication date |
---|---|
US20150363932A1 (en) | 2015-12-17 |
CN105025776B (zh) | 2017-12-08 |
EP2962623A1 (en) | 2016-01-06 |
JP6128888B2 (ja) | 2017-05-17 |
EP2962623A4 (en) | 2016-11-16 |
JP2014161627A (ja) | 2014-09-08 |
WO2014132695A1 (ja) | 2014-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105025776A (zh) | 图像处理装置、图像处理方法以及图像处理程序 | |
US20040240716A1 (en) | Analysis and display of fluorescence images | |
US10194783B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region | |
JP5426475B2 (ja) | 肌の色ムラ解析装置、肌の色ムラ解析方法、及び肌の色ムラ解析プログラム | |
US10206555B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
CN115668387A (zh) | 用于为美容皮肤处理单元确定最佳操作参数集的方法和系统 | |
US10555660B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2017051474A (ja) | 肌の光沢評価装置、光沢評価方法および光沢評価プログラム | |
CN113610844A (zh) | 一种智能护肤方法、装置、设备和存储介质 | |
CN109152517B (zh) | 图像处理装置、图像处理装置的控制方法和记录介质 | |
Hussein et al. | Retinex theory for color image enhancement: A systematic review | |
CN111145155B (zh) | 一种睑板腺腺体的识别方法 | |
US9852503B2 (en) | Diagnostic apparatus for lesion, image processing method in the same apparatus, and medium storing program associated with the same method | |
CN117152362B (zh) | 内窥镜多光谱的多路成像方法、装置、设备及存储介质 | |
JP6183030B2 (ja) | 皮膚色素濃度測定方法 | |
CN215305780U (zh) | 评估甲状旁腺存活率的系统 | |
JP6585623B2 (ja) | 生体情報計測装置、生体情報計測方法および生体情報計測プログラム | |
KR20130137555A (ko) | 엑스선 골밀도 영상의 윤곽선 검출 보정 방법 및 장치 | |
Chandra et al. | Retinal based image enhancement using contourlet transform | |
JP2024019864A (ja) | 皮膚評価システム及び皮膚評価方法 | |
Waluś et al. | Quality assessment of NIR finger vascular images for exposure parameter optimization | |
JP2024052215A (ja) | 高血圧症評価システム及び高血圧症評価方法 | |
De Vita et al. | Statistical image processing for the detection of dermoscopic criteria | |
JP2023133002A (ja) | 白髪評価システム及び白髪評価方法 | |
JP2024019862A (ja) | 便潜血評価システム及び便潜血評価方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |