CN101389261B - 医疗用图像处理装置和医疗用图像处理方法 - Google Patents
医疗用图像处理装置和医疗用图像处理方法 Download PDFInfo
- Publication number
- CN101389261B CN101389261B CN2007800069166A CN200780006916A CN101389261B CN 101389261 B CN101389261 B CN 101389261B CN 2007800069166 A CN2007800069166 A CN 2007800069166A CN 200780006916 A CN200780006916 A CN 200780006916A CN 101389261 B CN101389261 B CN 101389261B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- pixel
- inappropriate
- image processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 116
- 238000003672 processing method Methods 0.000 title claims description 12
- 239000000284 extract Substances 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 61
- 238000000605 extraction Methods 0.000 claims description 27
- 238000009499 grossing Methods 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 230000001225 therapeutic effect Effects 0.000 claims description 5
- 229920006395 saturated elastomer Polymers 0.000 description 14
- 238000010586 diagram Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 231100000915 pathological change Toxicity 0.000 description 3
- 230000036285 pathological change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 210000002429 large intestine Anatomy 0.000 description 2
- 210000004877 mucosa Anatomy 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4097—Removing errors due external factors, e.g. dust, scratches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明提供医疗用图像处理装置和医疗用图像处理方法。图像处理装置(1)构成为包含分别具有包含CPU的多个电子设备的提取部(2)、计算部(3)、置换部(4)以及立体图像生成部(5)。提取部(2)提取输入图像内包含的不适当像素。计算部(3)计算用于与所提取的不适当像素中的像素信息进行置换的置换信息。置换部(4)输出将不适当像素中的像素信息置换成计算出的置换信息后的置换图像。立体图像生成部(5)根据置换图像生成立体图像。
Description
技术领域
本发明涉及对医疗用的输入图像进行图像处理的医疗用图像处理装置和医疗用图像处理方法。
背景技术
在医疗领域中广泛进行使用具有摄像功能的医疗设备的体腔内脏器的观察和诊断。在具有该摄像功能的医疗设备中,例如在内窥镜装置中,将细长的插入部插入体腔内,利用设置在该插入部的前端部的摄像单元来拍摄体腔内脏器。医生根据所拍摄的内窥镜图像进行观察和诊断。
这些内窥镜图像有时由图像处理装置等实施提高例如色彩强调等的诊断时的视觉辨认性的图像处理。然而,所拍摄的内窥镜图像有时包含有例如光晕部或暗部等,有时不能获得准确的图像处理结果。
因此,在日本特开平10-210454号公报中提出了这样的图像处理装置,即:适当去除例如光晕部或暗部等的不能获得准确的图像处理结果的部分的图像数据,从而准确地进行图像处理。
然而,上述的图像处理装置仅去除不能获得准确的图像处理结果的部分的图像数据,对补充该部分的图像数据未作任何考虑。
发明内容
因此,本发明是鉴于上述问题而作成的,本发明的目的是提供一种可计算并补充不能获得准确的图像处理结果的部分的图像数据的医疗用图像处理装置和医疗用图像处理方法。
本发明的医疗用图像处理装置对医疗用的输入图像进行图像处理,该医疗用图像处理装置的特征在于,该医疗用图像处理装置具有:像素提取单元,其提取在上述输入图像中满足规定条件的不适当像素;置换像素信息计算单元,其根据包含所提取的上述不适当像素的、或者与上述不适当像素邻接的规定区域的像素信息,计算用于与上述不适当像素的像素信息进行置换的置换信息;以及置换图像生成单元,其将上述输入图像中的上述不适当像素的像素信息置换成上述置换信息,生成置换图像,其中:上述输入图像是RGB图像,上述满足规定条件的不适当像素是R信号的信号强度值为规定阈值以上的像素,上述像素信息是RGB信号中的各色的信号强度值。
并且,本发明的医疗用图像处理方法对医疗用的输入图像进行图像处理,该医疗用图像处理方法的特征在于,该医疗用图像处理方法具有:像素提取步骤,提取在上述输入图像中满足规定条件的不适当像素;置换像素信息计算步骤,根据包含所提取的上述不适当像素的、或者与上述不适当像素邻接的规定区域的像素信息,计算用于与上述不适当像素的像素信息进行置换的置换信息;以及置换图像生成步骤,生成将上述输入图像中的上述不适当像素的像素信息置换成计算出的上述置换信息后的图像,其中:上述输入图像是RGB图像,上述满足规定条件的不适当像素是R信号的信号强度值为规定阈值以上的像素,上述像素信息是RGB信号中的各色的信号强度值。
附图说明
图1是第1实施方式的图像处理装置的概略结构图。
图2是示出第1实施方式的摄像图像中的RGB信号强度值和像素位置的关系的一例的图。
图3是第1实施方式的图像处理装置中的图像处理流程例的流程图。
图4是第2实施方式的图像处理装置中的图像处理流程例的流程图。
图5是第2实施方式的边缘图像的一例的概略图。
图6是第2实施方式的表示第1边界位置的不适当区域附近的放大图。
图7是第2实施方式的表示边缘方向的不适当区域附近的放大图。
图8是第2实施方式的表示虚拟到达像素的位置的不适当区域附近的放大图。
图9是第2实施方式的表示第2边界位置的不适当区域附近的放大图。
图10是第2实施方式的置换图像中的不适当区域附近的放大图。
图11是示出本发明的实施方式的图像处理变形例的流程的流程图。
具体实施方式
以下说明本发明中的实施方式。
本发明的实施方式的图像处理装置提取所输入的医疗用图像内存在的例如光晕像素、仅R信号强度值饱和的像素(以下记为R饱和像素)、缺失像素等。然后,图像处理装置可根据该像素周边的例如信号强度值等的像素信息计算新的像素信息,并可生成将该像素的像素信息置换成计算出的像素信息后的图像。
即,该图像处理装置可将输入图像内包含的例如光晕像素、R饱和像素、缺失像素等修正为适合于立体图像生成处理的像素。
首先,说明第1实施方式的图像处理装置。
(第1实施方式)
以下,说明第1实施方式的图像处理装置。
近年,在医疗用图像中,为了发现病变部,进行从二维图像转换成三维立体图像的处理。该立体图像是通过向构成二维摄像图像的各像素附加基于各个像素的亮度的三维坐标来生成的。
作为生成立体图像的方法,例如有这样的方法,即:转换成以二维内窥镜图像中的最暗部的位置为中心位置,并由管腔方向的Z方向和周方向的θ方向构成的坐标系来生成展开图。因此,例如光晕像素、R饱和像素、缺失像素等的亮度异常的像素的三维坐标有时大幅偏离本来应获得的值。
本实施方式的图像处理装置可将输入图像内包含的光晕像素等修正为适合于立体图像生成处理的像素,并可根据该修正后的图像生成立体图像。另外,在以下说明中,将R饱和像素记为不适当像素。
首先,以下说明本实施方式中的图像处理装置。
图1是本实施方式中的图像处理装置的概略结构图。如图1所示,图像处理装置1构成为包含提取部2、计算部3、置换部4以及立体图像生成部5。这些提取部2、计算部3、置换部4以及立体图像生成部5分别具有包含CPU的多个电子设备。
作为像素提取单元的提取部2提取输入图像内包含的不适当像素。作为置换像素信息计算单元的计算部3计算用于置换所提取的不适当像素中的像素信息的置换信息。作为置换图像输出单元的置换部4生成将不适当像素中的像素信息置换成计算出的置换信息后的置换图像。作为立体图像生成单元的立体图像生成部5根据所生成的置换图像生成立体图像。
输入到该图像处理装置1的输入图像是由具有CCD相机等的内窥镜装置6所拍摄的摄像图像。该摄像图像是拍摄了例如大肠等的体腔内的内窥镜图像,并由RGB的各色信号构成。各色信号具有作为像素信息的红色信号强度值R、绿色信号强度值G以及蓝色信号强度值B。
这里,图2示出该x、y的二维摄像图像的某行(或某列)中的RGB信号强度与像素位置的关系的一例。在图2中,纵轴是信号强度,横轴是摄像图像中的某行(或某列),例如沿x方向(或y方向)的像素的位置。
如图2所示,在所输入的摄像图像中,红色信号强度值R、绿色信号强度值G以及蓝色信号强度值B在各像素中表现出大致相同比率。
并且,由于体腔内的表面的生物体粘膜中的光吸收取决于与氧结合的血红蛋白的量,因而红色信号强度值R的强度最大。因此,在生物体粘膜图像中,发现仅红色信号强度值R饱和的情况。
即,表明图2所示的红色信号强度值R饱和的像素,例如信号强度为255以上的像素是不适当像素。
图像处理装置1提取摄像图像内包含的这种不适当像素,计算用于与不适当像素中的像素信息置换的置换信息,并根据将不适当像素中的像素信息置换成计算出的置换信息而生成的置换图像来生成立体图像。
因此,使用图2和图3说明图像处理装置1中的图像处理详情。图3是图像处理装置1中的图像处理流程例的流程图。以下说明的处理是在摄像图像被输入到图像处理装置1时开始的。
首先,图像处理装置1提取所输入的摄像图像中的不适当像素(步骤S11)。该不适当像素的提取由提取部2进行。
不适当像素是这样来提取的,即:针对二维摄像图像的各像素,从例如(1,1)的像素依次扫描,判定红色信号强度值Rij(i,j:摄像图像中的像素坐标)是否是规定阈值以上。
在本实施方式中,该规定阈值是信号强度值255,图2所示的红色信号强度值Rij是255以上的像素被判定为是不适当像素。另外,该规定阈值可以被设定为与想要提取的不适当像素对应的值。
然后,图像处理装置1对所提取的不适当像素进行标定(步骤S12)。该标定由提取部2进行。
通过该标定,二维摄像图像从例如(1,1)的像素依次被扫描,向邻接的不适当像素附加相同编号等的属性即标记。
标记针对由多个不适当像素构成的各区域被附加不同的值,以后的处理针对该标定后的各区域进行。以下,将由该多个不适当像素构成的区域记为不适当区域。
图2将由红色信号强度值Rij是255以上的不适当像素构成的区域表示为不适当区域R1。构成该不适当区域R1的各不适当像素被附加相同标记。
接下来,图像处理装置1对不适当区域R1的各像素的绿色信号强度值Gij进行平滑化,计算平滑信号强度即平滑信号强度值Gs(步骤S13)。该平滑化由计算部3进行。并且,该步骤S13构成平滑化单元。
该平滑化是这样的处理,即:将属于不适当区域的各不适当像素作为对象像素,将该对象像素中的绿色信号强度值Gij依次置换成例如周围8像素的范围内的信号强度值的平均值。
作为该平滑化的其他方法,例如有邻域加权平均法、中值法等的方法,可以使用任何方法。并且,平滑化中的平均值计算范围不限于周围8像素,可根据期望的平滑化程度自由变更。
该平滑化是针对属于标定后的各不适当区域的各不适当像素依次进行。在图2中,进行该平滑化的对象像素是不适当区域R1内的Gij。
然后,图像处理装置1计算规定区域中的作为第1平均信号强度值的红色信号强度值R的平均值(μ_R)、以及作为第2平均信号强度值的绿色信号强度值G的平均值(μ_G)(步骤S14)。该平均值由计算部3计算。并且,该步骤S14构成平均化单元。
该规定区域是包含至少一个与对象标记的不适当区域邻接的像素的、由非不适当像素的像素构成的例如5×5像素的尽可能多的区域。即,该规定区域是与属于不适当区域的像素邻接的不适当区域附近的区域。该规定区域不限于5×5像素,可根据所输入的摄像图像自由变更。
图2示出该规定区域R2。红色信号强度值R的平均值(μ_R)和绿色信号强度值G的平均值(μ_G)是根据属于该规定区域R2的红色信号强度值Rij以及绿色信号强度值Gij来计算的。
然后,图像处理装置1计算属于不适当区域的各不适当像素中的作为置换信息的红色信号强度值R′ij(步骤S15)。该红色信号强度值R′ij由计算部3计算。并且,该步骤S15构成置换信息计算单元。
如上所述,红色信号强度值R和绿色信号强度值G在构成摄像图像的各像素中表现出大致相同比率。因此,假定不适当区域内的红色信号强度值R′ij和平滑化信号强度值Gs的比率是与在不适当区域附近的区域中计算出的平均值(μ_R)和平均值(μ_G)的比率大致相同的比率,则红色信号强度值R′ij根据以下所示的(1)式来计算。
R′ij=Gsij×[(μ_R)/(μ_G)] ......(1)
如(1)式所示,通过将平滑化信号强度Gsij乘以平均值(μ_R)和平均值(μ_G)的比率,来计算不适当区域中的红色信号强度值R′ij。
然后,图像处理装置1将属于各不适当区域的各不适当像素的红色信号强度值Rij和计算出的红色信号强度值R′ij依次置换,生成置换图像(步骤S16)。该处理由置换部4进行。并且,该步骤S16构成置换图像输出单元。
最后,图像处理装置1根据置换图像生成立体图像(步骤S17)。该处理由立体图像生成部5进行。并且,该步骤S17构成立体图像生成单元。
另外,步骤S11和步骤S12构成像素提取步骤。并且,步骤S13至步骤S15构成置换像素信息计算步骤。步骤S16构成置换图像输出步骤。
如以上说明那样,本实施方式的图像处理装置1可计算并补充不能获得准确的图像处理结果的部分的图像数据,并可输出立体图像。即,可将输入图像内包含的不适当像素(R饱和像素)修正为适合于立体图像生成处理的像素,并可根据该修正后的图像生成立体图像。
另外,本实施方式的图像处理装置1在图2的步骤S13中,对绿色信号强度值G进行平滑化,计算平滑信号强度值Gs,然而可以对蓝色信号强度值B进行平滑化,计算平滑信号强度值Bs。这是因为,如上所述,各像素中的红色信号强度值R、绿色信号强度值G以及蓝色信号强度值B的比率大致相同。
并且,根据相同理由,在步骤S14中计算绿色信号强度值G的平均值(μG),然而可以计算蓝色信号强度值B的平均值(μB)。不过,在步骤S13和步骤S14中计算的平滑信号强度值和信号强度的平均值必须以相同色信号为对象来计算。
(第2实施方式)
接下来,以下说明第2实施方式。
以下,说明第2实施方式的图像处理装置。本实施方式的图像处理装置与第1实施方式不同,不仅可将输入图像内包含的R饱和像素修正为适合于立体图像生成处理的像素,而且可将光晕像素和缺失像素修正为适合于立体图像生成处理的像素,并可根据该修正后的图像生成立体图像。另外,在以下说明中,将R饱和像素、光晕像素以及缺失像素记为不适当像素。
本实施方式的图像处理装置具有与第1实施方式的图像处理装置相同的结构,对相同构成要素附上相同标号,省略说明。并且,与第1实施方式一样,假定输入到图像处理装置1的摄像图像是由内窥镜装置6所拍摄的例如大肠等的内窥镜图像。
因此,使用图4至图10说明本实施方式的图像处理装置1中的图像处理详情。图4是本实施方式的图像处理装置中的图像处理流程例的流程图。并且,图5是所生成的边缘图像的一例的概略图,图6至图10是不适当区域附近的放大图。
另外,以下说明的处理是在摄像图像被输入到图像处理装置1时开始的。
首先,图像处理装置1提取所输入的摄像图像中的不适当像素(步骤S21)。如上所述,所提取的不适当像素是R饱和像素、光晕像素以及缺失像素。该不适当像素的提取由提取部2进行。
不适当像素是这样来提取的,即:针对二维摄像图像的各像素,从例如(1,1)的像素依次扫描,将各色信号的信号强度值是规定的第1阈值以上的像素、或者所有色信号的信号强度值是规定的第2阈值以下的像素判定为是不适当像素。
规定的第1阈值是信号强度值255,例如红色信号强度值是255以上的像素被判定为是R饱和像素或光晕像素即不适当像素。并且,规定的第2阈值是信号强度值0、而且所有色信号的信号强度值是0以下的像素被判定为是缺失像素即不适当像素。该第1阈值和第2阈值不限于上述的值,可以根据想要提取的不适当像素自由变更。
然后,图像处理装置1对所提取的不适当像素进行标定(步骤S22)。该标定由提取部2进行。
该标定是这样的处理,即:针对二维摄像图像的各像素,从例如(1,1)的像素依次扫描,向邻接的不适当像素附加相同编号等的属性即标记。
所附加的标记针对由多个不适当像素构成的各区域是不同的值,以后的处理针对标定后的各区域进行。以下,将由该多个不适当像素构成的区域记为不适当区域。
接下来,图像处理装置1在构成所输入的摄像图像的各色信号中进行边缘检测和细线化,生成边缘图像(步骤S23)。该边缘检测和细线化由计算部3进行。并且,该步骤S23构成边缘图像生成单元。
通过边缘检测,将所输入的摄像图像中的各色信号的明亮度急剧变化的像素检测为边缘。根据该检测结果,生成将所检测的边缘部分的像素设定为信号值“1”、并将其他像素设定为信号值“0”的二值化图像即边缘图像。
然后,计算部3进行将所生成的边缘图像的边缘修正为例如1像素宽度的连续细线的细线化。另外,在该边缘检测和细线化处理中使用的方法可以是任何方法。
这里,图5示出所生成的边缘图像的一例。如图5所示,所输入的摄像图像中的管腔内壁被检测为边缘。并且,该边缘图像包含有不适当区域20。
然后,图像处理装置1提取边缘与不适当区域邻接的第1边界位置(步骤S24)。该第1边界位置的提取由计算部3进行。并且,该步骤S24构成第1边界位置提取单元。
第1边界位置是某边缘与不适当区域邻接的像素的位置。这里,图6示出将不适当区域20的附近放大后的图。在图6中,一个正方形对应于一个像素,带斜线的像素表示信号是“1”的边缘。另一方面,无图案的像素是信号为“0”的像素。由粗线包围的像素部分表示不适当区域20。
如图6所示,边缘10和边缘11与不适当区域20邻接。第1边界位置是边缘10与不适当区域20邻接的像素的位置(x1,y1)。
然后,图像处理装置1提取边缘方向(步骤S25)。该边缘方向的提取由计算部3进行。并且,该步骤S25构成边缘方向提取单元。
首先,检测位于与在第1边界位置的像素邻接且与不适当区域不邻接的位置的像素。设该像素的位置为(x2,y2),则边缘方向根据(x1-x2,y1-y2)来计算。图7使用箭头AR示出边缘方向。
当提取了边缘方向时,图像处理装置1根据第1边界位置和边缘方向来计算虚拟到达位置(步骤S26)。该虚拟到达位置的计算由计算部3进行。并且,该步骤S26构成虚拟到达位置计算单元。
虚拟到达位置是使边缘从第1边界位置沿边缘方向在不适当区域20内延伸而使该伸展后的边缘越过不适当区域20的最初位置。
图8示出虚拟到达位置。如图8所示,使边缘10从第1边界位置(x1,y1)沿边缘方向即箭头AR方向伸展而使该伸展后的边缘越过不适当区域20的最初位置(x3,y3)为虚拟到达位置。
然后,图像处理装置1根据虚拟到达位置提取第2边界位置(步骤S27)。该第2边界位置的提取由计算部3进行。并且,该步骤S27构成第2边界位置提取单元。
计算部3首先检测是否有位于以虚拟到达位置为中心的例如3×3像素的范围中的构成与边缘10不同的边缘即边缘11的像素。另外,检测边缘11的范围不限于3×3像素的范围,可自由变更。
在有构成边缘11的像素的情况下,判断为边缘10和边缘11是本来连续的一个边缘,计算部3将边缘11与不适当区域20邻接的像素的位置作为第2边界位置来提取。
图9示出第2边界位置。首先,检测位于以虚拟到达位置(x3,y3)为中心的3×3像素的范围中的构成边缘11的像素。该所检测的边缘11与不适当区域20邻接的像素的位置是第2边界位置(x4,y4)。
然而,当第2边界位置(x4,y4)不在以虚拟到达位置(x3,y3)为中心的例如5×5像素的范围内时,判断为边缘10和边缘11不是连续的边缘,并判断为在不适当区域20内不存在边缘。
并且,在以虚拟到达位置(x3,y3)为中心的例如3×3像素检测范围内没有构成边缘的像素的情况下,计算部3判断为在不适当区域20内不存在边缘,进行标定后的接下来的不适当区域的处理。
然后,图像处理装置1在第1边界位置和第2边界位置之间的路径上进行线性插值处理,计算该路径上的各像素的新的信号值(步骤S28)。该线性插值处理由计算部3进行。并且,该步骤S28构成置换信息计算单元。
线性插值处理是这样的处理,即:对位于处理对象的像素周围的例如4个像素的信号值进行基于与该处理对象的像素之间的距离的加权,计算作为置换信息的新的信号值。
该新的信号值是这样来计算的,即:尽可能多地包含在步骤S26中计算虚拟到达像素时的路径,而且实现第1边界像素与第2边界像素之间的最短距离。
图像处理装置1生成将不适当区域的各像素的像素信息置换成计算出的新的信号值后的置换图像(步骤S29)。该置换图像的生成由置换部4进行。并且,该步骤S29构成置换图像生成单元。
图10示出所生成的置换图像中的不适当区域20附近的放大图。如图10所示,在第1边界位置(x1,y1)与第2边界位置(x4,y4)之间的路径上,通过线性插值处理计算出的新的信号值构成边缘12。结果,边缘12将边缘10和边缘10连接。
最后,图像处理装置1根据置换图像生成立体图像(步骤S30)。该处理由立体图像生成部5进行。并且,该步骤S30构成立体图像生成单元。
以上处理结束,上述步骤S23至步骤S29的各处理是针对各色信号分别进行的。
另外,步骤S21和步骤S22构成像素提取步骤。并且,步骤S23至步骤S28构成置换像素信息计算步骤。步骤S29构成置换图像输出步骤。
如以上说明那样,本实施方式的图像处理装置1可计算并补充不能获得准确的图像处理结果的部分的图像数据,并可输出立体图像。即,图像处理装置1可将输入图像内包含的R饱和像素、光晕像素以及缺失像素修正为适合于立体图像生成处理的像素,并可根据该修正后的图像生成立体图像。
另外,在本实施方式中,可以最初进行立体图像生成处理,之后执行像素提取步骤、置换像素信息计算步骤以及置换图像输出步骤。
并且,在本实施方式中,针对不适当区域内的边缘以外的像素,使用例如美国专利申请公开第2005/0001832号说明书所示的公知的多项式运算方法来计算并置换各像素的信号值。
另外,如上所述输入到第1和第2实施方式中的图像处理装置1的摄像图像是由内窥镜装置6拍摄的内窥镜图像。近年来,使用根据这些内窥镜图像通过图像处理发现息肉等的病变部的方法。上述的实施方式的图像处理装置1由于可生成置换了不适当像素后的置换图像,因而在进行发现这种病变部的图像处理时也是有效的。
此时,第1和第2实施方式的图像处理装置1可以进行图11所示的处理。图11是示出本发明的实施方式的图像处理变形例的流程的流程图。
首先,图像处理装置1提取不适当像素(步骤S31)。在该步骤中,与上述的第1和第2实施方式一样,提取所输入的摄像图像内包含的不适当像素。
然后,图像处理装置1对所提取的不适当像素设定NG标志(步骤S32)。例如在不适当图像中,将NG标志设定为“1”,从在立体图像生成部5中进行的立体图像生成处理对象中排除。
以上处理结束。通过该处理,可排除在立体图像生成部5中的立体图像生成处理中的不适当像素的影响。
如以上说明那样,本发明的实施方式的图像处理装置1可计算并补充不能获得准确的图像处理结果的部分的图像数据。即,该图像处理装置1可将输入图像内包含的例如R饱和像素、光晕像素以及缺失像素等修正为适合于立体图像生成处理的像素。
另外,在本发明的实施方式中,在构成输入图像的所有像素中的不适当像素的比例是一定值以上的情况下,可以判定为该输入图像的可信度低而不进行处理。
并且,在本发明的实施方式中,图像处理装置1具有的立体图像生成部5可以进行不同的图像处理。而且,可以采用将立体图像生成部5设置在图像处理装置1的外部的结构。即,图像处理装置1由于可将包含不适当像素的输入图像修正为适合于图像处理的图像,因而可应用于任何图像处理。
另外,本发明的实施方式的图像处理装置1采用与内窥镜装置6不同的装置来构成,然而可以设置在内窥镜装置6的内部。
并且,本发明的实施方式中的提取部2、计算部3、置换部4以及立体图像生成部5分别具有不同的结构,然而例如可以由一个图像处理部等进行上述处理。
并且,在本发明的实施方式中,输入到图像处理装置1的摄像图像由内窥镜装置6拍摄,然而该摄像图像可以是使用不同摄像单元得到的摄像图像。
如以上说明那样,根据本发明的医疗用图像处理装置和医疗用图像处理方法,可计算并补充不能获得准确的图像处理结果的部分的图像数据。
另外,本发明不限于所述的实施方式,可在不变更本发明主旨的范围内进行改变。
Claims (6)
1.一种医疗用图像处理装置,该医疗用图像处理装置对医疗用的输入图像进行图像处理,
该医疗用图像处理装置的特征在于,
该医疗用图像处理装置具有:
像素提取单元,其提取在上述输入图像中满足规定条件的不适当像素;
置换像素信息计算单元,其根据包含所提取的上述不适当像素的、或者与上述不适当像素邻接的规定区域的像素信息,计算用于与上述不适当像素的像素信息进行置换的置换信息;以及
置换图像生成单元,其将上述输入图像中的上述不适当像素的像素信息置换成上述置换信息,生成置换图像,
其中:上述输入图像是RGB图像,
上述满足规定条件的不适当像素是R信号的信号强度值为规定阈值以上的像素,
上述像素信息是RGB信号中的各色的信号强度值。
2.根据权利要求1所述的医疗用图像处理装置,其特征在于,
上述置换像素信息计算单元具有:
平滑化单元,其对所提取的上述不适当像素中的G信号或B信号的信号强度值进行平滑化来计算平滑信号强度值;
平均化单元,其求出第1平均信号强度值和第2平均信号强度值,其中,所述第1平均信号强度值为与所提取的上述不适当像素邻接的规定区域中的、上述R信号的信号强度值的平均值,所述第2平均信号强度值为上述G信号或B信号的信号强度值的平均值;以及
置换信息计算单元,其根据上述平滑信号强度值、上述第1平均信号强度值以及上述第2平均信号强度值来计算上述置换信息。
3.根据权利要求1所述的医疗用图像处理装置,其特征在于,
上述满足规定条件的不适当像素是由多个不适当像素构成的不适当像素区域,而且,该不适当像素区域的不适当像素是其信号强度值为第1阈值以上的像素、或者是其信号强度值为第2阈值以下的像素,其中,所述第2阈值小于上述第1阈值,
上述像素信息是对上述输入图像实施了边缘化处理的边缘图像中的构成边缘的像素位置以及信号值。
4.根据权利要求3所述的医疗用图像处理装置,其特征在于,
上述置换像素信息计算单元具有:
边缘图像生成单元,其生成对上述输入图像实施了边缘化处理的上述边缘图像;
第1边界位置提取单元,其提取第1边界位置,其中,所述第1边界位置是上述边缘邻接于上述不适当像素区域的位置;
边缘方向提取单元,其提取上述边缘的方向;
虚拟到达位置计算单元,其根据上述边缘的方向,计算与上述不适当像素区域邻接的虚拟到达位置,其中,该虚拟到达位置是通过如下方法得到的:使上述边缘从上述第1边界位置起在上述不适当像素区域内延伸,该伸展后的上述边缘越过上述不适当像素区域;
第2边界位置提取单元,其检测包含上述虚拟到达位置的规定区域内的与上述边缘不同的边缘,提取第2边界位置,其中,所述第2边界位置是上述不同的边缘邻接于上述不适当像素区域的位置;以及
置换信息计算单元,其根据上述第1边界位置和上述第2边界位置计算上述置换信息。
5.根据权利要求1至权利要求4中的任一项所述的医疗用图像处理装置,其中,
该医疗用图像处理装置还具有立体图像生成单元,该立体图像生成单元根据所生成的上述置换图像生成立体图像。
6.一种医疗用图像处理方法,该医疗用图像处理方法对医疗用的输入图像进行图像处理,
该医疗用图像处理方法的特征在于,
该医疗用图像处理方法具有:
像素提取步骤,提取在上述输入图像中满足规定条件的不适当像素;
置换像素信息计算步骤,根据包含所提取的上述不适当像素的、或者与上述不适当像素邻接的规定区域的像素信息,计算用于与上述不适当像素的像素信息进行置换的置换信息;以及
置换图像生成步骤,生成将上述输入图像中的上述不适当像素的像素信息置换成计算出的上述置换信息后的图像,
其中:上述输入图像是RGB图像,
上述满足规定条件的不适当像素是R信号的信号强度值为规定阈值以上的像素,
上述像素信息是RGB信号中的各色的信号强度值。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006071197A JP4823725B2 (ja) | 2006-03-15 | 2006-03-15 | 医療用画像処理装置 |
JP071197/2006 | 2006-03-15 | ||
PCT/JP2007/053586 WO2007108280A1 (ja) | 2006-03-15 | 2007-02-27 | 医療用画像処理装置及び医療用画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101389261A CN101389261A (zh) | 2009-03-18 |
CN101389261B true CN101389261B (zh) | 2010-10-13 |
Family
ID=38522316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800069166A Active CN101389261B (zh) | 2006-03-15 | 2007-02-27 | 医疗用图像处理装置和医疗用图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8335361B2 (zh) |
EP (1) | EP1994877B1 (zh) |
JP (1) | JP4823725B2 (zh) |
CN (1) | CN101389261B (zh) |
WO (1) | WO2007108280A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5086830B2 (ja) * | 2008-02-08 | 2012-11-28 | 株式会社キーエンス | 画像検査装置、画像検査方法、及びコンピュータプログラム |
JP4792117B2 (ja) | 2010-03-15 | 2011-10-12 | 株式会社東芝 | 文書画像処理装置、文書画像処理方法および文書画像処理プログラム |
JP5658931B2 (ja) * | 2010-07-05 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP6112879B2 (ja) * | 2013-01-28 | 2017-04-12 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
JP2016158682A (ja) * | 2015-02-27 | 2016-09-05 | Hoya株式会社 | 画像処理装置 |
JP6346576B2 (ja) * | 2015-02-27 | 2018-06-20 | Hoya株式会社 | 画像処理装置 |
JP6531202B2 (ja) * | 2018-05-25 | 2019-06-12 | Hoya株式会社 | 画像処理装置 |
US11288863B2 (en) * | 2018-12-04 | 2022-03-29 | Intuitive Research And Technology Corporation | Voxel build |
US11941759B2 (en) * | 2018-12-04 | 2024-03-26 | Intuitive Research And Technology Corporation | Voxel build |
US20230118072A1 (en) * | 2021-10-19 | 2023-04-20 | International Business Machines Corporation | Content based on-device image adjustment |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1663531A (zh) * | 2004-02-24 | 2005-09-07 | 西门子公司 | 在成功再现立体数据后滤波断层造影三维显示的方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US183205A (en) | 1876-10-10 | Improvement in sphygmographs | ||
JP2712495B2 (ja) * | 1989-02-28 | 1998-02-10 | 株式会社島津製作所 | X線透視画像の欠陥補償装置 |
US5079698A (en) * | 1989-05-03 | 1992-01-07 | Advanced Light Imaging Technologies Ltd. | Transillumination method apparatus for the diagnosis of breast tumors and other breast lesions by normalization of an electronic image of the breast |
JP3078085B2 (ja) * | 1991-03-26 | 2000-08-21 | オリンパス光学工業株式会社 | 画像処理装置および画像処理方法 |
JPH0829701A (ja) * | 1994-07-18 | 1996-02-02 | Olympus Optical Co Ltd | 立体視内視鏡システム |
JP3689212B2 (ja) | 1997-01-17 | 2005-08-31 | オリンパス株式会社 | 画像処理装置 |
US6529618B1 (en) | 1998-09-04 | 2003-03-04 | Konica Corporation | Radiation image processing apparatus |
JP3700419B2 (ja) * | 1998-10-22 | 2005-09-28 | コニカミノルタホールディングス株式会社 | 放射線画像処理装置 |
JP3719010B2 (ja) | 1998-09-04 | 2005-11-24 | コニカミノルタホールディングス株式会社 | 放射線画像処理方法および放射線画像処理装置 |
JP4885388B2 (ja) * | 2001-09-25 | 2012-02-29 | オリンパス株式会社 | 内視鏡挿入方向検出方法 |
US7181086B2 (en) * | 2002-06-06 | 2007-02-20 | Eastman Kodak Company | Multiresolution method of spatially filtering a digital image |
KR100506085B1 (ko) * | 2002-12-28 | 2005-08-05 | 삼성전자주식회사 | 혀영상 처리장치 및 혀영상을 이용한 건강 모니터링장치 |
US7480401B2 (en) * | 2003-06-23 | 2009-01-20 | Siemens Medical Solutions Usa, Inc. | Method for local surface smoothing with application to chest wall nodule segmentation in lung CT data |
JP5131951B2 (ja) * | 2006-02-21 | 2013-01-30 | 富士フイルム株式会社 | 体腔内観察装置 |
-
2006
- 2006-03-15 JP JP2006071197A patent/JP4823725B2/ja not_active Expired - Fee Related
-
2007
- 2007-02-27 CN CN2007800069166A patent/CN101389261B/zh active Active
- 2007-02-27 WO PCT/JP2007/053586 patent/WO2007108280A1/ja active Application Filing
- 2007-02-27 EP EP07714979A patent/EP1994877B1/en not_active Expired - Fee Related
-
2008
- 2008-09-12 US US12/209,567 patent/US8335361B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1663531A (zh) * | 2004-02-24 | 2005-09-07 | 西门子公司 | 在成功再现立体数据后滤波断层造影三维显示的方法 |
Non-Patent Citations (1)
Title |
---|
JP特开2000-79109A 2000.03.21 |
Also Published As
Publication number | Publication date |
---|---|
EP1994877A4 (en) | 2010-08-25 |
US20090074271A1 (en) | 2009-03-19 |
US8335361B2 (en) | 2012-12-18 |
JP4823725B2 (ja) | 2011-11-24 |
EP1994877A1 (en) | 2008-11-26 |
EP1994877B1 (en) | 2013-04-03 |
WO2007108280A1 (ja) | 2007-09-27 |
JP2007244589A (ja) | 2007-09-27 |
CN101389261A (zh) | 2009-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101389261B (zh) | 医疗用图像处理装置和医疗用图像处理方法 | |
EP2008571B1 (en) | Endoscope insertion direction detecting device and endoscope insertion direction detecting method | |
CN105354805B (zh) | 深度图像的去噪方法和去噪设备 | |
JP4902735B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
JP2010187756A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN103945755B (zh) | 图像处理装置 | |
CN110619285B (zh) | 人体骨骼关键点提取方法及计算机可读存储介质 | |
US20130064436A1 (en) | Medical image processing apparatus and method of operating medical image processing apparatus | |
EP3016070A1 (en) | Detection device, learning device, detection method, learning method, and program | |
Suman et al. | Image enhancement using geometric mean filter and gamma correction for WCE images | |
US20150243027A1 (en) | Image processing device, image processing method, and program | |
EP2939586A1 (en) | Image processing device, program and image processing method | |
CN110751605A (zh) | 一种图像处理方法、装置和电子设备及可读存储介质 | |
JP2011048592A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
CN108805873A (zh) | 图像处理方法及装置 | |
JP5622903B2 (ja) | 画像処理装置、画像処理装置の作動方法および画像処理プログラム | |
JP2011076302A (ja) | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム | |
CN113744266B (zh) | 一种病灶检测框的显示方法、装置、电子设备及存储介质 | |
JP2015088029A (ja) | 放射歪み補正装置、道路環境認識装置、放射歪み補正方法およびプログラム | |
EP2541469B1 (en) | Image recognition device, image recognition method and image recognition program | |
CN111127529B (zh) | 图像配准方法及装置、存储介质、电子装置 | |
CN106780429B (zh) | 基于感知颜色空间和关键角点的wce视频时序冗余图像数据的关键帧提取方法 | |
US20240087090A1 (en) | Processor for electronic endoscope and electronic endoscopic system | |
JP2013115739A (ja) | 画像間差分装置および画像間差分方法 | |
CN115797276A (zh) | 用于内窥镜的病灶图像处理方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20151124 Address after: Tokyo, Japan, Japan Patentee after: Olympus Corporation Address before: Tokyo, Japan Patentee before: Olympus Medical Systems Corp. |