CN101384210B - 图像分析装置 - Google Patents

图像分析装置 Download PDF

Info

Publication number
CN101384210B
CN101384210B CN2007800053223A CN200780005322A CN101384210B CN 101384210 B CN101384210 B CN 101384210B CN 2007800053223 A CN2007800053223 A CN 2007800053223A CN 200780005322 A CN200780005322 A CN 200780005322A CN 101384210 B CN101384210 B CN 101384210B
Authority
CN
China
Prior art keywords
image
polyp
edge
processing
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800053223A
Other languages
English (en)
Other versions
CN101384210A (zh
Inventor
田中秀树
西村博一
中村健次
井上凉子
沢美穗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN101384210A publication Critical patent/CN101384210A/zh
Application granted granted Critical
Publication of CN101384210B publication Critical patent/CN101384210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供图像分析装置。本发明的CPU在步骤(S10)中针对例如R信号执行灰度值梯度计算处理,在步骤(S11)中根据计算出的灰度值梯度执行各向同性变化特征量计算处理,然后在步骤(S12)中根据计算出的各向同性变化特征量执行在息肉存在的位置生成息肉候补图像(26)的息肉候补检测处理。由此改善了管腔内异常组织的存在位置的检测。

Description

图像分析装置
技术领域
本发明涉及根据医疗图像检测息肉的图像分析装置。
背景技术
在医疗领域中广泛进行使用X线、CT、MRI、超声波观测装置、内窥镜装置等的图像摄像设备的诊断。
例如在内窥镜装置中,可将细长的插入部插入体腔内,将固体摄像元件等用到摄像单元中并通过监视器画面观察体腔内脏器等,进行诊断。并且,还广泛使用这样的超声波内窥镜装置,即:可向所述体腔内脏器照射超声波,根据该超声波的反射或透过度等通过监视器画面观察该体腔内脏器的状况,进行检查或诊断。
由于使用由这些设备所拍摄的图像的最终诊断有很大部分依赖于医师的主观情况,因而有这样的诊断辅助装置,即:采用图像分析方法计算摄像对象相关的特征量,并将客观的数值的诊断辅助信息提供给医师,从而辅助医师的诊断行为。
这里,特征量是反映了图像上的各种情况的数值,是通过应用图像分析方法来获得的。
例如在内窥镜图像中,粘膜表面的发红的色调相关的情况、在观察血管像中发现的血管的屈折/蛇形性的血管形状相关的情况、以及胃小区中的粘膜模样的图形相关的情况在病变的恶性度诊断中成为重要要素。例如非专利文献1即(“消化器内視鏡”2001vol.13 No.3vol.13東京医学社刊P349-354)是根据粘膜情况和血管形状相关的情况来鉴别病变的良恶性的例子。
例如在日本特开2005-157902号公报等中公开了一种可提高基于利用特征量的情况的客观化结果的病变判定精度的图像分析方法。在该日本特开2005-157902号公报中,图像分析方法是通过将消化道图像内的血管作为线状图案来提取,用于病变判定的。
然而,在现有技术中不存在着眼于当成为摄像对象的消化道是大肠时的病变候补检测的图像分析方法。
作为大肠中的检测对象有隆起性病变(大肠息肉),然而当从上方观察从管腔表面隆起的结构物时,描绘不出结构物的边缘,具有不能使用利用了边缘检测的大肠息肉候补检测方法的问题。
发明内容
本发明是鉴于上述情况而作成的,本发明的目的是提供一种可改善大肠息肉的存在位置的检测的图像分析装置。
本发明的一方式的图像分析装置构成为具有:异常组织存在判定处理单元,其根据管腔内图像的像素或小区域的数据,判定是否存在管腔内异常组织;边缘提取处理单元,其进行提取所述管腔内图像的边缘的边缘提取处理;以及异常组织候补检测处理单元,其判定由所述边缘提取处理单元提取的各个边缘是否是所述管腔内异常组织的边缘,所述异常组织候补检测处理单元具有检测由边缘形成的曲线中的近圆形的曲线的圆形状检测处理单元,所述异常组织存在判定处理单元根据所述近圆形的曲线,判定是否存在所述管腔内异常组织。
附图说明
图1是示出本发明的实施例1的内窥镜图像分析装置的结构的结构图。
图2是示出存储在图1的存储器上的信息的图。
图3是说明图1的图像处理装置的作用的第1图。
图4是说明图1的图像处理装置的作用的第2图。
图5是说明图1的图像处理装置的作用的第3图。
图6是说明图1的图像处理装置的作用的第4图。
图7是示出由图1的CPU执行的图像分析程序的处理流程的流程图。
图8是示出图7的图像分析处理流程的流程图。
图9是说明图8的灰度值梯度计算处理的第1图。
图10是说明图8的灰度值梯度计算处理的第2图。
图11是示出图8的各向同性变化特征量计算处理流程的流程图。
图12是示出图8的息肉候补检测处理流程的流程图。
图13是示出图8的图像分析处理的变形例的图。
图14是示出存储在本发明的实施例2的存储器上的信息的图。
图15是示出图14的图像分析程序中的图像分析处理流程的流程图。
图16是示出图15的息肉候补检测处理流程的流程图。
图17是说明图16的息肉候补检测处理的图。
图18是说明图16的息肉候补检测处理中的近圆形的检测方法的变形例的第1图。
图19是说明图16的息肉候补检测处理中的近圆形的检测方法的变形例的第2图。
图20是说明图16的息肉候补检测处理中的近圆形的检测方法的变形例的第3图。
图21是说明本发明的实施例3的边缘提取处理的预处理的第1图。
图22是说明图21的预处理的第2图。
图23是说明图21的预处理的第3图。
图24是说明图21的预处理的第4图。
图25是说明图21的预处理的第5图。
图26是示出图21的预处理流程的第1流程图。
图27是说明图26的处理的第1图。
图28是说明图26的处理的第2图。
图29是示出图21的预处理流程的第2流程图。
图30是示出CPU的功能结构的框图。
具体实施方式
以下,参照附图描述本发明的实施例。
(实施例1)
图1至图13涉及本发明的实施例1,图1是示出内窥镜图像分析装置的结构的结构图,图2是示出存储在图1的存储器上的信息的图,图3是说明图1的图像处理装置的作用的第1图,图4是说明图1的图像处理装置的作用的第2图,图5是说明图1的图像处理装置的作用的第3图,图6是说明图1的图像处理装置的作用的第4图,图7是示出由图1的CPU执行的图像分析程序的处理流程的流程图,图8是示出图7的图像分析处理流程的流程图,图9是说明图8的灰度值梯度计算处理的第1图,图10是说明图8的灰度值梯度计算处理的第2图,图11是示出图8的各向同性变化特征量计算处理流程的流程图,图12是示出图8的息肉候补检测处理流程的流程图,图13是示出图8的图像分析处理的变形例的图。
(结构)
如图1所示,本实施例的内窥镜图像分析装置1构成为具有:内窥镜观察装置2,其对生物体内进行拍摄并输出模拟图像信号;内窥镜归档装置3,其根据内窥镜观察装置2输出的模拟图像信号生成图像数据,并蓄积所生成的图像数据;以及图像处理装置4,其进行图像分析处理。
图像处理装置4构成为具有:进行信息处理的信息处理装置5,由键盘和鼠标等构成的操作装置6,由硬盘等构成的存储装置7,以及由CRT或液晶显示器或等离子体显示器等的显示单元构成的显示装置8。
内窥镜归档装置3和信息处理装置5与例如以TCP/IP作为协议的LAN 9连接,并可相互通信。
信息处理装置5可使用一般的个人计算机,信息处理装置5经由LAN 9取得蓄积在内窥镜归档装置3内的图像数据,对图像数据进行图像分析处理,将图像分析结果显示在显示装置8上。这里,进行处理的图像数据的指定、所指定的图像数据的取得指示、以及处理执行指示是通过使用操作装置6的操作来进行的。
在信息处理装置5中,作为进行控制和处理的异常组织存在判定处理单元的CPU 10、存储处理程序和数据的存储器11、在与存储装置7之间进行信息读写的外部存储接口12、进行与外部设备之间的通信的网卡13、进行与操作装置6之间的输入输出的操作接口14、以及将视频信号输出到显示装置8的图板(graphics board)15与总线16连接,并经由总线16进行信息的相互交换。
网卡13在其与连接在LAN 9上的内窥镜归档装置3之间进行数据收发处理。
操作接口14接收使用操作装置6的键盘和鼠标所输入的输入信号,并进行所需要的数据处理。
存储装置7与信息处理装置5连接,并存储有执行图像分析处理的图像分析程序20。该图像分析程序20由多个执行文件或动态链接库文件或设定文件构成。
外部存储接口12读入存储在存储装置7内的图像分析程序20,并将其存储在存储器11内。
如图2所示,存储器11保持图像分析程序20和分析数据21。
存储在存储器11内的图像分析程序20是这样的程序,即:通过CPU 10的执行,从内窥镜归档装置3取得由操作装置6所指定的内窥镜图像数据,对所取得的图像数据进行图像分析处理,进行将图像分析结果显示在显示装置8上的处理。
存储在存储器11内的分析数据21是通过CPU 10中的各处理所取得并生成的数据。所存储的分析数据21由从内窥镜归档装置3所取得的图像数据即原图像22以及通过后述的各种处理所生成的灰度值梯度信息23、各向同性变化信息24和息肉候补图像26构成。
(作用)
如图3所示,当使用内窥镜观察装置2从斜方向观察大肠息肉100时,如图4所示观察到边缘101,因而可使用现有方法的边缘检测方法来检测大肠息肉100的候补,然而当从上方观察大肠息肉时,如图5所示观察不到边缘。因此,即使使用边缘检测方法,也不能检测大肠息肉100的候补。
另一方面,在图6所示的使用内窥镜观察装置2来观察大肠管腔的结肠袋(haustra)的情况下,在从上方的观察中观察不到边缘。而且,当观察在图像内虚拟地画了直线时的直线上的像素的灰度值变化时,由于直线的画法而使大肠息肉和结肠袋呈现相同的变化形状(例如图6的y方向的灰度值变化)。因此,在以一维灰度值变化(例如图6的x方向的灰度值变化)为基础尝试检测大肠息肉的情况下,具有还同时误检测到 结肠袋的可能性。
因此,在本实施例中,通过进行以下处理来解决上述问题。
详细地说,在由CPU 10执行的图像分析程序20的处理中,如图7所示,CPU 10在原图像取得处理步骤S1中进行这样的处理,即:从内窥镜归档装置3取得通过操作装置6的操作所指定的图像数据,并将其作为原图像22存储在存储器11上。
然后,CPU 10在图像分析处理步骤S2中进行这样的处理,即:处理由原图像取得处理步骤S1所取得的原图像22,生成灰度值梯度信息23、各向同性变化信息24和息肉候补图像26并将其存储在存储器11上。
然后,CPU 10在分析结果显示处理步骤S3中进行在显示装置8上显示将息肉候补图像26重叠在原图像22上的分析处理图像的处理。
使用图8说明图7的步骤S2的图像分析处理。如图8所示,CPU 10在步骤S10中针对例如R信号进行后述的灰度值梯度计算处理。接下来,CPU 10根据在步骤S11计算出的灰度值梯度执行后述的各向同性变化特征量计算处理。然后,CPU 10根据在步骤S12计算出的各向同性变化特征量执行在息肉存在的位置生成息肉候补图像26的息肉候补检测处理。
首先,说明步骤S10的灰度值梯度计算处理。如图9所示,灰度值梯度计算处理以关注点为中心,针对3×3的像素,按各像素求出关于例如原图像的R信号的灰度值梯度。
详细地说,例如以图10所示的关注点R22为中心,针对3×3的像素,提取x、y方向各自前3个像素的R像素信号之差。例如针对R22,差值是:
g22x=R22x-R22
g22y=R22y-R22
rg22x=R′22x-R22
rg22y=R′22y-R22
x、y方向的差值的平均值可使用以下式求出,式中,设灰度值梯度的x方向分量(0°方向)的差平均值为gx,设y方向分量(90°方向)的差平均值为gy,设gx的反方向(180°方向)的差平均值为rgx,设gy的反方向(270°方向)的差平均值为rgy,则为:
gx=AVE(gijx)=AVE(Rijx-Rij)
gy=AVE(gijy)=AVE(Rijy-Rij)
rgx=AVE(rgijx)=AVE(Rij′x-Rij)
rgy=AVE(rgijy)=AVE(Rij′y-Rij)i,j=1~3
AVE使用返回引数内的i,j相关的数值的平均值的函数。
将以上4个方向的灰度值梯度信息和关注点的像素值作为灰度值梯度信息记录在存储器11上。
下面,说明步骤S11的各向同性变化特征量计算处理。如图11所示,各向同性变化特征量计算处理在步骤S20中首先按各像素取得通过上述的灰度值梯度计算处理计算出的灰度值梯度信息,并在步骤S21中求出灰度值梯度信息的差值。
在本实施例中,计算:
gx与gy之差:dxy=ABS(gx-gy)
gx与rgx之差:dxrx=ABS(gx-rgx)
gx与rgy之差:dxry=ABS(gx-rgy)
另外,ABS为返回引数内的数值的绝对值的函数。
在步骤S22中将成为关注点的像素值R(图10中是R22)和规定阈值Rt进行比较,当R>Rt时,在步骤S23中将上述的3个差值作为各向同性变化信息记录在存储器11上,结束处理。
另一方面,在R≤Rt的情况下,将dxy=dxrx=dxry=ERR(ERR是表示值不合适的充分大的常数值)记录在存储器11上,结束处理。
接下来,说明步骤S12的息肉候补检测处理。如图12所示,息肉候补检测处理在步骤S30中首先按各像素值取得通过各向同性变化特征量计算处理计算出的各向同性变化信息。
然后,在步骤S31中判断是否满足dxy=dxrx=dxry=ERR,在满足的情况下,跳过处理,在不满足的情况下,实施以下步骤S32以后的处理。
在步骤S32中,使用规定阈值Dt来判定是否是dxy<Dt且dxrx<Dt 且dxry<Dt。在满足该条件的情况下,在步骤S33中将息肉候补图像的该位置的像素值更新为“1”。在不满足条件的情况下,在步骤S34中将该位置的像素值更新为“0”。
然后,在步骤S35中生成息肉存在位置的像素值为“1”的息肉候补图像26,结束处理。
然后,在图像处理装置4中,在息肉候补图像26的像素值是“1”的位置显示标记,以便将其重叠在原图像22的显示上。
另外,上述处理是针对原图像22的例如R信号进行的,然而不限于此,可以是G信号或B信号。
(效果)
这样在本实施例中,通过调查二维灰度值变化,可从图像内检测不具有边缘的息肉,通过提示为病变候补,可向医师(医生)提供息肉的存在位置,可辅助发现病变。
另外,在上述说明中根据前3个像素的像素值之差求出灰度值梯度信息,然而可以构成为根据可设定的参数变量N求出前N个像素之差,可调整灰度值梯度信息的比例。
下面,说明本实施例的变形例。另外,仅说明不同部分。
在各向同性变化特征量计算处理中,首先,根据下面的计算式(1)、(2)求出各像素的灰度值梯度相关的要素结构张量T1
T1=▽/▽IT    (2)
然后,生成以成为检测对象的大肠息肉的大小为基准的高斯核(Gaussian Kernel)。例如,在生成5×5的大小相关的高斯核的情况下,根据平均值μ=0、方差σ2=1的正态分布函数f(x),即:
f ( x ) = 1 2 π σ exp ( - ( x - μ ) 2 2 σ 2 ) - - - ( 3 )
生成图13所示的5×5的滤波器G。然后,对按各像素求出的T1和G进行卷积运算,并按各像素计算结构张量T=G*T1
然后,采用Householder QR法按各像素求出T的固有值,并计算:
特征量u=最小固有值/最大固有值
将成为关注点的像素值R和规定阈值Rt进行比较,当R>Rt时,将特征量u作为各向同性变化信息记录在存储器11上(相当于图11的步骤S23)。
在R≤Rt的情况下,将u=ERR(ERR是表示值不合适的充分大的常数值)记录在存储器11上(相当于图11的步骤S24)。
然后,在息肉候补检测处理中,按各像素取得各向同性变化信息(相当于图12的步骤S30),判断是否是u=ERR(相当于图12的步骤S31),在u=ERR的情况下,跳过处理,在不是u=ERR的情况下,实施以下处理。
然后,使用规定阈值Ut来判定是否是u>Ut(相当于图12的步骤S32)。在满足该条件的情况下,将息肉候补图像的该位置的像素值更新为“1”(相当于图12的步骤S33)。在不满足条件的情况下,将该位置的像素值更新为“0”(相当于图12的步骤S34)。
(实施例2)
图14至图20涉及本发明的实施例2,图14是示出存储在存储器上的信息的图,图15是示出图14的图像分析程序中的图像分析处理流程的流程图,图16是示出图15的息肉候补检测处理流程的流程图,图17是说明图16的息肉候补检测处理的图,图18是说明图16的息肉候补检测处理中的近圆形的检测方法的变形例的第1图,图19是说明图16的息肉候补检测处理中的近圆形的检测方法的变形例的第2图,图20是说明图16的息肉候补检测处理中的近圆形的检测方法的变形例的第3图。
由于实施例2与实施例1基本相同,因而仅说明不同点,对相同结构附上相同标号并省略说明。
(结构)
在本实施例中,如图14所示,存储在存储器11上的分析数据21由从内窥镜归档装置3所取得的图像数据即原图像22以及通过后述的各种处理所生成的二值化图像30、标定图像31、细线化图像32和息肉候补图像26构成。其他结构与实施例1相同。
(作用)
使用图15说明由CPU 10执行的本实施例的图像分析程序20的图像分析处理。如图15所示,在步骤S40的二值化处理步骤中,CPU 10利用图像分析程序20,针对原图像22的例如R信号进行利用公知的Sobel滤波技术的边缘提取处理,在作为处理结果所获得的像素值是规定阈值Rt以上的情况下,生成把该像素设定为“1”的二值化图像30。
另外,边缘提取处理假定是针对原图像22的例如R信号进行的,然而不限于此,边缘提取处理也可以针对原图像22的G信号或B信号进行。
CPU 10通过步骤S41的标定处理步骤,生成将标记分配给二值化图像30的像素值是“1”的像素的连接分量各方的标定图像31。
然后,CPU 10通过步骤S42的细线化处理步骤,生成采用例如公知的Hilditch方法将标定图像31内的各标记值进行了细线化的细线化图像32。细线化图像32是将原图像22内包含的边缘作为由1像素的连接分量构成的边缘线来提取并将标记分配给各边缘线的图像。各边缘包含大肠的隆起性病变候补的外形线以及病变以外的结构的外形线。
另外,关于标定图像31和细线化图像32的生成方法,例如如日本特开2005-157902号公报所公开的那样,由于是公知的,因而省略说明。
本实施例的息肉候补检测处理是这样的处理,即:从细线化图像32的边缘线中仅提取作为隆起性病变的可能性高的边缘线,并作为息肉候补图像26来生成。
图16是示出本实施例的息肉候补检测处理中的处理流程图的图。
如图16所示,在息肉候补检测处理中,CPU 10在步骤S50中取得具有标记值“1”的边缘线信息。
然后,CPU 10在步骤S51中执行圆形状相关的哈夫变换(Houghtransform),提取构成边缘线的圆。图17是该提取例。在图17的例子中示出作为构成边缘线的圆要素提取了4个圆A、B、C、D。
CPU 10在步骤S52中对所提取的圆中与边缘线的一致度最高的圆的一致度的大小进行阈值判定。判定是根据步骤S50的边缘线的像素数与一致的像素数之比是否大于规定值R0来进行。在图17的例子中,假定将构成边缘线的像素重复最多的圆是圆A,而且边缘线的像素数与一致的像素数之比大于R0,来检测圆A。在没有相应的圆的半径的情况下,从大肠息肉对象候补中排除。
CPU 10在步骤S53中,将在步骤S52中所判定的圆的半径r与规定阈值rmin、rmax进行比较处理。在rmin<r<rmax的情况下,假定相应的边缘线表示息肉的外形线,在步骤S54中生成把边缘线的像素设定为“1”的息肉候补图像26。
CPU 10在以上处理步骤中按细线化图像32的各标记值进行处理,通过将处理结果重叠在息肉候补图像26上,生成将息肉候补边缘进行了标定的息肉候补标定图像。
(效果)
本实施例通过将息肉候补标定图像重叠在原图像22上并显示在显示装置8上,可容易确认息肉的存在位置即图像上的息肉候补位置。
另外,本实施例可以构成为,根据边缘线上的点列计算复数PARCOR系数,将图18至图20所示的分类类别作为正解来对该系数进行判别分析,检测近圆形。
(实施例3)
图21至图29涉及本发明的实施例3,图21是说明边缘提取处理的预处理的第1图,图22是说明图21的预处理的第2图,图23是说明图21的预处理的第3图,图24是说明图21的预处理的第4图,图25是说明图21的预处理的第5图,图26是示出图21的预处理流程的第1流程图,图27是说明图26的处理的第1图,图28是说明图26的处理的第2图,图29是示出图21的预处理流程的第2流程图。
由于实施例3与实施例2基本相同,因而仅说明不同点,对相同结构附上相同标号并省略说明。
作为大肠中的检测对象有隆起性病变(大肠息肉),作为现有技术的一种方法,有这样的方法,即:检测图像的灰度值的极大值,将其位置判定为大肠息肉候补。此时,在极大值锐利的情况下,由于不是大肠息肉而是由微小的残渣等的内容物引起的噪声,因而为了去除噪声而使用形态滤波器(morphology filter)。
然而,由于内窥镜图像有失真像差,因而具有这样的问题,即:形态滤波器瞄准的噪声大小在图像的中央和周边部是不同的。
因此在本实施例中,CPU 10对有失真像差的图像进行适当处理,提高了大肠息肉检测精度。
在本实施例中,作为在实施例2中的图15的步骤S40的边缘提取处理的预处理,CPU 10从原图像22中去除来自残渣等的内容物的噪声。作为该噪声去除方法一般使用形态滤波器。
在如图21所示有锐利的峰值的情况下,在进行了形态滤波处理之一的腐蚀(erosion)之后,通过进行形态滤波处理之一的膨胀(dilation),来消除锐利的峰值。在图21中示出进行了腐蚀的例子。在形态滤波器中,如图22所示,膨胀具有图形扩展作用,并且腐蚀具有图形收缩作用,将按照与以球体或椭圆体为对象的数据值接近的方式移动的球体或椭圆体的中心轨迹作为输出。在膨胀中,在数据值的上方移动,在腐蚀中,在数据值的下方移动。因此,可通过腐蚀和膨胀来消除球体或椭圆体的尺寸以下的峰值。
然而,由于内窥镜图像有失真像差,因而在图像的中央和周边,比例不同。因此如图23所示,内窥镜图像中的实际尺寸根据距图像的中心部的距离和方向而不同。
当对校正了失真像差的图像进行了实施例2中的图15所示的一系列处理时,可避免由上述的图像位置引起的比例差异的问题,然而失真像差的校正处理花时间,而且必须进行形态滤波运算。
在本实施例中,CPU 10预先根据镜头的像差规格或实测值,如图24 和图25所示,准备了输出与距画面中心的距离1对应的椭圆体的长轴/短轴的函数f(l)、g(l)。该函数由查阅表(loop up table)或计算式构成。
在本实施例中,图26示出将形态滤波器的膨胀应用于图像I时的处理流程图(腐蚀也进行相同处理)。
图26表示像素(x,y)相关的处理,通过将该处理应用于图像I整体来获得膨胀处理图像。
CPU 10在膨胀处理中,在存储器11上确保与图像I相同尺寸的图像缓冲器,并将膨胀处理结果存储在图像缓冲器内。图像缓冲器的值在膨胀处理之前复制图像I的像素值并将其存储。
如图26所示,在形态滤波器的膨胀处理中,CPU 10在步骤S60中,求出关注像素(x,y)与图像I的中心像素(cx,cy)形成的角度θ(参照图27)。
在步骤S61中,CPU 10求出关注像素(x,y)与图像I的中心像素(cx,cy)的距离L。
在步骤S62中,CPU 10使用上述的函数f(l)、g(l)以及在步骤S61中求出的距离L,求出图28所示的长轴是f(L)、短轴是g(L)的椭圆体。
在步骤S63中,CPU 10使在步骤S62中求出的椭圆体旋转步骤S60中求出的角度θ。
在步骤S64中,CPU 10进行像素(x,y)中的膨胀处理。将处理结果存储在与图像I相同尺寸的图像缓冲器内。在图像缓冲器中的滤波器所占区域内的像素值大于滤波器处理结果的像素值时,置换成滤波器处理结果的像素值。
另外,图29示出腐蚀处理的情况的流程图。与膨胀处理基本相同,不同点仅是取代步骤S64而在步骤S64a中进行像素(x,y)中的腐蚀处理,因而省略说明。
并且,在本实施例中应用于形态滤波器,然而CPU 10也能生成模板并执行模板匹配处理,在该模板匹配处理中,通过在考虑图像的失真像差来校正模板的同时进行处理,可提高匹配精度。
可对有失真像差的图像进行高精度的噪声去除,病变候补的正解率 提高,因而可辅助医师发现病变。
另外,作为图像数据的一例,在上述各实施例中使用大肠内的内窥镜图像数据,以作为管腔内异常组织的大肠息肉为例作了说明,然而不限于此,可应用于其他管腔内图像数据并可应用于其他管腔内的异常组织的检测。
另外,在本发明的上述实施例中,如图30所示,以下各部由作为异常组织存在判定处理单元的CPU 10构成,即:作为灰度值梯度计算处理单元的灰度值梯度计算部200,其执行灰度值梯度计算处理(例如图8的步骤S10);作为各向同性评价处理单元的各向同性评价部201,其执行各向同性变化特征量计算处理(例如图8的步骤S11);作为边缘提取处理单元的边缘提取部202,其执行边缘提取处理(例如图15的步骤S40);作为异常组织候补检测处理单元的息肉候补检测部203,其执行息肉候补检测处理(例如图8的步骤S12);作为滤波器/模板生成单元的滤波器/模板生成部204,其生成例如图22的形态滤波器;以及作为滤波/模板匹配处理单元的滤波/模板匹配部205,其执行形态滤波运算,该形态滤波运算使用输出与距例如图24和图25的画面中心的距离1对应的椭圆体的长轴/短轴的函数f(l)、g(l)。
本发明不限于上述实施例,可在不改变本发明主旨的范围内进行各种变更、改变等。
本申请是以于2006年3月14日在日本所申请的日本特願2006-069818号作为优先权主张基础来进行申请的,上述的公开内容被引用在本申请说明书和权利要求书内。

Claims (2)

1.一种图像分析装置,该图像分析装置的特征在于,该图像分析装置具有:
异常组织存在判定处理单元,其根据管腔内图像的像素或小区域的数据,判定是否存在管腔内异常组织;
边缘提取处理单元,其进行提取所述管腔内图像的边缘的边缘提取处理;以及
异常组织候补检测处理单元,其判定由所述边缘提取处理单元提取的各个边缘是否是所述管腔内异常组织的边缘,
所述异常组织候补检测处理单元具有检测由边缘形成的曲线中的近圆形的曲线的圆形状检测处理单元,
所述异常组织存在判定处理单元根据所述近圆形的曲线,判定是否存在所述管腔内异常组织。
2.根据权利要求1所述的图像分析装置,其特征在于,所述管腔内异常组织是大肠息肉。
CN2007800053223A 2006-03-14 2007-03-05 图像分析装置 Active CN101384210B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006069818A JP4891637B2 (ja) 2006-03-14 2006-03-14 画像解析装置
JP069818/2006 2006-03-14
PCT/JP2007/054214 WO2007105517A1 (ja) 2006-03-14 2007-03-05 画像解析装置

Publications (2)

Publication Number Publication Date
CN101384210A CN101384210A (zh) 2009-03-11
CN101384210B true CN101384210B (zh) 2011-08-31

Family

ID=38509351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800053223A Active CN101384210B (zh) 2006-03-14 2007-03-05 图像分析装置

Country Status (5)

Country Link
US (1) US8244009B2 (zh)
EP (2) EP2472473B1 (zh)
JP (1) JP4891637B2 (zh)
CN (1) CN101384210B (zh)
WO (1) WO2007105517A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5312807B2 (ja) 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
JP2011069965A (ja) * 2009-09-25 2011-04-07 Japan Atomic Energy Agency 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体
JP5535727B2 (ja) * 2010-04-01 2014-07-02 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5570866B2 (ja) 2010-04-30 2014-08-13 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5597049B2 (ja) 2010-07-07 2014-10-01 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5528255B2 (ja) * 2010-08-16 2014-06-25 Hoya株式会社 内視鏡画像処理システム
CN103189737B (zh) * 2010-10-29 2017-05-31 奥林巴斯株式会社 图像分析方法以及图像分析装置
RU2441281C1 (ru) * 2011-01-14 2012-01-27 Закрытое Акционерное Общество "Импульс" Способ оценки шума цифровых рентгенограмм
WO2012105141A1 (ja) * 2011-02-01 2012-08-09 オリンパスメディカルシステムズ株式会社 診断支援装置
EP2671503A4 (en) * 2011-07-12 2015-04-01 Olympus Medical Systems Corp IMAGE PROCESSING APPARATUS
JP5959168B2 (ja) * 2011-08-31 2016-08-02 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6196760B2 (ja) * 2012-08-10 2017-09-13 オリンパス株式会社 画像処理装置
JP6253230B2 (ja) * 2012-12-25 2017-12-27 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
US9386908B2 (en) 2013-01-29 2016-07-12 Gyrus Acmi, Inc. (D.B.A. Olympus Surgical Technologies America) Navigation using a pre-acquired image
WO2015037141A1 (ja) * 2013-09-13 2015-03-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015164768A1 (en) * 2014-04-24 2015-10-29 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting polyps from learned boundaries
US10055843B2 (en) * 2015-03-31 2018-08-21 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convulutional neural networks
JP6603709B2 (ja) 2015-04-23 2019-11-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6598850B2 (ja) 2015-04-23 2019-10-30 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CA3074106A1 (en) * 2016-05-19 2017-11-23 Psip, Llc Methods for polyp detection
CN110345877B (zh) * 2019-07-03 2020-10-27 西安交通大学 一种管板孔径和节距测量方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04193254A (ja) * 1990-11-27 1992-07-13 Olympus Optical Co Ltd 内視鏡画像処理装置
US6301378B1 (en) * 1997-06-03 2001-10-09 R2 Technology, Inc. Method and apparatus for automated detection of masses in digital mammograms
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
US7043064B2 (en) * 2001-05-04 2006-05-09 The Board Of Trustees Of The Leland Stanford Junior University Method for characterizing shapes in medical images
US7260250B2 (en) * 2002-09-30 2007-08-21 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Computer-aided classification of anomalies in anatomical structures
US20050036691A1 (en) * 2003-08-13 2005-02-17 Pascal Cathier Method and system for using structure tensors to detect lung nodules and colon polyps
US7447342B2 (en) * 2003-09-22 2008-11-04 Siemens Medical Solutions Usa, Inc. Method and system for using cutting planes for colon polyp detection
EP1685522A1 (en) * 2003-11-12 2006-08-02 Siemens Corporate Research, Inc. A system and method for filtering and automatic detection of candidate anatomical structures in medical images
JP4434705B2 (ja) 2003-11-27 2010-03-17 オリンパス株式会社 画像解析方法
EP1735750A2 (en) * 2004-04-12 2006-12-27 The General Hospital Corporation Method and apparatus for processing images in a bowel subtraction system
JP2006069818A (ja) 2004-08-31 2006-03-16 Keio Gijuku 炭素微粒子
KR100739967B1 (ko) * 2005-05-27 2007-07-16 주식회사 하이닉스반도체 플래시 메모리 장치의 프로그램 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP平4-193254A 1992.07.13

Also Published As

Publication number Publication date
EP2472473A1 (en) 2012-07-04
WO2007105517A1 (ja) 2007-09-20
CN101384210A (zh) 2009-03-11
US20090074270A1 (en) 2009-03-19
JP4891637B2 (ja) 2012-03-07
EP1994880A4 (en) 2010-05-26
EP1994880A1 (en) 2008-11-26
US8244009B2 (en) 2012-08-14
EP2472473B1 (en) 2016-06-22
JP2007244519A (ja) 2007-09-27

Similar Documents

Publication Publication Date Title
CN101384210B (zh) 图像分析装置
US11633169B2 (en) Apparatus for AI-based automatic ultrasound diagnosis of liver steatosis and remote medical diagnosis method using the same
CN101384211B (zh) 图像分析装置
US20200273169A1 (en) Systems and methods for ultrasound imaging
JP3928978B1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
Miranda-Luna et al. Mosaicing of bladder endoscopic image sequences: Distortion calibration and registration algorithm
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US20140357996A1 (en) System and method of ultrasound image processing
WO2015139267A1 (zh) 自动识别测量项的方法、装置及一种超声成像设备
WO2007026598A1 (ja) 医用画像処理装置及び画像処理方法
US10548564B2 (en) System and method for ultrasound imaging of regions containing bone structure
CN110111386B (zh) 一种肌肉组织中结构性角度的自动测量方法及系统
Wu et al. Detection of blur artifacts in histopathological whole-slide images of endomyocardial biopsies
WO2020215485A1 (zh) 胎儿生长参数测量方法、系统及超声设备
US8644574B2 (en) Measurement of thin-layered structures in X-ray computer tomography
US7353117B2 (en) Computation of wall thickness
CN110349203B (zh) 一种超声设备及其超声图像中血管直径的测量方法
CN115511979A (zh) 一种基于灰度变换的内窥镜主板控制系统
US20220202376A1 (en) Medical imaging apparatus including biological signal processing system, medical imaging system, and biological signal processing method
Daanen et al. A fully automated method for the delineation of osseous interface in ultrasound images
US7433086B2 (en) Edge detection and correcting system and method
Pham et al. Assessment of hip displacement in children with cerebral palsy using machine learning approach
US7068827B2 (en) System and method of measuring fat content in target organ and recording medium of recording fat content measuring program
US20140210971A1 (en) Navigation Using a Pre-Acquired Image
JP2005080757A (ja) 信号処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151118

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan

Patentee before: Olympus Medical Systems Corp.