CN106535736A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents
图像处理装置、图像处理方法以及图像处理程序 Download PDFInfo
- Publication number
- CN106535736A CN106535736A CN201580037655.9A CN201580037655A CN106535736A CN 106535736 A CN106535736 A CN 106535736A CN 201580037655 A CN201580037655 A CN 201580037655A CN 106535736 A CN106535736 A CN 106535736A
- Authority
- CN
- China
- Prior art keywords
- region
- blood vessel
- image
- angiosomes
- candidate region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
提供能够提取管腔内图像中的血管透视像局部地消失的区域的图像处理装置等。图像处理装置(1)具有:血管锐利度图像生成部(110),其生成血管锐利度图像,该血管锐利度图像表示管腔内图像中的拍摄有血管的区域即血管区域的锐利度;异常候选区域提取部(120),其提取血管锐利度图像中的锐利度低下的区域,作为血管透视像局部地消失的区域即异常区域的候选区域;以及异常区域判定部(130),其根据表示向候选区域附近延伸的血管区域的状态的延伸信息,判定候选区域是否是异常区域。
Description
技术领域
本发明涉及对拍摄有活体的管腔内的图像执行图像处理的图像处理装置、图像处理方法以及图像处理程序。
背景技术
已知有如下技术:针对通过使用内窥镜或胶囊型内窥镜等医用观察装置来拍摄活体的管腔内而取得的图像,检测拍摄有肿瘤等异常部的异常区域。下面,也将拍摄了管腔内的图像称作管腔内图像。例如在专利文献1中公开了检测具有局部的隆起形状的病变的技术。在该专利文献1中,根据活体组织的二维图像,估计三维模型,针对该三维模型,设定具有隆起形状的病变的检测对象区域,计算形状特征量,并根据该形状特征量,检测具有局部的隆起形状的病变,该形状特征量表示检测对象区域所包含的各个数据点的形状的状态。此外,在专利文献2中公开了以下技术:在通过对红(R)、绿(G)、蓝(B)中的G成分的图像执行使用了加博(Gabor)滤波器等的空间频率分析而计算出特征量以后,通过使用线性判别函数,根据血管延伸的状态,判别异常。也将该血管延伸的状态称作血管的走向形态。
现有技术文献
专利文献
专利文献1:日本特开2008-29520号公报
专利文献2:日本特开2005-192880号公报
发明内容
发明所要解决的问题
但是,在管腔内产生的早期表面型肿瘤是很难在内窥镜检査中发现的异常之一。作为医生发现该早期表面型肿瘤时的线索,已知有血管透视像的局部的消失。血管透视像是拍摄有能够透视看到在粘膜的表面附近存在的血管网的区域的像。在该血管透视像中,在局部难以看到血管网的区域、换言之局部地消失的区域中存在肿瘤的可能性较大。
对此,专利文献1是检测从正常的粘膜面隆起的病变(异常部)的技术,难以检测隆起较小或者不隆起的病变。此外,专利文献2是根据图像的明确显露出来的血管延伸的状态,检测拍摄到异常的图像的技术,并没有公开提取血管透视像局部地消失的区域的技术。
本发明正是鉴于上述问题而作出的,其目的在于提供能够提取管腔内图像中血管透视像局部地消失的区域的图像处理装置、图像处理方法以及图像处理程序。
用于解决问题的手段
为了解决上述问题,并达成目的,本发明的图像处理装置的特征在于,具有:血管锐利度图像生成部,其生成血管锐利度图像,该血管锐利度图像表示管腔内图像中的拍摄有血管的区域即血管区域的锐利度;异常候选区域提取部,其提取所述血管锐利度图像中所述锐利度低下的区域,作为血管透视像局部地消失的区域即异常区域的候选区域;以及异常区域判定部,其根据表示在所述候选区域的附近延伸的所述血管区域的状态的延伸信息,判定所述候选区域是否是异常区域。
本发明的图像处理方法的特征在于,包含以下步骤:血管锐利度图像生成步骤,生成血管锐利度图像,该血管锐利度图像表示管腔内图像中的拍摄有血管的区域即血管区域的锐利度;异常候选区域提取步骤,提取所述血管锐利度图像中所述锐利度低下的区域,作为血管透视像局部地消失的区域即异常区域的候选区域;以及异常区域判定步骤,根据表示向所述候选区域的附近延伸的所述血管区域的状态的延伸信息,判定所述候选区域是否是异常区域。
本发明的图像处理程序的特征在于,其使计算机执行以下步骤:血管锐利度图像生成步骤,生成血管锐利度图像,该血管锐利度图像表示管腔内图像中的拍摄有血管的区域即血管区域的锐利度;异常候选区域提取步骤,提取所述血管锐利度图像中所述锐利度低下的区域,作为血管透视像局部地消失的区域即异常区域的候选区域;以及异常区域判定步骤,根据表示向所述候选区域的附近延伸的所述血管区域的状态的延伸信息,判定所述候选区域是否是异常区域。
发明效果
根据本发明,由于提取管腔内图像中的血管区域的锐利度局部地低下的区域作为异常区域的候选区域,并根据在候选区域附近存在的血管区域的延伸信息,判定该候选区域是否是异常区域,所以能够高精度地检测管腔内图像中的血管透视像局部消失的区域。
附图说明
图1是示出本发明实施方式1的图像处理装置的结构的框图。
图2是示出图1所示的血管锐利度图像生成部的详细结构的框图。
图3是示出图1所示的异常区域判定部的详细结构的框图。
图4是示出图1所示的图像处理装置的动作的流程图。
图5是示出管腔内图像的一例的示意图。
图6是示出图1所示的血管锐利度图像生成部执行的血管锐利度图像的生成处理的流程图。
图7是表示颜色对比度图像内的x方向上的亮度变化的曲线图。
图8是示出血管锐利度图像的一例的图。
图9是表示血管锐利度图像的反转图像内的x方向上的亮度变化的曲线图。
图10是示出图1所示的异常区域判定部执行的候选区域的判定处理的流程图。
图11是用于说明附近外部区域的设定处理的示意图。
图12是用于说明血管区域与候选区域的轮廓的交叉角度的评价方法的示意图。
图13是用于说明细线化处理的示意图。
图14是示出与形状指数的值对应的形状模型的示意图。
图15是示出本实施方式2的图像处理装置具备的异常区域判定部的结构的框图。
图16是示出图15所示的异常区域判定部执行的候选区域的判定处理的流程图。
图17是用于说明轮廓附近区域的设定处理的示意图。
图18是用于说明针对候选区域的血管区域的交叉状态的评价方法的示意图。
图19是示出本实施方式3的图像处理装置具备的异常区域判定部的结构的框图。
图20是示出图19所示的异常区域判定部执行的候选区域的判定处理的流程图。
图21是用于说明针对候选区域的血管区域的贯穿状态的评价方法的示意图。
图22是示出应用了图1所示的图像处理装置的内窥镜系统的概略结构的图。
具体实施方式
以下,参照附图说明本发明的实施方式的图像处理装置、图像处理方法以及图像处理程序。另外,本发明不受这些实施方式限定。另外,在各个附图的记载中,对相同部分标注相同标号来示出。
(实施方式1)
图1是示出本发明实施方式1的图像处理装置的结构的框图。实施方式1的图像处理装置1是以下装置:通过对通过由内窥镜等医用图像装置拍摄活体的管腔内而取得的管腔内图像实施图像处理,从管腔内图像中检测被怀疑为肿瘤性病变的区域,作为异常区域。管腔内图像通常是在各个像素位置处具有针对R(红)、G(绿)、B(蓝)的波长成分的像素级(像素值)的彩色图像。
如图1所示,图像处理装置1具有:控制部10,其控制该图像处理装置1整体的动作;图像取得部20,其取得由医用观察装置拍摄管腔内而生成的图像数据;输入部30,其向控制部10输入与来自外部的操作对应的信号;显示部40,其进行各种信息和图像的显示;记录部50,其存储由图像取得部20取得的图像数据和各种程序;以及运算部100,其对图像数据执行规定的图像处理。
控制部10由CPU等硬件来实现,其通过读入记录在记录部50中的各种程序,根据从图像取得部20输入的图像数据和从输入部30输入的信号等,向构成图像处理装置1的各个部进行指示或者数据传送等,统一控制图像处理装置1整体的动作。
图像取得部20根据包含医用图像装置的系统的方式适当构成。例如,在将医用图像装置与图像处理装置1连接的情况下,图像取得部20由取入在医用图像装置中生成的图像数据的接口构成。另外,在设置预先保存由医用图像装置生成的图像数据的服务器的情况下,图像取得部20由与服务器连接的通信装置等构成,并与服务器进行数据通信来取得图像数据。或者,可以使用可移动型的记录介质来交接由医用图像装置生成的图像数据,在该情况下,图像取得部20由读取装置构成,该读取装置装卸自如地对可移动型的记录介质进行安装,并读出被记录的图像的图像数据。
输入部30通过例如键盘、鼠标、触摸面板及各种开关等输入器件来实现,其将根据针对这些输入器件的来自外部的操作而产生的输入信号输出到控制部10。
显示部40由LCD或EL显示器等显示装置来实现,在控制部10的控制下,显示包含管腔内图像在内的各种画面。
记录部50由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、或者CD-ROM等信息记录装置及其读取装置等来实现。记录部50除了存储由图像取得部20取得的管腔内图像的图像数据以外,还存储用于使图像处理装置1动作并使图像处理装置1执行各种功能的程序、以及在该程序的执行中使用的数据等。具体而言,记录部50存储从管腔内图像提取血管透视像局部地消失的区域来作为异常区域的图像处理程序51、或在该图像处理中使用的阈值等。
运算部100由CPU等硬件来实现,通过读入图像处理程序51,执行以下图像处理:从管腔内图像提取血管透视像局部地消失后的区域,作为异常区域。
接着,对运算部100的结构进行说明。如图1所示,运算部100具有:血管锐利度图像生成部110,其计算管腔内图像中的拍摄有在粘膜表面存在的血管的区域即血管区域的锐利度(以下称作血管锐利度),生成将该血管锐利度设为亮度的血管锐利度图像;异常候选区域提取部120,其提取血管锐利度图像中的血管锐利度低下的区域,作为异常区域的候选区域;以及异常区域判定部130,其根据在候选区域的附近存在的血管区域的延伸信息,判定该候选区域是否是异常区域。
这里,当观察管腔内时,能够透视看到在粘膜的表面附近存在的血管。这样的血管的像被称作血管透视像。血管锐利度是表示能够在何种程度上清晰、清楚或者高对比度地看到该血管透视像的程度。在本实施方式1中,将血管锐利度设定为越清晰地看到血管透视像,值越大。具体而言,设与管腔内的吸光变化量对应的量为血管锐利度。此外在本说明书中,“局部地消失”意味着“局部地难以看到”或者“局部地完全看不到”的任意一个情况。
图2是示出图1所示的血管锐利度图像生成部110的详细结构的框图。如图2所示,血管锐利度图像生成部110具有:区域设定部111,其设定管腔内图像中的作为异常区域的检测对象的区域、具体而言粘膜区域;颜色对比度图像生成部112,其针对由该区域设定部111设定的区域,生成颜色对比度图像;血管区域检测部113,其根据颜色对比度图像中的亮度变化,检测血管区域;以及血管锐利度计算部114,其计算表示血管区域中的亮度变化的形状的特征量,作为血管锐利度。
其中,区域设定部111将从管腔内图像中至少去除了拍摄有粘膜轮廓、暗部、镜面反射、泡、残渣中的任意一方的区域后的区域设定为异常区域的检测对象区域、即粘膜区域。
颜色对比度图像生成部112生成颜色对比度图像,在该颜色对比度图像中,越是管腔内的针对血红蛋白的吸光波段、例如530~550nm附近的波段的吸光量多的区域,即越是管腔内图像中的红色强的区域,亮度越低下。
图3是示出图1所示的异常区域判定部130的详细结构的框图。如图3所示,异常区域判定部130具有:判定用血管区域提取部131,其从管腔内图像中提取在判定候选区域是否是异常区域时使用的血管区域;轮廓取得部132,其取得候选区域的轮廓;附近外部区域设定部133,其将候选区域的轮廓外侧的区域设定为附近外部区域;交叉角度评价部134,其对在附近外部区域中存在的血管区域与候选区域的轮廓之间的交叉角度进行评价;判定部135,其根据该交叉角度评价部134的评价结果,判定候选区域是否是异常区域。
接着,说明图像处理装置1的动作。图4是示出图像处理装置1的动作的流程图。首先,在步骤S10中,图像处理装置1通过图像取得部20,取得管腔内图像。在本实施方式1中,取得管腔内图像,该管腔内图像是通过内窥镜向管腔内照射包含R、G、B各个波长成分的照明光(白色光)并进行拍摄而生成的,并在各个像素位置具有与这些波长成分对应的像素值(R值、G值、B值)。图5是示出在步骤S10中取得的管腔内图像的一例的示意图。如图5所示,难以看到血管透视像的一部分的区域是血管透视像的消失区域。
在接下来的步骤S11中,运算部100取入管腔内图像,根据该管腔内图像,生成血管锐利度图像。图6是示出血管锐利度图像生成部110执行的血管锐利度图像的生成处理的流程图。
在步骤S111中,区域设定部111将从管腔内图像中去除了拍摄有粘膜轮廓、暗部、镜面反射、泡、残渣中的任意方的区域后剩下的区域、即粘膜区域设定为异常区域的检测对象区域。具体来说,针对管腔内图像内的各个像素计算G/R值,将G/R值为用于判别粘膜区域的判别阈值以下的区域、即带红色的区域设为检测对象区域。
另外,检测对象区域的设定方法不限定于上述方法,可以使用公知的各种方法。例如,可以如日本特开2007-313119号公报所公开的那样,通过进行根据在泡的轮廓部和泡的内部存在的由照明反射形成的弧形的凸边缘这样的泡图像的特征而设定的泡模型和从管腔内图像提取出的边缘之间的匹配,检测泡区域。此外,可以如日本特开2011-234931号公报所公开的那样,根据基于各个像素值(R值、G值、B值)的颜色特征量来提取黑色区域,根据该黑色区域的周围的像素值变化的方向,判别黑色区域是否是暗部。此外,可以根据基于各个像素值的颜色特征量来提取白色区域,根据该白色区域的边界附近的像素值的变化,判别白色区域是否是被镜面反射的区域。并且,可以如日本特开2012-143340号公报公开的那样,根据基于各个像素值的颜色特征量来检测被视作非粘膜区域的残渣候选区域,根据该残渣候选区域与从管腔内图像提取出的边缘之间的位置关系,判别残渣候选区域是否是粘膜区域。
在接下来的步骤S112中,颜色对比度图像生成部112生成颜色对比度图像,在该颜色对比度图像中,越是管腔内图像中红色强的区域,亮度越低下。作为具体的处理,颜色对比度图像生成部112计算G/R值,该G/R值是将管腔内图像内的各像素的像素值(R值、G值、B值)中的与血红蛋白的吸光波段即530~550nm附近的波长成分对应的G值除以R值而得的值。此处,在拍摄管腔内时使用的照明光的R成分是针对血红蛋白的吸光非常少的波段。所以,管腔内的R成分的衰减量对应于照明光在管腔内通过的距离。因此,G/R值能够看作利用拍摄距离、即从内窥镜等具有的拍摄单元至粘膜表面之间的距离,将与G值对应的血红蛋白的吸光波长成分进行归一化后的值。颜色对比度图像生成部112生成将该G/R值设为亮度的颜色对比度图像。
在接下来的步骤S113中,血管区域检测部113检测颜色对比度图像中亮度呈谷状变化的区域,作为血管区域。作为具体的处理,血管区域检测部113首先在颜色对比度图像内的检测对象区域(参照步骤S111)中设定关注像素。接着,使用关注像素的亮度和该关注像素的附近像素的亮度,针对利用式(1)赋予的黑塞矩阵,计算满足式(2)所示的矩阵式的固有值λ。
式1
|H-λE|=0 …(2)
在式(1)中,I(x0,y0)表示颜色对比度图像内的位于坐标(x0,y0)的关注像素的亮度。此外,式(2)所示的标号E表示单位矩阵。
此处,在考虑了由颜色对比度图像中的像素的xy坐标和亮度(z坐标)构成的三维空间的情况下,亮度变化利用二维曲面(x,y,z)的形状表示。将二维曲面上的点(x0,y0,z)中的、如相对于附近像素的梯度变为最大的方向表示凹形的梯度、与该方向垂直的方向表示平坦的梯度的二维曲面上的点(x0,y0,z)视作谷状。在本实施方式1中,满足式(2)的黑塞矩阵的固有值λ中的、绝对值大的一方的固有值(第一固有值)λmax表示与关注像素对应的二维曲面上的点(x0,y0,z)中的梯度为最大的方向的曲率。另一方面,绝对值小的一方的固有值(第二固有值)λmin表示相同的点(x0,y0,z)中的与梯度为最大的方向垂直的方向的曲率。因此,在梯度为最大的方向的曲率(第一固有值λmax)的符号为负,且与梯度为最大的方向垂直的方向的曲率(第二固有值λmin)为零附近的情况下,能够判断为二维曲面的形状、即亮度变化为谷状。
血管区域检测部113根据针对颜色对比度图像内的各个像素计算出的黑塞矩阵的第一固有值λmax和第二固有值λmin,检测颜色对比度图像中的亮度呈谷状变化的区域,作为血管区域。图7是表示颜色对比度图像内的一个方向(x方向)上的亮度变化的曲线图。在图7的情况下,例如提取区域P1~P4,作为血管区域。
在接下来的步骤S114中,血管锐利度计算部114计算表示在步骤S113中检测出的血管区域的亮度变化的形状的特征量,作为血管锐利度。具体而言,使用血管区域中的黑塞矩阵的第一固有值λmax和第二固有值λmin,计算利用下式(3)赋予的评价值CV(Curvedness:曲线),将该评价值CV设为血管锐利度。另外,虽然在本实施方式1中,计算评价值CV,作为血管锐利度,但是本发明不限定于此,也可以通过公知的MTF(ModulationTransfer Function:调制传递函数)或CTF(Contrast Transfer Function:对比度传递函数)来计算血管锐利度。
式2
关于评价值CV,曲线越强即亮度的变化越急剧,值越大。例如在图7的情况下,分别针对区域P1、P4计算的评价值CV比分别针对区域P2、P3计算出的评价值CV大。
在接下来的步骤S115中,血管锐利度图像生成部110生成将在步骤S114中计算出的血管锐利度设为亮度的图像。以下,将把血管锐利度设为亮度的图像称作血管锐利度图像。图8是示出血管锐利度图像的一例的图。之后运算部100的动作返回到主例程。
在接着步骤S11的步骤S12中,异常候选区域提取部120提取血管锐利度局部低下的区域,作为异常区域的候选区域。作为具体的处理,异常候选区域提取部120首先生成使血管锐利度图像的亮度反转的反转图像,并针对该反转图像,按照每个检测对象区域(参照图6的步骤S111)实施深浅形态处理、即针对灰度(grayscale)图像的形态处理。图9是表示血管锐利度图像的反转图像内的一个方向(x方向)的亮度变化的曲线图。使用结构要素A0,对该亮度变化实施形态的闭处理,从而获得将亮度的变化平滑化后的基准面P。另外,在图9中示出了基准面P的x方向的形状。此外,可以通过替代闭处理而进行低通滤波处理,对反转图像的亮度进行平滑化。
接着,异常候选区域提取部120使用预先设定的阈值Th,对该基准面P进行阈值处理,生成二值图像。该二值图像中的具有亮度的区域、即图9中的亮度为阈值Th以上的区域是血管锐利度局部地低下的区域。而且,异常候选区域提取部120对该二值图像进行粒子分析,去除圆形度小于规定的阈值的区域即不近似于圆形的区域、或面积小于规定的阈值的区域来作为噪声,提取最终剩下的区域,作为候选区域。在图8中,将这样提取出的候选区域m1重叠表示在血管锐利度图像上。
在接下来的步骤S13中,异常区域判定部130根据候选区域附近的血管区域的延伸信息,判定候选区域是否是异常区域。此处,血管区域的延伸信息是表示血管区域在候选区域周边如何延伸这样的状态的信息。在本实施方式1中,使用以规定范围的交叉角度与候选区域的轮廓交叉的血管区域的个数,作为血管区域的延伸信息。图10是示出异常区域判定部130执行的候选区域的判定处理的流程图。
首先,在步骤S131中,判定用血管区域提取部131从管腔内图像提取在候选区域的判定中使用的血管区域、即在颜色对比度图像中亮度呈谷状变化的区域。作为具体的处理,可以从血管锐利度图像生成部110取得由血管区域检测部113检测出的血管区域,也可以与图6的步骤S111~S113同样地重新提取血管区域。
在接下来的步骤S132中,轮廓取得部132对在步骤S12中生成的二值图像实施使用了微分滤波器等的边缘提取处理,取得候选区域的轮廓。
在接下来的步骤S133中,附近外部区域设定部133将候选区域的轮廓外侧的规定范围的区域设定为附近外部区域。附近外部区域是在进行针对候选区域的判定时使用的评价区域。图11是用于说明附近外部区域的设定处理的示意图。
作为具体的处理,附近外部区域设定部133通过对在步骤S12中生成的二值图像实施标示处理(参考:CG-ARTS協会、「ディジタル画像処理」、第181页),对各个候选区域赋予标签编号,按照每个标签编号执行形态处理(参考:コロナ社、「モルフォロジー」、第12页、第43页)。详细来说,如图11的(a)所示,通过沿着候选区域A1的轮廓A2应用圆形的结构要素A3,取得闵可夫斯基(ミンコフスキー)和的区域A4。并且,如图11的(b)所示,通过从闵可夫斯基和的区域A4中减去通过对候选区域A1实施形态的闭处理而取得的闭区域A5,来提取区域A6。附近外部区域设定部133将该区域A6设定为附近外部区域。
另外,结构要素A3的直径可以是固定值,也可以根据候选区域中的拍摄距离(参照步骤S112),设定为拍摄距离越近,结构要素A3的直径越大。作为附近外部区域的区域A6的尺寸(宽度)根据结构要素A3的直径而发生变化。
接着,异常区域判定部130对赋予了标签编号的各个候选区域执行循环A的处理。在步骤S134中,交叉角度评价部134对血管区域和候选区域的轮廓的交叉角度进行评价。该评价针对在步骤S131中提取出的血管区域中的处理对象的候选区域的附近外部区域所包含的各个血管区域执行。图12是用于说明血管区域与候选区域的轮廓的交叉角度的评价方法的示意图。
如图12所示,交叉角度评价部134通过对在附近外部区域m3内存在的各个血管区域实施细线化处理,提取细线化血管B1。图13是用于说明血管区域的细线化处理的示意图。能够通过对附近外部区域m3实施二值化处理而生成二值图像,并通过反复进行从该二值图像内依次搜索由图13所示的3×3像素构成的局部区域的图形M1~M8并删除中心像素的处理而提取细线化血管B1(参考:東京大学出版会、「画像解析ハンドバック」、第577~578页)。具体而言,首先,从二值图像内搜索图形M1,将适合图形M1的区域的中心像素的像素值变更为0。另外,图13所示的*表示可以不考虑的像素。接着,从二值图像内搜索图形M2,将适合图形M2的区域的中心像素的像素值变更为0。反复进行这样的处理直至图形M8并作为1个循环。反复进行该循环直到不存在待删除的点为止。
交叉角度评价部134取得这样提取出的细线化血管B1与候选区域m1的轮廓m2的交点处的细线化血管B1的方向向量v1。另外,方向向量v1可以采用与轮廓m2的交点附近的细线化血管B1上的几个像素的方向向量的平均。
此外,交叉角度评价部134取得针对细线化血管B1与轮廓m2的交点处的轮廓m2的切线的法线向量v2。另外,法线向量v2可以采用与细线化血管B1的交点附近的轮廓m2上的几个像素的法线向量的平均。
并且,交叉角度评价部134对方向向量v1与法线向量v2形成的交叉角度θ是否为规定范围内进行评价。此处,如图12的(a)所示,在交叉角度θ比较小的情况下,即接近0°的情况下,在附近外部区域m3中存在的细线化血管B1与轮廓m2交叉并进入到候选区域m1内的可能性较大。另一方面,如图12的(b)所示,在交叉角度θ接近±90°的情况下,细线化血管B1沿着候选区域m1的轮廓m2延伸的可能性较大。
在步骤S135中,判定部135判定交叉角度θ为规定范围内、例如|θ|≦45°的范围内的血管区域是否为规定数量以上。在交叉角度θ为规定范围内的血管区域为规定数量以上的情况下(步骤S135:是),判定部135判定为处理对象的候选区域m1是异常区域(步骤S136)。另一方面,在交叉角度θ为规定范围内的血管区域比规定数量少的情况下(步骤S135:否),判定部135判定为处理对象的候选区域m1不是异常区域(步骤S137)。
在针对提取出的全部候选区域完成循环A的处理后,运算部100的动作返回到主例程。
在接着步骤S13的步骤S14中,运算部100输出步骤S13中的判定结果。与此相应,控制部10使显示部40显示被判定为异常区域的区域。被判定为异常区域的区域的显示方法未特别限定。作为一例,可以举出如下这样的显示方法:在管腔内图像上使重叠用于指示被判定为异常区域的区域的标记;对被判定为异常区域的区域标注与其他区域不同的颜色或阴影以进行显示。同时,可以将步骤S13中的异常区域的判定结果记录在记录部50中。然后,图像处理装置1的动作结束。
如以上所说明的那样,根据本发明的实施方式1,生成表示管腔内图像中的血管锐利度的血管锐利度图像,提取血管锐利度局部地低下的区域,作为异常区域的候选区域,并作为血管区域的延伸信息,根据以规定范围的交叉角度与候选区域交叉的血管区域的个数,来判定该候选区域是否是异常区域,所以能够高精度地检测异常区域。
(变形例1-1)
接着,对本发明的实施方式1的变形例1-1进行说明。在从颜色对比度图像中检测血管区域(参照图6的步骤S113)时,可以使用根据黑塞矩阵的固有值计算出的形状指数。具体而言,形状指数SI使用黑塞矩阵的第一固有值λmax和第二固有值λmin,利用下式(4)赋予。
式3
形状指数SI取0~1之间的值。图14的(a)~(e)是示出与形状指数SI的值对应的形状模型的示意图。由此,在检测颜色对比度图像中的亮度呈谷状变化的区域作为血管区域的情况下,可以检测形状指数SI为0≦SI≦0.5的区域。
(变形例1-2)
接着,对本发明的实施方式1的变形例1-2进行说明。在从颜色对比度图像中检测血管区域(参照图6的步骤S113)时,可以使用特定空间频率。具体而言,通过对颜色对比度图像实施高通滤波处理(参考:CG-ARTS協会、「ディジタル画像処理」、第135页),提取特定范围的空间频带的区域,设该区域为血管区域。
(变形例1-3)
接着,对本发明的实施方式1的变形例1-3进行说明。虽然在上述实施方式1中,针对在附近外部区域存在的全部血管区域评价了与候选区域的轮廓的交叉角度,但是也可以某种程度上限定作为评价对象的血管区域的粗细度。例如,可以仅对规定的粗细度以上的血管进行上述评价。在该情况下,通过对附近外部区域实施带通滤波处理,提取与滤波器相应的粗细度的血管区域,对提取出的血管区域评价与候选区域的轮廓的交叉角度即可。
(变形例1-4)
接着,对本发明的实施方式1的变形例1-4进行说明。如变形例1-3那样,在限定作为评价对象的血管区域的粗细度并进行处理的情况下,可以根据血管区域的粗细度来设定在设定附近外部区域时的形态处理中使用的结构要素的尺寸。具体而言,血管区域的粗细度越粗,越增大结构要素的尺寸即可。
(变形例1-5)
接着,对本发明的实施方式1的变形例1-5进行说明。虽然在上述实施方式1中,使用了细线化血管B1的方向向量v1与针对轮廓m2的切线的法线向量v2形成的角度θ(参照图12),作为血管区域与候选区域的轮廓的交叉角度,但是也可以使用方向向量v1与轮廓m2的切线形成的角度θ’(θ’=90°-θ)作为交叉角度。在该情况下,在角度θ’越接近90°,例如在45°≦θ’≦135°的范围内的情况下,血管区域与候选区域m1的轮廓m2交叉并进入到候选区域内的可能性越大。
(变形例1-6)
接着,对本发明的实施方式1的变形例1-6进行说明。候选区域是否是异常区域的判定(参照图10)可以根据除交叉角度θ以外的血管区域的延伸信息进行。作为一例,能够使用附近外部区域中的血管区域的长度。
作为具体的处理,首先对在附近外部区域及其外侧存在的血管区域实施细线化处理,提取在附近外部区域的外侧的轮廓上存在的细线化血管。接着,通过从附近外部区域的外侧的轮廓上出发并搜索细线化血管的8附近的像素,在附近外部区域的内部中追踪细线化血管。并且,在细线化血管到达附近外部区域的内侧的轮廓时结束追踪,计算附近外部区域中的细线化血管B1的长度。实际上,作为长度,对像素数进行计数。在该长度为规定的阈值以下的情况下,细线化血管B1与轮廓m2交叉并进入到候选区域m1内的可能性较大。因此,在长度为规定的阈值以下的血管区域(细线化血管B1)在附近外部区域中存在规定数量以上的情况下,能够判定为该候选区域是异常区域。
(变形例1-7)
接着,对本发明的实施方式1的变形例1-7进行说明。虽然在上述实施方式1中,根据交叉角度θ为规定范围内的血管区域的个数,判定了候选区域是否是异常区域,但是判定方法不限于此。例如,可以根据交叉角度θ为规定范围内的血管区域的比率,进行判定。作为一例,针对在附近外部区域存在的血管区域的个数,在交叉角度θ为规定范围内的血管区域的个数为50%以上的情况下,判定为该候选区域是异常区域。
(实施方式2)
接着,对本发明的实施方式2进行说明。图15是示出本实施方式2的图像处理装置具备的异常区域判定部的结构的框图。本实施方式2的图像处理装置替代图1所示的异常区域判定部130而具有图15所示的异常区域判定部230。除异常区域判定部230以外的图像处理装置的各个部的结构和动作与实施方式1相同。
异常区域判定部230具有:判定用血管区域提取部131,其从管腔内图像中提取在判定候选区域是否是异常区域时使用的血管区域;轮廓取得部132,其取得候选区域的轮廓;轮廓附近区域设定部231,其将候选区域的轮廓外侧和内侧的区域设定为轮廓附近区域;血管交叉状态评价部232,其对轮廓附近区域中的血管区域与候选区域的交叉状态进行评价;以及判定部233,其根据该血管交叉状态评价部232的评价结果,判定候选区域是否是异常区域。另外,判定用血管区域提取部131和轮廓取得部132的动作与实施方式1相同。
接着,说明本实施方式2的图像处理装置的动作。本实施方式2的图像处理装置的动作整体上与实施方式1相同(参照图4),步骤S13中的针对候选区域的判定处理的详细内容与实施方式1不同。本实施方式2的特征在于,使用与候选区域的轮廓交叉,并进入到候选区域的内部的血管区域的个数,作为血管区域的延伸信息。
图16是示出图4所示的步骤S13中的异常区域判定部230执行的候选区域的判定处理的流程图。另外,图16所示的步骤S131和S132与实施方式1相同。
在接着步骤S132的步骤S231中,轮廓附近区域设定部231将候选区域的轮廓外侧和内侧的规定范围的区域设定为轮廓附近区域。轮廓附近区域是在进行针对候选区域的判定时使用的评价区域。图17是用于说明轮廓附近区域的设定处理的示意图。
作为具体的处理,轮廓附近区域设定部231通过对在步骤S12中生成的二值图像实施标示处理(参考:CG-ARTS協会、「ディジタル画像処理」、第181页),对各个候选区域赋予标签编号,按照每个标签编号执行形态处理(参考:コロナ社、「モルフォロジー」、第12页、第43页)。详细来说,如图17的(a)所示,通过沿着候选区域A1的轮廓A2应用圆形的结构要素A3,取得闵可夫斯基和的区域A4和闵可夫斯基差的区域A7。并且,通过从闵可夫斯基和的区域A4减去闵可夫斯基差的区域A7,提取区域A8。轮廓附近区域设定部231将该区域A8设定为轮廓附近区域。
接着,异常区域判定部230对赋予了标签编号的各个候选区域执行循环B的处理。首先,在步骤S232中,血管交叉状态评价部232对于在步骤S131中提取出的血管区域中的、在处理对象的候选区域的轮廓附近区域中存在的各个血管区域,对血管区域是否与候选区域的轮廓交叉且进入到候选区域的内部进行评价。图18是用于说明血管区域与候选区域的交叉状态的评价方法的示意图。
血管交叉状态评价部232通过对轮廓附近区域m4内的各个血管区域实施细线化处理,提取细线化血管B2。另外,细线化处理的详细内容与实施方式1相同(参照图13)。
血管交叉状态评价部232提取在轮廓附近区域m4的外侧的轮廓m5上存在的细线化血管B2,从轮廓m5上出发来搜索细线化血管B2的8附近的像素,由此在轮廓附近区域m4的内部追踪细线化血管B2。并且,判定细线化血管B2是否与轮廓m2交叉并进入到轮廓m2的内侧的区域m6。
例如,在图18的(a)中,细线化血管B2与轮廓m2交叉,并且在区域m6的内部连续。另一方面,在图18的(b)中,在细线化血管B2与区域m6相切后,改变方向并向轮廓m2的外侧的区域m7延伸,未进入到轮廓m2的内侧的区域m6。
在接下来的步骤S233中,判定部233对与候选区域m1的轮廓m2交叉且进入到候选区域m1的内部的血管区域(细线化血管B2)的数量进行计数,判定该血管区域是否为规定数量以上。在与候选区域m1的轮廓m2交叉且进入到候选区域m1的内部的血管区域为规定数量以上的情况下(步骤S233:是),判定部233判定为处理对象的候选区域m1是异常区域(步骤S234)。另一方面,在与候选区域m1的轮廓m2交叉且进入到候选区域m1的内部的血管区域比规定数量少的情况下(步骤S233:否),判定部233判定为处理对象的候选区域m1不是异常区域(步骤S235)。
在针对提取出的全部候选区域完成循环B的处理后,运算部的动作返回到主例程。
如以上所说明的那样,根据本发明的实施方式2,由于作为血管区域的延伸信息,根据与候选区域的轮廓交叉并进入到候选区域的内部的血管区域的个数来判定候选区域是否是异常区域,所以能够高精度地检测血管锐利度局部地低下的异常区域。
另外,在本实施方式2中,也可以与变形例1-3同样地限定作为评价对象的血管区域的粗细度并进行处理。
此外,在本实施方式2中,也可以与变形例1-7同样地在与候选区域的轮廓交叉并进入到候选区域的内部的血管区域的个数相对于在轮廓附近区域内存在的血管区域的个数为规定比率以上的情况下,判定为该候选区域是异常区域。
(实施方式3)
接着,对本发明的实施方式3进行说明。图19是示出本实施方式3的图像处理装置具备的异常区域判定部的结构的框图。本实施方式3的图像处理装置替代图1所示的异常区域判定部130而具有图19所示的异常区域判定部330。除异常区域判定部330以外的各个部的结构和动作与实施方式1相同。
异常区域判定部330具有:判定用血管区域提取部131,其从管腔内图像中提取在判定候选区域是否是异常区域时使用的血管区域;轮廓取得部132,其取得候选区域的轮廓;附近外部区域设定部133,其将候选区域的轮廓外侧的规定范围的区域设定为附近外部区域;特定粗细度血管提取部331,其从在附近外部区域存在的血管区域中提取具有特定范围的粗细度的血管;血管贯穿状态评价部332,其对具有特定范围的粗细度的血管是否贯穿候选区域进行评价;以及判定部333,其根据该血管贯穿状态评价部332的评价结果,判定候选区域是否异常。另外,判定用血管区域提取部131、轮廓取得部132和附近外部区域设定部133的动作与实施方式1相同。
接着,说明本实施方式3的图像处理装置的动作。本实施方式3的图像处理装置的动作整体上与实施方式1相同(参照图4),步骤S13中的针对候选区域的判定处理的详细内容与实施方式1不同。本实施方式3的特征在于,使用具有特定的粗细度的血管区域是否贯穿候选区域的评价,作为血管区域的延伸信息。
图20是示出图4所示的步骤S13中的异常区域判定部330执行的候选区域的判定处理的流程图。另外,图20所示的步骤S131和S132与实施方式1相同。
接着步骤S133,异常区域判定部330对赋予了标签编号的各个候选区域执行循环C的处理。首先,在步骤S331中,特定粗细度血管提取部331从在步骤S131中提取出的血管区域中的、在处理对象的候选区域的附近外部区域存在的血管区域中提取具有特定范围的粗细度的血管区域。作为具体的处理,特定粗细度血管提取部331对设定为处理对象的候选区域的附近外部区域实施特定的空间频带的带通滤波处理。由此,提取与特定的空间频带相应的粗细度的血管区域。
在接下来的步骤S332中,血管贯穿状态评价部332判定在步骤S331中提取出的具有特定范围的粗细度的血管区域是否贯穿候选区域。简单来说,在同一个附近外部区域内存在多个具有特定范围的粗细度的血管区域的情况下,判定为血管区域贯穿候选区域。
图21是用于说明更高精度地评价血管区域针对候选区域的贯穿状态的情况下的评价方法的示意图。在进行更高精度的评价的情况下,血管贯穿状态评价部332通过对从附近外部区域m3提取出的具有特定范围的粗细度的血管区域实施细线化处理,取得细线化血管B3、B3’。另外,细线化处理的详细内容与实施方式1相同(参照图13)。并且,针对某个细线化血管B3生成近似曲线B4,判断在细线化血管B3的对岸的附近外部区域m3中,在包含近似曲线B4的规定范围内是否存在细线化血管。在图21的情况下,在细线化血管B3的对岸的附近外部区域m3中存在与近似曲线B4连续的细线化血管B3’。在该情况下,判定为与细线化血管B3对应的血管区域贯穿候选区域,并与和在对岸的附近外部区域存在的细线化血管B3’对应的血管区域相连。
在具有特定范围的粗细度的血管区域贯穿候选区域m1的情况下(步骤S332:是),判定部333判定为处理对象的候选区域m1是异常区域(步骤S333)。另一方面,在具有特定的粗细度的血管区域未贯穿候选区域的情况下(步骤S332:否),判定部333判定为处理对象的候选区域m1不是异常区域(步骤S334)。
在针对提取出的全部候选区域完成循环C的处理后,运算部的动作返回到主例程。
如以上所说明那样,根据本发明的实施方式3,由于作为血管区域的延伸信息,根据对具有特定的粗细度的血管区域是否贯穿候选区域的评价,判定候选区域是否是异常区域,所以能够高精度地检测血管锐利度局部地低下的异常区域。
图22是示出应用了本发明的实施方式1的图像处理装置(参照图1)的内窥镜系统的概略结构的图。如图22所示,内窥镜系统3具有:图像处理装置1;内窥镜4,其生成通过将前端部插入到被检体的管腔内而拍摄被摄体的体内而得到的图像;光源装置5,其产生从内窥镜4的前端射出的照明光;以及显示装置6,其显示由图像处理装置1实施了图像处理后的体内图像。图像处理装置1对由内窥镜4生成的图像实施规定的图像处理,并统一控制内窥镜系统3整体的动作。另外,可以替代实施方式1的图像处理装置而使用实施方式2、3的图像处理装置。
内窥镜4具有:插入部41,其呈具有挠性的细长形状;操作部42,其与插入部41的基端侧连接,受理各种操作信号的输入;以及通用缆线43,其从操作部42向与插入部41延伸的方向不同的方向延伸,并内置与图像处理装置1和光源装置5连接的各种缆线。
插入部41具有:前端部44,其内置有摄像元件;弯曲自如的弯曲部45,其由多个弯曲块构成;以及长条状的挠性针管46,其与弯曲部45的基端侧连接,并具有挠性。
摄像元件接收来自外部的光并光电转换为电信号,实施规定的信号处理。摄像元件使用例如CCD(Charge Coupled Device;电荷耦合元件)图像传感器或CMOS(Complementary Metal Oxide Semiconductor;互补性金属氧化膜半导体)图像传感器来实现。
在操作部42与前端部44之间连接有与图像处理装置1之间进行电信号的收发的多条信号线被捆扎的集合缆线。多条信号线中包含:向图像处理装置1传输由摄像元件输出的影像信号的信号线和向摄像元件传输由图像处理装置1输出的控制信号的信号线等。
操作部42具有:弯曲旋钮421,其使弯曲部45在上下方向和左右方向上弯曲;处置器械插入部422,其插入活检针、活体钳子、激光切刀以及检查探头等处置器械;以及作为操作输入部的多个开关423,其除了输入图像处理装置1、光源装置5的操作指示信号,还输入送气单元、送水单元、送雾单元等周边设备的操作指示信号。
通用缆线43至少内置有光导和集合缆线。此外,在与通用缆线43的操作部42相连的一侧不同侧的端部设置有:连接器部47,其在光源装置5上装卸自如;电连接器部48,其经由呈线圈状的线圈缆线470与连接器部47电连接,相对于图像处理装置1装卸自如。
图像处理装置1根据从前端部44输出的图像信号,生成由显示装置6显示的管腔内图像。具体而言,通过对图像信号进行例如白平衡(WB)调整处理、增益调整处理、γ校正处理、D/A转换处理、格式变更处理等来生成显示用的管腔内图像,并进行从该管腔内图像提取异常区域的图像处理。
光源装置5例如具有:光源、旋转滤波器和光源控制部。光源使用白色LED(LightEmitting Diode:发光二极管)或疝灯等构成,在光源控制部的控制下产生白色光。光源产生的光经由光导从前端部44的前端照射。
显示装置6具有如下功能:经由影像缆线从图像处理装置1接收并显示由图像处理装置1生成的体内图像。显示装置6使用例如液晶或者有机EL(Electro Luminescence:电致发光)构成。
以上所说明的实施方式1~3以及它们的变形例能够通过在个人计算机或工作站等计算机系统中执行记录装置所记录的图像处理程序来实现。此外,也可以经由局域网(LAN)、广域网(WAN)或互联网等的公共线路,将这种计算机系统连接到其他计算机系统或服务器等设备上进行使用。此时,实施方式1~3以及这些变形例的图像处理装置也可以经由这些网络取得管腔内图像的图像数据,并且将图像处理结果输出到经由这些网络连接的浏览器或打印机等各种输出设备,或者将图像处理结果存储到如记录介质及其读取装置等那样经由这些网络连接的存储装置中。
另外,本发明不直接限定为实施方式1~3及这些变形例,可通过适当组合各个实施方式或变形例所公开的多个结构要素来形成各种发明。例如,可从各个实施方式或变形例所示的全部结构要素中去除几个结构要素来形成,也可适当组合不同实施方式或变形例所示的结构要素来形成。
标号说明
1:图像处理装置;3:内窥镜系统;4:内窥镜;5:光源装置;6:显示装置;10:控制部;20:图像取得部;30:输入部;40:显示部;50:记录部;51:图像处理程序;100:运算部;110:血管锐利度图像生成部;111:区域设定部;112:颜色对比度图像生成部;113:血管区域检测部;114:血管锐利度计算部;120:异常候选区域提取部;130、230、330:异常区域判定部;131:判定用血管区域提取部;132:轮廓取得部;133:附近外部区域设定部;134:交叉角度评价部;135、233、333:判定部;231:轮廓附近区域设定部;232:血管交叉状态评价部;331:特定粗细度血管提取部;332:血管贯穿状态评价部;41:插入部;42:操作部;421:弯曲旋钮;422:处置器械插入部;423:开关;43:通用缆线;44:前端部;45:弯曲部;46:挠性针管;47:连接器部;470:线圈缆线;48:电连接器部。
Claims (15)
1.一种图像处理装置,其特征在于,具有:
血管锐利度图像生成部,其生成血管锐利度图像,该血管锐利度图像表示管腔内图像中的拍摄有血管的区域即血管区域的锐利度;
异常候选区域提取部,其提取所述血管锐利度图像中所述锐利度低下的区域,作为血管透视像局部地消失的区域即异常区域的候选区域;以及
异常区域判定部,其根据表示在所述候选区域的附近延伸的所述血管区域的状态的延伸信息,判定所述候选区域是否是异常区域。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述血管锐利度图像生成部具有:
区域设定部,其设定用于检测所述异常区域的检测对象区域;
颜色对比度图像生成部,其针对所述检测对象区域,生成颜色对比度图像,该颜色对比度图像是如下的图像:越是所述管腔内的针对血红蛋白的吸光波段的吸光量多的区域,亮度越低下;
血管区域检测部,其检测所述颜色对比度图像中亮度呈谷状变化的区域,作为血管区域;以及
血管锐利度计算部,其计算表示所述颜色对比度图像中被检测出的所述血管区域的亮度变化的形状的特征量,作为所述锐利度。
3.根据权利要求2所述的图像处理装置,其特征在于,
所述区域设定部根据所述管腔内图像中的颜色信息和边缘信息,将从所述管腔内图像中至少去除了拍摄有粘膜轮廓、暗部、镜面反射、泡和残渣中的任意方的区域后的区域设定为所述检测对象区域。
4.根据权利要求1~3中的任意一项所述的图像处理装置,其特征在于,
所述异常区域判定部具有:
附近外部区域设定部,其将所述候选区域的轮廓外侧的区域设定为附近外部区域;
交叉角度评价部,其对在所述附近外部区域存在的所述血管区域与所述候选区域的轮廓的交叉角度是否为规定的范围内进行评价;以及
判定部,其根据所述交叉角度为规定的范围内的所述血管区域的数量,判定所述候选区域是否是所述异常区域。
5.根据权利要求4所述的图像处理装置,其特征在于,
所述交叉角度评价部通过对在所述附近外部区域存在的所述血管区域实施细线化处理,取得细线化血管,并取得该细线化血管与所述候选区域的轮廓的交点处的所述细线化血管的方向、与所述交点处的所述轮廓的切线的法线方向所形成的角度,作为所述交叉角度。
6.根据权利要求4所述的图像处理装置,其特征在于,
所述交叉角度评价部通过对在所述附近外部区域存在的所述血管区域实施细线化处理,取得细线化血管,并取得该细线化血管与所述候选区域的轮廓的交点处的所述细线化血管的方向、与所述交点处的所述轮廓的切线方向所形成的角度,作为所述交叉角度。
7.根据权利要求4~6中的任意一项所述的图像处理装置,其特征在于,
所述交叉角度评价部对所述附近外部区域实施带通滤波处理,对通过该带通滤波处理提取出的所述血管区域进行评价。
8.根据权利要求1~3中的任意一项所述的图像处理装置,其特征在于,
所述异常区域判定部具有:
轮廓附近区域设定部,其将所述候选区域的轮廓外侧和内侧的区域设定为轮廓附近区域;
血管交叉状态评价部,其针对在所述轮廓附近区域存在的所述血管区域,评价该血管区域是否与所述候选区域的轮廓交叉且进入到所述候选区域的内部;以及
判定部,其根据与所述候选区域的轮廓交叉且进入到所述候选区域的内部的所述血管区域的数量,判定所述候选区域是否是所述异常区域。
9.根据权利要求8所述的图像处理装置,其特征在于,
所述血管交叉状态评价部通过对在所述轮廓附近区域存在的所述血管区域实施细线化处理,取得细线化血管,通过从所述轮廓附近区域的外侧的轮廓上出发,在所述轮廓附近区域的内部追踪所述细线化血管,来评价所述细线化血管是否与所述候选区域的轮廓交叉且进入到该轮廓的内侧的所述轮廓附近区域。
10.根据权利要求8或者9所述的图像处理装置,其特征在于,
所述血管交叉状态评价部对所述轮廓附近区域实施带通滤波处理,对通过该带通滤波处理提取出的所述血管区域进行评价。
11.根据权利要求1~3中的任意一项所述的图像处理装置,其特征在于,
所述异常区域判定部具有:
附近外部区域设定部,其将所述候选区域的轮廓外侧的区域设定为附近外部区域;
特定粗细度血管提取部,其从在所述附近外部区域存在的所述血管区域提取具有特定范围的粗细度的血管区域;
血管贯穿状态评价部,其评价具有所述特定范围的粗细度的血管区域是否贯穿所述候选区域;以及
判定部,其在具有所述特定范围的粗细度的血管区域贯穿所述候选区域的情况下,判定为所述候选区域是所述异常区域。
12.根据权利要求11所述的图像处理装置,其特征在于,
在所述附近外部区域内存在多个具有所述特定范围的粗细度的血管区域的情况下,所述血管贯穿状态评价部评价为具有所述特定范围的粗细度的血管区域贯穿所述候选区域。
13.根据权利要求11所述的图像处理装置,其特征在于,
所述血管贯穿状态评价部通过对具有所述特定范围的粗细度的血管区域实施细线化处理,取得细线化血管,并在1个细线化血管的对岸的所述附近外部区域中的包含针对该1个细线化血管而生成的近似曲线的规定范围内存在其他细线化血管的情况下,评价为具有所述特定范围的粗细度的血管区域贯穿所述候选区域。
14.一种图像处理方法,其特征在于,包含以下步骤:
血管锐利度图像生成步骤,生成血管锐利度图像,该血管锐利度图像表示管腔内图像中的拍摄有血管的区域即血管区域的锐利度;
异常候选区域提取步骤,提取所述血管锐利度图像中所述锐利度低下的区域,作为血管透视像局部地消失的区域即异常区域的候选区域;以及
异常区域判定步骤,根据表示向所述候选区域的附近延伸的所述血管区域的状态的延伸信息,判定所述候选区域是否是异常区域。
15.一种图像处理程序,其特征在于,使计算机执行以下步骤:
血管锐利度图像生成步骤,生成血管锐利度图像,该血管锐利度图像表示管腔内图像中的拍摄有血管的区域即血管区域的锐利度;
异常候选区域提取步骤,提取所述血管锐利度图像中所述锐利度低下的区域,作为血管透视像局部地消失的区域即异常区域的候选区域;以及
异常区域判定步骤,根据表示向所述候选区域的附近延伸的所述血管区域的状态的延伸信息,判定所述候选区域是否是异常区域。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014145154A JP6405138B2 (ja) | 2014-07-15 | 2014-07-15 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2014-145154 | 2014-07-15 | ||
PCT/JP2015/069344 WO2016009861A1 (ja) | 2014-07-15 | 2015-07-03 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106535736A true CN106535736A (zh) | 2017-03-22 |
CN106535736B CN106535736B (zh) | 2018-10-30 |
Family
ID=55078359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580037655.9A Active CN106535736B (zh) | 2014-07-15 | 2015-07-03 | 图像处理装置、图像处理方法以及图像处理程序 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10194783B2 (zh) |
JP (1) | JP6405138B2 (zh) |
CN (1) | CN106535736B (zh) |
DE (1) | DE112015002822T5 (zh) |
WO (1) | WO2016009861A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113825452A (zh) * | 2019-05-15 | 2021-12-21 | 日本麦可罗尼克斯股份有限公司 | 血管位置显示装置和血管位置显示方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6405138B2 (ja) * | 2014-07-15 | 2018-10-17 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP6243364B2 (ja) * | 2015-01-26 | 2017-12-06 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム |
WO2017057392A1 (ja) * | 2015-09-28 | 2017-04-06 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
JP6538634B2 (ja) * | 2016-09-30 | 2019-07-03 | 富士フイルム株式会社 | プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法 |
EP3586718B1 (en) | 2017-02-24 | 2023-08-30 | FUJIFILM Corporation | Endoscope system and processor device |
JP6774550B2 (ja) * | 2017-03-03 | 2020-10-28 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
CN110740678B (zh) * | 2017-06-13 | 2023-01-13 | 奥林巴斯株式会社 | 内窥镜系统及被摄体的评价方法 |
CN109998681B (zh) * | 2019-03-16 | 2022-02-01 | 哈尔滨理工大学 | 一种区分镜面反射区域和血管的内腔图像预处理方法 |
CN112258503B (zh) * | 2020-11-13 | 2023-11-14 | 中国科学院深圳先进技术研究院 | 超声图像成像质量评价方法、装置及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040081343A1 (en) * | 2002-10-17 | 2004-04-29 | Fuji Photo Film Co., Ltd. | Abnormal pattern candidate detection processing method and system |
CN102243762A (zh) * | 2010-05-11 | 2011-11-16 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
WO2013077381A1 (ja) * | 2011-11-25 | 2013-05-30 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2918162B2 (ja) * | 1988-11-02 | 1999-07-12 | オリンパス光学工業株式会社 | 内視鏡画像処理装置 |
JP2807487B2 (ja) * | 1988-11-02 | 1998-10-08 | オリンパス光学工業株式会社 | 内視鏡装置 |
JP4652694B2 (ja) * | 2004-01-08 | 2011-03-16 | オリンパス株式会社 | 画像処理方法 |
JP4994737B2 (ja) | 2006-07-27 | 2012-08-08 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置及び医療用画像処理方法 |
US20140275995A1 (en) * | 2013-03-12 | 2014-09-18 | Volcano Corporation | Defined borders |
JP6405138B2 (ja) * | 2014-07-15 | 2018-10-17 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
-
2014
- 2014-07-15 JP JP2014145154A patent/JP6405138B2/ja active Active
-
2015
- 2015-07-03 CN CN201580037655.9A patent/CN106535736B/zh active Active
- 2015-07-03 DE DE112015002822.6T patent/DE112015002822T5/de not_active Withdrawn
- 2015-07-03 WO PCT/JP2015/069344 patent/WO2016009861A1/ja active Application Filing
-
2017
- 2017-01-10 US US15/402,369 patent/US10194783B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040081343A1 (en) * | 2002-10-17 | 2004-04-29 | Fuji Photo Film Co., Ltd. | Abnormal pattern candidate detection processing method and system |
CN102243762A (zh) * | 2010-05-11 | 2011-11-16 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
WO2013077381A1 (ja) * | 2011-11-25 | 2013-05-30 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113825452A (zh) * | 2019-05-15 | 2021-12-21 | 日本麦可罗尼克斯股份有限公司 | 血管位置显示装置和血管位置显示方法 |
Also Published As
Publication number | Publication date |
---|---|
US10194783B2 (en) | 2019-02-05 |
JP6405138B2 (ja) | 2018-10-17 |
DE112015002822T5 (de) | 2017-03-09 |
WO2016009861A1 (ja) | 2016-01-21 |
CN106535736B (zh) | 2018-10-30 |
JP2016019665A (ja) | 2016-02-04 |
US20170112357A1 (en) | 2017-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106535736B (zh) | 图像处理装置、图像处理方法以及图像处理程序 | |
Manfredi et al. | Electronic chromoendoscopy | |
JP2020073081A (ja) | 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム | |
CN104363815B (zh) | 图像处理装置以及图像处理方法 | |
WO2023103467A1 (zh) | 图像处理方法、装置及设备 | |
WO2014097702A1 (ja) | 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理方法 | |
CN107529969B (zh) | 图像处理装置以及内窥镜系统 | |
WO2014155778A1 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 | |
CN108292366A (zh) | 在内窥镜手术中检测可疑组织区域的系统和方法 | |
CN105072968A (zh) | 图像处理装置、内窥镜装置、程序和图像处理方法 | |
WO2017027638A1 (en) | 3d reconstruction and registration of endoscopic data | |
CN110189303B (zh) | 一种基于深度学习和图像增强的nbi图像处理方法及其应用 | |
Phan et al. | Optical flow-based structure-from-motion for the reconstruction of epithelial surfaces | |
CN110136191A (zh) | 用于体内对象的大小估计的系统和方法 | |
CN109635871A (zh) | 一种基于多特征融合的胶囊内窥镜图像分类方法 | |
JP2012143340A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
Ali | Where do we stand in AI for endoscopic image analysis? Deciphering gaps and future directions | |
Dimas et al. | Endoscopic single-image size measurements | |
Ahmad et al. | 3D reconstruction of gastrointestinal regions using single-view methods | |
US20170112355A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
WO2019087969A1 (ja) | 内視鏡システム、報知方法、及びプログラム | |
CN112788300A (zh) | 一种新型关节腔内窥镜及其控制方法 | |
Liedlgruber et al. | A summary of research targeted at computer-aided decision support in endoscopy of the gastrointestinal tract | |
Manshadi et al. | Colorectal Polyp Localization: From Image Restoration to Real-time Detection with Deep Learning | |
Jin et al. | A Self-supervised Approach for Detecting the Edges of Haustral Folds in Colonoscopy Video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |