CN102984990A - 诊断辅助装置 - Google Patents

Abstract

诊断辅助装置具备：图像输入部，其输入从生物体组织获取到的内窥镜图像；结构检测部，其根据与图像输入部所输入的内窥镜图像相对应的图像信号检测类圆形的结构；网络检测部,其根据通过结构检测部检测出的类圆形的结构的数量、或者类圆形的结构的面积、或者类圆形的结构之间的距离、或者类圆形的结构之间的连接数，检测内窥镜图像中的规定网络形状。

Description

诊断辅助装置

技术领域

本发明涉及一种对生物体组织的内窥镜图像进行用于辅助诊断的图像处理的诊断辅助装置。

背景技术

近年来，能够将插入部插入到消化管等体腔内等来对消化管内壁等生物体粘膜等进行拍摄并将其作为内窥镜图像进行显示的内窥镜在医疗用领域中被广泛使用。

另外，进行了如下研究：利用通过内窥镜拍摄到的内窥镜图像中的生物体粘膜下的血管、上皮(或者上皮组织)的走行图案来进行用于辅助诊断的图像处理。

另一方面，日本特开平9-251535号公报的以往例公开了如下的图像处理方法：对通过乳房X射线照片(mammogram)等获取到的医用图像数据，在从任意像素放射状地向周边像素辐射的多个搜索方向的各个方向上搜索浓度梯度的向量强度极大的像素，根据搜索到的多个像素各自的浓度梯度的向量强度以及向量方向与搜索方向之间的角度的差异量求出与浓度梯度有关的特征量，进行根据该特征量辨别上述任意像素是否包含在规定图案中的图案检测。并且，该以往例提供了用于高精度地检测微钙化点以辅助乳癌的早期发现的检测方法。

但是，上述以往例的方法是用于高精度地检测微钙化点的方法，即使利用生物体粘膜下的血管、上皮结构的走行图案也无法提供用于进行正常组织和病变组织的诊断的有效的指标。

胃等中的作为正常组织的生物体粘膜的微小血管如构筑蜂巢形状的网络那样走行。另一方面，如作为肿瘤性的病变组织的生物体粘膜那样的病变部的生物体粘膜变化为脱离乃至背离正常的生物体粘膜时的蜂巢形状的网络形状的结构乃至形状。

因此，检测具有何种程度的与内窥镜图像中的蜂巢形状等的类圆形的网络相对应的规定网络形状，被认为可能成为用于判断与该内窥镜图像相对应的生物体组织是否为正常的生物体粘膜的有力的指标或者评价量。

本发明是鉴于上述的点而完成的，其目的在于提供一种能够通过根据类圆形的结构的数量、面积等检测规定网络形状来辅助诊断的诊断辅助装置。

发明内容

用于解决问题的方案

本发明的一个方式的诊断辅助装置具备：图像输入部，其输入从生物体组织获取到的内窥镜图像；结构检测部，其根据与上述图像输入部所输入的上述内窥镜图像相对应的图像信号检测类圆形的结构；网络检测部，其根据通过上述结构检测部检测出的上述类圆形的结构的数量、或者上述类圆形的结构的面积、或者上述类圆形的结构之间的距离、或者上述类圆形的连接数，检测上述内窥镜图像中的规定网络形状。

附图说明

图1是表示本发明的第一实施方式的诊断辅助装置的整体结构的结构图。

图2是表示构成图像处理装置的CPU的处理模块的框图。

图3是表示第一实施方式的处理过程的流程图。

图4是正常的胃底腺的生物体粘膜的内窥镜图像的示意图。

图5是表示应用向量收敛指数滤波器检测出的血管候选区域的内窥镜图像的图。

图6是表示匹配滤波器的一个例子的图。

图7是在内窥镜图像上示出对血管候选区域的内窥镜图像应用匹配滤波器来检测类圆形的结构时的处理结果的图。

图8是表示使类圆形的结构之间以与距离相对应的面积的正方形进行连接而得到的处理图像的图。

图9是在图8的处理图像中对有重叠的正方形的块进行加标签而得到的图。

图10是表示对图9的处理图像实施阈值处理来消除阈值以下的块的处理结果的图。

图11是表示进行了将图10的处理图像的外形设为凸形状的处理的处理图像的图。

图12的(A)~(F)是表示对病变部的生物体粘膜进行了与正常部的生物体粘膜的情况类似的处理时的处理结果的图。

图13是表示本发明的第二实施方式中的CPU的处理模块的框图。

具体实施方式

以下参照附图说明本发明的实施方式。

(第一实施方式)

图1所示的本发明的第一实施方式的诊断辅助装置1包括内窥镜装置2；医用图像处理装置(以下简称为图像处理装置)3，其包括对通过该内窥镜装置2获得的内窥镜图像进行图像处理的个人计算机；以及监视器4，其显示通过该图像处理装置3进行图像处理而得到的图像。

内窥镜装置2具有：内窥镜6，其插入体腔内，形成拍摄体内的体内摄像装置；光源装置7，其向该内窥镜6提供照明光；作为信号处理装置的照相机控制单元(简称为CCU)8，其对内窥镜6的摄像单元的信号进行处理；以及监视器9，其通过被输入从该CCU8输出的图像信号来将由摄像元件拍摄到的图像显示为内窥镜图像。

内窥镜6具有插入体腔内的插入部11和设置在该插入部11的后端的操作部12。另外，传输照明光的光导件13贯穿于插入部11内。

该光导件13的后端连接在光源装置7。并且，通过光导件13传输从该光源装置7提供的照明光，从在设置于插入部11的前端部14的照明窗安装的前端面射出(传输的照明光)，通过内窥镜6对检查对象(诊断对象)的生物体组织进行照明。此外，光源装置7将普通观察用的白色的照明光、或者遮盖白色的红(R)、绿(G)、蓝(B)的面顺序式照明光提供给光导件13。因而，对检查对象的生物体组织照射白色光。

另外，在内窥镜装置2设置有未图示的观察模式的切换开关，能够从普通观察模式切换为窄带观察模式。在这种情况下、光源装置7切换为透过窄带的窄带滤波器，将窄带的照明光提供给光导件13，对检查对象的生物体组织照射窄带光。因此，光源装置7具有用于照射窄带光的(产生窄带光的)窄带光产生部7a。

在与照明窗邻接的观察窗安装有物镜15，在该物镜15的成像位置配置有作为固体摄像元件的例如电荷耦合元件(简称为CCD)16。通过物镜15和CCD16来形成对来自生物体组织的反射光进行拍摄的摄像部17。通过该CCD16对成像在该CCD16的摄像面的光学像进行光电转换。

该CCD16经由信号线与CCU8进行连接，通过施加来自该CCU8的CCD驱动信号，CCD16输出光电变换后得到的图像信号。通过CCU8内的图像处理电路对该图像信号进行信号处理，将其转换为显示在显示装置的图像信号。向监视器9输出该图像信号，在监视器9的显示面显示内窥镜图像。还向图像处理装置3输入该图像信号。

在本实施方式中，关于内窥镜6，从患者的口部插入该插入部11的前端部14，从食道拍摄胃的底部的生物体粘膜，CCU8生成该生物体粘膜的内窥镜图像的图像信号。

输入有该图像信号的图像处理装置3通过如后述那样进行图像处理，来判断进行图像处理的生物体粘膜是具有作为规定生物体粘膜结构的正常的生物体粘膜的结构，还是具有肿瘤性的生物体粘膜等病变粘膜的结构。图像处理装置3还通过将判断结果在监视器4中进行显示来告知手术操作者，从而能够进行在手术操作者进行诊断时的辅助。因此，监视器4形成告知判断结果的告知部。

手术操作者能够通过参考在监视器4中显示的判定结果，不漏掉肿瘤性的生物体组织等地、顺畅且高效地进行诊断。

该图像处理装置3具有：作为图像输入单元的图像输入部21，其输入通过内窥镜装置2生成的内窥镜图像；作为中央运算处理装置的CPU22，其对与从该图像输入部21输入的内窥镜图像相对应的图像信号数字化得到的图像信号(还称为图像信号数据)进行图像处理；以及处理程序存储部23，其存储使该CPU22执行图像处理的处理程序(控制程序)。此外，也可以设为将图像输入部21设置在内窥镜装置2侧的结构。

另外，该图像处理装置3还具有：图像存储部24，其存储从图像输入部21输入的图像信号数据等；处理信息存储部25，其存储通过CPU22处理后得到的(处理)图像数据、处理信息；作为存储装置的硬盘27，其经由存储装置接口(I/F)26存储通过CPU22处理后得到的图像数据以及处理信息等；显示处理部28，其进行用于显示通过CPU22处理后得到的图像数据等的显示处理；以及输入操作部29，其由手术操作者等用户进行图像处理的参数等的数据输入、指示操作的键盘等构成。

并且，向显示监视器4输出通过该显示处理部28生成的图像信号，在该显示监视器4的显示面显示图像处理后得到的处理图像等。此外，图像输入部21、CPU22、处理程序存储部23、图像存储部24、处理信息存储部25、存储装置接口26、显示处理部28、输入操作部29经由数据总线30相互连接。

在本实施方式中，例如，如图2所示，CPU22具备如下的处理功能：作为结构检测单元的结构检测部31，其根据图像信号数据检测正常的生物体粘膜所具有的类圆形的结构；以及作为网络检测单元的网络检测部32，其根据通过该结构检测部31检测出的上述类圆形的结构的数量、或者上述类圆形的结构的面积、或者上述类圆形的结构之间的距离、或者上述类圆形的结构之间的连接数来检测规定网络形状。

另外，在本实施方式中，CPU22还具备粘膜结构判断部33的处理功能，该粘膜结构判断部33根据通过网络检测部32检测出的规定网络形状的区域在用于检测该区域的内窥镜图像的区域(或者对象区域)中是否为阈值以上的判断结果，判断上述内窥镜图像是否具有设为诊断对象的规定粘膜结构。

此外，也可以不使用CPU22而通过硬件来分别形成结构检测部31、网络检测部32、粘膜结构判断部33。另外，在图2中也可以设为例如网络检测部32具备粘膜结构判断部33的结构。

在本说明书中，上述“类圆形”的术语意味着与圆形类似的形状。因此，类圆形除了如正圆那样的圆形的形状以外还包含椭圆形状、能够与圆形近似的例如蜂巢状的六角形等多角形形状的情况。

上述结构检测部31具有：血管候选区域检测部31a，其对图像信号数据使用向量收敛指数滤波器(バク卜ル集中度フイルタ)从内窥镜图像检测作为血管候选的区域的血管候选区域；以及匹配滤波器处理部31b，其对检测出的血管候选区域进行匹配滤波器处理，在该匹配滤波器处理中，应用类圆形滤波器提取与类圆形滤波器(的类圆形形状)相关性大的部分(或者小区域)，以检测类圆形的结构。

另外，网络检测部32具有结构间连接部32a，该结构间连接部32a针对通过结构检测部31检测出的各个类圆形的结构(的部分或者小区域)，在该类圆形的结构与周围的类圆形的结构之间的距离为规定距离以下的情况下，附加与该距离相对应地设定的规定面积的区域，从而分别对类圆形的结构之间进行连接(连结)。

并且，网络检测部32判断通过上述结构间连接部32a针对通过结构检测部31检测出的全部的上述类圆形的结构所生成的规定面积的区域的集合体中的区域的重叠程度，根据具有第一阈值以上的重叠程度的区域的集合体检测规定网络形状的候选区域。

即，网络检测部32具有结构间连接部32a，该结构间连接部32a针对包含通过上述匹配滤波器处理部31b检测(提取)出的类圆形的结构的图像信号的各个图像信号，在该类圆形的结构与周围的类圆形的结构之间的距离是规定距离以下的距离的情况下，附加与该距离相对应的规定面积的区域，从而对类圆形的结构之间进行连接(连结)(生成类圆形的网络形状候选)。

这样，结构间连接部32a在对类圆形的结构之间进行连接(连结)来生成类圆形的网络形状候选(或者类圆形的网络形状的候选区域)的情况下，针对满足以规定距离为阈值而类圆形的结构之间的距离为阈值以下的距离条件的类圆形的结构进行。

换句话说，图2所示的结构间连接部32a如虚线所示那样具有判断部32e，该判断部32e判断上述类圆形的结构之间的距离是否为阈值以下。并且，只针对是通过判断部32e判断出的类圆形的结构之间的距离为阈值以下的类圆形的结构之间的距离的情况，设定与类圆形的结构之间的距离相对应的(规定的)面积的区域，与周围的类圆形的结构之间进行连接(连结)来生成类圆形的网络形状候选(或者类圆形的网络形状的候选区域)。在后述的图8的具体例中，设定将满足距离条件的类圆形的结构之间的距离设为对角线的正方形的面积的区域来进行连接。

另外，该结构间连接部32a通过附加与上述距离相对应的规定面积的区域来对多个类圆形的结构之间进行连接(连结)，从而生成作为类圆形的网络形状候选的规定面积的区域的集合体，因此该结构间连接部32a还能够视为生成网络形状候选的网络形状候选生成部。

另外，该网络检测部32还具有重叠合并部(加标签部)32b，该重叠合并部(加标签部)32b针对通过结构间连接部32a生成的类圆形的网络形状候选，合并至少一部分有重叠的规定面积的区域的集合体的块来进行加标签。

另外，该网络检测部32还具有：阈值处理部32c，其对合并的各标签的块进行删除阈值以下的重叠数的块的阈值处理；以及类圆形网络形状生成部32d，其将阈值处理后留下的标签的块设为向外侧凸的外形形状，来生成(作为规定网络形状的)类圆形网络形状。

上述粘膜结构判断部33根据所生成的类圆形网络形状的区域在处理对象的内窥镜图像中是否为阈值以上的比例，来进行是否具有规定粘膜结构的判断，告知判断结果，由此辅助手术操作者。

这样，本实施方式的诊断辅助装置1的特征在于，具备：作为图像输入单元的图像输入部21，其输入从生物体组织获取到的内窥镜图像；作为结构检测单元的结构检测部31，其根据与上述图像输入单元所输入的上述内窥镜图像相对应的图像信号检测类圆形的结构；以及作为网络检测单元的网络检测部32，其根据通过上述结构检测单元检测出的上述类圆形的结构的数量、或者上述类圆形的结构的面积、或者上述类圆形的结构之间的距离、或者上述类圆形的结构之间的连接数来检测规定网络形状。

接着参照图3的处理过程来说明本实施方式的动作。

构成图1的诊断辅助装置1的内窥镜装置2中的内窥镜6被手术操作者插入到例如上部消化管内。具体地说，内窥镜6的插入部11从口部插入，通过食道而插入到胃的内部为止，通过前端部的摄像部17拍摄作为诊断对象的胃底腺的生物体粘膜。CCU8对摄像部17的信号进行处理，生成内窥镜图像的图像信号，在监视器9中显示内窥镜图像。

图4示意性地示出例如正常的胃底腺的生物体粘膜时的内窥镜图像。在正常的胃底腺的生物体粘膜中，微小血管如构筑接近蜂巢状的类圆形的网络形状那样走行。

在这种情况下，也可以向生物体粘膜照射由窄带光产生部7a产生的蓝色的波长频带内的窄带光，根据由摄像部17利用从生物体粘膜反射的反射光拍摄到的摄像信号生成内窥镜图像。当使用这种蓝色的波长频带内的窄带光时，与白色光、宽带光的情况相比，能够获取到更为清晰地反映生物体粘膜的表层附近的粘膜结构的内窥镜图像。

如图3的步骤S1所示，内窥镜图像被图像输入部21转换为数字的图像信号数据来输入到图像处理装置3内的CPU22。

如步骤S2所示，CPU22的血管候选区域检测部31a进行用于针对与该内窥镜图像相对应的图像信号数据通过使用了向量收敛指数滤波器的向量收敛指数滤波器处理来检测血管候选区域的处理。因而，在本实施方式中，血管候选区域检测部31a包括使用了向量收敛指数滤波器的向量收敛指数滤波器处理部。此外，向量收敛指数着眼于图像(信号数据)中的浓度变化的梯度向量的朝向，对于某个关注点评价其附近区域的梯度向量以何种程度集中。

此外，也可以在对上述图像信号数据进行阈值处理而生成了二值化图像之后，通过使用了向量收敛指数滤波器的向量收敛指数滤波器处理来检测血管候选区域。

向量收敛指数滤波器处理例如被日本特开2008-104886号的图4所公开。在本实施方式中，对二维的图像信号数据进行向量收敛指数滤波器处理。

如接下来的步骤S3所示，CPU22的血管候选区域检测部31a对向量收敛指数滤波器处理后的图像信号数据进行阈值处理。例如，针对向量收敛指数滤波器处理后的图像信号数据，以将小于阈值Thre1(例如Thre1=0.6)的像素设为像素值=0、将阈值Thre1以上的像素设为像素值=1的方式进行二值化，来检测(提取)血管候选区域。

图5示出构成通过二值化提取到的血管候选区域的内窥镜图像的像素。在这种情况下，通过以与图4的显示色不同的颜色着色来进行显示，能够在视觉上容易地确认粘膜结构。图5具有使图4中的血管的走行图案更为清晰化(可视化)的特征。此外，也可以使得能够获取为通过染料散布或者染色对诊断对象的生物体粘膜进行着色来突出粘膜结构的内窥镜图像。

在接下来的步骤S4中，CPU22的匹配滤波器处理部31b对图5的内窥镜图像的图像信号数据的所有像素应用图6所示的(作为类圆形的形状的具体例之一的)圆环形状的匹配滤波器，来进行匹配滤波器处理。

在本实施方式中，图6的匹配滤波器是41×41和51×51这两种滤波器的尺寸，以将白色的区域设为-1、将黑色的圆环的区域设为1的方式对图5的图像信号数据的所有像素应用匹配滤波器。此外，图5的内窥镜图像的图像信号数据是例如200×200乃至250×250左右的像素大小。

此外，在应用匹配滤波器的情况下，白色的区域和黑色的区域的面积不同，因此计算出乘以系数1的像素值的平均值和乘以系数-1的像素值的平均值，计算出两个平均值的差值，降低白色的区域和黑色的区域面积不同的影响。

另外，匹配滤波器不限于图6所示的匹配滤波器，也可以变更它的形状、尺寸、系数、所利用的滤波器个数。

在接下来的步骤S5中，CPU22对(在前面的步骤4中计算出的)差值进行阈值处理。具体地说，针对计算出的各差值，以将小于阈值Thre2(例如Thre2=0.2)的像素设为像素值=0、将阈值Thre2以上的像素设为像素值=1的方式进行二值化。

此外，在本实施方式中，使用41×41和51×51这两种尺寸的匹配滤波器，在应用了其中一个匹配滤波器的处理结果的像素值为阈值Thre2以上的情况下，将该像素值设为1。

图7示出通过二值化提取到的匹配滤波器应用结果的内窥镜图像。在图7中，检测为类圆形的结构(形状)的类圆形的区域内的中央附近的像素的像素值为1，以黑圆点来表示该像素。

这样，通过基于阈值处理的二值化，如步骤S6所示，通过上述图像处理对诊断对象的生物体组织的内窥镜图像检测(提取)具有类圆形的结构的部分(与圆环形状相关量高的部分)。并且，能够通过步骤S6进行将像素值为1的类圆形的结构部分与像素值为0的部分(与类圆形相关量低的部分)加以区别的加标签。

在本实施方式中，在诊断对象的生物体组织的内窥镜图像中，根据如以下所说明那样检测出的类圆形的结构的数量、面积、结构之间的距离、结构之间的连接数中的至少一个，检测作为与该内窥镜图像所具有的类圆形的结构的走行图案密切相关的特征量或者指标的规定网络形状。

因此，在图3的步骤S7中，通过构成CPU22的网络检测部32的结构间连接部32a使类圆形的结构之间以附加与结构之间的距离相对应的面积(的区域)进行连接。在对类圆形的结构之间进行连接的情况下，只在各类圆形的结构的中心点之间的距离为阈值Thre3(例如Thre3=40)以下的情况下，以将结构间(点间)的距离设为对角线的规定面积(在具体例中为正方形的面积)进行连接。此外，关于Thre3=40，例如将一个像素设为单位距离1。

以上述规定面积(具体地说为正方形)进行连接的集合体形成类圆形的网络形状候选(候选区域)。因此，如上述那样结构间连接部32a形成生成类圆形的网络形状候选的类圆形的网络形状候选生成部。

图8示出对图7的内窥镜图像进行了步骤S7的处理后得到的作为类圆形的网络形状候选的、正方形的面积的区域的集合体的处理图像。此外，在图8中省略表示如图7所示那样的内窥镜图像的轮廓，但是也可以在内窥镜图像上叠加显示图8的处理图像。

在本实施方式中，还通过进行如下的处理来检测(计算)规定网络形状的区域，还通过使用阈值的阈值处理来进行是否具有规定粘膜结构的判断。

在接下来的步骤S8中，CPU22的重叠合并部(或者加标签部)32b针对图8的处理图像的图像信号数据，对具有有重叠的正方形的面积的区域的集合体的每个块进行加标签，分别合并成一个标签的块。图9示出合并的结果。在图9中合并成标签1-3的块。

在接下来的步骤S9中，CPU22的阈值处理部32c去除图9的处理图像中的构成合并后离散地存在的标签的块的正方形的个数(与连接数相对应)为阈值Thre4(例如Thre4=5)以下的块。即，对图9的处理图像进行使用了阈值Thre4的阈值处理(或者使用了阈值的判断处理)，删除正方形的个数为阈值以下的标签的块。换句话说，只将类圆形的结构之间的连接数大的块(集合体)用于网络形状的检测。

图10示出步骤S9的处理图像。只删除标签1的块而留下标签2、3的块。

在本实施方式中，步骤S9的阈值处理具有进行处理对象的内窥镜图像是否具有规定粘膜结构的粗略的判断的粘膜结构判断部33的功能。即，在正常的生物体粘膜的情况下，如图10所示，留下阈值以上的处理图像。

与此相对，在大为背离正常的生物体粘膜的病变粘膜作为胃底腺粘膜的情况下，当进行与上述的情况相同的处理时，通过上述步骤S8的处理而如图12的(E)那样成为正方形的重叠程度(即连接数)小、且少数的正方形的集合体的块。这样成为只有重叠少的块，成为只有正方形的个数小于进行步骤S9的阈值处理时的阈值Thre4的块。因此，在大为背离正常的生物体粘膜的病变粘膜的情况下，由于步骤S9的阈值处理而加标签的全部的块都被消除。

因而，如上述那样步骤S9的阈值处理具有进行是否具有规定粘膜结构的粗略的判断的粘膜结构判断部33的功能。

在接下来的步骤S10中，CPU22的类圆形网络形状生成部32d进行如下处理：连结形成步骤S9的块中的外形的部分的点，成为向外侧凸的外形形状。通过该处理，生成作为规定网络形状的最终的类圆形的网络形状的区域。图11示出通过步骤S10的处理生成的最终的类圆形的网络形状的区域。

在接下来的步骤S11中，CPU22的粘膜结构判断部33计算通过步骤S10计算出的类圆形的网络形状的区域在内窥镜图像中所占的面积的比例，判断是否为阈值Thre5(Thre5=10%)以上。

CPU22的粘膜结构判断部33在计算出的类圆形的网络形状的区域的面积相对于图像处理装置3所输入的内窥镜图像的面积的比例为阈值Thre5以上的情况下，判断为与该内窥镜图像相对应的生物体粘膜为正常的粘膜结构(在这种情况下为正常的胃底腺粘膜)。

另一方面，在该比例小于该阈值Thre5的情况下，判断为与该内窥镜图像相对应的生物体粘膜不是正常的生物体粘膜结构(在这种情况下为正常的胃底腺粘膜)。

在接下来的步骤S12中，CPU22向监视器4输出步骤S11中的判断结果和作为判断结果的评价值的类圆形的网络形状的区域的面积的比例，来将它们告知(显示)给手术操作者。手术操作者参照是正常的胃底腺粘膜的判断结果和它的评价值来进行诊断。并且，结束图3的处理。

以上示出了正常的生物体粘膜的情况下的处理图像等，但是当对病变部的生物体粘膜的情况也进行类似的处理时变成上述图12那样。

图12的(A)示出在图3的步骤S1中图像处理装置3所输入的内窥镜图像，图12的(B)示出通过步骤S2、S3的处理进行二值化而提取出的血管候选区域的内窥镜图像。

图12的(C)示出对图12的(B)的处理图像或者图12的(A)的内窥镜图像通过步骤S4、S5的处理进行二值化而提取出的匹配滤波器应用结果的处理图像。

此外，在图12的(C)中没有示出图12的(B)或者图12的(A)的内窥镜图像部分，以黑圆点示出了阈值处理后得到的阈值Thre2以上的像素值。图12的(D)示出对图12的(C)的处理图像进行步骤S7的处理后得到的处理图像，而且图12的(E)示出对图12的(D)的处理图像进行步骤S8的处理后得到的处理图像。

图12的(E)的处理图像为标签1-4的块的处理图像，当与正常粘膜的情况下的图9进行比较时有重叠的正方形的数量少。因此，当进行步骤S9的处理时标签1-4的块的处理图像被删除而变成零。图12的(F)示出对于图12的(E)进行步骤S9的处理后的结果。此外，图12的(F)在与图12的(E)相同的显示方式下成为空白，因此例如在图12的(A)的内窥镜图像上叠加显示图12的(C)的处理结果。

在这种情况下，在步骤S10中变成没有处理对象，在步骤S11中判断为与该内窥镜图像相对应的生物体粘膜不是正常的粘膜结构(在这种情况下为正常的胃底腺粘膜)。

在接下来的步骤S12中，CPU22向监视器4输出步骤S11中的判断结果和作为判断结果的评价值的类圆形的网络形状的区域的面积的比例，来将它们告知(显示)给手术操作者。

手术操作者参照不是正常的胃底腺粘膜的判断结果和它的评价值来进行诊断。手术操作者能够通过参照判断结果来对病变部分等高效地进行诊断。

这样，本实施方式根据对诊断对象的生物体粘膜进行拍摄而得到的内窥镜图像，检测在该生物体粘膜为正常的粘膜结构时的血管的走行图案所具有的类圆形的结构，根据检测出的类圆形的结构的数量、面积等检测是否具有规定网络形状。

而且，本实施方式根据检测出的规定网络形状、即类圆形的网络形状的区域相对于用于检测该类圆形的网络形状的内窥镜图像的区域是否为阈值以上的比例，判断是否为正常的粘膜结构，将判断结果告知给手术操作者。并且，如上所述，手术操作者能够通过参照判断结果来对病变部分等高效地进行诊断。

因而，根据本实施方式，能够提供一种能够通过根据类圆形的结构的数量、面积等检测规定网络形状来对手术操作者辅助诊断的诊断辅助装置。

此外，在上述第一实施方式中说明了胃底腺的生物体粘膜的情况，但是也能够同样地应用于例如对大肠的I型腺管开口(ピツ卜パタ一ン)(类圆形的正常形态)、II型腺管开口(星芭状、乳头状且与I型的情况下的正常形态相比稍微大型的形态)进行拍摄而得到的内窥镜图像的情况。

另外，在上述第一实施方式中，也可以使用进行霍夫变换处理的霍夫变换处理部来代替结构检测部31中的使用匹配滤波器的匹配滤波器处理部31b，通过该霍夫变换处理来检测类圆形的结构。

(第二实施方式)

接着说明本发明的第二实施方式。在第一实施方式中，着眼于血管的走行图案，为了检测血管的走行图案的结构而检测类圆形的结构，但是在本实施方式中为了检测上皮组织的走行图案的结构而检测类圆形的结构。并且，使用于根据检测结果来辅助上皮结构的诊断。

本实施方式的硬件上的结构与图1所示的第一实施方式相同，本实施方式与第一实施方式中的图2中的CPU22的结构检测部31的处理功能有些不同。图13示出本实施方式中的CPU22的处理功能的框图。

如图13所示，CPU22具有结构检测部31、网络检测部32以及粘膜结构判断部33，但是构成为使用上皮候选区域检测部31c来代替图2中的向量收敛指数滤波器的血管候选区域检测部31a。

在本实施方式中，上皮候选区域检测部31c包括使用作为点收敛指数滤波器(点集中性フイルタ)的瞳孔滤波器检测上皮候选区域的点收敛指数滤波器处理部。其它结构与第一实施方式相同。

因而，本实施方式中的处理为与图3所示的处理类似的处理，因此只说明与图3的处理不同的点。

在本实施方式中，在图3中代替步骤S2的向量收敛指数滤波器而使用作为点收敛指数滤波器的瞳孔滤波器来进行用于检测上皮候选区域的处理。另外，将上皮候选区域代替血管候选区域来通过图3的步骤S3的阈值处理进行检测。

另外，本实施方式中，关于图3的步骤S4以后的处理，为与第一实施方式相同的处理。并且，通过进行这种处理，与对于利用了第一实施方式中的血管的走行图案的结构的粘膜结构的判断结果的情况同样地，能够获得对于作为利用了将血管替换为上皮组织时的上皮组织的走行图案的粘膜结构的上皮结构的判断结果。

这样，本实施方式根据对诊断对象的生物体粘膜进行拍摄而得到的内窥镜图像，检测在该生物体粘膜为正常的生物体粘膜结构时的上皮组织的走行图案所具有的类圆形的结构，根据检测出的类圆形的结构的数量、面积等检测是否具有规定网络形状。

而且，本实施方式根据检测出的规定网络形状、即类圆形的网络形状的区域相对于用于检测该类圆形的网络形状的内窥镜图像的区域是否为阈值以上的比例，判断上皮结构是否为正常的粘膜结构，将判断结果告知给手术操作者。并且，手术操作者通过参照判断结果，能够不漏掉病变部分地、高效地进行诊断。

因而，根据本实施方式，能够提供一种能够通过根据类圆形的结构的数量、面积等检测规定网络形状来对手术操作者辅助诊断的诊断辅助装置。

此外，也可以在第一实施方式中使用瞳孔滤波器代替向量收敛指数滤波器来进行处理，也可以在第二实施方式中使用向量收敛指数滤波器代替瞳孔滤波器。

另外，对上述的实施方式中的一部分进行变形或删除而得到的实施方式也属于本发明。

例如，在步骤S7的处理中，也可以使用例如圆形的面积等、其它形状的面积来代替正方形。另外，在图3中也可以省略步骤S9的处理。另外，也可以不进行步骤S10的处理地进行步骤S9的处理~步骤S11的处理、或者步骤S8的处理~步骤S11的处理。

此外，在上述的说明中，在满足类圆形的结构的中心点间的距离为阈值Thre3以下的条件的情况下，进行使满足该条件的类圆形的结构之间以具有与该距离相对应的规定面积的方式进行连接的处理。在上述的例子中，在阈值Thre3以下的情况下，距离越大则面积越大，但是并不限于这种情况，也可以使用作为基准的参照信息与距离相应地决定面积。

具体地说，也可以预先调查被诊断为正常组织的基准的生物体粘膜时的类圆形的结构间的平均值、或者平均值和方差，以在为该平均值的距离的情况下与最大的面积对应、离该平均值的偏差越大则与越小的面积对应的方式对类圆形的结构之间进行连接。

在具体应用的情况下，例如在作为信息保存单元的查找表中预先保存满足成为阈值以下的距离条件的类圆形的结构之间的距离和对应的面积(或者具有对应的面积的形状)的信息。并且，网络检测部32的结构间连接部32a也可以进行如下处理：针对满足距离条件的类圆形的结构之间的距离，从查找表读取对应的面积等信息，以该面积等对该类圆形的结构之间进行连接。此外，优选在利用查找表的情况下还能够参照与上述平均值的值相对应的内窥镜图像上的像素大小的信息。

另外，检测类圆形的结构，使检测出的多个类圆形的结构之间以与该结构之间的距离相对应的面积进行连接，从而检测规定网络形状，但是并不限于这种情况，也可以根据上述类圆形的结构的数量、或者上述类圆形的结构的面积、或者上述类圆形的结构之间的距离、或者上述类圆形的结构之间的连接数来检测规定网络形状。

本申请是以2011年2月1日向日本申请的特愿2011-019986号为要求优先权的基础而申请的，上述的公开内容被本申请说明书、权利要求书、附图所引用。

Claims (16)

1.一种诊断辅助装置，其特征在于，具备：

图像输入部，其输入从生物体组织获取到的内窥镜图像；

结构检测部，其根据与上述图像输入部所输入的上述内窥镜图像相对应的图像信号检测类圆形的结构；以及

网络检测部，其根据通过上述结构检测部检测出的上述类圆形的结构的数量、上述类圆形的结构的面积、上述类圆形的结构之间的距离或者上述类圆形的结构之间的连接数，检测上述内窥镜图像中的规定网络形状。

2.根据权利要求1所述的诊断辅助装置，其特征在于，

上述网络检测部具有结构间连接部，该结构间连接部针对通过上述结构检测部检测出的各个上述类圆形的结构，在该类圆形的结构与周围的上述类圆形的结构之间的距离为规定距离以下的情况下，附加与该距离相对应地设定的规定面积的区域，来分别对类圆形结构之间进行连接，

上述网络检测部判断通过上述结构间连接部针对通过上述结构检测部检测出的全部的上述类圆形的结构所生成的上述规定面积的区域的集合体中的上述区域的重叠程度，根据具有第一阈值以上的重叠程度的上述区域的集合体检测上述规定网络形状的候选区域。

3.根据权利要求2所述的诊断辅助装置，其特征在于，

还具备粘膜结构判断部，该粘膜结构判断部根据通过上述网络检测部检测出的上述规定网络形状的上述候选区域是否在上述内窥镜图像中具有第二阈值的比例以上的判断结果，判断上述内窥镜图像是否具有设为诊断对象的规定粘膜结构。

4.根据权利要求1所述的诊断辅助装置，其特征在于，

还具备粘膜结构判断部，该粘膜结构判断部根据具有通过上述网络检测部检测出的上述规定网络形状的候选区域是否在上述内窥镜图像中具有第二阈值的比例以上的判断结果，判断上述内窥镜图像是否具有设为诊断对象的规定粘膜结构。

5.根据权利要求3所述的诊断辅助装置，其特征在于，

还具备告知部，该告知部告知通过上述粘膜结构判断部判断出的判断结果。

6.根据权利要求1所述的诊断辅助装置，其特征在于，

上述结构检测部使用向量收敛指数滤波器对上述图像信号检测上述生物体组织中的血管候选区域。

7.根据权利要求2所述的诊断辅助装置，其特征在于，

上述结构检测部使用向量收敛指数滤波器对上述图像信号检测上述生物体组织中的血管候选区域。

8.根据权利要求7所述的诊断辅助装置，其特征在于，

上述结构检测部对上述图像信号或者用上述向量收敛指数滤波器处理后的图像信号应用类圆形的滤波器，来检测上述生物体组织中的血管候选区域。

9.根据权利要求1所述的诊断辅助装置，其特征在于，

上述结构检测部使用点收敛指数滤波器对上述图像信号检测上述生物体组织中的上皮结构。

10.根据权利要求2所述的诊断辅助装置，其特征在于，

上述结构检测部使用点收敛指数滤波器对上述图像信号检测上述生物体组织中的上皮结构。

11.根据权利要求1所述的诊断辅助装置，其特征在于，

上述内窥镜图像是利用照射到上述生物体组织的窄带光的反射光拍摄到的图像。

12.根据权利要求2所述的诊断辅助装置，其特征在于，

上述内窥镜图像是利用照射到上述生物体组织的窄带光的反射光拍摄到的图像。

13.根据权利要求1所述的诊断辅助装置，其特征在于，

上述内窥镜图像是通过染料散布或者染色来突出上述生物体组织的粘膜结构的图像。

14.根据权利要求2所述的诊断辅助装置，其特征在于，

上述内窥镜图像是通过染料散布或者染色来突出上述生物体组织的粘膜结构的图像。

15.根据权利要求3所述的诊断辅助装置，其特征在于，

上述粘膜结构判断部判断是否具有胃底腺粘膜的结构或者大肠的腺管开口的结构作为上述设为诊断对象的规定粘膜结构。

16.根据权利要求3所述的诊断辅助装置，其特征在于，

还具备信息保存单元，该信息保存单元预先保存将上述规定距离以下的上述类圆形的结构之间的距离与上述规定面积相对应所得到的信息，

上述结构间连接部在对上述类圆形的结构之间进行连接的情况下，从上述信息保存单元读出与上述类圆形的结构之间的距离相对应的上述规定面积来对上述类圆形的结构之间进行连接。

Images