CN100563550C - 医用图像处理装置 - Google Patents

Abstract

本发明提供医用图像处理装置、管腔图像处理装置、管腔图像处理方法及用于上述装置和方法的程序。本发明的实施方式涉及的医用图像处理装置具有：从由体内摄像装置拍摄的体内的动态图像数据或者连续拍摄的多幅静态图像数据中提取帧图像的图像提取部；以及对提取的帧图像进行图像解析并输出图像解析结果的图像解析部。图像解析部具有：检测第一生物体特征的第一生物体特征检测部；基于第一生物体特征检测部的检测结果，对时间上在第一生物体特征检测部在检测中使用的图像之前或之后拍摄的帧图像，检测第二生物体特征的第二生物体特征检测部；以及基于所述第二生物体特征检测部的检测结果来判定生物体的性状并输出判定结果的性状判定部。

Description

医用图像处理装置

技术领域

本发明涉及根据对生物体的大量的图像数据而高效地进行关注的性状的判定的医用图像处理装置、基于管腔内图像来检测贲门部的管腔图像处理装置、管腔图像处理方法及用于上述装置和方法的程序。

背景技术

以往通常在使用内窥镜的内窥镜检查中，由内窥镜装置或内窥镜观察装置拍摄的生物体内的图像数据，在CRT等显示装置上进行即时显示，并且在外部存储为动态图像数据，医师在检查过程中或者检查后作为动态图像来进行观察诊断，或者将动态图像内的帧图像作为静态图像来进行观察诊断。

近年来的情况是使用吞入型的胶囊内窥镜。

例如日本特开2004-645号公报所述，使用胶囊内窥镜在体内拍摄到的图像数据依次通过无线通信在外部存储为动态图像数据，医师作为动态图像或者将动态图像内的帧图像作为静态图像来进行观察诊断。

另外如日本特开2004-188026号公报所述，存在对静态图像适用图像解析处理，并将其解析结果在内窥镜图像上或者其它显示区域上显示的装置。

医师利用这种图像解析结果，能够不依赖于主观判断，而在IHb、血管解析等图像解析值这样的客观判定基准下进行诊断。

但是在医师在内窥镜检查后的动态图像的观察或者使用胶囊内窥镜的动态图像的观察中，由于动态图像中所含的帧图像的张数膨大，因此从动态图像中找出病变疑似部位的摄像位置，同时将该位置的帧图像逐张地提取出以适用图像解析处理，并基于各个图像解析结果来进行诊断的作业非常耗费劳力。

对这个问题可以应用所述针对静态图像的图像解析装置，来实现对动态图像中所含的全部帧图像一并使用相同的图像解析处理并存储其结果的系统。

但是由于对全部帧图像一并使用相同的图像解析处理，因此导致处理时间增加而必须等待长时间才能得到处理结果。另外，在改变参数来应用图像解析处理的情况下，也需要长时间才能得到适当的处理结果。此外还存在在得到适当的解析处理结果之前需要存储的数据量也增大的缺点。

另外，在使用内窥镜装置的食道检查的筛选中，检查是否有巴雷特(Barrett)粘膜或者巴雷特(Barrett)食道等。巴雷特粘膜是在作为食道和胃的连接部的胃食道接合部(EG接合部)，由于逆流性食道炎等的影响而使形成食道的扁平上皮被置换成胃粘膜，因此也称为圆柱上皮。当该巴雷特粘膜超过正常的粘膜边界3cm以上，对于食道管腔截面全周性地发生时则诊断为患有巴雷特食道这样的疾病。

巴雷特食道特别在欧美人中的发病例在增加，并以高概率导致腺癌，从而成为严重的问题，因此巴雷特粘膜的早期发现非常重要。

因此希望有能够客观判定巴雷特食道和巴雷特粘膜等的生物体特征量并向手术医生提供该判定结果的医用图像处理装置。

并且如上所述在医疗领域中广泛使用具有图像拍摄功能的医疗设备来进行体腔内的内脏器官的观察和诊断。

例如在食道疾患的诊断中，在进行胃和食道的边界部分即贲门部的上部的EG接合部(胃食道接合部)附近的巴雷特食道的疾患诊断的情况下，存在如上所述由巴雷特食道引起腺癌的情况，因此在食道部的诊断中内窥镜检查非常重要。医生将内窥镜从患者的口部插入并通过观察监视器画面上显示的内窥镜图像来进行食道的疾患诊断。

并且如上所述，近年来开发了胶囊型内窥镜，医生能够边观察由胶囊型内窥镜获得的图像边进行食道疾患的诊断。提出了能够基于由胶囊型内窥镜获得的生物体图像来进行病变检测的系统(例如参照WO02/073507 A2号公报)。

但是在上述方案的系统中，对于根据从食道到胃的图像来进行贲门部或者贲门边界部附近的检测的技术并未提及。

例如若能够对贲门部或者贲门部的边界部进行检测，则医生能够对检测出的贲门部或贲门部的边界部的生物体组织图像进行详细的观察，从而能够迅速诊断巴雷特食道等病变。

发明内容

本发明针对上述问题而完成，目的在于提供一种能够根据大量的图像数据高效地进行关注的性状的判定的医用图像处理装置。

并且本发明目的在于提供一种能够根据管腔内图像进行贲门部的检测的管腔图像处理装置。

本发明的第一方式的医用图像处理装置具有：图像提取部，其从由体内摄像装置拍摄的体内的动态图像数据或者连续拍摄的多幅静态图像数据中提取帧图像；以及图像解析部，其对由所述图像提取部提取出的帧图像进行图像解析并输出图像解析结果，所述图像解析部具有：第一生物体特征检测部，其检测第一生物体特征；第二生物体特征检测部，其基于所述第一生物体特征检测部的检测结果，对时间上在所述第一生物体特征检测部在检测中使用的图像之前或之后所拍摄的帧图像，检测第二生物体特征；以及性状判定部，其根据所述第二生物体特征检测部的检测结果，判定生物体的性状并输出判定结果。

本发明的第二方式的医用图像处理方法具有以下步骤：从由体内摄像装置拍摄的体内的动态图像数据或者连续拍摄的多幅静态图像数据中提取帧图像的步骤；对提取出的帧图像进行图像解析，检测第一生物体特征的步骤；基于所述第一生物体特征的检测结果，对时间上在所述第一生物体特征检测部在检测中使用的图像之前或之后拍摄的帧图像，检测第二生物体特征的步骤；基于所述第二生物体特征的检测的检测结果，判定生物体的性状并输出判定结果的步骤。

本发明的第三方式的程序用于使计算机实现以下功能：从由体内摄像装置拍摄的体内的动态图像数据或者连续拍摄的多幅静态图像数据中提取帧图像的功能；对提取出的帧图像进行图像解析，检测第一生物体特征的功能；基于所述第一生物体特征的检测结果，对时间上在所述第一生物体特征检测部在检测中使用的图像之前或之后拍摄的帧图像，检测第二生物体特征的功能；基于所述第二生物体特征的检测的检测结果，判定生物体的性状并输出判定结果的功能。

本发明的第五方式的管腔图像处理装置具有：特征量计算部，其根据对消化道进行拍摄所得到的一幅或者多幅管腔内图像，通过图像处理来计算规定的特征量；以及边界部检测部，其根据计算出的所述特征量来检测消化道的边界部。

本发明的第六方式的管腔图像处理方法具有以下步骤：根据对消化道进行拍摄所得到的一幅或者多幅管腔内图像，通过图像处理来计算规定的特征量的步骤；以及基于计算出的所述特征量来检测消化道的边界部的步骤。

本发明的第四方式的程序用于使计算机实现以下功能：根据对消化道进行拍摄所得到的一幅或者多幅管腔内图像，计算规定的特征量的功能；以及基于计算出的所述特征量来检测消化道的边界部的功能。

附图说明

图1是表示具有第一实施方式的内窥镜系统的整体结构的框图。

图2是表示将内窥镜从口部插入来实施内窥镜检查的上部消化道的各个部分的示意图。

图3是表示拍摄食道和胃的边界附近所得到的内窥镜图像例子的图。

图4是表示图像处理装置的主要部分的功能结构的图。

图5是表示将在图像存储部中存储的动态图像数据分别作为静态图像数据集而存储的图。

图6A是表示在解析信息存储部中存储的解析结果的图。

图6B是表示在通过处理程序存储部23进行解析处理时使用或者设定的信息例的图。

图7是表示将解析结果与内窥镜图像一起显示的监视器显示例的图。

图8是进行巴雷特食道的性状判定的处理步骤的流程图。

图9是将进行胃食道接合部的检测处理的处理步骤与使用或生成的图像等的信息一起表示的流程图。

图10A是表示栅状血管端点边界的图。

图10B表示栅状血管端点边界与上皮边界的图。

图10C是将栅状血管端点边界等的图像以8条放射线划分的状态的图。

图11是详细表示图9中栅状血管提取处理的流程图。

图12A是表示用于说明进行图11的处理时的动作的图像例的图。

图12B是表示用于说明进行图11的处理时的动作的图像例的图。

图12C是表示用于说明进行图11的处理时的动作的图像例的图。

图13是详细表示图10中巴雷特粘膜判定处理的流程图。

图14是图9的变形例的流程图。

图15A是表示在图14等的动作说明中使用的图像例的图。

图15B是表示在图14等的动作说明中使用的图像例的图。

图16是详细表示图14中的巴雷特粘膜判定处理的流程图。

图17是表示第二实施方式的图像处理装置的主要部分的功能结构的图。

图18是表示第二实施方式的进行巴雷特食道的性状判定的处理步骤的流程图。

图19是将进行贲门检测处理的处理步骤与使用或生成的图像等的信息一起表示的流程图。

图20A是图19的动作说明图。

图20B是图19的动作说明图。

图21是详细表示图19的集中度计算处理的流程图。

图22是表示图19的闭口贲门判定处理的流程图。

图23是将变形例中的进行贲门检测处理的处理顺序与使用或生成的图像等的信息一起表示的流程图。

图24A是图23和图25的动作说明图。

图24B是图23和图25的动作说明图。

图24C是图23和图25的动作说明图。

图25是详细表示图23中的边缘成分生成角度计算处理的流程图。

图26是表示图23的开口贲门判定处理的流程图。

图27是表示实施例2的图像处理装置的主要部分的功能结构的图。

图28是进行巴雷特食道的性状判定的处理步骤的流程图。

图29是变形例的进行巴雷特食道的性状判定的处理步骤的流程图。

图30A是表示第四实施方式的胶囊型内窥镜装置的概略结构的框图。

图30B是表示作为第四实施方式的管腔图像处理装置的终端装置的概略结构的框图。

图31是说明第四实施方式的胶囊型内窥镜的概略结构的说明图。

图32是在终端装置中执行的利用胃食道接合部的通过来进行贲门部检测的处理流程例的流程图。

图33是用于说明所得到的一系列内窥镜图像中的色调变化的示意曲线图。

图34是表示图32中步骤S203的处理流程例的流程图。

图35是表示通过计算平均色调特征量的微分值来检测平均色调特征量的变化的处理流程例的流程图。

图36是说明第四实施方式的第七变形例中所得到的一系列内窥镜图像中色调特征量的标准偏差或者离散值的变化的曲线图。

图37是表示在各帧的图像中第四实施方式和变形例中进行图像处理的区域的例子的图。

图38是用于说明第五实施方式中所得到的一系列内窥镜图像中的明暗变化具体而言即亮度变化的示意曲线图。

图39是表示第五实施方式中基于所得到的一系列内窥镜图像在终端装置中执行的在通过胃食道接合部时检测贲门部的处理流程例的流程图。

图40是表示图39中步骤S33的处理流程例的流程图。

图41是用于说明取代根据上述RGB三个像素值计算的亮度，而使用G或者B的像素数据作为图像的明暗信息时的一系列内窥镜图像中G或B的像素数据的变化的示意曲线图。

图42是表示第五实施方式中通过计算平均亮度值的微分值来检测明暗变化的处理流程例的流程图。

图43是表示第六实施方式中胶囊型内窥镜位于打开的贲门部的近前侧时的图像例的图。

图44是表示第六实施方式中基于所得到的一系列内窥镜图像来检测打开的贲门部的处理流程例的流程图。

图45是表示第七实施方式中胶囊型内窥镜通过打开的贲门部时的图像例的图。

图46是表示第七实施方式中基于所得到的一系列内窥镜图像来检测打开的贲门部的处理流程例的流程图。

图47是表示第七实施方式中带通滤波处理的滤波器特性的图。

图48是表示对图45的图像实施规定的带通滤波处理和2值化处理所得到的结果的图像例的图。

图49是表示第八实施方式中基于所得到的一系列内窥镜图像来检测贲门部的处理流程例的流程图。

图50是表示第八实施方式中的提取出的边界图像的图。

图51是表示第八实施方式中对处理对象的图像实施规定的带通滤波处理和2值化处理所得到的结果的图像例的图。

图52是表示第九实施方式中基于所得到的一系列内窥镜图像来检测贲门部的处理流程例的流程图。

图53是表示第九实施方式中通过暗部区域重心坐标计算处理而算出的重心位置的图。

图54是第九实施方式中全周性评价的说明图。

图55是第九实施方式的第四变形例中基于区域比率来进行全周性评价的说明图。

图56是第十实施方式的第四变形例中基于角度范围来进行全周性评价的说明图。

图57是表示第十实施方式中胶囊型内窥镜位于关闭的贲门部的近前侧时的图像例的图。

图58是表示第十实施方式中基于所得到的一系列内窥镜图像来检测关闭的贲门部的处理流程例的流程图。

图59是表示第十一实施方式中基于所得到的一系列内窥镜图像来检测关闭的贲门部的处理流程例的流程图。

图60是表示用于说明第十一实施方式中根据关闭的贲门部的图像而细线化的贲门形状的图像例的图。

图61是表示第十一实施方式中计算集中度的参数即离散值的处理流程例的流程图。

图62是表示第十一实施方式中用于说明分支点的图像例的图。

具体实施方式

以下参照附图说明本发明的实施方式。

(第一实施方式)

图1至图16表示第一实施方式，图1表示具有本实施方式的内窥镜系统的整体结构。图2示意表示将内窥镜从口部插入来实施内窥镜检查的上部消化道的各个部分。图3表示拍摄食道和胃的边界附近所得到的内窥镜图像例子。图4表示本实施方式的图像处理装置的功能结构。图5表示将在图像存储部中存储的动态图像数据分别作为静态图像数据集而存储的情况。

图6A和图6B表示在解析信息存储中存储的解析结果和在处理程序存储部中存储的信息等。图7表示将解析结果与内窥镜图像一起显示的监视器显示例。图8是表示本实施方式中进行巴雷特食道的性状判定的处理步骤的流程图。图9一起表示进行胃食道接合部的检测处理的处理步骤和使用或生成的图像等的信息。

图10A至图10C表示栅状血管端点边界等。图11表示图9中栅状血管提取处理的流程图。图12A至图12C表示用于说明进行图11中的处理时的动作的图像例。图13表示图10中巴雷特粘膜判定处理的流程图。图14表示图9的变形例的流程图。图15A和图15B表示用于图14等的动作说明的图像例。图16表示图14中巴雷特粘膜判定处理的流程图。

图1所示的内窥镜系统1构成为包括：内窥镜观察装置2；对通过该内窥镜观察装置2所得到的图像实施图像处理的由个人计算机等构成的医用图像处理装置(以下简称为图像处理装置)3；对由该图像处理装置3实施了图像处理的图像进行显示的监视器4。

内窥镜观察装置2具有：能够插入体腔内而形成对体内进行拍摄的体内摄像装置的内窥镜6；对该内窥镜6供给照明光的光源装置7；对内窥镜6的摄像单元执行信号处理的照相机控制单元(以下简称为CCU)8；通过输入由该CCU 8输出的视频信号来显示由摄像元件拍摄的内窥镜图像的监视器9。

内窥镜6具有能够插入体腔内的插入部11和设置于该插入部11的后端的操作部12。并且在插入部11内插通有传输照明光的光导管13。

该光导管13的后端连接于光源装置7。而由该光源装置7供给的照明光通过光导管13来进行传输，并从在设置于插入部11的前端部14上的照明窗上安装的前端面射出(传输的照明光)，来对患部等被摄体进行照明。

设有摄像装置17，其构成为包括：安装在与照明窗相邻的观察窗上的物镜15；以及配置在该物镜15的成像位置上的作为固态摄像元件的例如电荷耦合元件(以下简称为CCD)16。另外，在该CCD 16的摄像面上成像的光学像由该CCD 16进行光电转换。

该CCD 16经由信号线与CCU 8连接，并通过施加来自该CCU 8的CCD驱动信号，CCD 16输出光电转换后的图像信号。该图像信号通过CCU 8内的视频处理电路被进行信号处理，而转换为视频信号。该视频信号输出至监视器9而在监视器9的显示面上显示内窥镜图像。该视频信号也被输入图像处理装置3。

在本实施方式中，内窥镜6在如下情况使用：将其插入部11的前端部14从口部插入，从食道插入至胃的边界附近，进行在该边界附近是否存在作为检测对象粘膜的食道的普通粘膜(具体而言为扁平上皮)发生变性、而呈现胃粘膜部分的性状的粘膜即巴雷特粘膜的内窥镜检查。

该情况下，与拍摄体内的生物体粘膜表面所得到的内窥镜图像对应的视频信号，也输入图像处理装置3，对该视频信号通过下述的图像处理方法实施用于检测(判定)巴雷特粘膜是否存在或者是否成为巴雷特食道等疾患的状态的处理。

该图像处理装置3具有：输入与从内窥镜观察装置2输入的内窥镜图像对应的视频信号的图像输入部21；对从该图像输入部21输入的图像数据实施图像处理的中央运算处理装置即CPU 22；存储通过该CUP 22进行图像处理的处理程序(控制程序)的处理程序存储部23。

此外该图像处理装置3具有：存储从图像输入部21输入的图像数据等的图像存储部24；存储通过CPU 22进行了处理的解析信息等的解析信息存储部25；经由存储装置接口26来存储通过CPU 22进行了处理的图像数据和解析信息等的存储装置即硬盘27；进行用于显示通过CPU 22处理过的图像数据等的显示处理的显示处理部28；使用者进行图像处理的参数等的数据输入和指示操作的由键盘等构成的输入操作部29。

另外，由该显示处理部28生成的视频信号输出到显示监视器4，而在该显示监视器4的显示面上显示经过图像处理的处理图像。另外，图像输入部21、CPU 22、处理程序存储部23、图像存储部24、解析信息存储部25、存储装置接口26、显示处理部28以及输入操作部29经由数据总线30而彼此连接。

本实施方式中检查或者诊断对象部位是食道和胃的接合部周边部，通过对由内窥镜6所得到的图像进行图像解析，从而进行该周边部是否存在可能发生巴雷特食道的部位的性状判定。

为此，将内窥镜6的插入部11从其前端侧插入患者的口内来进行摄像。图2是表示在将内窥镜6从口部插入患者体腔内时内窥镜前端所处的体腔部分的图。内窥镜6的前端部14通过插入口31内而从食道入口32进入食道33内，途中经过上皮边界34和胃食道接合部35而进入胃36侧，进而经过贲门37到达胃36内部。

通过进行插入内窥镜6的操作，从而能够取得按照上述顺序拍摄的动态图像数据。这样取得的动态图像数据存储在图像存储部24中，并且对构成该动态图像数据的静态图像的帧图像进行图像解析。

图3是在食道33和胃36的边界附近拍摄到的内窥镜图像的例子的概略图。在该内窥镜图像中，贲门37在朝向胃内部的入口处开闭。

在该贲门37的外侧大致放射状延伸的栅状血管38是仅存在于食道33侧并且沿着食道33的管腔纵向延伸的血管。

另外，从作为食道33侧的粘膜组织和胃36侧的粘膜组织的边界的上皮边界(图中点划线表示)34到贲门为红色强的粘膜色调(分布的上皮称为圆柱上皮)，其相反方向为偏白色的粘膜色调(分布的上皮称为扁平上皮)，从而能够通过内窥镜观察来判别上皮边界。

连接栅状血管38的端点的线(图中虚线表示)是在内窥镜观察中不易识别的边界线(实际上并不存在线)，这称为胃食道接合部35，是胃36和食道33的组织上的边界。

在正常情况下，上皮边界34位于胃食道接合部35附近，但是当由于受到逆流性食道炎等的影响而使形成食道33的扁平上皮被置换为胃36的粘膜(圆柱上皮或巴雷特粘膜)时，而该上皮边界34上升到食道33侧。

另外，当该巴雷特粘膜超过正常粘膜边界3cm以上而对于食道管腔截面全周性地发生时，诊断为巴雷特食道疾患。

图4表示图像处理装置3的主要部分的功能结构。

由内窥镜6拍摄到而输入图像处理装置3的动态的图像数据，在作为图像存储(图像记录)单元的图像存储部24中存储为动态图像数据Vm1、Vm2、…等。

此时，动态图像数据Vm1、Vm2、…为按照时间的经过存储了静态图像的数据结构。因此，各个动态图像数据Vm1、Vm2、…例如如图5所示，按照帧编号0、1、…、MAX_COUNT的静态图像数据Vs0、Vs1、…、VsM(其中M＝MAX_COUNT)那样进行分配并存储于图像存储部24。

并且同时也存储在图像存储部24中所存储的帧的时间。另外，静态图像数据也可以以通过JPEG等进行了压缩的图像数据来存储。

另外，当图像处理开始后，从图像存储部24读出的例如动态图像数据Vm1中的指定的帧编号范围的静态图像数据，通过CPU 22和处理程序而被由软件构成的图像提取块41提取读出。图像提取块41构成从体内的动态图像数据或连续拍摄的多幅静态图像数据中提取帧图像数据的图像提取部。

然后，提取出的各静态图像数据依次输送到图像解析块42和显示处理块43。

图像解析块42具有：检测上皮边界的上皮边界检测块44；检测胃食道接合部的胃食道接合部检测块45；判定是否为巴雷特食道的巴雷特食道判定块46。图像解析块42构成对由图像提取块41提取出的帧图像进行图像解析并输出图像解析结果的图像解析部。

上皮边界检测块44例如通过将图像中的粘膜色调的不同检测为边缘，从而将图像内存在的上皮边界线检测为点列。

胃食道接合部检测块45例如将连接栅状血管的端点的线检测为点列(其检测方法将在后面详细叙述)。

巴雷特食道判定块46对上皮边界的形状、扁平上皮的条纹状残留、上皮边界与胃食道接合部的距离、距离的标准偏差、距离的最大值/最小值等特征量进行计算，判定所拍摄的对象部位是否为巴雷特食道。

通过该巴雷特食道判定块46判定的判定结果信息存储于解析信息存储部25中，并且发送至显示处理块43，并且在经过图像提取块41而显示于监视器4上的静态图像中，显示通过图像解析块42进行解析所得到的判定结果的信息。

图6A表示在解析信息存储部25内存储的解析结果的例子，图6B表示通过处理程序存储部23在进行解析处理时使用或者设定的信息的例子。

而图7表示在监视器4上将判定结果的信息显示在进行了该解析的静态图像中的显示例。

在本实施方式中，如参照图8进行说明的那样，在根据动态图像数据来进行是否存在包含巴雷特食道的静态图像数据的性状判定时，进行判定是否正在对时间上在拍摄要进行巴雷特食道的性状判定的判定对象部位所得到的图像之前或之后(也包含大致同时的情况)所拍摄的具有第一生物体特征(量)的基准部位(在本实施方式中为胃食道接合部)进行拍摄的处理。胃食道接合部检测块45构成检测第一生物体特征的第一生物体特征检测部。

另外特征在于，在通过该判定处理判定为正在对该基准部位进行拍摄的情况下，对该帧的后方侧或前方侧的帧的静态图像检测第二生物体特征(量)(本实施方式中为上皮边界的特征)，并基于第二生物体特征的检测结果，通过采用进行巴雷特食道判定的图像处理步骤，从而高效地进行作为性状判定对象的巴雷特食道的性状判定。上皮边界检测块44构成第二生物体特征检测部，该第二生物体特征检测部基于胃食道接合部检测块45的检测结果，对时间上在胃食道接合部检测块45在检测中使用的图像之前或之后拍摄的帧图像，检测第二生物体特征。

通过进行该图像解析处理，对不具有第一生物体特征的图像，可以省略检测第二生物体特征的处理等，并且能够在短时间内高效地获得针对作为目标的性状判定对象的性状判定结果，即使在存在大量图像数据的情况下也能够应对。

下面参照图8的流程图来对本实施方式的图像处理装置3的动作进行说明。

当使用者对按照处理程序进行处理的CPU 22从输入操作部29指定了动态图像数据的文件名时，CPU 22从图像存储部24读出所指定的动态图像数据的最大帧数，并且如图6B所示代入到表示最大帧数的参数MAX_COUNT，按照处理程序开始处理。

在最初的步骤S1中，CPU 22进行帧编号变量COUNT的初始设定，即设定为COUNT＝0。

在下一步骤S2中，CPU 22将帧编号变量COUNT和MAX_COUNT进行比较，如果COUNT＞MAX_COUNT则结束该处理。

当该步骤S2的判定为相反结果即COUNT≤MAX_COUNT时，进入步骤S3，在该步骤S3中，图像提取块41提取出帧编号＝COUNT的图像。

另外，在下一步骤S4中，胃食道接合部检测块45在本实施方式中进行胃食道接合部检测的处理，作为根据该帧编号的图像进行检测第一生物体特征(以下将生物体特征简称为特征)的处理。

根据检测处理的结果是否获得表示胃食道接合部35的线的点列，如步骤S5所示进行是否存在胃食道接合部35的判定。

然后，在该步骤S5中，当判定为不存在胃食道接合部35时，中断步骤S3、S4的处理而进入下一步骤S6，使帧编号变量COUNT的值增加1并返回步骤S2，重复从步骤S2到步骤S6的处理。

另一方面，当在步骤S5中判定为存在胃食道接合部35时，转入步骤S7的检测第二特征，并基于该检测结果进行是否为作为性状判定对象的巴雷特食道的性状判定处理侧的处理。

在该步骤S7中，为了开始巴雷特食道的判定处理，进行变量N的设定，具体而言是设定为变量N＝0。

然后，在下一步骤S8中，对N和规定的常数MAX_N进行比较，该MAX_N具体而言是需要进行是否为巴雷特食道的判定处理的最大的帧编号。另外，如果比较结果为N＞MAX_N则结束该处理。在本实施方式中，对于在这样预先设定的最大的帧编号之后的帧编号不进行是否为巴雷特食道的判定。

另一方面，当步骤S8的比较为相反结果，即N≤MAX_X时，进入步骤S9，在该步骤S9中，图像提取块41提取出帧编号＝COUNT+N的图像。即，从检测到胃食道接合部35的图像中提取出在时间上经过了N帧的图像(在此时刻，由于N是初始设定的0的状态，所以最初从检测出胃食道接合部35的图像开始进行巴雷特食道的判定处理，像通过以后的处理可知的那样对时间上后拍摄的图像依次进行是否为巴雷特食道的判定处理)。

然后，在步骤S10中，胃食道接合部检测块45根据该帧编号的图像进行胃食道接合部35的检测处理。

然后，在下一步骤S11中，上皮边界检测块44根据该帧编号的图像来进行第二特征检测处理即上皮边界34的检测处理。另外，检测上皮边界34的处理，通过例如日本特愿2004-360319号中图4的步骤S1到S4的处理来检测上皮边界34。具体而言，由于食道侧的扁平上皮和胃侧的圆柱上皮如上所述色调存在差异，因此在对内窥镜图像数据实施边缘处理和细线化处理之后，通过获得连接所生成的边界的点列的、沿着边界的坐标点列，从而能够算出(检测)上皮边界34的坐标。

在下一步骤S12中，巴雷特食道判定块46使用表示在步骤S10中检测出的胃食道接合部35的线的点列、以及表示在步骤S11中检测出的上皮边界34的线的点列，来判定所拍摄的图像中的成为性状判定对象的部位是否为巴雷特食道。巴雷特食道判定块46构成性状判定部，该性状判定部基于上皮边界检测部44的检测结果，来判定生物体的性状并输出判定结果。

具体而言，通过在后述的图13的巴雷特粘膜的判定处理中所说明的处理，从而能够判定是否为巴雷特食道。

然后，该巴雷特食道判定块46在步骤S13中将是否为巴雷特食道的判定结果和帧编号发送给显示处理块43。显示处理块43从其内部未图示的缓存内将指定的帧编号所表示的图像数据提取出，并在该图像数据上叠加判定结果。然后，将该图像数据传输到监视器4，在显示面上一并显示该图像和判定结果。

例如在判定为巴雷特食道的情况下，如图6B所示，在该判定对象的图像中，例如显示“疑似巴雷特食道”。

该步骤S13的处理后，在下一步骤S14中使变量N增加1后返回步骤S8。另外，重复从步骤S8到步骤S14的处理。这样，当变量N超过其最大值MAX_N时结束该处理。

根据实现这样的结构和处理的本实施方式，在对构成所拍摄的内窥镜图像的动态图像数据的作为解析对象的静态图像数据进行是否为巴雷特食道的图像解析时，按照拍摄顺序来进行检测图像的处理，该图像具有作为存在于进行巴雷特食道判定的部位的周边部的栅状血管端点的胃食道接合部35的特征。然后，对于通过该处理检测为具有该特征的图像后面的图像，进行巴雷特食道的性状判定所需的上皮边界34的特征检测处理以及根据其检测结果与胃食道接合部35的位置关系等来判定是否为巴雷特食道，因此能够高效地判定是否为巴雷特食道等。

另外，如下所述也能够对巴雷特食道和发生该巴雷特食道疾患之前的前期症状即巴雷特粘膜(巴雷特上皮)进行判定，从而能够进行有利于早期治疗等的判定。

另外，在本实施方式中，预先设定进行是否为巴雷特食道的性状判定的最大帧编号，对于该最大帧编号之后的帧编号的图像，不进行是否为巴雷特食道的性状判定，从而能够防止对不需要进行是否为巴雷特食道的性状判定的图像浪费时间。

即，在如图2所示从口31侧按照顺序对食道33内进行拍摄，直到拍摄了胃36的内部即贲门37的内部的情况下，对于胃内部侧的图像，成为不需要进行是否为巴雷特食道的性状判定的图像。在这种情况下，通过预先将该图像的帧编号设定为MAX_N，从而能够不进行是否为巴雷特食道的性状判定。

下面参照图9到图13对胃食道接合部35的检测处理进行说明。下面对在检测出胃食道接合部35之后进一步进行到上皮边界34的检测以及巴雷特粘膜判定处理的图像解析处理的情况进行说明。该图像解析处理的目的在于提供适当地判定是否为巴雷特粘膜的装置以及方法，通过进行这样的图像解析处理，从而能够适当地判定是否为巴雷特粘膜。

此时的处理步骤以及所生成的数据等如图9所示。图9中左侧表示处理内容，而右侧框内表示使用或生成的图像等的信息。

开始图像解析的处理后，在最初的步骤S21中，对处理对象图像进行边缘提取处理。该边缘提取处理例如对RGB图像中的G色成分图像应用带通滤波器来生成边缘图像。

使用带通滤波器的边缘提取方法是公知技术。另外，也可以根据处理对象图像并使用亮度成分来生成边缘图像。在除了血管的边缘以外也提取其它形状(轮廓)的边缘的情况下，如果将对于处理对象图像的R成分应用带通滤波器提取的形状的边缘除外，则能够仅提取出血管的边缘。

另外，与图8的步骤S4的胃食道检测处理相当的处理部分，使用图9中的步骤S21到步骤S26。

在图9的下一步骤S22中，对边缘图像进行2值化处理，生成2值化图像。本实施方式中的2值化处理通过将边缘图像的各个像素的像素值与规定的阈值进行大小比较，从而确定2值化图像的各个像素为0或为1。

在下一步骤S23中，对2值化图像应用公知的细线化方法，进行细线化处理而生成细线化图像。

在下一步骤S24中，对该细线化图像进行提取食道33所特有的栅状血管的栅状血管提取处理，并保存所提取出的栅状血管信息。该处理的流程如图11所示(其说明将在后面进行)。

在下一步骤S25中，取得在上述栅状血管提取处理中保存的栅状血管的端点坐标，在步骤S26中进行利用线段连接端点坐标点列的边界线生成处理，生成(取得)边界线信息。通过该处理所生成的边界线信息，具体而言栅状血管端点边界如图10A所示。

另外，在步骤S27中，生成包含通过上述边界线图像生成处理取得的边界线信息(栅状血管端点边界)、预先取得的暗部和上皮边界34的边界线图像。该图像如图10B所示。

在下一步骤S28中，根据预先取得的扁平上皮与圆柱上皮的上皮边界34的位置关系信息，进行判定是否为巴雷特食道或者巴雷特粘膜的巴雷特食道判定处理。对于该处理将在后面参照图13进行详细叙述。

这样，进行巴雷特食道或巴雷特粘膜的判定，显示其判定结果而结束该处理。

下面参照图11对图9的步骤S24的栅状血管提取处理进行说明。

开始该栅状血管提取处理后，在最初的步骤S31中，从细线化图像取得未处理的线段。此时的图像例如图12A所示。

在下一步骤S32中将线段的像素数作为线段长度L进行计算。然后，在下一步骤S33中对算出的线段长度L和规定的阈值thre1进行比较而判定其大小。在该判定处理中，如果L＞thre1则进入下一步骤S34，而如果L≤thre1则判定为该线段不是栅状血管而转入步骤S41。在本实施方式中例如thre1＝50。

在步骤S34中计算线段的分支/交叉点数C、弯折点数B，并且在步骤S35中判定与规定的阈值ε的大小。如果C≤Cth且B＜ε则进入下一步骤S36，当C＞Cth或者B≥ε则判定为该线段并非作为提取对象的栅状血管，而是树枝状血管并转入步骤S41。在本实施方式中，设定成Cth＝0，ε＝3。

在步骤S36中，从线段的两个端点中取得更接近预先取得的图像暗部的一个端点，在步骤S37中计算连接端点和暗部中心的矢量v。

在下一步骤S38中计算矢量v与连接线段终点和起点的直线所成的角θ。然后在下一步骤S39中判定算出的角θ与规定的阈值thre2之间的大小。

然后在步骤S39的判定处理中，如果θ＜thre2(例如图12B中的θ1)则进入下一步骤S40，相反地当θ≥thre2(例如图12B中的θ2)则判定为该线段不是栅状血管而转入步骤S41。在本实施方式中，设定成thre2＝45度。

在步骤S40中，对于在步骤S31中提取出的线段，将满足步骤S39的判定条件的线段判定为栅状血管，将与该线段有关的信息(所述的线段长度L、线段的分支/交叉点数C、弯折点数B、线段的坐标点列、端点坐标、角θ)保存为栅状血管信息。这样，能够如图12C所示提取栅状血管。

如上所述，从步骤S31到S35的处理，在胃食道接合部检测块45中构成处理部，该处理部对栅状血管考虑对帧图像数据实施细线化处理所得到的线段的分支点数、交叉点数、弯折点数，来判定线段是否为栅状血管。另外，从步骤S36到S39的处理，在胃食道接合部检测块45中构成处理部，该处理部对栅状血管进一步考虑连接对帧图像数据实施细线化处理所得到的线段的两端的线段、与连接帧图像的图像暗部的暗部中心和两端中更接近所述图像暗部的一个端部的矢量所成的角度，来判定线段是否为栅状血管。

另外，在步骤S41中判定是否有未处理的线段，如果有未处理的线段则实施到步骤S31的循环处理，如果没有未处理的线段则结束该处理。

另外，在步骤S36～步骤S39中，也可以使用匹配滤波器而仅提取在暗部方向上延伸的血管。

下面参照图13说明图9的步骤S28的巴雷特粘膜判定处理。在步骤S51中取得通过所述的边界线图像生成处理所生成的边界线图像。如图10B所示。

在下一步骤S52中以规定的条数即N条放射线来划分该图像整体。例如N＝8时的划分情况如图10C所示。

在下一步骤S53中，将表示第i条放射线[i]的变量i设定为初始值1。

然后，在下一步骤S54中，计算第i条放射线[i]与上皮边界34的交点P1和第i条放射线[i]与形成的边界的交点P2。计算出点P1和点P2的图像如图10C所示。

在下一步骤S55中计算点P1和点P2间的距离Q[i]。

在下一步骤S56中判定是否对全部的放射线进行了处理。即，判定i是否为放射线数N，当未达到N时在步骤S57中使i增加1，然后返回步骤S54，实施同样的处理，当对全部放射线完成了处理后进入步骤S58。

这样对全部放射线即N条放射线计算了点P1和P2间的距离Q[i]后，在步骤S58中使用该N个距离Q[i]来计算离散值σ。

在下一步骤S59中，判定离散值σ与规定的阈值thre3之间的大小。然后，当σ＞thre3时进入步骤S60，反之当σ≤thre3时判定为该图像不是观察到巴雷特粘膜的图像而结束该处理。本实施方式中thre3＝5。

在步骤S60中对于在步骤S51中取得的图像，当满足步骤S59的判定条件时判定为是观察到巴雷特粘膜的图像，并对该判定结果进行显示或通知以及保存等处理后结束该处理。

根据图9至图13所示的处理来判定是否为巴雷特粘膜(巴雷特上皮)，从而能够进行高精度的判定。

即，在这样的处理中，对胃食道接合部35和上皮边界34分别进行检测，根据其检测结果来判定是否为巴雷特粘膜，从而能够进行适当的且高精度的判定。

另外，也可以对图13的部分处理作以下变更，计算(推定)图像中食道33的半径(或直径)，采用已知的统计值作为该半径值，从而能够近似定量地判定是否包含巴雷特粘膜和巴雷特食道。

在图13中例如步骤S55和S56之间进行还计算暗部中央O到点P1(或暗部中央O到点P2)的距离(为了清楚地说明而表示为R[i])的处理。

另外，经过步骤S56的判定处理对全部放射线[i]计算点P1和P2间的距离Q[i]以及距离R[i]。然后不进行图13的步骤S58的距离Q[i]的离散值σ的计算，而是计算上述距离R[i]的平均值Rav，将该平均值Rav作为食道33中的上皮边界34附近的半径的评价值(推定值)。

预先将与普通成年人或者患者的体型类似的人的食道33的统计上的半径值Rs(cm)存储于存储器等中，将半径值Rs用作上述平均值Rav来评价上述点P1和P2间的距离Q[i]的平均值。

然后，判定该距离Q[i]的平均值是否为3.0cm以上，在3.0cm以上的情况下判定为巴雷特食道。

即，考虑分别与从规定的点即暗部中央O放射状放射的多条放射线相交的上皮边界和暗部中央O之间的各距离或者胃食道接合部与暗部中央O之间的各距离，来判定是否存在巴雷特食道。

另外，当距离Q[i]的平均值为例如1.5cm左右时，判定为巴雷特粘膜已经有相当的发展的状态。另外，当距离Q[i]的平均值为例如0.5cm左右时，则能够判定为出现巴雷特粘膜化的早期症状等。

这样根据本变形例，能够以近似定量的状态判定是否为巴雷特食道，并且能够在巴雷特粘膜的情况下定量地判定巴雷特粘膜的症状的发展程度，通过显示其判定结果等而易于进行早期治疗。

另外，也可以代替图9的巴雷特粘膜判定处理，而执行图14所示的变形例的流程图。

本变形例与前述处理流程图的不同点在于，代替图9中的步骤S25的血管端点提取处理、步骤S26的边界线生成处理以及步骤S27的边界线图像生成处理，而如图14所示执行步骤S61的上皮边界栅状血管图像生成处理。使用通过该处理生成的上皮边界栅状血管图像，来进行步骤S62的巴雷特粘膜判定处理。

在步骤S61的上皮边界栅状血管图像生成处理中，如图15A所示生成上皮边界栅状血管图像，该上皮边界栅状血管图像包含：在上述栅状血管提取处理中取得的栅状血管，以及预先取得的暗部和上皮边界线。

然后，在下一步骤S62中，使用在前一步骤S61中生成的上皮边界栅状血管图像，来进行巴雷特粘膜判定处理。该巴雷特粘膜判定处理的流程图如图16所示。

如图16所示在最初的步骤S63中，取得包含预先取得的上皮边界34和栅状血管的图像。

在下一步骤S64中，对与上皮边界线交叉的栅状血管数J进行初始化，即设定为J＝0。

在下一步骤S65中，从Q条栅状血管中取得处理对象血管。进而在下一步骤S66中，判定处理对象血管是否与上皮边界34相交。当相交时，进入下一步骤S67而使栅状血管数J增加1，在不相交的情况下则返回步骤S65的处理而取得下一处理对象血管并重复相同的处理。

在进行步骤S67之后，在下一步骤S68中判定是否对全部的栅状血管进行了处理，如果有未处理的栅状血管则返回步骤S65并重复相同的处理，反之如果对全部的栅状血管完成了处理则进入下一步骤S69。

这样计算与上皮边界34相交的栅状血管数J的图像例如图15B所示。在该图15B的情况下，栅状血管数Q为7，其中有6(＝J)条与上皮边界34相交。

在步骤S69中，判定J/Q与规定的阈值thre4之间的大小。并且，当J/Q＞thre4时进入下一步骤S70，反之如果J/Q≤thre4，则判定为该图像没有观察到巴雷特粘膜而结束该处理。在本实施方式中，设定成thre4＝0.5。

在步骤S70中，当在步骤S63中取得的图像满足步骤S66和步骤S69的判定条件时，判定为是观察到巴雷特粘膜的图像，并在监视器4上进行显示等而结束该处理。

在本变形例中，能够根据在上皮边界34的内侧存在什么样程度的栅状血管的端点，来判定是否为巴雷特粘膜。

如上所述根据本实施方式，在对于构成内窥镜图像的动态图像数据的大量的静态图像数据进行是否为巴雷特食道的解析时，进行检测具有胃食道接合部35的特征的图像的处理，该胃食道接合部35为存在于进行巴雷特食道判定的部位的周边部的作为第一特征部位的栅状血管的胃侧端点，并对通过该处理检测出的图像之后的图像，进行作为第二特征部位的上皮边界34的检测处理等，判定是否为巴雷特食道，从而能够高效地进行是否为巴雷特食道等的性状判定。因此能够获得可减少通过手动作业进行提取作业的劳动量的效果。

另外，如上所述被设定为最初检测该特征的第一特征部位的胃食道接合部35，也能够用于巴雷特食道的性状判定，从而可有效地利用该特征的检测。

另外，由于也能够进行成为巴雷特食道的疾患之前的前期症状的巴雷特粘膜(巴雷特上皮)的判定，从而能够进行适合于早期治疗等的判定。

另外，能够对不需要进行是否为巴雷特食道的判定的图像不进行该处理。

另外，虽然在本实施方式中使用动态图像数据进行了说明，但是对于在一次检查中连续的多个静态图像数据也能够适用(同样地也能够适用于其它实施方式)。

(第二实施方式)

下面参照图17至图26对第二实施方式进行说明。在上述第一实施方式中，为了进行是否为巴雷特食道的判定，最初通过进行胃食道接合部35的检测处理，从而对包含胃食道接合部35的图像进行检测。

胃食道接合部35的检测处理由于检测处理的负荷大，因而处理速度慢，尚存在改善处理速度和检测速度的余地。作为能够以更快的处理速度来进行胃食道接合部35的检测，可预测到检测精度高的生物体部位的检测处理，考虑贲门检测处理。

在本实施方式中着眼于这一点来提高处理速度等。

本实施方式的图像处理装置的硬件结构能够与第一实施方式同样地采用图1。另外，本实施方式的通过处理程序由CPU 22构成的功能性结构如图17所示。图17所示的结构在图4的结构中的图像解析块42内还具有贲门检测块47。贲门检测块47构成检测第一生物体特征的第一生物体特征检测部。

本实施方式的处理流程图如图18所示。按照该流程图进行巴雷特食道的判定并显示判定结果等。

上述贲门检测块47例如进行暗部的检测、以及根据检测到的暗部的形状和暗部的边缘附近的亮度变化的剧烈程度来检测在图像数据内存在的贲门37。其具体内容将在后面参照图19进行说明。

图18所示的处理步骤，是在图8的流程图的处理步骤中，代替步骤S4的胃食道接合部35的检测处理，而进行步骤S4’的贲门37的检测处理，并且代替步骤S4之后的步骤S5的胃食道接合部35的存在判定处理，而变更为进行步骤S5’的贲门37的存在判定处理。

另外，代替在图8的处理步骤中的步骤S9的提取帧编号＝COUNT+N的图像，而如图18的步骤S9’所示，提取帧图像＝COUNT-N的图像。

即，在第一实施方式中，由于胃食道接合部35是判定巴雷特食道的部位周边部，因此通过检查时间上处于在图像中检测到该部位的状态之后的图像，从而获得与该部位周边部更接近的图像，因此能够应对边将内窥镜6的前端部14插入边进行摄像时的摄像条件。

与此相对，由图2可知，贲门37是作为通过胃食道接合部35和上皮边界34而进入胃内部的入口的部位，因此提取在时间上从进行了该贲门检测的图像往回追溯N帧的帧图像。然后，按照从该图像开始向更早拍摄的图像追溯的方向来依次进行是否为巴雷特食道的判定。

根据本实施方式，在进行了检测处理的负荷比胃食道接合部35的检测小的贲门37的检测后，根据检测到该贲门37的图像来进行巴雷特食道的判定处理，从而能够在更短的时间内进行巴雷特食道的判定。

因此，能够更高效地转入巴雷特食道的判定处理侧，并以更短的时间获得与第一实施方式相同的效果。

下面参照图19至图22对贲门37的检测处理进行说明。图19一并表示进行关闭时的闭口贲门检测的处理流程和使用的数据或者生成的数据。

开始贲门37的检测处理后，如步骤S71所示对处理对象图像进行边缘检测处理，生成边缘图像。

该边缘提取处理在本实施方式中，通过对R色成分图像应用带通滤波器来生成边缘图像。

使用带通滤波器的边缘提取方法是公知技术。另外，也可以根据处理对象图像并使用亮度成分来生成边缘图像。

在下一步骤S72中，对边缘图像进行2值化处理，生成2值化图像。本实施方式的2值化处理，通过对边缘图像的各个像素的像素值与规定的阈值进行大小比较，从而确定2值化图像的各个像素为0或为1。

在下一步骤S73中，对2值化图像应用公知的细线化方法，进行细线化处理而生成细线化图像。所生成的细线化图像例如图20A所示。

在下一步骤S74中，进行计算该细线化图像中的全部细线的分支/交叉点的分支/交叉点计算处理。图20B表示对图20A的细线化图像计算的分支/交叉点的例子。在该图20B中示出了分支/交叉点数Nc为5的情况。

将通过该步骤S74的分支/交叉点计算处理算出的分支/交叉点的坐标保存为分支/交叉点信息。

在下一步骤S75中，进行根据上述分支/交叉点的坐标值来计算分支/交叉点的集中度的集中度计算处理，计算集中度信息。

按照图21的流程图对该集中度计算处理进行说明。在最初的步骤S77中，取得上述Nc个分支/交叉点的坐标值。在下一步骤S78中，针对Nc个分支/交叉点的x坐标值的离散值σx、y坐标值的离散值σy，计算这两个离散值σx，σy。然后，在下一步骤S79中，将算出的这两个离散值σx、σy保存为集中度信息而结束该处理。

另外，也可以代替在该集中度计算处理中进行的离散值计算，而求出标准偏差或者变化系数或者距Nc个分支/交叉点的重心的距离的平均值等，并将其作为集中度信息。

返回图19，使用通过步骤S75的集中度计算处理算出的集中度信息，在下一步骤S76中进行闭口贲门判定处理。

该闭口贲门判定处理如图22的步骤S76a所示，分别对分支/交叉点数Nc和集中度信息(σx、σy)与各自的规定的阈值thre_N和thre_x、thre_y之间的大小关系进行比较判定。

然后，在步骤S76a中，当判定为满足Nc＞thre_N且σx＜thre_x且σy＜thre_y的条件时，如步骤S76b所示判定为是闭口贲门37。另一方面，当判定为不满足步骤S76a的条件时，即在Nc≤thre_N或者σx≥thre_x或者σy≥thre_y的情况下，如步骤S76c所示判定为不是闭口贲门37。

在这样进行了贲门判定处理后，结束图19所示的贲门检测处理。

这样能够检测贲门37。

如上所述根据本实施方式，最初进行检测贲门37的处理，在检测到贲门37的情况下，对在时间上往回追溯的图像进行判定作为判定对象的巴雷特食道的处理，因此即使对于大量图像数据的情形，也能够高效地进行巴雷特食道的判定。

另外，如同在第一实施方式中说明的那样，在进行巴雷特食道的判定时，也能够进行巴雷特粘膜的判定，该判定对于早期治疗非常有效。

另外，图23示出了变形例中的贲门检测的流程图处理。

本变形例在图19所示的处理流程图中，代替步骤S74的分支/交叉点计算处理以及下一步骤S75的集中度计算处理，而进行以检测开口贲门为目的的步骤S81的边缘成分生成角度计算处理，并根据通过该边缘成分生成角度计算处理算出的生成角度信息，来进行步骤S82的检测(判定)开口贲门的开口贲门判定处理。

图23所示的处理与图19中的步骤S71到步骤S73相同。

如步骤S71所示，对处理对象图像进行边缘提取处理，生成边缘图像，进而对边缘图像进行步骤S72的2值化处理，生成2值化图像，进而通过步骤S73的细线化处理生成图24A所示的细线化图像。

下面，将为了预先提取图像暗部而对包含暗部的图像使用暗部提取的阈值进行暗部2值化处理后的图像，叠加在通过上述细线化处理所取得的细线化图像上，而得到图24B所示的图像，对该图像进行步骤S81的边缘成分生成角度计算处理，算出大的边缘角度的生成角度信息。

然后，通过步骤S82的开口贲门判定处理进行是否为开口贲门的判定。

图25是详细表示图23的步骤S81的边缘成分生成角度计算处理的流程图。

在最初的步骤S83中，对图像中的暗部的特征点选择一点。在本实施方式中，例如计算暗部的重心点，作为图像中的暗部的特征点。

在下一步骤S84中，通过放射状的线将以该算出的重心点或者中心点等特征点为中心的图像在周向上划分为多个、例如M个区域。

在下一步骤S85中，从上述图24A所示的细线化图像内的细线中，提取(取得)一条线段i。

在下一步骤S86中，计算所提取出的线段i存在的角度θ[i]。即，对线段i存在的区域数Ni进行计数，通过该计数并根据θ[i]＝Ni×(360/M)°，来计算线段i存在的角度θ[i]。

这样算出的例子如图24C所示。在图24C中表示了从线段i为0°的分割线的区域到270°的分割线的区域的区域数Ni为6的情况。即，在图24C中，边缘存在的区域(斜线部分)跨越270°的范围。

在下一步骤S87中，判定是否有未处理的线段，如果存在未处理的线段则返回步骤S85，取得未处理的线段并进行相同的处理。

另一方面，当不存在未处理的线段时，结束该边缘成分生成角度计算的处理。返回图23，使用通过步骤S81的边缘成分生成角度计算处理所生成的角度θ[i]的角度信息，并通过下一步骤S82的开口贲门判定处理，来判定是否为开口的贲门。

该开口贲门判定处理例如如图26的步骤S82a所示，来判定角度θ[i]与规定的阈值thre5之间的大小关系。即，判定是否满足θ[i]＞thre5的条件。另外，当满足θ[i]＞thre5的条件时，如步骤S82b所示，判定为是开口贲门的边缘，反之当不满足该条件时，判定为不是开口贲门的边缘。这样，结束检测贲门的处理。

这样能够检测开口的贲门。

另外，通过根据检测到贲门的图像来进行检测巴雷特食道的处理，从而能够高效地进行巴雷特食道等的判定。

(第三实施方式)

下面参照图27至图29对本发明第三实施方式进行说明。本实施方式的图像处理装置的硬件结构与第一实施方式相同，可采用图1。另外，由执行本实施方式中的处理程序的CPU 22所构成的主要部分的功能性结构如图27所示。图27所示的结构构成为，在图4的结构中的图像解析块42内，还具有处理继续判定块48。处理继续判定块48构成检测第一生物体特征的第一生物体特征检测部。

该处理继续判定块48判定是否有上皮边界检测块44检测出的上皮边界线的点列，并根据判定结果来控制图像解析块42的动作。

本实施方式的处理步骤的流程图如图28所示。根据该流程图来进行巴雷特食道的判定，并显示该判定结果等。

图28所示流程图的处理方法，在第一实施方式中的图8的处理步骤中，代替检测胃食道接合部35的处理，而进行能够通过更简单的处理来检测的检测上皮边界34的处理。

首先，检索进行上皮边界34检测的图像，在能检索到进行上皮边界34检测的图像之后，转入进行巴雷特食道的判定的处理侧。

下面参照图28的流程图来说明该处理步骤。另外，最初的步骤S1至S3是与图8的流程图相同的处理，因此省略其说明。

进行步骤S3的提取帧编号为COUNT的图像的处理，进行下一步骤S91的上皮边界34的检测处理。

然后，对进行了检测处理的上皮边界34，在下一步骤S92中，由处理继续判定块48判定是否通过步骤S91获得了表示上皮边界34的线的点列，从而判定是否存在上皮边界34。

通过该步骤S92的判定，当判定为不存在上皮边界34时，进入步骤S6而使帧编号变量COUNT的值增加1并返回步骤S2，继续进行步骤S2到步骤S92的处理即检测上皮边界34的解析动作。

另一方面，当通过步骤S92的判定，判定为存在上皮边界34时，从检测上皮边界34的解析动作转入步骤S93侧，转入判定巴雷特食道的解析动作。

在该步骤S93中，胃食道接合部检测块45根据该帧编号的图像来进行胃食道接合部35的检测处理。

在该胃食道接合部35的检测处理后，在下一步骤S94中，巴雷特食道判定块46使用表示在步骤S93中检测出的胃食道接合部35的线的点列以及表示在步骤S91中检测出的上皮边界34的线的点列，来判定所拍摄的图像中的对象部位是否为巴雷特食道。

然后，当判定为是巴雷特食道时，巴雷特食道判定块46在步骤S95中将该判定结果和帧编号传递给显示处理块43。该显示处理块43从缓存中提取指定的帧编号的图像，在该图像数据上叠加判定结果。例如图7所示进行显示。

在下一步骤S96中，使COUNT增加1。然后，在下一步骤S97中，重新取得下一个帧编号(＝COUNT)的图像。然后，对该图像进行上皮边界34的检测处理。

在下一步骤S98中，判定通过前面的检测处理是否检测出存在上皮边界34。

在该步骤S98中，处理继续判定块48通过判定是否通过前一步骤S97获得了表示上皮边界34的线的点列，从而判定是否存在上皮边界34。

根据该步骤S98的判定，当判定为不存在上皮边界34时，跳出从步骤S93到步骤S98的处理循环、即巴雷特食道判定处理侧的解析处理动作，而结束该处理。

另一方面，当判定为存在上皮边界34时，返回步骤S93而进行检测胃食道接合部35的处理，继续进行巴雷特食道的判定处理。这样，在检测到上皮边界34的存在时，重复进行上述处理循环内的处理，当不能检测出上皮边界34的存在时，结束该处理。即，仅对检测出上皮边界的帧图像，进行生物体性状的判定。

根据这样动作的本实施方式，最初进行上皮边界34的检测处理，转入根据通过该检测处理检测出上皮边界34的图像来判定是否存在巴雷特食道的处理侧，在该处理侧如果无法再次检测出上皮边界34的存在，则结束该处理，从而能够高效地进行巴雷特食道的判定。

即，根据本实施方式，设置处理继续判定部，其进行如下控制：仅检测巴雷特食道的性状判定所需要的上皮边界34的周边部的图像，并且当无法在该图像中检测出上皮边界34时，结束巴雷特食道的判定处理，因而可以不费功夫地提取巴雷特食道的判定处理所需的图像，进行巴雷特食道的判定处理。

即，与第一实施方式相比，能够在更短的时间内、且不费功夫地进行巴雷特食道的判定处理。

另外，虽然在本实施方式中，在根据帧图像来检测上皮边界34后，将时间上与帧图像连续的后方的帧图像作为下一个上皮边界检测的对象图像，但是也可以根据按时间拍摄的方向等，在时间上往前追溯取得帧图像来作为检测对象图像。

另外，也可以使连续的帧图像的取得间隔为N(其中，N为自然数1，2，3，…)，在步骤S97中COUNT←COUNT+N，来指定下一个取得帧图像。

下面对本实施方式的变形例进行说明。如果对每一幅图像逐个进行是否为巴雷特食道的判定，则存在如下可能性：由于图像数据中所含的噪声、光晕、光量经时变化、暗影等的影响，而导致虽然原本拍摄了巴雷特食道，但却作出并非巴雷特食道的误判。

因此在本变形例中通过图29所示的处理步骤进行了改善。图29所示流程图的处理步骤，在图28的处理步骤中，步骤S1至步骤S94为相同的处理(但是由于在图29中还使用了帧编号变量Nb，因此在步骤S1中将该变量Nb初始化为0)。

在图28中根据步骤S94的判定结果，在下一步骤S95中显示判定结果，但是在本变形例中，在步骤S94的判定处理后，变为下一个帧编号而进行上皮边界34的检测处理和胃食道接合部35的检测处理等，来进行巴雷特食道的判定处理。

这样，在为不存在上皮边界34的图像的情况下，根据到此为止进行了是否为巴雷特食道的判定所得到的全部判定结果，来综合判定是否为巴雷特食道，并显示该判定结果。

下面参照图29说明处理步骤。另外，步骤S1到S94与图28相同(但是如上所述在步S1中需要使另一个帧编号变量Nb也初始化为0)，因此省略其说明。

在步骤S94中，根据步骤S92中的上皮边界34的存在位置和步骤S93的胃食道接合部35的检测处理结果，来判定是否为巴雷特食道。然后，将该巴雷特食道的判定结果临时存储，并通过下一步骤S101使帧编号Nb的变量增加1。然后，在下一步骤S102中，提取使该Nb增加1的帧编号为COUNT+Nb的图像。

在下一步骤S103中，进行上皮边界34的检测处理。在该检测处理后，在下一步骤S104中，判定是否存在上皮边界34，当存在时返回步骤S93，进行胃食道接合部35的检测处理，同样地进行是否为巴雷特食道的判定等处理。

另一方面，当判定为不存在上皮边界34时，转入步骤S105，取得通过步骤S93到步骤S104的处理所取得的全部的巴雷特食道的判定结果。

然后，在下一步骤S106中，根据该全部的巴雷特食道的判定结果，来综合判定是否为巴雷特食道。另外，在下一步骤S107中，将综合判定结果叠加于图像来进行显示，结束该处理。

巴雷特食道判定块46如下进行步骤S106中的综合性的是否为巴雷特食道的判定。

例如计算判定为巴雷特食道的图像的幅数Na和进行了是否为巴雷特食道的判定的图像幅数Nb的比率Na/Nb。巴雷特食道判定块46在该比率Na/Nb大于0.8的情况下，判定为拍摄对象为巴雷特食道，在步骤S107中，对在巴雷特食道判定中使用的全部Nb幅图像，叠加“疑似巴雷特食道”的信息。

根据这样进行处理动作的本变形例，具有与第三实施方式相同的效果，并且使用多幅图像各自的是否为巴雷特食道的判定结果信息来进一步进行综合判定，从而能够在可靠性更高的状态下判定是否为巴雷特食道。

另外，在上述说明中，以针对将具有细长插入部的内窥镜6插入体内进行拍摄所得到的内窥镜图像的情况进行图像处理的情况来进行了说明，但是上述各个实施方式和各个变形例的处理内容，同样能够适用于通过从口吞入而对体内进行拍摄的胶囊型内窥镜所拍摄到的内窥镜图像的情况。

在胶囊型内窥镜的情况下，通常是以恒定间隔等连续拍摄静态图像的体内摄像装置。另外，在这种情况下，在从口吞入后不再返回，而是边向食道33、胃、小肠、大肠移动边进行拍摄。此时也可以应用上述各个实施方式和各个变形例。

另外，本发明也包含对上述各个实施方式等进行部分等地组合而构成的实施方式的情况。

如上所述，根据上述各个实施方式和各个变形例，在判定生物体性状的情况下，能够在检测了第一生物体特征后，进行第二生物体特征的检测，因此能够高效地根据大量的图像数据来进行巴雷特食道等关注的性状的判定。即，在未检测出第一生物体特征的情况下，省略第二生物体特征的检测，而可以高效地进行图像解析处理。因此，在大量图像数据的情况下，也能够高效地进行巴雷特食道等关注的性状的判定。

下面参照附图对实施方式涉及的管腔图像处理装置进行说明。

(第四实施方式)

首先参照附图对第四实施方式的采用胶囊型内窥镜装置的管腔图像处理装置及其方法进行说明。首先，参照图30A、图30B和图31对本发明第四实施方式的采用胶囊型内窥镜装置的管腔图像处理装置进行说明。图30A和图30B是表示本实施方式的胶囊型内窥镜装置101和作为管腔图像处理装置的终端装置107的概略结构的框图。

使用本实施方式的图像处理方法的胶囊型内窥镜装置101，如图30A所示具有胶囊型内窥镜103、天线单元104以及外部装置105。胶囊型内窥镜103将在后面详细说明，其形成为能够从被检体即患者102的口部吞入到体腔内并在食道和消化道内前进的形状，并且内部具有可以对食道和消化道内部进行拍摄并生成其摄像图像信息的摄像功能以及将该摄像图像信息发送至体外的发送功能。天线单元104设置于患者102的身体表面上，具有对从所述胶囊型内窥镜103发送的摄像图像信息进行接收的多个接收天线111。外部装置105的外形形成为箱子状，并且具有对所述天线单元104所接收的摄像图像信息进行各种处理、记录摄像图像信息以及使用摄像图像信息来进行摄像图像显示等的功能。在该外部装置105的外壳的表面上设有用于显示所述摄像图像的液晶监视器112以及用于进行各种功能的操作指示的操作部113。另外，该外部装置105还设有进行关于驱动电源用电池的余量的警告显示用的LED以及作为操作部113的电源开关。

该外部装置105安装于患者102的身体上，并且如图30B所示，通过安装在托架106上而与终端装置107连接。管腔图像处理装置即作为贲门检测装置的终端装置107例如采用个人电脑，其包括：具有各种数据的处理功能和存储功能的终端本体109、用于各种操作处理输入的键盘108a和鼠标108b以及显示各种处理结果的显示器108c。该终端装置107的基本功能在于进行如下图像处理：经由托架106将在所述外部装置105中存储的摄像图像信息取入，并写入记录到内置于终端本体109中的可改写的存储器或者与终端本体109可自由装卸的能够改写的半导体存储器等移动存储器中，并且将该记录的摄像图像信息显示于显示器108c。另外，终端装置107通过后述实施方式涉及的图像处理方法，来执行贲门检测处理。另外，存储在所述外部装置105中的摄像图像信息，也可以不通过所述托架106而通过USB电缆等而取入到终端装置107。该托架106等是用于输入胶囊型内窥镜103所拍摄的图像的图像输入部。

下面使用图31对所述胶囊型内窥镜103的外形和内部结构进行说明。胶囊型内窥镜103形成为胶囊形状，且包括：截面为U字状的外壳部件114，以及在该外壳部件114的前端侧的开放端通过粘接剂水密安装的、由透明部件形成的大致半球形的盖部件114a。

在由该外壳部件114和盖部件114a构成的胶囊形的内部中空部中，在所述盖部件114a的半球圆弧的中央部分的内部，在镜头架116中收纳配置有物镜115，该物镜115将经由盖部件114a入射的观察部位像取入。在该物镜115的成像位置上，配置有摄像元件即电荷耦合元件(以下称为CCD)117。在收纳所述物镜115的镜头架116的周围，在同一平面上配置有四个能够发出照明光的白色系的LED 118(图中仅示出两个LED)。在所述CCD 117的后端侧的所述外壳部件114的中空部内配置有：处理电路119，该处理电路119进行驱动控制所述CCD 117进行光电转换所得到的摄像信号的生成处理、对该摄像信号实施规定的信号处理而生成摄像图像信号的摄像处理以及控制所述LED 118的点亮/熄灭动作的LED驱动处理；通信处理电路120，其将通过所述处理电路119的摄像处理所生成的摄像图像信号转换为无线信号来进行发送；发送天线123，其将来自所述通信处理电路120的无线信号发送到外部；以及提供所述处理电路119和通信处理电路120的驱动用电源的多个纽扣电池121。另外，CCD117、LED 118、处理电路119、通信处理电路120以及发送天线123配置于未图示的基板上，在这些基板之间通过挠性基板连接。

胶囊型内窥镜103在患者102体内移动，同时将以规定的时间间隔所拍摄的体内图像发送给外部装置105，外部装置105在内置的存储装置中记录接收到的内窥镜图像。记录于外部装置105中的内窥镜图像，经由托架106而传输至终端装置107并存储于未图示的存储装置中，终端装置107根据被传输而存储的内窥镜图像来进行贲门部的检测处理。该贲门检测处理通过对内窥镜图像的图像数据进行图像处理的图像处理软件即程序来进行。该图像处理软件通过终端装置107的CPU等处理装置来执行。

以下说明的图像处理通过软件来实现，因此在所述胶囊型内窥镜103、外部装置105或者终端装置107中都可以执行该图像处理，但是这里以在采用个人电脑的终端装置107中执行为例来进行说明。另外，在图像处理内容的说明中，一帧图像的尺寸由ISX×ISY(1≤ISX、ISY。例如ISX＝640、ISY＝480)的红(R)、绿(G)、蓝(B)的三个平面构成，各个平面的像素的灰度数为8比特即取0至255的值。

另外，所述胶囊型内窥镜103例如在检查食道时，以每秒15～30幅图像的速度(15fps～30fps)进行拍摄。即，胶囊型内窥镜103在通过食道后，进行摄像功能控制以成为每秒拍摄幅数少的低速摄像状态。这可以通过设置未图示的定时电路，进行控制以使得当该定时电路的定时计数在规定时间以内时，以每秒拍摄幅数多的高速摄像状态来拍摄，而当经过规定时间后则以每秒拍摄幅数少的低速摄像状态来拍摄等来实现。

图32是表示根据所得到的一系列内窥镜图像，在终端装置107中执行的通过胃食道接合部的通过来进行贲门部的检测的处理流程的例子的流程图。从被检者口部进入后进行拍摄所得到的一系列的内窥镜图像，由多个帧构成，对各个帧进行图32的处理。另外，各个内窥镜图像的图像数据在实施图32的处理之前，进行逆Gamma校正、噪声除去等预处理。

为了从要实施图32的处理的一系列图像中的最开始的帧开始进行处理，首先使帧编号i为1(步骤S201)。i为1到n的整数。

接着从终端装置107的存储装置(未图示)读出帧编号为i的图像Fi的图像数据(步骤S202)。图像Fi由RGB三个平面构成。

根据读出的图像Fi的图像数据，来计算色调的特征量，在这里计算平均色调特征量μi，作为内窥镜图像的规定的特征量(步骤S203)。平均色调特征量μi为各个图像中所含的全部像素的色调特征量的平均值。步骤S203构成根据关于各个图像Fi的全部像素的值来计算作为色调特征量的平均色调特征量的特征量计算步骤或者特征量计算部。

接着判定平均色调特征量μi是否超过规定的阈值Th(步骤S204)。当色调特征量使用后述的R/(R+G+B)的值时，阈值Th例如为0.5。

另外，通过对该阈值Th的值进行调整，能够判定读出的图像Fi是对进入了消化道的边界部即胃食道接合部(EG接合部)的附近进行拍摄所得到的图像，或者是对胃食道接合部的中央部进行拍摄所得到的图像，还是对进入了胃的部分进行拍摄所得到的图像。关于这一点，将在后面使用图33进行说明。

当在步骤S204中为“是”时，即平均色调特征量μi超过规定的阈值Th时，为胶囊型内窥镜103将要进入胃食道接合部(EG接合部)，或者正在通过胃食道接合部(EG接合部)时，因此判定为读出的图像Fi为此时拍摄的图像(步骤S205)。步骤S204和S205构成根据算出的平均色调特征量μi来检测消化道的边界部的边界部检测部，以及根据边界部即胃食道接合部的检测结果来判定管腔内图像为从食道到贲门部的部分的图像的判定部。

当在步骤S204中为“否”时，即平均色调特征量μi未超过规定的阈值Th时，判定是否对全部要实施图32的处理的一系列图像完成了图32的处理(步骤S206)，当全部完成时，在步骤S206中为“是”，结束处理。当在步骤S206中为“否”时，由于尚存未处理的图像，进行i＝i+1的处理(步骤S207)，此后对下一图像重复进行步骤S202到S204的处理。

另外，如上所述，在步骤S205中，当平均色调特征量μi超过规定的阈值Th时，判定为是胶囊型内窥镜103正在通过胃食道接合部(EG接合部)、或者将要进入胃食道接合部(EG接合部)的时刻，换言之，能够判定为此后将要到达贲门部、或者此后将要到达胃内部。因此能够进行贲门部的检测。

这里，对从食道至胃的生物体组织的色调进行说明。图33是用于说明所得到的一系列内窥镜图像中的色调变化的示意曲线图。在图33中，横轴表示沿着从食道扁平上皮部经过胃食道接合部到达胃所得到的内窥镜图像的时序的图像编号(帧编号)，纵轴表示与各个图像编号对应的内窥镜图像的色调特征量。

通过从被检者口部进入的胶囊型内窥镜103所得到的各个图像的色调，如图33所示变化。即，食道的扁平上皮部RA和圆柱上皮的胃部RC的色调不同，在它们之间的胃食道接合部RB有级地逐渐变化。在图33中，例如在根据后述的RGB三个像素值算出的色调特征量R/(R+G+B)中，食道扁平上皮部RA为白色调因而色调特征量小，在胃部RC中为红色调因而色调特征量大。在它们之间的胃食道接合部RB中，色调特征量从白色调逐渐变化为红色调。

因此，在图32的步骤S204那样的色调特征量在该逐渐变化的过程中当超过规定的阈值Th时(色调变为红色时)，判定为该图像是当胶囊型内窥镜103将要进入胃食道接合部(EG接合部)时、或者正在通过胃食道接合部(EG接合部)时拍摄的图像等，换言之，能够进行消化道的边界部即贲门部的检测。即，根据从食道粘膜到胃粘膜的色调的差异，而进行贲门部的检测。具体而言，为了可靠地进行该通过等的判断而采用色调特征量的平均值等。

下面对在图32中说明的平均色调特征量μi的具体例子进行说明。

图34是表示对各个帧的图像进行的、使用根据RGB三个像素值计算的R/(R+G+B)作为平均色调特征量μi时的图32的步骤S203的处理流程的例子的流程图。在图34的处理中，根据一帧的每个像素的RGB三个像素值rj、gj、bj来计算色度rj/(rj+gj+bj)，而算出平均色调特征量μi。j表示用于在各个帧的图像数据中确定像素的编号。

最初，设为j＝1，val＝0，count＝0(步骤S211)。其中，val为用于求出色调特征量的总和的变量，count为用于求出在平均色调特征量μi的计算中使用的像素数的变量。

接着在步骤S212中判定第j个像素是否是属于暗部的像素。具体而言，当R图像、G图像和B图像的各图像中的第j个像素的值为rj、gj和bj时，如果rj≤thd、gj≤thd、bj≤thd，则判定为该像素是属于暗部的像素。这里，thd为用于判定是否为暗部像素的各色的阈值，在本实施方式中，例如设定为thd＝10。当判定为第j个像素是属于暗部的像素时，进入步骤S216，而当判定为第j个像素是不属于暗部的像素时，进入步骤S213。

接着在步骤S213中，判定第j个像素是否为非常明亮的像素即是否是属于光晕部的像素。具体而言，如果rj≥thh、gj≥thh、bj≥thh，则判定为是光晕像素。这里，thh为用于判定是否为光晕像素的各色的阈值，在本实施方式中，例如设定为thh＝200。当判定为第j个像素是光晕像素时，进入步骤S216，而当判定为第j个像素不是光晕像素时，进入步骤S214。

另外，在步骤S212和S213中，关于R图像、G图像和B图像的阈值thd和thh对于各个像素rj、gj和bj分别为相同的值，但是由于生物体粘膜总的来说具有R图像最明亮的倾向，因此例如也可以将针对rj的阈值设定为比针对gj和bj的阈值高。另外，也可以分别将针对rj、gj和bj的阈值设定为不的同值。

在步骤S214中进行val＝val+rj/(rj+gj+bj)和count＝count+1的运算。对用于求解色调特征量的总和的变量val加上色调特征量rj/(rj+gj+bj)，使变量count增加1。

另外，在步骤S215中，判定是否对全部像素进行了步骤S212到步骤S214的处理。具体而言，当j＜ISX×ISY时，在步骤S216中使用于确定像素的编号j加1(j＝j+1)，对下一个像素执行前述步骤S212到步骤S214。在j＝ISX×ISY时，即对全部像素进行了步骤S212到步骤S214的处理时，判定count是否比规定的阈值thc大(步骤S217)。阈值thc表示对于色调评价不充分的像素数，如果为该阈值thc以上的数量，则为存在充分数量的对色调评价有效的像素。在步骤S217中，在“是”的情况下，即存在充分数量的对色调评价有效的像素时，通过利用在平均色调特征量μi的计算中使用的像素数count除以色调特征量总和val，来计算平均色调特征量μi(步骤S218)。具体而言，μi＝val/count。以上，对管腔内图像中的除了暗部像素和光晕像素以外的像素，计算平均色调特征量μi。

在步骤S217中为“否”时，即不存在充分数量的对色调评价有效的像素时，该帧的图像为错误即异常图像(步骤S219)，使平均色调特征量μi例如为0(零)，在图32的步骤S204中判断为没有超过阈值Th。

下面对本实施方式的各种变形例进行说明。

关于第一变形例，在上述图32到图34中，根据各个帧的图像，进行胃食道接合部的通过、贲门部的通过等的判断，但是也可以当连续的多个图像、或者连续的多个图像中的规定比率(例如80％)以上的图像在步骤S4的判定结果为μi＞Th时，判断为胶囊内窥镜103通过了胃食道接合部等。

另外，关于第二变形例，虽然以上的说明是对连续的多个图像进行了处理，但是图32的处理也可以对特定的一幅图像进行。

另外，关于第三变形例，也可以计算连续的多个图像中的平均色调特征量μi的移动平均，根据该移动平均值是否超过规定的阈值，进行胶囊型内窥镜103是否通过胃食道接合部等的判定。例如，当m＝2，3，4，…且i＞＝m+1时(即从n幅图像中取出连续的m幅图像，此时(m+1)为i以下)，从连续的m幅的各图像取得的图像F(i-m)，根据Fi的平均色调特征量μi来计算移动平均值，判断该移动平均值是否超过规定的阈值。根据使用这样的移动平均的情况，即使是由于因观察距离、角度等的不同而导致的照明条件的变化而产生的红色强的食道内的图像等，也可以除去平均色调特征量的小的变化的影响，以更高的精度检测胶囊型内窥镜103是否通过胃食道接合部等。

另外，关于第四变形例，在以上的例子中，使用作为根据RGB的三个像素值算出的像素值的比率的R/(R+G+B)作为色调特征量，但是也可以采用其它参数。作为其它的色调特征量的参数，例如可以是G/(R+G+B)或者IHb(＝32log₂(R/G))、色相、彩度等。

另外，关于第五变形例，也可以采用多个色调特征量。例如在图32的步骤S203中，使用作为根据RGB的三个像素值算出的像素值的比率的R/(R+G+B)和G/(R+G+B)，计算它们的平均值即各个图像中的全部像素的色调特征量(R/(R+G+B))的平均值μ1i以及色调特征量(G/(R+G+B))的平均值μ2i。然后，也可以在步骤S204中判断平均值μ1i和平均值μ2i是否为μ1i＞Th1且μ2i＜Th2。

另外，关于第六变形例，也可以根据平均色调特征量的变化量，来检测胶囊型内窥镜103是否通过胃食道接合部等。即，不是判定从连续的一系列图像的各个图像获得的平均色调特征量是否超过规定的阈值，而是判定两幅图像的平均色调特征量的变化量是否超过规定的阈值。即，对于各个图像的平均色调特征量，也可以例如与前一个图像或者后一个图像的平均色调特征量进行比较，如果这两个平均色调特征量的差超过规定的阈值，则判定为例如胶囊型内窥镜103从食道进入了胃食道接合部、从胃食道接合部进入了胃等。判断图像F(i-m1)和图像Fi的平均色调特征量μ(i-m1)和μi的差分值(μi-μ(i-m1))是否发生了规定阈值以上的变化。m1为1，2，3…。

这是由于，由于粘膜颜色的个人差异、巴雷特食道等病变部的存在、摄像系统的偏差等原因，粘膜的色调并不总是恒定的，因此在不受这种个人差异等的影响的条件下，能够判定胶囊型内窥镜103是否通过了胃食道接合部等。

另外，此时也可以通过计算平均色调特征量的微分值来检测平均色调特征量的变化。

图35是表示通过计算该平均色调特征量的微分值来检测平均色调特征量的变化的处理流程的例子的流程图。

另外，各个图像的图像数据也如在图32的处理中说明的那样，在进行图35的处理之前实施逆Gamma校正、噪声除去等预处理。步骤S201到步骤S203的处理与图32的处理的步骤S201到步骤S203的处理相同。即，为了从最开始的帧开始进行处理，首先使帧编号i为1(步骤S201)。接着将帧编号i的图像Fi的图像数据从终端装置7的存储装置(未图示)读出(步骤S202)。根据读出的图像Fi的图像数据来计算平均色调特征量μi(步骤S203)。

判定是否对全部图像进行了处理，即是否完成了全部图像(步骤S221)，如果没有完成全部图像，在步骤S221中为“否”，使i＝i+1(步骤S207)，处理转入步骤S202。

当完成了全部图像时，在步骤S221中为“是”，对于所得到的多个平均色调特征量μi，为了平滑化而在规定的范围即连续的规定幅数的图像的范围内计算移动平均值f(μi)(步骤S222)。然后，根据移动平均值f(μi)的时间经过来计算微分值Δf(μi)(步骤S223)。

然后，确定检测与超过规定的阈值thf的微分值Δf(μi)对应的图像Fi(步骤S224)。步骤S3到S24构成检测消化道的边界部的检测部。

如上所述，能够在多个图像间检测出色调的变化量超过规定阈值的图像，因此即使存在粘膜颜色的个人差异等，也能够不受个人差异等的影响，来进行胶囊型内窥镜103是否通过胃食道接合部等的判定。

另外，关于第七变形例，也可以使用标准偏差或者离散值，而不使用色调特征量的平均值。

例如，图36是用于说明所得到的一系列内窥镜图像的色调特征量的标准偏差或者离散值的变化的曲线图。在图36中，横轴表示沿着从食道扁平上皮部经过胃食道接合部到胃而得到的内窥镜图像的时序的图像编号(帧编号)，纵轴表示与各个图像编号对应的内窥镜图像的色调特征量的标准偏差σi或者离散值vi。

由从被检者口部进入的胶囊型内窥镜103所得到的各个图像的色调如图33所示变化，计算得到的色调特征量R/(R+G+B)的标准偏差或离散值如图36所示变化。即，由于食道的扁平上皮部RA和圆柱上皮的胃部RC的图像的色调分别相同，因此色调特征量R/(R+G+B)的标准偏差σi或者离散值vi小，但是在它们之间的胃食道接合部RB中，该标准偏差σi或者离散值vi大。

因此，根据各个图像的色调特征量的标准偏差σi或者离散值vi，能够判定胶囊型内窥镜103是否将要通过胃食道接合部等。

此外也可以代替色调特征量的标准偏差σi或者离散值vi，而使用它们的变化系数(＝标准偏差σi/平均色调特征量μi)。

另外，关于第八变形例，虽然在以上说明的例子中使用各个帧的图像的全部像素的像素数据，但是也可以如图37所示，不以全部像素为处理对象，而仅对各个帧的规定区域内的像素进行采样而作为处理对象。图37是表示在各个帧的图像131中进行上述本实施方式和变形例中的图像处理的区域的例子的图。

将各个帧的图像131划分为规定的区域。在图37中，各个图像131被划分为16部分而使各个分割的区域为矩形，在该分割的区域中，仅对规定的区域(R2、R3、R5、R8、R9、R12、R14、R15)，即仅对关心区域(ROI)进行上述处理。特别是由于食道为管腔内脏器官，因此为了更准确地计算粘膜表面的色调，也可以除去视野的中央部来设定关心区域(ROI)。

因此，如果仅以关心区域(ROI)为处理对象，则能够减少运算量而实现处理的高速化。

另外，为了进一步实现处理的高速化，当仅以关心区域(ROI)为处理对象时，也可以不是对全部的帧进行处理，而是按照间隔k幅(k＝1，2，3，…)的每一帧，仅将关心区域(ROI)的像素作为处理对象。这是由于特别是在食道内，由于每秒拍摄的幅数多，因此即使有时进行间隔若干幅的间隔采样，也能够准确地进行判定。

如上所述，根据本实施方式(包含变形例)，能够根据管腔图像的色调特征量，来判定各个图像是否为胶囊型内窥镜将要进入胃食道接合部(EG接合部)时、或者正在通过胃食道接合部(EG接合部)时的图像。

另外，在本实施方式中，通过对算出的特征量应用阈值处理，来检测各个图像是否为胶囊型内窥镜将要进入胃食道接合部(EG接合部)时、或者正在通过胃食道接合部(EG接合部)时的图像，但是也可以使用例如公知的线性判段函数等识别函数来进行该检测。另外，也可以组合使用其它实施方式中的特征量。

(第五实施方式)

下面参照附图对第五实施方式的采用胶囊型内窥镜装置的贲门检测装置及其方法进行说明。在本实施方式中作为图像处理对象的内窥镜图像与第四实施方式同样，是由胶囊型内窥镜装置101获得的连续的一系列的内窥镜图像，因此贲门检测装置的结构与第四实施方式相同而省略说明。

在上述第四实施方式中使用色调特征量，但是本实施方式的管腔图像处理装置即贲门检测装置不同于第四实施方式的方面是，其使用各个图像的明暗信息，判定各个图像是否为胶囊型内窥镜通过胃食道接合部(EG接合部)等时的图像。

图38是用于说明所得到的一系列内窥镜图像中的明暗变化、具体而言是亮度变化的示意曲线图。在图38中，横轴表示沿着从食道扁平上皮部经过胃食道接合部到达胃所得到的内窥镜图像的时序的图像编号(帧编号)，纵轴表示与各个图像编号对应的内窥镜图像的亮度。

通过从被检者口部进入的胶囊型内窥镜103所得到的各个图像的亮度表示图像的明暗，如图38所示变化。即，食道的扁平上皮部RA和圆柱上皮的胃部RC中的亮度不同，进而在它们之间的胃食道接合部RB中的亮度与食道的扁平上皮部RA和圆柱上皮的胃部RC不同。如图38所示，例如在根据RGB的三个像素值算出的亮度中，食道扁平上皮部RA由于是比较狭窄的管腔内脏器官、距离粘膜壁的距离近，因此若除去暗部和光晕部，则平均亮度值大，而在胃部RC内相对地亮度小。在它们之间的胃食道接合部RB中，在食道这样的管腔内由于正面观察关闭的贲门部，所以亮度值比食道扁平上皮部RA大。

因此，当图像的明暗信息在逐渐变化的过程中超过规定的阈值Th1时，可以判定为正在通过胃食道接合部(EG接合部)、或将要进入胃食道接合部(EG接合部)等。即，根据所拍摄的图像中的明暗信息的差异，能够在胶囊型内窥镜103将要进入胃食道接合部(EG接合部)时、或者正在通过胃食道接合部(EG接合部)时进行关闭的贲门部的检测。具体而言，为了可靠地进行该通过等的判断，可以利用平均亮度值等作为明暗信息。

图39与图32同样，是表示根据所得到的一系列内窥镜图像在终端装置107中执行的在通过胃食道接合部时检测贲门部的处理流程的例子的流程图。图39的处理与图32的处理基本相同，从被检者口部进入后拍摄所得到的一系列内窥镜图像由多个帧构成，对各个帧进行图39的处理。另外，各个内窥镜图像的图像数据在实施图39的处理之前，进行逆Gamma校正、噪声除去等预处理。在图39中与图32相同的处理赋予相同的步骤编号而简化说明。另外，以下虽然以使用亮度值作为明暗信息的情况进行说明，但是在将G或B的像素数据值用作明暗信息的情况下，仅阈值数据不同以及判断像素数据是否低于阈值的情况不同，因此省略说明。

首先，为了从要实施图39的处理的一系列图像中的最开始的帧开始进行处理，使帧编号i为1(步骤S201)，接着从终端装置107的存储装置(未图示)读出帧编号为i的图像Fi的图像数据(步骤S202)。

根据读出的图像Fi的图像数据计算平均亮度值Ii(步骤S233)。平均亮度值Ii为各个图像中所含的全部像素的亮度值的平均值。这里，亮度值I如上所述为表示图像的明暗的特征量，例如通过亮度值I＝0.6R+0.3G+0.1B来进行计算。步骤S233构成对各个图像Fi根据全部像素的亮度值来计算平均亮度值作为明暗信息的特征量的特征量计算步骤或者特征量计算部。

接着判断平均亮度值Ii是否超过规定的阈值Th11(步骤S234)。

另外，通过对该阈值Th11的值进行调整，能够判定读出的图像Fi是否为在进入了胃食道接合部(EG接合部)的附近所拍摄的图像，或者是否为在胃食道接合部的中央部所拍摄的图像。

当在步骤S234中为“是”时，即平均亮度值Ii超过规定的阈值Th11时，判定为该图像Fi为胶囊型内窥镜103将要进入胃食道接合部(EG接合部)时、或者正在通过胃食道接合部(EG接合部)时拍摄的图像(步骤S205)。步骤S234和S205构成根据算出的平均亮度值Ii来检测消化道的边界部的边界部检测部、以及根据边界部即胃食道接合部的检测结果来判定管腔内图像为从食道到贲门部的部分的图像的判定部。

当在步骤S234中为“否”时，即平均亮度值Ii未超过规定的阈值Th11时，判定是否对全部需要实施图39的处理的一系列图像完成了图39的处理(步骤S206)，当全部完成时，在步骤S206中为“否”，结束处理。当在步骤S206中为“否”时，由于尚存未处理的图像，因而进行i＝i+1的处理(步骤S207)，此后重复进行步骤S202到S234的处理。步骤S233到S205构成检测消化道的边界部的检测部。

另外，在本实施方式中也是在步骤S205中，当明暗信息即平均亮度值Ii超过规定的阈值Th11时，判定为该图像Fi为胶囊型内窥镜103将要进入胃食道接合部(EG接合部)时、或者正在通过胃食道接合部(EG接合部)时拍摄的图像，换言之，能够判定为此后将要通过关闭的贲门部、或者将要到达胃内部。因此能够进行贲门部的检测。

下面说明在图39中说明的平均亮度值Ii的具体例子。

图40是表示对各个帧的图像实施的使用根据RGB的三个像素值算出的(0.6R+0.3G+0.1B)作为平均亮度值Ii时的图39的步骤S233的处理流程的例子的流程图。在图40的处理中，根据一帧的每个像素的RGB的三个各像素值rj、gj、bj来计算亮度值(0.6R+0.3G+0.1B)，从而算出平均亮度值Ii。

另外，由于图40包含与图34相同的处理步骤，因此对于相同的处理赋予相同的步骤编号而简化说明。j表示在各个帧的图像数据中用于确定像素的编号。

最初，设为j＝1，val1＝0，count1＝0(步骤S241)。其中，val1为用于求明暗特征量的总和的变量，count1为用于求在平均亮度值Ii的计算中使用的像素数的变量。

接下来在步骤S212中，判定第j个像素是否是属于暗部的像素。当判定为第j个像素是属于暗部的像素时进入步骤S216，而当判定为第j个像素是不属于暗部的像素时进入步骤S213。

接着在步骤S213中，判定第j个像素是否为非常明亮的像素即是否是属于光晕部的像素。当判定为第j个像素为光晕像素时进入步骤S216，而当判定为第j个像素不是光晕像素时进入步骤S244。

另外，在步骤S212和S213中，关于R图像、G图像和B图像的阈值thd和thh对于各个像素rj、gj和bj分别是相同的值，但是由于生物体粘膜总的来说具有R图像最为明亮的倾向，因此例如也可以将针对rj的阈值设定为比针对gj和bj的阈值高。另外，也可以将针对rj、gj和bj的阈值分别设定为不同的值。

在步骤S244中进行val1＝val1+(0.6rj+0.3gj+0.1bj)和count1＝count1+1的运算。对用于求明暗特征量的总和的变量val1加上明暗特征量即亮度值(0.6rj+0.3gj+0.1bj)，使变量count1增加1。

然后，在步骤S215中，判定是否对于全部像素进行了步骤S212到步骤S244的处理。当没有对全部像素进行了步骤S212到步骤S244的处理时，在步骤S216中，对用于确定像素的编号j加1(j＝j+1)，对下一个像素执行从所述步骤S212到步骤S244的处理。在对全部像素进行了从步骤S212到步骤S244的处理时，判定count1是否比规定的阈值thc大(步骤S217)。当存在充分数量的对明暗评价有效的像素时，用变量count1除以变量val1来计算平均亮度值Ii(步骤218)。具体而言，Ii＝val1/count1。

当不存在充分数量的对明暗评价有效的像素时，判断为该帧的图像为错误即异常图像(步骤S219)，使平均亮度值Ii例如为0(零)，在图39的步骤S234中，判断为没有超过阈值Th11。

另外，在以上的说明中，对贲门部关闭的情况进行了说明，但是对于打开的情况也能够适用本实施方式的处理，能够根据亮度值是否超过规定的阈值而检测贲门部。

下面对本实施方式的各种变形例进行说明。

关于第一变形例，在上述图39到图40中，根据各个帧的图像，进行胃食道接合部的通过、贲门部的通过等的判断，但也可以当连续的多个图像、或者连续的多个图像中的规定比率(例如80％)以上的图像在步骤S234的判定结果为Ii＞Th11时，判断为胶囊内窥镜103通过了胃食道接合部等。

另外，关于第二变形例，虽然以上的说明对连续的多个图像进行了处理，但是图39的处理也可以对特定的一幅图像进行。

另外，关于第三变形例，也可以计算连续的多个图像中的平均亮度值Ii的移动平均，根据该移动平均值是否超过规定的阈值，进行胶囊型内窥镜103是否通过胃食道接合部等的判定。例如，当m＝2，3，4，…且i＞＝m+1时(即从n幅图像中取出连续的m幅图像，此时(m+1)为i以下)，从连续的m幅的各图像取得的图像F(i-m)，根据Fi的平均亮度值来计算移动平均值，判断该移动平均值是否超过规定的阈值。根据使用这样的移动平均，即使是由于观察距离、角度等的不同引起的照明条件的变化而产生的红色强的食道内的图像等，也可以除去平均亮度值的小的变化的影响，以更高的精度检测胶囊型内窥镜103的胃食道接合部的通过等。

另外，关于第四变形例，在以上的例子中，对于明暗特征量，也可以替代根据上述的RGB的三个像素值计算出的亮度，而使用G或B的像素数据。

图41是表示用于说明代替根据上述的RGB的三个像素值计算出的亮度而使用G或B的像素数据作为图像的明暗信息时的一系列内窥镜图像中的G或B的像素数据的变化的示意曲线图。在图41中，横轴表示沿着从食道扁平上皮部经过胃食道接合部到达胃所得到的内窥镜图像的时序的图像编号(帧编号)，纵轴表示与各个图像编号对应的内窥镜图像的G或B的像素数据值。

即，如图41所示，在食道的扁平上皮部RA和圆柱上皮的胃部RC中，G或B的像素数据值不同，进而在它们之间的胃食道接合部RB，G或B的像素数据值与食道的扁平上皮部RA和圆柱上皮的胃部RC不同。具体而言，在胃食道接合部RB，从像素数据值大的白色调的食道的扁平上皮部RA，到像素数据值小的圆柱上皮和胃底腺粘膜的胃部RC，G或B的像素数据值逐渐降低。

因此，当图像的明暗信息在逐渐变化的过程中低于规定的阈值Th12时，判定为胶囊型内窥镜103正在通过胃食道接合部(EG接合部)、或者将要进入胃食道接合部(EG接合部)等。即，根据拍摄的图像的明暗信息的不同，判定胶囊型内窥镜103的胃食道接合部的通过等。具体而言，为了可靠地进行该通过等的判断，可以采用G或B的像素数据值的平均值等作为明暗信息。

另外，关于第五变形例，也可以采用多个明暗信息。例如在图39的步骤S233中，使用根据RGB的三个像素值算出的像素的亮度值和G的像素数据，计算它们的平均值即各个图像中的全部像素的平均亮度值I1i以及G的像素数据的平均值I2i。然后，也可以在步骤S234中，判断平均亮度值I1i以及G的像素数据的平均值I2i是否为I1i＞Th13且I2i＜Th14。

另外，关于第六变形例，也可以根据明暗信息的变化量，来检测胶囊型内窥镜103的胃食道接合部的通过等。即，也可以不是判定从连续的一系列图像的各个图像获得的明暗信息是否超过规定的阈值，而是判定连续的两幅图像的明暗信息的变化量是否超过规定的阈值。即，也可以对于各个图像的明暗信息，例如与前一个图像或者后一个图像的平均亮度值进行比较，如果这两个平均亮度值的差超过规定的阈值，则进行例如胶囊型内窥镜103从食道进入了胃食道接合部、从胃食道接合部进入了胃等的判定。判断图像F(i-m1)和图像Fi的平均亮度值I(i-m1)与Ii的差分值(Ii-I(i-m1))是否发生了规定阈值以上的变化。m1为1，2，3…。

这是由于粘膜颜色的个人差异、巴雷特食道等病变部的存在、摄像系统的偏差等原因，粘膜的色调并不总是恒定的，因此在不受这种个人差异等的影响的条件下，能够判定胶囊型内窥镜103是否通过了胃食道接合部等。

另外，此时也可以通过计算平均亮度值的微分值来检测明暗信息的变化。

图42是表示通过计算该平均亮度值的微分值来检测明暗变化的处理流程的例子的流程图。由于是与图35相同的处理，因此赋予相同的步骤编号而简化说明。

另外，各个图像的图像数据也如在图39的处理中说明的那样，在进行图42的处理之前实施逆Gamma校正、噪声除去等预处理。步骤S201到步骤S233的处理与图39的处理的步骤S201到步骤S233的处理相同。

判定是否对全部图像进行了处理，即是否完成了全部图像(步骤S221)，如果没有完成全部图像，则在步骤S221中为“否”，使i＝i+1(步骤S207)，处理转入步骤S202。

当完成了全部图像时，在步骤S221中为“是”，对于所得到的多个平均亮度值Ii，为了平滑化而在规定的范围即连续的规定幅数的图像的范围内计算移动平均值f(Ii)(步骤S252)。然后，根据移动平均值f(Ii)的时间经过来计算微分值Δf(Ii)(步骤S253)。

然后，确定检测与超过规定的阈值thf1的微分值Δf(Ii)对应的图像Fi(步骤S254)。步骤S233到S254构成检测消化道的边界部的检测部。

如上所述，能够在多个图像间检测明暗的变化量超过规定阈值的图像，因此即使存在粘膜颜色的个人差异等，也能够不受个人差异等的影响，来进行胶囊型内窥镜103的胃食道接合部的通过等的判定。

另外，关于第七变形例，也可以根据明暗的分布来检测关闭状态的贲门部。例如也可以不使用明暗信息的平均值，而是与第四实施方式同样，使用标准偏差或者离散值。根据所得到的一系列内窥镜图像中的明暗信息的标准偏差或者离散值，能够判定胶囊型内窥镜103将要通过胃食道接合部等。具体而言，求出R图像数据的明暗的标准偏差，如果该标准偏差比规定的阈值小，则判定为正面观察关闭的贲门部。这是由于在正面观察关闭状态的贲门部时的图像的明暗比较均匀。另外，也可以代替平均亮度值的标准偏差或离散值，而采用它们的变化系数(＝标准偏差/平均亮度值)。

另外，关于第八变形例，虽然在以上说明的例子中使用各个帧的图像的全部像素的像素数据，但是如第四实施方式的根据图37所说明的那样，也可以不以全部像素为处理对象，而仅对各个帧的规定区域内的像素进行采样而作为处理对象。图37是表示在各个帧的图像中进行上述本实施方式和变形例中的图像处理的区域的例子的图。

将各个帧的图像划分为规定的区域。在图37中，各个图像被划分为16部分而使各个分割的区域为矩形，在该分割的区域中，仅对预先设定的区域(R2、R3、R5、R8、R9、R12、R14、R15)，即仅对关心区域(ROI)进行上述处理。特别是由于食道为管腔内脏器官，因此为了更准确地计算粘膜表面的色调，可以除去些许视野的中央部来设定关心区域(ROI)。

因此，如果仅以关心区域(ROI)为处理对象，则能够减少运算量而实现处理的高速化。

另外，为了进一步实现处理的高速化，当仅以关心区域(ROI)为处理对象时，也可以不是对全部的帧进行处理，而是针对间隔k幅(k＝1，2，3，…)的每一帧，仅将关心区域(ROI)的像素作为处理对象。这是由于特别是在食道内由于每秒拍摄的幅数多，因此即使有时进行间隔若干幅的间隔采样，也能够准确地进行判定。

如上所述，根据本实施方式(包含变形例)，能够根据图像的明暗信息，来判定各个图像是否为胶囊型内窥镜将要进入胃食道接合部(EG接合部)时、或者正在通过胃食道接合部(EG接合部)等时的图像。

另外，在本实施方式中，通过对算出的特征量应用阈值处理，来检测各个图像是否为胶囊型内窥镜将要进入胃食道接合部(EG接合部)时、或者正在通过胃食道接合部(EG接合部)时的图像，但是也可以使用例如公知的线性判别函数等识别函数来进行该检测。另外，也可以组合使用其它实施方式中的特征量。

(第六实施方式)

下面参照附图对第六实施方式的采用胶囊型内窥镜装置的贲门检测装置及其方法进行说明。在本实施方式中作为图像处理对象的内窥镜图像与第四实施方式同样，是由胶囊型内窥镜装置101获得的连续的一系列的内窥镜图像，因此贲门检测装置的结构与第四实施方式相同而省略说明。

在上述第四实施方式中使用色调特征量，但是本实施方式的管腔图像处理装置即贲门检测装置的特征在于，通过进行打开状态的贲门部的检测，判定各个图像是否为当胶囊型内窥镜处于从食道朝向胃的贲门部的近前侧的附近处等时的图像。

图43是表示胶囊型内窥镜103位于打开的贲门部的近前侧时的图像的例子的图。

当胶囊型内窥镜103在管腔内，拍摄打开的贲门部时，在打开的贲门部中，与周边部相比亮度显著降低。如图43所示，当贲门部132打开着时，在胶囊型内窥镜103拍摄的图像131中，打开的贲门部132成为暗部区域。因此，随着胶囊型内窥镜103从食道通过胃食道接合部(EG接合部)而接近贲门，图像131中的贲门部132的面积增大。本实施方式中，当打开的贲门部区域的面积超过规定大小时，则判定为胶囊型内窥镜103从胃的食道侧将要通过贲门部。

图44表示根据所得到的一系列内窥镜图像，进行打开的贲门部的检测的处理流程的例子的流程图。从被检者口部进入后拍摄得到的一系列的内窥镜图像由多个帧构成，对各个帧进行图44的处理。另外，各个内窥镜图像的图像数据在实施图44的处理之前，进行逆Gamma校正、噪声除去等预处理。

为了从需要实施图44的处理的一系列图像中的最开始的帧开始进行处理，首先使帧编号i为1(步骤S261)。i为1到n的整数。

接着从终端装置7的存储装置(未图示)读出帧编号为i的图像Fi的R图像数据(步骤S262)。图像Fi由RGB的三个平面构成。这里，仅读出R图像数据。

另外，这里为了后述的贲门部的判定而读出R图像数据，但是也可以使用图像Fi的G图像数据或者B图像数据。

对读出的图像Fi的R图像数据的全部像素，实施暗部像素的2值化处理(步骤S263)。具体而言，对各个像素的像素值，与规定的阈值Th2进行比较而实施2值化处理，并且使暗部像素为1而使除此之外的像素为0(零)。如果使j为用于在各个帧的图像数据中确定像素的编号，则通过检查各个像素的值rj是否小于阈值Th2，从而使小于阈值Th2的像素为1，使除此之外的像素为0(零)。

下面计算暗部像素相对于全部像素的比率ε(步骤S264)。换言之比率ε为图像中的暗部的面积比率。具体而言，对通过步骤S263的2值化处理而成为暗部像素的像素数进行计数，将该数除以R图像数据的全部像素数，从而算出比率ε。如果设暗部像素数为p1，设图像Fi的尺寸为ISX×ISY，则比率ε为p1/(ISX×ISY)。步骤S264构成对各个图像Fi计算暗部像素的比率的暗部比率计算步骤或者暗部比率计算部。

然后，对暗部像素的比率ε和规定的阈值Thr进行比较，判断暗部像素的比率ε是否超过规定的阈值Thr(步骤S265)。阈值Thr例如为0.8。

当在步骤S265中为“是”时，即整个图像超过80％为暗部时，判定为检测到打开的贲门部(步骤S266)，结束处理。

当在步骤S265中为“否”时，即暗部为整个图像的80％以下时则判定为不是贲门(步骤S267)，判定是否对全部需要实施图44的处理的一系列图像完成了图44的处理(步骤S268)，当全部完成时，在步骤S268中为“是”，结束处理。当在步骤S268中为“否”时，由于尚存未处理的图像，因此进行i＝i+1的处理(步骤S269)，此后对下一个图像重复进行步骤S262到S265的处理。

另外，在步骤S266中，当暗部像素的比率ε超过规定的阈值Thr时，则判定为检测到打开的贲门部，换言之，能够判定为此后将通过贲门部，或者将要到达胃内部。步骤S263到S266构成检测消化道的边界部的检测部。

下面对本实施方式的各种变形例进行说明。

在上述例子中，为了贲门部的判定，仅读出R图像数据，但是还可以读出G图像数据或者B图像数据，或者读出G图像数据和B图像数据，对两个以上的图像数据进行暗部像素的2值化处理，当两个以上的图像数据中的暗部像素的比率ε全部超过规定的阈值Thr时，判定为检测到贲门部。

另外，关于第二变形例，在上述图44中，根据各个帧的图像来检测贲门部，但是也可以当连续的多个图像或者连续的多个图像中的规定比率(例如80％)以上的图像的步骤S265的判定结果为ε＞Thr时，判定为检测到贲门部。

关于第三变形例，虽然以上的说明对连续的多个图像进行了处理，但是图44的处理也可以对一幅图像进行。

另外，关于第四变形例，也可以不是计算暗部像素相对于全部像素的比率ε，而是对非暗部的像素、在上述例子中是不小于阈值Th2的像素P0的总数进行计数，将该数除以全部像素数，计算非暗部的像素的比率ε1，或者计算非暗部像素数p0相对于暗部像素数p1的比率(p0/p1。其中，p1不为0(零))等，进行贲门检测的判定。

另外，关于第五变形例，能够根据检测贲门部时的胶囊型内窥镜103与贲门之间的距离来改变阈值Thr。换言之，可以根据希望检测贲门部时的胶囊型内窥镜103与贲门之间的距离而改变阈值Thr。例如使Thr为0.5，从而与上述的Thr为0.8时相比，能够更早地检测到贲门。

如上所述，根据本实施方式，能够根据图像中的暗部的面积来检测打开的贲门部。

另外，在本实施方式中，通过对算出的特征量应用阈值处理，来检测打开的贲门部，但是也可以使用例如公知的线性判别函数等识别函数来进行该检测。另外，也可以组合使用其它实施方式中的特征量。

(第七实施方式)

下面参照附图对本发明第七实施方式的采用胶囊型内窥镜装置的贲门检测装置及其方法进行说明。在本实施方式中的特征在于，根据形状来检测打开的贲门部。在本实施方式中作为图像处理对象的内窥镜图像与第四实施方式同样，是由胶囊型内窥镜装置101获得的连续的一系列的内窥镜图像，因此贲门检测装置的结构与第四实施方式相同而省略说明。

本实施方式的管腔图像处理装置即贲门检测装置的特征在于，通过检测打开状态的贲门部的形状，来判定各个图像是否为当从食道朝向胃的胶囊型内窥镜处于贲门部的近前侧附近等时的图像。

图45是表示胶囊型内窥镜103通过打开的贲门部时的图像的例子的图。在图像131A内包含有作为暗部图像的打开的贲门部132A。

图46是表示根据所得到的一系列内窥镜图像来检测打开的贲门部的处理流程的例子的流程图。从被检者口部进入后拍摄得到的一系列的内窥镜图像由多个帧构成，对各个帧进行图46的处理。另外，各个内窥镜图像的图像数据在实施图46的处理之前，进行逆Gamma校正、噪声除去等预处理。

为了从需要实施图46的处理的一系列图像中的最开始的帧开始进行处理，首先使帧编号i为1(步骤S271)。i为1到n的整数。

接着从终端装置7的存储装置(未图示)读出帧编号为i的图像Fi的R图像数据(步骤S272)。图像Fi由RGB的三个平面构成，这里仅读出R图像数据。

对读出的图像Fi的R图像数据实施带通滤波处理(步骤S273)。带通滤波处理可以通过使用公知的数字滤波器的卷积处理或者在傅立叶面上进行应用。

带通滤波器的特性例如具有图47所示的特性。图47是表示带通滤波处理中的滤波器特性的图。该滤波器特性如图47所示，由于不易受到血管等细微的边缘成分的影响，所以具有在稍低的频带中通过成分多的特性。滤波器特性例如在空间频率从0(零)到π(rad)的频率中，在π/4频率上具有通过特性的峰值(1.0)。

下面对带通滤波处理的处理结果图像使用阈值实施边缘成分的2值化处理(步骤S274)。2值化处理例如使规定的阈值Th3为10.0，提取具有比该阈值Th3大的变化的边缘成分。使具有比阈值Th3大的变化的边缘成分的像素为1，除此之外的像素为0(零)。如果使j为用于在各个帧的图像数据中确定像素的编号，则通过检查各个像素的边缘成分是否超过阈值Th3，从而使超过阈值Th3的像素rj为1，使除此之外的像素为0(零)。如上所述在图像中包含贲门部的情况下，由于该图像具有急剧的明暗变化，因此通过将阈值Th3设定为较大的值，能够排除其它边缘成分例如由粘膜的变形所引起的褶皱等。

然后，通过判定提取的边缘成分的图像是否为因贲门所产生的图像的贲门判定处理，判定是否为贲门(步骤S275)。在本实施方式中，使提取的边缘成分细线化，将与近似圆的一致度作为评价值，根据边缘成分是否为大致圆形，能够判定是否为贲门。边缘成分是否为大致圆形可以通过半变换处理来进行判定。

图48是表示对图45的图像实施规定的带通滤波和2值化处理的结果的图像的例子的图。如图48所示，打开的贲门部具有大致圆形的形状132B。因此，对图48的边缘成分图像131B实施半变换等，判定边缘成分132B是否为圆形。

根据贲门判定处理的结果，当为贲门时，在步骤S275中为“是”，判定为检测出贲门部(步骤S276)，结束处理。

当在步骤S275中为“否”时，即在不是贲门时判定为不是贲门(步骤S277)，判断是否对全部需要实施图46的处理的一系列图像完成了图46的处理(步骤S278)，当全部完成时，在步骤S278中为“是”，结束处理。当在步骤S278中为“否”时，由于尚存未处理的图像，进行i＝i+1的处理(步骤S279)，此后对下一个图像重复进行步骤S272到S274的处理。步骤S273到S276构成特征量计算部、检测消化道的边界部的检测部。

下面对本实施方式中的各种变形例进行说明。

在上述例子中，为了进行贲门部的判定，仅读出R图像数据，但是还可以读出G图像数据或者B图像数据，或者读出G图像数据和B图像数据，对两个以上的图像数据进行暗部像素的2值化处理，当两个以上的图像数据中的暗部像素的形状为圆形时，判定为检测出贲门部。

另外，关于第二变形例，在上述图46中根据各个帧的图像来检测贲门部，但是也可以在连续的多个图像或者连续的多个图像中的规定比率(例如80％)以上的图像中的暗部像素的形状为圆形时，判定为检测出贲门部。

关于第三变形例，虽然以上的说明对连续的多个图像进行了处理，但是图46的处理也可以对一幅图像进行。

如上所述，根据本实施方式，能够根据图像中的打开的贲门部的形状来检测贲门部。

另外，在本实施方式中，通过对算出的特征量应用阈值处理，来检测打开的贲门部，但是也可以使用例如公知的线性判别函数等识别函数来进行该检测。另外，也可以组合使用其它实施方式中的特征量。

(第八实施方式)

下面参照附图对本发明第八实施方式的采用胶囊型内窥镜装置的贲门检测装置及其方法进行说明。本实施方式中的特征在于，在根据形状来检测打开的贲门部时，利用暗部区域的边界检测和在第七实施方式中说明的边缘检测双方，来判定拍摄到的图像中是否有打开的贲门部。在本实施方式中作为图像处理对象的内窥镜图像与第四实施方式同样，是由胶囊型内窥镜装置1获得的连续的一系列的内窥镜图像，因此管腔图像处理装置即贲门检测装置的结构与第四实施方式相同而省略说明。

图49是表示根据所得到的一系列内窥镜图像，来进行贲门部的检测的处理流程的例子的流程图。从被检者口部进入后拍摄所得到的一系列的内窥镜图像由多个帧构成，对各个帧进行图49的处理。另外，各个内窥镜图像的图像数据在实施图49的处理之前，进行逆Gamma校正、噪声除去等预处理。

为了从需要实施图49的处理的一系列图像中的最开始的帧开始进行处理，首先使帧编号i为1(步骤S281)。i为1到n的整数。

接着从终端装置7的存储装置(未图示)读出帧编号为i的图像Fi的R图像数据(步骤S282)。图像Fi由RGB的三个平面构成，这里，仅读出R图像数据。

对读出的图像Fi的R图像数据的全部像素，实施暗部像素的2值化处理(步骤S283)。具体而言，将各个像素的像素值与规定的阈值Th2进行比较而实施2值化处理，并且使暗部像素为1而使此外的像素为0(零)。如果使j为用于在各个帧的图像数据中确定像素的编号，则通过检查各个像素的值rj是否低于阈值Th2，而使低于阈值Th2的像素为1，使此外的像素为0(零)。

接着，提取出被提取出的暗部区域的边界，换言之进行提取边缘的边界提取处理(步骤S284)。边界提取处理例如使值为1的像素(暗部像素)为关注像素，设定以该关注像素为中心的3×3尺寸的遮蔽(mask)区域，当在遮蔽区域内的8个像素中至少有1个值为0(零)的像素时，将该关注像素作为边界像素而使其值为1来进行处理。步骤S284构成对各个图像Fi提取暗部像素的边界的暗部边界提取步骤或者暗部边界提取部。对全部的暗部像素实施该边界提取处理。图50表示提取的边界的图像。在图50的图像131C中，当进行了边界提取后，形成沿着打开的贲门部的边界的大致圆形的形状132C。

接着，对读出的图像Fi的R图像数据实施带通滤波处理(步骤S285)。带通滤波处理可以如同在第七实施方式中说明的那样，通过使用公知的数字滤波器的卷积处理或者在傅立叶面上进行应用。

这里，带通滤波器的特性例如具有上述图47所示的特性，为了不易受到血管等细微的边缘成分的影响，具有在稍低的频带中通过成分多的特性。

下面对带通滤波处理的处理结果图像，使用阈值实施边缘成分的2值化处理(步骤S286)。该2值化处理也如同在第七实施方式中说明的那样，例如提取具有比规定的阈值Th3大的变化的边缘成分。使作为边缘成分提取出的像素为1，此外的像素为0(零)。如果使j为用于在各个帧的图像数据中确定像素的编号，则通过检查各个像素的边缘成分是否超过阈值Th3，而使超过阈值Th3的像素rj为1，使此外的像素为0(零)。如上所述在图像中包含有贲门部的情况下，由于该图像具有急剧的明暗变化，因此通过将阈值Th3设定为较高值，能够排除其它边缘成分例如由粘膜的变形所引起的褶皱等。另外，为了不易受到暗部边界的检测偏差的影响，也可以对提取出的像素进行膨胀处理。

然后，计算在步骤S284中提取出的边界像素与在步骤S286中作为边缘成分提取出的边缘成分提取像素之间的一致度(步骤S287)。具体而言，例如对于各个提取出的边界像素ek1(k1＝1，2，3，…，K。K是被检测为边界像素的像素的总数。)，判定图像上的相同坐标的像素是否为也被作为边缘成分像素而提取出，对作为边界像素ek1且也被作为边缘成分像素而提取出的像素的个数n1进行计数。该判定例如通过取边界像素ek1与图像上的相同坐标的像素的边缘成分的“与”值(AND)来进行。另外，计算该个数n1相对于边界像素的总数K的比率(n1/K)。

接着，根据表示边界像素与边缘成分提取像素之间的一致度的比率(n1/K)，判断图像是否包含贲门部(步骤S288)。图51是表示对处理对象图像实施规定的带通滤波和2值化处理的结果的图像的例子的图。打开的贲门部具有大致圆形的形状32B，而在图51中圆的一部分上有缺口。此时，计算图50的暗部区域的边界部分与图51的边缘部分的比率，判定是否为贲门。

根据贲门判定处理的结果，当为贲门时，在步骤S288中为“是”，判定为检测出贲门部(步骤S289)，结束处理。具体而言，当比率(n1/K)超过规定的阈值the时，在步骤S288中为“是”，判定为贲门(步骤S289)，结束处理。

在步骤S288中为“否”时，即比率(n1/K)未超过规定的阈值the时则判定为不是贲门(步骤S290)，判定是否对需要实施图49的处理的一系列图像的全部完成了图49的处理(步骤S291)，当全部完成时，在步骤S291中为“是”，结束处理。当在步骤S291中为“否”时，由于尚存未处理的图像，进行i＝i+1的处理(步骤S292)，此后对下一个图像重复进行步骤S282到S288的处理。步骤S283到S289构成特征量计算部、检测消化道的边界部的检测部。

下面对本实施方式中的各种变形例进行说明。

在上述例子中，为了进行贲门部的判定，仅读出R图像数据，但是还可以读出G图像数据或者B图像数据，或者读出G图像数据和B图像数据，对两个以上的图像数据进行暗部像素的2值化处理，当两个以上的图像数据中的一致度超过规定的阈值时，判定为检测出贲门部。

另外，关于第二变形例，在上述图49中，根据各个帧的图像来检测贲门部，但是也可以当在连续的多个图像或者连续的多个图像中的规定比率(例如80％)以上的图像中一致度超过规定的阈值时，判定为检测出贲门部。

关于第三变形例，虽然以上的说明对连续的多个图像进行了处理，但是图49的处理也可以对一幅图像进行。

根据本实施方式，判断作为暗部提取出的区域是否伴随大的边缘，从而能够高精度地进行贲门判定。

另外，即使当贲门部处于未打开成圆形的状态时，或者胶囊型内窥镜3距离贲门的距离远，贲门部为远景像时，也能够高精度地进行贲门判定。

另外，在本实施方式中，通过对算出的特征量应用阈值处理，来检测打开的贲门部，但是也可以使用例如公知的线性判别函数等识别函数来进行该检测。另外，也可以组合使用其它实施方式中的特征量。

(第九实施方式)

下面参照附图对第九实施方式的采用胶囊型内窥镜装置的贲门检测装置及其方法进行说明。在本实施方式中的特征在于，在根据形状来检测贲门部时，利用暗部区域的重心检测和在第七实施方式中说明的边缘检测双方，来判定拍摄所得到的图像中是否有打开的贲门部。在本实施方式中作为图像处理对象的内窥镜图像与第四实施方式同样，是由胶囊型内窥镜装置101获得的连续的一系列的内窥镜图像，因此管腔图像处理装置即贲门检测装置的结构与第四实施方式相同而省略说明。

另外，对于和第八实施方式相同的处理步骤，赋予相同的步骤编号而简化说明。

图52是表示根据所得到的一系列内窥镜图像，来进行贲门部的检测的处理流程的例子的流程图。另外，在图52中，对于和第八实施方式相同的处理步骤，赋予相同的步骤编号而简化说明。

从被检者口部进入后拍摄所得到的一系列的内窥镜图像由多个帧构成，对各个帧进行图52的处理。另外，各个内窥镜图像的图像数据在实施图52的处理之前，进行逆Gamma校正、噪声除去等预处理。

为了从需要实施图52的处理的一系列图像中的最开始的帧开始进行处理，首先使帧编号i为1(步骤S281)。i为1到n的整数。

接着从终端装置7的存储装置(未图示)读出帧编号为i的图像Fi的R图像数据(步骤S282)。

对读出的图像Fi的R图像数据的全部像素实施暗部像素的2值化处理(步骤S283)。具体而言，将各个像素的像素值与规定的阈值Th2进行比较而实施2值化处理，使暗部像素为1而使此外的像素为0(零)。如果使j为用于在各个帧的图像数据中确定像素的编号，则通过检查各个像素的值rj是否低于阈值Th2，从而使低于阈值Th2的像素为1，使此外的像素为0(零)。

下面根据通过2值化处理检测出的暗部区域的坐标数据，计算暗部区域的重心坐标(步骤S301)。步骤S301构成对图像Fi计算暗部区域的重心坐标的暗部区域重心坐标计算步骤或者暗部区域重心坐标计算部。图53是表示通过暗部区域重心坐标计算处理算出的重心位置的图。在图53的图像131E中，大致圆形的打开的贲门部的暗部区域132E的重心132Ec被示出于算出的重心坐标的位置上。

接着，如同在第八实施方式中说明的那样，对读出的图像Fi的R图像数据实施带通滤波处理(步骤S285)，并且对带通滤波处理的处理结果图像使用阈值来实施边缘成分的2值化处理(步骤S286)。

然后，进行判定步骤S286中提取出的边缘成分的像素是否以包围暗部区域的形式存在的全周性的评价(步骤S307)。具体而言，如图54所示，检查从算出的重心坐标132Ec放射状延伸的规定的方向是否透过提取出的边缘成分像素。图54是用于说明全周性的评价的图。在图54所示的例子中，若对从重心坐标132Ec延伸的放射状的多条线132Ed中与边缘成分像素交叉的线段的数量(以下称为交叉数)m2进行计数，则由于在8个方向中132Ed线与7个边缘成分交叉或者透过边缘成分，因此交叉数m2为7。

接着，根据交叉数m2，判断图像是否含有贲门部(步骤288)。如图54所示，即使在边缘成分像素描绘的圆的一部分上有缺口，当交叉数m2相对于多条线132Ed的数m3的比率(m2/m3)超过规定的阈值Thm时，判定为图像含有贲门部。换言之，根据从图53的暗部区域的重心位置放射状延伸的多条线段与图54的边缘成分像素交叉的比率(m2/m3)，来判定是否为贲门。

当交叉数m2相对于多条线段132Ed的数m3的比率超过规定的阈值Thm时，在步骤S288中为“是”，判定为检测出贲门部(步骤S289)，结束处理。具体而言，当表示全周性的评价值的比率(m2/m3)超过规定的阈值thm例如0.7时，在步骤S288中为“是”，判定为贲门(步骤S289)，结束处理。

在步骤S288中为“否”时，即比率(m2/m3)没有超过规定的阈值thm时判定为不是贲门(步骤S290)，判定是否对需要实施图52的处理的一系列图像的全部完成了图52的处理(步骤S291)，当全部完成时，在步骤S291中为“是”，结束处理。当在步骤S291中为“否”时，由于尚存未处理的图像，进行i＝i+1的处理(步骤S292)，此后对下一个图像重复进行图52的步骤S282到S288的处理。步骤S283到S289构成特征量计算部、检测消化道的边界部的检测部。

下面对本实施方式中的各种变形例进行说明。

在上述例子中，为了进行贲门部的判定，仅读出R图像数据，但是还可以读出G图像数据或者B图像数据，或者读出G图像数据和B图像数据，对两个以上的图像数据进行暗部像素的2值化处理，当两个以上的图像数据中的全周性的评价值超过规定的阈值时，判定为检测出贲门部。

另外，关于第二变形例，在上述图52中，根据各个帧的图像来检测贲门部，但是也可以当在连续的多个图像或者连续的多个图像中的规定比率(例如80％)以上的图像中全周性的评价值超过规定的阈值时，判定为检测出贲门部。

关于第三变形例，虽然以上的说明对连续的多个图像进行了处理，但是图52的处理也可以对一幅图像进行。

关于第四变形例，也可以根据在规定的多个区域内的几个区域或者某种比率的区域中是否存在边缘成分图像，来进行全周性的评价。图55是用于说明根据区域的比率来进行第四变形例的全周性的评价的情况的图。例如图55所示，以求出的重心132Ec为中心，例如划分为八个区域即0度到45度、45度到90度、90度到135度、135度到180度、180度到225度、225度到270度、270度到315度、315度到360度这八个。然后，也可以判定在该各区域中是否含有在步骤S286中获得的边缘成分像素，当含有边缘成分像素132G的区域数为规定的阈值以上时，判定为检测出贲门部。在图56中示出了在以斜线表示的六个区域内存在边缘成分像素的情况。当阈值为6时，在图55的情况下，判定为检测出贲门部。

另外，也可以不根据区域数，而是根据边缘成分像素存在的角度范围，判定为检测出贲门部。例如图56所示，也可以求出在重心132Ec的周围边缘成分像素存在的角度范围θ，根据该角度范围θ是否为规定的阈值例如270度以上，而判定为检测出贲门部。图56是用于进一步说明根据角度范围来进行全周性的评价的情况的图。另外，当存在多个边缘成分像素的线时，也可以将最大角度范围的边缘成分像素与规定的阈值进行比较来判定为检测出贲门部。

如上所述，在暗部区域的2值化处理中，边界的位置根据阈值孔2而变化，根据本实施方式，即使存在这样的边界位置的变化，也能够不受该变化的影响，而高精度地进行贲门判定。

另外，当贲门部处于未打开成圆形的状态时，或者胶囊型内窥镜3距离贲门的距离远，贲门部为远景像时，也能够高精度地进行贲门判定。

另外，在本实施方式中，通过对算出的特征量应用阈值处理，来检测打开的贲门部，但是也可以使用例如公知的线性判别函数等识别函数来进行该检测。另外，也可以组合使用其它实施方式中的特征量。

(第十实施方式)

下面参照附图对第十实施方式的采用胶囊型内窥镜装置的贲门检测装置及其方法进行说明。在本实施方式中作为图像处理对象的内窥镜图像与第四实施方式同样，是由胶囊型内窥镜装置101获得的连续的一系列的内窥镜图像，因此管腔图像处理装置即贲门检测装置的结构与第四实施方式相同而省略说明。

在上述第六实施方式到第九实施方式中，虽然是检测打开状态的贲门部的情况，但是有时也存在贲门部关闭的状态。本实施方式的贲门检测装置的特征在于，通过检测关闭状态的贲门部，判定各个图像是否为当从食道朝向胃的胶囊型内窥镜处于贲门部的近前侧附近等时的图像。

图57是表示胶囊型内窥镜103处于关闭的贲门部的近前侧时的图像的例子的图。

当胶囊型内窥镜103在管腔内对关闭的贲门部进行拍摄时，由于贲门部关闭，所以在拍摄所得到的图像中不存在明确的暗部区域，并且由于在食道的末端正面观察贲门部的周边，所以画面内的明暗为比较均匀的状态。本实施方式中，当关闭的贲门部区域的面积未达到规定大小时，判定为检测出关闭的贲门部。

图58是表示根据所得到的一系列内窥镜图像来检测关闭的贲门部的处理流程的例子的流程图。从被检者口部进入后拍摄所得到的一系列的内窥镜图像由多个帧构成，对各个帧进行图58的处理。另外，各个内窥镜图像的图像数据在实施图58的处理之前，进行逆Gamma校正、噪声除去等预处理。另外，由于图58的处理包含与图44的处理相同的处理步骤，因此对于和图44相同的处理赋予相同的步骤编号而简化说明。

为了从需要实施图58的处理的一系列图像中的最开始的帧开始进行处理，首先使帧编号i为1(步骤S261)。i为1到n的整数。

接着从终端装置7的存储装置(未图示)读出帧编号为i的图像Fi的R图像数据(步骤S262)。图像Fi由RGB的三个平面构成，而这里仅读出R图像数据。

另外，这里为了进行后述的贲门部的判定而读出R图像数据，但是也可以使用图像Fi的G图像数据或者B图像数据。

对读出的图像Fi的R图像数据的全部像素实施暗部像素的2值化处理(步骤S263)。具体而言，将各个像素的像素值与规定的阈值Th2进行比较而实施2值化处理，并且使暗部像素为1而使此外的像素为0(零)。如果使j为用于在各个帧的图像数据中确定像素的编号，则通过检查各个像素的值rj是否低于阈值Th2，而使低于阈值Th2的像素为1，使此外的像素为0(零)。

下面通过对暗部像素的多个区域进行标示处理，来进行标示并确定其中最大面积D的暗部区域(步骤S314)。步骤S314构成确定各个图像Fi的最大面积D的暗部区域的最大暗部区域确定步骤或者最大暗部区域确定部。在图57中，在图像132I中示出了最大面积D的暗部区域132I。

然后，判断最大面积D是否小于规定的阈值Thd1(步骤S315)。阈值Thd1例如为0.1。

在步骤S315中为“是”时，即存在不足整个图像的10％的暗部时，判定为检测出贲门部(步骤S266)而结束处理。

在步骤S315中为“否”时，即存在整个图像的10％以上的暗部时，判定为不是贲门(步骤S267)，判定是否对需要实施图58的处理的一系列图像的全部完成了图58的处理(步骤S268)，当全部完成时，在步骤S268中为“是”，结束处理。当在步骤S268中为“否”时，由于尚存未处理的图像，进行i＝i+1的处理(步骤S269)，此后对下一个图像重复进行步骤S262到S264的处理。

另外，在步骤S266中，当最大的暗部区域的面积D小于规定的阈值Thd1时，判定为检测出贲门部，换言之，也能够判定为图像为胶囊型内窥镜之后将要通过贲门部、或者将要到达胃内部时的图像。步骤S263到S266构成特征量计算部、检测消化道的边界部的检测部。

下面对本实施方式中的各种变形例进行说明。

在上述例子中，为了进行贲门部的判定，仅读出R图像数据，但是还可以读出G图像数据或者B图像数据，或者读出G图像数据和B图像数据，对两个以上的图像数据进行暗部像素的2值化处理，当两个以上的图像数据中的最大面积的暗部区域的面积D全部小于规定的阈值Thd1时，判定为检测出贲门部。

另外，关于第二变形例，在上述图58中，根据各个帧的图像来检测贲门部，但是也可以当连续的多个图像或者连续的多个图像中的规定比率(例如80％)以上的图像在步骤S315的判定结果为D＜Thd1时，判定为检测出贲门部。

关于第三变形例，虽然以上的说明对连续的多个图像进行了处理，但是图58的处理也可以对一幅图像进行。

关于第四变形例，也可以在上述最大面积的暗部区域的周边，设定图57中虚线所示的规定大小的关心区域(ROI)，计算该关心区域(ROI)内的明暗的标准偏差、离散值或者变化系数值，根据该算出的标准偏差等的值是否小于规定的阈值，来检测关闭状态的贲门部。

如上所述，根据本实施方式，能够根据图像中的暗部面积来检测关闭状态的贲门部。

另外，在本实施方式中，通过对算出的特征量应用阈值处理，来检测关闭的贲门部，但是也可以使用例如公知的线性判别函数等识别函数来进行该检测。另外，也可以组合使用其它实施方式中的特征量。

(第十一实施方式)

下面参照附图对本发明第十一实施方式的采用胶囊型内窥镜装置的贲门检测装置及其方法进行说明。在本实施方式中作为图像处理对象的内窥镜图像与第四实施方式同样，是由胶囊型内窥镜装置101获得的连续的一系列的内窥镜图像，因此贲门检测装置的结构与第四实施方式相同而省略说明。

本实施方式的管腔图像处理装置即贲门检测装置的特征在于，通过进行关闭状态的贲门部的检测，判定各个图像是否为当从食道朝向胃的胶囊型内窥镜处于贲门部的近前侧附近等时的图像。

图59是表示根据所得到的一系列内窥镜图像，来进行关闭的贲门部的检测的处理流程的例子的流程图。从被检者口部进入后拍摄所得到的一系列的内窥镜图像由多个帧构成，对各个帧进行图59的处理。另外，各个内窥镜图像的图像数据在实施图59的处理之前，进行逆Gamma校正、噪声除去等预处理。

为了从需要实施图59的处理的一系列图像中的最开始的帧开始进行处理，首先使帧编号i为1(步骤S321)。i为1到n的整数。

接着从终端装置7的存储装置(未图示)读出帧编号为i的图像Fi的R图像数据(步骤S322)。图像Fi由RGB的三个平面构成，而这里仅读出R图像数据。

另外，这里为了进行后述的贲门部的判定而读出R图像数据，但是也可以使用图像Fi的G图像数据或者B图像数据。

对读出的图像Fi的R图像数据的全部像素实施暗部像素的2值化处理(步骤S323)。具体而言，将各个像素的像素值与规定的阈值Th2进行比较而实施2值化处理，并且使暗部像素为1而使此外的像素为0(零)。如果使j为用于在各个帧的图像数据中确定像素的编号，则通过检查各个像素的值rj是否低于阈值Th2，而使低于阈值Th2的像素为1，使此外的像素为0(零)。

接着对实施了2值化处理的图像进行细线化处理(步骤S324)。在图60中，在图像131J中示出了根据关闭的贲门部的图像实施了细线化的贲门形状132J。图60是用于说明根据关闭的贲门部的图像实施了细线化的贲门形状的图。然后，在经过细线化而生成的各条线中，计算分支或者交叉的点(以下称为分支点)(步骤S325)，将该分支点的坐标数据作为表示集中度的数据存储于存储装置中。

接着，计算所算出的分支点的集中度(步骤S326)。步骤S326构成计算各个图像Fi的分支点的集中度的集中度计算步骤或者集中度计算部。集中度例如将分支点的坐标值的离散值用作参数来计算。

图61是表示计算集中度的参数即离散值的处理的流程例子的流程图。首先，从存储装置取得算出的分支点的坐标数据(步骤S341)。例如如果计算取得N个分支点，则分别计算N个分支点的x坐标值的离散值vx和y坐标值的离散值vy(步骤S342)。对于N个分支点，分别将离散值vx、vy存贮于存储装置中。

返回图59，根据表示集中度的数据即离散值vx、vy是否分别小于规定的阈值thv1、thv2来判定集中度是否高(步骤S327)。

当步骤S327中为“是”时，即离散值vx、vy分别小于规定的阈值thv1、thv2时，判定为检测出贲门部(步骤S328)而结束处理。

当在步骤S327中为“否”时，即离散值vx、vy分别大于等于规定的阈值thv1、thv2时，判定为不是贲门(步骤S329)，判定是否对需要实施图59的处理的一系列图像的全部完成了图59的处理(步骤S330)，当全部完成时，在步骤S330中为“是”，结束处理。当在步骤S330中为“否”时，由于尚存未处理的图像，进行i＝i+1的处理(步骤S331)，此后对下一个图像重复进行步骤S322到S327的处理。步骤S323到S328构成特征量计算部、检测消化道的边界部的检测部。

图62是表示用于说明分支点的图像的例子的图。在图62中，在关闭的贲门部的情况下，图像131J的线的分支点133J集中于图像131J的一部分。利用上述离散值将该集中程度数值化，例如求出上述的离散值，并且通过将其离散程度例如离散值与规定的阈值进行比较，从而判定是否检测出关闭的贲门部。在本实施方式中，由于将关闭的贲门部细线化时的分支点集中，因此当集中时判定为检测出贲门部。

另外，在步骤S328中，当离散值小于规定的阈值时，判定为检测出关闭的贲门部，换言之，也能够判定为胶囊内窥镜103此后将要通过贲门部、或者将要到达胃内部。

下面对本实施方式的各种变形例进行说明。

在上述例子中，为了进行贲门部的判定，仅读出R图像数据，但是还可以读出G图像数据或者B图像数据，或者读出G图像数据和B图像数据，对两个以上的图像数据计算集中度，根据两个以上的图像数据的集中度，判定为检测出关闭的贲门部。

另外，关于第二变形例，在上述图59中，根据各个帧的图像来检测贲门部，但是也可以当连续的多个图像或者连续的多个图像中的规定比率(例如80％)以上的图像在步骤S327的判定结果为“是”时，判定为检测出关闭的贲门部。

关于第三变形例，虽然以上的说明对连续的多个图像进行了处理，但是图59的处理也可以对一幅图像进行。

另外，在本实施方式中，通过对算出的特征量应用阈值处理，来检测关闭的贲门部，但是也可以使用例如公知的线性判别函数等识别函数来进行该检测。另外，也可以组合使用其它实施方式中的特征量。

分别根据以上说明的多个实施方式，能够根据一幅或者连续的一系列内窥镜图像，来检测该图像为通过了胃食道接合部时、将要到达贲门部等时的图像，从而能够从大量拍摄的内窥镜图像中选择食道疾患的诊断所需的图像而迅速进行食道疾患的诊断。

因此，根据以上说明的多个实施方式，可以实现能够检测贲门部的管腔图像处理装置。

例如，巴雷特食道的判定根据胃食道接合部附近的图像来进行。因此，如果能够进行上述的贲门部的检测，则仅通过观察该图像或者该图像前后的图像便能够仔细地进行诊断，从而使诊断迅速化。

虽然以上说明了采用通过胶囊型内窥镜3获得的图像的处理的例子，但是对于由普通的内窥镜即具有细长挠性的插入部的内窥镜所获得的图像，当然也能够进行上述处理。这是因为胶囊型内窥镜和普通的内窥镜均可以获得管腔内的图像。

另外，虽然在上述的多个实施方式的方法(含变形例)的每一个方法中，都可以检测贲门部，但是也可以组合使用多个方法来检测贲门部。

根据上述第四到第十一实施方式以及它们的各变形例，可以提供能够根据管腔内图像来检测贲门部的管腔图像处理装置。

为了根据对食道内部等进行拍摄得到的大量的内窥镜图像数据来判定巴雷特食道等情况的性状，在判定出该部位周边部的胃食道接合部、上皮边界的存在之前顺次改变帧编号而重复执行检测该胃食道接合部、上皮边界等的第一特征的处理，再转入从判定为具有该特征的图像开始对其后的图像进行检测作为判定对象的巴雷特食道等的第二特征的检测处理。通过进行这样的处理，与从最开头开始进行第二特征的检测处理及其判定处理的情况相比，能够更加高效地进行处理。

Claims (22)

1.一种医用图像处理装置，其特征在于，该医用图像处理装置具有：

图像提取部，其从由体内摄像装置拍摄的体内的动态图像数据或者连续拍摄的多幅静态图像数据中提取帧图像；以及

图像解析部，其对由所述图像提取部提取出的帧图像进行图像解析并输出图像解析结果，

所述图像解析部具有：

第一生物体特征检测部，其检测第一生物体特征；

第二生物体特征检测部，其基于所述第一生物体特征检测部的检测结果，对时间上在所述第一生物体特征检测部在检测中使用的图像之前或之后所拍摄的帧图像，检测第二生物体特征；以及

性状判定部，其根据所述第二生物体特征检测部的检测结果，判定生物体的性状并输出判定结果。

2.根据权利要求1所述的医用图像处理装置，其特征在于，所述第二生物体特征检测部基于所述第一生物体特征检测部的检测结果，取得规定幅数的帧图像，对该帧图像进行第二生物体特征的检测处理。

3.根据权利要求1所述的医用图像处理装置，其特征在于，所述第二生物体特征检测部基于所述第一生物体特征检测部的检测结果，依次获取时间上在所述第一生物体特征检测部所处理的帧图像之前或之后所拍摄的帧图像，

根据所述第一生物体特征检测部对所取得的帧图像进行处理时的检测结果，而中断帧图像的获取。

4.根据权利要求1所述的医用图像处理装置，其特征在于，所述性状判定部判定是否存在作为食道内疾患的巴雷特食道作为所述生物体的性状。

5.根据权利要求4所述的医用图像处理装置，其特征在于，通过所述第一生物体特征检测部进行检测的所述第一生物体特征是所述食道内的作为胃与所述食道的边界的胃食道接合部。

6.根据权利要求5所述的医用图像处理装置，其特征在于，在所述第一生物体特征检测部中，提取栅状血管的端点坐标，通过由连接所提取出的各个所述端点坐标的线段所形成的栅状血管端点边界线来检测所述胃食道接合部。

7.根据权利要求6所述的医用图像处理装置，其特征在于，在所述第一生物体特征检测部中，针对所述栅状血管，当对所述帧图像进行细线化处理所得到的线段的长度为规定长度以上时，判定该线段为所述栅状血管。

8.根据权利要求7所述的医用图像处理装置，其特征在于，在所述第一生物体特征检测部中，针对所述栅状血管，还考虑对所述帧图像数据进行细线化处理所得到的线段的分支点数、交叉点数和弯折点数，来判定所述线段为所述栅状血管。

9.根据权利要求8所述的医用图像处理装置，其特征在于，在所述第一生物体特征检测部中，针对所述栅状血管，还考虑连接对所述帧图像数据进行细线化处理所得到的线段的两端的线段，与连接所述帧图像的图像暗部的暗部中心和所述两端中的更接近所述图像暗部的一端的矢量所成的角度，来判定所述线段为所述栅状血管。

10.根据权利要求5所述的医用图像处理装置，其特征在于，通过所述第二生物体特征检测部进行检测的所述第二生物体特征是所述食道内的上皮边界。

11.根据权利要求10所述的医用图像处理装置，其特征在于，所述性状判定部根据与从规定的点放射状地放射出来的多条放射线分别相交的所述上皮边界和所述胃食道接合部的多个交点间的距离，来判定是否存在所述巴雷特食道。

12.根据权利要求11所述的医用图像处理装置，其特征在于，所述性状判定部考虑与从规定的点放射状地放射出来的多条放射线分别相交的所述上皮边界与所述规定的点之间的各个距离、或者与从规定的点放射状地放射出来的多条放射线分别相交的所述胃食道接合部与所述规定的点之间的各个距离，来判定是否存在所述巴雷特食道。

13.根据权利要求10所述的医用图像处理装置，其特征在于，所述性状判定部还根据栅状血管与上皮边界交叉的交叉数来判定是否存在所述巴雷特食道。

14.根据权利要求13所述的医用图像处理装置，其特征在于，在所述第一生物体特征检测部中，针对所述栅状血管，当对所述帧图像进行细线化处理所得到的线段的长度为规定长度以上时，判定该线段为所述栅状血管。

15.根据权利要求14所述的医用图像处理装置，其特征在于，在所述第一生物体特征检测部中，针对所述栅状血管，还考虑对所述帧图像数据进行细线化处理所得到的线段的分支点数、交叉点数和弯折点数，来判定所述线段为所述栅状血管。

16.根据权利要求15所述的医用图像处理装置，其特征在于，在所述第一生物体特征检测部中，针对所述栅状血管，还考虑连接对所述帧图像数据进行细线化处理所得到的线段的两端的线段，与连接所述帧图像的图像暗部的暗部中心和所述两端中的更接近所述图像暗部的一端的矢量所成的角度，来判定所述线段为所述栅状血管。

17.根据权利要求1所述的医用图像处理装置，其特征在于，

通过所述第一生物体特征检测部进行检测的所述第一生物体特征是作为从食道到胃的入口的贲门，

所述第二生物体特征检测部基于所述第一生物体特征检测部的检测结果，对于时间上在所述第一生物体特征检测部在检测中使用的图像之前拍摄的帧图像，来检测第二生物体特征。

18.根据权利要求17所述的医用图像处理装置，其特征在于，在所述第一生物体特征检测部中，根据针对对所述帧图像进行细线化处理所得到的细线而计算出的分支点数或者交叉点数的集中度，将所述贲门检测为闭口贲门。

19.根据权利要求18所述的医用图像处理装置，其特征在于，在所述第一生物体特征检测部中，根据对所述帧图像进行边缘提取处理和2值化处理而生成的细线化图像、以及对所述帧图像进行提取图像暗部的暗部提取处理所得到的暗部图像，将所述贲门检测为开口贲门。

20.根据权利要求19所述的医用图像处理装置，其特征在于，根据所述细线化图像的细线以所述暗部的特征点为中心在周向上存在的区域或者角度，来检测所述贲门。

21.根据权利要求1所述的医用图像处理装置，其特征在于，通过所述第一生物体特征检测部进行检测的所述第一生物体特征是作为食道侧的扁平上皮与胃侧的圆柱上皮的边界的上皮边界。

22.根据权利要求21所述的医用图像处理装置，其特征在于，所述性状判定部仅对于检测到了所述上皮边界的帧图像，基于所述第二生物体特征检测部的检测结果来判定所述生物体的性状。

Images