CN102436638A - 图像处理装置以及图像处理方法 - Google Patents
图像处理装置以及图像处理方法 Download PDFInfo
- Publication number
- CN102436638A CN102436638A CN201110241968XA CN201110241968A CN102436638A CN 102436638 A CN102436638 A CN 102436638A CN 201110241968X A CN201110241968X A CN 201110241968XA CN 201110241968 A CN201110241968 A CN 201110241968A CN 102436638 A CN102436638 A CN 102436638A
- Authority
- CN
- China
- Prior art keywords
- value
- pixel
- region
- target region
- approximate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 177
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000002159 abnormal effect Effects 0.000 claims abstract description 80
- 238000007689 inspection Methods 0.000 claims description 142
- 238000004364 calculation method Methods 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 83
- 238000011156 evaluation Methods 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 37
- 238000005286 illumination Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000000149 argon plasma sintering Methods 0.000 claims description 2
- 230000031700 light absorption Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 22
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 4
- 239000002775 capsule Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012854 evaluation process Methods 0.000 description 4
- 210000001035 gastrointestinal tract Anatomy 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000004400 mucous membrane Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000004877 mucosa Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种图像处理装置以及图像处理方法,图像处理装置具有:根据图像内的检查对象区域的像素的像素值,对上述检查对象区域的各像素的像素值计算在检查对象区域内连续的近似值的近似值计算部;评价近似值相对于上述检查对象区域的像素值是否妥当的妥当性评价部;对由妥当性评价部评价为上述近似值不妥当的检查对象区域进行分割的区域分割部;将区域分割部所分割的各区域设定为新的检查对象区域,控制处理的反复的对象区域再设定部;以及根据图像内的像素的像素值和由上述妥当性评价部评价为妥当的近似值,检测异常部的异常部检测部。
Description
技术领域
本发明涉及从图像中检测异常部的图像处理装置以及图像处理方法。
背景技术
以往作为用于减轻对内窥镜和胶囊型内窥镜等所拍摄的体内管腔内的图像进行观察而对医生等带来的负担的技术之一,已知有从图像中检测出血部位等异常部的技术。例如,在日本特开2005-192880号公报的技术中,首先将图像内的各像素或对图像进行矩形分割而得到的各区域表示为基于其颜色信息(色度=R/(R+G+B)、G/(R+G+B)、色比=R/G等)的特征空间。而且在特征空间内进行了聚类之后,根据各类的大小和重心坐标等信息指定正常粘膜类和异常部类,将属于异常部类的像素或矩形区域作为异常部检测出来。
然而在对体内管腔内进行拍摄而得到的图像内,异常部作为像素值与通常周围的像素不同的区域而显现。然而在专利文献1的技术中,在特征空间表示时会失去图像空间内的位置信息,因此存在如下问题:即使是在图像空间内像素值与周围像素不同的异常部,也无法对由于拍摄状态和个体差异而导致在特征空间内具有延展的不偏离正常粘膜的像素值分布的异常部进行检测。
发明内容
本发明就是鉴于上述情况而完成的,其目的在于提供一种能够高精度地检测像素值与周围像素不同的异常部的图像处理装置以及图像处理方法。
本发明的图像处理装置具有:近似值计算部,其根据图像内的检查对象区域的像素的像素值,对于上述检查对象区域的各像素的像素值计算在上述检查对象区域内连续的近似值;妥当性评价部,其评价上述近似值相对于上述检查对象区域的像素值是否妥当;区域分割部,其对由上述妥当性评价部评价为上述近似值不妥当的检查对象区域进行分割;对象区域再设定部,其将上述区域设定部所分割的各区域设定为新的检查对象区域,控制处理的反复;以及异常部检测部,其根据上述图像内的像素的像素值和上述妥当性评价部评价为妥当的近似值,检测异常部。
另外,本发明涉及的图像处理方法具有:近似值计算步骤,根据图像内的检查对象区域的像素的像素值,对上述检查对象区域的各像素的像素值计算在上述检查对象区域内连续的近似值;妥当性评价步骤,评价上述近似值相对于上述检查对象区域的像素值是否妥当;区域分割步骤,对在上述妥当性评价步骤中评价为上述近似值不妥当的检查对象区域进行分割;对象区域再设定步骤,将在上述区域分割步骤中分割的各区域设定为新的检查对象区域,控制处理的反复;以及异常部检测步骤,根据上述图像内的像素的像素值和在上述妥当性评价步骤中评价为妥当的近似值,检测异常部。
将如下的本发明的详细说明与附图对照进行阅读,能够进一步加深对于上述内容、本发明其他目的、特征、优点以及技术和产业上的意义的理解。
附图说明
图1是表示内窥镜所拍摄的管腔内图像的一个例子的示意图。
图2是说明第1实施方式的图像处理装置的主要结构的概要框图。
图3是说明异常部检测原理的说明图。
图4是说明异常部检测原理的另一说明图。
图5是表示通过处理图1的管腔内图像而分割出的检查对象区域的示意图。
图6是表示第1实施方式的图像处理装置所进行的处理步骤的整体流程图。
图7是表示第1实施方式的近似值计算处理的详细处理步骤的流程图。
图8是表示妥当性评价处理的详细处理步骤的流程图。
图9是表示分割处理的详细处理步骤的流程图。
图10A是说明分割处理的原理的说明图。
图10B是说明分割处理的原理的另一说明图。
图10C是说明分割处理的原理的又一说明图。
图11是表示异常部检测处理的详细处理步骤的流程图。
图12是说明第2实施方式的图像处理装置的主要结构的概要框图。
图13是表示第2实施方式的图像处理装置进行的处理步骤的整体流程图。
图14是表示第2实施方式的近似值计算处理的详细处理步骤的流程图。
图15是说明第3实施方式的图像处理装置的主要结构的概要框图。
图16是表示第3实施方式的图像处理装置进行的处理步骤的整体流程图。
图17是表示区域合并处理的详细处理步骤的流程图。
图18是说明区域合并处理的原理的说明图。
图19是表示应用了本发明的计算机系统的结构的系统结构图。
图20是表示构成图19的计算机系统的主体部的结构的框图。
具体实施方式
下面参照附图详细说明本发明的优选实施方式。在本实施方式中,说明对内窥镜所拍摄的管腔内图像(消化道内图像)进行处理的图像处理装置。并且,本发明并不限于本实施方式。另外,在各附图的描述中,对相同部分赋予同一符号进行表示。
在本实施方式中,说明对内窥镜所拍摄的管腔内图像(消化道内图像)进行处理的图像处理装置。其中,内窥镜是用于观察消化道等管腔内部的医疗设备,是由插入部、壳体部和显示部等构成的系统设备,该插入部在前端内置有用于摄像的照明系统、光学系统、摄像系统等,并插入到管腔内,该壳体部与插入部连接并内置光源、图像处理装置等,该显示部显示所拍摄的管腔内图像。
图1是表示内窥镜所拍摄的管腔内图像的一个例子的示意图。管腔内图像中基本会显现出消化道内壁的粘膜5,有时会出现出血部位等异常部51。在管腔内图像中,异常部51通常作为像素值与周围不同的区域而显现出来。另外,在管腔内图像中,由于粘膜5的褶皱和弯曲等所产生的沟、粘膜5的轮廓等会作为边缘52显现出来。本实施方式的图像处理装置通过对上述内窥镜拍摄的管腔内图像进行处理,从而检测出血部位等异常部。
第1实施方式
首先说明第1实施方式的图像处理装置10的结构。图2是说明第1实施方式的图像处理装置10的主要结构的概要框图。如图2所示,第1实施方式的图像处理装置10包括运算部20、记录部30。该图像处理装置10例如组装到上述内窥镜中,被输入内窥镜所拍摄的管腔内图像,通过对该管腔内图像进行处理,输出检测到的异常部检测结果。
运算部20可通过CPU等硬件实现,进行用于从管腔内图像检测异常部的各种运算处理。该运算部20具有近似值计算部21、妥当性评价部22、区域分割部23、对象区域再设定部24、异常部检测部25。
近似值计算部21根据检查对象区域的像素的像素值,对检查对象区域的各像素的像素值计算在检查对象区域内连续的近似值。其中,检查对象区域是指管腔内图像的整个区域或管腔内图像的一部分区域,在第1实施方式中可在处理过程中适当进行变更加以设定。具体而言,在第1实施方式中,初始时将管腔内图像的整个区域设定为检查对象区域,将对该检查对象区域进行分割而得到的区域适当设定为新的检查对象区域。该近似值计算部21具有近似函数计算部211。近似函数计算部211计算将检查对象区域的像素坐标作为输入值、将作为该输入值的坐标中的像素值作为输出值的情况下输入值相对于输出值的近似函数,作为对于检查对象区域的近似函数。该近似函数计算部211具有对检查对象区域的各像素设定权重的权重设定部212。权重设定部212具有偏离值检测部213、轮廓像素检测部214。偏离值检测部213从检查对象区域的各像素中将该像素值为偏离值的像素作为偏离值像素检测出来。轮廓像素检测部214检测构成检查对象区域的轮廓的像素(轮廓像素)。
妥当性评价部22评价近似值相对于检查对象区域的像素值是否妥当。该妥当性评价部22具有计算评价值的评价值计算部221,该评价值表示近似值相对于检查对象区域像素的像素值的近似程度。评价值计算部221具有计算方差值的方差值计算部222,该方差值是检查对象区域的各像素的像素值与近似值之差在检查对象区域内的方差值。
区域分割部23对妥当性评价部22评价为近似值不妥当的检查对象区域进行分割。该区域分割部23具有像素分类部231、边缘提取部232。像素分类部231比较检查对象区域的各像素的像素值与近似值,将检查对象区域的各像素分类为像素值比近似值高的像素和像素值比近似值低的像素。边缘提取部232提取检查对象区域内的边缘。
对象区域再设定部24将区域分割部23所分割的各区域分别设定为新的检查对象区域,控制处理的反复。
异常部检测部25根据管腔内图像的各像素的像素值、妥当性评价部22评价为妥当的各像素的近似值,检测异常部。该异常部检测部25具有计算管腔内图像的各像素的像素值与近似值的差分值的差分值计算部251。
记录部30通过能进行更新记录的闪速存储器等ROM和RAM这样的各种IC存储器、内置或通过数据通信端子连接的硬盘、例如CD-ROM等各种记录介质及其读取装置等实现。该记录部30记录有用于使图像处理装置10工作,以实现该图像处理装置10具备的各种功能的程序以及在该程序的执行中所使用的数据等。例如,记录部30记录有内窥镜拍摄并输入给图像处理装置10的管腔内图像的图像数据。另外,记录部30还记录有用于实现第1实施方式的处理而从管腔内图像检测异常部的图像处理程序31。
这里,参照图3说明第1实施方式的异常部检测的原理。图3是说明异常部检测原理的说明图。图3中,示意性示出将管腔内图像的像素值作为高度来表现的像素值的分布,更具体而言,表示出管腔内图像中的既定方向剖面的像素值分布D1。
在第1实施方式的近似值计算处理中,首先将管腔内图像的整个区域作为检查对象区域,对检查对象区域的各像素的像素值计算在检查对象区域内连续的近似值。具体而言,首先根据各像素的像素值计算针对检查对象区域的近似曲面,从而计算针对各像素的像素值的近似值。例如图3所示,计算对各像素的像素值进行近似而得出的近似曲面L1。将各像素(坐标)的近似曲面L1上的值获取为相应的像素的近似值。接着,根据各像素(坐标)的像素值评价检查对象区域中的近似值是否妥当。详细情况将在后面叙述,而如果能获得符合检查对象区域的像素值的整体变化的近似值,则评价为近似值是妥当的。
而当评价为不妥当的情况下,通过分割检查对象区域来设定新的检查对象区域。例如将检查对象区域的各像素分类为像素值比近似值高的像素和像素值比近似值低的像素,将检查对象区域分割为与图3所示的范围R11~R15分别相当的区域。然后将所分割的各区域分别作为新的检查对象区域,反复进行计算各像素的近似值的处理,直到将该检查对象区域的近似值被评价为妥当为止。例如在图3中,相当于范围R14的检查对象区域通过根据近似曲面L1’获得的近似值与像素值的高低比较,进一步被分割为与范围R141~R145相当的区域,将它们分别作为检查对象区域来单独计算近似曲面,计算近似值。
对所有检查对象区域的近似值评价为妥当之后,根据各像素的像素值与近似值的差分值检测异常部的像素。图4是图3的范围R144的像素值分布的放大图,一并示出对范围R144评价为妥当的近似值的近似曲面L2。如图4所示,通过反复进行检查对象区域的分割,能按照每个检查对象区域获得符合内部像素值的整体变化的近似值,能够以检查对象区域为单位根据周边的像素值获得近似值,作为各像素(坐标)的像素值的基准值。获得了近似值后,将差分较大的虚线包围的部位E2作为异常部检测出来。
然而在第1实施方式中,通过上述处理获得近似值,从而如图4中的虚线部位E2所示,实现像素值与周围像素不同的异常部检测。当该E2那样的像素值与周围像素不同的部位相对于检查对象区域较少的情况下,即使根据检查对象区域整体的像素值计算近似曲面,也能获得妥当的近似值,实现异常部检测。然而若去除E2这样的部位的像素值来计算近似曲面,则能实现精度更高的异常部检测。因此,在第1实施方式中,去除部位E2这样的像素值偏离较大的像素(偏离值像素)的像素值来计算近似曲面。具体情况将在后面叙述,而在实际处理中,计算一端近似曲面,将像素值较大幅度偏离近似值的像素作为偏离值像素,将去除了偏离值像素后再次计算出的近似曲面作为针对该检查对象区域的近似曲面。
另一方面,在本方法中,按所分割的每个检查对象区域计算近似曲面而获得近似值,因此例如会在图3中虚线包围示出的检查对象区域的轮廓(检查对象区域间的边界)部分产生近似值不连续变化的情况。因此,在第1实施方式中,为了使近似值在检查对象区域间连续,而增加检查对象区域的轮廓像素的数据数量来计算近似曲面。
图5是作为对图1的管腔内图像进行了处理的结果的、表示最终分割出的检查对象区域的示意图。如上所述,在第1实施方式中,在检查对象区域内部获得去除了偏离值像素后的符合各像素的像素值整体变化的近似值,能在检查对象区域的轮廓部分获得近似值在相邻的其他检查对象区域之间连续的近似值。
接着,说明第1实施方式的图像处理装置10进行的具体的处理步骤。图6是表示第1实施方式的图像处理装置10进行的处理步骤的整体流程图。此处说明的处理通过运算部20执行记录于记录部30的图像处理程序31来实现。
如图6所示,首先,运算部20获得处理对象的管腔内图像(步骤a1)。通过此处的处理,例如读取并获得由内窥镜拍摄且记录于记录部30的管腔内图像。然后运算部20将在步骤a1中获得的处理对象的管腔内图像的整个区域初始设定为检查对象区域(步骤a3)。
接着,由近似值计算部21执行近似值计算处理,对检查对象区域的各像素计算针对该像素值的近似值(步骤a5)。图7是表示第1实施方式的近似值计算处理的详细处理步骤的流程图。
如图7所示,在第1实施方式的近似值计算处理中,首先,近似值计算部21设定处理对象的检查对象区域(步骤b1)。最开始执行近似值计算处理时,在图6的步骤a3中将管腔内图像的整个区域作为检查对象区域,在图7的步骤b1中,将其设定为处理对象。另一方面,在后续的图6的步骤a7中将针对通过执行该近似值计算处理而获得的检查对象区域的各像素的像素值的近似值评价为不妥当,在步骤a11中分割了检查对象区域时,存在多个检查对象区域。此时在图7的步骤b1中,将这些多个检查对象区域依次设定为处理对象。
接着,近似函数计算部211计算表示针对处理对象的检查对象区域的近似曲面的近似函数(步骤b3)。在本例中,使用下式(1)所示的2次函数作为近似函数。此时,x、y是像素的坐标,z是像素值。像素值既可以是R、G、B的各分量的值,也可以是根据这些值通过已知的变换2次计算出的亮度、色差、色相、彩度、明度等。
z=ax2+by2+cxy+dx+cy+f …(1)
式(1)的函数式的各系数a~f是按照通过最小二乘法获得的下式(2),根据检查对象区域的像素的坐标(xi、yi)(i=1~n:n为像素数)和像素值zi求出的。
其中,
接着,偏离值检测部213从处理对象的检查对象区域的各像素中检测偏离值像素(步骤b5)。作为具体的处理步骤,首先对于检查对象区域的各像素的像素值z,根据其坐标按照上述式(1)计算近似值z’。然后计算近似值z’与实际像素值z之差在检查对象区域内的方差值σ。此后将像素值z与近似值z’相差kσ(k为既定值)以上的像素作为偏离值像素检测出来。
接着,轮廓像素检测部214检测处理对象的检查对象区域的轮廓像素(步骤b7)。这可以通过使用公知的轮廓跟踪(参考:CG-ARTS協会,デイジタル画像処理,178P,輪郭追跡)来实现。
接着,权重设定部212将偏离值像素的权重设定为“0”,将轮廓像素的权重设定为“2”(步骤b9)。这是为了在后续的步骤b11中计算近似函数时,除去偏离值像素的数据(坐标和像素值),将轮廓像素的数据(坐标和像素值)增至2倍而进行的。去除偏离值像素的原因在于,如上述参照图3和图4所说明的那样,用于获得抑制了异常部和噪声等的可能性较高的像素的影响的近似函数,而将轮廓像素增至2倍是为了使近似值在检查对象区域间更为连续。并且,对于既非偏离值像素也非轮廓像素的像素将权重设为“1”。
接下来,近似函数计算部211考虑在步骤b9中设定的权重来计算针对处理对象的检查对象区域的近似函数(步骤b11)。具体而言,按照上式(2),根据去除了偏离值像素且将轮廓像素增至2倍的检查对象区域的像素的坐标(xi,yi)(i=1~n:n为去除了偏离值像素,将轮廓像素增至2倍时的像素数)和像素值zi,求出上式(1)的函数式的各系数a~f。
接着,近似值计算部21对处理对象的检查对象区域的各像素计算针对该像素值的近似值(步骤b13)。对此,只要通过与上述步骤b5相同的要领,根据该坐标,按照上式(1)对检查对象区域的各像素的像素值z计算近似值z’即可。
此后,近似值计算部21判定是否将所有的检查对象区域作为处理对象进行了处理,没有进行处理的情况下(步骤b15:否),反复步骤b1~步骤b13。另一方面,当将所有的检查对象区域作为处理对象进行了处理时(步骤b15:是),返回图6的步骤a5,此后转移到步骤a7。
然后在步骤a7中,妥当性评价部22执行妥当性评价处理,评价检查对象区域的近似值是否妥当。图8是表示妥当性评价处理的详细处理步骤的流程图。
如图8所示,在妥当性评价处理中,首先,妥当性评价部22设定处理对象的检查对象区域(步骤c1)。接着,方差值计算部222对处理对象的检查对象区域的各像素计算在图7的步骤b13中计算出的近似值z’与实际的像素值z之差在检查对象区域内的方差值σ(步骤c3)。此时,对相应的检查对象区域考虑在图7的步骤b9中设定的权重来计算方差值σ。具体而言,对相应的检查对象区域的各像素的近似值z’与实际的像素值z之差乘以在步骤b9中设定的权重,从而计算偏离值像素的差被去除、轮廓像素的差将数据数量增至2倍的方差值σ。如上所述,这是为了抑制偏离值像素的影响,希望获得在相邻的检查对象区域间连续的近似值。
接着,评价值计算部221将在步骤c3中计算出的方差值作为表示近似程度的评价值(步骤c5),该近似程度为近似值相对于处理对象的检查对象区域的像素的像素值的近似程度。然后妥当性评价部22对处理对象的检查对象区域的评价值进行阈值处理,当评价值比预先设定的既定的阈值高的情况下将处理对象的检查对象区域的近似值评价为不妥当,当评价值在阈值以下的情况下将处理对象的检查对象区域的近似值评价为妥当(步骤c7)。
此后,妥当性评价部22判定是否将所有检查对象区域作为处理对象进行了处理,在没有处理完的情况下(步骤c9:否),反复步骤c1~步骤c7。而当将所有检查对象区域作为处理对象进行了处理的情况下(步骤c9:是),返回图6的步骤a7,此后转移到步骤a9。
而且在步骤a9中,判定是否将所有检查对象区域的近似值评价为妥当,全都妥当的情况下(步骤a9:是),转移到后述的步骤a15。而若存在评价为近似值不妥当的检查对象区域的情况下(步骤a9:否),转移到步骤a11。
然后在步骤a11中由区域分割部23执行分割处理,对评价为近似值不妥当的检查对象区域进行分割。图9是表示分割处理的详细处理步骤的流程图。
如图9所示,在分割处理中,首先由区域分割部23设定处理对象的检查对象区域(步骤d1)。通过此时的处理,将在之前刚刚执行的图8的妥当性评价处理中评价为近似值不妥当的检查对象区域依次设定为处理对象。
接着由像素分类部231将处理对象的检查对象区域的各像素分类为像素值比近似值高的像素和像素值比近似值低的像素(步骤d3)。
接下来,边缘提取部232提取处理对象的检查对象区域内的边缘(步骤d5)。这可以通过使用canny算法(参考:CG-ARTS協会,デイジタル画像処理,209P,輪郭線検出)等来实现。
接着,区域分割部23以使得步骤d3中的分类结果相同的像素的连结区域成为1个区域的方式分割处理对象的检查对象区域(步骤d7)。然后,区域分割部23在边缘位置进一步对所分割的各区域中内部包含边缘的区域进行分割(步骤d9)。这可以通过使用公知的标示处理(参考:CG-ARTS協会,デイジタル画像処理,181P,ラベリング)来实现。其结果,检查对象区域被分割,使得在步骤d9中最终分割的各区域分别成为1个区域。
图10A、图10B、图10C是说明分割处理原理的说明图。在各图中,以与图3相同的要领示意性示出包含边缘部分P3的区域的像素值分布D3。如图10A所示,在边缘部分P3中,像素值急剧变化。其中,若将包含边缘部分P3的区域作为1个检查对象区域计算近似曲面,则例如可获得图10B所示的近似曲面L4。这种情况下,检查对象区域进一步被分割为与图10B中所示范围R41~R45分别相当的区域,将会对包含边缘部分P3的检查对象区域反复进行分割。为防止这种情况,如图10C所示,在边缘位置处对内部包含边缘部分P3的区域进一步分割,将相当于范围R51、R52的2个区域作为不同的检查对象区域进行后续处理。由此,与上述将图10A的整个区域作为1个检查对象区域的情况相比,能减轻处理负担。
此后,区域分割部23判定是否将被评价为近似值不妥当的所有检查对象区域作为处理对象进行了处理,在没有处理完的情况下(步骤d11:否),反复进行步骤d1~步骤d9。而当对评价为近似值不妥当的所有检查对象区域进行了处理的情况下(步骤d11:是),返回图6的步骤a11,此后转移到步骤a13。
然后在步骤a13中,对象区域再设定部24将步骤a11中分割后的各区域分别设定为新的检查对象区域,返回步骤a5反复进行处理。
而当在步骤a9中评价为所有检查对象区域的近似值妥当的情况下(步骤a9:是),由异常部检测部25执行异常部检测处理,从处理对象的管腔内图像检测异常部(步骤a15)。图11是表示异常部检测处理的详细处理步骤的流程图。
如图11所示,在异常部检测处理中,首先由差分值计算部251按每个管腔内图像的像素计算像素值与近似值的差分值(步骤e1)。然后异常部检测部25对差分值进行阈值处理,将由差分值在预先设定的阈值以上的像素构成的区域检测为异常部(步骤e3)。更具体而言,此时,异常部检测部25将由差分值在阈值以上的像素构成的区域中面积在预先设定的阈值以下的区域判定为噪声。而且异常部检测部25将判别为噪声的区域之外的区域(面积大于预先设定的阈值的区域)检测为异常部。此后返回图6的步骤a15。
而最后如图6所示,运算部20输出异常部检测结果(步骤a17),结束图像处理装置10的处理。
如上所述,根据第1实施方式,在分割检查对象区域的同时反复计算近似值,直到在检查对象区域内获得与周围像素连续且符合检查对象区域的像素值的整体变化的近似值为止,能够根据实际的像素值与评价为妥当的近似值的差分值检测异常部。因此能高精度检测像素值与周围像素不同的异常部。
并且,当管腔内图像是由多种波长分量构成的图像的情况下,对每种波长分量进行第1实施方式中说明的处理即可。例如,当作为处理对象的管腔内图像是在各像素中针对R(红)、G(绿)、B(蓝)各波长分量具备像素电平(像素值)的彩色图像的情况下,在分割检查对象区域的同时对R、G、B每种波长分量反复进行近似值的计算即可。另外,在此时的异常部检测处理中,例如按每个波长分量计算实际的像素值与评价为妥当的近似值的差分值,并对该每个波长分量的差分值的例如平均值或最大值进行阈值处理,从而将由差分值的平均值或最大值在既定阈值以上的像素构成的区域作为异常部检测出来即可。
第2实施方式
首先,说明第2实施方式的图像处理装置的结构。在第2实施方式中,作为处理对象的管腔内图像,假定在各像素中具备针对R、G、B各波长分量的像素值的彩色图像。其中,R分量是远离血液的吸收频带的波长分量,而且是长波长的分量,因此不容易受到生物体对照明光的光吸收和光散射的影响,表示与作为摄像对象的生物体组织的结构最为对应的像素值。而G分量和B分量在出血部位等异常部易于受到血液对照明光的吸光影响。因此,在第2实施方式中,将按照生物体内的吸收或散射程度而确定的特定波长分量用作R分量。
图12是说明第2实施方式的图像处理装置10a的主要结构的概要框图。并且对于与第1实施方式中说明的结构相同的结构赋予同一符号。如图12所示,第2实施方式的图像处理装置10a具有运算部20a、记录部30a。该图像处理装置10a例如与第1实施方式同样组装到内窥镜中,被输入内窥镜所拍摄的管腔内图像,对该管腔内图像进行处理以输出检测出的异常部检测结果。
运算部20a具有近似值计算部21a、妥当性评价部22a、区域分割部23a、对象区域再设定部24、异常部检测部25a。
近似值计算部21a按照每种波长分量使用检查对象区域的各像素的像素值计算针对各波长分量的近似值。在第2实施方式中,近似值计算部21a计算针对检查对象区域的像素的R分量的近似值。该近似值计算部21a具有R分量近似函数计算部215a、作为其他波长分量近似值计算部的G、B分量近似值计算部216a。
R分量近似函数计算部215a计算将检查对象区域的像素坐标作为输入值、将作为该输入值的坐标的像素值的R分量作为输出值的情况下输入值相对于输出值的近似函数,作为针对检查对象区域的R分量的近似函数。G、B分量近似值计算部216a根据针对R分量的近似值,计算针对G分量的近似值和针对B分量的近似值。该G、B分量近似值计算部216a具有作为其他波长分量近似函数计算部的G、B分量近似函数计算部217a。G、B分量近似函数计算部217a分别计算针对检查对象区域的像素的G分量和B分量的近似函数。
妥当性评价部22a根据检查对象区域的各像素的R分量,评价针对特定波长分量的近似值是否妥当。该妥当性评价部22a具有具备方差值计算部222a的评价值计算部221a,根据检查对象区域的各像素的R分量,以与第1实施方式相同的要领进行处理。
区域分割部23a根据各像素的R分量和针对该R分量的近似值对妥当性评价部22a评价为近似值不妥当的检查对象区域进行分割。该区域分割部23a具有像素分类部231a和边缘提取部232a,根据检查对象区域的各像素的R分量及其近似值,以与第1实施方式相同的要领进行处理。
异常部检测部25a根据管腔内图像的各像素的像素值中每种波长分量的值、和妥当性评价部22a评价为妥当的各像素的每种波长分量的近似值,检测异常部。该异常部检测部25a具有按R、G、B波长分量计算管腔内图像的各像素的像素值与近似值的差分值的差分值计算部251a。
另外,记录部30a记录有用于实现第2实施方式的处理而从管腔内图像中检测异常部的图像处理程序31a。
下面说明第2实施方式的图像处理装置10a进行的具体处理步骤。图13是表示第2实施方式的图像处理装置10a进行的处理步骤的整体流程图。此处说明的处理通过运算部20a执行记录于记录部30a的图像处理程序31a来实现。
如图13所示,首先,运算部20a与第1实施方式同样地获得处理对象的管腔内图像(步骤f1)。然后运算部20a将在步骤f1中获得的处理对象的管腔内图像整个区域初始设定为检查对象区域(步骤f3)。
接着由近似值计算部21a执行近似值计算处理,按波长分量计算针对检查对象区域的各像素的像素值的近似值(步骤f5)。图14是表示第2实施方式的近似值计算处理的详细处理步骤的流程图。
如图14所示,在第2实施方式的近似值计算处理中,首先由近似值计算部21a设定处理对象的检查对象区域(步骤g1)。
接着,R分量近似函数计算部215a计算针对处理对象的检查对象区域中各像素的R分量的近似函数(步骤g3)。这能够通过以下处理来实现:将检查对象区域的各像素的R分量的值用作像素值,对R分量实施第1实施方式中说明的图7的步骤b3~步骤b11的处理。接着,近似值计算部21a对处理对象的检查对象区域的各像素计算针对该R分量的近似值(步骤g5)。这能够通过以下处理来实现:使用步骤g3中计算出的近似函数,对R分量实施图7的步骤b13的处理。
接着,G、B分量近似函数计算部217a分别计算针对处理对象的检查对象区域的G分量和B分量的近似函数(步骤g7)。在本例中,作为计算方法示出2种方法。在后续的图13的步骤f7中,评价检查对象区域中的R分量的近似值是否妥当。而且在接下来的步骤f11中,对评价为R分量的近似值不妥当的检查对象区域,根据该各像素的R分量及其近似值进行分割处理。在图14的步骤g7中,使用如下所述的任一方法的情况下,都这样根据R分量及其近似值,按所评价、分割的每个检查对象区域,计算针对G分量和B分量的近似值。
首先,在第1种方法中,G、B分量近似函数计算部217a分别计算针对处理对象的检查对象区域的各像素的G分量和B分量的近似函数。这能够通过以下处理来实现:将检查对象区域的各像素的G分量和B分量的值分别用作像素值,分别对G分量和B分量实施图7的步骤b3~步骤b11的处理。
在第2种方法中,G、B分量近似函数计算部217a将针对检查对象区域的R分量的近似值进行变换,使其与检查对象区域的各像素的G分量和B分量的值近似,从而分别计算针对G分量和B分量的近似函数。虽然各波长分量的值大小不同,但摄像对象的结构所导致的像素值变化是在大致相同的曲面上变化的。因此,在第2实施方式中,如上所述使用针对与摄像对象的结构最为对应的R分量的近似值计算G、B近似函数,计算其近似值。具体而言,G、B分量近似函数计算部217a计算将针对检查对象区域的像素的R分量的近似值作为输入值、将作为该输入值的近似值的像素的G分量的像素值作为输出值的情况下输入值相对于输出值的近似函数,作为针对检查对象区域的G分量的近似函数。同样地,计算将针对检查对象区域的像素的R分量的近似值作为输入值、将作为输入值的近似值的像素的B分量的像素值作为输出值的情况下输入值相对于输出值的近似函数,作为针对检查对象区域的B分量的近似函数。
在本例中,使用下式(3)、(4)所示的1次函数作为近似函数。其中,z’R是针对检查对象区域的各像素的R分量的近似值。另外,zG是检查对象区域的各像素的G分量的像素值,zB是检查对象区域的各像素的B分量的像素值。并且还可以使用更高次的近似函数。
zG=g1×z′R+h1…(3)
zB=g2×z′R+h2…(4)
式(3)的函数式的各系数g1、h1是按照由最小二乘法得到的下式(5),根据检查对象区域的像素的R分量的近似值z’Ri(i=1~n:n是像素数)和G分量的像素值zG求出的。同样地,式(4)的函数式的各系数g2、h2是按照由最小二乘法得到的下式(6),根据检查对象区域的像素的R分量的近似值z’Ri(i=1~n:n是像素数)和B分量的像素值zB求出的。
其中,
接着,G、B分量近似值计算部216a对处理对象的检查对象区域的各像素分别计算针对该G分量和B分量的近似值(步骤g9)。这通过以下处理能够实现:使用步骤g7中计算出的近似函数,对G分量和B分量分别实施图7的步骤b13的处理。
此后,近似值计算部21a判定是否将所有检查对象区域作为处理对象进行了处理,没有处理完的情况下(步骤g11:否),反复步骤g3~步骤g9。而在将所有检查对象区域作为处理对象进行了处理的情况下(步骤g11:是),返回图13的步骤f5,此后转移到步骤f7。
而且在步骤f7中,妥当性评价部22a执行妥当性评价处理,评价检查对象区域中的R分量的近似值是否妥当。这通过以下处理能够实现:对R分量实施在第1实施方式中说明的图8的妥当性评价处理。
而在该妥当性评价处理之后,判定是否将所有针对检查对象区域的R分量的近似值都评价为妥当,在全都妥当的情况下(步骤f9:是),转移到后述的步骤f15。
另一方面,当存在将R分量的近似值评价为不妥当的检查对象区域的情况下(步骤f9:否),区域分割部23a执行分割处理,对评价为该近似值不妥当的检查对象区域进行分割(步骤f11)。在第2实施方式的分割处理中,区域分割部23a根据评价为近似值不妥当的检查对象区域的各像素的R分量及其近似值进行分割。这通过对R分量实施在第1实施方式说明的图9的分割处理来实现。
此后,对象区域再设定部24与第1实施方式同样地将步骤f11中分割后的各区域分别设定为新的检查对象区域(步骤f13),返回步骤f5反复处理。
另外,当在步骤f9中将所有检查对象区域的近似值评价为妥当的情况下(步骤f9:是),由异常部检测部25a执行异常部检测处理,从处理对象的管腔内图像中检测异常部(步骤f15)。在第2实施方式的异常部检测处理中,异常部检测部25a例如首先按管腔内图像的每个像素对每种波长分量计算像素值与近似值的差分值。然后对该每种波长分量的差分值的例如平均值或最大值进行阈值处理,将差分值的平均值或最大值在既定阈值以上的像素构成的区域作为异常部检测出来。
如上所述,根据第2实施方式,能够获得与第1实施方式相同的效果,而且能够将作为在生物体内难以吸收、散射的波长分量的R分量作为特定波长分量,使用R分量对所分割的每个检测对象区域计算针对G分量和B分量的近似值。因此能获得抑制了吸光对像素值变化的影响的近似值,能更高精度地检测异常部。
第3实施方式
首先说明第3实施方式的图像处理装置的结构。图15是说明第3实施方式的图像处理装置10b的主要结构的概要框图。并且对与第1实施方式中说明的结构相同的结构赋予同一符号。如图15所示,第3实施方式的图像处理装置10b具有运算部20b、记录部30b。该图像处理装置10b例如与第1实施方式同样地组装到内窥镜中,被输入内窥镜拍摄的管腔内图像,对该管腔内图像进行处理,从而输出检测到的异常部检测结果。
运算部20b具有近似值计算部21、妥当性评价部22b、区域分割部23、区域合并部27b、对象区域再设定部24b、异常部检测部25。
虽然在图15中没有图示出来,但妥当性评价部22b与第1实施方式同样地具有评价值计算部,评价值计算部具有方差值计算部。
区域合并部27b对区域分割部23分割后的各区域进行合并,直到各区域分别满足既定条件为止。该区域合并部27b具有特征量计算部271b、合并对象区域判定部277b、合并目的地区域确定部278b。特征量计算部271b计算各区域的特征量。特征量计算部271b具有面积计算部272b、轮廓像素检测部273b、相邻区域信息取得部274b、边缘强度计算部275b、平均值计算部276b。面积计算部272b计算各区域的面积。轮廓像素检测部273b检测各区域的轮廓像素。相邻区域信息取得部274b获得与轮廓像素相邻的相邻区域的识别信息。边缘强度计算部275b计算轮廓像素的边缘强度。平均值计算部276b对每个相邻区域计算与相应的相邻区域的相邻像素的边缘强度的平均值。合并对象区域判定部277b将各区域的面积用作特征量,判定各区域是否为合并对象区域。合并目的地区域确定部278b确定对合并对象区域进行合并的目的地即合并目的地区域。
对象区域再设定部24b将区域合并部27b合并的各区域分别设定为新的检查对象区域,控制处理的反复。
另外,记录部30b记录有用于实现第3实施方式的处理而从管腔内图像中检测异常部的图像处理程序31b。
接着说明第3实施方式的图像处理装置10b进行的具体的处理步骤。图16是表示第3实施方式的图像处理装置10b进行的处理步骤的整体流程图。此处所说明的处理是通过运算部20b执行记录于记录部30b的图像处理程序31b来实现的。另外,在图16中,对于与第1实施方式相同的处理步骤赋予同一符号。
如图16所示,在第3实施方式中,当在步骤a5中执行了近似值计算处理之后,妥当性评价部22b执行妥当性评价处理(步骤h7)。该妥当性评价处理通过与参照图8在第1实施方式中说明的处理步骤相同的处理步骤来进行,而当在图8的步骤c3中计算处理对象的检查对象区域的方差值σ时,妥当性评价部22b的方差值计算部对后续的区域合并处理(参见图17)在步骤i3中判定为合并对象区域、在步骤i17中与合并目的地区域进行了合并的区域(合并对象区域)内的像素进行与偏离值像素同样处理。即,当处理对象的检查对象区域为将合并对象区域与合并目的地区域合并起来的区域时,妥当性评价部22b的方差值计算部将合并对象区域内的像素的权重设定为“0”。然后,妥当性评价部22b的方差值计算部对合并对象区域内的各像素的近似值z’与实际的像素值z之差乘以与偏离值像素的情况同样的权重“0”,在去除了合并对象区域内的像素的差之后计算方差值σ。
另外,在第3实施方式中,与第1实施方式相同地,在步骤a11中由区域分割部23执行分割处理。此时,在第3实施方式中,在后续的区域合并处理中识别分割后的各区域,因此使用公知的标示处理对分割后的各区域设定识别信息。
然后,进行了步骤a11的分割处理之后,由区域合并部27b执行区域合并处理,合并步骤a11中分割后的各区域(步骤h13)。图17是表示区域合并处理的详细的处理步骤的流程图。而图18是说明区域合并处理的原理的说明图,示意性示出分割后的3个区域。
如图17所示,在区域合并处理中,首先由面积计算部272b计算分割后的各区域的面积(步骤i1)。接着,合并对象区域判定部277b对分割后的各区域的面积进行阈值处理,将面积在预先设定的阈值以下的分割后的区域判定为合并对象(步骤i3)。例如在图18中,区域E61与区域E62之间的区域E63的面积在既定阈值以下。此时,在步骤i3中将区域E63判定为合并对象区域。
接着,区域合并部27b判定是否存在合并对象区域。而存在合并对象区域的情况下(步骤i5:是),轮廓像素检测部273b检测处理对象的合并对象区域的轮廓像素(步骤i7)。这通过使用公知的轮廓跟踪(参考:CG-ARTS協会,デイジタル画像処理,178P,輪郭追跡)来实现。
接着,相邻区域信息取得部274b获得与所检测的轮廓像素相邻的区域(相邻区域)的识别信息(步骤i9)。例如与在图18中判定为合并对象区域的区域E63的轮廓像素相邻的相邻区域是区域E61和区域E62这2个,在步骤i9中,获得该区域E61、E62的识别信息。
接着,边缘强度计算部275b计算轮廓像素的边缘强度(步骤i11)。这通过使用公知的微分滤波器(参考:CG-ARTS協会,デイジタル画像処理,114P,微分フイルタ)来实现。接着,平均值计算部276b计算相邻区域相同的轮廓像素的边缘强度的平均值(步骤i13)。例如图18所示,区域E63的相邻像素中由图18中左侧的单点划线所包围的区域R61内的相邻像素与作为一个相邻区域的区域E61相邻。另一方面,由右侧的双点划线包围的区域R62内的相邻像素与作为另一个相邻区域的区域E62相邻。这种情况下,在步骤i13中,分别计算范围R61内的相邻像素的边缘强度的平均值和范围R62内的相邻像素的边缘强度的平均值。
接着,合并目的地区域确定部278b将边缘强度的平均值较低的相邻区域确定为合并目的地区域(步骤i15)。例如在图18中,当范围R62内的相邻像素的边缘强度的平均值比范围R61内的相邻像素的边缘强度的平均值低时,将相邻区域E62确定为合并目的地区域。由此可实现与存在于边界的边缘较少的相邻区域的合并。并且,合并目的地区域的确定方法不限于此,例如还可以采用将轮廓像素最多的相邻区域确定为合并目的地区域的方法。在图18的例子中,范围R62的轮廓像素数比范围R61内的轮廓像素数多,因此将区域E62确定为合并目的地区域。而且区域合并部27b将处理对象的合并对象区域与所确定的合并目的地区域合并起来(步骤i17)。另外,当合并对象区域包含于其他区域内的情况下,可以将包含合并对象区域的区域作为合并目的地区域进行合并。包含可以通过轮廓像素的相邻区域数量为1来判定。
此后,返回步骤i1,反复进行合并,直到判定为不存在合并对象区域、即不存在面积在既定阈值以下的区域为止。并且,当判定为不存在合并对象区域时(步骤i5:否),返回图16的步骤h13,此后转移到步骤h14。
而且在步骤h14中,对象区域再设定部24b将步骤h13中的合并后的各区域分别设定为新的检查对象区域,返回步骤a5反复进行处理。
如上所述,根据第3实施方式,能获得与第1实施方式相同的效果,而且在分割了检查对象区域之后,能将面积较小的区域与相邻区域合并起来。在不进行第1实施方式中的偏离值去除即计算近似值的情况下,对检查对象区域进行分割,结果将异常部的区域作为1个区域分割出来,计算出符合该像素值变化的近似值,则可能会产生无法检测为异常部的问题。这里,当异常部的区域面积小到某种程度时,将这种面积较小的区域与相邻区域合并起来,从而能抑制计算出仅与异常部的像素值变化相应的近似值的情况,能更高精度地检测出异常部。
并且,上述第1实施方式的图像处理装置10、第2实施方式的图像处理装置10a和第3实施方式的图像处理装置10b能通过由个人计算机或工作站等计算机系统执行预先准备的程序来实现。下面说明具有与在各实施方式1~3中说明的图像处理装置10、10a、10b相同的功能,并执行图像处理程序31、31a、31b的计算机系统。
图19是表示本变形例的计算机系统400的结构的系统结构图,图20是表示构成该计算机系统400的主体部410的结构的框图。如图19所示,计算机系统400具有主体部410、用于通过来自主体部410的指示在显示画面421上显示图像等信息的显示器420、用于对该计算机系统400输入各种信息的键盘430、用于指定显示器420的显示画面421上的任意位置的鼠标440。
另外,如图19和图20所示,该计算机系统400的主体部410具有CPU 411、RAM412、ROM 413、硬盘驱动器(HDD)414、接受CD-ROM 460的CD-ROM驱动器415、以可拆装的方式连接USB存储器470的USB端口416、连接显示器420、键盘430和鼠标440的I/O接口417、用于与局域网或广域网(LAN/WAN)N1连接的LAN接口418。
进而,该计算机系统400连接有用于与因特网等公用线路N3连接的调制解调器450,而且经由LAN接口418和局域网或广域网N1,连接有作为其他计算机系统的个人计算机(PC)481、服务器482、打印机483等。
而且该计算机系统400读取记录于记录介质的图像处理程序(例如第1实施方式的图像处理程序31、第2实施方式的图像处理程序31a、第3实施方式的图像处理程序31b)来执行,从而实现了图像处理装置(例如第1实施方式的图像处理装置10、第2实施方式的图像处理装置10a、第3实施方式的图像处理装置10b)。这里,关于记录介质,除了CD-ROM 460和USB存储器470之外,还可举出包括MO盘、DVD盘、软盘(FD)、IC卡等的“可移动物理介质”、在计算机系统400的内外配置的HDD414、RAM 412、ROM 413等“固定用物理介质”、如经由调制解调器450连接的公用线路N3和连接有作为其他计算机系统的PC 481和服务器482的局域网或广域网N1等那样在发送程序时短期存储程序的“通信介质”等存储能够由计算机系统400读取的图像处理程序的所有记录介质。
即,图像处理程序是以计算机可读取的方式记录于“可移动物理介质”、“固定用物理介质”、“通信介质”等记录介质的程序,计算机系统400从这种记录介质中读取图像处理程序并执行,从而实现图像处理装置。并且图像处理程序不限于通过计算机系统400执行的情况,本发明同样能用于通过作为其他计算机系统的PC 481和服务器482执行图像处理程序的情况以及这些计算机协作执行图像处理程序的情况。
另外,上述各实施方式说明了组装到内窥镜中、对内窥镜拍摄的管腔内图像进行处理的图像处理装置,然而作为本发明的图像处理装置的处理对象的管腔内图像,不限于内窥镜拍摄的图像。例如近些年来开发出了在胶囊型壳体内部具备摄像装置以及将该摄像装置拍摄的图像数据无线发送到体外的通信装置等的吞入型内窥镜(胶囊型内窥镜),本发明同样可用于对该胶囊型内窥镜拍摄的管腔内图像进行处理的情况。
另外,本发明不仅限于上述各实施方式1~3及其变形例,通过将各实施方式和变形例所公开的多个构成要素适当组合起来,能形成各种发明。例如可以从各实施方式和变形例所示的所有构成要素中去除某几个构成要素形成新发明。或者还可以适当组合不同实施方式和变形例所示构成要素形成新发明。
根据如上所述的本发明,能够获得高精度地检测像素值与周围像素不同的异常部的效果。
Claims (21)
1.一种图像处理装置,其具有:
近似值计算部,其根据图像内的检查对象区域的像素的像素值,对上述检查对象区域的各像素的像素值计算在上述检查对象区域内连续的近似值;
妥当性评价部,其评价上述近似值对于上述检查对象区域的像素值是否妥当;
区域分割部,其对由上述妥当性评价部评价为上述近似值不妥当的检查对象区域进行分割;
对象区域再设定部,其将上述区域分割部所分割的各区域设定为新的检查对象区域,控制处理的反复;以及
异常部检测部,其根据上述图像内的像素的像素值和上述妥当性评价部评价为妥当的近似值,检测异常部。
2.根据权利要求1所述的图像处理装置,其中,
上述近似值计算部计算对上述检查对象区域的各像素的像素值的近似曲面,将上述检查对象区域的各像素的上述近似曲面上的值作为上述近似值。
3.根据权利要求1所述的图像处理装置,其中,
上述近似值计算部具有近似函数计算部,该近似函数计算部计算以上述检查对象区域的像素的坐标作为输入值、以作为该输入值的上述坐标的像素值作为输出值的情况下上述输入值相对于上述输出值的近似函数,上述近似值计算部将以上述检查对象区域的像素的坐标作为输入值的情况下的上述近似函数的上述输出值作为对上述像素的像素值的近似值。
4.根据权利要求3所述的图像处理装置,其中,
上述近似函数计算部具有对上述检查对象区域的像素设定权重的权重设定部,考虑上述权重来计算上述近似函数。
5.根据权利要求4所述的图像处理装置,其中,
上述权重设定部具有偏离值检测部,该偏离值检测部检测像素值为偏离上述检查对象区域的像素的偏离值的偏离值像素,上述权重设定部将对上述偏离值像素设定的上述权重设定得比对上述偏离值像素之外的像素设定的上述权重低。
6.根据权利要求4所述的图像处理装置,其中,
上述权重设定部具有检测上述检查对象区域的轮廓像素的轮廓像素检测部,将对上述轮廓像素设定的上述权重设定得比对上述轮廓像素之外的像素设定的上述权重高。
7.根据权利要求1所述的图像处理装置,其中,
上述妥当性评价部具有计算表示近似程度的评价值的评价值计算部,该近似程度是上述近似值相对于上述检查对象区域的像素的像素值的近似程度,上述妥当性评价部根据上述评价值来评价上述近似值是否妥当。
8.根据权利要求7所述的图像处理装置,其中,
上述评价值计算部具有计算方差值的方差值计算部,该方差值是上述检查对象区域的像素的像素值与相对于该像素值的上述近似值之差在上述检查对象区域内的方差值,上述评价值计算部将该方差值作为评价值。
9.根据权利要求1所述的图像处理装置,其中,
上述区域分割部具有像素分类部,该像素分类部比较上述检查对象区域的像素的像素值与相对于该像素值的上述近似值,将上述检查对象区域的像素分类为像素值比上述近似值高的像素和像素值比上述近似值低的像素,上述区域分割部以将该像素分类部的分类结果相同的像素的连结区域作为1个区域的方式分割上述检查对象区域。
10.根据权利要求9所述的图像处理装置,其中,
上述区域分割部具有提取上述检查对象区域内的边缘的边缘提取部,将上述像素分类部的分类结果相同的像素的连结区域在该连结区域内的上述边缘位置处分割,以将该分割后的区域作为1个区域的方式分割上述检查对象区域。
11.根据权利要求1所述的图像处理装置,其中,
上述异常部检测部具有计算上述检查对象区域的像素的像素值与相对于该像素值的上述近似值的差分值的差分值计算部,对上述差分值进行阈值处理来检测上述异常部。
12.根据权利要求1所述的图像处理装置,其中,
上述图像由光的多个波长分量构成,
上述近似值计算部对上述检查对象区域的像素的每个上述波长分量的像素值计算近似值,
上述妥当性评价部根据上述检查对象区域的像素的特定波长分量,评价针对该特定波长分量的近似值是否妥当,
上述区域分割部对由上述妥当性评价部评价为上述近似值不妥当的检查对象区域,根据该检查对象区域的像素的上述特定波长分量和针对该特定波长分量的上述近似值来进行分割。
13.根据权利要求12所述的图像处理装置,其中,
上述特定波长分量是根据生物体对于照明光的光吸收和/或光散射的程度而确定的波长分量。
14.根据权利要求1所述的图像处理装置,其中,
上述图像由光的多个波长分量构成,
上述近似值计算部计算针对上述检查对象区域的像素的特定波长分量的近似值,
上述近似值计算部具有其他波长分量近似值计算部,该其他波长分量近似值计算部根据针对该特定波长分量的近似值,计算针对上述特定波长分量之外的其他波长分量的近似值。
15.根据权利要求14所述的图像处理装置,其中,
上述其他波长分量近似值计算部具有其他波长分量近似函数计算部,该其他波长分量近似函数计算部计算将针对上述检查对象区域的像素的上述特定波长分量的近似值作为输入值、将上述像素的上述其他波长分量的像素值作为输出值的情况下上述输入值相对于上述输出值的近似函数,上述其他波长分量近似值计算部将把针对上述检查对象区域的像素的上述特定波长分量的近似值作为输入值的情况下的上述近似函数的输出值作为针对上述像素的上述其他波长分量的近似值。
16.根据权利要求1所述的图像处理装置,其中,
该图像处理装置具有将上述区域分割部所分割的各区域合并起来直到该区域中的每一个都满足既定条件为止的区域合并部,
上述对象区域再设定部将上述区域合并部合并后的各区域设定为上述新的检查对象区域。
17.根据权利要求16所述的图像处理装置,其中,
上述区域合并部具有:
特征量计算部,其计算上述各区域的特征量;
合并对象区域判定部,其根据上述特征量判定上述各区域是否为合并对象区域;以及
合并目的地区域确定部,其确定合并上述合并对象区域的目的地的合并目的地区域,
上述区域合并部将判定为上述合并对象区域的上述区域分别与上述合并目的地区域确定部所确定的上述合并目的地区域进行合并。
18.根据权利要求17所述的图像处理装置,其中,
上述特征量计算部具有计算上述各区域的面积的面积计算部,
上述合并对象区域判定部根据上述面积判定上述各区域是否为上述合并对象区域。
19.根据权利要求17所述的图像处理装置,其中,
上述特征量计算部具有:
轮廓像素检测部,其检测上述各区域的轮廓像素;以及
相邻区域信息取得部,其取得与上述轮廓像素相邻的相邻区域的识别信息,
上述合并目的地区域确定部将上述相邻区域中与上述轮廓像素相邻最多的相邻区域确定为上述合并目的地区域。
20.根据权利要求19所述的图像处理装置,其中,
上述特征量计算部具有:
边缘强度计算部,其计算上述轮廓像素处的边缘强度;以及
平均值计算部,其按每个上述相邻区域计算与该相邻区域相邻的相邻像素处的上述边缘强度的平均值,
上述合并目的地区域确定部将上述相邻区域中上述边缘强度的平均值最低的相邻区域确定为上述合并目的地区域。
21.一种图像处理方法,该图像处理方法具有如下步骤:
近似值计算步骤,根据图像内的检查对象区域的像素的像素值,对上述检查对象区域的各像素的像素值计算在上述检查对象区域内连续的近似值;
妥当性评价步骤,评价上述近似值对于上述检查对象区域的像素值是否妥当;
区域分割步骤,对在上述妥当性评价步骤中评价为上述近似值不妥当的检查对象区域进行分割;
对象区域再设定步骤,将在上述区域分割步骤中分割的各区域设定为新的检查对象区域,控制处理的反复;以及
异常部检测步骤,根据上述图像内的像素的像素值和在上述妥当性评价步骤中评价为妥当的近似值,检测异常部。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010187679A JP5555097B2 (ja) | 2010-08-24 | 2010-08-24 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
JP2010-187679 | 2010-08-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102436638A true CN102436638A (zh) | 2012-05-02 |
CN102436638B CN102436638B (zh) | 2016-10-05 |
Family
ID=44674050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110241968.XA Active CN102436638B (zh) | 2010-08-24 | 2011-08-22 | 图像处理装置以及图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8897520B2 (zh) |
EP (1) | EP2423874A1 (zh) |
JP (1) | JP5555097B2 (zh) |
CN (1) | CN102436638B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103854023A (zh) * | 2012-11-28 | 2014-06-11 | 德尔福电子(苏州)有限公司 | 基于小波变换和时域模式识别的摄像头遮挡检测方法 |
CN104487014A (zh) * | 2012-07-25 | 2015-04-01 | 直观外科手术操作公司 | 手术系统中有效的交互式出血检测 |
CN104968276A (zh) * | 2013-02-28 | 2015-10-07 | 株式会社日立医疗器械 | 图像处理装置以及区域抽出方法 |
CN109241963A (zh) * | 2018-08-06 | 2019-01-18 | 浙江大学 | 基于Adaboost机器学习的胶囊胃镜图像中出血点智能识别方法 |
CN109345503A (zh) * | 2018-08-06 | 2019-02-15 | 浙江大学 | 一种基于图像多特征融合的胶囊胃镜图像出血点识别方法 |
CN110381806A (zh) * | 2017-03-31 | 2019-10-25 | Hoya株式会社 | 电子内窥镜系统 |
CN110400313A (zh) * | 2019-08-01 | 2019-11-01 | 北京灵医灵科技有限公司 | 一种核磁共振影像的软组织分离方法和分离系统 |
CN112469323A (zh) * | 2019-03-20 | 2021-03-09 | Hoya株式会社 | 内窥镜系统 |
CN112543950A (zh) * | 2018-10-15 | 2021-03-23 | 欧姆龙株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5800549B2 (ja) * | 2011-03-31 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
JP6196760B2 (ja) * | 2012-08-10 | 2017-09-13 | オリンパス株式会社 | 画像処理装置 |
JP5983858B2 (ja) * | 2013-03-08 | 2016-09-06 | 株式会社島津製作所 | 分析対象領域設定装置 |
JP6091285B2 (ja) * | 2013-03-28 | 2017-03-08 | 日立造船株式会社 | 画像処理装置、およびそれを用いた検査システム、ならびにシート画像の補正方法、およびそれを用いたシートの検査方法 |
US9633276B2 (en) * | 2014-07-14 | 2017-04-25 | Sony Corporation | Blood detection system with real-time capability and method of operation thereof |
JP6427355B2 (ja) * | 2014-08-05 | 2018-11-21 | Hoya株式会社 | 画像信号生成装置及び電子内視鏡システム |
DE102020111776A1 (de) | 2020-04-30 | 2021-11-04 | Schölly Fiberoptic GmbH | Verfahren zur Berechnung eines Ausgabebildes und/oder einer Folge von Ausgabebildern aus Bildrohdaten, Bildaufnahmevorrichtung, Bildaufnahmesystem und Gesamtsystem |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040258285A1 (en) * | 2001-10-03 | 2004-12-23 | Hansen Johan Dore | Assessment of lesions in an image |
JP2005192880A (ja) * | 2004-01-08 | 2005-07-21 | Olympus Corp | 画像処理方法 |
US20080118133A1 (en) * | 2006-11-22 | 2008-05-22 | General Electric Company | Methods and apparatus for suppressing tagging material in prepless CT colonography |
CN101420897A (zh) * | 2006-04-17 | 2009-04-29 | 奥林巴斯医疗株式会社 | 内窥镜插入方向检测装置以及内窥镜插入方向检测方法 |
US20090202124A1 (en) * | 2006-10-11 | 2009-08-13 | Olympus Corporation | Image processing apparatus, image processing method, and computer program product |
WO2009154125A1 (ja) * | 2008-06-17 | 2009-12-23 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
CN101803899A (zh) * | 2009-02-16 | 2010-08-18 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04193254A (ja) * | 1990-11-27 | 1992-07-13 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
JP2000155840A (ja) * | 1998-11-18 | 2000-06-06 | Olympus Optical Co Ltd | 画像処理方法 |
JP2002257534A (ja) * | 2001-03-02 | 2002-09-11 | Mazda Motor Corp | 画像処理装置及びその処理方法 |
US7643699B2 (en) * | 2005-07-05 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Image processing based on local noise statistics |
JP2007075366A (ja) * | 2005-09-14 | 2007-03-29 | Olympus Medical Systems Corp | 赤外観察システム |
JP2008051653A (ja) * | 2006-08-24 | 2008-03-06 | Toshiba Corp | 非破壊検査装置及び非破壊検査方法 |
JP5106928B2 (ja) * | 2007-06-14 | 2012-12-26 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
JP5281826B2 (ja) * | 2008-06-05 | 2013-09-04 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP5117353B2 (ja) * | 2008-11-07 | 2013-01-16 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
-
2010
- 2010-08-24 JP JP2010187679A patent/JP5555097B2/ja active Active
-
2011
- 2011-08-16 US US13/210,802 patent/US8897520B2/en active Active
- 2011-08-17 EP EP11006727A patent/EP2423874A1/en not_active Withdrawn
- 2011-08-22 CN CN201110241968.XA patent/CN102436638B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040258285A1 (en) * | 2001-10-03 | 2004-12-23 | Hansen Johan Dore | Assessment of lesions in an image |
CN100530204C (zh) * | 2001-10-03 | 2009-08-19 | 雷蒂纳尔兹丹麦公司 | 评估图像中的损伤 |
JP2005192880A (ja) * | 2004-01-08 | 2005-07-21 | Olympus Corp | 画像処理方法 |
CN101420897A (zh) * | 2006-04-17 | 2009-04-29 | 奥林巴斯医疗株式会社 | 内窥镜插入方向检测装置以及内窥镜插入方向检测方法 |
US20090202124A1 (en) * | 2006-10-11 | 2009-08-13 | Olympus Corporation | Image processing apparatus, image processing method, and computer program product |
US20080118133A1 (en) * | 2006-11-22 | 2008-05-22 | General Electric Company | Methods and apparatus for suppressing tagging material in prepless CT colonography |
WO2009154125A1 (ja) * | 2008-06-17 | 2009-12-23 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
CN101803899A (zh) * | 2009-02-16 | 2010-08-18 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10772482B2 (en) | 2012-07-25 | 2020-09-15 | Intuitive Surgical Operations, Inc. | Efficient and interactive bleeding detection in a surgical system |
US9877633B2 (en) | 2012-07-25 | 2018-01-30 | Intuitive Surgical Operations, Inc | Efficient and interactive bleeding detection in a surgical system |
CN104487014A (zh) * | 2012-07-25 | 2015-04-01 | 直观外科手术操作公司 | 手术系统中有效的交互式出血检测 |
CN103854023A (zh) * | 2012-11-28 | 2014-06-11 | 德尔福电子(苏州)有限公司 | 基于小波变换和时域模式识别的摄像头遮挡检测方法 |
CN104968276A (zh) * | 2013-02-28 | 2015-10-07 | 株式会社日立医疗器械 | 图像处理装置以及区域抽出方法 |
CN104968276B (zh) * | 2013-02-28 | 2018-02-27 | 株式会社日立制作所 | 图像处理装置以及区域抽出方法 |
CN110381806A (zh) * | 2017-03-31 | 2019-10-25 | Hoya株式会社 | 电子内窥镜系统 |
CN109241963A (zh) * | 2018-08-06 | 2019-01-18 | 浙江大学 | 基于Adaboost机器学习的胶囊胃镜图像中出血点智能识别方法 |
CN109345503A (zh) * | 2018-08-06 | 2019-02-15 | 浙江大学 | 一种基于图像多特征融合的胶囊胃镜图像出血点识别方法 |
CN112543950B (zh) * | 2018-10-15 | 2024-05-03 | 欧姆龙株式会社 | 图像处理装置、图像处理方法及计算机可读取的记录介质 |
CN112543950A (zh) * | 2018-10-15 | 2021-03-23 | 欧姆龙株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
CN112469323B (zh) * | 2019-03-20 | 2023-08-18 | Hoya株式会社 | 内窥镜系统 |
CN112469323A (zh) * | 2019-03-20 | 2021-03-09 | Hoya株式会社 | 内窥镜系统 |
CN110400313A (zh) * | 2019-08-01 | 2019-11-01 | 北京灵医灵科技有限公司 | 一种核磁共振影像的软组织分离方法和分离系统 |
CN110400313B (zh) * | 2019-08-01 | 2021-01-01 | 北京灵医灵科技有限公司 | 一种核磁共振影像的软组织分离方法和分离系统 |
Also Published As
Publication number | Publication date |
---|---|
US20120051640A1 (en) | 2012-03-01 |
JP2012045056A (ja) | 2012-03-08 |
US8897520B2 (en) | 2014-11-25 |
CN102436638B (zh) | 2016-10-05 |
EP2423874A1 (en) | 2012-02-29 |
JP5555097B2 (ja) | 2014-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102436638B (zh) | 图像处理装置以及图像处理方法 | |
US8639002B2 (en) | Medical image processing apparatus and method for controlling medical image processing apparatus | |
JP5576782B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
EP1994878B1 (en) | Medical image processing device and medical image processing method | |
JP5597049B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
US8781233B2 (en) | Image processing apparatus, method of processing image, and computer-readable recording medium | |
JP5830295B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
JP4902735B2 (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
US10194783B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium for determining abnormal region based on extension information indicating state of blood vessel region extending in neighborhood of candidate region | |
EP2565846A1 (en) | Intraluminal lesion detection by classifying pixel colours | |
JP5931418B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
CN108601509B (zh) | 图像处理装置、图像处理方法以及记录有程序的介质 | |
Figueiredo et al. | Automatic detection and segmentation of colonic polyps in wireless capsule images | |
Ratheesh et al. | Advanced algorithm for polyp detection using depth segmentation in colon endoscopy | |
CN102737388B (zh) | 图像处理装置以及图像处理方法 | |
JPWO2019138772A1 (ja) | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム | |
CN113038868A (zh) | 医疗图像处理系统 | |
WO2024147255A1 (ja) | 画像探索方法及び画像探索プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |