CN104411229B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

提供能够在由面依次式的内窥镜取得的多个分光频带图像间执行精度良好的位置对准的图像处理装置等。图像处理装置执行通过利用波段相互不同的多个光拍摄管腔内而取得的多个分光频带图像间的位置对准，图像处理装置(1)具有：分光频带图像取得部(110)，其取得多个分光频带图像；空间频率成分提取部(120)，其从多个分光频带图像中的至少1个分光频带图像内的各像素中，提取每个空间频带的特征量；权重计算部(130)，其根据从各像素中提取出的每个空间频带的特征量，计算赋予给上述至少1个分光频带图像的每个空间频带的权重；以及位置对准部(140)，其根据该权重进行多个分光频带图像间的位置对准。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及进行多个分光频带图像间的位置对准的图像处理装置、图像处理方法以及图像处理程序，这多个分光频带图像是通过使用波段相互不同的光拍摄管腔内而得到的。

背景技术

近年来，内窥镜作为能非侵害地观察患者的管腔内的医用观察装置得到广泛普及。作为内窥镜的拍摄方法，根据照明方法的不同，公知有面依次式和同时式。面依次式是将波段相互不同的光依次照射到被摄体(管腔内)进行拍摄、从而取得多个分光频带图像的方法。

在面依次式中，各分光频带图像的拍摄时机不同，因而由于管腔的收缩运动等的影响，在分光频带图像间产生位置偏差(称为颜色偏差)。该颜色偏差可能对管腔内的观察等产生影响，因而有时进行分光频带图像间的位置对准。

作为与分光频带图像间的位置对准相关联的技术，在专利文献1中公开了一种根据各分光频带图像中的血管信息进行位置对准的技术。更详细地说，利用两种空间滤波器来强调粗细相互不同的血管，将所强调的血管分别看作是表层的血管和中层的血管。然后，使用表层血管的位置信息进行短波长的分光频带图像和中波长的分光频带图像的位置对准，使用中层血管的位置信息进行中波长的分光频带图像和长波长的分光频带图像的位置对准。

现有技术文献

专利文献

专利文献1：日本特开2011－194151号公报

发明内容

发明所要解决的问题

然而，在上述专利文献1中，由于仅强调特定粗细的血管来进行位置对准，因而未考虑如中波长或长波长的分光频带图像中的表层血管或细微构造那样、对精度良好的位置对准有用的其它信息。因此，难以进行精度良好的位置对准。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够在由面依次式的内窥镜取得的多个分光频带图像间执行精度良好的位置对准的图像处理装置、图像处理方法以及图像处理程序。

用于解决问题的手段

为了解决上述问题并达到目的，本发明的图像处理装置执行多个分光频带图像间的位置对准，所述多个分光频带图像是通过使用波段相互不同的多个光拍摄管腔内而分别取得的，所述图像处理装置的特征在于，具有：分光频带图像取得单元，其取得所述多个分光频带图像；空间频率成分提取单元，其从所述多个分光频带图像中的至少1个分光频带图像内的各像素中，提取每个空间频带的特征量；权重计算单元，其根据从所述各像素中提取出的所述每个空间频带的特征量，计算赋予给所述至少1个分光频带图像的每个空间频带的权重；以及位置对准单元，其根据所述每个空间频带的权重，进行所述多个分光频带图像间的位置对准。

本发明的图像处理方法执行多个分光频带图像间的位置对准，所述多个分光频带图像是通过使用波段相互不同的多个光拍摄管腔内而分别取得的，所述图像处理方法的特征在于，包含：分光频带图像取得步骤，取得所述多个分光频带图像；空间频率成分提取步骤，从所述多个分光频带图像中的至少1个分光频带图像内的各像素中，提取每个空间频带的特征量；权重计算步骤，根据从所述各像素中提取出的所述每个空间频带的特征量，计算赋予给所述至少1个分光频带图像的每个空间频带的权重；以及位置对准步骤，根据所述每个空间频带的权重，进行所述多个分光频带图像间的位置对准。

本发明的图像处理程序使计算机执行图像处理，在所述图像处理中，执行多个分光频带图像间的位置对准，所述多个分光频带图像是通过使用波段相互不同的多个光拍摄管腔内而分别取得的，所述图像处理程序的特征在于，所述图像处理包含以下步骤：分光频带图像取得步骤，取得所述多个分光频带图像；空间频率成分提取步骤，从所述多个分光频带图像中的至少1个分光频带图像内的各像素中，提取每个空间频带的特征量；权重计算步骤，根据从所述各像素中提取出的所述每个空间频带的特征量，计算赋予给所述至少1个分光频带图像的每个空间频带的权重；以及位置对准步骤，根据所述每个空间频带的权重，进行所述多个分光频带图像间的位置对准。

发明的效果

根据本发明，根据从至少1个分光频带图像内的各像素中提取出的每个空间频带的特征量，计算赋予给该分光频带图像的每个空间频带的权重，因而通过使用该权重，能够进行利用了难以受到分光频带图像的波长影响的空间频带的特征的位置对准。因此，能够在多个分光频带图像间执行精度良好的位置对准。

附图说明

图1是示出本发明实施方式1的图像处理装置的结构的框图。

图2是示出图1所示的图像处理装置的动作的流程图。

图3是示出根据模板用图像生成的按各空间频带的图像的示意图。

图4是示出图1所示的权重计算部执行的处理的流程图。

图5是示出像素值的轮廓为凹形的区域的例子的曲线图。

图6是示出图1所示的位置对准部执行的流程图。

图7是示出本发明实施方式2的图像处理装置的结构的框图。

图8是示出图7所示的权重计算部执行的处理的流程图。

具体实施方式

以下，参照附图说明本发明实施方式的图像处理装置、图像处理方法和图像处理程序。另外，本发明不限于这些实施方式。此外，在各附图的记载中，对相同部分标注相同标号来表示。

(实施方式1)

图1是示出本发明实施方式1的图像处理装置的框图。本实施方式1的图像处理装置1是执行通过由面依次式的内窥镜拍摄管腔内而取得的多个分光频带图像间的位置对准的装置。在面依次式中，通常依次取得红色、绿色、蓝色的各分光频带图像。另外，作为分光频带图像，不限于上述红色、绿色、蓝色这3种，也可以取得4个以上的分光频带图像。作为一例，可以从红色频带中提取两个窄带(以下，表示为红色(1)、红色(2))，取得红色(1)、红色(2)、绿色、蓝色这4个分光频带图像。并且，作为另一例，还可以从蓝色频带中提取两个窄带(以下，表示为蓝色(1)、蓝色(2))，取得红色(1)、红色(2)、绿色、蓝色(1)、蓝色(2)这5个分光频带图像。

并且，在本实施方式1中，选择依次取得的红色、绿色、蓝色的各分光频带图像内的1方作为模板用图像，对其它分光频带图像分别进行位置对准。另外，选择为模板用图像的分光频带图像不限于1个，可以是两个以上。在该情况下，例如，也可以进行这样的处理：使用由红色的分光频带图像生成的模板进行绿色的分光频带图像的位置对准，使用由绿色的分光频带图像生成的模板进行蓝色的分光频带图像的位置对准。并且，如上所述，由于分光频带图像还能够设为4个以上，因而作为选择为模板用图像的分光频带图像和位置对准对象的分光频带图像，可列举各种组合。

如图1所示，图像处理装置1具有：控制该图像处理装置1整体的动作的控制部10、取得与由内窥镜拍摄的图像对应的图像数据的图像取得部20、受理从外部输入的输入信号的输入部30、进行各种显示的显示部40、存储由图像取得部20取得的图像数据和各种程序的记录部50、以及对图像数据执行规定的图像处理的运算部100。

控制部10通过CPU等硬件实现，通过读入记录在记录部50内的各种程序，依照从图像取得部20输入的图像数据和从输入部30输入的操作信号等，进行向构成图像处理装置1的各部件的指示和数据传输等，统一控制图像处理装置1整体的动作。

图像取得部20是根据包含内窥镜的系统的形态而适当构成的。例如，在与胶囊型内窥镜之间的图像数据交换中使用可移动型记录介质的情况下，图像取得部20由以拆装自如的方式安装该记录介质、并读出所记录的图像的图像数据的读出装置构成。并且，在设置预先保存由内窥镜拍摄的图像的图像数据的服务器的情况下，图像取得部20由与服务器连接的通信装置等构成，与服务器进行数据通信来取得图像数据。或者，图像取得部20还可以由从内窥镜经由缆线输入图像信号的接口装置等构成。

输入部30例如由键盘、鼠标、触摸面板以及各种开关等输入器件实现，将所受理的输入信号输出到控制部10。

显示部40由LCD或EL显示器等显示装置实现，在控制部10的控制下，显示包含管腔内图像在内的各种画面。

记录部50由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或通过数据通信端子连接的硬盘、或者CD－ROM等信息记录装置及其读取装置等实现。记录部50除了存储由图像取得部20取得的图像数据之外，还存储用于使图像处理装置1进行动作并且使图像处理装置1执行各种功能的程序、以及在该程序的执行中使用的数据等。具体地说，记录部50存储使该图像处理装置1执行由面依次式的内窥镜取得的多个分光频带图像间的位置对准的图像处理程序51、以及在该程序的执行中使用的各种信息等。

运算部100通过CPU等硬件实现，通过读入图像处理程序51来实施对管腔内图像的图像处理，并执行由面依次式的内窥镜取得的多个分光频带图像间的位置对准。

下面，对运算部100的结构进行说明。如图1所示，运算部100具有：分光频带图像取得部110，其取得多个分光频带图像；空间频率成分提取部120，其从该多个分光频带图像中的至少1个分光频带图像的各像素中提取每个空间频带的特征量；权重计算部130，其根据该特征量，计算赋予给上述至少1个分光频带图像的每个空间频带的权重；以及位置对准部140，其根据该权重进行多个分光频带图像间的位置对准。

分光频带图像取得部110通过从记录部50读入图像数据，取得按照面依次式被依次拍摄的红色、绿色、蓝色这3个分光频带图像、或者其中连续的两个分光频带图像作为处理对象的分光频带图像。

空间频率成分提取部120将多个分光频带图像中的至少1个设为用于生成在位置对准中使用的模板的图像(以下称为模板用图像)，并从该模板用图像内的各像素中提取每个空间频带的特征量。

权重计算部130具有：区域提取部131，其从模板用图像中提取多个局部区域；局部频率特征量计算部132，其根据模板用图像内的各像素的空间频率成分，计算各局部区域中的每个空间频带的特征量(以下，称为局部频率特征量)；以及局部权重计算部133，其根据该局部频率特征量，计算赋予给各局部区域的每个空间频带的权重(以下，称为局部权重)。

其中，局部频率特征量计算部132具有：负区域提取部132a，其从模板图像中提取空间频率成分的振幅为负的像素区域(以下，称为负区域)；以及平均振幅计算部132b，其针对各局部区域，按照每个空间频带，计算负区域中的振幅的绝对值的平均值，局部频率特征量计算部132将按照每个空间频带计算出的平均值设为该局部区域中的局部频率特征量。

并且，局部权重计算部133具有：阈值处理部133a，其提取局部频率特征量为规定的阈值以上的空间频带；最小频带提取部133b，其提取由该阈值处理部133a提取出的空间频带中的、局部频率特征量最小的空间频带；以及比率计算部133c，其计算由阈值处理部133a提取出的空间频带的局部频率特征量相对于由该最小频带提取部133b提取出的空间频带的局部频率特征量的比率，局部权重计算部133将该比率作为局部权重进行输出。

下面，说明图像处理装置1的动作。图2是示出图像处理装置1的动作的流程图。

首先，在步骤S10中，分光频带图像取得部110读入记录在记录部50内的图像数据，取得设为处理对象的多个分光频带图像。

在接下来的步骤S11中，空间频率成分提取部120选择在步骤S10中取得的图像中的1个作为模板用图像，并从该模板用图像内的各像素中，提取每个空间频带的像素值的振幅信息(以下称为空间频率成分)作为每个空间频带的特征量。

在本实施方式1中，通过对模板用图像实施DOG(Difference of Gaussian，高斯差分)，提取各像素的空间频率成分。这里，DOG是计算对原图像实施比例尺(scale)相互不同的高斯滤波处理而得到的图像间的差分的处理(参考：アドコム·メディア株式会社，“コンピュータビジョン最先端ガイド2”，第8页)，相当于对图像的带通滤波处理。如图3所示，通过针对模板用图像M1的DOG而计算出的各差分图像m(f_n)(n＝1、2、…)相当于各空间频带的图像，各差分图像m(f_n)内的坐标(x，y)处的像素的像素值Y(x，y，f_n)相当于空间频带f_n中的空间频率成分。以下，将差分图像m(f_n)称为频带图像。

另外，在该步骤S11中，只要能够从模板用图像内的各像素中提取空间频率成分，则能够执行通常公知的带通滤波处理等其它处理。

在接下来的步骤S12中，权重计算部130根据各像素的空间频率成分，计算每个空间频带的权重。图4是示出在步骤S12中权重计算部130执行的处理的详情的流程图。

在步骤S121中，如图3的虚线所示，区域提取部131将模板用图像M1分割成多个矩形区域r_k。另外，标号k(k＝1、2、…)表示矩形区域r_k的排列顺序。各矩形区域r_k的尺寸被决定为相比与各空间频带f_n对应的波长足够大。另外，在图3中，用矩形区域r(k，f_n)表示与各矩形区域r_k对应的频带图像m(f_n)内的区域。

接下来，权重计算部130对各矩形区域r_k执行循环A的处理。

首先，在步骤S122中，局部频率特征量计算部132按照每个空间频带f_n，计算负区域中的空间频率成分的绝对值|Y(x，y，f_n)|的平均值。这里，如图5所示，空间频带f_n中的负区域相当于像素值的轮廓相对于周围区域以1/f_n左右的间隔变为凹形的区域。

更详细地说，负区域提取部132a在处理对象的矩形区域r(k，f_n)内依次搜索，提取空间频率成分Y(x，y，f_n)为负的像素。每当提取出负像素时，平均振幅计算部132b将提取出的像素的空间频率成分Y(x，y，f_n)相加。然后，在矩形区域r(k，f_n)内的全部像素的搜索后，将空间频率成分Y(x，y，f_n)的合计值的绝对值除以提取出的像素数。以下，将这样计算出的平均值设为矩形区域r_k中的空间频带f_n的局部频率特征量c(k，f_n)。

在步骤S123中，阈值处理部133a对在步骤S122中计算出的每个空间频带f_n的局部频率特征量c(k，f_n)实施阈值处理，提取局部频率特征量c(k，f_n)为规定的阈值以上的空间频带f_n。

在步骤S124中，最小频带提取部133b提取在步骤S122中提取出的空间频带f_n中的、局部频率特征量c(k，f_n)最小的空间频带(以下，称为最小频带)f_(min)。

然后，在步骤S125中，比率计算部133c计算在步骤S123中提取出的各空间频带f_n的局部频率特征量c(k，f_n)相对于最小频带f_(min)的局部频率特征量c(k，f_(min))的比率c(k，f_n)/c(k，f_(min))。局部权重计算部133将这样计算出的比率c(k，f_n)/c(k，f_(min))设定为每个空间频带f_n的权重w(k，f_n)。另外，在步骤S123中未被提取的空间频带f_n的权重被设定为1。

通过以上的处理，针对各矩形区域r_k，设定强调如下空间频带的权重，该空间频带示出与周围相比像素值轮廓为凹形的特征。在针对全部矩形区域r_k结束了循环A的处理后，处理回到主例程。

另外，在本实施方式1中，针对分割模板用图像而得到的多个矩形区域r_k的各个矩形区域r_k，计算出了以最小频带f_(min)的局部频率特征量c(k，f_n)为基准的权重，然而只要能够针对各矩形区域r_k，计算出强调如下的空间频带f_n那样的权重，则也可以使用其它方法计算权重，该空间频带f_n示出与周围相比像素值轮廓为凹形的特征。

在接着步骤S12的步骤S13中，位置对准部140根据计算出的权重，进行分光频带图像间的位置对准。图6是示出在步骤S13中位置对准部140执行的处理的详情的流程图。

在步骤S131中，位置对准部140针对模板用图像M1内的各矩形区域r_k，将在步骤S12中计算出的权重w(k，f_n)与各像素的对应的空间频率成分相乘。

在步骤S132中，位置对准部140按照每个像素，使乘以权重后的空间频率成分相加。由此，生成根据权重强调了空间频率成分的图像。即，生成进一步强调了与周围相比像素值轮廓为凹形的区域的图像。

在步骤S133中，位置对准部140使用在步骤S132中生成的图像作为模板，进行模板与其它分光频带图像的位置对准。作为位置对准的方法，例如使用LK(Lucas－Kanade)法等公知的方法。这里，LK法是这样的方法：设表示两个图像间的像素坐标变化的参数矢量为P(p₁，p₂)时，求出在这些图像间像素值的差分平方和为最小的参数矢量P。通过这样的处理，在选择为模板用图像的分光频带图像与其它分光频带图像之间，进行对应的像素彼此的坐标信息的关联。

在接着步骤S13的步骤S14中，运算部100输出位置对准结果，并存储到记录部50中。并且此时，运算部100可以根据位置对准结果生成使红色、绿色、蓝色的分光频带图像重合后的合成图像，并使合成图像显示在显示部40上。

如以上说明那样，在实施方式1中，提取包含与周围相比像素值的轮廓为凹形的信息的空间频带，计算强调该空间频带的振幅信息的权重。具体地说，根据这些权重，强调表示如表层血管或粘膜的细微构造那样、不论波长如何都容易吸收照射光的区域的频率成分。这样，由于生成强调了难以受到分光频带图像的波长影响的信息的模板，因而能够提高位置对准的精度。

在上述实施方式1中，针对分割模板用图像而得到的多个矩形区域的各个矩形区域计算出了局部频率特征量，但也可以在不进行区域分割的情况下，针对各像素计算局部频率特征量。在该情况下，能够省略图4所示的步骤S121和步骤S122。并且，在步骤S123中，针对各像素，只要提取空间频率成分为负的空间频带中的、空间频率成分的绝对值为规定的阈值以上的空间频带即可。

并且，在上述实施方式1中，在针对将图像分割成多个区域而得到的各区域计算出了每个空间频带的权重之后，以图像为单位进行了位置对准，然而也可以按照分割而得的每个区域进行位置对准。这里，本实施方式1中的拍摄对象例如是管腔内(粘膜)，由于是非刚性的，因而还考虑了位置偏差的方向按照每个区域而不同的情况。具体地说，可能会存在这样的状况：在某个区域中朝上方产生位置偏差，在另一区域中朝右方产生位置偏差。在这样的情况下，通过按照每个区域进行位置对准，能够提高图像整体中的位置对准的精度。

或者，可以替代按照每个区域进行位置对准，而以像素为单位进行位置对准。具体地说，按照每个像素设定在计算空间频率成分时的周围区域，并对各像素执行图4的步骤S122～S125，由此计算对象像素的周围区域中的每个空间频带的权重。然后，使用计算出的权重，在周围区域和其它分光频带图像之间进行位置对准。将由此得到的结果设为各像素中的位置对准结果(变形参数)。

并且，在上述实施方式1中，将红色、绿色、蓝色的各分光频带图像中的1个图像设为了模板用图像，然而也可以将两个以上的分光频带图像设为模板用图像。例如，可以使用由红色的分光频带图像生成的模板，进行与在下一时机取得的绿色的分光频带图像的位置对准，使用由绿色的分光频带图像生成的模板，进行与在下一时机取得的蓝色的分光频带图像的位置对准，使用由蓝色的分光频带图像生成的模板，进行与在下一时机取得的红色的分光频带图像的位置对准等。或者，如上所述，可以取得4个以上的分光频带图像，利用其中的两个以上的分光频带图像生成模板，由此使模板和位置对准对象的分光频带图像进行各种组合来进行位置对准。

并且，在上述实施方式1中，没有特别提及针对位置对准对象的分光频带图像的处理，然而也可以对位置对准对象的分光频带图像实施规定的处理。例如，针对位置对准对象的分光频带图像，如果在与模板同样地使用权重强调了空间频率之后，使用模板进行位置对准，则能够进一步提高位置对准精度。

(实施方式2)

下面，对本发明的实施方式2进行说明。

图7是示出本发明实施方式2的图像处理装置的结构的框图。如图7所示，实施方式2的图像处理装置2具有运算部200，运算部210具有权重计算部210来替代图1所示的权重计算部130。权重计算部210以外的运算部200内的各部件的结构和动作、以及图像处理装置2的各部件的结构和动作与实施方式1相同。

如图7所示，权重计算部210具有临时权重计算部211和临时权重控制部212。临时权重计算部211与实施方式1中的权重计算部130同样，具有区域提取部131、局部频率特征量计算部132以及局部权重计算部133，临时权重计算部211输出根据局部频率特征量计算的每个空间频带的权重作为临时权重。

临时权重控制部212通过强调或抑制由临时权重计算部211计算出的临时权重中的、根据模板用图像的波段选择的空间频带内的临时权重，计算局部权重。更详细地说，临时权重控制部212具有：空间频带选择部212a，其根据模板用图像的波段选择规定的空间频带；阈值处理部212b，其对所选择的空间频带的局部频率特征量进行阈值处理；以及临时权重强调部212c，其强调局部频率特征量被判别为规定的阈值以上的空间频带的临时权重。

下面，对图像处理装置2的动作进行说明。图像处理装置2的动作在整体上与图2所示的动作相同，在步骤S12中由权重计算部210执行的详细处理与实施方式1不同。

图8是示出在步骤S12中由权重计算部210执行的处理的流程图。另外，图8所示的步骤S221～S224对应于图4所示的步骤S121～S124。

在接着步骤S224的步骤S225中，局部权重计算部133计算在步骤S223中提取出的空间频带f_n的局部频率特征量c(k，f_n)相对于最小频带f_(min)中的局部频率特征量c(k，f_(min))的比率c(k，f_n)/c(k，f_(min))，将该比率c(k，f_n)/c(k，f_(min))设定为空间频带f_n的临时权重w’(k，f_n)。另外，在步骤S223中未被提取的空间频带f_n的临时权重被设定为1。

在接下来的步骤S226～S228中，临时权重控制部212根据模板用的分光频带图像的波段控制临时权重。

这里，在分光频带图像中显现为高频成分的信息对应于粘膜面的细微构造或粘膜表层的细微血管。其中，粘膜面的细微构造不论波段如何，都显现在分光频带图像内。此外，如果在血管中的吸光度低的长波长的分光频带图像(例如，红色的分光频带图像)内还显现细微血管，则在其它分光频带图像内也显现同样的细微血管的可能性高。即，在长波长的分光频带图像中的高频成分的强度强的情况下，在其它分光频带图像中也存在高频成分变强的趋势，高频成分在位置对准中是重要的信息。因此，如果模板用图像是长波长的分光频带图像、而且该分光频带图像中的高频成分的强度强，则以使高频成分的权重进一步增大的方式强调临时权重。

因此，在步骤S226中，空间频带选择部212a根据模板用图像的波段，选择要强调权重的空间频带。具体地说，在模板用图像是红色的分光频带图像的情况下，选择空间频率成分的强度(或者，振幅的绝对值)为规定的阈值以上、而且空间频带为规定的频带以上的高频带。

接下来，临时权重控制部212对所选择的各空间频带执行循环C的处理。即，在步骤S227中，阈值处理部212b判定在步骤S222中计算出的平均值(局部频率特征量)是否为规定的阈值以上。另外，步骤S227中的阈值设定了比步骤S223中的阈值大的值。

在局部频率特征量为阈值以上的情况下(步骤S227：是)，临时权重强调部212c通过对处理对象的空间频带内的临时权重(参照步骤S225)乘以规定的系数(＞1)来强调该临时权重(步骤S228)。另一方面，在局部频率特征量小于阈值的情况下(步骤S227：否)，直接结束对该空间频带的处理。

在对步骤S226中选择的全部空间频带结束了循环C的处理、而且对全部矩形区域结束了循环B的处理后，处理回到主例程。

如以上说明那样，根据实施方式2，针对根据局部频率特征量计算出的临时权重，强调根据模板用图像的波段而选择的空间频带内的权重。因此，通过使用这样的权重，能够进一步提高分光频带图像间的位置对准的精度。

(变形例1)

下面，针对上述实施方式2，对模板用图像是波长非常短的分光频带图像的情况进行说明。在将波长非常短的分光频带图像设为模板用图像的情况下，当提取出了比在其它分光频带图像中可提取的高频成分更高频率的空间频率成分时，可以抑制这样的空间频率成分。这是因为，这样的频率成分难以显现在其它分光频带图像内，难以用于位置对准。

作为具体的处理，在步骤S226中，空间频带选择部212a在模板用图像是波长非常短的分光频带图像的情况下，选择空间频带为规定的频带以上的高频带。并且，在步骤S228中，临时权重强调部212c对局部频率特征量被判断为规定的阈值以上的临时权重乘以规定的系数(＜1)。由此，能够抑制所选择的空间频带中的临时权重。

根据以上说明的变形例1，由于能够生成减少了难以用于位置对准的信息的模板，因而能够提高位置对准的精度，并且缩短位置对准所需的处理时间。

(变形例2)

在上述的实施方式1和2中，使用图像空间中的空间频率成分，计算出了各矩形区域中的每个空间频带的权重或者临时权重。然而，也可以使用频率空间的信息计算相同的权重或者临时权重。以下，对使用频率空间的信息的具体处理进行说明。另外，以下说明与实施方式1对应的计算权重的情况，然而与实施方式2对应的计算临时权重的情况也为相同处理。

权重计算部130在图4的步骤S121中将分光频带图像分割成了多个矩形区域之后，通过对各矩形区域实施傅立叶变换，将图像空间的信息变换为频率空间的信息。然后，计算预先设定的1个以上的空间频带的功率(强度)谱。

然后，跳过步骤S122，权重计算部130将针对各矩形区域计算出的各空间频带的强度作为局部频率特征量，执行步骤S123～S125的处理。即，提取强度为规定的阈值以上的空间频带，并从提取出的空间频带中提取强度最小的空间频带(最小频带)。然后，计算各空间频带的强度相对于最小频带的强度的比率，作为每个空间频带的权重。

(变形例3)

在上述的实施方式1和2中，生成如下的模板，并通过使用了该模板的通常的位置对准方法(LK法等)进行了与其它分光频带图像的位置对准，该模板针对各矩形区域，根据按照每个空间频带计算出的权重强调了空间频率成分。然而，作为位置对准方法，不限于上述方法。在本变形例3中，说明其它位置对准的例子。

首先，位置对准部140通过DOG处理，将位置对准对象的分光频带图像分离成多个按空间频带的图像(以下称为频带图像)。然后，在各频带图像和模板之间进行位置对准，计算每个空间频带的变形参数。这里，变形参数例如是在两个图像间对应的被摄体的平行移动量或者扩大或缩小的比例尺。进而，位置对准部140将由权重计算部130计算出的每个空间频带的权重和变形参数相乘，计算全部空间频带间的平均值。位置对准部140输出这样进行了加权平均处理后的变形参数，作为模板与位置对准对象的分光频带图像之间的综合的位置对准结果。

以上所说明的实施方式1和2以及它们的变形例1～3的图像处理装置能够通过由个人计算机或工作站等计算机系统执行记录在记录装置内的图像处理程序来实现。并且，还能够将这种计算机系统经由局域网、广域网(LAN/WAN)或互联网等公共线路，与其它计算机系统或服务器等设备连接来使用。在该情况下，实施方式1和2以及它们的变形例1～3的图像处理装置可以经由这些网络取得管腔内图像的图像数据，或向经由这些网络连接的各种输出设备(观察器或打印机等)输出图像处理结果，或在经由这些网络连接的存储装置(信息记录装置及其读取装置等)内存储图像处理结果。

另外，本发明不限于实施方式1和2以及它们的变形例，通过适当组合在各实施方式和变形例中公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式和变形例所示的全部结构要素中去除几个结构要素来形成本发明，也可以适当组合不同实施方式和变形例所示的结构要素来形成本发明。

标号说明

1、2：图像处理装置

10：控制部

20：图像取得部

30：输入部

40：显示部

50：记录部

51：图像处理程序

100、200：运算部

110：分光频带图像取得部

120：空间频率成分提取部

130、210：权重计算部

131：区域提取部

132：局部频率特征量计算部

132a：负区域提取部

132b：平均振幅计算部

133：局部权重计算部

133a：阈值处理部

133b：最小频带提取部

133c：比率计算部

140：位置对准部

211：临时权重计算部

212：临时权重控制部

212a：空间频带选择部

212b：阈值处理部

212c：临时权重强调部

Claims (9)

1.一种图像处理装置，其执行多个分光频带图像间的位置对准，所述多个分光频带图像是通过使用波段相互不同的多个光拍摄管腔内而分别取得的，所述图像处理装置的特征在于，具有：

分光频带图像取得部，其取得所述多个分光频带图像；

空间频率成分提取部，其从所述多个分光频带图像中的至少1个分光频带图像内的各像素中，提取每个空间频带的特征量；

权重计算部，其根据从所述各像素中提取出的所述每个空间频带的特征量，计算赋予给所述至少1个分光频带图像的每个空间频带的权重；以及

位置对准部，其根据所述每个空间频带的权重，进行所述多个分光频带图像间的位置对准。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述权重计算部具有：

局部区域提取部，其从所述至少1个分光频带图像中提取多个局部区域；

局部频率特征量计算部，其根据从所述至少1个分光频带图像内的所述各像素中提取出的所述每个空间频带的特征量，计算所述多个局部区域各自的每个空间频带的特征量即局部频率特征量；以及

局部权重计算部，其根据所述局部频率特征量，计算赋予给所述多个局部区域中的各个局部区域的每个空间频带的权重作为局部权重。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述局部权重计算部除了根据所述局部频率特征量以外，还根据所述至少1个分光频带图像的波段计算所述局部权重。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述局部权重计算部强调或抑制根据所述局部频率特征量计算出的所述局部权重中的、根据所述波段所选择的空间频带的局部权重。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述局部权重计算部具有：

阈值处理部，其对根据所述波段所选择的空间频带的所述局部频率特征量进行阈值处理；以及

临时权重强调部，其在由所述阈值处理部判别为所述局部频率特征量为规定的阈值以上的空间频带中，对根据所述局部频率特征量计算出的权重乘以规定的系数。

6.根据权利要求2所述的图像处理装置，其特征在于，

所述局部频率特征量计算部具有：

负区域提取部，其从所述至少1个分光频带图像中，提取空间频率成分的振幅为负的像素区域即负区域；以及

平均振幅计算部，其针对所述多个局部区域的各个局部区域，按照所述每个空间频带计算所述负区域中的振幅的绝对值的平均值，

将按照所述每个空间频带计算出的所述平均值设为该局部区域中的所述局部频率特征量。

7.根据权利要求2所述的图像处理装置，其特征在于，

所述局部权重计算部具有：

阈值处理部，其提取所述局部频率特征量为规定的阈值以上的空间频带；

最小频带提取部，其提取由所述阈值处理部提取出的所述空间频带中的、所述局部频率特征量最小的空间频带；以及

比率计算部，其计算由所述阈值处理部提取出的空间频带的所述局部频率特征量相对于由所述最小频带提取部提取出的空间频带的所述局部频率特征量的比率。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述位置对准部通过使用所述每个空间频带的权重强调所述至少1个分光频带图像内的各像素的像素值来生成模板，并使用该模板进行所述多个分光频带图像间的位置对准。

9.一种图像处理装置的图像处理方法，其执行多个分光频带图像间的位置对准，所述图像处理装置具有运算部，所述图像处理方法的特征在于，包含：

分光频带图像取得步骤，所述运算部取得所述多个分光频带图像；

空间频率成分提取步骤，所述运算部从所述多个分光频带图像中的至少1个分光频带图像内的各像素中，提取每个空间频带的特征量；

权重计算步骤，所述运算部根据从所述各像素中提取出的所述每个空间频带的特征量，计算赋予给所述至少1个分光频带图像的每个空间频带的权重；以及

位置对准步骤，所述运算部根据所述每个空间频带的权重，进行所述多个分光频带图像间的位置对准。