CN102247114B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种能够使得内窥镜在体内中的位置和引导图像上的位置高精度地一致的图像处理装置及图像处理方法。该图像处理装置包括：图像取得部(325)，其取得由内窥镜装置对被检体内的部位的内部进行拍摄而得到的图像即摄像图像；体内位置确定信息取得部(341)，其取得体内位置确定信息，该体内位置确定信息是用于确定拍摄摄像图像时的、内窥镜装置在体内中的位置的信息；部位模型取得部(343)，其取得被检体内的部位的模型即部位模型；模型上位置确定部(342)，其在所取得的部位模型上，确定与由所取得的体内位置确定信息确定的位置对应的模型上位置；对应部(345)，其将与摄像图像相关的信息和所确定的模型上位置对应起来。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法。

背景技术

目前，以内窥镜装置为代表的、插入消化管等的体腔内而用于诊断、治疗等的医用设备是众所周知的。在利用这样的医用设备对活体进行检查或手术时，医生在事先掌握体内的各部位(器官、组织)的已知的位置关系的基础上，对当前所观察的部位的位置进行估计而进行诊断或手术。为了协助这样的诊断或手术，目前研发出用于显示检查时或手术时所观察的内窥镜装置的体内位置的技术。

作为这样的医用协助系统，例如在日本特开2006-149481号公报中记载了如下技术：检测超声波内窥镜的前端位置而显示与超声波内窥镜的体内中的位置对应的引导图像。

在日本特开2006-149481号公报中，设置用于对活体的标本点的位置进行检测的标本点位置检测单元，并且通过对由标本点位置检测单元检测的标本点的位置和被图像信息保持单元保持的参照图像数据上的特征点的位置进行核对而制作引导图像。并且，设置用于检测活体的位置或姿势的姿势检测单元而安装在被检体上。根据由该姿势检测单元检测的被检体的位置或朝向而校正由所述标本点位置检测单元检测的所述标本点的位置，从而对被检体的姿势变化进行校正的同时制作所述引导图像。

专利文献1日本特开2006-149481号公报

但是，在专利文献1中，必须要获得与引导图像上的特征点对应的、活体的标本点，因此需要用于获得标本点的位置检测单元，从而在成本方面并不有利。并且，在取得了参照图像数据时和进行内窥镜检测时，在骨骼与内脏之间的位置关系和形状上存在差异，当在被检体上取得的标本点和在参照图像数据上指定的特征点之间出现偏差时，在引导图像和实际的内窥镜装置的体内中的位置之间产生误差。

具体地，在作为参照图像数据使用CT的情况下，在进行CT摄影时基本上向上仰着进行摄影。另外，在内窥镜检查中，向深部消化管插入时，例如在经由大肠而向小肠插入的情况下，如果仅仅将内窥镜插入部推入，则由于复杂的肠道的折曲而导致力量不容易传递到内窥镜前端，因此难以插入到深部。因此，在大肠内窥镜插入操作中，需要在角度操作、扭曲操作、拉回操作、轴保持等中下工夫。特别是，S形结肠和横行结肠是大肠的游离部分，并且在其形成中变化丰富。因此，在将内窥镜插入大肠时，在该部位容易形成环形状(内窥镜以折曲的状态被插入的现象)而容易导致插入困难，因此目前采样轴保持缩短法，该轴保持缩短法将具有这些弯曲部的部位折叠而实现缩短。而根据这样的技术，由于在制作参照图像的CT摄影时和内窥镜检查时的内脏的形状不同，因此在引导图像和实际的内窥镜装置的体内中的位置之间产生误差。

发明内容

根据本发明的几个实施方式，能够提供使得内窥镜的体内中的位置和部位模型图像(引导图像)上的位置高精度地一致的图像处理装置及图像处理方法。

根据本发明的几个实施方式，能够提供这样的图像处理装置及图像处理方法：在不需要用于检测内窥镜装置的体内中的位置的大规模装置的情况下能够使得引导图像上的内窥镜装置的位置与实际的内窥镜装置的体内中的位置高精度地一致。

本发明的一实施方式涉及这样的图像处理装置，其包括：图像取得部，其取得摄像图像，该摄像图像是由内窥镜装置对被检体内的部位的内部进行拍摄而得到的图像；体内位置确定信息取得部，其取得体内位置确定信息，该体内位置确定信息是用于确定拍摄所述摄像图像时的、所述内窥镜装置在体内中的位置的信息；部位模型取得部，其取得部位模型，该部位模型是所述被检体内的部位的模型；模型上位置确定部，其在所取得的所述部位模型上，确定与由所取得的所述体内位置确定信息确定的位置对应的模型上位置；以及对应部，其将与所述摄像图像相关的信息和所确定的所述模型上位置对应起来。

在本发明的一实施方式中，根据体内位置确定信息而确定与拍摄摄像图像时的内窥镜的体内位置对应的模型上位置。并且，将与摄像图像相关的信息和所确定的模型上位置对应起来。由此，能够显示内窥镜的模型上位置和体内中的位置高精度地一致的模型图像(引导图像)。

本发明的另一实施方式涉及这样的图像处理方法，取得摄像图像，该摄像图像是由内窥镜装置对被检体内的部位的内部进行拍摄而得到的图像，取得体内位置确定信息，该体内位置确定信息是用于确定拍摄所述摄像图像时的、所述内窥镜装置在体内中的位置的信息，取得部位模型，该部位模型是所述被检体内的部位的模型，在所取得的所述部位模型上，确定与由所取得的所述体内位置确定信息确定的位置对应的模型上位置，将与所述摄像图像相关的信息和所确定的所述模型上位置对应起来。

附图说明

图1表示本实施方式中的显示方法的一例。

图2(A)是表示大肠的通常的状态的图，图2(B)是表示在执行轴保持缩短法时的大肠的状态的图。

图3表示本实施方式的系统结构例。

图4表示滤色器r、g、b的分光特性。

图5是滤色器g2、b2的说明图。

图6表示滤色器g2、b2的分光特性。

图7是通常光图像取得部的结构例。

图8是特殊光图像取得部的结构例。

图9是引导图像生成部的结构例。

图10是体内位置确定信息取得部的结构例。

图11(A)是第1定时中的摄像图像的例子，图11(B)是第2定时中的相似形状的摄像图像的例子。

图12是摄像图像中的相似形状的倍率和移动距离的关系图。

图13是大肠的各部位的名称及基准位置的说明图。

图14是模型上位置确定部的结构例。

图15(A)是用于说明在使用轴保持缩短法的情况下的校正及转换处理的图，图15(B)是用于说明在不使用轴保持缩短法的情况下的校正及转换处理的图。

图16(A)是用于说明在管空状的部位中观察病变部时的内窥镜装置的状态的图，图16(B)用于说明详细观察病变部时的内窥镜装置的移动的图。

图17显示在部位模型表示关注区域及内窥镜装置位置的指针的一例。

图18是在软件处理中使用的计算机的结构例。

图19是在软件处理中使用的计算机的结构例。

图20是用于说明本实施方式的处理的流程图。

图21是用于说明体内位置确定信息取得处理的流程图。

图22是用于说明模型上位置确定处理的流程图。

图23是本实施方式的其他系统结构例。

图24是体内位置确定信息取得部的其他结构例。

图25是体内位置确定信息取得部的其他结构例。

图26是模型上位置确定部的其他结构例。

图27(A)是用于说明在使用轴保持缩短法的情况下的转换及校正处理的图，

图27(B)是用于说明在不使用轴保持缩短法的情况下的转换及校正处理的图。

图28是本实施方式的其他系统结构例。

图29是引导图像生成部的其他结构例。

符号说明

100光源部；200插入部；210光纤；220照明透镜；230物镜；240半反境；250第1摄像元件；260第2摄像元件；300图像处理部；310a、310bAD转换部；320通常光图像取得部；321通常光图像生成部；322通常光图像存储部；330特殊光图像取得部；331特殊光图像生成部；332特殊光图像存储部；340、340b引导图像生成部；341、341b体内位置确定信息取得部；342模型上位置确定部；343、343b部位模型取得部；344对应部；345关注区域检测部；350控制部；400显示部；500外部I/F部；600计算机系统；610主体部；611CPU；612RAM；613ROM；614硬盘驱动器(HDD)；616USB端口；618LAN接口；620显示器；621显示画面；630键盘；640鼠标；650调制解调器；660CD-ROM；670USB存储器；681个人电脑(PC)；682服务器；683打印机；3410图像存储部；3411方向计算部；3412距离计算部；3413校正部；3421基准位置检测部；3422转换部；3423校正部

具体实施方式

下面，对本实施方式进行说明。另外，以下说明的本实施方式并不会不适当地限定权利要求书中记载的本发明的内容。并且，在本实施方式中说明的结构并不一定都是本发明的必要技术特征。

1.本实施方式的方法

首先，对本实施方式的方法进行说明。图1表示本实施方式中的显示方法的例子。如图1所示，在包括本实施方式的图像处理装置的内窥镜装置的显示部上显示有由内窥镜装置的插入部(摄像部)拍摄的活体内图像和体内的部位的模型即模型图像。

并且，如后述的图17所示，在模型图像上显示有表示内窥镜装置的插入部位于体内的何处的指针。并且，也可以显示表示应关注的区域(例如病变部等)即关注区域的位置的指针。

如果能够使模型图像上的内窥镜装置的位置与实际的内窥镜装置的体内中的位置高精度地一致，则能够准确把握内窥镜装置的当前位置和病变部的位置等，因此医生能够容易进行检查。

作为具体的方法，首先通过某种方法，作为体内位置确定信息而取得内窥镜装置的移动信息(例如，移动距离和移动方向等)。在第1实施方式中，对于根据由内窥镜装置的插入部(摄像部)拍摄的图像而取得体内位置确定信息的方法进行说明。并且，在第2实施方式中，对于根据来自传感器的传感器信息而取得体内位置确定信息的方法进行说明。

所取得的体内位置确定信息与内窥镜装置的插入部的实际移动距离对应。但是，如果直接使用体内位置确定信息而求得与内窥镜装置的体内位置对应的模型中的位置(以下，记载为模型上位置)则存在问题。

因为在将内窥镜插入大肠内时将使用轴保持缩短法等的方法。在将内窥镜插入大肠内时，通常需要扭曲或拉回的操作，从而容易形成环形状(内窥镜以折曲的状态被插入的现象)而导致插入困难。轴保持缩短法是用于解决这样的问题的一个方法，将本来是如图2(A)所示那样折曲的部分如图2(B)所示那样笔直地拉伸，从而使得容易插入。因此，即使实际移动距离(由体内位置确定信息表示的距离)较短，在模型上也被认为插入到折曲的部分的相当靠前的部位。

因此，需要在校正由使用轴保持缩短法等而产生的偏差的基础上求得体内位置确定信息(校正后体内位置确定信息)。并且，体内位置确定信息是与实际比例对应的移动信息等，因此需要转换为模型上的距离。对于以上的方法，在第1实施方式中进行说明。

另外，校正和转换的顺序不限于此，也可以先转换后校正。关于先进行转换的方法，在第3实施方式中进行说明。

并且，关于部位模型的取得方法能够想到各种各样的方式，在第4实施方式中说明特别是使用胶囊内窥镜的例子，在第5实施方式中说明使用CT扫描的例子。

2.第1实施方式

下面，参照图3对包括本发明第1实施方式中的图像处理装置的内窥镜装置进行说明。包括本实施方式中的图像处理装置的内窥镜装置包括：光源部100；插入部200；图像处理部300；显示部400；外部I/F部500。

光源部100包括产生白色光的白色光源110和用于将白色光会聚在光纤210上的聚光透镜120。

插入部200为了例如能够插入体腔内而形成为细长且可弯曲。插入部200包括：光纤210，其用于引导由光源部100会聚的光；照明透镜220，其将由光纤210引导至前端的光扩散而照射到观察对象上；物镜230，其对从观察对象返回的反射光进行会聚；半反境240，其将会聚到的反射光分离为2个；第1摄像元件250和第2摄像元件260，其用于对被分离的反射光进行检测。

第1摄像元件250是用于对通常光图像进行拍摄的具有拜耳排列的滤色器的摄像元件。第1摄像元件250的滤色器R、G、B例如具有如图4所示的分光特性。第2摄像元件260是用于对窄频段图像进行拍摄的摄像元件，该第2摄像元件260具有例如图5所示的以方格状排列有分别透过2种窄频段光G2和B2的2种滤色器g2和b2的滤色器。第2摄像元件260的滤色器g2、b2例如图6所示具有如下的透射率特性：b2使390～445nm的波段的光透过，g2使530～550nm的波段的光透过。

图像处理部300(图像处理装置)包括：AD转换部310a、310b、通常光图像取得部320、特殊光图像取得部330、引导图像生成部340、控制部350。控制部350与通常光图像取得部320、特殊光图像取得部330、引导图像生成部340双向连接而对这些部分进行控制。

外部I/F部500是供使用者向该内窥镜装置进行输入等的接口，该外部I/F部500包括如下部件等而构成：电源开关，其用于接通/断开电源；快门按钮，其用于开始进行摄影操作；模式转换按钮，其用于转换摄影模式或其他各种模式。并且，该外部I/F部500将所输入的信息输出到控制部350。

AD转换部310a将由第1摄像元件250输出的模拟信号转换为数字信号而进行输出。AD转换部310b将由第2摄像元件260输出的模拟信号转换为数字信号而进行输出。

通常光图像取得部320根据例如由AD转换部310a输出的数字信号取得通常光图像。特殊光图像取得部330根据例如由AD转换部310b输出的数字信号取得特殊光图像。关于通常光图像取得部320及特殊光图像取得部330的具体内容将后述。

将由通常光图像取得部320取得的通常光图像作为观察图像输出到显示部400。并且，由通常光图像取得部320取得的通常光图像和由特殊光图像取得部330取得的特殊光图像被输出到引导图像生成部340。引导图像生成部340生成引导图像而输出到图像显示部400。关于引导图像生成部340的具体内容将后述。

下面，参照图7说明通常光图像取得部320。通常光图像取得部320包括通常光图像生成部321和通常光图像存储部322。通常光图像生成部321对于由AD转换部310a转换而被输入的数字信号进行图像处理而生成通常光图像。具体地，进行现有的插值处理、白平衡处理、色转换处理、灰度转换处理等而生成通常光图像并进行输出。通常光图像存储部322存储由通常光图像生成部321输出的通常光图像。

下面，参照图8说明特殊光图像取得部330。特殊光图像取得部330包括特殊光图像生成部331和特殊光图像存储部332。特殊光图像生成部331对于由AD转换部310b转换而被输入的数字图像信号进行图像处理而生成特殊光图像。在本实施方式中，特殊光图像是窄频段光图像。

在此，对由特殊光图像生成部331生成窄频段光图像的方法进行说明。如上所述，输入到特殊光图像生成部的数字图像信号是以方格状排列图5所示的2种滤色器g2和b2的图像信号。对于这样的图像信号，首先进行插值处理而生成全像素具有g2滤波器的信号值的G2图像和全像素具有b2滤波器的信号值的B2图像。根据插值处理而计算的像素值例如可以是周边4像素的平均值，例如图5的g2(1，1)的位置上的b2的像素值b2(1，1)及b2(1，2)位置上的g2的像素值g2(1，2)由下述式(1)、(2)计算得出。

b2(1，1)＝[b2(0，1)+b2(1，0)+b2(1，2)+b2(2，1)]/4......(1)

g2(1，2)＝[g2(0，2)+g2(1，1)+g2(1，3)+g2(2，2)]/4......(2)

然后，由对全像素进行插值的G2图像及B2图像生成具有R、G、B这3个通道的彩色图像。这里，例如，向彩色图像的R通道输入G2图像，向G通道和B通道输入B2图像而生成彩色图像。特殊光图像生成部331对所生成的彩色图像进一步进行白平衡、灰度转换等处理而作为窄频段光图像进行输出。特殊光图像存储部332存储由特殊光图像生成部331输出的特殊光图像。

下面，对引导图像生成部340的具体结构进行说明。图9是用于说明第1实施方式中的引导图像生成部340的结构的一例的框图。引导图像生成部340包括：体内位置确定信息取得部341、部位模型取得部343、模型上位置确定部342、对应部344、关注区域检测部345。

在此，来自通常光图像取得部320的图像信号被输出到体内位置确定信息取得部341和模型上位置确定部342。体内位置确定信息取得部341与模型上位置确定部342连接。部位模型取得部343与模型上位置确定部342和对应部344连接。并且，来自特殊光图像取得部330的图像信号被输出到关注区域检测部345。关注区域检测部345与对应部344连接。对应部344与显示部400连接。控制部350与体内位置确定信息取得部341、模型上位置确定部342、部位模型取得部343、对应部344以及关注区域检测部345双向连接，从而对这些部分进行控制。

体内位置确定信息取得部341根据控制部350的控制，作为用于确定拍摄该图像时的内窥镜装置在体内中的位置的信息，取得内窥镜装置的移动距离及在体内中的移动方向。下面，对体内位置确定信息取得部341的具体结构进行说明。图10是用于说明第1实施方式中的体内位置确定信息取得部341的结构的一例的框图。如图10所示，体内位置确定信息取得部341包括：图像存储部3410、距离计算部3412、方向计算部3411、校正部3413。

图像存储部3410根据控制部350的控制而存储由通常光图像取得部输出的通常光图像。具体地，通常光图像被输入到图像存储部时，存储于图像存储部3410的1帧之前的通常光图像分别被输出到距离计算部3412和方向计算部3411，从而所输入的通常光图像被覆盖。

距离计算部3412根据控制部350的控制并基于取得的图像，作为内窥镜装置的移动距离而计算内窥镜装置在体内中的移动距离。在此，将由通常光图像取得部320取得的图像的特征点与在存储于图像存储部的在该图像的1帧之前取得的图像的特征点进行匹配，并根据匹配的特征点的相似形状而计算内窥镜装置在体内中的移动距离L。关于移动距离L的计算方法，使用公知的技术。具体地，例如图11(A)、图11(B)所示，在一个图像中提取特征点，在另一图像中提取已提取的特征点的相似形状。并且，如图12所示，保持相似形状的倍率与移动距离之间的表，通过参照表来计算移动距离即可。计算出的移动距离L被输出到校正部3413。

另外，作为由摄像图像求出移动距离的方法并不限于所述匹配的方式。也可以在插入部200追加变焦机构，利用变焦功能且基于单眼图像而进行三维计算。并且，也可以在插入部200追加射束机构，根据由光束产生的移动估计(光流的计算)而进行三维计算。

方向计算部3411根据控制部350的控制且基于所取得的图像来计算内窥镜装置的在体内中从测定开始地点起的移动方向。具体地，将由通常光图像取得部320取得的图像、与在存储于图像存储部的在该图像的1帧之前取得的图像进行匹配，并根据其匹配结果来计算内窥镜装置在体内中的移动方向(h，v)。在此，h表示在水平方向移动的角度，v表示在垂直方向移动的角度。并且，h相对于取得1帧前的图像时的摄像面的法线方向，右为正，左为负。V相对于取得1帧前的图像时的摄像面的法线方向，上为正，下为负。计算出的移动方向(h，v)被输出到模型上位置确定部342。

校正部3413根据控制部350的控制，按照内窥镜装置所移动的部位的全部或一部分的结构特性而校正计算出的体内中的移动距离。具体地，对于内窥镜装置根据轴保持缩短法而插入的、具有弯曲部的弯曲部位的全部或一部分的区间中的移动距离，进行增加其距离的校正。这是因为：轴保持缩短法将肠道折叠而使之缩短，因此部位模型上的移动距离相对于计算出的移动距离长。校正后的移动距离cL由以下式进行计算。

cL＝corCoef×L......(3)

corCoef是1以上的系数，该corCoef可由医生预先决定，也可以根据患者的信息由控制部350自动计算。经校正的移动距离cL被输出到模型上位置确定部342。

部位模型取得部343根据控制部350的控制取得表示被检体内的活体部位的大致轮廓的部位模型。在此，部位模型取得部343具有能够存储大容量的数据的例如硬盘驱动器、磁带机，存储有多个活体的部位模型。在此，部位模型是表示健康人的活体部位的二维模型(例如，图13的大肠模型的影像图)。另外，部位模型可以是三维模型。并且，部位模型可以是从被检体本人取得的模型，也可以是从不同的人体取得的模型。并且，可以根据部位模型的身高、体型等身体特征和性别等条件，事先从不同的人体取得。并且，部位模型可以由胶囊内窥镜装置、CT装置、MRI装置经由网络而输入到图像处理部300并存储到部位模型取得部343中。部位模型输出到模型上位置确定部342和对应部344。

模型上位置确定部342根据控制部350的控制，在所取得的部位模型上确定与计算出的体内摄像位置对应的模型上位置。下面，对模型上位置确定部342的具体结构进行说明。图14是用于说明第1实施方式中的模型上位置确定部342的结构的一例的框图。如图14所示，模型上位置确定部342包括基准位置检测部3421和转换部3422。

基准位置检测部3421根据控制部350的控制而检测成为移动距离的基准的基准位置。在此，作为基准位置之一的测定开始地点是由内窥镜装置开始体内拍摄的地点。具体地，通过计算由通常光图像取得部输入的通常光图像的特征点而检测测定开始地点。在此，特征点为图像整体的颜色信息，将图像整体带红色的时刻所对应的地点作为由内窥镜装置开始体内拍摄的地点。图13的基准位置A相当于该情况。移动距离的基准位置不限于此，也可以是由内窥镜装置开始进行特定部位的拍摄的地点。例如，可以将内窥镜装置在体内中的位置从大肠切换到小肠的地点作为基准位置而重新设定。图13的基准位置B相当于该情况。在检测到基准位置的情况下，将检测信号输出到转换部3422。

转换部3422根据控制部350的控制，将由体内位置确定信息取得部341计算的体内中的移动距离转换为部位模型上的距离，将体内中的移动方向转换为部位模型上的移动方向。在此，首先通过以下式，将计算出的移动距离cL转换为与部位模型上的比例对应的移动距离mL1。

mL1＝modCoef×cL......(4)

系数modCoef是与部位模型的大小对应的系数，针对每个部位模型预先设定有该系数。

在此，摄影部位为轴保持缩短法的对象部位的情况下，计算从基准位置开始对移动方向(h，v)进行积算得到的移动方向addH、addV。并且，由以下式计算以移动方向校正了模型上的移动距离mL1的移动距离radL。

radL＝mL1×cos(addH)×cos(addV)......(5)

另外，计算从基准位置开始对由移动方向校正的移动距离radL积算得到的移动距离addL。从基准位置起的移动距离addL被输出到对应部344。

另外，摄影部位并不是轴保持缩短法的对象部位的情况下，通过以下式根据移动方向(h，v)计算在部位模型上的移动量(x，y)。

mL2＝modCoef×L......(6)

(x、y)＝(mL2×sin(h)×cos(v)，mL2×cos(h)×cos(v))......(7)

将从基准位置开始对该(x，y)进行积算得到的值表示为(addX，addY)。(addX，addY)表示部位模型上的从基准坐标起的相对坐标。从基准位置起的相对坐标(addX，addY)被输出到对应部344。

在图15(A)、图15(B)中图示了以上的体内位置确定信息取得部341及模型上位置确定部342中的处理。图15(A)表示在使用了轴保持缩短法的弯曲部位移动时所进行的处理，图15(B)表示在未使用轴保持缩短法等方法的情况下所进行的处理。

下面，利用图15(A)、图15(B)来再次说明上述的处理。首先，由图像信息计算移动距离信息L及移动方向信息(h，v)。如图15(A)所示，在使用了轴保持缩短法的情况下，由校正部3413进行校正。具体地，进行相当于上述的式(3)的如下处理：将系数corCoef与L相乘而求出cL。对于移动方向信息(h，v)不进行校正处理。

接着，根据转换部3422进行转换处理。具体地，进行相当于上述式(4)的如下处理：将系数modCoef与cL相乘而求出mL1。在求出mL1的同时，对于移动方向信息(h，v)求出从基准位置起的积算值(addH，addV)。(h，v)表示相当于1帧的角度的变化量，因此(addH，addV)是表示相对于基准位置的当前角度的值。并且，根据上述式(5)由mL1和(addH，addV)求出radL。

下面，参照图16(A)和图16(B)来说明式(5)。图16(A)是以2维方式表示在管空状的部位(例如，大肠)移动的内窥镜装置的图。另外，内窥镜装置的前端部能够根据用户的操作而弯曲。如图16(A)所示，假设以相对于前进方向60(表示基准位置中的移动方向)弯曲角度θ的状态观察病变部62。由于在该状态下对病变部进行详细观察，因此如果使内窥镜装置移动，想必其将移动到图16(B)的64所示的位置。在该情况下，由图像信息取得的移动距离信息为在该图中由k1所示的距离，朝向前进方向60的移动距离相当于k2。由于在确定模型上位置时所需的信息是k2，并且k2＝k1×cosθ，因此如上述式(5)所示，对计算出的移动距离乘以cos(addH)及cos(addV)。

另外，作为向倾斜方向移动的例子举出了详细观察病变部的事例，但不限于此。例如，对于为了向与前进方向60正交的方向抖动或插入而进行的有意图的移动等所致的倾斜方向的移动，也进行同样的处理。

并且，求出radL的基准位置起的积算值addL而输出到对应部344。在确定模型上位置时，对于二维的部位模型(如上所述，三维的也可以，但在此以二维的为例进行说明)输出了作为一维的信息的距离信息，但不会出现问题。因为，在使用轴保持缩短法的部分中，想必部位在直线上拉伸。假定沿着某一规定的路径在部位内移动，则能够由距离信息确定模型上位置。

下面，参照图15(B)，对于在不使用轴保持缩短法的情况下的处理进行说明。由图像信息计算移动距离信息L及移动方向信息(h，v)的这一点与图15(A)相同。

由于不需要进行校正，因此不进行基于校正部3413的处理。如上述式(6)所示，在转换部3422进行对L乘以系数modCoef的处理而求出mL2。并且，根据上述式(7)，由移动距离信息mL2(模型上的移动距离信息)和移动方向(h，v)而求出移动矢量(x，y)。(x，y)表示相当于1帧的移动矢量，因此能够通过从基准位置起对(x，y)进行积算而确定想要求出的坐标(addX，addY)。

下面，对关注区域检测部345进行说明。关注区域检测部345根据控制部350的控制，基于所取得的图像而检测应关注的区域即关注区域。在此，所谓关注区域是指，例如与体内图像中的病变部对应的区域等。首先，将所取得的图像分割为多个区域，对各个区域计算特征量。在此，对于作为特征量的一例利用颜色信息的情况进行说明。在本实施方式中作为特殊光图像而使用的窄频段光图像中，扁平上皮癌等病变部作为褐色区域而被描画出，因此能够通过将色调H作为特征量使用而检测病变部。将R、G、B通道的信号值标记为r、g、b，设各信号值为8位(0～255)。

下面，例如利用下式(8)～(13)，由该信号值r、g、b计算色调H。

MAX＝MAX(r，g，b)......(8)

在此，设MAX函数是在多个自变量中输出最大值的函数。

在MAX为0的情况下，

H＝0......(9)

在MAX为0以外的情况下，

d＝MAX(r，g，b)-MIN(r，g，b)......(10)

在此，设MIN函数是在多个自变量中输出最小值的函数。

另外，在r、g、b中r为最大的情况下，

H＝60*(g-b)/d......(11)

在r、g、b中g为最大的情况下，

H＝60*{2+(b-r)}/d......(12)

在r、g、b中b为最大的情况下，

H＝60*{4+(r-g)}/d......(13)

另外，在H＜0的情况下，在H加上360。并且，在H＝360的情况下，H＝0。

在此，设包括在局部区域的表示褐色的像素数为各局部区域的特征量。并且，表示病变可能性的特征量不限于上述情况，可以分别求出颜色特征量、空间频率的特征量、形状特征量、及面积特征量等，并分别付与加权系数而线性结合，从而作为表示各局部区域的病变可能性的特征量。

将计算出的各局部区域的特征量与规定阈值进行比较，根据其比较结果来判断是否为关注区域。在该情况下，既可以使用预先设定的阈值，也可以由控制部350而自动设定。并且，也可以根据特殊光图像内的位置来适当设定阈值。并且，将特征量为阈值以上的局部区域作为关注区域输出到对应部344。

对应部344根据控制部350的控制，将与所取得的图像相关的信息和所确定的模型上位置对应起来。在此，与所取得的图像相关的信息例如为表示拍摄该图像时的内窥镜装置的位置的指针。并且，关于包括关注区域的关注图像，将与关注区域相关的信息和由模型上位置确定部342确定的模型上位置对应起来。图17表示在部位模型上将内窥镜装置位置和关注区域对应起来的引导图像的一例。引导图像被输出到显示部400。

显示部400同时显示由通常光图像取得部320输出的通常光图像和由引导图像生成部340输出的引导图像。作为显示部的显示例，例如有上述图1的形式。

并且，在本实施方式中，由硬件构成了形成图像处理部300的各个部，但是不限于此。例如，也可以是对利用内窥镜装置预先取得的图像，CPU进行各个部的处理的结构，并且通过CPU执行程序而作为软件得到实现。或者由软件构成各部进行处理的一部分。

在将摄像部作为单独体，将图像处理部300的各部所进行的处理作为软件实现的情况下，能够将工作站和个人电脑等公知的计算机系统作为图像处理装置而使用。并且，预先准备用于实现图像处理部300的各部所执行的处理的程序(图像处理程序)，通过由计算机系统的CPU执行该图像处理程序而实现。

图18是表示本变形例中的计算机系统600的结构的系统结构图，图19是表示该计算机系统600中的主体部610的结构的框图。如图18所示，计算机系统600包括：主体部610；显示器620，其用于根据来自主体部610的指示而在显示画面621显示图像等的信息；键盘630，其用于向该计算机系统600输入各种信息；鼠标640，其用于指定显示器620的显示画面621上的任意位置。

并且，如图19所示，该计算机系统600中的主体部610包括：CPU611；RAM612；ROM613；硬盘驱动器(HDD)614；接受CD-ROM660的CD-ROM驱动器615；可拆装地连接USB存储器670的USB端口616；显示器620；与键盘630及鼠标640连接的I/O接口617；用于与局域网或广域网(LAN/WAN)N1连接的LAN接口618。

另外，在该计算机系统600连接有用于与因特网等公众线路N3连接的调制解调器650，并且经由LAN接口618及局域网或广域网N1与作为其他计算机系统的个人电脑(PC)681、服务器682、打印机683等连接。

并且，该计算机系统600通过读出并执行记录于规定记录介质中的图像处理程序(例如用于实现参照图20～图22而后述的处理步骤的图像处理程序)来实现图像处理装置。在此，规定的记录介质包括“移动式物理介质”、“固定式物理介质”、“通信介质”等，记录由计算机系统600能够读取的图像处理程序的所有记录介质，其中，该“移动式物理介质”不仅包括CD-ROM660、USB存储器670，而且还包括MO盘及DVD盘、软盘(FD)、磁光盘、IC卡等，该“固定式物理介质”为在计算机系统600内外配备的HDD614、RAM612、ROM613等，该“通信介质”在发送程序时短期存储程序，例如有通过调制解调器650连接的公共线路N3、其他计算机系统(PC)681或服务器682连接的局域网或广域网N1等。

即，图像处理程序是以计算机能够读取的方式记录于“移动式物理介质”、“固定式物理介质”、“通信介质”等记录介质中的程序，计算机系统600从这样的记录介质读取并执行图像处理程序而实现图像处理装置。另外，图像处理程序并不仅限于由计算机系统600而执行，在由其他计算机系统(PC)681或服务器682执行图像处理程序的情况下或在由这些部件协作而执行图像处理程序的情况下也同样能够适用本发明。

下面，利用图20的流程图来说明如下步骤：作为由软件构成各部所进行处理的一部分的情况的一例，对于预先取得的通常光图像和特殊光图像，由软件来实现图9的引导图像生成部340的处理的处理步骤。

开始该处理时，首先，对于时序的通常光图像和特殊光图像输入观察对象、摄影模式、照明光的同步信号等标题信息(S11)。接着，根据标题信息输入与观察对象对应的部位模型(S12)。并且，将特殊光图像和通常光图像输入至预先确保的图像缓存中(S13)。然后，如在后面参照图21而详细说明，由通常光图像并基于内窥镜装置的移动距离及体内中的移动方向，取得用于确定拍摄该图像时的内窥镜装置在体内中的位置的体内位置确定信息(S14)。然后，如在后面参照图22而详细说明，在被输入的部位模型上，根据所取得的体内位置确定信息确定模型上位置(S15)。并且，由特殊光图像检测作为应关注的区域的候选的关注候选区域(S16)。然后，将所输入的与图像相关的信息和所确定的模型上位置对应起来(S17)。所取得的与图像相关的信息是表示拍摄该图像时的内窥镜装置的位置的指针。接着，输出在模型上位置上将表示拍摄该图像时的内窥镜装置的位置的指针对应起来的引导图像(S18)。并且，按照时序判断最终图像的处理是否结束(S19)，在判断为未结束时，返回到S13而对下一个图像信号重复进行上述处理。另外，判断为结束全部图像信号的处理时，结束该处理。

下面，参照图21详细说明图20的S14中的体内位置确定信息取得处理。

开始该处理时，首先，存储通常光图像的图像信号(S21)。并且，将所输入的图像信号的特征点与在所存储的该图像的1帧前输入的图像信号的特征点进行匹配，并根据其匹配结果来计算内窥镜装置在体内中的移动距离(S22)。接着，将所输入的图像信号的特征点与在所存储的该图像的1帧前输入的图像信号的特征点进行匹配，并根据其匹配结果来计算内窥镜装置在体内中的移动方向(S23)。并且，根据内窥镜装置移动的部位的全部或一部分的结构特性来校正计算出的体内中的移动距离(S24)。

下面，参照图22详细说明图20的S15中的模型上位置确定处理。

开始该处理时，首先检测成为移动距离的测定开始地点的基准位置(S31)。接着，将通过体内位置确定信息取得处理计算的体内中的移动距离及移动方向转换为部位模型上的距离及方向(S32)。

通过进行这样的处理，能够在引导图像上通过视觉来确认取得图像是对体内的哪一部位进行了拍摄得到的同时进行检测，因此能够减轻医生的负担。

并且，由于能够对于部位模型和实际的内窥镜装置在体内中的位置进行校正的同时进行显示，因此能够高精度地确认拍摄到的图像位于哪一部位。

并且，通过将利用特殊光图像而检测的关注区域与引导图像对应起来，在再次观察关注区域的情况下也能够容易地将内窥镜装置移动到关注区域。

在以上的本实施方式中，图3所示的图像处理装置的图像取得部325取得通过内窥镜装置对被检体内的部位的内部进行拍摄得到的摄像图像。并且，图9所示的体内位置确定信息取得部341根据所取得的摄像图像而取得确定拍摄该摄像图像时的内窥镜装置在体内中的位置的信息。并且，部位模型取得部343取得作为被检体内的部位的模型的部位模型。并且，模型上位置确定部342在所取得的部位模型上确定与体内位置确定信息对应的模型上位置，对应部344将所取得的与图像相关的信息和所确定的模型上位置对应起来。

由此，能够取得摄像图像及体内位置确定信息，并且在根据体内位置确定信息而确定模型上位置的基础上，将与摄像图像相关的信息和所确定的模型上位置对应起来，并检测内窥镜装置在体内中的位置。并且，通过显示将内窥镜装置在体内中的位置对应起来的引导图像，能够提供协助医生的诊断和手术的图像处理装置。具体地，可以是如上述的图1的显示形态。

并且，体内位置确定信息取得部341根据图像取得部325取得的摄像图像而取得体内位置确定信息。

由此，能够根据图像处理来进行位置检测，因此作为体内中的内窥镜装置的位置检测单元不需要大规模的装置。

并且，如图10所示，体内位置确定信息取得部341包括距离信息计算部3412，该距离信息计算部3412计算表示内窥镜装置的移动距离的移动距离信息。并且，体内位置确定信息取得部341将所计算的移动距离信息作为体内位置确定信息而取得。

由此，能够将移动距离信息作为体内位置确定信息而取得。因此，能够进行基于移动距离的位置检测。

并且，体内位置确定信息取得部341包括方向信息计算部3411，该方向信息计算部3411计算表示内窥镜装置的移动方向的移动方向信息。并且，体内位置确定信息取得部341将所计算的移动方向信息作为体内位置确定信息而取得。

由此，能够将移动方向信息作为体内位置确定信息而取得。因此，能够进行基于移动方向的位置检测。并且，也可以对移动距离和移动方向进行不同的处理。

并且，图像取得部325在第1定时取得第1摄像图像，在第1定时之后的第2定时取得第2摄像图像。并且，也可以根据第1摄像图像和第2摄像图像的匹配处理的结果来取得体内位置确定信息。

由此，如图11(A)、图11(B)所示，能够根据2个图像的匹配处理来计算体内位置确定信息。因此，在没有大规模的装置的情况下也能够进行位置检测。并且，能够以1/30秒或1/60秒的很短的间隔计算出连续的内窥镜装置的移动距离。另外，如上所述，根据单眼的摄像图像来取得体内位置确定信息的方法并不限于匹配的方式，也可以设置变焦机构或射束机构，利用这些机构的功能来进行三维计测。

并且，如图10所示，体内位置确定信息取得部341包括校正部3413，该校正部3413按照内窥镜装置移动的部位的全部或一部分的结构特性来校正由距离信息计算部3412计算的移动距离信息。并且，模型上位置确定部342根据由校正部3413校正的移动距离信息而确定模型上位置。

在此，所谓校正部3413进行的校正，具体地讲，例如指内窥镜装置在弯曲部位中移动的情况下，使得移动区间中的移动距离(根据移动距离信息来表示的距离)增加的处理。并且，所谓弯曲部位，具体地讲，例如为大肠或小肠。

由此，能够根据部位的结构特性而校正引导图像上的移动距离与内窥镜装置在体内中的移动距离之差。具体地讲，有如上所述的利用轴保持缩短法的事例。如图2(A)、图2(B)所示，在轴保持缩短法中，通过将弯曲部位笔直地拉伸而使得容易进行插入。因此，与由距离信息计算部计算的距离信息相比，模型上位置进入到部位的更深处。因此，由校正部3413进行增加移动距离的校正。另外，所谓弯曲部位是大肠或小肠，具体地例如为图13所示的下行结肠等。

如图14所示，模型上位置确定部342包括转换部3422，该转换部3422将由校正部3413校正的移动距离信息转换为模型上的距离。并且，模型上位置确定部342根据由转换部3422转换的模型上距离而确定模型上位置。

由此，即使部位模型的大小不一(例如，500×500像素或1000×1000像素等)，也能够适当确定模型上的位置。

并且，如图14所示，模型上位置确定部342包括基准位置检测部3421，该基准位置检测部3421检测表示内窥镜装置的移动的开始地点的基准位置。并且，模型上位置确定部342将从基准位置离开模型上距离(由转换部3422转换的距离)的位置作为模型上位置进行确定。

由此，能够以基准位置为基准而确定模型上位置。因此，假设在引导图像上的内窥镜位置和内窥镜装置在体内中的位置之间出现偏差，也能够通过重新设定基准位置而抑制偏差的积累并确定适当的模型上位置。

并且，体内位置确定信息取得部341包括方向信息计算部3411，转换部3422将由方向信息计算部3411计算的移动方向信息转换为模型上方向。并且，模型上位置确定部342将从基准位置离开模型上距离且与模型上方向吻合的位置作为模型上位置而进行确定。

由此，能够以基准位置为基准且不仅基于移动距离信息还基于移动方向信息而确定模型上位置。并且，即使在部位模型的角度发生变化的情况下，也能够确定模型上的位置。

并且，模型上位置确定部342包括基准位置检测部3421，可以基于基准位置和体内位置确定信息而确定模型上位置。

具体地讲，基准位置例如可以为基于内窥镜装置开始进行拍摄的地点(例如朝向体内的插入地点即肛门)即测定开始地点，也可以是开始进行特定部位的拍摄的地点(例如，从下行结肠向横行结肠移动的地点)。

由此，能够以基准位置为基准而进行基于体内位置确定信息的模型上位置的确定。图13所示，基准位置例如为基准位置A或基准位置B。如上所述，通过设定基准位置，能够抑制偏差的积累而确定适当的模型上位置。

并且，本实施方式中的图像处理装置包括关注区域检测部345，该关注区域检测部345由摄像图像检测应该关注的区域即关注区域。并且，如图9所示的对应部344对于关注图像(摄像图像中包含关注区域的图像)，使得由模型上位置确定部342确定的模型上位置和与关注图像相关的信息对应。

在此，关注区域例如指表示病变部的区域，关注区域检测部345根据包括具有相比于白色光为窄波段的信息的被摄体像的特殊光图像而检测该关注区域。

由此，能够由摄像图像检测关注区域，并且将与关注图像相关的信息和模型上位置对应起来。从而，例如图17所示，能够将包括病变部的图像信息与病变部的位置对应起来，从视觉上能够容易掌握体内中的病变部的位置。另外，通过使用特殊光图像，例如在扁平上皮癌等的情况下，在应关注的病变部褐色的比例增大，从而容易判断应该关注哪个部位。

并且，对应部345也可以作为与摄像图像相关的信息，将表示拍摄该摄像图像时的内窥镜装置的位置的指针对应起来。

由此，能够在显示将拍摄到的图像和引导图像对应的情况下进行显示，因此医生能够容易确认摄像图像是哪个部位。

并且，本实施方式可以是如下的图像处理方法：取得由内窥镜装置对被检体内的部位的内部进行拍摄而得到的图像即摄像图像，取得用于确定拍摄摄像图像时的体内位置的体内位置确定信息，取得被检体内的部位的模型即部位模型，在所取得的部位模型上，确定与由体内位置确定信息确定的位置对应的模型上位置，将与摄像图像相关的信息和所确定的模型上位置对应起来。

由此，能够检测内窥镜装置在体内中的位置，并且通过显示与内窥镜装置在体内中的位置对应的引导图像而能够实现协助医生的诊断和手术的图像处理方法。

并且，图3所示的图像取得部325取得作为通常光图像的第1图像和作为特殊光图像的第2图像。在此，第1图像及第2图像是对活体内部进行拍照的活体内图像。在活体内图像中包含的特定波段是指被血液中的血红蛋白所吸收的波长的波段。该被血红蛋白所吸收的波长例如为390nm～445nm(窄波段光的B2分量)或530nm～550nm(窄波段光的G2分量)。

由此，能够进行称为NBI(NarrowBandImaging：窄带成像)的窄波段光观察，能够观察活体的表层部及位于深部的血管的结构。并且，将获得的信号输入到特定通道(G2→R、B2→G、B)，从而能够用褐色等来表示扁平上皮癌等以通常光难以进行视觉辨认的病变等，抑制看漏病变部的情况发生。另外，390nm～445nm或530nm～550nm是由被血红蛋白吸收的特性及分别到达活体的表层部或深部的特性所获得的波长。但是，该情况下的波段不限于此，例如根据血红蛋白的吸收及与到达活体的表层部或深部有关的实验结果等可变因素，波段的下限值能够降低0～10％左右，上限值能够上升0～10％左右。

并且，在活体内图像中包含的特定波段可以是荧光物质发出的荧光的波段。例如，特定波段可以为490nm～625nm的波段。

由此，可以进行称为AFI(AutoFluorescenceImaging：自动荧光成像)的荧光观察。通过照射激励光(390nm～470nm)能够观察来自胶原质等荧光物质的内荧光(intrinsicfluorescence。490nm～625nm)。在这样的观察中，能够用与正常黏膜不同的色调强调显示病变，从而能够抑制看漏病变部的情况发生。另外，490nm～625nm的波长表示在照射了所述激励光的情况下，胶原质等荧光物质所发出的内荧光的波段，390nm～470nm的波长表示用于产生荧光的激励光的波段。

但是，这种情况下的波段不限于此，例如根据与荧光物质所发出的荧光的波段有关的实验结果等可变因素，波段的下限值能够降低0～10％左右，上限值能够上升0～10％左右。并且，也可以同时照射被血红蛋白吸收的波段(540nm～560nm)而生成伪彩色图像。

并且，在活体内图像中包含的特定波段可以是红外光的波段。例如，特定波段可以是790nm～820nm，或905nm～970nm的波段。

由此，能够进行称为IRI(InfraRedImaging：红外线成像)的红外光观察。在静脉注射容易吸收红外光的红外指示剂即ICG(吲哚氰蓝绿)之后，通过照射所述波段的红外光而能够强调显示用人的眼睛难以进行视觉辨认的黏膜深处的血管和血流信息，从而能够实现胃癌的深度诊断及治疗方针的判定。另外，790nm～820nm的波长是根据红外指示剂的吸收最强这一特性而求得的，而905nm～970nm的波长是根据红外指示剂的吸收最弱这一特性而求得的。但是，该情况下的波段不限于此，例如根据与红外指示剂的吸收有关的实验结果等可变因素，波段的下限值能够降低0～10％左右，上限值能够上升0～10％左右。

另外，在以上的说明中，图像取得部325包括通常光图像取得部320及特殊光图像取得部330，取得了作为通常光图像的第1图像和作为特殊光图像的第2图像，但是不限于此。可以在病变位置的检测及显示部400中的显示中均使用特殊光图像，也可以在病变位置的检测及显示部400中的显示中均使用通常光图像。

并且，本实施方式可以是使得计算机作为图像取得部325、体内位置确定信息取得部341、部位模型取得部343、模型上位置确定部342、对应部345而起作用的程序。图像取得部325取得由内窥镜装置对部位的内部进行拍摄而得到的摄像图像，体内位置确定信息取得部341取得用于确定拍摄摄像图像时的体内位置的信息即体内位置确定信息。部位模型取得部343取得部位模型，模型上位置确定部342用于确定与由体内位置确定信息确定的位置对应的模型上位置。并且，对应部345将与摄像图像相关的信息和所确定的模型上位置对应起来。

由此，例如胶囊型内窥镜等，能够首先积累图像数据，然后由PC等计算机系统对于所积累的图像数据进行软件处理。

并且，本实施方式还适用于记录有用于实现本实施方式的各部(图像取得部、体内位置确定信息取得部、部位模型取得部、模型上位置确定部、对应部)的程序代码的计算机程序产品中。

在此，程序代码实现如下各部：图像取得部，其取得由内窥镜装置对被检体内的部位的内部进行拍摄而得到的图像即摄像图像；体内位置确定信息取得部，其取得体内位置确定信息，该体内位置确定信息是用于确定拍摄所述摄像图像时的、所述内窥镜装置在体内中的位置的信息；部位模型取得部，其取得所述被检体内的部位的模型即部位模型；模型上位置确定部，其用于在所取得的所述部位模型上确定与由所取得的所述体内位置确定信息确定的位置对应的模型上位置；对应部，其将与所述摄像图像相关的信息和所确定的所述模型上位置对应起来。

并且，计算机程序产品为组装有程序代码的信息存储介质、装置、设备或系统等，例如记录有程序代码的信息存储介质(DVD等光盘介质、硬盘介质、存储器介质等)、记录有程序代码的计算机、记录有程序代码的因特网系统(例如包括服务器和用户终端的系统)等。在该情况下，由各模块来安装本实施方式的各构成要件及各处理工序，并且由安装有各构成要件及各处理工序的模块构成的程序代码被记录在计算机程序产品中。

3.第2实施方式

下面，对包括第2实施方式中的图像处理装置的内窥镜装置进行说明。图23表示本发明第2实施方式中的内窥镜装置。该内窥镜装置为在第1实施方式的内窥镜装置上加设传感器270、与传感器信息取得相关的模块(传感器信息取得部700)及显示控制部360的结构。并且，体内位置确定信息取得部的结构与第1实施方式不同。

传感器270例如为3轴加速度传感器等。传感器270测定x、y、z各个轴的加速度，并且将所测定的加速度信息发送到传感器信息取得部700。传感器信息取得部700由取得的加速度信息取得移动信息而发送到引导图像生成部340。

在此，移动信息可以是加速度信息，也可以是通过对加速度信息积分而得到的速度信息。并且，也可以是通过对速度信息积分而得到的三维移动轨迹。

与第1实施方式相同，引导图像生成部340包括体内位置确定信息取得部341。图24表示本实施方式中的体内位置确定信息取得部341的结构。在该结构中未设置第1实施方式中的图像存储部3410。并且，与第1实施方式不同的是，并不是输入来自通常光图像取得部320的通常光图像，而是输入来自传感器信息取得部700的传感器信息(移动信息)。

距离计算部3412根据来自传感器信息取得部700的移动信息而计算移动距离信息，方向计算部3411计算移动方向信息。得到移动距离信息L和移动方向信息(h，v)之后的处理与第1实施方式相同，在进行校正部3413的校正(校正由轴保持缩短法产生的偏差)处理及根据模型上位置确定部342的转换部3422进行的转换为模型上距离的处理的基础上确定模型上位置。

在以上的本实施方式中，图像处理装置包括用于取得来自传感器270的传感器信息的传感器信息取得部700。并且，根据传感器信息，作为体内位置确定信息而取得内窥镜装置的移动信息。

由此，能够根据传感器信息而取得体内位置确定信息。如果传感器例如为3轴加速度传感器，则能够取得x、y、z各轴中的加速度(在进行积分的情况下为速度及位移)，因此与图像处理相比，能够取得更直接且准确的数据。并且，通过利用超声波传感器等，还能够求得绝对位置，而不是求得相对位置。

并且，图像处理装置包括控制部位模型图像(引导图像)和摄像图像的显示的显示控制部360，显示控制部360可以基于移动信息而使得部位模型图像变形。

具体地讲，图2(B)所示，例如在根据传感器信息(移动信息)而判定为弯曲部被笔直地拉伸的情况下，将部位模型图像本身变形为如图2(B)所示的形态。

由此，能够以接近摄像时(内窥镜装置插入时)的体内部位的形状的形态来显示部位模型图像，用户(医生)能够一边看着与内窥镜装置的操作感觉一致的图像而一边进行诊断等。另外，这种方法还通过与上述的超声波传感器等、能够求得准确且绝对的位置的传感器结合使用而能够发挥更好的效果。

4.第3实施方式

下面，对包括第3实施方式中的图像处理装置的内窥镜装置进行说明。该实施方式除了体内位置确定信息取得部341和模型上位置确定部342之外，与第1实施方式相同。

图25表示体内位置确定信息取得部341b。体内位置确定信息取得部341b是从体内位置确定信息取得部341去除校正部3413而形成的结构。由距离计算部3412计算的移动距离L被输出到模型上位置计算部。

图26表示模型上位置确定部342b。模型上位置确定部342b是在模型上位置确定部342的基础上加设校正部3423而形成的结构。

校正部3423根据控制部350的控制，按照内窥镜装置移动的部位的全部或一部分的结构特性而校正被转换的部位模型上的移动距离。具体地，对于内窥镜装置根据轴保持缩短法而插入的、具有弯曲部的部位的全部或一部分的区间中的移动距离，进行增加其距离的校正。这是因为：轴保持缩短法将肠道折叠而使之缩短，因此部位模型上的移动距离相对计算出的移动距离长。校正后的移动距离cmL由以下式进行计算。

mL＝modCoed×L......(14)

radL＝mL×cos(addH)×cos(addV)......(15)

cml＝corModcoef×radL......(16)

corModCoef是1以上的系数，可以由医生预先决定，也可以根据患者信息由控制部350自动计算。

另外，在摄影部位并不是轴保持缩短法的对象部位的情况下，根据以下式，基于移动方向(h，v)计算部位模型上的移动量(x，y)。

mL＝modCoed×L......(17)

(x，y)＝(mL×sin(h)×cos(v)，mL×cos(h)×cos(v))......(18)

将该(x，y)从基准位置起积算而获得的值表示为(addX，addY)。(addX，addY)表示在部位模型上的从基准坐标起的相对坐标。基于基准位置的相对坐标(addX，addY)被输出到对应部344。

图27(A)、图27(B)对以上处理进行了图示。图27(A)表示在使用轴保持缩短法的弯曲部位移动时所进行的处理，图27(B)表示在未使用轴保持缩短法等方法的情况下所进行的处理。

下面，利用图27(A)、图27(B)再次对上述处理进行说明。首先，由图像信息计算移动距离信息L及移动方向信息(h，v)。在使用轴保持缩短法的情况下，如图27(A)所示，由转换部3422进行转换。具体地，进行相当于上述式(14)、(15)的如下处理：将L与系数modCoef相乘而求出mL，由(addH，addV)进行方向校正并求出radL。

接着，根据校正部3413进行校正。具体地，进行相当于上述式(16)的如下处理：将radL与系数corModCoef相乘而求出cmL。并且，通过积算cmL而求出addL，将addL输出到对应部344。

下面，利用图27(B)来说明在未使用轴保持缩短法的情况下的处理。在由图像信息计算移动距离信息L及移动方向信息(h，v)这一点上与图27(A)相同。

首先，如图27(B)所示，由转换部3422进行转换。具体地，进行相当于上述式(17)、(18)的如下处理：将L与系数modCoef相乘而求出mL，并且根据上述式(18)，基于移动距离信息mL(模型上的移动距离信息)和移动方向(h，v)而求出移动矢量(x，y)。(x，y)表示每1帧的移动矢量，因此通过将(x，y)从基准位置起积算而能够确定要求出的坐标(addX，addY)。

如图26所示，在以上的本实施方式中，模型上位置确定部342包括转换部3422，该转换部3422将由移动距离信息表示的距离转换为部位模型上的距离即模型上距离。并且，模型上位置确定部342根据由转换部3422转换的模型上距离而确定模型上位置。

由此，即使部位模型的大小不一，也能够适当确定模型上的位置。

如图26所示，模型上位置确定部342包括校正部3423，该校正部3423按照内窥镜装置移动的部位的结构特性来校正由转换部3422进行转换的模型上距离。并且，模型上位置确定部342根据由校正部3423校正的模型上距离而确定模型上位置。

由此，能够根据部位的结构特性而校正引导图像上的移动距离与内窥镜装置在体内中的移动距离之差。

5.第4实施方式

下面，对包括第4实施方式中的图像处理装置的内窥镜装置进行说明。图28表示本发明第4实施方式中的内窥镜装置。该内窥镜装置为在第1实施方式的内窥镜装置上去除了与特殊光图像取得相关的模块的结构。

图29表示引导图像生成部340b的结构。引导图像生成部340b是在引导图像生成部340中去除了关注区域检测部的结构。并且，部位模型取得部343b的作用与第1实施方式的部位模型取得部343不同。

部位模型取得部343b根据控制部350的控制，由胶囊型内窥镜装置取得表示被检体内的活体部位的大致轮廓的部位模型。在此，三维部位模型通过胶囊型内窥镜装置经由因特网而被输入到部位模型取得部343b中。三维部位模型是由通过胶囊型内窥镜装置事先从被检体本人取得的时间上连续的多个图像构成的。在此，胶囊型内窥镜装置取得特殊光图像，由此能够取得与该关注区域对应的三维模型。三维模型被输出到模型上位置确定部342和对应部344。

在以上的本实施方式中，图像处理装置包括关注区域检测部345，该关注区域检测部345基于所取得的图像而检测应关注的区域即关注区域，并且根据胶囊型内窥镜装置的摄像而检测关注区域。

由此，能够在插入通常的内窥镜装置之前检测关注区域，并且能够抑制在插入通常的内窥镜装置时看漏病变部等关注区域的情况发生。并且，在观察时的内窥镜装置中可以没有特殊光图像取得部。

并且，部位模型取得部343根据胶囊型内窥镜装置的摄像而取得部位模型。

由此，能够在事先取得从本人拍摄到的部位模型，因此模型准确。并且，通过与由所述胶囊型内窥镜装置进行的关注区域的检测进行结合，从而能够取得与关注区域的信息对应的部位模型，使得医生能够更加容易地诊断。

6.第5实施方式

下面，对包括第5实施方式中的图像处理装置的内窥镜装置进行说明。结构与第4实施方式相同，但是部位模型取得部343b的作用不同。

部位模型取得部343b根据控制部350的控制，由CT扫描装置取得表示被检体内的活体部位的大致轮廓的部位模型。在此，三维部位模型通过CT扫描装置经由网络而输入到部位模型取得部343b中。三维部位模型是由通过CT扫描装置事先从被检体本人取得的空间上连续的多个片段图像，通过模型拟合方法而形成的。在此，检测三维部位模型的凹凸，并作为关注区域与部位模型对应起来。与关注区域对应的三维部位模型被输出到模型上位置确定部342和对应部344。

在以上的本实施方式中，图像处理装置包括关注区域检测部345，该关注区域检测部345在所取得的部位模型上检测应关注的区域即关注区域，并且对应部344还对部位模型上的被检测的关注区域的位置将表示该位置为关注区域的信息对应起来。

由此，能够取得与关注区域对应的部位模型，在观察时的内窥镜装置中可以没有特殊光图像取得部。并且，因为部位模型是事先从本人拍摄得到的，因此模型准确。

并且，关注区域检测部345根据CT扫描摄像检测关注区域。

由此，能够在插入通常的内窥镜装置之前检测关注区域，能够抑制在插入通常的内窥镜装置时看漏病变部等关注区域的情况发生。并且，在观察时的内窥镜装置中可以没有特殊光图像取得部。

并且，部位模型取得部343根据CT扫描摄像取得部位模型。

由此，能够在事先取得从本人拍摄到的部位模型，因此模型准确。并且，通过与根据所述的CT扫描摄像而进行的关注区域的检测进行结合，从而能够取得与关注区域的信息对应的部位模型，使得医生能够更加容易地诊断。

以上对适用本发明的第1～第5的5个实施方式及其变形例进行了说明，但是本发明并不限于第1～第5的各个实施方式及其变形例，在实施阶段，在不脱离发明要旨的范围内可变形结构要件而使之具体化。并且，通过适当结合在上述第1～第5的各个实施方式及变形例中公开的多个构成要件而能够形成各种发明。例如，可以从第1～第5的各个实施方式及变形例中记载的所有构成要件中删除几个构成要件。另外，也可以适当结合以不同实施方式和变形例进行说明的构成要件。如上所述，在不脱离本发明主旨的范围内可进行各种变形及应用。

Claims (30)

1.一种图像处理装置，其特征在于包括：

图像取得部，其取得摄像图像，该摄像图像是由内窥镜装置对被检体内的部位的内部进行拍摄而得到的图像；

体内位置确定信息取得部，其取得体内位置确定信息，该体内位置确定信息是用于确定拍摄所述摄像图像时的、所述内窥镜装置在体内的位置的信息；

部位模型取得部，其取得部位模型，该部位模型是所述被检体内的部位的模型；

模型上位置确定部，其在所取得的所述部位模型上，确定与由所取得的所述体内位置确定信息确定的位置对应的模型上位置；以及

对应部，其将与所述摄像图像相关的信息对应到所确定的所述模型上位置，

所述体内位置确定信息取得部根据由所述图像取得部取得的所述摄像图像取得所述体内位置确定信息，

所述体内位置确定信息取得部包括距离信息计算部，该距离信息计算部根据所述摄像图像计算表示所述内窥镜装置在体内的移动距离的移动距离信息，

所述体内位置确定信息取得部取得计算出的所述移动距离信息作为所述体内位置确定信息，

所述体内位置确定信息取得部包括校正部，该校正部按照所述内窥镜装置移动的部位的全部或一部分的结构特性校正由所述距离信息计算部计算出的所述移动距离信息，

所述模型上位置确定部根据由所述校正部校正的所述移动距离信息确定与所述摄像图像对应的所述模型上位置。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述体内位置确定信息取得部包括方向信息计算部，该方向信息计算部根据所述摄像图像计算表示所述内窥镜装置在体内的移动方向的移动方向信息，

所述体内位置确定信息取得部取得计算出的所述移动方向信息作为所述体内位置确定信息。

3.根据权利要求1所述的图像处理装置，其特征在于，

所述图像取得部取得在第1定时取得的第1摄像图像和在作为第1定时之后的定时的第2定时取得的第2摄像图像，作为所述摄像图像，

所述体内位置确定信息取得部进行所述第1摄像图像与所述第2摄像图像之间的匹配处理，根据所述匹配处理的结果取得所述体内位置确定信息。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述模型上位置确定部包括转换部，该转换部将由所述校正部校正的所述移动距离信息所表示的距离转换为所述部位模型上的距离，

所述模型上位置确定部根据由所述转换部转换的所述部位模型上的距离确定与所述摄像图像对应的所述模型上位置。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述模型上位置确定部包括基准位置检测部，该基准位置检测部检测表示所述内窥镜装置的移动的开始地点的基准位置，

所述模型上位置确定部将如下位置确定为与所述摄像图像对应的模型上位置：相对于由所述基准位置检测部检测出的所述基准位置离开所转换的所述部位模型上的距离的位置。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述体内位置确定信息取得部包括方向信息计算部，该方向信息计算部计算表示所述内窥镜装置在体内的移动方向的移动方向信息，

所述转换部将由所述方向信息计算部计算出的所述移动方向信息所表示的方向转换为所述部位模型上的移动方向，

所述模型上位置确定部将如下位置确定为与所取得的所述摄像图像对应的模型上位置：相对于由所述基准位置检测部检测出的基准位置离开所转换的所述部位模型上的距离且与所转换的所述部位模型上的移动方向一致的位置。

7.根据权利要求1所述的图像处理装置，其特征在于，

在所述内窥镜装置在具有弯曲部的弯曲部位的全部或一部分的区间中移动的情况下，所述校正部进行增加所述区间中的由所述移动距离信息表示的距离的校正。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述弯曲部位是大肠或小肠。

9.根据权利要求1所述的图像处理装置，其特征在于，

所述模型上位置确定部包括转换部，该转换部将由所述距离信息计算部计算出的所述移动距离信息所表示的距离转换为所述部位模型上的距离，

所述模型上位置确定部根据由所述转换部转换的所述部位模型上的距离确定所述模型上位置。

10.根据权利要求1所述的图像处理装置，其特征在于，

所述模型上位置确定部包括基准位置检测部，该基准位置检测部检测表示所述内窥镜装置的移动的开始地点的基准位置，

所述模型上位置确定部根据检测出的所述基准位置和所述体内位置确定信息确定所述模型上位置。

11.根据权利要求10所述的图像处理装置，其特征在于，

所述基准位置检测部检测测定开始地点作为所述基准位置，该测定开始地点是开始所述内窥镜装置的拍摄的地点。

12.根据权利要求10所述的图像处理装置，其特征在于，

所述基准位置检测部检测开始所述内窥镜装置的特定部位的拍摄的地点作为所述基准位置。

13.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括传感器信息取得部，该传感器信息取得部取得来自传感器的传感器信息，

所述体内位置确定信息取得部根据由所述传感器信息取得部取得的所述传感器信息取得所述内窥镜装置的移动信息作为所述体内位置确定信息。

14.根据权利要求13所述的图像处理装置，其特征在于，

所述图像处理装置包括显示控制部，该显示控制部控制作为所述部位模型的图像的部位模型图像和所述摄像图像的显示，

所述显示控制部根据所述移动信息使所述部位模型图像变形。

15.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括关注区域检测部，该关注区域检测部由所述图像取得部所取得的所述摄像图像检测作为应关注的区域的关注区域，

所述对应部对于所述摄像图像中的关注图像，将与所述关注图像相关的信息对应到由所述模型上位置确定部确定的模型上位置，其中，该关注图像是包含所述关注区域的图像。

16.根据权利要求15所述的图像处理装置，其特征在于，

所述图像取得部取得特殊光图像，该特殊光图像包括具有比白色光波段窄的特定波段的信息的被摄体像，

所述关注区域检测部根据所述特殊光图像检测所述关注区域。

17.根据权利要求16所述的图像处理装置，其特征在于，

所述关注区域检测部根据胶囊型内窥镜装置的拍摄检测所述关注区域。

18.根据权利要求1所述的图像处理装置，其特征在于，

所述部位模型取得部根据胶囊型内窥镜装置的拍摄取得所述部位模型。

19.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括关注区域检测部，该关注区域检测部在所述取得的部位模型上检测作为应关注的区域的关注区域，

所述对应部对于部位模型上的所述检测出的关注区域的位置对应表示该位置为关注区域的信息。

20.根据权利要求19所述的图像处理装置，其特征在于，

所述关注区域检测部根据CT扫描拍摄检测所述关注区域。

21.根据权利要求19所述的图像处理装置，其特征在于，

所述部位模型取得部根据CT扫描拍摄取得所述部位模型。

22.根据权利要求1所述的图像处理装置，其特征在于，

所述对应部对应表示拍摄所述摄像图像时的内窥镜装置的位置的指针，作为所取得的所述摄像图像相关的信息。

23.根据权利要求1所述的图像处理装置，其特征在于，

所述图像取得部取得第1图像和第2图像，该第1图像包括具有白色光波段中的信息的被摄体像，该第2图像包括具有与所述白色光波段相比为窄频段的特定波段中的信息的被摄体像。

24.根据权利要求23所述的图像处理装置，其特征在于，

所述第1图像及所述第2图像是对活体内部进行拍摄而得到的活体内部图像，

在所述活体内部图像中包含的所述特定波段是被血液中的血红蛋白吸收的波长的波段。

25.根据权利要求24所述的图像处理装置，其特征在于，

所述特定波段是390纳米～445纳米，或530纳米～550纳米。

26.根据权利要求23所述的图像处理装置，其特征在于，

所述第1图像及所述第2图像是对活体内部进行拍摄而得到的活体内部图像，

在所述活体内部图像中包含的所述特定波段是荧光物质发出的荧光的波段。

27.根据权利要求26所述的图像处理装置，其特征在于，

所述特定波段是490纳米～625纳米的波段。

28.根据权利要求23所述的图像处理装置，其特征在于，

所述第1图像及所述第2图像是对活体内部进行拍摄而得到的活体内部图像，

在所述活体内部图像中包含的所述特定波段是红外光的波段。

29.根据权利要求28所述的图像处理装置，其特征在于，

所述特定波段是790纳米～820纳米，或905纳米～970纳米的波段。

30.一种图像处理方法，其特征在于，

取得摄像图像，该摄像图像是由内窥镜装置对被检体内的部位的内部进行拍摄而得到的图像，

取得体内位置确定信息，该体内位置确定信息是用于确定拍摄所述摄像图像时的、所述内窥镜装置在体内的位置的信息，

取得部位模型，该部位模型是所述被检体内的部位的模型，

在所取得的所述部位模型上，确定与由所取得的所述体内位置确定信息确定的位置对应的模型上位置，

将与所述摄像图像相关的信息对应到所确定的所述模型上位置，

其中，

根据取得的所述摄像图像取得所述体内位置确定信息，

根据所述摄像图像计算表示所述内窥镜装置在体内的移动距离的移动距离信息，取得计算出的所述移动距离信息作为所述体内位置确定信息，

按照所述内窥镜装置移动的部位的全部或一部分的结构特性校正计算出的所述移动距离信息，

根据所述移动距离信息确定与所述摄像图像对应的所述模型上位置。