CN1921797A - 内窥镜系统 - Google Patents

Abstract

一种内窥镜，无死角，可防止医生对病灶的漏看。该内窥镜是对消化器管内部进行拍摄的内窥镜，在内窥镜的前端部(24)具有全方位摄像机(32)、照明(34)、钳子(36)、洗净水喷射口(38)。全方位摄像机(32)是对消化器管内部进行拍摄的装置，可拍摄周围360度的图像。在探头型内窥镜(20)中设有由正交线圈构成的接收器(26)，接收器(26)用于推定探头型内窥镜(20)的位置和姿势。由全方位摄像机(32)拍摄的图像，显示在与探头型内窥镜(20)连接的图像处理装置(22)的显示部(28)。在图像处理装置中，对由全方位摄像机(32)获得的多个图像实施视频图像拼接处理，生成消化器管内的全景图像。

Description

内窥镜系统

技术领域

本发明涉及一种内窥镜及内窥镜系统，特别是涉及一种用于观察消化器管内部的内窥镜及内窥镜系统。

背景技术

以往，在医疗领域中使用了进行消化器管检查用的探头型内窥镜。在该内窥镜探头的前端装有摄像机、照明、钳子及洗净水喷射口。医生将探头从口腔或肛门插入消化器管，一面监控从前端部的摄像机得到的影像，一面进行诊断、病变的采集及治疗。

通过从口腔插入的内窥镜，进行食道、胃、十二指肠的检查及治疗，从肛门插入的内窥镜进行直肠、大肠的检查及治疗。但是，成人男性的小肠长约3m，难以将探头插入至小肠。因此，在小肠检查中不使用现有的内窥镜。

为此，期待着对小肠的新的检查方法的提出。作为其有力的方法，期待着胶囊型内窥镜(例如参照非专利文献1)。有关胶囊型内窥镜，在欧美进行了4万例的临床实验，引起了关注，但在日本国内正处于接受作为将来医疗设备的认定的阶段。

胶囊型内窥镜是，受检查者吃进封入在胶囊中的摄像机，经过从胃开始、通过小肠及大肠而排出为止的数小时时间内，用摄像机连续拍摄消化器管的影像的设备。胶囊型内窥镜尽管治疗上较难，但是，期待的是对小肠的观察非常有效。此外，由于在吃进胶囊后，能够进行日常的生活，对于受检查者来说减少了以往的内窥镜检查的负担，可进一步普及内窥镜检查。

以下，对与本发明有关的图像处理的一般背景技术进行说明。

[视频图像拼接(video mosaicing)]

作为在伴随运动的摄像机的影像拍摄中基于相邻图像的特征，检测出摄像机的运动成分，并粘贴图像来生成静止图像的技术，已知有视频图像拼接，视频图像拼接在影像编码的国际标准规格的MPEG-4中，也作为背景全景图(sprite)压缩法成为标准。在该方法中，检测出图像的特征点在相邻帧之间如何移动，检测出摄像机的运动参数。作为该方法，为了判别移动的特征点和因摄像机运动而发现的特征点移动，具有假定摄像机运动为优势移动的方法(例如参照非专利文献2)，或者将图像分类为成为前景与背景的2种区域，利用背景检测出摄像机的运动参照的方法(例如参照非专利文献3)。

[摄像机运动与三维信息的同时推定]

此外，在伴随摄像机运动的拍摄中，根据该图像列同时检测出摄像机运动参数和场景的三维信息的方法已知有Structure FromMotion(SFM)。作为SFM的一种方法，利用了如下性质，即、将由摄像机运动产生的多个特征点的系列作为观测行列，在用因素分解法得到的结果中，成为对象的静止场景被级别3限制。由此，提出了一种检测摄像机运动及三维信息的方法(例如参照非专利文献4)。此外，将这种方法扩展，提出了一种通过将多个三维构造线性结合，获得对于变形场景的三维信息的方法(例如参照非专利文献5)。

此外，对于从得到的图像列推定移动的摄像机的运动的问题，示出了能够将从不同的视点得到的2个图像的对应的特征点通过极线约束并利用基础矩阵来表现，可从7组以上的特征点组中推定运动参数(例如非专利文献6)。再者，在照片测量的领域中利用了使用多个图像，将预先求出的摄像机位置和特征点的位置修正为正确值的、被称为光束法平差(bundle adjustment)的方法(参照非专利文献7)。

[摄像机位置信息的获得]

此外，为了得知摄像机的位置，有在内窥镜中安装传感器的技术。在胶囊型内窥镜中，开发了一种通过用多个天线接收从胶囊型内窥镜发送的影像，得到在体内的胶囊的位置信息的技术。

非专利文献1：“M2A胶囊型内窥镜检查Given诊断系统(M2A(R)Capsule Endoscopy Given(R)Diagnostic System)，online，GivenImaging Ltd，平成16年2月4日检索，因特网<URL：http：//www.givenimaging.com/NR/rdonlyres/76C20644-4B5B-4964-811A-071E8133F83A/0/GI_Marketing_Brochure_2003.pdf>。

非专利文献2：H.Sawhney，S.Ayer，“Compact Representations ofVideos Through Dominant and Multiple Motion Estimation，”IEEETransactions on Pattern Analysis and Machine Intelligence18(8)，pp.814-830，1996。

非专利文献3：A.Bartoli，N.Dalal，and R.Horaud，“MotionPanoramas.”INRIA Research Report RR-4771

非专利文献4：C.Tomasi and T.Kanade，“Shape and Motion fromImage Streams under Orthography：A Factorization Method，”IJCV，vol.9，no.2，pp.137-154，1992。

非专利文献5：L.Torresani，D.B.Yang，E.J.Alexander，and C.Bregler.“Tracking and Modeling Non-Rigid Objects with RankConstraints，”In Proc.CVPR，vol.I，pp.493-500，2001。

非专利文献6：O.Faugeras，T.Luong，and S.Maybank，“Cameraself-calibration：theory and experiments，”in G.Sandini(ed.)，Proc 2nd  ECCV.Vol.588 of Lecture Notes in Computer Science，Springer-Verlag，Santa Margherita Ligure，Italy，pp.321-334，1992。

非专利文献7：D.Brown.“The bundle adjustment-Progress andprospect.”In XIII Congress of the ISPRS，Helsinki，1976。

但是，现状的内窥镜因插入探头，摄像机的前方视野扩大，适于进行插入操作，但由于实际检查的器官的壁面为探头的侧面，相当于由超广角画面所拍摄的影像的周边部，因医生很难观察，有可能造成病变的漏诊。

即使在胶囊型内窥镜中，也像以往的探头型内窥镜哪样，将胶囊的前方作为视野，胶囊在消化器管内移动期间拍摄图像，但是由于没有对胶囊进行方向控制的功能，前方视野的摄像机具有不能将消化器管的所有内壁加以拍摄的情况。因此，成为与检查的漏看有关联的重大问题。

此外，由于在胶囊型内窥镜的情况下，胶囊花费约8小时左右地在消化器管内通过，通过一次性地将录制的影像播放来进行检查。因此，由胶囊型内窥镜进行的消化器管诊断的方法采用将图像一枚一枚地观察的方法。为此，医生诊疗所需的时间成为很大的负担。

另一方面，使用CT(计算机断层拍摄)的肠的三维图像的生成，作为肠管整体立体感的方法成为话题，但由于不能检测出小的病变及平坦的病变，与内窥镜相比，性能不佳。

发明内容

本发明的目的在于解决上述的技术问题，其第一目的是提供一种能够防止医生漏看病灶的内窥镜系统。

此外，本发明的第二目的是提供一种提高医生的诊断效率的内窥镜系统。

为了实现上述的目的，与本发明的一个目的有关的内窥镜系统是对物体内部进行摄像的内窥镜系统，其具有：摄像机，对生物体内的可运动的物体内部进行摄影；以及图像生成装置，通过对由所述摄像机获得的多个图像实施视频图像拼接处理、运动修正处理和利用能量最小化的图像修正处理，粘贴图像，进行摄像机运动推定、事先可定义的生物体内的运动修正和事先不可定义的生物体内部变形的修正，生成所述物体内的全景图像。

根据此结构，通过拍摄生物体内的可运动的物体内部、并实施视频图像拼接处理，能够生成物体内的全景图像。因此，能够生成如消化器管内壁那样的生物体内的可运动物体内部的全景图像。这样，即使是在拍摄对象运动的情况下，也可制成全景图像。因此，能够长时间地观察消化器管内壁等，能够防止医生对病灶的漏看。另外，医生不必长时间地连续地观察消化器管内的内壁的图像。因此，能够提高医生的诊断效率。

另外，也可以是，所述图像生成装置具有：运动推定单元，根据由所述摄像机拍摄的所述物体内的图像，推定所述摄像机的运动；以及全景图像生成单元，根据所述摄像机的运动的推定结果，利用由所述摄像机拍摄的图像，生成所述物体内的全景图像。

此外，也可以是，所述运动推定单元具有：对应点检测单元，用球坐标系表现所述摄像机的观测点，利用由所述摄像机获得的多个图像，检测出所述观测点的对应点；以及运动参数推定单元，根据多个所述对应点，推定表现所述摄像机的运动的运动参数。

而且，也可以是，所述运动推定单元具有：摄像机运动推定单元，根据由所述摄像机获得的时间上不同的2张图像，并使用极线约束条件，推定所述摄像机的运动；摄像机运动修正单元，使用由所述摄像机获得的时间上不同的多个图像，进行光束法平差处理，修正由所述摄像机运动推定单元推定的所述摄像机的运动。最好是，所述摄像机运动修正单元将分节运动引起的物体内的变化近似为正弦波，进行光束法平差处理。

这样，通过将分节运动所引起的消化器管内壁的变化近似为正弦波，能够求出更正确的摄像机运动，进而能够获取更正确的全景图像，能够防止医生的误诊断。

再者，最好是，所述摄像机运动修正单元将蠕动运动所引起的物体内的变化近似为孤子(Soliton)的移动，进行光束法平差处理。

这样，通过将蠕动运动所引起的物体内的变化近似为孤子的移动，能够求出更正确的摄像机运动，进而能够获取更正确的全景图像，能够防止医生的误诊断。

再者，最好是，所述物体是圆筒形状的物体；所述全景图像生成单元将所述物体模型化为圆筒形状，根据在所述运动推定时使用的特征点，使由所述摄像机获得的多个图像与所述圆筒形状匹配。

通过将消化器管模型化圆筒形状，能够获取由小肠或大肠等的圆筒形构成的消化器管的全景图像，能够制成其展开图像。为此，医生能够正确且有效地进行诊断。特别是在约8小时拍摄图像的胶囊内窥镜中，获取大量的图像数据。为此，由这些大量的图像数据，求出摄像机的移动参数，通过将图像粘贴为近似的几何学形状，消除重复的冗长信息，只描绘有效的图像。因此，可更有效地诊断。

另外，上述的内窥镜系统，还具有位置及姿势传感器，测量自己的位置或姿势；所述运动推定单元还加进所述位置及姿势传感器的测量结果，推定所述摄像机的运动。

根据图像的摄像机运动的推定，通常可获得适于全景生成的精度，但有时还有产生较大误差的危险。为此，通过并用位置、姿势传感器，用传感器防止了较大的误差，详细部分依赖于图像处理，可高精度和高速地生成全景图像。

再者，最好是，所述图像生成装置具有：特征区域切出单元，从所述摄像机获得的多个图像的每个中，切出规定大小的多个特征区域；全景图像生成单元，根据包含在所述多个图像的每个中的所述多个特征区域，定义规定的能量，并建立所述多个图像间的所述多个特征区域的对应，使得该能量成为最小，并根据该对应结果，生成所述物体内的全景图像。

通过解决能量最小化问题，不必进行摄像机的运动推定，能够生成全景图像。为此，摄像机的运动推定发生错误时，不存在视频图像拼接处理不顺利的问题，能够正确地获取全景图像，能够防止医生误诊断。

也可以是，所述规定的能量是，根据在时间上连续的2个图像中分别包含的所述多个特征区域的象素值的差分，所确定的能量。

另外，也可以是，所述规定的能量是，根据将时间上连续的2个图像中分别包含的所述多个特征区域连接起来而获得的三角面片面积之差，所确定的能量。

再者，也可以是，所述摄像机是全方位摄像机；所述规定的能量是根据以下两个坐标之差所确定的能量，其中一个坐标是，基于所述全方位摄像机的移动成分，对将由所述全方位摄像机拍摄的第1图像变换成以所述全方位摄像机的视点为中心的球坐标系后的图像中呈现的大圆的坐标进行了修正的坐标；另一个坐标是，将与所述第1图像在时间上连续且由所述全方位摄像机拍摄的第2图像变换为所述球坐标系后的图像中呈现的大圆的坐标。

而且，也可以是，所述规定的能量是，根据与从所述摄像机拍摄的第1图像中选择的多个控制点分别对应的、由所述摄像机拍摄的所述第2图像中的多个控制点的失真度，所确定的能量。

另外，也可以是，所述规定的能量是，根据与从所述摄像机拍摄的第1图像中选择的多个控制点分别对应的、由所述摄像机拍摄的所述第2图像中的多个控制点的失真度，所确定的能量。

此外，也可以是，所述多个特征区域是，包含在所述图像中的多个所述规定大小的区域中的、该区域内部的象素值的微分值的平方之和比规定的阈值大的区域。

通过如上述方式选择特征区域，不会将亮度变化少的区域作为物体的特征区域抽出。为此，能够正确地进行图像间的特征区域的相对应，能够正确地获取全景图像。因此，能够防止医生的误诊断。

再者，最好是，所述摄像机是全方位摄像机；所述图像生成装置对由所述全方位摄像机获得的多个图像实施视频图像拼接处理，生成相对于与所述全方位摄像机的前进方向正交的方向具有一定的预计角的全景图像。

在该构成中，内窥镜上设有全方位摄像机。全方位摄像机可观察相对内窥镜的前进方向的侧方视野。为此，能够实现以往内窥镜不可实现的消化器管侧方的辨认。另外，可同时获取周围360度的无缝影像。为此，能够防止医生对病灶的漏看。

此外，全方位摄像机因即使在侧方视野中也具有充分的视野角，在拍摄的图像中，不仅有从侧面正对消化器管的内壁眺望的影像，而且也存在着具有某种预计角拍摄的图像。另外，因拍摄随着摄像机的移动进行，可获取大量的图像。其中，也包含有肠壁面前侧的图像或肠壁里面的图像。为此，通过看见这些图像，对于医生，成死角的部分变少，能够防止病变的漏看。

另外，所述摄像机可在插入消化器管内的探头的前端安装，所述摄像机可收纳于人类或动物可饮入的胶囊内。

发明的效果

正如上述，本发明可提供一种无死角、可防止医生对病灶的漏看的内窥镜和内窥镜系统。

另外，能够提供一种提高医生的诊断效率的内窥镜和内窥镜系统。

如此，能够获取含有以往拍摄困难的前方侧面和后方侧面的消化器管内的侧面的全景图像，对防止医生的病灶漏看和提高诊断效率的贡献非常大，对医疗器械领域和医学进步具有不可估量的贡献。

附图说明

图1是表示本发明的第一实施方式及第二实施方式的探头型内窥镜的结构的图。

图2是图1所示的探头型内窥镜的前端部的外观图。

图3是表示全方位摄像机的内部结构的图。

图4是说明双叶双曲面的图。

图5是表示全方位摄像机的结构的图。

图6是说明空间中的任意点与图像上的成像点之间关系的第1图。

图7是说明空间中的任意点与图像上的成像点之间关系的第2图。

图8是表示胶囊型内窥镜结构的图。

图9(a)～(d)是用于说明利用拼接处理的图像处理的图。

图10是表示球座标系中的全方位摄像机的移动的图。

图11是表示可见角度的不同图像的一个例子的图。

图12是用于说明全景图像的生成方法的图。

图13是表示将消化器内的蠕动运动模型化的孤子的移动的图。

图14是表示发生了环肌收缩的小肠内壁图像的一个例子的图。

图15是表示发生了分节运动或蠕动运动的图像列一个例子的图。

图16是表示考虑了小肠运动的图像粘贴处理的流程的流程图。

图17是表示三角面片(patch)的一个例子的图，图17(a)是表示f帧中的三角面片的图，图17(B)为表示(F+1)帧中的三角面片的图。

图18是表示被分割成网格状的图像和该图像上的控制点的图。

图19(a)、(b)是表示控制点的变形的图。

附图标记的说明

20  探头型内窥镜

22  图像处理装置

24  前端部

26  接收器

28  显示部

32  全方位摄像机

34  照明

36  钳子

38  洗净水喷射口

42  双曲面反射镜

44  摄像部

46  透镜

48  摄像面

50  胶囊型内窥镜

60  小肠

具体实施方式

以下，参照附图对本发明的实施方式的内窥镜系统进行说明。

第一实施方式：

[内窥镜的构成]

作为本实施方式的内窥镜的构成，对探头型内窥镜和胶囊型内窥镜这2种类的内窥镜进行说明。

1、探头型内窥镜

图1是表示本发明的第一实施方式的探头型内窥镜的结构的图。图2是图1所示的探头型内窥镜20的前端部24的外观图。在探头型内窥镜20的前端部24，具有全方位摄像机32、照明34、钳子36和洗净水喷射口38。

全方位摄像机32是用于拍摄消化器管内部的装置，能够拍摄周围360度的图像。照明34用于在消化器管内照射光线。钳子36是用于夹持或压迫消化器管内的组织或病灶等的用具。洗净水喷射口38是用于将附着了消化器管内分泌物的全方位摄像机32洗净的水的喷射口。

探头型内窥镜20中具有由垂直相交线圈构成的接收器26，接收器26用于推定探头型内窥镜20的位置及姿态。

用全方位摄像机32拍摄的图像，显示在与探头型内窥镜20连接的图像处理装置22的显示部28。

图3是表示全方位摄像机32的内部结构的图。全方位摄像机32具有双曲面反射镜42和摄像部44。双曲面反射镜42是具有双叶双曲面的一个双曲面的形状的反射镜。摄像部44包括接收由双曲面反射镜42反射的光的透镜46和摄像面48。此外，透镜46是在双叶双曲面的另一个双曲面的焦点位置具有透镜中心的透镜。

使用了双曲面反射镜42的全方位摄像机32，利用了由山泽等提出的HyperOmni Vision。

参照图4，双曲面反射镜42将双叶双曲面中的处于Z＞O区域的双曲面作为反射镜使用。双叶双曲面是指通过将双曲线绕实轴(Z轴)旋转而得到的曲面。双叶双曲面具有(0，0，+c)和(0，0，-c)这2个焦点。其中，

[数学式1]

$c=\sqrt{a^2+b^2}$

在此，考虑如图5所示地以Z轴为铅直轴的三维座标系O-XYZ。此时，双叶双曲面用以下的式(1)表示。

[数学式2]

$\frac{X^2+Y^2}{a^2}-\frac{Z^2}{b^2}=-1---\left(1\right)$

此外，常数a及b是定义双曲线的形状的参数。参照图6，全方位摄像机HyperOmni Vision包括垂直向下设置的处于Z＞O区域的双曲面反射镜42、和在其下面垂直向上设置的摄像部(未图示)。此时，将双曲面反射镜42及摄像部设置成，使得双曲面反射镜42的焦点OM及摄像机的透镜中心OC分别位于双叶双曲面的2个焦点(0，0，+c)和(0，0，-c)。图像面xy是与XY平面平行、与摄像部的透镜中心OC仅相距摄像机的焦点距离f的平面。双曲面反射镜42的反射面、双曲面反射镜42的焦点OM及摄像机的透镜中心OC用以下的式(2)表示。

[数学式3]

反射镜面：

$\frac{X^2+Y^2}{a^2}-\frac{Z^2}{b^2}=-1(Z>0)---\left(2\right)$

反射镜的焦点OM：(0，0，+c)

摄像机的透镜中心OC：(0，0，-c)

参照图6，设与空间中的任意点P(X，Y，Z)对应的图像上的成像点为p(x，y)时，点P的方位角θ用以下的式(3)表示。

      Tanθ＝Y/X＝y/x                   …(3)

即，由Y/X确定的点P的方位角θ可通过算出由y/x确定的成像点p的方位角θ而得到。如此地，处于360度全景状区域内的对象物体的方位角θ直接表现为该物体在图像面上的成像方位。

此外，参照图7，当假想包含点P与Z轴的垂直截面时，在点P与成像点p之间，以下的式(4)的关系成立。

[数学式4]

$\left\{\begin{array}{c}Z=\sqrt{X^2+Y^2}\tan \mathrm{\&alpha;}+c\\ \mathrm{\&alpha;}={\tan }^{-1}\frac{(b^2+c^2)\sin \mathrm{\&gamma;}-2\mathrm{bc}}{(b^2-c^2)\cos \mathrm{\&gamma;}}\\ \mathrm{\&gamma;}={\tan }^{-1}\frac{f}{\sqrt{x^2+y^2}}\end{array}\right.---\left(4\right)$

即，通过将摄像机的透镜中心OC设置在双曲面的焦点位置，从双曲面反射镜42的焦点OM开始的点P的方位角θ及俯角α可通过成像点p(x，y)唯一地求出。此时，因双曲面反射镜42的焦点OM被固定，输入图像能够变换为将从双曲面反射镜42的焦点OM拍摄的摄像机绕垂直轴旋转而得到的图像(全景图像)或者通常的摄像机的图像。

关于全方位摄像机HyperOmni Vision，在“山泽-诚及其他人撰写的‘用于移动机器人的导航的全方位视觉传感器’，日本电子信息通信学会论文集D-IIVol.J79-DIINo.5pp.698-707(1996年5月)等中详细地公开。

2、胶囊型内窥镜

图8是表示胶囊型内窥镜的结构的图。胶囊型内窥镜50具有包括双曲面反射镜42及摄像部44的全方位摄像机、照明34和接收器26。由摄像部44拍摄的图像被发送给设置于外部的图像处理装置，在图像处理装置中进行图像处理和图像显示。

[消化器管展开图像的制作]

使用安装在如上所述地构成的内窥镜(探头型内窥镜或胶囊型内窥镜)中的全方位摄像机32来获得影像。特别是，在胶囊型内窥镜50中，利用可封入的全方位摄像机32获得内窥镜的周围360度的影像。

能够从内窥镜图像的1帧获得的周围影像的范围窄，但通过复原内窥镜的移动，能够重叠每个帧的影像。

图9是说明图像处理的内容的概念图。图9(a)是表示胶囊型内窥镜50在小肠60内移动的样子的图。胶囊型内窥镜50如图中的箭头所示，随着小肠60的分节运动和蠕动运动，在小肠60内从口腔侧向肛门侧行进。分节运动是指，在小肠60内邻接的环肌通过同时间歇收缩而产生的运动。此外，蠕动运动是指，通过环肌与纵肌的组合产生的运动，是用于将食物向前方送进的运动。

胶囊型内窥镜50在消化器管内约通过8小时，因此行进速度缓慢。为此，帧间的图像大多重叠，能够实现较密的图像粘贴。

因此，如图9(b)所示，将通过全方位摄像机得到的图像变换为全景图像，如图9(c)所示地，将消化器管的形状模型化为单纯的几何学形状，在其上粘贴图像。之后，生成将如图9(d)所示的消化器管的一部分切断的展开图像，由此，能够得到假想的消化器管的解剖图像。因此，医生通过观看解剖图像，能够及时地发现病灶，能够成为对诊断的较大支援。因此，正确地检测出摄像机的移动成分是重要的课题。

[全方位摄像机的运动推定及图像生成]

利用时间上连续的图像列中的对应的图像点，能够检测出全方位摄像机32的运动。在全方位摄像机32中，对应点作为方位被投影在摄像面48上。因此，能够采用球座标系表现图像。

图10是表示球座标系中全方位摄像机32的移动的图。在图10中，将全方位摄像机32的移动作为座标系的移动来表现，将移动前后的全方位摄像机32位置的同一对应点作为对应点70表示在图中。此外，全方位摄像机32位置是座标系的原点。

球座标系与XYZ座标系的关系用下式(5)表示。

[数学式5]

X＝ρsinφcosθ

Y＝ρsinφcosθ                                                     (5)

Z＝ρcosθ

在球座标系中，摄像面(ρ_o，φ，θ)的三维座标点(ρ，Φ，Θ)在摄像面中按照下式(6)投影。

[数学式6]

φ′＝Φ′

θ′＝Θ′                                                          (6)

此外，摄像机移动后的座标系与移动前的座标系的关系，可利用旋转矩阵R与平移矩阵t表现，下式(7)所示的关系成立。

[数学式7]

$\left(\begin{array}{c}{\mathrm{\&rho;}}^t\\ {\mathrm{\&Phi;}}^t\\ {\mathrm{\&Theta;}}^t\end{array}\right)=R\left(\begin{array}{c}\mathrm{\&rho;}\\ \mathrm{\&Phi;}\\ \mathrm{\&Theta;}\end{array}\right)+t$

$R=\left(\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right),t=\left(\begin{array}{c}{\mathrm{\&rho;}}_t\\ {\mathrm{\&Phi;}}_t\\ {\mathrm{\&Theta;}}_t\end{array}\right)---\left(7\right)$

将从摄像机到对象点的距离近似为固定值ρo，将式(7)代入式(6)时，则下式(8)的关系成立，根据固定的多个三维座标点求出旋转参数及平移参数。

[数8]

φ^r＝r₂₁ρ_o+r₂₂φ+r₂₃θ+φ_t

θ^r＝r₃₁ρ_o+r₃₂φ+r₃₃θ+θ_t                      (8)

然而，由于消化器管的内壁进行分节运动，其影像看上去也是慢慢地运动。但是，在拼接中采用的图像列中，限定为非常小的运动，所以，能够使连续的数帧期间的三维对象物的移动速度近似于线形。因此，决定摄像机运动参数，使得在图像摄影时刻t_i将从前1个图像拍摄时刻t_i-1开始决定的摄像机运动投影到投影面上时的偏移量D_i，在后1个图像摄影时刻t_i+1也被保持。在各个时刻进行偏移量D_i的测量，求出在短时间近似于线形、在长时间是非线形的摄像机运动参数。

在决定了摄像机运动后，接着将消化器管以大致表示其形状的圆筒等模型化，将图像投影到圆筒面上。此时，通过粘贴的图像生成可见角度不同的图像。图11是表示可见角度不同的图像的一个例子的图。如图11所示，生成了一次性地显示内窥镜的前方45度的消化器管内周围360度的全景图像、内窥镜侧方的全景图像和内窥镜后方45度的全景图像的图像。

图12是用于说明全景图像的生成方法的图。首先，根据由内窥镜50(20)的全方位摄像机32拍摄的图像，生成全方位摄像机32从正面捕捉内壁侧面90的全景图像84。此时，将数10秒间的摄像机运动的平均作为摄像机的标准姿态，通过利用数10秒期间的多个图像进行视频图像拼接处理，求出以从该姿态捕捉侧面的全景图像84。该操作适用于摄像机运动的全过程中，生成从侧方正面看消化器管的内壁的全景图像84。

然后，生成容易观察消化器管的褶裥的全景图像。将从标准姿势看比内窥镜50(20)的侧方更前方的、位于例如45度前方的预计角度的图像作为粘贴的图像，通过视频图像拼接处理进行多个图像的粘贴，生成看比内窥镜的侧方更位于前方方向的消化器管的内壁92的全景图像82。同样地，生成看比内窥镜的侧方更位于后方的消化器管的内壁94的全景图像86。

接着，说明根据拍摄了运动的消化器管的全方位摄像机影像，不仅推定摄像机的运动，还推定消化器管的三维信息，且生成从任意角度观察的内壁图像的技术。

以往，在推定摄像机运动的问题中，假定了观察对象是静止的，但是，在肠内的影像中发生分节运动，因此很难假定观察对象是静止的。可是，由于该运动是非常缓慢的速度，因此，可以利用由以下两个阶段构成的方法来推定摄像机的运动。

(1)根据视频影像的连续的2张图像，使用极线(epipolar)约束条件，推定摄像机运动。2张图像由于是以非常短的间隔拍摄的，因此假定在该期间观察对象是静止的。

(2)使用以时间序列得到的多个图像，根据光束法平差技术，修正用(1)的方法得到的摄像机的运动。由于取得了图像的时间存在差异，因此在该期间发生分节运动。因此，除了正在跟踪的特征点的位置以外，还加上时间变化的项，来推定摄像机运动。

首先，在(1)的方法中，从图像中抽出特征点，在连续的图像之间跟踪其特征点。关于进行上述动作的技术已经提出了各种方案，因此使用这些方法。例如，已知在C.Harris and M.Stephens，“A combinedcorner and edge detector，”In Proc.Fourth Alvey VisionConference，pp.147-151，1988，或者B.Lucas and T.Kanade，“AnIterative Image Registration Technique with an Application toStereo Vision，”Proc.of 7^th International Joint Conference onArtifical Intelligence(IJCAI)，pp.674-679.等记载的方法。

即，在此，与这些方法同样地，推定摄像机运动。从不同的视点获得的2个图像相对应的特征点m、m’，按照极线约束使用基础矩阵E时，mEm’＝0的关系成立。在此，获得7组以上的特征点的情况下，可确定基础矩阵E，基础矩阵E可分解为坐标系的旋转矩阵R和平行移动矢量t。因此，可推定摄像机运动。但是，由于在特征点的对应中含有误差，使用分布偏差有效(robust)推定的方法即RANSAC(Random Sample Consensus)算法，除去误对应。在知道了摄像机运动的情况下，可根据三角测量的原理计算特征点的三维空间中的位置。观察肠时，特征点排列成圆筒状。所以，对于计算的特征点的位置，适用圆筒模型，推定圆筒的中心v_c和轴的方向v_n。使用最小二乘方法计算它们。

然后，在(2)的方法中，使用多个图像修正通过上述方法求出的摄像机位置和特征点的位置。该方法中，使下式(9)表示的误差为最小。在此，M_i是三维空间中的特征点的位置，m_ij是与M_i相对应的图像编号j下的特征点在图像中的位置。R_j、t_j表示图像编号j下的摄像机的位置姿势。在光束法平差中，将参数设为M_i、R_j、t_j，使误差最小。最小化中，使用Levenberg-Marquardt法等的反复计算。

可是，在肠内的影像中，因分节运动，观察期间的三维中的位置M_i移动，因此修正上述的误差，使下式(10)表示的误差最小。在此，函数f是表示分节运动的模型。如上所述，分节运动正是通过邻接的环肌同时间歇地收缩而产生。由于环肌按固定间隔排列，可使消化器管内壁的变化近似于正弦波，如下式(11)所示地表示函数f。

[数学式9]

$\underset{j}{\overset{K}{\mathrm{\&Sigma;}}}\underset{t}{\overset{N}{\mathrm{\&Sigma;}}}{|P(R_j{M}_i+t_j)-m_{\mathrm{ij}}|}^2---\left(9\right)$

$\underset{j}{\overset{K}{\mathrm{\&Sigma;}}}\underset{i}{\overset{N}{\mathrm{\&Sigma;}}}{|P(R_{j}f(M_i,j)+t_j)-m_{\mathrm{ij}}|}^2---\left(10\right)$

f(M，j)＝M+asin(bj-cv)v_n

v＝(M-v_c)-v_a                                  (11)

v_n＝M-v_c-v

在此，v_c、v_a是上述的圆筒模型的中心位置和轴的方向。由于函数f用参数a、b、c表示，因此在光束法平差中使用的参数上加a、b、c，使误差最小化。

另外，具有利用如下结果的方法，该结果是通过图像以外的、安装在内窥镜中的传感器获得了用于生成全景图像的摄像机移动成分的结果。利用磁场或微波等实时地推定传感器的位置、姿势的6个自由度，该技术作为市售技术存在。根据由这些传感器获得的三维位置姿势信息，也能够进行全景图像的生成，但通常，如此的传感器的推定精度是，在磁传感器情况下，角度精度为0.5度，位置精度为1.8mm左右，因此，即使将这些信息按原样利用，摄像机运动也不正确。因此，很难正确地生成全景图像。在此，将由这些传感器得到的三维位置姿势信息作为上述摄像机的运动推定方法的初始值，可进行更高速的图像生成。

此外，作为位置及姿势推定用磁传感器，具有如下种类。

用奥林巴斯株式会社销售的内窥镜插入形状观测装置UPO(奥林巴斯株式会社的商标)，能够进行利用磁传感器的内窥镜整体形状的测量。

另外，通常，作为使用了磁传感器的位置测量的代表方法，具有将安装于内窥镜前端部的接收器(正交线圈)放置在流过交流电流的发射器(正交线圈)的磁场中时，利用在接收器中感应产生感应电流，根据该感应电流的大小，计算以发射器为基点的接收器的位置和方位的方法。例如，在Plhemus Inc.的FASTRACK(Plhemus Inc.的注册商标)中，可测量三维坐标值(X、Y、Z)和欧拉角(Pitch，Yaw，Roll)的6个自由度。

另外，利用直流磁场的磁传感器miniBIRD(Ascension TechnologyCorporation的注册商标)是10mm×5mm×5mm的小型传感器，通过安装于医疗器械的前端，可实时测量6个自由度的值(三维坐标值和欧拉角)。此外，与磁传感器同样地，利用微波等的电波到达天线的到达时间的滞后，来推定发送源的三维位置，即使利用这样的方法，也能够提供用于全景化的初始值。

如上所述，根据本实施方式，通过对探头型内窥镜使用全方位摄像机，能够容易地实现视觉辨认度比现有的内窥镜好的全方位内窥镜。即，能够实现以往的探头型内窥镜很难进行的侧方辨认。

另外，能够向医生提供考虑了预计角的全景图像。因此，可以向医生提供以往的探头型内窥镜很难观察到的、位于侧方的后面的图像。特别是，下部内窥镜多数情况下观察直肠和大肠的较大的褶裥，大肠的较大弯曲部位的褶裥的内面用现有的内窥镜看不见，存在着病灶漏看的危险，但采用全方位内窥镜，避免该危险的可能性提高。

此外，不久的将来，实用化的胶囊内窥镜在消化器管内同食物一同流动着移动，其方向、位置的控制很难，仅用现有的前方视野，自然会发生不能拍摄周围影像的情况。对此，具备全方位内窥镜的胶囊内窥镜，因视野在侧方的整个周围并且覆盖区域广，因此漏拍一部分的可能性低。另外，为了有效地检查用摄像机拍摄的大量的图像数据，需要非常熟练的技术。将大量的图像作为全景图像粘贴，对于展开的图像，即使是对内窥镜不熟练的消化器专业的医生也容易诊断，起到了提高医疗技术的目的。

再者，利用图像推定摄像机运动，通常可得到适于全景生成的精度，但在内窥镜的位置或姿势发生急剧变化的情况下，也存在着误推定的可能性。在此，在本发明中，通过并用磁传感器等位置及姿势传感器，预先用位置及姿势传感器测量大体的位置和姿势，之后的详细的位置及姿势推定可利用图像处理进行。因此，用传感器能够防止较大的误推定，可实现全景图像生成的高精度的同时，实现全景图像生成的高速化。

另外，正式(11)所示，在进行摄像机运动的修正时，分节运动中的消化器管内壁的变化近似于正弦波。因此，能够求出更正确的摄像机运动。进而能够正确地进行全景图像的生成。

第二实施方式：

下面，对本发明的第二实施方式的内窥镜的结构进行说明。第二实施方式的内窥镜的结构具有与第一实施方式的探头型内窥镜或胶囊内窥镜同样的结构。但是，以下三点与第一实施方式不同。

(1)在第一实施方式中，根据时间上连续的图像列中的对应的图像点，检测全方位摄像机32的运动推定，但在第二实施方式中，通过求出图像中的特征的区域，进行区域间的对应。

(2)另外，在第一实施方式中，是将消化器管内壁的分节运动定型化，然后修正摄像机运动，但在第二实施方式中，除此以外，还将消化器管内壁的蠕动运动也定型化。

(3)此外，在第一实施方式中，通过在时间上连续的图像之间求出对应点，进行摄像机的运动推定，之后，进行粘贴图像生成全景图像的处理，但在本实施方式中，通过适用能量最小化问题，同时进行摄像机的运动推定和全景图像的制作。

下面，对这几点详细地说明。

(1)关于区域间的对应：

正如消化器管内壁那样，为了应对不能检测从摄像机输入的图像中的清晰特征点的情况，将图像分割成小区域(8×8或16×16象素)的块，判定内部的组织成分。判定式使用下式(12)。

[数学式10]

$E_{\mathrm{tcsture}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\{{I_x}^2(x,y)+{I_y}^2(x,y)\}---\left(12\right)$

其中，I_x(x，y)和I_y(x，y)分别表示图像中的点(x，y)的象素值设为I(x，y)时的沿着x轴和y轴的一次微分。判定式的值成为阈值以上的块判定为特征区域，在邻接图像间进行类似的区域的搜索。通过如此的计算方法，可将象素值的微分值合计大的地方作为特征区域。

(2)消化器管内壁的运动的模型化：

如上所述，根据连续的图像列复原摄像机的移动，并粘贴重复的图像区域来生成较大的静止图像的方法，作为视频图像拼接处理已知，在MPEQ-4中作为拼接器压缩法也已知。在该视频图像拼接中，事先发送较大的背景，通过将成为其前景的较小的移动成分依次发送并复原，可有效地进行动画再生。可是，在以往的视频图像拼接中，背景中的已固定的特征点或者区域，检测出通过摄像机图像上如何移动，来推定摄像机运动。

另一方面，小肠和消化器管的内壁为了将食物或胶囊向前送出，不断地反复运动，固定的特征点不存在。而且，内壁是柔软物，有稍许的伸缩，但是，利用内脏肌纤维的收缩形成柔软的褶裥。因此，难以直接适用以往的方法并生成静止画。

为此，在本发明中，复原伴随运动的、相对于消化器管内壁的摄像机的移动，通过将摄像机和消化器管内壁的运动假想地停止，并粘贴到静止图像，可生成消化器管内壁的展开图像。为了制成精度良好的展开图像，采用了用摄像机拍摄的所见图像在连续帧中不会有较大变化的时间区间的影像。

首先，连续的图像列中的图像的运动，可分类为摄像机移动所引起的动作和消化器管内壁的运动所引起的动作。关于其中的摄像机的移动，没有与移动有关的制约，所以摄像机自身可朝向各方向，但是，另一方面，消化器管内壁的运动因内脏而具有固有的运动。即，胶囊内窥镜在有效的小肠中，消化器管内壁的动作可由分节运动和蠕动运动表现。分节运动是邻接的环肌同时间歇地收缩所产生的运动，以固定间隔排列的环肌的收缩所引起的小肠内壁的变化，与第一实施方式同样地，可近似为含有式(11)的正弦波的函数f。

另一方面，蠕动运动是由环肌和纵肌组合而产生的运动，为了将食物向前方输送，不仅呈现连续的波，而且如图13所示，孤立的波前进着。

该波可考虑为具有一定速度和形状的前进波即孤子，可由下式(13)的非线性波动方程式的KdV(Korteweg-de Vries)方程式表现。

[数学式11]

f_t+f_xxx+6ff_x＝0         ……………………………(13)

在此，f_t表示与函数f的t有关的第1次偏导函数，f_x表示与函数f的x有关的第1次偏导函数，f_xxx表示与函数f的x有关的第3次偏导函数。

设行进方向的位置为x、时间为t、前进方向的速度为c，作为一个解，考虑由下式(14)表示的孤子f。

[数学式12]

$f=f(x,t)=3c\sec h^2\left[\frac{\sqrt{c}(x-\mathrm{ct})}{2}\right]---\left(14\right)$

分节运动的正弦波、蠕动运动的孤子不是从摄像机所看到的动作，因此需要从摄像机获取的图像中的变动中分离正弦波和孤子。为了该分离，利用考虑成分节运动、蠕动运动正在发生的图像上的特征。与分节运动、蠕动运动一起发生环肌的收缩时，沿着纵肌产生皱褶，在环肌收缩的部位，呈现图14所示的放射状的皱褶。发生该收缩时，考虑到产生分节运动或蠕动运动，其连续的过去的图像中也考虑有分节运动或蠕动运动所致的内壁的移动成分。可是，图14所示的状态下，小肠内壁的运动过大，对于邻接的图像中的同一区域，可见方式显著的不同，不利用于粘贴。为此，在呈现图14的状态前的多个帧中，作为内脏收缩所引起的变动，小区域移动量在规定的阈值以上时，其以下的图像列不能用于粘贴。即，在图15所示的图像列中，小区域202的移动量在规定的阈值以上时，其以下的图像(图15的区间B的图像)不能用于合成。

在从图14的状态早数个帧的粘贴中使用的图像(图15的图像204)中，具有分节运动或蠕动运动引起的变动，适用于正弦波或孤子引起的图像的修正。在其以外的帧的图像(图15的区间A的图像)中，小肠的运动考虑为未进行模型化的微小动作和摄像机的移动所引起的图像变动。因此，粘贴的图像考虑为几乎不存在小肠运动的状态、或者分节运动或蠕动运动缓慢的运动区间。

因此，根据图16所示的流程图，进行图像粘贴。

最初，利用图像处理从所有的图像列中选择相当于图14的图像，并作为代表图像(S1)。通过使前方的成为空洞部的暗部大小变小、并且检测出以暗部为中心表示褶裥的棱线放射状扩大的代表图像，实现该处理。另外，从图15所示的连续的图像列中检测出多个代表图像时，将暗部成为最小的图像作为代表图像200。

在该代表图像200的过去数帧中，求出相邻图像间的小区域202的运动矢量，在运动矢量的长度比阈值小时，推定为处于分节运动或蠕动阶段的初始阶段(S2)。

初始阶段的图像204中的分节运动的正弦波和蠕动运动的孤子与摄相机的方向不同，难以进行可见的波形模式的推定，但可推定为在初始阶段中图像的周围区域全部朝向小肠的中心微小地移动。因而，在分节运动或蠕动运动的初始阶段(图15的区域A)，没有运动的区别，求出朝向中央方向的图像区域的移动成分的平均值，修正移动量(S3)。

此后，通过适用能量最小化问题，同时进行摄像机的运动推定和全景图像的制作(S4)。此时，还修正小肠内壁的微小变形(S5)。另外，关于能量最小化问题，在以下详细地说明。

(3)关于能量最小化问题：

再者，将按照上述的判定式(12)求出的特征区域作为图像的控制点及其附近区域，在图像上紧密地生成以控制点为顶点的三角面片。此外，在以下的说明中，在称作控制点的情况下，有时表示控制点及其附近区域。

图17是表示三角面片的一例的图，图17(a)表示f帧的三角面片，图17(b)表示(f+1)帧的三角面片。如图17(a)所示，通过与求得的特征区域I_k，f(k是特征区域的编号，f是帧的编号)紧密连接，制成三角面片。对三角面片付与了m1～m3这样的编号。

在邻接的图像中，以初始值作为过去的图像的三角面片，用控制点附近区域(特征区域)的象素值的差分的平方总和、以及三角面片的面积差分之和表示三角面片的内部能量E_int时，如下式(15)那样定义三角面片的内部能量E_int。

[数学式13]

$E_{\mathrm{int}}=\underset{k}{\mathrm{\&Sigma;}}\left[\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{\{I_{k,f}(x,y)-I_{k,f-1}(x,y)\}}^2\right]+\underset{m}{\mathrm{\&Sigma;}}{(A_{m,f}-A_{m,f+1})}^2---\left(15\right)$

其中，A_m，f表示从帧f的控制点张开的三角面片的面积。另外，m表示三角面片的编号。

即，式(15)所示的三角面片的内部能量E_int的右边第1项表示控制点附近区域的象素差分的平方总和，在连续的帧间特征区域内的亮度分布近似时，内部能量变小。第1项也称作“图像能量”。

另外，该右边第2项表示三角面片的面积差分之和，在连续的帧间对应的三角面片的面积变化少，即，如果三角面片没有变形，则内部能量变小。第2项也称作“表示圆滑度的制约的能量”。

另一方面，消化器管内成圆筒形状。另外，在全方位摄像机HyperOmniVision中，包含通过视点的直线的所有平面，具有在以视点为中心的球坐标系中作为大圆呈现的性质。如此，利用在邻接图像间再构成的摄像机周围的圆形类似度来定义外部能量E_ext。圆形类似度由下式(16)定义，利用从移动后的控制点到大圆的距离的平方总和定义，使得当含有亮度值较大的3点以上控制点的多个大圆(3～5个)，在移动后也成大圆的情况下，使类似度变小。

[数学式14]

$E_{\mathrm{ext}}=\underset{n}{\mathrm{\&Sigma;}}\underset{t}{\mathrm{\&Sigma;}}{\{{\mathrm{HC}}_{i,n,f}-C_{i,n,f+1}\}}^2---\left(16\right)$

其中，摄像机时时刻刻在移动。因此，将摄像机移动所决定的变换矩阵定义为H。另外，C是控制点的坐标，1表示大圆的编号，n表示包含在大圆中的控制点的编号。

[数学式15]

E＝∑{αE_int+(I-ex)E_exi}……………………………(17)

因此，通过求出使内部能量和外部能量的加权总和成最小的控制点，求出邻接图像中的对应区域，同时获得摄像机运动，获得邻接图像间的变形。在此，α是0以上且1以下的常数。通过使能量E最小化，可以生成将对准了摄像机方向的图像切出并粘贴的全景图像。

另外，也可以使用下式(18)和(19)所示的圆滑度制约的能量，代替式(15)的第2项所示的表示圆滑度制约的能量。该能量指将与邻接控制点的距离保持为一定的能量。

例如，如图18所示，在第1帧中，将图像分割成网格状。将图像分割成网格状时的象素间隔设为n象素(n为自然数)。

将网格上的控制点如图19(a)所示地选择5点(控制点102～控制点110)，将从中心的控制点110到其他四点的距离定义为1¹ ₁，1¹ ₂，1¹ ₃和1¹ ₄。

接着，在第2帧中，求出分别与控制点102、104、106、108和110相对应的控制点112、114、116、118和120。相对应的控制点通过通常的图形匹配等求出。

在此，定义2种的能量。

下式(18)所示的能量是，在从中心的控制点到其他四点的距离与网格的象素间隔相等时成为最小的能量，通过使该能量成为最小，选择保持图19(a)所示形状的控制点。

[数学式16]

$E\left(x\right)=\underset{i}{\mathrm{\&Sigma;}}{(l_i^t\left(x\right)-n)}^2---\left(18\right)$

在此，t表示帧编号，表示控制点的组合的编号。另外，这样的能量可在图像中的多个场所求出，也可以求出它们的合计能量。

另外，下式(19)所示的能量是，在前1个帧和当前帧之间四个距离分别相等时，成为最小的能量。通过使该能量成为最小，选择具有与前面的帧的控制点的配置构造相同的配置构造的控制点。

[数学式17]

$E\left(x\right)=\underset{i}{\mathrm{\&Sigma;}}{(l_i^t\left(x\right)-l_i^{t-1}\left(x\right))}^2---\left(19\right)$

通过解决如上所述的能量最小化问题，在连续的画面间，可取得控制点的对应。因此，根据被控制点包围的三角面片的对应，使得在各帧求出的图像变形的同时进行粘贴，能够取得经视频图像拼接处理的消化器管内的图像。

综上所述，在变化的小肠内壁中，对于在较大收缩的区间以外缓慢变化的区间的连续图像，一边与同一微小区域建立对应一边求出摄像机移动量，将图像变形并粘贴，使同一区域精密地重合。在摄像机移动量推定中产生的误差，被修正成在粘贴时使图像全体移动，通过一边缓慢地修正小肠内壁的运动一边粘贴控制点周围的区域图像，生成小肠内壁的展开图像。

如上所述，若采用本实施方式，将消化器管内的形状和摄像机的运动作为模型参数表现，通过将控制点移动到使利用了这些模型参数的能量成为最小的位置，可取得控制点的对应。因此，通过利用控制点的对应关系，能够生成全景图像。在第一实施方式中，将摄像机的运动推定和图像的粘贴作为不同处理来实施。因此，摄像机的运动推定错误的情况下，也有图像粘贴不理想的情况，但在第二实施方式中，不会发生如此情况。

以上，根据实施方式说明了本发明涉及的内窥镜系统，但本发明并不限于此实施方式。

例如，可将实施方式中说明的蠕动运动的模型式(式13)适用于第一实施方式，进行光束法平差处理，以便进行摄像机运动的修正。

另外，也可以将全方位反射镜作为附件安装到现有的内窥镜上，以实现全方位视觉。

并且，在全方位摄像机中，除了使用双曲面反射镜之外，还可以使用圆锥反射镜、球面反射镜、抛物面反射镜等。再者，还可以将这些反射镜多个组合而成。

此外，本发明并不限于肠管的检查，还可以用于其他脏器或血管内的检查等。例如，本发明适用于微机械技术中，适用于拍摄血管的内壁图像的系统。

另外，还可以适用于能在鼻孔、耳道、口腔、阴道内、膀胱内、尿道等生物体内运动的管状物体内的检查。

此外，本发明的技术还可以适用于将摄像机安装于导管的前端，进行心脏内检查、血管内检查等。

再者，本发明的技术可适用于将摄像机安装于作为内窥镜一种的腹腔镜的前端，进行食道、胃、十二指肠、胆囊、胆管、阑尾、甲状腺、乳腺、肺等脏器的检查。

产业上的可利用性

本发明能够适用于内窥镜，特别是适用于探头型内窥镜或胶囊内窥镜等。

Claims (18)

1、一种对物体内部进行摄像的内窥镜系统，其特征在于，

具有：

摄像机，对生物体内的可运动的物体内部进行摄影；以及

图像生成装置，通过对由所述摄像机获得的多个图像实施视频图像拼接处理、运动修正处理和利用能量最小化的图像修正处理，粘贴图像，进行摄像机运动推定、事先可定义的生物体内的运动修正和事先不可定义的生物体内部变形的修正，生成所述物体内的全景图像。

2、按照权利要求1所述的内窥镜系统，其特征在于，

所述图像生成装置具有：运动推定单元，根据由所述摄像机拍摄的所述物体内的图像，推定所述摄像机的运动；以及

全景图像生成单元，根据所述摄像机的运动的推定结果，利用由所述摄像机拍摄的图像，生成所述物体内的全景图像。

3、按照权利要求2所述的内窥镜系统，其特征在于，

所述运动推定单元具有：

对应点检测单元，用球坐标系表现所述摄像机的观测点，利用由所述摄像机获得的多个图像，检测出所述观测点的对应点；以及

运动参数推定单元，根据多个所述对应点，推定表现所述摄像机的运动的运动参数。

4、按照权利要求2所述的内窥镜系统，其特征在于，

所述运动推定单元具有：

摄像机运动推定单元，根据由所述摄像机获得的时间上不同的2张图像，并使用极线约束条件，推定所述摄像机的运动的，

摄像机运动修正单元，使用由所述摄像机获得的时间上不同的多个图像，进行光束法平差处理，修正由所述摄像机运动推定单元推定的所述摄像机的运动。

5、按照权利要求4所述的内窥镜系统，其特征在于，

所述摄像机运动修正单元将分节运动所引起的物体内的变化近似为正弦波，进行光束法平差处理。

6、按照权利要求4所述的内视系统，其特征在于，

所述摄像机运动修正单元将蠕动运动所引起的物体内的变化近似为孤子的移动，进行光束法平差处理。

7、按照权利要求4所述的内窥镜系统，其特征在于，

所述物体是圆筒形状的物体；

所述全景图像生成单元将所述物体模型化为圆筒形状，根据在所述运动推定时使用的特征点，使由所述摄像机获得的多个图像与所述圆筒形状匹配。

8、按照权利要求2所述的内窥镜系统，

还具有位置及姿势传感器，测量自己的位置或姿势；

所述运动推定单元还加进所述位置及姿势传感器的测量结果，推定所述摄像机的运动。

9、按照权利要求1所述的内窥镜系统，其特征在于，

所述图像生成装置具有：

特征区域切出单元，从所述摄像机获得的多个图像的每个中，切出规定大小的多个特征区域；

全景图像生成单元，根据包含在所述多个图像的每个中的所述多个特征区域，定义规定的能量，并建立所述多个图像间的所述多个特征区域的对应，使得该能量成为最小，并根据该对应结果，生成所述物体内的全景图像。

10、按照权利要求9所述的内窥镜系统，其特征在于，

所述规定的能量是，根据在时间上连续的2个图像中分别包含的所述多个特征区域的象素值的差分，所确定的能量。

11、按照权利要求9所述的内窥镜系统，其特征在于，

所述规定的能量是，根据将时间上连续的2个图像中分别包含的所述多个特征区域连接起来而获得的三角面片面积之差，所确定的能量。

12、按照权利要求9所述的内窥镜系统，其特征在于，

所述摄像机是全方位摄像机；

所述规定的能量是根据以下两个坐标之差所确定的能量，其中一个坐标是，基于所述全方位摄像机的移动成分，对将由所述全方位摄像机拍摄的第1图像变换成以所述全方位摄像机的视点为中心的球坐标系后的图像中呈现的大圆的坐标进行了修正的坐标；另一个坐标是，将与所述第1图像在时间上连续且由所述全方位摄像机拍摄的第2图像变换为所述球坐标系后的图像中呈现的大圆的坐标。

13、按照权利要求9所述的内窥镜系统，其特征在于，

所述规定的能量是，根据与从所述摄像机拍摄的第1图像中选择的多个控制点分别对应的、由所述摄像机拍摄的所述第2图像中的多个控制点的失真度，所确定的能量。

14、按照权利要求9所述的内窥镜系统，其特征在于，

所述规定的能量是，根据从所述摄像机拍摄的第1图像中选择的多个控制点、和与所述多个控制点分别对应的由所述摄像机拍摄的所述第2图像中的多个控制点之间的的失真度，所确定的能量。

15、按照权利要求9所述的内窥镜系统，其特征在于，

所述多个特征区域是，包含在所述图像中的多个所述规定大小的区域中的、该区域内部的象素值的微分值的平方之和比规定的阈值大的区域。

16、按照权利要求1所述的内窥镜系统，其特征在于，

所述摄像机是全方位摄像机；

所述图像生成装置对由所述全方位摄像机获得的多个图像实施视频图像拼接处理，生成相对于与所述全方位摄像机的前进方向正交的方向具有一定的预计角的全景图像。

17、按照权利要求1所述的内窥镜系统，其特征在于，

所述摄像机安装在插入消化器管内的探头的前端。

18、按照权利要求1所述的内窥镜系统，其特征在于，

所述摄像机收纳于人类或动物可吃进的胶囊内。

Images