CN106574831A - 观察系统 - Google Patents

Abstract

提供1个拍摄光学系统和观察系统，该观察系统根据在从多个照射窗以不同的定时照射的照明光下拍摄的拍摄图像，取得启示被检体表面的凹凸状态的远近信息，显示3维的观察图像。观察系统在从配置在1个拍摄元件的附近的多个照射窗以不同的定时照射的照明光下拍摄被检体，生成分别包含在它们的图像中的光学信息，计算在从拍摄了各图像内的被检体上的相同特征点即同一点的同一点来源像素输出的光学信息中包含的光量的值，作为相对于拍摄元件的相对距离，将上述光学信息在图像间进行比较，根据比较结果，将被检体的同一点判定为平面部或倾斜部，将上述距离与上述平面部或倾斜部建立关联，推定上述被检体的表面形状，显示被检体的3维图像。

Description

观察系统

技术领域

本发明涉及根据远近信息来推定被检体的表面形状、并显示为立体图像的观察系统，所述远近信息根据针对被检体的同一观察部位通过多次发光得到的各拍摄图像而算出。

背景技术

通常，在将立体图像(3维图像)进行监视显示的情况下，合成而显示使用具有视点之差(两眼视差)的两个拍摄系统分别拍摄的图像。在应用于搭载拍摄元件的内窥镜等的观察装置中，当实施使用安装有处理工具的臂的内窥镜手术时，希望进行将作为处理对象的被检体的表面的凹凸状态明白易懂地立体显示的3维显示。

为了显示被检体表面的凹凸状态而需要的远近信息例如通过使用三角测距方式而取得，已知能够根据该远近信息计算观察部位的凹凸状态，所谓三角测距方式，是将光向测定部位照射、将其反射光取入到拍摄元件中、计算从受光面的成像位置到观察部位的距离的方式。

但是，在内窥镜等观察系统中，希望插入部细径化，在其顶端面上还设有钳子孔等，没有配置多个拍摄光学系统(复眼)的配置空间，所以希望由1个拍摄光学系统进行3维图像的构建。例如，在引用文献1中，提出了以下的计测方法：对于1个拍摄光学系统，使1个光源移动而从不同位置将同一发光强度的扩散光向不动的观察部位分别照射，测定所取得的多个拍摄图像的亮度分布，计算测定部位表面的距离分布，计测观察部位的凹凸状态。这里，利用亮度与从光源到测定部位的距离的平方成反比这一情况，计算从光源到观察部位表面的距离，根据多个反射光的亮度分布来计算距离分布。

现有技术文献

专利文献

专利文献1：日本特公平6－76888号公报

发明内容

发明要解决的课题

在上述专利文献1中，距离分布通过假定观察对象是理想扩散反射面而得到的亮度分布来测定。但是，在使用内窥镜的体腔内的环境中，由于观察部位的表面被粘液浸润，所以不是理想扩散反射面的环境，进而通过表面的凹凸状态，光进行不均匀的扩散反射(漫反射)。通过进行这样的扩散反射，观察部位的表面的亮度会根据视点的角度而不同，所以根据亮度分布不一定算出正确的距离。此外，在专利文献1中，提出了使1个光源相对于不动的被检体平行移动而作为多个点光源进行使用的方法。在内窥镜中，由于插入部顶端因弯曲动作而以圆轨道移动，所以在体腔内使插入部顶端平行地移动并不是容易的操作，进而，由于拍摄部和照明部一体地移动，所以接近地拍摄的观察部位有可能从观察视野脱离。

因此，本发明的目的在于，提供一种观察系统，其根据在从排列设置在1个拍摄光学系统中的不同位置的多个照射窗以连续的定时依次照射的照明光下拍摄的拍摄图像，取得启示被检体表面的凹凸状态的远近信息，能够显示基于远近信息的3维的观察图像。

用于解决课题的手段

为了达到上述目的，本发明的实施方式是一种观察系统，具有：光源装置，具有照射第1照明光的第1照射窗和照射第2照明光的第2照射窗；以及拍摄元件，拍摄被上述第1及第2照明光照射的被检体的图像；上述光源装置具有使第1照明光和第2照明光以相互不同的定时进行发光的发光控制部；上述第1及第2照明光具有相互大致相等的光学特性；上述拍摄元件能够取得第1图像和第2图像，该第1图像是仅由上述第1照明光得到的上述被检体的图像，该第2图像是仅由上述第2照明光得到的上述被检体的图像；上述第1图像包含第1光学信息，第2图像包含第2光学信息；上述观察系统具有：光学信息记录部，记录上述第1光学信息和上述第2光学信息；以及同一点来源像素提取部，将上述第1图像与上述第2图像进行比较，将来源于被检体上的同一点的、作为第1图像上的同一点来源像素的第1图像同一点来源像素、与作为第2图像上的同一点来源像素的第2图像同一点来源像素建立对应，提取第1同一点和第2同一点作为被检体上的多个同一点；上述观察系统还具有：运算部，将上述第1同一点处的第1图像第1同一点来源像素具有的第1光学信息和第2图像第1同一点来源像素具有的第2光学信息进行比较，将上述第2同一点处的第1图像第2同一点来源像素具有的第1光学信息和第2图像第2同一点来源像素具有的第2光学信息进行比较，计算被检体上的第1同一点与第2同一点的、相对于上述拍摄元件的相对距离关系即被检体远近信息；表面形状推定部，根据上述被检体远近信息，推定被检体的表面形状；以及显示部，显示反映出由上述表面形状推定部推定出的表面形状的立体图像。

发明效果

根据本发明，能够提供一种观察系统，其根据在从排列设置在1个拍摄光学系统中的不同位置的多个照射窗以连续的定时依次照射的照明光下拍摄的拍摄图像，取得启示被检体表面的凹凸状态的远近信息，能够显示基于远近信息的3维的观察图像。

附图说明

图1是表示本发明的第1实施方式的观察系统的整体结构的图。

图2是用来说明将设定了特征点的第1图像与第2图像重叠时的同一点来源像素的图。

图3是表示观察系统在与被检体以距离L1接近的状态下从照明光取得被检体远近信息的概念性配置例的图。

图4是表示观察系统在与被检体以距离L2远离的状态下从照明光取得被检体远近信息的概念性配置例的图。

图5是概念性地表示当第1照明光和第2照明光被照射在被检体上时由来自平坦表面的反射光量得到的高低的图。

图6是表示插入部的顶端面与被检体的表面倾斜对置的情况下的两个反射光的光量的关系的图。

图7是概念性地表示从第1照明光和第2照明光的反射光量的比得到的被检体的表面的倾斜的图。

图8A是表示由观察系统拍摄到的被检体的远近强调前的2维图像的观察画面的示意图。

图8B是表示由本实施方式的观察系统拍摄到的被检体的远近强调后的3维图像的观察画面的示意图。

图9是用来对远近(凹凸)强调的显示进行说明的流程图。

图10是用来对远近(凹凸)强调的显示进行说明的时序图。

图11是表示第2实施方式的观察系统的概念性配置例的图。

图12是表示观察系统在与被检体以距离L远离的状态下从照明光取得被检体远近信息的概念性配置例的图。

图13是用来说明距离与受光量的关系的概念图。

图14是用来说明第3实施方式的观察系统的特征的包含同一点的图像的概念图。

图15是用来说明通过从3个以上照射窗照射的多个照明光得到被检体远近信息的概念图。

具体实施方式

以下，参照附图对本发明的实施方式详细地说明。

[第1实施方式]

图1表示本发明的第1实施方式的观察系统1的整体结构。图2(a)、图2(b)、图2(c)是用来说明将第1图像与第2图像重叠时的同一点像素(同一点来源像素)的图。

观察系统1既可以单独实施也可以组装到具有其他功能的设备中来实施。在本实施方式中，提出了将观察系统的构成部位组装到内窥镜的插入部、以及光源装置或视频处理器中而构成的例子。另外，在内窥镜的构成部位具有与观察系统1的构成部位同等的功能的情况下，也可以由内窥镜侧的构成部位兼用。

该观察系统1大体由以下构成：光源单元(光源装置)3，从内窥镜的插入部2的顶端照射照明光；拍摄元件4，作为受光部，生成拍摄信号；3维图像生成部5，根据拍摄元件4输出的拍摄信号，推定被检体20的观察部位(或后述的同一点)20a的表面形状；以及显示部(内窥镜的监视器部)6，显示包含3维图像生成部5根据表面形状推定的观察部位的3维图像的图像信息。

光源单元3由配置在插入部2的顶端面2a上的多个照射窗12、13、配置在插入部2内的多个光变换单元14、15、和配置在插入部2的外部的发光控制部7构成。发光控制部7也可以组装到内窥镜的光源装置中。

3维图像生成部5由以下构成：控制部21，控制观察系统整体；图像处理部22；记录部(光学信息记录部)23，记录图像数据(图像及关于图像的信息等)和光学信息(光量(发光强度)、拍摄像素的地址信息等)；同一点来源像素提取部(以下称作提取部)24；运算部25，计算表示被检体的凹凸状态的被检体远近信息；以及表面形状推定部26，根据被检体远近信息推定被检体的表面形状。

图像处理部22将拍摄元件4拍摄到的拍摄信号进行图像数据化，根据图像数据生成包含光学信息的各种信息。提取部24在至少在两个图像上共通的部位、在用来求出图像内的被检体的位置关系的被检体上设定特征点20a(后述的同一点XA、XB)，将这些作为特征点的像素设为同一点来源图像像素(以下称作同一点像素)。此外，将对图像上的同一点图像像素进行拍摄的拍摄元件的像素设为同一点来源拍摄像素(以下称作同一点拍摄像素4a)。

运算部25根据由拍摄元件4拍摄到的图像的像素的光量信息(光学信息之一)，计算作为相对距离关系的被检体远近信息。表面形状推定部26根据被检体远近信息，推定被检体的观察部位的表面形状(凹凸形状)。

这里所述的同一点，在多个图像中拍摄到共通的被检体的情况下，当将这些被检体像的某个部位任意地设定为特征点20a时，将在拍摄到的各图像中一致的特征点设为同一点。在与这些同一点对应的图像之内称作同一点像素(图2所示的XA、XB)。

因此，在由1个拍摄元件连续拍摄到的图像内设定的同一点因拍摄时的晃动或被检体的移动而在各图像间移动了位置的情况下，提取多个对同一点像素进行拍摄的拍摄像素4a，将这些拍摄像素的地址信息也作为光学信息之一，与图像数据一起建立关联而输出。生成表示这些同一点像素的光量的信号，计算被检体远近信息。另外，特征点及同一点虽称作点，但实际上启示被检体表面的极小的特征区域。此外，在同一点像素中，也并不限定于1个像素，也包括形成较小的一群的像素群或形成较小的图像区域的多个像素。

在本实施方式中，在配置在插入部2的顶端面2a的中央附近的受光窗11的附近，配置有第1照射窗12和第2照射窗13。这里，在本实施方式中，由于将成为拍摄元件的物镜的观察装置的观察窗兼用作内窥镜的受光窗，所以在以下的说明中称作受光窗。此外，由于进行观察装置观察时的照明的照明窗兼用作内窥镜的照射窗，所以在以下的说明中称作照射窗。另外，受光窗11、第1照射窗12及第2照射窗13都使用衬垫部件等防水部件而水密地安装于顶端面2a。

在本实施方式的结构例中，第1照射窗12和第2照射窗13在顶端面2a上以受光窗11为中心而在直径方向上离开大致相同距离地对称配置。当然，多个照射窗将相同发光强度(光量)的光向被检体的同一点(例如拍摄视野的中心)或观察范围进行照射就可以，通过调整照射的光量，能够调整到顶端面上的受光窗11的距离，并不限定于图1所示的对称的配置。

在本实施方式中，密接或接近于第1照射窗12而配置第1光变换单元14，密接或接近于第2照射窗13而配置第2光变换单元15，分别将后述的激励光(光信号)变换为照明光。另外，本实施方式的照射窗具有进行光学调整的透镜功能，以使被照射的照明光30I、31I在拍摄视野范围内均匀地扩散而分布一定的发光强度(光量)。此外，也可以在照射窗与光变换单元之间另行设置进行上述那样的光学调整的未图示的光学部件。在光变换单元14、15中，在光纤16、17的顶端设有作为波长变换部件的荧光体。

发光控制部7包含照射激励光的光源，经由光纤16、17，向第1光变换单元14和第2光变换单元15射出激励光。第1光变换单元14和第2光变换单元15向与接收到的激励光不同波长的光进行变换，从第1、第2照射窗12、13向观察对象照射照明光30I、31I。

在本实施方式中，发光控制部7搭载有照射同一波长的光的两个蓝色半导体激光源。这些蓝色半导体激光源能够将向第1光变换单元14导光的第1激励光和向第2光变换单元15导光的第2激励光交替地切换而连续地照射。

此外，被从蓝色半导体激光源照射的作为第1及第2激励光的蓝色激光分别例如被作为多模光纤的光纤16、17导光至第1及第2光变换单元14、15。被从激光进行了波长变换后的照明光从第1照射窗12作为第1照明光30I照射，从第2照射窗13作为第2照明光31I照射。第1照明光30I和第2照明光31I以相互不同的定时照射。另外，在不是同时照射而以始终设置定时差地交替照射的方式被驱动的情况下，还能够将1个蓝色半导体激光源和光学性切换部相组合、向两个光纤切换而导入激励光。

在本实施方式中，第1照明光30I及第2照明光31I都是组合了蓝色激光和被这些光变换单元14、15波长变换后的黄色荧光的混合色即白色光的光，具有大致相等的光学特性。当然，还能够通过由发光控制部7控制激光源的输出(输出光量)来调整为大致相等的光学特性。在由发光控制部7进行光学特性(光量)的控制的情况下，设置未图示的光传感器、或利用使拍摄元件4驱动的信号值进行反馈控制即可。

从第1光变换单元14照射的第1照明光30I向被检体20照射，在这里被反射及散射，其一部分成为反射光30R而向拍摄元件4入射。同样，从第2光变换单元15照射的第2照明光31I向被检体20照射，在这里被反射及散射，其一部分成为反射光31R，向拍摄元件4入射。

在本实施方式的观察系统1中，由于是向内窥镜应用的例子，所以用于对几乎没有外光的体腔内进行观察，除了第1照明光30I及第2照明光31I的反射光30R、31R以外，几乎不向拍摄元件4入射。因而，拍摄元件4能够拍摄仅由第1照明光30I的反射光30R形成的第1图像、和仅由第2照明光31I的反射光31R形成的第2图像。

在本实施方式中使用的拍摄元件4是多个像素以矩阵配置形成受光面、在该受光面上设有例如具有通常的拜耳阵列的RGB原色滤光器的能够分光检测的彩色拍摄元件，即分光检测拍摄元件。通过图像处理部22，第1光学信息作为图像信息之一被从在第1照明光下拍摄的第1图像中提取，同样，第2光学信息作为图像信息被从在第2照明光下拍摄的第2图像中提取，都与图像建立关联而保存到记录部23中。这里所述的第1及第2光学信息是由拍摄元件4检测的、RGB的每个波长区域的光量信息。另外，在本实施方式中，第1及第2光学信息被设为拍摄元件4的每个RGB色像素的光量信息(包括像素的地址信息等)，但并不限定于此。除此以外，还包括关于拍摄元件的信息、将它们加工而得到的信息。

提取部24将第1图像与第2图像进行比较，分别确定被检体20上的同一点(相同的特征点)20a即同一点像素。例如，在拍摄到的多个图像中，在以大致相同的构图拍摄到同一被摄体的情况下，在各图像中设定多个共通的特征点(同一点20a)，通过将这些特征点重叠而形成1个重叠图像。即，在通过从不同位置照射的照明光拍摄到的图像间分别确定同一点像素。

在本实施方式中，第1图像上的第1同一点像素(图2(a)的XA1)是检测该同一点的第1光学信息的像素，第2图像上的第1同一点像素(图2(b)的XA2)是检测相同被检体的共通的同一点的第2光学信息的像素。此外，如果在1个图像内设定了多个即J个(J：整数)同一点，则存在与该个数对应的J个同一点像素。例如，如果在1个图像内设定了3处同一点，则存在与该多个对应的3个同一点像素。根据这些同一点像素，分别计算后述的被检体远近信息。

提取部24将第1图像与第2图像进行比较，确定图像上的同一点。在同一点的确定中，能够采用各种各样的方法。

作为一例，在由1个拍摄元件拍摄到的两个图像间被检体的位置发生了错位的情况下，进行将各个图像上的被检体的共通的特征点(同一点)进行提取的图像处理。如后述的图4(c)所示，通过以使它们的特征点重叠的方式确定两张图像的位置关系，能够确定两个图像间的同一点，对应的拍摄元件4的同一点像素被选择。

作为另一例，通过将第1照明光和第2照明光的发光定时以比插入部2的顶端面2a的移动速度充分快的定时进行切换，在几乎没有移动的状态下连续拍摄。此外，顶端面2a由于一边观察一边移动，所以通常移动速度较慢。由此，在拍摄的图像中，彼此的被检体的同一点在第1图像上的像素的位置与在第2图像上的像素的位置大致一致。

接着，参照图2(a)、图2(b)、图2(c)，说明将第1图像与第2图像重叠时的同一点像素(同一点来源像素)。

能够使用将它们组合、将相同被检体的图像上的像素作为暂时的同一点、通过图像处理等对位置进行微调那样的算法。在短时间中连续拍摄的第1图像和第2图像是拍摄元件相对于被检体在大致相等的位置上拍摄的两张图像。因此，如图2(a)、图2(b)所示，在至少两组特征点(第1特征点：XA1、XB1)、(第2特征点：XA2、XB2)都作为同一点被提取的情况下，将第1图像和第2图像配置为，使这两组特征点(XA1和XA2、XB1和XB2)重叠。

该重叠配置中，重合的两个图像为大致相同的构图下的相同的被检体，所以如图2(c)所示，这些特征点也一致而重合于两点(XA、XB)。因而，在重叠图像内，全部的特征点能够设定为两个图像的同一点，对这些同一点进行拍摄的像素成为同一点像素。这里，将对特征点XA1、XB1、XA2、XB2分别进行拍摄的像素设为第1图像第1同一点像素(XA1)、第1图像第2同一点像素(XB1)、第2图像第1同一点像素(XB2)、以及第2图像第2同一点图像(XB2)。进而，在有多个J(J：整数)同一点的情况下，设为第1图像第J同一点来源像素及第2图像第J同一点来源像素。

接着，运算部25将从提取部24输出的第1图像的第1光学信息及第2图像的第2光学信息进行比较运算，提取作为特征点的被检体的同一点(或任意的测定部位)。在本实施方式中，基于第1、第2图像的同一点像素的光学信息之一即光量信息进行提取。该提取方法能够利用在周知的图像粘贴方法中使用的特征点的检测方法。作为检测方法，例如，在一方的图像上设定由特征像素和其周边像素形成的像素群、生成基于它们的图像信号值或光量值的图案、对另一方的图像检索与该图案相符的像素群的图案检测也是方法之一。

图3是表示观察系统1在与被检体20以距离L1接近的状态下从照明光取得被检体远近信息的概念性配置例的图。图4是表示观察系统1在与被检体20以距离L2远离的状态下从照明光取得被检体远近信息的概念性配置例的图。图5是概念性地表示当第1照明光和第2照明光被照射在被检体上时由来自平坦表面的反射光量得到的高低的图。

在图3及图4中，将各个白色照明光的扩散光中的1个光线用实线及虚线表示。进而，在与各个照明光30I、31I的入射角度成线对称的反射侧，表示沿着反射光30R、31R的光轴的呈滴型的配光分布(配光信息)32、33。该配光信息是光源的照射方向与光强度的关系，在记录部23中被作为关于图像的信息之一而记录。

运算部25对于与所提取的同一点20a建立了对应的同一点像素，提取作为第1图像中的光量信息的受光量P1(反射光30R)、和作为第2图像中的光量信息的受光量P2(反射光31R)，求出作为其比的光量比信息P1/P2。该光量比信息P1/P2是从第1照射窗12照射的光在同一点20a被反射散射而向拍摄元件4入射的光量、与从第2照射窗13照射的光在上述同一点被反射而向拍摄元件入射的光量之比。

接着，基于该光量比信息P1/P2，按每个同一点像素进行分组。例如，划分为P1/P2>1…第1组、P1/P2≈1…第2组(等光量比)、P1/P2<1…第3组这3个。

这里，在光量比信息P1/P2的比是第2组的“1”(绝对值)或“大致1”的情况下，即在两个同一点像素是等光量比的同一光量像素的情况下，如图5所示，推定被检体的表面的同一点相对于配置有照射窗的插入部2的顶端面(平面)平行地对置、并且表面的同一点是平面部。这样，光量比虽然能够推定表面是否平坦，但由于不是该光量的大小，所以无法推定关于距离的远近。这些平坦部的高低、即从拍摄元件4到被检体的距离能够使用上述的三角测距方式等根据拍摄元件4检测的光量来计算。

运算部25针对包含在等光量比信息P1/P2≈1的第2组中的多个同一点20a，通过P1(≈P2)的光量的绝对值来比较大小关系。P1(≈P2)的光量的大小和拍摄元件4与被检体20上的同一点20a之间的距离的远近有关。即，当比较了P1(≈P2)的大小关系时，可知光量大的同一点d1比小的同一点d2距拍摄元件4更近，距离L更短。

因而，运算部25基于拍摄元件4检测出的光量，计算从拍摄元件4到被检体20的相对距离关系即被检体远近信息。进而，表面形状推定部26根据该被检体远近信息以及从记录部23读出的同一点被建立了关联的图像，推定被检体的观察部位的凹凸状态，进行基于远近(凹凸)强调的图像的3维图像化。另外，使用预先取得从照明光照射出的光照在物质(例如表层的组织等)上而进行了反射时的配光信息并储存在记录部中的数据。该配光信息检测预先能够测定的各物质(血管等)的数据并储存。如果保存在储存数据中的物质倾斜，则来自照明光的反射光的配光也倾斜，由拍摄元件受光的成分的光量的强度变化，所以能够识别出该部位(物质)发生了倾斜，能够根据与相邻的像素的关系来修正表面的凹凸。

这里，在仅推定了平面部的情况下，在图5中，根据拍摄元件4检测出的光量的差异，推定为：平面部d1比平面部d2高而是顶部侧，平面部与平面部之间、例如平面部d1与平面部d2之间具有平面部d2成为底部侧的凹凸状态，它们之间被倾斜部相连。

接着，参照图6及图7，对平面部与平面部之间的倾斜部进行说明。

图6是表示插入部2的顶端面2a与被检体20的表面倾斜对置的情况下的两个反射光的光量的关系的图。图7是概念性地表示由第1照明光与第2照明光的反射光量之比得到的被检体的表面的倾斜的图。

对第1组的P1/P2>1及第3组的P1/P2<1的情况进行说明。

如图6所示，在顶端面2a与被检体20的表面倾斜对置的状态的情况下，被检体20的反射及散射光量的比例依赖于照明光相对于拍摄元件4的拍摄视野方向(图6的箭头34)即观察轴的入射方向而变化。观察轴为拍摄元件的观察方向，通常为相对于顶端的平面的垂线。将被检体的观察表面相对于该观察轴以何种程度倾斜表示为观察轴倾斜角。

即，在被检体相对于拍摄元件的受光面具有观察轴倾斜角的情况下，与第2照明光的反射光量相比，第1照明光的反射光量其反射角变小。通过该反射角的变小，相对于观察轴34，第1照明光30I的反射光30R使配光分布的光量变高的部分靠近而向拍摄元件4的受光面入射。相反，通过反射角的变大，第2照明光31I的反射光31R相对于观察轴34使配光分布的光量变高的部分远离而向拍摄元件4入射。由此，通过具有倾斜，被拍摄元件4受光的第1反射光30R的光量32变得比第2反射光31R的光量33大。即，P1与P2变得不同，P1/P2变成1以外。

在图6中，第1反射光量30R比第2反射光量31R大，从而被检体20的倾斜能够推定为：右侧(反射光量高的光源位置的相反侧)处于较高的位置。

即，如图7所示，在得到了第3组的P1/P2<1的情况下，成为倾斜部d5的倾斜状态。相反，在第1组的P1/P2>1的P1/P2比1大的情况下，如倾斜部d4那样，成为与倾斜部d5反方向的倾斜状态。关于这些，根据相连的平面部彼此、例如平面部d1和平面部d3相对于平面部d2的高低差而倾斜角度变化，该倾斜角度也能够根据P1与P2的光量差来推定。

在本实施方式中，作为被检体的平面部的同一点20a，运算部25提取光量比信息P1/P2≈1即P1与P2相互大致相等的像素(同一光量的像素)作为第2组。进而，根据从第2组的像素得到的第1被检体远近信息来推定被检体的平面部。此外，如图7所示，通过在与等光量比像素1/1不同的例如1/2的部位也取得远距离信息，还能够对1/1的部位还加上1/2的部位从而取得更详细的远距离信息。

接着，运算部25以除了第2组的像素以外的像素为对象，对于被检体的全部或其一部分的表面，设定多个同一点20a。使用拍摄到的这些同一点20a处的同一点像素的光量，计算各个相对距离关系即第2被检体远近信息。由于从该第2被检体远近信息推定的面不包含第2组的像素、即不包含被检体20的平面部，所以可知是向某个方向倾斜的倾斜部。

因此，能够将第2组的平面部与平面部之间用根据第2被检体远近信息求出的倾斜部平滑地连接，如图7所示那样推定被检体的凹凸状态。进而，表面形状推定部26将记录在记录部23中的图像读出，使计算出的被检体远近信息反映到图像整体或其一部分中，进行将远近(凹凸形状)强调而立体化的图像的3维图像化，向显示部6输出。

图8A是表示由搭载有观察系统的内窥镜拍摄到的被检体的远近强调前的2维图像的观察画面的示意图，图8B是表示由搭载有本实施方式的具有3维图像生成部5的观察系统1的内窥镜拍摄到的被检体的远近强调后的3维图像的观察画面的示意图。

在图8A、图8B中，例如，通过对如肠等的褶那样以筋状隆起的部位41进行基于从被检体远近信息推定出的立体形状的远近(凹凸)强调，能够使观察部位或处理对象部位立体地显示。如图8B所示，被强调了凹凸的部位42a及在图8A中无法确认的凹凸强调前的部位42b变得容易看到。通过这样的3维化的图像显示，能够对手术者或观察者带来部位间的距离感及立体感，能够减轻进行处理对象部位的把持操作及处理操作时施加的负担，并且能够辅助观察时的诊断及判断。

进而，在本实施方式中，由于使用了RGB拜耳阵列的原色拍摄元件，所以对于RGB各色，第1、第2图像的受光量P1、P2能够检测P1－R、P1－G、P1－B、P2－R、P2－G、P2－B的信息作为被分光后的颜色信息。也可以使用将它们按照P1、P2相加而得到的信息作为光量信息。此外，也可以使用被检体的分光反射率高的色彩像素的信息(分光反射率信息)。在被检体是生物体的医疗用内窥镜的情况下，生物体的分光反射率中红色较高，所以P1－R、P2－R的值比其他颜色的光量信息大。因而，通过仅使用红色的光量信息，能够得到精度更高的被检体远近信息。

此外，对于成为测定对象的内部的血管、表层的组织等物质，取得预先实测的测定值或在文献等中公开的数值作为分光反射率信息，存储到记录部23中。将以实测取得的部位(或物质)的分光反射率信息与存储在记录部23中的分光反射率信息进行比较，例如能够推定是表面还是内部并修正远近信息。

接着，参照图9所示的流程图及图10所示的时序图，对远近(凹凸)强调的显示进行说明。

首先，通过发光控制部7进行控制以使第1光变换单元与第2光变换单元的照射的定时不同。首先，发光控制部7使第1照明光30I向被检体20的观察部位照射[图10(A)]，拍摄元件4接收来自被检体20的反射光30R，将第1拍摄信号向图像处理部22输出[图10(C)](步骤S1)。图像处理部22根据第1拍摄信号计算接收到的反射光的第1反射光量，在记录部23中与图像数据一起记录[图10(D)](步骤S2)。

接着，发光控制部7使第2照明光31I向被检体20的观察部位照射[图10(B)]，拍摄元件4接收来自被检体20的反射光31R，将第2拍摄信号向图像处理部22输出[图10(C)](步骤S3)。图像处理部22基于第2拍摄信号计算接收到的反射光的第2反射光量，在记录部23中与图像数据一起记录[图10(D)](步骤S4)。

接着，提取部24进行从记录部23读出的第1反射光量的图像的像素与第2反射光量的图像的像素的比较，提取观察部位内的同一点像素[图10(E)](步骤S5)。

运算部25针对提取出的同一点像素的光量信息之比即P1/P2≈1的观察部位(平面部)计算被检体远近信息[图10(F)]。此外，也可以继续计算上述的倾斜部。进而，表面形状推定部26根据计算出的被检体远近信息推定被检体的观察部位的表面形状[图10(G)]，对从记录部23读出的图像进行凹凸强调的图像处理(步骤S6)。显示部6显示被凹凸强调后的观察部位的图像(步骤S7)。

根据以上说明的本实施方式，从相对于1个拍摄元件等距离地离开的位置的多个光源，以不同的发光定时向被检体照射照明光，比较通过各个反射光量拍摄到的图像的像素信息，确定至少1个的多个被检体的同一部位，基于各部位处的各光源的反射光的比率(第1反射光量/第2反射光量)大致相等的反射光量比的绝对值的大小，取得被检体的远近信息。即使该部位的表面被粘液浸润而进行漫反射，来自不同的两个以上的光源的反射波谱相同的部位也能够识别为是同一平面。此外，计测光量比率(第1反射光量/第2反射光量)大致相同的部位或不同的部位的倾斜的关系，基于光量比率的大小确定倾斜的斜率，从而能够简单地推定被检体的远近(凹凸)状态。

进而，如图7所示，通过识别检测出的平面部和倾斜部的位置、考虑倾斜方向而将相邻的部位相连，能够推定各部位的远近(凹凸)信息，使被检体成为更详细的3维显示。

根据本实施方式，相对于以往需要进行各种色素剂的散布、观察其反应的“色素法”的情况，不需要色素剂的散布，能够简单且可靠地实现远近(凹凸)强调。由于不散布色素剂，所以能够继续原本的组织的通常观察，进而，由于不对已有的内窥镜的使用形态及构造强加较大的变更，在可靠性及成本方面也较好。

进而，能够减轻与色素剂的散布对应的对手术者带来的处理的负担，并且通过将观察对象立体化，容易对处理部位取得距离感，能够缩短处理时间，还能够减轻对患者的负担。

另外，在本实施方式中，作为同一点像素(同一点来源像素)，定义为拍摄元件的1个像素，但并不限定于1个像素。例如，能够将拍摄元件的多个拍摄像素(像素群)集中、使用由像素群检测出的光量信息求出被检体远近信息。例如，当将3×3的像素作为一个像素群时，将构成这些像素群的单独像素检测出的光量信息之和定义为像素群检测出的光量信息。由此，这以后的方法能够通过与上述实施方式同样地处理来计算被检体远近信息、进行被检体的表面形状的推定。

此外，在像素群具有可检测的分光区域不同的像素的情况下，通过仅将具有相同分光区域的单独像素之和作为像素群检测出的光量信息，能够对同样的被检体远近信息及被检体的表面形状进行计算、推定。

此外，关于第1照射窗与第2照射窗与拍摄元件的端面位置关系，说明了以拍摄元件为中心、对称地以等间隔配置了第1照射窗和第2照射窗的实施方式，但在将拍摄元件从连结第1照射窗与第2照射窗的轴错开的情况下，也可以将从第1照射窗和第2照射窗照射的光量比、第1照射窗与第2照射窗与拍摄元件的距离关系进行修正来取得图像。

进而，作为第1变形例，也可以是，运算部25在计算作为被检体20的凹凸形状的被检体远近信息的情况下，当由拍摄元件4检测第1反射光量和第2反射光量时，将被检体20的表面形状相对于拍摄元件4的平坦受光面的斜率作为将相邻的像素输出的光量的值依次相连的斜率信息，基于该斜率信息，图像处理为远近(凹凸)强调图像，制作并显示3维图像。

作为第2变形例，也可以是，根据各像素的RGB比率那样的颜色信息，确定相同颜色信息的被检体20的种类，使部位的信息的精度提高。进而，不限于RGB光源的结构，例如能够使用没有设置滤色器的拍摄元件4和将R光、G光、B光从两个照射窗交替地照射的面顺序方式，使用拍摄元件4得到的六个图像(第1R光图像、第2R光图像、第1G光图像、第2G光图像、第1B光图像、第2B光图像)的组合，根据这些颜色信息确定被检体20的种类，使部位的信息的精度提高。

对第3变形例进行说明。在上述的第1实施方式中，作为观察部位而使用了光量比P1/P2≈1的同一光量的像素，但能够使用P1/P2≈α(α是规定的正数)不同光量的像素。在上述的第1实施方式中，将相对于观察轴正交的面作为观察部位，但在本变形例中，提取相对于观察轴具有任意的倾斜角的面作为观察部位。通过该光量比的设定，在被检体20的观察面相对于观察轴倾斜、几乎得不到P1/P2≈1的同一点像素的情况下，也能够得到足够的像素数的同一点像素。该α的值优选基于被检体的表面相对于观察轴的倾斜角来设定。

[第2实施方式]

第2实施方式的观察系统与上述第1实施方式的结构是等同的，对于相同的构成部位赋予相同的标号而省略其说明。

图11是表示在第2实施方式的观察系统1与被检体20以距离L/2接近的状态下从照明光取得被检体远近信息的概念性配置例的图。图12是表示在观察系统1与被检体20以距离L远离的状态下从照明光取得被检体远近信息的概念性配置例的图。

在上述的第1实施方式中，对于P1/P2≈1的同一光量的像素(同一点来源像素)，按照其受光量的大小关系计算出被检体远近信息。

在光源单元3和被检体20处于近距离的情况下，与该距离成比例，反射光量P1也变大。例如，在图11中，表示拍摄元件4与被检体20的距离为L/2的例子。相反，在光源单元3和被检体20处于远距离的情况下，与该距离成比例，反射光量P2也变小。在图12中，例如表示拍摄元件4与被检体20的距离为L的例子。

此时，如果假定拍摄元件4和被检体20散射照明光时的散射模式为各项同性散射，则同一光量像素受光的受光量反比于拍摄元件4与被检体20上的同一点20a之间的距离的平方而变小。如图13所示，距离能够作为与同一光量像素受光的受光量的平方根的倒数成比例的值来计算。例如，当距离L成为2倍，则能够测定的光量为1/4倍。当将光量作为平面面积理解，则能够由有限大小的拍摄元件4受光的光量相对于距离为反比例的关系。此外，在被检体20不是各项同性散射的情况下，也能够通过上述的方法知道大致的相对距离信息。

如以上这样，根据本实施方式，除了上述的第1实施方式的作用效果以外，还能够得到精度更高的表面形状及凹凸强调图像。

[第3实施方式]

参照图14、图15对第3实施方式的观察系统进行说明。在上述的第1、第2实施方式中，表示了两个照射窗以受光窗为中心而在直径方向上离开大致相同距离地对称配置的结构例，但这些窗的配置并不限定于此。第3实施方式的观察系统是光源单元具有3个以上的照射窗的观察系统。本实施方式的光源单元以外的构成部位与第1实施方式的结构是等同的，对于相同的构成部位赋予相同的标号而省略其说明。

图14所示的本实施方式的光源单元3是在插入部2的顶端面2a上以1个受光窗11为中心、等距离地配置有3个照射窗13、14、51的结构例。选择这3个照射窗13、14、51中的适当的两个照射窗，进行与上述的第1实施方式等同的3维图像化的处理。

此外，如图15(a)、图15(b)、图15(c)所示，关于从3个以上的照射窗照射的多个照明光，还能够使用各自的光量信息，利用上述方法得到图15(d)的被检体远近信息。

例如，在配置有3个照射窗13、14、51的情况下，通过以成为P1＝P2＝P3的方式将像素定义为同一光量像素，作为观察部位，能够提取与相对于由3个照射窗13、14、51与拍摄元件4的位置关系规定的观察轴大致垂直的平面平行的像素。

此外，关于相对于观察轴倾斜的情况，也能够始终将(P1：P2：P3≈1：β：γ)那样的像素作为观察部位来提取。

这样，与仅使用两个照射窗的情况相比，能够得到更高精度的被检体远近信息。此外，由于对拍摄元件的光源配置具有2维的扩展，所以在仅具有两个照射窗的结构中，虽然能够高精度地检测光源的排列方向的相对距离信息，但对于与其正交的方向，精度稍稍下降，相对于此，在具有3个以上的照射窗的结构中，能够对所有的方向以高精度检测相对距离信息。

如以上这样，根据本实施方式，通过在这3个照射窗13、14、51中选择适当的两个照射窗，能够得到与上述的第1实施方式同样的效果。进而，通过再加上第3个照射窗51，在从不同的方向(y)照射的照明光下拍摄的图像增加，能够取得更多的被检体远近信息，能够推定详细的3维图像。

接着，对第3实施方式的变形例进行说明。

该变形例是观察系统配置4个以上的照射窗的结构。

关于结构例，除了照明窗配置有多个的、分别照射照明光的结构以外，能够用图1及图14所示的结构实现。

例如，经由在内侧配置有拍摄元件4的1个受光窗11，对被检体20的图像进行拍摄。以受光窗11为大致中心，在附近配置多个照射窗。发光控制部7将光源装置产生的同一光学特性的照明光从多个照射窗有选择地依次向被检体20照射。拍摄元件4在有选择地依次照射的照明光下，将按每个照明光拍摄的多个图像取入，作为拍摄信号向图像处理部22输出。图像处理部22生成包含在各图像中的光学信息，将光学信息与该图像建立关联而向记录部23记录。

同一来源像素提取部24按照控制部21的控制，从记录部23读出多个图像，依次将被检体20上的相同的特征点(XA等)设定为同一点。具体而言，在1个图像上，设定至少两个暂时的特征点，对于其他的全部图像，确认是否存在暂时的特征点。在全部的图像中存在暂时的特征点的情况下，将这些暂时的特征点设定为同一点。此外，在暂时的特征点没有存在于全部的图像中的情况下，再次设定暂时的特征线，进行存在的确认。将存在于全部的图像中的特征点设定为同一点。

接着，将1个图像作为基准图像，至少将两个同一点作为基准同一点。各个图像通过使图像整体移动以使两个同一点成为基准同一点的位置，进行图像的重合处理。提取拍摄了这些同一点的像素作为同一点来源像素，与该像素输出的光量的值一起向运算部25输出。

运算部25计算将在同一点拍摄像素输出的光学信息中包含的光量的值作为距拍摄元件4的相对距离的被检体远近信息，向表面形状推定部26输出。另外，拍摄的图像内的同一点像素的光量的值也可以从记录部23向运算部25输出。

表面形状推定部26基于被检体远近信息，将分别拍摄了在图像中共通的多个同一点的多个同一点来源像素所输出的光学信息在成对的图像彼此间进行比较。将其比较结果大约为1的同一点判定为平面部，或将比较结果大约超过1的同一点判定为第1倾斜部，或将比较结果大约不到1的同一点判定为第2倾斜部。根据这些判定，将之前求出的相对距离与平面部及第1、第2倾斜部建立关联，推定被检体的表面形状。显示部6显示基于由表面形状推定部推定出的表面形状的立体图像。

另外，说明对在多个照明下拍摄到的多个图像设定同一点的其他处理方法。上述的同一点的设定中，由于对全部图像进行处理，所以也可以想到虽取决于照明窗的数量、但需要处理时间的情况。所以，对于同一点设定，说明另外的变形例。

首先，如上述那样，取得在从多个照明窗连续依次照射的照明光下拍摄到的被检体的图像，将图像向记录部23记录。

接着，在这些图像中，将在夹着受光窗而配置于两侧的任意两个照明窗的照明下拍摄到的两个图像(图像A、B)设为第1对图像。选择在与连结这两个照明窗的位置的直线的方向交叉的任意方向的直线上配置的第2对照明窗，将在它们的照明下拍摄到的两个图像(图像C、D)设为第2对图像。

将在这些对的各自的图像内拍摄的被检体20上的相同的特征点(XA等)设为同一点，设定多个同一点，提取拍摄了这些同一点的像素作为同一点来源像素，与该像素输出的光量的值一起向运算部25输出。

以后的由运算部25进行的被检体远近信息的计算以及由表面形状推定部26进行的被检体表面形状的推定，与上述的变形例是等同的。

因而，如果是观察系统配置3个以上的照射窗的结构，则通过与第1、第2实施方式组合，能够在维持其效果不变的状态下，得到更高精度的被检体远近信息、以及根据其求出的上述的各种各样的信息。另外，以上说明的实施方式及变形例不过是一例，在不脱离发明的主旨的范围内能够进行各种各样的变形。

以上说明的实施方式包含以下的发明的主旨。

(1)一种观察系统，具备：

拍摄元件，拍摄从受光窗取入的被检体的图像；

光源装置，具备第1照射窗、第2照射窗和发光控制部，上述第1照射窗配置在上述受光窗的附近，向上述被检体照射第1照明光，上述第2照射窗配置在相对于上述受光窗与上述第1照射窗的位置对称的位置，向上述被检体照射与上述第1照明光相同的光学特性的第2照明光，上述发光控制部使上述第1照明光及上述第2照明光以相互不同的定时发光；

图像处理部，通过上述拍摄元件，取入在上述第1照明光下拍摄到的上述被检体的第1图像和在上述第2照明光下拍摄到的上述被检体的第2图像，生成包含在上述第1图像中的第1光学信息和包含在上述第2图像中的第2光学信息；

记录部，与上述图像处理部输出的图像建立关联地记录上述第1光学信息和上述第2光学信息；

同一点来源像素提取部，将上述第1图像与上述第2图像进行比较，找到多个拍摄的被检体上的相同的特征点作为同一点，将上述第1图像上的同一点作为第1图像同一点来源像素、将上述第2图像上的上述同一点作为第2图像同一点来源像素而建立对应地提取；

运算部，对于从由上述同一点来源像素提取部提取出的上述被检体上的多个同一点中设定的第1同一点和第2同一点，将上述第1同一点处的第1图像第1同一点来源像素具有的第1光学信息与第2图像第1同一点来源像素具有的第2光学信息、上述第2同一点处的第1图像第2同一点来源像素具有的第1光学信息与第2图像第2同一点来源像素具有的第2光学信息分别进行比较，计算被检体上的第1同一点与第2同一点的、作为相对于上述拍摄元件的相对距离关系的被检体远近信息；

表面形状推定部，基于上述被检体远近信息，推定上述被检体的表面形状；以及

显示部，显示基于由上述表面形状推定部推定出的表面形状的立体图像。

Claims (18)

1.一种观察系统，具有：

光源装置，具有照射第1照明光的第1照射窗和照射第2照明光的第2照射窗；以及

拍摄元件，拍摄被上述第1及第2照明光照射的被检体的图像；

该观察系统的特征在于，

上述光源装置具有使第1照明光和第2照明光以相互不同的定时进行发光的发光控制部；

上述第1及第2照明光具有相互大致相等的光学特性；

上述拍摄元件能够取得第1图像和第2图像，该第1图像是仅由上述第1照明光得到的上述被检体的图像，该第2图像是仅由上述第2照明光得到的上述被检体的图像；

上述第1图像包含第1光学信息，第2图像包含第2光学信息；

上述观察系统具有：

光学信息记录部，记录上述第1光学信息和上述第2光学信息；以及

同一点来源像素提取部，将上述第1图像与上述第2图像进行比较，将来源于被检体上的同一点的、作为第1图像上的同一点来源像素的第1图像同一点来源像素、与作为第2图像上的同一点来源像素的第2图像同一点来源像素建立对应，提取第1同一点和第2同一点作为被检体上的多个同一点；

上述观察系统还具有：

运算部，将上述第1同一点处的第1图像第1同一点来源像素具有的第1光学信息和第2图像第1同一点来源像素具有的第2光学信息进行比较，将上述第2同一点处的第1图像第2同一点来源像素具有的第1光学信息和第2图像第2同一点来源像素具有的第2光学信息进行比较，计算被检体上的第1同一点与第2同一点的、相对于上述拍摄元件的相对距离关系即被检体远近信息；

表面形状推定部，根据上述被检体远近信息，推定被检体的表面形状；以及

显示部，显示反映出由上述表面形状推定部推定出的表面形状的立体图像。

2.如权利要求1所述的观察系统，其特征在于，

上述同一点来源像素提取部，对于上述第1图像及上述第2图像，提取3处以上的同一点来源像素；

上述运算部，针对上述3处以上的同一点来源像素，对于全部的同一点，计算作为相对距离关系的被检体远近信息；

进而，上述表面形状推定部，基于上述3处以上的相对的被检体远近信息，推定上述被检体的表面形状。

3.如权利要求2所述的观察系统，其特征在于，

上述第1光学信息是上述同一点来源像素检测出的、基于上述第1照明光的被检体的第1光量信息；

上述第2光学信息是上述同一点来源像素检测出的、基于上述第2照明光的被检体的第2光量信息；

上述运算部，

在设J为1以上的整数时，

运算上述第1图像第J同一点来源像素的第1光量信息与上述第2图像第J同一点来源像素的第2光量信息之比即光量比信息，

基于上述光量比信息，计算上述被检体远近信息。

4.如权利要求3所述的观察系统，其特征在于，

将上述第1图像的第J同一点来源像素的第1光量信息与上述第2图像的第J同一点来源像素的第2光量信息之比相互大致相等的像素设为等光量比像素时，在上述第1及第2图像具有多个等光量比像素的情况下，

上述运算部基于上述多个等光量比像素的光量信息的大小，计算作为相对于上述拍摄元件的相对距离信息的被检体远近信息；

上述表面形状推定部基于上述被检体远近信息，推定上述被检体的表面形状。

5.如权利要求4所述的观察系统，其特征在于，

在将上述等光量比像素中的、上述第J同一点处的第1光量信息和第2光量信息相互相等的像素设为同一光量像素时，

上述运算部基于上述同一光量像素的光量的绝对值的大小，计算上述被检体与上述拍摄元件的距离信息，作为被检体远近信息。

6.如权利要求5所述的观察系统，其特征在于，

上述运算部将上述距离信息计算为，与上述等光量比像素或上述同一光量像素的某个所接收到的光量的绝对值的平方根的倒数成比例的值。

7.如权利要求3所述的观察系统，其特征在于，

上述运算部基于上述光量比信息，计算被检体上的同一点的、相对于由上述拍摄元件和上述第1照射窗和上述第2照射窗定义的观察轴的观察轴倾斜角。

8.如权利要求7所述的观察系统，其特征在于，

上述运算部，对于上述光量比信息不同且连续的多个像素，分别计算上述观察轴倾斜角，将具有不同的观察轴倾斜角的像素基于图像上的连续的位置关系而平滑地连接，计算被检体的表面形状。

9.如权利要求3所述的观察系统，其特征在于，

上述光学信息记录部具有作为光源的照射方向与光强度的关系的配光信息，上述运算部基于上述配光信息将上述被检体远近信息进行修正。

10.如权利要求3所述的观察系统，其特征在于，

上述光学信息记录部具有上述被检体的分光反射率信息；

上述运算部基于上述分光反射率信息将被检体远近信息进行修正。

11.如权利要求1所述的观察系统，其特征在于，

上述拍摄元件是能够将上述第1及第2照明光基于波长进行分光检测的分光检测拍摄元件；

上述运算部基于上述拍摄元件接收到的上述第1及第2光学信息中的、规定的波段的光量信息即规定波段光量信息，计算被检体远近信息。

12.如权利要求11所述的观察系统，其特征在于，

上述规定的波段是上述被检体的分光反射率高的区域。

13.如权利要求3所述的观察系统，其特征在于，

上述第1图像第J同一点来源像素是由多个像素构成的像素群，上述第1图像第J同一点来源像素和上述第2图像第J同一点来源像素是相同的像素数、像素配置，上述第1及第2光学信息由上述运算部基于上述像素群的像素结构来计算。

14.如权利要求13所述的观察系统，其特征在于，

上述第1及第2光学信息是构成上述像素群的各个像素的光学信息之和。

15.如权利要求13所述的观察系统，其特征在于，

上述拍摄元件是能够基于上述第1及第2照明光的波长进行分光检测的分光检测拍摄元件，上述像素群包括可检测的分光区域不同的像素；

上述第1及第2光学信息作为上述分光区域相等的各个像素之和来求取。

16.如权利要求1～15中任一项所述的观察系统，其特征在于，

上述光源装置具备3个以上的照射窗，选择上述照射窗的两个而照射照明光，根据拍摄到的图像计算被检体远近信息。

17.一种观察系统，具有：

光源装置，具有照射第1照明光的第1照射窗、照射第2照明光的第2照射窗、和照射第3照明光的第3照射窗；以及

拍摄元件，拍摄被上述第1、第2及第3照明光照射的被检体的图像；

该观察系统的特征在于，

上述光源装置具有使第1照明光、第2照明光和第3照明光以相互不同的定时进行发光的发光控制部；

上述第1照明光、第2照明光、第3照明光具有相互大致相等的光学特性；

上述拍摄元件能够取得第1图像、第2图像和第3图像，该第1图像是仅由上述第1照明光得到的上述被检体的图像，该第2图像是仅由上述第2照明光得到的上述被检体的图像，该第3图像是仅由上述第3照明光得到的上述被检体的图像；

上述第1图像包含第1光学信息，第2图像包含第2光学信息，第3图像包含第3光学信息；

上述观察系统具有：

光学信息记录部，记录上述第1光学信息、上述第2光学信息及上述第3光学信息；以及

同一点来源像素提取部，将上述第1图像、上述第2图像和上述第3图像进行比较，将来源于被检体上的同一点的、作为上述第1图像上的同一点来源像素的第1图像同一点来源像素、作为上述第2图像上的同一点来源像素的第2图像同一点来源像素、和作为上述第3图像上的同一点来源像素的第3图像同一点来源像素建立对应而提取；

上述同一点来源像素提取部，提取第1同一点和第2同一点作为被检体上的多个同一点；

该观察系统具有：

运算部，将上述第1同一点处的第1图像第1同一点来源像素具有的第1光学信息和第2图像第1同一点来源像素具有的第2光学信息和第3图像第1同一点来源像素具有的第3光学信息进行比较，将上述第2同一点处的第1图像第2同一点来源像素具有的第1光学信息和第2图像第2同一点来源像素具有的第2光学信息和第3图像第1同一点来源像素具有的第3光学信息进行比较，计算被检体上的第1同一点与第2同一点的、相对于上述拍摄元件的相对距离关系即被检体远近信息；

表面形状推定部，根据上述被检体远近信息，推定被检体的表面形状；以及

显示部，显示基于由上述表面形状推定部推定出的表面形状的立体图像。

18.一种观察系统，其特征在于，具备：

拍摄元件，拍摄从1个受光窗取入的被检体的图像；

光源装置，具备发光控制部和多个照射窗，上述多个照射窗配置在上述受光窗的附近，向上述被检体分别照射同一光学特性的照明光，上述发光控制部使上述照明光从上述多个照射窗有选择地依次照射；

图像处理部，在有选择地依次照射的照明光下，通过上述拍摄元件，取入按每个照明光而拍摄到的多个图像，生成包含上述图像的光量的光学信息；

记录部，与上述图像处理部输出的图像建立关联地记录上述光学信息；

同一点来源像素提取部，将在读出的上述多个图像内拍摄的上述被检体上的共通的特征点作为同一点，在各图像内设定多个同一点，提取这些同一点作为同一点来源像素；

运算部，根据上述同一点来源像素的基于上述光学信息的光量的值，计算作为相对于上述拍摄元件的相对距离的被检体远近信息；

表面形状推定部，将分别拍摄了上述多个同一点的多个同一点来源像素的光学信息进行比较，将比较结果大约为1的同一点判定为平面部，将该比较结果超过大约1的同一点判定为第1倾斜部，并将该比较结果不到大约1的同一点判定为第2倾斜部，将上述相对距离与上述平面部及上述第1、第2倾斜部建立关联而相连，推定上述被检体的表面形状；以及

显示部，显示基于由上述表面形状推定部推定出的表面形状的立体图像。