CN104185441A - 立体视觉内窥镜系统 - Google Patents

Abstract

以不仅对主要部位而且同时对周围的大范围进行观察为目的。提供一种立体视觉内窥镜系统(1)，其具有：内窥镜(2)，其在能够插入被检体的细长的插入部(21)的前端具有多个摄像部(22)，该摄像部(22)对被检体进行摄影而取得图像；图像处理装置(3)，其对该内窥镜(2)的摄像部(22)所取得的图像进行图像处理而生成显示图像；以及图像显示装置(4)，其显示对该图像处理装置(3)进行图像处理后的显示图像，图像处理装置(3)生成显示图像，该显示图像在中央部配置根据由多个摄像部(22)取得的多个图像而生成的三维图像，在该三维图像的外周部配置二维图像。

Description

立体视觉内窥镜系统

技术领域

本发明涉及在外科手术等中使用的立体视觉内窥镜系统。

背景技术

近年来，在外科手术中多使用内窥镜。并且，在这样的内窥镜中，为了进行细微的手术部位的放大观察而使用立体视觉内窥镜系统。在由细微的组织组成的器官的手术中，在非常狭窄的范围内，以血管和神经这样的非常重要且纤细的组织为对象，不仅对它们进行观察，实际上有时还进行连接血管和神经、避开血管和神经而去除肿瘤的处理。因此，在立体视觉内窥镜系统中，不仅对观察对象进行放大观察，为了进行处理而立体地捕捉观察对象物也是重要的功能。

一般情况下，在人用眼睛立体地捕捉物体的情况下，将各种各样的信息作为线索。这些信息可以举出两眼视差、远近感(远处的物体小，近处的物体大)、深度方向的模糊、物体的重叠、过去的经验、知识、记忆等。这里，试假定一种情况：将未知的样本(没见过的物体)放置在同样的台上，从四面八方照明使其不产生阴影而进行观察。在这种情况下，在用于立体地捕捉上述所示的物体的信息中，作为了解物体的进深的线索，两眼视差有效，而物体的重叠、知识、过去的经验等不起作用。医疗用立体摄像装置根据该两眼视差进行立体视觉从而得到观察对象的进深信息。

而且，优选在进行手术时，不仅观察对象部位，其周边部也进入视野。这是因为：例如，在进行特定处理的情况下，当其周围部分出现一些影响时，能够对其进行观察确认。因此，优选得到的观察图像的视场角(视角)大。

但是，在对相互具有视差的左眼用图像和右眼用图像进行了重叠的情况下，如果视角大，则在得到的图像的外周部中，图像的变形(失真)变大，很难把握信息。

对此，在专利文献1中，能够在进行立体显示的三维模式和能够进行大范围观察的广角二维模式之间切换显示。

在专利文献2中公开有如下结构：能够在使用左眼用图像和右眼用图像进行立体显示的模式和显示与立体显示相比能够在更大范围内观察的图像的模式之间进行切换。

现有技术文献

专业文献

专利文献1：日本特开平9-5643号公报

专利文献2：日本特开2004-320722号公报

发明内容

发明要解决的课题

但是，在专利文献1、2所记载的方法中，不能同时对立体显示图像和显示大范围的图像进行观察，必须交替地切换这两种模式。因此，在观察重要部位的立体显示图像的同时想观察周围的大范围时，必须切换图像，在使用便利性上具有改进的空间。

本发明是鉴于上述问题而完成的，其目的在于，提供一种立体视觉内窥镜系统，其不仅重要部位，还能够可靠地同时对周围的大范围进行观察。

用于解决问题的手段

为了解决上述课题，本发明的立体视觉内窥镜系统采用以下手段。

即，本发明的一个方式提供一种立体视觉内窥镜系统，该立体视觉内窥镜系统具有：内窥镜，其在能够插入被检体的细长的插入部的前端具有多个摄影部，该摄影部对被检体进行摄影而取得图像；图像处理装置，其对该内窥镜的所述摄影部所取得的图像进行图像处理而生成显示图像；以及图像显示装置，其显示对该图像处理装置进行图像处理后的显示图像，所述图像处理装置生成显示图像，该显示图像在中央部配置根据由多个所述摄影部取得的多个图像而生成的三维图像，在该三维图像的外周部配置二维图像。

由此，能够根据在显示于图像显示装置的显示图像的中央部配置的三维图像，对处理对象部位进行立体观察，同时，能够根据配置在三维图像的外周部的二维图像进行没有变形的观察。

在上述方式中，所述图像处理装置可以根据由第1摄像部摄得的第1图像和由第2摄像部摄得的与第1图像具有视差的第2图像生成三维图像，并根据第1图像得到三维图像的外周部的二维图像。

即，在显示图像的整个区域内显示第1图像，在应该显示三维图像的部分将第2图像叠加在第1图像上进行显示。由此，能够生成在中央部配置三维图像、在其外周部配置二维图像的显示图像。

并且，在上述方式中，第1摄像部可以具有比第2摄像部大的视角。

由此，能够将视角大的第1摄像部的第1图像用于三维图像和其外周部的二维图像中，将视角小的第2摄像部的第2图像用于三维图像。

并且，不仅是视角，也可以是第1摄像部的透镜直径比第2摄像部的透镜直径大。

并且，在上述方式中，内窥镜可以将视角比第2摄像部大的第1摄像部配置在使用者的惯用眼侧来进行摄影。

由此，使用者能够没有违和感地对三维图像和其外周部的二维图像进行观察确认。

并且，在上述方式中，视角大的第1摄像部和视角小的第2摄像部可以具有相同的像素数。

这样，在使用第1摄像部的第1图像和第2摄像部的第2图像而生成三维图像的区域内，能够使第2摄像部的第2图像的像素数变多。因此，能够提高三维图像的画质。

在上述方式中，图像处理装置可以根据由第1摄像部摄得的第1图像和由第2摄像部摄得的与第1图像具有视差的第2图像生成三维图像，根据第1图像和第2图像生成在第1摄像部和第2摄像部的中间具有光轴的第3图像，并将该第3图像作为二维图像。

并且，在上述方式中，所述第1摄像部可以具有比所述第2摄像部大的视角，且所述第1摄像部和所述第2摄像部可以具有相同的像素数。

并且，在上述方式中，图像处理装置可以将三维图像和二维图像的边界部的亮度设定为比三维图像和二维图像低。由此，边界部变得不明显。

并且，在上述方式中，图像处理装置可以生成表示三维图像和二维图像的边界的边界显示部，从而明确指示出三维图像和二维图像的边界部。

并且，在上述方式中，图像处理装置可以根据由第1摄像部摄得的第1图像和由第2图像部摄得的与第1图像具有视差的第2图像生成三维图像，并且，在三维图像和二维图像的边界部，形成三维图像的第1图像和第2图像的视差从三维图像向二维图像逐渐减小。由此，能够使三维图像和二维图像的边界部变得不明显。

发明效果

根据本发明，实现如下的效果：能够高视觉辩认地不仅对主要部位也可以同时对周围的大范围进行观察。

附图说明

图1是示出本发明第一实施方式所涉及的立体视觉内窥镜系统的概略结构图。

图2是示出第1实施方式中的摄像部的结构的图，(a)是示出2个摄影用透镜所取得的图像的图、(b)是示出基于2个摄影透镜的假想透镜所取得的图像的图。

图3是示出在第1实施方式中显示于图像显示部的图像的例子的图。

图4是示出第2实施方式中的摄像部的结构的图，(a)是示出惯用眼为右眼的情况的图、(b)是示出惯用眼为左眼的情况的图。

图5是示出在第2、第3实施方式中显示于图像显示部的图像的例子的图。

图6是示出第3实施方式中的摄像部的结构的图。

图7是示出显示于图像显示部的图像的另一例的图。

图8是示出显示于图像显示部的图像的再一例的图。

具体实施方式

以下，参照附图对本发明所涉及的立体视觉内窥镜系统1的多个实施方式进行说明。

【第1实施方式】

首先，使用图1对本发明的多个实施方式中共同的立体视觉内窥镜系统1的整体结构进行说明。

如图1所示，立体视觉内窥镜1具有：内窥镜2，其插入手术对象者的体腔(被检体)内，对体腔内进行摄像；图像处理装置3，其对由内窥镜2所摄得的图像进行处理；以及图像显示装置4，其显示由图像处理装置3处理后的图像。

内窥镜2在管状的套管(插入部)21的前端部具备用于进行摄像的摄像部22，并且，在套管21内收纳有将摄像部22摄得的图像转换成电信号的电路部(未图示)。由电路部转换得到的电信号经由从内窥镜2的后端部引出的连接缆线5向图像处理装置3输出。

摄像部22具备物镜光学系统，该物镜光学系统具有多组(在本实施方式中为2组)摄影用透镜24、25。如图2(a)所示，这些摄影用透镜24、25各自的光轴S1、S2相互平行，并且，摄影用透镜24、25配置为在与内窥镜2的套管21的轴线正交的方向上隔开规定的间隔，且具有视差。电路部针对摄影用透镜24、25的各个具有CCD(charge coupled device：电荷耦合器件)等摄像元件，将摄影用透镜24、25各自摄得的图像作为电信号分别向图像处理装置3输出。

图像处理装置3通过执行基于预先安装的电脑程序的处理，对摄影用透镜24、25各自摄得的图像进行处理，从而生成应该显示于图像显示装置4的显示图像的电信号。图像处理装置3和图像显示装置4经由连接缆线6连接，图像处理装置3生成的电信号向图像显示装置4输出。

图像显示装置4具有图像显示部41，在图像显示部41上显示基于从图像处理装置3输入的电信号的显示图像。

接着，对本实施方式所涉及的立体视觉内窥镜系统1的详细的结构进行说明。

在本实施方式中，构成内窥镜2的摄像部22的摄影用透镜24、25各自的视角θ1、θ2相同。

如图2、图3所示，在图像处理装置3中，根据通过摄影用透镜24得到的图像M1和通过摄影用透镜25得到的图像M2生成具有视差的立体图像(三维图像)X1的数据。该立体图像X1形成于通过摄影用透镜24得到的图像M1和通过摄影用透镜25得到的图像M2重叠的区域。

并且，在图像处理装置3中，进行合成图像M1、图像M2的处理，如图2(b)所示，生成通过假想透镜进行摄影的情况下的平面图像(二维图像)X2的数据，其中，假想透镜在摄影用透镜24的光轴S1和摄影用透镜25的光轴S2的中间具有假想光轴S3。

而且，在图像处理装置3中，根据生成的立体图像X1和平面图像X2，生成输出到图像显示装置4的显示图像X3的数据。

如图3所示，显示图像X3在中央部的圆形区域内配置立体图像X1，在其外周部的环状区域内配置平面图像X2。这里，例如，立体图像X1配置在以光轴S3为中心的视角60°以内的范围，平面图像X2配置在视角100°以内的范围。

并且，关于立体图像X1，优选变形的绝对值在5％以内。因此，在摄影用透镜24、25的立体图像生成区域的变形超过5％的情况下，优选在图像处理装置3中对立体图像X1的变形进行图像处理使其变形在绝对值5％以内。

基于这样的显示图像X3的数据，在图像显示装置4的图像显示部41中对显示图像X3进行显示。

根据上述结构，显示于图像显示装置4的显示图像X3在其中央部配置立体图像X1，在其外周部配置平面图像X3。由此，观察者对在显示图像X3的中央部显示的立体图像X1进行观察并进行手术处理，并且，根据需要，能够对其周围的平面图像X2进行观察。这样，能够不切换显示的图像而进行观察，提高了使用便利性。

此时，由于立体图像X1的周围是平面图像X2，因此能够通过没有失真的良好的图像进行观察。

接着，对本发明所涉及的其它的多个实施方式进行说明。这里，在以下所示的各实施方式中，关于立体视觉内窥镜系统1的整体结构如上述第1实施方式中所示，以下，以与上述第1实施方式不同的结构为中心进行说明。

【第2实施方式】

如图4所示，在本实施方式中，根据观察者的惯用眼，将构成内窥镜2的摄像部22的摄影用透镜24、25的视角θ4、θ5或者摄影用透镜24、25的直径设定为任何一方较大。

例如，如图4(a)所示，在观察者的惯用眼为右眼的情况下，设定为摄影用透镜24、25中的面向摄影对象位于右侧的透镜、例如摄影用透镜(第1摄像部)25的视角θ5比另一方的摄影用透镜(第2摄像部)24的视角θ4大(例如，视角θ4＝60°，θ5＝120°)。如图4(b)所示，在观察者的惯用眼为左眼的情况下，设定为例如摄影用透镜(第1摄像部)24的视角θ4比另一方的摄影用透镜(第2摄像部)25的视角θ5大。

如图4、图5所示，在图像处理装置3中，根据摄影用透镜24摄得的图像M4和摄影用透镜25摄得的图像M5生成具有视差的立体图像(三维图像)X4的数据。该立体图像X4形成于摄影用透镜24摄得的图像M4和摄影用透镜25摄得的图像M5重叠的区域(摄影用透镜24、25中的视角θ4、θ5较小的图像M4、M5的区域)。

并且，在图像处理装置3中，将摄影用透镜24、25中的视角θ4、θ5较大的图像M4或图像M5作为平面图像(二维图像)X5而生成数据。

即，在本实施方式中，在图像处理装置3中，将具有大的视角θ5的图像(第1图像)M5应用于立体图像X4以及平面图像X5，在其中央部重叠具有小的视角θ4的图像(第2图像)M4并进行图像处理。

而且，在图像处理装置3中，根据生成的立体图像X4和平面图像X5，生成输出到图像显示装置4的显示图像X6的数据。

显示图像X6在其中央部的圆形区域配置立体图像X4，在其外周部的环状区域配置平面图像X5。

基于这样的显示图像X6的数据，在图像显示装置4的图像显示部41中对显示图像X6进行显示。

根据上述结构，显示于图像显示装置4的显示图像X6在其中央部配置立体图像X4，在其外周部配置平面图像X5。由此，观察者对显示于显示图像X6的中央部的立体图像X4进行观察并进行手术处理，并且，根据需要，能够对其周围的平面图像X5进行观察。这样，能够不切换显示的图像而进行观察，使用便利性得到提高。

此时，由于立体图像X1的周围是平面图像X5，因此能够通过没有失真的良好的图像而进行观察。

另外，根据本实施方式的结构，立体图像X4是对通过摄影用透镜24、25取得的图像M4、M5进行合成处理而得到的，其周围的平面图像X5直接利用通过摄影用透镜24、25取得的图像M4、M5，因此，能够减少图像处理装置3中的图像处理。

【第3实施方式】

如图6所示，在本实施方式中，构成内窥镜2的摄像部22的摄影用透镜24、25各自的光轴31、32相互平行，并且，摄影用透镜24、25配置为在与内窥镜2的套管21的轴线正交的方向上隔开间隔。这里，摄影用透镜24、25的像素数设为相同，并且设定为其视角θ7、θ8的任何一方较大。在本实施方式中，设定为摄影用透镜(第1摄像部)25的视角θ8比摄影用透镜(第2摄像部)24的视角θ7大。

如图5、图6所示，在图像处理装置3中，根据通过摄影用透镜取24取得的图像(第2图像)M7和通过摄影用透镜25取得的图像(第1图像)M8，生成具有视差的立体图像(三维图像)X7的数据。该立体图像X7形成在通过摄影用透镜24取得的图像M7和通过摄影用透镜25取得的图像M8重合的区域，即，形成于具有小的视角θ7的摄影用透镜24摄得的图像M7的区域。

并且，在图像处理装置3中，将具有大的视角θ8的摄影用透镜25的图像M8作为平面图像(二维图像)X8而生成数据。

而且，如图6所示，在图像处理装置3中，根据生成的立体图像X7和平面图像X8，生成输出到图像显示装置4的显示图像X9的数据。

显示图像X9在其中央部的圆形区域配置立体图像X7，在其外周部的环状区域配置平面图像X8。

基于这样的显示图像X9的数据，在图像显示装置4的图像显示部41中对显示图像X9进行显示。

根据上述结构，显示于图像显示装置4的显示图像X9在其中央部配置立体图像X7，在其外周部配置平面图像X8。由此，观察者对显示于显示图像X9的中央部的立体图像X7进行观察并进行手术处理，并且，根据需要，能够对其周围的平面图像X8进行观察。这样，能够不切换显示的图像而进行观察，使用便利性得到提高。

此时，由于立体图像X7的周围是平面图像X8，因此能够通过没有失真的良好的图像而进行观察。

并且，根据本实施方式的结构，摄影用透镜24、25中的具有小的视角θ8的摄影用透镜24的立体图像X7的区域内的像素数比另一方多。由此，与上述第1实施方式相比能够提高立体图像X7中的分辨率。

【其它的实施方式】

也能够在上述第1～第3实施方式所示的结构中组合以下所示的结构。

在上述第1～第3实施方式中，如图7所示，显示于图像显示装置4的显示图像X3、X6、X9在其中央部配置立体图像X1、X4、X7，在其外周部配置平面图像X2、X5、X8。根据图像处理装置3的图像处理，能够将显示图像X3、X6、X9中的立体图像X1、X4、X7和平面图像X2、X5、X8的环状的边界区域设为亮度降低部Y1。亮度降低部Y1的亮度与立体图像X1、X4、X7、平面图像X2、X5、X8相比，降低为例如1/3左右。

通过该亮度降低部Y1，在显示图像X3、X6、X9中，能够使立体图像X1、X4、X7和平面图像X2、X5、X8的环状的边界区域变得不明显。其结果为，能够抑制因立体图像X1、X4、X7和其外周部的平面图像X2、X5、X8不连续而产生的违和感。

并且，如图7所示，通过图像处理装置3的图像处理，能够将显示图像X3、X6、X9中的立体图像X1、X4、X7和平面图像X2、X5、X8的环状的边界区域设为具有一定宽度的线部(边界显示部)Y2。线部Y2能够沿着例如立体图像X1、X4、X7的外周缘部而生成。

通过该线部Y2，在显示图像X3、X6、X9中，立体图像X1、X4、X7和平面图像X2、X5、X8的环状的边界部变得明确，并且，通过具有一定宽度的线部Y2，能够明确地界定该边界部的两侧。其结果为，能够抑制因立体图像X1、X4、X7和其外周部的平面图像X2、X5、X8不连续而产生的违和感。

并且，如图8所示，根据图像处理装置3的图像处理，在显示图像X3、X6、X9中的立体图像X1、X4、X7和平面图像X2、X5、X8的环状的边界部Y3处，能够按照如下的方式生成视差：使形成立体图像X1、X4、X7的图像M1、M4、M7和图像M2、M5、M8之间视差随着向外周侧行进而逐渐减小。此时，优选在边界部Y3的最外周部，将图像M1、M4、M7和图像M2、M5、M8之间的视差设为与平面图像X2、X5、X8相同，即为0。

其结果为，能够抑制因立体图像X1、X4、X7和其外周部的平面图像X2、X5、X8不连续而产生的违和感。

此外，在不脱离本发明的主旨的范围内，能够对上述实施方式中举出的各种结构进行适当的变更。

标号说明

1  立体视觉内窥镜系统

2  内窥镜

3  图像处理装置

4  图像显示装置

5  连接缆线

6  连接缆线

21  套管(插入部)

22  摄像部

24  摄影用透镜(第1摄像部、第2摄像部)

25  摄影用透镜(第2摄像部、第1摄像部)

41  图像显示部

M4、M8  图像(第1图像)

M5、M7  图像(第2图像)

X1、X4、X7  立体图像(三维图像)

X2、X5、X8  平面图像(二维图像)

X3、X6、X9  显示图像

Y1亮度降低部

Y2  线部(边界显示部)

Y3  边界部

Claims (11)

1.一种立体视觉内窥镜系统，其具有：

内窥镜，其在能够插入被检体的细长的插入部的前端具有多个摄像部，所述摄像部对所述被检体进行摄影而取得图像；

图像处理装置，其对该内窥镜所取得的图像进行图像处理而生成显示图像；以及

图像显示装置，其显示由该图像处理装置进行图像处理后的显示图像，

所述图像处理装置生成如下的所述显示图像，该显示图像在中央部配置根据由多个所述摄像部取得的多个图像而生成的三维图像，在该三维图像的外周部配置二维图像。

2.根据权利要求1所述的立体视觉内窥镜系统，其中，

所述图像处理装置根据由第1所述摄像部取得的第1图像和由第2所述摄像部取得的与所述第1图像具有视差的第2图像生成所述三维图像，根据所述第1图像得到所述二维图像。

3.根据权利要求2所述的立体视觉内窥镜系统，其中，

所述第1摄像部具有比所述第2摄像部大的视角。

4.根据权利要求3所述的立体视觉内窥镜系统，其中，

所述内窥镜将视角比所述第2摄像部大的所述第1摄像部配置在使用者的惯用眼侧来进行摄影。

5.根据权利要求2～4中的任何一项所述的立体视觉内窥镜系统，其中，

所述第1摄像部和所述第2摄像部具有相同的像素数。

6.根据权利要求1所述的立体视觉内窥镜系统，其中，

所述图像处理装置根据由第1所述摄像部取得的第1图像和由第2所述摄像部取得的与所述第1图像具有视差的第2图像生成所述三维图像，根据所述第1图像和所述第2图像生成在所述第1摄像部和所述第2摄像部的中间具有光轴的第3图像，并将该第3图像作为所述二维图像。

7.根据权利要求6所述的立体视觉内窥镜系统，其中，

所述第1摄像部具有比所述第2摄像部大的视角。

8.根据权利要求6或7所述的立体视觉内窥镜系统，其中，

所述第1摄像部和所述第2摄像部具有相同的像素数。

9.根据权利要求1～8中的任何一项所述的立体视觉内窥镜系统，其中，

所述图像处理装置将所述三维图像和所述二维图像的边界部的亮度设定为比所述三维图像和所述二维图像低。

10.根据权利要求1～8中的任何一项所述的立体视觉内窥镜系统，其中，

所述图像处理装置生成表示所述三维图像和所述二维图像的边界的边界显示部。

11.根据权利要求1～8中的任何一项所述的立体视觉内窥镜系统，其中，

所述图像处理装置根据由第1所述摄像部取得的第1图像和由第2所述摄像部取得的与所述第1图像具有视差的第2图像生成所述三维图像，并且，在所述三维图像和所述二维图像的边界部，使形成所述三维图像的所述第1图像和所述第2图像之间的视差从所述三维图像向所述二维图像逐渐减小。