CN116830009A - 成像系统和用于对物体进行成像的腹腔镜 - Google Patents

Abstract

提供了成像系统(1)，其包括：被构造为传输光的光通道(2)；被构造为通过沿第一光路(11)对物体(3)进行成像来生成第一图像数据的第一传感器(10)；以及被构造为通过沿第二光路(21)对物体(3)进行成像来生成第二图像数据的第二传感器(20)。第一传感器(10)和第二传感器(20)的焦点偏移。此外，第一光路(11)和第二光路(21)至少部分地引导通过光通道(3)。

Description

成像系统和用于对物体进行成像的腹腔镜

技术领域

本发明涉及成像系统、腹腔镜和用于对物体进行成像的方法。

背景技术

成像系统可用于获取要成像物体的图像。成像系统可以设置在用作视频内窥镜的腹腔镜或内窥镜中(通常也被称为视频内窥镜或视频探头)。在这种腹腔镜中，图像传感器附接到腹腔镜的物镜并且被构造为获取被检查物体的图像；该物体可以是身体内部的器官或是诸如机器内部等其他难以进入的物体。因此，腹腔镜是内部空间很小的细长设备。因此，难以在腹腔镜内部包括可用于获取要成像物体的详细图像的成像系统。

EP 1691667 A1公开了一种立体腹腔镜装置，其包括腹腔镜、适于转换并存储来自腹腔镜的患者患处的图像信息的计算机以及用于输出图像信息的监视器。该腹腔镜包括：支撑单元，其具有操纵器和一对平行的左右支撑杆；柔性管单元，其具有一对左右柔性管，该左右柔性管适于在预定角度范围内彼此间隔开；以及双目相机组件，其具有安装在柔性管单元前端处的一对左右相机，以便它们在操纵器的操作下拍摄腹腔中患处的图像。利用这种构造，可以将患者患处的图像信息处理成立体照片，从而实现精确的诊断和腹腔镜手术。

然而，立体技术是一种仅通过双目视觉的立体感而在照片中产生深度错觉的技术。尽管如此，为了对要成像的物体进行详细分析，期望的是提供真实的深度信息。

发明内容

因此，本发明的实施例的目的是提供一种成像系统、腹腔镜和用于对物体进行成像的方法，该方法可以获取可用于确定物体的真实深度信息的图像。

该目的通过包括权利要求1的特征的成像系统、包括权利要求12的特征的腹腔镜和包括权利要求13的特征的用于对物体进行成像的方法来实现。

根据本发明的一方面，提供了一种成像系统，其包括：光通道，其被构造为传输光；第一传感器，其被构造为通过沿第一光路对物体进行成像而生成第一图像数据；以及第二传感器，其被构造为通过沿第二光路对物体进行成像而生成第二图像数据，其中，第一传感器和第二传感器发生焦点偏移，并且其中，第一光路和第二光路至少部分地引导通过光通道。

成像系统可以是光学成像系统，并且可用于使用第一传感器和第二传感器来创建物体的图像数据。也就是说，第一图像数据和第二图像数据可以从相同的视角对物体的同一部分进行成像。这是通过提供可以快速连续或同时生成第一和第二图像数据的双传感器成像系统实现的。成像数据优选地包括图像序列，例如视频流。进一步地，由于第一光路和第二光路被引导通过同一光通道，因此第一传感器和第二传感器对物体进行成像的方向(即，视角)是相同的。结果，第一图像数据和第二图像数据自动地相互配准，以便彼此完全重叠，而不需要执行任何额外的对齐或配准过程。由于第一传感器和第二传感器发生焦点偏移，因此与第二图像数据相比，第一图像数据具有不同的焦点(即，物体被图像数据清晰描绘处的点)。也就是说，第一传感器可以聚焦到与光通道的远端具有第一距离d1的点，并且第二传感器可以聚焦到与光通道的远端具有第二距离d2的另一点。第一距离d1和第二距离d2的差值可以是两个传感器的焦点偏移。焦点偏移可以由成像系统的硬件确定。更详细地，焦点偏移可以由成像系统内的传感器的布置和/或由成像系统内的光学系统提供。因此，可以通过传感器的特定布置或通过光学系统来缩短或延长焦距和/或光路(将在下面更详细地解释)。

成像系统可以设置在腹腔镜内，该腹腔镜可用于为与人体或动物体的内器官相关的诊断和治疗提供必要的信息。此外，腹腔镜可用于大型机械的维修，例如检查是否必须更换难以进入的齿轮，而无需拆卸整个机械。成像系统的传感器可以容纳在腹腔镜的摄像头内，使得可以提供具有双传感器的摄像头，其中，每个传感器具有其自身的焦点。换句话说，传感器可以单独地容纳在摄像头中，使得轴中没有传感器。因此，轴例如可以制成细长的，使得它能够在狭窄的腔体中没有问题地操作。因此，在操作期间，传感器可以位于待检查的腔体外部。此外，这使得可以有利地改变内窥镜的重量分布，从而使得与摄像头相比轴具有相对低的重量。由于用户或机器人将内窥镜保持在摄像头处或摄像头附近，因此可以进一步简化内窥镜的操作。也就是说，每个传感器可以具有其自身的焦点，使得传感器相对彼此发生焦点偏移。例如，每个传感器可能有其自身的焦距。也就是说，传感器的焦距可能不同。此外，腹腔镜可以具有从摄像头突出的轴，该轴可被带到要成像的物体附近。也就是说，例如，轴可以至少部分地插入到人体或狭窄的腔体中，并且其中，轴可以包括光通道。轴可以在其近端处连接到摄像头。摄像头可以从轴上移除。换句话说，传感器可以与轴分离。因此，可以容易地对传感器进行更换、改变、修理或维护等，而无需拆卸轴本身。这意味着轴可以连续地使用，而可以只更换摄像头。轴的远端可以面对要成像的物体。轴以及光通道可被构造为至少部分是柔性的。此外，轴可以是可控地可移动的(例如，可以可控地弯曲以使轴的远端重定向)。结果，腹腔镜可以适应于要使用它的任何环境，并且可以到达位于其他物体后面的区域。在轴内可以设置有光通道(例如，以波导的形式)，该光通道被构造为将第一光路和第二光路从轴的近端引导到轴的远端，而与轴的弯曲无关。此外，在轴的远端和/或近端处，可以分别设置光学器件(例如，透镜或透镜阵列)，以便将第一光路和第二光路适当地引导到波导中以及引导出波导。

第一传感器和第二传感器的偏移焦点(例如，每个传感器的不同焦距)可以通过在每个传感器的至少一个光路中设置至少一个附加透镜来实现。然而，可以在至少一个光路中仅设置一个附加透镜。此外，可以设置有更多的透镜或光学系统，以适当地将来自物体的光引导到传感器。使用根据本发明的一实施例的成像系统提供了彼此完全重叠并且可以直接进一步处理而不需要任何额外配准过程的第一和第二图像数据。例如，分别具有不同焦点(例如，聚焦点)的完全重叠的图像可用于确定物体的深度信息(下文将进一步详述)。

光通道可以是细长体。进一步地，光通道可以是中空的，或者由透明材料制成。光通道可以具有面对第一传感器和第二传感器的近端以及面对要成像物体的远端。远端可以从成像系统突出，并且可以是第一光路和第二光路的出口端。因此，第一光路和第二光路在远端处彼此对齐，使得第一传感器和第二传感器的视角相同。光通道可被构造为使得在远端处离开光通道的光路以发散的方式延伸，该光路优选地具有30°至90°的延伸角，优选地具有50°至70°的延伸角(即，光路一旦离开光通道就可以变成锥形的，以便拍摄更大的场景)。例如，光通道可以由光纤制成。此外，光通道可以至少部分地是柔性的，使得即使光通道形成为曲线它也可以引导光。优选地，根据其中设置有光通道的腹腔镜的轴，光通道是柔性的。因此，可以通过围绕障碍物布置的轴而容易地对位于障碍物后面的物体进行成像。成像系统可能只具有一个光通道。因此，成像系统可以是紧凑的，使得仅需要更少的空间来操作成像系统。另一方面，由于固有的系统要求，立体成像系统可能具有两个以上的光通道，并且因此可能需要更大的操作空间。

第一和第二传感器可以是光电传感器(也被称为图像传感器或传感器芯片)，优选为互补金属氧化物半导体(CMOS)传感器(也被称为互补对称金属氧化物半导体(COS-MOS)传感器)。此外，第一和第二传感器可以是电荷耦合器件(CCD)传感器。第一传感器和第二传感器可以是相同种类的传感器。替代地，与第二传感器相比，第一传感器可以是不同的传感器。通过提供不同种类的传感器，可以获得不同的图像质量和/或不同的图像信息。例如，低分辨率图像数据可用于提供物体的粗略信息，而高分辨率图像可用于进一步处理和提供详细信息。优选地，至少一个传感器的最小分辨率为1080×1920像素。优选地，每个传感器具有相同的分辨率。在下文中，它们被称为第一传感器和第二传感器，然而，成像系统可以具有两个以上的传感器，每个传感器具有其自身的光路。也就是说，如果设置有三个传感器，则也设置有三个光路，以此类推。例如，成像系统可以具有3个、4个、5个或更多的传感器。在这种情况下，每个传感器的每个光路至少部分地引导通过同一光通道。如果要成像的物体具有较大的空间扩展，或者如果需要获得要成像物体的非常详细的信息，则特别有用的是使用更多的传感器。此外，每个传感器可以具有其自身的快门，该快门被构造为控制施加到传感器上的光量。结果，通过调节快门速度，传感器可以适应于不同的光照条件。替代地，传感器可以获取图像数据的连续视频流。

在使用CMOS传感器的情况下，图像数据可以是由传感器输出的电压信号。优选地，传感器的每个像素可以具有特定的电压信号。也就是说，CMOS传感器可以输出数字信号。在使用CCD传感器的情况下，图像数据可以是电荷信号。电压信号不易因电磁场而劣化，因此优选地使用CMOS传感器作为成像系统的传感器。

图像数据可以是传感器的输出。此外，图像数据可以包括一个或多个颜色通道的亮度信息。颜色通道可以表示特定的光谱。例如，图像数据可以包括用于绿色通道、RGB颜色通道和/或NIR(近红外)颜色通道的信息。RGB颜色通道被认为包括绿色通道、红色通道和蓝色通道。此外，每个传感器可以提供包括不同颜色通道的信息的图像数据。也就是说，第一传感器可以提供包括绿色通道信息的第一图像数据，而第二传感器可以提供包括NIR通道信息的第二图像数据。此外，每个传感器的不同颜色通道的进一步组合也是可能的，例如NIR-NIR、RGB-RGB、绿色-绿色、NIR-RGB、绿色-NIR或绿色-RGB。其中，每个颜色通道可以由不同的波长频带定义。为了图像数据的进一步处理，成像系统可以连接到或能够连接到处理单元(例如，计算机)，或者可以具有控制单元。控制单元可被构造为进一步处理图像数据。例如，控制单元可以确定包含在图像数据中的信息，例如显示亮度分布的柱状图。此外，图像数据可以包括描绘物体的图像或照片。为了应对恶劣的光照条件，成像系统可以具有被构造为照亮要成像物体的光源。更详细地，光源可以联接到附加波导，该附加波导被构造为将光源的光在光通道内或平行于光通道引导到要成像的物体。

光路是光线从物体到传感器的路径。也就是说，光可以被要成像的物体反射，被引入光通道，被引导通过光通道，由光通道输出并且被第一和第二传感器捕获。光路可以由相应传感器接收的光线定义。换句话说，可以测量从传感器到要成像物体的光路的长度。此外，在每条光路内可以设置有透镜或透镜阵列，这些透镜或透镜阵列被构造为将来自物体的光线适当地引导到每个传感器。此外，成像系统可以包括被构造为分离第一光路和/或第二光路的至少一个棱镜。优选地，棱镜被构造为分束棱镜。棱镜可被构造为过滤特定波长，即仅传输特定波长的光。因此，可以预先确定传输到传感器的波长。例如，只有对应于绿色通道的波长可以被棱镜透射。此外，棱镜还可以增加其中一个光路相对于另一光路的长度。因此，通过具有多个任务的棱镜，可以用最少的部件来实现成像系统。此外，成像系统可以包括光路或光通道中的至少一个光圈，该光路或光通道被构造为控制成像系统的光圈。也就是说，光圈开得越大，图像的景深越浅，反之亦然。一般来说，光圈开得越大，图像数据的质量越好，并且包含的信息也越多。因此，优选地调节光圈以使其具有最大开口。结果，景深范围可能相对较窄。此外，针对每个光路，成像系统可以具有一个光圈。

可以通过针对每个传感器提供不同的焦距来提供第一传感器和第二传感器的偏移焦点。第一传感器和第二传感器的焦距可以是沿相应光路从设置在成像系统内的光学透镜的主轴线到焦点的距离。光学透镜可被构造为将图像投射到传感器上。每个传感器都可以具有一个单独的透镜。也就是说，在存在两个传感器的情况下，成像系统可以具有两个光学透镜。此外，焦距可以是成像系统会聚或发散光的强度的量度。正焦距表示系统会聚光，而负焦距表示系统发散光。具有更短焦距的系统会使光线更大幅度地弯折，使它们在更短的距离内聚焦或更快地发散。例如，第一传感器和第二传感器的焦距比可以在0.1至1的范围内，优选地在0.3至0.7的范围内。在此范围内，可以实现物体的最佳成像。换句话说，具有上述比率，第一传感器的焦点与第二传感器的焦点之间的距离处于最佳范围内。更详细地，如果将第一图像数据和第二图像数据组合或相互比较，则上述比率确保了物体的信息不会由于完全没对准焦距而丢失。换句话说，该比率确保了物体的被聚焦部分之间的距离不会过大。

根据本发明，可以接收或生成至少两个图像数据，这些图像数据在没有任何附加配准过程的情况下彼此完全配准。也就是说，物体的由至少两个传感器生成的图像数据可以具有相同的大小和相同的位置，并且可以从相同的视点进行成像。因此，物体的一些部分可以聚焦在第一图像数据上，而物体的另一些部分可以聚焦在第二图像数据上。此外，物体的一些部分可以部分地聚焦在第一图像数据上并且部分地聚焦在第二图像数据上。因此，通过将两个图像数据相互组合或比较，可以生成整体图像或整体数据，与物体的单个图像或物体的立体图像相比，该整体图像或整体数据包括物体的更多信息(例如，更多细节、深度信息等)。由于两个图像数据彼此配准以完全重叠，因此图像数据的所述组合或比较是容易的。也就是说，在进一步处理图像数据之前，不需要将图像数据彼此进行配准。换句话说，第一图像数据和第二图像数据可以包括物体的完全相同的部分(即，场景)。结果，本发明提供了一种高效的方式来生成完全重叠并因此可以容易处理的图像数据。优选地，传感器的焦点偏移由成像系统预先(即，在对物体进行成像之前)确定。也就是说，可以由成像系统的硬件设定焦点偏移。

优选地，第一光路和第二光路具有不同的长度。因此，与第二传感器的焦点相比，第一传感器的焦点位于不同的位置处。优选地，可以调节至少一个传感器和光通道的近端之间的和/或在传感器之间的距离。结果，每个传感器的焦距可能不同，即，从相应传感器到由相应图像数据清晰描绘的物体的点的距离可能不同。提供不同长度的光路是实现第一传感器和第二传感器的不同焦距(即，第一传感器和第二传感器的焦点偏移)的简单且稳健的方式。例如，传感器可以与光通道的近端具有不同的距离。也就是说，与第二传感器相比，第一传感器可以布置在成像系统内以便位于更远离光通道的近端的位置处。结果，可以使用相同的传感器和相同的图像设定(例如，光圈、快门速度等)，而不同的焦点(即，第一传感器和第二传感器的焦点偏移)由成像系统内传感器的不同位置来确保。结果，可以使用相同的部件来获取第一图像数据和第二图像数据。因此，可以简化成像系统，并且可以降低制造成本。

优选地，第一传感器和第二传感器还被构造为同时对物体进行成像。也就是说，可以同时生成或获取第一图像数据和第二图像数据。结果，第一图像数据和第二图像数据彼此完全配准，因为在获取第一图像数据的时间和获取第二图像数据的时间之间物体不可能移动或改变其形状。也就是说，第一图像数据和第二图像数据可以仅在它们各自的焦点(即，聚焦/模糊)方面彼此不同。因此，成像系统可以仅包括一个快门，该快门用于设置在成像系统内的两个传感器。因此，可以进一步简化系统，同时确保了第一图像数据和第二图像数据的完全重叠。

优选地，该系统进一步包括布置在第一光路和/或第二光路中并且被构造为改变第一传感器和/或第二传感器的焦点的聚焦系统。因此，可以调节至少一个传感器的焦点(例如，聚焦点或焦距)。换句话说，可以改变第一传感器的焦点和/或第二传感器的焦点之间的距离。结果，成像系统可以适用于具有不同空间扩展的不同物体。此外，成像系统可以适用于不同的应用。例如，如果在腹腔镜检查期间使用成像系统(即，与腹腔镜结合)，则第一传感器聚焦在从轴的远端测量的6cm的距离处，而第二传感器可以聚焦在从轴的远端测量的9cm的距离处。因此，传感器的焦点偏移为3cm。取决于具体应用，焦点偏移可以是正的或负的。因此，成像系统可用于多种应用，并且可以使用成像系统对多个物体进行成像。例如，聚焦系统可被构造为调节至少一个传感器的聚焦点，使得可以获得第一传感器的聚焦点与第二传感器的聚焦点之间的上述定义的比率。

优选地，该系统还包括聚焦装置，该聚焦装置被构造为控制聚焦系统使得可以调节第一传感器和/或第二传感器的焦点(例如，焦距)。聚焦装置可以是被构造为由用户的手抓握的聚焦环。因此，聚焦装置可以露出到成像系统的外部(并且露出到腹腔镜的外部)以被用户抓握。聚焦环的位置(即，旋转)可以取决于要成像的物体与传感器的距离。与物体的距离越大，聚焦环必须旋转得越多，以便以清晰的方式在其中一个传感器上描绘物体的至少一部分，反之亦然。聚焦装置的尺寸可以确定为使得只有用户的几根手指(例如，2根手指)可以与其接触，而用户手的其他手指可以握住成像系统(即，腹腔镜)。结果，成像系统有利地可以单手操作。也就是说，用户不需要用双手操作成像系统来调节焦点和握住成像系统。结果，成像系统表现出更好的可操作性。

此外，聚焦装置可以由控制单元自动操作。更详细地，聚焦装置可以由控制单元控制，以便在获取图像数据之前根据特定应用调节每个传感器的焦点。替代地或补充地，聚焦装置可以由控制单元控制，以便以预定步长(即，增量)调节每个传感器的焦距。在每个步长处，可以由第一传感器和第二传感器获取图像数据。步长尺寸可以在0.1mm至5mm的范围内，优选地在0.5mm至2mm的范围内。聚焦装置可以设置在内窥镜的摄像头处。因此，聚焦装置可以不设置在轴处。这有助于将轴的重量保持在较低水平。从而，可以提高整个内窥镜的可操作性。此外，在操作内窥镜期间，聚焦装置被放置在被检查的腔体(例如，人体)的外部。因此，用户或机器人可以容易地接近聚焦装置。

优选地，第一图像数据和第二图像数据代表相同的场景，例如物体的完全相同的部分。根据传感器的焦点(例如，焦距)和/或所使用的不同种类的传感器，第一图像数据的视野可以小于第二图像数据的视野，反之亦然。为了在第一图像数据和第二图像数据内提供物体的相同视野，可以调节覆盖更大视野的图像数据以准确地包括物体的相同视野(例如，通过切割诸如外缘等图像数据的一部分)。结果，两个图像数据可以以简单的方式进行比较或组合。例如，图像数据的边缘可以用作两个图像数据中的参考点。换句话说，第一图像数据和第二图像数据所代表的物体部分完全重叠。因此，可以进一步改进和简化图像数据的进一步处理。

优选地，成像系统还包括控制单元，该控制单元被构造为基于第一图像数据和第二图像数据生成物体的深度信息。换句话说，成像系统可以包括用于进一步处理图像数据的控制单元。控制单元可以是类似于计算机的设备，并且可被构造为接收输入数据、处理输入数据并且输出处理后的数据。具体地，包括物体的2D坐标的图像数据(例如，多个图像数据)可以是输入数据，并且物体的第三坐标(即，深度信息或3D形状信息)可以是输出数据。深度信息的生成是可以使用多个图像数据的一个示例。也就是说，控制单元可以输出物体的深度图(例如，3D图像数据)。具体地，深度图可以是点的散点图，每个点具有描述物体的每个点的空间位置或坐标的三个坐标。也就是说，控制单元可被构造为基于第一图像数据和第二图像数据来确定深度图。

此外，控制单元可被构造为将图像数据划分为一个或多个(例如，>9)像素的片段(被称为片块)。此外，控制单元可被构造为将第一图像数据的片块与第二图像数据的片块进行比较。片块可以是矩形或方形的片块。具体地，控制单元可被构造为确定物体在每个片块中被描绘的有多清晰(即，确定每个片块的清晰度)。片块可以具有多种尺寸。也就是说，设置在各个图像数据中的片块的尺寸可以根据图像数据描绘的物体和/或根据具体应用(例如，手术的种类)而改变。也就是说，在存在大量纹理的区域中，片块尺寸可以更小(例如，5×5像素)，而在像素密集度更均匀的图像数据的区域中(即，几乎没有纹理)，像素尺寸可以更大(例如，50×50或多达1000像素)。例如，大量纹理可能在图像数据的描绘了大量边缘的区域中。因此，成像系统可以以高效的方式工作，因为在存在大量纹理的区域中，片块尺寸较小(即，分辨率高)，以便获得该区域的高精度信息，而在存在较少纹理的区域中，片块尺寸更大，以便加速控制单元执行的处理。

优选地，第一图像数据中的至少一个或每个第一片块的位置对应于第二图像数据中的至少一个或每个第二片块的位置。优选地，至少一个第一片块优选地具有与至少一个第二片块相同的尺寸，优选地尺寸为20×20像素。也就是说，第一片块在第一图像数据内的位置与第二片块在第二图像数据内的位置相同。更详细地，如果第一图像数据和第二图像数据彼此配准，则第一片块和第二片块相互重叠。因此，针对每个片块，深度值(即，z坐标)可以由控制单元确定(即，针对每个片块，确定3D空间中的x、y和z坐标)。片块可以具有一个或多个像素的大小。然而，所需的计算资源取决于图像数据中包含的片块数量。因此，每个片块可以优选地具有20×20像素的尺寸。具有了该尺寸，在保证深度图的高精度同时也确保了系统的效率。

此外，控制单元可被构造为确定第一图像数据的每个片块和第二图像数据的每个片块的清晰度。需要注意的是，多个片块可以具有相同的清晰度。每个片块的清晰度与相应片块的信息熵(entropy)成正比。换句话说，清晰度等同于信息熵。第一图像数据的片块可被视为第一片块，并且第二图像数据的片块可被视为第二片块。第一片块和第二片块可以彼此完全重叠(即，描绘物体的同一场景/部分)。换句话说，第一片块和第二片块(也被称为一对片块)可以位于第一图像数据内和第二图像数据内的相同位置。如上所述，可以预先设定第一传感器和第二传感器的焦距。因此，第一传感器和第二传感器的焦距是已知的。控制单元可以使用以下公式来确定由第一片块和第二片块描绘的物体的部分的深度(即，z坐标)。

其中，

d是第一片块和第二片块中描绘的物体部分的未知距离(即，深度或z坐标)；

d₁是第一传感器的焦距；

I₁是第一片块的清晰度；

d₂是第二传感器的焦距；

I₂是第二片块的清晰度。

必须仔细地选择第一传感器和第二传感器的焦距以及片块尺寸，以便使用上述公式获得有用的深度信息。优选地，焦距取决于所执行的特定应用(例如，所执行的特定手术或腹腔镜检查)。例如，第一传感器的焦距可以是从轴的远端测量的6cm，并且第二传感器的焦距可以是从轴的远端测量的9cm。第一传感器的焦距可以是根据手术类型确定的经验值(例如，针对腹腔镜检查，该焦距可以是从腹腔镜的尖端开始(即，轴的远端)测量的6cm)。

图像的清晰度可以用特定片块的图像的信息密度(例如，信息熵)来表示。控制单元可被构造为将上述公式应用于第一图像数据和第二图像数据的每对片块(即，每个第一片块和对应的每个第二片块)。结果，可以由控制单元确定图像数据的每对片块的深度值。具有了深度信息，控制单元可被构造为使用深度信息以及相应片块对的x坐标和y坐标来创建深度图。换句话说，控制单元可被构造为基于每对片块的x、y和z坐标来创建3D模型。

替代地或补充地，控制单元可被构造为使用焦点堆叠的方法来创建3D模型。可用于创建深度图的另一种方法是所谓的聚焦/散焦测距(depth from focus/defocus)。此外，控制单元可被构造为执行上述方法中的一种或多种，以便基于至少两个2D图像数据(即，第一图像数据和第二图像数据)创建深度信息(即，3D图像数据)。具体地，控制单元可被构造为组合至少两种用于创建深度图的方法。特别地，以上公式可以应用于与图像数据的其他片块相比具有相对较高纹理的图像数据的片块。此外，从亮度恢复形状的方法(the shapefrom lightning method)可以应用于与图像数据的其他区域相比具有相对较低纹理的图像数据的其他区域。结果，通过对图像数据的不同部分应用不同的方法，可以显著提高深度图生成的效能。因此，本发明的至少一个实施例可以将两个传感器获得的图像数据的焦点的相对差值转换为3D形状信息。换句话说，可以通过比较由每个传感器生成的相应片块(即，一个像素或像素阵列)的焦点/模糊来计算/确定图像数据内的所有片块的3D坐标。可选地，控制单元可被构造为通过对生成的深度图进行过滤来进一步处理深度图。更详细地，为了删除错误的深度信息，控制单元可被构造为比较彼此相邻的深度图的深度信息。如果一个深度与其相邻深度相比过高或过低(即，超过终止前阈值)，则控制单元可被构造为删除该深度信息，因为该深度信息很可能是错误的。结果，由控制单元输出的深度图可以具有更高的精度。

优选地，控制单元还被构造为通过比较第一图像数据的至少一个第一片块和第二图像数据的至少一个第二片块的信息熵来生成深度信息。图像的清晰度等同于信息熵。信息熵是包括在图像数据内的信息(即，图像数据的片块的清晰度的度量)的示例。

也就是说，第一图像数据和第二图像数据可以基于它们的信息熵相互比较。因此，控制单元可被构造为确定第一图像数据和第二图像数据的信息熵。具体地，信息熵越高，相应图像数据越清晰。因此，信息熵越低，相应图像数据越不清晰(即，模糊)。信息熵可由以下公式确定：

其中，k是一个通道或频带(例如，被观察的灰色通道或绿色通道)的级别数，并且p_k是与灰度级k相关联的概率。此外，可以使用RGB通道和/或NIR通道作为频带。以上公式中用于确定物体特定部分深度的清晰度I₁和I₂可以分别由信息熵代替。也就是说，使用以上公式，针对第一片块确定信息熵H₁，并且针对第二片块确定信息熵H₂(并且针对每个其他片块对确定信息熵)。然后，在用于确定第一片块和第二片块所描绘的物体的特定部分的深度的公式中，使用H1和H₂代替I₁和I₂。也就是说，信息熵等同于清晰度。

在下文中，概述了用于提高深度估算精度的三个可选特征：

优选地，控制单元可被构造为监测至少一个传感器的焦点的调节。例如，控制单元可以检测聚焦装置的操作。焦点可以由人类用户和/或由操作成像系统的机器人来调节。也就是说，如果调节至少一个传感器的焦点，则控制单元可以监测调节量。换句话说，控制单元可以检测每个传感器的聚焦点的偏移(即，距离)。基于图像数据，控制单元可以检测图像数据的哪一部分被清晰地描绘(例如，使用边缘检测)。此外，控制单元例如可以知道被检查物体的清晰描绘的部分与内窥镜的尖端的距离。通过结合对聚焦点在图像数据内的位置和图像数据的被清晰描绘的部分的了解，控制单元可以改进深度估算。换句话说，控制单元可以获得图像数据的当前被清晰描绘的部分以及每个传感器的聚焦点的位置的信息。结果，控制单元可以确定图像数据的清晰描绘部分的深度。可以实时进行监测。因此，深度估算的持续改进是可能的。可以通过提供光学编码器、电测量和/或其他机械传感器来实现对焦点调节的监测。通过使用其中一种上述装置，可以有效地测量焦点调节。此外，可以通过使用这些测量装置的组合来提高测量精度。

优选地，控制单元可被构造为监测成像系统的移动。也就是说，成像系统的空间位置可以由控制单元监测。例如，如果将成像系统设置在内窥镜中，则控制单元可以检测内窥镜的空间位置。优选地，实时检测该位置。该信息随后可用于提高深度估算精度。空间位置可以通过光学跟踪器、电磁跟踪器和/或通过监测致动器来检测。致动器可用于由机器人操作成像系统。也就是说，如果机器人在操作成像系统期间移动该成像系统，则控制单元可以检测到这种移动，并且可以因此确定成像系统的当前空间位置。此外，成像系统可以包括加速度传感器和/或旋转传感器。因此，可以准确地监测成像系统的移动。基于成像系统的已知空间位置和图像数据的被清晰描绘的部分的信息(参见上文概述)，可以进一步提高深度估算精度。

优选地，控制单元可被构造为使用图像数据内已知物体的尺寸来推断深度信息。也就是说，控制单元可被构造为通过了解物体的尺寸来确定与已知物体(例如，从内窥镜的尖端)的距离。该物体可以是存在于被检查的腔体内的标记。此外，该标记可以设置在检查期间(例如，手术期间)额外使用的仪器上。此外，物体可以是仪器本身或存在于被检查的腔体中的其他物体。因此，可以执行光学校准以提高深度估算精度。

为了减少深度估算的错误结果，可能有用的是提高深度估算精度。由于深度估算可能基于第一图像数据和第二图像数据的部分对比的这一事实，有时可能会出现错误的结果(参见上文概述)。例如，先前定义的三个特征可用于检查深度估算是否正确。后一特征可能是有利的，因为不存在执行光学校准所必需的附加结构装置。换句话说，光学校准可以由控制单元实现而不需要任何额外的传感器等。然而，可以实施上述特征中的两者或所有三者，以提高深度估算精度。

此外，如上所述获得的信息也可以用于补偿成像系统(例如，包括成像系统的内窥镜)的失真。上述特征中的至少一者可以在使用计算机视觉技术中来实现。计算机视觉可以是一个跨学科的科学领域，其涉及计算机如何从数字图像或视频中获得高层次的理解。从工程的角度来看，它可能寻求理解人类视觉系统能够完成的任务并使该任务自动化。计算机视觉任务可能包括用于获取、处理、分析和理解数字图像的方法，以及从现实世界中提取高维数据以产生数字或符号信息(例如，以决策的形式)。在这种情况下，“理解”可能意味着将视觉图像(图像数据)转换为对思维过程有意义的并可以引发适当行动的情形描述。这种图像理解可以看作是使用借助于几何学、物理学、统计学和学习理论构建的模型从图像数据中分离出符号信息。

优选地，光通道是可旋转的，使得第一传感器和第二传感器的视野是可变的。特别地，只有光通道的远端可被构造为旋转的。也就是说，光通道可以仅部分地旋转。传感器可以相对于光通道的旋转是固定的。替代地，设置在光通道的远端处的光学装置(例如，透镜或透镜阵列)可被构造为通过旋转来改变视野。因此，光通道的近端可以固定地保持在成像系统内，而远端可以旋转以朝向要成像的物体。可旋转的光通道部分可以从成像系统突出。光通道可以具有光通道笔直延伸而没有任何弯曲的初始位置。此外，光通道可以在初始位置中围绕光通道的轴线旋转。具体地，光通道可被构造为使得光路可以相对于处于初始位置的光通道的轴线倾斜大约20°至40°，优选地倾斜大约30°。此外，一旦光路离开光通道，光路就可以具有锥体形状。所述锥体可以通过围绕中心轴线旋转光通道的至少一部分而倾斜。具体地，通过旋转，光路可以相对于光通道的中心轴线偏移30°。此外，至少光通道的远端可以相对于传感器是可移动的。结果，甚至在狭窄空间或腔体中，成像系统也可以用于多种应用。也就是说，可以仅将光通道的一部分朝向要成像的物体，以便获取第一图像数据和第二图像数据。因此，即使是难以接近的物体也可以由成像系统进行成像。此外，通过能够围绕光通道的轴线旋转视野并且通过能够相对于光通道的轴线倾斜视野，可以提供被检查腔体的全视野视图。例如，为了获得腔体的整体印象，包括成像系统的内窥镜不需要在腔体内移动。

优选地，第一传感器和第二传感器被布置为使得它们相对彼此倾斜。也就是说，至少两个传感器相对彼此倾斜。例如，当传感器的光敏表面彼此倾斜时，传感器相对彼此倾斜。与传感器彼此共面的构造相比，这种倾斜提供了成像系统能够更紧凑的效果。优选地，传感器被容纳在摄像头中，该摄像头与轴元件分离，该轴元件被构造为插入到被检查的腔体中。因此，由于传感器以倾斜的方式布置，摄像头可以具有紧凑的尺寸。也就是说，可以限制摄像头沿轴的方向的延伸，以确保摄像头的紧凑。特别地，传感器可以相对彼此基本上倾斜90°。“基本上90°”可以是指传感器之间形成90°±10°的角度的布置。因此，考虑到可接受的公差水平，能够有效地生产成像系统。

优选地，第一传感器和第二传感器被构造为使用RGB光谱、绿色光谱和/或NIR光谱来生成第一图像数据和第二图像数据。因此，根据具体应用，可以使用在给定条件下包含大量信息的光谱。具体地，绿色光谱在相对较差的光照条件下具有大量信息。另一方面，NIR光谱在几乎黑暗的光照条件下提供了大量信息。结果，在不同的光照条件下，图像数据可以容易地识别或确定形状和信息。此外，第一传感器和第二传感器可以使用不同的光谱/通道。例如，第一传感器可以使用绿色光谱，而第二传感器可以使用NIR光谱。结果，即使在变化的光照条件下，也能够确定深度信息。

根据本发明的另一方面，提供了一种包括上述成像系统的腹腔镜。换句话说，腹腔镜可以是包括具有上述成像系统的摄像头的内窥镜。容纳成像系统的摄像头可以通过摄像头适配器连接到腹腔镜。聚焦环可以布置在腹腔镜的摄像头适配器上，以桥接摄像头和腹腔镜的望远镜。望远镜可以是腹腔镜的轴。光通道可以布置在轴内。此外，轴可以是柔性的，以允许光通道在腹腔镜(例如，望远镜)的远端处旋转或者可以从腹腔镜的远端突出。此外，腹腔镜可以包括光源。光源可以是可调节的，以便照亮光通道的远端所朝向的区域。因此，即使在恶劣的光照条件下也可以适当地生成第一图像数据和第二图像数据。光源可以优选为LED光源。结果，可以提供一种腹腔镜，其可以使用单个摄像头获取至少两个焦点偏移的图像数据。因此，腹腔镜可以具有高度集成的设计并且可用于广泛的应用领域。腹腔镜可被构造为由机器人进行操作。也就是说，腹腔镜可以具有接口，该接口被构造为接收来自机器人的操作命令并且将信息(例如，图像数据)传输到机器人。因此，腹腔镜可以在至少部分自动化的手术环境中使用。

根据本发明的另一方面，提供了一种用于对物体进行成像的方法，其中，该方法包括：通过使用第一传感器沿第一光路对物体进行成像来生成物体的第一图像数据；以及通过使用第二传感器沿第二光路对物体进行成像来生成物体的第二图像数据，其中，第一传感器和第二传感器发生焦点偏移，并且其中，第一光路和第二光路至少部分地引导通过相同的光通道。

优选地，该方法还包括将第一图像数据和第二图像数据划分为片块的步骤，其中，第一图像数据的片块和第二图像数据的片块相互对应。换句话说，第一图像数据的片块覆盖与第二图像数据的对应片块完全相同的区域。第一图像数据和第二图像数据的对应片块可被视为一对片块。

优选地，该方法还包括将第一图像数据和第二图像数据相互比较以生成深度信息的步骤。

优选地，通过比较至少一对片块来将图像相互比较。

优选地，同时生成第一图像数据和第二图像数据。

结合设备描述的优点和特征也适用于方法，反之亦然。在未明确说明的情况下，只要组合或交换是有意义的并且符合本发明的意义，单独的实施例或它们的单独的方面和特征可以相互组合或交换，而不限制或扩大所述发明的范围。在适用的情况下，就本发明的一方面描述的优点也是本发明的其他方面的优点。

附图说明

现在将参考附图来说明本发明的有用实施例。在附图中，相同的附图标记表示相似的元件或特征。附图中，

图1是根据本发明的一实施例的成像系统的示意图。

图2是根据本发明的一实施例的成像系统的示意图。

图3是根据本发明的一实施例的成像系统的一部分的示意图。

图4是根据本发明的一实施例的腹腔镜的立体图。

具体实施方式

图1示意性地示出了根据本发明的一实施例的成像系统1。此外，在图1中描绘了具有x轴、y轴和z轴的坐标系。成像系统1被构造为对物体3进行成像。成像系统1包括被构造为生成第一图像数据和第二图像数据的第一传感器10和第二传感器20。此外，第一传感器10和第二传感器20发生焦点偏移。在本实施例中，传感器10、20均为CMOS传感器。图像数据包括xy平面中的空间信息(即，2D信息)。因此，成像系统1包括在第一传感器10和物体3之间延伸的第一光路11和在第二传感器20和物体3之间延伸的第二光路21。此外，成像系统1包括光通道2，该光通道2具有面对物体3的远端5和面对第一传感器10和第二传感器20的近端6。光通道2是沿其中心轴线C延伸的细长透明体。在本实施例中，中心轴线C沿z轴延伸。第一和第二光路11、21分别从第一和第二传感器10、20延伸到设置在成像系统1内的分束棱镜8。在分束棱镜8处，第一光路11和第二光路21被分束棱镜8合并/分离，并进一步延伸到光通道2的近端6。也就是说，分束棱镜8设置在传感器10、20与光通道2之间的光路11、21中。然后，第一光路和第二光路由光学透镜(图中未示出)引导。在另一实施例中，每个光路都具有其自身的光学透镜。随后，第一和第二光路11、21都被引导通过光通道2。以相同的方式将两个光路从光通道的远端5朝向物体3引导。结果，第一传感器10和第二传感器20可以对具有相同视点(即，具有相同视野)的物体的相同部分进行成像。此外，成像系统1包括被构造为调节第一传感器10和第二传感器20的焦点(例如，焦距)的聚焦系统4。在本实施例中，聚焦系统是透镜装置并且设置在光通道2中。也就是说，聚焦系统4被定位为使得它可以同时调节两个传感器10、20的焦点。也就是说，光通道可以由两部分组成，聚焦系统4可以设置在这两部分之间。在图中未示出的另一实施例中，设置有用于每个传感器的聚焦系统，使得可以单独地调节每个传感器的焦点。在本实施例中，在获取第一图像数据和第二图像数据之前，设定两个传感器10、20的焦点。

此外，第一传感器10和第二传感器20布置在成像系统1内，使得它们发生焦点偏移。也就是说，与第二传感器20相比，第一传感器10具有不同的焦点(即，不同的焦距)。换句话说，与第二传感器20的焦点相比，第一传感器10的焦点位于不同的位置处。在本实施例中，转移焦点是通过在第二光路21中设置附加透镜8来实现的。也就是说，除了可用于引导第一光路和第二光路的光学系统(图中未示出)以外，还设置有附加透镜8。因此，物体3的同一部分不能在第一传感器10和第二传感器20上均以清晰的方式成像。在图1所示的实施例中，物体3的第一部分31由第一传感器10以清晰的方式成像，而由第二传感器20成像的第一部分31是模糊的(即，不能以清晰的方式示出)。

图2示意性地示出了根据本发明的实施例的成像系统1。图2所示的成像系统1与图1所示的成像系统相同。与图1的不同之处在于，描绘了物体3的位于沿z轴的不同位置处的第二部分32。此外，第二部分32由第二传感器20以清晰的方式成像，而第二部分32由第一传感器10以模糊的方式成像。需要注意的是，图中描绘的第一部分31和第二部分32是物体3的部分，为了简化说明，在图中省略了这些部分。也就是说，要成像的物体3的一部分在第一传感器10上是清晰的，而要成像的物体3的另一部分在第二传感器20上是清晰的。结果，提供了一种双传感器光学成像系统，其中两个传感器的图像轴线(第一光路11和第二光路21)至少部分相同，而传感器的焦点偏移。因此，可以获得完全配准的图像数据。然而，根据图中未示出的另一实施例，成像系统包括两个以上的传感器，每个传感器以与上述实施例的两个传感器类似的方式构造和布置。

此外，成像系统1包括被构造为将第一图像数据和第二图像数据划分为多个片块的控制单元。在本实施例中，每个片块具有20×20像素的尺寸。此外，控制单元确定每个片块的图像信息(即，信息熵)。也就是说，第一图像数据被划分为与第二图像数据相同的片块。结果，可以确定一对片块。这一对片块可以由第一图像数据的第一片块和第二图像数据的对应的第二片块组成。然后，使用每个片块的信息熵以及第一传感器10和第二传感器20的已知焦距来确定相应片块对的深度(即，z坐标)。这是针对每对片块进行的。

在一些实施例中，操作聚焦系统4使得以预定的增量移动传感器10、20的焦点。在一些实施例中，聚焦系统4由控制单元自动控制和操作。在另一实施例中，聚焦系统4可以由用户通过聚焦装置(例如，聚焦环)104(参见图3)手动操作。在每个增量中，图像数据由第一传感器10和第二传感器20生成。图像数据可以由第一传感器10和第二传感器20同时或依次生成。在本实施例中，控制单元使用以下公式确定每对片块的深度：

其中，

d是第一片块和第二片块中描绘的物体部分的未知距离(即，深度或z坐标)；

d₁是第一传感器的焦距；

I₁是第一片块的清晰度；

d₂是第二传感器的焦距；

I₂是第二片块的清晰度。

需要注意的是，为了使算法工作，需要仔细选择第一传感器10和第二传感器20的焦距以及选择片块尺寸，因此应根据要成像物体的具体构造来仔细选择这些因子。每个传感器10、20的焦距是已知的。因此，可以使用上述公式来确定每个片块的深度信息。

在图3中，描绘了根据本发明的一实施例的成像系统1的一部分。具体地，在图3中描绘了两对示意图。在每个图中，示意性地描绘了光通道2。此外，示意性地描绘了第一光路11和第二光路21(即，第一光路11和第二光路21重叠)。光路从光通道的具有锥形的远端6延伸(即，以发散的方式延伸)。在本实施例中，锥形具有60°的锐角α。因此，本实施例中的光通道2在其远端处包括透镜，该透镜被构造为将第一光路11和第二光路21发散为具有60°的发散角。

在第一行图中，光通道2被描绘在初始位置中。在第二行图中，光通道至少部分地旋转，以便在不同方向上引导光路11、21。特别地，根据本实施例，光通道2可以至少部分地围绕z轴旋转。因此，第一光路11和第二光路21可以围绕z轴旋转。在本实施例中，光路是倾斜的，使得光路的中心轴线D与z轴成30°的角度(参见图3中的第二行图)。第二行左侧的图示出了重定向到光路2下侧的光路11、21。另一方面，第二行右侧的图示出了重定向到光路2上侧的光路11、21。也就是说，光路11、21可以围绕z轴全面旋转。

在图4中描绘了根据本发明的一实施例的腹腔镜100。腹腔镜100包括位于壳体102内的成像系统1。腹腔镜包括具有远端103的轴101。光通道2设置在腹腔镜100的轴101内。此外，腹腔镜100包括光源(图中未示出)，该光源被构造为从腹腔镜的远端103沿第一光路11和第二光路12朝向物体3发射光。

上述讨论仅旨在说明本系统，并且不应解释为将所附权利要求限制为任何特定实施例或实施例组。因此，虽然本系统已经参考示例性实施例进行了特别详细的说明，但是还应理解的是，在不脱离权利要求所阐述的本系统的更广泛和预期的精神和范围的情况下，本领域的普通技术人员可以设计出许多修改和替代的实施例。因此，说明书和附图被认为是说明性的，并且不旨在限制所附权利要求的范围。

附图标记列表

1成像系统

2光通道

3物体

4聚焦系统

5光通道的远端

6光通道的近端

7分束棱镜

8透镜

10第一传感器

11第一光路

20第二传感器

21第二光路

31物体的第一部分

32物体的第二部分

100腹腔镜

101轴

102壳体

103腹腔镜的远端

104聚焦装置

α光路的角度

C光通道的轴线

D光路的轴线

x x轴

y y轴

z z轴。

Claims (15)

1.一种成像系统(1)，其包括：

光通道(2)，其被构造为传输光；

第一传感器(10)，其被构造为通过沿第一光路(11)对物体(3)进行成像来生成第一图像数据；以及

第二传感器(20)，其被构造为通过沿第二光路(21)对所述物体(3)进行成像来生成第二图像数据，

其中，所述第一传感器(10)和所述第二传感器(20)的焦点偏移，并且

其中，所述第一光路(11)和所述第二光路(21)至少部分地引导通过所述光通道(3)。

2.根据权利要求1所述的成像系统(1)，其中，所述第一光路(11)和所述第二光路(21)具有不同的长度。

3.根据前述权利要求中任一项所述的成像系统(1)，其中，所述第一传感器(10)和所述第二传感器(20)还被构造为同时对所述物体(3)进行成像。

4.根据前述权利要求中任一项所述的成像系统(1)，其中，所述系统(1)还包括聚焦系统(4)，所述聚焦系统布置在所述第一光路(11)和/或所述第二光路(21)中，并且被构造为改变所述第一传感器(10)和/或所述第二传感器(20)的焦点。

5.根据权利要求4所述的成像系统(1)，其中，所述系统(1)还包括聚焦装置(104)，所述聚焦装置被构造为控制所述聚焦系统(4)，使得能够调节所述第一传感器(10)和/或所述第二传感器(20)的焦点。

6.根据前述权利要求中任一项所述的成像系统(1)，其中，所述第一图像数据和所述第二图像数据表示所述物体(3)的相同区域。

7.根据前述权利要求中任一项所述的成像系统(1)，其中，所述成像系统(1)还包括控制单元，所述控制单元被构造为基于所述第一图像数据和所述第二图像数据生成所述物体的深度信息。

8.根据权利要求7所述的成像系统(1)，其中，所述控制单元还被构造为通过比较所述第一图像数据的至少一个第一片块和所述第二图像数据的至少一个第二片块的信息熵来生成所述深度信息，其中，所述第一图像数据中的所述至少一个第一片块的位置对应于所述第二图像数据中的所述至少一个第二片块的位置。

9.根据权利要求8所述的成像系统(1)，其中，所述至少一个第一片块具有与所述至少一个第二片块相同的尺寸，优选地具有20×20像素的尺寸。

10.根据前述权利要求中任一项所述的成像系统(1)，其中，所述光通道(2)是能够旋转的，使得所述第一传感器(10)和所述第二传感器(20)的视野是能够变化的。

11.根据前述权利要求中任一项所述的成像系统(1)，其中，所述第一传感器(10)和所述第二传感器(20)被布置为使得它们相对彼此倾斜。

12.包括根据前述权利要求中任一项所述的成像系统(1)的腹腔镜(100)。

13.用于对物体进行成像的方法，其包括：

通过使用第一传感器(10)沿第一光路(11)对物体进行成像来生成所述物体的第一图像数据；以及

通过使用第二传感器(20)沿第二光路(21)对所述物体进行成像来生成所述物体的第二图像数据，

其中，所述第一传感器(10)和所述第二传感器(20)的焦点偏移，并且

其中，所述第一光路(11)和所述第二光路(21)至少部分地引导通过相同的光通道(2)。

14.根据权利要求13所述的方法，其还包括以下步骤：

将所述第一图像数据和所述第二图像数据相互比较以生成深度信息。

15.根据权利要求13或14所述的方法，其中，同时生成所述第一图像数据和所述第二图像数据。