CN1192316A - 立体成象自动聚焦、测距以及影象测量 - Google Patents

Abstract

一个物体(14)的立体图象根据该物体的左右两个图象在一个图象拾取设备(32)上重合的程度而在图象拾取设备(32)上被聚焦。图象拾取设备(32)产生的代表左右图象的信号相互比较,得到一个控制信号,它表示左右图象在图象拾取设备(32)上的重合程度,而且图象拾取设备(32)和用来把图象投在设备(32)上的光学元件(18)之间的间距随控制信号而改变,以便提高重合的程度。还可进行测距和影象测量,以便确定到被观察物体(14)间的距离以及它的位置和大小。

Description

立体成象自动聚焦、测距以及影象测量

本发明涉及立体成象光学系统。发明也涉及图象系统中的测距和影象测量。

立体成象光学系统用于很多领域。立体(即三维的)观察很有用的一个环境是内窥镜手术。在这种手术中，内窥镜通过一个小的穿刺孔插入人体，使使用者可以看到手术位置，而不需要完全打开伤处。内窥镜将光线通过一组沿着内窥镜长度延伸的光纤导入手术位置。图象拾取设备(例如固态传感器，如电荷耦合器件或CCD)从光学装置接收手术部位中物体的光学图象，并将图象转换为电信号，以供电子显示器上显示。图象拾取设备可以处于内窥镜的末梢、在其附近内窥镜的手持端、或者在它们中间的任何位置。立体成象光学系统通过从两个不同的观察角度获得物体独立的左右图象，从而产生物体的可视图象。系统将右图象显示到观察者的右眼，并独立地将左图象显示到观察者的左眼，以便提供物体的三维视图。

在内窥过程中，立体成象光学系统的聚焦快速或经常地改变，需要使用者例如外科大夫手动地将系统重新聚焦。这个额外过程在手术过程中是不希望的。

本发明的一个目的是克服、或至少减轻上述问题。

因此，提供了一种将物体的立体图象聚焦在图象拾取设备上的方法，包括：

使用与所述图象拾取设备分开的光学元件，将物体的左图象和右图象提供给所述图象拾取设备，以便所述图象拾取设备产生表示所述左图象的信号和表示所述右图象的信号，比较表示所述右图象的信号，确定所述左图象和所述右图象在所述图象拾取设备上的重合程序，以及

改变所述光学元件和所述图象拾取设备之间的间距，以增加所述左图象和所述右图象在所述图象拾取设备上的重合程度。

这个发明的特点是根据左右图象在图象拾取设备上的重合程度自动对立体成象光学系统聚焦。本发明在内窥镜的立体成象光学系统中特别有用，但决不是其唯一的用途。

在发明的一个总的方面，一个光学装置将物体的左右图象提供给图象拾取设备。作为响应，图象拾取设备产生代表左右图象的信号。一个处理器将信号相互比较，确定左右图象在图象拾取设备上的重合程度，并改变光学装置和图象拾取设备之间的间距以增加重合。

优选实施例包括如下特性。

可以进行两种不同的比较。每种比较表明左右图象在图象拾取设备上的重合程度——以及因此得到的聚焦质量。

在一种方法中，在图象拾取设备上左图象和右图象之间的相关程度是根据图象拾取设备产生的信号来确定的。改变光学装置和图象拾取设备之间的间距以便使该相关性最大化。

左图象在图象拾取设备表面上的归一化密度分布

，与右图象在表面上的归一化密度分布

之间的互相关量度

由下式给出： $K\left({\tilde{s}}^{\′}\right)=\∫A\∫u(x,y,{\tilde{s}}^{\′})v(x,y,{\tilde{s}}^{\′})\mathrm{dxdy}$

x和y是表面的笛卡儿坐标(原点位于光学装置的光轴上)，A是在图象拾取设备上进行的积分区域，而

是定义光学装置和图象拾取设备之间沿着光轴距离的参数。距离

从第二主平面(光学装置的焦距从该平面测量)测量至图象拾取设备表面。

根据另一种比较技术，找到图象拾取设备表面上左图象和右图象之间密度差的绝对值，并改变光学装置和图象拾取设备之间的间距以便使密度差最小。差别量度 由下式给出： $D\left({\tilde{s}}^{\′}\right)={\∫}_A\∫|u(x,y,{\tilde{s}}^{\′})$ $(x,y,{\tilde{s}}^{\′})|\mathrm{dxdy}$

在两种技术中，比较是在图象拾取设备表面上选定的区域上所收到的部分左右图象之间进行的。该区域由A的形状和面积确定。一般，通过选择对称的限制，例如(-a，a)和(-b，b)来选定一个中央矩形区域。这会使处于系统视野中央区域的物体得到最佳聚焦。

光学装置和图象拾取设备之间的间距通过移动光学装置、图象拾取设备、或它们二者来改变。

光学装置包括左右光圈，它们分别限定在图象拾取设备上形成左右图象的左右光路。在一个实施例中，左右图象在不同时间间距提供到图象拾取设备的一个公共元件(例如，单个固态传感器，如电荷耦合器件或CCD)。多个快门由一个调制器交替开关，以便顺序将左右图象提供给图象拾取设备的共同元件。比较过程是定时的，以便相互比较的信号表示连续提供给图象拾取设备公共元件的左右图象。

本发明对立体图象能自动聚焦并对使用者是透明的。因此本发明消除了由使用者对图象拾取设备进行图象聚焦(或再聚焦)的必要。在立体成象光学系统的聚焦快速或经常改变的情况下这一点特别有用(例如在内窥观察领域)。

的确定是直接而明确的，因此可以实时地进行聚焦。和 最好只用一小部分图象平面来确定，从而可以进一步增加聚焦速度。

在发明的另一个总的方面中，立体成象系统进行测距。即，系统确定光学装置和所选物体之间沿系统光轴的距离。随着图象进入焦点，图象拾取设备上的传感器确定图象拾取设备到光学装置第二主平面的距离(即象距)。然后处理器利用光学装置的焦距和象距，找到光学装置到物体的距离。测距特性对立体和二维图象系统都是有用的。

优选实施例包括如下特性。处理器根据如下关系确定物体到光学装置第一主平面的距离： $s=\frac{s\′f}{f-s\′}$

这里

是象距，f是焦距。

在一些实施例中，测距仅当光学装置和物体之间的距离落入可接受范围内时才可实现。当测距在第二物体上执行以找到第二物体和光学装置之间的距离之后，处理器通过确定到物体之间的距离差找到两个物体之间沿着光轴的距离。

在发明的另一个方面中，立体成象系统也进行影象测量；即，系统在与光轴垂直的平面中确定物体的位置。聚焦之后，处理器在图象拾取设备表面上确定物体的图象位置。然后处理器根据图象位置、光学装置的焦距、以及光学装置和物体之间的距离确定物体的位置。影象测量特性对于立体成象和二维图象系统都是有用的。

处理器通过执行如下运算可以找到物体在与光轴垂直平面中的位置：

R＝r/m

这里 $R=\sqrt{X^2+Y^2};r=\sqrt{x^2+y^2};m=\frac{f}{s+f}$

这里X和Y是物体在平面(图象拾取设备的光轴定义X-Y坐标系统的原点)上的坐标，R是物面中物体的极半径，r是图象拾取设备表面上图象的极半径。

在一些实施例中，处理器纠正图象的失真。例如，处理器找到表明光学装置特性的失真系数，然后通过进行如下运算确定R： $R=\frac{r}{m(D_r+1)}$

这里Dr是失真系数。在另外的实施例中，处理器计算投射在平面上的物体面积。

测距和影象测量可以一起执行以便完全确定物体在三维空间中的位置。用这种方式找到第二物体的坐标之后，处理器就找到两个物体之间的真实距离，即，连接两个物体的矢量长度。

在其它实施例中，测距与影象测量特性结合起来以用于内窥镜的立体成象系统中。

测距与影象测量功能使立体成象系统能很快定位系统视野中任何物体的大小和位置。

自动聚焦、测距以及影象测量技术很容易应用于很多立体成象仪器中，包括三维立体成象器和耦合器、立体便携摄象机以及立体照相机。

本发明的其它特性和优点从如下描述和权利要求中会变得很清晰。

图1示意性地表示了包括图象拾取设备的自动聚焦立体成象系统。

图2示意性地表示自动聚焦操作过程中图1的图象拾取设备的表面。

图3示意性地表示在另一个自动聚焦操作过程中图1的图象拾取设备的表面。

图4是图1系统所执行的自动聚焦操作的流程图。

图5是图1系统所执行的另一个自动聚焦操作的流程图。

图6示意性地表示测距和影象测量过程中图1的立体成象系统的侧视图。

图7示意性地表示图6系统所成象的物体的正视图。

图8示意性地表示图6系统中图象拾取设备表面上形成的物体图象。

图9示意性地表示测距和影象测量过程中二维成象系统的侧视图。

参考图1，立体成象光学系统10包括立体光学装置18，它从共同观察的物体14形成独立的右视和左视光束20、22。光学装置18将左和右光束20、22导向图象拾取设备32的表面34，在那里分别构成物体14的左和右图象。左右图象在图象拾取设备32上聚焦的质量和左右图象在设备32的表面34上彼此重合的程度直接相关。

照相机控制单元35包括控制图象拾取设备32的标准电路。照相机控制单元35从图象拾取设备32得到图象并转换为数字电信号。图象处理器38接收来自照相机控制单元35的表示左右图象的电信号。(在一些实施例中，图象处理器38包括在照相机控制单元35中。)

图象处理器38对电信号执行多种处理。例如，图象处理器38使用电信号测量左右图象在图象拾取设备32的表面34上重合的程度(下面将详细描述进行这种操作的两种技术)并在存储器电路39中存储这个值。图象处理器38也进行数字信号处理以及制备用于显示的信号等其它操作。例如，图象处理器38在信号上执行实时“行加倍”，以便为每个所显示的图象提供没有闪烁的60Hz场频。

图象处理器38链接到聚焦机构103，后者包括连接到图象拾取设备32的数控马达。图象处理器38为聚焦机构103提供控制信号40，它表示左右图象的重合程度。聚焦机制103中的马达响应控制信号40，沿着光轴41移动设备32。藉此改变光学装置18和表面34之间的间距，以便调整重合程度——并因此调整左右图象在表面34上的聚焦质量。

图象处理器38向图象分离设备104和显示器105发送处理过的表示左右图象的电信号，它们共同为观察者产生物体14的三维图象。例如，在头戴式观察系统中，图象分离设备104向分开的液晶显示器105发送左右图象，每个显示器只对观察者的一只眼睛是可见的。图象分离设备104和显示器105的其它实施例下面将详细描述。

观察者通过连接到显示器105的用户接口106来控制系统。在优选的实施例中，用户接口106包括与具有光敏屏幕的显示器105一起使用的光笔。观察者通过使用光笔在屏幕上圈出物体的图象来选择要聚焦的物体。然后系统10在图象拾取设备32的表面34上将物体的图象聚焦，下面将详细描述。

在光学装置18中，来自物体14的光通过第一透镜组110到达光圈板111。光圈板111具有右及左光圈114、116，其位置与光轴41对称并靠近它，且沿着图象拾取设备表面34的水平轴。光圈板111中的右左光圈114、116分别独立地限定右光束20和左光束22。光束20、22通过第二透镜组118之后在表面34上形成右左图象。光圈114、116带有由调制器122控制的快门119、120。快门119、120可以是例如，机电器件，如旋转遮门，或者也可以是电光器件，如液晶器件(LCD)快门。

同步电路124使调制器122交替打开(并关闭)快门119、120，使右光束20和左光束22顺序通过透镜组118而送到图象拾取设备32。(在操作过程中，快门119、120的状态(打开及关闭)是互补的。)同步电路124一般是由照相机控制单元35和图象处理器38内含的，但是为了清楚起见将其单独表示。

同步电路124也将图象分离设备104以及显示器105与调制器122同步。例如，在上述的头戴式系统中，同步电路124保证相应的左右图象同时在每个独立的显示器105上显示。另一种图象分离设备104和显示器105的同步在下面描述。同步电路124也将显示器105的显示扫描和照相机控制单元35的输出与图象处理器38的实时图象增强操作(例如行加倍)同步。同步电路124提供的时钟信号还使图象处理器38将从照相机控制单元35到来的信号流分成对应于左右图象的信号。

图象拾取设备32例如可以是一种固态电荷耦合器件(CCD)，它在其表面34的一组光敏象素上接收右及左光束20、22。当右及左光束20、22聚焦在表面34上时，表面34按规定与光学装置18的第二主平面126间距一定距离。(第二主平面是确定光学装置18的焦距的平面。)当光束20、22焦点没对准时，表面24和第二主平面126之间的间距被表示为

。表面34和第二主平面126之间的初始间距是这样选择的：使设备32放置在其运动范围的中心附近，这样设备32可以相对光学装置18在双方向上相等地移动。

再参考图2，图象处理器38先通过比较表面34的可见区200中象素所产生的电信号中的若干部分来控制左右图象的聚焦。区域200是矩形的而且通过直线x＝-a，x＝a，y＝b，及y＝b来限定，这里x和y是表面34的笛卡儿坐标，原点是通过光轴41的(图1)，a和b是实常数。换句话说，表面34边缘附近的象素所接收的图象部分并不用于确定左右图象的重合程度。这是因为观察者一般是这样瞄准系统10的，即物体14的图象占据显示器105的中心，也是表面34的中心。因此当左右图象的最大重合出现在表面34的中心或附近时，物体14的图象就被聚焦了。

参考图3，当用户选择另一个物体聚焦时，可见区200移动，以便新可见区200’内包括新物体的图象。例如，新可见区200’被限制在非矩形区A内。如上所述，用户通过在包括于显示器105中的光敏屏幕上圈出新物体的图象来选择它。当左右图象之间的重合在可见区200’内达到最大时，这时系统10就聚焦了。

当左右图象达到最高程度聚焦时(即，图1中表面34和第二主平面126之间的间距＝s’)，对应于左图象的电信号和对应于右图象的电信号之间的相关性在区域200(或区域200’)内最大化。反过来说，则这些信号组之间的差别最小化。本发明允许使用这两种关系中的任一个来进行自动聚焦。

当距离 改变时，表面34将左图象和右图象在成象平面的近处或远处成象，例如，在图1中标为“A”的位置，光学系统10变为散焦。这就使左图象和右图象被放置得以相反方向远离可见区200(200’)，因此就降低了对应于左右图象的电信号之间的相关性(即增加其差别)。然后通过改变间距

，或者最大化区域200(200’)中信号之间的相关性，或者最小化区域200(200’)中信号的差别，使 达到s’(这样使设备32与物体14共轭)，从而将图象重新聚焦。

图象处理器38确定区域200中电信号的互相关性 如下： $K\left({\tilde{s}}^{\′}\right)={\∫}_{-a}^a{\∫}_{-b}^{b}u(x,y,{\tilde{s}}^{\′})v(x,y,{\tilde{s}}^{\′})\mathrm{dxdy}---\left(1\right)$

这里

是表面34的可见区200内左图象的归一化密度分布，

是表面34的相同区域内右图象的归一化密度分布，由发自照相机控制单元35的连续电信号表示。当使用可见区200’时，积分的范围从(-a，a)和(-b，b)改变到在区域A上积分所需的值。图象处理器把式(1)作为有限求和来实现。

参考图4，图象处理器38使用一个逐步逼近过程聚焦光学系统10。图象处理器38首先接收包括在可见区200(200’)内对应于一部分图象的电信号(例如，对应于右图象的右信号)(步骤300)。图象处理器38在存储电路39中存储右图象(图1)。图象处理器38接收了对应于左图象的下一个电信号(左信号)之后(步骤302)，将可见区200(200’)内对应于每个象素的左信号乘以所存储的对应于相同象素的右信号，然后将可见区200(200’)内所有象素上的结果相加，得到(步骤304)，这里n是重复次数。图象处理器38第一次计算

时，重复次数n为0。图象处理器38将这个值

存储在存储电路39中。

然后图象处理器38将

与预置的门限值 做比较，它表示当左右图象聚焦时所得到的相关性的最小值。门限

的选择是能保证有给定的焦深。如果 等于或超过门限

，图象就聚焦并且处理结束。但是，如果相关性还没有达到门限，图象处理器38就检查是否是第一次计算

，即n是否为0(步骤308)。因为在这个例子中n为0，所以图象处理器38产生一个控制信号40，使聚焦机构103中的马达以一个任意方向(方向1)移动图象拾取设备32(步骤310)。

重复次数n递增1(步骤312)，图象处理器38从照相机耦合单元35接收一对新的后续的左右信号。然后图象处理器38使用这对新信号计算

，并将

与 比较。如果

等于或超过

图象处理器就发送一个新控制信号40，关闭聚焦机构103，使马达停止移动图象拾取设备32(步骤314)。如果 还没有达到 图象处理器38就将

与前一个存储值

比较(步骤316)。如果新值

超过旧值

，图象处理器38就维持控制信号40，使聚焦机构103在相同的方向上移动图象拾取设备32(步骤318)。如果

小于

，图象处理器38产生一个新的控制信号40，使机构103在相反方向上移动图象拾取设备32(步骤320)。然后图象处理器38回到步骤312，并重复该处理直到相关性超过门限并且图象聚焦为止。

因为每次重复之间的时间很短，图象处理器38实际上是瞬时地且连续地计算着相关性。因此，图象处理器38不需要在各次重复之间停止聚焦机构103移动图象拾取设备32。通过用这种方式连续计算并比较

，图象处理器38可快速地检测图象检测器32的任何散焦，并通过使聚焦机构103快速补偿散焦来响应。当例如光学系统被用户移动时，会使物体14和光学装置18之间的距离改变，从而出现散焦。图象处理器38在它计算

时也使用了已知的取均值和门限技术，以防止对来自单元35的电信号中的噪声和抖动过于敏感。

其它实施例都在权利要求的范围之内。

例如，聚焦机构103可以包括步进马达，每次由控制信号40启动时就以固定距离(d)移动图象拾取设备32。或者，图象处理器38发送控制信号40，使步进马达改变该距离(d)。例如，当相关性接近门限时，图象处理器38使步进马达减少距离d，以便更精确地定位最大相关的位置。

当相关性超过门限时聚焦过程不必结束。相反，聚焦可以继续，直到达到固定次数的重复(n)为止。最大重复次数应该选择得足够高以保证图象处理器38有足够时间找到最大相关性。

参考图5，图象处理器38另外也可以通过在可见区200(200’)上使左图象和右图象之间的差值量度

为最小来控制聚焦。 被定义为： $D\left({\tilde{s}}^{\′}\right)={\∫}_{-a}^a{\∫}_{-b}^b|u(x,y,{\tilde{s}}^{\′})-v(x,y,{\tilde{s}}^{\′})|\mathrm{dydx}---\left(2\right)$

(当使用可见区200’(图3)时，积分范围改变到区域A所需的值。)

图象处理器38以类似于图4中所示的方式聚焦光学系统10(图5中使用相同的参考号表示图4中相同的步骤)。接收了右及左信号(步骤300和302)之后，图象处理器38计算 (步骤400)。然后将

与预置的门限

相比较，该门限的选择要保证有给定的焦深(步骤402)。如果

小于或等于 ，处理就结束。但是，如果

大于 ，图象处理器38就指示聚焦机构103在任意方向上移动图象拾取设备32(步骤310)，并计算下一个值 。图象处理器38然后比较

和 (步骤404)。如果

小于前一个值

图象处理器38就使聚焦机构103继续在相同的方向上移动图象拾取设备32(步骤318)。如果 的新值超过了前一个值，图象拾取设备32就在相反方向上移动(步骤320)。图象处理器38继续以类似于结合图4所描述的方式处理左及右图象，直到差值函数

落在门限Dmin(S′)以内。

参考图6和7，在左及右图象最大程度地聚焦之后，(例如通过任何一个这里所描述的技术)，图象处理器38执行测距(确定物体14沿着光轴41距光学装置18的距离Z₁)以及影象测量(确定物体14在垂直于光轴41的平面内的面积和位置)如下。

从物体14到光学装置18的第一主平面126’的物距s(也见图1)由下式给出：

1/s′＝1/f+1/s；或， $s=\frac{s^{\′}f}{f-s^{\′}}---\left(3\right)$

这里对于实物s是负的，s’是当系统10聚焦时光学装置18的第二主平面126到图象拾取设备32表面34的距离，而f是光学装置18的焦距。因此，物距s可以从光学装置18的焦距f和聚焦的距离s’得到。一旦得到了s，从光学装置18的末端500到物体14的距离就可以通过从s中减去第一主平面126’到光学装置18末端500之间的距离D来计算。

光学装置18的光学特性在任何特定的立体成象系统10的操作过程中都是固定的。因此，与测距有关的所有参数(例如，主平面126、126’之间的间距、第一主平面126’相对于末端500的位置、以及焦距f)都可以从透镜设计中得到并存储在存储器电路39中。或者，焦距可以在光学装置18的最初校准过程中确定。

在使用中象距s’对每个显示在显示器105上的新物体14的过程中进行测量。一般要通过将一个距离检测器件502(例如一个光纤传感器)放置在图象拾取设备32上来实现。距离检测器件502是连接到聚焦机构103(图1)上的。或者，距离检测器件502可放置在光学装置18中，或者直接连接到图象处理器38。

一旦系统被聚焦，距离检测器件502找到距光学装置18近端504的距离并将距离值发送到图象处理器38，图象处理器38将该值存储在存储器电路39中。然后，图象处理器38通过将从第二主平面126到光学装置18近端504的距离加到检测器件502所发送的距离值上来计算象距s’。

或者，当带有固定距离步长(d)的步进马达用于聚焦机构103中时，图象拾取设备32相对于光学装置18的位置是通过跟踪图象拾取设备32在聚焦过程(即，在图4或图5中所示的过程中)中如何移动而找到的。如果图象拾取设备32的起始位置在校准过程中做了记录，那么通过分析聚焦过程的每次重复中步进马达在哪个方向上移动就可以找到当系统10聚焦时它的位置。

在理论上，图象处理器38可以从存储的s’和f值计算物距，如式(3)所示。但是，当物距(s)比象距(s’)大得多时，因为s’值的任何很小的误差都能导致所计算的s值出现不可接受的大误差，因此不能使用式(3)。这可以通过对式(3)微分来看出，微分(3)得到： $\frac{\mathrm{ds}}{s}=\frac{{(s+f)}^2}{{\mathrm{sf}}^2}{\mathrm{ds}}^{\′}---\left(4\right)$

这里ds是物距的绝对误差，ds/s是物距的相对误差，而ds’是象距的绝对误差，对于任何给定的距离检测器件502，ds’是常数。

式(4)表示，对于恒定的象距误差ds’，当s接近无限大时，相对误差ds/s也增加到无限大。(焦距f不精确的影响可以用类似方式确定；但是，因为f可以通过校准或其它方式以高精确度测量，因此它一般不是很重要的误差源。)

可以在给定的相对误差ds/s下测定物距s的范围是有限的，这如下所示。假设焦距f和象距s’的误差是常数，我们假定s＝-Kf，这里K是个正常数。在式(4)中代入s，我们得到： $\frac{{(k-1)}^2}{k}=-\frac{f}{{\mathrm{ds}}^{\′}}-\frac{\mathrm{ds}}{s}---\left(5\right)$

将相对误差绝对值|ds/s|的最大可接受值定义为D_max，我们得到： $\frac{{(k-1)}^2}{k}<c---\left(6\right)$

这里 $c\&equiv;\frac{f}{\left|{\mathrm{ds}}^{\&prime;}\right|}{D}_{\max }$

而且c是正常数。从式(6)中解k，给出： $(c/2+1)-\sqrt{{(c/2+1)}^2-1}<k<(c/2+1)+\sqrt{{(c/2+1)}^2-1}---\left(7\right)$

代入物距|s|＝kf，得到： $f(c/2+1)-f\sqrt{{(c/2+1)}^2-1}<\left|s\right|<f(c/2+1)+f\sqrt{{(c/2+1)}^2-1}---\left(8\right)$

式(7)中k的下界小于1，表示物距|s|的大小(式(8))可以小于焦距f。在这种情况为不可能时，可以找到物距s更精确的下界。例如，在多数内窥镜中，光学装置18的前端504和前主平面126’之间的距离D大于1.3f，因此式(7)的左边不能确定操作范围的下界。实际上，内窥镜中的最小物距|S|_min由聚焦机构103所允许的最大象距S’_max来限定。式(3)表示： ${\left|s\right|}_{\min }=\frac{{s^{\&prime;}}_{\min }f}{{s^{\&prime;}}_{\min }-f}---\left(9\right)$

因此，在内窥镜中物距可接受的范围由下式提供： $\frac{{s^{\&prime;}}_{\min }f}{{s^{\&prime;}}_{\min }-f}<\left|s\right|<f\&lsqb;(c/2+1)+\sqrt{{(c/2+1)}^2-1}\&rsqb;---\left(10\right)$

在一般应用中，物距的最大相对误差限制在5％(D_max＝0.05)，象距的绝对误差是0.025mm(ds’＝0.025mm)，光学装置18具有5mm的焦距(f＝5mm)而且最大象距是20mm(s’_max＝20mm)。使用式(6)和(10)，以5％精度确定的物距在如下范围内：

6.7mm＜|s|＜59.6mm                           (11)

这是大多数内窥镜应用所复益的范围。

在操作中，用户在显示器105上观察立体图象。一旦自动聚焦完成，距离检测器件502确定s’的值并将这个值发送到图象处理器38，然后该处理器用式(3)计算s。图象处理器38将s值转换为物体14距光学装置18末端500的距离，并将这个值在显示器105上显示给用户。

然后，如上所述，用户可以在显示器105上选择另一个物体14’(图6)，通过描绘出物体14’的区域对其聚焦。然后整个自动聚焦以及测距过程针对新物体14’重复。这是通过计算物体14’的图象在所出现的图象拾取平面32的表面34的一部分(例如，在图3所示的部分200’)中左右图象的相关性来完成的。然后，图象处理器38使用图4或图5中所示的过程，将物体14’在区域200’中的图象聚焦。或者，移动光学系统10直到物体14’的图象落在图象拾取设备32的表面34中央，例如，通过保证物体14’显示在显示器105的中央。然后图象处理器38进行聚焦过程，将物体14’在区域200中的图象聚焦。

图象处理器38按照上面描述的方式确定并存储物体14’沿着光轴41的物距Z₂。然后图象处理器38通过将两个存储的物距Z₁和Z₂相减找到两个物体14、14’之间沿着光轴41的距离，并将这个值在显示器105上向用户显示。

在内窥镜应用中，常常希望使用一个合适的固定物以避免测距过程中内窥镜的移动。例如，在测距过程中可以使用机械手或其他合适的设备使内窥镜保持不动。

参考图7和8，图象处理器38进行影象测量，以便在物面506上定位物体14投影的坐标(即，包括物体14的平面垂直于光轴41并平行于图象拾取设备32的表面34)。在一阶近似中，而且没有径向失真时，在物面中物体14的极半径(R)是：R＝r_p/m

这里 $R=\sqrt{X^2+Y^2};r_P=\sqrt{x_p^2+y_p^2};m=\frac{f}{s+f}---\left(12\right)$

这里X和Y是物体14在物面中的坐标，r_p是图象拾取设备32表面34上虚象的极坐标，x_p和y_p是图象拾取设备32的表面34上虚象的坐标，而m是光学装置18的旁轴放大倍数。图象拾取设备32表面34和物面都在它们的原点与光轴41相交。极半径R和r_p是平行的，即，r_p相对于x构成的角度和R相对于X构成的角度相等。R和r_p一般选择为分别落在物体14及其图象的中央附近。

一旦完成了测距并找到物距s，图象处理器38将物体14在图象平面中的极半径(使用式(12))转换为物体14在物面中的极半径R。图象处理器38可以类似地将定义物体14的图象轮廓的点的位置从图象平面转换到物面。

当图象的径向失真很大时(例如，在内窥镜应用中)，式(12)修改为： $R=\frac{r}{m(D_r+1)}=\frac{r(s+f)}{f(D_r+1)}$

这里 $D_r=\frac{r-r_p}{r_p}$

而且 $r=\sqrt{x^2+y^2}$

这里r是图象拾取设备32的表面34上实际(失真的)图象的极半径，x和y是实际图象在表面34上的坐标，r_p是相应的虚(旁轴的)象的极半径，Dr是径向失真系数。Dr对于给定的图象拾取设备32是固定的。例如，通过对放置在栅格上的物体14成象并将显示器105上相应的图象与物体14相比较。

在聚焦和测距完成之后，图象处理器38从物体14的极半径R和r与图象平面上x轴所成的极角(Θ)确定其位置(X，Y)。因为测距也提供物体14沿着光轴41(相当于物体14的z坐标)的距离，物体14的位置就完全确定了。

一旦找到了两个物体14的坐标，图象处理器38就找到了物体14、14’之间的实际距离，即由[(X₁-X₂)²+(Y₁-Y₂)²+(Z₁-Z₂)²]的平方根给出的距离，这里(X₁，Y₁，Z₁)是第一物体14的坐标，而(X₂，Y₂，Z₂)是第二物体14’的坐标。此外，如上所述，在用户在显示器105上通过经用户接口106圈定物体轮廓而选择特定的物体14之后，图象处理器38就对于一组落在轮廓上的点找到极半径R。然后图象处理器38使用下列公式确定物体14投影在物面上的面积(A)： $A=\frac{{(s+f)}^2}{f^2}\&Integral;{\&Integral;}_{\mathrm{\&Sigma;}}\frac{1}{{(D_r+1)}^2}\mathrm{dxdy}---\left(14\right)$

这里∑是图象的面积。图象处理器38用离散求和实现式(14)。

参考图9，上面描述的测距和影象测量技术也可以在二维图象系统10’例如摄象机上进行。从物体14接收的光构成图象拾取设备32上单一的图象，它可以用任何常规的方式聚焦。照相机控制单元35驱动图象拾取设备32，图象处理器38进行上面描述的测距和影象测量功能。二维显示器105’(例如，电视监视器)显示聚焦的图象、以及到物体的距离、物体在物面上的位置、和物体投影在物面上的面积。观察者通过用户接口106与图象系统10’交互作用。

在其它实施例中，聚焦机构103连接成能相对于图象拾取设备32移动光学装置18，或聚焦机构103连接成能在相反方向上移动光学装置18和图象拾取设备32。如果光学装置18包括变焦透镜结构，则聚焦机构103连接成能移动光学装置18的内部(而不是整个装置18)以改变其焦距。

本发明可以结合多种图象分离设备104和显示器105而使用。例如，在一些实施例中，图象分离设备104将右及左信号发送到间距很近、对观察者的双眼都可见的分离的显示器105。

在其它系统中，左及右图象顺序地显示在包括单个监视器的显示器105上。图象分离设备104带有用户所佩戴的在每只眼前有一个快门(例如，液晶快门)的“有源眼镜”。(在这个实施例中，图象分离设备104没有如图1所示连接到图象处理器38)。快门与显示在监视器上的图象同步，使得当左图象显示在屏幕上时左快门打开而右快门闭合，使观察者的左眼只看见左边显示的图象。当显示右图象时，右快门打开而左快门闭合，使观察者的右眼只看见右边显示的图象。因为左右图象的切换速率很高，观察者感觉到左右图象在屏幕上是同时显示的。

在其它系统中，观察者戴上具有反向极化透镜的无源眼镜，而且图象分离设备104包括一个放置在显示器105中监视器前面的液晶屏幕。屏幕与显示图象切换速率(帧速率)同步地改变其极化。无源眼镜只能使恰当地极化了的图象到达每个观察者的眼睛，藉此使观察者看到三维图象。这种液晶屏幕的一个例子是由Tektronix公司提供的。

如果使用有源眼镜，同步电路124使眼镜上的快门与快门119、120同速率地在开或关的状态之间交替变化。或者，如果使用有源眼镜，监视器的极化切换速率与快门119、120的切换速率同步。

其它系统(称为自动立体成象显示器的)使用侧面复接技术，其中物体14的两个或多个侧面相邻的视图复接到单个显示器105上。图象分离设备104使显示器105只在有限的方向上发出各相邻的图象，使观察者的每只眼镜看到不同的图象。图象分离设备104是由一个透镜屏幕提供的，在屏幕表面具有柱状的微透镜，将相邻图象在方位角方向上分离。

按时间顺序的侧面复接也是可能的。在这种技术中，侧面相邻的图象连续显示在显示器105上。与图象切换速率(帧速率)同步的图象分离设备104将图象分别导入观察者的眼睛。

Claims (47)

1.在图象拾取设备上使一个物体的立体图象聚焦的方法，包括

使用与所述图象拾取设备有间距的光学器件，将物体的左图象和右图象提供给所述图象拾取设备，以便使所述图象拾取设备产生表示所述左图象的信号和表示所述右图象的信号，

将表示所述左图象的所述信号和表示所述右图象的所述信号相比较，确定所述左图象和所述右图象在所述图象拾取设备上的重合程度，并

改变所述光学器件和所述图象拾取设备之间的间距，以增加所述左图象和所述右图象在所述图象拾取设备上的重合程度。

2.权利要求1的方法，其特征在于，所述的比较包括基于表示所述左图象的所述信号和表示所述右图象的所述信号在所述图象拾取设备上寻找所述左图象和所述右图象之间的相关性。

3.权利要求2的方法，还包括改变所述间距以便使所述相关性达到最大。

4.权利要求2的方法，其特征在于，所述比较还包括，基于表示所述左图象的所述信号和表示所述右图象的所述信号，确定所述左图象在所述图象拾取设备表面一个区域上的归一化密度分布

，与所述右图象在所述表面的所述区域上的归一化密度分布 之间的互相关量度

，使得： $K\left({\tilde{s}}^{\&prime;}\right)=\&Integral;$ $A\&Integral;u(x,y,{\tilde{s}}^{\&prime;})v(x,y,{\tilde{s}}^{\&prime;})\mathrm{dxdy}$

其中A代表所述表面的所述区域的以x、y坐标表示的范围，而

规定了所述光学器件和所述图象拾取设备之间沿着所述图象拾取设备光轴的距离。

5.权利要求1的方法，其特征在于所述比较包括，基于表示所述左图象的所述信号和表示所述右图象的所述信号，确定所述图象拾取设备上所述左图象和所述右图象之间的差别。

6.权利要求5的方法，还包括改变所述间距以使所述差别达到最小。

7.权利要求5的方法，其特征在于，所述比较还包括，基于表示所述左图象的所述信号和表示所述右图象的所述信号，确定所述左图象在所述图象拾取设备表面一个区域上的归一化密度分布 ，与所述右图象在所述表面的所述区域上的归一化密度分布

之间的差别量度 ，使得： $D\left({\tilde{s}}^{\&prime;}\right)={\&Integral;}_A\&Integral;|u(x,y,{\tilde{s}}^{\&prime;})-v(x,y,{\tilde{s}}^{\&prime;})|\mathrm{dydx}$

其特征在于A表示所述表面的所述区域的以x、y坐标表示的范围，而 规定了所述光学器件和所述图象拾取设备之间沿着所述图象拾取设备光轴的距离。

8.权利要求1的方法，还包括只对在所述图象拾取设备表面选定区域中收到的所述左图象和所述右图象的部分进行所述比较。

9.权利要求8的方法，其特征在于所述选定区域是所述表面的中央区域。

10.权利要求1的方法，其特征在于，改变所述光学器件和所述图象拾取设备之间间距的步骤包括至少要移动所述光学器件。

11.权利要求1的方法，其特征在于，改变所述光学器件和所述图象拾取设备之间间距的步骤包括至少要移动所述图象拾取设备。

12.权利要求1的方法，其特征在于，该提供步骤包括以不同时间间距提供所述左图象和所述右图象给所述图象拾取设备的公共器件，以便所述公共器件在所述不同时间间距中，产生表示所述左图象的所述信号和表示所述右图象的所述信号。

13.权利要求12的方法还包括顺序切换所述左图象和所述右图象，以便连续提供所述左图象和所述右图象给所述图象拾取设备的所述公共器件。

14.权利要求1的方法，其特征在于重复步骤(a)、(b)和(c)以便使所述相关性达到最大。

15.权利要求5的方法，其特征在于重复步骤(a)、(b)和(c)以便使所述差别达到最小。

16.一个立体成象设备，包括

产生物体的左图象和右图象的光学器件，

一个与所述光学器件有间距的图象拾取设备，它接收所述左图象和所述右图象并产生表示所述左图象的信号和表示所述右图象的信号，

一个处理器，将表示所述左图象的所述信号和表示所述右图象的所述信号相比较，以便确定所述左图象和所述右图象是否聚焦在所述图象拾取设备上，以及

响应所述比较以改变所述光学器件和所述图象拾取设备之间的间距的装置。

17.权利要求16的设备，其特征在于，所述处理器包括基于表示所述左图象的所述信号和表示所述右图象的所述信号从而在所述图象拾取设备上确定所述左图象和所述右图象之间的相关性的相关器。

18.权利要求17的设备，其特征在于所述装置改变所述间距以便使所述相关性达到最大。

19.权利要求17的设备，其特征在于所述相关器还适合于：基于表示所述左图象的所述信号和表示所述右图象的所述信号，确定所述左图象在所述图象拾取设备表面一个区域上的归一化密度分布

、与所述右图象在所述表面的所述区域上的归一化密度分布 之间的互相关量度

，使得： $K\left({\tilde{s}}^{\&prime;}\right)={\&Integral;}_A\&Integral;u(x,y,{\tilde{s}}^{\&prime;})v(x,y,{\tilde{s}}^{\&prime;})\mathrm{dydx}$

其中，A代表所述表面的所述区域的以x、y坐标表示的范围，而

规定了所述光学器件和所述图象拾取设备之间沿着所述图象拾取设备光轴的距离。

20.权利要求16的设备，其特征在于，所述处理器包括一个比较器，它基于表示所述左图象的所述信号和表示所述右图象的所述信号，确定所述图象拾取设备上所述左图象和所述右图象之间的差别。

21.权利要求16的设备，其特征在于，所述机构适合于改变所述间距以使所述差别最小化。

22.权利要求20的设备，其特征在于，所述比较器还适合于：基于表示所述左图象的所述信号和表示所述右图象的所述信号，确定所述左图象在所述图象拾取设备表面一个区域上的归一化密度分布

，与所述右图象在所述表面的所述区域上的归一化密度分布 之间的差别量度 ，使得： $D\left({\tilde{s}}^{\&prime;}\right)$ $={\&Integral;}_{A|}\&Integral;|u(x,y,{\tilde{s}}^{\&prime;})-v(x,y,{\tilde{s}}^{\&prime;})|\mathrm{dydx}$

其中，A代表所述表面的所述区域的以x、y坐标表示的范围，而

规定了所述光学器件和所述图象拾取设备之间沿着所述图象拾取设备光轴的距离。

23.权利要求16的设备，其特征在于，所述处理器适合于只对在所述图象拾取设备表面选定区域中收到的所述左图象和所述右图象部分进行所述比较。

24.权利要求23的设备，其特征在于所述选定区域是所述表面的中央区域。

25.权利要求16的设备，其特征在于所述机构连接到所述光学器件，并通过至少移动所述光学器件改变所述间距。

26.权利要求16的设备，其特征在于所述机构连接到所述图象拾取设备，并通过至少移动所述图象拾取设备改变所述间距。

27.权利要求16的设备，其特征在于所述光学器件包括以不同时间间距把所述左图象和所述右图象加到所述图象拾取设备的公共器件上的元件，以便所述公共器件在所述不同时间间距中，产生表示所述左图象的所述信号和表示所述右图象的所述信号，所述处理器基于所述不同时间间距内所述公共器件产生的所述信号进行所述比较。

28.权利要求27的设备，其特征在于，所述光学器件还包括

从物体接收光的透镜，以及

一个左光圈和一个右光圈，用于把所述透镜接收的光规定为一个左光束和一个右光束，当入射在所述图象拾取设备上时所述左光束产生所述左图象，当入射在所述图象拾取设备上时所述右光束产生所述右图象，

所述元件包括多个快门，用于顺序阻断和通过所述左光束和所述右光束，以便相继对所述图象拾取设备的所述公共器件提供所述左图象和所述右图象。

29.权利要求28的设备，还包括所由述处理器控制的一个调制器，它交替打开所述多个快门以便在所述不同时间间距中相继把所述左图象和所述右图象加到所述图象拾取设备的所述公共器件上。

30.权利要求28的设备，其特征在于所述光学器件还包括第二透镜，用于将所述左图象和所述右图象导向所述图象拾取设备的所述公共器件。

31.权利要求16的设备，其特征在于所述图象拾取设备至少包括一个固态器件，用于接收所述左图象和所述右图象。

32.权利要求31的设备，其特征在于所述至少一个固态器件是电荷耦合器件。

33.权利要求16的设备，其特征在于所述设备是一个内窥镜。

34.一种测距方法，包括：

使用与所述图象拾取设备有间距的光学器件将物体的图象加到图象拾取设备上，所述光学器件具有一个选定的焦距，

将所述图象聚焦在所述图象拾取设备上，

当所述图象聚焦时，检测从所述图象拾取设备到所述光学器件之间的象距，

基于所述象距和所述焦距，确定从所述光学器件到所述物体的距离。

35.权利要求34的方法，其特征在于将所述图象聚焦是用权利要求1的方法来完成的。

36.权利要求34或权利要求35的方法，其特征在于，所述确定所述距离的步骤包括找到从该物体到光学器件的第一主平面的距离。

37.权利要求34或权利要求35的方法，还包括重复所述提供、聚焦、检测、以及确定等步骤，以找到从光学器件到第二物体的距离。

38.权利要求37的方法，还包括确定到首先提到的物体的距离和第二物体的距离之间的差。

39.权利要求34或权利要求35的方法，还包括给图象拾取设备提供第二图象，并将第二图象和首先提到的图象聚焦在图象拾取设备上。

40.权利要求34或权利要求35的方法，还包括：

在所述图象拾取设备表面上确定图象的位置，

从所述位置、所述焦距和所述距离，找到物体在与光学器件的光轴相垂直的平面内的位置。

41.权利要求40的方法还包括，重复所述确定和寻找步骤，以便在与光轴垂直的平面内找到第二物体的距离和位置，并确定首先提到的物体和第二物体之间的距离。

42.权利要求40方法，其特征在于找到平面内物体的位置包括进行如下运算：

R＝r/m

这里 $R=\sqrt{X^2+Y^2};r=\sqrt{x^2+y^2};m=\frac{f}{s+f}$

这里X和Y是平面上物体的坐标，而且图象拾取设备的光轴定义所述x和y坐标的原点，R是物面中物体的极半径，r是图象拾取设备表面上图象的极半径，x和y是图象的坐标。

43.权利要求40的方法还包括纠正图象的后失真。

44.权利要求43方法还包括找到光学器件的失真系数。

45.权利要求40的方法还包括，在所述平面中确定所述物体上的多个点的位置，并基于所述多个点的所述位置确定所述物体的面积。

46.一个进行测距的光学系统，包括：

一个图象拾取设备，

一个与所述图象拾取设备有间距的光学器件，该光学器件对图象拾取设备的表面提供物体的图象，

将图象在图象拾取设备表面上聚焦的装置，

当所述图象聚焦时，检测从所述图象拾取设备到所述光学器件之间的象距的传感器，和

基于所述象距和光学器件的焦距、确定从所述光学器件到所述物体的距离的处理器。

47.一种影象测量方法，包括：

使用与图象拾取设备在光轴方向有间距的光学器件向所述图象拾取设备的表面提供物体图象，

将所述图象聚焦在所述图象拾取设备上，

确定所述图象在所述表面上的位置；

确定所述物体在与所述光轴相垂直的平面上的位置。

Images