CN101796817B - 照相机和校准照相机的方法 - Google Patents

Abstract

一种照相机，包括：第一成像部件，其用于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获至少部分地与第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件；激光指示器，其用于在第二视场中提供激光点；以及用于根据第一成像部件或第二成像部件的聚焦距离而相对于彼此调节第一视场和第二视场的装置。所述照相机被配置成使用存储的关系通过距离d确定照相机和被成像的物体之间的距离z。距离z可被用于将IR图像和可见光图像对准。

Description

照相机和校准照相机的方法

技术领域

本发明涉及用于产生IR图像和可见光图像以及包括混合的IR数据和可见光数据的图像的照相机，并且涉及使用这种照相机的方法。

背景技术

近年来，已经提出了通常称为图像融合的用于以各种方式结合IR图像和可见光图像的方法和照相机。典型地，照相机具有用于捕获IR图像数据的成像部件、用于捕获可见光图像数据的另一个成像部件以及用于以可将所述图像数据显示在同一图像中的方式处理所述图像数据的装置。例如在识别热物体或冷物体的位置时这种功能可能是有帮助的。

典型地，可见光图像的视场大于IR图像的视场。在任何情况下，由于捕获这两种图像的光学系统不位于完全相同的位置处，所以视场不同。这是被称为视差的公知光学现象。因此，在显示融合图像或混合图像之前，必须对准这两种图像。此外，由于可见光图像的分辨率典型地与IR图像的分辨率不同，所以必须重新调节(rescale)至少一个图像以使图像相互匹配。

EP专利1299699公开了一种在同一图像中显示可见光图像数据和IR图像数据的方法以及包括用于IR辐射和可见光二者的成像装置的照相机。例如可以根据各像素的温度以多种不同的方式结合所述数据。

该专利还提到需要校正由彼此相距一定距离放置的分别用于IR和可见光的图像捕获装置引起的视差。提出了两种主要的视差校正方法：通过光学装置(例如镜)或者通过电子装置。但没有详细讨论如何通过电子装置校正视差。

国际专利申请WO2006/060746公开了基于与物体相距的距离的视差校正。而与物体相距的距离又由聚焦距离(focusing distance)确定。在WO2006/060746中提出的方法是使用安装在IR镜头上的磁体和安装在光学器件壳体中的霍尔传感器，反之亦然，从而霍尔传感器将测量与磁体的距离并由此测量聚焦距离。通过转动聚焦环(focusring)以本身已知的方式手动进行照相机的实际聚焦。作为选择，还提出了通过相对于一个图像手动移位另一个图像直到它们正确交叠来对准图像。

WO2006/060746中提出了结合IR图像数据和可见光图像数据的多种方式。例如，可以以灰度级(grey scale)示出可见光图像并将IR图像以彩色叠加在该图像上。作为选择，可以显示可见光图像，但是对于温度值超过一定阈值的像素，可以用IR图像像素代替可见光像素。

然而，当对准IR图像和可见光图像时，应该考虑到相对于彼此的图像实际位移不简单的是视差的函数，所述视差是由IR成像部件和可见光成像部件之间的距离引起的位移。典型地，在所述成像部件的光轴之间还存在角度。

尽管纯视差误差总是随着与物体相距的距离减小，但是在此情况下图像之间的实际位移可能根据光轴之间的角度随着与物体相距的距离减小或增加。

本发明提出了一种对准可见光图像和IR图像的方法代替WO2006/060746中提出的方法，特别是提出了一种考虑到图像实际位移而不仅仅是视差误差的方法。

发明内容

在第一方面，本发明涉及一种照相机，该照相机包括：第一成像部件，其用于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获至少部分地与第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件；激光指示器，其用于在第二视场中提供激光点；以及用于根据第一成像部件或第二成像部件的聚焦距离而相对于彼此调节第一视场和第二视场的装置，所述照相机包括：存储器单元，在所述存储器单元中存储了由第二成像部件提供的物体的可见光图像中的固定点和所述激光点之间的距离d与照相机和物体之间的距离z之间的关系；以及处理器，其被配置成使用所存储的关系通过距离d确定照相机和正在被成像的物体之间的距离z。

本发明还涉及一种确定照相机和物体之间的距离z的方法，所述照相机至少包括可见光成像部件和激光指示器，所述方法包括以下步骤：从照相机的激光指示器向物体发射激光束以在该物体上产生激光斑点；使用照相机的可见光成像部件13捕获包括该激光斑点的该物体的可见光图像；确定该图像中的例如该图像的中心的预定点和该激光斑点之间的距离；使用所存储的照相机和物体之间的距离z与图像中的预定点和激光斑点之间的距离d之间的关系通过距离d确定照相机和物体之间的距离z。

因此，根据本发明，可以基于可见光图像中的激光斑点的位置确定与物体相距的距离z。与物体相距的距离z又可以以若干种不同的方式使用。它可被用于使IR光学器件正确地聚焦。因为它可被用于确定可见光图像和IR图像之间的位移，所以它还可被用于适当地对准可见光图像和IR图像。此外，距离z本身可能是受关注的，因此可以例如在显示器上将其直接输出给操作者。

本发明的方法的一个优点是无论IR图像和可见光图像是否被正确聚焦，都可以对准所述图像。这对于难以对其进行聚焦的物体来说特别有利。根据本发明的方法的实施例获得的和与物体相距的距离有关的信息还可被用于照相机的调焦。

优选地，所述处理器被配置成基于距离d确定对准分别由第一成像部件和第二成像部件提供的物体的IR图像和可见光图像所需的位移。

可以将所述关系存储为公式和在该公式中使用的至少一个常数。

本发明的另一方面涉及校准照相机的方法，所述照相机包括：第一成像部件，其用于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获至少部分地与第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件；激光指示器，其用于在第二视场中提供激光点；以及用于根据第一成像部件或第二成像部件的聚焦距离相对于彼此调节第一视场和第二视场的装置，所述方法包括以下步骤：产生物体与照相机相距第一已知距离时该物体的第一可见光图像以及与照相机相距第二已知距离时该物体的第二可见光图像；确定第一可见光图像和第二可见光图像中的预定点和激光指示器之间的距离；基于所确定的距离和第一、第二已知距离确定激光指示器和预定点之间的距离d与照相机和物体之间的距离z之间的一般关系。

根据该另一方面，本发明提供一种校准方法，可以进行该方法，从而能够根据本发明的第一方面确定距离z。

在优选实施例中，所述一般关系被存储在照相机的存储器单元中。

可以采用在以下公式中使用的至少一个常数的至少一个近似的形式确定所述一般关系，所述公式描述图像中的预定点和激光指示器之间的距离d与照相机和物体之间的距离z之间的关系。通常，需要两个常数。

当在本文献中使用时，术语“聚焦距离”是指聚焦镜头相对于另一个固定点的位置，所述另一个固定点例如是另一个镜头或目标中的固定位置。

附图说明

图1示出可以在其中使用根据本发明的对准方法的照相机。

图2是根据本发明实施例的校准照相机的流程图。

图3示出根据图1的照相机中可见光成像部件的光轴和激光束之间的关系。

图4是根据本发明实施例的如何对准图像的流程图。

图5是图像中的预定点和激光斑点之间的距离d同与该物体相距的距离之间的关系的示例曲线。

具体实施方式

图1示意性地示出照相机1，其具有用于捕获IR图像的第一成像部件3和用于捕获可见光图像的第二成像部件5。第一成像部件3包括IR光学器件7，所述IR光学器件7以本身已知的方式将进入的IR辐射聚焦在IR感测元件阵列9上。优选地，该IR光学器件部件包括一个或多个IR镜头10，其中一个可以由调焦电机11驱动。第二成像部件包括可见光光学器件13，所述可见光光学器件13用于以本身已知的方式将进入的可见光聚焦在可见光感测元件阵列15上。由阵列9、15记录的数据被传送到处理单元17，处理单元17处理该数据以产生适当的图像，该图像可以是可见光图像、IR图像或者IR图像和可见光图像的混和图像。优选地，该照相机还包括显示单元19和用于存储所记录的图像数据和/或处理后的图像的至少一个存储器单元21。

该照相机还提供有本身已知的激光指示器23，其可被用于指出图像中的物体。典型地，在一定的容差内，以已知的相互距离提供第一成像部件3和第二成像部件5以及激光指示器23。理想地，光轴应该平行，但是通常它们之间会有微小的角度。

根据本发明，该激光指示器还被用于确定与物体相距的距离，以便正确对准IR图像和可见光图像。理想地，该激光指示器安装在照相机上与IR光学器件7和可见光光学器件13相距一确定距离处，并且指向与它们的光轴平行的方向。实际上，如上所述，所述距离和方向可能在一定的容差内变化。因此，对准这两个图像所需的位移量随与物体相距的距离而变化，不仅是IR光学器件和可见光光学器件13之间距离的函数，还与它们之间的角度有关。该激光指示器必须足够强，以在可见光图像中能够被检测。

根据本发明，处理单元17被具体配置成用于确定位移、重新调节以及对准IR图像和可见光图像所需的其它功能。下面将讨论根据本发明的各方面的确定位移的方法。本领域技术人员将会理解，该方法优选地以存储在处理单元中的或者与处理单元相关的计算机代码的形式实施。

例如可以在照相机校准期间以图2中示出的以下方式通过经验确定图像中激光点的位移：

步骤S21：产生物体与照相机相距第一已知距离z1时该物体的第一可见光图像。

步骤S22：确定第一可见光图像中激光指示器的位置。

步骤S23：典型地相对于图像中的预定点，产生物体与照相机相距第二已知距离z2时该物体的第二可见光图像。

步骤S24：确定第二可见光图像中激光指示器的位置。

步骤S25：针对步骤S2和S4中确定的激光指示器的每个位置，确定图像中的距离与照相机和图像之间的距离之间的关系。激光指示器的位置还可被用于估计作为与物体相距的距离的函数的位移的公式或曲线。该公式或曲线存储在照相机的存储器中，例如存储在存储器单元21中，并且可被用于根据与物体相距的距离z确定IR图像和可见光图像所需的位移，将结合图4讨论这一点。

图3示出照相机的可见光成像部件13的视场，该视场被表示为角度

该成像部件的光轴用虚线示出。实线1代表激光束。正如所看到的，激光束1在与可见光成像部件13的光轴相距一距离处发射并且相对于该光轴成一定的角度α。提供平行于光轴的虚线来示出角度α。图3中示出了关于图2提到的距离z1和z2。正如所看到的，激光束投射在物体上的点与图像中的固定点之间的距离随照相机和物体之间的距离z而变化。当与物体相距第一距离z1时，激光点和固定点之间的距离是第一物体距离d1。当与物体相距第二距离z2时，激光点和固定点之间的距离是第二物体距离d2。

根据公式(1)，和物体相距的给定距离z与可见光图像中的预定点和激光斑点之间的距离d之间的关系基本上如图5中所示

d＝a/z+b  (1)

因此，可以获得距离z：

z＝a/(d-b)

其中a和b是要确定的常数，d是图像中的固定点和激光点之间的距离，而z是照相机和物体之间的距离。常数a取决于激光指示器和光学系统之间的距离，常数b取决于它们的光轴之间的角度。这样，在校准期间确定a和b之后，图像中的固定点和激光点之间的距离d可被用于在正常操作期间确定照相机和成像的物体之间的距离z。如果激光指示器指向应处于聚焦状态的物体，则该距离z将是聚焦距离。因此，该信息可被用于照相机的精确聚焦。针对某一距离镜头的正确聚焦位置可能随镜头的温度而变化。然而，典型地，IR照相机包括为其它目的测量镜头温度的装置。因此，例如处理单元17可以将该温度信息与距离信息一起使用以确定镜头10的正确聚焦距离。

为了增加准确度，可以产生多于两个的不同已知距离的图像，并且可以以本领域技术人员已知的多种方式之一对于该数据进行线性曲线适配。将该关系存储在存储器单元21中，由处理单元17在成像期间使用，用于确定IR图像相对于可见光图像的位移，反之亦然。

图4是在照相机的正常使用期间在校准之后如何对准IR图像和可见光图像的流程图。

步骤S41：从照相机的激光指示器23向物体发射激光束以在物体上产生激光斑点。

步骤S42：使用照相机的可见光成像部件13捕获包括该激光斑点的该物体的可见光图像。

步骤S43：确定该图像中的预定点(例如该图像的中心)和该激光斑点之间的距离d。

步骤S44：使用在步骤S43中确定的距离d来确定照相机和物体之间的距离z。

步骤S45：按照下面解释的，使用距离z确定将在距离z处拍摄的物体的可见光图像和IR图像对准所需的位移量。

可以根据以下公式使用距离z确定IR图像和可见光图像相对于彼此所需要的位移：

Tx ＝ax/z+bx   (3)

Ty＝ay/z+by    (4)

此处Tx表示水平位移，Ty表示垂直位移，ax、bx、ay和by是分别代表水平位移和垂直位移的常数。代替位移，Tx和Ty可以表示可见光图像中的点，IR图像中的例如左上角或中心或其它点将位于该点。

在交付(delivery)之前的校准程序中，针对每个照相机确定常数ax、bx、ay和by。如何进行是本领域中公知的。

图5示出图像中的预定点和激光斑点之间(沿着水平轴)的距离d与照相机和该物体之间(沿着垂直轴)的距离z之间的关系的示例曲线。实际形状随公式(1)和(2)的常数a和b而变化。正如所看到的，以实线示出的该曲线对于d和z的小值具有陡峭部分，并且随着d增加该曲线渐进地接近最大值。在图5中该最大值被表示为虚线。可以使用两组d和z值来近似一曲线以提供对常数a和b的估计。这在照相机的校准期间进行。为了提供更精确的估计，可以使用更多组的d和z值。本领域中已知多种基于数值组获得近似曲线的方法，在此不进行讨论。

进行上述计算所需的公式和常数优选存储在存储器单元21中或者照相机中的另一个存储器单元中。

Claims (7)

1.一种照相机，包括：

第一成像部件，其用于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；

第二成像部件，其用于捕获至少部分地与所述第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件；以及

用于根据所述第一成像部件或所述第二成像部件的聚焦距离而相对于彼此调节所述第一视场和所述第二视场的装置，

其特征在于，所述照相机还包括：

激光指示器，其用于在所述第二视场中提供激光斑点；

存储器单元，在所述存储器单元中存储了由所述第二成像部件提供的物体的可见光图像中的固定点和所述激光斑点之间的距离d与所述照相机和物体之间的距离z之间的关系，其中所述关系是z＝a/(d-b)，常数a取决于激光指示器和所述可见光光学器件的光学系统之间的距离，常数b取决于所述激光指示器的光轴和所述可见光光学器件的光学系统的光轴之间的角度；以及

处理器，其被配置成使用所存储的关系通过距离d确定所述照相机和被成像的物体之间的距离z。

2.根据权利要求1所述的照相机，其中所述处理器被配置成根据以下公式基于所述距离z确定对准分别由所述第一成像部件和所述第二成像部件提供的所述物体的IR图像和可见光图像所需的位移，

Tx＝ax/z+bx，

Ty＝ay/z+by，

其中Tx表示水平位移，Ty表示垂直位移，ax、bx、ay和by是分别代表水平位移和垂直位移的常数。

3.一种校准照相机的方法，所述照相机包括：第一成像部件，其用于捕获第一视场的IR图像数据，所述第一成像部件包括IR光学器件；第二成像部件，其用于捕获至少部分地与所述第一视场交叠的第二视场的可见光数据，所述第二成像部件包括可见光光学器件；激光指示器，其用于在所述第二视场中提供激光斑点；以及用于根据所述第一成像部件或所述第二成像部件的聚焦距离而相对于彼此调节所述第一视场和所述第二视场的装置，所述方法包括以下步骤：

产生物体与所述照相机相距第一已知距离z1时该物体的第一可见光图像以及与所述照相机相距第二已知距离z2时该物体的第二可见光图像；

确定所述第一可见光图像中以及所述第二可见光图像中的预定点和激光指示器之间的距离d1、d2；

基于所确定的距离d1、d2及所述第一和第二已知距离z1、z2确定所述激光指示器和所述预定点之间的距离d与所述照相机和所述物体之间的距离z之间的一般关系，

其中所述一般关系是z＝a/(d-b)，常数a取决于激光指示器和所述可见光光学器件的光学系统之间的距离，常数b取决于所述激光指示器的光轴和所述可见光光学器件的光学系统的光轴之间的角度，d1、d2、z1和z2用于近似一曲线以提供对常数a和b的估计。

4.根据权利要求3所述的方法，还包括将所述一般关系存储在所述照相机的存储器单元中的步骤。

5.一种确定照相机和物体之间的距离z的方法，

所述照相机至少包括包含可见光光学器件的可见光成像部件和激光指示器，

所述方法包括以下步骤：

a.从所述照相机的所述激光指示器向物体发射激光束以在所述物体上产生激光斑点；

b.使用所述照相机的所述可见光成像部件捕获包括所述激光斑点的所述物体的可见光图像；

c.确定所述图像中的预定点和所述激光斑点之间的距离d；

e.使用存储的所述照相机和所述物体之间的距离z与所述图像中的预定点和所述激光斑点之间的距离d之间的关系，通过距离d，确定所述照相机和所述物体之间的距离z，其中所述关系是z＝a/(d-b)，常数a取决于所述激光指示器和所述可见光光学器件的光学系统之间的距离，而常数b取决于所述激光指示器的光轴和所述可见光光学器件的光学系统的光轴之间的角度。

6.根据权利要求5所述的方法，还包括以下步骤：根据以下公式，使用所确定的距离z，确定对准在距离z处的物体的可见光图像和由所述照相机的IR成像部件拍摄的IR图像所需的位移量，

Tx＝ax/z+bx，

Ty＝ay/z+by，

其中Tx表示水平位移，Ty表示垂直位移，ax、bx、ay和by是分别代表水平位移和垂直位移的常数。

7.根据权利要求5所述的方法，其中所述图像中的预定点是所述图像的中心。

Images