CN206559544U - 双目相机 - Google Patents

Abstract

本申请公开了一种双目相机，其包括第一和第二成像镜头以及第一和第二图像传感器，还包括分别设置在第一和第二成像镜头物侧的第一和第二光路转换装置、相对于第一成像镜头固定的校准用标记和设置在校准用标记和第二光路转换装置之间的校准用镜头，校准用标记能够经由校准用镜头和第二成像镜头成像在第二图像传感器上。根据本实用新型，有利于方便、有效地检测双目相机需要重新标定的状态。

Description

双目相机

技术领域

本实用新型总体地涉及立体相机装置，具体地涉及一种双目相机装置。

背景技术

双目相机是一种日益受关注的能够提供立体视觉的设备。基于双目相机获得的图像，通过双目视差原理，能够计算出双目相机所拍摄到的物体相对于相机的三维空间位置。

在三位空间位置计算中，双目相机的两个成像镜头之间的位置关系影响很大，因此该位置关系需要进行校准和标定。在初次校准和标定之后，由于双目相机中两个成像镜头之间的连接不可能是理想的刚体连接，所以在使用过程中，机械连接会发生缓慢的形变，导致双目相机的原始标定参数失效。通常的做法一种是返厂重新标定，另一种做法是动态标定。返厂重新标定会影响双目相机的使用。动态标定通常是实时提取双目图像中的特征点进行重标定，但是在特征不明显的情况下，往往会导致动态标定失败，甚至会恶化标定结果。

因此，一方面，当双目相机需要重新校准和标定时，人们需要及时了解到这一情况；另一方面，还需要一种能够不影响双目相机使用又能有效校准和标定的办法。

实用新型内容

本实用新型的目的是提供一种双目相机，其能够至少部分地解决现有技术中的问题。

根据本实用新型的第一方面，提供一种双目相机，其包括第一成像镜头和第二成像镜头以及分别用于感测第一成像镜头和第二成像镜头成像得到的图像的第一图像传感器和第二图像传感器，还包括：第一光路转换装置，其设置在所述第一成像镜头的物侧，用于接收进入双目相机的第一入射光束并提供投射向所述第一成像镜头的第一成像光束和方向不同于第一成像光束的校准用光束；校准用标记，其设置在所述校准用光束的光路中以便被其照明，并且相对于所述第一成像镜头固定；第二光路转换装置，其设置在所述第二成像镜头的物侧，用于接收进入双目相机的第二入射光束并使之至少部分地成为投射向所述第二成像镜头的第二成像光束；以及校准用镜头，其设置在所述校准用标记和第二光路转换装置之间，用于对所述校准用标记进行成像，其中，所述第二光路转换装置还用于接收所述校准用镜头出射的光束并使之至少部分投射向所述第二成像镜头，从而使得所述校准用标记经由所述校准用镜头和第二成像镜头成像在第二图像传感器上。

所述第一光路转换装置可以为分束镜或者通过机械或电学方式控制以选择性地透射和反射的光学装置。

所述第二光路转换装置可以为分束镜或者通过机械或电学方式控制以选择性地透射和反射的光学装置。

所述校准用标记可以为设置在第一光路转换装置与校准用镜头之间的板状件，其上包括透光部分和不透光部分，从而形成校准用图案。

或者，所述校准用标记可以为形成在所述第一光路转换装置的光学表面上的校准用图案。

在一些实施方式中，所述第一光路转换装置可以包括被所述第一入射光束照射的光学表面，所述校准用标记为形成在该光学表面上的校准用图案。优选，所述光学表面包括第一部分和第二部分，所述第一部分使照射到其上的所述第一入射光束的至少一部分成为所述校准用光束，而所述第二部分使照射到其上的所述第一入射光束基本上全部投射向第一成像镜头，所述第一部分和第二部分形成所述校准用图案。所述第二部分可以为半透半反部分。

在另一些实施方式中，所述第一光路转换装置可以为棱镜型分束镜，所述校准用标记为形成在所述棱镜型分束镜的出射表面上的校准用图案，其中所述校准用光束从该出射表面出射。优选地，所述校准用图案是通过蚀刻制作在所述出射表面上的。

优选地，所述校准用镜头相对于所述第一成像镜头和第一光路转换装置固定，或者相对于第二成像镜头和第二光路转换装置固定。

根据本实用新型实施例的双目相机，通过设置相对于第一成像镜头固定的校准用标记，并使之通过第二成像镜头成像在第二图像传感器上，所以校准用标记成像所得的图像可以作为反映两个成像镜头相对位置的一个参考标识。校准用标记和校准用镜头等部件内置于双目相机的内部，不增大相机的外形。此外，通过第一光路转换装置，使得无需增加额外的光源就能够实现校准用标记的照明。另外，校准用镜头与第二成像镜头的配合使用，使得能够对校准用标记良好地成像，增加了光路的调节灵活性。

此外，根据本实用新型实施例的双目相机非常有利于动态获得可靠的特征点，并使得能够自动计算和校准双目相机的两个成像镜头的相对位置关系。

附图说明

从下面结合附图对本实用新型实施例的详细描述中，本实用新型的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1为根据本实用新型第一实施例的双目相机的示意图；

图2为根据本实用新型第二实施例的双目相机的示意图；

图3为根据本实用新型第三实施例的双目相机的示意图；

图4为可应用于图3所示双目相机的第一光束转换装置/校准用标记的示意图；

图5示出了根据本实用新型第四实施例的用于双目相机的自校准方法的一个示例。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为根据本实用新型第一实施例的双目相机100的示意图，其中仅示出了与发明相关的光学成像部分。双目相机100包括第一成像镜头11、第一图像传感器12、第二成像镜头13以及第二图像传感器14。第一和第二成像镜头11、13具有预定的相对位置。如图所示，同一物体通过第一和第二成像镜头11、13分别成像到第一图像传感器12和第二图像传感器14，而且所成图像相对于图像中对应光轴O1和O2的中心位置具有不同的偏移x1和x2。基于该不同的偏移以及两个镜头的相对位置参数，可以计算出被成像物体相对于相机的空间位置。

常规地，如图1所示，第一和第二成像镜头11、13可以并排布置，即两者的光轴O1和O2相互平行且彼此偏离一定距离d，同时两个镜头在光轴方向上的位置是一致的。当然，随着双目相机的发展，第一和第二成像镜头11、13可以具有其它的相对位置关系。镜头的相对位置关系通过一些参数来表征。当镜头位置校准之后，确定这些参数的过程又称为标定。

由于双目相机的两个镜头的相对位置是空间位置计算的基础，所以无论具体的相对位置如何，希望尽可能刚性地保持这种相对位置关系。另一方面，实际上，刚性地保持两个镜头的相对位置是非常困难的，所以人们需要及时地了解镜头的相对位置变化的程度。为此，本实用新型的发明人提出，在双目相机的光路中植入校准用标记和用于对校准用标记成像的校准用镜头，该成像的效果可以反映和显示两个镜头的相对位置关系。为了实现上述“植入”，根据本实用新型的双目相机还包括光路转换装置，以便利用已有的成像光束对校准用标记进行照明，以及便于利用已有的图像传感器，从而不再需要额外的光源和图像传感器。

具体地，在图1所示第一实施例中，双目相机100进一步包括第一光路转换装置20、校准用标记30、校准用镜头40和第二光路转换装置50。

第一光路转换装置20设置在第一成像镜头11的物侧，其接收进入双目相机的第一入射光束a1并提供投射向第一成像镜头11的第一成像光束b1以及方向不同于第一成像光束b1的校准用光束。

根据本实用新型，并不要求第一光路转换装置20同时提供第一成像光束b1和校准用光束。第一光路转换装置20可以在一个时间(例如双目相机的正常使用中)单独提供第一成像光束b1(例如在图1所示构造中全部透射第一入射光束a1)，在另一时间(例如启动镜头位置观测功能时)单独提供校准光束(例如在图1所示构造中全部反射第一入射光束a1)，或者同时提供第一成像光束b1和校准用光束(例如在图1所示构造中对第一入射光束a1是半透半反射的)。第一光路转换装置20还可以配置为实现上述工作方式的组合。

第一光路转换装置20可以为分束镜或者通过机械或电学方式控制以选择性地透射和反射的光学装置。第一光路转换装置20也可以是局部反射局部透射的光学元件或者任何其它适合的元件。

作为示例，图1示出由棱镜型分束镜(例如偏振分光棱镜(PBS))构成的第一光路转换装置20。该示例中，第一光路转换装置20在其分束面20a上可以实现半透半反射，从而将进入的第一入射光束a1分为第一成像光束b1和校准用光束。

应该理解的是，尽管这里示出的是第一光路转换装置20透射第一入射光束形成第一成像光束而反射第一入射光束形成校准用光束，但是本实用新型并不限于此，第一光路转换装置20也可以根据第一和第二成像镜头11、13的不同布置而通过反射形成第一成像光束、通过透射形成校准用光束。

校准用标记30设置在校准用光束的光路中以便被后者照明，并且相对于第一成像镜头11固定。

在图1所示实施例中，校准用标记30包括设置在第一光路转换装置与校准用镜头之间的板状件，其上包括透光部分和不透光部分，从而形成校准用图案。

第二光路转换装置50设置在第二成像镜头13的物侧，其接收进入双目相机100的第二入射光束a2并使之至少部分成为投射向第二成像镜头13的第二成像光束b2。

校准用镜头40设置在校准用标记30和第二光路转换装置50之间。第二光路转换装置50接收校准用镜头40出射的光束并使之至少部分投射向第二成像镜头13，从而使得校准用标记30经由校准用镜头40和第二成像镜头50成像在第二图像传感器14上。

校准用镜头40可以为单个镜头或者镜头组。本实用新型不限于校准用镜头40的具体形式，只要其能够与第二成像镜头13以将校准用标记30成像到第二图像传感器14上。

此外，在优选的示例中，校准用镜头40相对于第一成像镜头11和第一光路转换装置20固定，或者相对于第二成像镜头13和第二光路转换装置50固定。这样做的目的是保证校准用标记的成像有效、可靠地反映出第一和第二成像镜头的相对位置关系。

类似于第一光路转换装置20，根据本实用新型，第二光路转换装置50也并不必须同时投射第二成像光束b2和校准用镜头40出射的光束。第二光路转换装置50可以在一个时间(例如双目相机的正常使用中)仅投射第二成像光束b2，在另一时间(例如启动镜头位置观测功能时)仅投射校准用镜头40出射的光束，或者同时投射两者。第二光路转换装置50还可以配置为实现上述工作方式的组合。

第二光路转换装置50可以为分束镜或者通过机械或电学方式控制以选择性地透射和反射的光学装置。第二光路转换装置50也可以是局部反射局部透射的光学元件或者任何其它适合的元件。作为示例，图1示出了由平板型分束镜构成的第二光路转换装置50。

由于校准用标记30相对于第一成像镜头11固定，而校准用标记30经由第二成像镜头13被成像，所以当第一和第二成像镜头11、13之间的相对位置变化时，校准用标记30所成的像也发生变化。例如，所成像的位置、大小、清晰度中的一者或多者可能发生变化。

这样，通过校准用标记30的成像情况的变化与否以及/或者变化的程度，可以判断第一和第二成像镜头11、13的相对位置的变化。

而且，镜头相对位置处于校准好的状态时，可以记录下对应的校准用标记30的成像特征以作为参考基准；在镜头相对位置发生变化之后进行校准时，可以参照该参考基准，通过调整镜头的相对位置使得获得符合该参考基准的校准用标记30的成像，来实现双目相机的重新校准。

根据第一实施例的双目相机100中，由于校准用标记30形成为独立可调节的元件，所以对校准光路的调节的灵活性较大。

图2为根据本实用新型第二实施例的双目相机200的示意图。根据第二实施例的双目相机200与根据第一实施例的双目相机100结构基本上相同，不同之处在于：双目相机200中，校准用标记30’不是分立的元件，而是形成为第一光路转换装置20的出射表面20b上的校准用图案，其中校准用光束从该出射表面20b出射。

在一些情况下，构成校准用标记30’的校准用图案可以通过蚀刻制作在出射表面20b上。当然，本实用新型并不限于此，校准用图案也可以通过例如喷涂而绘制在出射表面20b上。

在图2所示示例中，第一光路转换装置20为棱镜型分束镜，而校准用标记30’形成为蚀刻在该棱镜型分束镜的棱镜表面上的校准用图案。

由于将校准用标记30’集成在第一光路转换装置20上，减少了零件数量，同时可以减小由于校准用标记30’的位置误差引入的双目相机的误差。

图3示意性地示出了根据本实用新型第三实施例的双目相机300。根据第三实施例的双目相机300与根据第二实施例的双目相机200的结构基本上相同，不同之处在于：第一光路转换装置20'包括被第一入射光束a1照射的光学表面20'a，校准用标记30"为形成在该光学表面20'a上的校准用图案。

在图3所示示例中，第一入射光束a1照射校准用标记30"的校准用图案，被校准用图案反射的光线可以形成校准用光束。这种情况下校准用标记30"相当于设置于校准用光束的光路的起始端。

尽管图3中将第一光路转换装置20'示出为平板型的元件，但是本实用新型并不限于此。例如当第一光路转换装置20'为棱镜型分束镜时，校准用标记30"可以形成在分束镜两个对合的棱镜的对合表面(即分束面)上。

图4示意性地示出了可应用于图3所示双目相机的第一光路转换装置20'/校准用标记30"。更确切地说，图4示出了形成在第一光路转换装置20'的光学表面20'a上的校准用图案。

如图4所示，光学表面20'a包括第一部分20'a-1和第二部分20'a-2，第一部分20'a-1使照射到其上的第一入射光束a1的至少一部分成为校准用光束，例如第一部分20'a-1可以为半透半反部分；而第二部分20'a-2使照射到其上的第一入射光束a1基本上全部投射向第一成像镜头11，例如第二部分20'a-2可以为完全透射的部分。第一部分20'a-1和第二部分20'a-2形成校准用图案，从而形成校准用标记30"。在图4所示示例中，校准用图案是一个2*2的框。这个图案经过图3中的校准用镜头40、第二光路转换装置50和第二成像镜头13，成像在第二图像传感器14上。优选，当双目相机处于良好的校准状态时，校准用图案在第二图像传感器14上清晰地成像。

下面将结合图5介绍根据本实用新型第四实施例的用于双目相机的自校准方法的一个示例，其中双目相机为根据本实用新型上述实施例的双目相机。

如图5所示，根据本实用新型第四实施例的用于双目相机的自校准方法包括以下处理：

S01:标定双目相机，可以包括标定双目相机的内部参数和/或外部参数。

S02:标定之后，通过第二图像传感器采集校准用标记的图像。在根据本实用新型上述实施例的双目相机中，可以调节第一光路转换装置使之提供校准用光束，并调节第二光路转换装置使之将来自校准用镜头的光束投射向第二成像镜头，从而校准用标记经由校准用镜头和第二成像镜头被成像到第二图像传感器上。优选地，可以调节校准用镜头，使得当双目相机处于正确标定状态下时，校准用标记在第二图像传感器上清晰成像，并采集该图像。

S03:提取校准用标记在该图像中的特征参数并存储作为参考基准。所述特征参数例如可以包括校准用标记在图像中的位置、大小和清晰度中的至少一者，或者可以为任何其它适合的参数。甚至，可以提取整个图像本身作为特征参数，并作为参考基准。

以上处理S01～S03是为了提供合适的参考基准，但是这些处理的具体方式本身仅仅是举例性的，而非根据本实用新型实施例的自校准方法所必需。例如，在标定双目相机的同时，对校准用标记的成像光路进行调节，使得校准用标记在第二图像传感器上清晰成像和/或成像在预定位置上，并以理论计算获得的或者推断得到的有关校准用标记的图像的特征参数，例如成像位置或者成像得到的图形尺寸或清晰度，作为参考基准。

S11:通过第二图像传感器采集校准用标记的图像。在双目相机的使用过程中，为了检测双目相机的两个成像镜头的相对位置关系，可以定时采集校准用标记的图像，也根据使用者的手动触发或者根据双目相机的其它下游设备的反馈的触发而不定时地采集校准用标记的图像。

S12:提取所述图像中的特征参数。与处理S03中类似，这里的特征参数例如可以包括校准用标记在图像中的位置、大小和清晰度中的至少一者，或者可以为任何其它适合的参数。在一些实施情况下，可以提取整个图像本身作为特征参数，并作为参考基准。

S13:将处理S12中获得的特征参数与预先存储的参考基准比较。这里参考基准例如可以是通过上述处理S01～S03获得的，但是本实用新型的自校准方法不限于此。

S14:当特征参数与参考基准的差超过预定阈值时，判断双目相机需要重新标定。特征参数相对于参考基准偏离的程度能够反映校准用标记成像光路的变形程度，而校准用标记成像光路的变形程度与双目相机的两个成像镜头之间的相对位置关系的变化程度是一致或者至少高度地正相关，这使得能够以特征参数与参考基准的差来作为判断双目镜头的相对位置的量值。所述“预定阈值”可以通过计算获得，也可以通过试验来设定合适的值。

S15:判断双目相机需要重新标定之后，发出提示信息，以提示使用者双目相机需要重新标定。提示信息可以是声音、视觉、触觉或其它任何适当形式的。使用者接收到该信息之后，可以及时地对双目相机重新标定。

S16:判断双目相机需要重新标定之后，基于所述特征参数与参考基准计算双目相机的两个成像镜头的相对位置变化量，并对双目相机自动进行重新标定。如以上已经讨论的，特征参数相对于参考基准偏离的程度能够反映校准用标记成像光路的变形程度，从而反映双目相机的两个成像镜头之间的相对位置关系的变化。“基于所述特征参数与参考基准计算双目相机的两个成像镜头的相对位置变化量”可以通过对双目相机的光学系统的构造及其形变进行建模，然后通过计算获得；也可以通过试验来设定特征参数与相对位置变化量的对应关系。然后，根据本实用新型，该自动校准方法根据相对位置的变化量，自动对双目相机进行重新标定。例如，可以通过变换矩阵重新获得双目相机的标定参数。这里重新标定的参数可以仅包括双目相机的内部参数或者其中的部分。

在判断双目相机需要重新标定之后，根据本实用新型实施例的用于双目相机的自校准方法可以包括以上处理S15和S16中的一者或两者，但是并不限于此。自校准方法也可以包括处理S15和S16以外的其它处理，例如仅仅计算双目相机的两个成像镜头的相对位置的变化量，并将这些变化量传送给其他设备(例如与双目相机相连接以处理该双目相机输出的图像的计算机设备)。在一些实施情况下，可以直接向所述其他设备传送提取的特征参数。作为替代，根据本实用新型实施例的自校准方法还可以包括上述处理的不同组合。

以上已经描述了本实用新型的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本实用新型的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种双目相机，包括第一成像镜头和第二成像镜头以及分别用于感测第一成像镜头和第二成像镜头成像得到的图像的第一图像传感器和第二图像传感器，其特征在于，还包括：

第一光路转换装置，其设置在所述第一成像镜头的物侧，用于接收进入双目相机的第一入射光束并提供投射向所述第一成像镜头的第一成像光束和方向不同于第一成像光束的校准用光束；

校准用标记，其设置在所述校准用光束的光路中以便被其照明，并且相对于所述第一成像镜头固定；

第二光路转换装置，其设置在所述第二成像镜头的物侧，用于接收进入双目相机的第二入射光束并使之至少部分地成为投射向所述第二成像镜头的第二成像光束；以及

校准用镜头，其设置在所述校准用标记和第二光路转换装置之间，用于对所述校准用标记进行成像，

其中，所述第二光路转换装置还用于接收所述校准用镜头出射的光束并使之至少部分投射向所述第二成像镜头，从而使得所述校准用标记经由所述校准用镜头和第二成像镜头成像在第二图像传感器上。

2.如权利要求1所述的双目相机，其特征在于，所述第一光路转换装置为分束镜或者通过机械或电学方式控制以选择性地透射和反射的光学装置。

3.如权利要求1所述的双目相机，其特征在于，所述第二光路转换装置为分束镜或者通过机械或电学方式控制以选择性地透射和反射的光学装置。

4.如权利要求1-3中任一项所述的双目相机，其特征在于，所述校准用标记为设置在第一光路转换装置与校准用镜头之间的板状件，其上包括透光部分和不透光部分，从而形成校准用图案。

5.如权利要求1所述的双目相机，其特征在于，所述校准用标记为形成在所述第一光路转换装置的光学表面上的校准用图案。

6.如权利要求5所述的双目相机，其特征在于，所述第一光路转换装置包括被所述第一入射光束照射的光学表面，所述校准用标记为形成在该光学表面上的校准用图案。

7.如权利要求6所述的双目相机，其特征在于，所述光学表面包括第一部分和第二部分，所述第一部分使照射到其上的所述第一入射光束的至少一部分成为所述校准用光束，而所述第二部分使照射到其上的所述第一入射光束基本上全部投射向第一成像镜头，所述第一部分和第二部分形成所述校准用图案。

8.如权利要求7所述的双目相机，其特征在于，所述第二部分为半透半反部分。

9.如权利要求5所述的双目相机，其特征在于，所述第一光路转换装置为棱镜型分束镜，所述校准用标记为形成在所述棱镜型分束镜的出射表面上的校准用图案，其中所述校准用光束从该出射表面出射。

10.如权利要求1所述的双目相机，其特征在于，所述校准用镜头相对于所述第一成像镜头和第一光路转换装置固定，或者相对于第二成像镜头和第二光路转换装置固定。