CN117406181A - 测距装置的校准方法、测距装置和存储介质 - Google Patents

Abstract

本发明涉及测距装置的校准方法、测距装置和存储介质。一种测距装置的校准方法，测距装置搭载在移动体内部、在透明体介入的情况下拍摄移动体的外部并通过使用从至少两个视点拍摄到的图像之间的视差来计算到被摄体的距离，该方法包括：第一处理，用于在透明体不介入的情况下，拍摄第一校准用被摄体和测距装置之间的距离不同的第一校准用图像和第二校准用图像，并计算用于将根据第一校准用图像和第二校准用图像各自的图像信息所计算出的视差信息转换为距离信息的校正信息；以及第二处理，用于经由透明体从至少位于一个距离处的第二校准用被摄体拍摄第三校准用图像，并基于至少所拍摄到的第三校准用图像的图像信息来修改第一处理中计算出的校正信息。

Description

测距装置的校准方法、测距装置和存储介质

技术领域

本发明涉及测距装置的校准方法、测距装置和存储介质。

背景技术

如下技术已经投入实际使用，该技术用于将能够获取基于立体测距方法或摄像面相位差测距方法等的深度信息的照相机(在下文中被称为测距照相机)搭载在诸如汽车等的车辆中，测量到车辆前方的被摄体的距离，并基于距离信息来控制车辆。以下将这样的照相机称为车载测距照相机。

由于在车载测距照相机安装在车辆外部的情况下需要诸如防水性和防尘性等的高耐久性，因此车载测距照相机通常安装在汽车内的挡风玻璃内侧。因此，安装在汽车内部的车载测距照相机通过挡风玻璃对车辆外部的状况进行摄像。

通常，挡风玻璃具有复杂的曲面形状，并且与诸如照相机镜头等的光学组件相比具有形状失真。因此，在通过挡风玻璃拍摄到的图像中出现失真等的影响。为此，在将车载测距照相机搭载在车辆中之后需要进行包括挡风玻璃在内的车载测距照相机的校准。

在日本特开2019-68272中，通过单独测量照相机镜头的失真和挡风玻璃的失真并校正总失真，来进行车载测距照相机的校准，作为挡风玻璃的校正。

此外，使用摄像面相位差测距方法的测距照相机通过基于设置在多个距离处的校准用被摄体的拍摄图像而校正视差量(disparity/parallax amount))和(与测量距离相对应的)散焦量之间的关系，来进行距离的校准。此时，可以通过在作为校准用被摄体的设置距离的从近距离到远距离的宽范围中获取校准用图像，来进行具有更高精度的校准。

然而，在利用位于远距离处的校准用被摄体进行的摄像中，如果进行设置使得校准图出现在整个像角(image angle)中，则需要根据安装距离来增加校准用被摄体的大小，这导致了用于进行测距照相机的校准的装置的大小增加的问题。

发明内容

一种测距装置的校准方法，所述测距装置被搭载在移动体内部，经由透明体对所述移动体的外部进行摄像，并且通过使用从至少两个视点拍摄到的图像之间的视差来计算到被摄体的距离，所述校准方法包括：第一处理，用于在所述透明体不介入的情况下，拍摄在第一校准用被摄体和所述测距装置之间的距离不同的第一校准用图像和第二校准用图像，并且计算校正信息，其中所述校正信息用于将根据所述第一校准用图像和所述第二校准用图像各自的图像信息所计算出的视差信息转换为距离信息；以及第二处理，用于经由所述透明体从至少位于一个距离处的第二校准用被摄体拍摄第三校准用图像，并且基于至少所拍摄到的第三校准用图像的图像信息来修改在所述第一处理中计算出的校正信息。

通过参考附图对实施例的以下描述，本发明的进一步特征将变得明显。

附图说明

图1A至图1C是示意性地示出根据本发明第一实施例的摄像装置的系统配置的功能框图。

图2A和图2B是根据第一实施例的摄像元件的图像结构的示意图。

图3A至图3E是示出根据第一实施例的摄像面相位差测距方法的测距原理的图。

图4是根据第一实施例的摄像装置的校准的流程图。

图5是根据第一实施例的第一校准的流程图。

图6A至图6C是用于说明根据第一实施例的第一校准中的校准用被摄体的摄像的示意图。

图7A至图7D是用于说明根据第一实施例的第一校准的原理的示意图。

图8是根据第一实施例的第二校准的流程图。

图9A和图9B是用于说明第二校准中的摄像方法的概略图。

图10A和图10B是用于说明根据第一实施例的第二校准的原理的示意图。

图11是根据第二实施例的第二校准的流程图。

图12A和图12B是用于说明根据第二实施例的第二代表区域的图。

图13A和图13B是用于说明根据第二实施例的第二校准的原理的示意图。

图14是根据第三实施例的第二校准的流程图。

图15A至图15C是用于说明根据第三实施例的第二校准的原理的示意图。

具体实施方式

在下文中，将参考附图使用实施例来描述本发明的有利模式。在各个图中，将相同的附图标记应用于相同的构件或要素，并且将省略或简化重复的描述。

注意，在以下实施例中，将描述本发明适用于作为摄像装置的车载照相机等的示例。然而，摄像装置包括无人机照相机、搭载在机器人上的照相机、以及诸如网络照相机等的包括覆盖有透明罩的摄像部的电子装置等。

[第一实施例]

<系统配置>

在下文中，将参考附图详细描述本发明的第一实施例。图1A至图1C是示意性地示出根据本发明第一实施例的摄像装置的系统配置的功能框图。

注意，通过使得包括在摄像装置中的计算机(未在图中示出)执行存储在作为存储介质的存储器(未在图中示出)中的计算机程序，来实现在图1A至图1C所示的功能块的一部分。然而，该功能块的一部分或全部可以通过硬件来实现。作为硬件，可以使用专用集成电路(ASIC)或处理器(可重构处理器、DSP)等。

此外，图1A至图1C所示的各个功能块即使在被虚线包围的情况下，也可以不包含在同一壳体中，并且可以由经由信号线彼此连接的单独装置来构成。

如图1A所示，摄像装置1由摄像光学系统10、摄像元件11、摄像控制单元12、图像处理单元13、存储单元14、输入单元15、显示单元16、校准单元17和通信单元18等来构成。摄像光学系统10是摄像装置1的摄像镜头，并且具有在摄像元件11的受光面上形成被摄体图像的功能。

注意，根据本实施例的摄像装置1用作测距装置，该测距装置被搭载在诸如车辆等的移动体内部，经由作为透明体的挡风玻璃对移动体的外部进行摄像，并且通过使用从至少两个视点拍摄到的图像之间的视差来计算到被摄体的距离。

摄像光学系统10由多个透镜(未示出)来构成，并且在与摄像元件11分开预定距离的位置处包括出射光瞳101。注意，在本说明书中，假定z轴是与摄像光学系统10的光轴102平行的轴。此外，假定x轴和y轴彼此垂直并且还与光轴垂直。

摄像元件11是双像素自动调焦(DAF)型的摄像元件，其例如由电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)来构成，并具有基于摄像面相位差测距方法的测距功能。

换句话说，根据本实施例的测距装置被配置为通过使用用于摄像面相位差测距方法的摄像元件来进行摄像。通过摄像元件11对经由摄像光学系统10在摄像元件11上形成的被摄体图像进行光电转换，并且由此生成基于该被摄体图像的摄像信号。

另外，根据本实施例的测距装置可以生成与从摄像元件到被摄体的距离相关的信息。摄像控制单元12包括作为计算机的中央处理单元(CPU)，并且该CPU用作控制单元，该控制单元通过执行存储在存储单元14中的计算机程序来控制摄像装置1的各个组件的操作。换句话说，摄像控制单元12例如进行图像的拍摄以及存储单元14、输入单元15、显示单元16、校准单元17和通信单元18等的控制。

如图1B所示，图像处理单元13包括图像生成单元130、深度生成单元131和存储器132。图像生成单元130对从摄像元件11输出的信号进行诸如降噪、去马赛克、亮度信号转换、像差校正、白平衡调整和颜色校正等的各种信号处理。

从图像生成单元130输出的图像数据暂时累积在存储器133中，并且用于显示单元16上的图像显示。如稍后将描述的，深度生成单元131通过使用包括在摄像元件11中的测距用像素所获取的信号，来生成用于表示深度信息的分布的深度图像(距离图像)。

图像处理单元13可以通过使用逻辑电路来构成。此外，在其他模式下，图像处理单元13可以由中央处理单元(CPU)和存储有算术处理程序的存储器来构成。存储单元14是用于存储摄像装置1所获取的数据和中间数据、图像处理单元13所要使用的数据、摄像装置1所要使用的参数数据、以及计算机程序等的非易失性存储介质。

作为存储单元14，可以使用任何存储介质，只要其使得能够进行高速读写并具有大容量即可。例如，优选闪速存储器等。输入单元15是由用户操作以在摄像装置1上进行信息输入和设置改变的接口，并且例如包括各种操作开关、键盘、鼠标和触摸面板等。显示单元16进行在摄像时的构图设置以及各种设置画面和消息信息的显示。显示单元16由液晶显示器或有机EL等来构成。

如图1C所示，校准单元17包括误差计算单元171、校正值生成单元172和存储单元173等。误差计算单元171接收图像处理单元所生成的深度图像(距离图像)，并且进行散焦误差计算。校正值生成单元172根据误差计算单元所计算出的误差量来创建校正值。

存储单元173对校正值生成单元所生成的校正值以及误差计算单元所计算出的误差信息进行累积。校准单元17可以通过使用逻辑电路来构成。可替代地，校准单元17可以由中央处理单元(CPU)和存储有算术处理程序的存储器来构成。

通信单元18具有将图像处理单元13所生成的拍摄图像、深度图像和诸如被摄体的尺寸信息等的估计结果发送到其他装置的功能。

接下来，将描述摄像元件11的配置。摄像元件11是如上所述的具有基于摄像面相位差测距方法的测距功能的DAF型的摄像元件。通过摄像元件11对经由摄像光学系统10在摄像元件11上形成的被摄体图像进行光电转换，并且由此生成基于该被摄体图像的图像信号。

可以通过图像生成单元130对所获取的图像信号进行显像处理来生成用于欣赏目的的图像以及深度图像。此外，可以在显示单元16上显示所生成的观赏用图像，并将该观赏用图像经由通信单元18发送到其他装置。在下文中，将通过使用图2A和图2B来详细描述根据第一实施例的摄像元件11。

图2A和图2B是根据第一实施例的摄像元件的图像结构的示意图，并且图2A是摄像元件11的前视图。摄像元件11由以二维方式排列2行×2列的多个像素组110来构成。红色(R)、绿色(G)和蓝色(B)的滤色器布置在像素组110中，并且在各个像素组110中，在对角线上布置两个G滤色器。

利用这样的布置，可以以可分离的方式输出包括R、G和B这三个颜色的信息的图像信号。滤色器的排列可以是除了图2A所示的布置之外的布置，并且该布置不受限制。注意，各个像素被配置为能够测量距离，并且还可以连同图像信号一起输出要用于测距的信号。

图2B是示意性地示出图2A中的各个像素组110的I-I’截面中的一个像素的图。各个像素由导光层113和受光层114来构成。在导光层113中，布置有用于将入射在像素上的光束高效引导至光电转换单元的微透镜111、用于使得预定波长带的光能够通过的上述R、G和B中的任一个的一个滤色器112、以及图像读取用和像素驱动用的配线等。

在受光层114中，例如将用于对所接收到的光进行光电转换的光电转换单元对(第一光电转换单元115、第二光电转换单元116)在水平扫描方向上平行地布置，并且将来自这两个光电转换单元的输出用于测距。

利用这样的结构，可以通过将来自第一光电转换单元115的信号和来自第二光电转换单元116的信号相加然后输出，来从各个像素输出观赏用图像信号。此外，可以通过将来自第一光电转换单元115的信号和来自第二光电转换单元116的信号分开，来该将来自第一光电转换单元115的信号和来自第二光电转换单元116的信号作为测距用信号输出。

注意，尽管不必所有像素包括如上所述的两个光电转换单元，但是期望所有像素具有上述配置，以输出具有高密度的深度图像。

接下来，图3A至图3E是示出根据第一实施例的摄像面相位差测距方法的测距原理的图，并且将通过使用图3A至图3E来描述根据第一实施例的摄像元件11中所包括的第一光电转换单元115和第二光电转换单元116所接收到的光束。

图3A是示出摄像光学系统10的出射光瞳101以及摄像元件11中的像素的第一光电转换单元115所接收到的光束的概略图。图3B类似地是示出第二光电转换单元116所接收到的光束的概略图。

以使得出射光瞳101和受光层114处于光学共轭关系的方式布置图3A和图3B所示的微透镜11。已通过摄像光学系统10的出射光瞳101的光束被微透镜111聚集，然后被引导至第一光电转换单元115或第二光电转换单元116。

此时，如图3A和图3B中的各个图所示，第一光电转换单元115和第二光电转换单元116主要接收通过了不同光瞳区域的光束。换句话说，各个像素的第一光电转换单元115接收通过了第一光瞳区域210的光束，并且第二光电转换单元116接收通过了第二光瞳区域220的光束。

摄像元件11中所包括的多个第一光电转换单元115主要接收通过了第一光瞳区域210的光束，并且输出第一图像信号。此外，摄像元件11中所包括的多个第二光电转换单元116主要接收通过了第二光瞳区域220的光束，并且同时输出第二图像信号。

可以根据第一图像信号来获得通过了第一光瞳区域210的光束在摄像元件11上所形成的图像的强度分布。此外，可以根据第二图像信号来获得通过了第二光瞳区域220的光束在摄像元件11上所形成的图像的强度分布。

第一图像信号和第二图像信号之间的相对位置偏移量(所谓的视差量)是根据散焦量的值。将通过使用图3C、图3D和图3E来描述视差量和散焦量之间的关系。

图3C、图3D和图3E是用于说明根据本实施例的摄像元件11和摄像光学系统10的相对位置的变化的概略图。图中的附图标记211表示通过第一光瞳区域210的第一光束，并且附图标记221表示通过第二光瞳区域220的第二光束。

图3C示出在聚焦时的状态，其中第一光束211和第二光束221会聚在摄像元件11上。此时，第一光束211所形成的第一图像信号和第二光束221所形成的第二图像信号之间的视差量变为零。

图3D示出在像侧在z轴的负方向上的散焦状态。此时，第一光束所形成的第一图像信号和第二光束所形成的第二图像信号之间的视差量具有负值。

图3E示出在像侧在z轴的正方向上的散焦状态。此时，第一光束所形成的第一图像信号和第二光束所形成的第二图像信号之间的视差量具有正值。可以从图3D和图3E之间的比较而确定为位置偏移的方向根据散焦量是正还是负而改变。

此外，可以根据散焦量，确定为根据摄像光学系统的成像关系(几何关系)而发生位置偏移。可以通过基于区域的匹配方法来检测作为第一图像信号和第二图像信号之间的位置偏移的视差量。

可以通过以下方法将视差量转换为到物面的距离A。首先，可以通过使用预定转换系数将视差量转换为作为从摄像元件11到摄像光学系统10的焦点的距离的散焦量。当假定预定转换系数为BL、假定散焦量为D、并且假定视差量为d时，可以通过以下(式1)将视差量d转换为散焦量D。

D＝BL×d…(式1)

此外，可以通过使用作为几何光学中的透镜公式的(式2)将散焦量D转换为物距。然而，A表示从物面到摄像光学系统10的主点的距离，B表示从摄像光学系统10的主点到像面的距离，并且F表示摄像光学系统10的焦距。

1/A+1/B＝1/F…(式2)

在(式2)中，可以根据散焦量D来计算值B，并且将焦距作为光学系统的信息例如保存在镜筒中所包含的存储器中以及从存储器获得焦距，因而可以计算到物面的距离A。

接下来，将通过使用图4来描述根据本实施例的校准流程。图4是根据第一实施例的摄像装置的校准的流程图。注意，通过作为摄像装置中的计算机的CPU执行存储器中所存储的计算机程序来进行图4中的流程图的各个步骤中的操作。

在第一实施例中，在步骤S41中，在摄像装置前方不存在挡风玻璃的状态下进行第一校准。换句话说，在第一校准中，在不存在挡风玻璃的影响的状态下，通过摄像装置1来进行预定图的摄像并进行校准。接下来，在步骤S42中，通过将摄像装置1安装在车辆中来实现在摄像装置前方存在挡风玻璃的状态。

接下来，在步骤S43中，进行第二校准。在第二校准中，在摄像装置1安装在车辆70中的状态下，通过摄像装置1来拍摄经由包括挡风玻璃80的光学系统的图像并进行校准。在下文中，将按顺序描述第一校准和第二校准。

接下来，将参考图6A至图6C通过使用图5中的流程图来描述第一校准。图5是根据第一实施例的第一校准的流程图，并且图6A至图6C是用于说明根据第一实施例的第一校准中的校准用被摄体的摄像的示意图。

注意，通过作为摄像装置中的计算机的CPU执行存储器中所存储的计算机程序来进行图5中的流程图的各个步骤中的操作。

在步骤S51中，在不同距离处对作为第一校准用被摄体的校准用被摄体60进行摄像。在第一校准中，随着被摄体距离L改变而拍摄校准用被摄体60的多个图像。

图6A是示出校准用被摄体60和摄像装置1之间的位置关系的图。将摄像装置1和校准用被摄体60以彼此面对的方式安装，并且被摄体距离L指示摄像装置1和校准用被摄体60之间的距离。

以这种方式，在步骤S51中，在作为透明体的挡风玻璃不介入的情况下，拍摄作为第一校准用被摄体的校准用被摄体60和摄像装置之间的不同距离处的第一校准用图像和第二校准用图像。

图6B和图6C是分别示出图6A中安装在位置A和位置B处的校准用被摄体60的拍摄图像的图。在校准用被摄体60安装在位置A处的情况下，在整个像角中显示校准用被摄体60。另一方面，仅在像角的一部分处显示安装在更远的位置B处的校准用被摄体60。

此时，可以根据在位置A处拍摄到的图像在整个像角中获得视差值(量)。另一方面，由于在根据位置B的图像中在像角周边不存在校准用被摄体60，因此无法从区域的周边获得能够用于第一校准的任何视差量(在下文中，能够获得视差图像的区域将被称为有效区域61)。

在步骤S52中，根据作为在步骤S51中拍摄到的校准用被摄体60的图像的第一校准用图像和第二校准用图像各自的图像信息，来计算作为视差信息的视差量。在本实施例中，如图6B所示，作为第一校准用被摄体的校准用被摄体60使用具有条纹图案的垂直线图。

由于仅在存在拍摄图像的垂直线的位置处精确地计算通过使用垂直线图所计算出的视差量，因此通过经由使用存在垂直线的区域中的视差值对不存在垂直线的区域中的视差值进行插值，来获取用于表示整个像角中的视差值的分布的视差图像。此时使用的插值方法可以从诸如多维函数近似和样条插值等的插值方法中来适当地选择。

在步骤S53中，根据作为在步骤S52中计算出的视差信息的视差值和作为被转换为与被摄体距离L相对应的散焦量的距离信息(距离等同信息)的设计散焦Dd之间的关系，来计算作为校正信息的校正值。

这里，步骤S51至S53用作如下第一处理，该第一处理用于拍摄不同距离处的第一校准用图像和第二校准用图像，并且计算用于将根据第一校准用图像和第二校准用图像各自的图像信息而计算出的视差信息转换为距离信息(距离等同信息)的校正信息。

图7A至图7D是用于说明根据第一实施例的第一校准的原理的示意图，并且图7A是用于说明设计散焦Dd的示意图，其中虚线和实线分别示意性地示出图3C中的状态和图3D中的状态。Lo0表示摄像装置1的焦距，并且通过使用(式2)将Lo0转换为作为像面侧的焦距的Li0。

在摄像装置1中，期望以使得摄像元件11的摄像面位于距离Li0处的方式进行调整。距离Li1指示被摄体位于与摄像装置1的焦距Lo0不同的距离Lol处的情况。

通过使用(式2)类似地获得此时像侧的焦点作为距离Li1。此时，可以获得距离Lo1处的被摄体的设计散焦Dd作为距离Li0和距离Li1之间的差。

图7B是示出视差量和散焦量之间的理想关系的图。这与示出式1的情况相对应，并且视差量和散焦量是成正比的。然而，由于通常存在诸如场曲率等的透镜的像差以及装配误差等，因此例如在标绘根据校准用被摄体60的图像所计算出的视差量、以及设计散焦Dd的情况下，视差量和散焦量不成正比，并且处于如图7C那样的关系。

图7C中的点指示不同被摄体距离L处的数据点，并且如虚线所示的利用线性函数的近似可以由以下(式3)表示。

Dd＝BL1×d+BP1…(式3)

假定作为(式3)的一阶系数的BL1为第一校正系数(第一校正值)，并且假定作为零阶系数的BP1为第二校正系数(第二校正值)。这里，利用第一校正值和第二校正值来校准校正信息，并且可以通过使用这些校正系数将所计算出的视差量转换为适当的散焦量。

可以通过测量在改变被摄体距离L时的Dd和d来计算第一校正系数和第二校正系数，并且可以通过按像角内的各个像素获得第一校正系数和第二校正系数，来将视差量适当地转换为散焦量。

以这种方式，根据本实施例，测距装置通过线性函数将视差信息转换为距离等同信息，第一校正值是线性函数的一阶系数，并且第二校正值是线性函数的零阶系数。

图7D是示出在如图6C所示在像角周围未出现校准用被摄体60的情况下的相对于视差量的设计散焦关系的图。黑点是与有效区域61相对应的测量值，并且白点表示在有效区域61外的更远距离处的结果。

在这种情况下，可以仅根据近距离侧的有效区域61的数据来获得校正系数，或者可以在可以预测视差误差分布如何出现的情况下，通过使用中心部处的视差量来使用外推值作为周围的视差量。

摄像光学系统10通常通过使用光学设计工具等来设计，并且可以通过使用设计数据来预测误差如何出现。另一方面，由于难以设计包括挡风玻璃的光学系统并且无法预测其影响，因此在该光学系统被搭载在车辆中的状态下执行与第一校准类似的校准的情况下，校准精度可能显著降低。

将通过使用图8以及图9A和图9B来描述第二校准。图8是根据第一实施例的第二校准的流程图。注意，通过作为摄像装置中的计算机的CPU执行存储器中所存储的计算机程序来进行图8中的流程图的各个步骤中的操作。图9A和图9B是用于说明第二校准中的摄像方法的概略图。

在步骤S81中，如图9A所示，在摄像装置91安装在车辆70内部的状态下，CPU对作为第二校准用被摄体的校准用被摄体90进行摄像。换句话说，摄像装置91经由作为车辆70的透明体的挡风玻璃80对校准用被摄体90进行摄像。

换句话说，在步骤S81中，经由透明体从至少在一个距离处的第二校准用被摄体拍摄第三校准用图像。此时，以使得校准用被摄体90位于预定像角内的方式设置被摄体距离L。

在第二校准中，具有如图9B中那样的随机图案的校准用被摄体90例如用作第二校准用被摄体。可以通过使用随机图案来密集地测量视差量，并且即使在诸如经由挡风玻璃80的摄像等的难以预测挡风玻璃的影响的情况下，也可以获取详细数据。

以这种方式，在本实施例中，作为第一校准用被摄体的校准用被摄体60和作为第二校准用被摄体的校准用被摄体90具有不同的图案。

在步骤S82中，类似于第一校准，根据通过对校准用被摄体90进行摄像而获得的图像来计算视差d。这里所计算出的视差量受挡风玻璃80的影响，并且与不存在挡风玻璃80的情况相比，视差量根据影响的程度而改变。

在步骤S83中，计算散焦误差De。获得散焦误差De，作为在通过使用在第一校准中获得的第一校正值和第二校正值将视差量转换为散焦时所获得的值和设计散焦之间的差。

在步骤S84中，计算散焦误差De。此外，通过使用散焦误差De来修改作为校正信息的一部分的第二校正值。这里，步骤S81至S84用作第二处理。在第二处理中，经由透明体从至少在一个距离处的第二校准用被摄体拍摄第三校准用图像，并且基于至少拍摄到的第三校准用图像的图像信息来修改通过第一处理所计算出的校正信息。

此时，在第一实施例中，至少基于第三校准用图像的图像信息来计算距离等同误差值，并且基于距离等同误差值来修改第二校正值。

图10A和图10B是用于说明根据第一实施例的第二校准的原理的示意图，并且将通过使用图10A和图10B来描述第一校正值和第二校正值的修改。图10A中的点p0是如下的点，该点标绘在步骤S83之前获得的视差量、以及设计散焦。虚线指示(式3)所表示的第一校准中的视差量和散焦值之间的关系。注意，图10B是示出在水平方向上的散焦误差的图。

此时，点p0和虚线之间的差指示散焦误差De。通过实线来示出第一校正值BL1不会由于挡风玻璃80的影响而改变的情况，即，散焦量相对于视差值的变化量不会改变的情况。如图10A中那样，作为通过该点并具有倾斜度(inclination)BL1的直线的截距的BP2是第二校正系数BP1和散焦误差De之和。

如果假定此时修改后的第二校正值为BP2，则满足BP2＝BP1+De。此外，如果第二校正值被修改，则(式3)可以由以下(式4)表示。

Dd＝BL1×d+BP1+De…(式4)

在本实施例中，通过在第一校准中使用通过对布置在不同距离处的校准用被摄体进行摄像而获得的图像，来获取不包括挡风玻璃的影响的第一校正系数和第二校正系数。此外，在第二校准中，第二校正值通过使用通过经由挡风玻璃80对校准用被摄体进行摄像而获得的拍摄图像，来校正受挡风玻璃80影响的成分。

由于可以通过如上所述进行校准来根据仅近距离处的图像校准挡风玻璃80的影响，因此可以在不导致校准环境的大小的增加的情况下进行校准。

[第二实施例]

将描述本发明的第二实施例。在第二实施例中，在第二校准中，同样通过使用远被摄体距离L条件下的图像来修改第二校正值。在下文中，将关于与第一实施例中的处理的处理差异来描述处理的流程。

图11是根据第二实施例的第二校准的流程图。注意，通过作为摄像装置中的计算机的CPU执行存储器中所存储的计算机程序来进行图11中的流程图的各个步骤中的操作。

在步骤S111中，与第一实施例类似地对校准用被摄体90进行摄像。此时，除了如第一实施例中那样校准用被摄体60出现在待校准的整个像角中的被摄体距离(在下文中被称为近距离条件)之外，还在远被摄体距离(在下文中被称为远距离条件)处对校准用被摄体90进行摄像。

换句话说，不仅拍摄第三校准用图像，而且在与第三校准用图像的距离不同的距离处对第二校准用被摄体进行摄像，并且由此获取第四校准用图像的图像信息。

在步骤S112和步骤S113中，与第一实施例类似地计算散焦误差De。接下来，在步骤S114中，通过如图12A和图12B所示的方法来设置代表区域。

图12A和图12B是用于说明根据第二实施例的第二代表区域的图。图12A示出在步骤S111中拍摄到的校准用图像。阴影区域是有效区域61。获得有效区域61中的散焦误差De。如图12B中那样，将图12A中的虚线上的散焦误差示出为曲线图。

散焦误差根据水平位置而受到挡风玻璃80的不同程度的影响，并且如图中那样在有效区域61内部具有分布。在第二实施例中，从散焦误差分布中选择特定的代表区域62。关于如何选择代表区域62，优选使用具有高数据可靠性且即使被摄体距离L增加也位于有效区域61内部的中心像角附近的数据。

更优选地，可以通过从数据稳定性的观点选择散焦误差De的变化量小的分布的山部或谷部作为有效区域61，来进行具有可靠性和更高精度的校准。

在步骤S115中，根据代表区域62的散焦误差De来计算代表散焦误差。作为代表散焦误差，使用通过对代表区域中的散焦误差分布进行统计处理(例如，平均值等)所获得的值。

在步骤S116中，计算在近距离条件(在近距离处对校准用被摄体60进行摄像的情况)和远距离条件(在远距离处对校准用被摄体90进行摄像的情况)下的代表散焦误差之间的差ΔD。换句话说，基于第三校准用图像和第四校准用图像各自的图像信息来计算各个距离等同误差值，并且计算距离等同误差值之间的差。

在步骤S117中，通过使用ΔD来修改第二校正系数。图13A和图13B是用于说明根据第二实施例的第二校准的原理的示意图。图13A与图10A的不同之处在于代表散焦被用作散焦值。

p1和p2表示在近距离条件和远距离条件下所测量的值，并且在图中示出了近距离条件下的代表散焦误差Den和远距离条件下的代表散焦误差Def。

在步骤S116中获得的ΔD是De–Def，并且通过使用ΔD基于以下(式5)来修改第二校正系数。

Dd＝BL1×d+(BP1+De-ΔD)…(式5)

此时，如果假定修改后的第二校正值为BP2，则获得BP2＝(BP1+De-ΔD)。

(式5)是通过从第一实施例中的修改后的第二校正系数BP2一律减去ΔD而获得的值。这如图13B中那样在视觉上表示。实线指示近距离条件下的在水平方向上的误差分布，并且点划线是通过将近距离条件下的误差分布移位了ΔD而获得的分布，作为远距离条件下的估计值。

换句话说，可以通过使用近距离条件下的分布作为散焦误差分布、并且使用近距离条件和远距离条件下的代表区域62的差作为分布的基础，来提高更远距离侧的校准精度。

以这种方式，步骤S111至S117用作第二处理，该第二处理用于获取第三校准用图像和第四校准用图像，基于第三校准用图像和第四校准用图像来计算各个距离等同误差值，并且基于距离等同误差值之间的差来修改第二校正值。

在本实施例中，除了第一实施例之外，还在第二校准中，获取远距离侧的校准用图像，并且通过使用有限代表区域中的值来修改第二校正值。通过以该方式进行校准，由于在第二校准中使用远距离侧的校准用数据时不需要使用大被摄体，因此可以在抑制校准环境的大小的增加的同时，提高远距离侧的校准精度。

[第三实施例]

接下来，将描述本发明的第三实施例。在第三实施例中，与第二实施例类似地，在第二校准中，除了近距离处的图像之外，还在照相机和校准用图之间的增大的距离处拍摄图像，并且该图像用于计算校准值。第三实施例与第二实施例的不同之处在于修改第一校正值和第二校正值这两者。

图14是根据第三实施例的第二校准的流程图。注意，通过作为摄像装置中的计算机的CPU执行存储器中所存储的计算机程序来进行图14中的流程图的各个步骤中的操作。

在步骤S141中，与第二实施例类似，在校准用被摄体90出现在待校准的整个像角中的被摄体距离(近距离条件)处进行摄像，并且在远被摄体距离(远距离条件)处对校准用被摄体90进行摄像。在步骤S142至S145中，与第二实施例类似地计算代表散焦误差。

在步骤S146中，根据代表区域62中的代表散焦误差的倾斜度来计算倾斜度校正系数C。图15A至图15C是用于说明根据第三实施例的第二校准的原理的示意图，并且将通过使用图15A来描述校正系数。p1和p2分别示出在近距离条件和远距离条件下的代表散焦。此时，虚线如具有与第一校正系数BL1的倾斜度不同的倾斜度的双点划线所示。

此时，通过使用倾斜度校正系数C来将通过p1和p2的直线的倾斜度表示为C×BL1。然而，假定此时的值BLl是在代表区域中的BLl的代表值。此外，虽然在作为用于获得倾斜度的点的p1和p2的这两个条件下获得倾斜度，但是可以针对被摄体距离L通过使用三个或多于三个点来以更高精度获得倾斜度。

在步骤S147中，通过使用倾斜度校正系数C基于以下(式6)来修改第一校正系数。

BL2＝C×BL1…(式6)

这里，BL2指示修改后的第一校正系数。

在S148中，根据修改后的第一校正系数BL2和近距离条件下的散焦分布来计算截距。将通过使用图15B来进行描述。p1’指示近距离条件下的散焦值。图中的Ds指示在修改第一校正系数BL1的情况和未修改第一校正系数BL1的情况之间的截距的差。

此时，可以通过使用散焦误差De、Ds和第二校正系数BP1由以下(式7)表示双点划线的截距。

BP2＝BP1+De-Ds…(式7)

此外，(式6)和(式7)可以由以下(式8)总地表示。

Dd＝C×BL1×d+(BP1+De-Ds)…(式8)

在步骤S149中，通过使用(式8)来修改第二校正系数。以这种方式，在步骤S141至S149中，获取第三校准用图像和第四校准用图像，基于第三校准用图像和第四校准用图像各自来计算距离等同误差值，并且基于各个距离等同误差值修改第一校正值和第二校正值。因此，可以在从近距离到远距离的宽距离范围中提高校准精度。

如上所述，在第三实施例中，除了第一实施例和第二实施例之外，还在第二校准中获取远距离侧的校准用图像，并且通过使用有限的代表区域中的值来修改第一校正值和第二校正值。

由于通过以该方式进行校准，即使在第二校准中使用远距离侧的校准用数据也不需要增加被摄体的大小，并且还可以修改倾斜度成分，因此可以在抑制校准环境大小的增加的同时，在更宽距离范围中提高校准精度。

注意，作为根据本实施例的测距装置的摄像装置1基于通过使用如上所述的校准方法而修改的以上校正信息，在通常摄像中通过使用从至少两个视点拍摄到的图像之间的视差来计算到被摄体的距离。因此，可以进行具有高精度的测距。

注意，在上述实施例的描述中，描述了摄像装置被搭载在诸如车辆(汽车)等的移动体中的示例。然而，本实施例中的移动体不限于诸如汽车等的车辆，并且可以是行进的任何移动体，诸如火车、船舶、飞机、机器人或无人机等。

此外，可以不将摄像装置的所有功能块搭载在移动体中，并且摄像装置的一部分(例如，输入单元15、显示单元16、图像处理单元13和校准单元17)可以布置在与移动体分开的用户终端中。

虽然以上基于优选实施例详细描述了本发明，但是本发明不限于以上实施例，可以基于本发明的主旨进行各种改变，并且不将这些改变从本发明的范围中排除。

尽管参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

另外，作为根据实施例的控制的一部分或全部，可以通过网络或各种存储介质将用于实现上述实施例的功能的计算机程序供给到测距装置等。然后，测距装置等的计算机(或CPU或MPU等)可以被配置为读取并执行程序。在这样的情况下，程序和存储有该程序的存储介质构成了本发明。

本申请要求于2022年7月15日提交的日本专利申请2022-113984的权益，其全部内容通过引用并入本文。

Claims (11)

1.一种测距装置的校准方法，所述测距装置被搭载在移动体内部，经由透明体对所述移动体的外部进行摄像，并且通过使用从至少两个视点拍摄到的图像的视差来计算到被摄体的距离，所述校准方法包括：

第一处理，用于在所述透明体不介入的情况下，拍摄在第一校准用被摄体和所述测距装置之间的距离不同的第一校准用图像和第二校准用图像，并且计算校正信息，其中所述校正信息用于将根据所述第一校准用图像和所述第二校准用图像各自的图像信息所计算出的视差信息转换为距离信息；以及

第二处理，用于经由所述透明体从至少位于一个距离处的第二校准用被摄体拍摄第三校准用图像，并且基于至少所拍摄到的第三校准用图像的图像信息来修改在所述第一处理中计算出的校正信息。

2.根据权利要求1所述的测距装置的校准方法，其中，所述第一校准用被摄体和所述第二校准用被摄体具有相互不同的图案。

3.根据权利要求2所述的测距装置的校准方法，

其中，所述第一校准用被摄体具有条纹图案，以及

所述第二校准用被摄体具有随机图案。

4.根据权利要求1所述的测距装置的校准方法，其中，所述校正信息具有第一校正值和第二校正值。

5.根据权利要求4所述的测距装置的校准方法，

其中，所述测距装置使用线性函数将所述视差信息转换为所述距离信息，

所述第一校正值是所述线性函数的一阶系数，以及

所述第二校正值是所述线性函数的零阶系数。

6.根据权利要求5所述的测距装置的校准方法，其中，在所述第二处理中，基于至少所述第三校准用图像的图像信息来计算距离误差值，并且根据基于至少所述第三校准用图像的图像信息所计算出的距离误差值来修改所述第二校正值。

7.根据权利要求6所述的测距装置的校准方法，

其中，在所述第二处理中，通过在与针对所述第三校准用图像的距离不同的距离处对所述第二校准用被摄体进行摄像，来获取第四校准用图像的图像信息，以及

基于所述第三校准用图像和所述第四校准用图像各自的图像信息来计算各个距离误差值，并且根据基于所述第三校准用图像和所述第四校准用图像各自的图像信息所计算出的距离误差值之间的差来修改所述第二校正值。

8.根据权利要求6所述的测距装置的校准方法，

其中，在所述第二处理中，通过在与针对所述第三校准用图像的距离不同的距离处对所述第二校准用被摄体进行摄像，来获取第四校准用图像的图像信息，以及

基于所述第三校准用图像和所述第四校准用图像各自的图像信息来计算各个距离误差值，并且根据基于所述第三校准用图像和所述第四校准用图像的图像信息所计算出的距离误差值来修改所述第一校正值和所述第二校正值。

9.根据权利要求1所述的测距装置的校准方法，其中，所述测距装置通过使用用于摄像面相位差测距方法的摄像元件来进行摄像。

10.一种测距装置，包括：

摄像单元，其被搭载在移动体内部，并且经由透明体对所述移动体的外部进行摄像；以及

至少一个处理器或电路，其被配置为用作计算单元，所述计算单元被配置为通过使用由所述摄像单元从至少两个视点拍摄到的图像之间的视差来计算到被摄体的距离，

其中，所述计算单元执行：

第一处理，用于在所述透明体不介入的情况下，拍摄在第一校准用被摄体和所述摄像单元之间的距离不同的第一校准用图像和第二校准用图像，并且计算校正信息，其中所述校正信息用于将根据所述第一校准用图像和所述第二校准用图像各自的图像信息所计算出的视差信息转换为距离信息；以及

第二处理，用于经由所述透明体从至少位于一个距离处的第二校准用被摄体拍摄第三校准用图像，并且基于至少所拍摄到的第三校准用图像的图像信息来修改在所述第一处理中计算出的校正信息。

11.一种非暂态计算机可读存储介质，其存储有包括指令的计算机程序，所述指令用于进行：

计算处理，用于由被搭载在移动体内部的摄像单元经由透明体对所述移动体的外部进行摄像，并且通过使用由所述摄像单元从至少两个视点拍摄到的图像之间的视差来计算到被摄体的距离，

其中，所述计算处理包括：

第一处理，用于在所述透明体不介入的情况下，拍摄在第一校准用被摄体和所述摄像单元之间的距离不同的第一校准用图像和第二校准用图像，并且计算校正信息，其中所述校正信息用于将根据所述第一校准用图像和所述第二校准用图像各自的图像信息所计算出的视差信息转换为距离信息；以及

第二处理，用于经由所述透明体从至少位于一个距离处的第二校准用被摄体拍摄第三校准用图像，并且基于至少所拍摄到的第三校准用图像的图像信息来修改在所述第一处理中计算出的校正信息。