CN114827571A - 基于模型的补偿 - Google Patents

Abstract

本发明涉及基于模型的补偿，尤其涉及一种对由立体摄像机(1)的几何变形引起的成像误差进行数值补偿的方法，并且涉及一种用于对这种成像误差进行数值补偿的相应的计算机程序产品，并且涉及一种立体摄像机(1)，如在根据本发明的方法和计算机程序产品中那样对其所获取的图像进行数值补偿。

Description

基于模型的补偿

技术领域

本发明涉及一种方法、计算机程序产品和立体摄像机。

背景技术

为了用一个摄像机或多个摄像机进行3D测量，需要对摄像机进行校准。摄像机参数通常被分成内部(或内在)和外部(或外在)摄像机参数，内部摄像机参数例如涉及焦距，而外部摄像机参数例如涉及摄像机在世界坐标系中的位置和取向。例如，对于两个摄像机，即立体摄像机，3D测量信息可以与基本矩阵一起提供。

诸如立体摄像机的摄像机系统通常在用于3D测量之前被校准。为了校准，有时假设其上安装有立体摄像机的摄像机的公共支架是刚性的。根据负载情况，具有微米范围内精度的精确校准可能是不可行的、不充分的或非常费力的。立体摄像机的不同取向可能由于惯性力(例如重力或其它与加速度相关的力)而使立体摄像机几何变形，从而改变立体摄像机的摄像机之间的相对取向和位置。如果在校准期间没有考虑几何变形，则基于由这种几何变形的立体摄像机拍摄的图像的立体摄像分析通常提供不准确的3D估计。由于校准对于立体摄像机的所有可能的取向并不总是可行的，特别是因为立体摄像机可能以多种可能的取向来使用，因此几何变形通常导致3D测量精度的损失。

发明内容

因此，本发明的目的是提供一种用于补偿由于立体摄像机的几何变形而引起的成像误差的方法和计算机程序产品。

本发明涉及一种用于对由立体摄像机的几何变形引起的成像误差进行数值补偿的方法，所述立体摄像机具有两个内部校准的摄像机和关于世界坐标系的已知标称外部摄像机参数，所述已知标称外部摄像机参数包括关于分别用于所述两个摄像机的两个标称摄像机坐标系的信息。提供了一种由加速度计确定的惯性变量向量，该惯性变量向量在立体摄像机坐标系中以该立体摄像机坐标系与世界坐标系之间的已知几何关系来表示，并且该惯性变量向量与至少部分地引起该立体摄像机的几何变形的物理力有关。该方法包括以下步骤：1)利用惯性变量向量作为经校准的解析变形模型的输入来评估立体摄像机的经校准的解析变形模型，该评估确定对已知标称摄像机坐标系中的至少一个的角度和位置更新，2)使用该角度和位置更新来确定外部摄像机参数偏差，3)通过将外部摄像机参数偏差与已知标称外部摄像机参数相加确定更新的外部摄像机参数，以及4)使用这两个摄像机的经更新的外部摄像机参数和已知的内部摄像机参数来对由立体摄像机获取的图像进行立体摄像分析。

两个摄像机中的一个也可以由投影仪代替，该投影仪被配置成将图案投影到要测量的场景上。投影仪还可以与它所代替的摄像机的标称摄像机坐标系相关联。

惯性变量向量涉及引起立体摄像机的几何变形的惯性力。除了惯性力之外，例如由温度梯度引起的其它物理力也可能导致立体摄像机的几何变形。

在根据本发明的方法中，假设内部摄像机参数仅受到由于惯性力引起的几何变形的微弱影响。因此不计算内部摄像机参数的偏差。

为了确定由于惯性力引起的立体摄像机的几何变形，可以使用惯性变量向量相对于立体摄像机坐标系的方向和大小的知识，即例如重力方向相对于立体摄像机的相对取向。

或者，经校准的解析变形模型可以直接提供外部摄像机参数偏差，即，根据本发明的方法的步骤1)和2)可以在一个步骤中执行。经校准的解析变形模型不提供绝对外部摄像机参数值，而是提供外部摄像机参数偏差。因此，与确定绝对外在摄像机参数值所必需的完全非线性模型相比，经校准的解析变形模型可以体现为例如简化的线性模型。

在根据本发明的方法的实施方式中，惯性变量向量是重力向量。

在根据本发明的方法的另一实施方式中，经校准的解析变形模型被实现为立体摄像机的线性弹性模型。

在根据本发明的方法的另一实施方式中，将数值补偿应用于由立体摄像机在静态条件下获取的图像。

立体摄像机获取图像时不得移动；其相对于世界坐标系的位置和取向在获取图像时可以是静态的。

在根据本发明的方法的另一实施方式中，从具有自由参数的解析变形模型获得经校准的解析变形模型，其中通过校准过程确定所述自由参数的值分配。

在根据本发明的方法的另一实施方式中，校准过程接收(作为输入)与多个校准姿态中的立体摄像机相关的校准集，其中，所述校准集针对每个校准姿态包括：1)实际外部摄像机参数，其中，所述实际外部摄像机参数对应于校准姿态中的几何变形的立体摄像机；2)标称外部摄像机参数；以及3)在立体摄像机坐标系中表示的惯性变量向量，其中，世界坐标系与立体摄像机坐标系之间的几何关系在不同的校准姿态之间不同。校准过程使用：1)成本函数，用于测量实际外在摄像机参数与更新的外在摄像机参数之间的残差，所述更新的外在摄像机参数是通过以惯性变量向量作为输入来评估解析变形模型并将所获得的外部摄像机参数偏差与标称外部摄像机参数相加而获得的；以及2)优化算法，其使用在校准集上评估的成本函数来识别自由参数的值分配，尤其是其中，优化算法识别使校准集上的成本函数最小化的自由参数的值分配。

除了最小化之外，取决于成本函数，最大化也是可行的。最小化或最大化可以收敛在校准集上的成本函数范围的鞍点(saddle point)上。最大化还可以收敛于全局或局部最大值，并且最小化还可以收敛于校准集上的成本函数landscape的全局或局部最小值。

实际外部摄像机参数值通常比更新的外部摄像机参数值更精确，实际外部摄像机参数值接近或等于地面实况。

立体摄像机坐标系可以相对于立体摄像机固定，但是在不同姿势的情况下，其在世界坐标系中的位置和取向可以改变。

校准集可以包括根据不同标准选择的校准姿态。在校准集中找到的校准姿态可以例如均匀地分布在立体摄像机的可能取向的空间上。校准姿态也可以非均匀地分布在立体摄像机的可能取向的空间上。非均匀分布可以例如被调整为在实际使用情况中发现的预期立体摄像机取向。与可能取向的空间的较不经常遇到的部分相比，在实际使用情况下预期更经常遇到的可能取向的空间的那些部分可以例如在校准集中被过表示(overrepresent)。校准姿态的非均匀分布也可以针对变形灵敏度来定制：与其中小的取向改变对外部摄像机参数偏差具有小的影响的可能取向的空间的部分相比，其中小的取向改变例如产生离开标称外部摄像机参数的大的外部摄像机参数偏差的可能取向的空间的部分可以例如在校准集中被过表示。变形灵敏度可以例如从使用粗计算网格的有限元预分析/预模型化导出，在该网格上执行有限元预分析/预模型化。有限元预分析可以确定立体摄像机的几何变形。用于这种预分析的计算网格尺寸与用于用于立体摄像机的几何变形的精确地面真实估计的有限元分析的计算网格尺寸相比可以是粗略的。

在根据本发明的方法的另一实施方式中，成本函数被实现为残差平方和，和/或优化算法被实现为梯度下降算法。

然而，从优化文献中已知的任何其它成本函数或优化算法原则上也是可行的。

在根据本发明的方法的另一实施方式中，解析变形模型具有四个自由参数。

更少的自由参数可以为校准的解析变形模型提供更大的鲁棒性和稳定性。另外，为了学习少量自由参数，与具有大量自由参数的解析变形模型相比，通常需要具有较少元素的校准集。

在根据本发明的方法的另一实施方式中，对于每个校准姿态，使用基于校准姿态模拟立体摄像机的几何变形的有限元分析来获得实际的外部摄像机参数。

有限元分析可用于几何变形的立体摄像机的精确地面真实估计。使用有限元分析，几何变形可以通过求解在立体摄像机的计算网格上评估的线性弹性方程来估计，或者也可以通过求解在计算网格上评估的非线性变形方程来估计。

在根据本发明的方法的另一实施方式中，世界坐标系被实现为笛卡尔坐标系，并且惯性变量向量是重力向量，其中，世界坐标系的一个轴指向重力向量的方向(以下称为重力轴)，并且校准姿态仅包括立体摄像机围绕剩余两个轴中的至少一个的旋转。

如果不发生围绕其余两个轴的旋转，则围绕重力轴的旋转通常不会导致立体摄像机的不同几何变形。在除了重力之外没有进一步加速的静态情况下，几何变形相对于围绕重力轴的任何旋转是不变的。因此，校准集对于任何这种旋转也是对称的。相对于世界坐标系的其余两个轴固定取向并且仅围绕重力轴旋转不会增加校准集中存在的不同几何变形的数量。

本发明涉及第一计算机程序产品，其被配置为提供如在根据本发明的方法中由立体摄像机的几何变形引起的成像误差的数值补偿。

因此，可以在操作中使用第一计算机程序产品，即校准的解析变形模型是第一计算机程序产品的一部分。

本发明涉及第二计算机程序产品，其被配置为提供如在根据本发明的方法中的校准的解析变形模型。

第二计算机程序产品确定经校准的解析变形模型，其可以随后由第一计算机程序产品使用。

第一和第二计算机程序产品原则上也可以组合在单个计算机程序产品中。

本发明还涉及一种立体摄像机，其包括：安装在公共支架上的两个摄像机；安装在公共支架上的加速度计，尤其是测量重力方向的加速度计；以及包括如第一计算机程序产品中的程序代码的计算设备。

在根据本发明的立体摄像机的另一实施方式中，立体摄像机还包括安装在公共支架上的应变仪。

与已知质量和弹性的元件结合的应变计可提供加速计功能。已知质量和弹性的元件可以是立体摄像机的整体部分，或者它可以与应变仪一起附加到立体摄像机上。因此，加速度计也可以由被配置成与已知质量和弹性的元件相互作用的应变计来提供。

在根据本发明的立体摄像机的另一实施方式中，公共支架被实现为具有主方向的梁，并且两个摄像机在相对于主方向而言的相反两端处安装在所述梁的同一侧上。

附图说明

下面借助于附图中示意性示出的具体示例性实施方式，仅通过示例的方式更详细地描述本发明的系统，并且还检查本发明的其它优点。在附图中，相同的元件用相同的附图标记来标记。详细地：

图1示出了立体摄像机的实施方式以及根据本发明的方法所使用的坐标系的说明性描绘；

图2示出了根据本发明的方法的示意性和说明性描绘；以及

图3示出了确定解析变形模型的参数值的校准过程的示意性和说明性描绘。

具体实施方式

图1示出了立体摄像机1的实施方式以及根据本发明的方法所使用的坐标系5、6'、6"、7的说明性描绘。

在立体摄像机1用于精确地确定房间中物体的3D位置的情况下，例如，记录立体摄像机1在世界坐标系5中的位置和取向。这样，由立体摄像机1执行的单独的3D测量可以被映射到一个公共参考系(世界坐标系5)。对于精确的3D测量，可能需要在世界坐标系5中已知立体摄像机1的摄像机2'、2"的精确位置和取向。还足以获得关于立体摄像机1的3D测量。在这种情况下，可能仅需要知道摄像机2'、2"相对于彼此的相对位置和取向。

对于由立体摄像机1进行的每个3D测量，可以假设在3D测量期间将摄像机2'、2"的标称位置和取向与世界坐标系5相关的标称外部摄像机参数是已知的。

立体摄像机1包括公共支架4，该公共支架4在图1中被实现为梁。立体摄像机1的摄像机2'、2“被内部校准并安装在梁的相反两端，两个内部校准的摄像机2'、2”面向相同的方向。除了面向相同的方向之外，两个摄像机2'、2“还可以覆盖重叠的视场，即，两个摄像机2'、2”可以相对于彼此倾斜。加速度计3也安装在梁上，加速度计3例如居中且对称地放置在梁4上。

三个坐标系6'、6"、7可以与立体摄像机1相关联：两个内部校准摄像机2'、2“的两个标称摄像机坐标系6'、6”，涉及两个内部校准摄像机2'、2”的标称位置和取向的两个标称摄像机坐标系6'、6“，以及梁4的立体摄像机坐标系7。两个摄像机2'、2"可以相对于梁4的中心点对称地定位。两个摄像机2'、2"还可以以它们的质心靠近梁4的剪切中心点附接，以便使梁4的扭转变形最小化。

固定的世界坐标系5(例如放置在立体摄像机1的外部)用于描述两个标称摄像机坐标系6'、6"和立体摄像机坐标系7的绝对位置和方向，绝对位置和方向相对于世界坐标系5描述。这三个坐标系6'、6“、7的各自的位置和取向在世界坐标系中通过相关联的坐标变换8'、8”、10已知。

加速度计3测量惯性变量向量9，例如重力向量。在立体摄像机坐标系7中表示惯性变量向量9。

例如重力9的作用影响两个摄像机2'、2“的精确位置，其中例如由于重力，两个摄像机2'、2”通常可能移动离开由两个标称摄像机坐标系6'、6"编码的规定标称位置和取向。精确的变化通常取决于立体摄像机1相对于惯性变量向量9的取向，即不同的取向可以导致两个摄像机2'、2"的不同的位置和取向变化。因此，由于惯性作用9，例如由于重力，两个摄像机2'、2"的实际摄像机位置和取向通常不同于标称摄像机位置和取向。

图1中所示的所有坐标系5、6'、6"、7被描绘为笛卡尔坐标系。然而，使用其它坐标系也是可行的。

图2示出了根据本发明的用于数字补偿立体摄像机1的成像误差的方法的示意性和说明性描绘，所述成像误差由例如由于重力的几何变形而引起。

在第一步骤11中，由加速度计3提供惯性变量向量9，例如重力向量，其中在立体摄像机坐标系7中表示惯性变量向量9。在随后的评估12中，然后评估经校准的解析变形模型20，惯性变量向量9是经校准的解析变形模型20的输入。

经校准的解析变形模型20的评估12向两个标称摄像机坐标系6'、6"中的至少一个提供角度和位置更新。通过使用该角度和位置更新，外部摄像机参数偏差得以确定，因为外部摄像机参数与摄像机在世界坐标系中的(例如由摄像机坐标系描述的)位置和取向相关。

然后，通过将外部摄像机参数偏差与已知标称外部摄像机参数相加来确定14更新的外部摄像机参数。该更新的外部摄像机参数与几何变形的立体摄像机1相关。由于经校准的摄像机模型通常包括内部摄像机参数(其被假定为已知的且不会由于几何变形而改变)和外部摄像机参数两者，因此更新后的摄像机模型可随后用于立体摄像目的。

图3示出了确定解析变形模型16的参数值的校准过程的示意性和说明性描绘，该校准过程提供经校准的解析变形模型20。

校准过程可以对校准集17进行操作，校准集17包括关于在不同姿态下由于惯性力(例如重力)引起的立体摄像机1的几何变形的信息。

根据作用在立体摄像机1上的惯性力，立体摄像机1的摄像机2'、2"的实际位置可能偏离标称位置。校准集17(针对立体摄像机1的不同取向)对于校准集的每个元素包括实际外部摄像机参数、标称外部摄像机参数和惯性变量向量。在图3中象征性地示出了不同的立体摄像机1姿态和惯性变量向量9，惯性变量向量如黑色箭头所示。

例如，可以使用有限元分析来确定实际外部摄像机参数，其中有限元分析确定由于作用在立体摄像机1上的惯性力而导致的立体摄像机1的实际形状。另选地，立体摄像机1可以物理地定位在不同的姿态中，并且实际外部摄像机参数可以通过在几何变形的立体摄像机1上执行的物理测量来确定。

具有自由参数的解析变形模型16可用于确定外部摄像机参数偏差，该外部摄像机参数偏差可用于将标称外部摄像机参数变换为实际外部摄像机参数。解析变形模型16因此可以被实现为例如简化的线性模型，因为它可以仅用于确定工作点周围的几何变形信息；解析变形模型16可以例如模拟线性弹性变形；因此可能不需要变形物理的完全非线性模拟。

解析变形模型16的自由参数可以使用优化算法19来训练，该优化算法19可以使用成本函数18作为要优化的度量。优化算法19可以试图最小化或最大化在校准集17上评估的成本函数18，或者它可以试图达到鞍点。在解析变形模型16和成本函数18在自由参数中是可微分的情况下，优化算法可以体现为梯度下降算法，或者体现为从优化文献中已知的任何其他优化方法。使用优化算法19的整个校准过程向解析变形模型16、即校准的解析变形模型20的自由参数提供值分配。经校准的解析变形模型20可以学习在校准集中找到的外部摄像机参数偏差之间进行内插，即，它可以学习为校准集中未使用的立体摄像机姿态提供外部摄像机参数偏差。

代替对实际外部摄像机参数和更新的外部摄像机参数的绝对值进行操作，成本函数18可以替代地对实际外部摄像机参数偏差(使用实际外部摄像机参数和标称外部摄像机参数来确定)和通过评估解析变形模型16确定的外部摄像机参数偏差进行操作。

不言而喻，所示出的这些附图仅仅是可能的示例性实施方式的示意图。

虽然上面部分地参考一些优选实施方式说明了本发明，但是必须理解，可以对实施方式的不同特征进行许多修改和组合。所有这些修改都在所附权利要求的范围内。

Claims (15)

1.一种对由立体摄像机(1)的几何变形引起的成像误差进行数值补偿的方法，所述立体摄像机(1)具有两个内部校准的摄像机(2’、2”)和相对于世界坐标系(5)的已知标称外部摄像机参数，所述已知标称外部摄像机参数包括关于分别用于两个摄像机(2’、2”)的两个标称摄像机坐标系(6'、6“)的信息(8'、8”)，其中，

●提供(11)由加速度计(3)确定的惯性变量向量(9)，该惯性变量向量(9)在立体摄像机坐标系(7)中以所述立体摄像机坐标系(7)与所述世界坐标系(5)之间的已知几何关系(10)来表示，并且所述惯性变量向量(9)与至少部分地引起所述立体摄像机(1)的几何变形的物理力有关，

其特征在于，

●用所述惯性变量向量(9)作为所述立体摄像机(1)的经校准的解析变形模型(20)的输入来评估(12)所述经校准的解析变形模型(20)，所述评估(12)确定对已知的标称摄像机坐标系(6'、6")中的至少一者的角度和位置更新，

●使用(13)所述角度和位置更新来确定外部摄像机参数偏差，

●通过将所述外部摄像机参数偏差与所述已知标称外部摄像机参数相加来确定(14)更新的外部摄像机参数，以及

■使用(15)所述两个摄像机(2’、2”)的所述更新的外部摄像机参数和已知的内部摄像机参数来对由所述立体摄像机(1)获取的图像进行立体摄像分析。

2.根据权利要求1所述的方法，

其特征在于，

所述惯性变量向量(9)是重力向量。

3.根据权利要求1或2所述的方法，

其特征在于，

所述经校准的解析变形模型(20)被实现为所述立体摄像机(1)的线性弹性模型。

4.根据前述权利要求中任一项所述的方法，

其特征在于，

所述数值补偿被应用于在静态条件下由所述立体摄像机(1)获取的图像。

5.根据前述权利要求中任一项所述的方法，

其特征在于，

所述经校准的解析变形模型(20)是从具有自由参数的解析变形模型(16)获得的，其中，通过校准过程确定所述自由参数的值分配。

6.根据权利要求5所述的方法，

其特征在于，

所述校准过程接收以下项作为输入：

●在多个校准姿态中与所述立体摄像机(1)相关的校准集(17)，其中，所述校准集针对每个校准姿态包括：

○实际外部摄像机参数，其中，所述实际外部摄像机参数对应于处于校准姿态的几何变形的立体摄像机，

○标称外部摄像机参数，

○在所述立体摄像机坐标系(7)中表示的惯性变量向量，其中，所述世界坐标系(5)与所述立体摄像机坐标系(7)之间的几何关系在不同的校准姿态之间不同，并且使用

●用于测量以下项之间的残差的成本函数(18)

○所述实际外部摄像机参数，和

○通过以所述惯性变量向量为输入对所述解析变形模型进行评估并将得到的外部摄像机参数偏差与所述标称外部摄像机参数相加而得到的更新的外部摄像机参数，

●以及优化算法(19)，该优化算法(19)使用在所述校准集(17)上评估的成本函数(18)来识别所述自由参数的值分配，尤其是其中，所述优化算法(19)识别所述自由参数的、使所述成本函数(18)对于所述校准集(17)最小化的值分配。

7.根据权利要求6所述的方法，

其特征在于

所述成本函数(18)被实现为残差平方和，和/或所述优化算法(19)被实现为梯度下降算法。

8.根据权利要求5、6或7中任一项所述的方法，

其特征在于，

所述解析变形模型(16)具有四个自由参数。

9.根据权利要求6至8中任一项所述的方法，

其特征在于，

对于每个校准姿态，使用基于该校准姿态模拟所述立体摄像机(1)的几何变形的有限元分析来获得所述实际外部摄像机参数。

10.根据权利要求6至9中任一项所述的方法，

其特征在于，

所述世界坐标系(5)被实现为笛卡尔坐标系，并且所述惯性变量向量是重力向量，其中，所述世界坐标系(5)的一个轴指向所述重力向量的方向，并且所述校准姿态仅包括所述立体摄像机(1)围绕其余两个轴中的至少一个的旋转。

11.一种计算机程序产品，该计算机程序产品被配置为提供如根据权利要求1至4中任一项所述的方法中的对由立体摄像机(1)的几何变形引起的成像误差的数值补偿。

12.一种计算机程序产品，该计算机程序产品被配置为提供如根据权利要求5至10中任一项所述的方法中的经校准的解析变形模型(20)。

13.一种立体摄像机(1)，该立体摄像机(1)包括：安装在公共支架(4)上的两个摄像机(2’、2”)；安装在所述公共支架(4)上的加速度计(3)，所述加速度计(3)尤其测量重力方向；以及包括如根据权利要求11所述的计算机程序产品中的程序代码的计算设备。

14.根据权利要求13所述的立体摄像机(1)，

其特征在于，

所述立体摄像机(1)还包括安装在所述公共支架(4)上的应变仪。

15.根据权利要求13或14所述的立体摄像机(1)，

其特征在于，

所述公共支架(4)被实现为具有主方向的梁，并且所述两个摄像机(2’、2”)在相对于所述主方向而言的相反两端处安装在所述梁的同一侧上。

Images