CN109496265B - 用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法 - Google Patents

Abstract

本发明涉及一种用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法，将时间编码的图案目标在平面显示器上显示，在平面显示器上显示图案序列并且由所述至少一个传感器相机将所述图案序列记录为一系列相机图像，在平面显示器在空间中的位置固定时或分别对于平面显示器在空间中的至少两个不同的位置，实施在时间编码的图案目标的像素与相机图像的所采集的像点之间的配置，通过彼此对应的点进行校准，实施伽马修正，在显示时间编码的图案目标之前事先在平面显示器的任意位置中和/或除记录所述图案序列之外在平面显示器的每个位置中通过所述至少一个传感器相机记录和修正平面显示器的伽马曲线。

Description

用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法

技术领域

本发明涉及一种具有用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法。

本发明涉及相机本身的校准、多个相机彼此的校准以及由多个相机构成的传感器关于外部坐标系的校准。

背景技术

这样的方法对于不同的校准任务特别重要的是：

一种校准任务例如是确定相机的内部的/固有的参数。在这里，重要的参数是图像平面与投影中心的间距(焦距/像距/室内常数/相机常数)、图像平面与光学轴线的交点(主点)以及失真参数。另一个实例是通过外部的/非固有的参数确定两个(或多个)相机彼此的取向。在此，确定旋转矩阵和在相机的坐标系之间的平移矢量。此外，可以实施关于外部的机器坐标系确定多相机系统的取向。

相机系统(传感器)的坐标系关于机器人或坐标测量机的坐标系确定。传感器不可运动地固定(亦即关于机器坐标系是固定不变的)或者作为工具固定在机器上(亦即关于机器的工具坐标系是固定不变的)。这种问题情况也在“手眼校准”的概念下已知。

另一种应用是确定转盘的旋转轴线、亦即旋转轴线在多相机系统(3D传感器)的坐标系中的位置和方向。

在这里，背景是用于利用3D传感器3D环绕测量物体的转盘。

另一种应用实例是确定传送带在多相机系统(3D传感器)的坐标系中的运动方向。背景是测量在传送带上的运动的物体。

通常，为了校准使用具有空间标记、例如棋盘图案或经编码的圆形标记的目标。与此无关，在3D测量中存在时间编码的方案。在此，将图案投射到待测量的物体上。由此，每个物点获得唯一的时间编码。

时间编码也可能适用于校准目标。在此，用于时间编码的图案不是由投影机投射，而是由屏幕呈现。因此，屏幕是校准目标。

发明内容

在按照本发明的用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法中，将所述时间编码的图案目标在平面显示器上显示，其中，在所述平面显示器上显示图案序列并且由所述至少一个传感器相机将所述图案序列记录为一系列相机图像。在此，在所述平面显示器在空间中的位置固定时或分别对于所述平面显示器在空间中的至少两个不同的位置，实施在所述时间编码的图案目标的像素与所述相机图像的所采集的像点之间的配置，其中，通过彼此对应的点进行校准。在此，实施伽马修正，其中，在显示所述时间编码的图案目标之前事先在所述平面显示器的任意位置中和/或除记录所述图案序列之外在所述平面显示器的每个位置中通过所述至少一个传感器相机记录和修正所述平面显示器的伽马曲线。

在一种实施方式中，在伽马修正时，在所述平面显示器上显示并且由所述至少一个传感器相机记录由均匀的灰色图像构成的时间顺序，其中，测定所述平面显示器的伽马曲线并且接着产生修正伽马曲线，其中，将所述图案序列的要在所述平面显示器上呈现的组成部分对应于所述修正伽马曲线地显示。

在一种实施方式中，除所述图案序列之外，对于在所述平面显示器与所述图像采集传感器之间的每个相对位置显示由特别是匀质的灰度值图像构成的时间顺序，其中，由所述灰度值图像的顺序产生对于整个图像的(更确切地说：所述平面显示器的整个显示区域)或对于在所述传感器相机内部的每个像点的修正伽马曲线，其中，接着进行对在所述图案序列内部的图像的伽马修正。在所述伽马修正中可以修正图案序列的利用传感器相机记录的图像或图案序列的先前在平面显示器上显示的图像。

在一种实施方式中，在所述平面显示器以在空间中固定的位置记录时对于每个传感器相机进行附加地自动适配曝光时间，其中，在所述平面显示器上显示并且由所述传感器相机记录均匀的白色图像，其中，将所述传感器相机的曝光时间如此精调，使得在所述曝光时间的终值处利用预定的明暗度值通过所述传感器相机采集在所述平面显示器上的最亮的点。

其他备选的优化标准也是可能的，例如，在传感器相机中采集的明暗度值超过预定的明暗度值的像点的百分比份额最大应为一预定的值(亦即例如：对于像点的最大10％，灰度值应超过250)。

在一种实施方式中，在所述时间编码的图案目标的像素与所采集的像点之间进行配置并且对于所述平面显示器关于所述图像采集传感器的每个相对位置产生点对应的数据量时，在第一步骤中仅将部分像素和所采集的像点彼此配置，其中，由此时获得的配置来计算在显示的与记录的图案图像之间的单应性，利用所述单应性限制用于在显示的与记录的图案图像之间的其他配置的重要探寻范围。背景是缩短在配置对应的点时的计算时间。

在一种实施方式中，在所述时间编码的图案目标的像素与所采集的像点之间进行配置并且在预定的栅格之内产生数据量。在这里，背景也特别是缩短在配置对应的点时的计算时间。

在一种实施方式中，将平板电脑用作平面显示器，所述平板电脑具有在平板电脑上运行的程序和/或具有在与平板电脑无线通信的外部的控制单元上运行的程序，以用于产生和显示所述时间编码的图案目标。

在一种实施方式中，所述时间编码的图案目标的图案序列由一系列统计产生的图案构成。

在一种实施方式中，所述时间编码的图案目标的图案序列由一系列正规图案、特别是条纹图案或棋盘图案。条纹图案可以具有双重的或连续的明暗度曲线。特别重要的是正弦形的(1+cos)条纹图案，即使图案份额很小，利用该条纹图案也可以实现在点配置时的大精确性。

在一种实施方式中，将所述平面显示器设置在线性运动的输送装置上，其中，借助于所述平面显示器的通过所述输送装置的线性运动引起的移动来测定所述输送装置关于所述图像采集传感器的运动方向。

在一种实施方式中，将所述平面显示器设置在旋转装置上，其中，借助于所述平面显示器的通过所述旋转装置的旋转引起的角度运动来测定所述旋转装置的旋转轴线关于所述图像采集传感器的位置和取向。

在一种实施方式中，将所述平面显示器设置在机器人装置的运动部件上，其中，通过所述机器人装置的运动部件中的一个或多个运动部件的旋转和/或平移来测定所述机器人装置的基准坐标系关于所述图像采集传感器的位置和取向。

在一种实施方式中，将所述图像采集传感器与机器人装置的工具点连接并且将所述平面显示器关于所述机器人装置静态地设置，其中，通过所述机器人装置的工具点的(进而也是所述图像采集传感器的)旋转和/或平移来测定所述机器人装置的工具坐标系关于所述图像采集传感器的位置和取向。

在一种实施方式中，在相对于所述采集图像传感器的不同的相对的位置和/或取向中记录所述平面显示器并且测定每个单独的传感器相机的内部成像参数和/或所述传感器相机彼此的位置和/或取向。

在按照本发明的基本构思的范畴内，为了实施在这里描述的和要求保护的方法应用平板电脑。

具体实施方式

下面应示例性地详细阐述所述方法。

因此，所述方法的特别之处不是校准本身，而是校准目标。相对于空间标记，带有时间标记等的目标具有以下优点：

·通过时间编码获得非常多的标记。在此，屏幕的每个像素变成一个标记。

·所述标记可以完全填满相机的可视范围，只要屏幕足够大。因此，也还可以在相机图像的边缘处登记标记。这对于确定在内部校准时的失真参数是重要的。

·标记的唯一登记通过时间编码非常可靠地、精确地且简单地进行。

·校准目标的不完全的可见性(例如由于覆盖)不影响校准的原理。

在校准时使用一个相机或者相结合地使用多个相机，所述相机由PC控制。例如将输入板(Tablet)用作校准目标，所述输入板通过WLAN与PC连接。事先提供应在输入板上显示的图案。使用统计产生的图案、亦即随机的时间编码。但是，也可设想其他时间编码技术(例如条纹投射)。

实施以下步骤：

步骤1：(粗略的伽马修正)

首先，事先记录和粗略地修正输入板的伽马曲线。为此，相机记录输入板，同时在输入板上显示一系列均匀的灰色图像。之后，由记录的灰色图像确定输入板的伽马曲线。在此，适用以下关系：

灰度值_相机＝m·灰度值_输入板 ^Y+n

原则上，也可以修正其他非线性关系。然而，伽马曲线在实际中是最重要的。对应于所测定的伽马值地修正应在输入板上显示的图案图像：

灰度值_输入板'＝灰度值_输入板 ^-Y

因此，在输入板的灰度值与相机的灰度值之间保留线性关系。但是，事实上在该步骤中仅涉及粗略修正。在每次测量时分别实施精细修正。理论上，这样的精细修正是足够的。然而，实际上这与由于噪声的大的不精确性相关，所述噪声特别是能通过传感器噪声和量化噪声变得明显。粗略修正用于在图像记录时已经更好地利用相机的灰度值范围。因此，接着的精细修正仅还微小地改变所记录的图像。

步骤2：(平面显示器的记录、伽马修正和点配置)

然后，对输入板的记录在固定位置中进行。输入板关于传感器的位置的选择与校准任务有关。

可选地，首先对于每个相机的曝光时间的自动适配分开地利用以下步骤进行：

在步骤a中，在输入板上以最大亮度显示均匀的白色图像。然后，在步骤b中利用相机进行记录。最后，利用步骤c对相机的曝光时间进行适配，直至输入板的显示区域恰好不被过调。这对应于按照优化曝光时间的探寻，其中，例如输入板的显示区域的最亮的点例如达到相机的最大明暗度值的95％。其他优化标准也是可能的，其中，在此可设想对于这种自动方法的不同算法。这例如可以是所谓的二分法。

此后，可以记录一系列用于伽马修正的均匀的灰色图像：

为此，将由灰色图像序列构成的图像依次分别在输入板上显示并且由一个或多个相机记录所述图像。灰色图像的用途是精细伽马修正或者一般是在输入板的灰度值与相机的灰度值之间的非线性关系的修正。

对所述图案序列的记录接着如下进行。现在，将由统计图案的序列构成的图像依次在输入板上显示并且由一个或多个相机记录所述图像。在此，也可设想其他的图案类型、例如条纹图案。

图案的在这里描述的次序(亦即首先灰度值图像、然后图案图像、在两者之间的交换的次序或者甚至一个相互交叉的次序)不影响校准的原理。重要的仅在于，在接着分析处理时已知哪个记录的图像对应于哪个显示的图像。

此后，对记录的图像的分析处理对于每个相机分开地利用以下步骤进行：

可选地，首先实施对显示器的显示区域的确定。

由记录的图案图像和/或灰度值图像确定显示器的显示区域在相机图像中的位置。为此，对于每个像点和每个相机考虑明暗度的时间变化(例如明暗度值的时间上的标准偏差)。如果时间上的明暗度变化超过预定的阈值，那么将对应像点列入显示器的显示区域。也可以将其他(统计的)值、如明暗度的时间上的平均值考虑为备选的/补充的标准。随后的用于确定和修正伽马曲线以及用于配置对应像点的步骤可以对显示器的如此确定的显示区域的像点进行限制。

对伽马曲线的确定和修正不必强制地实施。所述确定和所述修正利用以下步骤进行：

由记录的均匀的灰色图像对于相机的每个像素(u，v)确定以下关系：

灰度值_相机(u，v)＝m(u，v)·灰度值_输入板(u，v)^Y(u，v)+n(u，v)

现在，对应于n(u，v)、m(u，v)和Y(u，v)地修正记录的图案图像：

灰度值_相机'(u，v)＝[(灰度值_相机(u，v)-n(u，v))/m(u，v)]^-Y(u，v)

在此，原则上也可以修正其他非线性关系。

备选地，也可以对于整个图像并且不对于每个像素(u，v)单独地确定伽马曲线：

灰度值_相机(u，v)＝m·灰度值_输入板(u，v)^Y+n

然后，对应于参数n、m和Y地修正记录的图案图像：

灰度值_相机'(u，v)＝[(灰度值_相机(u，v)-n)/m]^-Y

备选地，在不是对于每个像点单独地、而是对于显示器的整个显示区域确定伽马曲线的这种情况中，也可以如下修正事先在平面显示器上显示的图案图像：

灰度值_相机'(u，v)＝m·灰度值_输入板(u，v)^Y+n

现在，对对应像点的必需配置如下实施。

在第一步骤中，给输入板的每个像素以子像素精确的方式配置在相机中的对所述输入板像素成像的相应像点。为此，确定图案图像序列的在这些点处时间上依次在输入板上显示的或由相机记录的明暗度值的相似性。例如可以将标准化的互相关或绝对差的总和用作相似性度量。这根据使用哪种类型的图案进行，也完全可设想其他相似性度量。在正弦形的条纹图案中，例如可以进行所谓的相位分析处理。标准化的互相关以及相位分析处理都可以考虑在显示的与记录的明暗度值之间的线性关系。

可以不考虑非线性关系、如伽马曲线。因此，如果没有在该方法中使用的伽马修正，那么所配置的点对应的精度相对较差。

因此，作为结果存在产生的具有点对应的列表，接着进一步处理所述列表。

为了降低在这里需要的计算负载，不同的措施是可能的，这些措施可以附加地进行：

首先，可以仅配置一些点并且由所配置的点确定在输入板与相机的图像平面之间的所谓的单应性，利用所述单应性可以限制用于其他点配置的探寻范围。此外也可能的是，通常不是给输入板的每个点配置像点，而是仅给来自预定栅格的一些点配置。

这些可选的用于减少计算负载的措施具有以下背景：一个平面(在这里平面显示器)的点向另一个平面(在这里相机的图像平面)中的投射可以通过所谓的单应性描述。如果对于平面显示器相对于相机的确定的位置和取向已知单应性，那么对于平面显示器的每个点可以直接计算相机中的对应像点。这可以通过以下方式利用，其方式是，首先在相对粗略的第一点配置中在没有限制探寻范围的情况下仅给输入板的一些点(例如来自预定栅格)配置相机中的像点并且由所述对应性计算出粗略的描述对应投射的单应性。

在现在较精细的第二点配置中，给平面显示器的明显较大量的像素(例如在预定的较精细的栅格中或可选择地所有像素)配置相机中的对应像点。然而现在，对于输入板的每个像素通过应用粗略的单应性来计算相机中的初始像点并且将对对应像点的探寻对于这个像素限制到相机的图平面中的区域上、例如围绕那些初始像点的具有预定大小的圆形或矩形上。

接下来，在步骤3中实施对输入板的位置的改变。输入板处于哪里以及如何改变输入板的位置与相应的校准任务有关。在校准传动带时，输入板例如处于传送带上并且由传送带移动任意的不必已知的量。

在校准转盘时，输入板处于转盘上并且由所述转盘转动任意的不必已知的量。

在校准机器人时，输入板固定不变地固定在工具点上并且转动和/或移动任意的量。然而，在机器人的基准坐标系与机器人的工具坐标系之间的当前转换必须是已知的。然而，原则上由机器人的软件和机器人的控制装置测定上述信息是没有问题的。

输入板的位置和/或相机的位置是否改变与校准任务有关。在此决定性的是，改变相机相对于显示器的相对的位置和/或取向。在提到平面显示器的不同位置的地方始终意味着，平面显示器的位置和/或取向关于给出图像的传感器发生改变。

在下一个步骤4中，多次重复步骤2和步骤3。

在此，在不同位置处记录输入板。在此，所述位置的数量与校准任务有关。结果，在多次应用步骤2和步骤3之后，对于输入板的每个位置并且对于给出图像的传感器的所述至少一个相机中的每个相机获得具有点对应的列表、亦即具有输入板的像素的列表，给所述像素配置相应相机中的相应像点。

然后，在下一个步骤5中，在使用点对应的列表的情况下可以解决真实的校准任务，所述列表在步骤4中在应用步骤2和3的情况下测定。具体方法与校准任务有关，如以下实例表明的那样：

在校准转盘时，例如如下处理：

将输入板放到转盘上。在此，输入板必须固定不变地与转盘连接、亦即在转盘转动时不允许滑动。接着，利用由两个相机构成的传感器如在步骤2中描述的那样记录所述输入板。所述传感器必须事先分开地校准。现在，在每次记录之后，将转盘与输入板共同体转动任意的、可变的量。接着，重新记录输入板。总体上，例如在转盘的十个不同角度位置处记录输入板。

因此，对于转盘的每个角度位置产生两个具有点对应的列表，亦即对于每个相机产生一个列表。现在，在所述列表中，对于输入板的每个像素滤出在个相机中的两个对应像点。由两个对应像点的坐标可以以通常的方式通过三角测量重建对应的输入板像素的空间位置，因为事先会分开校准传感器本身。

如果对于转盘的每个角度位置和输入板的每个像素重复上面提到的步骤4，那么对于输入板的每个像素获得特别是圆形的轨迹，所述轨迹描述在转盘转动时的所述像素。对于每个轨迹可以通过平面拟合确定一个平面，所述轨迹处于该平面中。同样地，可以通过圆拟合确定圆形的中心。

所述轨迹的平面始终具有基本上相同的法向量，所述法向量定义转盘的旋转轴线的方向。除旋转轴线的方向之外，也可以由圆形的轨迹的中心确定旋转轴线的位置。

在手眼校准时，输入板固定不变地与机器人的工具点连接，并且由两个相机构成的传感器关于机器人的基座固定不变地固定。现在，由传感器记录输入板，其中，应事先分开校准传感器(原则上可能的是，在手眼校准期间也确定相机系统本身的固有的和非固有的参数。同时，储存机器人的当前姿态、亦即机器人的工具点相对于机器人的基准坐标系的位置和取向。

现在，改变输入板的位置和/或取向，其方式是，改变机器人的姿态、亦即工具点的位置和取向。现在，对于机器人的每个姿态获得两个具有点对应的列表、亦即对于每个相机获得一个列表。现在，在所述列表中，对于输入板的每个像素滤出两个相机中的两个对应像点。由两个对应像点的坐标可以以通常的方式通过三角测量重建对应的输入板像素的空间位置，因为事先会分别校准传感器本身。由输入板像素的2D坐标和所属的重建的3D坐标可以对于机器人的每个姿态以已知的方式计算出输入板相对于传感器坐标系的位置和取向。

先前的步骤对于机器人的每个姿态一方面提供工具点关于机器人的基准坐标系的位置和取向以及此外提供输入板关于传感器坐标系的位置和取向。由对应的位置和取向可以以已知的方式计算出传感器关于机器人的基准坐标系的位置和取向。

借助实施例阐述按照本发明的方法。在本领域技术人员的能力范围内能实现进一步变型。所述变型方案由从属权利要求得出。

Claims (12)

1.用于在使用时间编码的图案目标的情况下校准由至少一个传感器相机构成的图像采集传感器的方法，

将所述时间编码的图案目标在平面显示器上显示，其中，在所述平面显示器上显示图案序列并且由所述至少一个传感器相机将所述图案序列记录为一系列相机图像，

在所述平面显示器在空间中的位置固定时或分别对于所述平面显示器在空间中的至少两个不同的位置，实施在所述时间编码的图案目标的像素与所述相机图像的所采集的像点之间的配置，

通过彼此对应的点进行校准，

其特征在于，实施伽马修正，其中，在显示所述时间编码的图案目标之前事先在所述平面显示器的任意位置中和/或除记录所述图案序列之外在所述平面显示器的每个位置中通过所述至少一个传感器相机记录和修正所述平面显示器的伽马曲线，

所述方法还具有如下步骤中的至少一个步骤：

a)除所述图案序列之外，对于在所述平面显示器与所述图像采集传感器之间的每个相对位置显示由匀质的灰度值图像构成的时间顺序，由所述灰度值图像的顺序产生对于整个图像或对于在所述传感器相机内部的每个像点的修正伽马曲线，其中，接着进行对在所述图案序列内部的图像的伽马修正；

b)在所述平面显示器以在空间中固定的位置记录时对于每个传感器相机进行附加地自动适配曝光时间，在所述平面显示器上显示并且由所述传感器相机记录均匀的白色图像，将所述传感器相机的曝光时间精调成，使得在所述曝光时间的终值处所述平面显示器的由所述传感器相机采集的像点的明暗度值满足事先定义的优化标准；

c)在所述时间编码的图案目标的像素与所采集的像点之间进行配置并且对于所述平面显示器关于所述图像采集传感器的每个相对位置产生点对应的数据量时，在第一步骤中仅将部分像素和所采集的像点彼此配置，由此时获得的配置来计算在显示的与记录的图案图像之间的单应性，利用所述单应性限制用于在显示的与记录的图案图像之间的其他配置的重要探寻范围。

2.根据权利要求1所述的方法，

其特征在于，

在伽马修正时，在所述平面显示器上显示并且由所述至少一个传感器相机记录由均匀的灰色图像构成的时间顺序，测定所述平面显示器的伽马曲线并且接着产生修正伽马曲线，

将所述图案序列的要在所述平面显示器上呈现的组成部分对应于所述修正伽马曲线地显示。

3.根据权利要求1或2所述的方法，

其特征在于，

在所述时间编码的图案目标的像素与所采集的像点之间进行配置并且在预定的栅格之内产生数据量。

4.根据权利要求1或2所述的方法，其特征在于，

将平板电脑用作平面显示器，所述平板电脑具有在平板电脑上运行的程序和/或具有在与平板电脑无线通信的外部的控制单元上运行的程序，以用于产生和显示所述时间编码的图案目标。

5.根据权利要求1或2所述的方法，

其特征在于，

所述时间编码的图案目标的图案序列由一系列统计产生的图案构成。

6.根据权利要求1或2所述的方法，

其特征在于，

所述时间编码的图案目标的图案序列由一系列正规图案。

7.根据权利要求6所述的方法，

其特征在于，

所述正规图案是条纹图案或棋盘图案。

8.根据权利要求1或2所述的方法，

其特征在于，

将所述平面显示器设置在线性运动的输送装置上，借助于所述平面显示器的通过所述输送装置的线性运动引起的移动来测定所述输送装置关于所述图像采集传感器的运动方向。

9.根据权利要求1或2所述的方法，

其特征在于，

将所述平面显示器设置在旋转装置上，借助于所述平面显示器的通过所述旋转装置的旋转引起的角度运动来测定所述旋转装置的旋转轴线关于所述图像采集传感器的位置和取向。

10.根据权利要求1或2所述的方法，

其特征在于，

将所述平面显示器设置在机器人装置的运动部件上，通过所述机器人装置的运动部件中的一个或多个运动部件的旋转和/或平移来测定所述机器人装置的基准坐标系关于所述图像采集传感器的位置和取向。

11.根据权利要求1或2所述的方法，

其特征在于，

将所述图像采集传感器与机器人装置的工具点连接并且将所述平面显示器关于所述机器人装置静态地设置，通过所述机器人装置的工具点的旋转和/或平移来测定所述机器人装置的工具坐标系关于所述图像采集传感器的位置和取向。

12.根据权利要求1或2所述的方法，

其特征在于，

在相对于所述图像采集传感器的不同的相对的位置和/或取向中记录所述平面显示器并且测定每个单独的传感器相机的内部成像参数和/或所述传感器相机彼此的位置和/或取向。