CN113379845A - 一种相机标定方法及装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种相机标定方法及装置、电子设备及存储介质。其中，方法包括：获取待标定相机对标定板进行图像采集得到的目标标靶图像；对目标标靶图像进行区域划分得到至少两个不重叠的图像区域；获取目标标靶图像中每个图像区域内的子图像；获取子图像中每个标志点的参数信息；基于每个图像区域对应的所有子图像中每个标志点的参数信息，计算待标定相机在每个图像区域的标定参数，得到与待标定相机对应的至少两个标定参数。本申请可以有效克服一套标定参数在使用时，存在待标定相机在不同图像区域的标定精度不同，导致一套标定参数无法准确标定出不同图像区域中待标定点的问题，因而通过多套标定参数可以使待标定相机达到更高精度的标定效果。

Description

一种相机标定方法及装置、电子设备及存储介质

技术领域

本申请涉及相机标定技术领域，尤其涉及一种相机标定方法及装置、电子设备及存储介质。

背景技术

随着科技进步，机器视觉的应用广泛被用于与测量、医学、安防、生物学等领域，利用相机获取空间信息，对于使机器人实现物体高精度定位，准确抓取和放置，以及高精度移动等操作尤为重要。

目前高精度标定相机被广泛应用在工业产品的定位、检测、测量等方面，即相机获取物体的像素信息，再根据高精度标定相机的内参数、外参数和相机畸变系数，后向投影求解被测物体空间信息。高精度相机标定分为2D标靶和3D靶标标定。3D标靶虽然可一次性采集图像完成相机参数标定，然而3D高精度标靶，加工难度大，价格昂贵，不被广泛应用。目前大多数相机标定仍采用2D平面标定法，并且依旧存在相机边缘区域标定精度差的问题。

由此可知，相关技术中的相机标定方法具有标定精度低的问题。

发明内容

为了解决上述相机标定方法中存在的标定精度低的技术问题，本申请提供了一种相机标定方法及装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种相机标定方法，包括：

获取待标定相机对标定板进行图像采集得到的目标标靶图像，其中，所述标定板上具有至少一个标志位；

对所述目标标靶图像进行区域划分得到至少两个不重叠的图像区域；

获取所述目标标靶图像中每个所述图像区域内的子图像；

获取子图像中每个标志点的参数信息，其中，所述标志点为对所述标志位进行图像采集后得到；

基于每个所述图像区域对应的所有所述子图像中每个所述标志点的参数信息，计算所述待标定相机在每个所述图像区域的标定参数，得到与所述待标定相机对应的至少两个标定参数。

可选地，如前述的方法，所述对所述目标标靶图像进行区域划分得到至少两个不重叠的图像区域包括：

确定所述目标标靶图像中的各个第一标志点；

对于每个所述第一标志点，获取所述第一标志点的像素坐标以及所述第一标志点对应的第一标志位的世界坐标，根据所述第一标志点的像素坐标以及第一标志位的世界坐标计算得到所述第一标志点的重投影误差，其中，所述第一标志点对应的第一标志位为所述标定板中被采集为所述第一标志点的标志位；

根据所述目标标靶图像中的各个所述第一标志点的重投影误差大小，将所述目标标靶图像划分成至少两个所述图像区域。

可选地，如前述的方法，所述对所述目标标靶图像进行区域划分得到至少两个不重叠的图像区域包括：

获取所述目标标靶图像的畸变信息；

按照畸变信息的不同，将所述目标标靶图像划分得到至少两个图像区域。

可选地，如前述的方法，所述基于每个所述图像区域内的所有所述子图像中每个所述标志点的参数信息计算所述待标定相机在每个所述图像区域的标定参数包括：

针对任意一个图像区域均执行以下步骤：

确定所述图像区域的所有所述子图像中每个第二标志点，以及每个所述第二标志点对应的第二标志位，其中，所述第二标志位为所述标定板中被采集为所述第二标志点的标志位；

基于所述第二标志点的像素坐标以及所述第二标志位的世界坐标，计算目标内外参数的第一初始值，其中，对于每个所述第二标志点，所述第二标志点的参数信息包括所述第二标志点的像素坐标以及所述第二标志点对应的第二标志位的世界坐标，所述目标内外参数为所述待标定相机与所述图像区域对应的内外参数；

根据所述目标内外参数的第一初始值，计算出所述目标内外参数的第一目标值以及目标畸变系数的第二目标值，其中，所述目标畸变系数为所述待标定相机与所述图像区域对应的畸变系数，所述标定参数为所述目标内外参数和所述目标畸变系数。

可选地，如前述的方法，所述基于所述第二标志点的像素坐标以及所述第二标志位的世界坐标，计算目标内外参数的第一初始值包括：

确定所述图像区域对应的多个坐标对，其中，每个所述坐标对中包括一个第二标志点的像素坐标和所述一个第二标志点对应的所述第二标志位的世界坐标；

基于张正友标定法对各个所述坐标对进行计算，得到所述目标内外参数的所述第一初始值。

可选地，如前述的方法，所述根据所述目标内外参数的第一初始值，计算出所述目标内外参数的第一目标值以及目标畸变系数的第二目标值包括：

基于所述目标内外参数的所述第一初始值以及所述目标畸变系数的第二初始值进行迭代计算，得到所述目标内外参数的所述第一目标值以及目标畸变系数的所述第二目标值，其中，所述第二初始值为0。

第二方面，本申请实施例提供了一种基于相机的物体标定方法，包括：

获取目标相机对目标物体进行图像采集后得到的目标图像，其中，所述目标相机预先通过如前任一项所述相机标定方法进行相机标定，所述目标相机包括至少两个标定参数；

确定目标图像中的待标定点的像素坐标；

根据所述待标定点的像素坐标确定出所述待标定点位于所述目标图像中的目标区域；

获取与所述目标区域对应的目标标定参数；

利用所述目标标定参数对所述待标定点进行标定。

第三方面，本申请实施例提供了一种相机标定装置，包括：

第一获取模块，用于获取待标定相机对标定板进行图像采集得到的目标标靶图像，其中，所述标定板上具有至少一个标志位；

划分模块，用于对所述目标标靶图像进行区域划分得到至少两个不重叠的图像区域；

第二获取模块，用于获取所述目标标靶图像中每个所述图像区域内的子图像；

第三获取模块，用于获取子图像中每个标志点的参数信息，其中，所述标志点为对所述标志位进行图像采集后得到；

标定参数模块，用于基于每个所述图像区域对应的所有所述子图像中每个所述标志点的参数信息，计算所述待标定相机在每个所述图像区域的标定参数，得到与所述待标定相机对应的至少两个标定参数。

第四方面，本申请实施例提供了一种基于相机的物体标定装置，包括：

第一获取模块，用于获取目标相机对目标物体进行图像采集后得到的目标图像，其中，所述目标相机预先通过如前任一项所述相机标定方法进行相机标定，所述目标相机包括至少两个标定参数；

第一确定模块，用于确定目标图像中的待标定点的像素坐标；

第二确定模块，用于根据所述待标定点的像素坐标确定出所述待标定点位于所述目标图像中的目标区域；

第二获取模块，用于获取与所述目标区域对应的目标标定参数；

标定模块，用于利用所述目标标定参数对所述待标定点进行标定。

第五方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述计算机程序时，实现如前述任一项所述的方法。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行如前任一项所述的方法。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该方法，采用分区域标定策略，计算出用于对待标定相机进行标定的至少两套标定参数，可以得到各个成像区域对应的标定参数，进而在通过完成标定的相机对待标定点进行标定时，可以基于待标定点所在的成像区域对应的标定参数，更加准确的计算得到待标定点的位置信息，因此，通过对两套标定参数进行结合使用，可以有效克服一套标定参数在使用时，存在的待标定相机在不同图像区域的标定精度不同，导致一套标定参数无法准确标定出不同图像区域中待标定点的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种相机标定方法的流程图；

图2为本申请另一实施例提供的一种相机标定方法的流程图；

图3为本申请另一实施例提供的一种相机标定方法的流程图；

图4为本申请实施例提供的一种基于相机的物体标定方法的流程图；

图5为本申请实施例提供的一种图像区域划分的示意图；

图6为本申请实施例提供的一种相机标定装置的框图；

图7为本申请实施例提供的一种基于相机的物体标定装置的框图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

根据本申请实施例的一个方面，提供了一种相机标定方法。可选地，在本实施例中，上述相机标定方法可以应用于由终端或服务器中。

本申请实施例的相机标定方法可以由服务器来执行，也可以由终端来执行，还可以是由服务器和终端共同执行。其中，终端执行本申请实施例的相机标定方法也可以是由安装在其上的客户端来执行。

以由终端来执行本实施例中的相机标定方法为例，如图1所示，包括如下所述步骤：

步骤S101，获取待标定相机对标定板进行图像采集得到的目标标靶图像，其中，标定板上具有至少一个标志位。

本实施例中的相机标定方法可以应用于对高精度相机进行标定的场景，也可以是对其他类型的相机进行标定的场景。本申请实施例中以对高精度相机进行标定为例说明上述的相机标定方法，对于其他类型相机，在不矛盾的情况下，上述的相机标定方法同样适用。

以待标定相机为高精度相机进行标定为例，通过高精度相机对多个姿态的标定板采集的各个目标标靶图像，对高精度相机的不同图像区域进行标定。

标定板可以是表面设有黑白相间方格的棋盘格的平面。

标定位可以是设于标定板上，各个黑白格的对角点。

一般情况下，可以通过待标定相机对不同姿态(例如，至少三个不同的姿态，具体姿态的数量可以根据实际应用时进行选择)的标定板分别进行图像采集，并且每个姿态的标定板会采集得到一个对应的目标标靶图像。

步骤S102，对目标标靶图像进行区域划分得到至少两个不重叠的图像区域。

图像区域可以是待标定相机对指定距离区间内的任意物体(例如，标定板)进行拍摄时，在所得到的图像中处于一特定位置的区域，并且，图像区域与图像中的内容无关，对于待标定相机在上述条件下拍摄得到的任意图像，每个图像区域在各个图像中均处于同一位置。

进一步的，各个图像区域不存在重叠区域，且各个图像区域之和等于目标标靶图像的图像总区域。

例如，如图5所示，当对目标标靶图像进行区域划分得到第一图像区域P以及第二图像区域Q时，第一图像区域可以是待标定相机对指定距离区间内的任意物体(例如，标定板)进行拍摄时，在所得到的图像中处于一特定位置的区域，并且，第一图像区域与图像中的内容无关，对于待标定相机在上述条件下拍摄得到的任意图像，在各个图像中均处于同一位置。例如，当拍摄得到的图像A为1000×500像素的图像时，第一图像区域可以是该图像中的一大小为600×300像素的矩形区域，且第一图像区域距离图像A的顶边为200像素，距离图像A的底边为200像素，距离图像A的左边为100像素，距离图像A的右边为100像素。

相似的，第二图像区域也可以是待标定相机对指定距离区间内的任意物体(例如，标定板)进行拍摄时，在所得到的图像中处于一特定位置的区域，并且，一般情况下，第二图像区域与第一图像区域不存在重叠的区域，并且，第二图像区域与图像中的内容无关，对于待标定相机在上述条件下拍摄得到的任意图像，在各个图像中均处于同一位置。例如，可以将拍摄得到的图像A中除第一图像区域之外的其他区域作为第二图像区域；也可以在图像A中确定出作为第二图像区域的区域，作为第二图像区域，并且，当需要确定出更多图像区域时，可以按此方式确定出第三图像区域、第四图像区域等等。

步骤S103，获取目标标靶图像中每个图像区域内的子图像。

在得到各个图像区域以及目标标靶图像之后，即可在目标标靶图像中，确定出图像区域内的子图像，并且每个目标标靶图像中，都存在图像区域内的子图像，因此图像区域内的子图像的数量与目标标靶图像的数量一致。

例如，当划分得到第一图像区域以及第二图像区域时，即可根据第一图像区域确定出目标标靶图像位于第一图像区域内的第一子图像和目标标靶图像位于第二图像区域内的第二子图像。例如，可以根据第一图像区域对应的第一像素的坐标以及第二图像区域对应的第二像素的坐标，在目标标靶图像中确定出第一子图像和第二子图像。一般情况下，会得到每个姿态的标定板对应的目标标靶图像，因此，会存在多个目标标靶图像，进而，得到的第一子图像会存在多个，且第二子图像也会存在多个。

步骤S104，获取子图像中每个标志点的参数信息，其中，标志点为对标志位进行图像采集后得到。

标志点可以是存在于子图像(即，目标标靶图像)中的，与标志位一一对应的图像信息。

对于每个标志点的参数信息来说，参数信息可以包括但不限于标志点的像素坐标，以及标志点对应的标志位的世界坐标。

例如，当对姿态A的标定板进行图像采集后得到目标标靶图像A时，目标标靶图像A中图像区域内的子图像中每个标志点均存在与其对应的姿态A的标定板中的标志位。

步骤S105，基于每个图像区域对应的所有子图像中每个标志点的参数信息，计算待标定相机在每个图像区域的标定参数，得到与待标定相机对应的至少两个标定参数。

在得到每个图像区域内的所有子图像之后，对于每个图像区域来说，即可基于图像区域内的所有子图像中每个标志点的参数信息对待标定相机的标定参数进行计算，进而得到的就是待标定相机在对应于该图像区域的标定参数。并按此，可以得到待标定相机对应于每个图像区域的标定参数。

进一步的，还可以建立每个图像区域与标定参数之间的对应关系，以便于后期可以通过判定待标定点所处的图像区域，确定待标定点所对应的标定参数，进而对待标定点进行准确的标定。

例如，在划分得到第一图像区域以及第二图像区域之后，得到作为第一图像区域对应的子图像的第一子图像，基于第一子图像中各个标志点对待标定相机的标定参数进行计算，进而得到的就是待标定相机在第一图像区域内的第一标定参数。

标定参数包括相机的内外参数以及镜头畸变系数。因此，第一标定参数即对应于待标定相机在第一图像区域内的相机的内外参数以及镜头畸变系数。

得到作为第一图像区域对应的子图像的第一子图像，基于第二子图像中各个标志点对待标定相机的标定参数进行计算，进而得到的就是待标定相机在第二图像区域内的第二标定参数。

与第一标定参数类似的，第二标定参数即对应于待标定相机在第二图像区域内的相机的内外参数以及镜头畸变系数。

在得到第一标定参数以及第二标定参数之后，即可将第一标定参数以及第二标定参数作为标定结果，以便于后期基于第一标定参数以及第二标定参数对通过待标定相机采集的图像中的待标定点进行位置标定以确定待标定点的世界坐标。

综上所述，通过本实施例中的方法，采用分区域标定策略，计算出用于对待标定相机进行标定的至少两套标定参数，通过对至少两套标定参数进行结合使用，可以有效克服一套标定参数在使用时，无法适应于待标定相机在不同图像区域的标定精度不同，导致一套标定参数无法准确标定出不同图像区域中待标定点的问题，因而通过至少两套标定参数可以使待标定相机达到更高精度的标定效果；进一步的，本方法只需采用低阶畸变成像模型即可完成相机标定，降低了高阶畸变成像模型计算相机参数的复杂度，同时降低了对2D标靶精度的要求，计算复杂度低，更加易于实现。

作为一种可选的实施方式，如前述的方法，至少包括两个目标标靶图像；所述步骤S102对目标标靶图像进行区域划分得到至少两个不重叠的图像区域包括如下所述步骤：

步骤S201，确定每个目标标靶图像中的各个第一标志点。

第一标志点可以是存在与目标标靶图像中的标志点。并且，每个目标标靶图像中均存在多个标志点，一般情况下，被采集为各个目标标靶图像的标定板的姿态各不相同。

例如，当存在目标标靶图像a、目标标靶图像b和目标标靶图像c时，目标标靶图像a可以是对姿态A的标定板进行图像采集得到，目标标靶图像b可以是对姿态B的标定板进行图像采集得到，目标标靶图像c可以是对姿态C的标定板进行图像采集得到。由于目标标靶图像是用于对待标定相机进行标定的，因此一般情况下，均会采集到标定板中的标定位，因此每个目标标靶图像中都会存在第一标志点，即，可以确定出每个目标标靶图像中的各个第一标志点。

步骤S202，对于每个第一标志点，获取第一标志点的像素坐标以及第一标志点对应的第一标志位的世界坐标，根据第一标志点的像素坐标以及第一标志位的世界坐标计算得到第一标志点的重投影误差，其中，第一标志点对应的第一标志位为标定板中被采集为第一标志点的标志位；

对于每个第一标志点来说，重投影误差可以是第一标志点的像素坐标(观测到的投影位置)与第一标志位(即，被待标定相机采集为第一标志点的实际空间中某一姿态的标定板的点位)按照当前估计的姿态进行投影得到的位置相比较得到的误差。因此，每个第一标志点都存在与其对应的重投影误差。

步骤S203，根据各个第一标志点的重投影误差大小，将目标标靶图像划分成至少两个图像区域。

由于在一般情况下，目标标靶图像中不同位置的各个第一标志点的重投影误差各不相同，因此，根据目标标靶图像中的各个第一标志点的重投影误差、以及各个第一标志点在目标标靶图像中的位置，可以确定出至少两个图像区域。

例如，可以先确定出各个第一标志点的重投影误差，确定出重投影误差在预设区间的第一标志点集合；然后确定出第一标志点集合中各个第一标志点的位置，进而可以确定出重投影误差在预设区间内的第一标志点所对应的区域确定出第一图像区域，然后将目标标靶图像中除第一图像区域之外的区域作为第二图像区域。

通过本实施例中的方法，可以基于各个第一标志点的重投影误差自动划分出至少两个图像区域，进而可以提升不同的图像区域划分的准确性。

作为一种可选的实施方式，如前述的方法，所述步骤S102对目标标靶图像进行区域划分得到至少两个不重叠的图像区域包括如下所述步骤：

步骤S301，获取目标标靶图像的畸变信息；

步骤S302，按照畸变信息的不同，将目标标靶图像划分得到至少两个图像区域。

畸变信息可以是用于描述指定区域中图像畸变程度的信息。

在待标定相机所采集的图像中，由于镜头制造等原因，不同区域的畸变程度各不相同，因而可以基于各个图像区域的畸变信息，将目标标靶图像划分得到至少两个图像区域。

例如，如图5所示，在一般情况下，待标定相机所采集的图像的边缘区域的畸变大于待标定相机所采集的图像的中心区域的畸变，因此，目标标靶图像边缘的畸变信息与目标标靶图像中心区域的畸变信息不同，因而可以基于不同图像区域的畸变信息，将目标标靶图像划分得到第一图像区域P和第二图像区域Q，并使第一图像区域P位于第二图像区域Q内部。

通过本实施例中的方法，可以基于畸变信息快速划分出畸变情况差异较大的多个图像区域，以提高确定出各个图像区域对应的标定参数的效率。

如图2所示，作为一种可选的实施方式，如前述的方法，所述步骤S105中基于每个所述图像区域内的所有所述子图像中每个所述标志点的参数信息计算所述待标定相机在每个所述图像区域的标定参数包括如下所述步骤：

针对任意一个图像区域均执行以下步骤：

步骤S401，确定图像区域的所有子图像中每个第二标志点，以及每个第二标志点对应的第二标志位，其中，第二标志位为标定板中被采集为第二标志点的标志位。

第二标志位可以是标定板中的标志位。

第二标志点为待标定相机对标定板进行图像采集后，将第二标志位采集为图像信息后的标志点。因此，每个第二标志点在标定板中都存在与该第二标志点对应的第二标志位，即，第二标志点与第二标志位之间存在一一对应关系。

步骤S402，基于第二标志点的像素坐标以及第二标志位的世界坐标，计算目标内外参数的第一初始值，其中，对于每个第二标志点，第二标志点的参数信息包括第二标志点的像素坐标以及第二标志点对应的第二标志位的世界坐标，目标内外参数为待标定相机与图像区域对应的内外参数。

在得到图像区域的第二标志点的像素坐标以及第二标志位的世界坐标之后，即可基于第二标志点的像素坐标以及第二标志位的世界坐标计算得到带标定相机在该图像区域内的标定参数。

第二标志点为标定板中的用于对相机进行标定的标志点。

像素坐标就是像素在图像中的位置。一般将像素坐标系的左上角的顶点作为原点，水平向右是u轴，垂直向下是v轴。也就是说，在确定第一标志点之后，可以基于第一标志点所对应像素的像素坐标，确定第一标志点的像素坐标。

在确定标定板之后，可以基于标定板所在的平面建立得到世界坐标系，然后基于各个第二标志点与世界坐标系原点之间的距离，得到各个第二标志点的世界坐标。

在得到各个第一标志点的像素坐标以及各个第二标志点的世界坐标之后，即可计算目标内外参数的第一初始值，目标内外参数的第一初始值为需要进一步进行优化的目标内外参数的值。

如图3所示，作为一种可选的实施方式，如前述的方法，所述步骤S402基于第二标志点的像素坐标以及所述第二标志位的世界坐标，计算目标内外参数的第一初始值包括如下所述步骤：

步骤S501，确定图像区域对应的多个坐标对，其中，每个坐标对中包括一个第二标志点的像素坐标和一个第一标志点对应的第二标志位的世界坐标。

在确定图像区域中的每个第二标志点之后，即可确定出每个第二标志点对应的第二标志位，因此，可以基于第二标志点的像素坐标和第二标志点对应的第二标志位的世界坐标，得到一个坐标对。基于此，图像区域中每个第二标志点都存在对应的坐标对。

步骤S502，基于张正友标定法对各个坐标对进行计算，得到目标内外参数的第一初始值。

也就是说，将每个坐标对作为输入数据，并采用张正友标定法进行计算之后，即可得到目标内外参数的第一初始值。

例如，可以先采用如下所述方法计算得到多个内外参数：

采用非线性相机模型描述其成像过程如下：

其中，(Xw，Yw，Zw)为世界坐标，(xc，yc，zc)为相机坐标，R为旋转矩阵，T为平移矩阵，x和y为归一化摄像机坐标，公式(1)用于将世界坐标转换到相机坐标，公式(2)用于将相机坐标进行归一化，k₁、k₂、k₃分别为径向畸变系数，p₁、p₂分别为切向畸变系数，公式(3)用于将相机坐标转换为图像坐标，即成像过程，理想情况下是相似三角形，但实际由于相机制造、装配的原因，成像过程存在畸变现象；fx为水平方向焦距和fy为竖直方向焦距，u₀为水平方向主点，v₀为竖直方向主点，公式(4)用于将图像坐标转换为像素坐标；因此，由公式(1)、(2)、(3)和(4)联合可得，将每个世界坐标转换到像素坐标时的相机内外参数和畸变系数。

对于相机标定最优参数求解，可利用线性成像模型，获取内外参数初值，再利用LM迭代优化求解出最优相机标定参数。首先利用线性成像模型的相机标定方法，求解其每个参考平面的单应性矩阵。假设在标靶平面建立世界坐标系，且令Z＝0，由针孔模型以及前述公式(1)、(2)、(3)和(4)可得：

其中，s为常数因子，

分别为同一坐标对中的像素坐标以及世界坐标，单应性矩阵H＝λA[r₁,r₂,t]，平移向量t为从世界坐标平移到光摄像机坐标的平移量，由旋转矩阵R为3×3的正交归一矩阵，r1、r2分别为旋转矩阵R的第一二列。H是计算像素坐标与世界坐标之间的残差最小的过程，目标函数为：

根据旋转矩阵的正交归一性可和H＝λA[r₁,r₂,t]，可得：

根据式(7)进一步化简，其中令B＝A^-TA^-1。根据矩阵乘积的性质，B矩阵为3×3的对称矩阵，所以B矩阵中仅含有6个独立的未知量，其可进一步化简，B矩阵中存在6个独立变量，对其求解6个未知量。求解过程如下：令b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T，带入式(7)，设H中的第i列向量为h_i＝[h_i1 h_i2 h_i3]^T，因此(7)又可化简为：

令v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T，则式(8)可以化简为：

式(9)的解，是矩阵g＝e^Te的最小特征值对应的特征向量，或者通过对矩阵e奇异分解求解b。cholesky矩阵法，分解矩阵b得到A-1，再对A-1矩阵

求逆矩阵，最后获得内参矩阵A。

内参矩阵A求解完成后，根据旋转矩阵R的正交归一性，列向量r1和r2的模长大小均为1，则由r₁＝1/λA^-1h₁或者r₂＝1/λA^-1h₂，可得λ＝1/||A^-1h₁||＝1/||A^-1h₂||。由棋盘格的每一个空间姿态获取的图像，求解出对应的一个单一性矩阵Hn，即可进一步求解出棋盘格的每一个姿态对应的外参矩阵B：

进而，基于内参矩阵A和外参矩阵B即可得到图像区域的目标内外参数的第一初始值。

步骤S403，根据目标内外参数的第一初始值，计算出目标内外参数的第一目标值以及目标畸变系数的第二目标值，其中，目标畸变系数为待标定相机与图像区域对应的畸变系数，标定参数为目标内外参数和目标畸变系数。

在得到目标内外参数的第一初始值之后，即可在目标内外参数的第一初始值的基础上进行优化，进而得到目标内外参数的第一目标值以及目标畸变系数的第二目标值。

第一目标值可以是优化后得到的目标内外参数的最终优化值。

第二目标值可以是优化后得到的目标畸变系数的最终优化值。

作为一种可选的实施方式，如前述的方法，所述步骤S403根据目标内外参数的第一初始值，计算出目标内外参数的第一目标值以及目标畸变系数的第二目标值包括如下所述步骤：

步骤S601，根据目标内外参数的第一初始值以及目标畸变系数的第二初始值进行迭代计算，得到目标内外参数的第一目标值以及目标畸变系数的第二目标值，其中，第二初始值为0。

在得到目标内外参数的第一初始值之后，即可确定出作为优化基础的目标内外参数数据，同时，通过将目标畸变系数的第二初始值设为0，即可得到用于进行优化的标定参数初始值(即，包括目标内外参数的第一初始值以及目标畸变系数的第二初始值)。

可选的，可以采用LM(Levenberg-Marquarelt)迭代算法基于目标内外参数的第一初始值以及目标畸变系数的第二初始值进行迭代计算，以得到目标内外参数的第一目标值以及目标畸变系数的第二目标值。其中，LM迭代算法是一种迭代求函数极值的算法。

采用LM迭代算法计算得到目标内外参数的第一目标值以及目标畸变系数的第二目标值的方法如下所示：

(J^T(x)J(x)+uI)Δx＝-J^T(x)f(x) (11)

其中u≥0，u表示信赖域半径。其迭代优化过程如下：

(1)给定初始值x₀(即，目标内外参数的第一初始值以及目标畸变系数的第二初始值)，设置u初始值u₀(u₀根据经验设定)。

(2)第k次迭代，根据前面的公式求出步长Δx，并计算此时的ρk。

(3)根据ρ_k的取值来调整信赖域半径。

(4)若Δx_k足够小(即，小于预设阈值),则停止迭代，并得到目标内外参数的第一目标值以及目标畸变系数的第二目标值；否则根据ρ_k大小判断x_k+1应该如何更新，计算出x_k+1后返回步骤(2),继续进行迭代。

如图4所示，根据本申请另一方面的一个实施例，还提供一种基于相机的物体标定方法，包括如下所述步骤：

步骤S701，获取目标相机对目标物体进行图像采集后得到的目标图像，其中，目标相机预先通过如前述任一实施例中的相机标定方法进行相机标定，目标相机包括至少两个标定参数；

在完成对待标定相机的标定之后，即可将待标定相机作为目标相机，以基于完成标定后的目标相机对目标物体进行标定。因此，可以通过目标相机对目标物体进行图像采集，得到目标图像。

步骤S702，确定目标图像中的待标定点的像素坐标；

在对目标物体进行图像采集之后，即可得到与目标物体对应的目标图像，进而可以获取图像中待标定点的像素坐标。

步骤S703，根据待标定点的像素坐标确定出待标定点位于目标图像中的目标区域；

步骤S704，获取与目标区域对应的目标标定参数；

步骤S705，利用目标标定参数对待标定点进行标定。

由于图像区域为是待标定相机对指定距离区间内的任意物体(例如，标定板)进行拍摄时，在所得到的图像中处于一特定位置的区域，并且，图像区域与图像中的内容无关，对于待标定相机在上述条件下拍摄得到的任意图像，在各个图像中均处于同一位置。因此，可以确定各个图像区域在图像中的像素坐标范围。

因此，基于待标定点的像素坐标，以及各个图像区域对应的像素坐标范围。可以确定出包含待标定点的像素坐标的像素坐标范围。

当待标定点的像素坐标包含于某一图像区域的像素坐标范围内时，则将目标相机与该图像区域对应的标定参数记为目标标定参数，进而根据目标标定参数对待标定点进行标定，因此，可以达到对该图像区域中的待标定点进行更加准确的标定的目的。

例如，当对目标相机拍摄的图像划分得到第一图像区域以及第二图像区域时，可以基于待标定点的像素坐标、第一图像区域的第一像素坐标范围以及第二图像区域的第二像素坐标范围。确定出包含待标定点的像素坐标的像素坐标范围。

当待标定点的像素坐标包含于第一像素坐标范围内时，则目标相机与第一图像区域对应的标定参数为第一标定参数，进而根据第一标定参数对待标定点进行标定。

当待标定点的像素坐标包含于第二像素坐标范围时，则目标相机与第二图像区域对应的标定参数为第二标定参数，进而根据第二标定参数对待标定点进行标定。

综上可知，采用多套相机的标定参数的结合使用，可以得到整体高精度的标定结果。

如图6所示，根据本申请另一方面的一个实施例，还提供了一种相机标定装置，包括：

第一获取模块11，用于获取待标定相机对标定板进行图像采集得到的目标标靶图像，其中，标定板上具有至少一个标志位；

划分模块12，用于对目标标靶图像进行区域划分得到至少两个不重叠的图像区域；

第二获取模块13，用于获取目标标靶图像中每个图像区域内的子图像；

第三获取模块14，用于获取子图像中每个标志点的参数信息，其中，标志点为对标志位进行图像采集后得到；

标定参数模块15，用于基于每个图像区域对应的所有子图像中每个标志点的参数信息，计算待标定相机在每个图像区域的标定参数，得到与待标定相机对应的至少两个标定参数。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

如图7所示，根据本申请另一方面的一个实施例，一种基于相机的物体标定装置，包括：

第一获取模块21，用于获取目标相机对目标物体进行图像采集后得到的目标图像，其中，目标相机预先通过如前任一项相机标定方法进行相机标定，目标相机包括至少两个标定参数；

第一确定模块22，用于确定目标图像中的待标定点的像素坐标；

第二确定模块23，用于根据待标定点的像素坐标确定出待标定点位于目标图像中的目标区域；

第二获取模块24，用于获取与目标区域对应的目标标定参数；

标定模块25，用于利用目标标定参数对待标定点进行标定。

具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

根据本申请的另一个实施例，还提供一种电子设备，包括：如图8所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。

存储器1503，用于存放计算机程序；

处理器1501，用于执行存储器1503上所存放的程序时，实现上述方法实施例的步骤。

上述电子设备提到的总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供一种计算机可读存储介质，存储介质包括存储的程序，其中，程序运行时执行上述方法实施例的方法步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种相机标定方法，其特征在于，包括：

获取待标定相机对标定板进行图像采集得到的目标标靶图像，其中，所述标定板上具有至少一个标志位；

对所述目标标靶图像进行区域划分得到至少两个不重叠的图像区域；

获取所述目标标靶图像中每个所述图像区域内的子图像；

获取子图像中每个标志点的参数信息，其中，所述标志点为对所述标志位进行图像采集后得到；

基于每个所述图像区域对应的所有所述子图像中每个所述标志点的参数信息，计算所述待标定相机在每个所述图像区域的标定参数，得到与所述待标定相机对应的至少两个标定参数。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标标靶图像进行区域划分得到至少两个不重叠的图像区域包括：

确定所述目标标靶图像中的各个第一标志点；

对于每个所述第一标志点，获取所述第一标志点的像素坐标以及所述第一标志点对应的第一标志位的世界坐标，根据所述第一标志点的像素坐标以及第一标志位的世界坐标计算得到所述第一标志点的重投影误差，其中，所述第一标志点对应的第一标志位为所述标定板中被采集为所述第一标志点的标志位；

根据所述目标标靶图像中的各个所述第一标志点的重投影误差大小，将所述目标标靶图像划分成至少两个所述图像区域。

3.根据权利要求1所述的方法，其特征在于，所述对所述目标标靶图像进行区域划分得到至少两个不重叠的图像区域包括：

获取所述目标标靶图像的畸变信息；

按照畸变信息的不同，将所述目标标靶图像划分得到至少两个图像区域。

4.根据权利要求1所述的方法，其特征在于，所述基于每个所述图像区域对应的所有所述子图像中每个所述标志点的参数信息，计算所述待标定相机在每个所述图像区域的标定参数包括：

针对任意一个图像区域均执行以下步骤：

确定所述图像区域的所有所述子图像中每个第二标志点，以及每个所述第二标志点对应的第二标志位，其中，所述第二标志位为所述标定板中被采集为所述第二标志点的标志位；

基于所述第二标志点的像素坐标以及所述第二标志位的世界坐标，计算目标内外参数的第一初始值，其中，对于每个所述第二标志点，所述第二标志点的参数信息包括所述第二标志点的像素坐标以及所述第二标志点对应的第二标志位的世界坐标，所述目标内外参数为所述待标定相机与所述图像区域对应的内外参数；

根据所述目标内外参数的第一初始值，计算出所述目标内外参数的第一目标值以及目标畸变系数的第二目标值，其中，所述目标畸变系数为所述待标定相机与所述图像区域对应的畸变系数，所述标定参数为所述目标内外参数和所述目标畸变系数。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第二标志点的像素坐标以及所述第二标志位的世界坐标，计算目标内外参数的第一初始值包括：

确定所述图像区域对应的多个坐标对，其中，每个所述坐标对中包括一个第二标志点的像素坐标和所述一个第二标志点对应的所述第二标志位的世界坐标；

基于张正友标定法对各个所述坐标对进行计算，得到所述目标内外参数的所述第一初始值。

6.根据权利要求4所述的方法，其特征在于，所述根据所述目标内外参数的第一初始值，计算出所述目标内外参数的第一目标值以及目标畸变系数的第二目标值包括：

基于所述目标内外参数的所述第一初始值以及所述目标畸变系数的第二初始值进行迭代计算，得到所述目标内外参数的所述第一目标值以及目标畸变系数的所述第二目标值，其中，所述第二初始值为0。

7.一种基于相机的物体标定方法，其特征在于，包括：

获取目标相机对目标物体进行图像采集后得到的目标图像，其中，所述目标相机预先通过如权利要求1至6任一项所述相机标定方法进行相机标定，所述目标相机包括至少两个标定参数；

确定目标图像中的待标定点的像素坐标；

根据所述待标定点的像素坐标确定出所述待标定点位于所述目标图像中的目标区域；

获取与所述目标区域对应的目标标定参数；

利用所述目标标定参数对所述待标定点进行标定。

8.一种相机标定装置，其特征在于，包括：

第一获取模块，用于获取待标定相机对标定板进行图像采集得到的目标标靶图像，其中，所述标定板上具有至少一个标志位；

划分模块，用于对所述目标标靶图像进行区域划分得到至少两个不重叠的图像区域；

第二获取模块，用于获取所述目标标靶图像中每个所述图像区域内的子图像；

第三获取模块，用于获取子图像中每个标志点的参数信息，其中，所述标志点为对所述标志位进行图像采集后得到；

标定参数模块，用于基于每个所述图像区域对应的所有所述子图像中每个所述标志点的参数信息，计算所述待标定相机在每个所述图像区域的标定参数，得到与所述待标定相机对应的至少两个标定参数。

9.一种基于相机的物体标定装置，其特征在于，包括：

第一获取模块，用于获取目标相机对目标物体进行图像采集后得到的目标图像，其中，所述目标相机预先通过如权利要求1至6任一项所述相机标定方法进行相机标定，所述目标相机包括至少两个标定参数；

第一确定模块，用于确定目标图像中的待标定点的像素坐标；

第二确定模块，用于根据所述待标定点的像素坐标确定出所述待标定点位于所述目标图像中的目标区域；

第二获取模块，用于获取与所述目标区域对应的目标标定参数；

标定模块，用于利用所述目标标定参数对所述待标定点进行标定。

10.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、通信接口和存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述计算机程序时，实现权利要求1至7任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法。

Images