CN111627073B - 一种基于人机交互的标定方法、标定装置和存储介质 - Google Patents

Abstract

本申请公开了一种基于人机交互的标定方法、标定装置和存储介质，具体为图像采集设备在当前采样位置采集包含标定板的第一待处理图像，计算与第一待处理图像对应的图像采集设备相对于标定板的第一变换参数，根据预设采样位置和第一变换参数，计算图像采集设备的当前采样位置与预设采样位置的平移关系和旋转关系，基于平移关系和旋转关系生成的指令，将图像采集设备调整至预设采样位置，并在预设采样位置采集第二待处理图像，计算图像采集设备的相机内参和畸变参数。本申请实施例通过人机交互的方式使得图像采集设备在预设采样位置采集图像，并计算图像采集设备的相机内参和畸变参数，不借助间接测量设备辅助进行测量，实现图像采集设备的精确标定。

Description

一种基于人机交互的标定方法、标定装置和存储介质

技术领域

本申请涉及计算机视觉领域，尤其涉及一种基于人机交互的标定方法、标定装置和存储介质。

背景技术

相机作为计算机观察客观世界的重要途径之一，经常应用在图像测量过程以及机器视觉应用中。为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为对多传感器进行标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。而相机采集的图像一般都会存在畸变，如果不能正确的获得图像的内参和畸变参数，那么将会严重影响以图像为基础的视觉感知技术的应用。

现有的相机标定方法主要采用间接标定方式，主要借助于辅助标定板来实现相机标定，由于存在间接设备作为辅助这种方法比较繁琐且存在较大的误差，不能精确的进行相机标定。

发明内容

本申请实施例提供了一种基于人机交互的标定方法，不借助间接测量设备辅助进行测量，且克服了对图像采集设备标定不精确的问题。

该方法包括：

图像采集设备在至少一个当前采样位置采集包含标定板的第一待处理图像；

基于所述第一待处理图像，计算与所述第一待处理图像对应的所述图像采集设备相对于所述标定板的第一变换参数；

根据预设采样位置和所述第一变换参数，计算所述图像采集设备的所述当前采样位置与所述预设采样位置的平移关系和旋转关系；

基于所述平移关系和旋转关系生成的指令，将所述图像采集设备调整至所述预设采样位置，并在所述预设采样位置采集至少一个第二待处理图像；

根据所述第二待处理图像，计算所述图像采集设备的相机内参和畸变参数。

可选地，在至少一个所述当前采样位置上采集的所述第一待处理图像中提取至少一个所述角点，并统计在所述第一待处理图像中的所述角点的第一数量；

比较所述第一数量与预先统计的所述标定板包含的所述角点的第二数量；

当所述第一数量与所述第二数量的数值不相同时，调整所述图像采样设备的所述当前采样位置，并在调整后的所述当前采样位置采集所述第一待处理图像，直至所述第一数量与所述第二数量的数值相同。

可选地，计算所述预设采样位置相对于所述标定板的位置的第二变换参数；

根据所述图像采集设备在至少一个所述调整后的所述当前采样位置上相对于所述标定板的位置的所述第一变换参数和所述第二变换参数，计算所述第一变换参数和第二变换参数之间的所述平移关系和所述旋转关系。

可选地，分别提取所述预设采样位置采集的至少两个所述第二待处理图像中的所述角点，并生成第一角点对；

基于所述第一角点对，计算所述图像采集设备的相机内参和畸变参数。

可选地，当存在至少两个所述图像采集设备时，所述图像采集设备分别在所述预设采样位置采集第三待处理图像和第四待处理图像；

基于每个所述图像采集设备的所述相机内参和所述畸变参数，分别对所述待第三处理图像和所述第四待处理图像进行去畸变处理；

分别在所述第三待处理图像和所述第四待处理图像中提取所述标定板的所述角点，并计算所述至少两个所述图像采集设备之间的姿态标定参数。

可选地，按照所述姿态标定参数，将任一所述图像采集设备对应的待处理图像中的任一数据点进行变换，并投影至另一所述图像采集设备的待处理图像上；

计算任一数据点在所述另一所述图像采集设备的所述待处理图像上的第一重投影误差，并将不满足预设阈值的所述第一重投影误差对应的所述姿态标定参数删除，并计算所述姿态标定参数的最优解。

在本发明的另一个实施例中，提供了一种基于人机交互的标定装置，该装置包括：

第一采集模块，用于图像采集设备在至少一个当前采样位置采集包含标定板的第一待处理图像；

第一计算模块，用于基于所述第一待处理图像，计算与所述第一待处理图像对应的所述图像采集设备相对于所述标定板的第一变换参数；

第二计算模块，用于根据预设采样位置和所述第一变换参数，计算所述图像采集设备的所述当前采样位置与所述预设采样位置的平移关系和旋转关系；

调整模块，用于基于所述平移关系和旋转关系生成的指令，将所述图像采集设备调整至所述预设采样位置，并在所述预设采样位置采集至少一个第二待处理图像；

第三计算模块，用于根据所述第二待处理图像，计算所述图像采集设备的相机内参和畸变参数。

可选地，所述第一采集模块包括：

统计单元，用于在所述第一待处理图像中提取至少一个所述角点，并统计在所述第一待处理图像中的所述角点的第一数量；

比较单元，用于比较所述第一数量与预先统计的所述标定板包含的所述角点的第二数量；

调整单元，用于当所述第一数量与所述第二数量的数值不相同时，调整所述图像采样设备的所述当前采样位置，并在调整后的所述当前采样位置采集所述第一待处理图像，直至所述第一数量与所述第二数量的数值相同。

可选地，所述第二计算模块包括：

第一计算单元，用于计算所述预设采样位置相对于所述标定板的位置的第二变换参数；

第二计算单元，用于根据所述图像采集设备在至少一个所述调整后的所述当前采样位置上相对于所述标定板的位置的所述第一变换参数和所述第二变换参数，计算所述第一变换参数和第二变换参数之间的所述平移关系和所述旋转关系。

可选地，所述第三计算模块包括：

提取单元，用于分别提取所述预设采样位置采集的至少两个所述第二待处理图像中的所述角点，并生成第一角点对；

第三计算单元，用于基于所述第一角点对，计算所述图像采集设备的相机内参和畸变参数。

可选地，所述装置还包括：

第二采集模块，用于当存在至少两个所述图像采集设备时，所述图像采集设备分别在所述预设采样位置采集第三待处理图像和第四待处理图像；

去畸变模块，用于基于每个所述图像采集设备的所述相机内参和所述畸变参数，分别对所述待第三处理图像和所述第四待处理图像进行去畸变处理；

第四计算模块，用于分别在所述第三待处理图像和所述第四待处理图像中提取所述标定板的所述角点，并计算所述至少两个所述图像采集设备之间的姿态标定参数。

可选地，所述装置还包括：

投影模块，用于按照所述姿态标定参数，将任一所述图像采集设备对应的待处理图像中的任一数据点进行变换，并投影至另一所述图像采集设备的待处理图像上；

第五计算模块，用于计算任一数据点在所述另一所述图像采集设备的所述待处理图像上的第一重投影误差，并将不满足预设阈值的所述第一重投影误差对应的所述姿态标定参数删除，并计算所述姿态标定参数的最优解。

在本发明的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述一种基于人机交互的标定方法中的各个步骤。

在本发明的另一个实施例中，提供了一种终端设备，包括处理器，所述处理器用于执行上述一种基于人机交互的标定方法中的各个步骤。

如上可见，基于上述实施例，首先图像采集设备在至少一个当前采样位置采集包含标定板的第一待处理图像，其次，基于第一待处理图像，计算与第一待处理图像对应的图像采集设备和标定板的第一变换参数，进一步地，根据预设采样位置和第一变换参数，计算图像采集设备的当前采样位置与预设采样位置的平移关系和旋转关系，然后，基于平移关系和旋转关系生成的指令，将图像采集设备调整至预设采样位置，并在预设采样位置采集至少一个第二待处理图像，最后，根据第二待处理图像，计算图像采集设备的相机内参和畸变参数。本申请实施例通过人机交互的方式使得图像采集设备在预设采样位置采集图像，并计算图像采集设备的相机内参和畸变参数，不借助间接测量设备辅助进行测量，实现图像采集设备的精确标定。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例100所提供的一种基于人机交互的标定方法的流程示意图；

图2示出了本申请实施例200提供的标定板的示意图；

图3示出了本申请提供的实施例300提供的一种基于人机交互的标定方法的具体流程的示意图；

图4示出了本申请实施例400还提供一种基于人机交互的标定装置的示意图；

图5示出了本申请实施例500所提供的一种终端设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

基于现有技术中的问题，本申请实施例提供了一种基于人机交互的标定方法，主要适用于计算机视觉和三维重建领域。通过处理器接收图像采集设备采集的图像，通过采集的图像生成指令，使得处理器连接的图像采集设备移动至预设采样位置，并在预设采样位置采集图像，进一步计算图像采集设备的畸变参数和相机内参，实现一种基于人机交互的标定方法。下面以具体实施例对本发明的技术方案进行详细说明。其中，几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。如图1所示，为本申请实施例100提供的一种基于人机交互的标定方法的流程示意图。其中，详细步骤如下：

S11，图像采集设备在至少一个当前采样位置采集包含标定板的第一待处理图像。

本步骤中，本申请实施例中的图像采集设备可以为照相机或者虚拟现实(VirtualReality，VR)设备。图像采集设备可以由机械臂连接，并由处理器控制。标定板可以设定在图像采集设备的正前方，图像采集设备的图像采集视野中可以包括整块标定板。标定板由处理器生成并显示在于处理器连接的电子屏幕，即可以为电子标定板。进一步地，图像采集设备采集包含标定板的第一待处理图像。其中，标定板中的每个四边形单元格作为独立的元素，检测每个黑色单元格和白色单元格的边，并将黑色单元格和白色单元格的几何中心作为角点的位置。另外，标定板也可由多个圆形单元格组成。其中，每个圆形单元格的几何中心作为标定板的角点的位置。如图2所述，为本申请实施例200示出的标定板的示意图。

S12，基于第一待处理图像，计算与第一待处理图像对应的图像采集设备相对于标定板的第一变换参数。

本步骤中，通过对在各个当前采样位置采集的第一待处理图像进行分析，获取第一待处理图像中表示标定板上的至少一个角点的像素坐标，以及表示标定板上的至少一个角点的三维坐标。进一步地，根据至少一个角点的像素坐标和三维坐标，计算标定板与图像采集设备之间相对姿态的第一变换参数。其中，标定板和图像采集设备之间的第一变换参数包括旋转参数和平移参数。

S13，根据预设采样位置和第一变换参数，计算图像采集设备的当前采样位置与预设采样位置的平移关系和旋转关系。

本步骤中，预设采样位置为预先设置的采样位置。其中，获取在预设采样位置时的图像采集设备与标定板的第二变换参数。第二变换参数中包括图像采集设备在每个预设采样位置时相对于标定板的平移参数和旋转参数。进一步地，基于第一变换参数和第二变换参数，计算图像采集设备在当前采样位置时与预设采样位置的平移关系和旋转关系。其中，平移关系由第一变换参数和第二变换参数中的平移参数来决定，以及，旋转关系由第一变换参数和第二变换参数中的旋转参数来决定。

S14，基于平移关系和旋转关系生成的指令，将图像采集设备调整至预设采样位置，并在预设采样位置采集至少一个第二待处理图像。

本步骤中，处理器基于前述步骤计算出的当前采样位置和预设采样位置之间的平移关系和旋转关系生成指令，以使控制图像采集设备的机械臂按照指令中的平移关系和旋转关系调整图像采集设备的位置。进一步地，当图像采集设备按照指令移动至预设采样位置后，处理器控制图像采集设备在至少一个预设采样位置采集第二待处理图像。

S15，根据第二待处理图像，计算图像采集设备的相机内参和畸变参数。

本步骤中，此时采集的第二待处理图像均是在预设采样位置获取。当仅有一个图像采集设备时，通过在多个预设采样位置采集的第二待处理图像中提取角点，并生成角点对，并计算图像采集设备的相机内参和畸变参数。

如上所述，基于上述实施例，首先图像采集设备在至少一个当前采样位置采集包含标定板的第一待处理图像，其次，基于第一待处理图像，计算与第一待处理图像对应的图像采集设备相对于标定板的第一变换参数，进一步地，根据预设采样位置和第一变换参数，计算图像采集设备的当前采样位置与预设采样位置的平移关系和旋转关系，然后，基于平移关系和旋转关系生成的指令，将图像采集设备调整至预设采样位置，并在预设采样位置采集至少一个第二待处理图像，最后，根据第二待处理图像，计算图像采集设备的相机内参和畸变参数。本申请实施例通过人机交互的方式使得图像采集设备在预设采样位置采集图像，并计算图像采集设备的相机内参和畸变参数，不借助间接测量设备辅助进行测量，实现图像采集设备的精确标定。

如图3所示，为本申请实施例300提供的一种基于人机交互的标定方法的具体流程的示意图。其中，该具体流程的详细过程如下：

S301，在当前采样位置采集第一待处理图像。

这里，当前采样位置为图像采集设备可能摆放的位置，为未校正前的采样位置。其中，此时采集的第一待处理图像中可能并不包含完整的标定板，或可能不在预设采样位置。

S302，判断采集的第一待处理图像中是否包含完整标定板。

这里，在至少一个当前采样位置上采集的第一待处理图像中提取至少一个角点，并统计在第一待处理图像中的角点的第一数量；比较第一数量与预先统计的标定板包含的角点的第二数量。可选地，在采集的第一待处理图像中利用角点提取算法提取第一待处理图像中的各个角点。进一步地，统计在第一待处理图像中的角点的第一数量，并将第一数量与预先统计的标定板上的角点的第二数量进行比较。其中，标定板为由电子屏幕显示的电子标定板，主要由处理器选择业务场景进行具体的标定板的显示。

S303，当不包含完整标定板时，调整当前采样位置，直至第一待处理图像中包含完整标定板。

这里，当第一数量与第二数量的数值不相同时，调整图像采样设备的当前采样位置，并在调整后的当前采样位置采集第一待处理图像，直至第一数量与第二数量的数值相同。可选地，当第一数量与第二数量的数值不同时，则一般可确定在当前采样位置采集的第一待处理图像中不包含完整的标定板。此时，可以通过调整当前采样位置，并使图像采集设备在调整后的当前采样位置采集第一待处理图像，并重复上述步骤S301至步骤S303，直至第一待处理图像中包含完整的标定板。

S304，在第一待处理图像中包含完整标定板时，计算与第一待处理图像对应的图像采集设备相对于标定板的第一变换参数。

这里，在多个不重复的当前采样位置，并计算当前采样位置相对于标定板的位置的第一变换参数。

可选地，提取第一待处理图像中角点，基于角点的角点坐标，获取在各个当前采样位置相对于标定板的第一变换参数T_i＝[R_i,T_i]。其中，i≥1,且为整数，i为第i个当前采样位置，R_i为在当前采样位置上的图像采集设备与标定板之间的旋转关系，T_i为在当前采样位置上的图像采集设备与标定板之间的平移关系。

S305，基于第一变换参数与预先计算的第二变换参数，计算图像采集设备的当前采样位置与预设采样位置的平移关系和旋转关系。

本步骤中，预设采样位置为处理器预先设定的采样位置。一般需要将图像采集设备调整至预先采样位置进行图像采集，以保证设备标定的准确性。在对后续的图像采集设备进行标定时，每个图像采集设备安装在机械臂上时相对于标定板的位置可能会有偏差。可选地，为了使后续进行标定的图像采集设备进行采样的当前采样位置与预设采样位置相同，计算后续待标定的图像采集设备在每一个预设采样位置与标定板的第二变换参数T_j＝[R_j,T_j]。其中，j≥1,且为整数，j为第j个预设采样位置,R_j为在预设采样位置上的图像采集设备与标定板之间的旋转关系，T_j为在预设采样位置上的图像采集设备与标定板之间的平移关系。第二变化参数存储在处理器中。

进一步地，根据T_i和T_j、R_i和R_j之间的变换关系，计算图像采集设备的当前采样位置与预设采样位置的平移关系和旋转关系。并调整后续的图像采集设备的当前采样位置与对应的预设采样位置一致。

S306，基于平移关系和旋转关系生成的指令，将图像采集设备调整至预设采样位置，并在预设采样位置采集至少一个第二待处理图像。

进一步地，在每个当前采样位置上，根据第一变换矩阵和第二变换矩阵，处理器基于前述步骤计算的平移关系和旋转关系生成指令，调整机械臂以使图像采集设备与标定板的位置为预设采样位置。进一步地，图像采集设备在预设采样位置采集至少一个第二待处理图像。在采集第二待处理图像时，可以跳过开始采集到的部分帧的第二待处理图像，如舍弃开始采集到的10帧第二待处理图像，从第11帧开始保存为第二待处理图像，以使采集到的第二待处理图像中均完整清晰的包含整块标定板。

S307，根据第二待处理图像，计算图像采集设备的相机内参和畸变参数。

本步骤中，分别提取预设采样位置采集的至少两个第二待处理图像中的角点，并生成第一角点对；基于第一角点对，计算图像采集设备的相机内参和畸变参数。针对单个图像采集设备的标定，首先提取第二待处理图像中的角点，并基于第二待处理图像中的角点的图像坐标，计算图像采集设备的相机内参和畸变参数。具体的，利用角点提取算法分别提取第二待处理图像中的角点，并基于提取的至少两个第二待处理图像中的角点生成的第一角点对，计算图像采集设备的相机内参和畸变参数。可选地，通过张氏标定算法，N点透视(Perspective-n-point,PNP)算法来优化结果并得到图像采集设备的相机内参和畸变参数。其中，在提取了角点的图像坐标后，为了获取更高的精度，可以将提取到的角点的像素精确到亚像素精度。

进一步地，相机内参为与图像采集设备自身相关的参数，相机内参可以表示为 其中，f_x为图像采集设备的摄像头在X轴上的焦距，f_y为在Y轴上的焦距，c_x为相对光轴而言x方向上的偏移量和相对光轴而言Y方向上的偏移量c_y。图像采集设备的畸变参数D＝[k₁,k₂,p₁,p₂,k₃]，其中，k₁,k₂,k₃为感光元平面跟透镜不平行所导致的径向畸变系数，p₁,p₂为相机制作工艺导致的切向畸变系数。

S308，当存在至少两个图像采集设备时，图像采集设备分别在预设采样位置采集第三待处理图像和第四待处理图像。

本步骤中，在接收到对至少两个图像采集设备进行标定的命令后，通过已经完成上述步骤S301至S307的内参标定的至少两个图像采集设备在各自的预设采样位置分别采集第三待处理图像和笛笛待处理图像。其中，图像采集设备的图像采集视野中均包含整块标定板。相似的，在采集第三待处理图像和第四待处理图像时，可以跳过开始采集到的部分帧的待处理图像，如舍弃开始采集到的10帧待处理图像，从第11帧开始保存为第三待处理图像或第四待处理图像。

S309，对第三待处理图像和第四待处理图像进行去畸变处理。

本步骤中，根据相机内参和畸变参数对待处理图像进行去畸变处理。可选地，分别根据图像采集设备预先计算的相机内参和畸变参数分别对第三待处理图像和第四待处理图像进行去畸变处理。具体地，将可能存在畸变的图像坐标经过畸变参数变换，投影到无畸变的图像坐标系下，得到无畸变的图像。针对上述步骤S307中计算出的图像采集设备的相机内参和畸变参数，对应的图像采集设备采集的第三待处理图像去畸变的具体过程如下：

r＝x²+y²，

x′＝x×(1+k₁×r+k₂×r²+k₃×r³)+2×p₁×x×y+p₂×(r+2×x²),

y′＝y×(1+k₁×r+k₂×r²+k₃×r³)+2×p₁×x×y+p₂×(r+2×y²),

其中，u₀和v₀是图像采集设备的摄像头的中心点位置，u和v表示第三待处理图像上任意数据点的像素坐标，r为归一像素半径的平方，x和y是归一化像素坐标。针对其他图像采集设备采集的第四待处理图像进行去畸变的具体过程与前述过程类似，此处不再赘述。

S310，计算至少两个图像采集设备之间的姿态标定参数。

这里，分别在第三待处理图像和第四待处理图像中提取标定板的角点，并计算至少两个图像采集设备之间的姿态标定参数。可选地，首先在第三待处理图像和第四待处理图像中提取标定板中的角点，其次，分别获取至少一个角点在图像坐标系下的像素坐标和三维坐标。最后，分别基于对应的图像采集设备的相机内参，角点的像素坐标和三维坐标，计算至少两个图像采集设备之间的姿态标定参数。

可选地，在去畸变后的第三待处理图像和第四待处理图像中的角点。可以通过计算第三待处理图像和第四待处理图像中上每个像素的梯度得到梯度图，然后对梯度图做聚类处理得到感兴趣的线段并进行亚像素处理，以检测四边形并提取四边形的中心作为角点。进一步地，获取角点的像素坐标和三维坐标。其中，像素坐标是第三待处理图像或第四待处理图像中的每个角点的二维像素坐标，三维坐标是每个角点在标定板坐标系下的三维坐标。由于标定板的每个角点之间的物理尺寸是已知的，可以根据至少一个角点的像素坐标和三维坐标，通过PNP优化求解得到标定板在图像采集设备的相机坐标系下的旋转参数和平移参数。针对第三待处理图像的第三旋转参数和第三平移参数的具体的计算过程为如下所示的公式：

其中，(x_c,y_c)是图像坐标系下的角点的像素坐标，(X_w，Y_w，Z_w)是标定板坐标系下的三维坐标，R₁为标定板在图像采集设备的相机坐标系下的第三旋转参数，t₁为第一标定板在图像采集设备的相机坐标系下的第三平移参数。基于第四待处理图像的图像采集设备的第四旋转参数R₂和第四平移参数t₂的计算过程与前述步骤相似，

进一步地，，基于第三旋转参数、第四旋转参数、第三平移参数和第四平移参数，计算至少两个图像采集设备之间相对姿态的姿态标定参数，包括第五旋转参数和第五平移参数。可选地，通过前述计算出的第三旋转参数R₁、第四旋转参数R₂、第三平移参数t₁和第四平移参数t₂，计算在第一预设采样位置时的图像采集设备与在第二预设采样位置时的图像采集设备之间相对姿态的第五旋转参数和第五平移参数。具体的，在第一预设采样位置时的图像采集设备的变换矩阵为＝[R₁ t₁]，在第二预设采样位置时的图像采集设备的变换矩阵为T₂＝[R₂ t₂]T₁，第五旋转参数为R₂₁＝R₁×R₂.inverse()，第五平移参数为T₂₁＝T₁-R₂₁×T₂。

S311，按照姿态标定参数，将任一图像采集设备对应的待处理图像中的任一数据点进行变换，并投影至另一图像采集设备的待处理图像上，并计算任一数据点在另一图像采集设备的待处理图像上的第一重投影误差。

这里，按照第五平移参数和相机内参，将第三待处理图像中的各个角点的坐标进行变换，并投影至第四待处理图像对应的相机坐标系中，生成在第四待处理图像中的重投影坐标(X_{ia_b},Y_{ia_b})。可选地，根据第五平移参数和相机内参，将进行去畸变处理后的第三待处理图像和第四待处理图像进行像素点对齐，并将第三待处理图像投影在第四待处理图像上，计算生成的重投影坐标(X_{ia_b},Y_{ia_b})与第四待处理图像上的角点(x_ib,y_ib)的第一像素偏移量。相似地，将第四待处理图像中的角点的三维坐标投影至第三待处理图像中，计算重投影后的重投影坐标与对应的第三待处理图像的角点的像素坐标的第二像素偏移量。进一步地，计算第一像素偏移量和第二像素偏移量的均值。

S312，根据第一像素偏移量和第二像素偏移量的均值，判断图像采集设备之间的姿态标定参数的误差是否在预设阈值内。

这里，预设阈值可以根据经验值确定，本申请实施例中的预设阈值的较佳值为0.1个像素值。

S313，将大于预设阈值的第一像素偏移量和第二像素偏移量的均值对应的第五旋转参数和第五平移参数删除。

这里，当重投影误差不满足预设阈值时，将对应的姿态标定参数删除，并重新执行步骤是301至步骤S313，直至第一像素偏移量和第二像素偏移量的均值满足预设阈值。

S314，小于预设阈值时，则确定标定成功。

本申请基于上述步骤实现上述一种基于人机交互的标定方法。处理器连接电子屏幕根据业务需要显示标定板，并作为人机交互界面。处理器预先设置预设采样位置，并基于图像采集设备采集的待处理图像，计算与预设采样位置的平移关系和旋转关系，并生成指令。通过处理器控制机械臂使得图像采集设备在预设采样位置采集图像。进一步地，在接收到标定命令后，完成单个或多个图像采集设备的标定，最后通过重投影误差衡量标定结果是否精确。本申请实施例不借助外在设备，通过人机交互完成较为相机标定，提升了标定效率和标定精确度。

基于同一发明构思，本申请实施例400还提供一种基于人机交互的标定装置，其中，如图4所示，该装置包括：

第一采集模块401，用于图像采集设备在至少一个当前采样位置采集包含标定板的第一待处理图像；

第一计算模块402，用于基于第一待处理图像，计算与第一待处理图像对应的图像采集设备相对于标定板的第一变换参数；

第二计算模块403，用于根据预设采样位置和第一变换参数，计算图像采集设备的当前采样位置与预设采样位置的平移关系和旋转关系；

调整模块404，用于基于平移关系和旋转关系生成的指令，将图像采集设备调整至预设采样位置，并在预设采样位置采集至少一个第二待处理图像；

第三计算模块405，用于根据第二待处理图像，计算图像采集设备的相机内参和畸变参数。

本实施例中，第一采集模块401、第一计算模块402、第二计算模块403、调整模块404和第三计算模块405的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。

可选地，第一采集模块401包括：

统计单元，用于在第一待处理图像中提取至少一个角点，并统计在第一待处理图像中的角点的第一数量；

比较单元，用于比较第一数量与预先统计的标定板包含的角点的第二数量；

调整单元，用于当第一数量与第二数量的数值不相同时，调整图像采样设备的当前采样位置，并在调整后的当前采样位置采集第一待处理图像，直至第一数量与第二数量的数值相同。

可选地，第二计算模块403包括：

第一计算单元，用于计算预设采样位置相对于标定板的位置的第二变换参数；

第二计算单元，用于根据图像采集设备在至少一个调整后的当前采样位置上相对于标定板的位置的第一变换参数和第二变换参数，计算第一变换参数和第二变换参数之间的平移关系和旋转关系。

可选地，第三计算模块405包括：

提取单元，用于分别提取预设采样位置采集的至少两个第二待处理图像中的角点，并生成第一角点对；

第三计算单元，用于基于第一角点对，计算图像采集设备的相机内参和畸变参数。

可选地，该装置还包括：

第二采集模块406，用于当存在至少两个所述图像采集设备时，图像采集设备分别在所述预设采样位置采集第三待处理图像和第四待处理图像；

去畸变模块407，用于基于每个图像采集设备的相机内参和所述畸变参数，分别对待第三处理图像和第四待处理图像进行去畸变处理；

第四计算模块408，用于分别在第三待处理图像和第四待处理图像中提取标定板的角点，并计算所述至少两个图像采集设备之间的姿态标定参数。

可选地，该装置还包括：

投影模块409，用于按照姿态标定参数，将任一图像采集设备对应的待处理图像中的任一数据点进行变换，并投影至另一图像采集设备的待处理图像上；

第五计算模块410，用于计算任一数据点在另一所述图像采集设备的待处理图像上的第一重投影误差，并将不满足预设阈值的第一重投影误差对应的姿态标定参数删除，并计算姿态标定参数的最优解。

如图5所示，本申请的又一实施例500还提供一种终端设备，包括处理器501，其中，处理器501用于执行上述一种基于人机交互的标定方法的步骤。从图5中还可以看出，上述实施例提供的终端设备还包括非瞬时计算机可读存储介质502，该非瞬时计算机可读存储介质502上存储有计算机程序，该计算机程序被处理器501运行时执行上述一种基于人机交互的标定方法的步骤。实际应用中，该终端设备可以是一台或多台计算机，只要包括上述计算机可读介质和处理器即可。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘和FLASH等，该存储介质上的计算机程序被运行时，能够执行上述的一种基于人机交互的标定方法中的各个步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，能够执行上述的一种基于人机交互的标定方法中的各个步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于人机交互的标定方法，其特征在于，包括：

图像采集设备在至少一个当前采样位置采集包含标定板的第一待处理图像；

基于所述第一待处理图像，计算与所述第一待处理图像对应的所述图像采集设备相对于所述标定板的第一变换参数；

根据预设采样位置和所述第一变换参数，计算所述图像采集设备的所述当前采样位置与所述预设采样位置的平移关系和旋转关系；其中，所述计算所述图像采集设备的所述当前采样位置与所述预设采样位置的平移关系和旋转关系包括：获取在所述预设采样位置时的所述图像采集设备与所述标定板的第二变换参数，所述第二变换参数中包括所述图像采集设备在所述预设采样位置时相对于所述标定板的平移参数和旋转参数，基于所述第一变换参数和所述第二变换参数，计算所述图像采集设备在所述当前采样位置时与预设采样位置的平移关系和旋转关系；

基于所述平移关系和旋转关系生成的指令，将所述图像采集设备调整至所述预设采样位置，并在所述预设采样位置采集至少一个第二待处理图像；

根据所述第二待处理图像，计算所述图像采集设备的相机内参和畸变参数。

2.根据权利要求1所述的标定方法，其特征在于，所述图像采集设备在至少一个当前采样位置采集包含标定板的第一待处理图像的步骤包括：

在至少一个所述当前采样位置上采集的所述第一待处理图像中提取至少一个角点，并统计在所述第一待处理图像中的所述角点的第一数量；

比较所述第一数量与预先统计的所述标定板包含的所述角点的第二数量；

当所述第一数量与所述第二数量的数值不相同时，调整所述图像采样设备的所述当前采样位置，并在调整后的所述当前采样位置采集所述第一待处理图像，直至所述第一数量与所述第二数量的数值相同。

3.根据权利要求2所述的方法，其特征在于，所述计算所述图像采集设备的所述当前采样位置与所述预设采样位置的平移关系和旋转关系的步骤包括：

计算所述预设采样位置相对于所述标定板的位置的第二变换参数；

根据所述图像采集设备在至少一个所述调整后的所述当前采样位置上相对于所述标定板的位置的所述第一变换参数和所述第二变换参数，计算所述第一变换参数和第二变换参数之间的所述平移关系和所述旋转关系。

4.根据权利要求1所述的方法，其特征在于，所述计算所述图像采集设备的相机内参和畸变参数的步骤包括：

分别提取所述预设采样位置采集的至少两个所述第二待处理图像中的角点，并生成第一角点对；

基于所述第一角点对，计算所述图像采集设备的相机内参和畸变参数。

5.根据权利要求4所述的方法，其特征在于，在所述计算所述图像采集设备的相机内参和畸变参数的步骤之后，所述方法进一步包括：

当存在至少两个所述图像采集设备时，所述图像采集设备分别在所述预设采样位置采集第三待处理图像和第四待处理图像；

基于每个所述图像采集设备的所述相机内参和所述畸变参数，分别对所述第三待处理图像和所述第四待处理图像进行去畸变处理；

分别在所述第三待处理图像和所述第四待处理图像中提取所述标定板的所述角点，并计算所述至少两个所述图像采集设备之间的姿态标定参数。

6.根据权利要求5所述的方法，其特征在于，所述计算所述至少两个所述图像采集设备之间的姿态标定参数的步骤之后，所述方法进一步包括：

按照所述姿态标定参数，将任一所述图像采集设备对应的待处理图像中的任一数据点进行变换，并投影至另一所述图像采集设备的待处理图像上；

计算任一数据点在所述另一所述图像采集设备的所述待处理图像上的第一重投影误差，并将不满足预设阈值的所述第一重投影误差对应的所述姿态标定参数删除，并计算所述姿态标定参数的最优解。

7.一种基于人机交互的标定装置，其特征在于，包括：

第一采集模块，用于图像采集设备在至少一个当前采样位置采集包含标定板的第一待处理图像；

第一计算模块，用于基于所述第一待处理图像，计算与所述第一待处理图像对应的所述图像采集设备相对于所述标定板的第一变换参数；

第二计算模块，用于根据预设采样位置和所述第一变换参数，计算所述图像采集设备的所述当前采样位置与所述预设采样位置的平移关系和旋转关系；

调整模块，用于基于所述平移关系和旋转关系生成的指令，将所述图像采集设备调整至所述预设采样位置，并在所述预设采样位置采集至少一个第二待处理图像；

第三计算模块，用于根据所述第二待处理图像，计算所述图像采集设备的相机内参和畸变参数；

其中，所述计算所述图像采集设备的所述当前采样位置与所述预设采样位置的平移关系和旋转关系包括：获取在所述预设采样位置时的所述图像采集设备与所述标定板的第二变换参数，所述第二变换参数中包括所述图像采集设备在所述预设采样位置时相对于所述标定板的平移参数和旋转参数，基于所述第一变换参数和所述第二变换参数，计算所述图像采集设备在所述当前采样位置时与预设采样位置的平移关系和旋转关系。

8.根据权利要求7所述的标定装置，其特征在于，所述第一采集模块包括：

统计单元，用于在所述第一待处理图像中提取至少一个角点，并统计在所述第一待处理图像中的所述角点的第一数量；

比较单元，用于比较所述第一数量与预先统计的所述标定板包含的所述角点的第二数量；

调整单元，用于当所述第一数量与所述第二数量的数值不相同时，调整所述图像采样设备的所述当前采样位置，并在调整后的所述当前采样位置采集所述第一待处理图像，直至所述第一数量与所述第二数量的数值相同。

9.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至6任一项所述的一种基于人机交互的标定方法中的各个步骤。

10.一种终端设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1至6中任一项所述的一种基于人机交互的标定方法中的各个步骤。