CN110910460B - 一种获取位置信息的方法、装置及标定设备 - Google Patents

Abstract

本申请公开一种获取位置信息的方法、装置及标定设备。本申请获得摄像装置拍摄的包含所述标定参照物的图像；其后，获得实际标定参照物与所述图像中的标定参照物的关联关系；接着，基于所述图像中的标定参照物和与之关联的实际标定参照物，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。在本申请技术方案中，构建实际标定参照物与图像中的标定参照物的关联关系，并且该关联关系可以用于获得摄像装置与实际标定参照物的第一相对位置关系，该第一相对位置关系可以应用于进行摄像装置的外参标定，因此，本申请能够有效弥补实拍图像和实物展示的数据无法关联对参数标定的影响。

Description

一种获取位置信息的方法、装置及标定设备

本发明要求于2018年12月27日提交中华人民共和国国家知识产权局、申请号为201811612158.9、申请名称为“一种对摄像装置的标定方法、设备及系统”的中国专利申请的优先权，其全部内容通过引用结合在本发明中。

技术领域

本申请涉及仪器设备标定技术领域，特别是涉及一种获取位置信息的方法、装置及标定设备。

背景技术

随着摄像装置的广泛应用，目前，很多区域利用大批量的摄像装置对区域进行监控。现如今已经有一些技术通过调取场景内部署的摄像装置采集的图像，对场景内的移动目标进行跟踪。

对仪器设备进行标定是目前光学、电学和机械等领域为获取准确测量结果所采用的一种常规手段。在实际应用中，场景中部署的摄像装置的参数未经标定的情况下，得到的监控结果的准确性较差。例如，利用场景内相邻部署的两个摄像装置拍摄的视频，获得的同一目标物体的运动轨迹衔接困难。进一步地，在摄像装置参数未经标定的情况下，有可能对移动的目标物体跟踪失败，导致场景的安全性和可控性降低。由此可见对摄像装置进行标定是十分必要、十分关键的。

目前已有的摄像装置标定方法通常需要人工操作，并且要求不同摄像装置之间需要有共视区域，在需要对大范围场景中较多数量的摄像装置进行标定时，耗费的人力成本和时间成本都非常高。因此，急需提供一种自动化的标定解决方案以高效、便捷地对摄像装置的参数进行标定。然而，发明人在研究中发现，已知技术中实拍图像和实物展示的数据无法进行关联，造成了标定困难。

发明内容

基于上述问题，本申请提供了一种获取位置信息的方法、装置及标定设备，弥补实拍图像和实物展示的数据关联困难对参数标定的影响。

本申请实施例公开了如下技术方案：

第一方面，本申请提供一种获取位置信息的方法，包括：

获得摄像装置拍摄的包含标定参照物的图像；

获得实际标定参照物与所述图像中的标定参照物的关联关系；

基于所述图像中的标定参照物和与之关联的实际标定参照物，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。

可选地，标定参照物位于用于摄像装置标定的设备上，所述设备可移动，所述设备在移动到目标位置时展示标定参照物；所述方法还包括：

获得所述设备上装设的传感器采集的数据；

利用所述传感器采集的数据构建场景三维地图，并获得所述设备展示所述标定参照物时，所述设备在所述场景三维地图中的位置。

可选地，方法还包括：获得所述标定参照物与所述设备的第二相对位置关系；

在所述确定所述摄像装置与所述实际标定参照物的第一相对位置关系之后，所述方法还包括：

利用所述第一相对位置关系，所述第二相对位置关系，以及所述设备展示与所述图像具有关联关系的标定参照物时，所述设备在所述场景三维地图中的位置，获得所述摄像装置在所述场景三维地图中的外参。

可选地，方法还包括：

利用所述标定参照物的角点在所述标定参照物中的坐标、所述第二相对位置关系、所述设备与所述场景三维地图的坐标转换关系、所述外参、所述摄像装置的内参以及所述角点在所述图像中的坐标，对所述外参进行优化。

可选地，所述获得实际标定参照物与所述图像中的标定参照物的关联关系，具体包括：

识别所述图像中的标定参照物的图案，获得该图案的身份信息；

利用所述身份信息获得所述图像中的标定参照物与所述实际标定参照物的关联关系；其中，在不同位置，所述实际标定参照物呈现的图案不同。

可选地，识别所述图像中的标定参照物的图案，获得该图案的身份信息，具体包括：

识别所述图像中的标定参照物的图案的颜色、形状或图案编码方式中至少一种内容；

根据识别的内容，获得该图案的身份信息。

可选地，获得实际标定参照物与所述图像中的标定参照物的关联关系，具体包括：

获得标定参照物被展示时的第一时间信息；

获得通过实时分析所述摄像装置的视频流得到的所述图像的第二时间信息，所述第二时间信息与所述第一时间信息基于相同的时间轴；

利用所述第一时间信息和所述第二时间信息，获得所述实际标定参照物与所述图像中的标定参照物的关联关系。

可选地，利用所述第一时间信息和所述第二时间信息，获得所述实际标定参照物与所述图像中的标定参照物的关联关系，具体包括：

从多个所述第一时间信息中，确定出在时间维度上与所述第二时间信息最接近的一个第一时间信息，将该第一时间信息对应的实际标定参照物与所述图像中的标定参照物进行关联。

可选地，第一时间信息由用于摄像装置标定的设备在展示标定参照物时记录，所述第二时间信息由该设备在保存所述图像时记录。

可选地，方法还包括：

控制所述设备在移动到不同的目标位置时展示标定参照物。

第二方面，本申请提供一种获取位置信息的装置，包括：

图像获取模块，用于获得摄像装置拍摄的包含标定参照物的图像；

数据关联模块，用于获得实际标定参照物与所述图像中的标定参照物的关联关系；

第一相对位置获取模块，用于基于所述图像中的标定参照物和与之关联的实际标定参照物，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。

可选地，标定参照物位于用于摄像装置标定的设备上，所述设备可移动，所述设备在移动到目标位置时展示标定参照物；所述装置还包括：

数据采集模块，用于获得所述设备上装设的传感器采集的数据；

建图和定位模块，用于利用所述传感器采集的数据构建场景三维地图，并获得所述设备展示所述标定参照物时，所述设备在所述场景三维地图中的位置。

可选地，装置还包括：第二相对位置获取模块，用于获得所述标定参照物与所述设备的第二相对位置关系；

外参标定模块，用于利用所述第一相对位置关系，所述第二相对位置关系，以及所述设备展示与所述图像具有关联关系的标定参照物时，所述设备在所述场景三维地图中的位置，获得所述摄像装置在所述场景三维地图中的外参。

可选地，装置还包括：优化模块，用于利用所述标定参照物的角点在所述标定参照物中的坐标、所述第二相对位置关系、所述设备与所述场景三维地图的坐标转换关系、所述外参、所述摄像装置的内参以及所述角点在所述图像中的坐标，对所述外参进行优化。

可选地，所述数据关联模块，具体包括：

身份信息识别单元，用于识别所述图像中的标定参照物的图案，获得该图案的身份信息；

关联关系第一获取单元，用于利用所述身份信息获得所述图像中的标定参照物与所述实际标定参照物的关联关系；其中，在不同位置，所述实际标定参照物呈现的图案不同。

可选地，身份信息识别单元，具体用于识别所述图像中的标定参照物的图案的颜色、形状或图案编码方式中至少一种内容；根据识别的内容，获得该图案的身份信息。

可选地，数据关联模块，具体包括：

第一时间信息获取单元，用于获得标定参照物被展示时的第一时间信息；

第二时间信息获取单元，用于获得通过实时分析所述摄像装置的视频流得到的所述图像的第二时间信息，所述第二时间信息与所述第一时间信息基于相同的时间轴；

关联关系第二获取单元，用于利用所述第一时间信息和所述第二时间信息，获得所述实际标定参照物与所述图像中的标定参照物的关联关系。

可选地，关联关系第二获取单元，具体用于从多个所述第一时间信息中，确定出在时间维度上与所述第二时间信息最接近的一个第一时间信息，将该第一时间信息对应的实际标定参照物与所述图像中的标定参照物进行关联。

可选地，第一时间信息由用于摄像装置标定的设备在展示标定参照物时记录，所述第二时间信息由该设备在保存所述图像时记录。

可选地，装置还包括：

控制展示模块，用于控制所述设备在移动到不同的目标位置时展示标定参照物。

第三方面，本申请提供一种标定设备，包括：处理器和存储器；所述存储器中存储有计算机程序，当所述程序在所述处理器运行时执行前述第一方面提供的获取位置信息的方法。

可选地，该设备还包括：

可移动的底座；

由所述可移动的底座承载的供所述摄像装置拍摄的显示屏；

所述处理器还用于控制所述底座移动，以及控制所述显示屏在所述设备到达目标位置时展示标定参照物。

可选地，处理器具体用于控制所述显示屏在所述设备到达不同的目标位置时展示所述标定参照物的不同图案。

可选地，其特征在于，所述存储器预存储有所述不同图案与所述不同的目标位置之间的对应关系；或，

所述存储器保存所述不同图案以及所述不同图案与所述不同的目标位置之间的对应关系。

可选地，处理器具体用于控制所述显示屏在所述设备到达不同的目标位置时展示所述标定参照物的同一图案。

可选地，所述存储器，还用于记录展示所述同一图案的时间信息；实时保存摄像装置实时拍摄的包含标定参照物的图像，并记录保存所述图像的时间信息。

相较于现有技术，本申请具有以下有益效果：

本申请提供一种获取位置信息的方法、装置及标定设备。获得摄像装置拍摄的包含所述标定参照物的图像；其后，获得实际标定参照物与所述图像中的标定参照物的关联关系；接着，基于所述图像中的标定参照物和与之关联的实际标定参照物，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。在本申请技术方案中，构建实际标定参照物与图像中的标定参照物的关联关系，并且该关联关系可以用于获得摄像装置与实际标定参照物的第一相对位置关系，该第一相对位置关系可以应用于进行摄像装置的外参标定，因此，本申请能够有效弥补实拍图像和实物展示的数据无法关联对参数标定的影响。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种获取位置信息的方法流程图；

图2为本申请实施例提供的一种标定摄像装置的参数的方法流程图；

图3为本申请实施例提供的一种获取位置信息的装置结构示意图。

具体实施方式

正如前文所述，目前在大场景下进行标定时，实拍图像和实物展示的数据无法进行关联，导致标定摄像装置的参数十分困难。

针对以上问题，发明人经过研究，提供一种获取位置信息的方法、装置及标定设备。该技术方案构建实拍图像和实物展示的联系，该联系可以用于获得摄像装置与实际标定参照物的第一相对位置关系，该第一相对位置关系可以用于进行外参标定，因此，构建上述关联关系有效降低标定难度，解决了数据不关联对标定结果的影响，使标定准确性和可靠性得以提升。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

方法实施例：

为便于理解，下面首先对本申请实施例技术方案的应用场景进行描述。场景中部署有多个摄像装置，为便于区分，可以将这些摄像装置命名为摄像装置A、摄像装置B、摄像装置C等。场景中还包括可移动的用于摄像装置标定的设备上。作为示例，该设备具体可以是可移动的机器人，当然也可以是人以外的其他形态。该设备在对摄像装置进行参数标定的过程中起到重要的作用。在标定过程中，该设备可以自行移动，或者受到与其通信的其它设备(例如具备遥控功能的设备)控制而移动。该设备可以在一个摄像装置的拍摄区域范围内移动，也可以从一个摄像装置的拍摄区域范围移动至另一个摄像装置的拍摄区域范围。在以下的描述和说明中，以机器人为例描述该用于摄像装置标定的设备的功能和作用。

在每个摄像装置的拍摄区域范围内包括目标位置，作为示例，每个摄像装置的拍摄区域范围内包括4个目标位置或者9个目标位置。目标位置可以是期望机器人在场景中到达并展示标定参照物的位置，实际应用中可以人工或自动地让机器人在移动过程中减速或停顿的位置。本实施例中对于每个摄像装置的拍摄区域范围内包括的目标位置的具体数量不进行限定。此外，如果多个摄像装置的拍摄区域范围存在交叠区域，则各自的拍摄区域范围内可能包含共同的目标位置。

本实施例中，机器人上装设有可视的标定参照物。例如，机器人包括一个显示屏，该显示屏可以在机器人移动到目标位置时，显示标定参照物，而处于目标位置以外时，显示屏不显示标定参照物。另外，标定参照物也可以是标定板，标定板是可以翻转或被遮挡的。当机器人移动到目标位置时，标定板翻转显示出可以拍摄到图案的一面；而处于目标位置以外时，标定板翻转显示出拍摄不到图案的一面。当机器人移动到目标位置时，标定板的图案上的遮挡移除；而处于目标位置以外时，标定板上的图案被遮挡。在本申请实施例中，对于标定参照物的具体形式不进行限定。可以将目标位置理解为应当展示标定参照物时机器人所处的位置。在本实施例中，目标位置均是已知的。

结合上文描述的场景，下面介绍具体的实现方案。参见图1，该图为本申请实施例提供的一种获取位置信息的方法流程图。在描述该方法时，以场景中摄像装置A为例进行说明，摄像装置A可以是场景中任意一个待标定的摄像装置。

如图1所示，该获取位置信息的方法，包括：

步骤101：获得摄像装置拍摄的包含标定参照物的图像。

作为示例，机器人移动到摄像装置A的拍摄区域范围，在该范围内包括4个目标位置P1、P2、P3和P4。当机器人先后移动到这4个目标位置时，分别展示标定参照物。

本实施例中，机器人在摄像装置A的拍摄区域范围移动时，摄像装置A的拍摄功能始终开启。具体地，摄像装置可以开启摄像模式，获得视频流。视频流由多帧图像组成，多帧图像中有不包含标定参照物的图像，也有包含标定参照物的图像。

步骤102：获得实际标定参照物与所述图像中的标定参照物的关联关系。

为了弥补实拍图像和实物展示的数据不关联对标定结果的影响，进而提升标定的准确性和可靠性，本实施例中执行步骤102以获得实际标定参照物与所述图像中的标定参照物的关联关系。本步骤包括多种可能的实现方式，例如：

(1)如果机器人在移动到不同的目标位置时展示标定参照物的不同图案，且根据图案可以识别出对应的身份信息(ID)，因为图案与身份信息具有一一对应的关系，因此可以根据身份信息来建立实际标定参照物与所述图像中的标定参照物的关联关系。

作为示例，机器人移动到P1时展示标定参照物的第一图案，根据第一图案可以识别出第一身份信息；机器人移动到P2时展示标定参照物的第二图案，根据第二图案可以识别出第二身份信息；机器人移动到P3时展示标定参照物的第三图案，根据第三图案可以识别出第三身份信息；机器人移动到P4时展示标定参照物的第四图案，根据第四图案可以识别出第四身份信息。如果摄像装置A拍摄的某一包含标定参照物的图像Picture1，通过识别标定参照物的具体图案可以获得Picture1中标定参照物的图案对应的身份信息为第二身份信息，则可以确定Picture1中标定参照物与机器人在P2实际标定参照物具有关联关系。

不论机器人能否实时获得摄像装置A拍摄的视频流中包含标定参照物的图像，本步骤示例性的实现方式(1)利用身份信息均可以便捷有效地获得图像中的标定参照物与实际标定参照物的关联关系。

在实际应用中，为获得标定参照物的图案的身份信息，具体可以是识别所述图像中所述标定参照物的图案的颜色、形状或图案编码方式中至少一种内容；再根据识别的内容，获得该图案的身份信息。例如，如果标定参照是二维码，不同图案的二维码分别对应不同的编码方式，通过识别不同二维码的编码方式即可以确定该二维码图案的身份信息。实际标定参照物的图案的身份信息可以是控制机器人移动之前预先获得的。

(2)如果机器人和摄像装置之间能够相互通信，并且机器人可以实时获得视频流中的包含标定参照物的图像，则本步骤中，还可以利用时间信息获得实际标定参照物与图像中的标定参照物的关联关系。

具体地，获得标定参照物被展示时的第一时间信息；获得通过实时分析所述摄像装置的视频流得到的所述图像的第二时间信息；利用第一时间信息和第二时间信息，获得所述实际标定参照物与所述图像中的标定参照物的关联关系。需要说明的是，此处，第二时间信息和第一时间信息基于相同的时间轴。

可以理解的是，对于机器人而言，由于其在移动到不同的目标位置时分别展示标定参照物，因此，记录下的第一时间信息可能有很多个，例如移动到P1的第一时间信息Time_P1，移动到P2的第一时间信息Time_P2，P3的第一时间信息Time_P3，以及移动到P4的第一时间信息Time_P4。

摄像装置A实时的视频流中包含标定参照物的图像实时保存到机器人中国，机器人记录保存这帧(或这些)图像的第二时间信息。例如，记录了四帧包含标定参照物的图像的第二时间信息分别是Time_001，Time_002，Time_003，以及Time_004。

第一时间信息和第二时间信息的形式可以是时间戳。

对于任意一个第二时间信息，可以从各个第一时间信息中确定出与该第二时间信息在时间维度上最接近的一个第一时间信息，由于时间维度上最为接近，因此可以确定该第一时间信息对应的实际标定参照物与该第二时间信息对应的图像中的标定参照物是相互关联的。

同理，对于任意一个第一时间信息，可以从各个第二时间信息中确定出与该第一时间信息在时间维度上最接近的一个第二时间信息，由于时间维度上最为接近，因此可以确定该第二时间信息对应的图像中的标定参照物与该第一时间信息对应的实际标定参照物是相互关联的。

本步骤示例性的实现方式(2)不要求存在与第一时间信息完全一致的第二时间信息。即便各个第一时间信息与第二时间信息在时间维度上存在时间差，因为在该实现方式的执行前提是机器人能够实时获得摄像装置A拍摄的视频流中包含标定参照物的图像，且机器人从一个目标位置移动到另一个目标位置的时间必然远大于上述时间差，因此，通过该实现方式(2)也能够准确确定实际标定参照物与图像中的标定参照物的关联关系。

另外，需要说明的是，在该实现方式(2)中，机器人在移动到不同的目标位置时实际标定参照物的图案可以是一致的，也可以是不同的。因为在该实现方式(2)中，确定关联关系不依赖于标定参照物的图案的身份信息。

步骤103：基于所述图像中的标定参照物和与之关联的实际标定参照物，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。

下面提供本步骤的一种示例性的实现方式。在已经获取的实际标定参照物与所述图像中的标定参照物的关联关系的基础上，本步骤可以首先提取图像中的标定参照物的特征信息，例如角点信息和/或中心点信息；其后，利用多视角几何算法、所述特征信息和所述关联关系，获得所述摄像装置与所述实际标定参照物的第一相对位置关系。

如果标定参照物的图案是棋盘格之类的正方形二维码图案，提取的特征信息可以是正方形轮廓的四个点；如果标定参照物的圆形的二维码图案，提取的特征信息可以是圆形的中心点信息。

为获得摄像装置与实际标定参照物的第一相对位置关系，本实施例中采用的多视角几何算法可以是PnP(Perspective-n-Point,n点透视)、ICP(Iterative Closest Point,迭代最近点算法)等。由于利用多视角几何算法、拍摄到的物体的特征信息以及实拍图像及展示实物之间的关联关系来构建摄像装置和实物的相对位置关系，是本领域比较成熟的技术，因此此处对本步骤对应用多视角算法执行本步骤的具体流程不再赘述。

以上实施例提供的方法获得摄像装置拍摄的包含所述标定参照物的图像；其后，获得实际标定参照物与所述图像中的标定参照物的关联关系；接着，基于所述图像中的标定参照物和与之关联的实际标定参照物，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。在本申请技术方案中，构建实际标定参照物与图像中的标定参照物的关联关系，该关联关系可以用于获得摄像装置与实际标定参照物的第一相对位置关系，该第一相对位置关系可以应用于进行摄像装置的外参标定，因此，本申请能够有效弥补实拍图像和实物展示的数据无法关联对标定结果的影响，进而提升标定的准确性和可靠性。

下面介绍利用前述实施例提供的方法获得的第一相对位置关系对摄像装置进行标定的技术方案。

参见图2，该图为本申请实施例提供的一种标定摄像装置的参数的方法流程图。

如图2所示，该方法包括：

步骤201：获得标定参照物与机器人的第二相对位置关系。

实际应用中，在将标定参照物与机器人装设组合时，便可以获得标定参照物与机器人的第二相对位置关系。如果机器人具有一个特定的定位点，例如将机器人的传感器所在位置作为其定位点，则第二相对位置关系具体可以是指标定参照物与机器人的定位点的相对安装位置关系。本步骤可以理解为是对标定参照物与机器人进行预标定的过程。

步骤202：获得所述机器人上装设的传感器采集的数据。

机器人在场景中移动时，机器人上装设的传感器(例如激光雷达、相机以及惯性测量单元IMU等)处于开启状态。

步骤203：利用传感器采集的数据构建场景三维地图，并获得所述机器人展示所述标定参照物时，所述机器人在所述场景三维地图中的位置。

实际应用中，在激光雷达、相机以及惯性测量单元IMU等传感器采集的一种或多种数据的基础上，可以利用同时定位与地图构建技术(simultaneous localization andmapping,SLAM)构建场景三维地图，该地图又可以理解为一个场景三维模型。并且同时获得了机器人在场景三维地图中的位置。

步骤204：获得摄像装置拍摄的包含标定参照物的图像。

实际应用中，可以采用多种方式获得包含标定参照物的图像。一些摄像装置的视频流不能实时获取到，而一些摄像装置可以通过VPN等形式实时获取视频流。

对于前一种情况，可以再获取到视频流数据后，进行离线处理，检测并提取其中的包含标定参照物的图像。进行离线处理和图像提取的过程可以在服务器上实现，也可以在机器人以外的具有运算功能的设备上实现。

对于后一种情况，机器人可以利用VPN技术连接摄像装置的网络，从而获取摄像装置的视频流。再由机器人从中提取出包含标定参照物的图像并保存本地。另外，也可以是服务器或者机器人以外的具有计算功能的设备与摄像装置通信连接，进行处理和图像提取后，将图像发送给机器人进行保存。

步骤205：获得实际标定参照物与所述图像中的标定参照物的关联关系。

步骤206：提取所述图像中所述标定参照物的特征信息。

步骤207：基于所述图像中的标定参照物和与之关联的实际标定参照物，并利用多视角几何算法和所述特征信息，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。

在前述实施例中，对于步骤204-207的具体实现方式均有相关描述，因此可以参照前述实施例，此处对步骤204-207的具体实现方式不再赘述。

步骤208：利用张正友算法和所述摄像装置拍摄的包含所述标定参照物的多帧图像中所述标定参照物的特征信息，标定所述摄像装置的内参。

本步骤中，以摄像装置A为例，如果以及检测和识别出其拍摄的多帧包含参照物的图像中的标定参照物的特征信息(图案的角点信息和/或中心点信息)，可以利用张正友算法来获得摄像装置A的内参。张正友算法是本领域比较成熟的算法，因此关于本步骤的具体实现不进行赘述。

内参可以包括但不限于以下至少一种：镜头的畸变模型、等效焦距、主点坐标。

步骤209：利用所述第一相对位置关系，所述第二相对位置关系，以及所述机器人展示与所述图像具有关联关系的标定参照物时，所述机器人在所述场景三维地图中的位置，获得所述摄像装置在所述场景三维地图中的外参。

为获得摄像装置的外参，需要利用三部分的数据进行计算：

(1)步骤207获得的摄像装置与实际标定参照物的第一相对位置关系。

(2)步骤201获得的标定参照物与机器人的第二相对位置关系。

(3)步骤203获得的机器人在所述场景三维地图中的位置。

可以理解的是，利用上述三部分数据中的(1)和(2)可以相应地得到摄像装置与机器人的第三相对位置关系，利用该第三相对位置关系和(3)便可以获得摄像装置在场景三维地图中的外参。

通过上述描述可知，本申请实施例中提供了一种可以实现了大场景、多摄像装置且不依赖于共同视野标定技术方案，能够高效、快速对多摄像装置的内外参进行联合标定。在标定过程中，无需人工操作，节省标定的人力成本和时间成本，提高标定效率。并且，针对现实不同场景情况，给出不同的解决方案，如：不同的获取视频流的方法；展示标定参照物的可变图案或固定图案；以及将标定参照物进行关联的多种策略：以图案的身份信息关联或者以时间戳关联。另外，在标定过程中，可利用同时定位与地图构建技术，生成场景三维模型，这也为后续其它技术应用提供了一个非常方便的模型支持。

由于本实施例中对标定参照物进行关联，并且关联标定参照物不依赖于时间的完全同步，因此利用该关联关系进行标定使得对摄像装置的内外参标定结果更加准确和可靠。

通过上述步骤获得了摄像装置的内参和外参。为了获得更加高精度、高准确度的标定参数，实际应用中还可以进一步地利用所述标定参照物的角点在所述标定参照物中的坐标、所述第二相对位置关系、所述机器人与所述场景三维地图的坐标转换关系、所述摄像装置的外参、所述摄像装置的内参以及所述角点在所述图像中的坐标，对所述外参进行优化。需要说明的是，在对外参进行优化时，利用的摄像装置的内参可以是预先获得的，也可以是利用本实施例中描述的方法标定后获得的。

参见公式(1)和(2)：

e_i＝P_i-K_iT_iwP_w 公式(1)

P_w＝T_{w_imu}T_{imu_tag}P_tag 公式(2)

在公式(1)中，P_i表示场景中第i个摄像装置拍摄的图像中标定参照物的角点的坐标，相当于真实值；K_i表示第i个摄像装置的内参矩阵，具体可以是一个矩阵，该矩阵中的参数代表该摄像装置的内参；T_iw表示第i个摄像装置在场景三维地图(又可称为世界坐标系)中的外参，T_iw具体可以表示从第i个摄像装置的坐标系到场景三维地图的坐标转换矩阵；P_w表示角点在场景三维地图的坐标。e_i表示重投影误差，可以理解的是，e_i越小，外参的误差越小。因此可以用公式(1)来优化摄像装置的外参。

在公式(2)中，T_{w_imu}表示机器人与场景三维地图的坐标转换关系，具体可以是从场景三维地图到机器人的坐标转换矩阵；T_{imu_tag}表示标定参照物与机器人的第二相对位置关系，具体可以是从机器人到标定参照物的坐标转换矩阵；P_tag表示角点在实际标定参照物中的坐标。需要说明的是，机器人的定位点可以是惯性测量单元IMU，因此可以以IMU作为机器人的坐标系的原点，T_{w_imu}即表示从场景三维地图到机器人的IMU的坐标转换关系。

另外，需要说明的是，本实施例提供的获取位置信息及标定摄像装置参数的方法，还可以进一步包括：控制所述设备在移动到目标位置时展示标定参照物。该步骤可以由用于摄像装置标定的设备(例如机器人)实现，也可以由与该设备通信连接的具备遥控功能的设备实现，还可以由服务器或其他具有计算运算功能的设备实现。

该步骤具体可以是：控制在机器人到达不同的目标位置时展示所述标定参照物的不同图案；或者，控制在机器人到达不同的目标位置时展示所述标定参照物的同一图案。

基于前述实施例提供的获取位置信息的方法和标定摄像装置的参数的方法，相应地，本申请还提供一种获取位置信息的装置。下面结合实施例和附图进行说明。

装置实施例：

参见图3，该图为本申请实施例提供的一种获取位置信息的装置结构示意图。如图3所示，该装置包括：

图像获取模块301，用于获得摄像装置拍摄的包含标定参照物的图像；其中，标定参照物装设在可移动的用于摄像装置标定的设备上。作为示例，该设备具体可以是可移动的机器人，当然也可以是人以外的其他形态。该设备在对摄像装置进行参数标定的过程中起到重要的作用。在以下的描述和说明中，以机器人为例描述该用于摄像装置标定的设备的功能和作用。

数据关联模块302，用于获得实际标定参照物与所述图像中的标定参照物的关联关系；

第一相对位置获取模块303，用于基于所述图像中的标定参照物和与之关联的实际标定参照物，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。

在本申请技术方案中，构建实际标定参照物与图像中的标定参照物的关联关系，该关联关系可以用于获得摄像装置与实际标定参照物的第一相对位置关系，该第一相对位置关系可以应用于进行摄像装置的外参标定，因此，本申请能够有效弥补实拍图像和实物展示的数据不关联对标定结果的影响，降低标定难度，进而提升标定的准确性和可靠性。

可选地，第一相对位置获取模块303，具体包括：

特征信息提取单元，用于提取所述图像中所述标定参照物的特征信息；

第一获取单元，用于基于所述图像中的标定参照物和与之关联的实际标定参照物，并利用多视角几何算法和特征信息，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。

可选地，所述特征信息提取单元，具体用于提取所述图像中所述标定参照物的角点信息和/或中心点信息。

可选地，装置还包括：

数据采集模块，用于获得机器人上装设的传感器采集的数据；

建图和定位模块，用于利用所述传感器采集的数据构建场景三维地图，并获得机器人展示所述标定参照物时，机器人在所述场景三维地图中的位置。

可选地，装置还包括：第二相对位置获取模块，用于获得所述标定参照物与机器人的第二相对位置关系；

所述装置还包括：

外参标定模块，用于利用所述第一相对位置关系，所述第二相对位置关系，以及机器人展示与所述图像具有关联关系的标定参照物时，机器人在所述场景三维地图中的位置，获得所述摄像装置在所述场景三维地图中的外参。

可选地，装置还包括：

内参标定模块，用于标定所述摄像装置的内参。作为可选的实现方式，内参标定模块具体用于利用张正友算法和所述摄像装置拍摄的包含所述标定参照物的多帧图像中所述标定参照物的特征信息，标定所述摄像装置的内参。

装置还包括：优化模块，用于利用所述标定参照物的角点在所述标定参照物中的坐标、所述第二相对位置关系、机器人与所述场景三维地图的坐标转换关系、所述外参、所述摄像装置的内参以及所述角点在所述图像中的坐标，对所述外参进行优化。

需要说明的是，优化模块在对外参进行优化时，利用的摄像装置的内参可以是预先获得的，也可以是利用本实施例中描述的内参标定模块标定后获得的。可选地，装置还包括：控制展示模块，用于控制机器人在移动到目标位置时展示标定参照物。

所述数据关联模块302，具体包括：

身份信息识别单元，用于识别所述图像中的标定参照物的图案，获得该图案的身份信息；

关联关系第一获取单元，用于利用所述身份信息获得所述图像中的标定参照物与所述实际标定参照物的关联关系；其中，在不同位置，所述实际标定参照物呈现的图案不同。

所述身份信息识别单元，具体用于识别所述图像中的标定参照物的图案的颜色、形状或图案编码方式中至少一种内容；根据是别的内容，获得该图案的身份信息。

可选地，数据关联模块302，具体包括：

第一时间信息获取单元，用于获得标定参照物被展示时的第一时间信息机器人；

第二时间信息获取单元，获得通过实时分析所述摄像装置的视频流得到的所述图像的第二时间信息。

所述第二时间信息与所述第一时间信息基于相同的时间轴。。例如由机器人在展示标定参照物时记录第一时间信息，由该机器人在保存包含标定参照物的图像时记录第二时间信息。这样，第一时间信息和第二时间信息基于机器人的相同时间轴。

关联关系第二获取单元，用于利用所述第一时间信息和所述第二时间信息，获得所述实际标定参照物与所述图像中的标定参照物的关联关系。

所述关联关系第二获取单元，具体用于从多个所述第一时间信息中，确定出在时间维度上与所述第二时间信息最接近的一个第一时间信息，将该第一时间信息对应的实际标定参照物与所述图像中的标定参照物进行关联。

通过上述描述可知，本申请实施例中提供了一种可以实现了大场景、多摄像装置且不依赖于共同视野标定技术方案，能够高效、快速对多摄像装置的内外参进行联合标定。在标定过程中，无需人工操作，节省标定的人力成本和时间成本，提高标定效率。并且，针对现实不同场景情况，给出不同的解决方案，如：不同的获取视频流的方法；展示标定参照物的可变图案或固定图案；以及将标定参照物进行关联的多种策略：以图案的身份信息关联或者以时间戳关联。另外，在标定过程中，可利用同时定位与地图构建技术，生成场景三维模型，这也为后续其它技术应用提供了一个非常方便的模型支持。

由于本实施例中对标定参照物进行关联，并且关联标定参照物不依赖于时间的完全同步，因此利用该关联关系进行标定使得对摄像装置的内外参标定结果更加准确和可靠。

基于前述实施例提供的获取位置信息的方法、标定摄像装置的参数的方法及相关装置，相应地，本实施例中还提供一种标定设备，其包括：处理器和存储器；所述存储器中存储有计算机程序，当所述程序在所述处理器运行时执行前述方法实施例提供的获取位置信息的方法中的部分或全部步骤。

本实施例中，该标定设备具体可以是用于摄像装置标定的设备，例如机器人，当需要对摄像装置标定时，该设备在摄像装置的拍摄范围内移动，以便于摄像装置拍摄其上展示的标定参照物。另外，标定设备还可以是其他设备上具有运算及存储功能的单元。例如，标定设备可以位于服务器、摄像装置或者其他设备上。

如果标定设备具体可以是用于摄像装置标定的设备，则该标定设备还可以包括：可移动的底座，以及由所述可移动的底座承载的供所述摄像装置拍摄的显示屏；

所述标定设备的处理器还用于控制所述底座移动，以及控制所述显示屏在所述设备到达目标位置时展示标定参照物。

实际应用中，所述处理器具体可以用于控制所述显示屏在所述设备到达不同的目标位置时展示所述标定参照物的不同图案。

在该设备中，所述存储器预存储有所述不同图案与所述不同的目标位置之间的对应关系；或，

所述存储器保存所述不同图案以及所述不同图案与所述不同的目标位置之间的对应关系。

可选地，所述处理器具体用于控制所述显示屏在所述设备到达不同的目标位置时展示所述标定参照物的同一图案。

所述存储器，还用于记录展示所述同一图案的时间信息；实时保存摄像装置实时拍摄的包含标定参照物的图像，并记录保存所述图像的时间信息。

需要说明的是，本实施例中，存储器还可以记录接收包含标定参照物的图像的时间信息，该时间信息与记录的保存图像的时间信息具有等同的作用。即，也可以利用接收图像的时间信息和展示图像的时间信息确定图像中的标定参照物与实际标定参照物的关联关系。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (24)

1.一种获取位置信息的方法，其特征在于，包括：

获得摄像装置拍摄的包含标定参照物的图像；

获得实际标定参照物与所述图像中的标定参照物的关联关系；

所述获得实际标定参照物与所述图像中的标定参照物的关联关系，具体包括：

获得标定参照物被展示时的第一时间信息；

获得通过实时分析所述摄像装置的视频流得到的所述图像的第二时间信息，所述第二时间信息与所述第一时间信息基于相同的时间轴；

利用所述第一时间信息和所述第二时间信息，获得所述实际标定参照物与所述图像中的标定参照物的关联关系；

基于所述图像中的标定参照物和与之关联的实际标定参照物，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。

2.根据权利要求1所述的方法，其特征在于，所述标定参照物位于用于摄像装置标定的设备上，所述设备可移动，所述设备在移动到目标位置时展示标定参照物；所述方法还包括：

获得所述设备上装设的传感器采集的数据；

利用所述传感器采集的数据构建场景三维地图，并获得所述设备展示所述标定参照物时，所述设备在所述场景三维地图中的位置。

3.根据权利要求2所述的方法，其特征在于，还包括：获得所述标定参照物与所述设备的第二相对位置关系；

在所述确定所述摄像装置与所述实际标定参照物的第一相对位置关系之后，所述方法还包括：

利用所述第一相对位置关系，所述第二相对位置关系，以及所述设备展示与所述图像具有关联关系的标定参照物时，所述设备在所述场景三维地图中的位置，获得所述摄像装置在所述场景三维地图中的外参。

4.根据权利要求3所述的方法，其特征在于，还包括：

利用所述标定参照物的角点在所述标定参照物中的坐标、所述第二相对位置关系、所述设备与所述场景三维地图的坐标转换关系、所述外参、所述摄像装置的内参以及所述角点在所述图像中的坐标，对所述外参进行优化。

5.根据权利要求1所述的方法，其特征在于，所述获得实际标定参照物与所述图像中的标定参照物的关联关系，具体包括：

识别所述图像中的标定参照物的图案，获得该图案的身份信息；

利用所述身份信息获得所述图像中的标定参照物与所述实际标定参照物的关联关系；其中，在不同位置，所述实际标定参照物呈现的图案不同。

6.根据权利要求5所述的方法，其特征在于，所述识别所述图像中的标定参照物的图案，获得该图案的身份信息，具体包括：

识别所述图像中的标定参照物的图案的颜色、形状或图案编码方式中至少一种内容；

根据识别的内容，获得该图案的身份信息。

7.根据权利要求1所述的方法，其特征在于，所述利用所述第一时间信息和所述第二时间信息，获得所述实际标定参照物与所述图像中的标定参照物的关联关系，具体包括：

从多个所述第一时间信息中，确定出在时间维度上与所述第二时间信息最接近的一个第一时间信息，将该第一时间信息对应的实际标定参照物与所述图像中的标定参照物进行关联。

8.根据权利要求1所述的方法，其特征在于，所述第一时间信息由用于摄像装置标定的设备在展示标定参照物时记录，所述第二时间信息由该设备在保存所述图像时记录。

9.根据权利要求2、3、4或8所述的方法，其特征在于，还包括：

控制所述设备在移动到不同的目标位置时展示标定参照物。

10.一种获取位置信息的装置，其特征在于，包括：

图像获取模块，用于获得摄像装置拍摄的包含标定参照物的图像；

数据关联模块，用于获得实际标定参照物与所述图像中的标定参照物的关联关系；

所述数据关联模块，具体包括：

第一时间信息获取单元，用于获得标定参照物被展示时的第一时间信息；

第二时间信息获取单元，用于获得通过实时分析所述摄像装置的视频流得到的所述图像的第二时间信息，所述第二时间信息与所述第一时间信息基于相同的时间轴；

关联关系第二获取单元，用于利用所述第一时间信息和所述第二时间信息，获得所述实际标定参照物与所述图像中的标定参照物的关联关系；

第一相对位置获取模块，用于基于所述图像中的标定参照物和与之关联的实际标定参照物，确定所述摄像装置与所述实际标定参照物的第一相对位置关系。

11.根据权利要求10所述的装置，其特征在于，所述标定参照物位于用于摄像装置标定的设备上，所述设备可移动，所述设备在移动到目标位置时展示标定参照物；所述装置还包括：

数据采集模块，用于获得所述设备上装设的传感器采集的数据；

建图和定位模块，用于利用所述传感器采集的数据构建场景三维地图，并获得所述设备展示所述标定参照物时，所述设备在所述场景三维地图中的位置。

12.根据权利要求11所述的装置，其特征在于，还包括：第二相对位置获取模块，用于获得所述标定参照物与所述设备的第二相对位置关系；

外参标定模块，用于利用所述第一相对位置关系，所述第二相对位置关系，以及所述设备展示与所述图像具有关联关系的标定参照物时，所述设备在所述场景三维地图中的位置，获得所述摄像装置在所述场景三维地图中的外参。

13.根据权利要求12所述的装置，其特征在于，还包括：优化模块，用于利用所述标定参照物的角点在所述标定参照物中的坐标、所述第二相对位置关系、所述设备与所述场景三维地图的坐标转换关系、所述外参、所述摄像装置的内参以及所述角点在所述图像中的坐标，对所述外参进行优化。

14.根据权利要求10所述的装置，其特征在于，所述数据关联模块，具体包括：

身份信息识别单元，用于识别所述图像中的标定参照物的图案，获得该图案的身份信息；

关联关系第一获取单元，用于利用所述身份信息获得所述图像中的标定参照物与所述实际标定参照物的关联关系；其中，在不同位置，所述实际标定参照物呈现的图案不同。

15.根据权利要求14所述的装置，其特征在于，所述身份信息识别单元，具体用于识别所述图像中的标定参照物的图案的颜色、形状或图案编码方式中至少一种内容；根据识别的内容，获得该图案的身份信息。

16.根据权利要求10所述的装置，其特征在于，所述关联关系第二获取单元，具体用于从多个所述第一时间信息中，确定出在时间维度上与所述第二时间信息最接近的一个第一时间信息，将该第一时间信息对应的实际标定参照物与所述图像中的标定参照物进行关联。

17.根据权利要求10所述的装置，其特征在于，所述第一时间信息由用于摄像装置标定的设备在展示标定参照物时记录，所述第二时间信息由该设备在保存所述图像时记录。

18.根据权利要求11、12、13或17所述的装置，其特征在于，还包括：

控制展示模块，用于控制所述设备在移动到不同的目标位置时展示标定参照物。

19.一种标定设备，其特征在于，包括：处理器和存储器；所述存储器中存储有计算机程序，当所述程序在所述处理器运行时执行权利要求1-9任一项所述的获取位置信息的方法。

20.根据权利要求19所述的标定设备，其特征在于，该设备还包括：

可移动的底座；

由所述可移动的底座承载的供所述摄像装置拍摄的显示屏；

所述处理器还用于控制所述底座移动，以及控制所述显示屏在所述设备到达目标位置时展示标定参照物。

21.根据权利要求20所述的标定设备，其特征在于，所述处理器具体用于控制所述显示屏在所述设备到达不同的目标位置时展示所述标定参照物的不同图案。

22.根据权利要求21所述的标定设备，其特征在于，

所述存储器预存储有所述不同图案与所述不同的目标位置之间的对应关系；或，

所述存储器保存所述不同图案以及所述不同图案与所述不同的目标位置之间的对应关系。

23.根据权利要求20所述的标定设备，其特征在于，所述处理器具体用于控制所述显示屏在所述设备到达不同的目标位置时展示所述标定参照物的同一图案。

24.根据权利要求23所述的标定设备，其特征在于，所述存储器，还用于记录展示所述同一图案的时间信息；实时保存摄像装置实时拍摄的包含标定参照物的图像，并记录保存所述图像的时间信息。

Images