CN113838151A - 相机标定方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种相机标定方法、装置、设备及介质，属于摄像技术领域。相机标定方法包括：获取第一相机、第二相机和第三相机分别对于目标场景拍摄得到的第一图像、第二图像和第三图像，其中，第一相机为云台相机；提取第一图像和第二图像的特征点；匹配第一图像的特征点和第二图像的特征点，得到多个特征点对；根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息；根据第一相机的初始内参、第一相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定第一相机的目标内参、第一相机和第二相机之间的目标外参。

Description

相机标定方法、装置、设备及介质

技术领域

本申请属于摄像技术领域，具体涉及一种相机标定方法、装置、设备及介质。

背景技术

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。求解这些参数的过程就称之为相机标定。无论是在图像测量或者机器视觉应用中，相机标定都是非常关键的环节，相机标定的标定结果不仅影响畸变矫正、立体矫正、相机三维姿态估计的效果，而且对涉及双摄或多摄的智能应用，如场景的三维重建、增强现实或虚拟现实技术、即时定位与地图构建技术、背景虚化等也起着至关重要的作用。

相关技术中，在拍摄之前会对相机的内参和外参进行标定，然而，在实际应用中，一方面，为了实现自动对焦，相机的镜片组结构会发生变化，导致相机内参发生变化；另一方面，为了摄像防抖，云台相机的镜头会发生旋转、平移等，导致相机外参会发生变化。若在拍摄时还采用拍摄之前已标定的相机内参和外参，会导致双目相机应用失效。

发明内容

本申请实施例的目的是提供一种相机标定方法、装置、设备及介质，能够解决双目相机应用失效的问题。

第一方面，本申请实施例提供了一种相机标定方法，包括：

获取第一相机、第二相机和第三相机分别对于目标场景拍摄得到的第一图像、第二图像和第三图像，其中，第一相机为云台相机；

提取第一图像和第二图像的特征点；

匹配第一图像的特征点和第二图像的特征点，得到多个特征点对；

根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息；

根据第一相机的初始内参、第一相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定第一相机的目标内参、第一相机和第二相机之间的目标外参。

第二方面，本申请实施例提供了一种相机标定装置，包括：

第一获取模块，用于获取第一相机、第二相机和第三相机分别对于目标场景拍摄得到的第一图像、第二图像和第三图像，其中，第一相机为云台相机；

提取模块，用于提取第一图像和第二图像的特征点；

匹配模块，用于匹配第一图像的特征点和第二图像的特征点，得到多个特征点对；

第一确定模块，用于根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息；

第二确定模块，用于根据第一相机的初始内参、第一相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定第一相机的目标内参、第一相机和第二相机之间的目标外参。

第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面所述的方法的步骤。

在本申请实施例中，通过获取云台相机对目标场景拍摄得到的第一图像、第二相机对目标场景拍摄得到的第二图像和第三相机对目标场景拍摄得到的第三图像，提取第一图像和第二图像的特征点；匹配第一图像的特征点和第二图像的特征点，得到多个特征点对，根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息，根据云台相机的初始内参、云台相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定云台相机的目标内参、云台相机和第二相机之间的目标外参。能够在使用过程中重新标定云台相机的内参以及云台相机和另外一个相机之间的外参，基于重新标定的内参和外参，能够避免双目相机应用失效。

附图说明

图1是本申请实施例提供的相机标定方法的流程示意图；

图2是本申请实施例提供的确定目标深度信息的第一种过程示意图；

图3是本申请实施例提供的确定目标深度信息的第二种过程示意图；

图4是本申请实施例提供的相机标定的整体过程示意图；

图5是本申请实施例提供的相机标定装置的结构示意图；

图6是本申请实施例提供的电子设备的结构示意图；

图7是实现本申请实施例的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的相机标定方法、装置、设备及介质进行详细地说明。

图1是本申请实施例提供的相机标定方法的流程示意图。相机标定方法可以包括：

S101：获取第一相机、第二相机和第三相机分别对于目标场景拍摄得到的第一图像、第二图像和第三图像，其中，第一相机为云台相机；

S102：提取第一图像和第二图像的特征点；

S103：匹配第一图像的特征点和第二图像的特征点，得到多个特征点对；

S104：根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息；

S105：根据第一相机的初始内参、第一相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定第一相机的目标内参、第一相机和第二相机之间的目标外参。

上述各步骤的具体实现方式将在下文中进行详细描述。

在本申请实施例中，通过获取云台相机对目标场景拍摄得到的第一图像、第二相机对目标场景拍摄得到的第二图像和第三相机对目标场景拍摄得到的第三图像，提取第一图像和第二图像的特征点；匹配第一图像的特征点和第二图像的特征点，得到多个特征点对，根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息，根据云台相机的初始内参、云台相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定云台相机的目标内参、云台相机和第二相机之间的目标外参。能够在使用过程中重新标定云台相机的内参以及云台相机和另外一个相机之间的外参，基于重新标定的内参和外参，能够避免双目相机应用失效。

在本申请实施例的一些可能实现中，在S102中，可以采用图像特征点提取算法从第一图像和第二图像中提取特征点。

本申请实施例并不对所采用的图像特征点提取算法进行限定，任何可用的图像特征点提取算法均可以应用于本申请实施例中。例如，尺度不变特征变换(Scale-invariantfeature transform，SIFT)、加速版具有鲁棒性特征(Speeded Up Robust Features，Surf)和定向快速旋转二元鲁棒独立基本特征(Oriented FAST and Rotated BRIEF，ORB)等等。

在本申请实施例的一些可能实现中，在S103中，可以通过计算特征点相似度的方式匹配第一图像的特征点和第二图像的特征点。

本申请实施例并不对计算特征点相似度所采用的方式进行限定，任何可用的方式均可以应用于本申请实施例中。例如，欧式距离、汉明距离和余弦相似度等等。示例性地，以欧式距离为例，对于从第一图像中提取出的特征点A，计算从第二图像中提取出的多个特征点分别与特征点A的欧式距离，然后，将计算得到的欧式距离进行排序，取欧式距离最近的特征点作为与上述特征点A匹配的特征点，该特征点和特征点A组成特征点对。

在本申请实施例的一些可能实现中，第三相机可以为非深度相机。S104可以包括：根据第二图像和第三图像，采用双目三角测量法，确定目标深度信息。

在本申请实施例的一些可能实现中，根据第二图像和第三图像，采用双目三角测量法，确定目标深度信息，可以包括：获取第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参；根据第二相机的内参、第三相机的内参和第一外参，分别对第二图像和第三图像进行立体矫正，得到第四图像和第五图像；对第四图像和第五图像进行立体匹配，得到视差数据；将视差数据进行深度转换，得到目标深度信息。

在本申请实施例的一些可能实现中，可以预先对第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参进行标定。本申请实施例并不对标定第二相机的内参、第三相机的内参，以及第二相机和第三相机之间的第一外参所采用的方式进行限定，任何可用的标定方式均可以应用于本申请实施例中，例如，张正友标定法。

在对第一相机的目标内参、第一相机和第二相机之间的目标外参进行标定的过程中，获取预先标定的第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参。通过第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参分别对第二图像和第三图像进行立体校正，得到第四图像和第五图像，然后，对得到的第四图像和第五图像进行立体匹配，得到视差数据，再将该视差数据进行深度转换即可得到目标场景在第二相机对应的坐标系中的目标深度信息。

上述确定目标场景在第二相机对应的坐标系中的目标深度信息的过程如图2所示。图2是本申请实施例提供的确定目标深度信息的第一种过程示意图。

在本申请实施例中，可以通过两个相机拍摄得到的图像、两个相机的内参以及两个相机之间的外参，确定目标场景在第二相机对应的坐标系中的目标深度信息。

在本申请实施例的一些可能实现中，第三相机可以为深度相机。S104可以包括：获取第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参；将第三图像进行平面矫正，得到第六图像；根据第二相机的内参、第三相机的内参和第一外参，对第二图像和第六图像进行红绿蓝三通道彩色图像与深度图像(RGB-D)配准，得到目标深度信息。

可以理解的是，当第三相机为深度相机时，第三相机拍摄得到的第三图像为深度图像。

当第三相机为深度相机时，可以直接获取到目标场景在该第三相机对应的坐标系中的深度信息。进而可以根据目标场景在第三相机对应的坐标系中的深度信息推导目标场景在第二相机对应的坐标系中的深度信息。

在本申请实施例的一些可能实现中，可以预先对第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参进行标定。本申请实施例并不对标定第二相机的内参、第三相机的内参，以及第二相机和第三相机之间的第一外参所采用的方式进行限定，任何可用的标定方式均可以应用于本申请实施例中，例如，张正友标定法。

在对第一相机的目标内参、第一相机和第二相机之间的目标外参进行标定的过程中，获取预先标定的第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参。然后，对第三图像进行平面矫正，得到第六图像，然后，通过第二相机的内参、第三相机的内参，以及第二相机和第三相机之间的外参，对第二相机拍摄得到的第二图像和经过平面矫正的第三图像(即第六图像)进行RGB-D配准，即可得到目标场景在第二相机对应的坐标系中的目标深度信息。其中，RGB-D配准指RGB图像与深度图像配准。可以理解的是，第二相机拍摄得到第二图像为RGB图像。

上述确定目标场景在第二相机对应的坐标系中的目标深度信息的过程如图3所示。图3是本申请实施例提供的确定目标深度信息的第二种过程示意图。

在本申请实施例中，当第三相机为深度相机时，可以通过将目标场景在第三相机对应的坐标系中的深度信息转换为目标场景在第二相机对应的坐标系中的深度信息。

在本申请实施例的一些可能实现中，S105可以包括：根据第一相机的初始内参、第一相机和第二相机之间的初始外参、多个特征点对和目标深度信息，利用回归参数最小二乘估计算法，确定目标内参和目标外参。

在本申请实施例的一些可能实现中，可以预先对第一相机的初始内参，以及第一相机和第二相机之间的初始外参进行标定。本申请实施例并不对标定第一相机的初始内参、第一相机和第二相机之间的初始外参所采用的方式进行限定，任何可用的标定方式均可以应用于本申请实施例中，例如，张正友标定法。

在本申请实施例中，当标定完第一相机的初始内参和第一相机和第二相机之间的初始外参、得到目标场景在第二相机对应的坐标系中的目标深度信息，以及多个特征点对后，可以将第一相机的初始内参、第一相机和第二相机之间的初始外参、目标场景在第二相机对应的坐标系中的目标深度信息和多个特征点对代入到回归参数最小二乘估计算法，通过回归参数最小二乘估计算法计算得出第一相机的目标内参、第一相机和第二相机之间的目标外参。

在本申请实施例的一些可能实现中，所采用的回归参数最小二乘估计算法可以为列文伯格-马夸尔特(Levenberg-Marquardt，L-M)法。其中，L-M法为非线性回归中回归参数最小二乘估计算法中的一种。

在本申请实施例的一些可能实现中，在利用L-M法确定第一相机的目标内参、第一相机和第二相机之间的目标外参时，目标场景在第二相机对应的坐标系中的目标深度信息可以作为L-M法的约束项。

在本申请实施例的一些可能实现中，在S105之前，本申请实施例提供的相机标定方法还可以包括：从多个特征点对中，确定目标特征点对，其中，目标特征点对用于确定目标内参和目标外参。相应地，S105可以包括：根据第一相机的初始内参、第一相机和第二相机之间的初始外参、目标特征点对和目标场景在第二相机对应的坐标系中的目标深度信息，确定第一相机的目标内参和第一相机和第二相机之间的目标外参。

其中，根据第一相机的初始内参、第一相机和第二相机之间的初始外参、目标特征点对和目标深度信息，确定目标内参和目标外参与上述根据第一相机的初始内参、第一相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定目标内参和目标外参的过程类似，本申请实施例在此不对其进行赘述，具体可参考上述根据第一相机的初始内参、第一相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定目标内参和目标外参的过程。

在本申请实施例的一些可能实现中，从多个特征点对中，确定目标特征点对，可以包括：利用随机样本一致性(Random Sample Consensus，RANSAC)算法，从多个特征点对中，确定目标特征点对。

其中，通过RANSAC算法能够从包含异常数据的多个特征点对中，得到有效特征点对，即本申请实施例中的目标特征点对。

在本申请实施例的一些可能实现中，在从多个特征点对中，确定目标特征点对时，目标场景在第二相机对应的坐标系中的目标深度信息可以作为确定目标特征点对的约束项。

在本申请实施例中，通过确定目标特征点对，能够提高相机标记的准确性。

在本申请实施例的一些可能实现中，可以预先标定第一相机的初始内参、第二相机的内参、第三相机的内参、第一相机和第二相机之间的初始外参，以及第二相机和第三相机之间的外参，即在实际使用之前进行标定第一相机的初始内参、第二相机的内参、第三相机的内参、第一相机和第二相机之间的初始外参，以及第二相机和第三相机之间的外参，此过程可以称之为离线标定。

在实际使用中，第一相机会自动对焦，为了摄像防抖，镜头会旋转、平移等。此时标定第一相机的目标内参、第一相机和第二相机之间的目标外参的过程可以称之为在线标定。

标定第一相机的目标内参、第一相机和第二相机之间的目标外参的过程如图4所示。图4是本申请实施例提供的相机标定的整体过程示意图。其中，相机标定的整体过程包括上述的离线标定和在线标定。

需要说明的是，本申请实施例提供的相机标定方法，执行主体可以为相机标定装置，或者该相机标定装置中的用于执行相机标定方法的控制模块。本申请实施例中以相机标定装置执行相机标定方法为例，说明本申请实施例提供的相机标定装置。

图5是本申请实施例提供的相机标定装置的结构示意图。相机标定装置500可以包括：

第一获取模块501，用于获取第一相机、第二相机和第三相机分别对于目标场景拍摄得到的第一图像、第二图像和第三图像，其中，第一相机为云台相机；

提取模块502，用于提取第一图像和第二图像的特征点；

匹配模块503，用于匹配第一图像的特征点和第二图像的特征点，得到多个特征点对；

第一确定模块504，用于根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息；

第二确定模块505，用于根据第一相机的初始内参、第一相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定第一相机的目标内参、第一相机和第二相机之间的目标外参。

在本申请实施例中，通过获取云台相机对目标场景拍摄得到的第一图像、第二相机对目标场景拍摄得到的第二图像和第三相机对目标场景拍摄得到的第三图像，提取第一图像和第二图像的特征点；匹配第一图像的特征点和第二图像的特征点，得到多个特征点对，根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息，根据云台相机的初始内参、云台相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定云台相机的目标内参、云台相机和第二相机之间的目标外参。能够在使用过程中重新标定云台相机的内参以及云台相机和另外一个相机之间的外参，基于重新标定的内参和外参，能够避免双目相机应用失效。

在本申请实施例的一些可能实现中，第三相机为非深度相机；第一确定模块504具体用于：

根据第二图像和第三图像，采用双目三角测量法，确定目标深度信息。

在本申请实施例的一些可能实现中，第一确定模块504包括：

第一获取子模块，用于获取第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参；

第一矫正子模块，用于根据第二相机的内参、第三相机的内参和第一外参，分别对第二图像和第三图像进行立体矫正，得到第四图像和第五图像；

匹配子模块，用于对第四图像和第五图像进行立体匹配，得到视差数据；

转换子模块，用于将视差数据进行深度转换，得到目标深度信息。

在本申请实施例中，可以通过两个相机拍摄得到的图像、两个相机的内参以及两个相机之间的外参，确定目标场景在第二相机对应的坐标系中的目标深度信息。

在本申请实施例的一些可能实现中，第三相机为深度相机；第一确定模块504包括：

第二获取子模块，用于获取第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参；

第二矫正子模块，用于将第三图像进行平面矫正，得到第六图像；

配准子模块，用于根据第二相机的内参、第三相机的内参和第一外参，对第二图像和第六图像进行RGB-D配准，得到目标深度信息。

在本申请实施例中，当第三相机为深度相机时，可以通过将目标场景在第三相机对应的坐标系中的深度信息转换为目标场景在第二相机对应的坐标系中的深度信息。

在本申请实施例的一些可能实现中，第二确定模块505具体用于：

根据初始内参、初始外参、多个特征点对和目标深度信息，利用回归参数最小二乘估计算法，确定目标内参和目标外参。

在本申请实施例的一些可能实现中，本申请实施例提供的相机标定装置500还包括：

第三确定模块，用于从多个特征点对中，确定目标特征点对，其中，目标特征点对用于确定目标内参和目标外参；

第二确定模块505具体用于：

根据初始内参、初始外参、目标特征点对和目标深度信息，确定目标内参和目标外参。

在本申请实施例的一些可能实现中，第三确定模块具体用于：

利用RANSAC算法，从多个特征点对中，确定目标特征点对。

本申请实施例中的相机标定装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的相机标定装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的相机标定装置能够实现图1至图4的相机标定方法实施例中的各个过程，为避免重复，这里不再赘述。

可选的，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器602上并可在处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述相机标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

在本申请实施例的一些可能实现中，处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

在本申请实施例的一些可能实现中，存储器602可以包括只读存储器(Read-OnlyMemory，ROM)，随机存取存储器(Random Access Memory，RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器602包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请实施例的相机标定方法所描述的操作。

图7是实现本申请实施例的电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。

本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器710用于：获取第一相机、第二相机和第三相机分别对于目标场景拍摄得到的第一图像、第二图像和第三图像，其中，第一相机为云台相机；提取第一图像和第二图像的特征点；匹配第一图像的特征点和第二图像的特征点，得到多个特征点对；根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息；根据第一相机的初始内参、第一相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定第一相机的目标内参、第一相机和第二相机之间的目标外参。

在本申请实施例中，通过获取云台相机对目标场景拍摄得到的第一图像、第二相机对目标场景拍摄得到的第二图像和第三相机对目标场景拍摄得到的第三图像，提取第一图像和第二图像的特征点；匹配第一图像的特征点和第二图像的特征点，得到多个特征点对，根据第二图像和第三图像，确定目标场景在第二相机对应的坐标系中的目标深度信息，根据云台相机的初始内参、云台相机和第二相机之间的初始外参、多个特征点对和目标深度信息，确定云台相机的目标内参、云台相机和第二相机之间的目标外参。能够在使用过程中重新标定云台相机的内参以及云台相机和另外一个相机之间的外参，基于重新标定的内参和外参，能够避免双目相机应用失效。

在本申请实施例的一些可能实现中，第三相机为非深度相机；处理器710具体用于：

根据第二图像和第三图像，采用双目三角测量法，确定目标深度信息。

在本申请实施例的一些可能实现中，处理器710具体用于：

获取第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参；

根据第二相机的内参、第三相机的内参和第一外参，分别对第二图像和第三图像进行立体矫正，得到第四图像和第五图像；

对第四图像和第五图像进行立体匹配，得到视差数据；

将视差数据进行深度转换，得到目标深度信息。

在本申请实施例中，可以通过两个相机拍摄得到的图像、两个相机的内参以及两个相机之间的外参，确定目标场景在第二相机对应的坐标系中的目标深度信息。

在本申请实施例的一些可能实现中，第三相机为深度相机；处理器710具体用于：

获取第二相机的内参、第三相机的内参、第二相机和第三相机之间的第一外参；

将第三图像进行平面矫正，得到第六图像；

根据第二相机的内参、第三相机的内参和第一外参，对第二图像和第六图像进行RGB-D配准，得到目标深度信息。

在本申请实施例中，当第三相机为深度相机时，可以通过将目标场景在第三相机对应的坐标系中的深度信息转换为目标场景在第二相机对应的坐标系中的深度信息。

在本申请实施例的一些可能实现中，处理器710具体用于：

根据初始内参、初始外参、多个特征点对和目标深度信息，利用回归参数最小二乘估计算法，确定目标内参和目标外参。

在本申请实施例的一些可能实现中，处理器710还用于：

从多个特征点对中，确定目标特征点对，其中，目标特征点对用于确定目标内参和目标外参；

处理器710具体用于：

根据初始内参、初始外参、目标特征点对和目标深度信息，确定目标内参和目标外参。

在本申请实施例的一些可能实现中，处理器710具体用于：

利用RANSAC算法，从多个特征点对中，确定目标特征点对。

应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器709可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述相机标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质包括计算机可读存储介质，计算机可读存储介质的示例包括非暂态计算机可读存储介质，如ROM、RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述相机标定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种相机标定方法，其特征在于，所述方法包括：

获取第一相机、第二相机和第三相机分别对于目标场景拍摄得到的第一图像、第二图像和第三图像，其中，所述第一相机为云台相机；

提取所述第一图像和所述第二图像的特征点；

匹配所述第一图像的特征点和所述第二图像的特征点，得到多个特征点对；

根据所述第二图像和所述第三图像，确定所述目标场景在所述第二相机对应的坐标系中的目标深度信息；

根据所述第一相机的初始内参、所述第一相机和所述第二相机之间的初始外参、所述多个特征点对和所述目标深度信息，确定所述第一相机的目标内参、所述第一相机和所述第二相机之间的目标外参。

2.根据权利要求1所述的方法，其特征在于，所述第三相机为非深度相机；

所述根据所述第二图像和所述第三图像，确定所述目标场景在所述第二相机对应的坐标系中的目标深度信息，包括：

根据所述第二图像和所述第三图像，采用双目三角测量法，确定所述目标深度信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第二图像和所述第三图像，采用双目三角测量法，确定所述目标深度信息，包括：

获取所述第二相机的内参、所述第三相机的内参、所述第二相机和所述第三相机之间的第一外参；

根据所述第二相机的内参、所述第三相机的内参和所述第一外参，分别对所述第二图像和所述第三图像进行立体矫正，得到第四图像和第五图像；

对所述第四图像和所述第五图像进行立体匹配，得到视差数据；

将所述视差数据进行深度转换，得到所述目标深度信息。

4.根据权利要求1所述的方法，其特征在于，所述第三相机为深度相机；

所述根据所述第二图像和所述第三图像，确定所述目标场景在所述第二相机对应的坐标系中的目标深度信息，包括：

获取所述第二相机的内参、所述第三相机的内参、所述第二相机和所述第三相机之间的第一外参；

将所述第三图像进行平面矫正，得到第六图像；

根据所述第二相机的内参、所述第三相机的内参和所述第一外参，对所述第二图像和所述第六图像进行红绿蓝三通道彩色图像与深度图像RGB-D配准，得到所述目标深度信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一相机的初始内参、所述第一相机和所述第二相机之间的初始外参、所述多个特征点对和所述目标深度信息，确定所述第一相机的目标内参、所述第一相机和所述第二相机之间的目标外参，包括：

根据所述初始内参、所述初始外参、所述多个特征点对和所述目标深度信息，利用回归参数最小二乘估计算法，确定所述目标内参和所述目标外参。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一相机的初始内参、所述第一相机和所述第二相机之间的初始外参、所述多个特征点对和所述目标深度信息，确定所述第一相机的目标内参、所述第一相机和所述第二相机之间的目标外参之前，所述方法还包括：

从所述多个特征点对中，确定目标特征点对，其中，所述目标特征点对用于确定所述目标内参和所述目标外参；

所述根据所述第一相机的初始内参、所述第一相机和所述第二相机之间的初始外参、所述多个特征点对和所述目标深度信息，确定所述第一相机的目标内参、所述第一相机和所述第二相机之间的目标外参，包括：

根据所述初始内参、所述初始外参、所述目标特征点对和所述目标深度信息，确定所述目标内参和所述目标外参。

7.根据权利要求6所述的方法，其特征在于，所述从所述多个特征点对中，确定目标特征点对，包括：

利用随机样本一致性RANSAC算法，从所述多个特征点对中，确定所述目标特征点对。

8.一种相机标定装置，其特征在于，所述装置包括：

第一获取模块，用于获取第一相机、第二相机和第三相机分别对于目标场景拍摄得到的第一图像、第二图像和第三图像，其中，所述第一相机为云台相机；

提取模块，用于提取所述第一图像和所述第二图像的特征点；

匹配模块，用于匹配所述第一图像的特征点和所述第二图像的特征点，得到多个特征点对；

第一确定模块，用于根据所述第二图像和所述第三图像，确定所述目标场景在所述第二相机对应的坐标系中的目标深度信息；

第二确定模块，用于根据所述第一相机的初始内参、所述第一相机和所述第二相机之间的初始外参、所述多个特征点对和所述目标深度信息，确定所述第一相机的目标内参、所述第一相机和所述第二相机之间的目标外参。

9.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至7任一项所述的相机标定方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至7任一项所述的相机标定方法的步骤。

Images