CN112308930B - 相机外参标定方法、系统及装置 - Google Patents

相机外参标定方法、系统及装置 Download PDF

Info

Publication number
CN112308930B
CN112308930B CN202011195953.XA CN202011195953A CN112308930B CN 112308930 B CN112308930 B CN 112308930B CN 202011195953 A CN202011195953 A CN 202011195953A CN 112308930 B CN112308930 B CN 112308930B
Authority
CN
China
Prior art keywords
camera
calibrated
reference point
world coordinate
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011195953.XA
Other languages
English (en)
Other versions
CN112308930A (zh
Inventor
严杭琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011195953.XA priority Critical patent/CN112308930B/zh
Publication of CN112308930A publication Critical patent/CN112308930A/zh
Application granted granted Critical
Publication of CN112308930B publication Critical patent/CN112308930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了相机外参标定方法、系统及装置，实现了相机外参的标定；部署简单方便，标定效率高，适合工程应用，相较于传统标定方案，不需要在相机视场中临时布设大量特征点，工程应用难度大大降低；标定时工作站仅需在相机视场中进行短暂停留即可完成标定，整体的标定工作效率得到大大提高；能够被持续复用，长期来看，较传统方法更具经济和环保优势。并且测量精度高，能够获得更准确的外参标定结果，利用空间定位技术测量相机和参考点位置，较传统方法中人工测量标定点的方式所获得的空间位置精度更高；且标定算法的计算流程更为简单，不需要在多个坐标系之间反复地进行坐标转换，引入误差更少，能够得到更高精度的标定结果。

Description

相机外参标定方法、系统及装置
技术领域
本申请涉及相机标定技术领域，特别是涉及相机外参标定方法、系统及装置。
背景技术
空间定位技术是指确定目标在空间中坐标的技术，随着监控的普及以及计算机视觉技术的发展，基于图像的空间定位技术得到了迅速发展。在基于图像的空间定位技术中，需要将相机采集的图像中的目标由相机的图像坐标系转换到世界坐标系下，该转换过程可以利用相机的外参实现。
相机的外参包括旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把目标从图像坐标系转换到世界坐标系中。当下，如何标定相机的外参，已经成为亟待解决的问题。
发明内容
本申请实施例的目的在于提供一种相机外参标定方法、系统及装置，以实现相机外参的标定。具体技术方案如下：
第一方面，本申请实施例提供了一种相机外参标定方法，应用于相机外参标定系统中的处理机设备，所述相机外参标定系统还包括定位设备及至少三个参考点，所述方法包括：
获取各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标；
获取由所述定位设备采集的待标定相机在世界坐标系中的位置，根据所述待标定相机在世界坐标系中的位置确定所述待标定相机的光心在世界坐标系下的坐标，得到第二世界坐标；
获取所述待标定相机在所述第二世界坐标位置处采集的目标图像，其中，所述目标图像中包括各所述参考点；
根据各所述参考点在所述目标图像中的坐标、所述第二世界坐标及各所述第一世界坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，其中，所述相机的外参包括所述旋转矩阵及所述平移矩阵。
在一种可能的实施方式中，所述定位设备为超宽带UWB定位设备，所述UWB定位设备包括定位基站及相机标签，所述相机标签设置在所述待标定相机上，所述待标定相机在世界坐标系中的位置通过所述定位基站测量所述相机标签的位置得到。
在一种可能的实施方式中，所述参考点为具备预设视觉特征的参考点标签，所述参考点标签用于与所述定位设备的定位基站进行测距得到所述参考点在世界坐标系下的坐标；所述获取各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标，包括：
获取由所述定位基站测量的各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标。
在一种可能的实施方式中，所述根据各所述参考点在所述目标图像中的坐标、所述第二世界坐标及各所述第一世界坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，包括：
根据所述第二世界坐标及各所述第一世界坐标，分别确定从所述待标定相机的光心到各所述参考点的向量，得到各第一参考射线向量；
根据各所述参考点在所述目标图像中的坐标及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量；
根据所述光轴方向向量、至少一参考点的第一世界坐标及在所述目标图像中的坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，其中，所述相机的外参包括所述旋转矩阵及所述平移矩阵。
在一种可能的实施方式中，所述根据各所述参考点在所述目标图像中的坐标及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量，包括：
针对每一参考点，根据该参考点在所述目标图像中的坐标，确定该参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的水平偏转角及垂直偏转角；
根据各所述水平偏转角、各所述垂直偏转角及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量。
在一种可能的实施方式中，所述根据各所述水平偏转角、各所述垂直偏转角及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量，包括：
针对每一参考点，根据该参考点对应的水平偏转角及垂直偏转角，确定在所述相机坐标系下从所述待标定相机的光心指向该参考点的方向向量，得到该参考点对应的第二参考射线向量；
根据各所述第二参考射线向量，确定各所述第二参考射线向量与所述待标定相机的光轴方向向量的夹角；
根据各所述夹角及各所述第一参考射线向量，确定世界坐标系下所述待标定相机的光轴方向向量。
在一种可能的实施方式中，所述根据所述光轴方向向量、至少一参考点的第一世界坐标及在所述目标图像中的坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，包括：
根据所述第二世界坐标，对所述世界坐标系进行平移，使得所述世界坐标系的原点与所述待标定相机的光心重合，得到所述待标定相机的惯性坐标系及平移矩阵；
根据所述光轴方向向量，确定所述待标定相机在所述待标定相机的惯性坐标系下的偏航角及俯仰角；
根据至少一参考点在所述目标图像中的坐标及第一世界坐标、所述偏航角、所述俯仰角、所述待标定相机的内参、所述平移矩阵，确定所述待标定相机的翻滚角，从而完成所述待标定相机外参的标定，其中，所述旋转矩阵由所述偏航角、所述俯仰角及所述翻滚角表示。
第二方面，本申请实施例提供了一种相机外参标定系统，所述系统包括：
定位设备、处理机设备及至少三个参考点；
所述定位设备用于获取待标定相机在世界坐标系中的位置；
所述处理机设备用于获取各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标；获取由所述定位设备采集的待标定相机在世界坐标系中的位置，根据所述待标定相机在世界坐标系中的位置确定所述待标定相机的光心在世界坐标系下的坐标，得到第二世界坐标；获取所述待标定相机在所述第二世界坐标位置处采集的目标图像，其中，所述目标图像中包括各所述参考点；根据各所述参考点在所述目标图像中的坐标、所述第二世界坐标及各所述第一世界坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，其中，所述相机的外参包括所述旋转矩阵及所述平移矩阵。
在一种可能的实施方式中，所述定位设备为UWB定位设备，所述UWB定位设备包括定位基站及相机标签，所述相机标签设置在所述待标定相机上，所述定位基站用于测量所述相机标签在世界坐标系中的位置，从而得到所述待标定相机在世界坐标系中的位置。
在一种可能的实施方式中，所述参考点为具备预设视觉特征的参考点标签，所述参考点标签用于与所述定位设备的定位基站进行测距得到所述参考点在世界坐标系下的坐标；所述定位基站还用于：测量各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标。
在一种可能的实施方式中，所述处理机设备具体用于：根据所述第二世界坐标及各所述第一世界坐标，分别确定从所述待标定相机的光心到各所述参考点的向量，得到各第一参考射线向量；根据各所述参考点在所述目标图像中的坐标及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量；根据所述光轴方向向量、至少一参考点的第一世界坐标及在所述目标图像中的坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，其中，所述相机的外参包括所述旋转矩阵及所述平移矩阵。
在一种可能的实施方式中，所述处理机设备具体用于：针对每一参考点，根据该参考点在所述目标图像中的坐标，确定该参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的水平偏转角及垂直偏转角；根据各所述水平偏转角、各所述垂直偏转角及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量。
在一种可能的实施方式中，所述处理机设备具体用于：针对每一参考点，根据该参考点对应的水平偏转角及垂直偏转角，确定在所述相机坐标系下从所述待标定相机的光心指向该参考点的方向向量，得到该参考点对应的第二参考射线向量；根据各所述第二参考射线向量，确定各所述第二参考射线向量与所述待标定相机的光轴方向向量的夹角；根据各所述夹角及各所述第一参考射线向量，确定世界坐标系下所述待标定相机的光轴方向向量。
在一种可能的实施方式中，所述处理机设备具体用于：根据所述第二世界坐标，对所述世界坐标系进行平移，使得所述世界坐标系的原点与所述待标定相机的光心重合，得到所述待标定相机的惯性坐标系及平移矩阵；根据所述光轴方向向量，确定所述待标定相机在所述待标定相机的惯性坐标系下的偏航角及俯仰角；根据至少一参考点在所述目标图像中的坐标及第一世界坐标、所述偏航角、所述俯仰角、所述待标定相机的内参、所述平移矩阵，确定所述待标定相机的翻滚角，从而完成所述待标定相机外参的标定，其中，所述旋转矩阵由所述偏航角、所述俯仰角及所述翻滚角表示。
第三方面，本申请实施例提供了一种相机外参标定装置，应用于相机外参标定系统中的处理机设备，所述相机外参标定系统还包括定位设备及至少三个参考点，所述装置包括：
第一世界坐标获取模块，用于获取各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标；
第二世界坐标获取模块，用于获取由所述定位设备采集的待标定相机在世界坐标系中的位置，根据所述待标定相机在世界坐标系中的位置确定所述待标定相机的光心在世界坐标系下的坐标，得到第二世界坐标；
目标图像获取模块，用于获取所述待标定相机在所述第二世界坐标位置处采集的目标图像，其中，所述目标图像中包括各所述参考点；
相机外参获取模块，用于根据各所述参考点在所述目标图像中的坐标、所述第二世界坐标及各所述第一世界坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，其中，所述相机的外参包括所述旋转矩阵及所述平移矩阵。
在一种可能的实施方式中，所述定位设备为超宽带UWB定位设备，所述UWB定位设备包括定位基站及相机标签，所述相机标签设置在所述待标定相机上，所述待标定相机在世界坐标系中的位置通过所述定位基站测量所述相机标签的位置得到。
在一种可能的实施方式中，所述参考点为具备预设视觉特征的参考点标签，所述参考点标签用于与所述定位设备的定位基站进行测距得到所述参考点在世界坐标系下的坐标；所述第一世界坐标获取模块，具体用于：获取由所述定位基站测量的各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标。
在一种可能的实施方式中，所述相机外参获取模块，包括：
参考向量确定子模块，用于根据所述第二世界坐标及各所述第一世界坐标，分别确定从所述待标定相机的光心到各所述参考点的向量，得到各第一参考射线向量；
光轴向量确定子模块，用于根据各所述参考点在所述目标图像中的坐标及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量；
相机外参确定子模块，用于根据所述光轴方向向量、至少一参考点的第一世界坐标及在所述目标图像中的坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，其中，所述相机的外参包括所述旋转矩阵及所述平移矩阵。
在一种可能的实施方式中，所述光轴向量确定子模块，包括：
偏转角确定单元，用于针对每一参考点，根据该参考点在所述目标图像中的坐标，确定该参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的水平偏转角及垂直偏转角；
光轴向量确定单元，用于根据各所述水平偏转角、各所述垂直偏转角及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量。
在一种可能的实施方式中，所述光轴向量确定单元，具体用于：针对每一参考点，根据该参考点对应的水平偏转角及垂直偏转角，确定在所述相机坐标系下从所述待标定相机的光心指向该参考点的方向向量，得到该参考点对应的第二参考射线向量；根据各所述第二参考射线向量，确定各所述第二参考射线向量与所述待标定相机的光轴方向向量的夹角；根据各所述夹角及各所述第一参考射线向量，确定世界坐标系下所述待标定相机的光轴方向向量。
在一种可能的实施方式中，所述相机外参确定子模块，具体用于：根据所述第二世界坐标，对所述世界坐标系进行平移，使得所述世界坐标系的原点与所述待标定相机的光心重合，得到所述待标定相机的惯性坐标系及平移矩阵；根据所述光轴方向向量，确定所述待标定相机在所述待标定相机的惯性坐标系下的偏航角及俯仰角；根据至少一参考点在所述目标图像中的坐标及第一世界坐标、所述偏航角、所述俯仰角、所述待标定相机的内参、所述平移矩阵，确定所述待标定相机的翻滚角，从而完成所述待标定相机外参的标定，其中，所述旋转矩阵由所述偏航角、所述俯仰角及所述翻滚角表示。
本申请实施例有益效果：
本申请实施例提供的相机外参标定方法、系统及装置，实现了相机外参的标定；部署简单方便，标定效率高，适合工程应用，相较于传统基于视觉特征点的标定方案，不需要在相机视场中临时布设大量特征点，工程应用难度大大降低；标定时工作站仅需在相机视场中进行短暂停留即可完成标定，整体的标定工作效率得到大大提高；能够被持续复用，长期来看，较传统方法更具经济和环保优势。并且测量精度高，能够获得更准确的外参标定结果，利用空间定位技术测量相机和参考点位置，较传统方法中人工测量标定点的方式所获得的空间位置精度更高；且标定算法的计算流程更为简单，不需要在多个坐标系之间反复地进行坐标转换，引入误差更少，因此能够得到更高精度的标定结果。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的相机外参标定系统的一种示意图；
图2为本申请实施例的第一参考射线向量的一种示意图；
图3为本申请实施例的水平偏转角及垂直偏转角的一种示意图；
图4为本申请实施例的惯性坐标系的一种示意图；
图5为本申请实施例的相机外参标定方法的一种示意图；
图6a为本申请实施例的相机外参标定方法的另一种示意图；
图6b为本申请实施例中步骤S143的具体实现方式的一种示意图；
图7为本申请实施例的相机外参标定系统的另一种示意图；
图8为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先，对本申请中的术语技术解释：
空间定位：确定目标空间坐标的技术。
外参标定：确定相机空间坐标和姿态角的过程。
光轴：相机光学系统的中心线。
世界坐标系：用于描述相机或其他任何物体位置的基准坐标系。
相机坐标系：以相机光心为原点的坐标系，X轴和Y轴和成像平面平行，Z轴为相机光轴。
惯性坐标系：世界坐标系平移至相机坐标系原点形成的坐标系。
相关相机外参标定技术中，对相机拍摄的图像进行特征点提取，作为初始特征点；从初始特征点中筛选出符合要求的特征点，作为标定特征点；获取标定特征点对应的世界坐标；根据标定特征点对应的世界坐标确定出当前的相机外参。但是采用上述方法，并不能保证相机的视场范围内存在符合要求的特征点，且即使存在特征点，也无法获取特征点在世界坐标系中的精确位置，得到相机外参标定难度大，准确度低。
有鉴于此，本申请实施例提供了一种相机外参标定系统，参见图1，由待标定的监控相机、定位硬件子系统、视觉标签、处理机组成，该处理机包括定位软件模块和标定软件模块。相机外参标定系统用于提供对相机外参的标定功能。该系统能够方便快速完成多相机场景下的外参标定任务，布设简单方便，适合在实际工程中应用。
本申请实施例的相机外参标定系统中，视觉标签、处理机均集成在一个可移动的标定工作站设备当中，定位软件模块和标定软件模块运行在该处理机上。视觉标签具体为参考点，可选的，视觉标签具体可以为固定在工作站外部的单色小球，单色小球相互之间距离可以为20厘米以上，外参标定时作为参考点使用。定位硬件子系统可以采用相关定位技术进行定位，例如，RFID(Radio Frequency Identification，射频识别)、Wifi(无线保真)、UWB(Ultra Wide Band，超带宽)、红外和超声波、ZigBee(紫蜂)等定位技术。
以定位硬件子系统采用UWB定位技术为例，此种情况下，定位硬件子系统可以包括相机标签及多个定位基站。将各定位基站分别设置在世界坐标已知的位置上，将相机标签设置在待标定的监控相机上。测量时，相机标签会发送UWB信号，各定位基站根据相机标签发送的UWB信号，可以得到与相机标签的距离。根据每个定位基站的世界坐标以及各定位基站距离相机标签的距离，可以测到相机标签的位置(世界坐标)，从而得到待标定的监控相机的世界坐标。
视觉标签可以为具备预设视觉特征的标签，为了方便区分，各视觉标签的预设视觉特征可以不同，例如颜色不同。视觉标签同样会发送UWB信号，从而各定位基站可以根据视觉标签的UWB信号，计算出各视觉标签的世界坐标。
上述相机外参标定系统的具体工作流程包括：
S1：确定相机及参考点坐标。
对场景中的相机C进行标定时，将工作站移动到相机C的视场内，定位软件模块通过调用定位算法解算出相机和工作站的世界坐标，分别记为OC和PS，例如图2所示。由于参考点在工作站上的位置固定，因此定位软件模块由PS可以计算出个参考点的世界坐标，记为Pk。以四个参考点为例，可以记为P1、P2、P3、P4。此时，可以计算出相机与各参考点形成的射线OCPk(参考射线)所对应的单位方向向量为：
其中，k为属于1到M的整数，M为参考点的数量。
S2：求解相机光轴的方向。
标定软件模块抓取相机C的图像，经过畸变校正处理后找到各参考点对应的像素坐标。通过相机测角函数计算得到OCPk与相机光轴的水平偏角和垂直偏角，从而进一步求解出OCPk与光轴的夹角θk。利用向量夹角余弦公式，建立各参考射线的方向向量与相机光轴向量之间的方程组，解之得到光轴的单位方向向量。
具体包括如下过程：
S2-1：求解参考射线与光轴夹角。
如图2所示，在不考虑镜头畸变效应的情况下，参考点Pk对应的射线OCPk和光轴间形成的水平偏角θv、垂直偏角θh可计算如下
其中，Γ()为相机测角函数，H、W为相机分辨率，为水平视场角，/>为垂直视场角，/>为主点像素坐标，(ui，vj)为Pk对应的像素坐标。
根据θv和θh可以计算出相机坐标系下参考射线的单位方向向量
如图3所示，与θv、θh之间存在如下关系
其中，为求解该方程组，可得/>中的zC坐标值。
在已知zC的情况下，求与光轴ZC的夹角θk。在ZC上取单位方向向量/>则根据向量夹角余弦公式，有/>因此，/>与光轴ZC的夹角θk为θk＝acos(zC)，在刚体假设下，该夹角在相机坐标系与世界坐标系的相互转换过程中具有不变性，即：在相机坐标系下求出夹角可以直接用在世界坐标系下的相关计算中。
S2-2：求解光轴方向。
设光轴单位方向向量为根据向量夹角余弦公式，可得到光轴和参考射线夹角为利用上述夹角关系，将各参考射线单位方向向量与光轴夹角的等式联立方程如下：
M为参考点的数量，标定软件模块求解该方程组即可得到光轴的单位方向向量
S3：求解姿态角。
S3-1：求解偏航角和俯仰角。
标定软件模块根据S2中求出的光轴单位方向向量在相机所在坐标点构建惯性坐标系，从而求解出相机相的偏航角和俯仰角。如图4给出了光轴单位方向向量的一种位置情况。在该位置条件下，偏航角和俯仰角的计算公式为：
S3-2：求解翻滚角。
通过图像像素坐标与世界坐标之间的转换方程，标定软件模块将参考点世界坐标和图像像素坐标代入，从而求得相机翻滚角。在图像畸变校正已完成的前提下，由小孔成像模型和刚体坐标变换模型，图像像素坐标与世界坐标的转换方程为：
其中，K为相机内参矩阵，在相机出厂前通过标定获得。ZC为目标点深度，即该点在相机坐标系下的ZC坐标。[R T]为相机外参矩阵，其中T为平移向量，R为旋转矩阵。
标定软件模块将任一参考点Pi代入上述转换方程。根据相机位置和参考点位置计算得到，具体为T＝PC-Pi。ZC为参考点Pi对应的射线OCPi在相机光轴上的投影长度，ZC＝|PC-Pi|cosθi。因此，在偏航角、俯仰角已知的情况下，整个方程中仅翻滚角一个未知数，求解方程即可得到翻滚角。
S4：重复标定过程。
外参标定系统对场景中的其他相机重复S1～S3所述步骤，即可实现对所有相机外参的标定。
本申请实施例的相机外参标定系统，部署简单方便，标定效率高，适合工程应用，相较于传统基于视觉特征点的标定方案，所述系统不需要在相机视场中临时布设大量特征点，工程应用难度大大降低；标定时工作站仅需在相机视场中进行短暂停留即可完成标定，整体的标定工作效率得到大大提高；该标定系统能够被持续复用，长期来看，较传统方法更具经济和环保优势。测量精度高，能够获得更准确的外参标定结果，利用空间定位技术测量相机和参考点位置，较传统方法中人工测量标定点的方式所获得的空间位置精度更高；且所述的标定算法的计算流程更为简单，不需要在多个坐标系之间反复地进行坐标转换，引入误差更少；因此，本方法能够得到更高精度的标定结果。
本申请实施例还提供了一种相机外参标定方法，应用于相机外参标定系统中的处理机设备，相机外参标定系统还包括定位设备及至少三个参考点，参见图5，该方法包括：
S11，获取各参考点在世界坐标系下的坐标，得到各参考点的第一世界坐标。
本申请实施例中的处理机设备相当于上述实施例中的处理机，本申请实施例中定位设备相当于上述实施例中的定位硬件子系统，本申请实施例中的参考点相当于上述实施例中的视觉标签。
利用定位设备获取各参考点在世界坐标系下的坐标，分别得到各参考点第一世界坐标。参考点在相机外参标定系统中的位置可以是固定的，例如上述实施例所描述的，参考点及处理机设备可以固定在可移动的工作站上。因此可以通过测量外参标定系统的位置(例如，工作站的位置)，从而得到第一世界坐标。在一种可能的实施方式中，获取各参考点在世界坐标系下的坐标，得到各参考点的第一世界坐标，包括：获取由定位设备采集的外参标定系统在世界坐标系中的位置；根据外参标定系统在世界坐标系中的位置确定各参考点在世界坐标系下的坐标，得到各参考点的第一世界坐标。外参标定系统在世界坐标系中的位置，可以为外参标定系统中工作站、处理机设备或参考点的位置，然后根据各参考点与外参标定系统的相对位置，分别得到各参考点在世界坐标系下的坐标，即参考点的第一世界坐标。
S12，获取由定位设备采集的待标定相机在世界坐标系中的位置，根据待标定相机在世界坐标系中的位置确定待标定相机的光心在世界坐标系下的坐标，得到第二世界坐标。
待标定相机的光心即待标定相机的成像中心，一般情况下为图像传感器种的中心。定位设备可以采集待标定相机在世界坐标系中的位置。根据待标定相机在世界坐标系中的位置，得到待标定相机的光心在世界坐标系下的坐标，以下称为第二世界坐标。可选的，可以将待标定相机的中心点作为待标定相机的光心；也可以根据待标定相机的型号，查询预先测得的相机信号与光心在相机中位置的对应关系，得到待标定相机的光心。
S13，获取待标定相机在第二世界坐标位置处采集的目标图像，其中，目标图像中包括各参考点。
待标定相机为已架设好的相机，一般情况下其光心的坐标即第二世界坐标，不会改变，获取待标定相机采集的各参考点的图像，以下称为目标图像。
S14，根据各参考点在目标图像中的坐标、第二世界坐标及各第一世界坐标，确定待标定相机的旋转矩阵及平移矩阵，从而完成待标定相机外参的标定，其中，相机的外参包括旋转矩阵及平移矩阵。
本申请实施例中，实现了相机外参的标定；部署简单方便，标定效率高，适合工程应用，相较于传统基于视觉特征点的标定方案，不需要在相机视场中临时布设大量特征点，工程应用难度大大降低；标定时工作站仅需在相机视场中进行短暂停留即可完成标定，整体的标定工作效率得到大大提高；能够被持续复用，长期来看，较传统方法更具经济和环保优势。并且测量精度高，能够获得更准确的外参标定结果，利用空间定位技术测量相机和参考点位置，较传统方法中人工测量标定点的方式所获得的空间位置精度更高；且标定算法的计算流程更为简单，不需要在多个坐标系之间反复地进行坐标转换，引入误差更少，因此能够得到更高精度的标定结果。
定位设备可以采用相关定位技术进行定位，例如，RFID(Radio FrequencyIdentification，射频识别)、Wifi(无线保真)、UWB(Ultra Wide Band，超带宽)、红外和超声波、ZigBee(紫蜂)等定位技术。
一种实施方式中，定位设备为UWB定位设备，UWB定位设备包括定位基站及相机标签，相机标签设置在待标定相机上，待标定相机在世界坐标系中的位置通过定位基站测量相机标签的位置得到。
以定位设备采用UWB定位技术为例，此种情况下，定位设备可以包括相机标签及多个定位基站。将各定位基站分别设置在世界坐标已知的位置上，将相机标签设置在待标定相机上。测量时，相机标签会发送UWB信号，各定位基站根据相机标签发送的UWB信号，可以得到与相机标签的距离。根据每个定位基站的世界坐标以及各定位基站距离相机标签的距离，可以测到相机标签的位置(世界坐标)，从而得到待标定的监控相机的世界坐标。
一种实施方式中，参考点为具备预设视觉特征的参考点标签，参考点标签用于与定位设备的定位基站进行测距得到参考点在世界坐标系下的坐标；上述获取各参考点在世界坐标系下的坐标，得到各参考点的第一世界坐标，包括：获取由定位基站测量的各参考点在世界坐标系下的坐标，得到各参考点的第一世界坐标。
参考点可以为具备预设视觉特征的标签(以下称为参考点标签)，为了方便区分，各参考点标签的预设视觉特征可以不同，例如颜色不同或形状不同等。参考点标签同样会发送UWB信号，从而各定位基站可以根据参考点标签的UWB信号，计算出各参考点标签的世界坐标，即各参考点的第一世界坐标。
在一种可能的实施方式中，参见图6a，上述根据各参考点在目标图像中的坐标、第二世界坐标及各第一世界坐标，确定待标定相机的旋转矩阵及平移矩阵，从而完成待标定相机外参的标定，包括：
S141，根据第二世界坐标及各第一世界坐标，分别确定从待标定相机的光心到各参考点的向量，得到各第一参考射线向量。
针对任一参考点，可以利用第一世界坐标减去该参考点的第二世界坐标，从而得到从待标定相机的光心到该参考点的向量，即该参考点对应的第一参考射线向量。针对每个参考点均可以执行上述操作，从而可以得到每个参考点对应的第一参考射线向量。
S142，根据各参考点在目标图像中的坐标及各第一参考射线向量，确定待标定相机的光轴方向向量。
此处的待标定相机的光轴方向向量是指世界坐标系下待标定相机的光轴方向向量。在一种可能的实施方式中，上述根据各参考点在目标图像中的坐标及各第一参考射线向量，确定待标定相机的光轴方向向量，包括：
步骤一，针对每一参考点，根据该参考点在目标图像中的坐标，确定该参考点对应的第一参考射线向量与待标定相机的光轴方向向量的水平偏转角及垂直偏转角。
步骤二，根据各水平偏转角、各垂直偏转角及各第一参考射线向量，确定待标定相机的光轴方向向量。
在一种可能的实施方式中，上述根据各水平偏转角、各垂直偏转角及各第一参考射线向量，确定待标定相机的光轴方向向量，包括：
步骤a，针对每一参考点，根据该参考点对应的水平偏转角及垂直偏转角，确定在相机坐标系下从待标定相机的光心指向该参考点的方向向量，得到该参考点对应的第二参考射线向量。
步骤b，根据各第二参考射线向量，确定各第二参考射线向量与待标定相机的光轴方向向量的夹角。
步骤c，根据各夹角及各第一参考射线向量，确定世界坐标系下待标定相机的光轴方向向量。
具体的，以三个参考点为例，各参考点的第一世界坐标分别为P1、P2、P3。可以计算出待标定相机的光心与各参考点形成的第一参考射线向量OCPk，其中，k的取值为1-3，OC为第二世界坐标，第一参考射线向量所对应的单位方向向量为：
对目标图像进行畸变校正处理，然后找到各参考点在目标图像中的像素坐标。参见图2，可以通过相机测角函数计算得到OCPk与待标定相机的光轴方向向量的水平偏转角和垂直偏转角。其中，θv为水平偏转角，θh为垂直偏转角，Γ()为相机测角函数，H、W为相机分辨率，/>为水平视场角，/>为垂直视场角，/>为主点像素坐标，(ui，vj)为Pk对应的像素坐标。其中，主点像素为光心对应的像素。
根据水平偏转角、垂直偏转角，可以进一步求解出OCPk与光轴的夹角θk。利用向量夹角余弦公式，建立各第一参考射线向量与待标定相机的光轴方向向量之间的方程组，解之得到光轴方向向量。
参见图3，根据θv和θh可以计算出相机坐标系下第二参考射线向量的单位方向向量 与θv、θh之间存在如下关系：
其中，为求解该方程组，可得/>中的zC坐标值。
在已知zC的情况下，求与光轴ZC的夹角θk。在ZC上取单位方向向量则根据向量夹角余弦公式，有/>因此，与光轴ZC的夹角θk为θk＝acos(zC)，在刚体假设下，该夹角在相机坐标系与世界坐标系的相互转换过程中具有不变性，即：在相机坐标系下求出夹角可以直接用在世界坐标系下的相关计算中。
光轴方向向量表示为根据向量夹角余弦公式，可得到光轴方向向量和第一参考射线向量的夹角：/>利用上述夹角关系，将各第一参考射线向量的单位方向向量与光轴夹角的等式联立方程如下：
求解该方程组即可得到光轴方向向量在参考点的数量大于3时，可以通过上述公式(1)求解得到光轴方向向量/>
本申请实施例中，创造性的提出了通过求解相机坐标系下相机光轴方向与参考向量的夹角，来得到世界坐标系中相机光轴的方向，从而进一步得到相机的外参。利用了刚体理论下夹角在相机坐标系与世界坐标系的相互转换过程中具有不变性的原理，能够快速准确的得到相机的外参。
S143，根据光轴方向向量、至少一参考点的第一世界坐标及在目标图像中的坐标，确定待标定相机的旋转矩阵及平移矩阵，从而完成待标定相机外参的标定，其中，相机的外参包括旋转矩阵及平移矩阵。
根据至少一参考点第一世界坐标、该参考点在目标图像中的坐标、以及光轴方向向量，可以求得平移矩阵及旋转矩阵，从而完成待标定相机外参的标定。平移矩阵可以通过待标定相机的光心在世界坐标系下的坐标来表示，旋转矩阵可以通过待标定相机的偏航角、俯仰角及翻滚角表示。
在一种可能的实施方式中，参见图6b，上述根据第一世界坐标、参考点在目标图像中的坐标及光轴方向向量，确定待标定相机的旋转矩阵及平移矩阵，从而完成待标定相机外参的标定，包括：
S1431，根据第二世界坐标，对世界坐标系进行平移，使得世界坐标系的原点与待标定相机的光心重合，得到待标定相机的惯性坐标系及平移矩阵。
将世界坐标系平移到惯性坐标系的平移向量即为平移矩阵。
S1432，根据光轴方向向量，确定待标定相机在待标定相机的惯性坐标系下的偏航角及俯仰角。
参见图4，光轴方向向量表示为利用如下公式计算偏航角及俯仰角：
Pitch为偏航角，yaw为俯仰角，sign(x)为符号函数，当x＞0，sign(x)＝1，当x＝0，sign(x)＝0，当x＜0，sign(x)＝-1。
S1433，根据至少一参考点在目标图像中的坐标及第一世界坐标、偏航角、俯仰角、待标定相机的内参、平移矩阵，确定待标定相机的翻滚角，从而完成待标定相机外参的标定，其中，旋转矩阵由偏航角、俯仰角及翻滚角表示。
参考点在目标图像中的坐标可以通过参考点在目标图像中的坐标表示。通过参考点在目标图像中的坐标与世界坐系中的坐标之间的转换方程，将参考点在世界坐标下的坐标和图像中的坐标代入，从而求得待标定相机的翻滚角。在图像畸变校正已完成的前提下，由小孔成像模型和刚体坐标变换模型，转换方程为：
其中，K为相机内参矩阵，在相机出厂前通过标定获得。ZC为参考点的深度，即该参考点在相机坐标系下的ZC坐标。[R T]为相机外参矩阵，其中T为平移矩阵，R为旋转矩阵，由偏航角、俯仰角及翻滚角表示，u及v分别表示参考点在目标图像中的横坐标及纵坐标，XW、YW、ZW为参考点在世界坐标系中的坐标。
可以选取任一参考点Pk代入上述转换方程，可选的， PC为参考点在相机在相机坐标系中的坐标，因此，在偏航角、俯仰角已知的情况下，整个方程中仅翻滚角一个未知数，求解方程即可得到翻滚角。
本申请实施例中，实现了相机外参的标定；部署简单方便，标定效率高，适合工程应用，相较于传统基于视觉特征点的标定方案，不需要在相机视场中临时布设大量特征点，工程应用难度大大降低；标定时工作站仅需在相机视场中进行短暂停留即可完成标定，整体的标定工作效率得到大大提高；能够被持续复用，长期来看，较传统方法更具经济和环保优势。并且测量精度高，能够获得更准确的外参标定结果，利用空间定位技术测量相机和参考点位置，较传统方法中人工测量标定点的方式所获得的空间位置精度更高；且标定算法的计算流程更为简单，不需要在多个坐标系之间反复地进行坐标转换，引入误差更少，因此能够得到更高精度的标定结果。
本申请实施例还提供了一种相机外参标定系统，参见图7，该系统包括：
定位设备701、处理机设备702及至少三个参考点703；
定位设备701用于获取待标定相机在世界坐标系中的位置；
处理机设备702用于获取各参考点在世界坐标系下的坐标，得到各参考点的第一世界坐标；获取由定位设备采集的待标定相机在世界坐标系中的位置，根据待标定相机在世界坐标系中的位置确定待标定相机的光心在世界坐标系下的坐标，得到第二世界坐标；获取待标定相机在第二世界坐标位置处采集的目标图像，其中，目标图像中包括各参考点；根据各参考点在目标图像中的坐标、第二世界坐标及各第一世界坐标，确定待标定相机的旋转矩阵及平移矩阵，从而完成待标定相机外参的标定，其中，相机的外参包括旋转矩阵及平移矩阵。
本申请实施例中的处理机设备702相当于上述实施例中的处理机，本申请实施例中定位设备701相当于上述实施例中的定位硬件子系统，本申请实施例中的参考点703相当于上述实施例中的视觉标签。一种实施方式中，参考点703设置在相机外参标定系统的外表面。例如，参考点703、处理机设备702可以集成在一个可移动的标定工作站上，参考点703具体可以为固定在工作站外部的单色小球，一种实施方式中，单色小球相互之间距离可以为20厘米以上，以便区分。
在一种可能的实施方式中，定位设备为UWB定位设备，UWB定位设备包括定位基站及相机标签，相机标签设置在待标定相机上，定位基站用于测量相机标签在世界坐标系中的位置，从而得到待标定相机在世界坐标系中的位置。
在一种可能的实施方式中，参考点为具备预设视觉特征的参考点标签，参考点标签用于与定位设备的定位基站进行测距得到参考点在世界坐标系下的坐标；定位基站还用于：测量各参考点在世界坐标系下的坐标，得到各参考点的第一世界坐标。
在一种可能的实施方式中，处理机设备具体用于：根据第二世界坐标及各第一世界坐标，分别确定从待标定相机的光心到各参考点的向量，得到各第一参考射线向量；根据各参考点在目标图像中的坐标及各第一参考射线向量，确定待标定相机的光轴方向向量；根据光轴方向向量、至少一参考点的第一世界坐标及在目标图像中的坐标，确定待标定相机的旋转矩阵及平移矩阵，从而完成待标定相机外参的标定，其中，相机的外参包括旋转矩阵及平移矩阵
在一种可能的实施方式中，处理机设备具体用于：针对每一参考点，根据该参考点在目标图像中的坐标，确定该参考点对应的第一参考射线向量与待标定相机的光轴方向向量的水平偏转角及垂直偏转角；根据各水平偏转角、各垂直偏转角及各第一参考射线向量，确定待标定相机的光轴方向向量。
在一种可能的实施方式中，处理机设备具体用于：针对每一参考点，根据该参考点对应的水平偏转角及垂直偏转角，确定在相机坐标系下从待标定相机的光心指向该参考点的方向向量，得到该参考点对应的第二参考射线向量；根据各第二参考射线向量，确定各第二参考射线向量与待标定相机的光轴方向向量的夹角；根据各夹角及各第一参考射线向量，确定世界坐标系下待标定相机的光轴方向向量。
在一种可能的实施方式中，处理机设备具体用于：根据第二世界坐标，对世界坐标系进行平移，使得世界坐标系的原点与待标定相机的光心重合，得到待标定相机的惯性坐标系及平移矩阵；根据光轴方向向量，确定待标定相机在待标定相机的惯性坐标系下的偏航角及俯仰角；根据至少一参考点在目标图像中的坐标及第一世界坐标、偏航角、俯仰角、待标定相机的内参、平移矩阵，确定待标定相机的翻滚角，从而完成待标定相机外参的标定，其中，旋转矩阵由偏航角、俯仰角及翻滚角表示。
本申请实施例提供了一种相机外参标定装置，应用于相机外参标定系统中的处理机设备，相机外参标定系统还包括定位设备及至少三个参考点，上述装置包括：
第一世界坐标获取模块，用于获取各参考点在世界坐标系下的坐标，得到各参考点的第一世界坐标；
第二世界坐标获取模块，用于获取由定位设备采集的待标定相机在世界坐标系中的位置，根据待标定相机在世界坐标系中的位置确定待标定相机的光心在世界坐标系下的坐标，得到第二世界坐标；
目标图像获取模块，用于获取待标定相机在第二世界坐标位置处采集的目标图像，其中，目标图像中包括各参考点；
相机外参获取模块，用于根据各参考点在目标图像中的坐标、第二世界坐标及各第一世界坐标，确定待标定相机的旋转矩阵及平移矩阵，从而完成待标定相机外参的标定，其中，相机的外参包括旋转矩阵及平移矩阵。
在一种可能的实施方式中，定位设备为超宽带UWB定位设备，UWB定位设备包括定位基站及相机标签，相机标签设置在待标定相机上，待标定相机在世界坐标系中的位置通过定位基站测量相机标签的位置得到。
在一种可能的实施方式中，参考点为具备预设视觉特征的参考点标签，参考点标签用于与定位设备的定位基站进行测距得到参考点在世界坐标系下的坐标；第一世界坐标获取模块，具体用于：获取由定位基站测量的各参考点在世界坐标系下的坐标，得到各参考点的第一世界坐标。
在一种可能的实施方式中，相机外参获取模块，包括：
参考向量确定子模块，用于根据第二世界坐标及各第一世界坐标，分别确定从待标定相机的光心到各参考点的向量，得到各第一参考射线向量；
光轴向量确定子模块，用于根据各参考点在目标图像中的坐标及各第一参考射线向量，确定待标定相机的光轴方向向量；
相机外参确定子模块，用于根据光轴方向向量、至少一参考点的第一世界坐标及在目标图像中的坐标，确定待标定相机的旋转矩阵及平移矩阵，从而完成待标定相机外参的标定，其中，相机的外参包括旋转矩阵及平移矩阵。
在一种可能的实施方式中，光轴向量确定子模块，包括：
偏转角确定单元，用于针对每一参考点，根据该参考点在目标图像中的坐标，确定该参考点对应的第一参考射线向量与待标定相机的光轴方向向量的水平偏转角及垂直偏转角；
光轴向量确定单元，用于根据各水平偏转角、各垂直偏转角及各第一参考射线向量，确定待标定相机的光轴方向向量。
在一种可能的实施方式中，光轴向量确定单元，具体用于：针对每一参考点，根据该参考点对应的水平偏转角及垂直偏转角，确定在相机坐标系下从待标定相机的光心指向该参考点的方向向量，得到该参考点对应的第二参考射线向量；根据各第二参考射线向量，确定各第二参考射线向量与待标定相机的光轴方向向量的夹角；根据各夹角及各第一参考射线向量，确定世界坐标系下待标定相机的光轴方向向量。
在一种可能的实施方式中，相机外参确定子模块，具体用于：根据第二世界坐标，对世界坐标系进行平移，使得世界坐标系的原点与待标定相机的光心重合，得到待标定相机的惯性坐标系及平移矩阵；根据光轴方向向量，确定待标定相机在待标定相机的惯性坐标系下的偏航角及俯仰角；根据至少一参考点在目标图像中的坐标及第一世界坐标、偏航角、俯仰角、待标定相机的内参、平移矩阵，确定待标定相机的翻滚角，从而完成待标定相机外参的标定，其中，旋转矩阵由偏航角、俯仰角及翻滚角表示。
本申请实施例还提供了一种处理机设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器用于执行上述存储器存放的计算机程序时，实现上述任一相机外参标定方法。
可选的，参见图8，除了处理器801和存储器803，本申请实施例的电子设备还包括通信接口802和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一相机外参标定方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一相机外参标定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (9)

1.一种相机外参标定方法，其特征在于，应用于相机外参标定系统中的处理机设备，所述相机外参标定系统还包括定位设备及至少三个参考点，所述方法包括：
获取各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标；
获取由所述定位设备采集的待标定相机在世界坐标系中的位置，根据所述待标定相机在世界坐标系中的位置确定所述待标定相机的光心在世界坐标系下的坐标，得到第二世界坐标；
获取所述待标定相机在所述第二世界坐标位置处采集的目标图像，其中，所述目标图像中包括各所述参考点；
根据所述第二世界坐标及各所述第一世界坐标，分别确定从所述待标定相机的光心到各所述参考点的向量，得到各第一参考射线向量；
针对每一参考点，根据该参考点在所述目标图像中的坐标以及相机测角函数，确定该参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的水平偏转角及垂直偏转角；
针对每一参考点，根据该参考点对应的水平偏转角及垂直偏转角，确定在所述相机坐标系下从所述待标定相机的光心指向该参考点的方向向量，得到该参考点对应的第二参考射线向量；
根据各所述第二参考射线向量，确定各所述第二参考射线向量与所述待标定相机的光轴方向向量的夹角；
根据各所述夹角及各所述第一参考射线向量，确定世界坐标系下所述待标定相机的光轴方向向量；
根据所述光轴方向向量、至少一参考点的第一世界坐标及在所述目标图像中的坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，其中，所述相机的外参包括所述旋转矩阵及所述平移矩阵；
其中相机测角函数为：
θv为第k个参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的水平偏转角，θh为第k个参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的垂直偏转角，Γ()为相机测角函数，H及W为相机分辨率，为水平视场角，/>为垂直视场角，/>为主点像素坐标，(ui,vj)为Pk对应的像素坐标，Pk为第k个参考点，其中，所述主点像素为所述待标定相机的光心对应的像素；OCPk为待标定相机的光心到第k个参考点的向量。
2.根据权利要求1所述的方法，其特征在于，所述定位设备为超宽带UWB定位设备，所述UWB定位设备包括定位基站及相机标签，所述相机标签设置在所述待标定相机上，所述待标定相机在世界坐标系中的位置通过所述定位基站测量所述相机标签得到。
3.根据权利要求2所述的方法，其特征在于，所述参考点为具备预设视觉特征的参考点标签，所述参考点标签用于与所述定位设备的定位基站进行测距得到所述参考点在世界坐标系下的坐标；所述获取各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标，包括：
获取由所述定位基站测量的各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标。
4.根据权利要求1所述的方法，其特征在于，所述根据所述光轴方向向量、至少一参考点的第一世界坐标及在所述目标图像中的坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，包括：
根据所述第二世界坐标，对所述世界坐标系进行平移，使得所述世界坐标系的原点与所述待标定相机的光心重合，得到所述待标定相机的惯性坐标系及平移矩阵；
根据所述光轴方向向量，确定所述待标定相机在所述待标定相机的惯性坐标系下的偏航角及俯仰角；
根据至少一参考点在所述目标图像中的坐标及第一世界坐标、所述偏航角、所述俯仰角、所述待标定相机的内参、所述平移矩阵，确定所述待标定相机的翻滚角，从而完成所述待标定相机外参的标定，其中，所述旋转矩阵由所述偏航角、所述俯仰角及所述翻滚角表示。
5.一种相机外参标定系统，其特征在于，所述系统包括：
定位设备、处理机设备及至少三个参考点；
所述定位设备用于获取待标定相机在世界坐标系中的位置；
所述处理机设备用于获取各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标；获取由所述定位设备采集的待标定相机在世界坐标系中的位置，根据所述待标定相机在世界坐标系中的位置确定所述待标定相机的光心在世界坐标系下的坐标，得到第二世界坐标；获取所述待标定相机在所述第二世界坐标位置处采集的目标图像，其中，所述目标图像中包括各所述参考点；根据所述第二世界坐标及各所述第一世界坐标，分别确定从所述待标定相机的光心到各所述参考点的向量，得到各第一参考射线向量；针对每一参考点，根据该参考点在所述目标图像中的坐标以及相机测角函数，确定该参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的水平偏转角及垂直偏转角；针对每一参考点，根据该参考点对应的水平偏转角及垂直偏转角，确定在所述相机坐标系下从所述待标定相机的光心指向该参考点的方向向量，得到该参考点对应的第二参考射线向量；根据各所述第二参考射线向量，确定各所述第二参考射线向量与所述待标定相机的光轴方向向量的夹角；根据各所述夹角及各所述第一参考射线向量，确定世界坐标系下所述待标定相机的光轴方向向量；根据所述光轴方向向量、至少一参考点的第一世界坐标及在所述目标图像中的坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，其中，所述相机的外参包括所述旋转矩阵及所述平移矩阵，其中相机测角函数为：θv为第k个参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的水平偏转角，θh为第k个参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的垂直偏转角，Γ()为相机测角函数，H及W为相机分辨率，/>为水平视场角，/>为垂直视场角，/>为主点像素坐标，(ui,vj)为Pk对应的像素坐标，Pk为第k个参考点，其中，所述主点像素为所述待标定相机的光心对应的像素；OCPk为待标定相机的光心到第k个参考点的向量。
6.根据权利要求5所述的系统，其特征在于，所述定位设备为UWB定位设备，所述UWB定位设备包括定位基站及相机标签，所述相机标签设置在所述待标定相机上，所述定位基站用于测量所述相机标签在世界坐标系中的位置，从而得到所述待标定相机在世界坐标系中的位置。
7.根据权利要求6所述的系统，其特征在于，所述参考点为具备预设视觉特征的参考点标签，所述参考点标签用于与所述定位设备的定位基站进行测距得到所述参考点在世界坐标系下的坐标；所述定位基站还用于：测量各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标。
8.根据权利要求5所述的系统，其特征在于，所述处理机设备具体用于：根据所述第二世界坐标，对所述世界坐标系进行平移，使得所述世界坐标系的原点与所述待标定相机的光心重合，得到所述待标定相机的惯性坐标系及平移矩阵；根据所述光轴方向向量，确定所述待标定相机在所述待标定相机的惯性坐标系下的偏航角及俯仰角；根据至少一参考点在所述目标图像中的坐标及第一世界坐标、所述偏航角、所述俯仰角、所述待标定相机的内参、所述平移矩阵，确定所述待标定相机的翻滚角，从而完成所述待标定相机外参的标定，其中，所述旋转矩阵由所述偏航角、所述俯仰角及所述翻滚角表示。
9.一种相机外参标定装置，其特征在于，应用于相机外参标定系统中的处理机设备，所述相机外参标定系统还包括定位设备及至少三个参考点，所述装置包括：
第一世界坐标获取模块，用于获取各所述参考点在世界坐标系下的坐标，得到各所述参考点的第一世界坐标；
第二世界坐标获取模块，用于获取由所述定位设备采集的待标定相机在世界坐标系中的位置，根据所述待标定相机在世界坐标系中的位置确定所述待标定相机的光心在世界坐标系下的坐标，得到第二世界坐标；
目标图像获取模块，用于获取所述待标定相机在所述第二世界坐标位置处采集的目标图像，其中，所述目标图像中包括各所述参考点；
相机外参获取模块，用于根据各所述参考点在所述目标图像中的坐标、所述第二世界坐标及各所述第一世界坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定，其中，所述相机的外参包括所述旋转矩阵及所述平移矩阵；
所述相机外参获取模块，包括：
参考向量确定子模块，用于根据所述第二世界坐标及各所述第一世界坐标，分别确定从所述待标定相机的光心到各所述参考点的向量，得到各第一参考射线向量；
光轴向量确定子模块，用于根据各所述参考点在所述目标图像中的坐标及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量；
相机外参确定子模块，用于根据所述光轴方向向量、至少一参考点的第一世界坐标及在所述目标图像中的坐标，确定所述待标定相机的旋转矩阵及平移矩阵，从而完成所述待标定相机外参的标定；
所述光轴向量确定子模块，包括：
偏转角确定单元，用于针对每一参考点，根据该参考点在所述目标图像中的坐标以及相机测角函数，确定该参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的水平偏转角及垂直偏转角；其中相机测角函数为：θv为第k个参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的水平偏转角，θh为第k个参考点对应的第一参考射线向量与所述待标定相机的光轴方向向量的垂直偏转角，Γ()为相机测角函数，H及W为相机分辨率，/>为水平视场角，/>为垂直视场角，为主点像素坐标，(ui,vj)为Pk对应的像素坐标，Pk为第k个参考点，其中，所述主点像素为所述待标定相机的光心对应的像素；OCPk为待标定相机的光心到第k个参考点的向量；
光轴向量确定单元，用于根据各所述水平偏转角、各所述垂直偏转角及各所述第一参考射线向量，确定所述待标定相机的光轴方向向量；
所述光轴向量确定单元，具体用于：针对每一参考点，根据该参考点对应的水平偏转角及垂直偏转角，确定在所述相机坐标系下从所述待标定相机的光心指向该参考点的方向向量，得到该参考点对应的第二参考射线向量；根据各所述第二参考射线向量，确定各所述第二参考射线向量与所述待标定相机的光轴方向向量的夹角；根据各所述夹角及各所述第一参考射线向量，确定世界坐标系下所述待标定相机的光轴方向向量。
CN202011195953.XA 2020-10-30 2020-10-30 相机外参标定方法、系统及装置 Active CN112308930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011195953.XA CN112308930B (zh) 2020-10-30 2020-10-30 相机外参标定方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011195953.XA CN112308930B (zh) 2020-10-30 2020-10-30 相机外参标定方法、系统及装置

Publications (2)

Publication Number Publication Date
CN112308930A CN112308930A (zh) 2021-02-02
CN112308930B true CN112308930B (zh) 2023-10-10

Family

ID=74333460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011195953.XA Active CN112308930B (zh) 2020-10-30 2020-10-30 相机外参标定方法、系统及装置

Country Status (1)

Country Link
CN (1) CN112308930B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592951A (zh) * 2021-07-14 2021-11-02 阿波罗智联(北京)科技有限公司 车路协同中路侧相机外参标定的方法、装置、电子设备
CN113822943A (zh) * 2021-09-17 2021-12-21 中汽创智科技有限公司 一种相机的外参标定方法、装置、系统及存储介质
CN114445505A (zh) * 2021-12-28 2022-05-06 中公高科养护科技股份有限公司 一种用于路面检测的相机标定系统及标定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349219A (zh) * 2018-04-04 2019-10-18 杭州海康威视数字技术股份有限公司 一种相机外参标定方法及装置
CN110766761A (zh) * 2019-10-21 2020-02-07 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN111461994A (zh) * 2020-03-30 2020-07-28 苏州科达科技股份有限公司 一种坐标转换矩阵的获取及监控画面中目标定位方法
CN111784783A (zh) * 2020-08-14 2020-10-16 支付宝(杭州)信息技术有限公司 相机外参标定的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349219A (zh) * 2018-04-04 2019-10-18 杭州海康威视数字技术股份有限公司 一种相机外参标定方法及装置
CN110766761A (zh) * 2019-10-21 2020-02-07 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN111461994A (zh) * 2020-03-30 2020-07-28 苏州科达科技股份有限公司 一种坐标转换矩阵的获取及监控画面中目标定位方法
CN111784783A (zh) * 2020-08-14 2020-10-16 支付宝(杭州)信息技术有限公司 相机外参标定的系统和方法

Also Published As

Publication number Publication date
CN112308930A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN112308930B (zh) 相机外参标定方法、系统及装置
CN109035320B (zh) 基于单目视觉的深度提取方法
CN109146980B (zh) 基于单目视觉的优化的深度提取和被动测距方法
CN112819903B (zh) 基于l型标定板的相机和激光雷达联合标定的方法
US20170243069A1 (en) Methods and apparatus for an imaging system
CN112270719B (zh) 相机标定方法、装置及系统
CN107589069B (zh) 一种物体碰撞恢复系数的非接触式测量方法
WO2023035301A1 (en) A camera calibration method
CN112465877B (zh) 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN112991460B (zh) 一种用于获取汽车零件尺寸的双目测量系统、方法及装置
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
CN116188591A (zh) 多相机全局标定方法及装置、电子设备
CN114332247A (zh) 多目视觉测量的标定方法及装置、存储介质和摄像设备
CN117197245A (zh) 一种位姿修复方法及装置
CN111336938A (zh) 一种机器人及其物体距离检测方法和装置
CN217981856U (zh) 激光雷达测试系统及车辆
CN112927276B (zh) 图像配准方法、装置、电子设备及存储介质
CN115482296A (zh) 一种相机外参标定方法、系统和非易失性计算机可读存储介质
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN114037768A (zh) 一种多套跟踪式扫描仪联合标定的方法和装置
Hrabar et al. PTZ camera pose estimation by tracking a 3D target
Zhuo et al. A target localization method for UAV image sequences based on DEM matching
Kang et al. Positioning Errors of Objects Measured by Convolution Neural Network in Unmanned Aerial Vehicle Images
CN117406185B (zh) 雷达与相机间的外参标定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant