CN117422770A - 一种标定方法及装置 - Google Patents

一种标定方法及装置 Download PDF

Info

Publication number
CN117422770A
CN117422770A CN202210815609.9A CN202210815609A CN117422770A CN 117422770 A CN117422770 A CN 117422770A CN 202210815609 A CN202210815609 A CN 202210815609A CN 117422770 A CN117422770 A CN 117422770A
Authority
CN
China
Prior art keywords
acquisition
acquisition device
calibration
acquisition equipment
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210815609.9A
Other languages
English (en)
Inventor
王栋
李明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210815609.9A priority Critical patent/CN117422770A/zh
Priority to PCT/CN2023/106553 priority patent/WO2024012405A1/zh
Publication of CN117422770A publication Critical patent/CN117422770A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种标定方法及装置，应用于计算机视觉技术领域，本申请不受限于标定场地的平整度，提高标定的准确度以及适用性。在待标定场地部署多个采集设备，然后通过移动目标标定物的方式进行标定，摆脱了场地固有视觉特征/标定点的影响，适用场景更加宽泛，针对场地较大的场景也同样适用。本申请采用移动标定物的方式，通过共视关系来确定采集设备的相机参数，对场地的平整性要求不高，可以提高该类场景的标定准确度。

Description

一种标定方法及装置
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种标定方法及装置。
背景技术
一般在大场景的场地部署多个相机采集视频流来实现计算运动员或者其它人员的行为轨迹或者实现空间视频效果等，比如足球运动员踢球入门的精彩时刻、田径运动跑步姿势或者跑步轨迹。大场景的场地指的是大型体育比赛场地，例如足球场、篮球场馆、排球场馆、滑冰滑雪场馆，以及与比赛场地相似尺度的场地，例如广场、展馆、会场等。计算运动员或者其它人员的行为轨迹或者实现空间视频效果，需要标定参与拍摄的所有相机的内、外参，再根据相机内外参去计算场景内的3D信息(例如3D人体骨骼，3D场景点云等)。
目前采用的标定方案是：在拍摄区域中按照事先确定的摆放模式布置多根标定柱，通过物理测量标定柱之间的位置关系，将所有标定柱上的特征点统一在同一世界坐标系下，然后根据多个相机分别采集包括标定柱的图像，通过识别图像中的标定点的坐标进而采用直接线性变换的方式获得相机的内外参。在实际部署过程中，需要准确测量标定柱的空间距离，并且要保证多根标定柱在同一水平面上，这对场地的平整性限制较严，难以应用于场地不太平整，比如足球等场景。
发明内容
本申请实施例提供一种标定方法及装置，不受限于标定场地的平整度，提高标定的准确度以及适用性。
第一方面，本申请实施例提供一种标定方法，包括：获取多个采集设备采集的多个视频流，所述多个采集设备部署于运动场地的设定空间中，所述多个视频流是在目标标定物在运动场地的运动过程中所述多个采集设备同步拍摄得到的；所述目标标定物在运动场地的运动轨迹至少覆盖所述运动场地的设定区域，所述目标标定物包括至少两个不共面的标定面，每个标定面包括至少两个标定点；每个采集设备采集的视频流中包括多个图像帧；对所述多个采集设备中每个采集设备采集的图像帧分别进行标定点检测，以获得每个采集设备所采集的图像帧中所述目标标定物上的多个标定点的像素坐标；根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的内参矩阵得到每个采集设备的第一内参估计值；根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，确定每个采集设备的第一外参估计值；其中，每个采集设备组包括的至少两个采集设备存在共视区域，所述匹配特征点集包括多个匹配特征点组，每个匹配特征点组包括至少两个相匹配的像素坐标，所述至少两个相匹配的像素坐标是由属于同一采集设备组的不同采集设备在同一时刻采集的图像帧检测的同一标定点的像素坐标；所述多个采集设备组是对所述多个采集设备分组得到的，所述多个采集设备组中任两个采集设备组包括至少一个相同的采集设备。
目前采用固定多个标定物在运动场地的方式，在实际部署过程中，需要准确测量标定柱的空间距离，并且要保证多根标定柱在同一水平面上，这对场地的平整性限制较严，难以应用于场地不太平整，比如足球等场景。本申请采用移动标定物的方式，通过共视关系来确定采集设备的相机参数，对场地的平整性要求不高。可以提高该类场景的标定准确度。
在一种可能设计中，所述方法还包括：
根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的畸变系数得到每个采集设备的第一畸变系数估计值。
上述设计中，在估计内外参的基础上还可以估计畸变系数。
在一种可能的设计中，根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在标定物坐标系下的三维坐标，估计所述每个采集设备的内参矩阵得到每个采集设备的第一内参估计值，包括：
根据第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，估计所述第i采集设备的内参矩阵得到第i个采集设备的第二内参估计值；所述图像集合包括所述第i采集设备采集的视频流中包括所述目标标定物的M1个图像帧，所述M1个图像帧与所述目标标定物的M个移动位置中的M1个移动位置一一对应；M1为正整数，所述M为大于M1的整数；
根据所述第i个采集设备的第二内参估计值、第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，分别估计第i个采集设备对应的位姿集合，所述第i个采集设备对应的位姿集合包括在M1个移动位置处所述目标标定物相对于所述第i个采集设备的位姿；i取值为小于或者等于N的正整数，N为所述运动场地的设定空间中部署的采集设备的数量；
其中，不同的采集设备采集的图像帧对应的移动位置的范围不同；
根据N个采集设备分别采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标、所述多个标定点在标定物坐标系下的三维坐标以及N个采集设备分别对应的目标标定物的位姿，在初始设置的N个采集设备分别对应的畸变系数以及第二内参估计值的基础上，全局迭代多轮调整所述N个采集设备的内参矩阵以及畸变系数得到所述N个采集设备的第一内参估计值和第一畸变系数估计值。
上述设计中，通过全局优化的方式，基于投影误差最小原则来优化内参以及畸变系数，可以提高标定的内参以及畸变系数的准确度。
在一种可能设计中，全局迭代多轮调整所述N个采集设备的内参矩阵以及畸变系数得到所述N个采集设备的第一内参估计值和所述N个采集设备的第一畸变系数估计值，包括：
根据所述多个标定点在标定物坐标系下的三维坐标、每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数，估计所述多个标定点在每个采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在每个采集设备的图像坐标系下的像素坐标与从每个采集设备采集的图像帧提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数得到当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数；
其中，当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数作为下一轮调整的基础，直到完成C轮的调整得到所述N个采集设备的第一内参估计值和所述N个采集设备的第一畸变系数估计值。
在一种可能的设计中，根据所述多个标定点在标定物坐标系下的三维坐标、每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数，估计所述多个标定点在每个采集设备的图像坐标系下的像素坐标，包括：
根据第k个移动位置处的目标标定物上多个标定点的三维坐标，以及第i个采集设备对应的所述第k个移动位置处所述目标标定物的位姿，确定所述多个标定点投影到所述第i个采集设备的相机坐标系下的坐标；
根据所述第i个采集设备的相机坐标系下的坐标以及初始设置的第i个采集设备的畸变系数确定所述多个标定点投影到所述相机坐标系下的畸变坐标；
根据所述畸变坐标以及所述第i个采集设备的第二内参估计值估计所述多个标定点投影到第i个采集设备的图像坐标系下的像素坐标。
在一种可能的设计中，根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，估计确定每个采集设备的第一外参估计值，包括：
根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括的多个标定点在标定物坐标系下的三维坐标，获取所述多个采集设备中除参考采集设备以外的其它采集设备相对于参考采集设备的第二相对位姿；所述参考采集设备为所述多个采集设备中的任一个；
确定尺度因子，所述尺度因子为第一距离和第二距离之间的比值，所述第一距离为两个标定点在所述目标标定物上的距离，所述第二距离为所述两个标定点在同一图像坐标系下的距离，所述两个标定点位于目标标定物上的同一标定面；
根据所述每个采集设备的第二相对位姿以及所述尺度因子获得每个采集设备的第一外参估计值。
上述设计中，通过尺度变换的方式来调整外参，实现简单。
一些实施例中，在基于尺度因子确定每个采集设备的外参后，还可以通过投影误差最小原则来全局优化各个采集设备的外参。
在一种可能的设计中，根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括的多个标定点在标定物坐标系下的三维坐标，获取所述多个采集设备中除参考采集设备以外的其它采集设备相对于参考采集设备的第二相对位姿，包括：
根据第一采集设备组对应的匹配特征点集确定第一采集设备与参考采集设备之间的本质矩阵，所述第一采集设备和所述参考采集设备属于所述第一采集设备组，所述第一采集设备组为所述多个采集设备组中的一个；
根据所述本质矩阵的奇异值分解结果，确定所述第一采集设备与所述参考采集设备之间的第二相对位姿。
在一种可能的设计中，根据所述每个采集设备的第二相对位姿以及所述尺度因子获得每个采集设备的第一外参估计值，包括：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿以及第一内参估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
一些实施例中，在基于尺度因子确定每个采集设备的外参后，通过投影误差最小原则来全局优化各个采集设备的外参。可以提高标定的外参准确度。另外在优化外参的基础上还对内参进行优化，可以进一步提高标定的内参的准确度。
在一种可能的设计中，根据所述每个采集设备的第二相对位姿以及所述尺度因子获得每个采集设备的第一外参估计值，包括：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值以及第一畸变系数估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值以及第一畸变系数得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值、相对位姿以及畸变系数作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值以及第二畸变系数；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
一些实施例中，在基于尺度因子确定每个采集设备的外参后，通过投影误差最小原则来全局优化各个采集设备的外参。可以提高标定的外参准确度。另外在优化外参的基础上还对内参以及畸变系数进行优化，可以进一步提高标定的内参以及畸变系数的准确度。
在一种可能的设计中，所述多个采集设备组中每个采集设备组包括两个采集设备，根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，估计每个采集设备的第一外参估计值，包括：
确定所述目标标定物的M个移动位置中多个移动位置对的相对位姿，其中，第一移动位置对包括第一移动位置和第二移动位置，所述第一移动位置和第二移动位置为所述目标标定物的M个移动位置中两个移动位置，且所述第一移动位置与所述第二移动位置位于至少一个采集设备组的共视区域内；第一移动位置对的相对位姿基于至少一个采集设备组对应的匹配特征点集、所述目标标定物包括多个标定点在标定物坐标系下的三维坐标以及至少一个采集设备组包括的两个采集设备的第一内参估计值确定得到；
根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，所述基础移动位置为所述M个移动位置中的一个；
根据M个移动位置在世界坐标系下的坐标、所述目标标定物包括的多个标定点在标定物坐标系下的坐标以及每个采集设备所采集的图像帧中所述目标标定物上的标定点的像素坐标，全局优化每个采集设备的相机参数，所述相机参数包括内参矩阵和外参矩阵，或者所述相机参数包括内参矩阵、外参矩阵以及畸变系数；
其中，全局优化过程中每个采集设备的相机参数以及所述多个标定点分别所在的标定面在标定物坐标系下的位姿作为待优化量；全局优化中每个采集设备的第一内参估计值作为每个采集设备的内参矩阵的初始值。
上述设计中，通过在空间中设置一个基础移动位置(参考点)的方式，来确定空间中各个标定点的三维坐标，然后基于投影误差最小化原则，通过全局优化的方式来确定每个采集设备的相机参数，可以提高标定的准确度。
在一种可能的设计中，第一移动位置对的相对位姿满足如下条件：
其中，T12表示第一移动位置与第二移动位置之间的相对位姿，所述至少一个采集设备组包括第一采集设备组，所述第一采集设备组包括第一采集设备和第二采集设备，表示基于第一采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；/>表示基于第二采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的所述第二移动位置到所述第一移动位置的位姿。
在一种可能的设计中，至少一个采集设备组为L个，所述第一采集设备组满足：
其中，I表示单位矩阵，表示基于第l个采集设备组中第一个采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；/>表示基于所述第l个采集设备组中第二个采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的第二移动位置到第一移动位置的位姿；11表示第一采集设备组中第一采集设备，12表示第二采集设备组中第二采集设备。
在一种可能的设计中，所述根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，包括：
确定多个移动位置对中每个移动位置对的可信度权重，其中，第一移动位置与第二移动位置之间的可信度权重满足S12表示第一移动位置与第二移动位置之间的可信度权重；
根据每个移动位置对的可信度权重确定第三移动位置到基础移动位置的最短路径；
其中，所述最短路径为从第三移动位置到基础移动位置的所有路径中可信度权重最小的路径；任一路径的可信度权重为所述任一路径所经过的移动位置对的可信度权重的加和；
根据所述最短路径所经过的移动位置对的相对位姿确定所述第三移动位置的位姿。
第二方面，本申请实施例提供一种标定装置，包括：
获取单元，用于获取多个采集设备采集的多个视频流，所述多个采集设备部署于运动场地的设定空间中，所述多个视频流是在目标标定物在运动场地的运动过程中所述多个采集设备同步拍摄得到的；所述目标标定物在运动场地的运动轨迹至少覆盖所述运动场地的设定区域，所述目标标定物包括至少两个不共面的标定面，每个标定面包括至少两个标定点；每个采集设备采集的视频流中包括多个图像帧；
处理单元，用于对所述多个采集设备中每个采集设备采集的图像帧分别进行标定点检测，以获得每个采集设备所采集的图像帧中所述目标标定物上的多个标定点的像素坐标；根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的内参矩阵得到每个采集设备的第一内参估计值；根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，确定每个采集设备的第一外参估计值；
其中，每个采集设备组包括的至少两个采集设备存在共视区域，所述匹配特征点集包括多个匹配特征点组，每个匹配特征点组包括至少两个相匹配的像素坐标，所述至少两个相匹配的像素坐标是由属于同一采集设备组的不同采集设备在同一时刻采集的图像帧检测的同一标定点的像素坐标；所述多个采集设备组是对所述多个采集设备分组得到的，所述多个采集设备组中任两个采集设备组包括至少一个相同的采集设备。
在一种可能的设计中，所述处理单元，还用于：
根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的畸变系数得到每个采集设备的第一畸变系数估计值。
在一种可能的设计中，所述处理单元，具体用于：
根据第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，估计所述第i采集设备的内参矩阵得到第i个采集设备的第二内参估计值；所述图像集合包括所述第i采集设备采集的视频流中包括所述目标标定物的M1个图像帧，所述M1个图像帧与所述目标标定物的M个移动位置中的M1个移动位置一一对应；M1为正整数，所述M为大于M1的整数；
根据所述第i个采集设备的第二内参估计值、第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，分别估计第i个采集设备对应的位姿集合，所述第i个采集设备对应的位姿集合包括在M1个移动位置处所述目标标定物相对于所述第i个采集设备的位姿；i取值为小于或者等于N的正整数，N为所述运动场地的设定空间中部署的采集设备的数量；
其中，不同的采集设备采集的图像帧对应的移动位置的范围不同；
根据N个采集设备分别采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标、所述多个标定点在标定物坐标系下的三维坐标以及N个采集设备分别对应的目标标定物的位姿，在初始设置的N个采集设备分别对应的畸变系数以及第二内参估计值的基础上，全局迭代多轮调整所述N个采集设备的内参矩阵以及畸变系数得到所述N个采集设备的第一内参估计值和第一畸变系数估计值。
在一种可能的设计中，所述处理单元，具体用于：
根据所述多个标定点在标定物坐标系下的三维坐标、每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数，估计所述多个标定点在每个采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在每个采集设备的图像坐标系下的像素坐标与从每个采集设备采集的图像帧提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数得到当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数；
其中，当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数作为下一轮调整的基础，直到完成C轮的调整得到所述N个采集设备的第一内参估计值和所述N个采集设备的第一畸变系数估计值。
在一种可能的设计中，所述处理单元，具体用于：
根据第k个移动位置处的目标标定物上多个标定点的三维坐标，以及第i个采集设备对应的所述第k个移动位置处所述目标标定物的位姿，确定所述多个标定点投影到所述第i个采集设备的相机坐标系下的坐标；
根据所述第i个采集设备的相机坐标系下的坐标以及初始设置的第i个采集设备的畸变系数确定所述多个标定点投影到所述相机坐标系下的畸变坐标；
根据所述畸变坐标以及所述第i个采集设备的第二内参估计值估计所述多个标定点投影到第i个采集设备的图像坐标系下的像素坐标。
在一种可能的设计中，所述处理单元，具体用于：
根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括的多个标定点在标定物坐标系下的三维坐标，获取所述多个采集设备中除参考采集设备以外的其它采集设备相对于参考采集设备的第二相对位姿；所述参考采集设备为所述多个采集设备中的任一个；
确定尺度因子，所述尺度因子为第一距离和第二距离之间的比值，所述第一距离为两个标定点在所述目标标定物上的距离，所述第二距离为所述两个标定点在同一图像坐标系下的距离，所述两个标定点位于目标标定物上的同一标定面；
根据所述每个采集设备的第二相对位姿以及所述尺度因子获得每个采集设备的第一外参估计值。
在一种可能的设计中，所述处理单元，具体用于：
根据第一采集设备组对应的匹配特征点集确定第一采集设备与参考采集设备之间的本质矩阵，所述第一采集设备和所述参考采集设备属于所述第一采集设备组，所述第一采集设备组为所述多个采集设备组中的一个；
根据所述本质矩阵的奇异值分解结果，确定所述第一采集设备与所述参考采集设备之间的第二相对位姿。
在一种可能的设计中，所述处理单元，具体用于：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿以及第一内参估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
在一种可能的设计中，所述处理单元，具体用于：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值以及第一畸变系数估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
在一种可能的设计中，所述多个采集设备组中每个采集设备组包括两个采集设备，所述处理单元，具体用于：
确定所述目标标定物的M个移动位置中多个移动位置对的相对位姿，其中，第一移动位置对包括第一移动位置和第二移动位置，所述第一移动位置和第二移动位置为所述目标标定物的M个移动位置中两个移动位置，且所述第一移动位置与所述第二移动位置位于至少一个采集设备组的共视区域内；第一移动位置对的相对位姿基于至少一个采集设备组对应的匹配特征点集、所述目标标定物包括多个标定点在标定物坐标系下的三维坐标以及至少一个采集设备组包括的两个采集设备的第一内参估计值确定得到；
根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，所述基础移动位置为所述M个移动位置中的一个；
根据M个移动位置在世界坐标系下的坐标、所述目标标定物包括的多个标定点在标定物坐标系下的坐标以及每个采集设备所采集的图像帧中所述目标标定物上的标定点的像素坐标，全局优化每个采集设备的相机参数，所述相机参数包括内参矩阵和外参矩阵，或者所述相机参数包括内参矩阵、外参矩阵以及畸变系数；
其中，全局优化过程中每个采集设备的相机参数以及所述多个标定点分别所在的标定面在标定物坐标系下的位姿作为待优化量；全局优化中每个采集设备的第一内参估计值作为每个采集设备的内参矩阵的初始值。
在一种可能的设计中，第一移动位置对的相对位姿满足如下条件：
其中，T12表示第一移动位置与第二移动位置之间的相对位姿，所述至少一个采集设备组包括第一采集设备组，所述第一采集设备组包括第一采集设备和第二采集设备，表示基于第一采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；/>表示基于第二采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的所述第二移动位置到所述第一移动位置的位姿。
在一种可能的设计中，至少一个采集设备组为L个，所述第一采集设备组满足：
其中，I表示单位矩阵，表示基于第l个采集设备组中第一个采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；/>表示基于所述第l个采集设备组中第二个采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的第二移动位置到第一移动位置的位姿；11表示第一采集设备组中第一采集设备，12表示第二采集设备组中第二采集设备。
在一种可能的设计中，所述根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，包括：
确定多个移动位置对中每个移动位置对的可信度权重，其中，第一移动位置与第二移动位置之间的可信度权重满足S12表示第一移动位置与第二移动位置之间的可信度权重；
根据每个移动位置对的可信度权重确定第三移动位置到基础移动位置的最短路径；
其中，所述最短路径为从第三移动位置到基础移动位置的所有路径中可信度权重最小的路径；任一路径的可信度权重为所述任一路径所经过的移动位置对的可信度权重的加和；
根据所述最短路径所经过的移动位置对的相对位姿确定所述第三移动位置的位姿。
第三方面，本申请实施例提供一种标定装置，包括存储器、处理器。所述存储器，用于存储程序或指令；所述处理器，用于调用所述程序或指令，以执行第一方面或者第一方面的任一设计所述的方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被终端设备执行时，使得该处理器执行上述第一方面或第一方面的任意可能的设计中的方法。
第五方面，本申请提供一种计算机程序产品，该计算机程序产品包括计算机程序或指令，当该计算机程序或指令被处理器执行时，实现上述第一方面或第一方面的任意可能的实现方式中的方法。
上述第二方面至第五方面中任一方面可以达到的技术效果可以参照上述第一方面中有益效果的描述，此处不再重复赘述。
本申请在上述各方面提供的实现的基础上，还可以进行进一步组合以提供更多实现。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本申请实施例提供的图像坐标系示意图；
图2为本申请实施例提供的相机坐标系示意图；
图3为本申请实施例提供的一种信息系统架构示意图；
图4为本申请实施例提供的另一种信息系统架构示意图；
图5为本申请实施例提供的一种针对田径赛场的相机部署方式示意图；
图6为本申请实施例提供的另一种针对田径赛场的相机部署方式示意图；
图7为本申请实施例提供的又一种针对田径赛场的相机部署方式示意图；
图8为本申请实施例提供的一种针对足球场的相机部署方式示意图；
图9为本申请实施例提供的标定方法流程示意图；
图10为本申请实施例提供的目标标定物示意图；
图11为本申请实施例提供的标定塔示意图；
图12A为本申请实施例提供的一种目标标定物移动轨迹示意图；
图12B为本申请实施例提供的另一种目标标定物移动轨迹示意图；
图12C为本申请实施例提供的又一种目标标定物移动轨迹示意图；
图12D为本申请实施例提供的又一种目标标定物移动轨迹示意图；
图13为本申请实施例提供的特征点筛选示意图；
图14为本申请实施例提供的第一种可能的外参确定方法流程示意图；
图15为本申请实施例提供的优化内参以及相对位姿的流程示意图；
图16为本申请实施例提供的优化内参、相对位姿以及畸变系数的流程示意图；
图17为本申请实施例提供的图模型表示的目标标定物的移动位置示意图；
图18为本申请实施例提供的第二种可能的外参确定方法流程示意图；
图19为本申请实施例提供的一种标定装置结构示意图；
图20为本申请实施例提供的另一种标定装置结构示意图。
具体实施方式
以下，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
1)相机内参：针孔相机模型(pinhole camera)中的畸变参数(k1,k2,k3,p1,p2)，焦距(fx,fy)，中心点(u0,v0)。本申请实施例中所涉及的内参矩阵是指由焦距和中心点构成的矩阵。
相机的畸变是指相机的光学系统对物体所成的像相对于物体本身而言的失真程度，是光学透镜的固有特性，其直接原因是：相机中透镜的边缘部分和中心部分的放大倍率不一样。相机的畸变主要包括径向畸变和切向畸变。
径向畸变：主要由于相机的透镜不同部位放大倍率不同造成的，又分枕型畸变，桶形畸变两种。
切向畸变：主要由于相机的透镜安装与成像平面不垂直造成的，类似透视原理(近大远小，圆变椭圆等等)。
相机的畸变公式参见公式(1-1)和公式(1-2)所示，径向畸变系数包括3个，分别通过k1,k2,k3表示。切向畸变系数包括2个，通过p1,p2表示。则畸变后的像素坐标(x′,y′)与畸变前的像素坐标(x,y)满足如下公式(1-1)和公式(1-2)所示的条件。
x′＝x(1+k1r2+k2r4+k3r6)+[2p1xy+p2(r2+2x2)] 公式(1-1)
y′＝y(1+k1r2+k2r4+k3r6)+[p1(r2+2y2)+2p2xy] 公式(1-2)
其中，x,y为三维点投影到相机坐标系下的归一化坐标，x′,y′是畸变后坐标。r2＝x2+y2。
2)相机外参：针孔相机模型(pinhole camera)中的相机相对于某一坐标系(例如世界坐标系或某一参考相机位姿)的旋转(rotation)和平移(translation)变换，即该相机在这一坐标系的6自由度(six degrees of freedom，6dof)位姿。表示沿三个方向的平动以及绕三个轴的转动。
3)图像物理坐标系(简称图像坐标系)。
一个图像物理坐标系的具体示例可以参见图1所示，Oi点为相机光轴与相机成像平面的交点，其为图像物理坐标系的原点。(u，v)表示像素的列数和行数，其中，(Op,u,v)构成了像素平面坐标系。像素平面坐标系的原点Op位于相机成像平面的左上角，两个坐标轴(Opu轴和Opv轴)分别指向右方和下方。图像物理坐标系的原点Oi位于像素平面坐标系的中心，坐标为(u0,v0)，两个坐标轴(Oix轴和Oiy轴)分别指向右方和下方。令dx和dy分别表示一个像素沿u轴和v轴方向上的物理尺寸，则像素平面坐标系中和图像物理坐标系的关系如公式(2)所示。
上述公式(2)可以进一步表示为公式(3)
4)相机坐标系。
一个相机坐标系的具体示例可以参见图2所示，相机坐标系为空间坐标系，其原点Oc位于相机光心处。Oi点为相机光轴与相机成像平面的交点，即图像物理坐标系的原点。如图2所示，相机坐标系的Ocxc轴和Ocyc轴分别平行于图像物理坐标系的Oix轴和Oiy轴,Oczc轴通过点Oi，点Oi到点Oc的距离即为焦距，用f表示。根据成像投影关系可知相机坐标系与图像物理坐标系满足如下公式(4)所示的关系：
5)世界坐标系。
在环境中选择一个参考坐标系来描述相机和物体的位置，该坐标系可以称为世界坐标系。相机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移参数T来描述。由此，空间中一点P在世界坐标系和相机坐标系下的齐次坐标分别为(xw,yw,zw)和(xc,yc,zc)，满足如下公式(5)所示的关系。
其中，R是3×3的旋转矩阵，T是3×1的平移参数。
基于上述像素平面坐标系、图像物理坐标系、相机坐标系和世界坐标系的关系，公式(5)所示的关系。
/>
公式(5)中，为内参矩阵，/>等号右边/>为外参矩阵。dx和dy表示x方向和y方向的一个像素分别占多少长度单位，即一个像素代表的实际物理值的大小，其是实现相机坐标系与图像坐标系转换的关键。
本申请提供一种标定方法及装置，用于对部署于在设定场地的设定空间内的采集设备的相机参数进行标定。相机参数包括内参矩阵、外参矩阵(和畸变系数)。设定场地可以环形场地，比如环形跑道或者环形速滑冰道。运动场景也可以是直线场地。运动场地也可以是其它形式的，比如足球场等，本申请实施例对此不作具体限定。
参见图3所示，为本申请实施例提供的一种信息系统架构示意图。信息系统中包括多个采集设备和数据处理服务器，图3中以N个采集设备为例，N为正整数。信息系统中包括的摄像头的数量可以依据运动场地的大小来配置。采集设备可以是摄像头、或者相机、或者摄像机等等。该多个采集设备可以部署于运动场地所处的设定空间内。比如，运动场地是足球场，足球场位于露天体育场或者足球场馆，露天体育场或者足球场馆内部署多个采集设备。多个采集设备中每个采集设备的取景范围包括部分运动场地。不同的采集设备的取景范围不同，空间相邻至少两个采集设备分别对应的取景范围之间具有共视区域。共视区域即为两个采集设备同一时刻共同拍摄到的区域。
数据处理服务器可以包括一个或者多个服务器，如果数据处理服务器包括多个服务器，可以理解为，数据处理服务器是由多个服务器构成的服务器集群。示例性地，数据处理服务器可以工作在两种不同模式下，标定模式和比赛录制模式。标定模式下，数据处理服务器执行标定处理，将标定结果存储。标定处理可以包括标定获得多个相机的内参、外参(以及畸变系数)。比赛录制模式下，数据处理服务器可以用于针对多个采集设备采集的视频流，可以提取多个采集设备的同步帧，然后再逐帧基于标定结果对同步帧进行视觉算法处理，生成空间视频，进行基于空间视频进行运动分析或者运动员技术复盘或者截取精彩时刻等，空间视频可以发送给导播车等。
在一些可能的场景中，信息系统中还可以包括一个或者多个路由设备，路由设备可以用于将采集设备采集的图像传输给数据处理服务器。路由设备可以路由器、交换机等等。以交换机为例，参见图4所示，信息系统中可以部署多层交换机，以两层为例，第一层部署的交换机可以用于连接一个或者多个采集设备，第二层部署的交换机可以作为主交换机，主交换机的一端连接第一层交换机，另一端连接数据处理服务器。例如，参见图4所示。
在另一些可能的场景中，信息系统还支持将空间视频数据发送给导播车。信息系统还支持通过终端设备获取运动分析数据。示例性地，信息系统还包括移动前端。比如，移动前端包括web页面服务器。参见图4所示，web页面服务器与数据处理服务器连接。移动前端还可以还包括无线路由器(或者有线路由器)、导播车或者终端设备。终端设备可以是台式计算机、便携计算机、手机等支持访问web页面的电子设备。终端设备可以通过访问web页面服务器来对数据服务器进行操作，例如向多个采集设备发送同步采集信号或者停止录制信号。同步采集信号用于指示采集设备同步启动视频录制。停止录制信号用于指示采集设备停止视频录制。再例如，历史记录的视频回放、或者运动信息并显示等等。
下面结合实施例对本申请实施例提供的标定方法进行详细说明。在设定场地(比如运动场地、会议场馆等)所属的设定空间内进行采集设备的部署。后续描述时，以运动场地为例，以采集设备为相机为例。在运动场地所属的设定空间部署相机时，可以根据运动场地所属的设定空间内允许安装的点位来确定，比如是否有立柱、桁架或者吊顶等等。在运动场地所属的设定空间部署相机时，每台相机能够覆盖整个赛道的部分区域，比如一段长度的赛道。空间相邻相机具有共视区域，比如具有图像的1/2或者1/3的共视区域。桁架是指由直杆组成的一般具有三角形单元的平面或空间结构，用于相机支架的定制件。
作为一种举例，以田径场地部署相机为例。图5-图8所示为三种可能的相机部署方式示意图。参见图5中(a)所示，以沿赛道部署20台机位为例。机位是指分布在不同位置的相机。每台机位位于赛道外的上方，从高处斜视俯拍赛道。图5中(a)以相机部署于立柱上为例。图5中(b)为相机部署的俯视图。图5中(c)为相机部署于立柱上的侧视图。直道相机部署在直道的延长线上和弯道的侧面。每台相机拍摄40米范围区域，空间相邻的两个相机有20米的共视范围，总计20台相机覆盖400米赛道(直道5台*2，弯道5台*2)。一些场景中，在将相机安装在设定位置之后，可以通过调整相机的焦点、朝向或者视场角，使得每台相机聚焦拍摄赛道的一部分区域，并且相邻机位之间存在共视区域。相机分组连接到两个交换机，相机1-10分别连接一个交换机，相机11-20分别连接另一个交换机，相机1-20采集的视频帧通过两个交换机发送给数据处理服务器。
参见图6中(a)所示，以沿田径场地的赛道部署20台机位为例。以相机部署于吊顶桁架上为例。每台机位位于赛道上的上方，从高处俯拍赛道。相机镜头轴线与地面成锐角，不垂直于地面，以便覆盖更大的拍摄范围。图6中(b)为相机部署的俯视图。图6中(c)为相机部署于吊顶桁架上的侧视图。一些场景中，在将相机安装在设定位置之后，可以通过调整相机的焦点、朝向或者视场角，使得每台相机聚焦拍摄赛道的一部分区域，并且相邻机位之间存在共视区域。相机分组连接到两个交换机，相机1-10分别连接一个交换机，相机11-20分别连接另一个交换机，相机1-20采集的视频帧通过两个交换机发送给数据处理服务器。
参见图7中(a)所示，以沿田径场地的赛道部署20台机位为例。以相机部署于立柱为例。20台机位沿赛道部署，1-5拍摄非换道区直道，6-10、16-20拍摄两个弯道，11-15拍摄非换道区直道。图7中(b)所示为相机1-5部署于立柱上的侧视图。相机分组连接到两个交换机，相机1-10分别连接一个交换机，相机11-20分别连接另一个交换机，相机1-20采集的视频帧通过两个交换机发送给数据处理服务器。
通过在田径场地部署相机，可以对参与竞赛项目例如短跑，中长跑、跨栏、跳高、跳远的运动员等进行分析获得运动员的运动信息或者精彩时刻等。
作为另一种举例，以足球场馆部署相机为例。相机可以部署于立柱、桁架或者吊顶等位置，还可以部署于看台的设定位置。例如，参见图8所示，以沿赛道部署20台机位为例。一些场景中，在将相机安装在设定位置之后，可以通过调整相机的焦点、朝向或者视场角，使得每台相机聚焦拍摄场馆的一部分区域，并且相邻机位之间存在共视区域。相机分组连接到两个交换机，相机1-10分别连接一个交换机，相机11-20分别连接另一个交换机，相机1-20采集的视频帧通过两个交换机发送给数据处理服务器。通过在足球场馆部署相机，可以获取门前的精彩时刻或者获取违规时刻等等。
需要说明的是，上述相机部署仅作为示例，具体部署可以结合实际场景来部署，本申请实施例对此不作具体限定。本申请实施例对部署的相机的数量，以及相机的分组情况，以及部署的交换机的数量不作具体限定。
在相机完成部署后，需要对各个相机的内参矩阵、外参矩阵以及畸变系数来进行标定。
本申请实施例中在标定相机内参矩阵、外参矩阵以及畸变系数时，通过在移动目标标定物的过程中，各个相机采集视频流来实现。
如下结合图9对相机参数的标定流程进行详细说明。图9提供的方法可以由数据处理服务器来执行，也可以由数据处理服务器中的处理器或者处理器系统来执行。
901，获取多个相机采集的多个视频流，所述多个相机部署于运动场地的设定空间中，所述多个视频流是在目标标定物在运动场地的运动过程中所述多个相机同步拍摄得到的；所述目标标定物在运动场地的运动轨迹至少覆盖所述运动场地的设定区域，所述目标标定物包括至少两个不共面的标定面，每个标定面包括至少两个标定点。
一些实施例中，目标标定物可以包括一个或者一组标定物。示例性地，一组标定物可以是由多个标定物构成。每个标定物可以包括至少两个标定面，每个标定面上包括至少一个标定点。标定点具有不会时刻发生变化的稳定视觉特征。一些可能的示例中，目标标定物上具有特定图案，图案中的线条交点可以作为标定点。另一些可能的示例中，第一目标标定物上可以具有发光屏，通过显示的发光点作为标定点。当然也可以采用其它的方式设置标定物上的标定点，本申请实施例对此不作具体限定。
作为一种举例，以目标标定物上具有特定图案为例。图10所示为一种可能的目标标定物结构示意图。图10中以目标标定物包括一组标定物为例。一组标定物中每个标定物可以为一个箱体架子。箱体架子四个面具有特定图案，不同的面上的特定图案不同。不同的箱子的特定图案不同。图10中以二维码为例。可以选择二维码中各个角的点可以作为标定点，或者箱体中特定格子的角点作为标定点，或者箱体的下边两个边角点作为标定点，或者包括二维码的矩形下边角的两个点作为标定点等等，本申请实施例对此不作具体限定。
一些实施例中，目标标定物可以采用塔状结构，从而目标标定物也可以称为标定塔，参见图11所示。为了方便移动，目标标定物可以放置于轮式平板车上面。
示例性地，目标标定物的运动轨迹均匀覆盖拍摄区域(即运动场地)。运动轨迹包含但不限于规则的路径(例如折线形，螺旋形)，和随机路径等等。参见图12A所示为螺旋状的路径。参见图12B和图12C所示为折线形的路径。参见图12D所示为随机路径。图12A-图12D中的黑点表示相机。本申请实施例对路径的轨迹行进方向不作具体限制。起点位置可以位于场地任意点，应用中为了方便记忆和使用，常设定在场地地标点，以足球场地为例，可以为角球点，点球点，或者某一场地线角点。
在一种可能的实现方式，为了减少处理量，分别针对所述多个相机采集的视频流进行同步采样处理。或者可以理解为从每个相机采集的视频流中抽帧。以第一相机为例，从第一相机采样的多个图像帧中均包括所述目标标定物。然后可以将抽取图像帧中将不包括目标标定物的图像帧去除，从而构成每个采集设备对应的图像集合。可以理解的是，每个采集设备对应的图像集合中包括的不同图像帧对应的目标标定物的移动位置不同。
可以理解的是，由于目标标定物在运动场地中移动，针对某个相机来说，某些时间段内，该目标标定物在该相机的视场区域外移动，从而在该时间段内，该相机并未捕捉到包括目标标定物的画面。从而可以将抽取的图像帧中将不包括目标标定物的图像帧去除。
一种示例中，针对不同相机抽帧时，可以根据目标标定物的移动位置来抽帧。例如，可以在目标标定物的移动轨迹上设置多个位置，比如位置1-位置m，从而可以将移动到多个位置处的图像帧采样出来。另一种示例中，可以每隔设定时长抽取一帧。设定时长的设置可以基于目标标定物在设定区域的移动速率。
一些可能的场景中，可以在设定区域内标记多个位置。目标标定物每移动到一个位置，控制多个相机分别采集一个图像帧，从而构成每个相机的图像帧集。从而每个相机采集的图像数量与标记的位置数量相同。
902，对所述多个相机中每个相机采集的图像帧分别进行标定点检测，以获得每个相机所采集的图像帧中所述目标标定物上的多个标定点的像素坐标(或者称为Marker点的像素坐标)。
对所述多个相机中每个相机采集的图像帧分别进行标定点检测得到特征点。同一图像帧中不同的特征点对应不同的标定点。进一步地针对检测得到的特征点进行筛选，去掉可靠性较低的特征点。特征点用于表达标定点的像素坐标，从而获得每个相机采集的图像帧中多个标定点的像素坐标。
比如，特征点到图像边界的距离作为筛选条件，去除可靠性较低的特征点。比如某特征点到图像边界的距离小于某个设定值，则将该特征点筛除。再比如，标定面为固定形状，比如矩形或者圆形等。比如标定面为矩形，可以根据采集的图像中特征面的对角线夹角来去除可靠性较低的特征点，例如，对角线夹角小于设定阈值，则将属于该特征面的特征点去除。再比如，标定面为圆形，可以根据采集的图像中圆形特征面的曲率来确定是否将该特征面的特征点判定为可靠性较低的特征点。例如，曲率大于设定曲率值，则确定该特征面的特征点位不可靠的特征点并去除。针对标定面为圆形来说，还可以通过最小半径与最大半径的比值来确定特征面的特征点是否为可靠的特征点。例如，最小半径与最大半径的比值小于设定比值，则确定特征面的特征点为不可靠的特征点并去除。
一些实施例中，针对一个相机所采样的图像帧进行标定点检测时，在针对第一图像帧可以进行全局标定点检测。在后续进行标定点检测时，可以采用跟踪算法来缩小图像帧中所需检测目标标定物的检测范围。采用该方式可以提高特征点的检测速度。
903，根据所述每个相机所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个相机的内参矩阵得到每个相机的第一内参估计值。
904，根据多个相机组中每个相机组包括的至少两个相机的第一内参估计值，每个相机组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，确定每个相机的第一外参估计值。
其中，每个相机组包括的至少两个相机存在共视区域，所述匹配特征点集包括多个匹配特征点组，每个匹配特征点组包括至少两个相匹配的像素坐标，所述至少两个相匹配的像素坐标是由属于同一相机组的不同相机在同一时刻采集的图像帧检测的同一标定点的像素坐标；所述多个相机组是对所述多个相机分组得到的，所述多个相机组中任两个相机组包括至少一个相同的相机。
在一种可能的实现方式中，在步骤903中估计每个相机的内参矩阵得到第一内参估计值时，可以根据所述每个相机所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在标定物坐标系下的三维坐标，结合利用直接线性变换(direct linear transform，DLT)来估每个相机的内参矩阵。
根据相机小孔成像模型，空间的三维点Pw投影到相机像素平面，可以通过如下公式(6)表示。Pw表示目标标定物中的标定点在目标标定物所在的标定物坐标系下的齐次坐标，Pw＝[X Y Z 1]T。图像坐标系中的标定点的像素坐标(采用齐次坐标)通过Puv表示，Puv＝[u v 1]T。
Puv＝PprojPw 公式(6)
Pproj表示投影矩阵。投影矩阵通过相机的内参和相机的位姿(标定物坐标系下)来确定。Ic和[R|t]c分别表示相机的内参和位姿(标定物坐标系下)。Pproj＝Ic[R|t]c。则目标标定物的标定物坐标系与图像坐标系的映射关系可以表示为公式(7)。
Puv＝Ic[R|t]cPw＝PprojPw 公式(7)
DLT通过大量的已知量(Puv，Pw)代入上述公式(6)来计算投影矩阵Pproj。通过分解矩阵Pproj来得到Ic[R|t]c。
示例性地，可以通过线性方程组的求解来计算Pproj，进一步采用矩阵的QR分解来得到Ic。投影矩阵Pproj可以表示为3*4的矩阵，比如，将3*4的矩阵表示为则有如下公式(8)成立。
fx＝f/dx，f表示焦距。fy＝f/dy。dx和dy表示x方向和y方向的一个像素分别占多少长度单位，即一个像素代表的实际物理值的大小，其是实现相机坐标系与图像坐标系转换的关键。u0，v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。
基于此，通过线性方程组的求解来计算Pproj中l1～l12。然后再对进行QR分解来得到相机的内参矩阵。
需要说明的是，无论目标标定物移动到运动场地的任何位置，目标标定物上各个标定点在标定物坐标系下的坐标是不变的。由于相机的内参用于表达相机坐标系与图像坐标系之间的转换关系，无论标定物如何移动，相机的内参是不变的。基于此，针对一个相机采集每个图像帧中特征点均能够计算一个或者多个投影矩阵。进而针对投影矩阵进行QR分解得到内参矩阵和外参矩阵。由于针对计算的各个投影矩阵分解的内参矩阵都应相同为前提，从得到的所有内参矩阵中来确定第一内参估计值。比如通过高斯分布的方式来确定。
在另一种可能的实现方式中，在步骤903中估计每个相机的内参矩阵得到第一内参估计值时，可以根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在标定物坐标系下的三维坐标，结合DLT算法来估计每个相机的内参矩阵得到第二内参矩阵，然后基于最小投影误差原则，来全局优化每个相机的内参矩阵。
结合DLT算法来估计每个相机的内参矩阵得到第二内参估计值，可以参考上述关于公式(6)～公式(8)的相关描述，此处不再赘述。
在每个相机的第二内参估计值的基础上，执行进一步优化。一些实施例中，在执行优化之前，可以先从标定点的特征数据中筛除一些冗余数据。也可以理解为，从每个相机所采集的图像帧中识别到的所述目标标定物包括的多个标定点的像素坐标中去除一些冗余的像素坐标。比如，针对每个相机，统计采集的图像集合中每个图像帧中标定点在图像平面内的分布，针对任一个相机统计的图像平面中的特征点(对应标定点的位置)，将在图像平面中重叠的特征点删除。示例性地，还可以针对图像平面进行网格划分。根据网格中特征点的分布来进行去冗余处理。参见图13所示。比如，在该图像平面的某个网格中，由于目标标定物的移动，可能该目标标定物在该网格中出现多次，可以将多次出现在网格中的目标标定物仅保留一次。在其它次出现目标标定物时，将识别到的所采集的图像帧中的目标标定物的标定点的像素坐标去除。
示例性地，所述运动场地的设定空间中部署的相机的数量为N。在获取相机i的第二内参估计值之后，优化相机i的内参矩阵，即在第二内参估计值的基础上进行优化得到第一内参估计值。例如，根据相机i的第二内参估计值、相机i采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及多个标定点在标定物坐标系下的三维坐标，估计相机i对应的位姿集合，相机i对应的位姿集合包括在M1个移动位置处所述目标标定物相对于相机i的位姿；i取值为小于或者等于N的正整数。
需要说明的是，N个相机拍摄到的目标标定物的移动位置为M个，而相机i拍摄的目标标定物的移动位置小于或者等于M个，此处称为M1个。由于相机i的视场范围可能未覆盖该M个移动位置。
以相机1为例。在获取相机1的第二内参估计值之后，优化相机1的内参矩阵，即在第二内参估计值的基础上进行优化得到第一内参估计值。针对相机1来说，基于相机1的第二内参估计值、从相机1采集的图像帧中的各个标定点在图像坐标系下的坐标(上述经过去冗余后相机1的图像平面中的标定点的像素坐标)、以及目标标定物的标定点在标定物坐标系下的坐标，可以确定不同位置相对于相机1的位姿。通过上述方法可以确定在不同位置处标定物坐标系相对于各个相机坐标系的位姿。参见表1所示，为目标标定物不同位置处相对于不同的相机的位姿。表1中，以运动场地部署N个相机为例。以目标标定物的移动轨迹经过位置1-位置M为例。比如N个相机拍摄到的目标标定物的移动位置为M个，
以目标标定物在位置1处相对于相机1的位姿[R|t]1-1为例，可以根据相机1采集目标标定物移动到位置1时拍摄的图像帧中各个标定点的像素坐标、目标标定物的各个标定点在标定物坐标系下的3D坐标，以及相机1的第一内参估计值，再结合上述公式(7)采用PnP算法估计目标标定物在位置1处相对于相机1的位姿[R|t]1-1。需要说明的是，每个相机的视场范围并非能够覆盖所有位置，因此，无法获得未覆盖位置处相对于该相机的位姿，表1中通过“无”来表示。
表1
相机1 相机2 …… 相机N
位置1 [R|t]1-1 [R|t]1-2 [R|t]1-i 无
位置2 [R|t]2-1 无 [R|t]2-i [R|t]2-n
…… [R|t]j-1 [R|t]j-2 [R|t]j-i [R|t]j-n
位置M 无 [R|t]m-2 无 [R|t]m-n
在获得目标标定物移动到不同位置处相对于各个相机的位姿后，可以基于预设的非线性优化算法来全局优化相机参数使得各个相机的图像帧上的投影误差最小化。例如，预设的非线性优化算法为列文伯格-马夸尔特(Leven-Marquardt，LM)算法。
一种示例中，考虑相机的畸变的情况下，针对位置j处的目标标定物上标定点的三维坐标、位置j处相对于相机i的位姿结合公式(9)可以估计位置j处目标标定物上的标定点投影到相机i的相机坐标系下的坐标。
其中，表示位置j处目标标定物上的标定点投影到相机i的相机坐标系下的坐标，/>表示位置j处相对于相机i的位姿，/>表示位置j处目标标定物上标定点的三维坐标。
进一步地，获得位置j处目标标定物上的标定点投影到相机i的相机坐标系下的坐标后，将位置j处目标标定物上的标定点投影到相机i的相机坐标系的坐标除以z得到归一化坐标，本申请实施例中将归一化坐标表示为/>
进一步地，通过公式(1-1)以及公式(1-2)在位置j处目标标定物上的标定点投影到相机i的相机坐标系下的归一化坐标基础上，估计畸变后的位置j处目标标定物上的标定点投影到相机i的相机坐标系下的归一化坐标然后基于相机i的第二内参估计值来计算位置j处目标标定物上的标定点投影到相机i的图像坐标系下的像素坐标/>参见公式(10)所示。
进而计算估计的像素坐标与实际针对相机i采集的图像帧识别到的标定点的像素坐标之间的误差。然后基于非线性优化算法根据计算的所有误差来进一步优化相机i的内参矩阵、不同位置处相对于相机i的位姿以及相机i的畸变系数，进而得到优化后的相机i的内参矩阵以及畸变系数。然后基于优化后的相机i的内参矩阵以及畸变系数，来进行下一轮的优化。可以基于位置j处的目标标定物上标定点的三维坐标、上一轮优化后的位置j处相对于相机i的位姿结合公式(9)可以估计位置j处目标标定物上的标定点投影到相机i的相机坐标系下的坐标。进一步地，通过公式(1-1)以及公式(1-2)在位置j处目标标定物上的标定点投影到相机i的相机坐标系下的归一化坐标基础上，估计畸变后的位置j处目标标定物上的标定点投影到相机i的相机坐标系下的归一化坐标。然后进一步基于公式(10)以及优化后的相机i的内参矩阵确定位置j处目标标定物上的标定点投影到相机i的图像坐标系下的像素坐标。进而计算估计的像素坐标与实际针对相机i采集的图像帧识别到的标定点的像素坐标之间的误差。然后基于非线性优化算法根据计算的所有误差来进一步优化相机i的内参矩阵、不同位置处相对于相机i的位姿以及相机i的畸变系数，进而得到优化后的相机i的内参矩阵以及畸变系数。
另一种示例中，不考虑相机的畸变的情况下，针对位置j处的目标标定物上标定点的三维坐标、位置j处相对于相机i的位姿以及相机i的第二内参估计值结合公式(11)可以估计位置j处目标标定物上的标定点投影到相机i的图像坐标系下的像素坐标。
其中，表示位置j处目标标定物上的标定点投影到相机i的图像坐标系下的像素坐标。进而计算估计的像素坐标与实际针对相机i采集的图像帧识别到的标定点的像素坐标之间的误差。然后基于非线性优化算法根据计算的所有误差来进一步优化相机i的内参矩阵、不同位置处相对于相机i的位姿，进而得到优化后的相机i的内参矩阵以及不同位置处相对于相机i的位姿。
在一种可能的实施方式中，在确定每个相机的外参矩阵时，可以如下的至少两种的可能的方式：
第一种可能的方式中，可以先获得多个相机中除参考相机以外的其它相机相对于参考相机的第二相对位姿，参考相机为所述多个相机中的任一个。然后在相对位姿的基础上增加尺度因子来确定每个相机的外参矩阵。
第二种可能的方式中，结合基础移动位置以及相机之间共视关系来确定各个移动位置在世界坐标系下的位姿，基于各个移动位置在世界坐标系下的位姿、所述目标标定物包括的多个标定点在标定物坐标系下的坐标以及每个采集设备所采集的图像帧中所述目标标定物上的标定点的像素坐标来确定各个相机的外参矩阵。将确定的外参矩阵作为初始值，来进一步全局优化外参矩阵。在优化外参矩阵时，还可以进一步优化内参矩阵以及畸变系数。
如下针对第一种可能的实现方式进行详细说明。可以根据场地部署的多个相机之间的共视关系来将多个相机进行分组。比如，可以分成多个相机组。每个相机组包括至少两个相机。所述多个相机组中任两个相机组包括至少一个相同的相机。至少两个相机之间存在共视区域。
参见图14所示。
1401，根据每个相机组包括的至少两个相机的第一内参估计值，每个相机组对应的匹配特征点集，以及所述目标标定物包括的多个标定点在标定物坐标系下的三维坐标，获取所述多个相机中除参考相机以外的其它相机相对于参考相机的第二相对位姿；所述参考相机为所述多个相机中的任一个。
匹配特征点集包括多个匹配特征点组，每个匹配特征点组包括至少两个相匹配的像素坐标，所述至少两个相匹配的像素坐标是由属于同一相机组的不同相机在同一时刻采集的图像帧检测的同一标定点的像素坐标。
示例性地，可以确定每个相机对，相机对包括两个存在共视关系(或者具有共视区域)的相机。进一步可以计算每个相机包含在相机对中的数量。将包含在相机对中的数量最多的相机作为参考相机。
1402，在确定每个相机相对参考相机的第二相对位姿之后，进一步确定尺度因子，所述尺度因子为第一距离和第二距离之间的比值，所述第一距离为两个标定点在所述目标标定物上的距离，所述第二距离为所述两个标定点在同一图像坐标系下的距离，所述两个标定点位于目标标定物上的同一标定面。
第一距离是测量得到的，比如可以测量目标标定物上标定面的设定边的边长得到边长测量值。该边的两端的端点也可以理解为两个标定点。对基准相机(相机1)采集的图像帧中的标定面进行识别，计算标定面的设定边的边长。以矩形标定面为例，设定边可以其中一条边。可以识别相机1采集的图像帧中标定面的四个角点，根据设定边对应的两个角点的像素坐标以及相机1的内参确定两个角点在相机1的相机坐标系下的坐标。进一步根据两个角点在相机1的相机坐标系下的坐标计算边长得到边长估计值。以圆形标定面为例，设定边可以是圆形的直径。边长测量值与边长估计值的比值，即为相机坐标系与世界坐标系之间调整比例。本申请实施例中将该调整比例称为尺度。尺度通过S表示。
需要说明的是，在确定第二距离时，也可以采用基准相机以外的其它相机，本申请实施例对此不作具体限定。在获取第一距离和第二距离时，也可以采用处于同一标定面的任两个标定点，本申请实施例对此不作具体限定。
1403，然后根据每个相机的第二相对位姿以及所述尺度因子获得每个相机的第一外参估计值。需要说明的是，两个标定点可以位于同一标定面的任两个标定点。
一些实施例中，可以确定与参考相机存在共视关系的其它相机与参考相机的第二相对位姿。而不与参考相机存在共视关系的某相机的第二相对位置可以借助与参考相机存在共视关系的相机的第二相对位姿以及某相机与参考相机存在共视关系相机之间的相对位姿来计算。比如，相机1为参考相机。相机2与相机1存在共视关系，可以计算相机2相对于相机1的第二相对位姿。相机3与相机1不存在共视关系，但与相机2存在共视关系。可以计算相机3相对相机2的相对位姿，然后结合相机3相对相机2的相对位姿以及相机2相对于相机1的相对位姿确定相机3相对于相机1的第二相对位姿。
该两个相机存在共视区域。根据两个相机的共视关系，可以计算两个相机的相对位姿。以相机1和相机2为例。相机1和相机2存在共视区域。相机1和相机2可以理解为一个相机组(或者称为相机对)。根据该相机组对应的匹配特征点集来确定相机1与相机2之间的本质矩阵。然后对本质矩阵进行奇异值QR分解，得到该相机1与相机2之间的第二相对位姿。本质矩阵也可以称为本征矩阵，本申请实施例对此不作具体限定。
具体的，共视区域内的同一标定点在两个不同相机的相机坐标下的坐标满足如下公式(6)所示的条件。两个相机以相机1和相机2为例。
Px1y1EPx2y2＝0 公式(12)
其中，Px1y1表示标定点在相机1的相机坐标下的归一化坐标，Px2y2表示该标定点在相机2的相机坐标系下的归一化坐标。E表示本征矩阵。
本征矩阵(essential matrix)E：描述相机之间的位姿关系。定义：矩阵E包含在物理空间中两个相机相关的旋转和平移信息。
其中，标定点在相机1的相机坐标系下的归一化坐标，可以根据标定点在相机1的图像坐标系下的像素坐标(即匹配特征点集包括的标定点在相机1的图像坐标系下的坐标)以及相机1的第二内参估计值来确定。同理，标定点在相机2的相机坐标系下的归一化坐标可以根据标定点在相机2的图像坐标系的像素坐标(即匹配特征点集包括的标定点在相机1的图像坐标系下的像素坐标)以及相机2的第二内参估计值来确定。具体计算方式可以参见公式(2)针对图像坐标系与相机坐标系的转换关系的描述。
通过上述公式(12)确定本征矩阵后，可以对E进行分解来得到旋转矩阵R以及平移参数t。应理解的是，将其中一个相机作为基准相机(或者参考相机)，该基准相机的旋转矩阵设置为单位阵，以及平移参数设置为0，则通过分解求得的R、t即为另一相机的旋转矩阵R和平移参数t，即为第二相对位姿。
一些实施例中，在确定每个相机相对于基准相机(或者参考相机)的第二相对位姿后，可以将尺度因子增加到各个相机的第二相对位姿中来得到各个相机的外参矩阵。比如，比如，确定的相机1的第二相对位姿为[R|t]1。相机1的第二相对位姿增加尺度因子后的外参矩阵可以表示为其它相机的外参可以采用该方式调整。
另一些实施例中，在确定各个相机相对于基准相机的第二相对位姿后，可以结合各个相机的第二相对位姿对已估计的各个相机的内参矩阵、各个相机的相对位姿(和畸变系数)进行全局优化。然后在优化后的相对位姿的基础上增加尺度因子来得到各个相机的外参矩阵。将优化的各个相机的畸变系数和内参矩阵作为最终标定的相机的畸变系数和内参矩阵。
参见图15所示，以最小化投影误差原则来优化内参矩阵以及相对位姿为例，不考虑相机畸变系数。
1501，在确定所述多个相机组中第g个相机组包括的相机分别相对于参考相机的第二相对位姿后，根据每个相机的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标。
所述局部坐标系为所述参考相机的相机坐标系。所述M2个移动位置中任一移动位置至少位于所述第g个相机中两个相机的共视区域。
1502，根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个相机组包括的相机的第二相对位姿以及第一内参估计值，估计M2个移动位置处所述多个标定点分别投影到第g个相机组包括的相机的图像坐标系下的像素坐标。
1503，获取估计的所述多个标定点在第g个相机组包括的相机的图像坐标系下的像素坐标，与从所述第g个相机组包括的相机所采集的图像帧中提取的所述多个标定点的像素坐标的误差。
1504，根据所述误差调整所述第g个相机组包括的相机的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个相机组包括的相机分别对应的相对位姿、内参估计值。
其中，当前轮调整后的第g个相机组中相机分别对应的内参估计值和第二相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个相机组包括的相机的第三相对位姿、第三内参估计值。
参见图16所示，以最小化投影误差原则来优化内参矩阵、相对位姿以及畸变系数为例。
1601，在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标。
所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域。
1602，根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值以及第一畸变系数估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标。
1603，获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差。
1604，根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值以及畸变系数。
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值以及第二畸变系数。
示例性地，上述多个相机组包括的数量均不相同。在每个相机组进行优化时，可以按照相机组包括的数量的顺序来对相机组包括的相机的相对位姿以及内参矩阵进行优化。可以理解第一个优化的相机组包括两个相机。第二个相机组包括3个相机。该3个相机中包括第一相机组中的两个相机。可以理解第二个相机组是在第一个相机组中增加一个相机。该增加的相机与第一个相机组中的至少一个相机存在共视区域。
一种可能的示例中，第一个相机组中两个相机的第二相对位姿确定后，然后对该第一个相机组的包括相机的第二相对位姿以及内参矩阵进行优化。然后基于优化后第一个相机组的两个相机的相对位姿以及内参矩阵来对第二个相机组中新增加的相机的相对位姿进行计算。然后在对第二个相机组包括的相机的相对位姿以及内参矩阵进行进一步优化。以此类推。
例如，从多个相机中选择两个相机构成相机组1。从选择的两个相机中选择一个相机作为基准相机。两个相机的光轴夹角位于设定的范围内，比如光轴的夹角小于5度。光轴的夹角可以通过两个相机分别对应的第二内参估计值以及拍摄的画面中的标定点来确定。该两个相机存在共视区域。根据两个相机的共视关系，计算两个相机的相对位姿。示例性地，将基准相机的相机坐标系作为局部坐标系。两个相机的相对位姿的确定方法如前所述，此处不再赘述。
以相机组1中的两个相机分别为相机1和相机2为例。以相机1为基准相机为例。从相机1和相机2中确定两个相机同一时刻拍摄的各个图像帧。以10个时间点t为例。相机1在t1……t10分别拍摄的图像帧fr11……fr110。相机2在t1……t10分别拍摄的图像帧fr21……fr210。图像帧fr11……fr110与图像帧fr21……fr210一一对应在同一时刻拍摄，同一时刻拍摄的两个图像帧构成图像帧对。
Pu1v1表示图像帧对中相机1对应的图像帧中标定点的像素坐标，Pu2v2表示图像帧对中相机2对应的图像帧中同一标定点的像素坐标。Pu1v1＝[u1 v1 1]T；Pu2v2＝[u2 v2 1]T。相机1的第二内参估计值通过I1表示，相机2的第二内参估计值通过I2表示。相机1的第一外参估计值通过[R|t]1表示，相机2的第一外参估计值可以通过[R|t]2表示。相机1的第一外参估计值为单位矩阵。相机2的第一外参估计值可以通过上述分解得到。
基于如下公式(13)估计相机1和相机2共视区域各个标定点在局部坐标系下的像素坐标。
其中，表示估计得到共视区域内各个标定点在局部坐标系下的坐标。相机1为基准相机，则[R|t]1中，R为单位阵，平移参数t为全0向量。
进一步地，可以根据估计得到的共视区域内各个标定点在局部坐标系下的坐标结合如下公式(14)来估计共视区域内各个标定点在相机2的图像坐标系下的第一像素坐标估计值。
表示共视区域内各个标定点在相机2的图像坐标系下的第一像素坐标估计值。进一步地，根据/>与Pu2v2之间的误差来调整相机1的内参矩阵、相机2的内参矩阵以及相机2的相对位姿。然后基于调整后调整相机1的内参、相机2的内参以及相机2的外参进行下一轮的迭代调整。具体的，根据第一轮调整后的相机1的内参再进一步重新计算共视区域内各个标定点在局部坐标系下的坐标。然后再基于调整后的相机2的内参与外参估计共视区域内各个标定点在相机2的图像坐标系下的像素坐标估计值。进一步计算像素坐标估计值与像素坐标实际值的误差调整相机1的内参矩阵、相机2的内参矩阵以及相机2的相对位姿。依次类推，执行多轮调整。
一些实施例中，考虑到相机的畸变。可以根据共视区域内各个标定点在局部坐标系下的坐标，结合如下公式(15)来估计共视区域内各个标定点在相机1的相机坐标系下的坐标估计值。
Pu1v1＝I1Px1y1 公式(15)
在获取各个标定点在相机1的相机坐标系下的坐标估计值Px1y1后，通过公式(1-1)和公式(1-2)，在Px1y1的基础上，估计畸变前的坐标估计值然后结合公式(16)基于相机1的第二相对位姿来计算各个标定点在局部坐标系下的坐标/>
进一步地，可以根据估计得到的共视区域内各个标定点在局部坐标系下的坐标结合如下公式(17)来估计共视区域内各个标定点在相机2的相机坐标系下的坐标估计值Px2y2
在获取各个标定点在相机2的相机坐标系下的坐标估计值Px2y2后，可以执行归一化处理得到各个标定点在相机2的相机坐标系下的归一化坐标估计值
进一步地，通过公式(1-1)和公式(1-2)，在归一化坐标估计值的基础上，估计畸变后的归一化坐标估计值/>然后结合公式(18)基于相机2的第二内参估计值I2来计算各个标定点投影到相机2的图像坐标系下的像素坐标/>
进一步地，根据与Pu2v2之间的误差来调整相机1的内参矩阵、相机1的畸变系数、相机2的内参矩阵、相机2的相对位姿以及相机2的畸变系数。然后基于调整后的相机1的内参矩阵、相机1的畸变系数、相机2的内参矩阵、相机2的相对位姿以及相机2的畸变系数进行下一轮的迭代调整。具体的，根据第一轮调整后的相机1的内参、相机1的畸变系数再进一步重新计算共视区域内各个标定点在局部坐标系下的坐标。然后再基于调整后的相机2的内参矩阵、相对位姿以及相机2的畸变系数估计共视区域内各个标定点在相机2的图像坐标系下的像素坐标估计值。进一步计算像素坐标估计值与像素坐标实际值的误差调整相机1的内参矩阵、相机1的畸变系数、相机2的内参矩阵、相机2的相对位姿以及相机2的畸变系数。依次类推，执行多轮调整。
示例性地，迭代调整的轮数可以是预先配置的，当达到配置的迭代调整轮数时，停止迭代调整。还可以预先配置误差阈值，当某一轮迭代调整过程中计算的误差小于或者等于误差阈值，可以停止迭代调整。
进一步地，在该两台相机的基础上增加一台相机，该三台相机存在共视区域。该三台相机组成相机组2。针对该三台相机的内参矩阵、外参矩阵(和畸变系数)来实现共同优化。确定3个相机(相机1、相机2和相机3)同一时刻分别拍摄对应的视场画面(包括共视区域)得到的各个图像帧。以10个时间点t为例。相机1在t1……t10分别拍摄的图像帧fr11……fr110。相机2在t1……t10分别拍摄的图像帧fr21……fr210。相机3在t1……t10分别拍摄的图像帧fr31……fr310。同一时刻3个相机拍摄的3个图像帧构成图像帧组。可以理解的是：同一时刻拍摄的共视区域的标定点在基准相机的局部坐标系下的坐标应该相同，即3个相机的共视区域内标定点在局部坐标系的坐标应该相同。基于此，根据3个相机在同一时刻拍摄的各个图像帧组中各个标定点的像素坐标来优化3个相机的内参、相对位姿、畸变系数。
一些实施例中，一些标定点并非位于三个相机的共视区域内，但是位于两个相机的共视区域内，该些特征点可以参与该三个相机的调整。
例如，相机1、相机2和相机3之间存在共同的共视区域1，相机1和相机2存在除公式区域1以外的共视区域2，相机2和相机3之间存在除共视区域1以外的共视区域3，相机2和相机3之间除了共视区域1以外，不存在其它的共视区域。可以将共视区域1、共视区域2和共视区域3内的标定点在局部坐标系下的坐标均计算出来。然后在将这些局部坐标系下的标定点投影到可拍摄到该标定点的相机的图像坐标系下，然后计算误差。基于计算的误差优化3个相机的内参、相对位姿、畸变系数。
再继续选择一个相机，该选择的相机与相机组2中的至少两个相机存在共视区域。存在共视区域的相机构成相机组3，然后优化相机组3内各个相机的内参矩阵，以此类推。得到每个相机的第三内参估计值、第三相对位姿、第二畸变系数。
一些实施例中，在优化后的第三相对位姿的基础上增加尺度因子来得到各个相机的外参矩阵。将优化的各个相机的第二畸变系数和第三内参估计值作为最终标定的各个相机的内参矩阵以及畸变系数。
另一些实施例中，在增加尺度因子来得到各个相机的外参矩阵，以及得到第二畸变系数和第三内参估计值以后，还可以对各个相机的外参矩阵、第二畸变系数和第三内参估计值进行进一步地的全局优化。
示例性地，可以根据各个标定点在局部坐标系下的坐标基于尺度转换到世界坐标系下。比如，标定点在局部坐标系下归一化坐标表示为Pw，Pw＝[X Y Z 1]T。标定点在世界坐标系下的归一化的坐标表示为P′w。则P′w＝[X Y Z s]T。
根据各个标定点在世界坐标系下的归一化的坐标、相机i的内参以及世界坐标系下相机i的外参估计各个标定点在图像坐标系下的像素坐标估计值。例如，可以基于公式(19)来计算。
P′uivi＝Ii[R′|t]iP′wi 公式(19)
其中，Ii表示相机i的内参，[R′|t]i表示相机i的外参。P′wi表示相机i视场范围内标定点在世界坐标系下的坐标。P′uivi表示估计得到的相机i采集的图像帧中标定点的像素坐标。以Puivi表示相机i采集的图像帧中标定点的像素坐标，即Puivi表示从相机i采集的图像帧中识别标定点得到的像素坐标。进一步地，确定P′uivi与Puivi之间的误差。基于上述公式(19)针对各个相机估计标定点在各个相机采集的图像帧中像素坐标，并确定估计的标定点的像素坐标与识别标定点得到的像素坐标之间的误差。进一步根据误差来调整各个相机的内参、外参。完成当前轮相机的内参、外参调整。然后基于调整后的相机的内参、外参进行下一轮的迭代调整。具体的，根据第一轮调整后的各个相机的内参再进一步重新估计各个相机采集的图像帧中标定点的像素坐标，并确定估计的标定点的像素坐标与识别标定点得到的像素坐标之间的误差。进一步根据误差来调整各个相机的内参、外参，完成当前轮相机的内参、外参调整。依次类推，执行多轮调整。
一些实施例中，考虑到相机畸变，结合公式(1-1)和公式(1-2)确定畸变后的标定点的像素坐标与识别标定点得到的像素坐标之间的误差。进一步根据误差来调整各个相机的内参矩阵、外参矩阵、以及畸变系数。具体地，将上述确定的各个相机的第二畸变系数作为初始调整的畸变系数。完成当前轮的相机的内参矩阵、外参矩阵以及畸变系数调整后。然后基于调整后的相机的内参矩阵、外参矩阵以及畸变系数进行下一轮的迭代调整。具体的，根据第一轮调整后的各个相机的内参矩阵、外参矩阵以及畸变系数再进一步重新估计畸变后的各个相机采集的图像帧中标定点的像素坐标，并确定估计的畸变后的标定点的像素坐标与识别标定点得到的像素坐标之间的误差。进一步根据误差来调整各个相机的内参、外参以及畸变系数。依次类推，执行多轮调整。
如下针对第二种可能的实现方式进行详细说明。第二种可能的方式中，可以在运动场地内设置一个标定位置。该标定位置作为世界坐标系的原点。目标标定物在运动场地的移动过程中经过该标定位置，也可以理解为目标标定物的基础移动位置。示例性地，可以选择共视相机数目最多的位置作为标定位置。移动位置的相关说明可以参见图9对应的实施例中的描述，此处不再赘述。以目标标定物在运动场地的移动过程中经过多个移动位置包括位置1～位置M。可以将目标标定物的各个位置以图模型的形式来表示，例如如下图17所示。具体的实现流程看见图18所示。
1801，确定所述目标标定物的M个移动位置中多个移动位置对的相对位姿，其中，第一移动位置对包括第一移动位置和第二移动位置，所述第一移动位置和第二移动位置为所述目标标定物的M个移动位置中两个移动位置，且所述第一移动位置与所述第二移动位置位于至少一个采集设备组的共视区域内。
其中，第一移动位置对的相对位姿基于至少一个采集设备组对应的匹配特征点集、所述目标标定物包括多个标定点在标定物坐标系下的三维坐标以及至少一个采集设备组包括的两个采集设备的第一内参估计值确定得到。
参见图17所示，相机1～相机9为在运动场地所在的设定空间环形部署的9个相机。S0～S5表示为目标标定物移动的6个位置，S0表示标定位置，标定位置在世界坐标系下的坐标为已知，即原点。根据各位置与不同相机之间的共视关系可计算位置之间的相对位姿(图17中，虚线连接所示)。两个移动位置如果位于两个相机的共视区域内，该两个移动位置构成移动位置对。比如，S0与S5为一个移动位置对。S0和S3为一个移动位置对。S5和S1为一个移动位置对，等等。
需要说明的一个移动位置对可以位于多对相机的共视区域内。比如S0和S5构成的移动位置对，位于相机1和相机2的共视区域内，也位于相机2和相机3的共视区域内。
1802，根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，所述基础移动位置为所述M个移动位置中的一个。
1803，根据M个移动位置在世界坐标系下的坐标、所述目标标定物包括的多个标定点在标定物坐标系下的坐标以及每个采集设备所采集的图像帧中所述目标标定物上的标定点的像素坐标，全局优化每个采集设备的相机参数，所述相机参数包括内参矩阵和外参矩阵，或者所述相机参数包括内参矩阵、外参矩阵以及畸变系数。
其中，全局优化过程中每个采集设备的相机参数以及所述多个标定点分别所在的标定面在标定物坐标系下的位姿作为待优化量；全局优化中每个采集设备的第一内参估计值作为每个采集设备的内参矩阵的初始值。
示例性地，两个移动位置构成的移动位置对的相对位姿可以满足如下公式(20)所示的条件。移动位置对位于l个相机对(相机组)的共视区域内。基于每个相机对均计算
其中，表示第l个相机对对应的位置Si与位置Sj之间的相对位姿。/>表示基于第l个相机对中相机a在位置Si处采集的图像帧以及在位置Sj处采集的图像帧确定的位置Si到位置Sj的位姿。/>表示基于第l个相机对中相机b在位置Si处采集的图像帧以及在位置Sj处采集的图像帧确定的位置Sj到位置Si的位姿。
确定视场范围包括位置Si与位置Sj的K个相机。K个相机中每两个相机构成1个相机对。针对相机对中第一个相机a和第二个相机b，分别从相机a确定位置Si到位置Sj的位姿，以及从相机b确定位置Sj到位置Si的位姿。
从相机a确定位置Si到位置Sj的位姿可以根据在位置Si处标定物坐标系相对于相机a的相机坐标系的位姿，以及在位置Sj处标定物坐标系相对于相机a的相机坐标系的位姿确定。从相机b确定位置Sj到位置Si的位姿可以根据在位置Si处标定物坐标系相对于相机b的相机坐标系的位姿，以及在位置Sj处标定物坐标系相对于相机b的相机坐标系的位姿确定。
具体的，分别获取相机a和相机b在目标标定物移动到位置Si采集的图像帧，以及获取相机a和相机b分别在目标标定物移动到位置Sj处采集的图像帧。识别图像帧获取标定点的像素坐标。
根据相机a在目标标定物移动到位置Si采集的图像帧中标定点的像素坐标、目标标定物的标定点在标定物坐标系下的坐标、相机a的第三内参估计值，采用PnP算法可以确定在位置Si处标定物坐标系相对于相机a的相机坐标系的位姿根据相机a在目标标定物移动到位置Sj采集的图像帧中标定点的像素坐标、目标标定物的标定点在标定物坐标系下的坐标、相机a的第三内参估计值，采用PnP算法可以确定在位置Sj处标定物坐标系相对于相机a的相机坐标系的位姿/>
一些实施例中，在执行图18对应的步骤之前，可以先基于图15或者图16对应的实施例先对每个相机的内参进行优化得到每个相机的第三内参估计值。然后在第三内参估计值的基础上进一步确定各个位置处的位姿。另一些实施例中，执行图18对应的步骤之前，不再基于图15或者图16对应的实施例先对每个相机的内参进行优化。从而可以在第二内参估计值的基础上进一步确定各个位置处的位姿。
则从相机a确定的位置Si到位置Sj的位姿满足如下公式(21)所示的条件。
根据相机b在目标标定物移动到位置Si采集的图像帧中标定点的像素坐标、目标标定物的标定点在标定物坐标系下的坐标、相机b的第三内参估计值，采用PnP算法可以确定在位置Si处标定物坐标系相对于相机b的相机坐标系的位姿根据相机b在目标标定物移动到位置Sj采集的图像帧中标定点的像素坐标、目标标定物的标定点在标定物坐标系下的坐标、相机b的第三内参估计值，采用PnP算法可以确定在位置Sj处标定物坐标系相对于相机b的相机坐标系的位姿/>
则从相机b确定的位置Sj到位置Si的位姿满足如下公式(22)所示的条件。
通过上述方法可以确定在不同位置处标定物坐标系相对于各个相机坐标系的位姿。参见表2所示，为目标标定物不同位置处相对于不同的相机的位姿。表2中，以运动场地部署b个相机为例。以目标标定物的移动轨迹经过位置1-位置M为例。
表2
应理解的是，移动位置对可以位于多个相机对(或者称为相机组)的共视区域内。则针对每个相机对均计算该移动位置对中一个移动位置到另一个移动位置的相对位姿以及另一个移动位置到一个移动位置的相对位姿/>可以根据/>从多个相机对分别对应的移动位置对的相对位姿中选择一个相对位姿作为该移动位置对的相对位姿。例如，可以根据如下公式(23)来确定。
其中，I为单位矩阵。比如，最小值对应第3个相机对(k＝3)，则该移动位置对的相对位姿为则该移动位置对的可信度权值为
进一步地，根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿。可以通过如下方式来确定：
A1，确定多个移动位置对中每个移动位置对的可信度权重。结合上述举例，移动位置对的可信度权值为执行A2。A2，根据每个移动位置对的可信度权重确定第三移动位置到基础移动位置的最短路径；
其中，所述最短路径为从第三移动位置到基础移动位置的所有路径中可信度权重最小的路径；任一路径的可信度权重为所述任一路径所经过的移动位置对的可信度权重的加和。执行A3。
A3，根据所述最短路径所经过的移动位置对的相对位姿确定所述第三移动位置的位姿。
针对各个移动位置建立图模型。将目标标定物出现的各个移动位置作为图模型的顶点，连接任意两顶点的边由可信度权值定义，选定基准位置S0(此处位姿即为单位阵)作为全局坐标系的原点，那么位置Si相对于基准位置S0的位姿，可以简称为位置Si的位姿Ti＝T0k1Tk1k2…Tkni。
其中，从位置Si到位置S0经过位置Sk1～Skn，并且经过位置Sk1～Skn是位置Si到基准位置S0的最短路径。路径可以采用Dijkstra算法确定，比如基于可信度权值计算最短路径。从位置Si到基准位置S0所有路径中权重加和的最小值对应的路径作为最短路径。
在确定每个位置相对于基准位置S0的位姿后，可以计算各个移动位置下各个标定点在世界坐标系下的坐标。然后基于各个标定点在世界坐标系(也可以称为全局坐标系)下的坐标先粗算各个相机的外参矩阵。然后在全局优化每个相机的内参矩阵、外参矩阵以及畸变系数。
在获得不同位置在全局坐标下的位姿Ti后，可以根据不同位置的位姿Ti、以及目标标定物上各个标定点在目标标定物坐标下的坐标获得在不同位置处的目标标定物上各个标定点在全局坐标系下的坐标。
进一步地，确定各个相机的外参。以相机i为例，根据在不同位置处的目标标定物上各个标定点在全局坐标系下的坐标、相机i的内参、相机i拍摄多个不同位置处目标标定物所采集的图像帧中标定点的像素坐标，确定相机i的外参。通过该方式获取所有相机的外参。
接下来，可以在不同位置处的目标标定物上各个标定点在全局坐标系下的坐标优化各个相机的内参、外参。
可以在不同位置处的目标标定物上各个标定点在全局坐标系下的坐标估计目标标定物上的标定点在不同位置投影到各个相机下的像素坐标。具体确定方式如公式(24)所示。
目标标定物上的某个标定点在位置Sj投影到相机i下的像素坐标满足如下公式(24)所示的条件：
其中，Pwj表示在位置Sj的目标标定物上标定点在标定物坐标系下的坐标，Bm是标定点所在标定板在标定物坐标系下的位姿，Tj表示目标标定物的位置Sj在世界坐标系下的位姿，Ii和[R|t]i分别表示相机i的内参和外参(在全局坐标系下的位姿)。表示估计得到的在位置Sj的目标标定物上标定点在相机i采集的图像帧中的像素坐标。
其中，上述Bm可以通过测量得到。目标标定物按设计尺寸组装得到，如图11所示。共有四面贴有带二维码的标定板，其中每面贴有三块，每块板的打印尺寸误差可忽略。确定标定物坐标系后，按照设计尺寸得到各标定板的设计位姿Bm。
示例性地，由于目标标定物组装误差和人工粘贴误差造成标定点的实际位置与设计位置存在偏差，因此可以将各标定板的设计位姿作为待优化变量，从而提高相机内参、外参以及畸变系数的标定精度。
通过上述公式(24)估计得到在不同位置处的目标标定物上标定点在各个相机采集的图像帧中的像素坐标，进而根据估计得到的像素坐标与识别图像帧中的像素坐标的误差来调整各个相机的内参、外参以及Bm。然后基于调整后的相机的内参、外参、Bm进行下一轮的迭代调整。具体的，基于调整后的各个相机的内参、外参以及Bm再次估计得到在不同位置处的目标标定物上标定点在各个相机采集的图像帧中的像素坐标，进而根据估计得到的像素坐标与识别图像帧中的像素坐标的误差来调整各个相机的内参、外参以及Bm。依次类推，执行多轮调整。
一些实施例中，考虑到相机畸变，结合公式(1-1)和公式(1-2)来确定在不同位置处的目标标定物上标定点在各个相机采集的图像帧中的像素坐标。进而根据估计得到的畸变后的像素坐标与识别图像帧中的像素坐标的误差来调整各个相机的内参、外参、Bm以及畸变系数，执行多轮调整得到各个相机的内参、外参和畸变系数。
示例性地，迭代调整的轮数可以是预先配置的，当达到配置的迭代调整轮数时，停止迭代调整。还可以预先配置误差阈值，当某一轮迭代调整过程中计算的误差小于或者等于误差阈值，可以停止迭代调整。
本申请实施例可以应用于运动分析场景中。各个相机获取运动员的运动过程中拍摄的视频流。然后根据标定的相机参数来计算运动信息。比如，运动员的跑动距离、速度、步数等等。还可以获得球队界面、进行技术战术分析等深层信息。从各相机拍摄的图像帧、以及标定的各个相机的相机参数准确恢复运动员空间位置。然后进一步获取运动信息。可以通过图像帧检测到的人体骨骼点像素坐标，利用标定的相机参数计算所有骨骼点的三维空间坐标。相机标定的质量直接影响着三维位置的计算精度，进而影响后续运动分析的可靠性。现有采用固定位置的多个标定物部署于设定运动场地的标定方案，具体的在场地主体区域放置多根带有Marker的标定柱，保证同一水平面，量测柱子之间的物理距离，将所有标定柱上的Marker特征点统一在同一坐标系下，之后基于直接线性变换完成各相机参数计算。该现有固定多个标定物的方案，获取的人体骨骼点与实际人体位置存在偏差。相比现有采用固定位置的多个标定物的标定方案来说，按照本申请提出的标定方案，事先在运动场地移动标定体采集数据，运行相应算法完成所有相机参数计算，本申请重投影的骨骼点与真实人体的重合度更高。本申请实施例提供的移动方案不受摆放位置限制，可覆盖更广区域，标定结果能更充分反映场地区域的空间关系。另外通过解算畸变系数可对图像边缘做校正，降低了镜头畸变的不良影响。
本申请实施例还可以应用于大场景体育赛事中，可以为用于提供6自由度(6DoF)体验。观众能够自由选择观看位置和角度，并且可以进入场景中，实现近景远景特写，能为用户带来沉浸式视觉体验效果。要实现完整的6DoF视频效果，首先需要有相机的高精度标定参数，之后通过各相机拍摄画面内容与特征之间关联关系，对拍摄场景进行三维重建。采用本申请实施例提供的标定方案标定结果更精度，使得三维重建的效果更优，更贴近真实效果。
可以理解的是，为了实现上述方法实施例中功能，数据处理服务器包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请中所公开的实施例描述的各示例的模块及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。
作为一种举例，参见图19所示，为本申请实施例提供的一种标定装置结构示意图。该装置可以应用于数据处理服务器。标定装置包括获取单元1901和处理单元1902。
获取单元1901，用于获取多个采集设备采集的多个视频流，所述多个采集设备部署于运动场地的设定空间中，所述多个视频流是在目标标定物在运动场地的运动过程中所述多个采集设备同步拍摄得到的；所述目标标定物在运动场地的运动轨迹至少覆盖所述运动场地的设定区域，所述目标标定物包括至少两个不共面的标定面，每个标定面包括至少两个标定点；每个采集设备采集的视频流中包括多个图像帧；
处理单元1902，用于对所述多个采集设备中每个采集设备采集的图像帧分别进行标定点检测，以获得每个采集设备所采集的图像帧中所述目标标定物上的多个标定点的像素坐标；根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的内参矩阵得到每个采集设备的第一内参估计值；根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，确定每个采集设备的第一外参估计值；
其中，每个采集设备组包括的至少两个采集设备存在共视区域，所述匹配特征点集包括多个匹配特征点组，每个匹配特征点组包括至少两个相匹配的像素坐标，所述至少两个相匹配的像素坐标是由属于同一采集设备组的不同采集设备在同一时刻采集的图像帧检测的同一标定点的像素坐标；所述多个采集设备组是对所述多个采集设备分组得到的，所述多个采集设备组中任两个采集设备组包括至少一个相同的采集设备。
在一种可能的实现方式中，所述处理单元1902，还用于：
根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的畸变系数得到每个采集设备的第一畸变系数估计值。
在一种可能的实现方式中，所述处理单元1902，具体用于：
根据第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，估计所述第i采集设备的内参矩阵得到第i个采集设备的第二内参估计值；所述图像集合包括所述第i采集设备采集的视频流中包括所述目标标定物的M1个图像帧，所述M1个图像帧与所述目标标定物的M个移动位置中的M1个移动位置一一对应；M1为正整数，所述M为大于M1的整数；
根据所述第i个采集设备的第二内参估计值、第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，分别估计第i个采集设备对应的位姿集合，所述第i个采集设备对应的位姿集合包括在M1个移动位置处所述目标标定物相对于所述第i个采集设备的位姿；i取值为小于或者等于N的正整数，N为所述运动场地的设定空间中部署的采集设备的数量；
其中，不同的采集设备采集的图像帧对应的移动位置的范围不同；
根据N个采集设备分别采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标、所述多个标定点在标定物坐标系下的三维坐标以及N个采集设备分别对应的目标标定物的位姿，在初始设置的N个采集设备分别对应的畸变系数以及第二内参估计值的基础上，全局迭代多轮调整所述N个采集设备的内参矩阵以及畸变系数得到所述N个采集设备的第一内参估计值和第一畸变系数估计值。
在一种可能的实现方式中，所述处理单元1902，具体用于：
根据所述多个标定点在标定物坐标系下的三维坐标、每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数，估计所述多个标定点在每个采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在每个采集设备的图像坐标系下的像素坐标与从每个采集设备采集的图像帧提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数得到当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数；
其中，当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数作为下一轮调整的基础，直到完成C轮的调整得到所述N个采集设备的第一内参估计值和所述N个采集设备的第一畸变系数估计值。
在一种可能的实现方式中，所述处理单元1902，具体用于：
根据第k个移动位置处的目标标定物上多个标定点的三维坐标，以及第i个采集设备对应的所述第k个移动位置处所述目标标定物的位姿，确定所述多个标定点投影到所述第i个采集设备的相机坐标系下的坐标；
根据所述第i个采集设备的相机坐标系下的坐标以及初始设置的第i个采集设备的畸变系数确定所述多个标定点投影到所述相机坐标系下的畸变坐标；
根据所述畸变坐标以及所述第i个采集设备的第二内参估计值估计所述多个标定点投影到第i个采集设备的图像坐标系下的像素坐标。
在一种可能的实现方式中，所述处理单元1902，具体用于：
根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括的多个标定点在标定物坐标系下的三维坐标，获取所述多个采集设备中除参考采集设备以外的其它采集设备相对于参考采集设备的第二相对位姿；所述参考采集设备为所述多个采集设备中的任一个；
确定尺度因子，所述尺度因子为第一距离和第二距离之间的比值，所述第一距离为两个标定点在所述目标标定物上的距离，所述第二距离为所述两个标定点在同一图像坐标系下的距离，所述两个标定点位于目标标定物上的同一标定面；
根据所述每个采集设备的第二相对位姿以及所述尺度因子获得每个采集设备的第一外参估计值。
在一种可能的实现方式中，所述处理单元1902，具体用于：
根据第一采集设备组对应的匹配特征点集确定第一采集设备与参考采集设备之间的本质矩阵，所述第一采集设备和所述参考采集设备属于所述第一采集设备组，所述第一采集设备组为所述多个采集设备组中的一个；
根据所述本质矩阵的奇异值分解结果，确定所述第一采集设备与所述参考采集设备之间的第二相对位姿。
在一种可能的实现方式中，所述处理单元1902，具体用于：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿以及第一内参估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
在一种可能的实现方式中，所述处理单元1902，具体用于：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值以及第一畸变系数估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
在一种可能的实现方式中，所述多个采集设备组中每个采集设备组包括两个采集设备，所述处理单元1902，具体用于：
确定所述目标标定物的M个移动位置中多个移动位置对的相对位姿，其中，第一移动位置对包括第一移动位置和第二移动位置，所述第一移动位置和第二移动位置为所述目标标定物的M个移动位置中两个移动位置，且所述第一移动位置与所述第二移动位置位于至少一个采集设备组的共视区域内；第一移动位置对的相对位姿基于至少一个采集设备组对应的匹配特征点集、所述目标标定物包括多个标定点在标定物坐标系下的三维坐标以及至少一个采集设备组包括的两个采集设备的第一内参估计值确定得到；
根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，所述基础移动位置为所述M个移动位置中的一个；
根据M个移动位置在世界坐标系下的坐标、所述目标标定物包括的多个标定点在标定物坐标系下的坐标以及每个采集设备所采集的图像帧中所述目标标定物上的标定点的像素坐标，全局优化每个采集设备的相机参数，所述相机参数包括内参矩阵和外参矩阵，或者所述相机参数包括内参矩阵、外参矩阵以及畸变系数；
其中，全局优化过程中每个采集设备的相机参数以及所述多个标定点分别所在的标定面在标定物坐标系下的位姿作为待优化量；全局优化中每个采集设备的第一内参估计值作为每个采集设备的内参矩阵的初始值。
在一种可能的实现方式中，第一移动位置对的相对位姿满足如下条件：
其中，T12表示第一移动位置与第二移动位置之间的相对位姿，所述至少一个采集设备组包括第一采集设备组，所述第一采集设备组包括第一采集设备和第二采集设备，表示基于第一采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；/>表示基于第二采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的所述第二移动位置到所述第一移动位置的位姿。
在一种可能的实现方式中，至少一个采集设备组为L个，所述第一采集设备组满足：
其中，I表示单位矩阵，表示基于第l个采集设备组中第一个采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；/>表示基于所述第l个采集设备组中第二个采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的第二移动位置到第一移动位置的位姿；11表示第一采集设备组中第一采集设备，12表示第二采集设备组中第二采集设备。
在一种可能的实现方式中，所述根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，包括：
确定多个移动位置对中每个移动位置对的可信度权重，其中，第一移动位置与第二移动位置之间的可信度权重满足S12表示第一移动位置与第二移动位置之间的可信度权重；
根据每个移动位置对的可信度权重确定第三移动位置到基础移动位置的最短路径；
其中，所述最短路径为从第三移动位置到基础移动位置的所有路径中可信度权重最小的路径；任一路径的可信度权重为所述任一路径所经过的移动位置对的可信度权重的加和；
根据所述最短路径所经过的移动位置对的相对位姿确定所述第三移动位置的位姿。
本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。图19中的各个单元的只一个或多个可以软件、硬件、固件或其结合实现。所述软件或固件包括但不限于计算机程序指令或代码，并可以被硬件处理器所执行。所述硬件包括但不限于各类集成电路，如中央处理单元(CPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或专用集成电路(ASIC)。
基于以上实施例及相同构思，本申请实施例还提供了一种标定装置，用于实现本申请实施例提供的标定方法。如图20所示，装置可以包括：一个或多个处理器2001，存储器2002，以及一个或多个计算机程序(图中未示出)。作为一种实现方式，上述各器件可以通过一个或多个通信线路2003耦合。其中，存储器2002中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令；处理器2001调用存储器2002中存储的所述指令，使得装置执行本申请实施例提供的标定方法。
在本申请实施例中，处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
在本申请实施例中，存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。本申请实施例中的存储器还可以是电路或者其它任意能够实现存储功能的装置。
作为一种实现方式，所述装置还可以包括通信接口2004，用于通过传输介质和其它装置进行通信，例如，可以通过所述通信接口2004，与采集设备进行通信，从而接收采集设备采集的图像帧。在本申请实施例中，通信接口2004可以是收发器、电路、总线、模块或其它类型的通信接口。在本申请实施例中，通信接口2004为收发器时，收发器可以包括独立的接收器、独立的发射器；也可以集成收发功能的收发器、或者是接口电路。
在本申请一些实施例中，所述处理器2001、存储器2002以及通信接口2004可以通过通信线路2003相互连接；通信线路2003可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。所述通信线路2003可以分为地址总线、数据总线、控制总线等。为便于表示，图20中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。在本申请的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系。在本申请的公式中，字符“/”，表示前后关联对象是一种“相除”的关系。另外，在本申请中，“示例性地”一词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。或者可理解为，使用示例的一词旨在以具体方式呈现概念，并不对本申请构成限定。
可以理解的是，在本申请中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。术语“第一”、“第二”等类似表述，是用于分区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请的一个实施例提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行上述方法实施例中的方法步骤的指令。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (28)

1.一种标定方法，其特征在于，包括：
获取多个采集设备采集的多个视频流，所述多个采集设备部署于运动场地的设定空间中，所述多个视频流是在目标标定物在运动场地的运动过程中所述多个采集设备同步拍摄得到的；所述目标标定物在运动场地的运动轨迹至少覆盖所述运动场地的设定区域，所述目标标定物包括至少两个不共面的标定面，每个标定面包括至少两个标定点；每个采集设备采集的视频流中包括多个图像帧；
对所述多个采集设备中每个采集设备采集的图像帧分别进行标定点检测，以获得每个采集设备所采集的图像帧中所述目标标定物上的多个标定点的像素坐标；
根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的内参矩阵得到每个采集设备的第一内参估计值；
根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，确定每个采集设备的第一外参估计值；
其中，每个采集设备组包括的至少两个采集设备存在共视区域，所述匹配特征点集包括多个匹配特征点组，每个匹配特征点组包括至少两个相匹配的像素坐标，所述至少两个相匹配的像素坐标是由属于同一采集设备组的不同采集设备在同一时刻采集的图像帧检测的同一标定点的像素坐标；所述多个采集设备组是对所述多个采集设备分组得到的，所述多个采集设备组中任两个采集设备组包括至少一个相同的采集设备。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的畸变系数得到每个采集设备的第一畸变系数估计值。
3.如权利要求2所述的方法，其特征在于，根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在标定物坐标系下的三维坐标，估计所述每个采集设备的内参矩阵得到每个采集设备的第一内参估计值，包括：
根据第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，估计所述第i采集设备的内参矩阵得到第i个采集设备的第二内参估计值；所述图像集合包括所述第i采集设备采集的视频流中包括所述目标标定物的M1个图像帧，所述M1个图像帧与所述目标标定物的M个移动位置中的M1个移动位置一一对应；M1为正整数，所述M为大于M1的整数；
根据所述第i个采集设备的第二内参估计值、第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，分别估计第i个采集设备对应的位姿集合，所述第i个采集设备对应的位姿集合包括在M1个移动位置处所述目标标定物相对于所述第i个采集设备的位姿；i取值为小于或者等于N的正整数，N为所述运动场地的设定空间中部署的采集设备的数量；
其中，不同的采集设备采集的图像帧对应的移动位置的范围不同；
根据N个采集设备分别采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标、所述多个标定点在标定物坐标系下的三维坐标以及N个采集设备分别对应的目标标定物的位姿，在初始设置的N个采集设备分别对应的畸变系数以及第二内参估计值的基础上，全局迭代多轮调整所述N个采集设备的内参矩阵以及畸变系数得到所述N个采集设备的第一内参估计值和第一畸变系数估计值。
4.如权利要求3所述的方法，其特征在于，全局迭代多轮调整所述N个采集设备的内参矩阵以及畸变系数得到所述N个采集设备的第一内参估计值和所述N个采集设备的第一畸变系数估计值，包括：
根据所述多个标定点在标定物坐标系下的三维坐标、每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数，估计所述多个标定点在每个采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在每个采集设备的图像坐标系下的像素坐标与从每个采集设备采集的图像帧提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数得到当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数；
其中，当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数作为下一轮调整的基础，直到完成C轮的调整得到所述N个采集设备的第一内参估计值和所述N个采集设备的第一畸变系数估计值。
5.如权利要求4所述的方法，其特征在于，根据所述多个标定点在标定物坐标系下的三维坐标、每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数，估计所述多个标定点在每个采集设备的图像坐标系下的像素坐标，包括：
根据第k个移动位置处的目标标定物上多个标定点的三维坐标，以及第i个采集设备对应的所述第k个移动位置处所述目标标定物的位姿，确定所述多个标定点投影到所述第i个采集设备的相机坐标系下的坐标；
根据所述第i个采集设备的相机坐标系下的坐标以及初始设置的第i个采集设备的畸变系数确定所述多个标定点投影到所述相机坐标系下的畸变坐标；
根据所述畸变坐标以及所述第i个采集设备的第二内参估计值估计所述多个标定点投影到第i个采集设备的图像坐标系下的像素坐标。
6.如权利要求1-5任一项所述的方法，其特征在于，根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，估计确定每个采集设备的第一外参估计值，包括：
根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括的多个标定点在标定物坐标系下的三维坐标，获取所述多个采集设备中除参考采集设备以外的其它采集设备相对于参考采集设备的第二相对位姿；所述参考采集设备为所述多个采集设备中的任一个；
确定尺度因子，所述尺度因子为第一距离和第二距离之间的比值，所述第一距离为两个标定点在所述目标标定物上的距离，所述第二距离为所述两个标定点在同一图像坐标系下的距离，所述两个标定点位于目标标定物上的同一标定面；
根据所述每个采集设备的第二相对位姿以及所述尺度因子获得每个采集设备的第一外参估计值。
7.如权利要求6所述的方法，其特征在于，根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括的多个标定点在标定物坐标系下的三维坐标，获取所述多个采集设备中除参考采集设备以外的其它采集设备相对于参考采集设备的第二相对位姿，包括：
根据第一采集设备组对应的匹配特征点集确定第一采集设备与参考采集设备之间的本质矩阵，所述第一采集设备和所述参考采集设备属于所述第一采集设备组，所述第一采集设备组为所述多个采集设备组中的一个；
根据所述本质矩阵的奇异值分解结果，确定所述第一采集设备与所述参考采集设备之间的第二相对位姿。
8.如权利要求6或7所述的方法，其特征在于，根据所述每个采集设备的第二相对位姿以及所述尺度因子获得每个采集设备的第一外参估计值，包括：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿以及第一内参估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
9.如权利要求6或7所述的方法，其特征在于，根据所述每个采集设备的第二相对位姿以及所述尺度因子获得每个采集设备的第一外参估计值，包括：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值以及第一畸变系数估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
10.如权利要求1-5任一项所述的方法，其特征在于，所述多个采集设备组中每个采集设备组包括两个采集设备，根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，估计每个采集设备的第一外参估计值，包括：
确定所述目标标定物的M个移动位置中多个移动位置对的相对位姿，其中，第一移动位置对包括第一移动位置和第二移动位置，所述第一移动位置和第二移动位置为所述目标标定物的M个移动位置中两个移动位置，且所述第一移动位置与所述第二移动位置位于至少一个采集设备组的共视区域内；第一移动位置对的相对位姿基于至少一个采集设备组对应的匹配特征点集、所述目标标定物包括多个标定点在标定物坐标系下的三维坐标以及至少一个采集设备组包括的两个采集设备的第一内参估计值确定得到；
根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，所述基础移动位置为所述M个移动位置中的一个；
根据M个移动位置在世界坐标系下的坐标、所述目标标定物包括的多个标定点在标定物坐标系下的坐标以及每个采集设备所采集的图像帧中所述目标标定物上的标定点的像素坐标，全局优化每个采集设备的相机参数，所述相机参数包括内参矩阵和外参矩阵，或者所述相机参数包括内参矩阵、外参矩阵以及畸变系数；
其中，全局优化过程中每个采集设备的相机参数以及所述多个标定点分别所在的标定面在标定物坐标系下的位姿作为待优化量；全局优化中每个采集设备的第一内参估计值作为每个采集设备的内参矩阵的初始值。
11.如权利要求10所述的方法，其特征在于，第一移动位置对的相对位姿满足如下条件：
其中，T12表示第一移动位置与第二移动位置之间的相对位姿，所述至少一个采集设备组包括第一采集设备组，所述第一采集设备组包括第一采集设备和第二采集设备，T1 1 2表示基于第一采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；表示基于第二采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的所述第二移动位置到所述第一移动位置的位姿。
12.如权利要求11所述的方法，其特征在于，至少一个采集设备组为L个，所述第一采集设备组满足：
其中，I表示单位矩阵，表示基于第l个采集设备组中第一个采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；/>表示基于所述第l个采集设备组中第二个采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的第二移动位置到第一移动位置的位姿；11表示第一采集设备组中第一采集设备，12表示第二采集设备组中第二采集设备。
13.如权利要求12所述的方法，其特征在于，所述根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，包括：
确定多个移动位置对中每个移动位置对的可信度权重，其中，第一移动位置与第二移动位置之间的可信度权重满足S12表示第一移动位置与第二移动位置之间的可信度权重；
根据每个移动位置对的可信度权重确定第三移动位置到基础移动位置的最短路径；
其中，所述最短路径为从第三移动位置到基础移动位置的所有路径中可信度权重最小的路径；任一路径的可信度权重为所述任一路径所经过的移动位置对的可信度权重的加和；
根据所述最短路径所经过的移动位置对的相对位姿确定所述第三移动位置的位姿。
14.一种标定装置，其特征在于，包括：
获取单元，用于获取多个采集设备采集的多个视频流，所述多个采集设备部署于运动场地的设定空间中，所述多个视频流是在目标标定物在运动场地的运动过程中所述多个采集设备同步拍摄得到的；所述目标标定物在运动场地的运动轨迹至少覆盖所述运动场地的设定区域，所述目标标定物包括至少两个不共面的标定面，每个标定面包括至少两个标定点；每个采集设备采集的视频流中包括多个图像帧；
处理单元，用于对所述多个采集设备中每个采集设备采集的图像帧分别进行标定点检测，以获得每个采集设备所采集的图像帧中所述目标标定物上的多个标定点的像素坐标；根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的内参矩阵得到每个采集设备的第一内参估计值；根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括多个标定点在标定物坐标系下的三维坐标，确定每个采集设备的第一外参估计值；
其中，每个采集设备组包括的至少两个采集设备存在共视区域，所述匹配特征点集包括多个匹配特征点组，每个匹配特征点组包括至少两个相匹配的像素坐标，所述至少两个相匹配的像素坐标是由属于同一采集设备组的不同采集设备在同一时刻采集的图像帧检测的同一标定点的像素坐标；所述多个采集设备组是对所述多个采集设备分组得到的，所述多个采集设备组中任两个采集设备组包括至少一个相同的采集设备。
15.如权利要求14所述的装置，其特征在于，所述处理单元，还用于：
根据所述每个采集设备所采集的图像帧中所述目标标定物包括的多个标定点的像素坐标，以及所述多个标定点在目标标定物的标定物坐标系下的三维坐标，估计所述每个采集设备的畸变系数得到每个采集设备的第一畸变系数估计值。
16.如权利要求15所述的装置，其特征在于，所述处理单元，具体用于：
根据第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，估计所述第i采集设备的内参矩阵得到第i个采集设备的第二内参估计值；所述图像集合包括所述第i采集设备采集的视频流中包括所述目标标定物的M1个图像帧，所述M1个图像帧与所述目标标定物的M个移动位置中的M1个移动位置一一对应；M1为正整数，所述M为大于M1的整数；
根据所述第i个采集设备的第二内参估计值、第i个采集设备采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标以及所述多个标定点在标定物坐标系下的三维坐标，分别估计第i个采集设备对应的位姿集合，所述第i个采集设备对应的位姿集合包括在M1个移动位置处所述目标标定物相对于所述第i个采集设备的位姿；i取值为小于或者等于N的正整数，N为所述运动场地的设定空间中部署的采集设备的数量；
其中，不同的采集设备采集的图像帧对应的移动位置的范围不同；
根据N个采集设备分别采集的图像集合包括的图像帧中所述目标标定物上的标定点的像素坐标、所述多个标定点在标定物坐标系下的三维坐标以及N个采集设备分别对应的目标标定物的位姿，在初始设置的N个采集设备分别对应的畸变系数以及第二内参估计值的基础上，全局迭代多轮调整所述N个采集设备的内参矩阵以及畸变系数得到所述N个采集设备的第一内参估计值和第一畸变系数估计值。
17.如权利要求16所述的装置，其特征在于，所述处理单元，具体用于：
根据所述多个标定点在标定物坐标系下的三维坐标、每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数，估计所述多个标定点在每个采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在每个采集设备的图像坐标系下的像素坐标与从每个采集设备采集的图像帧提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述每个采集设备分别对应的目标标定物的位姿集合、每个采集设备分别对应的第二内参估计值和初始设置的畸变系数得到当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数；
其中，当前轮调整后的每个采集设备分别对应的内参估计值和畸变系数作为下一轮调整的基础，直到完成C轮的调整得到所述N个采集设备的第一内参估计值和所述N个采集设备的第一畸变系数估计值。
18.如权利要求17所述的装置，其特征在于，所述处理单元，具体用于：
根据第k个移动位置处的目标标定物上多个标定点的三维坐标，以及第i个采集设备对应的所述第k个移动位置处所述目标标定物的位姿，确定所述多个标定点投影到所述第i个采集设备的相机坐标系下的坐标；
根据所述第i个采集设备的相机坐标系下的坐标以及初始设置的第i个采集设备的畸变系数确定所述多个标定点投影到所述相机坐标系下的畸变坐标；
根据所述畸变坐标以及所述第i个采集设备的第二内参估计值估计所述多个标定点投影到第i个采集设备的图像坐标系下的像素坐标。
19.如权利要求14-18任一项所述的装置，其特征在于，所述处理单元，具体用于：
根据多个采集设备组中每个采集设备组包括的至少两个采集设备的第一内参估计值，每个采集设备组对应的匹配特征点集，以及所述目标标定物包括的多个标定点在标定物坐标系下的三维坐标，获取所述多个采集设备中除参考采集设备以外的其它采集设备相对于参考采集设备的第二相对位姿；所述参考采集设备为所述多个采集设备中的任一个；
确定尺度因子，所述尺度因子为第一距离和第二距离之间的比值，所述第一距离为两个标定点在所述目标标定物上的距离，所述第二距离为所述两个标定点在同一图像坐标系下的距离，所述两个标定点位于目标标定物上的同一标定面；
根据所述每个采集设备的第二相对位姿以及所述尺度因子获得每个采集设备的第一外参估计值。
20.如权利要求19所述的装置，其特征在于，所述处理单元，具体用于：
根据第一采集设备组对应的匹配特征点集确定第一采集设备与参考采集设备之间的本质矩阵，所述第一采集设备和所述参考采集设备属于所述第一采集设备组，所述第一采集设备组为所述多个采集设备组中的一个；
根据所述本质矩阵的奇异值分解结果，确定所述第一采集设备与所述参考采集设备之间的第二相对位姿。
21.如权利要求19或20所述的装置，其特征在于，所述处理单元，具体用于：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿以及第一内参估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
22.如权利要求19或20所述的装置，其特征在于，所述处理单元，具体用于：
在确定所述多个采集设备组中第g个采集设备组包括的采集设备分别相对于参考采集设备的第二相对位姿后，根据每个采集设备的第二相对位姿确定所述目标标定物分别移动到M2个移动位置处时所述多个标定点在局部坐标系下的三维坐标，所述局部坐标系为所述参考采集设备的相机坐标系；所述M2个移动位置中任一移动位置至少位于所述第g个采集设备中两个采集设备的共视区域；
根据M2个移动位置处所述多个标定点在局部坐标系下的三维坐标、所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值以及第一畸变系数估计值，估计M2个移动位置处所述多个标定点分别投影到第g个采集设备组包括的采集设备的图像坐标系下的像素坐标；
获取估计的所述多个标定点在第g个采集设备组包括的采集设备的图像坐标系下的像素坐标，与从所述第g个采集设备组包括的采集设备所采集的图像帧中提取的所述多个标定点的像素坐标的误差；
根据所述误差调整所述第g个采集设备组包括的采集设备的第二相对位姿、第一内参估计值得到当前轮调整后的所述第g个采集设备组包括的采集设备分别对应的相对位姿、内参估计值；
其中，当前轮调整后的第g个采集设备组中采集设备分别对应的内参估计值和相对位姿作为下一轮调整的基础，直到完成D轮的调整得到第g个采集设备组包括的采集设备的第三相对位姿、第三内参估计值；
在第g个采集设备组包括的采集设备的第三相对位姿的基础上增加所述尺度因子获得第g个采集设备组包括的每个采集设备的第一外参估计值。
23.如权利要求14-18任一项所述的装置，其特征在于，所述多个采集设备组中每个采集设备组包括两个采集设备，所述处理单元，具体用于：
确定所述目标标定物的M个移动位置中多个移动位置对的相对位姿，其中，第一移动位置对包括第一移动位置和第二移动位置，所述第一移动位置和第二移动位置为所述目标标定物的M个移动位置中两个移动位置，且所述第一移动位置与所述第二移动位置位于至少一个采集设备组的共视区域内；第一移动位置对的相对位姿基于至少一个采集设备组对应的匹配特征点集、所述目标标定物包括多个标定点在标定物坐标系下的三维坐标以及至少一个采集设备组包括的两个采集设备的第一内参估计值确定得到；
根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，所述基础移动位置为所述M个移动位置中的一个；
根据M个移动位置在世界坐标系下的坐标、所述目标标定物包括的多个标定点在标定物坐标系下的坐标以及每个采集设备所采集的图像帧中所述目标标定物上的标定点的像素坐标，全局优化每个采集设备的相机参数，所述相机参数包括内参矩阵和外参矩阵，或者所述相机参数包括内参矩阵、外参矩阵以及畸变系数；
其中，全局优化过程中每个采集设备的相机参数以及所述多个标定点分别所在的标定面在标定物坐标系下的位姿作为待优化量；全局优化中每个采集设备的第一内参估计值作为每个采集设备的内参矩阵的初始值。
24.如权利要求23所述的装置，其特征在于，第一移动位置对的相对位姿满足如下条件：
其中，T12表示第一移动位置与第二移动位置之间的相对位姿，所述至少一个采集设备组包括第一采集设备组，所述第一采集设备组包括第一采集设备和第二采集设备，表示基于第一采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；/>表示基于第二采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的所述第二移动位置到所述第一移动位置的位姿。
25.如权利要求24所述的装置，其特征在于，至少一个采集设备组为L个，所述第一采集设备组满足：
其中，I表示单位矩阵，表示基于第l个采集设备组中第一个采集设备在目标标定物移动到第一移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第二移动位置时采集的图像帧中标定点的像素坐标确定的第一移动位置到第二移动位置的位姿；/>表示基于所述第l个采集设备组中第二个采集设备在目标标定物移动到第二移动位置时采集的图像帧中标定点的像素坐标以及在目标标定物移动到所述第一移动位置时采集的图像帧中标定点的像素坐标确定的第二移动位置到第一移动位置的位姿；11表示第一采集设备组中第一采集设备，12表示第二采集设备组中第二采集设备。
26.如权利要求25所述的装置，其特征在于，所述根据基础移动位置在世界坐标系下的坐标以及多个移动位置对的相对位姿确定M个移动位置在世界坐标系下的位姿，包括：
确定多个移动位置对中每个移动位置对的可信度权重，其中，第一移动位置与第二移动位置之间的可信度权重满足S12表示第一移动位置与第二移动位置之间的可信度权重；
根据每个移动位置对的可信度权重确定第三移动位置到基础移动位置的最短路径；
其中，所述最短路径为从第三移动位置到基础移动位置的所有路径中可信度权重最小的路径；任一路径的可信度权重为所述任一路径所经过的移动位置对的可信度权重的加和；
根据所述最短路径所经过的移动位置对的相对位姿确定所述第三移动位置的位姿。
27.一种标定装置，其特征在于，包括处理器和存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算机程序，实现如权利要求1-13任一项所述的方法。
28.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在处理器上运行时，使得所述处理器执行如上述权利要求1-13任一项所述的方法。
CN202210815609.9A 2022-07-11 2022-07-11 一种标定方法及装置 Pending CN117422770A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210815609.9A CN117422770A (zh) 2022-07-11 2022-07-11 一种标定方法及装置
PCT/CN2023/106553 WO2024012405A1 (zh) 2022-07-11 2023-07-10 一种标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210815609.9A CN117422770A (zh) 2022-07-11 2022-07-11 一种标定方法及装置

Publications (1)

Publication Number Publication Date
CN117422770A true CN117422770A (zh) 2024-01-19

Family

ID=89528924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210815609.9A Pending CN117422770A (zh) 2022-07-11 2022-07-11 一种标定方法及装置

Country Status (2)

Country Link
CN (1) CN117422770A (zh)
WO (1) WO2024012405A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876608A (zh) * 2024-03-11 2024-04-12 魔视智能科技(武汉)有限公司 三维图像重建方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048357A1 (en) * 2001-08-29 2003-03-13 Geovantage, Inc. Digital imaging system for airborne applications
CN103035008B (zh) * 2012-12-15 2015-08-12 北京工业大学 一种多相机系统的加权标定方法
CN109242915A (zh) * 2018-09-29 2019-01-18 合肥工业大学 基于多面立体靶标的多相机系统标定方法
CN111369608A (zh) * 2020-05-29 2020-07-03 南京晓庄学院 一种基于图像深度估计的视觉里程计方法
CN114399554B (zh) * 2021-12-08 2024-05-03 北京元客视界科技有限公司 一种多相机系统的标定方法及系统
CN114004901B (zh) * 2022-01-04 2022-03-18 南昌虚拟现实研究院股份有限公司 多相机标定方法、装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
WO2024012405A1 (zh) 2024-01-18

Similar Documents

Publication Publication Date Title
US11310418B2 (en) Computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
Puwein et al. Robust multi-view camera calibration for wide-baseline camera networks
US8599317B2 (en) Scene recognition methods for virtual insertions
CN109416744A (zh) 改进的相机校准系统、目标和过程
CN109903312A (zh) 一种基于视频多目标跟踪的足球球员跑动距离统计方法
CN103874193B (zh) 一种移动终端定位的方法及系统
CN113160325B (zh) 基于进化算法的多摄像机高精度自动标定方法
CN109615661A (zh) 光场相机内参数标定装置及方法
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
US10235747B2 (en) System and method for determining the current parameters of a zoomable camera
CN112714926A (zh) 用于生成拍摄环境的照片般真实的三维模型的方法和装置
WO2024012405A1 (zh) 一种标定方法及装置
US11913768B2 (en) Estimating tracking sensor parametrization using known surface constraints
CN110991297A (zh) 一种基于场景监控的目标定位方法及系统
CN103500471A (zh) 实现高分辨率增强现实系统的方法
CN109902675A (zh) 物体的位姿获取方法、场景重构的方法和装置
CN114120168A (zh) 一种目标跑动距离测算方法、系统、设备及存储介质
Szelag et al. Real-time camera pose estimation based on volleyball court view
CN114037923A (zh) 一种目标活动热点图绘制方法、系统、设备及存储介质
CN109876417B (zh) 基于计算机视觉检测技术的羽毛球发球助理裁判系统
Shishido et al. Calibration of multiple sparsely distributed cameras using a mobile camera
US20230326075A1 (en) Methods and systems for camera calibration based on apparent movement of image content at a scene
TWI594209B (zh) 利用影片自動推導移動平台運動參數之方法
Kim et al. Player segmentation evaluation for trajectory estimation in soccer games
CN113674145B (zh) Ptz运动图像的球面拼接与实时对准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication