CN109754432B - 一种相机自动标定方法及光学动作捕捉系统 - Google Patents

一种相机自动标定方法及光学动作捕捉系统 Download PDF

Info

Publication number
CN109754432B
CN109754432B CN201811611431.6A CN201811611431A CN109754432B CN 109754432 B CN109754432 B CN 109754432B CN 201811611431 A CN201811611431 A CN 201811611431A CN 109754432 B CN109754432 B CN 109754432B
Authority
CN
China
Prior art keywords
camera
point
projection
point set
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811611431.6A
Other languages
English (en)
Other versions
CN109754432A (zh
Inventor
王越
赵晓琴
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Priority to CN201811611431.6A priority Critical patent/CN109754432B/zh
Publication of CN109754432A publication Critical patent/CN109754432A/zh
Priority to US16/415,279 priority patent/US10666934B1/en
Application granted granted Critical
Publication of CN109754432B publication Critical patent/CN109754432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种相机自动标定方法及光学动作捕捉系统，该相机自动标定方法包括确定步骤、处理步骤、计算步骤、更新步骤和迭代步骤、结束步骤。一方面，该相机自动标定方法适用于计算机视觉系统，可在系统对测试点进行采集的同时不断地更新相机的标定参数，通过不断优化相机的标定状态来实现自动标定的功能，利于使得系统时刻处于最优的标定状态，从而提升系统运行的精确度和流畅性；另一方面，由于通过确定步骤找出了待重新标定的相机，使得待重新标定的相机处于屏蔽状态，如此，既可以不影响其它相机的正常工作，又可以通过正常工作的相机来支持待重新标定的相机进行相机自动标定。

Description

一种相机自动标定方法及光学动作捕捉系统
技术领域
本发明涉及相机标定技术领域，具体涉及一种相机自动标定方法及光学动作捕捉系统。
背景技术
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。
例如，在光学运动捕捉系统中，采用多个相机的形式采集运动对象的光学图像，在光学运动捕捉过程中，跟踪定位软件均采用计算机多目视觉原理，根据图像二维点云间的匹配关系及相机的相对位置和朝向，计算点云在三维捕捉空间内的坐标及方向。以点云的三维坐标为基础，通过识别绑定在运动物体不同部位的刚体结构，解算出每个刚体在运动空间内的位置及朝向，进而确定出运动物体在运动空间内的运动轨迹。为了精确地计算三维捕捉空间内的点云坐标以及刚体运动姿态，动作捕捉系统运行前均需要确定所有相机的自身状态以及它们之间的相互位置关系，这就需要进行相机标定。
无论是在光学动作捕捉、图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响到相机工作产生结果的准确性，甚至相机标定的精确度会直接影响整个光学动作捕捉系统的捕捉精度，具有差之毫厘谬以千里的重大影响，因此，做好相机标定是做好后续工作的前提。
然而，在光学动作捕捉系统的应用过程中，关于相机标定还存在以下问题：(1)系统运行的环境是不断变化的，比如说早晚温度的差异，这会影响相机的自身状态，也就是相机内参；(2)相机安装环境不可避免的会遇到震动，从而导致相机和初始安装位置发生了偏移，会影响到当前相机之间的位置关系，也就是相机外参；(3)现实中我们不可能随时都对系统重新进行相机标定，这会浪费大量的时间，也大大降低了整个系统的运行流畅性。
发明内容
本发明主要解决的技术问题是在如何及时地对计算机视觉系统中的多个相机进行相机自动标定。为解决上述技术问题，本申请提供一种相机自动标定方法及光学动作捕捉系统。
根据第一方面，一种实施例中提供一种相机自动标定方法,用于对多个相机进行标定，所述相机自动标定方法包括以下步骤：
确定步骤：从多个所述相机中确定出待重新标定的相机；
处理步骤：根据空间中多个测试点的第一投影点集与所述待重新标定的相机拍摄到的多个所述测试点的第一采集点集，确定所述第一投影点集中的投影点和所述第一采集点集中的采集点之间点与点的匹配关系；所述第一投影点集是：第一空间坐标投影到所述待重新标定的相机时在相机坐标系中形成的二维点的集合，所述第一空间坐标是所述待重新标定的相机之外的其它相机采集多个所述测试点形成的；第一采集点集是所述待重新标定的相机拍摄多个所述测试点形成的二维点的集合；
计算步骤：根据所述点与点的匹配关系，计算所述第一投影点集中每个投影点与所述第一采集点集中相匹配的采集点之间的距离差；以及根据所述距离差得到所述待重新标定的相机的新标定参数；
更新步骤：用所述新标定参数对所述待重新标定的相机的当前标定参数进行更新。
所述确定步骤包括：
根据各个所述相机拍摄得到的图像计算各个所述测试点在空间坐标系中的第二空间坐标，根据每个所述相机的当前标定参数将所述第二空间坐标投影至每个所述相机，得到各个所述测试点在每个相机的相机坐标系中的第二投影点集；
获取第二采集点集，所述第二采集点集是：每个所述相机对拍摄得到的各个所述测试点的图像处理形成的二维点的集合；
对于每个相机，分别计算所述第二投影点集中每个投影点与所述第二采集点集中每个采集点之间的欧氏距离，确定所述第二投影点集中的投影点和所述第二采集点集中的采集点之间点与点的匹配关系；
在所述第二投影点集和所述第二采集点集中，若存在匹配关系的点与点的欧氏距离超出预设的阈值范围，则确定该相机为所述待重新标定的相机。
所述处理步骤包括：
获取步骤：获取空间中多个所述测试点的第一投影点集；以及获取所述待重新标定的相机采集到的多个所述测试点的第一采集点集；
匹配步骤：分别计算所述第一投影点集中每个投影点与所述第一采集点集中每个采集点之间的欧氏距离；对于每一投影点，按照与该投影点对应的欧氏距离最小的采集点作为该投影点的匹配点的规则，确定所述第一投影点集中每个投影点与所述第一采集点集中每一采集点点与点之间的匹配关系。
所述获取空间中多个所述测试点的第一投影点集，包括：
根据所述待重新标定的相机之外的其它相机拍摄得到的图像，计算各个所述测试点在所述空间坐标系中的所述第一空间坐标，根据所述待重新标定的相机的当前标定参数将所述第一空间坐标投影至所述待重新标定的相机，得到各个所述测试点在相机坐标系中形成的所述第一投影点集。
所述更新步骤之后还包括迭代步骤，所述迭代步骤包括：
多次重复所述处理步骤至所述更新步骤以进行迭代处理，直至所述计算步骤中计算得到的新标定参数小于预设的第一阈值。
所述新标定参数包括旋转信息和/或位置信息，所述旋转信息、所述位置信息分别用于标定任意一相机相对于所述空间坐标系的旋转状态和偏移状态。
所述根据所述距离差得到所述待重新标定的相机的新标定参数，包括：
根据所述距离差进行逆投影得到所述旋转信息和所述位置信息；
通过所述旋转信息和所述位置信息得到所述待重新标定的相机的姿态数据，将所述姿态数据作为所述待重新标定的相机的新标定参数。
根据第二方面，一种实施例中提供一种光学动作捕捉系统，包括待捕捉的多个测试点和对该些测试点进行拍摄的多个相机，还包括处理器；
多个所述相机分布在所述运动空间中，均与所述处理器通信连接，以对所述刚体上的标记点进行拍摄；
所述处理器用于定期地根据上述第一方面所述的相机自动标定方法对各个所述相机进行标定。
根据第三方面，一种实施例提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述第一方面所述的方法。
本申请的有益效果是：
依据上述实施例的一种相机自动标定方法及光学动作捕捉系统，该相机自动标定方法包括确定步骤、处理步骤、计算步骤、更新步骤和迭代步骤、结束步骤。第一方面，该相机自动标定方法适用于计算机视觉系统，可在系统对测试点进行采集的同时不断地更新相机的标定参数，通过不断优化相机的标定状态来实现自动标定的功能，利于使得系统时刻处于最优的标定状态，从而提升系统运行的精确度和流畅性；第二方面，由于通过确定步骤找出了待重新标定的相机，使得待重新标定的相机处于屏蔽状态，如此，既可以不影响其它相机的正常工作，又可以通过正常工作的相机来支持待重新标定的相机进行相机自动标定；第三方面，由于在处理步骤中实现了第一投影点集和第一采集点集之间点与点的匹配关系，使得计算每个测试点对应的距离差成为可能，利于提高相机的新标定参数的准确性；第四方面，在迭代步骤中采用了梯度下降的迭代处理方法，使得相机的新标定参数可通过一次次的迭代处理达到最优的参数状态，利于减小相机自动标定的误差，提高相机自动标定结果的准确性。
附图说明
图1为相机自动标定方法的流程图；
图2为确定步骤的流程图；
图3为处理步骤的流程图；
图4为通过投影形成投影点的示意图；
图5为通过图像处理形成采集点的示意图；
图6为光学动作捕捉系统的结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其它元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第二”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
本申请的发明构思在于：在计算机视觉系统中，特别是在光学运动捕捉系统中，针对相机的内参或外参发生变化时不能及时地进行相机标定的问题，本申请提出了“自动标定”的概念和方法，在不影响光学运动捕捉系统正常运行的情况下，通过收集三维空间坐标与相机二维坐标之间的匹配数据，判断相机的当前标定信息是否正确，如若存在明显的偏差，会自动修正当前系统的相机标定文件，其目的是实时地确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，建立相机成像的几何模型(几何模型的参数就是相机的内参和外参)，以保障定位精度和体验效果。对相机进行自动标定时，可有助于提升系统运行的精确度和流畅性，同时在一定程度上避免了用户时不时就要进行相机标定的问题，节约了用户时间。要明确的一点是，自动标定的作用是在系统运行时发现相机原有标定数据存在误差，进而可以自动调整优化，而在有大量相机位置发生了偏移的情况下，必须重新扫场标定才能得以解决。
实施例一：
请参考图1，本申请公开一种相机自动标定方法，用于对一计算机视觉系统中的多个相机进行标定。请求保护的相机自动标定方法包括步骤S100-S400，下面将分别说明。
步骤S100，确定步骤：从多个相机中确定出待重新标定的相机。在一实施例中，该步骤S100可包括步骤S110-S170，分别说明如下。
步骤S110，根据各个相机拍摄得到的图像计算各个测试点在空间坐标系中的第二空间坐标。
需要说明的是，例如在光学动作捕捉系统中，多个相机均会连续拍摄多个测试点(如一个或多个捕捉对象上的多个点)的图像，并建立捕捉对象所在的运动空间的空间坐标系(或称为世界坐标系)，然后根据同一时刻拍摄的多幅图像处理得到捕捉对象在该空间坐标系中的空间坐标。由于根据多幅图像处理得到空间坐标的方法属于光学动作捕捉中常见的技术手段，因此这里不再进行详细说明。此外，由于空间坐标系表示的是三维空间，所以第二空间坐标为三维坐标且第二空间坐标是一个三维坐标的集合。
步骤S120，根据每个相机的当前标定参数将各个测试点的第二空间坐标投影至每个相机，得到各个测试点在每个相机的相机坐标系中形成的第二投影点集。
在一具体实施例中，可见图4，构建了空间坐标系Xw-Yw-Zw和一个相机的相机坐标系Xc-Yc，在空间坐标系中得到一个测试点的第二空间坐标W1。将第二空间坐标W1投影到该相机的相机坐标系中，形成了投影点C1。由于，两个坐标系存在旋转角度和偏移位置的差别，所以在投影过程中借助了该相机的当前标定参数，以使得第二空间坐标W1在当前标定参数的作用下能够得到投影点C1。当空间坐标系中存在多个测试点时，将各个测试点的第二空间坐标均投影到该相机的相机坐标系中，分别形成类似于C1的投影点。这里描述的是将第二空间坐标W1投影到相机坐标系Xc-Yc的过程，同时，还存在将其他第二空间坐标投影到其他相机坐标系的过程，从而形成了多个投影点的集合，这时可得到的该些投影点的集合定义为第二投影点集。此外，由于各个测试点的第二空间坐标将投影在相机坐标系的Xc-Yc平面上，所以投影形成的各个投影点均为二维坐标数据，即实现了三维坐标到二维坐标的正投影过程。
需要说明的是，空间坐标系是真实物体在空间中的一种映射关系，空间坐标系的原点是通常为Ow。相机坐标系是以相机的光轴作为Z轴，光线在相机光学系统的中心位置就是原点Oc(实际上就是透镜的中心)，水平轴Xc、和垂直轴Yc并不与空间坐标系的相应轴平行，而是有一定的角度，并且有一定的平移。
步骤S130，获取第二采集点集，这里的第二采集点集是指每个相机对拍摄得到的各个测试点的图像处理形成的二维点的集合，即各个测试点直接映射到每个相机时在相机坐标系中映射形成的二维点的集合。
在一具体实施例中，可见图5，构建了一个相机的相机坐标系，当该相机对一个测试点进行取像时，该测试点通过光线直接映射在该相机的透镜上时，就在该相机的相机坐标系中形成了一个采集点，该采集点将在拍摄的图像上以二维点的形式进行呈现，例如Kc。此外，由于测试点直接映射在相机坐标系的Xc-Yc平面上，所以映射形成的采集点Kc为二维坐标数据。
步骤S140，对于每个相机，分别计算第二投影点集中每个投影点与第二采集点集中每个采集点之间的欧氏距离，确定第二投影点集和第二采集点集中点与点的匹配关系。在一具体实施例中，认为第二投影点集中的一个投影点与第二采集点集中最小欧氏距离对应的采集点之间具有匹配关系。
需要说明的是，由于在相机坐标系上形成的第二投影点集包括了各个测试点的投影坐标，在相机坐标系上映射形成的第二采集点集也包括了各个测试点的映射坐标，但还存在无法建立任意一测试点的投影坐标和该测试点的映射坐标之间的对应关系。所以这里采用最小欧氏距离作为判断标准，若一个投影点与一个采集点之间的欧氏距离最小，则认为该投影点和该采集点对应于同一个测试点，即这两个点之间具有匹配关系。所以，根据步骤S140可以得到每个相机的相机坐标系中形成的第二投影点集和图像处理形成的第二采集点集之间点与点的匹配关系。
步骤S150，对于每个相机，判断存在匹配关系的点与点之间的欧氏距离是否超出预设的阈值范围，即判断第二投影点集中每个投影点和第二采集点集中相匹配的采集点之间的欧氏距离是否超出预设的阈值范围Y1，若超出，则进入步骤S160，反之，进入步骤S170。
步骤S160，具有匹配关系的点与点之间的欧氏距离超出预设的阈值范围Y1时，则认为该相机的当前标定参数已经引起了较大的测量误差，所以需要确定该相机为待重新标定的相机。
需要说明的是，在没有测量误差的理想情况下，具有匹配关系的点与点之间的欧氏距离应当为零。
步骤S170，具有匹配关系的点与点之间的欧氏距离没有超出预设的阈值范围Y1时，则认为该相机的当前标定参数引起的测量误差仍在可控的范围内，所以无需对该相机的标定参数进行重新标定。
步骤200，处理步骤：根据空间中多个测试点的第一投影点集与待重新标定的相机拍摄到的多个测试点的第一采集点集，确定第一投影点集和第一采集点集中点与点的匹配关系。这里的第一投影点集是：第一空间坐标投影到所述待重新标定的相机时在相机坐标系中形成的二维点的集合，其中，第一空间坐标是除所述待重新标定的相机采集多个所述测试点形成的。在一实施例中，可见图3，该步骤S200可包括步骤S210-S220，分别说明如下。
步骤S210，获取步骤：获取空间中多个测试点的第一投影点集；以及获取待重新标定的相机采集到的多个测试点的第一采集点集。
在一具体实施例中，获取空间中多个测试点的第一投影点集的过程包括：根据待重新标定的相机之外的其它相机拍摄得到的图像，计算各个测试点在空间坐标系中的第一空间坐标，该第一空间坐标是一个三维坐标点的集合；根据待重新标定的相机的当前标定参数将各个测试点的第一空间坐标均投影至待重新标定的相机，得到各个测试点在待重新标定的相机的相机坐标系中的第一投影点集。需要说明的是，由于测试点的位置在不同时间点会发生变化，本发明实施例将待重新标定的相机之外的其它相机拍摄得到的第一空间坐标对应的投影点均定义为第一投影点集。
需要说明的是，步骤S210可对待重新标定的相机进行数据隔离，排除待重新标定的相机的干扰，通过其它相机得到各个测试点在空间坐标系中的第一空间坐标。
需要说明的是，获取第一空间坐标的方法可参考步骤S110，这里不再进行详细说明。获取第一投影点集的方法也可参考步骤S120，这里不再进行详细说明。此外，由于各个测试点的第一空间坐标投影在相机坐标系的Xc-Yc平面上，所以形成的第一投影点集中的各个投影点均为二维坐标数据。
需要说明的是，获取第一采集点集的方法可参考步骤S130，这里不再进行详细说明。此外，由于测试点直接映射在相机坐标系的Xc-Yc平面上，所以映射形成的第一采集点集中的每个采集点均为二维坐标数据。
步骤S220，匹配步骤：分别计算第一投影点集中每个投影点与第一采集点集中每个采集点之间的欧氏距离；对于每一投影点，按照将与该投影点欧氏对应的欧氏距离最小的采集点作为该投影点的匹配点的规则，确定第一投影点集中每个投影点与第一采集点集中每一采集点中点与点之间的匹配关系。
在一实施例中，将第一投影点集中每个投影点分别与第一采集点集中的各个采集点之间的欧氏距离进行比较，确定该投影点与最小欧氏距离对应的采集点之间存在匹配关系。如此，可得到第一投影点集与第一采集点集中点与点的匹配关系。
例如，测试点1至测试点n在一个相机中投影形成的第一投影点集分别为L1(xa1,ya1)、…、Ln(xan,yan)，测试点1至测试点n在该相机中图像处理形成的第一采集点集分别为N1(xb1,yb1)、…、Nn(xbn,ybn)，则计算L1分别与N1(xb1,yb1)、…、Nn(xbn,ybn)之间的欧氏距离d1、d2、…、dn，若在d1、d2、…、dn之中d1的值最小，则认为d1为最小欧氏距离，表明第一投影点集L1和第一采集点集N1之间存在匹配关系，即两者对应同一个测试点1。
需要说明的是，关于建立点与点之间的匹配关系的说明还可参考步骤S140，这里不再进行详细说明。
步骤S300，计算步骤：根据点与点的匹配关系，计算第一投影点集中每个投影点与第一采集点集中相匹配的采集点之间的距离差，根据距离差得到待重新标定的相机的新标定参数。
需要说明的是，相机的标定参数可包括内部参数和外部参数，其中内部参数通常是唯一的，往往由一个参数矩阵(fx,fy,cx,cy)和一个畸变系数(包括三个径向系数k1、k2、k3和两个切向系数p1、p2)构成。其中外部参数通常是不唯一的，由相机与空间坐标系的相对位姿关系决定，往往由旋转矩阵(例如旋转矩阵R3x3)和平移矩阵(例如Tx,Ty,Tz)构成。
在本实施例中，新标定参数包括旋转信息和/或位置信息，这里的旋转信息、位置信息分别用于标定任意一相机相对于空间坐标系的旋转状态和偏移状态。
在一具体实施例中，计算步骤S300可包括以下过程：
(1)计算第一投影点集中每个投影点的和与之相匹配的采集点之间的距离差，进而得到所有投影点与与之匹配的采集点之间的距离差，这里的距离差可以是坐标数据之间的欧氏距离。
(2)根据该些距离差进行逆投影得到旋转信息R和位置信息T。需要说明的是，逆投影实现了二维坐标数据到三维坐标数据的转换过程，所以旋转信息R、位置信息T为均为三维矩阵。
(3)通过旋转信息R和位置信息T得到待重新标定的相机的姿态数据(Re，Te)，将该姿态数据(Re，Te)作为待重新标定的相机的新标定参数。
步骤S400，更新步骤：用新标定参数对待重新标定的相机的当前标定参数进行更新。
在另一个实施例中，见图1，为获得较好的相机自动标定效果，本申请的相机自动标定方法还进一步地包括迭代步骤S500和结束步骤S600。
步骤S600，迭代步骤：多次重复处理步骤S200至更新步骤S400，以进行迭代处理，直至判断计算步骤S300中计算得到的新标定参数小于预设的第一阈值Y2。这样，就可以用最后一次迭代处理得到的新标定参数对待重新标定的相机的当前标定参数进行更新。即，若新标定参数小于第一阈值Y2，则进入步骤S600，反之则进入步骤S200。
需要说明的是，步骤S500的迭代处理过程实际上是一种运用梯度下降法的处理过程，这里的梯度下降法(gradient descent)是一个最优化算法，常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型，沿梯度下降的方向求解极小值，一般情况下，梯度向量为0的话说明是到了一个极值点，此时梯度的幅值也为0，而采用梯度下降算法进行最优化求解时，算法迭代的终止条件是梯度向量的幅值接近0即可，可以设置个非常小的常数阈值，所以在本实施例中设定新标定参数小于第一阈值Y2。
步骤S600，结束步骤：结束本次相机自动标定过程，即完成了本次对待重新保定的相机的自动标定，使得系统等待执行下一次的自动标定过程。
实施例二：
请参考图6，本申请在实施例一请求保护的相机自动标定方法的基础上，还公开一种光学动作捕捉系统，其不仅包括待捕捉的多个测试点和对该些测试点进行摄像的多个相机，还包括处理器12。
其中，多个测试点设置在运动空间中的一个或多个捕捉对象11上，如图6所示。多个相机(例如相机1、相机2、…相机i、…相机m，1<i<m)分布在运动空间中，均与处理器12通信连接，以对捕捉对象的测试点进行摄像。
需要说明的是，本实施例中提到的测试点可以是光学动作捕捉系统中常用到的对刚体进行配置的反光标记点或荧光标记点。
处理器12用于定期地根据实施例一中公开的相机自动标定方法对各个相机进行标定。例如，根据步骤S100周期性地对各个相机进行工作状态判断，如果判断相机1为待重新标点的相机，则会根据步骤S200-S500计算得到相机1的新标定参数并对当前标定参数进行更新，直至最后一次迭代所得到的新标定参数小于预设的第一阈值Y2，然后进入步骤S600以结束本次相机自动标定过程。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (9)

1.一种相机自动标定方法,用于对多个相机进行标定，其特征在于，所述相机自动标定方法包括以下步骤：
确定步骤：从多个所述相机中确定出待重新标定的相机；
处理步骤：根据空间中多个测试点的第一投影点集与所述待重新标定的相机拍摄到的多个所述测试点的第一采集点集，确定所述第一投影点集中的投影点和所述第一采集点集中的采集点之间点与点的匹配关系；所述第一投影点集是：第一空间坐标投影到所述待重新标定的相机时在相机坐标系中形成的二维点的集合，所述第一空间坐标是所述待重新标定的相机之外的其它相机采集多个所述测试点形成的；第一采集点集是所述待重新标定的相机拍摄多个所述测试点形成的二维点的集合；
计算步骤：根据所述点与点的匹配关系，计算所述第一投影点集中每个投影点与所述第一采集点集中相匹配的采集点之间的距离差；以及根据所述距离差得到所述待重新标定的相机的新标定参数；
更新步骤：用所述新标定参数对所述待重新标定的相机的当前标定参数进行更新。
2.如权利要求1所述的相机自动标定方法，其特征在于，所述确定步骤包括：
根据各个所述相机拍摄得到的图像计算各个所述测试点在空间坐标系中的第二空间坐标，根据每个所述相机的当前标定参数将所述第二空间坐标投影至每个所述相机，得到各个所述测试点在每个相机的相机坐标系中的第二投影点集；
获取第二采集点集，所述第二采集点集是：每个所述相机对拍摄得到的各个所述测试点的图像处理形成的二维点的集合；
对于每个相机，分别计算所述第二投影点集中每个投影点与所述第二采集点集中每个采集点之间的欧氏距离，确定所述第二投影点集中的投影点和所述第二采集点集中的采集点之间点与点的匹配关系；
在所述第二投影点集和所述第二采集点集中，若存在匹配关系的点与点的欧氏距离超出预设的阈值范围，则确定该相机为所述待重新标定的相机。
3.如权利要求1所述的相机自动标定方法，其特征在于，所述处理步骤包括：
获取步骤：获取空间中多个所述测试点的第一投影点集；以及获取所述待重新标定的相机采集到的多个所述测试点的第一采集点集；
匹配步骤：分别计算所述第一投影点集中每个投影点与所述第一采集点集中每个采集点之间的欧氏距离；对于每一投影点，按照将与该投影点对应的欧氏距离最小的采集点作为该投影点的匹配点的规则，确定所述第一投影点集中每个投影点与所述第一采集点集中每一采集点点与点之间的匹配关系。
4.根据权利要求3所述的相机自动标定方法，其特征在于，所述获取空间中多个所述测试点的第一投影点集，包括：
根据所述待重新标定的相机之外的其它相机拍摄得到的图像，计算各个所述测试点在所述空间坐标系中的所述第一空间坐标，根据所述待重新标定的相机的当前标定参数将所述第一空间坐标投影至所述待重新标定的相机的坐标系中，得到各个所述测试点在相机坐标系中形成的所述第一投影点集。
5.如权利要求1-4任一项所述的相机自动标定方法，其特征在于，所述更新步骤之后还包括迭代步骤，所述迭代步骤包括：
多次重复所述处理步骤至所述更新步骤以进行迭代处理，直至所述计算步骤中计算得到的新标定参数小于预设的第一阈值。
6.如权利要求5所述的相机自动标定方法，其特征在于，所述新标定参数包括旋转信息和/或位置信息，所述旋转信息、所述位置信息分别用于标定任意一相机相对于所述空间坐标系的旋转状态和偏移状态。
7.如权利要求6所述的相机自动标定方法，其特征在于，所述根据所述距离差得到所述待重新标定的相机的新标定参数，包括：
根据所述距离差进行逆投影得到所述旋转信息和所述位置信息；
通过所述旋转信息和所述位置信息得到所述待重新标定的相机的姿态数据，将所述姿态数据作为所述待重新标定的相机的新标定参数。
8.一种光学动作捕捉系统，包括待捕捉的多个测试点和对该些测试点进行拍摄的多个相机，其特征在于，还包括处理器；
多个所述测试点配置在刚体上；
多个所述相机分布在运动空间中，均与所述处理器通信连接，以对所述刚体上的测试点进行拍摄；
所述处理器用于定期地根据权利要求1-7任一项所述的相机自动标定方法对各个所述相机进行标定。
9.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-7中任一项所述的方法。
CN201811611431.6A 2018-12-27 2018-12-27 一种相机自动标定方法及光学动作捕捉系统 Active CN109754432B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811611431.6A CN109754432B (zh) 2018-12-27 2018-12-27 一种相机自动标定方法及光学动作捕捉系统
US16/415,279 US10666934B1 (en) 2018-12-27 2019-05-17 Camera automatic calibration method and optical motion capture system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811611431.6A CN109754432B (zh) 2018-12-27 2018-12-27 一种相机自动标定方法及光学动作捕捉系统

Publications (2)

Publication Number Publication Date
CN109754432A CN109754432A (zh) 2019-05-14
CN109754432B true CN109754432B (zh) 2020-09-22

Family

ID=66404194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811611431.6A Active CN109754432B (zh) 2018-12-27 2018-12-27 一种相机自动标定方法及光学动作捕捉系统

Country Status (2)

Country Link
US (1) US10666934B1 (zh)
CN (1) CN109754432B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288842B2 (en) * 2019-02-15 2022-03-29 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
JP7151879B2 (ja) * 2019-04-08 2022-10-12 日本電気株式会社 カメラ校正装置、カメラ校正方法、及びプログラム
CN110135376A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 确定图像传感器的坐标系转换参数的方法、设备和介质
CN110148185B (zh) * 2019-05-22 2022-04-15 北京百度网讯科技有限公司 确定成像设备坐标系转换参数的方法、装置和电子设备
CN110458897B (zh) * 2019-08-13 2020-12-01 北京积加科技有限公司 多摄像头自动标定方法及系统、监控方法及系统
CN110689585B (zh) * 2019-10-09 2022-06-21 阿波罗智能技术(北京)有限公司 多相机外参的联合标定方法、装置、设备和介质
CN112652017B (zh) * 2019-10-11 2024-03-29 中国科学院沈阳自动化研究所 基于相机和动态捕捉设备的外参标定方法
CN110728720B (zh) * 2019-10-21 2023-10-13 阿波罗智能技术(北京)有限公司 用于相机标定的方法、装置、设备和存储介质
CN110793544B (zh) * 2019-10-29 2021-12-14 北京百度网讯科技有限公司 路侧感知传感器参数标定方法、装置、设备及存储介质
CN113744347B (zh) * 2020-04-02 2023-06-16 深圳市瑞立视多媒体科技有限公司 大空间环境下边扫场边标定方法、装置、设备及存储介质
CN111899305A (zh) * 2020-07-08 2020-11-06 深圳市瑞立视多媒体科技有限公司 一种相机自动标定优化方法及相关系统、设备
CN113034676A (zh) * 2021-03-29 2021-06-25 黑芝麻智能科技(上海)有限公司 三维点云图的生成方法、装置、计算机设备和存储介质
CN113112490B (zh) * 2021-04-23 2022-09-30 上海卓昕医疗科技有限公司 一种三维医学影像标记点提取方法及系统
CN113596336B (zh) * 2021-08-02 2022-06-07 北京城市网邻信息技术有限公司 图像获取方法及装置、电子设备及存储介质
CN115984591B (zh) * 2022-12-29 2023-08-29 北京朗视仪器股份有限公司 实时扫描匹配方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617649A (zh) * 2013-11-05 2014-03-05 北京江宜科技有限公司 一种基于相机自标定技术的河工模型地形测量方法
CN105931261A (zh) * 2016-07-08 2016-09-07 北京格灵深瞳信息技术有限公司 一种双目立体相机外参数修正方法及装置
WO2016185024A1 (en) * 2015-05-20 2016-11-24 Cognimatics Ab Method and arrangement for calibration of cameras
JP2018044943A (ja) * 2016-09-08 2018-03-22 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100588269C (zh) * 2008-09-25 2010-02-03 浙江大学 基于矩阵分解的摄像机阵列标定方法
CN101706957B (zh) * 2009-10-30 2012-06-06 无锡景象数字技术有限公司 一种双目立体视觉装置的自标定方法
CN102208108B (zh) * 2011-04-01 2013-01-09 哈尔滨工业大学 摄像机大视场高精度快速现场全局标定方法
CN102750697B (zh) * 2012-06-08 2014-08-20 华为技术有限公司 一种参数标定方法及装置
US20140300736A1 (en) * 2013-04-09 2014-10-09 Microsoft Corporation Multi-sensor camera recalibration
CN104182982B (zh) * 2014-08-27 2017-02-15 大连理工大学 双目立体视觉摄像机标定参数的整体优化方法
US11019330B2 (en) * 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging
CN106875451B (zh) * 2017-02-27 2020-09-08 安徽华米智能科技有限公司 相机标定方法、装置及电子设备
CN107437264B (zh) * 2017-08-29 2020-06-19 重庆邮电大学 车载相机外部参数自动检测与校正方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617649A (zh) * 2013-11-05 2014-03-05 北京江宜科技有限公司 一种基于相机自标定技术的河工模型地形测量方法
WO2016185024A1 (en) * 2015-05-20 2016-11-24 Cognimatics Ab Method and arrangement for calibration of cameras
CN105931261A (zh) * 2016-07-08 2016-09-07 北京格灵深瞳信息技术有限公司 一种双目立体相机外参数修正方法及装置
JP2018044943A (ja) * 2016-09-08 2018-03-22 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Automatic recalibration of the camera pose parameters in a vision system;Bin Zhu;《2010 3rd International Congress on Image and Signal Processing》;20101018;400-403 *
基于双目立体视觉的摄像机外参数快速在线自标定算法;王涛等;《机械工程师》;20090110(第1期);104-106 *

Also Published As

Publication number Publication date
US10666934B1 (en) 2020-05-26
CN109754432A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
CN109754432B (zh) 一种相机自动标定方法及光学动作捕捉系统
CN111899305A (zh) 一种相机自动标定优化方法及相关系统、设备
CN105654464B (zh) 图像处理装置及图像处理方法
CN110411476B (zh) 视觉惯性里程计标定适配及评价方法和系统
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
US20210232845A1 (en) Information processing apparatus, information processing method, and storage medium
JP6217227B2 (ja) 校正装置、方法及びプログラム
CN106457562A (zh) 用于校准机器人的方法和机器人系统
WO2018196303A1 (zh) 多方位投影的投影仪标定方法及装置
JP6860620B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US7711507B2 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
JP4960941B2 (ja) 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム
CN114714356A (zh) 基于双目视觉的工业机器人手眼标定误差精确检测方法
CN115457147A (zh) 相机标定方法、电子设备及存储介质
CN113298886A (zh) 一种投影仪的标定方法
JP3913901B2 (ja) カメラの内部パラメータ決定装置
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
Chatterjee et al. A nonlinear Gauss–Seidel algorithm for noncoplanar and coplanar camera calibration with convergence analysis
JP2006098065A (ja) キャリブレーション装置および方法、ならびにそれらを利用可能な３次元モデリング装置および３次元モデリングシステム
CN114758011B (zh) 融合离线标定结果的变焦相机在线标定方法
CN109754435B (zh) 一种基于小靶标模糊图像的摄像机在线标定方法
CN116091625A (zh) 一种基于双目视觉的基准标记位姿估计方法
CN110617766A (zh) 平面位姿测量方法、装置及存储介质
CN109389645B (zh) 相机自校准方法、系统、相机、机器人及云端服务器
Dubbelman et al. Bias compensation in visual odometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant