CN113989377A - 一种相机的外参标定方法、装置、存储介质及终端设备 - Google Patents

一种相机的外参标定方法、装置、存储介质及终端设备 Download PDF

Info

Publication number
CN113989377A
CN113989377A CN202111118318.6A CN202111118318A CN113989377A CN 113989377 A CN113989377 A CN 113989377A CN 202111118318 A CN202111118318 A CN 202111118318A CN 113989377 A CN113989377 A CN 113989377A
Authority
CN
China
Prior art keywords
image
camera
feature point
ith
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111118318.6A
Other languages
English (en)
Inventor
陈英博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lianzhou International Technology Co Ltd
Original Assignee
Shenzhen Lianzhou International Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lianzhou International Technology Co Ltd filed Critical Shenzhen Lianzhou International Technology Co Ltd
Priority to CN202111118318.6A priority Critical patent/CN113989377A/zh
Publication of CN113989377A publication Critical patent/CN113989377A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种相机的外参标定方法、装置、存储介质及终端设备，通过待标定相机获取第一图像，获取第一图像中的M个第一特征点和每一第一特征点的第一图像坐标；通过移动机器人上的相机获取N个不同位置对应的N张第二图像和每一第二图像的位姿参数；提取每一第二图像中的特征点并与M个第一特征点进行匹配；根据特征点匹配结果获取每一第一特征点在每一第二图像中对应的第二图像坐标；根据N张第二图像的位姿参数、特征点匹配结果及M个第一特征点对应的第二图像坐标，获取每一第一特征点的三维空间坐标；根据M个第一特征点的第一图像坐标和三维空间坐标，获取待标定相机的位姿参数；从而能够提高相机外参标定准确度，计算简单，易于使用。

Description

一种相机的外参标定方法、装置、存储介质及终端设备
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种相机的外参标定方法、装置、计算机可读存储介质及终端设备。
背景技术
相机标定的作用是为了获取相机参数，相机参数又分为内参和外参，其中，内参指相机的自身参数，例如主光轴、焦距和畸变系数，一般由厂家给定或事先标定，外参指相机相对于世界坐标系的位姿，外参决定了相机坐标与世界坐标系之间的相对位置关系。
目前，相机外参标定主要有以下两种方法：(1)传统外参标定采用棋盘格标定法，这种方法需要使用特定大小的棋盘格作为标定板，用户将棋盘格以若干不同的位姿放置在相机前，并让相机拍摄棋盘格不同位姿的图片，通过这些不同位姿的棋盘格计算出相机外参；(2)基于图像的三维重建法，这种方法通过在房间内以若干视角拍摄若干张无序图像，并且待标定相机也拍摄一张图像，将这些图像结合起来，采用三维重建运动恢复结构算法(Structure from motion，SfM)确定出所有图像对应的位姿。
但是，上述方法(1)比较麻烦，不利于实际使用，方法(2)需要图像的数量足够多，计算非常复杂，并且仅通过图像重建，无法恢复出尺度信息(也即真实距离)，导致标定的准确度较差。
发明内容
本发明实施例所要解决的技术问题在于，提供一种相机的外参标定方法、装置、计算机可读存储介质及终端设备，能够提高相机的外参标定的准确度，并且无需使用任何标定板或用户手动操作，计算简单，易于使用。
为了解决上述技术问题，本发明实施例提供了一种相机的外参标定方法，包括：
通过待标定相机获取第一图像，对所述第一图像进行特征点提取，获取M个第一特征点，并获取每一个第一特征点的第一图像坐标值；其中，M>0；
通过移动机器人上的相机获取N个不同位置所对应的N张第二图像，并获取每一张第二图像所对应的位姿参数；其中，N>0；
分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果；
根据所述特征点匹配结果获取每一个第一特征点在每一张第二图像中对应的第二图像坐标值；
根据所述N张第二图像所对应的位姿参数、所述特征点匹配结果以及所述M个第一特征点在所述N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值；
根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数。
进一步地，所述分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果，具体包括：
采用SIFT算法或SURF算法分别对每一张第二图像进行特征点提取；
分别将每一张第二图像中的特征点与所述M个第一特征点进行匹配；
当第i个第一特征点在第j张第二图像中有匹配特征点时，将对应的匹配结果设置为aij＝1；
当第i个第一特征点在第j张第二图像中没有匹配特征点时，将对应的匹配结果设置为aij＝0；其中，i＝1，2，…，M，j＝1，2，…，N；
根据所述M个第一特征点在所述N张第二图像中的所有的匹配结果，相应获得所述特征点匹配结果。
进一步地，所述方法还包括：
分别获取每一个第一特征点在所述N张第二图像中的匹配特征点的总数量；
当任意一个第一特征点的匹配特征点的总数量小于预设的数量阈值时，将该第一特征点从所述M个第一特征点中删除。
进一步地，所述方法通过以下步骤根据所述特征点匹配结果获取第i个第一特征点在第j张第二图像中对应的第二图像坐标值：
当第i个第一特征点在第j张第二图像中有匹配特征点时，将第j张第二图像中的匹配特征点的图像坐标值作为第i个第一特征点在第j张第二图像中对应的第二图像坐标值；
当第i个第一特征点在第j张第二图像中没有匹配特征点时，将第i个第一特征点在第j张第二图像中对应的第二图像坐标值设置为pij＝(0，0)；其中，i＝1，2，…，M，j＝1，2，…，N。
进一步地，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系重合时，所述方法通过以下步骤获取第i个第一特征点的三维空间坐标值Pi：
根据公式
Figure BDA0003275351600000031
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi；其中，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure BDA0003275351600000032
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应的位姿参数。
进一步地，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系不重合时，所述方法通过以下步骤获取第i个第一特征点的三维空间坐标值Pi：
根据公式
Figure BDA0003275351600000041
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi；其中，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure BDA0003275351600000042
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应的位姿参数，H表示所述相机坐标系与所述机器人坐标系之间的变换矩阵。
进一步地，所述根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数，具体包括：
根据公式
Figure BDA0003275351600000043
进行求解，相应获得所述待标定相机的位姿参数Hc；其中，pi表示第i个第一特征点的第一图像坐标值，
Figure BDA0003275351600000044
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Kc表示所述待标定相机的内参矩阵。
为了解决上述技术问题，本发明实施例还提供了一种相机的外参标定装置，包括：
第一图像获取及处理模块，用于通过待标定相机获取第一图像，对所述第一图像进行特征点提取，获取M个第一特征点，并获取每一个第一特征点的第一图像坐标值；其中，M>0；
第二图像获取及处理模块，用于通过移动机器人上的相机获取N个不同位置所对应的N张第二图像，并获取每一张第二图像所对应的位姿参数；其中，N>0；
特征点提取及匹配模块，用于分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果；
特征点图像坐标获取模块，用于根据所述特征点匹配结果获取每一个第一特征点在每一张第二图像中对应的第二图像坐标值；
特征点空间坐标获取模块，用于根据所述N张第二图像所对应的位姿参数、所述特征点匹配结果以及所述M个第一特征点在所述N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值；
相机位姿获取模块，用于根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的相机的外参标定方法。
本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的相机的外参标定方法。
与现有技术相比，本发明实施例提供了一种相机的外参标定方法、装置、计算机可读存储介质及终端设备，通过待标定相机获取第一图像，对所述第一图像进行特征点提取，获取M个第一特征点，并获取每一个第一特征点的第一图像坐标值；通过移动机器人上的相机获取N个不同位置所对应的N张第二图像，并获取每一张第二图像所对应的位姿参数；分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果；根据所述特征点匹配结果获取每一个第一特征点在每一张第二图像中对应的第二图像坐标值；根据所述N张第二图像所对应的位姿参数、所述特征点匹配结果以及所述M个第一特征点在所述N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值；根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数；从而能够提高相机的外参标定的准确度，并且无需使用任何标定板或用户手动操作，计算简单，易于使用。
附图说明
图1是本发明提供的一种相机的外参标定方法的一个优选实施例的流程图；
图2是本发明提供的一种相机的外参标定装置的一个优选实施例的结构框图；
图3是本发明提供的一种终端设备的一个优选实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种相机的外参标定方法，参见图1所示，是本发明提供的一种相机的外参标定方法的一个优选实施例的流程图，所述方法包括步骤S11至步骤S16：
步骤S11、通过待标定相机获取第一图像，对所述第一图像进行特征点提取，获取M个第一特征点，并获取每一个第一特征点的第一图像坐标值；其中，M>0；
步骤S12、通过移动机器人上的相机获取N个不同位置所对应的N张第二图像，并获取每一张第二图像所对应的位姿参数；其中，N>0；
步骤S13、分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果；
步骤S14、根据所述特征点匹配结果获取每一个第一特征点在每一张第二图像中对应的第二图像坐标值；
步骤S15、根据所述N张第二图像所对应的位姿参数、所述特征点匹配结果以及所述M个第一特征点在所述N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值；
步骤S16、根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数。
具体的，首先，通过待标定相机采集获取第一图像，对获得的第一图像进行特征点提取，相应获取第一图像中的M个(M>0)第一特征点，以及获取每一个第一特征点对应的第一图像坐标值，并且，通过移动机器人上的相机拍摄获取移动机器人在N个(N>0)不同位置所对应的N张第二图像，分别获取每一张第二图像所对应移动机器人在世界坐标系下的位姿参数，相应获得移动机器人对应的N个的位姿参数(即N个视角参数，表示移动机器人的位置信息和朝向)；接着，分别对每一张第二图像进行特征点提取，将每一张第二图像中提取到的特征点与第一图像中的M个第一特征点进行匹配，相应获得特征点匹配结果，并根据获得的特征点匹配结果获取每一个第一特征点在每一张第二图像中所对应的第二图像坐标值；然后，根据获得的移动机器人对应的N个的位姿参数、特征点匹配结果以及M个第一特征点在N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值；最后，根据M个第一特征点的第一图像坐标值和三维空间坐标值，计算获得待标定相机的位姿参数；待标定相机的位姿参数即为待标定相机的空间变换矩阵或待标定相机相对于世界坐标系的位姿，通过位姿参数以将待标定相机采集的图像上的一个点转换为世界坐标系下的三维坐标。
其中，可以采用SIFT算法(Scale Invariant Feature Transform，尺度不变特征转换算法)或SURF算法(Speeded Up Robust Features，加速稳健特征算法)对获得的第一图像进行特征点提取，相应获得第一图像中的M个第一特征点，并且基于第一图像本身的图像坐标系，获得M个第一特征点所对应的M个第一图像坐标值；图像坐标即为像素坐标，例如，假设某一个第一特征点所对应的第一图像坐标为(5，5)，即表示这个第一特征点在第一图像中第5行第5列的位置。
可以利用移动机器人以及SLAM算法(Simultaneous Localization and Mapping，同步定位与地图构建算法)对待标定相机的监控区域环境进行建图，相应获得监控区域所对应的环境栅格地图，以确定世界坐标系，移动机器人根据构建好的环境栅格地图以及SLAM定位功能即可确定自身在世界坐标系下的位姿参数，从而可以对应获得每一张第二图像所对应移动机器人在世界坐标系下的位姿参数。
需要说明的是，本发明实施例所需的实际上为N张第二图像中与第一图像有视角重合的图像，如果视角不重合，在对第二图像于第一图像进行特征点匹配时，就提取不到匹配的特征点，因此，为了保证N张第二图像与第一图像均有匹配的特征点，可以通过移动机器人上的相机在不同位置分别拍摄图像，并与第一图像进行特征点匹配，找出其中匹配特征点最多的图像，再控制移动机器人在匹配特征点最多的图像所对应的位置附近运动，继续采集N个不同位置(N个不同位置位于匹配特征点最多的图像所对应的位置附近)所对应的N张第二图像。
本发明实施例所提供的一种相机的外参标定方法，通过待标定相机获取第一图像，并基于第一图像获取M个第一特征点及其对应的第一图像坐标值，通过移动机器人上的相机获取N个不同位置所对应的N张第二图像以及移动机器人对应的N个的位姿参数，并分别将每一张第二图像中的特征点与M个第一特征点进行匹配，以根据特征点匹配结果获取每一个第一特征点在每一张第二图像中对应的第二图像坐标值，并根据移动机器人对应的N个的位姿参数、特征点匹配结果以及M个第一特征点在所述N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值，从而根据M个第一特征点的第一图像坐标值和三维空间坐标值，计算获得待标定相机的位姿参数，能够提高相机的外参标定的准确度，并且无需使用任何标定板或用户手动操作，计算简单，易于使用。
在另一个优选实施例中，所述分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果，具体包括：
采用SIFT算法或SURF算法分别对每一张第二图像进行特征点提取；
分别将每一张第二图像中的特征点与所述M个第一特征点进行匹配；
当第i个第一特征点在第j张第二图像中有匹配特征点时，将对应的匹配结果设置为aij＝1；
当第i个第一特征点在第j张第二图像中没有匹配特征点时，将对应的匹配结果设置为aij＝0；其中，i＝1，2，…，M，j＝1，2，…，N；
根据所述M个第一特征点在所述N张第二图像中的所有的匹配结果，相应获得所述特征点匹配结果。
具体的，结合上述实施例，可以采用SIFT算法或SURF算法(或者其他算法)分别对每一张第二图像进行特征点提取，并将每一张第二图像中提取到的特征点与第一图像中的M个第一特征点进行匹配，以第i个第一特征点与第j张第二图像中提取到的特征点的匹配情况为例，当第i个第一特征点在第j张第二图像中有匹配特征点时，将第i个第一特征点与第j张第二图像中提取到的特征点对应的匹配结果设置为aij＝1；当第i个第一特征点在第j张第二图像中没有匹配特征点时，将第i个第一特征点与第j张第二图像中提取到的特征点对应的匹配结果设置为aij＝0，其中，i＝1，2，…，M，j＝1，2，…，N；相应的，可以获得每一个第一特征点与每一张第二图像中提取到的特征点对应的匹配结果，根据M个第一特征点与N张第二图像中提取到的特征点对应的所有的匹配结果，相应获得上述特征点匹配结果。
需要说明的是，特征点匹配方法可以采用现有技术提供的合适的匹配方法，本发明实施例不作具体限定。
在又一个优选实施例中，所述方法还包括：
分别获取每一个第一特征点在所述N张第二图像中的匹配特征点的总数量；
当任意一个第一特征点的匹配特征点的总数量小于预设的数量阈值时，将该第一特征点从所述M个第一特征点中删除。
具体的，结合上述实施例，在获得特征点匹配结果之后，在根据特征点匹配结果获取每一个第一特征点在每一张第二图像中所对应的第二图像坐标值之前，可以根据特征点匹配结果对M个第一特征点进行相应筛选，在具体实施时，可以先获取每一个第一特征点在N张第二图像中对应的匹配特征点的总数量，再将获得的匹配特征点的总数量与预先设置的数量阈值进行比较，当判定任意一个第一特征点所对应的匹配特征点的总数量小于预先设置的数量阈值时，将该第一特征点从M个第一特征点中删除，之后，基于M-1个第一特征点，根据特征点匹配结果获取每一个第一特征点在每一张第二图像中所对应的第二图像坐标值。
在又一个优选实施例中，所述方法通过以下步骤根据所述特征点匹配结果获取第i个第一特征点在第j张第二图像中对应的第二图像坐标值：
当第i个第一特征点在第j张第二图像中有匹配特征点时，将第j张第二图像中的匹配特征点的图像坐标值作为第i个第一特征点在第j张第二图像中对应的第二图像坐标值；
当第i个第一特征点在第j张第二图像中没有匹配特征点时，将第i个第一特征点在第j张第二图像中对应的第二图像坐标值设置为pij＝(0，0)；其中，i＝1，2，…，M，j＝1，2，…，N。
具体的，结合上述实施例，每一个第一特征点在每一张第二图像中对应的第二图像坐标值的获取方法相同，这里以获取第i个第一特征点在第j张第二图像中对应的第二图像坐标值为例进行说明，结合上述获得的特征点匹配结果，当第i个第一特征点在第j张第二图像中有匹配特征点(即aij＝1)时，将第j张第二图像中与第i个第一特征点相匹配的匹配特征点在第j张第二图像中的图像坐标值作为第i个第一特征点在第j张第二图像中对应的第二图像坐标值；当第i个第一特征点在第j张第二图像中没有匹配特征点(即aij＝0)时，将第i个第一特征点在第j张第二图像中对应的第二图像坐标值设置为pij＝(0，0)。
在又一个优选实施例中，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系重合时，所述方法通过以下步骤获取第i个第一特征点的三维空间坐标值Pi：
根据公式
Figure BDA0003275351600000101
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi；其中，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure BDA0003275351600000102
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应的位姿参数。
需要说明的是，移动机器人自身具有对应的机器人坐标系(例如，若移动机器人的定位传感器为激光雷达，则机器人坐标系，即为定位坐标系，也即为激光雷达的坐标系)，移动机器人上的相机自身也具有对应的相机坐标系，相自身机一般是可旋转的，因此，机器人坐标系与相机坐标系有可能重合，也有可能不重合。
具体的，结合上述实施例，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系重合时，本发明实施例基于获得的移动机器人对应的N个的位姿参数、特征点匹配结果以及M个第一特征点在N张第二图像中对应的第二图像坐标值，可以通过公式
Figure BDA0003275351600000111
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure BDA0003275351600000112
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应移动机器人的位姿参数，
Figure BDA0003275351600000113
表示两个向量的欧氏距离。
其中，移动机器人上的相机的内参矩阵一般为已知参数，具体表示为
Figure BDA0003275351600000114
fα、fβ、u0和v0均为相机成像模型中的相机内参，fα和fβ分别表示相机X轴和Y轴对应的焦距，(u0，v0)表示相机主光轴与像平面的交点。
在又一个优选实施例中，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系不重合时，所述方法通过以下步骤获取第i个第一特征点的三维空间坐标值Pi：
根据公式
Figure BDA0003275351600000121
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi；其中，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure BDA0003275351600000122
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应的位姿参数，H表示所述相机坐标系与所述机器人坐标系之间的变换矩阵。
具体的，结合上述实施例，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系不重合时，可以求出移动机器人上的相机对应的相机坐标系与移动机器人对应的机器人坐标系之间的变换矩阵，记为H，则本发明实施例基于获得的移动机器人对应的N个的位姿参数、特征点匹配结果以及M个第一特征点在N张第二图像中对应的第二图像坐标值，可以通过公式
Figure BDA0003275351600000123
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure BDA0003275351600000124
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应的移动机器人的位姿参数，H表示移动机器人上的相机对应的相机坐标系与移动机器人对应的机器人坐标系之间的变换矩阵，
Figure BDA0003275351600000125
表示两个向量的欧氏距离。
在又一个优选实施例中，所述根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数，具体包括：
根据公式
Figure BDA0003275351600000126
进行求解，相应获得所述待标定相机的位姿参数Hc；其中，pi表示第i个第一特征点的第一图像坐标值，
Figure BDA0003275351600000127
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Kc表示所述待标定相机的内参矩阵。
具体的，结合上述实施例，在获得第一图像中的M个第一特征点对应的第一图像坐标值以及三维空间坐标值之后，可以通过公式
Figure BDA0003275351600000131
进行求解，相应获得待标定相机的位姿参数Hc，pi表示第i个第一特征点的第一图像坐标值，
Figure BDA0003275351600000132
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Kc表示待标定相机的内参矩阵，一般为已知参数。
需要说明的是，在已知M个第一特征点对应的第一图像坐标值以及三维空间坐标值的情况下，将M个三维空间坐标值投影到二维图像上，即可求解出待标定相机的变换矩阵Hc。
本发明实施例还提供了一种相机的外参标定装置，参见图2所示，是本发明提供的一种相机的外参标定装置的一个优选实施例的结构框图，所述装置包括：
第一图像获取及处理模块11，用于通过待标定相机获取第一图像，对所述第一图像进行特征点提取，获取M个第一特征点，并获取每一个第一特征点的第一图像坐标值；其中，M>0；
第二图像获取及处理模块12，用于通过移动机器人上的相机获取N个不同位置所对应的N张第二图像，并获取每一张第二图像所对应的位姿参数；其中，N>0；
特征点提取及匹配模块13，用于分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果；
特征点图像坐标获取模块14，用于根据所述特征点匹配结果获取每一个第一特征点在每一张第二图像中对应的第二图像坐标值；
特征点空间坐标获取模块15，用于根据所述N张第二图像所对应的位姿参数、所述特征点匹配结果以及所述M个第一特征点在所述N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值；
相机位姿获取模块16，用于根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数。
优选地，所述特征点提取及匹配模块13具体包括：
特征点提取单元，用于采用SIFT算法或SURF算法分别对每一张第二图像进行特征点提取；
特征点匹配单元，用于分别将每一张第二图像中的特征点与所述M个第一特征点进行匹配；
第一匹配结果设置单元，用于当第i个第一特征点在第j张第二图像中有匹配特征点时，将对应的匹配结果设置为aij＝1；
第二匹配结果设置单元，用于当第i个第一特征点在第j张第二图像中没有匹配特征点时，将对应的匹配结果设置为aij＝0；其中，i＝1，2，…，M，j＝1，2，…，N；
特征点匹配结果获取单元，用于根据所述M个第一特征点在所述N张第二图像中的所有的匹配结果，相应获得所述特征点匹配结果。
优选地，所述装置还包括特征点筛选模块，用于：
分别获取每一个第一特征点在所述N张第二图像中的匹配特征点的总数量；
当任意一个第一特征点的匹配特征点的总数量小于预设的数量阈值时，将该第一特征点从所述M个第一特征点中删除。
优选地，所述特征点图像坐标获取模块14具体包括：
第一特征点图像坐标获取单元，用于当第i个第一特征点在第j张第二图像中有匹配特征点时，将第j张第二图像中的匹配特征点的图像坐标值作为第i个第一特征点在第j张第二图像中对应的第二图像坐标值；
第二特征点图像坐标获取单元，用于当第i个第一特征点在第j张第二图像中没有匹配特征点时，将第i个第一特征点在第j张第二图像中对应的第二图像坐标值设置为pij＝(0，0)；其中，i＝1，2，…，M，j＝1，2，…，N。
优选地，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系重合时，所述特征点空间坐标获取模块15具体用于：
根据公式
Figure BDA0003275351600000151
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi；其中，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure BDA0003275351600000152
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应的位姿参数。
优选地，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系不重合时，所述特征点空间坐标获取模块15具体用于：
根据公式
Figure BDA0003275351600000153
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi；其中，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure BDA0003275351600000156
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应的位姿参数，H表示所述相机坐标系与所述机器人坐标系之间的变换矩阵。
优选地，所述相机位姿获取模块16具体用于：
根据公式
Figure BDA0003275351600000154
进行求解，相应获得所述待标定相机的位姿参数Hc；其中，pi表示第i个第一特征点的第一图像坐标值，
Figure BDA0003275351600000155
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Kc表示所述待标定相机的内参矩阵。
需要说明的是，本发明实施例所提供的一种相机的外参标定装置，能够实现上述任一实施例所述的相机的外参标定方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的相机的外参标定方法的作用以及实现的技术效果对应相同，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的相机的外参标定方法。
本发明实施例还提供了一种终端设备，参见图3所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的相机的外参标定方法。
优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。
需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图3结构框图仅仅是上述终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
综上，本发明实施例所提供的一种相机的外参标定方法、装置、计算机可读存储介质及终端设备，通过待标定相机获取第一图像，并基于第一图像获取M个第一特征点及其对应的第一图像坐标值，通过移动机器人上的相机获取N个不同位置所对应的N张第二图像以及移动机器人对应的N个的位姿参数，并分别将每一张第二图像中的特征点与M个第一特征点进行匹配，以根据特征点匹配结果获取每一个第一特征点在每一张第二图像中对应的第二图像坐标值，并根据移动机器人对应的N个的位姿参数、特征点匹配结果以及M个第一特征点在所述N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值，从而根据M个第一特征点的第一图像坐标值和三维空间坐标值，计算获得待标定相机的位姿参数，能够提高相机的外参标定的准确度，并且无需使用任何标定板或用户手动操作，计算简单，易于使用。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种相机的外参标定方法，其特征在于，包括：
通过待标定相机获取第一图像，对所述第一图像进行特征点提取，获取M个第一特征点，并获取每一个第一特征点的第一图像坐标值；其中，M>0；
通过移动机器人上的相机获取N个不同位置所对应的N张第二图像，并获取每一张第二图像所对应的位姿参数；其中，N>0；
分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果；
根据所述特征点匹配结果获取每一个第一特征点在每一张第二图像中对应的第二图像坐标值；
根据所述N张第二图像所对应的位姿参数、所述特征点匹配结果以及所述M个第一特征点在所述N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值；
根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数。
2.如权利要求1所述的相机的外参标定方法，其特征在于，所述分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果，具体包括：
采用SIFT算法或SURF算法分别对每一张第二图像进行特征点提取；
分别将每一张第二图像中的特征点与所述M个第一特征点进行匹配；
当第i个第一特征点在第j张第二图像中有匹配特征点时，将对应的匹配结果设置为aij＝1；
当第i个第一特征点在第j张第二图像中没有匹配特征点时，将对应的匹配结果设置为aij＝0；其中，i＝1，2，…，M，j＝1，2，…，N；
根据所述M个第一特征点在所述N张第二图像中的所有的匹配结果，相应获得所述特征点匹配结果。
3.如权利要求1所述的相机的外参标定方法，其特征在于，所述方法还包括：
分别获取每一个第一特征点在所述N张第二图像中的匹配特征点的总数量；
当任意一个第一特征点的匹配特征点的总数量小于预设的数量阈值时，将该第一特征点从所述M个第一特征点中删除。
4.如权利要求1所述的相机的外参标定方法，其特征在于，所述方法通过以下步骤根据所述特征点匹配结果获取第i个第一特征点在第j张第二图像中对应的第二图像坐标值：
当第i个第一特征点在第j张第二图像中有匹配特征点时，将第j张第二图像中的匹配特征点的图像坐标值作为第i个第一特征点在第j张第二图像中对应的第二图像坐标值；
当第i个第一特征点在第j张第二图像中没有匹配特征点时，将第i个第一特征点在第j张第二图像中对应的第二图像坐标值设置为pij＝(0，0)；其中，i＝1，2，…，M，j＝1，2，…，N。
5.如权利要求1所述的相机的外参标定方法，其特征在于，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系重合时，所述方法通过以下步骤获取第i个第一特征点的三维空间坐标值Pi：
根据公式
Figure FDA0003275351590000021
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi；其中，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure FDA0003275351590000022
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应的位姿参数。
6.如权利要求1所述的相机的外参标定方法，其特征在于，当移动机器人对应的机器人坐标系与移动机器人上的相机对应的相机坐标系不重合时，所述方法通过以下步骤获取第i个第一特征点的三维空间坐标值Pi：
根据公式
Figure FDA0003275351590000031
进行求解，相应获得第i个第一特征点的三维空间坐标值Pi；其中，aij表示第i个第一特征点在第j张第二图像中的匹配结果，pij表示第i个第一特征点在第j张第二图像中对应的第二图像坐标值，
Figure FDA0003275351590000032
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Ks表示移动机器人上的相机的内参矩阵，Hj表示第j张第二图像所对应的位姿参数，H表示所述相机坐标系与所述机器人坐标系之间的变换矩阵。
7.如权利要求1～6任一项所述的相机的外参标定方法，其特征在于，所述根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数，具体包括：
根据公式
Figure FDA0003275351590000033
进行求解，相应获得所述待标定相机的位姿参数Hc；其中，pi表示第i个第一特征点的第一图像坐标值，
Figure FDA0003275351590000034
表示将第i个第一特征点的三维空间坐标值Pi转换到图像平面后的图像坐标值，Kc表示所述待标定相机的内参矩阵。
8.一种相机的外参标定装置，其特征在于，包括：
第一图像获取及处理模块，用于通过待标定相机获取第一图像，对所述第一图像进行特征点提取，获取M个第一特征点，并获取每一个第一特征点的第一图像坐标值；其中，M>0；
第二图像获取及处理模块，用于通过移动机器人上的相机获取N个不同位置所对应的N张第二图像，并获取每一张第二图像所对应的位姿参数；其中，N>0；
特征点提取及匹配模块，用于分别对每一张第二图像进行特征点提取，并将每一张第二图像中的特征点与所述M个第一特征点进行匹配，获取特征点匹配结果；
特征点图像坐标获取模块，用于根据所述特征点匹配结果获取每一个第一特征点在每一张第二图像中对应的第二图像坐标值；
特征点空间坐标获取模块，用于根据所述N张第二图像所对应的位姿参数、所述特征点匹配结果以及所述M个第一特征点在所述N张第二图像中对应的第二图像坐标值，分别获取每一个第一特征点的三维空间坐标值；
相机位姿获取模块，用于根据所述M个第一特征点的第一图像坐标值和三维空间坐标值，获取所述待标定相机的位姿参数。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～7任一项所述的相机的外参标定方法。
10.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1～7任一项所述的相机的外参标定方法。
CN202111118318.6A 2021-09-23 2021-09-23 一种相机的外参标定方法、装置、存储介质及终端设备 Pending CN113989377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111118318.6A CN113989377A (zh) 2021-09-23 2021-09-23 一种相机的外参标定方法、装置、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111118318.6A CN113989377A (zh) 2021-09-23 2021-09-23 一种相机的外参标定方法、装置、存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN113989377A true CN113989377A (zh) 2022-01-28

Family

ID=79736503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111118318.6A Pending CN113989377A (zh) 2021-09-23 2021-09-23 一种相机的外参标定方法、装置、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113989377A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001526A1 (zh) * 2022-06-28 2024-01-04 北京字跳网络技术有限公司 图像处理方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001526A1 (zh) * 2022-06-28 2024-01-04 北京字跳网络技术有限公司 图像处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
WO2021115071A1 (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
WO2022170844A1 (zh) 一种视频标注方法、装置、设备及计算机可读存储介质
JP5538617B2 (ja) 複数カメラのキャリブレーション用の方法および構成
CN110070564B (zh) 一种特征点匹配方法、装置、设备及存储介质
WO2018228436A1 (zh) 双视角图像校准及图像处理方法、装置、存储介质和电子设备
CN108711144B (zh) 增强现实方法及装置
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
JP2008506953A5 (zh)
WO2022105415A1 (zh) 关键帧图像的采集方法、装置、系统和三维重建方法
EP3420532B1 (en) Systems and methods for estimating pose of textureless objects
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN112446917B (zh) 一种姿态确定方法及装置
CN114549765A (zh) 三维重建方法及装置、计算机可存储介质
CN109598674B (zh) 一种图像拼接方法及装置
CN113989377A (zh) 一种相机的外参标定方法、装置、存储介质及终端设备
JP7214007B2 (ja) ゴルフボールオントップ式検出方法、システム及び記憶媒体
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN111445513A (zh) 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质
CN114638921B (zh) 动作捕捉方法、终端设备及存储介质
CN109389645B (zh) 相机自校准方法、系统、相机、机器人及云端服务器
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
CN108426566B (zh) 一种基于多摄像机的移动机器人定位方法
CN112184766A (zh) 一种对象的跟踪方法、装置、计算机设备和存储介质
CN113033256A (zh) 一种指尖检测模型的训练方法和设备
JP7214006B2 (ja) ゴルフボールオンフロア式検出方法、システム及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination