CN114022560A - 标定方法及相关装置、设备 - Google Patents

标定方法及相关装置、设备 Download PDF

Info

Publication number
CN114022560A
CN114022560A CN202111199862.8A CN202111199862A CN114022560A CN 114022560 A CN114022560 A CN 114022560A CN 202111199862 A CN202111199862 A CN 202111199862A CN 114022560 A CN114022560 A CN 114022560A
Authority
CN
China
Prior art keywords
feature point
parameter
original image
pose
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111199862.8A
Other languages
English (en)
Inventor
张壮
姜翰青
冯友计
邵文坚
刘浩敏
章国锋
鲍虎军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202111199862.8A priority Critical patent/CN114022560A/zh
Publication of CN114022560A publication Critical patent/CN114022560A/zh
Priority to PCT/CN2022/105803 priority patent/WO2023060964A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/23—Testing, monitoring, correcting or calibrating of receiver elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种标定方法及相关装置、设备，其中，标定方法包括：获取相机在第一时序拍摄的原始图像以及获取传感器在第一时序测量得到的第一位姿参数；基于原始图像中的第一特征点，得到原始图像的第二位姿参数；基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点；基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数。上述方案，能够降低标定成本和复杂度。

Description

标定方法及相关装置、设备
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种标定方法及相关装置、设备。
背景技术
诸如应用于全球卫星定位系统、惯性导航系统等的传感器与相机在工业测量、机器人、自动驾驶等诸多领域有着广泛的应用前景。其中，传感器与相机之间的相对位姿标定是制约数据融合精度的关键因素。
目前，工程中通常引入激光雷达，作为标定传感器与相机之间的对位姿的中间媒介；而传统的手眼标定依赖于传感器在六自由度(Degree of Freedom，DoF)上充分运动。由此可见，现有标定方式存在成本高且流程复杂的缺陷。有鉴于此，如何降低标定成本和复杂度成为亟待解决的问题。
发明内容
本申请提供一种标定方法及相关装置、设备。
本申请第一方面提供了一种标定方法，包括：获取相机在第一时序拍摄的原始图像以及获取传感器在第一时序测量得到的第一位姿参数；基于原始图像中的第一特征点，得到原始图像的第二位姿参数；基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点；基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数。
因此，获取相机在第一时序拍摄的原始图像以及获取传感器在第一时序测量得到的第一位姿参数，并基于原始图像中的第一特征点，得到原始图像的第二位姿参数，在此基础上，再基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点，从而基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数，故无需诸如激光雷达的中间媒介即可直接标定传感器与相机，且通过将传统手眼标定构建的方程求解问题转换为位置差异的优化问题，进而标定过程中降低对全自由度上充分运动的依赖，故此能够降低标定成本和复杂度。
其中，基于原始图像中的第一特征点，得到原始图像的第二位姿参数，包括：基于原始图像中的第一特征点进行位姿估计，得到原始图像的第二位姿参数，并基于第二位姿参数，得到第一特征点在相机的第二空间坐标系中的第四特征点；基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，包括：将第一位姿参数和第二位姿参数进行对齐，得到第一空间坐标系和第二空间坐标系之间的坐标转换参数；利用坐标转换参数对第四特征点进行转换，得到第二特征点。
因此，通过基于原始图像中的第一特征点进行位姿估计，得到原始图像的第二位姿参数，并基于第二位姿参数，得到第一特征点在相机的第二空间坐标系中的第四特征点，在此基础上，再将第一位姿参数和第二位姿参数进行对齐，得到第一空间坐标系和第二空间坐标系之间的坐标转换参数，从而利用坐标转换参数对第四特征点进行转换，得到第二特征点，即可以根据传感器的第一位姿参数和原始图像的位姿估计的一致性来优化调整传感器与相机之间的位姿转换参数，有利于提高标定准确性。
其中，基于原始图像中的第一特征点进行位姿估计，得到原始图像的第二位姿参数，包括：在原始图像中的第一特征点、原始图像的拍摄位置和原始图像的拍摄视角满足预设条件的情况下，将原始图像作为当前的目标图像；其中，拍摄位置是利用第一位姿参数得到的；利用目标图像中的第一特征点进行位姿估计，得到目标图像的第二位姿参数；基于第二位姿参数，得到第一特征点在相机的第二空间坐标系中的第四特征点，包括：利用第二位姿参数对第一特征点进行三角化处理，得到第一特征点在相机的第二空间坐标系中的第四特征点。
因此，在原始图像中的第一特征点、原始图像的拍摄位置和原始图像的拍摄视角满足预设条件的情况下，将原始图像作为当前的目标图像，且拍摄位置是利用第一位姿参数得到的，在此基础上，利用目标图像中的第一特征点进行位姿估计，得到目标图像的第二位姿参数，并利用第二位姿参数对第一特征点进行三角化处理，得到第一特征点在相机的第二空间坐标系中的第四特征点，故能够在三维重建过程中结合传感器的第一位姿参数选取目标图像，能够降低重建过程中引入冗余数据的可能性，有利于提高标定准确性。
其中，在将原始图像作为当前的目标图像之前，还执行以下至少一者：获取原始图像中满足匹配条件的第一特征点的总数量，获取原始图像与之前的目标图像之间的第一拍摄位置差，获取原始图像与之前的目标图像之间的视差；其中，匹配条件为与第二空间坐标系中已有的第四特征点匹配，第二空间坐标系中已有的第四特征点是利用之前的目标图像中的第一特征点得到的，且预设条件包括以下至少一者：总数量大于第一阈值，第一拍摄位置差大于第二阈值，视差大于第三阈值。
因此，在将原始图像作为当前的目标图像之前，先执行以下至少一者：获取原始图像中满足匹配条件的第一特征点的总数量，获取原始图像与之前的目标图像之间的第一拍摄位置差，获取原始图像与之前的目标图像之间的视差，且匹配条件为与第二空间坐标系中已有的第四特征点匹配，第二空间坐标系中已有的第四特征点是利用之前的目标图像中的第一特征点得到的，且预设条件包括以下至少一者：总数量大于第一阈值，第一拍摄位置差大于第二阈值，视差大于第三阈值，故通过总数量、第一拍摄位置差和视差来选取目标图像，能够有利于进一步降低重建过程中引入冗余数据的可能性，有利于提高标定准确性。
其中，在获取原始图像与之前的目标图像之间的第一拍摄位置差之前，方法包括：分别获取两两相邻的之前的目标图像之间的第二拍摄位置差；统计第二拍摄位置差的平均值，得到第二阈值。
因此，通过分别获取两两相邻的之前的目标图像之间的第二拍摄位置差，并统计第二拍摄位置差的平均值，得到第二阈值，故能够基于之前的目标图像获取第二阈值，故能够在增量式的三维重建过程中，基于新引入的目标图像不断更新第二阈值，从而能够有利于进一步提高标定准确性。
其中，获取原始图像与之前的目标图像之间的第一拍摄位置差，包括：获取原始图像的第一拍摄位置，并获取最接近原始图像的之前的目标图像的第二拍摄位置；将第一拍摄位置与第二拍摄位置之间的差值，作为第一拍摄位置差。
因此，通过获取原始图像的第一拍摄位置，并获取最接近原始图像的之前的目标图像的第二拍摄位置，在此基础上，将第一拍摄位置与第二拍摄位置之间的差值，作为第一拍摄位置差，能够有利于提高第一拍摄位置差的准确性。
其中，基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数，包括：基于位置差异，构建以参考转换参数为优化对象的目标函数，并求解目标函数，得到位姿转换参数。
因此，通过基于位置差异，构建以参考转换参数为优化对象的目标函数，并求解目标函数得到位姿转换参数，有利于提高位姿转换参数的准确性。
其中，基于位置差异，构建以参考转换参数为优化对象的目标函数，包括：获取相机与传感器之间的初始转换参数，并获取参考转换参数与初始转换参数之间的参数差异；以及，获取第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异；基于参数差异和位置差异，构建目标函数。
因此，获取相机与传感器之间的初始转换参数，并获取参考转换参数与初始转换参数之间的参数差异，以及获取第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，从而基于参数差异和位置差异，构建目标函数，即目标函数是参考参数差异以及位置差值两者共同构建的，故即使传感器在标定过程中运动不充分，也能够尽可能地确保求解到的位姿转换参数接近于真值，故能够有利于进一步提高标定准确性。
其中，第二特征点是基于至少一个目标图像中的第一特征点得到的，且目标图像是从若干第一时序的原始图像中选取得到的；获取第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，包括：分别将目标图像，作为当前图像；获取第二特征点在当前图像中对应的第一特征点的第一位置信息，并获取第二特征点投影至当前图像中的第三特征点的第二位置信息；其中，第二位置信息是利用相机的内部参数、参考转换参数和当前图像对应的第一时序所测量到的第一位姿参数对第二特征点进行投影得到的；基于第一位置信息和第二位置信息，获取第一特征点和第三特征点之间的像素距离；统计至少一个目标图像的像素距离，得到位置差异。
因此，第二特征点是基于至少一个目标图像中的第一特征点得到的，且目标图像是从若干第一时序的原始图像中选取得到的，在此基础上，分别将目标图像作为当前图像，从而获取第二特征点在当前图像中对应的第一特征点的第一位置信息，并获取第二特征点投影至当前图像中的第三特征点的第二位置信息，且第二位置信息是利用相机的内部参数、参考转换参数和当前图像对应的第一时序所测量到的第一位姿参数对第二特征点进行投影得到的，进而基于第一位置信息和第二位置信息，获取第一特征点和第三特征点之间的像素距离，并统计至少一个目标图像的像素距离，得到位置差异，故此能够统计三维重建所得到的第二特征点在目标图像中的第一特征点以及第二特征点投影至目标图像中的第三特征点之间的像素距离，以得到位置差异，能够有利于提高位置差异的准确性。
其中，第一位置信息包括第一特征点的第一像素坐标，且第二位置信息包括第三特征点的第二像素坐标；基于第一位置信息和第二位置信息，获取第一特征点和第三特征点之间的像素距离，包括：在当前图像存在第二特征点对应的第一特征点的情况下，利用第一像素坐标和第二像素坐标，获取第一特征点和第三特征点之间的像素距离；在当前图像不存在第二特征点对应的第一特征点的情况下，将像素距离设置为预设数值。
因此，第一位置信息包括第一特征点的第一像素坐标，且第二位置信息包括第三特征点的第二像素坐标，并在当前图像存在第二特征点对应的第一特征点的情况下，利用第一像素坐标和第二像素坐标，获取第一特征点和第三特征点之间的像素距离，以及在当前图像不存在第二特征点对应的第一特征点的情况下，将像素距离设置为预设数值，能够有利于提高像素距离的准确性。
其中，相机与传感器设置于预设载体，原始图像和第一位姿参数是在预设载体进行非直线运动过程中获取到的。
因此，将相机与传感器设置于预设载体，且原始图像和第一位姿参数是在预设载体进行非直线运动过程中获取到的，能够避免标定过程中矩阵退化，从而能够有利于提高标定准确性。
本申请第二方面提供了一种标定装置，包括：信息获取模块、参数获取模块、点云获取模块和参数调整模块，信息获取模块用于获取相机在第一时序拍摄的原始图像以及获取传感器在第一时序测量得到的第一位姿参数；参数获取模块用于基于原始图像中的第一特征点，得到原始图像的第二位姿参数；点云获取模块用于基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点；参数调整模块用于基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的标定方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的标定方法。
上述方案，获取相机在第一时序拍摄的原始图像以及获取传感器在第一时序测量得到的第一位姿参数，并基于原始图像中的第一特征点，得到原始图像的第二位姿参数，在此基础上，再基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点，从而基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数，故无需诸如激光雷达的中间媒介即可直接标定传感器与相机，且通过将传统手眼标定构建的方程求解问题转换为位置差异的优化问题，进而标定过程中降低对全自由度上充分运动的依赖，故此能够降低标定成本和复杂度。
附图说明
图1是本申请标定方法一实施例的流程示意图；
图2是图1中步骤S14一实施例的流程示意图；
图3是本申请标定方法另一实施例的流程示意图；
图4是本申请标定装置一实施例的框架示意图；
图5是本申请电子设备一实施例的框架示意图；
图6是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请标定方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取相机在第一时序拍摄的原始图像以及获取传感器在第一时序测量得到的第一位姿参数。
在一个实施场景中，传感器的应用范围可以包括但不限于：全球卫星导航卫星系统(Global Navigation Satellite System，GNSS)、惯性导航系统(Inertial NavigationSystem，INS)等，在此不做限定。例如，传感器可以同时应用于全球卫星导航系统和惯性导航系统，在此不做限定。
在另一个实施场景中，相机与传感器可以设置于预设载体，且原始图像和第一位姿参数是在预设载体进行非直线运动过程中获取到的，即在标定过程中，仅需确保预设载体以非直线运动即可，而无需在六自由度充分运动，有利于降低标定复杂度。
在一个具体的实施场景中，预设载体可以根据实际应用情况进行设置，例如，在自动驾驶领域中，预设载体可以为车体，即相机与传感器可以设置于车体，如传感器可以设置于车顶，相机可以设置于前挡风玻璃附近等，在此不做限定；或者，在机器人领域中，传感器可以设置为机器人内部，相机可以设置于机器人顶部等，在此不做限定。其他场景可以以此类推，在此不再一一举例。
在另一个具体的实施场景中，上述非直线运动可以包括但不限于平动、转动等，在此不做限定。例如，预设载体在标定过程中可以做曲线运动等，以此类推，在此不再一一举例。
在一个实施场景中，相机每秒拍摄N张原始图像，则在拍摄该N张原始图像的N个第一时序下，传感器分别在该N个第一时序相应测量出第一位姿参数。例如，可以获取相机在第一时序t01拍摄到的原始图像01以及传感器在t01测量到的第一位姿参数；可以获取相机在第一时序t02拍摄到的原始图像02以及传感器在t02测量到的第一位姿参数，以此类推，在此不再一一举例。
步骤S12：基于原始图像中的第一特征点，得到原始图像的第二位姿参数。
在一个实施场景中，原始图像中的第一特征点可以通过SIFT(Scale-InvariantFeature Transform，尺度不变特征变换)、ORB(Oriented Fast and Rotated Brief)等方式提取得到，在此不做限定。
在一个具体的实施场景中，第一特征点可以包括原始图像中较为显著的点，例如，可以包括但不限于：轮廓点、较暗区域中的亮点、较亮区域中的暗点等等，在此不做限定。
在另一个具体的实施场景中，为了描述第一特征点的属性，在利用诸如SIFT、ORB等方式提取原始图像中的第一特征点时，还可以获取第一特征点的第一特征表示。第一特征表示可以以0-1向量表示，具体可以参阅诸如SIFT、ORB相关技术描述，在此不再赘述。
在一个实施场景中，可以基于原始图像中第一特征点进行三维重建，三维重建包含特征匹配等过程，从而可以通过特征匹配，得到原始图像的第二位姿参数。三维重建的具体过程可以参阅诸如SFM(Structure From Motion)等重建方式，具体过程在此不再赘述。
在另一个实施场景中，为了尽可能地降低引入冗余数据的概率，可以在原始图像中的第一特征点、原始图像的拍摄位置和原始图像的拍摄视角满足预设条件的情况下，将原始图像作为当前的目标图像，且拍摄位置是利用第一位姿参数得到的，在此基础上，可以利用目标图像中的第一特征点进行位姿估计，得到目标图像的第二位姿参数。具体可以参阅下述公开实施例中相关描述，在此暂不赘述。故此，可以仅筛选满足预设条件的原始图像，作为后续三维重建的目标图像，从而可以尽可能地降低引入冗余数据的概率，提高标定准确性。
在一个具体的实施场景中，在原始图像为相机拍摄到的第一帧图像的情况下，可以直接将该原始图像作为目标图像。至此之后，每一帧原始图像，可以通过判断是否满足上述预设条件，来确定是否将其作为目标图像。
在另一个具体的实施场景中，在传感器应用于前述全球卫星导航系统、惯性导航系统的情况下，可以通过全球卫星导航系统测量得到拍摄位置，在此基础上，可以获取到传感器的平移参数t。此外，还可以利用惯性导航系统测量得到x、y和z轴上的加速度，在此基础上，可以获取到传感器的旋转参数R。
步骤S13：基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点。
在一个实施场景中，基于原始图像中的第一特征点进行位姿估计，可以得到原始图像的第二位姿参数，并可以基于第二位姿参数，得到第一特征点在相机的第二空间坐标系中的第四特征点。具体过程可以参阅下述公开实施例中相关描述，在此不再赘述。在此基础上，可以将第一位姿参数和第二位姿参数进行对齐，得到传感器的第一空间坐标系和相机的第二空间坐标系之间的坐标转换参数，从而可以利用坐标转换参数对第四特征点进行转换，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点。
在一个具体的实施场景中，具体可以基于诸如ICP(Iterative Closest Point，最近迭代点)等方式，将第一位姿参数和第二位姿参数进行对齐，得到第一空间坐标系和第二空间坐标系之间的坐标转换参数。ICP的具体对齐过程在此不再赘述。例如，通过前述三维重建过程，可以从原始图像中依次筛选得到目标图像01、目标图像02、……、目标图像M，并可以分别获取到上述目标图像的第二位姿参数以及在上述目标图像的时序传感器所测量得到的第一位姿参数，即可以获取到运动过程中不同轨迹点上，通过相机视觉观测的第二位姿参数和通过传感器测量的第一位姿参数，通过将两者对齐，可以统一观测，并利用坐标转换参数对第四特征点进行转换，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，可以使得重建得到的第四特征点对齐至传感器所处的第一空间坐标系，以提高后续求解位姿转换参数的准确性。
在另一个具体的实施场景中，通过将第一位姿参数和第二位姿参数进行对齐，可以得到相机的第二空间坐标系转换至传感器的第一空间坐标系的坐标转换参数，在此基础上，可以将第四特征点在相机的第二空间坐标系中的坐标信息乘以该坐标转换参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点。为了便于描述，本公开实施例以及下述公开实施例中，可以将第一空间坐标系同第j个第二特征点记为Xj，且该第二特征点Xj在第i个目标图像中对应的第一特征点记为xj。
在一个实施场景中，具体可以利用相机的内部参数、参考转换参数和第一位姿参数，将第二特征点进行投影，得到第二特征点投影至原始图像中的第三特征点。
在一个具体的实施场景中，相机的内部参数是与相机自身特性相关的参数，比如可以包括但不限于相机的焦距、像素大小等等。为了便于描述，可以将相机的内部参数记为K。此外，相机的内部参数K具体可以表示为：
Figure BDA0003304516030000111
上述公式(1)中，fx和fy分别表示水平方向焦距和垂直方向焦距，x0、y0表示主点坐标，s表示坐标轴倾斜参数。
在另一个具体的实施场景中，参考转换参数具体可以包括旋转转换参数TR和平移转换参数Tt，此外，第一位姿参数具体可以包括旋转参数R和平移参数t，则可以通过下式得到第二特征点Xj投影至原始图像中的第三特征点x'j：
xj′＝K(TRRiXj+TRti+Tt)……(2)
上述公式(2)中，Ri表示第i个原始图像的第一位姿参数中的旋转参数，ti表示第i个原始图像的第一位姿参数中的平移参数，xj′表示第二特征点Xj投影至第i个原始图像中的第三特征点。需要说明的是，在筛选原始图像中目标图像，并利用目标图像进行三维重建的情况下，Ri表示第i个目标图像的第一位姿参数中的旋转参数，ti表示第i个目标图像的第一位姿参数中的平移参数，xj′表示第二特征点Xj投影至第i个目标图像中的第三特征点。需要说明的是，与所要求解的位姿转换参数类似地，参考转换参数也表征传感器与相机之间的标定关系。不同之处在于，参考转换参数可以预先设置，且参考转换参数可以在后续步骤进行优化调整，优化调整完毕的参考转换参数即可作为位姿转换参数。优化调整的具体过程可以参阅后续描述，在此暂不赘述。
步骤S14：基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数。
在一个实施场景中，在参考转换参数足够准确的情况下，第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异应尽可能地小，故通过最小化位置差异来调整参考转换参数，可以得到位姿转换参数的最优解。
在一个具体的实施场景中，参考转换参数可以设置为一未知量，从而可以将第三特征点以未知量“参考转换参数”予以表示，在此基础上，可以最小化位置差异，求解得到参考转换参数的最优解，并可以将该最优化解作为最终的位姿转换参数。
在另一个具体的实施场景中，参考转换参数也可以先设置为一初始值，并利用初始值获取位置差异，从而可以基于位置差异，来调大(或调小)初始值，并根据调整后的参考转换参数，重新计算位置差异，最终可以在位置差异不再减小(或位置差异小于预设阈值)的情况下，将最新的参考转换参数作为最终的位姿转换参数。
在另一个实施场景中，可以基于位置差异，构建以参考转换参数为优化对象的目标函数，并求解目标函数，并将求解结果作为最终的位姿转换参数。具体可以参阅下述公开实施例中相关描述，在此不再赘述。
上述方案，获取相机在第一时序拍摄的原始图像以及获取传感器在第一时序测量得到的第一位姿参数，并基于原始图像中的第一特征点，得到原始图像的第二位姿参数，在此基础上，再基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点，从而基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数，故无需诸如激光雷达的中间媒介即可直接标定传感器与相机，且通过将传统手眼标定构建的方程求解问题转换为位置差异的优化问题，进而标定过程中降低对全自由度上充分运动的依赖，故此能够降低标定成本和复杂度。
请参阅图2，图2是图1中步骤S14一实施例的流程示意图。具体地，图2是基于位置差异构建目标函数一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S21：获取相机与传感器之间的初始转换参数，并获取参考转换参数与初始转换参数之间的参数差异。
在一个实施场景中，初始转换参数可以包括初始旋转转换参数和初始平移转换参数。为了便于描述，可以将初始旋转转换参数记为TR0，并可以将初始平移转换参数记为Tt0。如前所述，相机与传感器设置于预设载体上，进一步地，相机与传感器具体可以以预设相对位置设置于预设载体上。在此基础上，可以基于两者之间的预设相对位置，获取两者之间的初始转换参数。例如，若传感器的第一空间坐标系的x轴与相机的第二空间坐标系的x轴同方向，传感器的第一空间坐标系的y轴与相机的第二空间坐标系的y轴同方向，且传感器的第一空间坐标系的z轴与相机的第二空间坐标系的z轴同方向，则可以将初始旋转转换参数TR0表示为：
Figure BDA0003304516030000131
此外，若传感器的第一空间坐标系的原点与相机的第二空间坐标系的原点在x轴方向偏差-0.02，在y轴方向偏差-0.06，在z轴方向偏差0.01，则可以将初始平移转换参数Tt0表示为：
Figure BDA0003304516030000141
在预设相对位置为其他位置的情况下，初始转换参数可以以此类推，在此不再一一举例。
步骤S22：获取第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异。
在一个实施场景中，如前所述，第二特征点可以是基于至少一个目标图像中的第一特征点得到的，且目标图像是从若干第一时序的原始图像中选取得到的，在此基础上，可以分别将目标图像作为当前图像，从而获取第二特征点在当前图像中对应的第一特征点的第一位置信息，并获取第二特征点投影至当前图像中的第三特征点的第二位置信息，且第二位置信息是利用相机的内部参数、参考转换参数和当前图像对应的第一时序所测量得到的第一位姿参数对第二特征点进行投影得到的。具体投影过程可以参阅前述公开实施例中相关描述，在此不再赘述。在此基础上，可以基于第一位置信息和第二位置信息，获取第一特征点和第三特征点之间的像素距离，并统计至少一个目标图像的像素距离，得到位置差异。上述方式，通过对至少一个目标图像进行统计，以获取位置差异，能够有利于提高位置差异的准确性。
在一个具体的实施场景中，第一位置信息包括第一特征点的第一像素坐标，且第二位置信息包括第三特征点的第二像素坐标，在当前图像存在第二特征点对应的第一特征点的情况下，可以利用第一像素坐标和第二像素坐标，获取第一特征点和第三特征点之间的像素距离，而在当前图像不存在第二特征点对应的第一特征点的情况下，可以将像素距离设置为预设数值。预设数值可以根据实际应用需要进行设置，例如可以将预设数值设置为0，在此不做限定。上述方式，通过区分当前图像中是否存在与第二特征点对应的第一特征点来获取像素距离，能够有利于提高像素距离的准确性。
在另一个具体的实施场景中，为了便于描述，至少一个目标图像的数量可以记为n，第二特征点的数量可以记为m，像素距离可以表示为vij||K(TRRiXj+TRti+Tt)-xj||。其中，在当前图像i存在第二特征点Xj对应的第一特征点xj的情况下，vij可以取1，即此时像素距离可以通过第一特征点的第一像素坐标和第三特征点的第二像素坐标计算得到；而在当前图像i不存在第二特征点Xj对应的第一特征点xj的情况下，vij可以取预设数值(如，0)。进一步地，通过统计至少一个目标图像，可以得到位置差异
Figure BDA0003304516030000151
步骤S23：基于参数差异和位置差异，构建目标函数。
具体地，如前所述，为了便于描述，位置差异可以表示为
Figure BDA0003304516030000152
此外，参数差异可以表示为||ψ(TR,Tt,TR0,Tt0)||，在此基础上，目标函数可以表示为：
Figure BDA0003304516030000153
区别于前述实施例，获取相机与传感器之间的初始转换参数，并获取参考转换参数与初始转换参数之间的参数差异，以及获取第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，从而基于参数差异和位置差异，构建目标函数，即目标函数是参考参数差异以及位置差值两者共同构建的，故即使传感器在标定过程中运动不充分，也能够尽可能地确保求解到的位姿转换参数接近于真值，故能够有利于进一步提高标定准确性。
请参阅图3，图3是本申请标定方法另一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S31：获取相机在第一时序拍摄的原始图像以及获取传感器在第一时序测量得到的第一位姿参数。
具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S32：基于原始图像中的第一特征点进行位姿估计，得到原始图像的第二位姿参数，并基于第二位姿，得到第一特征点在相机的第二空间坐标系中的第四特征点。
在一个实施场景中，为了尽可能地降低引入冗余数据的概率，提高标定效率和准确性，可以在原始图像中的第一特征点、原始图像的拍摄位置和原始图像的拍摄视角满足预设条件的情况下，将原始图像作为当前的目标图像，并利用目标图像的第一特征点进行位姿估计，得到目标图像的第二位姿参数，从而可以利用第二位姿参数对第一特征点进行三角化处理，得到第一特征点在相机的第二空间坐标系中的第四特征点。
在一个具体的实施场景中，如前述公开实施例所述，在原始图像为相机拍摄到的第一帧图像的情况下，可以直接将该原始图像作为目标图像，并将该目标图像的第二位姿参数设置为预设位姿参。
在另一个具体的实施场景中，可以预先执行以下至少一者：获取原始图像中满足匹配条件的第一特征点的总数量，获取原始图像与之前的目标图像之间的第一拍摄位置差，获取原始图像与之前的目标图像之间的视差，在此基础上，上述匹配条件可以设置为相机的第二空间坐标系中已有的第四特征点匹配，而第二空间坐标系中已有的第四特征点具体可以是利用之前的目标图像中的第一特征点得到的，且预设条件可以设置为包括以下至少一者：总数量大于第一阈值，第一拍摄位置差大于第二阈值，视差大于第三阈值。故此，可以通过总数量、第一拍摄位置差和视差来选取目标图像，能够有利于进一步降低重建过程中引入冗余数据的可能性，有利于提高标定准确性。需要说明的是，为了最大可能地降低引入冗余数据的概率，提高标定效率和准确性，上述获取总数量、获取第一拍摄位置差、获取视差的步骤可以全部执行，且上述预设条件可以包括：总数量大于第一阈值，第一拍摄位置差大于第二阈值，且视差大于第三阈值，以结合总数量、第一拍摄位置差和视差三者共同来选取目标图像。
具体地，可以利用之前的目标图像中的第一特征点进行位姿估计，得到之前的目标图像的第二位姿参数，从而可以利用之前的目标图像对其第一特征点进行三角化处理，得到之前的目标图像中的第一特征点在第二空间坐标系中的第四特征点，故此可以实现“增量式”的三维重建。
具体地，在利用诸如SIFT、ORB等方式提取第一特征点的同时，还可以获取第一特征点的特征表示，在此基础上，若第一特征点的特征表示与已有的第四特征点在之前的目标图像中所对应的第一特征点的特征表示之间的特征相似度大于预设相似度阈值，则可以认为第一特征点与已有的第四特征点匹配，反之，则可以认为第一特征点与已有的第四特征点不匹配。此外，获取特征表示的具体过程可以参阅SIFT、ORB相关技术，在此不再赘述。故此，若原始图像中满足匹配条件的第一特征点的总数量大于第一阈值，则可以认为原始图像与已有的第四特征点所构成的地图之间存在较高的共同观测，可以将该原始图像作为候选图像。
具体地，可以基于在原始图像的第一时序所测量得到的第一位姿参数，获取原始图像的第一拍摄位置，并获取最接近原始图像的之前的目标图像，以及基于在该目标图像的第一时序所测量得到的第一位姿参数，获取该目标图像的第二拍摄位置，在此基础上，可以将第一拍摄位置和第二拍摄位置之间的差值，作为第一拍摄位置差。为了便于描述，可以将第k+1个原始图像的第一拍摄位置记为Ck+1，并将最接近该原始图像的之前的目标图像的第一时序记为f(k+1)，从而可以将第一时序为f(k+1)的目标图像的第二拍摄位置记为Cf(k+1)。在此基础上，第一拍摄位置和第二拍摄位置之间的差值可以记为|Ck+1-Cf(k+1)|。
具体地，可以分别获取两两相邻的之前的目标图像之间的第二拍摄位置差，并统计第二拍摄位置差的平均值，得到第二阈值。为了便于描述，可以将之前的目标图像中第k个目标图像的拍摄位置记为Ck，并将最接近该目标图像k的目标图像(如，最接近该目标图像k且位于目标图像k之前的目标图像，或者，最接近该目标图像k且位于目标图像k之后的目标图像)的第一时序记为f(k)，进一步地，第一时序为f(k)的目标图像的拍摄位置可以记为Cf(k)。在此基础上，第二拍摄位置差可以记为|Ck-Cf(k)|。在之前的目标图像共有K个的情况下，平均值
Figure BDA0003304516030000171
可以表示为：
Figure BDA0003304516030000172
进一步地，第二阈值可以表示为平均值与一预设系数σ之间的乘积
Figure BDA0003304516030000173
具体地，预设系数σ可以根据实际应用情况进行设置，例如可以设置为小于1，在此不做限定。故此，若候选图像进一步满足第一拍摄位置差大于第二阈值，则可以认为候选图像偏离之前的目标图像较大的拍摄距离，可以继续保留该候选图像。
具体地，视差可以利用空间中某一点投影至不同图像上的成像位置之间的差异来获取得到，具体过程可以参阅三角化相关描述，在此不再赘述。故此，若候选图像与之前的目标图像之间的视差进一步满足大于第三阈值，则可以将该候选图像作为目标图像，从而能够有利于降低因图像驻留导致后续三角化误差变大的概率，从而提高重建精度。
在又一个具体的实施场景中，为了降低位姿估计的复杂度，可以基于词袋模型，利用第一特征点的特征表示构建得到场景图，以关联目标图像。例如，可以关联目标图像1和目标图像i，从而可以利用目标图像1中的第一特征点和目标图像i中的第一特征点，获取目标图像1和目标图像i之间的相对位姿参数，并基于目标图像1的第二位姿参数和上述相对位姿参数，获取目标图像i的第二位姿参数。其他目标图像可以以此类推，在此不再一一举例。具体过程可以参阅诸如SFM等三维重建相关技术，在此不再赘述。
在又一个具体的实施场景中，利用第二位姿参数对第一特征点进行三角化处理的具体过程，可以参阅诸如SFM等三维重建相关技术，在此不再赘述。
步骤S33：将第一位姿参数和第二位姿参数进行对齐，得到第一空间坐标系和第二空间坐标系之间的坐标转换参数。
具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S34：利用坐标转换参数对第四特征点进行转换，得到第二特征点。
具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S35：利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点。
具体可以参阅前述公开实施例中相关描述，在此不再赘述。
步骤S36：基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数。
具体可以参阅前述公开实施例中相关描述，在此不再赘述。
区别于前述实施例，通过基于原始图像中的第一特征点进行位姿估计，得到原始图像的第二位姿参数和第一特征点在相机的第二空间坐标系中的第四特征点，在此基础上，再将第一位姿参数和第二位姿参数进行对齐，得到第一空间坐标系和第二空间坐标系之间的坐标转换参数，从而利用坐标转换参数对第四特征点进行转换，得到第二特征点，即可以根据传感器的第一位姿参数和原始图像的三维重建的一致性来优化调整传感器与相机之间的位姿转换参数，有利于提高标定准确性。
请参阅图4，图4是本申请标定装置40一实施例的框架示意图。标定装置40包括：信息获取模块41、参数获取模块42、点云获取模块43和参数调整模块44，信息获取模块41用于获取相机拍摄的原始图像和传感器在原始图像的时序分别所测量到的第一位姿参数；参数获取模块42用于基于原始图像中的第一特征点，得到原始图像的第二位姿参数；点云获取模块43用于基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点；参数调整模块44用于基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数。
上述方案，获取相机在第一时序拍摄的原始图像以及获取传感器在第一时序测量得到的第一位姿参数，并基于原始图像中的第一特征点，得到原始图像的第二位姿参数，在此基础上，再基于第一位姿参数和第二位姿参数，得到第一特征点对应于传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和第一位姿参数，得到第二特征点投影至原始图像中的第三特征点，从而基于第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，调整参考转换参数，得到位姿转换参数，故无需诸如激光雷达的中间媒介即可直接标定传感器与相机，且通过将传统手眼标定构建的方程求解问题转换为位置差异的优化问题，进而标定过程中降低对全自由度上充分运动的依赖，故此能够降低标定成本和复杂度。
在一些公开实施例中，参数获取模块42具体用于基于原始图像中的第一特征点进行位姿估计，得到原始图像的第二位姿参数，并基于第二位姿参数，得到第一特征点在相机的第二空间坐标系中的第四特征点，点云获取模块43包括坐标对齐子模块和坐标转换子模块，坐标对齐子模块用于将第一位姿参数和第二位姿参数进行对齐，得到第一空间坐标系和第二空间坐标系之间的坐标转换参数，坐标转换子模块用于利用坐标转换参数对第四特征点进行转换，得到第二特征点。
区别于前述实施例，通过基于原始图像中的第一特征点进行位姿估计，得到原始图像的第二位姿参数，并基于第二位姿参数，得到第一特征点在相机的第二空间坐标系中的第四特征点，在此基础上，再将第一位姿参数和第二位姿参数进行对齐，得到第一空间坐标系和第二空间坐标系之间的坐标转换参数，从而利用坐标转换参数对第四特征点进行转换，得到第二特征点，即可以根据传感器的第一位姿参数和原始图像的位姿估计的一致性来优化调整传感器与相机之间的位姿转换参数，有利于提高标定准确性。
在一些公开实施例中，参数获取模块42包括图像选择子模块，用于在原始图像中的第一特征点、原始图像的拍摄位置和原始图像的拍摄视角满足预设条件的情况下，将原始图像作为当前的目标图像；其中，拍摄位置是利用第一位姿参数得到的；参数获取模块42包括位姿估计子模块，用于利用目标图像中的第一特征点进行位姿估计，得到目标图像的第二位姿参数，参数获取模块42包括三角化子模块，用于利用第二位姿参数对第一特征点进行三角化处理，得到第一特征点在相机的第二空间坐标系中的第四特征点。
区别于前述实施例，在原始图像中的第一特征点、原始图像的拍摄位置和原始图像的拍摄视角满足预设条件的情况下，将原始图像作为当前的目标图像，且拍摄位置是利用第一位姿参数得到的，在此基础上，利用目标图像中的第一特征点进行位姿估计，得到目标图像的第二位姿参数，并利用第二位姿参数对第一特征点进行三角化处理，得到第一特征点在相机的第二空间坐标系中的第四特征点，故能够在三维重建过程中结合传感器的第一位姿参数选取目标图像，能够降低重建过程中引入冗余数据的可能性，有利于提高标定准确性。
在一些公开实施例中，参数获取模块42包括预先处理子模块，用于执行以下至少一者：获取原始图像中满足匹配条件的第一特征点的总数量，获取原始图像与之前的目标图像之间的第一拍摄位置差，获取原始图像与之前的目标图像的之间的视差，其中，匹配条件为与第二空间坐标系中已有的第四特征点匹配，第二空间坐标系中已有的第四特征点是利用之前的目标图像中的第一特征点得到的，且预设条件包括以下至少一者：总数量大于第一阈值，第一拍摄位置差大于第二阈值，且视差大于第三阈值。
区别于前述实施例，在将原始图像作为当前的目标图像之前，先执行以下至少一者：获取原始图像中满足匹配条件的第一特征点的总数量，获取原始图像与之前的目标图像之间的第一拍摄位置差，获取原始图像与之前的目标图像之间的视差，且匹配条件为与第二空间坐标系中已有的第四特征点匹配，第二空间坐标系中已有的第四特征点是利用之前的目标图像中的第一特征点得到的，且预设条件包括以下至少一者：总数量大于第一阈值，第一拍摄位置差大于第二阈值，视差大于第三阈值，故通过总数量、第一拍摄位置差和视差来选取目标图像，能够有利于进一步降低重建过程中引入冗余数据的可能性，有利于提高标定准确性。
在一些公开实施例中，预先处理子模块包括阈值获取单元，用于分别获取两两相邻的之前的目标图像之间的第二拍摄位置差，并统计第二拍摄位置差的平均值，得到第二阈值。
区别于前述实施例，通过分别获取两两相邻的之前的目标图像之间的第二拍摄位置差，并统计第二拍摄位置差的平均值，得到第二阈值，故能够基于之前的目标图像获取第二阈值，故能够在增量式的三维重建过程中，基于新引入的目标图像不断更新第二阈值，从而能够有利于进一步提高标定准确性。
在一些公开实施例中，预先处理子模块包括位置差获取单元，用于获取原始图像的第一拍摄位置，并获取最接近原始图像的之前的目标图像的第二拍摄位置，并将第一拍摄位置与第二拍摄位置之间的差值，作为第一拍摄位置差。
区别于前述实施例，通过获取原始图像的第一拍摄位置，并获取最接近原始图像的之前的目标图像的第二拍摄位置，在此基础上，将第一拍摄位置与第二拍摄位置之间的差值，作为第一拍摄位置差，能够有利于提高第一拍摄位置差的准确性。
在一些公开实施例中，参数调整模块44具体用于基于位置差异，构建以参考转换参数为优化对象的目标函数，并求解目标函数，得到位姿转换参数。
区别于前述实施例，通过基于位置差异，构建以参考转换参数为优化对象的目标函数，并求解目标函数得到位姿转换参数，有利于提高位姿转换参数的准确性。
在一些公开实施例中，参数调整模块44包括参数差异获取子模块，用于获取相机与传感器之间的初始转换参数，并获取参考转换参数与初始转换参数之间的参数差异，参数调整模块44包括位置差异获取子模块，用于获取第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，参数调整模块44包括目标函数构建子模块，用于基于参数差异和位置差异，构建目标函数。
区别于前述实施例，获取相机与传感器之间的初始转换参数，并获取参考转换参数与初始转换参数之间的参数差异，以及获取第二特征点对应的第一特征点以及第二特征点投影至原始图像中的第三特征点之间的位置差异，从而基于参数差异和位置差异，构建目标函数，即目标函数是参考参数差异以及位置差值两者共同构建的，故即使传感器在标定过程中运动不充分，也能够尽可能地确保求解到的位姿转换参数接近于真值，故能够有利于进一步提高标定准确性。
在一些公开实施例中，第二特征点是基于至少一个目标图像中的第一特征点得到的，且目标图像是从若干第一时序的原始图像中选取得到的，位置差异获取子模块包括当前图像选择单元，用于分别将目标图像，作为当前图像，位置差异获取子模块包括位置信息获取单元，用于获取第二特征点在当前图像中对应的第一特征点的第一位置信息，并获取第二特征点投影至当前图像中的第三特征点的第二位置信息；其中，第二位置信息是利用相机的内部参数、参考转换参数和当前图像对应的第一时序所测量到的第一位姿参数对第二特征点进行投影得到的；位置差异获取子模块包括像素距离获取单元，用于基于第一位置信息和第二位置信息，获取第一特征点和第三特征点之间的像素距离；位置差异获取子模块包括像素距离统计单元，用于统计至少一个目标图像的像素距离，得到位置差异。
区别于前述实施例，第二特征点是基于至少一个目标图像中的第一特征点得到的，且目标图像是从若干第一时序的原始图像中选取得到的，在此基础上，分别将目标图像作为当前图像，从而获取第二特征点在当前图像中对应的第一特征点的第一位置信息，并获取第二特征点投影至当前图像中的第三特征点的第二位置信息，且第二位置信息是利用相机的内部参数、参考转换参数和当前图像对应的第一时序所测量到的第一位姿参数对第二特征点进行投影得到的，进而基于第一位置信息和第二位置信息，获取第一特征点和第三特征点之间的像素距离，并统计至少一个目标图像的像素距离，得到位置差异，故此能够统计三维重建所得到的第二特征点在目标图像中的第一特征点以及第二特征点投影至目标图像中的第三特征点之间的像素距离，以得到位置差异，能够有利于提高位置差异的准确性。
在一些公开实施例中，第一位置信息包括第一特征点的第一像素坐标，且第二位置信息包括第三特征点的第二像素坐标，像素距离获取单元用于在当前图像存在第二特征点对应的第一特征点的情况下，利用第一像素坐标和第二像素坐标，获取第一特征点和第三特征点之间的像素距离，并在当前图像不存在第二特征点对应的第一特征点的情况下，将像素距离设置为预设数值。
区别于前述实施例，第一位置信息包括第一特征点的第一像素坐标，且第二位置信息包括第三特征点的第二像素坐标，并在当前图像存在第二特征点对应的第一特征点的情况下，利用第一像素坐标和第二像素坐标，获取第一特征点和第三特征点之间的像素距离，以及在当前图像不存在第二特征点对应的第一特征点的情况下，将像素距离设置为预设数值，能够有利于提高像素距离的准确性。
在一些公开实施例中，相机与传感器设置于预设载体，原始图像和第一位姿参数是在预设载体进行非直线运动过程中获取到的。
区别于前述实施例，将相机与传感器设置于预设载体，且原始图像和第一位姿参数是在预设载体进行非直线运动过程中获取到的，能够避免标定过程中矩阵退化，从而能够有利于提高标定准确性。
请参阅图5，图5是本申请电子设备50一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一标定方法实施例的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑、手机等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一标定方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
上述方案，能够降低标定成本和复杂度。
请参阅图6，图6为本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一标定方法实施例的步骤。
上述方案，能够降低标定成本和复杂度。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (14)

1.一种标定方法，其特征在于，包括：
获取相机在第一时序拍摄的原始图像以及获取传感器在所述第一时序测量得到的第一位姿参数；
基于所述原始图像中的第一特征点，得到所述原始图像的第二位姿参数；
基于所述第一位姿参数和所述第二位姿参数，得到所述第一特征点对应于所述传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和所述第一位姿参数，得到所述第二特征点投影至所述原始图像中的第三特征点；
基于所述第二特征点对应的第一特征点以及所述第二特征点投影至所述原始图像中的第三特征点之间的位置差异，调整所述参考转换参数，得到位姿转换参数。
2.根据权利要求1所述的方法，其特征在于，所述基于所述原始图像中的第一特征点，得到所述原始图像的第二位姿参数，包括：
基于所述原始图像中的第一特征点进行位姿估计，得到所述原始图像的第二位姿参数，并基于所述第二位姿参数，得到所述第一特征点在所述相机的第二空间坐标系中的第四特征点；
所述基于所述第一位姿参数和所述第二位姿参数，得到所述第一特征点对应于所述传感器的第一空间坐标系中的第二特征点，包括：
将所述第一位姿参数和所述第二位姿参数进行对齐，得到所述第一空间坐标系和所述第二空间坐标系之间的坐标转换参数；
利用所述坐标转换参数对所述第四特征点进行转换，得到所述第二特征点。
3.根据权利要求2所述的方法，其特征在于，所述基于所述原始图像中的第一特征点进行位姿估计，得到所述原始图像的第二位姿参数，包括：
在所述原始图像中的第一特征点、所述原始图像的拍摄位置和所述原始图像的拍摄视角满足预设条件的情况下，将所述原始图像作为当前的目标图像；其中，所述拍摄位置是利用所述第一位姿参数得到的；
利用所述目标图像中的第一特征点进行位姿估计，得到所述目标图像的第二位姿参数；
所述基于所述第二位姿参数，得到所述第一特征点在所述相机的第二空间坐标系中的第四特征点，包括：
利用所述第二位姿参数对所述第一特征点进行三角化处理，得到所述第一特征点在所述相机的第二空间坐标系中的第四特征点。
4.根据权利要求3所述的方法，其特征在于，在所述将所述原始图像作为当前的目标图像之前，所述方法还包括：
执行以下至少一者：获取所述原始图像中满足匹配条件的第一特征点的总数量，获取所述原始图像与之前的目标图像之间的第一拍摄位置差，获取所述原始图像与所述之前的目标图像之间的视差；
其中，所述匹配条件为与所述第二空间坐标系中已有的第四特征点匹配，所述第二空间坐标系中已有的第四特征点是利用之前的目标图像中的第一特征点得到的，且所述预设条件包括以下至少一者：所述总数量大于第一阈值，所述第一拍摄位置差大于第二阈值，所述视差大于第三阈值。
5.根据权利要求4所述的方法，其特征在于，在所述获取所述原始图像与之前的目标图像之间的第一拍摄位置差之前，所述方法包括：
分别获取两两相邻的所述之前的目标图像之间的第二拍摄位置差；
统计所述第二拍摄位置差的平均值，得到所述第二阈值。
6.根据权利要求4所述的方法，其特征在于，所述获取所述原始图像与之前的目标图像之间的第一拍摄位置差，包括：
获取所述原始图像的第一拍摄位置，并获取最接近所述原始图像的所述之前的目标图像的第二拍摄位置；
将所述第一拍摄位置与所述第二拍摄位置之间的差值，作为所述第一拍摄位置差。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述第二特征点对应的第一特征点以及所述第二特征点投影至所述原始图像中的第三特征点之间的位置差异，调整所述参考转换参数，得到位姿转换参数，包括：
基于所述位置差异，构建以所述参考转换参数为优化对象的目标函数，并求解所述目标函数，得到所述位姿转换参数。
8.根据权利要求7所述的方法，其特征在于，所述基于所述位置差异，构建以所述参考转换参数为优化对象的目标函数，包括：
获取所述相机与所述传感器之间的初始转换参数，并获取所述参考转换参数与所述初始转换参数之间的参数差异；以及，
获取所述第二特征点对应的第一特征点以及所述第二特征点投影至所述原始图像中的第三特征点之间的位置差异；
基于所述参数差异和所述位置差异，构建所述目标函数。
9.根据权利要求8所述的方法，其特征在于，所述第二特征点是基于至少一个目标图像中的所述第一特征点得到的，且所述目标图像是从若干第一时序的原始图像中选取得到的；所述获取所述第二特征点对应的第一特征点以及所述第二特征点投影至所述原始图像中的第三特征点之间的位置差异，包括：
分别将所述目标图像，作为当前图像；
获取所述第二特征点在所述当前图像中对应的第一特征点的第一位置信息，并获取所述第二特征点投影至所述当前图像中的第三特征点的第二位置信息；其中，所述第二位置信息是利用所述相机的内部参数、所述参考转换参数和所述当前图像对应的第一时序所测量到的第一位姿参数对所述第二特征点进行投影得到的；
基于所述第一位置信息和所述第二位置信息，获取所述第一特征点和所述第三特征点之间的像素距离；
统计所述至少一个目标图像的像素距离，得到所述位置差异。
10.根据权利要求9所述的方法，其特征在于，所述第一位置信息包括所述第一特征点的第一像素坐标，且所述第二位置信息包括所述第三特征点的第二像素坐标；所述基于所述第一位置信息和所述第二位置信息，获取所述第一特征点和所述第三特征点之间的像素距离，包括：
在所述当前图像存在所述第二特征点对应的第一特征点的情况下，利用所述第一像素坐标和所述第二像素坐标，获取所述第一特征点和所述第三特征点之间的像素距离；
在所述当前图像不存在所述第二特征点对应的第一特征点的情况下，将所述像素距离设置为预设数值。
11.根据权利要求1至10任一项所述的方法，其特征在于，所述相机与所述传感器设置于预设载体，所述原始图像和所述第一位姿参数是在所述预设载体进行非直线运动过程中获取到的。
12.一种标定装置，其特征在于，包括：
信息获取模块，用于获取相机在第一时序拍摄的原始图像以及获取传感器在所述第一时序测量得到的第一位姿参数；
参数获取模块，用于基于所述原始图像中的第一特征点，得到所述原始图像的第二位姿参数；
点云获取模块，用于基于所述第一位姿参数和所述第二位姿参数，得到所述第一特征点对应于所述传感器的第一空间坐标系中的第二特征点，并利用参考转换参数和所述第一位姿参数，得到所述第二特征点投影至所述原始图像中的第三特征点；
参数调整模块，用于基于所述第二特征点对应的第一特征点以及所述第二特征点投影至所述原始图像中的第三特征点之间的位置差异，调整所述参考转换参数，得到位姿转换参数。
13.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至11任一项所述的标定方法。
14.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至11任一项所述的标定方法。
CN202111199862.8A 2021-10-14 2021-10-14 标定方法及相关装置、设备 Pending CN114022560A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111199862.8A CN114022560A (zh) 2021-10-14 2021-10-14 标定方法及相关装置、设备
PCT/CN2022/105803 WO2023060964A1 (zh) 2021-10-14 2022-07-14 标定方法及相关装置、设备、存储介质和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111199862.8A CN114022560A (zh) 2021-10-14 2021-10-14 标定方法及相关装置、设备

Publications (1)

Publication Number Publication Date
CN114022560A true CN114022560A (zh) 2022-02-08

Family

ID=80055995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111199862.8A Pending CN114022560A (zh) 2021-10-14 2021-10-14 标定方法及相关装置、设备

Country Status (2)

Country Link
CN (1) CN114022560A (zh)
WO (1) WO2023060964A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601450A (zh) * 2022-11-29 2023-01-13 浙江零跑科技股份有限公司（Cn） 周视标定方法及相关装置、设备、系统和介质
WO2023060964A1 (zh) * 2021-10-14 2023-04-20 上海商汤智能科技有限公司 标定方法及相关装置、设备、存储介质和计算机程序产品

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934871B (zh) * 2023-07-27 2024-03-26 湖南视比特机器人有限公司 一种基于标定物的多目系统标定方法、系统及存储介质
CN116740183B (zh) * 2023-08-15 2023-11-07 浙江大学 一种双视角舱体位姿调整方法
CN117226853B (zh) * 2023-11-13 2024-02-06 之江实验室 一种机器人运动学标定的方法、装置、存储介质、设备
CN118135156A (zh) * 2024-02-28 2024-06-04 北京数原数字化城市研究中心 增强现实锚点放置方法、装置、电子设备及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190188533A1 (en) * 2017-12-19 2019-06-20 Massachusetts Institute Of Technology Pose estimation
CN108876854B (zh) * 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108717712B (zh) * 2018-05-29 2021-09-03 东北大学 一种基于地平面假设的视觉惯导slam方法
CN111522043B (zh) * 2020-04-30 2023-07-25 北京联合大学 一种无人车激光雷达快速重新匹配定位方法
CN113436270B (zh) * 2021-06-18 2023-04-25 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN114022560A (zh) * 2021-10-14 2022-02-08 浙江商汤科技开发有限公司 标定方法及相关装置、设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023060964A1 (zh) * 2021-10-14 2023-04-20 上海商汤智能科技有限公司 标定方法及相关装置、设备、存储介质和计算机程序产品
CN115601450A (zh) * 2022-11-29 2023-01-13 浙江零跑科技股份有限公司（Cn） 周视标定方法及相关装置、设备、系统和介质
CN115601450B (zh) * 2022-11-29 2023-03-31 浙江零跑科技股份有限公司 周视标定方法及相关装置、设备、系统和介质

Also Published As

Publication number Publication date
WO2023060964A1 (zh) 2023-04-20

Similar Documents

Publication Publication Date Title
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN114022560A (zh) 标定方法及相关装置、设备
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
Park et al. High-precision depth estimation using uncalibrated LiDAR and stereo fusion
EP3028252B1 (en) Rolling sequential bundle adjustment
WO2021139176A1 (zh) 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质
CN106529538A (zh) 一种飞行器的定位方法和装置
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
WO2019164498A1 (en) Methods, devices and computer program products for global bundle adjustment of 3d images
JP5833507B2 (ja) 画像処理装置
Shi et al. Extrinsic calibration and odometry for camera-LiDAR systems
CN114266823A (zh) 一种结合SuperPoint网络特征提取的单目SLAM方法
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN113112532A (zh) 一种多ToF相机系统实时配准方法
CN117788686A (zh) 一种基于2d影像的三维场景重建方法、装置及电子设备
CN117197241A (zh) 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法
CN117274392A (zh) 相机内参标定方法及相关设备
CN112330726A (zh) 一种图像处理方法及装置
Wang et al. Stereo rectification based on epipolar constrained neural network
CN113011212A (zh) 图像识别方法、装置及车辆
Friedel Event-based visual-inertial odometry using smart features
Ye et al. Iterative Closest Point Algorithm Based on Point Cloud Curvature and Density Characteristics
US20240242318A1 (en) Face deformation compensating method for face depth image, imaging device, and storage medium
Butt et al. Multi-task Learning for Camera Calibration
Blott et al. Bifocal stereo for multipath person re-identification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination