CN110766758B - 标定方法、装置、系统及存储装置 - Google Patents

标定方法、装置、系统及存储装置 Download PDF

Info

Publication number
CN110766758B
CN110766758B CN201910866113.2A CN201910866113A CN110766758B CN 110766758 B CN110766758 B CN 110766758B CN 201910866113 A CN201910866113 A CN 201910866113A CN 110766758 B CN110766758 B CN 110766758B
Authority
CN
China
Prior art keywords
calibration
points
area
contour
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910866113.2A
Other languages
English (en)
Other versions
CN110766758A (zh
Inventor
毛栎炳
任宇鹏
张凯
卢维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201910866113.2A priority Critical patent/CN110766758B/zh
Publication of CN110766758A publication Critical patent/CN110766758A/zh
Application granted granted Critical
Publication of CN110766758B publication Critical patent/CN110766758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Abstract

本申请公开了一种标定方法、装置、系统及存储装置。其中，标定方法包括：分别获取深度传感器对标定载体检测到的感测信号，以及图像传感器拍摄标定载体得到的图像，标定载体包括设有标定对象的第一区域和设置为使深度传感器对第二区域比第一区域的感应强度大的第二区域，基于对不同区域的感应强度情况对感测信号进行分析，确定第二区域中的第一特征点的第一空间位置，利用图像确定标定对象中的第二特征点的第二空间位置，按照标定载体上第一特征点与对应第二特征点的预设位置关系将第一特征点与第二特征点进行匹配，得到多组特征点对，基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。上述方案，能够提高标定的准确度。

Description

标定方法、装置、系统及存储装置
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种标定方法、装置、系统及存储装置。
背景技术
随着无人驾驶概念和技术的日趋流行，深度传感器和图像传感器已经成为多传感器融合中必不可少的组合。在多种现实环境中，深度传感器和图像传感器所提供的数据丰富又互补，在此基础上，深度传感器和图像传感器通过相互之间的标定可以细化真实世界中的对象的三维状态，例如，当前方检测到行人时，同时使用深度传感器获取到精准的三维距离，从而可以控制机器人或汽车进行避让。故此，标定的准确度成为多传感器融合的重中之重。
目前，在深度传感器和图像传感器标定过程中，往往需要手工从深度传感器产生的感测信号中确定标定载体的特征点，极易产生误差，从而影响标定的准确度。有鉴于此，如何提高标定的准确度成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种标定方法、装置、系统及存储装置，能够提高标定的准确度。
为了解决上述问题，本申请第一方面提供了一种标定方法，包括分别获取深度传感器对标定载体检测到的感测信号，以及图像传感器拍摄标定载体得到的图像；其中，标定载体包括第一区域和第二区域，第一区域设有标定对象，第二区域设置为使深度传感器对第二区域比第一区域的感应强度大，基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定第二区域中的若干第一特征点的第一空间位置；利用图像确定标定对象中的若干第二特征点的第二空间位置；其中，标定载体上的每个第一特征点与对应第二特征点具有预设位置关系；按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对；基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。
为了解决上述问题，本申请第二方面提供了一种标定装置，包括获取模块、第一位置确定模块、第二位置确定模块、匹配模块和参数确定模块，获取模块用于分别获取深度传感器对标定载体检测到的感测信号，以及图像传感器拍摄标定载体得到的图像；其中，标定载体包括第一区域和第二区域，第一区域设有标定对象，第二区域设置为使深度传感器对第二区域比第一区域的感应强度大；第一位置确定模块用于基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定第二区域中的若干第一特征点的第一空间位置；第二位置确定模块用于利用图像确定标定对象中的若干第二特征点的第二空间位置；其中，标定载体上的每个第一特征点与对应第二特征点具有预设位置关系；匹配模块用于按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对；参数确定模块用于基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。
为了解决上述问题，本申请第三方面提供了一种标定装置，包括相互耦接的存储器和处理器；处理器用于执行存储器存储的程序指令，以实现上述第一方面的方法。
为了解决上述问题，本申请第四方面提供了一种标定系统，包括标定载体、深度传感器、图像传感器，以及分别与深度传感器和图像传感器耦接的标定装置，其中，深度传感器用于扫描标定载体，图像传感器用于拍摄标定载体，标定装置用于实现上述第一方面的方法。
为了解决上述问题，本申请第五方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的方法。
上述方案，在标定载体上设置第一区域和第二区域，且第二区域设置为使深度传感器对第二区域比第一区域的感应强度大，从而可以基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定出第二区域中的若干第一特征点的第一空间位置，而无需手工从深度传感器产生的感测信号中确定标定载体的特征点，在此基础上，再利用图像确定标定对象中的若干第二特征点的第二空间位置，由于标定载体上的每个第一特征点与对应第二特征点具有预设位置关系，进而按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对，最终基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，省去了人工从深度传感器产生的感测信号中确定标定载体的特征点，故此能够尽可能地降低误差，提高标定的准确度，同时也减少了工作量。
此外，由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，从而无需要求标定载体后方保持空旷，大大降低了对于标定环境的搭建要求。
附图说明
图1是本申请标定系统一实施例的框架示意图；
图2是图1中标定载体一实施例的结构示意图；
图3是本申请标定方法一实施例的流程示意图；
图4是图3中步骤S32一实施例的流程示意图；
图5是图4中步骤S321一实施例的流程示意图；
图6是图3中步骤S32一实施例的状态示意图；
图7是图4中步骤S322一实施例的流程示意图；
图8是图7中步骤S3222一实施例的流程示意图；
图9是图8中步骤S81一实施例的流程示意图；
图10是图3中步骤S32另一实施例的流程示意图；
图11是图3中步骤S32又一实施例的流程示意图；
图12是图3中步骤S32又一实施例的状态示意图；
图13是图3中步骤S33一实施例的流程示意图；
图14是图13中步骤S331一实施例的流程示意图；
图15是图13中步骤S332一实施例的流程示意图；
图16是图3中步骤S34一实施例的流程示意图；
图17是图3中步骤S34另一实施例的流程示意图；
图18是本申请标定装置一实施例的框架示意图；
图19是本申请标定装置另一实施例的框架示意图；
图20是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
本申请在标定载体上设置第一区域和第二区域，且第二区域设置为使深度传感器对第二区域比第一区域的感应强度大，从而可以基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定出第二区域中的若干第一特征点的第一空间位置，而无需手工从深度传感器产生的感测信号中确定标定载体的特征点，在此基础上，再利用图像确定标定对象中的若干第二特征点的第二空间位置，由于标定载体上的每个第一特征点与对应第二特征点具有预设位置关系，进而按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对，最终基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，省去了人工从深度传感器产生的感测信号中确定标定载体的特征点，故此能够尽可能地降低误差，提高标定的准确度，同时也减少了工作量。
此外，由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，从而无需要求标定载体后方保持空旷，大大降低了对于标定环境的搭建要求。
为了便于理解本申请标定方法，首先举例说明本申请标定系统。请参阅图1，图1是本申请标定系统一实施例的框架示意图。标定系统包括标定载体11、深度传感器12、图像传感器13，以及分别与深度传感器12和图像传感器13耦接的标定装置14。深度传感器12可以为激光雷达、毫米波雷达等等。图像传感器13可以为单目相机、双目相机等等。深度传感器12用于扫描标定载体11，图像传感器13用于拍摄标定载体11。其中，标定装置14可以实现本申请标定方法任一实施例中的步骤。
在一个实施场景中，为了尽量减少后续标定过程中的计算负荷，提高标定准确度和标定效率，深度传感器12和图像传感器13可以靠近垂直于标定载体11且经过标定载体11的中心的法线F设置。
在一个实施场景中，为了进一步提高标定准确度，标定系统除了如图1所示包括1个标定载体11以外，还可以包括多个标定载体11。多个标定载体11可以呈阵列排布，例如：2*2、3*3等等，本实施例在此不再一一举例。
本申请标定系统可以集成于无人驾驶汽车上，例如：设置于汽车前挡风玻璃上、设置于汽车车顶等等；此外，本申请标定系统还可以集成于机器人上，本实施例在此不做具体限制。
上述方案，省去了人工从深度传感器12产生的感测信号中确定标定载体11的特征点，故此能够尽可能地降低误差，提高标定的准确度，同时也减少了工作量。
此外，由于基于感应强度确定特征点的空间位置，从而无需要求标定载体11后方保持空旷，大大降低了对于标定环境的搭建要求。
其中，在一个实施例中，请结合参阅图2，图2是图1中标定载体11一实施例的结构示意图。标定载体11包括第一区域111和第二区域112，第一区域111设有标定对象A，第二区域112设置为使深度传感器12对第二区域112比第一区域111的感应强度大。例如，当深度传感器12为激光雷达时，标定载体11的第二区域112表面设置反射率大于预设值的材料。在一个实施场景中，为了降低后续标定过程中的计算负荷，标定对象A可以为ArUco码，ArUco主要基于ArUco library，是一个在二维码识别中广泛使用的库。如图2所示，一个ArUco码由外周一组黑色边框，以及内部标记ID的二维矩阵组合而成。黑色边框能够加速在图像中的检测速度，内部二维编码能够唯一标识该标记，同时进行错误检测和错误修复，关于ArUco码为本领域的现有技术，本实施例在此不再赘述。此外，标定对象A还可以是棋盘格等，本实施例不再一一举例。
请参阅图3，图3是本申请标定方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S31：分别获取深度传感器对标定载体检测到的感测信号，以及图像传感器拍摄标定载体得到的图像。
深度传感器可以包括激光雷达、毫米波雷达等等。当深度传感器为激光雷达时，感测信号为激光点云；当深度传感器为毫米波雷达时，感测信号为量测数据，本实施例在此不再一一举例。图像传感器可以包括单目相机、双目相机等等。
如前述实施例，标定载体包括第一区域和第二区域，第一区域设有标定对象，本实施例在此不再赘述。第二区域设置为使深度传感器对第二区域比第一区域的感应强度大，从而使深度传感器扫描第二区域所获得的感测信号的强度大于扫描第一区域所获得的感测信号的强度，进而可以基于感测信号对第一区域和第二区域的感应强度差异而甄别第一区域和第二区域。例如，深度传感器为激光雷达时，第二区域设置为相较于第一区域对激光的感应强度大；或者，深度传感器为毫米波雷达时，第二区域设置为相较于第一区域对毫米波的感应强度大，本实施例在此不再一一举例。
步骤S32：基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定第二区域中的若干第一特征点的第一空间位置。
如图2所示，为了简化获取第一特征点的计算过程，且使得获取到的第一特征点的第一空间位置更加准确，第一特征点可以设置为标定载体11的角点113。同时，为了进一步提高后续标定的准确度，第一特征点可以设置为标定载体11的所有角点113。在一个实施场景中，如图2所示，第一特征点还可以是第二区域112内周的角点，本实施例在此不做具体限制。
步骤S33：利用图像确定标定对象中的若干第二特征点的第二空间位置；其中，标定载体上的每个第一特征点与对应第二特征点具有预设位置关系。
如图2所示，为了简化获取第二特征点的计算过程，且使得获取到的第二特征点的第二空间位置更加准确，第二特征点可以设置为标定对象A的角点A1。同时，为了进一步提高后续标定的准确度，第二特征点可以设置为标定对象A的所有角点A1。
标定载体上的每个第一特征点和对应第二特征点具有预设位置关系，请结合参阅图2，例如，图2所示的标定载体11为边长为a的正方形，标定对象A为边长为b的正方形，第一特征点为标定载体11的角点113，第二特征点为标定对象A的角点A1，从而第一特征点和对应的第二特征点的位置坐标可以按照标定载体11和标定对象A两者之间的边长之比a/b而相互转换。
步骤S34：按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对。
每个标定载体上特征点对的组数可以是2组、3组、4组等等。在一个实施场景中，如图2所示，按照预设位置关系，将第一特征点和第二特征点进行匹配，最终可以得到特征点对B1、特征点对B2、特征点对B3、特征点对B4。
步骤S35：基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。
在一个实施场景中，为了最终通过深度传感器和图像传感器融合而确定空间位置，标定参数至少包括深度传感器和图像传感器之间的外参矩阵，例如包括旋转矩阵和平移矩阵。如图2所示，例如，基于通过获取到的特征点对B1、特征点对B2、特征点对B3、特征点对B4的空间位置，可以确定深度传感器和图像传感器之间的标定参数。
上述方案，在标定载体上设置第一区域和第二区域，且第二区域设置为使深度传感器对第二区域比第一区域的感应强度大，从而可以基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定出第二区域中的若干第一特征点的第一空间位置，而无需手工从深度传感器产生的感测信号中确定标定载体的特征点，在此基础上，再利用图像确定标定对象中的若干第二特征点的第二空间位置，由于标定载体上的每个第一特征点与对应第二特征点具有预设位置关系，进而按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对，最终基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，省去了人工从深度传感器产生的感测信号中确定标定载体的特征点，故此能够尽可能地降低误差，提高标定的准确度，同时也减少了工作量。
此外，由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，从而无需要求标定载体后方保持空旷，大大降低了对于标定环境的搭建要求。
请参阅图4，图4是图3中步骤S32一实施例的流程示意图。具体而言，本实施例中，深度传感器对标定载体检测到的感测信号包括深度传感器在标定载体上若干位置点检测到的若干感测信号，其中，步骤S32具体可以包括：
步骤S321：基于若干感测信号的信号强度，确定第二区域。
感测信号为深度传感器发出的感测媒介经标定载体的位置点反射而得到的。例如，当深度传感器为激光雷达时，激光经标定载体的位置点反射得到激光点云；或者，当深度传感器为毫米波雷达时，毫米波经标定载体的位置点反射得到量测数据等等，本实施例在此不再一一举例。
标定载体中第二区域对感测媒介的反射率大于第一区域对感测媒介的反射率，以使深度传感器对第二区域比对第一区域的感应强度大。例如，当深度传感器为激光雷达时，可以在第二区域设置反光材料，从而使深度传感器对第二区域比对第一区域的感应强度大。
具体而言，可以通过从若干感测信号中选择信号强度大于一预设强度阈值的感测信号，并将选择的感测信号的位置点作为第二区域的位置点。在一个实施场景中，感测信号的位置点包含于感测信号中，在另一个实施场景中，感测信号的位置点可以通过对感测信号进行一定的数据处理而获得，本实施例在此不做具体限制。具体地，请结合参阅图5，上述通过从若干感测信号中选择信号强度大于一预设强度阈值的感测信号，并将选择的感测信号的位置点作为第二区域的位置点可以包括如下步骤：
步骤S3211：对若干感测信号对应的位置点进行直线拟合，得到至少一条第一拟合直线。
对若干感测信号对应的位置点进行直线拟合可以通过PCA(Principal ComponentAnalysis，主成分分析)算法实施。在一个实施场景中，还可以由最小二乘法、RANSAC(Random Sample Consensus，随机抽样一致)算法等进行实施，关于PCA算法、最小二乘法、RANSAC算法为本领域的现有技术，本实施例在此不再赘述。
请结合参阅图6，图6是图3中步骤S32一实施例的状态示意图。通过对若干感测信号对应的位置点进行直线拟合，最终得到若干条第一拟合直线L1。
步骤S3212：选出每条第一拟合直线上反射强度因子大于预设阈值的感测信号。
如图6所示，在每条第一拟合直线上选择反射强度因子大于预设阈值的感测信号，选择的感测信号的位置点可以作为第二区域的位置点。
步骤S322：提取第二区域的轮廓位置。
轮廓位置可以包括第二区域的外轮廓位置和/或内轮廓位置。具体地，请结合参阅图7，图7为图4中步骤S322一实施例的流程示意图，步骤S322可以包括如下步骤：
步骤S3221：确定第二区域位置点中位于边缘的轮廓位置点。
具体地，可以获取每条第一拟合直线上位于两端的第二区域位置点作为一组轮廓位置点。
如图6所示，可以确定每条第一拟合直线L1上位于两端的第二区域位置点作为一组轮廓位置点(图中黑色填充点)，由上至下分别为dot1、dot2、dot3、dot4、dot5、dot6、dot7、dot8、dot9、dot10、dot11、dot12。
步骤S3222：基于确定的轮廓位置点，得到第二区域的轮廓位置。
具体地，请结合参阅图8，图8为图7中步骤S3222一实施例的流程示意图，步骤S3222可以包括：
步骤S81：基于每组轮廓位置点之间的距离，将多组轮廓位置点划分到至少两个拟合区域。
统计每组轮廓位置点之间沿平行于所在的第一拟合直线方向上的距离，基于统计得到的距离，将多组轮廓位置点划分到至少两个拟合区域。具体而言，请结合参阅图9，图9是图8中步骤S81一实施例的流程示意图，步骤S81可以包括如下步骤：
步骤S811：获取每组轮廓位置点之间的距离。
如图6所示，在平行于每组轮廓位置点所在的第一拟合直线的方向上，分别获取dot1轮廓位置点之间的距离、dot2轮廓位置点之间的距离、dot3轮廓位置点之间的距离、dot4轮廓位置点之间的距离、dot5轮廓位置点之间的距离、dot6轮廓位置点之间的距离、dot7轮廓位置点之间的距离、dot8轮廓位置点之间的距离、dot9轮廓位置点之间的距离、dot10轮廓位置点之间的距离、dot11轮廓位置点之间的距离、dot12轮廓位置点之间的距离。
步骤S812：将距离差满足同一线性函数关系的多组第一轮廓位置点划分在同一拟合区域中。
线性函数包括递增关系、递减关系。如图6所示，dot1～dot6的轮廓位置点之间的距离符合递增关系，而dot7～dot12的轮廓位置点之间的距离符合递减关系，故此，将dot1～dot6轮廓位置点划分在同一拟合区域，而将dot7～dot12轮廓位置点划分在同一拟合区域。
步骤S82：对于每个拟合区域，将拟合区域中位于同一端的轮廓位置点进行直线拟合，以获得两条第二拟合直线；其中，每条第二拟合直线作为第二区域的轮廓线。
如图6所示，对于上侧拟合区域，将左端的轮廓位置点进行直线拟合，并将右端的轮廓位置点进行直线拟合，从而获得两条第二拟合直线L2，作为第二区域的轮廓线。此外，对于下侧拟合区域，将左端的轮廓位置点进行直线拟合，并将右端的轮廓位置点进行直线拟合，从而也获得两条第二拟合直线L2，作为第二区域的轮廓线。
在一个实施场景中，可以通过PCA(Principal Component Analysis，主成分分析)算法实施。在一个实施场景中，还可以由最小二乘法、RANSAC(Random Sample Consensus，随机抽样一致)算法等进行实施，关于PCA算法、最小二乘法、RANSAC算法为本领域的现有技术，本实施例在此不再赘述。
步骤S323：从轮廓位置中确定出若干第一特征点的第一空间位置。
本实施例中，第一特征点为标定载体的角点，轮廓位置包括多条轮廓线的位置。具体而言，可以包括：将每相邻两条轮廓线的交点位置作为一第一特征点的第一空间位置。
如图6所示，将第二拟合直线L2的交点作为第一特征点，将交点的位置作为第一特征点的第一空间位置。
在实际应用过程中，标定载体的个数可能是一个，也可能是多个，例如2个、3个、4个等等。下面分别从两方面分别举例说明当标定载体为1个时，以及当标定载体为多个时，上述实施中步骤S32的具体步骤。
第一方面：
请参阅图10，图10为图3中步骤S32另一实施例的流程示意图。具体而言，包括如下步骤：
步骤S1001：对若干感测信号对应的位置点进行直线拟合，得到至少一条第一拟合直线。
具体可参阅步骤S3211。
如图6所示，通过对若干感测信号对应的位置点进行直线拟合，最终得到若干条第一拟合直线L1。
步骤S1002：选出每条第一拟合直线上反射强度因子大于预设阈值的感测信号。
具体可参阅步骤S3212。
如图6所示，在每条第一拟合直线上选择反射强度因子大于预设阈值的感测信号，选择的感测信号的位置点可以作为第二区域的位置点。
步骤S1003：获取每条第一拟合直线上位于两端的第二区域位置点作为一组轮廓位置点。
具体可参阅步骤S3221。
如图6所示，可以确定每条第一拟合直线L1上位于两端的第二区域位置点作为一组轮廓位置点(图中黑色填充点)，由上至下分别为dot1、dot2、dot3、dot4、dot5、dot6、dot7、dot8、dot9、dot10、dot11、dot12。
步骤S1004：获取每组轮廓位置点之间的距离。
具体可参阅步骤S811。
如图6所示，在平行于每组轮廓位置点所在的第一拟合直线的方向上，分别获取dot1轮廓位置点之间的距离、dot2轮廓位置点之间的距离、dot3轮廓位置点之间的距离、dot4轮廓位置点之间的距离、dot5轮廓位置点之间的距离、dot6轮廓位置点之间的距离、dot7轮廓位置点之间的距离、dot8轮廓位置点之间的距离、dot9轮廓位置点之间的距离、dot10轮廓位置点之间的距离、dot11轮廓位置点之间的距离、dot12轮廓位置点之间的距离。
步骤S1005：将距离满足同一线性函数关系的多组第一轮廓位置点划分在同一拟合区域中。
具体可参阅步骤S812。
如图6所示，dot1～dot6的轮廓位置点之间的距离符合递增关系，而dot7～dot12的轮廓位置点之间的距离符合递减关系，故此，将dot1～dot6轮廓位置点划分在同一拟合区域，而将dot7～dot12轮廓位置点划分在同一拟合区域。
步骤S1006：对于每个拟合区域，将拟合区域中位于同一端的轮廓位置点进行直线拟合，以获得两条第二拟合直线；其中，每条第二拟合直线作为第二区域的轮廓线。
具体可参阅步骤S82。
如图6所示，对于上侧拟合区域，将左端的轮廓位置点进行直线拟合，并将右端的轮廓位置点进行直线拟合，从而获得两条第二拟合直线L2，作为第二区域的轮廓线。此外，对于下侧拟合区域，将左端的轮廓位置点进行直线拟合，并将右端的轮廓位置点进行直线拟合，从而也获得两条第二拟合直线L2，作为第二区域的轮廓线。
步骤S1007：将每相邻两条轮廓线的交点位置作为一第一特征点的第一空间位置。
具体可参阅步骤S323。
如图6所示，将第二拟合直线L2的交点作为第一特征点，将交点的位置作为第一特征点的第一空间位置。
第二方面：
请参阅图11，图11是图3中步骤S32又一实施例的流程示意图。具体而言，可以包括：
步骤S1101：对若干感测信号对应的位置点进行直线拟合，得到至少一条第一拟合直线。
具体可参阅步骤S3211。
请结合参阅图12，图12是图3中步骤S32另一实施例的状态示意图，当包括上下两个标定载体时，通过对若干感测信号对应的位置点进行直线拟合，最终得到若干条第一拟合直线L1。
步骤S1102：选出每条第一拟合直线上反射强度因子大于预设阈值的感测信号。
具体可参阅步骤S3212。
如图12所示，在每条第一拟合直线上选择反射强度因子大于预设阈值的感测信号，选择的感测信号的位置点可以作为第二区域的位置点。
步骤S1103：获取每条第一拟合直线上位于两端的第二区域位置点作为一组轮廓位置点。
具体可参阅步骤S3221。
如图12所示，可以确定每条第一拟合直线L1上位于两端的第二区域位置点作为一组轮廓位置点(图中黑色填充点)，由上至下分别为dot1-1、dot1-2、dot1-3、dot1-4、dot1-5、dot1-6、dot1-7、dot1-8、dot1-9、dot1-10、dot1-11、dot1-12，以及dot2-1、dot2-2、dot2-3、dot2-4、dot2-5、dot2-6、dot2-7、dot2-8、dot2-9、dot2-10、dot2-11、dot2-12。
在此基础上，在上述步骤S3222之前，还需要区分不同标定载体，具体而言，可以通过下述步骤S1104～步骤S1105加以区分。
步骤S1104：统计相邻第一拟合直线之间的距离。
如图12所示，统计相邻第一拟合直线L1之间的距离。
步骤S1105：将距离在预设距离阈值之内的相邻第一拟合直线划分至同一标定载体区域。
在一个实施场景中，可以将标定载体整体的中心与深度传感器的中心设置于同一水平面上，从而可以将深度传感器的中心、标定载体整体的中心，以及感测信号在标定载体上的位置近似看作直角三角形，从而预设距离阈值可以表示为：
Figure BDA0002201320330000141
其中，N表示预设距离阈值，δ1表示深度传感器发射到标定载体最上侧的感测信号向外发散时的夹角，δ2表示深度传感器发射到标定载体时相邻最上侧的感测信号向外发散时的夹角，
Figure BDA0002201320330000142
表示容忍系数，本实施例中取1.2，D表示标定载体的中心距离深度传感器中心的欧氏距离。
此外，由下式可以估计最上侧的感测信号向外发散时的夹角δ1：
Figure BDA0002201320330000143
其中，S为标定载体的长度，δ1表示深度传感器发射到标定载体最上侧的感测信号向外发散时的夹角，在一个实施场景中，深度传感器相邻感测线向外发散时的夹角为δ3，由此，可以通过下式计算深度传感器发射到标定载体时相邻最上侧的感测信号向外发散时的夹角δ2为：
δ2＝δ1-δ3
在一个实施场景中，上述步骤S1104～步骤S1105还可以在步骤S1101及步骤S1102之间执行，本实施例在此不做具体限制。
在此基础上，上述步骤S3222“基于确定的轮廓位置点，得到第二区域的轮廓位置”可以包括：基于每一标定载体区域的确定的轮廓位置点，得到标定载体区域中的第二区域的轮廓位置。具体地，可以包括下述步骤S1106～步骤S1108。
步骤S1106：获取各个标定载体区域中每组轮廓位置点之间的距离。
具体可参阅步骤S811。
如图12所示，在平行于每组轮廓位置点所在的第一拟合直线的方向上，分别获取dot1-1轮廓位置点之间的距离、dot1-2轮廓位置点之间的距离、dot1-3轮廓位置点之间的距离、dot1-4轮廓位置点之间的距离、dot1-5轮廓位置点之间的距离、dot1-6轮廓位置点之间的距离、dot1-7轮廓位置点之间的距离、dot1-8轮廓位置点之间的距离、dot1-9轮廓位置点之间的距离、dot1-10轮廓位置点之间的距离、dot1-11轮廓位置点之间的距离、dot1-12轮廓位置点之间的距离，以及分别获取dot2-1轮廓位置点之间的距离、dot2-2轮廓位置点之间的距离、dot2-3轮廓位置点之间的距离、dot2-4轮廓位置点之间的距离、dot2-5轮廓位置点之间的距离、dot2-6轮廓位置点之间的距离、dot2-7轮廓位置点之间的距离、dot2-8轮廓位置点之间的距离、dot2-9轮廓位置点之间的距离、dot2-10轮廓位置点之间的距离、dot2-11轮廓位置点之间的距离、dot2-12轮廓位置点之间的距离。
步骤S1107：在同一标定载体区域中，将距离满足同一线性函数关系的多组第一轮廓位置点划分在同一拟合区域中。
具体可参阅步骤S812。
如图12所示，在标定载体区域1中，dot1-1～dot1-6的轮廓位置点之间的距离符合递增关系，而dot1-7～dot1-12的轮廓位置点之间的距离符合递减关系，故此，将dot1-1～dot1-6轮廓位置点划分在同一拟合区域，而将dot1-7～dot1-12轮廓位置点划分在同一拟合区域；而在标定载体区域2中，dot2-1～dot2-6的轮廓位置点之间的距离符合递增关系，而dot2-7～dot2-12的轮廓位置点之间的距离符合递减关系，故此，将dot2-1～dot2-6轮廓位置点划分在同一拟合区域，而将dot2-7～dot2-12轮廓位置点划分在同一拟合区域。
步骤S1108：在同一标定载体区域中，对于每个拟合区域，将拟合区域中位于同一端的轮廓位置点进行直线拟合，以获得两条第二拟合直线；其中，每条第二拟合直线作为第二区域的轮廓线。
具体可参阅步骤S82。
如图12所示，在标定载体区域1中，对于上侧拟合区域，将左端的轮廓位置点进行直线拟合，并将右端的轮廓位置点进行直线拟合，从而获得两条第二拟合直线L2，作为第二区域的轮廓线。此外，对于下侧拟合区域，将左端的轮廓位置点进行直线拟合，并将右端的轮廓位置点进行直线拟合，从而也获得两条第二拟合直线L2，作为第二区域的轮廓线。以此类推，可以在标定载体区域2中，拟合得到四条第二拟合直线L2。
在此基础上，上述步骤S323“从轮廓位置中确定出若干第一特征点的第一空间位置”具体可以包括：从每个标定载体区域的轮廓位置中，确定出标定载体区域的若干第一特征点的第一空间位置。具体地，可以包括下属步骤S1109。
步骤S1109：在同一标定载体区域中，将每相邻两条轮廓线的交点位置作为一第一特征点的第一空间位置。
具体可参阅步骤S323。
如图12所示，将第二拟合直线L2的交点作为第一特征点，将交点的位置作为第一特征点的第一空间位置。
请参阅图13，图13是图3中步骤S33一实施例的流程示意图。具体而言，步骤S33可以包括：
步骤S331：确定图像中标定对象对应的图案区域。
在一个实施场景中，请结合参阅图14，图14是图13中步骤S331一实施例的流程示意图，步骤S331具体可以包括如下步骤：
步骤S3311：对图像进行灰度变换以及二值化处理。
在一个实施场景中，当标定对象包括ArUco码、棋盘格时，通过对图像进行灰度变换以及二值化处理，有利于突出图像中的特征信息，提高后续识别的准确率。关于灰度化处理以及二值化处理是本领域的现有技术，本实施例在此不再赘述。
步骤S3312：基于预设轮廓匹配算法，从经处理后的图像中查找出与标定对象的轮廓匹配的图案区域。
在一个实施场景中，当标定对象包括ArUco码、棋盘格时，标定对象的轮廓为方形。轮廓匹配算法为本领域中的现有技术，本实施例在此不再赘述。
步骤S332：识别图案区域中若干第二特征点，并获取第二特征点的第二空间位置。
在一个实施场景中，第二特征点为标定对象的角点，请结合参阅图15，图15是图13中农步骤S332一实施例的流程示意图，步骤S332可以包括如下步骤：
步骤S3321：识别出图案区域的角点，并获得角点在图像中的图像位置。
在一个实施场景中，当标定对象包括ArUco码、棋盘格时，可以通过匹配方格识别出图案区域的角点。例如，当标定对象为ArUco码时，可以根据汉明码确定标定对象的朝向后，识别出角点，并获得角点的图像位置。
步骤S3322：基于图像传感器的成像模型以及标定对象的原点空间位置，将角点的图像位置转换为角点的空间位置，得到第二空间位置。
图像传感器的成像模型可以为线性成像模型，例如小孔成像模型，也可以是非线性成像模型。标定对象的原点空间位置可以为标定对象的中心位置。将角点的图像位置转换为角点在图像传感器下的空间位置，可以通过对图像坐标系、摄像机坐标系和世界坐标系的转换而得到，关于图像坐标系、摄像机坐标系和世界坐标系的转换为本领域的现有技术，本实施例在此不再赘述。
请参阅图16，图16是图3中步骤S34一实施例的流程示意图。预设位置关系为预设比例的缩放关系，具体而言，步骤S34可以包括：
步骤S1601：按照预设比例的缩放关系分别将若干第一特征点的第一空间位置转换为第三空间位置。
在一个实施场景中，如图2所示，标定载体11为边长为a的正方形，标定对象A为边长为b的正方形，第一特征点为标定载体11的角点113，第二特征点为标定对象A的角点A1，从而预设比例的缩放关系为a与b的比值。按照预设比例的缩放关系分别将若干第一特征点的第一空间位置缩小至第三空间位置。
步骤S1602：将转换为第三空间位置的若干第一特征点和若干第二特征点对应，获得多组特征点对。
如图2所示，直接将转换后的第一特征点与第二特征点对应，从而得到特征点对B1、特征点对B2、特征点对B3、特征点对B4。
请参阅图17，图17是图3中步骤S34另一实施例的流程示意图。预设位置关系为预设比例的缩放关系，具体而言，步骤S34可以包括：
步骤S1701：按照预设比例的缩放关系分别将若干第二特征点的第二空间位置转换为第四空间位置。
在一个实施场景中，如图2所示，标定载体11为边长为a的正方形，标定对象A为边长为b的正方形，第一特征点为标定载体11的角点113，第二特征点为标定对象A的角点A1，从而预设比例的缩放关系为a与b的比值。按照预设比例的缩放关系分别将若干第二特征点的第二空间位置放大至第四空间位置。
步骤S1702：将转换为第四空间位置的若干第二特征点和若干第一特征点对应，获得多组特征点对。
如图2所示，直接将转换后的第二特征点与第一特征点对应，从而得到特征点对B1、特征点对B2、特征点对B3、特征点对B4。
此外，针对存在多个标定载体的情况，上述步骤S34具体可以包括：按照预设位置关系将每个标定载体区域的若干第一特征点的第一空间位置与标定载体区域对应的若干第二特征点的第二空间位置进行匹配，以得到多组特征点对。在一个实施场景中，标定对象包括ArUco码，从而通过识别出ArUco码的ID，确定各个位置上标定载体的ID，进而可以确定属于同一标定载体区域的若干第一特征点和若干第二特征点，继而可以通过上述步骤S1601～步骤S1602，或者上述步骤S1701～步骤S1702将第一特征点的第一空间位置和第二特征点的第二空间位置进行匹配，最终得到多组特征点对。通过设置多个标定载体，可以增加更多组匹配的特征点对，从而减少标定的偶然性，增加鲁棒性，减少误差，进一步提高标定准确度。
其中，在一个实施例中，上述步骤S35包括：利用预设位置匹配算法对多组特征点对的空间位置进行处理，得到深度传感器和图像传感器之间的外参矩阵，其中，外参矩阵包括旋转矩阵和平移矩阵。
预设位置匹配算法可以ICP(Iterative Closest Point，迭代最近点)算法，通过ICP算法进行3D-3D的位姿估计，通过多次迭代得到迭代后的外参矩阵。具体地，如下式，可以构建最小二乘问题使误差平方和达到最小：
Figure BDA0002201320330000191
其中，Mi为第一特征点的第一空间位置，Ni为与第一特征点匹配的第二特征点的第二空间位置，n为特征点对的总数，R为旋转矩阵，t为平移矩阵，上述误差可以通过SVD(Singular Value Decomposition，奇异值分解)求得。关于ICP算法、SVD为本领域的现有技术，本实施例在此不再赘述。
请参阅图18，图18是本申请标定装置1800一实施例的框架示意图。具体而言，本实施例中，标定装置1800包括：获取模块1810、第一位置确定模块1820、第二位置确定模块1830、匹配模块1840、参数确定模块1850，其中，获取模块1810用于分别获取深度传感器对标定载体检测到的感测信号，以及图像传感器拍摄标定载体得到的图像；其中，标定载体包括第一区域和第二区域，第一区域设有标定对象，第二区域设置为使深度传感器对第二区域比第一区域的感应强度大；第一位置确定模块1820用于基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定第二区域中的若干第一特征点的第一空间位置；第二位置确定模块1830用于利用图像确定标定对象中的若干第二特征点的第二空间位置；其中，标定载体上的每个第一特征点与对应第二特征点具有预设位置关系；匹配模块1840用于按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对；参数确定模块1850用于基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。
上述方案，在标定载体上设置第一区域和第二区域，且第二区域设置为使深度传感器对第二区域比第一区域的感应强度大，从而可以基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定出第二区域中的若干第一特征点的第一空间位置，而无需手工从深度传感器产生的感测信号中确定标定载体的特征点，在此基础上，再利用图像确定标定对象中的若干第二特征点的第二空间位置，由于标定载体上的每个第一特征点与对应第二特征点具有预设位置关系，进而按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对，最终基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，省去了人工从深度传感器产生的感测信号中确定标定载体的特征点，故此能够尽可能地降低误差，提高标定的准确度，同时也减少了工作量。
此外，由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，从而无需要求标定载体后方保持空旷，大大降低了对于标定环境的搭建要求。
在一些实施例中，深度传感器对标定载体检测到的感测信号包括深度传感器在标定载体上若干位置点检测到的若干感测信号，第一位置确定模块1820包括强度模块、轮廓模块、第一特征点确定模块，强度模块用于基于若干感测信号的信号强度，确定第二区域，轮廓模块用于提取第二区域的轮廓位置，第一特征点确定模块用于从轮廓位置中确定出若干第一特征点的第一空间位置。
在一些实施例中，第一特征点为标定载体的角点；轮廓位置包括多条轮廓线的位置，第一特征点确定模块用于将每相邻两条轮廓线的交点位置作为一第一特征点的第一空间位置。
在一些实施例中，感测信号为深度传感器发出的感测媒介经标定载体的位置点反射而得到的；第二区域对感测媒介的反射率大于第一区域对感测媒介的反射率，以使深度传感器对第二区域比第一区域的感应强度大，强度模块用于从若干感测信号中选择信号强度大于一预设强度阈值的感测信号，并将选择的感测信号的位置点作为第二区域位置点。轮廓模块用于确定第二区域位置点中位于边缘的轮廓位置点，轮廓模块还用于基于确定的轮廓位置点，得到第二区域的轮廓位置。
在一些实施例中，强度模块还包括第一拟合模块、强度选择模块，第一拟合模块用于对若干感测信号对应的位置点进行直线拟合，得到至少一条第一拟合直线，强度选择模块用于选出每条第一拟合直线上反射强度因子大于预设阈值的感测信号。
在一些实施例中，轮廓模块还包括端点模块，用于获取每条第一拟合直线上位于两端的第二区域位置点作为一组轮廓位置点，轮廓模块还包括区域划分模块，用于基于每组轮廓位置点之间的距离，将多组轮廓位置点划分到至少两个拟合区域，轮廓模块还包括第二拟合模块，用于对于每个拟合区域，将拟合区域中位于同一端的轮廓位置点进行直线拟合，以获得两条第二拟合直线；其中，每条第二拟合直线作为第二区域的轮廓线。
在一些实施例中，区域划分模块还用于获取每组轮廓位置点之间的距离，区域划分模块还用于将距离满足同一线性函数关系的多组第一轮廓位置点划分在同一拟合区域中。其中，线性函数关系包括递增关系、递减关系。
在一些实施例中，标定装置1800还包括距离统计模块，用于统计相邻第一拟合直线之间的距离，标定装置1800还包括标定载体划分模块，用于将距离在预设距离阈值之内的相邻第一拟合直线划分至同一标定载体区域。轮廓模块还用于基于每一标定载体区域的确定的轮廓位置点，得到标定载体区域中的第二区域的轮廓位置，第一特征点确定模块还用于从每个标定载体区域的轮廓位置中，确定出标定载体区域的若干第一特征点的第一空间位置，匹配模块1840还用于按照预设位置关系将每个标定载体区域的若干第一特征点的第一空间位置与标定载体区域对应的若干第二特征点的第二空间位置进行匹配，以得到多组特征点对。
在一些实施例中，第二位置确定模块1830还包括图案确定模块，用于确定图像中标定对象对应的图案区域，第二位置确定模块1830还包括识别获取模块，用于识别图案区域中若干第二特征点，并获取第二特征点的第二空间位置。
在一些实施例中，图案确定模块还包括图案处理模块，用于对图像进行灰度变换以及二值化处理，图案确定模块还包括轮廓查找模块，用于基于预设轮廓匹配算法，从经处理后的图像中查找出与标定对象的轮廓匹配的图案区域。
在一些实施例中，标定对象包括ArUco码、棋盘格；第二特征点为标定对象的角点，识别获取模块还用于识别出图案区域的角点，并获得角点在图像中的图像位置；识别获取模块还用于基于图像传感器的成像模型以及标定对象的原点空间位置，将角点的图像位置转换为角点的空间位置，得到第二空间位置。
在一些实施例中，预设位置关系为预设比例的缩放关系，匹配模块1840还用于按照预设比例的缩放关系分别将若干第一特征点的第一空间位置转换为第三空间位置；匹配模块1840还用于将转换为第三空间位置的若干第一特征点和若干第二特征点对应，获得多组特征点对；或者，匹配模块1840还用于按照预设比例的缩放关系分别将若干第二特征点的第二空间位置转换为第四空间位置；匹配模块1840还用于将转换为第四空间位置的若干第二特征点和若干第一特征点对应，获得多组特征点对。
在一些实施例中，参数确定模块1850用于利用预设位置匹配算法对多组特征点对的空间位置进行处理，得到深度传感器和图像传感器之间的外参矩阵，其中，外参矩阵包括旋转矩阵和平移矩阵。
请参阅图19，图19为本申请标定装置1900一实施例的框架示意图。标定装置1900包括相互耦接的存储器1910和处理器1920，处理器1920用于执行存储器1910存储的程序指令，以实现上述任一实施例中的标定方法。
具体而言，处理器1920用于控制其自身以及存储器1910以实现上述任一实施例中的标定方法。处理器1920还可以称为CPU(Central Processing Unit，中央处理单元)。处理器1920可能是一种集成电路芯片，具有信号的处理能力。处理器1920还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器1920可以由多个集成电路芯片共同实现。
本实施例中，处理器1920用于分别获取深度传感器对标定载体检测到的感测信号，以及图像传感器拍摄标定载体得到的图像；其中，标定载体包括第一区域和第二区域，第一区域设有标定对象，第二区域设置为使深度传感器对第二区域比第一区域的感应强度大，处理器1920还用于基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定第二区域中的若干第一特征点的第一空间位置，处理器1920还用于利用图像确定标定对象中的若干第二特征点的第二空间位置；其中，标定载体上的每个第一特征点与对应第二特征点具有预设位置关系，处理器1920还用于按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对，处理器1920还用于基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。
上述方案，在标定载体上设置第一区域和第二区域，且第二区域设置为使深度传感器对第二区域比第一区域的感应强度大，从而可以基于深度传感器对不同区域的感应强度情况对感测信号进行分析，以确定出第二区域中的若干第一特征点的第一空间位置，而无需手工从深度传感器产生的感测信号中确定标定载体的特征点，在此基础上，再利用图像确定标定对象中的若干第二特征点的第二空间位置，由于标定载体上的每个第一特征点与对应第二特征点具有预设位置关系，进而按照预设位置关系将若干第一特征点与若干第二特征点进行匹配，得到多组特征点对，最终基于多组特征点对的空间位置，确定深度传感器和图像传感器之间的标定参数。由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，省去了人工从深度传感器产生的感测信号中确定标定载体的特征点，故此能够尽可能地降低误差，提高标定的准确度，同时也减少了工作量。
此外，由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，从而无需要求标定载体后方保持空旷，大大降低了对于标定环境的搭建要求。
在一些实施例中，深度传感器对标定载体检测到的感测信号包括深度传感器在标定载体上若干位置点检测到的若干感测信号，处理器1920还用于基于若干感测信号的信号强度，确定第二区域，处理器1920还用于提取第二区域的轮廓位置，处理器1920还用于从轮廓位置中确定出若干第一特征点的第一空间位置。
在一些实施例中，第一特征点为标定载体的角点；轮廓位置包括多条轮廓线的位置，处理器1920还用于将每相邻两条轮廓线的交点位置作为一第一特征点的第一空间位置。
在一些实施例中，感测信号为深度传感器发出的感测媒介经标定载体的位置点反射而得到的；第二区域对感测媒介的反射率大于第一区域对感测媒介的反射率，以使深度传感器对第二区域比第一区域的感应强度大，处理器1920还用于从若干感测信号中选择信号强度大于一预设强度阈值的感测信号，并将选择的感测信号的位置点作为第二区域位置点，处理器1920还用于确定第二区域位置点中位于边缘的轮廓位置点，处理器1920还用于基于确定的轮廓位置点，得到第二区域的轮廓位置。
在一些实施例中，处理器1920还用于对若干感测信号对应的位置点进行直线拟合，得到至少一条第一拟合直线，处理器1920还用于选出每条第一拟合直线上反射强度因子大于预设阈值的感测信号，处理器1920还用于获取每条第一拟合直线上位于两端的第二区域位置点作为一组轮廓位置点，处理器1920还用于基于每组轮廓位置点之间的距离，将多组轮廓位置点划分到至少两个拟合区域，处理器1920还用于对于每个拟合区域，将拟合区域中位于同一端的轮廓位置点进行直线拟合，以获得两条第二拟合直线；其中，每条第二拟合直线作为第二区域的轮廓线。
在一些实施例中，处理器1920还用于获取每组轮廓位置点之间的距离，处理器1920还用于将距离满足同一线性函数关系的多组第一轮廓位置点划分在同一拟合区域中，其中，线性函数关系包括递增关系、递减关系。
在一些实施例中，处理器1920还用于统计相邻第一拟合直线之间的距离，处理器1920还用于将距离在预设距离阈值之内的相邻第一拟合直线划分至同一标定载体区域，处理器1920还用于基于每一标定载体区域的确定的轮廓位置点，得到标定载体区域中的第二区域的轮廓位置，处理器1920还用于从每个标定载体区域的轮廓位置中，确定出标定载体区域的若干第一特征点的第一空间位置，处理器1920还用于按照预设位置关系将每个标定载体区域的若干第一特征点的第一空间位置与标定载体区域对应的若干第二特征点的第二空间位置进行匹配，以得到多组特征点对。
在一些实施例中，处理器1920还用于确定图像中标定对象对应的图案区域，处理器1920还用于识别图案区域中若干第二特征点，并获取第二特征点的第二空间位置。
在一些实施例中，处理器1920还用于对图像进行灰度变换以及二值化处理，处理器1920还用于基于预设轮廓匹配算法，从经处理后的图像中查找出与标定对象的轮廓匹配的图案区域，其中，标定对象包括ArUco码、棋盘格；第二特征点为标定对象的角点，处理器1920还用于识别出图案区域的角点，并获得角点在图像中的图像位置，处理器1920还用于基于图像传感器的成像模型以及标定对象的原点空间位置，将角点的图像位置转换为角点的空间位置，得到第二空间位置。
在一些实施例中，处理器1920还用于利用预设位置匹配算法对多组特征点对的空间位置进行处理，得到深度传感器和图像传感器之间的外参矩阵，其中，外参矩阵包括旋转矩阵和平移矩阵。
在一些实施例中，预设位置关系为预设比例的缩放关系，处理器1920还用于按照预设比例的缩放关系分别将若干第一特征点的第一空间位置转换为第三空间位置，处理器1920还用于将转换为第三空间位置的若干第一特征点和若干第二特征点对应，获得多组特征点对，或者，处理器1920还用于按照预设比例的缩放关系分别将若干第二特征点的第二空间位置转换为第四空间位置，处理器1920还用于将转换为第四空间位置的若干第二特征点和若干第一特征点对应，获得多组特征点对。
请参阅图20，图20为本申请存储装置2000一实施例的框架示意图。存储装置2000存储有能够被处理器运行的程序指令2001，程序指令2001用于实现上述任一实施例中的标定方法。
上述方案，由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，省去了人工从深度传感器产生的感测信号中确定标定载体的特征点，故此能够尽可能地降低误差，提高标定的准确度，同时也减少了工作量。
此外，由于基于感应强度确定出第二区域若干第一特征点的第一空间位置，从而无需要求标定载体后方保持空旷，大大降低了对于标定环境的搭建要求。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (18)

1.一种标定方法，其特征在于，包括：
分别获取深度传感器对标定载体检测到的感测信号，以及图像传感器拍摄所述标定载体得到的图像；其中，所述标定载体包括第一区域和第二区域，所述标定载体的边角均位于所述第一区域的外部，所述第一区域设有标定对象，所述第二区域设置为使所述深度传感器对所述第二区域比所述第一区域的感应强度大；
基于所述深度传感器对不同区域的感应强度情况对所述感测信号进行分析，以确定所述第二区域中的若干第一特征点的第一空间位置；
利用所述图像确定所述标定对象中的若干第二特征点的第二空间位置；其中，所述标定载体上的每个第一特征点与对应第二特征点具有预设位置关系，所述预设位置关系为预设比例的缩放关系，且所述第一特征点与对应的第二特征点不处于所述标定载体上的相同位置；
按照所述预设位置关系将所述若干第一特征点与所述若干第二特征点进行匹配，得到多组特征点对；
基于所述多组特征点对的空间位置，确定所述深度传感器和所述图像传感器之间的标定参数。
2.根据权利要求1所述的标定方法，其特征在于，所述深度传感器对标定载体检测到的感测信号包括所述深度传感器在所述标定载体上若干位置点检测到的若干感测信号；
所述基于所述深度传感器对不同区域的感应强度情况对所述感测信号进行分析，以确定所述第二区域中的若干第一特征点的第一空间位置，包括：
基于所述若干感测信号的信号强度，确定所述第二区域；
提取所述第二区域的轮廓位置；
从所述轮廓位置中确定出所述若干第一特征点的第一空间位置。
3.根据权利要求2所述的标定方法，其特征在于，所述第一特征点为所述标定载体的角点；所述轮廓位置包括多条轮廓线的位置；
所述从所述轮廓位置中确定出所述若干第一特征点的第一空间位置，包括：
将每相邻两条所述轮廓线的交点位置作为一所述第一特征点的第一空间位置。
4.根据权利要求2所述的标定方法，其特征在于，所述感测信号为所述深度传感器发出的感测媒介经所述标定载体的位置点反射而得到的；所述第二区域对所述感测媒介的反射率大于所述第一区域对所述感测媒介的反射率，以使所述深度传感器对所述第二区域比所述第一区域的感应强度大；
所述基于所述若干感测信号的信号强度，确定所述第二区域，包括：
从所述若干感测信号中选择信号强度大于一预设强度阈值的感测信号，并将所述选择的感测信号的位置点作为第二区域位置点；
所述提取所述第二区域的轮廓位置，包括：
确定所述第二区域位置点中位于边缘的轮廓位置点；
基于确定的轮廓位置点，得到第二区域的轮廓位置。
5.根据权利要求4所述的标定方法，其特征在于，
所述从所述若干感测信号中选择信号强度大于一预设强度阈值的感测信号，包括：
对所述若干感测信号对应的位置点进行直线拟合，得到至少一条第一拟合直线；
选出每条所述第一拟合直线上反射强度因子大于预设阈值的感测信号；
所述确定所述第二区域位置点中位于边缘的轮廓位置点，包括：
获取每条第一拟合直线上位于两端的所述第二区域位置点作为一组轮廓位置点；
所述基于确定的轮廓位置点，得到第二区域的轮廓位置，包括：
基于每组轮廓位置点之间的距离，将多组轮廓位置点划分到至少两个拟合区域；
对于每个拟合区域，将所述拟合区域中位于同一端的轮廓位置点进行直线拟合，以获得两条第二拟合直线；其中，每条所述第二拟合直线作为所述第二区域的轮廓线。
6.根据权利要求5所述的标定方法，其特征在于，
所述基于每组轮廓位置点之间的距离，将多组轮廓位置点划分到至少两个拟合区域，包括：
获取每组轮廓位置点之间的距离；
将所述距离满足同一线性函数关系的多组轮廓位置点划分在同一拟合区域中。
7.根据权利要求6所述的标定方法，其特征在于，
所述线性函数关系包括递增关系、递减关系。
8.根据权利要求5所述的标定方法，其特征在于，
在所述基于确定的轮廓位置点，得到第二区域的轮廓位置之前，所述方法还包括：
统计相邻所述第一拟合直线之间的距离；
将所述距离在预设距离阈值之内的相邻所述第一拟合直线划分至同一标定载体区域；
所述基于确定的轮廓位置点，得到第二区域的轮廓位置，包括：
基于每一标定载体区域的确定的轮廓位置点，得到所述标定载体区域中的第二区域的轮廓位置；
所述从所述轮廓位置中确定出所述若干第一特征点的第一空间位置，包括：
从每个所述标定载体区域的所述轮廓位置中，确定出所述标定载体区域的若干第一特征点的第一空间位置；
所述按照所述预设位置关系将所述若干第一特征点与所述若干第二特征点进行匹配，得到多组特征点对，包括：
按照所述预设位置关系将每个所述标定载体区域的若干第一特征点的第一空间位置与所述标定载体区域对应的若干第二特征点的第二空间位置进行匹配，以得到多组特征点对。
9.根据权利要求1所述的标定方法，其特征在于，所述利用所述图像确定所述标定对象中的若干第二特征点的第二空间位置包括：
确定所述图像中所述标定对象对应的图案区域；
识别所述图案区域中若干所述第二特征点，并获取所述第二特征点的第二空间位置。
10.根据权利要求9所述的标定方法，其特征在于，所述确定所述图像中所述标定对象对应的图案区域包括：
对所述图像进行灰度变换以及二值化处理；
基于预设轮廓匹配算法，从经处理后的图像中查找出与所述标定对象的轮廓匹配的图案区域。
11.根据权利要求9所述的标定方法，其特征在于，所述标定对象包括ArUco码、棋盘格；所述第二特征点为所述标定对象的角点；
所述识别所述图案区域中若干所述第二特征点，并获取所述第二特征点的第二空间位置包括：
识别出所述图案区域的角点，并获得所述角点在所述图像中的图像位置；
基于所述图像传感器的成像模型以及所述标定对象的原点空间位置，将所述角点的图像位置转换为所述角点的空间位置，得到所述第二空间位置。
12.根据权利要求1所述的标定方法，其特征在于，所述基于所述多组特征点对的空间位置，确定所述深度传感器和所述图像传感器之间的标定参数，包括：
利用预设位置匹配算法对多组特征点对的空间位置进行处理，得到所述深度传感器和图像传感器之间的外参矩阵，其中，所述外参矩阵包括旋转矩阵和平移矩阵。
13.根据权利要求1所述的标定方法，其特征在于，所述按照所述预设位置关系将所述若干第一特征点与所述若干第二特征点进行匹配，得到多组特征点对包括：
按照所述预设比例的缩放关系分别将所述若干第一特征点的第一空间位置转换为第三空间位置；
将转换为第三空间位置的所述若干第一特征点和所述若干第二特征点对应，获得多组特征点对；
或者，所述按照所述预设位置关系将所述若干第一特征点与所述若干第二特征点进行匹配，得到多组特征点对包括：
按照所述预设比例的缩放关系分别将所述若干第二特征点的第二空间位置转换为第四空间位置；
将转换为第四空间位置的所述若干第二特征点和所述若干第一特征点对应，获得多组特征点对。
14.一种标定装置，其特征在于，包括：
获取模块，用于分别获取深度传感器对标定载体检测到的感测信号，以及图像传感器拍摄所述标定载体得到的图像；其中，所述标定载体包括第一区域和第二区域，所述标定载体的边角均位于所述第一区域的外部，所述第一区域设有标定对象，所述第二区域设置为使所述深度传感器对所述第二区域比所述第一区域的感应强度大；
第一位置确定模块，用于基于所述深度传感器对不同区域的感应强度情况对所述感测信号进行分析，以确定所述第二区域中的若干第一特征点的第一空间位置；
第二位置确定模块，用于利用所述图像确定所述标定对象中的若干第二特征点的第二空间位置；其中，所述标定载体上的每个第一特征点与对应第二特征点具有预设位置关系，所述预设位置关系为预设比例的缩放关系，且所述第一特征点与对应的第二特征点不处于所述标定载体上的相同位置；
匹配模块，用于按照所述预设位置关系将所述若干第一特征点与所述若干第二特征点进行匹配，得到多组特征点对；
参数确定模块，用于基于所述多组特征点对的空间位置，确定所述深度传感器和所述图像传感器之间的标定参数。
15.一种标定装置，其特征在于，包括相互耦接的存储器和处理器；
所述处理器用于执行所述存储器存储的程序指令，以实现权利要求1至13任一项所述的方法。
16.一种标定系统，其特征在于，包括：标定载体、深度传感器、图像传感器，以及分别与所述深度传感器和所述图像传感器耦接的标定装置；
其中，所述深度传感器用于扫描所述标定载体，所述图像传感器用于拍摄所述标定载体，所述标定装置用于实现权利要求1至13任一项所述的方法。
17.根据权利要求16所述的标定系统，其特征在于，所述深度传感器为激光雷达，所述标定载体的第二区域表面设置反射率大于预设值的材料；
所述标定载体的数量为一个或多个。
18.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至13任一项所述的方法。
CN201910866113.2A 2019-09-12 2019-09-12 标定方法、装置、系统及存储装置 Active CN110766758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866113.2A CN110766758B (zh) 2019-09-12 2019-09-12 标定方法、装置、系统及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910866113.2A CN110766758B (zh) 2019-09-12 2019-09-12 标定方法、装置、系统及存储装置

Publications (2)

Publication Number Publication Date
CN110766758A CN110766758A (zh) 2020-02-07
CN110766758B true CN110766758B (zh) 2022-08-09

Family

ID=69329577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910866113.2A Active CN110766758B (zh) 2019-09-12 2019-09-12 标定方法、装置、系统及存储装置

Country Status (1)

Country Link
CN (1) CN110766758B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022127858A1 (de) 2022-10-21 2024-05-02 Sick Ag Verfahren zur Positionskalibrierung einer Kamera und eines Lidarsensors mit einer Kalibriertafel sowie ein Positionskalibrierungssystem

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111207671B (zh) * 2020-03-03 2022-04-05 合肥御微半导体技术有限公司 位置标定方法和位置标定装置
CN111638499B (zh) * 2020-05-08 2024-04-09 上海交通大学 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法
CN111627075B (zh) * 2020-05-22 2021-07-23 上海黑眸智能科技有限责任公司 基于aruco码的摄像头外参标定方法、系统、终端及介质
CN111815717B (zh) * 2020-07-15 2022-05-17 西北工业大学 一种多传感器融合外参联合半自主标定方法
US11741748B2 (en) * 2020-10-14 2023-08-29 Shenzhen GOODIX Technology Co., Ltd. Passive image depth sensing for object verification based on chromatic differentiation
CN112419422B (zh) * 2020-10-23 2024-03-15 福瑞泰克智能系统有限公司 一种摄像头标定方法、装置、设备及存储介质
CN113446933B (zh) * 2021-05-19 2023-03-28 浙江大华技术股份有限公司 用于多三维传感器的外参标定方法、装置和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976669A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的装置
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN109343061A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆
CN109828262A (zh) * 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110148180A (zh) * 2019-04-22 2019-08-20 河海大学 一种激光雷达与相机融合装置与标定方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976669A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的装置
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN109343061A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆
CN109828262A (zh) * 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN110148180A (zh) * 2019-04-22 2019-08-20 河海大学 一种激光雷达与相机融合装置与标定方法
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《An Extrinsic Calibration Method for Binocular Cameras and Swing 2D Laser》;WenKai;《2017 29th Chinese Control And Decision Conference(CCDC)》;20170530;第3556-3560页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022127858A1 (de) 2022-10-21 2024-05-02 Sick Ag Verfahren zur Positionskalibrierung einer Kamera und eines Lidarsensors mit einer Kalibriertafel sowie ein Positionskalibrierungssystem

Also Published As

Publication number Publication date
CN110766758A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110766758B (zh) 标定方法、装置、系统及存储装置
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN108932736B (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
WO2021093240A1 (en) Method and system for camera-lidar calibration
CN108369741B (zh) 用于配准数据的方法和系统
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
Pandey et al. Automatic extrinsic calibration of vision and lidar by maximizing mutual information
US20010024514A1 (en) Image processing device, singular spot detection method, and recording medium upon which singular spot detection program is recorded
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
Liang et al. Automatic registration of terrestrial laser scanning data using precisely located artificial planar targets
CN111964680B (zh) 一种巡检机器人的实时定位方法
CN110782531A (zh) 处理三维点云数据的方法和计算设备
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
Weinmann et al. Fully automatic image-based registration of unorganized TLS data
CN114140539A (zh) 一种室内物体的位置获取方法和装置
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN107679542B (zh) 一种双摄像头立体视觉识别方法及系统
CN114137564A (zh) 一种室内物体自动标识定位方法和装置
CN112802114A (zh) 多视觉传感器融合装置及其方法和电子设备
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
Deng et al. Joint calibration of dual lidars and camera using a circular chessboard
Cociaş et al. Multiple-superquadrics based object surface estimation for grasping in service robotics
Karagiannis et al. Automated photogrammetric image matching with SIFT algorithm and Delaunay triangulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant