CN116485918A - 一种标定方法、系统及计算机可读存储介质 - Google Patents
一种标定方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116485918A CN116485918A CN202310750938.4A CN202310750938A CN116485918A CN 116485918 A CN116485918 A CN 116485918A CN 202310750938 A CN202310750938 A CN 202310750938A CN 116485918 A CN116485918 A CN 116485918A
- Authority
- CN
- China
- Prior art keywords
- calibration
- camera
- coordinate system
- laser
- checkerboard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims abstract description 142
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 11
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本申请属于三维重建技术领域，具体公开了一种标定方法、系统及计算机可读存储介质。该标定方法包括：对相机进行标定；沿着世界坐标系的Z轴确定N个标定位置；在各个标定位置，获得点阵光源投射至标定位置处的漫反射板上的激光点阵的激光点阵图像，和设置在标定位置处的棋盘格图像，利用棋盘格图像和相机的内参矩阵与畸变系数计算XY平面到相机的像素坐标系的变换矩阵；利用激光点阵图像和相机的内参矩阵与畸变参数、变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系；计算激光束的直线方程。通过沿着世界坐标系的Z轴移动漫反射板，并且将光线方程（激光束方程）的求解转到相机坐标系下，不需要参考图像，整个标定过程更加简便、快捷。
Description
技术领域
本申请涉及三维重建系统技术领域，具体涉及一种用于对三维重建系统进行标定的标定方法、系统及计算机可读存储介质。
背景技术
当前，基于面结构光的三维成像是一种非接触式高精度三维测量技术，在测量、检测、自动化等领域有广泛应用。基于面结构光的三维成像主要有两种结构：（1）两个相机加一个面阵投影设备的双目结构光系统；（2）一个相机加一个面阵投影设备的单目结构光系统。相对于双目结构光系统，单目结构光成本更低，算法速度更快，盲区更少，且能保证足够的数据质量，得到越来越广泛的关注和应用。在利用单目结构光进行三维重建之前，需要对相机和投影设备进行系统标定，分别获取到相机和投影仪的内外参数。
单目结构光系统的标定主要是对面阵投影设备参数的标定。不像双目系统有成熟可靠的标定方法，单目结构光系统的标定和算法比较复杂。
发明内容
本申请实施例提供一种标定方法、系统及计算机可读存储介质，可以快速、高效地对三维重建系统进行标定。
一方面，本申请实施例提供一种标定方法，应用于包含点阵光源和相机的单目结构光三维重建系统，其特征在于，标定方法包括：
对相机进行标定，获得相机的内参矩阵与畸变系数；
将漫反射板置于单目结构光三维重建系统的前方，以漫反射板所在的平面为XY平面，垂直于平面的轴为Z轴建立世界坐标系；
沿着世界坐标系的Z轴确定N个标定位置，N为大于1的正整数；
驱动漫反射板先后移动至各标定位置，在各标定位置处，点阵光源发出的激光点阵照射到漫反射板上，驱动相机拍摄漫反射板上的激光点阵的图像，得到各标定位置处的激光点阵图像；
先后在每个标定位置处设置已知尺寸的棋盘格标定图案，驱动相机拍摄棋盘格标定图案，得到各标定位置处的棋盘格图像；
利用在各个标定位置处获取的棋盘格图像和相机的内参矩阵与畸变系数计算各个标定位置处的XY平面到相机的像素坐标系的变换矩阵；
利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系；
通过相机坐标系中同一激光束在各标定位置处的激光点在相机坐标系下的坐标计算该激光束的直线方程；
所有激光束的直线方程参数与相机的内参矩阵、畸变系数即为单目结构光三维重建系统的标定参数。
根据本申请第一方面的实施方式，利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系，包括
提取在各个标定位置处获取的激光点阵图像中的每个点的中心位置参数，利用相机的内参矩阵与畸变系数、对应的标定位置处的变换矩阵和对应的标定位置处的中心位置参数，将各激光点阵图像从像素坐标系转换至相机坐标系。
根据本申请第一方面前述任一实施方式，先后在每个标定位置处设置已知尺寸的棋盘格标定图案，包括
在漫反射板位于标定位置处的情况下，将带有棋盘格标定图案的纸贴在漫反射板的漫反射面上；或
将带有棋盘格标定图案的标定板先后放置于各标定位置处，使棋盘格标定图案与相同标定位置处时的漫反射板的漫反射面重合。
根据本申请第一方面前述任一实施方式，在漫反射板上设置有棋盘格标定图案显示区和点阵光源照射区，在棋盘格标定图案显示区设置有可显示棋盘格标定图案的部件，点阵光源发出的激光点阵照射至点阵光源照射区；
先后在每个标定位置处设置已知尺寸的棋盘格标定图案，包括
当漫反射板运动至各标定位置处时，驱动可显示棋盘格标定图案的部件在棋盘格标定图案显示区显示棋盘格标定图案。
根据本申请第一方面前述任一实施方式，对相机进行标定，获得相机的内参矩阵与畸变系数，包括
在相机视野范围内、工作景深范围内，任意摆放已知尺寸的棋盘格标定板，利用相机采集15张以上的棋盘格标定板图片，对相机进行标定，得到相机的内参矩阵M和畸变系数D，M为一个3*3的矩阵，D为一个1*5的矩阵。
第二方面，本申请实施例提供一种标定系统，包含点阵光源、相机、驱动器和控制器，其特征在于，控制器包括
位置设定模块，用于在世界坐标系下，沿着世界坐标系的Z轴设定N个标定位置；N为大于1的整数；
相机标定模块，用于对相机进行标定，获得相机的内参矩阵与畸变系数；
驱动器控制模块，用于控制驱动器驱动漫反射板先后移动至各个标定位置；
点阵光源控制模块，用于控制点阵光源发出激光点阵照射到位于标定位置处的漫反射板上；
相机控制模块，用于控制相机拍摄标定位置处的激光点阵图像和位于标定位置处的棋盘格标定图案的棋盘格图像；
变换矩阵计算模块，用于利用在各个标定位置处获取的棋盘格图像和相机的内参矩阵与畸变系数计算世界坐标系下的各个标定位置处的XY平面到相机的像素坐标系的变换矩阵；
像素坐标系与相机坐标系转换模块，用于利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系；
直线方程计算模块，用于通过相机坐标系中同一激光束在各标定位置处的激光点在相机坐标系下的坐标计算该激光束的直线方程；
其中，所有激光束的直线方程的参数与相机的内参矩阵、畸变系数即为标定参数。
根据本申请第二方面的实施方式，利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系，包括
提取在各个标定位置处获取的激光点阵图像中的每个点的中心位置参数，利用相机的内参矩阵与畸变系数、对应的标定位置处的变换矩阵和对应的标定位置处的中心位置参数，将各激光点阵图像从像素坐标系转换至相机坐标系。
根据本申请第二方面前述任一实施方式，漫反射板的漫反射面可用于粘贴带有棋盘格标定图案的纸；或
在漫反射板上设置有棋盘格标定图案显示区和点阵光源照射区，在棋盘格标定图案显示区设置有可显示棋盘格标定图案的部件，点阵光源发出的激光点阵照射至点阵光源照射区。
根据本申请第二方面前述任一实施方式，对相机进行标定，获得相机的内参矩阵与畸变系数，包括：
在相机视野范围内、工作景深范围内，任意摆放已知尺寸的棋盘格标定板，利用相机采集15张以上的棋盘格标定板图片，对相机进行标定，得到相机的内参矩阵M和畸变系数D，M为一个3*3的矩阵，D为一个1*5的矩阵。
第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行，以实现如上所述的标定方法。
现有的单目结构光系统的标定往往是将其结构光投射系统看作是一个“逆相机”，将单目结构光系统等效为双目系统来进行标定，而传统的双目结构光系统进行标定时（双目结构光系统中的结构光只是起到标识作用，并没有参与到系统的标定），通过系统中的两个相机获取同一棋盘格的图像信息，来解算两个相机之间的关系。在标定过程中，以棋盘格为参考图像，并建立不同的世界坐标系；两个相机需要同时获取棋盘格在不同位置时的图像作为参考图像，其数量要20至30张，才能实现对系统参数的准确标定。标定过程中，棋盘格在每个位置都对应一个独立的世界坐标系，利用不同世界坐标系与像素坐标系之间的对应关系，通过逐步优化逼近的方式，计算得到双目系统的参数，计算量大，且计算过程繁琐；而本申请实施例的标定方法，建立了一个单一的世界坐标系，通过沿着世界坐标系的Z轴移动漫反射板，并且将光线方程（激光束方程）的求解转到相机坐标系下，不需要参考图像，整个标定过程更加简便、快捷。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要调用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本申请实施例的世界坐标系、相机坐标系、像素坐标系的示意图。
图2是本申请实施例的标定方法的流程图。
图3是本申请实施例的标定方法用到的棋盘格图像的示意图。
图4是本申请实施例的标定系统的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
首先对本申请实施例中涉及到的名词进行简要解释说明：
点阵光源：一种大视场激光光束扫描系统，该系统能够发出多束激光；
世界坐标系：以漫反射板所在的平面为XY平面，垂直于XY平面的轴为Z轴，满足笛卡尔直角坐标系关系，建立的坐标系，单位是mm；
像素坐标系：相机的成像平面所在面为xy平面，建立起的成像平面坐标系，单位是像素；
相机坐标系：以相机的长边为XC轴，短边为YC轴，垂直相机沿镜头方向为ZC轴，满足笛卡尔直角坐标系关系，建立起的坐标系，单位是mm。
世界坐标系、像素坐标系、相机坐标系之间的关系如图1所示。
本申请第一方面实施例提供一种标定方法，应用于包含点阵光源和相机的单目结构光三维重建系统，主要用于对点阵光源进行参数标定；单目结构光三维重建系统可用于获得待测物体的三维形貌信息，重建物体三维模型。
请参阅图2，本申请第一方面实施例提供的标定方法包括步骤S100至步骤S700。
S100、对相机进行标定，获得相机的内参矩阵与畸变系数。
在一些实施例中，步骤S100包括如下步骤：
S110、在相机视野范围内、工作景深范围内，任意摆放已知尺寸的棋盘格标定板，利用相机采集15张以上的棋盘格标定板图片，对相机进行标定，得到相机的内参矩阵M和畸变系数D，其中，M为一个3*3的矩阵，D为一个1*5的矩阵。棋盘格标定板上具有如图3所示的棋盘格图案。
照拍过程中棋盘格标定板占据相机视野的1/2～2/3，相机视野四个角落及中心这五个区域中的每个区域对棋盘格标定板拍摄三个姿态的照片。如此，便能覆盖相机的所有视野，完成相机的标定。相机镜头各个部位的畸变是非一致的，有的大，有的小，四周比中间区域畸变大。因此需要在标定的时候，将棋盘格标定板的分布占满整个相机视野（先后使棋盘格标定盘上的棋盘格图案分布在相机视野的四个角落区域及中心区域），并在畸变较大的区域以多个角度放置棋盘格标定板以获得棋盘格标定板的多张不同角度的图像，同时为了提高解算的准确性（由标定的数学模型决定），棋盘格标定板不能一直处于同一平面，需要有深度的变化。
S200、将漫反射板置于单目结构光三维重建系统的前方，以漫反射板所在的平面为XY平面，垂直于平面的轴为Z轴建立世界坐标系；沿着世界坐标系的Z轴确定N个标定位置，N为大于1的正整数。漫反射板可以沿着Z轴方向移动，并可在N个标定位置处停留，面反射板的朝向单目结构光三维重建系统的面是一个漫反射面。
S300、驱动漫反射板移动使漫反射板先后停留在各标定位置处；漫反射板停留在每个标定位置处时，点阵光源发出的激光点阵照射到漫反射板上，驱动相机拍摄漫反射板上的激光点阵的图像，得到各标定位置处的激光点阵图像。
S400、漫反射板停留在每个标定位置处时，在漫反射板上设置已知尺寸的棋盘格标定图案，驱动相机拍摄棋盘格标定图案，得到各标定位置处的棋盘格图像。
上述步骤S300和步骤S400中，将棋盘格标定图案置于和点阵光源投射在漫反射板上的相同位置之处，可以减小二者的偏差，为后续转换矩阵的计算提供便利。
其中，棋盘格标定图案可以是如图3所示的棋盘格图案。棋盘格标定板上的棋盘格图案与棋盘格标定图案种的棋盘格尺寸可以相同，也可以不同。
S500、利用在各个标定位置处获取的棋盘格图像和相机的内参矩阵与畸变系数计算各个标定位置处的XY平面到相机的像素坐标系的变换矩阵。每一个标定位置都对应一个变换矩阵。变换矩阵的计算过程如下：
第一步：利用从棋盘格图像提取到的角点和设计好的世界坐标系/>计算像素坐标系到世界坐标系的旋转矩阵/>和平移矩阵/>：
（1）
第二步：计算尺度因子，公式如下：
（2）
（3）
（4）
其中，、/>是过度参数，无物理意义；/>、/>均是3*1矩阵，/>表示取/>矩阵的第3行、第1列的元素，/>表示取/>矩阵的第3行、第1列元素。表示相对位姿估计函数。
S600、利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系。如此，就可以将每一束激光在不同标定位置处的坐标转换至相机坐标系下。
在一些实施例中，步骤S600包括如下步骤：
S610、提取在各个标定位置处获取的激光点阵图像中的每个点的中心位置参数。此步骤种，可以利用常规的图像处理算法提取各个激光点的中心位置参数。
S620、利用相机的内参矩阵与畸变系数、对应的标定位置处的变换矩阵和对应的标定位置处的中心位置参数，将各激光点阵图像从像素坐标系转换至相机坐标系。转换坐标系的计算公式如下：
对于每一个点（u,v）,其在相机坐标系下对应的三位点（x,y,z）,计算公式如下：
（5）
其中，（u,v）表示某一个激光点在像素坐标系下位置，单位是1；（x,y,z）表示某一个激光点在相机坐标系下的位置，单位mm。
S700、通过相机坐标系中同一激光束在各标定位置处的激光点在相机坐标系下的坐标计算该激光束的直线方程。某一激光束的直线方程如下式所示：
（6）
将同一激光束在各标定位置处的激光点在相机坐标系下的坐标带入该方程，即可求出四个参数k1、b1、k2、b2。所有激光束的直线方程参数[k1，b1，k2，b2]与相机的内参矩阵、畸变系数即为单目结构光三维重建系统的标定参数。
在一些实施例中，漫反射板停留在每个标定位置处时，在漫反射板上设置已知尺寸的棋盘格标定图案，有多种可以实现的具体实施方案。
第一种实施方案：在漫反射板位于标定位置处的情况下，将带有棋盘格标定图案的纸贴在漫反射板的漫反射面上。
第二种实施方案：将带有棋盘格标定图案的标定板先后放置于各标定位置处，替换漫反射板，且使棋盘格标定图案与位于相同标定位置处时的漫反射板的漫反射面重合。保证拍摄的棋盘格图像与激光点阵图像是从同一平面获取的图像。
第三种实施方案：在漫反射板上设置有棋盘格标定图案显示区和点阵光源照射区，两个区域不重合；在棋盘格标定图案显示区设置有可显示棋盘格标定图案的部件，用于显示棋盘格标定图案，该部件可以是LED等；点阵光源发出的激光点阵照射至点阵光源照射区；当漫反射板运动至各标定位置处时，驱动可显示棋盘格标定图案的部件在棋盘格标定图案显示区显示棋盘格标定图案。控制相机对漫反射板进行拍照，可以同时获得激光点阵图像和棋盘格图像，通过图像处理算法可以从包含激光点阵图像和棋盘格图像的图像中单独提取激光点阵图像或棋盘格图像。
现有技术中，光线方程的求解是转到世界坐标系下进行的，每次进行三维重建时，都需要一张参考图像，例如，放一个已知尺寸的物体，对该物体进行拍照。这种方法操作繁琐，效率不高。本申请的标定方法，把光线方程（激光束方程）的求解转到相机坐标系下，不需要参考图像，整个标定过程更加简便、快捷。
请参阅图4，本申请第二方面实施例提供一种标定系统100，包含点阵光源110、相机120、驱动器130和控制器140；其中点阵光源110和相机120一起构成单目结构光三维重建系统200，可用于获得待测物体的三维形貌信息，重建物体三维模型；控制器140包括如下模块：
位置设定模块141，用于在世界坐标系下，沿着世界坐标系的Z轴设定N个标定位置；N为大于1的整数；
相机标定模块142，用于对相机进行标定，获得相机的内参矩阵与畸变系数；
驱动器控制模块143，用于控制驱动器驱动漫反射板先后移动至各个标定位置；激光点阵照射到漫反射板上后会发生漫反射；漫反射板安装在一个可移动的支架上，该支架设置在轨道上，轨道沿着世界坐标系的Z轴方向延伸；通过控制驱动器（例如驱动电机）可以使漫反射板沿着世界坐标系的Z轴方向移动，并可以控制漫反射板停留在各个标定位置；
点阵光源控制模块144，用于控制点阵光源发出激光点阵照射到位于标定位置处的漫反射板上；当漫反射板运动至目标标定位置并保持静止状态后，点阵光源控制模块控制阵光源发出激光点阵照射到位于该标定位置处的漫反射板上。当然，也可以根据激光点阵图像和棋盘格图像的先后顺序，根据实际情况控制点阵光源的工作状态。例如，若程序设置是先获取各个标定位置处的激光点阵图像，然后获取各个标定位置处的棋盘格图像，那么在获取激光点阵图像的过程中，点阵光源控制模块就可以控制点阵光源一直处于工作状态，即点阵光源一直处于向漫反射板发射激光的状态。若程序设置是在某一标定位置处先后获取激光点阵图像、棋盘格图像，为了避免棋盘格对激光的影响，则在拍摄激光点阵图像时，点阵光源控制模块才控制点阵光源向漫反射板发射激光。
相机控制模块145，用于控制相机拍摄标定位置处的激光点阵图像和位于标定位置处的棋盘格标定图案的棋盘格图像；在某一特定标定位置处，若点阵激光向漫反射板照射点阵激光，则相机控制模块控制相机拍摄激光点阵图像；若在该标定位置处设置棋盘格标定图案，则相机控制模块控制相机拍摄棋盘格图像；若在该标定位置处同时被投射点阵激光和设置有棋盘格标定图案，则相机控制模块控制相机拍摄一次性获取激光点阵图像和棋盘格图像。
变换矩阵计算模块146，用于利用在各个标定位置处获取的棋盘格图像和相机的内参矩阵与畸变系数计算世界坐标系下的各个标定位置处的XY平面到相机的像素坐标系的变换矩阵。变换矩阵的计算过程如下：
第一步：利用棋盘格提取到的角点和设计好的世界坐标系/>计算像素坐标系到世界坐标系的旋转矩阵/>和平移矩阵/>
（7）
第二步：计算尺度因子，公式如下：
（8）
（9）
（10）
通过该变换，可以将世界坐标系下，各个标定位置处的XY平面转换到像素坐标系下。
像素坐标系与相机坐标系转换模块147，用于利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系。将激光点阵图像转换至相机坐标系下后，就可以利用激光点阵图像中各个激光点的不同坐标计算出该束激光的直线方程。
直线方程计算模块148，用于通过相机坐标系中同一激光束在各标定位置处的激光点在相机坐标系下的坐标计算该激光束的直线方程。某一激光束的直线方程如下式所示：
（11）
其中，所有激光束的直线方程的参数与相机的内参矩阵、畸变系数即为标定参数。具体的，将同一激光束在各标定位置处的激光点在相机坐标系下的坐标带入该方程，即可求出四个参数k1、b1、k2、b2。所有激光束的直线方程参数[k1，b1，k2，b2]与相机的内参矩阵、畸变系数即为单目结构光三维重建系统的标定参数。本申请实施例的标定系统与标定方法具有相同的有益效果，在此不赘述。
在一些实施例中，利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系，包括：
提取在各个标定位置处获取的激光点阵图像中的每个点的中心位置参数；利用相机的内参矩阵与畸变系数、对应的标定位置处的变换矩阵和对应的标定位置处的中心位置参数，将各激光点阵图像从像素坐标系转换至相机坐标系。转换坐标系的计算公式如下：
对于每一个点（u,v）,其在相机坐标系下对应的三位点（x,y,z）,计算公式如下：
（12）
在一些实施例中，漫反射板的漫反射面可用于粘贴带有棋盘格标定图案的纸；在漫反射板位于标定位置处的情况下，将带有棋盘格标定图案的纸贴在漫反射板的漫反射面上。
在一些实施例中，在漫反射板上设置有棋盘格标定图案显示区和点阵光源照射区，两个区域不重合；在棋盘格标定图案显示区设置有可显示棋盘格标定图案的部件，用于显示棋盘格标定图案，该部件可以是LED等；点阵光源发出的激光点阵照射至点阵光源照射区。当漫反射板运动至各标定位置处时，棋盘格标定图案显示区显示出棋盘格标定图案。控制相机对漫反射板进行拍照，可以同时获得激光点阵图像和棋盘格图像，通过图像处理算法可以从包含激光点阵图像和棋盘格图像的图像中单独提取激光点阵图像或棋盘格图像。
在一些实施例中，对相机进行标定，获得相机的内参矩阵与畸变系数，包括：
在相机视野范围内、工作景深范围内，任意摆放已知尺寸的棋盘格标定板，利用相机采集15张以上的棋盘格标定板图片，对相机进行标定，得到相机的内参矩阵M和畸变系数D，M为一个3*3的矩阵，D为一个1*5的矩阵。
照拍过程中棋盘格标定板占据相机视野的1/2～2/3，相机视野四个角落及中心这五个区域种的每个区域对棋盘格标定板拍摄三个姿态的照片。如此，便能覆盖相机的所有视野，完成相机标定。
本申请第三方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行，以实现上述标定方法。
综上所述，本发明实施例提供的技术方案，建立了一个单一的世界坐标系，通过沿着世界坐标系的Z轴移动漫反射板，并且将光线方程（激光束方程）的求解转到相机坐标系下，不需要参考图像，整个标定过程更加简便、快捷。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的次序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定次序或者连续次序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
Claims (10)
1.一种标定方法，应用于包含点阵光源和相机的单目结构光三维重建系统，其特征在于，所述标定方法包括：
对相机进行标定，获得相机的内参矩阵与畸变系数；
将漫反射板置于单目结构光三维重建系统的前方，以漫反射板所在的平面为XY平面，垂直于平面的轴为Z轴建立世界坐标系；
沿着世界坐标系的Z轴确定N个标定位置，N为大于1的正整数；
驱动漫反射板先后移动至各标定位置，在各标定位置处，点阵光源发出的激光点阵照射到漫反射板上，驱动相机拍摄漫反射板上的激光点阵的图像，得到各标定位置处的激光点阵图像；
先后在每个标定位置处设置已知尺寸的棋盘格标定图案，驱动相机拍摄棋盘格标定图案，得到各标定位置处的棋盘格图像；
利用在各个标定位置处获取的棋盘格图像和相机的内参矩阵与畸变系数计算各个标定位置处的XY平面到相机的像素坐标系的变换矩阵；
利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系；
通过相机坐标系中同一激光束在各标定位置处的激光点在相机坐标系下的坐标计算该激光束的直线方程；
所有激光束的直线方程参数与相机的内参矩阵、畸变系数即为单目结构光三维重建系统的标定参数。
2.根据权利要求1所述的标定方法，其特征在于：所述利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系，包括
提取在各个标定位置处获取的激光点阵图像中的每个点的中心位置参数，利用相机的内参矩阵与畸变系数、对应的标定位置处的变换矩阵和对应的标定位置处的中心位置参数，将各激光点阵图像从像素坐标系转换至相机坐标系。
3.根据权利要求1所述的标定方法，其特征在于：所述先后在每个标定位置处设置已知尺寸的棋盘格标定图案，包括
在漫反射板位于标定位置处的情况下，将带有棋盘格标定图案的纸贴在所述漫反射板的漫反射面上；或
将带有棋盘格标定图案的标定板先后放置于各标定位置处，使棋盘格标定图案与相同标定位置处时的漫反射板的漫反射面重合。
4.根据权利要求1所述的标定方法，其特征在于：在所述漫反射板上设置有棋盘格标定图案显示区和点阵光源照射区，在所述棋盘格标定图案显示区设置有可显示棋盘格标定图案的部件，所述点阵光源发出的激光点阵照射至所述点阵光源照射区；
所述先后在每个标定位置处设置已知尺寸的棋盘格标定图案，包括
当所述漫反射板运动至各标定位置处时，驱动可显示棋盘格标定图案的部件在棋盘格标定图案显示区显示棋盘格标定图案。
5.根据权利要求1所述的标定方法，其特征在于：所述对相机进行标定，获得相机的内参矩阵与畸变系数，包括
在相机视野范围内、工作景深范围内，任意摆放已知尺寸的棋盘格标定板，利用相机采集15张以上的棋盘格标定板图片，对相机进行标定，得到相机的内参矩阵M和畸变系数D，M为一个3*3的矩阵，D为一个1*5的矩阵。
6.一种标定系统，包含点阵光源、相机、驱动器和控制器，其特征在于，所述控制器包括
位置设定模块，用于在世界坐标系下，沿着世界坐标系的Z轴设定N个标定位置；N为大于1的整数；
相机标定模块，用于对相机进行标定，获得相机的内参矩阵与畸变系数；
驱动器控制模块，用于控制所述驱动器驱动漫反射板先后移动至各个标定位置；
点阵光源控制模块，用于控制所述点阵光源发出激光点阵照射到位于标定位置处的漫反射板上；
相机控制模块，用于控制所述相机拍摄标定位置处的激光点阵图像和位于标定位置处的棋盘格标定图案的棋盘格图像；
变换矩阵计算模块，用于利用在各个标定位置处获取的棋盘格图像和相机的内参矩阵与畸变系数计算世界坐标系下的各个标定位置处的XY平面到相机的像素坐标系的变换矩阵；
像素坐标系与相机坐标系转换模块，用于利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系；
直线方程计算模块，用于通过相机坐标系中同一激光束在各标定位置处的激光点在相机坐标系下的坐标计算该激光束的直线方程；
其中，所有激光束的直线方程的参数与相机的内参矩阵、畸变系数即为标定参数。
7.根据权利要求6所述的标定系统，其特征在于：所述利用在各个标定位置处获取的激光点阵图像和相机的内参矩阵与畸变参数、对应的标定位置处的变换矩阵将激光点阵图像从像素坐标系转换至相机坐标系，包括
提取在各个标定位置处获取的激光点阵图像中的每个点的中心位置参数，利用相机的内参矩阵与畸变系数、对应的标定位置处的变换矩阵和对应的标定位置处的中心位置参数，将各激光点阵图像从像素坐标系转换至相机坐标系。
8.根据权利要求6所述的标定系统，其特征在于，所述漫反射板的漫反射面可用于粘贴带有棋盘格标定图案的纸；或
在所述漫反射板上设置有棋盘格标定图案显示区和点阵光源照射区，在所述棋盘格标定图案显示区设置有可显示棋盘格标定图案的部件，所述点阵光源发出的激光点阵照射至所述点阵光源照射区。
9.根据权利要求6所述的标定系统，其特征在于，所述对相机进行标定，获得相机的内参矩阵与畸变系数，包括
在相机视野范围内、工作景深范围内，任意摆放已知尺寸的棋盘格标定板，利用相机采集15张以上的棋盘格标定板图片，对相机进行标定，得到相机的内参矩阵M和畸变系数D，M为一个3*3的矩阵，D为一个1*5的矩阵。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：
所述计算机程序被处理器执行，以实现权利要求1至5中任一项所述的标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310750938.4A CN116485918B (zh) | 2023-06-25 | 2023-06-25 | 一种标定方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310750938.4A CN116485918B (zh) | 2023-06-25 | 2023-06-25 | 一种标定方法、系统及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116485918A true CN116485918A (zh) | 2023-07-25 |
| CN116485918B CN116485918B (zh) | 2023-09-08 |
Family
ID=87212340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310750938.4A Active CN116485918B (zh) | 2023-06-25 | 2023-06-25 | 一种标定方法、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116485918B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197132A (zh) * | 2023-11-03 | 2023-12-08 | 季华实验室 | 类镜面缺陷投影方法、装置、电子设备及存储介质 |
Citations (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102393753A (zh) * | 2011-09-27 | 2012-03-28 | 浙江中控太阳能技术有限公司 | 基于多波段光源的太阳能热发电定日镜定位系统及方法 |
| CN103363902A (zh) * | 2013-07-16 | 2013-10-23 | 清华大学 | 基于红外激光的粉尘环境中运动目标位姿检测装置及方法 |
| CN103913126A (zh) * | 2014-04-18 | 2014-07-09 | 中国人民解放军国防科学技术大学 | 用于角秒级三维变形的光学准直测量方法 |
| CN106705898A (zh) * | 2017-01-24 | 2017-05-24 | 浙江四点灵机器人股份有限公司 | 一种点阵结构光测量平面度的方法 |
| CN107121109A (zh) * | 2017-06-12 | 2017-09-01 | 北京航空航天大学 | 一种基于前镀膜平面镜的结构光参数标定装置及方法 |
| US20180088346A1 (en) * | 2016-09-29 | 2018-03-29 | Jeremy Paul Willden | Three-dimensional imaging system |
| CN109579747A (zh) * | 2018-10-09 | 2019-04-05 | 天津大学 | 基于二维光学点阵的漫反射型表面形貌测量方法 |
| CN110091891A (zh) * | 2019-05-05 | 2019-08-06 | 中铁检验认证中心有限公司 | 高速列车动态限界测量方法、装置、存储介质及电子设备 |
| CN111028297A (zh) * | 2019-12-11 | 2020-04-17 | 凌云光技术集团有限责任公司 | 面结构光三维测量系统的标定方法 |
| US20200151907A1 (en) * | 2018-11-14 | 2020-05-14 | Fanuc Corporation | Camera calibration device and camera calibration method |
| CN111429532A (zh) * | 2020-04-30 | 2020-07-17 | 南京大学 | 一种利用多平面标定板提高相机标定精确度的方法 |
| CN111536902A (zh) * | 2020-04-22 | 2020-08-14 | 西安交通大学 | 一种基于双棋盘格的振镜扫描系统标定方法 |
| CN112927302A (zh) * | 2021-02-22 | 2021-06-08 | 山东大学 | 一种多线激光雷达与相机联合标定的标定板及标定方法 |
| CN113034608A (zh) * | 2021-03-11 | 2021-06-25 | 东北大学秦皇岛分校 | 一种角膜表面形态测量装置及方法 |
| CN113028988A (zh) * | 2021-03-03 | 2021-06-25 | 天津工业大学 | 一种点阵光源智能视觉传感器及其应用和标定方法 |
| CN113137920A (zh) * | 2021-05-19 | 2021-07-20 | 重庆大学 | 一种水下测量的设备与水下测量方法 |
| CN113506349A (zh) * | 2021-07-19 | 2021-10-15 | 江苏天楹机器人智能科技有限公司 | 一种垃圾分选机器人高精度手眼标定方法 |
| CN113538591A (zh) * | 2021-06-18 | 2021-10-22 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合系统的标定方法及装置 |
| CN114049324A (zh) * | 2021-11-15 | 2022-02-15 | 天津大学 | 超视场尺度下的关联基准远心测量快速标定方法 |
| CN114723825A (zh) * | 2022-04-21 | 2022-07-08 | 中冶赛迪重庆信息技术有限公司 | 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端 |
| WO2022165650A1 (zh) * | 2021-02-02 | 2022-08-11 | 华为技术有限公司 | 一种探测装置、控制方法、融合探测系统及终端 |
| CN115457147A (zh) * | 2022-09-16 | 2022-12-09 | 北京的卢深视科技有限公司 | 相机标定方法、电子设备及存储介质 |
| US20220404770A1 (en) * | 2021-06-14 | 2022-12-22 | Envisics Ltd | Waveguide Pupil Expansion |
| CN115830103A (zh) * | 2022-11-28 | 2023-03-21 | 北京石油化工学院 | 一种基于单目彩色的透明物体定位方法、装置及存储介质 |
| CN116051659A (zh) * | 2023-03-30 | 2023-05-02 | 山东科技大学 | 一种线阵相机与2d激光扫描仪联合标定方法 |
| WO2023087947A1 (zh) * | 2021-11-16 | 2023-05-25 | 海信视像科技股份有限公司 | 一种投影设备和校正方法 |
| CN116182703A (zh) * | 2023-01-31 | 2023-05-30 | 桂林电子科技大学 | 一种线结构光传感器标定方法及系统 |
| CN116182702A (zh) * | 2023-01-31 | 2023-05-30 | 桂林电子科技大学 | 一种基于主成分分析的线结构光传感器标定方法及系统 |
-
2023
- 2023-06-25 CN CN202310750938.4A patent/CN116485918B/zh active Active
Patent Citations (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102393753A (zh) * | 2011-09-27 | 2012-03-28 | 浙江中控太阳能技术有限公司 | 基于多波段光源的太阳能热发电定日镜定位系统及方法 |
| CN103363902A (zh) * | 2013-07-16 | 2013-10-23 | 清华大学 | 基于红外激光的粉尘环境中运动目标位姿检测装置及方法 |
| CN103913126A (zh) * | 2014-04-18 | 2014-07-09 | 中国人民解放军国防科学技术大学 | 用于角秒级三维变形的光学准直测量方法 |
| US20180088346A1 (en) * | 2016-09-29 | 2018-03-29 | Jeremy Paul Willden | Three-dimensional imaging system |
| CN106705898A (zh) * | 2017-01-24 | 2017-05-24 | 浙江四点灵机器人股份有限公司 | 一种点阵结构光测量平面度的方法 |
| WO2018228013A1 (zh) * | 2017-06-12 | 2018-12-20 | 北京航空航天大学 | 一种基于前镀膜平面镜的结构光参数标定装置及方法 |
| CN107121109A (zh) * | 2017-06-12 | 2017-09-01 | 北京航空航天大学 | 一种基于前镀膜平面镜的结构光参数标定装置及方法 |
| CN109579747A (zh) * | 2018-10-09 | 2019-04-05 | 天津大学 | 基于二维光学点阵的漫反射型表面形貌测量方法 |
| US20200151907A1 (en) * | 2018-11-14 | 2020-05-14 | Fanuc Corporation | Camera calibration device and camera calibration method |
| CN110091891A (zh) * | 2019-05-05 | 2019-08-06 | 中铁检验认证中心有限公司 | 高速列车动态限界测量方法、装置、存储介质及电子设备 |
| CN111028297A (zh) * | 2019-12-11 | 2020-04-17 | 凌云光技术集团有限责任公司 | 面结构光三维测量系统的标定方法 |
| CN111536902A (zh) * | 2020-04-22 | 2020-08-14 | 西安交通大学 | 一种基于双棋盘格的振镜扫描系统标定方法 |
| CN111429532A (zh) * | 2020-04-30 | 2020-07-17 | 南京大学 | 一种利用多平面标定板提高相机标定精确度的方法 |
| WO2022165650A1 (zh) * | 2021-02-02 | 2022-08-11 | 华为技术有限公司 | 一种探测装置、控制方法、融合探测系统及终端 |
| CN112927302A (zh) * | 2021-02-22 | 2021-06-08 | 山东大学 | 一种多线激光雷达与相机联合标定的标定板及标定方法 |
| CN113028988A (zh) * | 2021-03-03 | 2021-06-25 | 天津工业大学 | 一种点阵光源智能视觉传感器及其应用和标定方法 |
| CN113034608A (zh) * | 2021-03-11 | 2021-06-25 | 东北大学秦皇岛分校 | 一种角膜表面形态测量装置及方法 |
| CN113137920A (zh) * | 2021-05-19 | 2021-07-20 | 重庆大学 | 一种水下测量的设备与水下测量方法 |
| US20220404770A1 (en) * | 2021-06-14 | 2022-12-22 | Envisics Ltd | Waveguide Pupil Expansion |
| CN113538591A (zh) * | 2021-06-18 | 2021-10-22 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合系统的标定方法及装置 |
| WO2022262332A1 (zh) * | 2021-06-18 | 2022-12-22 | 深圳奥锐达科技有限公司 | 一种距离测量装置与相机融合系统的标定方法及装置 |
| CN113506349A (zh) * | 2021-07-19 | 2021-10-15 | 江苏天楹机器人智能科技有限公司 | 一种垃圾分选机器人高精度手眼标定方法 |
| CN114049324A (zh) * | 2021-11-15 | 2022-02-15 | 天津大学 | 超视场尺度下的关联基准远心测量快速标定方法 |
| WO2023087947A1 (zh) * | 2021-11-16 | 2023-05-25 | 海信视像科技股份有限公司 | 一种投影设备和校正方法 |
| CN114723825A (zh) * | 2022-04-21 | 2022-07-08 | 中冶赛迪重庆信息技术有限公司 | 用于无人行车场景下的相机坐标映射方法、系统、介质及电子终端 |
| CN115457147A (zh) * | 2022-09-16 | 2022-12-09 | 北京的卢深视科技有限公司 | 相机标定方法、电子设备及存储介质 |
| CN115830103A (zh) * | 2022-11-28 | 2023-03-21 | 北京石油化工学院 | 一种基于单目彩色的透明物体定位方法、装置及存储介质 |
| CN116182703A (zh) * | 2023-01-31 | 2023-05-30 | 桂林电子科技大学 | 一种线结构光传感器标定方法及系统 |
| CN116182702A (zh) * | 2023-01-31 | 2023-05-30 | 桂林电子科技大学 | 一种基于主成分分析的线结构光传感器标定方法及系统 |
| CN116051659A (zh) * | 2023-03-30 | 2023-05-02 | 山东科技大学 | 一种线阵相机与2d激光扫描仪联合标定方法 |
Non-Patent Citations (2)
| Title |
|---|
| STARK, ANDREAS WALTER等: "Miniaturization of a coherent monocular structured illumination system for future combination with digital holography", 《LIGHT: ADVANCED MANUFACTURING》, pages 437 - 444 * |
| 吴志远: "基于3D激光扫描的注塑件缺陷检测系统研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》, no. 1, pages 005 - 529 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197132A (zh) * | 2023-11-03 | 2023-12-08 | 季华实验室 | 类镜面缺陷投影方法、装置、电子设备及存储介质 |
| CN117197132B (zh) * | 2023-11-03 | 2024-02-13 | 季华实验室 | 类镜面缺陷投影方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116485918B (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110763152B (zh) | 一种水下主动旋转结构光三维视觉测量装置及测量方法 | |
| CN111536902B (zh) | 一种基于双棋盘格的振镜扫描系统标定方法 | |
| CN111012506B (zh) | 基于立体视觉的机器人辅助穿刺手术末端工具中心标定方法 | |
| CN116485918B (zh) | 一种标定方法、系统及计算机可读存储介质 | |
| CN104457569A (zh) | 一种大型复合板材几何参数视觉测量方法 | |
| CN103337069B (zh) | 基于复合摄像机的高质量三维彩色图像获取方法及装置 | |
| CN110672037A (zh) | 基于相移法的线性光源光栅投影三维测量系统及方法 | |
| CN113884519B (zh) | 自导航x射线成像系统及成像方法 | |
| JPH11166818A (ja) | 三次元形状計測装置の校正方法及び校正装置 | |
| CN110216374A (zh) | 激光加工系统和激光加工方法 | |
| CN114034248A (zh) | 一种基于双目视觉的激光三维投影方法 | |
| CN114283203A (zh) | 一种多相机系统的标定方法及系统 | |
| CN112697112A (zh) | 一种相机水平面倾斜角的测量方法及装置 | |
| CN115761011A (zh) | 一种线激光3d相机系统全自动标定方法及装置 | |
| CN114264248A (zh) | 一种单目旋转结构光三维测量方法 | |
| CN114224489B (zh) | 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法 | |
| CN116592766A (zh) | 一种基于激光与单目视觉融合的精密三维测量方法和装置 | |
| CN110849285A (zh) | 基于单目相机的焊点深度测量方法、系统及介质 | |
| CN109425292B (zh) | 基于一维线结构光的三维测量系统标定装置及方法 | |
| CN116147534A (zh) | 一种基于镜面辅助的多视角三维激光扫描系统及复杂表面全景测量方法 | |
| CN115619877A (zh) | 单目线激光传感器与二轴机床系统的位置关系标定方法 | |
| JP4077755B2 (ja) | 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 | |
| EP3385663B1 (en) | Height measuring and estimation method of uneven surface of microscope slide, and microscope | |
| CN112288810B (zh) | 采样定位方法、装置、系统及计算机存储介质 | |
| CN115082538A (zh) | 基于线结构光投影的多目视觉平衡环零件表面三维重建系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |