CN113450417A - 标定参数优化方法、装置、设备及存储介质 - Google Patents

标定参数优化方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113450417A
CN113450417A CN202110515592.0A CN202110515592A CN113450417A CN 113450417 A CN113450417 A CN 113450417A CN 202110515592 A CN202110515592 A CN 202110515592A CN 113450417 A CN113450417 A CN 113450417A
Authority
CN
China
Prior art keywords
camera
target
point cloud
image
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110515592.0A
Other languages
English (en)
Other versions
CN113450417B (zh
Inventor
杨延竹
严海源
柳俊先
张华�
于波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Geling Jingrui Vision Co ltd
Original Assignee
Shenzhen Geling Jingrui Vision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Geling Jingrui Vision Co ltd filed Critical Shenzhen Geling Jingrui Vision Co ltd
Priority to CN202110515592.0A priority Critical patent/CN113450417B/zh
Publication of CN113450417A publication Critical patent/CN113450417A/zh
Application granted granted Critical
Publication of CN113450417B publication Critical patent/CN113450417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种标定参数优化方法、装置、设备及存储介质，属于参数优化技术领域。本发明的标定参数优化方法包括获取目标相机采集到的目标图像；根据目标图像标定目标相机与投影设备的相对位置；根据相对位置构建目标点云；根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数；根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数；根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数，重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数。这样能够对标定参数进行优化，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。

Description

标定参数优化方法、装置、设备及存储介质
技术领域
本发明涉及参数优化技术领域，尤其涉及一种标定参数优化方法、装置、设备及存储介质。
背景技术
目前，在进行点云配准及融合时，常常是根据单投影单相机模型对左右相机分别重建出左右两片点云，然后利用ICP对两片点云进行配准及融合得到一片完整的点云，这样会使得融合后的点云会与实际物体之间存在较大误差，因此，如何提供一种基于点云配准的标定参数优化方法，对标定参数进行优化，以减小误差，提高点云重建的质量，成为了亟待解决的问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种标定参数优化方法，能够对标定参数进行优化，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
本发明还提出一种具有上述标定参数优化方法的标定参数优化装置。
本发明还提出一种具有上述标定参数优化方法的电子设备。
本发明还提出一种计算机可读存储介质。
根据本发明的第一方面实施例的标定参数优化方法，包括：
获取目标相机采集到的目标图像；
根据所述目标图像标定所述目标相机与投影设备的相对位置；
根据所述相对位置构建目标点云；
根据ICP算法计算所述目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数；
根据所述原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数；
根据所述标准相机参数和ICP算法计算所述目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数；
重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数。
根据本发明实施例的标定参数优化方法，至少具有如下有益效果：这种标定参数优化方法通过获取目标相机采集到的目标图像，根据目标图像标定目标相机与投影设备的相对位置，能够确保拍摄的清晰度和准确度，进而，根据相对位置构建目标点云，根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数，根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，从而根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数，重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数，这样能够对标定参数进行优化，提高点云的拼接效率，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
根据本发明的一些实施例，所述目标相机包括左相机和右相机，所述目标图像包括左图像和右图像，所述相对位置包括第一位姿和第二位姿，所述根据所述目标图像标定所述目标相机与投影设备的相对位置，包括：
根据所述左图像中的格雷码图、相移图解算相位得到左图像相位值，根据所述右图像中的格雷码图、相移图解算相位得到右图像相位值；
分别标定出所述左相机与所述投影设备对应的第一位姿，所述右相机与所述投影设备对应的第二位姿。
根据本发明的一些实施例，所述根据所述相对位置构建目标点云，包括：
根据所述第一位姿构建出第一点云，根据所述第二位姿构建出第二点云；
根据所述左图像相位值与所述右图像相位值，建立所述左图像的像素点与所述右图像的匹配点的第一匹配关系；
根据所述第一匹配关系，得到所述第一点云的三维点与所述第二点云的三维点之间的第二匹配关系。
根据本发明的一些实施例，所述左图像相位值与所述右图像相位值，建立所述左图像的像素点与所述右图像的匹配点的第一匹配关系，包括：
获取所述左图像中的像素点的计算相位值；
根据预设的搜索算法得到所述像素点在所述右图像中的实际相位值；
根据所述计算相位值和所述实际相位值，计算所述像素点的相位差值；
根据所述相位差值和预设的相位差阈值之间的大小关系，确定所述像素点在所述右图像中有无对应的匹配点。
根据本发明的一些实施例，所述根据所述相位差值和预设的相位差阈值之间的大小关系，确定所述像素点在所述右图像中有无对应的匹配点，包括：
若所述相位差值小于预设的相位差阈值，则所述像素点在所述右图像中存在对应的匹配点；
若所述相位差值不小于预设的相位差阈值，则所述像素点在所述右图像中不存在对应的匹配点。
根据本发明的一些实施例，所述根据所述原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，包括：
根据所述原始RT矩阵参数和非线性LM算法，对所述第一点云的匹配点和所述第二点云中对应的匹配点之间的距离进行最小化处理；
根据所述非线性LM算法，对目标相机的原始相机参数进行优化，得到标准相机参数。
根据本发明的一些实施例，所述获取目标相机采集到的目标图像之前，还包括：
根据预设的位姿数据，分别安装所述左相机、所述右相机和所述投影设备。
根据本发明的第二方面实施例的标定参数优化装置，包括：
图像获取模块，用于获取目标相机采集到的目标图像；
位置标定模块，用于根据所述目标图像标定所述目标相机与投影设备的相对位置；
点云构建模块，用于根据所述相对位置构建目标点云；
第一计算模块，用于根据ICP算法计算所述目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数；
参数优化模块，用于根据所述原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数；
第二计算模块，用于根据所述标准相机参数和ICP算法计算所述目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数；
循环模块，用于重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数。
根据本发明实施例的标定参数优化装置，至少具有如下有益效果：这种标定参数优化装置通过图像获取模块获取目标相机采集到的目标图像，位置标定模块根据目标图像标定目标相机与投影设备的相对位置，能够确保拍摄的清晰度和准确度，进而，点云构建模块根据相对位置构建目标点云，第一计算模块根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数，参数优化模块根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，从而第二计算模块根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数，循环模块会重复上述步骤直至满足预设的迭代终止条件，从而得到最终的标准RT矩阵参数，这样能够对标定参数进行优化，提高点云的拼接效率，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
根据本发明的第三方面实施例的电子设备，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如第一方面实施例所述的标定参数优化方法。
根据本发明实施例的电子设备，至少具有如下有益效果：这种电子设备采用上述标定参数优化方法，通过获取目标相机采集到的目标图像，根据目标图像标定目标相机与投影设备的相对位置，能够确保拍摄的清晰度和准确度，进而，根据相对位置构建目标点云，根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数，根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，从而根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数，重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数，这样能够对标定参数进行优化，提高点云的拼接效率，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
根据本发明的第四方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面实施例所述的标定参数优化方法。
根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：这种计算机可读存储介质执行上述标定参数优化方法，通过获取目标相机采集到的目标图像，根据目标图像标定目标相机与投影设备的相对位置，能够确保拍摄的清晰度和准确度，进而，根据相对位置构建目标点云，根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数，根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，从而根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数，重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数，这样能够对标定参数进行优化，提高点云的拼接效率，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明，其中：
图1为本发明实施例的标定参数优化方法的流程图；
图2为图1中的步骤S200的流程图；
图3为图1中的步骤S300的流程图；
图4为图3中的步骤S320的流程图；
图5为图4中的步骤S324的流程图；
图6为图1中的步骤S500的流程图；
图7为本发明实施例的标定参数优化装置的结构示意图。
附图标记：710、图像获取模块；720、位置标定模块；730、点云构建模块；740、第一计算模块；750、参数优化模块；760、第二计算模块；770、循环模块。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
第一方面，参照图1，本发明实施例的标定参数优化方法包括：
S100，获取目标相机采集到的目标图像；
S200，根据目标图像标定目标相机与投影设备的相对位置；
S300，根据相对位置构建目标点云；
S400，根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数；
S500，根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数；
S600，根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数；
S700，重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数。
在对标定参数优化的过程中，首先获取目标相机采集到的目标图像，其中目标相机包括左相机和右相机，目标图像包括左图像和右图像，这样可以获取左相机采集到对应的左图像、格雷码图以及相移图；获取右相机采集到对应的右图像、格雷码图以及相移图，从而根据目标图像标定目标相机与投影设备的相对位置，即根据左相机采集到对应的左图像、格雷码图以及相移图解算相位得到左图像相位值，根据右相机采集到对应的右图像、格雷码图以及相移图解算相位得到右图像相位值，分别标定出左相机与投影设备对应的第一位姿，右相机与投影设备对应的第二位姿，这样通过对包括左相机、右相机的目标相机进行标定，确保拍摄的清晰度和准确度。从而根据相对位置构建目标点云，具体地，根据第一位姿构建出第一点云(即位于左边的点云)，根据第二位姿构建出第二点云(即位于右边的点云)，根据左图像相位值与右图像相位值的匹配关系，建立左图像的像素点与右图像的匹配点的第一匹配关系，再将该第一匹配关系映射到第一点云和第二点云，得到第一点云的三维点与第二点云的三维点之间的第二匹配关系，这样能够方便快速地建立第一点云和第二点云中三维点的匹配关系，提高重建效率；为了提高点云的拼接效率和重建的质量，可以根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数，进而根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，需要说明的是，ICP算法为迭代最近点算法，通过求取源点云和目标点云之间的对应点对，基于对应点对构造旋转平移矩阵，并利用所求矩阵，将源点云变换到目标点云的坐标系下，估计变换后源点云与目标点云的误差函数，若误差函数值大于阀值，则迭代进行上述运算直到满足给定的误差要求；预设的优化算法可以是采用非线性LM算法等等，相机参数包括有相机的内参、畸变参数以及相位和物点三维坐标公式的有关参量等等，最后根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数，需要说明的是，为了进一步地提高点云的重建质量，减小点云融合误差，还可以多次重复上述根据RT矩阵参数和预设的优化算法，对目标相机的相机参数进行优化以及根据相机参数和ICP算法计算目标点云的刚体变换RT矩阵，得到RT矩阵参数的过程，例如重复4到5次，将最后得到的相机参数作为最终的标准相机参数，将最后得到的RT矩阵参数作为最终的标准RT矩阵参数，这样可以方便地获取到优化后的相机参数以及优化后的RT矩阵，有利于点云之间的配准融合，提高点云的拼接效率，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
参照图2，在一些实施例中，目标相机包括左相机和右相机，目标图像包括左图像和右图像，所述相对位置包括第一位姿和第二位姿，步骤S200，包括：
S210，根据左图像中的格雷码图、相移图解算相位得到左图像相位值，根据右图像中的格雷码图、相移图解算相位得到右图像相位值；
S220，分别标定出左相机与投影设备对应的第一位姿，右相机与投影设备对应的第二位姿。
在获取到左图像和右图像之后，根据左图像中的格雷码图、相移图解算相位得到左图像相位值，根据右图像中的格雷码图、相移图解算相位得到右图像相位值，分别标定出左相机与投影设备对应的第一位姿，右相机与投影设备对应的第二位姿，这样通过对包括左相机、右相机的目标相机进行标定，确保拍摄的清晰度和准确度，为了确保对相机位置标定的准确性，还可以分别通过左相机和右相机分别拍摄多个图片组，每一图片组包括一个互相对应的左图像和右图像，然后根据左右图像来标定相机与投影设备的相对位置；这样可以通过单相机、单投影的方式产生点云数据，然后对点云进行拼接，能够使得生成的点云数据相比双目视觉相机具有更大的视野范围。
参照图3，在一些实施例中，步骤S300，包括：
S310，根据第一位姿构建出第一点云，根据第二位姿构建出第二点云；
S320，根据左图像相位值与右图像相位值，建立左图像的像素点与右图像的匹配点的第一匹配关系；
S330，根据第一匹配关系，得到第一点云的三维点与第二点云的三维点之间的第二匹配关系。
在构建目标点云的过程中，根据第一位姿构建出第一点云，根据第二位姿构建出第二点云，同时，根据左图像相位值与右图像相位值，建立左图像的像素点与右图像的匹配点的第一匹配关系，再将该第一匹配关系映射到第一点云和第二点云，得到第一点云的三维点与第二点云的三维点之间的第二匹配关系，具体地，由于每一像素点对应有一个相位值，可以通过一定的匹配方式(例如，对极匹配和条纹匹配)来进行左右图像上的像素点匹配关系，即获取左图像中的像素点的计算相位值，根据预设的搜索算法，遍历右图像，得到该像素点的像素点索引值，即像素点在右图像中的实际相位值，，从而根据计算相位值和实际相位值，计算对应的相位差值，根据相位差值和预设的相位差阈值之间的大小关系，确定像素点在右图像中有无对应的匹配点，同时，选取差值最小的索引作为该像素点在右图像中的匹配点；这样建立左右图像中像素点的匹配关系后，一对一映射到第一点云和第二点云中进行点对匹配，这样能够方便快速地建立第一点云和第二点云中三维点的第二匹配关系，提高重建效率。
需要说明的是，为了提高点云重建质量，还可以在根据相位值建立点云匹配关系之后对两片点云中的点进行剔除和融合，即剔除目标点云中包含的相位值不能满足匹配关系的像素点和目标图像中无法找到匹配关系的像素点，这样可以对标定参数进一步地优化，保证了点云配准融合的准确性，提高了点云重建质量。
参照图4，在一些实施例中，步骤S320，包括：
S321，获取左图像中的像素点的计算相位值；
S322，根据预设的搜索算法得到像素点在右图像中的实际相位值；
S323，根据计算相位值和实际相位值，计算像素点的相位差值；
S324，根据相位差值和预设的相位差阈值之间的大小关系，确定像素点在右图像中有无对应的匹配点。
由于每一像素点对应有一个相位值，可以通过一定的匹配方式(例如，对极匹配和条纹匹配)来进行左右图像上的像素点匹配关系，即获取左图像中的像素点的计算相位值，根据预设的搜索算法，遍历右图像，得到该像素点的像素点索引值，即像素点在右图像中的实际相位值，，从而根据计算相位值和实际相位值，计算对应的相位差值，根据相位差值和预设的相位差阈值之间的大小关系，确定像素点在右图像中有无对应的匹配点，同时，选取差值最小的索引作为该像素点在右图像中的匹配点，若相位差值小于预设的相位差阈值，则像素点在右图像中存在对应的匹配点，若相位差值不小于预设的相位差阈值，则像素点在右图像中不存在对应的匹配点，这样通过分别在左图像和右图像中加入了各像素点的相位信息，能够快速建立左右两片点云中三维点的匹配关系，提高了点云重建效率。
参照图5，在一些实施例中，步骤S324，包括：
S324a，判断相位差值是否小于预设的相位差阈值，若相位差值小于预设的相位差阈值，则执行步骤S324b；否则执行步骤S324c；
S324b，确定像素点在右图像中存在对应的匹配点；
S324c，确定像素点在右图像中不存在对应的匹配点。
在根据相位差值和预设的相位差阈值之间的大小关系，确定像素点在右图像中有无对应的匹配点时，可以根据实际情况设定相位差阈值的具体数值，判断相位差值是否小于预设的相位差阈值，若相位差值小于预设的相位差阈值，则像素点在右图像中存在对应的匹配点，若相位差值不小于预设的相位差阈值，则像素点在右图像中不存在对应的匹配点，这样通过分别在左图像和右图像中加入了各像素点的相位信息，能够快速建立左右两片点云中三维点的匹配关系，提高了点云重建效率。
参照图6，在一些实施例中，步骤S500，包括：
S510，根据原始RT矩阵参数和非线性LM算法，对第一点云的匹配点和第二点云中对应的匹配点之间的距离进行最小化处理；
S520，根据非线性LM算法，对目标相机的原始相机参数进行优化，得到标准相机参数。
在根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数时，可以根据原始RT矩阵参数和非线性LM算法，固定原始RT矩阵参数，对第一点云的匹配点和第二点云中对应的匹配点之间的距离进行最小化处理，从而达到优化相机的内参矩阵A、畸变参数k以及相位和物点三维坐标公式的有关参量(例如参数a1，…，a8)等等，具体地，由于世界坐标系(XW,YW,ZW)和图像坐标系(u，v)之间有：
Figure BDA0003061865950000091
根据相位θ与世界坐标系，代表相位和物点三维坐标公式的相关系统参量的参数a1，…，a8有：
Figure BDA0003061865950000092
方法根据上述两个关系式，可以得到无畸变世界坐标系与参数a1，…，a8，以及内参矩阵A之间的关系式：
Figure BDA0003061865950000101
由于无畸变图像坐标(u，v)与畸变图像坐标
Figure BDA0003061865950000102
之间有：
Figure BDA0003061865950000103
其中K和P为畸变系数，
Figure BDA0003061865950000104
这样通过无畸变图像坐标(u，v)与畸变图像坐标
Figure BDA0003061865950000105
之间的关系式以及无畸变世界坐标系与参数a1，…，a8，以及内参矩阵A之间的关系式可以得到实际世界坐标系下的坐标，进而通过非线性LM方法对目标函数进行优化，得到目标函数有：
Figure BDA0003061865950000106
其中，l、r分别代表左、右；P点坐标为(Xw，Yw，Zw)；优化参数集为K＝{fx,fy,cx,cy,K1,K2,P1,P2}。这样可以方便地对相机参数进行优化，同时根据优化后的相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数。
为了进一步地提高点云的重建质量，减小点云融合误差，多次重复上述根据RT矩阵参数和预设的优化算法，对目标相机的相机参数进行优化以及根据相机参数和ICP算法计算目标点云的刚体变换RT矩阵，得到RT矩阵参数的过程，例如重复4至5次，将最后得到的相机参数作为标准相机参数，将最后得到的RT矩阵参数作为标准RT矩阵参数，这样可以方便地获取到优化后的相机参数以及优化后的RT矩阵，有利于点云之间的配准融合，使得后续点云配准融合结果达到最优，提高点云的拼接效率，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
在一些实施例中，在步骤S100之前，方法还包括：
根据预设的位姿数据，分别安装左相机、右相机和投影设备。
为了提高拍摄的清晰度与准确度，在通过左右相机采集左图像、右图像之前，可以根据预设的位姿数据，分别安装左相机、右相机以及投影设备，同时标定目标相机的初始位置，需要说明的是，该目标相机实质上是2个单目相机的组合，与标准的双目相机存在一定的区别，通过标准的双目相机重建得到的是一片点云结果，而通过本申请中的目标相机，能够分别重建出左右两片点云，最后将这两片点云进行拼接得到一片完整的点云，这样可以确保拍摄的清晰度和准确度，从而提高后续对标定参数优化的准确性以及点云重建的质量。
第二方面，参照图7，本发明实施例的标定参数优化装置包括：
图像获取模块710，用于获取目标相机采集到的目标图像；
位置标定模块720，用于根据目标图像标定目标相机与投影设备的相对位置；
点云构建模块730，用于根据相对位置构建目标点云；
第一计算模块740，用于根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数；
参数优化模块750，用于根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数；
第二计算模块760，用于根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数；
循环模块770，用于重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数。
在对标定参数优化的过程中，首先图像获取模块710获取目标相机采集到的目标图像，其中目标相机包括左相机和右相机，目标图像包括左图像和右图像，这样可以获取左相机采集到对应的左图像、格雷码图以及相移图；获取右相机采集到对应的右图像、格雷码图以及相移图，从而位置标定模块720根据目标图像标定目标相机与投影设备的相对位置，即根据左相机采集到对应的左图像、格雷码图以及相移图解算相位得到左图像相位值，根据右相机采集到对应的右图像、格雷码图以及相移图解算相位得到右图像相位值，分别标定出左相机与投影设备对应的第一位姿，右相机与投影设备对应的第二位姿，这样通过对包括左相机、右相机的目标相机进行标定，确保拍摄的清晰度和准确度。从而点云构建模块730根据相对位置构建目标点云，具体地，根据第一位姿构建出第一点云(即位于左边的点云)，根据第二位姿构建出第二点云(即位于右边的点云)，根据左图像相位值与右图像相位值的匹配关系，建立左图像的像素点与右图像的匹配点的第一匹配关系，再将该第一匹配关系映射到第一点云和第二点云，得到第一点云的三维点与第二点云的三维点之间的第二匹配关系，这样能够方便快速地建立第一点云和第二点云中三维点的匹配关系，提高重建效率；为了提高点云的拼接效率和重建的质量，第一计算模块740可以根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数，进而参数优化模块750根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，需要说明的是，预设的优化算法可以是采用非线性LM算法等等，最后第二计算模块760根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数，需要说明的是，为了进一步地提高点云的重建质量，减小点云融合误差，循环模块770还可以多次重复上述根据RT矩阵参数和预设的优化算法，对目标相机的相机参数进行优化以及根据相机参数和ICP算法计算目标点云的刚体变换RT矩阵，得到RT矩阵参数的过程，例如重复4到5次，将最后得到的相机参数作为最终的标准相机参数，将最后得到的RT矩阵参数作为最终的标准RT矩阵参数，这样可以方便地获取到优化后的相机参数以及优化后的RT矩阵，有利于点云之间的配准融合，提高点云的拼接效率，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
第三方面，本发明实施例的电子设备，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有指令，指令被至少一个处理器执行，以使至少一个处理器执行指令时实现如第一方面实施例的标定参数优化方法。
根据本发明实施例的电子设备，至少具有如下有益效果：这种电子设备采用上述标定参数优化方法，通过获取目标相机采集到的目标图像，根据目标图像标定目标相机与投影设备的相对位置，能够确保拍摄的清晰度和准确度，进而，根据相对位置构建目标点云，根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数，根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，从而根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数，重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数，这样能够对标定参数进行优化，提高点云的拼接效率，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
第四方面，本发明还提出一种计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如第一方面实施例的标定参数优化方法。
根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：这计算机可读存储介质执行上述标定参数优化方法，通过获取目标相机采集到的目标图像，根据目标图像标定目标相机与投影设备的相对位置，能够确保拍摄的清晰度和准确度，进而，根据相对位置构建目标点云，根据ICP算法计算目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数，根据原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，从而根据标准相机参数和ICP算法计算目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数，重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数，这样能够对标定参数进行优化，提高点云的拼接效率，减小融合后的点云会与实际物体之间误差，提高点云重建的质量。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.标定参数优化方法，其特征在于，包括：
获取目标相机采集到的目标图像；
根据所述目标图像标定所述目标相机与投影设备的相对位置；
根据所述相对位置构建目标点云；
根据ICP算法计算所述目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数；
根据所述原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数；
根据所述标准相机参数和ICP算法计算所述目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数；
重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数。
2.根据权利要求1所述的标定参数优化方法，其特征在于，所述目标相机包括左相机和右相机，所述目标图像包括左图像和右图像，所述相对位置包括第一位姿和第二位姿，所述根据所述目标图像标定所述目标相机与投影设备的相对位置，包括：
根据所述左图像中的格雷码图、相移图解算相位得到左图像相位值，根据所述右图像中的格雷码图、相移图解算相位得到右图像相位值；
分别标定出所述左相机与所述投影设备对应的第一位姿，所述右相机与所述投影设备对应的第二位姿。
3.根据权利要求2所述的标定参数优化方法，其特征在于，所述根据所述相对位置构建目标点云，包括：
根据所述第一位姿构建出第一点云，根据所述第二位姿构建出第二点云；
根据所述左图像相位值与所述右图像相位值，建立所述左图像的像素点与所述右图像的匹配点的第一匹配关系；
根据所述第一匹配关系，得到所述第一点云的三维点与所述第二点云的三维点之间的第二匹配关系。
4.根据权利要求3所述的标定参数优化方法，其特征在于，所述左图像相位值与所述右图像相位值，建立所述左图像的像素点与所述右图像的匹配点的第一匹配关系，包括：
获取所述左图像中的像素点的计算相位值；
根据预设的搜索算法得到所述像素点在所述右图像中的实际相位值；
根据所述计算相位值和所述实际相位值，计算所述像素点的相位差值；
根据所述相位差值和预设的相位差阈值之间的大小关系，确定所述像素点在所述右图像中有无对应的匹配点。
5.根据权利要求4所述的标定参数优化方法，其特征在于，所述根据所述相位差值和预设的相位差阈值之间的大小关系，确定所述像素点在所述右图像中有无对应的匹配点，包括：
若所述相位差值小于预设的相位差阈值，则所述像素点在所述右图像中存在对应的匹配点；
若所述相位差值不小于预设的相位差阈值，则所述像素点在所述右图像中不存在对应的匹配点。
6.根据权利要求5所述的标定参数优化方法，其特征在于，所述根据所述原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数，包括：
根据所述原始RT矩阵参数和非线性LM算法，对所述第一点云的匹配点和所述第二点云中对应的匹配点之间的距离进行最小化处理；
根据所述非线性LM算法，对目标相机的原始相机参数进行优化，得到标准相机参数。
7.根据权利要求6所述的标定参数优化方法，其特征在于，所述获取目标相机采集到的目标图像之前，还包括：
根据预设的位姿数据，分别安装所述左相机、所述右相机和所述投影设备。
8.标定参数优化装置，其特征在于，包括：
图像获取模块，用于获取目标相机采集到的目标图像；
位置标定模块，用于根据所述目标图像标定所述目标相机与投影设备的相对位置；
点云构建模块，用于根据所述相对位置构建目标点云；
第一计算模块，用于根据ICP算法计算所述目标点云的原始刚体变换RT矩阵，得到原始RT矩阵参数；
参数优化模块，用于根据所述原始RT矩阵参数和预设的优化算法，对目标相机的原始相机参数进行优化，得到标准相机参数；
第二计算模块，用于根据所述标准相机参数和ICP算法计算所述目标点云的标准刚体变换RT矩阵，得到标准RT矩阵参数；
循环模块，用于重复上述步骤直至满足预设的迭代终止条件，得到最终的标准RT矩阵参数。
9.电子设备，其特征在于，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如权利要求1至7任一项所述的标定参数优化方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的标定参数优化方法。
CN202110515592.0A 2021-05-12 2021-05-12 标定参数优化方法、装置、设备及存储介质 Active CN113450417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110515592.0A CN113450417B (zh) 2021-05-12 2021-05-12 标定参数优化方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110515592.0A CN113450417B (zh) 2021-05-12 2021-05-12 标定参数优化方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113450417A true CN113450417A (zh) 2021-09-28
CN113450417B CN113450417B (zh) 2024-08-06

Family

ID=77809725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110515592.0A Active CN113450417B (zh) 2021-05-12 2021-05-12 标定参数优化方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113450417B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240690A1 (en) * 2011-09-30 2014-08-28 The Chancellor Masters And Scholars Of The University Of Oxford Determining extrinsic calibration parameters for a sensor
CN108053450A (zh) * 2018-01-22 2018-05-18 浙江大学 一种基于多约束的高精度双目相机标定方法
CN109544606A (zh) * 2018-11-02 2019-03-29 山东大学 基于多个Kinect的快速自动配准方法及系统
CN110779933A (zh) * 2019-11-12 2020-02-11 广东省智能机器人研究院 基于3d视觉传感阵列的表面点云数据获取方法和系统
CN110852979A (zh) * 2019-11-12 2020-02-28 广东省智能机器人研究院 一种基于相位信息匹配的点云配准及融合方法
CN111325663A (zh) * 2020-02-21 2020-06-23 深圳市易尚展示股份有限公司 基于并行架构的三维点云匹配方法、装置和计算机设备
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
CN112767538A (zh) * 2021-01-11 2021-05-07 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140240690A1 (en) * 2011-09-30 2014-08-28 The Chancellor Masters And Scholars Of The University Of Oxford Determining extrinsic calibration parameters for a sensor
CN108053450A (zh) * 2018-01-22 2018-05-18 浙江大学 一种基于多约束的高精度双目相机标定方法
CN109544606A (zh) * 2018-11-02 2019-03-29 山东大学 基于多个Kinect的快速自动配准方法及系统
WO2021063127A1 (zh) * 2019-09-30 2021-04-08 深圳市瑞立视多媒体科技有限公司 多相机环境中主动式刚体的位姿定位方法及相关设备
CN110779933A (zh) * 2019-11-12 2020-02-11 广东省智能机器人研究院 基于3d视觉传感阵列的表面点云数据获取方法和系统
CN110852979A (zh) * 2019-11-12 2020-02-28 广东省智能机器人研究院 一种基于相位信息匹配的点云配准及融合方法
CN111325663A (zh) * 2020-02-21 2020-06-23 深圳市易尚展示股份有限公司 基于并行架构的三维点云匹配方法、装置和计算机设备
CN112767538A (zh) * 2021-01-11 2021-05-07 浙江商汤科技开发有限公司 三维重建及相关交互、测量方法和相关装置、设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PENG LI等: ""Evaluation of the ICP Algorithm in 3D Point Cloud Registration"", 《IEEE ACCESS》, vol. 8, 8 April 2020 (2020-04-08), XP011784344, DOI: 10.1109/ACCESS.2020.2986470 *
王玉全: ""基于双目视觉的实时三维重建技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 February 2018 (2018-02-15) *

Also Published As

Publication number Publication date
CN113450417B (zh) 2024-08-06

Similar Documents

Publication Publication Date Title
CN109754432B (zh) 一种相机自动标定方法及光学动作捕捉系统
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
JP6353289B2 (ja) 測距補正装置
WO2018029950A1 (ja) 較正装置、較正方法、光学装置、撮影装置、および投影装置
WO2022007886A1 (zh) 一种相机自动标定优化方法及相关系统、设备
CN112785655A (zh) 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质
CN110189400A (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
CN111612731B (zh) 基于双目显微视觉的测量方法、装置、系统及介质
CN113393577B (zh) 一种倾斜摄影地形重建方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
CN112929626A (zh) 一种基于智能手机影像的三维信息提取方法
CN113298886A (zh) 一种投影仪的标定方法
CN116091625A (zh) 一种基于双目视觉的基准标记位姿估计方法
CN116894907B (zh) 一种rgbd相机纹理贴图优化方法及系统
CN113450417B (zh) 标定参数优化方法、装置、设备及存储介质
KR102265081B1 (ko) 벡터내적과 3차원 좌표변환을 이용한 카메라의 위치 및 자세를 결정하는 시스템
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
CN102376093A (zh) 一种摄像机标定方法
CN112819900B (zh) 一种智能立体摄影内方位、相对定向和畸变系数标定方法
WO2022128741A1 (en) Multi-dimensional object pose estimation and refinement
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统
CN112669388B (zh) 激光雷达与摄像装置的标定方法及装置、可读存储介质
KR100823070B1 (ko) 3차원 계측을 위한 다수 교정 영상을 이용한 카메라 교정방법
CN116309440B (zh) 一种aoi检测用模板图像的制作方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant