CN112991464A - 基于立体视觉的三维重建的点云误差补偿方法及系统 - Google Patents

基于立体视觉的三维重建的点云误差补偿方法及系统 Download PDF

Info

Publication number
CN112991464A
CN112991464A CN202110297258.2A CN202110297258A CN112991464A CN 112991464 A CN112991464 A CN 112991464A CN 202110297258 A CN202110297258 A CN 202110297258A CN 112991464 A CN112991464 A CN 112991464A
Authority
CN
China
Prior art keywords
point cloud
dimensional
error
point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110297258.2A
Other languages
English (en)
Other versions
CN112991464B (zh
Inventor
胡天亮
刘忠强
段岳飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110297258.2A priority Critical patent/CN112991464B/zh
Publication of CN112991464A publication Critical patent/CN112991464A/zh
Application granted granted Critical
Publication of CN112991464B publication Critical patent/CN112991464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本公开提出了基于立体视觉的三维重建的点云误差补偿方法及系统，包括：获得从多个位置拍摄的标定板的图片并基于上述图片重建出三维点云数据；基于重建出三维点云数据求取实际坐标点集，将实际坐标点集与求取的理论点集差值作为点云的重建误差并建立误差模型；对实际物体进行三维扫描重建时，利用误差模型对扫描得到的点云数据进行误差补偿，获得补偿后的点云坐标。本发明提供的点云补偿方法对三维重建的最终结果三维点云进行标定，得到误差映射模型，通过误差预测和补偿，提高了三维重建的精度。

Description

基于立体视觉的三维重建的点云误差补偿方法及系统
技术领域
本公开属于三维视觉、非接触测量与逆向工程技术领域，尤其涉及基于立体视觉的三维重建的点云误差补偿方法及系统。
背景技术
立体视觉技术是依靠一对相机或多对相机利用三角测量原理从二维图像信息中估计目标物体的三维坐标信息。而立体视觉结构光系统是在立体视觉的基础上增加了结构光投射设备，通过投影条纹，散斑等图案到目标物体上，从而增加纹理，提高匹配的精度，可以获得更高精度和更高密度的三维信息。近年来，三维重建技术已经用于测量、逆向工程、医疗等各个领域，其中立体视觉和立体视觉结构光三维重建技术具有快速、高效、非接触等优点获得了广泛的应用。
发明人发现，立体视觉和立体视觉结构光三维重建技术的精度与相机标定和系统标定的精度息息相关，但是目前的标定方法大多采用参数估计并迭代优化的方法来计算标定结果，不可避免的存在误差；另外由于标定的结果会在后续的重建过程中用于图片的矫正和投影参数的计算，导致标定误差在这些过程中传递，多种误差耦合在一起，共同影响了重建的精度，导致重建出来的点云模型存在较大的误差。
发明内容
为克服上述现有技术的不足，本公开提供了基于立体视觉的三维重建的点云误差补偿方法及系统，对立体视觉三维重建的点云数据的误差进行补偿，进而提高三维重建的精度，获得扫描对象更高精度的点云数据，从而更好的指导后续的测量或加工工序的方法。
为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：
第一方面，公开了基于立体视觉的三维重建的点云误差补偿方法，包括：
获得从多个位置拍摄的标定板的图片并基于上述图片重建出三维点云数据；
基于重建出三维点云数据求取实际坐标点集，将实际坐标点集与求取的理论点集差值作为点云的重建误差并建立误差模型；
对实际物体进行三维扫描重建时，利用误差模型对扫描得到的点云数据进行误差补偿，获得补偿后的点云坐标。
进一步的技术方案，获得从多个位置拍摄的标定板的图片之前，使用棋盘格和张氏标定法进行相机标定，得到相机之间的空间外参数和两个相机各自的内参数。
进一步的技术方案，重建出三维点云数据，具体为：
建立二维棋盘格坐标系；
标记处棋盘格内角点；
使用立体视觉相机同时采集标定板图片，利用立体视觉技术重建出该位置的棋盘格内角点三维点云坐标；
带动棋盘格图像等间距移动k次，并对每个位置的棋盘格内角点进行重建，得到立体视觉坐标系下的k幅点云。
进一步的技术方案，重建出三维点云数据之后求取实际坐标点集，具体为：
建立空间三维设计坐标系，构建位于位于XOY平面内的棋盘格角点坐标集，计算从棋盘格第一个位置的点云到棋盘格角点坐标集的刚度变换矩阵，将得到的k幅点云使用刚度变换矩阵转换到空间三维设计坐标系下，即得到实际坐标点集坐标。
进一步的技术方案，对实际三维点集进行估计得到平面的移动方向向量，将得到的棋盘格角点坐标点集沿着移动方向向量以间隔移动k次得到理论点集坐标。
进一步的技术方案，建立误差模型时，以得到实际点集的坐标作为输入数据集，以得到的重建误差，作为输出数据集，通过训练得到具体的坐标和误差之间的映射关系即获得坐标—误差映射神经网络，完成误差的预测。
进一步的技术方案，上述点云误差补偿方法用于3D打印工序。
第二方面，公开了基于立体视觉的三维重建的点云误差补偿系统，包括：
三维点云数据重建模块，用于获得从多个位置拍摄的标定板的图片并基于上述图片重建出三维点云数据；
误差模型获得模块，用于基于重建出三维点云数据求取实际坐标点集，将实际坐标点集与求取的理论点集差值作为点云的重建误差并建立误差模型；
补偿后的点云坐标获得模块，对实际物体进行三维扫描重建时，利用误差模型对扫描得到的点云数据进行误差补偿，获得补偿后的点云坐标。
以上一个或多个技术方案存在以下有益效果：
本发明提出了一种面向立体视觉和立体视觉结构光三维重建技术的点云补偿方法，该方法解决了传统立体视觉技术的重建精度仅仅依赖于相机和系统的标定，相机标定结果仅仅只依靠二维像素重映射误差来进行优化和评价，不可避免存在误差，而且从二维到三维重建过程中误差进行了传递，相机标定并没有对三维重建误差进行优化，最终导致重建精度不足的弊端。本发明提供的点云补偿方法对三维重建的最终结果三维点云进行标定，得到误差映射模型，通过误差预测和补偿，提高了三维重建的精度。
本发明从三维点云角度对误差进行标定，并使用神经网络建立误差预测模型，算法简单，拟合效果好，误差预测精确，本发明提供的点云误差补偿方法是对点云误差进行标定，与相机标定的结果无关，因此无论相机标定结果的好坏，都可以使用本方法进行补偿，提高精度。另外本方法补偿结果精度高，可靠性好，可以运用于双目立体视觉，多目立体视觉和立体视觉结构光等各种不同的三维重建方法中，具有广泛适用性。
本发明的坐标——误差映射关系通过人工神经网络来完成，具有强大的拟合能力，能高精度的完成误差预测，而且算法简单易于操作。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例补偿方法的流程示意图；
图2为本公开实施例补偿系统结构示意图；
图3为本公开实施例棋盘格坐标系示意图；
图4为本公开实施例设计坐标系实际点集示意图；
图5为本公开实施例设计坐标系下的理论点集示意图；
图6为本公开实施例同一坐标系下的棋盘格标定点集和补偿目标
图7为本公开实施例BP神经网络示意图；
图8为本公开实施例神经网络损失曲线图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
如图1所示，本实施例公开了基于立体视觉的三维重建的点云误差补偿方法，包括：
步骤一：相机及系统标定。使用高精度棋盘格和张氏标定法进行相机及系统标定，得到相机之间的空间外参数和两个相机各自的内参数。
步骤二：等距多位置棋盘格点云重建。首先建立二维棋盘格坐标系，标记处棋盘格内角点；使用立体视觉相机同时采集标定板图片，利用立体视觉技术重建出该位置的棋盘格内角点三维点云坐标；使用高精度移动模组带动棋盘格图像等间距移动k次，并使用步骤一得到的相机之间的外参数和两个相机各自的内参数应用立体视觉技术对每个位置的棋盘格内角点进行重建，得到立体视觉坐标系Wc下的k幅点云(1Ω,…,mΩ,…，kΩ)。
步骤三：实际坐标点集的求取。以右手坐标系建立空间三维设计坐标系，构建位于位于XOY平面内的棋盘格角点坐标集1Ψ，使用SVD分解方法计算从棋盘格第一个位置的点云1Ω到1Ψ的刚度变换矩阵R,T，将步骤二得到的k幅点云使用刚度变换矩阵R,T转换到设计坐标系下，即得到实际坐标点集坐标；
步骤四：理论点集的求取。对步骤三得到的实际三维点集进行估计得到平面的移动方向向量V；将步骤三种得到的棋盘格角点坐标点集1Ψ沿着移动方向向量V以间隔△d移动k次得到理论点集坐标。
步骤五：误差的求取。由步骤四得到的理论点集坐标减去步骤三得到的实际点集坐标得到重建误差。
步骤六：建立坐标—误差映射神经网络。构建一种神经网络算法，以步骤三得到实际点集的坐标(X,Y,Z)作为输入数据集，以步骤五得到的重建误差(△X,△Y，△Z)作为输出数据集，通过训练得到具体的坐标和误差之间的映射关系，完成误差的预测。
步骤七：误差预测和补偿。将需要进行补偿的点云数据通过步骤三得到的R，T转换到设计坐标系下，将该坐标系下的坐标输入神经网络中预测得到每个点的误差，该点坐标和误差的和即为补偿后的坐标。
更为具体的，步骤一：在图2所示，在测量视场空间Λ内，分别用左右相机各采集16张以上不同位姿的高精度棋盘格标定板图像；
使用张氏标定法对双目相机进行标定；分别得到相机之间的表征两个相机空间相对位置的旋转矩阵R和平移矩阵T，以及两个相机各自的内参矩阵A和畸变系数k1,k2,p1,p2。
步骤二：如图3示，以棋盘格左上角第一个内角点为原点建立二维棋盘格坐标系，棋盘格角点在棋盘格坐标系下的坐标为
Figure BDA0002984811420000061
其中(i,j)是角点序号，i＝0,1,2,…,w-1；j＝0,1,2,…,h-1。其中w,h分别为棋盘格在两个方向的内角数，s为棋盘格格子的边长。
如图2示，使用左右两个相机同时采集第一个位置的标定板图像，保证每次采集的标定板的图像完整。对采集到的的标定板图像使用步骤一获得的内参矩阵A和畸变系数k1,k2,p1,p2参数进行畸变矫正，消除畸变，使用旋转矩阵R和平移矩阵T进行立体校正，把图片校正为标准极线的几何结构，然后进行角点提取，按顺序即可获得左右右相机的匹配点对，使用这些点对计算视差，最后使用立体视觉原理，结合相机内外参数及视差图获取标定板角点在双目立体视觉坐标系下Wc的三维点集1Ω，设
Figure BDA0002984811420000062
是1Ω中与二维棋盘格角点qi，j对应的点，那么点
Figure BDA0002984811420000063
的三维坐标为：
Figure BDA0002984811420000071
再看附图2所示，使用高精度直线移动模组带动固定在该模组上的高精度棋盘格从第一个位置开始朝相机方向移动△d，在视场空间Ω内以间距△d进行移动K次，在具体例子中，则标定板的位置分别为(△d，2△d，…,m△d,…,K△d)，重复步骤2.1对每个位置的标定板图像进行重建得到棋盘格在该位置的三维坐标，则在棋盘格位于第m个位置的对应的三维点集是mΩ,设
Figure BDA0002984811420000072
是mΩ其中一点,则
Figure BDA0002984811420000073
的三维坐标是
Figure BDA0002984811420000074
共获得k幅三维点集(1Ω,…,mΩ,…，kΩ)。
关于步骤三具体实现：如图5所示，构建设计坐标系：以右手坐标系建立空间三维设计坐标系，则设计坐标系下构建的位于XOY平面内的棋盘格角点的坐标点为理论点集1Ψ，即是图中理论坐标的第一个平面，设
Figure BDA0002984811420000075
是1Ψ中与二维棋盘格角点qi，j对应的点，则
Figure BDA0002984811420000076
的坐标为：
Figure BDA0002984811420000077
使用奇异值分解求解从1Ω→1Ψ的刚度变换矩阵R,T。
具体的，
Figure BDA0002984811420000078
实际坐标点集的求取：对步骤二得到的双目立体视觉坐标系Wc下的k幅三维点集(1Ω,…,mΩ,…，kΩ)使用下式转换到设计坐标系Wd下实际坐标点集
Figure BDA0002984811420000079
如图4所示。
Figure BDA0002984811420000081
步骤四：如图4所示，平面移动方向向量的求取：取出k幅实际三维点集
Figure BDA0002984811420000082
中与二维棋盘格角点qi，j对应的点
Figure BDA0002984811420000083
图中取的是每个理论坐标平面的左上角第一个点，共k个点组成一个点集
Figure BDA0002984811420000084
对这k个点进行空间直线拟合，得到直线的方向向量
Figure BDA0002984811420000085
该向量
Figure BDA0002984811420000086
就是实际棋盘格坐标点集在设计坐标系Wd下的移动方向，具体实施例子中，V为：
[-0.0490425 -0.0565322 0.997195]。
如图5所示，设与k幅实际三维点集
Figure BDA0002984811420000087
对应的理论三维点集为(1Ψ,…,mΨ,…kΨ),其中理论点集1Ψ已经由步骤3.1得到。对于任一理论点集mΨ，设
Figure BDA0002984811420000088
是mΨ中与二维棋盘格角点qi，j对应的点，则理论坐标
Figure BDA0002984811420000089
的坐标为：
Figure BDA00029848114200000810
步骤五：由设计坐标系下的理论坐标
Figure BDA00029848114200000811
和实际坐标
Figure BDA00029848114200000812
我们定义误差为：
Figure BDA00029848114200000813
即：
Figure BDA00029848114200000814
更为具体的，步骤六：如图6所示，利用实际坐标
Figure BDA00029848114200000815
的X,Y,Z三个坐标和对应的误差mEi，j的△X,△Y,△Z分别作为训练数据的输入、输出数据集。
然后通过一种神经网络算法进行训练求解神经网络各个隐藏层和输出层之间的权重和偏置参数。
在实际例子中，参见附图7，隐藏层层数分别是3,7,3,的BP神经网络。神经网络损失曲线图，参见附图8所示。
参数求解完成后便建立了三维点的坐标和该点的误差的映射关系。通过这个关系，输入一个坐标，便通过映射关系得到该点得到对应的误差，实现误差的预测。
步骤七：设需要补偿的点集为xΩ,该点集通过双目立体视觉获得，位于在测量视场空间Λ内。
将点集xΩ通过步骤3.2获得的转换矩阵R,T转换到设计坐标系下，获得的点集为
Figure BDA0002984811420000091
设
Figure BDA0002984811420000092
是
Figure BDA0002984811420000093
中的一点，将点坐标输入步骤四训练好的神经网络映射关系中，得到每个点的误差
Figure BDA0002984811420000094
则补偿后的值为：
Figure BDA0002984811420000095
本发明是通过事先标定视场测量空间中特征点的误差，通过神经网络来用特征点数据来预测误差分布模型，得到误差分布模型以后可以对扫描出的点云进行误差预测并补偿，从而达到提高点云重建精度的效果。
本发明对立体视觉三维重建的点云数据的误差进行补偿，进而提高三维重建的精度，获得扫描对象更高精度的点云数据，从而更好的指导后续的测量或加工工序的方法。
基于上述方案进行实施，上述参数选择如下：棋盘格精度为0.001mm，w＝11,h＝8,s＝6mm，直线移动模组为直线电机，重复定位精度：0.0003mm，△d＝2.5mm，k＝14次，具体对点云数据进行补偿，结果见下表：
单位：mm
Figure BDA0002984811420000101
上述表格是补偿一个标定球的相应数据,可以看到补偿后，误差减小了0.0654mm(54.6％)。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤，包括：
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
实施例四
本实施例的目的是提供了基于立体视觉的三维重建的点云误差补偿系统，包括：
三维点云数据重建模块，用于获得从多个位置拍摄的标定板的图片并基于上述图片重建出三维点云数据；
误差模型获得模块，用于基于重建出三维点云数据求取实际坐标点集，将实际坐标点集与求取的理论点集差值作为点云的重建误差并建立误差模型；
补偿后的点云坐标获得模块，对实际物体进行三维扫描重建时，利用误差模型对扫描得到的点云数据进行误差补偿，获得补偿后的点云坐标。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。
本领域技术人员应该明白，上述本公开的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本公开不限制于任何特定的硬件和软件的结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.基于立体视觉的三维重建的点云误差补偿方法，其特征是，包括：
获得从多个位置拍摄的标定板的图片并基于上述图片重建出三维点云数据；
基于重建出三维点云数据求取实际坐标点集，将实际坐标点集与求取的理论点集差值作为点云的重建误差并建立误差模型；
对实际物体进行三维扫描重建时，利用误差模型对扫描得到的点云数据进行误差补偿，获得补偿后的点云坐标。
2.如权利要求1所述的基于立体视觉的三维重建的点云误差补偿方法，其特征是，获得从多个位置拍摄的标定板的图片之前，使用棋盘格和张氏标定法进行相机及系统标定，得到相机之间的空间外参数和两个相机各自的内参数。
3.如权利要求1所述的基于立体视觉的三维重建的点云误差补偿方法，其特征是，重建出三维点云数据，具体为：
建立二维棋盘格坐标系；
标记处棋盘格内角点；
使用立体视觉相机同时采集标定板图片，利用立体视觉技术重建出该位置的棋盘格内角点三维点云坐标；
带动棋盘格图像等间距移动k次，并对每个位置的棋盘格内角点进行重建，得到立体视觉坐标系下的k幅点云。
4.如权利要求1所述的基于立体视觉的三维重建的点云误差补偿方法，其特征是，重建出三维点云数据之后求取实际坐标点集，具体为：
建立空间三维设计坐标系，构建位于位于XOY平面内的棋盘格角点坐标集，计算从棋盘格第一个位置的点云到棋盘格角点坐标集的刚度变换矩阵，将得到的k幅点云使用刚度变换矩阵转换到空间三维设计坐标系下，即得到实际坐标点集坐标。
5.如权利要求1所述的基于立体视觉的三维重建的点云误差补偿方法，其特征是，对实际三维点集进行估计得到平面的移动方向向量，将得到的棋盘格角点坐标点集沿着移动方向向量以间隔移动k次得到理论点集坐标。
6.如权利要求1所述的基于立体视觉的三维重建的点云误差补偿方法，其特征是，建立误差模型时，以得到实际点集的坐标作为输入数据集，以得到的重建误差(作为输出数据集，通过训练得到具体的坐标和误差之间的映射关系即获得坐标—误差映射神经网络，完成误差的预测。
7.如权利要求1所述的基于立体视觉的三维重建的点云误差补偿方法，其特征是，上述点云误差补偿方法用于3D打印工序。
8.基于立体视觉的三维重建的点云误差补偿系统，其特征是，包括：
三维点云数据重建模块，用于获得从多个位置拍摄的标定板的图片并基于上述图片重建出三维点云数据；
误差模型获得模块，用于基于重建出三维点云数据求取实际坐标点集，将实际坐标点集与求取的理论点集差值作为点云的重建误差并建立误差模型；
补偿后的点云坐标获得模块，对实际物体进行三维扫描重建时，利用误差模型对扫描得到的点云数据进行误差补偿，获得补偿后的点云坐标。
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行权利要求1-7任一所述方法的步骤。
CN202110297258.2A 2021-03-19 2021-03-19 基于立体视觉的三维重建的点云误差补偿方法及系统 Active CN112991464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110297258.2A CN112991464B (zh) 2021-03-19 2021-03-19 基于立体视觉的三维重建的点云误差补偿方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110297258.2A CN112991464B (zh) 2021-03-19 2021-03-19 基于立体视觉的三维重建的点云误差补偿方法及系统

Publications (2)

Publication Number Publication Date
CN112991464A true CN112991464A (zh) 2021-06-18
CN112991464B CN112991464B (zh) 2023-04-07

Family

ID=76334082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110297258.2A Active CN112991464B (zh) 2021-03-19 2021-03-19 基于立体视觉的三维重建的点云误差补偿方法及系统

Country Status (1)

Country Link
CN (1) CN112991464B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113539444A (zh) * 2021-08-30 2021-10-22 上海联影医疗科技股份有限公司 医学图像重建方法、装置、电子设备和存储介质
CN113847874A (zh) * 2021-08-20 2021-12-28 天津大学 一种基于视觉的位移台位移方向标定方法
CN114036643A (zh) * 2021-11-10 2022-02-11 中国科学院沈阳自动化研究所 一种变形舱段数字孪生体建模方法
CN114088012A (zh) * 2022-01-20 2022-02-25 杭州思看科技有限公司 测量装置的补偿方法、装置、三维扫描系统和存储介质
NL2031065A (en) * 2021-09-02 2022-05-09 Univ Shanghai Jiaotong Method for verifying precision of calibration parameter, medium and electronic device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105043259A (zh) * 2015-08-25 2015-11-11 大连理工大学 基于双目视觉的数控机床旋转轴误差检测方法
CN105469439A (zh) * 2015-11-29 2016-04-06 北京工业大学 采用残差反馈的slm显微视觉数据重构方法
US20180007345A1 (en) * 2015-01-16 2018-01-04 Imra Europe S.A.S. Self-rectification of stereo camera
WO2018046948A1 (en) * 2016-09-09 2018-03-15 The University Of Warwick Three-dimensional shape error detection
CN108122203A (zh) * 2016-11-29 2018-06-05 上海东软医疗科技有限公司 一种几何参数的校正方法、装置、设备及系统
CN109031339A (zh) * 2018-05-23 2018-12-18 北京控制工程研究所 一种三维点云运动补偿方法
CN110443879A (zh) * 2019-07-24 2019-11-12 华中科技大学 一种基于神经网络的透视误差补偿方法
CN111060056A (zh) * 2019-12-17 2020-04-24 天津大学 一种平行轮廓精确重构的重构装置及重构方法
CN112082512A (zh) * 2020-09-08 2020-12-15 深圳广成创新技术有限公司 一种相位测量偏折术的标定优化方法、装置及计算机设备
CN112361959A (zh) * 2020-11-06 2021-02-12 西安新拓三维光测科技有限公司 用于直升机桨叶运动姿态测量的编码点坐标校正方法、系统及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180007345A1 (en) * 2015-01-16 2018-01-04 Imra Europe S.A.S. Self-rectification of stereo camera
CN105043259A (zh) * 2015-08-25 2015-11-11 大连理工大学 基于双目视觉的数控机床旋转轴误差检测方法
CN105469439A (zh) * 2015-11-29 2016-04-06 北京工业大学 采用残差反馈的slm显微视觉数据重构方法
WO2018046948A1 (en) * 2016-09-09 2018-03-15 The University Of Warwick Three-dimensional shape error detection
CN108122203A (zh) * 2016-11-29 2018-06-05 上海东软医疗科技有限公司 一种几何参数的校正方法、装置、设备及系统
CN109031339A (zh) * 2018-05-23 2018-12-18 北京控制工程研究所 一种三维点云运动补偿方法
CN110443879A (zh) * 2019-07-24 2019-11-12 华中科技大学 一种基于神经网络的透视误差补偿方法
CN111060056A (zh) * 2019-12-17 2020-04-24 天津大学 一种平行轮廓精确重构的重构装置及重构方法
CN112082512A (zh) * 2020-09-08 2020-12-15 深圳广成创新技术有限公司 一种相位测量偏折术的标定优化方法、装置及计算机设备
CN112361959A (zh) * 2020-11-06 2021-02-12 西安新拓三维光测科技有限公司 用于直升机桨叶运动姿态测量的编码点坐标校正方法、系统及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHEN SHEN 等: ""A Learning-Based Framework for Error Compensation in 3D Printing"", 《IEEE TRANSACTIONS ON CYBERNETICS》 *
卞玉霞 等: ""双目视觉三维点云重建的误差度量模型"", 《测绘通报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113847874A (zh) * 2021-08-20 2021-12-28 天津大学 一种基于视觉的位移台位移方向标定方法
CN113539444A (zh) * 2021-08-30 2021-10-22 上海联影医疗科技股份有限公司 医学图像重建方法、装置、电子设备和存储介质
CN113539444B (zh) * 2021-08-30 2024-04-19 上海联影医疗科技股份有限公司 医学图像重建方法、装置、电子设备和存储介质
NL2031065A (en) * 2021-09-02 2022-05-09 Univ Shanghai Jiaotong Method for verifying precision of calibration parameter, medium and electronic device
CN114036643A (zh) * 2021-11-10 2022-02-11 中国科学院沈阳自动化研究所 一种变形舱段数字孪生体建模方法
CN114036643B (zh) * 2021-11-10 2024-05-14 中国科学院沈阳自动化研究所 一种变形舱段数字孪生体建模方法
CN114088012A (zh) * 2022-01-20 2022-02-25 杭州思看科技有限公司 测量装置的补偿方法、装置、三维扫描系统和存储介质
CN114088012B (zh) * 2022-01-20 2022-04-15 杭州思看科技有限公司 测量装置的补偿方法、装置、三维扫描系统和存储介质

Also Published As

Publication number Publication date
CN112991464B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112991464B (zh) 基于立体视觉的三维重建的点云误差补偿方法及系统
JP2010513907A (ja) カメラシステムのキャリブレーション
CN115861445B (zh) 一种基于标定板三维点云的手眼标定方法
Zhao et al. A flexible method combining camera calibration and hand–eye calibration
CN112862687B (zh) 一种基于二维特征点的双目内窥图像三维拼接方法
CN112164119B (zh) 一种适用于狭小空间的环绕放置多摄像机系统标定方法
CN111429571B (zh) 一种基于时空图像信息联合相关的快速立体匹配方法
CN116051658B (zh) 基于双目视觉进行目标检测的相机手眼标定方法及装置
CN114255279A (zh) 一种基于高精度定位和深度学习的双目视觉三维重建方法
JP7033294B2 (ja) 撮像システム、撮像方法
CN116309879A (zh) 一种机器人辅助的多视角三维扫描测量方法
Mavrinac et al. Calibration of dual laser-based range cameras for reduced occlusion in 3D imaging
Wang et al. Structure and motion recovery based on spatial-and-temporal-weighted factorization
CN112381721A (zh) 一种基于双目视觉的人脸三维重建方法
Dornaika Self-calibration of a stereo rig using monocular epipolar geometries
Kojima et al. New multiple-camera calibration method for a large number of cameras
CN111242995A (zh) 一种快速鲁棒的摄像机绝对姿态估计方法
Yang et al. Error model for scene reconstruction from motion and stereo
Vera et al. Relevance of Accurately Determining the Center of Radial Distortion in 3-D Reconstruction
CN117649454B (zh) 双目相机外参自动校正方法、装置、电子设备及存储介质
CN111862311B (zh) 一种点云全局运动优化方法及设备
Gui et al. A stereo camera calibration based on robotic vision
Induchoodan et al. Depth recovery from stereo images
Deguchi et al. Active acquisition of 3D map in robot brain by combining motion and perceived images
Pedersini et al. 3D motion estimation of a trinocular system for a full-3D object reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant