CN117450955A - 基于空间环形特征的薄型物体三维测量方法 - Google Patents

基于空间环形特征的薄型物体三维测量方法 Download PDF

Info

Publication number
CN117450955A
CN117450955A CN202311768757.0A CN202311768757A CN117450955A CN 117450955 A CN117450955 A CN 117450955A CN 202311768757 A CN202311768757 A CN 202311768757A CN 117450955 A CN117450955 A CN 117450955A
Authority
CN
China
Prior art keywords
marker
matrix
measurement
dimensional
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311768757.0A
Other languages
English (en)
Other versions
CN117450955B (zh
Inventor
袁寒
邓淋文
李米可
钟敏
陈锋
杨泓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202311768757.0A priority Critical patent/CN117450955B/zh
Publication of CN117450955A publication Critical patent/CN117450955A/zh
Application granted granted Critical
Publication of CN117450955B publication Critical patent/CN117450955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504—Calibration devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及物理测量技术领域，公开基于空间环形特征的薄型物体三维测量方法，属于结构光三维测量领域，包括建立标志物、标定系统、获取单面测量结果、测量结果拼接、填补边缘镂空区域和纹理映射六个步骤，采用圆心序号已知的多个圆形组合构成空间环形特征，作为标志物。测量时，将标志物与待测物体固定，保证待测物体与标定物位姿不发生改变；测量完成后通过两次测量结果间的旋转平移矩阵及标志物特征矩阵，完成薄型物体正反面测量结果高效拼接；同时，利用圆形区域正反面变形相移条纹的平均调制度比值完成纹理信息亮度统一处理，同时保证了重建物体三维信息及纹理信息的高精度。

Description

基于空间环形特征的薄型物体三维测量方法
技术领域
本发明涉及物理测量技术领域，特别涉及一种基于空间环形特征的薄型物体三维测量方法。
背景技术
基于光结构的三维测量是物体表面面形轮廓高精度三维测量的关键技术之一，通过投影仪投影计算机编码的条纹图像至待测物体表面，摄像机采集经过物体表面调制后的变形条纹图像，最终重建物体的三维面形。而为了获得物体较为完整的信息，需要将多次测量的结果进行拼接，现有的较为成熟的拼接方法是基于精密旋转台的机械式拼接方法和基于特征匹配点的计算式拼接方法。基于精密旋转台的拼接方法通过机械精密控制转台的转动角度，利用已知转动角度建立两次测量结果之间的变换矩阵，完成相邻测量结果的拼接。而基于特征匹配的拼接方法则是利用物体自身或人为粘贴的特征点在多次测量结果之间的空间位姿差异计算出两次测量结果之间的变换矩阵，完成相邻测量结果之间的拼接。这两种方法在测量表面连续变化的物体时能够取得较好的拼接结果，从而完成物体全方位的重建。
但在薄型物体的测量中，物体正面和反面的共视区域较少，因此难以通过在物体表面人为添加标志物或物体自身特征的方式完成全貌测量。而利用精密转台完成测量时，对转台的精度要求较高，且需要步进电机辅助，增加了测量成本，降低了测量系统的便携性。
发明内容
本发明的目的在于解决传统结构光在薄型物体测量中由物体表面共视区域缺失带来的重建精度受限的问题，提供一种基于空间环形特征的薄型物体三维测量方法。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
基于空间环形特征的薄型物体三维测量方法，包括以下步骤：
步骤1，建立标志物，组成标志物的特征点分为呈镜像关系的正反两面，序号相同的正反面特征点组成特征点匹配对；
步骤2，标定系统，利用投影仪和摄像机的标定原理，对投影仪和摄像机的参数矩阵进行标定；
步骤3，获取单面测量结果，利用双频外差方法编码生成相移条纹和附加条纹，利用条纹投影测量技术，根据极线定理及射线相交定理重建物体单次测量表面的三维信息，正反面测量后，得到物体正反面的点云及标志物特征点的三维坐标；
步骤4，测量结果拼接，基于重建的标志物圆心三维点云匹配对，利用奇异值分解算法求解出正反面测量结果间的旋转矩阵、平移矩阵，根据旋转矩阵、平移矩阵及标志物特征矩阵完成待测物体正反面拼接；
步骤5，填补边缘镂空区域，针对边缘镂空区域部分，再次重复步骤3，获取该部分的点云数据，并利用最近点迭代算法完成该部分点云数据与步骤4重建数据的拼接；
步骤6，纹理映射，利用圆形区域调制度统一正反面测量获取的纹理信息亮度，生成亮度统一的纹理信息，通过有序点云索引，将纹理信息映射至重建点云表面。
所述步骤1具体为：
组成标志物的特征点为圆心，标记各圆心序号，标志物分为正反两面，两面特征点呈镜像关系，序号相同的正反面特征点组成特征点匹配对，各特征点匹配对空间几何关系为：
其中，表示以摄像机坐标系为参考系，标志物正面特征点的空间三维坐标；bj表示以摄像机坐标系为参考系，标志物反面特征点的空间三维坐标系；Rma、Tma为标志物特征矩阵，其中Rma表示标志物正面特征点与反面特征点的旋转矩阵，Tma表示标志物正面特征点与反面特征点的平移矩阵。
所述步骤2具体为：利用投影仪与摄像机标定原理，对投影仪和摄像机的内参矩阵Kp、Kc，畸变系数矩阵pp、pc，以及投影仪与摄像机之间的外参矩阵R、T进行标定。
所述步骤3中，获取单面测量结果，利用双频外差方法编码生成相移条纹和附加条纹的步骤，包括：
利用投影仪投影编码的N步相移条纹及附加条纹至待测物体及标志物正面，摄像机同步采集相应的变形相移条纹和变形附加条纹：
其中，(x,y)为摄像机像平面的像素索引；n表示第n步，共有N步；为物体正面的变形相移条纹；/>为物体正面的变形附加条纹；A1(x,y)为相移条纹背景光强；B1(x,y)为相移条纹调制信号；/>为受物体调制的变形相移条纹相位信息；A2(x,y)为附加条纹背景光强；B2(x,y)为附加条纹调制信号；/>为受物体调制的变形附加条纹相位信息；
同时，采集物体正面的纹理信息TF(x,y)；
根据包裹相位求解公式，利用变形相移条纹和变形附加条纹解算出相位和/>，利用双频外差原理，根据相位/>和/>计算得到条纹级次k(x,y)，从而获取绝对相位：
其中，为绝对相位。
所述步骤3中，利用条纹投影测量技术，根据极线定理及射线相交定理重建物体单次测量表面的三维信息，正反面测量后，得到物体正反面的点云及标志物特征点的三维坐标的步骤，包括：
通过步骤2所求的投影仪与摄像仪之间的外参矩阵R、T，得到摄像机和投影仪的极线对应关系，通过该极线对应关系和绝对相位获得摄像机与投影仪像平面坐标的对应关系；
结合摄像机和投影仪的内参矩阵、畸变系数矩阵和外参矩阵，利用极线定理及射线相交定理求得物体表面的三维点云，完成物体及标志物的三维重建；单次测量完成后，获得物体及标志物正面点云P；
移动测量系统，重复投影采集及重建过程，获取物体反面的变形相移条纹、变形附加条纹/>及纹理信息TB(x,y)，完成物体反面轮廓测量，获取物体及标志物反面点云Q；
结合正面点云P、反面点云Q及纹理信息TF(x,y)、TB(x,y)，提取出标志物的特征点的三维坐标。
所述步骤4具体为：
计算步骤3中标志物正反面的特征点的三维重心坐标：
其中，E为圆心特征点总数；dj为正面特征点三维坐标，为dj的均值；/>为反面特征点三维坐标，/>为/>的均值；
计算协方差矩阵Cov：
利用奇异值分解算法分解协方差矩阵：
其中，U、S、V为分解获得的矩阵，利用U、V获取两次测量的旋转矩阵RTr：
以及平移矩阵TTr：
利用两次测量的旋转矩阵、平移矩阵及标志物特征矩阵Rma、Tma对反面点云坐标进行转换，得到转换后的反面点云：
消除由测量系统移动引入的物体重建坐标误差，最后将正面点云P和反面点云融合，滤除标志物区域，获得薄型物体正反面重建结果。
所述步骤6具体为：
计算正反面变形相移条纹的调制度：
其中，MF(x,y)表示正面变形相移条纹的调制度；MB(x,y)表示反面变形相移条纹的调制度；
计算正反面特征点所属圆形区域的平均调制度：
其中，为正面特征点所属圆形区域的平均调制度；/>为反面特征点所属圆形区域的平均调制度；W1为正面特征点所属圆形区域点集；CF为W1所包含像素点总数；W2为反面特征点所属圆形区域点集；CB为W2所包含像素点总数；
根据与/>的比值/>，对采集的物体表面纹理灰度值进行线性变换，统一正反面纹理信息亮度：
其中，表示将反面纹理信息亮度调整为与正面纹理信息亮度统一；
最终，通过有序点云索引，将纹理信息TF(x,y)和映射至重建点云表面。
与现有技术相比，本发明的有益效果：
本发明提供一种基于空间环形特征的薄型物体三维测量方法，旨在解决传统结构光在薄型物体测量中由物体表面共视区域缺失带来的重建精度受限的问题，提高薄型物体三维测量效率及测量结果拼接精度。本发明采用圆心序号已知的多个圆形组合构成空间环形特征，作为标志物，测量时不改变标志物与物体的位姿关系，多次测量完成后，通过标志物的特征矩阵完成测量物体正反面拼接，从而实现薄型物体的三维测量。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明方法流程图；
图2为本发明实施例1的标志物示意图，图2中的（a）为标志物正面，图2中的（b）为标志物反面；
图3为本发明实施例2测量系统示意图；
图4为本发明实施例2获取标志物特征矩阵的测量系统位姿示意图；
图5为本发明实施例2测量结果示意图，图5中的（a）为摄像机采集的物体正面3步变形相移条纹之一，图5中的（b）为摄像机采集的物体反面3步变形相移条纹图之一，图5中的（c）为重建的物体三维面形信息。
主要元件符号说明
特征点1；ArUco标志物2；标志物3；待测物体4；摄像机5；投影仪6。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。另外，术语“相连”、“连接”等可以是元件之间直接相连，也可以是经由其他元件的间接相连。
实施例1：
本发明利用圆心序号已知的多个圆形组合构成空间环形特征作为标志物，标志物正反两面特征点呈镜像关系；测量时不改变标志物与待测物体的位姿关系，多次测量完成后，通过标志物的特征矩阵完成测量待测物体正反面拼接；同时，利用标志物圆形区域的调制度，对采集的物体表面纹理灰度值进行线性变换，统一正反面纹理亮度，从而实现薄型物体的三维重建及纹理映射。
本发明通过下述技术方案实现，如图1所示，一种基于空间环形特征的薄型物体三维测量方法，包括建立标志物、标定系统、获取单面测量结果、测量结果拼接、填补边缘镂空区域和纹理映射六个步骤。上述步骤具体为：
步骤1，建立标志物，组成标志物的特征点分为呈镜像关系的正反两面，序号相同的正反面特征点组成特征点匹配对。
设计如图2所示的标志物，组成标志物的特征点1为圆心，各圆心序号利用ArUco标志物2（科尔多瓦大学增强现实）进行标记，标志物分为正反两面，两面特征点呈镜像关系，图2中的（a）为标志物正面，图2中的（b）为标志物反面。优选地，本实施例中单面特征点总数为8。序号相同的正反面特征点组成特征点匹配对，各特征点匹配对空间几何关系为：
其中，表示以摄像机坐标系为参考系，标志物正面特征点的空间三维坐标；bj表示以摄像机坐标系为参考系，标志物反面特征点的空间三维坐标系；Rma、Tma为标志物特征矩阵，其中Rma表示标志物正面特征点与反面特征点的旋转矩阵，Tma表示标志物正面特征点与反面特征点的平移矩阵。
测量时，固定标志物至薄型物体外侧，保持待测物体与标志物为一个刚性整体。
步骤2，标定系统，利用投影仪和摄像机的标定原理，对投影仪和摄像机的内参矩阵、畸变系数矩阵、投影仪与摄像机之间的外参矩阵进行标定。
利用现有的投影仪与摄像机标定原理，对投影仪和摄像机的内参矩阵Kp、Kc，畸变系数矩阵pp、pc，以及投影仪与摄像机之间的外参矩阵R、T进行标定。
步骤3，获取单面测量结果，利用双频外差方法编码生成相移条纹和附加条纹，利用条纹投影测量技术，根据极线定理及射线相交定理重建物体单次测量表面的三维信息，正反面测量后，得到物体正反面的点云及标志物特征点的三维坐标。
利用双频外差方法编码生成3步（N=3）相移条纹及附加条纹，利用投影仪投影编码的相移条纹及附加条纹至待测物体及标志物正面，摄像机同步采集相应的变形相移条纹和变形附加条纹：
其中，(x,y)为摄像机像平面的像素索引；为物体正面的变形相移条纹；为物体正面的变形附加条纹；A1(x,y)为相移条纹背景光强；B1(x,y)为相移条纹调制信号；/>为受物体调制的变形相移条纹相位信息；A2(x,y)为附加条纹背景光强；B2(x,y)为附加条纹调制信号；/>为受物体调制的变形附加条纹相位信息。
同时，采集物体正面的纹理信息TF(x,y)。
根据包裹相位求解公式，利用变形相移条纹和变形附加条纹解算出相位和/>，利用双频外差原理，根据相位/>和/>可计算计算获得差值相位：
得到条纹级次k(x,y)：
其中，round为最近邻取整函数；T1、T2为周期。
从而获取绝对相位：
通过步骤2所求的投影仪与摄像仪之间的外参矩阵R、T，可得到摄像机和投影仪的极线对应关系，通过该极线对应关系和绝对相位可获得摄像机与投影仪像平面坐标的对应关系。结合摄像机和投影仪的内参矩阵、畸变系数矩阵和外参矩阵，利用极线定理及射线相交定理即可求得物体表面的三维点云，完成物体及标志物的三维重建。单次测量完成后，可获得物体及标志物正面点云P。
移动测量系统，重复投影采集及重建过程，获取物体反面的变形相移条纹、变形附加条纹/>及纹理信息TB(x,y)，完成物体反面轮廓测量，获取物体及标志物反面点云Q。
结合正面点云P、反面点云Q及纹理信息TF(x,y)、TB(x,y)，可提取出标志物的特征点的三维坐标。
步骤4，测量结果拼接，基于重建的标志物圆心三维点云匹配对，利用奇异值分解算法求解出正反面测量结果间的旋转矩阵、平移矩阵，根据旋转矩阵、平移矩阵及标志物特征矩阵完成待测物体正反面拼接。
计算步骤3中标志物正反面的特征点的三维重心坐标：
其中，E为圆心特征点总数，E=8；dj为正面特征点三维坐标，为dj的均值；/>为反面特征点三维坐标，/>为/>的均值。
计算协方差矩阵：
利用SVD（奇异值分解）算法分解协方差矩阵：
其中，U、S、V为分解获得的矩阵，利用U、V可获取两次测量的旋转矩阵RTr：
以及平移矩阵TTr：
利用两次测量的旋转矩阵、平移矩阵及标志物特征矩阵Rma、Tma对反面点云坐标进行转换，得到转换后的反面点云：
消除由测量系统移动引入的物体重建坐标误差，最后将正面点云P和反面点云融合，滤除标志物区域，即可获得薄型物体正反面重建结果。
步骤5，填补边缘镂空区域，针对边缘镂空区域部分，再次重复步骤3，获取该部分的点云数据，并利用最近点迭代算法完成该部分点云数据与步骤4重建数据的拼接。
利用边缘提取算法分割采集薄型物体边缘区域，结合重建点云索引无效数据点，定位边缘镂空区域，移除标志物后，针对边缘镂空区域，移动测量系统，再次重复步骤3，获取该部分的点云，利用ICP（最近点迭代）算法完成该部分数据与步骤4重建数据的拼接，获取物体完整的形貌信息，得到最终重建点云M。
优选地，由于步骤5计算独立性高，可并行程度强，采用GPU（图形处理器）对其进行加速处理。
步骤6，纹理映射，利用圆形区域调制度统一正反面测量获取的纹理信息亮度，生成亮度统一的纹理信息，通过有序点云索引，将纹理信息映射至重建点云表面。
计算正反面变形相移条纹的调制度：
其中，MF(x,y)表示正面变形相移条纹的调制度；MB(x,y)表示反面变形相移条纹的调制度；n表示第n步，总共N步。
计算正反面特征点所属圆形区域的平均调制度：
其中，为正面特征点所属圆形区域的平均调制度；/>为反面特征点所属圆形区域的平均调制度；W1为正面特征点所属圆形区域点集；CF为W1所包含像素点总数；W2为反面特征点所属圆形区域点集；CB为W2所包含像素点总数。
根据与/>的比值/>，即平均调制度比值，对采集的物体表面纹理灰度值进行线性变换，统一正反面纹理信息亮度：
其中，表示将反面纹理信息亮度调整为与正面纹理信息亮度统一。
最终，通过有序点云索引，将纹理信息TF(x,y)和映射至重建点云表面。
综上所述，本发明旨在解决传统结构光在薄型物体测量中由物体表面共视区域缺失带来的重建精度受限问题。
实施例2：
本实施例为实施例1的具体实施例，测量雪花模型薄型待测物体4，具体使用周期T1=40，T2=42的条纹图像，搭建如图3所示的测量系统，其中包含1个摄像机5和1个投影仪6，投影仪6分辨率为800×600像素，摄像机5分辨率为800×600像素。生成条纹图像公式如下：
其中，(u,v)为投影仪图像像素坐标，以u为编码出来的横条纹，以v为编码出来的纵条纹；Pn(u,v)为正面条纹图像，Qn(u,v)为反面条纹图像。
具体过程如下：
步骤1，建立标志物。
设计如图3所示的标志物3，特征点为圆心，各圆心序号利用ArUco标志进行标记，标志物分为正反两面，两面特征点呈镜像关系。优选地，利用如图4所示的已知相对位姿的摄像机阵列获取标志物特征矩阵Rma、Tma。
将标志物放置于摄像机阵列内，摄像机同步采集标志物，利用基于Hough变换的圆心坐标提取方法提取图像上的圆心特征点，利用双目立体视觉原理，重建各特征点圆心三维坐标。结合摄像机阵列外参矩阵，将标志物正反两面特征点空间三维坐标转换至同一摄像机坐标系下。然后根据特征点匹配对，完成Rma、Tma的计算。
步骤2，标定系统。
利用张正友的摄像机标定原理及Song Zhang的投影仪标定原理，标定投影仪和摄像机的内参矩阵Kp、Kc，畸变系数矩阵pp、pc，以及投影仪与摄像机之间的外参矩阵R、T。
步骤3，获取单面测量结果。
根据相位测量轮廓术原理编码3步相移算法所需的3帧相移条纹，和利用双频外差编码方法确定条纹级次所需的3帧附加条纹。在本实施例中，根据如图3所示的测量系统，测量前利用夹具将标志物与待测物体固定，完成后，将待测物体放置在测量系统的测量区域。在测量中，利用投影仪将编码条纹投影至待测物体表面，摄像机同步采集受物体表面调制的变形条纹，其中包括3帧变形相移条纹与3帧变形附加条纹，如图5中的（a）、图5中的（b）所示。
根据变形相移条纹和变形附加条纹计算出物体表面的条纹级次，进而计算出物体表面的绝对相位，结合摄像机和投影仪的内参矩阵、畸变系数矩阵和外参矩阵，利用极线定理及射线相交定理即可求得物体表面的三维点云，完成物体及标志物的三维重建。单次测量完成后，可获得物体及标志物正面点云P。
移动测量系统，重复投影采集及重建过程，完成物体反面轮廓测量，获取物体及标志物反面点云Q。
步骤4，测量结果拼接。
利用标志物正反面的特征点三维坐标计算获得两次测量中的旋转矩阵RTr和平移矩阵TTr，结合标志物特征矩阵Rma、Tma完成物体正反面点云的拼接。
步骤5，填补边缘镂空区域。
本实施例在调制度的基础上，利用Canny边缘检测算法定位和分割边缘区域，针对边缘部分，移动测量系统，重复单面测量，利用ICP算法完成该部分数据与步骤4重建数据之间的拼接。
优选地，本实施例先利用物体表面的二维特征信息对应的三维坐标计算的两次测量结果间的旋转、平移矩阵作为ICP算法的初始输入值。同时，为了减少ICP算法的时间代价，利用GPU对该部分算法进行加速处理。
步骤6，纹理映射。
根据正反面标志物圆形区域的调制度平均值比值，统一纹理映射的光照信息，最终重建薄型物体的三维点云，如图5中的（c）所示。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.基于空间环形特征的薄型物体三维测量方法，其特征在于：包括以下步骤：
步骤1，建立标志物，组成标志物的特征点分为呈镜像关系的正反两面，序号相同的正反面特征点组成特征点匹配对；
步骤2，标定系统，利用投影仪和摄像机的标定原理，对投影仪和摄像机的参数矩阵进行标定；
步骤3，获取单面测量结果，利用双频外差方法编码生成相移条纹和附加条纹，利用条纹投影测量技术，根据极线定理及射线相交定理重建物体单次测量表面的三维信息，正反面测量后，得到物体正反面的点云及标志物特征点的三维坐标；
步骤4，测量结果拼接，基于重建的标志物圆心三维点云匹配对，利用奇异值分解算法求解出正反面测量结果间的旋转矩阵、平移矩阵，根据旋转矩阵、平移矩阵及标志物特征矩阵完成待测物体正反面拼接；
步骤5，填补边缘镂空区域，针对边缘镂空区域部分，再次重复步骤3，获取该部分的点云数据，并利用最近点迭代算法完成该部分点云数据与步骤4重建数据的拼接；
步骤6，纹理映射，利用圆形区域调制度统一正反面测量获取的纹理信息亮度，生成亮度统一的纹理信息，通过有序点云索引，将纹理信息映射至重建点云表面。
2.根据权利要求1所述的基于空间环形特征的薄型物体三维测量方法，其特征在于：所述步骤1具体为：
组成标志物的特征点为圆心，标记各圆心序号，标志物分为正反两面，两面特征点呈镜像关系，序号相同的正反面特征点组成特征点匹配对，各特征点匹配对空间几何关系为：
其中，表示以摄像机坐标系为参考系，标志物正面特征点的空间三维坐标；bj表示以摄像机坐标系为参考系，标志物反面特征点的空间三维坐标系；Rma、Tma为标志物特征矩阵，其中Rma表示标志物正面特征点与反面特征点的旋转矩阵，Tma表示标志物正面特征点与反面特征点的平移矩阵。
3.根据权利要求2所述的基于空间环形特征的薄型物体三维测量方法，其特征在于：所述步骤2具体为：利用投影仪与摄像机标定原理，对投影仪和摄像机的内参矩阵Kp、Kc，畸变系数矩阵pp、pc，以及投影仪与摄像机之间的外参矩阵R、T进行标定。
4.根据权利要求3所述的基于空间环形特征的薄型物体三维测量方法，其特征在于：所述步骤3中，获取单面测量结果，利用双频外差方法编码生成相移条纹和附加条纹的步骤，包括：
利用投影仪投影编码的N步相移条纹及附加条纹至待测物体及标志物正面，摄像机同步采集相应的变形相移条纹和变形附加条纹：
其中，(x,y)为摄像机像平面的像素索引；n表示第n步，共有N步；为物体正面的变形相移条纹；/>为物体正面的变形附加条纹；A1(x,y)为相移条纹背景光强；B1(x,y)为相移条纹调制信号；/>为受物体调制的变形相移条纹相位信息；A2(x,y)为附加条纹背景光强；B2(x,y)为附加条纹调制信号；/>为受物体调制的变形附加条纹相位信息；
同时，采集物体正面的纹理信息TF(x,y)；
根据包裹相位求解公式，利用变形相移条纹和变形附加条纹解算出相位和，利用双频外差原理，根据相位/>和/>计算得到条纹级次k(x,y)，从而获取绝对相位：
其中，为绝对相位。
5.根据权利要求4所述的基于空间环形特征的薄型物体三维测量方法，其特征在于：所述步骤3中，利用条纹投影测量技术，根据极线定理及射线相交定理重建物体单次测量表面的三维信息，正反面测量后，得到物体正反面的点云及标志物特征点的三维坐标的步骤，包括：
通过步骤2所求的投影仪与摄像仪之间的外参矩阵R、T，得到摄像机和投影仪的极线对应关系，通过该极线对应关系和绝对相位获得摄像机与投影仪像平面坐标的对应关系；
结合摄像机和投影仪的内参矩阵、畸变系数矩阵和外参矩阵，利用极线定理及射线相交定理求得物体表面的三维点云，完成物体及标志物的三维重建；单次测量完成后，获得物体及标志物正面点云P；
移动测量系统，重复投影采集及重建过程，获取物体反面的变形相移条纹、变形附加条纹/>及纹理信息TB(x,y)，完成物体反面轮廓测量，获取物体及标志物反面点云Q；
结合正面点云P、反面点云Q及纹理信息TF(x,y)、TB(x,y)，提取出标志物的特征点的三维坐标。
6.根据权利要求5所述的基于空间环形特征的薄型物体三维测量方法，其特征在于：所述步骤4具体为：
计算步骤3中标志物正反面的特征点的三维重心坐标：
其中，E为圆心特征点总数；dj为正面特征点三维坐标，为dj的均值；/>为反面特征点三维坐标，/>为/>的均值；
计算协方差矩阵Cov：
利用奇异值分解算法分解协方差矩阵：
其中，U、S、V为分解获得的矩阵，利用U、V获取两次测量的旋转矩阵RTr：
以及平移矩阵TTr：
利用两次测量的旋转矩阵、平移矩阵及标志物特征矩阵Rma、Tma对反面点云坐标进行转换，得到转换后的反面点云：
消除由测量系统移动引入的物体重建坐标误差，最后将正面点云P和反面点云融合，滤除标志物区域，获得薄型物体正反面重建结果。
7.根据权利要求6所述的基于空间环形特征的薄型物体三维测量方法，其特征在于：所述步骤6具体为：
计算正反面变形相移条纹的调制度：
其中，MF(x,y)表示正面变形相移条纹的调制度；MB(x,y)表示反面变形相移条纹的调制度；
计算正反面特征点所属圆形区域的平均调制度：
其中，为正面特征点所属圆形区域的平均调制度；/>为反面特征点所属圆形区域的平均调制度；W1为正面特征点所属圆形区域点集；CF为W1所包含像素点总数；W2为反面特征点所属圆形区域点集；CB为W2所包含像素点总数；
根据与/>的比值/>，对采集的物体表面纹理灰度值进行线性变换，统一正反面纹理信息亮度：
其中，表示将反面纹理信息亮度调整为与正面纹理信息亮度统一；
最终，通过有序点云索引，将纹理信息TF(x,y)和映射至重建点云表面。
CN202311768757.0A 2023-12-21 2023-12-21 基于空间环形特征的薄型物体三维测量方法 Active CN117450955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311768757.0A CN117450955B (zh) 2023-12-21 2023-12-21 基于空间环形特征的薄型物体三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311768757.0A CN117450955B (zh) 2023-12-21 2023-12-21 基于空间环形特征的薄型物体三维测量方法

Publications (2)

Publication Number Publication Date
CN117450955A true CN117450955A (zh) 2024-01-26
CN117450955B CN117450955B (zh) 2024-03-19

Family

ID=89582208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311768757.0A Active CN117450955B (zh) 2023-12-21 2023-12-21 基于空间环形特征的薄型物体三维测量方法

Country Status (1)

Country Link
CN (1) CN117450955B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117804381A (zh) * 2024-03-01 2024-04-02 成都信息工程大学 一种基于相机阵列聚焦结构光对物体三维重建方法

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003083739A (ja) * 2001-09-14 2003-03-19 Minolta Co Ltd 三次元形状計測装置
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
CN101055177A (zh) * 2007-05-30 2007-10-17 北京航空航天大学 基于双面靶标的流动式三维视觉测量拼接方法
JP2008065807A (ja) * 2006-08-11 2008-03-21 Canon Inc 指標配置情報計測装置および方法
JP2008298546A (ja) * 2007-05-30 2008-12-11 Kobe Steel Ltd 形状測定装置，形状測定方法
CN104266587A (zh) * 2014-09-22 2015-01-07 电子科技大学 一种三维测量系统及获得真实3d纹理点云数据方法
US20180094917A1 (en) * 2016-04-08 2018-04-05 Hangzhou Shining 3D Tech. Co., Ltd. Three-dimensional measuring system and measuring method with multiple measuring modes
CN109059806A (zh) * 2018-07-26 2018-12-21 河北工业大学 一种基于红外条纹的镜面物体三维面形测量装置及方法
CN109631798A (zh) * 2018-12-28 2019-04-16 成都信息工程大学 一种基于π相移方法的三维面形垂直测量方法
CN109916304A (zh) * 2019-04-01 2019-06-21 易思维（杭州）科技有限公司 镜面/类镜面物体三维测量系统标定方法
CN109974625A (zh) * 2019-04-08 2019-07-05 四川大学 一种基于色相优化灰度的彩色物体结构光三维测量方法
CN110044263A (zh) * 2019-05-13 2019-07-23 深圳中科飞测科技有限公司 检测设备及检测设备的工作方法
CN111189416A (zh) * 2020-01-13 2020-05-22 四川大学 基于特征相位约束的结构光360°三维面形测量方法
CN112200911A (zh) * 2020-11-06 2021-01-08 北京易达恩能科技有限公司 结合标志物的区域重叠式三维地图构建方法和装置
CN112945140A (zh) * 2021-01-29 2021-06-11 四川大学 一种基于查找表和区域分割的彩色物体三维测量方法
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN113494891A (zh) * 2021-06-29 2021-10-12 南京航空航天大学 一种用于火车承载鞍整体型面测量的多视角拼接方法
CN113936099A (zh) * 2021-09-30 2022-01-14 东北大学 基于单目结构光和旋转平台的三维图像重建方法及系统
US20220070433A1 (en) * 2020-08-25 2022-03-03 Samsung Electronics Co., Ltd. Method and apparatus for 3d reconstruction of planes perpendicular to ground
CN114608478A (zh) * 2022-03-22 2022-06-10 聚时科技(上海)有限公司 一种高精度曲面薄片的前后缘参数量测方法
CN115205473A (zh) * 2022-02-23 2022-10-18 南昌大学 一种岩石结构面形貌测量装置及岩石结构面三维重建方法
CN116182745A (zh) * 2023-01-18 2023-05-30 四川大学 一种基于标记点消隐与提取的三维形貌、形变测量方法
CN116339042A (zh) * 2023-04-12 2023-06-27 支付宝(杭州)信息技术有限公司 基于可调散光体的3d结构光实现与识别方法、识别装置、介质和计算机设备
CN117146707A (zh) * 2023-09-22 2023-12-01 东南大学 一种基于平整标记的建筑构件三维位姿及视觉测量方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003083739A (ja) * 2001-09-14 2003-03-19 Minolta Co Ltd 三次元形状計測装置
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
JP2008065807A (ja) * 2006-08-11 2008-03-21 Canon Inc 指標配置情報計測装置および方法
CN101055177A (zh) * 2007-05-30 2007-10-17 北京航空航天大学 基于双面靶标的流动式三维视觉测量拼接方法
JP2008298546A (ja) * 2007-05-30 2008-12-11 Kobe Steel Ltd 形状測定装置，形状測定方法
CN104266587A (zh) * 2014-09-22 2015-01-07 电子科技大学 一种三维测量系统及获得真实3d纹理点云数据方法
US20180094917A1 (en) * 2016-04-08 2018-04-05 Hangzhou Shining 3D Tech. Co., Ltd. Three-dimensional measuring system and measuring method with multiple measuring modes
CN109059806A (zh) * 2018-07-26 2018-12-21 河北工业大学 一种基于红外条纹的镜面物体三维面形测量装置及方法
CN109631798A (zh) * 2018-12-28 2019-04-16 成都信息工程大学 一种基于π相移方法的三维面形垂直测量方法
CN109916304A (zh) * 2019-04-01 2019-06-21 易思维（杭州）科技有限公司 镜面/类镜面物体三维测量系统标定方法
CN109974625A (zh) * 2019-04-08 2019-07-05 四川大学 一种基于色相优化灰度的彩色物体结构光三维测量方法
CN110044263A (zh) * 2019-05-13 2019-07-23 深圳中科飞测科技有限公司 检测设备及检测设备的工作方法
CN111189416A (zh) * 2020-01-13 2020-05-22 四川大学 基于特征相位约束的结构光360°三维面形测量方法
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
US20220070433A1 (en) * 2020-08-25 2022-03-03 Samsung Electronics Co., Ltd. Method and apparatus for 3d reconstruction of planes perpendicular to ground
CN112200911A (zh) * 2020-11-06 2021-01-08 北京易达恩能科技有限公司 结合标志物的区域重叠式三维地图构建方法和装置
CN112945140A (zh) * 2021-01-29 2021-06-11 四川大学 一种基于查找表和区域分割的彩色物体三维测量方法
CN113494891A (zh) * 2021-06-29 2021-10-12 南京航空航天大学 一种用于火车承载鞍整体型面测量的多视角拼接方法
CN113936099A (zh) * 2021-09-30 2022-01-14 东北大学 基于单目结构光和旋转平台的三维图像重建方法及系统
CN115205473A (zh) * 2022-02-23 2022-10-18 南昌大学 一种岩石结构面形貌测量装置及岩石结构面三维重建方法
CN114608478A (zh) * 2022-03-22 2022-06-10 聚时科技(上海)有限公司 一种高精度曲面薄片的前后缘参数量测方法
CN116182745A (zh) * 2023-01-18 2023-05-30 四川大学 一种基于标记点消隐与提取的三维形貌、形变测量方法
CN116339042A (zh) * 2023-04-12 2023-06-27 支付宝(杭州)信息技术有限公司 基于可调散光体的3d结构光实现与识别方法、识别装置、介质和计算机设备
CN117146707A (zh) * 2023-09-22 2023-12-01 东南大学 一种基于平整标记的建筑构件三维位姿及视觉测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张爱军, 薛勇: "基于规则的曲面体三维重建", 计算机集成制造系统-CIMS, no. 06, 25 June 2004 (2004-06-25) *
肖永亮;文永富;李思坤;张启灿;: "反向摄影大尺度空间结构光三维测量", 影像科学与光化学, no. 02, 15 March 2017 (2017-03-15) *
马玉琼;郑红伟;王伟;张玉;: "薄壁类零件三维数据测量方法探索", 机械制造与自动化, no. 02, 20 April 2015 (2015-04-20) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117804381A (zh) * 2024-03-01 2024-04-02 成都信息工程大学 一种基于相机阵列聚焦结构光对物体三维重建方法
CN117804381B (zh) * 2024-03-01 2024-05-10 成都信息工程大学 一种基于相机阵列聚焦结构光对物体三维重建方法

Also Published As

Publication number Publication date
CN117450955B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN109506589B (zh) 一种基于结构光场成像的三维轮廓测量方法
CN110514143B (zh) 一种基于反射镜的条纹投影系统标定方法
CN110276808B (zh) 一种单相机结合二维码测量玻璃板不平度的方法
CN104240289B (zh) 一种基于单个相机的三维数字化重建方法及系统
Bonfort et al. General specular surface triangulation
CN104299211B (zh) 一种自由移动式三维扫描方法
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN113012277B (zh) 一种基于dlp面结构光多相机重建方法
CN117450955B (zh) 基于空间环形特征的薄型物体三维测量方法
CN111754573B (zh) 一种扫描方法及系统
CN113205592B (zh) 一种基于相位相似性的光场三维重建方法及系统
CN110940295B (zh) 基于激光散斑极限约束投影的高反射物体测量方法及系统
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
CN111189416B (zh) 基于特征相位约束的结构光360°三维面形测量方法
CN107990846B (zh) 基于单帧结构光的主被动结合深度信息获取方法
CN113129430B (zh) 基于双目结构光的水下三维重建方法
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
CN113643436A (zh) 一种深度数据拼接融合方法及装置
CN113763540A (zh) 一种基于散斑条纹混合调制的三维重建方法及设备
CN111739103A (zh) 一种基于单点标定物的多相机标定系统
CN108895979B (zh) 线段编码的结构光深度获取方法
CN116433841A (zh) 一种基于全局优化的实时模型重建方法
CN114993207B (zh) 基于双目测量系统的三维重建方法
CN114234852B (zh) 基于最佳映射点集匹配的多目结构光三维测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant