CN117073580B - 一种基于光路优化的显微动态三维测量系统及校准方法 - Google Patents
一种基于光路优化的显微动态三维测量系统及校准方法 Download PDFInfo
- Publication number
- CN117073580B CN117073580B CN202311070959.8A CN202311070959A CN117073580B CN 117073580 B CN117073580 B CN 117073580B CN 202311070959 A CN202311070959 A CN 202311070959A CN 117073580 B CN117073580 B CN 117073580B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- light path
- camera
- projector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005457 optimization Methods 0.000 title claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000010363 phase shift Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009977 dual effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims 1
- 238000002360 preparation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于光路优化的显微动态三维测量系统及校准方法，该系统包括结构光投射组件、图像采集组件和转向组件，通过优化投影光路，避免了传统技术中的光路夹角问题，从而显著减小系统体积并消除阴影干扰。此外，在图像采集光路中引入圆周排列棱镜组,以取代繁琐的多相机模式进行图像采集,不仅避免了传统方案中多相机数据同步问题，也减少了系统的设备数量，从而有效提升了测量效率。本发明还引入了基于神经网络的点云生成算法和基于神经网络和条纹投影的点云融合算法，不仅提供足够的细节信息，还极大地加速了传统多孔径点云融合速度，保障了显微动态三维测量的实时性，同时也适应了多样化的应用场景。
Description
技术领域
本发明属于三维测量技术领域，具体地说，本发明涉及一种基于光路优化的显微动态三维测量系统及校准方法。
背景技术
在当今科学研究和工程实践中，显微动态三维测量技术正日益成为关键技术，然而在其持续发展过程中，仍然存在一系列技术挑战，迫切需要创新性解决方案以进一步提升测量效率和精度。其中，数据同步问题和设备优化是当前需攻克的两大难题。
传统的显微动态三维测量系统，采用多相机模式进行图像捕获面临着数据同步问题，各相机需在精确同一时间点捕捉图像，以确保后续数据处理的准确性。然而实现精准的数据同步并非易事，涉及到繁琐的硬件校准和时序控制，大幅提高了显微动态三维测量系统搭建和维护的难度。此外，多相机模式进行图像捕获需要大量硬件设备，进一步增加了显微动态三维测量系统的复杂性和成本。
如何保证测量精度的前提下提高测量速度。在显微动态三维测量过程中，获得高质量的点云数据是至关重要的，但在传统的多孔径点云融合过程中，速度往往受限。同时，由于应用场景的多样性，需要在提供充足细节信息的同时保证测量的时效性，以适应不同的实际需求。
发明内容
本发明提供一种基于光路优化的显微动态三维测量系统及校准方法，以解决上述背景技术中存在的问题。
为了实现上述目的，本发明采取的技术方案为：一种基于光路优化的显微动态三维测量系统，具体包括，
结构光投射组件，用于向待测物体投影形成投影光路；所述结构光投射组件包括投影仪和折射透镜，所述折射透镜设于投影仪和转向组件之间；
图像采集组件，用于接收待测物体被结构光投射组件投影后反射的光线，形成图像采集光路；
转向组件，用于对投影光路进行转向，转向前的投影光路和转向后的投影光路垂直，转向后的投影光路与图像采集光路平行；其中转向组件采用反射镜；
所述图像采集组件包括圆周排列棱镜组、透镜组和相机，所述圆周排列棱镜组设置于被测物的位置；所述透镜组设置于相机的位置；所述圆周排列棱镜组包由一组按照空间圆周结构排列的棱镜组成，所述待测物体反射的光线经过圆周排列棱镜组和透镜组传输至相机。
进一步的，所述圆周排列棱镜组中的各个棱镜构成的“子眼”通道独立封装，以使相邻通道间无光源干扰。
进一步的，所述圆周排列棱镜组和透镜组的周围设有封闭的遮光外壳；所述转向组件设置于圆周排列棱镜组的遮光外壳和透镜组的遮光外壳之间。
一种基于光路优化的显微动态三维测量系统的校准方法，具体包括以下步骤，
步骤S1：定义动态三维测量系统的视体积，并设计编码标记的圆标靶，并利用编码标记的圆标靶对视体积中的点进行标定，根据每一个空间特征点在不同视角中的图像坐标建立的图像坐标数据集；
步骤S2：将图像坐标数据集中的无用特征点剔除，剩余的数据集去训练神经传感网络，建立视体积空间点与其不同视角下图像坐标之间的关系，获取待测物体的稀疏点云；
步骤S3：放置步骤S1中的编码标记的圆标靶，使用投影仪投射横竖方向的正弦条纹，通过横竖方向的正弦条纹的相位分布来确定特征点在投影仪像面的位置，再利用相位约束求解出其对应的投影仪像面中的点，建立映射关系，完成系统多孔径标定；
步骤S4：定义n个“子眼”与投影仪组成n个独立的条纹投影子系统，参见图6，对第i(i＝1...n)个条纹投影子系统进行逐个标定，获取投影仪[Rpi tpi]和“子眼”相机的外参数矩阵[Rcc tct]，将两者统一到同一坐标系中,以完成对系统的全局标定；
步骤S5：开启投影仪，投射预设编码好的条纹图案，使其投影的光线经过转向组件反射到被测物体表面，并由被测物体反射回圆周排列棱镜组中的各个棱镜表面；相机位于相应的位置捕获这些反射光线，形成投影图案的图像；由于圆周排列棱镜组和棱镜组的排列已经预先设计，不需要进行数据同步，每个棱镜代表的视角数据几乎同时采集
步骤S6：相机捕获到圆周排列棱镜组采集的条纹图案后，由图像处理模块对视场进行划分提取各个棱镜构成的“子眼”的条纹图案；
步骤S7：使用双灰度编码法或基于双目视觉的SPU相位展开方法对“子眼”的条纹图案进行相位展开得到绝对相位Φ(x,y)；
步骤S8：通过步骤S7得到的绝对相位Φ(x,y)生成多视图点云，利用基于神经网络和条纹投影的点云融合算法配准特征点，补充和完善相机获取的稀疏点云，以融合稀疏点云与多视图点云，生成精度更高和细节更丰富的大视场稠密点云；
步骤S9：使用三角化算法将步骤S8的大视场稠密点云转换为由相邻三角形连接而成的三维网格模型；并对三角化后的大视场稠密点云进行进一步的后处理操作，以增强模型的表达和视觉效果，获取物体形貌。
进一步的，所述步骤S7中的双灰度编码法具体步骤为，
步骤S70：定义n为相位步数；A(x,y)和B(x,y)为背景强度和调制强度；(x,y)表示图像的像素坐标；φ(x,y)为待求解的包裹相位；δn为相移图像的相移量；Φ(x,y)表示绝对相位，K(x,y)表示条纹级次；
步骤S71：根据条纹图案强度公式In(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)+δn]；使用三步相移法结合三步相移图像的表达式求解出A(x,y)，B(x,y)，φ(x,y)；
步骤S72：定义局部条纹级次顺序K1(x,y)和K2(x,y)；用两幅灰度编码条纹图G1(x,y)，G2(x,y)分别求取局部条纹级次K1(x,y)和K2(x,y)；
步骤S73：通过公式K(x,y)＝K1(x,y)+K2(x,y)得到条纹级次K(x,y)，代入公式Φ(x,y)＝φ(x,y)+2πK(x,y)得到绝对相位Φ(x,y)。
进一步的，所述步骤S8具体步骤为，
步骤S80：采用ICP(Iterative Closest Point)算法或特征匹配方法对采集到的点云数据进行配准，将它们对齐到一个统一的坐标系中；
步骤S81：使用配准后的点云数据和对应的相机图像作为训练数据，训练一个神经网络模型；其中神经网络模型旨在学习点云数据和相机图像之间的映射关系，以便后续的点云融合过程；
步骤S82：利用已训练好的神经网络模型，从每个视角的点云数据中提取特征表示；这些特征表示能够捕捉点云中的几何和语义信息；
步骤S83：将步骤S80中配准后的点云数据转换为体素网格表示；体素网格将三维空间划分为规则的小立方体单元，每个小立方体单元称为体素；每个体素存储其内部点云的属性信息，例如：平均法线、颜色；
步骤S84：在体素网格上进行点云融合操作；将来自不同视角的点云数据投影到相应的体素中，并根据规则进行点云属性的融合，生成一个具有更高密度和完整性的三维点云模型；其中点云属性的融合规则包括但不限于平均值或最大值；
步骤S85：对融合后的点云模型做进一步的平滑、去噪、曲面重建的后处理操作，以提升融合后的点云质量和准确性，获得精度高、细节丰富的大视场稠密点云。
采用以上技术方案的有益效果是：
1、本发明提供的一种基于光路优化的显微动态三维测量系统，通过在图像采集光路中设置一组按照空间圆周结构排列的棱镜组成的圆周排列棱镜组，使用圆周排列棱镜组取代多相机模式进行图像采集，避免了传统方案中各个相机的数据同步问题，同时减少了系统的设备数量从而有效地提升测量效率。
2、本发明提供的一种基于光路优化的显微动态三维测量系统的校准方法，通过基于神经网络的点云生成算法和基于神经网络和条纹投影的点云融合算法的运用，在提供足够的细节信息的同时加速了传统的多孔径点云融合速度，保证了显微动态三维测量的时效性和应用场景的多样性。
附图说明
图1是本发明的一种基于光路优化的显微动态三维测量系统结构示意图；
图2是圆周排列的棱镜组的三维示意图；
图3是圆周排列的棱镜组的垂直方向截面图；
图4是圆周排列的棱镜组的水平方向截面图；
图5是本发明的显微动态测量系统的测量视场示意图；
图6是本发明的显微动态测量系统的成像棱镜与投影设备结构简化图；
图7是本发明的多孔径数据融合方法的流程图；
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，目的是帮助本领域的技术人员对本发明的构思、技术方案有更完整、准确和深入的理解，并有助于其实施。
实施例1：
如图1至图7所示，本发明是一种基于光路优化的显微动态三维测量系统，针对待测物体的尺寸和形状，精心设计一组棱镜的布局，使其按照空间圆周结构排列，形成一个紧密的环绕式布局。圆周排列棱镜组4被巧妙地放置在靠近被测物体的位置，具体如图2、图3和图4所示。这一布局的设计确保了对被测物体表面的完整覆盖。在这个布局中，每个棱镜都代表一个独立的“子眼”，负责捕获特定方向上的投影图案。
本发明是一种基于光路优化的显微动态三维测量系统，所述圆周排列棱镜组4和透镜组5的周围设有封闭的遮光外壳7；选择合适的棱镜材料，并巧妙地设计封闭的遮光外壳7，覆盖圆周排列棱镜组4和透镜组5的非光线接收面以及非光线发送面，从而有效隔绝外界光线的干扰。所述圆周排列棱镜组4中的各个棱镜构成的“子眼”通道独立封装，以使相邻通道间无光源干扰。同时，在圆周排列棱镜组4和透镜组5的光线接收面和光线发送面采用透光材料，以确保捕获到清晰的投影图案。
本发明是一种基于光路优化的显微动态三维测量系统，将投影仪1与折射透镜2紧密集成，通过转向组件将投影光路引导至与图像采集光路平行的方向。这使得投影光路与被测物体的投影面及其向图像采集组件反射的表面重叠，有效地使被测物体表面垂直地反射光线到图像采集组件，从而提升了被测物体投影面图像的质量。这种集成方案有助于确保投影仪1发出的光线能够准确照射到每个棱镜的表面，从而进一步提高三维测量的精度。
在图像采集光路中靠近图像采集组件的位置精心安排一组透镜组5，用于引导被测物体反射的光线通过透镜组5，并将其传输至图像采集组件，使得圆周排列棱镜组4中的每个“子眼”的图像能够聚焦到相机6成像面上。为确保投影光路的顺利传输，将转向组件放置于圆周排列棱镜组4的遮光外壳7和透镜组5的遮光外壳7之间，以保证系统的正常操作。
实施例2：
一种基于光路优化的显微动态三维测量系统的校准方法，具体包括以下步骤，
步骤S1：定义动态三维测量系统的视体积，如图5所示，并设计编码标记的圆标靶，并利用编码标记的圆标靶对视体积中的点进行标定，根据每一个空间特征点在不同视角中的图像坐标建立的图像坐标数据集；
步骤S2：将图像坐标数据集中的无用特征点剔除，剩余的数据集去训练神经传感网络，建立视体积空间点与其不同视角下图像坐标之间的关系，获取待测物体的稀疏点云；
步骤S3：放置步骤S1中的编码标记的圆标靶，使用投影仪1投射横竖方向的正弦条纹，通过横竖方向的正弦条纹的相位分布来确定特征点在投影仪1像面的位置，再利用相位约束求解出其对应的投影仪1像面中的点，建立映射关系，完成系统多孔径标定；
步骤S4：定义n个“子眼”与投影仪1组成n个独立的条纹投影子系统，如图6所示，对第i(i＝1...n)个条纹投影子系统进行逐个标定，获取投影仪[Rpi tpi]和“子眼”相机的外参数矩阵[Rcc tct]，将两者统一到同一坐标系中,以完成对系统的全局标定；
步骤S5：开启投影仪1，投射预设编码好的条纹图案，使其投影的光线经过转向组件反射到被测物体表面，并由被测物体反射回圆周排列棱镜组4中的各个棱镜表面；相机6位于相应的位置捕获这些反射光线，形成投影图案的图像；由于圆周排列棱镜组4和棱镜组5的排列已经预先设计，不需要进行数据同步，每个棱镜代表的视角数据几乎同时采集
步骤S6：相机6捕获到圆周排列棱镜组4采集的条纹图案后，由图像处理模块对视场进行划分提取各个棱镜构成的“子眼”的条纹图案；
步骤S7：使用双灰度编码法或基于双目视觉的SPU相位展开方法对“子眼”的条纹图案进行相位展开得到绝对相位Φ(x,y)；
所述步骤S7中的双灰度编码法具体步骤为，
步骤S70：定义n为相位步数；A(x,y)和B(x,y)为背景强度和调制强度；(x,y)表示图像的像素坐标；φ(x,y)为待求解的包裹相位；δn为相移图像的相移量；Φ(x,y)表示绝对相位，K(x,y)表示条纹级次；
步骤S71：根据条纹图案强度公式In(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)+δn]；使用三步相移法结合三步相移图像的表达式求解出A(x,y)，B(x,y)，φ(x,y)；
步骤S72：定义局部条纹级次顺序K1(x,y)和K2(x,y)；用两幅灰度编码条纹图G1(x,y)，G2(x,y)分别求取局部条纹级次K1(x,y)和K2(x,y)；
步骤S73：通过公式K(x,y)＝K1(x,y)+K2(x,y)得到条纹级次K(x,y)，代入公式Φ(x,y)＝φ(x,y)+2πK(x,y)得到绝对相位Φ(x,y)。
步骤S8：通过步骤S2得到的绝对相位Φ(x,y)生成多视图点云，利用基于神经网络和条纹投影的点云融合算法配准特征点，补充和完善相机6获取的稀疏点云，以融合稀疏点云与多视图点云，如图7所示，生成精度更高和细节更丰富的大视场稠密点云；
所述步骤S8具体步骤为，
步骤S80：采用ICP(Iterative Closest Point)算法或特征匹配方法对采集到的点云数据进行配准，将它们对齐到一个统一的坐标系中；
步骤S81：使用配准后的点云数据和对应的相机6图像作为训练数据，训练一个神经网络模型；其中神经网络模型旨在学习点云数据和相机图像之间的映射关系，以便后续的点云融合过程；
步骤S82：利用已训练好的神经网络模型，从每个视角的点云数据中提取特征表示；这些特征表示能够捕捉点云中的几何和语义信息；
步骤S83：将步骤S80中配准后的点云数据转换为体素网格表示；体素网格将三维空间划分为规则的小立方体单元，每个小立方体单元称为体素；每个体素存储其内部点云的属性信息，例如：平均法线、颜色；
步骤S84：在体素网格上进行点云融合操作；将来自不同视角的点云数据投影到相应的体素中，并根据规则进行点云属性的融合，生成一个具有更高密度和完整性的三维点云模型；其中点云属性的融合规则包括但不限于平均值或最大值；
步骤S85：对融合后的点云模型做进一步的平滑、去噪、曲面重建的后处理操作，以提升融合后的点云质量和准确性，获得精度高、细节丰富的大视场稠密点云。
步骤S9：使用三角化算法将步骤S8的大视场稠密点云转换为由相邻三角形连接而成的三维网格模型；并对三角化后的大视场稠密点云进行进一步的后处理操作，以增强模型的表达和视觉效果，获取物体形貌。
以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，只要是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或未经改进，将本发明的上述构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。
Claims (2)
1.一种基于光路优化的显微动态三维测量系统，其特征在于：具体包括，
结构光投射组件，用于向待测物体投影形成投影光路；所述结构光投射组件包括投影仪(1)和折射透镜(2)，所述折射透镜(2)设于投影仪(1)和转向组件之间；
图像采集组件，用于接收待测物体被结构光投射组件投影后反射的光线，形成图像采集光路；
转向组件，用于对投影光路进行转向，转向前的投影光路和转向后的投影光路垂直，转向后的投影光路与图像采集光路平行；其中转向组件采用反射镜(3)；
所述图像采集组件包括圆周排列棱镜组(4)、透镜组(5)和相机(6)，所述圆周排列棱镜组(4)设置于被测物的位置；所述透镜组(5)设置于相机(6)的位置；所述圆周排列棱镜组(4)由一组按照空间圆周结构排列的棱镜组成，所述待测物体反射的光线经过圆周排列棱镜组(4)和透镜组(5)传输至相机(6)；
所述圆周排列棱镜组(4)中的各个棱镜构成的“子眼”通道独立封装，以使相邻通道间无光源干扰；
述圆周排列棱镜组(4)和透镜组(5)的周围设有封闭的遮光外壳(7)；所述转向组件设置于圆周排列棱镜组(4)的遮光外壳(7)和透镜组(5)的遮光外壳(7)之间；
所述基于光路优化的显微动态三维测量系统的具体实施校准方法，具体包括以下步骤，
步骤S1：定义动态三维测量系统的视体积，并设计编码标记的圆标靶，并利用编码标记的圆标靶对视体积中的点进行标定，根据每一个空间特征点在不同视角中的图像坐标建立的图像坐标数据集；
步骤S2：将图像坐标数据集中的无用特征点剔除，剩余的数据集去训练神经传感网络，建立视体积空间点与其不同视角下图像坐标之间的关系，获取待测物体的稀疏点云；
步骤S3：放置步骤S1中的编码标记的圆标靶，使用投影仪(1)投射横竖方向的正弦条纹，通过横竖方向的正弦条纹的相位分布来确定特征点在投影仪(1)像面的位置，再利用相位约束求解出其对应的投影仪(1)像面中的点，建立映射关系，完成系统多孔径标定；
步骤S4：定义n个“子眼”与投影仪(1)组成n个独立的条纹投影子系统，对第i(i＝1...n)个条纹投影子系统进行逐个标定，获取投影仪[Rpi tpi]和“子眼”相机的外参数矩阵[Rcc tct]，将两者统一到同一坐标系中,以完成对系统的全局标定；
步骤S5：开启投影仪(1)，投射预设编码好的条纹图案，使其投影的光线经过转向组件反射到被测物体表面，并由被测物体反射回圆周排列棱镜组(4)中的各个棱镜表面；相机(6)位于相应的位置捕获这些反射光线，形成投影图案的图像；由于圆周排列棱镜组(4)和棱镜组(5)的排列已经预先设计，不需要进行数据同步，每个棱镜代表的视角数据几乎同时采集；
步骤S6：相机(6)捕获到圆周排列棱镜组(4)采集的条纹图案后，由图像处理模块对视场进行划分提取各个棱镜构成的“子眼”的条纹图案；
步骤S7：使用双灰度编码法或基于双目视觉的SPU相位展开方法对“子眼”的条纹图案进行相位展开得到绝对相位Φ(x,y)；
步骤S8：通过步骤S7得到的绝对相位Φ(x,y)生成多视图点云，利用基于神经网络和条纹投影的点云融合算法配准特征点，补充和完善相机(6)获取的稀疏点云，以融合稀疏点云与多视图点云，生成精度更高和细节更丰富的大视场稠密点云；
步骤S9：使用三角化算法将步骤S8的大视场稠密点云转换为由相邻三角形连接而成的三维网格模型；并对三角化后的大视场稠密点云进行进一步的后处理操作，以增强模型的表达和视觉效果，获取物体形貌；
所述步骤S7中的双灰度编码法具体步骤为，
步骤S70：定义n为相位步数；A(x,y)和B(x,y)为背景强度和调制强度；(x,y)表示图像的像素坐标；φ(x,y)为待求解的包裹相位；δn为相移图像的相移量；Φ(x,y)表示绝对相位，K(x,y)表示条纹级次；
步骤S71：根据条纹图案强度公式In(x,y)＝A(x,y)+B(x,y)cos[φ(x,y)+δn]；使用三步相移法结合三步相移图像的表达式求解出A(x,y)，B(x,y)，φ(x,y)；
步骤S72：定义局部条纹级次顺序K1(x,y)和K2(x,y)；用两幅灰度编码条纹图G1(x,y)，G2(x,y)分别求取局部条纹级次K1(x,y)和K2(x,y)；
步骤S73：通过公式K(x,y)＝K1(x,y)+K2(x,y)得到条纹级次K(x,y)，代入公式Φ(x,y)＝φ(x,y)+2πK(x,y)得到绝对相位Φ(x,y)。
2.根据权利要求1所述的一种基于光路优化的显微动态三维测量系统的校准方法，其特征在于：所述步骤S8具体步骤为，
步骤S80：采用ICP(Iterative Closest Point)算法或特征匹配方法对采集到的点云数据进行配准，将它们对齐到一个统一的坐标系中；
步骤S81：使用配准后的点云数据和对应的相机(6)图像作为训练数据，训练一个神经网络模型；其中神经网络模型旨在学习点云数据和相机图像之间的映射关系，以便后续的点云融合过程；
步骤S82：利用已训练好的神经网络模型，从每个视角的点云数据中提取特征表示；这些特征表示能够捕捉点云中的几何和语义信息；
步骤S83：将步骤S80中配准后的点云数据转换为体素网格表示；体素网格将三维空间划分为规则的小立方体单元，每个小立方体单元称为体素；每个体素存储其内部点云的属性信息，例如：平均法线、颜色；
步骤S84：在体素网格上进行点云融合操作；将来自不同视角的点云数据投影到相应的体素中，并根据规则进行点云属性的融合，生成一个具有更高密度和完整性的三维点云模型；其中点云属性的融合规则包括但不限于平均值或最大值；
步骤S85：对融合后的点云模型做进一步的平滑、去噪、曲面重建的后处理操作，以提升融合后的点云质量和准确性，获得精度高、细节丰富的大视场稠密点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311070959.8A CN117073580B (zh) | 2023-08-24 | 2023-08-24 | 一种基于光路优化的显微动态三维测量系统及校准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311070959.8A CN117073580B (zh) | 2023-08-24 | 2023-08-24 | 一种基于光路优化的显微动态三维测量系统及校准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117073580A CN117073580A (zh) | 2023-11-17 |
| CN117073580B true CN117073580B (zh) | 2024-07-02 |
Family
ID=88716706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311070959.8A Active CN117073580B (zh) | 2023-08-24 | 2023-08-24 | 一种基于光路优化的显微动态三维测量系统及校准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117073580B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010122193A (ja) * | 2008-11-21 | 2010-06-03 | Fujitsu Ltd | 三次元構造物の形状測定装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3889992B2 (ja) * | 2002-05-17 | 2007-03-07 | 株式会社ミツトヨ | リング照明装置 |
| JP5294403B2 (ja) * | 2008-11-19 | 2013-09-18 | 国立大学法人 名古屋工業大学 | 三次元ｃｔ計測システム |
| CN110530286B (zh) * | 2019-08-23 | 2020-11-17 | 北京航空航天大学 | 一种使用合光棱镜的新型单相机三维数字图像相关系统 |
| CN111239081B (zh) * | 2020-01-18 | 2023-06-23 | 江苏锐精光电研究院有限公司 | 基于环形阵列光源照明的超分辨率全内反射显微成像装置及方法 |
| CN112557368A (zh) * | 2020-11-26 | 2021-03-26 | 上海化工院检测有限公司 | 交叉式照射测定微量样品的拉曼光谱装置 |
-
2023
- 2023-08-24 CN CN202311070959.8A patent/CN117073580B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010122193A (ja) * | 2008-11-21 | 2010-06-03 | Fujitsu Ltd | 三次元構造物の形状測定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117073580A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741405B (zh) | 一种基于对偶结构光rgb-d相机的深度信息采集系统 | |
| CN107063129B (zh) | 一种阵列式并行激光投影三维扫描方法 | |
| CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
| EP3531066B1 (en) | Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner | |
| CN104335005B (zh) | 3d扫描以及定位系统 | |
| CN106548489B (zh) | 一种深度图像与彩色图像的配准方法、三维图像采集装置 | |
| US20200293763A1 (en) | Three-Dimensional Real Face Modeling Method and Three-Dimensional Real Face Camera System | |
| CN113205592B (zh) | 一种基于相位相似性的光场三维重建方法及系统 | |
| CN106500629B (zh) | 一种显微三维测量装置及系统 | |
| CN106871815A (zh) | 一种Kinect与条纹反射法结合的类镜面三维面形测量方法 | |
| CN105115560B (zh) | 一种船舱舱容的非接触测量方法 | |
| CN109556535B (zh) | 一种基于彩色条纹投影的三维面型一步重构方法 | |
| CN107860337B (zh) | 基于阵列相机的结构光三维重建方法与装置 | |
| CN109712232B (zh) | 一种基于光场的物体表面轮廓三维成像方法 | |
| CN103292699A (zh) | 一种三维扫描系统及方法 | |
| CN108665535A (zh) | 一种基于编码光栅结构光的三维结构重建方法与系统 | |
| CN112945141B (zh) | 基于微透镜阵列的结构光快速成像方法及系统 | |
| CN106225676B (zh) | 三维测量方法、装置及系统 | |
| CN106170086B (zh) | 绘制三维图像的方法及其装置、系统 | |
| CN102980526A (zh) | 用黑白相机获取彩色图像的三维扫描仪及其扫描方法 | |
| CN106500625A (zh) | 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法 | |
| CN112489109B (zh) | 一种三维成像系统方法、装置及三维成像系统 | |
| CN113505626A (zh) | 一种快速三维指纹采集方法与系统 | |
| CN110728745B (zh) | 一种基于多层折射图像模型的水下双目立体视觉三维重建方法 | |
| CN113513981A (zh) | 基于双目立体视觉的多目标并行测量方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |