CN116222425A - 一种基于多目三维扫描装置的三维重建方法及系统 - Google Patents
一种基于多目三维扫描装置的三维重建方法及系统 Download PDFInfo
- Publication number
- CN116222425A CN116222425A CN202310179207.9A CN202310179207A CN116222425A CN 116222425 A CN116222425 A CN 116222425A CN 202310179207 A CN202310179207 A CN 202310179207A CN 116222425 A CN116222425 A CN 116222425A
- Authority
- CN
- China
- Prior art keywords
- laser
- point
- dimensional
- scanning
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/25—Process efficiency
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于多目三维扫描装置的三维重建方法及系统，其中多目扫描装置通过多组双目相机与激光管组合以实现不同扫描模式功能；而方法包括：在物体上设标记点，利用激光管投射激光线，并采集双目图像；对图像进行处理，提取标记点与激光点的图像坐标；根据图像坐标，计算标记点与激光点的三维坐标；利用标记点在不同帧双目图像之间的空间位置关系，实现激光点从三维坐标到全局坐标的坐标转换，构成激光点云；将所有激光点云进行融合；对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。本发明通过多目扫描装置实现物体的三维扫描重建，有效满足多模式的物体扫描需求，同时显著提升物体扫描重建的效率及扫描效果。
Description
技术领域
本发明涉及计算机视觉三维测量技术领域，尤其涉及一种基于多目三维扫描装置的三维重建方法及系统。
背景技术
当前，三维扫描技术已被广泛应用于逆向工程、工业设计、模式识别、三维数字化建模等领域。三维扫描技术按照结构光类型主要分为光栅式和激光式两大类：前者采用投影机在物体表面投射编码光栅的形式重构物体表面的三维形貌信息，属于一种面扫描技术，因为扫描仪需要安装在三脚架上或者固定工位上，在固定视角静态拍摄被测物体，所以该技术的灵活性和便携性较差，但是因其能够一次性获取整个拍摄幅面内的三维数据，所以通常应用在工业自动化领域；后者采用激光器在物体表面投射若干条激光线的形式重构物体表面的三维形貌信息，属于一种线扫描技术，扫描仪通过人工手持的方式，使激光线相对于被测物体连续移动，从而扫掠被测物体的整个表面，扫描过程中，因为是一种人工手持的方式，因此可以非常灵活的对被测物体从多个视角进行扫描，加之这类设备体积较小、重量较轻，具有非常良好的便携性，所以激光式三维扫描技术的应用领域更加普遍。
但是，目前市场上的激光三维扫描仪均采用双相机形式，其最大的缺点是扫描仪所能获得扫描幅面相对单一，无法自适应的满足不同尺寸工件的扫描要求。比如在扫描精细度要求较高的情况下，如硬币类物品，由于扫描仪的扫描幅面相对于此类物品的尺寸过大，因此其扫描分辨率无法描述物体特征的精细程度，导致在扫描硬币这类极小尺寸物品的时候，其扫描效果差强人意。又如在扫描对象尺寸特别大的情况下，如飞机类物体，由于扫描仪的扫描幅面相对于此类物体的尺寸过小，因此扫描前在物体上黏贴的标记点的时候，需要采用较小的标记点黏贴间距，由此导致黏贴标记点的数量过多，致使工作效率非常低效。
发明内容
基于此，有必要针对上述问题，提出了一种基于多目三维扫描装置的三维重建方法及系统。
本发明公开了一种基于多目三维扫描装置的三维重建方法，所述多目三维扫描装置包括：激光模组、若干扫描支路，每条扫描支路均至少包括第一相机及第二相机，所述激光模组包括若干不同规格的激光管，各所述扫描支路上的第一相机及第二相机与各激光管组合以实现不同扫描模式功能的物体扫描；
其中，所述三维重建方法包括：
在物体表面设置标记点，利用所述激光管在物体表面投射激光线，并采集所述第一相机与第二相机拍摄的双目图像；
对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标；
利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标；
利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
将所有帧双目图像中的所有激光点云进行点云融合；
对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
进一步的，对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标，具体包括：
通过图像滤波、边界检测、边界分类、椭圆拟合、标记点判别的方法实现所述标记点的图像坐标提取；
通过图像滤波、基于像素灰度变化的激光点粗定位、基于像素梯度局部极值的激光点精定位的方法实现所述激光点的图像坐标提取。
进一步的，在利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标之前，还包括：
对所述第一相机、第二相机以及激光面进行标定，获得第一相机、第二相机标定参数和激光面参数。
进一步的，利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标，具体包括：
通过以下公式，利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标：
其中，s1、s2分别表示方程的比例系数，K1、R1、T1表示第一相机的标定参数(依次为第一相机的内参数矩阵，旋转矩阵、平移向量)，K2、R2、T2表示第二相机的标定参数(依次为第一相机的内参数矩阵，旋转矩阵、平移向量)，p1、p2分别表示标记点或激光点在双目图像上的图像坐标，p表示所计算的标记点或激光点的三维坐标。
进一步的，利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，具体包括：
通过以下公式，利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换：
q＝Rp+T
其中，R、T分别表示通过标记点的空间位置关系确定的三维坐标到全局坐标的旋转矩阵和平移向量，p表示激光点的三维坐标，q表示转换后的激光点的全局坐标。
进一步的，将所有帧双目图像中的所有激光点云进行点云融合，具体包括：
将空间按照预设距离进行划分，形成若干方格，并将每个方格的中心点定义为重采样的基准点；
将落入每个方格的激光点定义为该方格基准点的采样点；
对每个方格的采样点进行平面拟合，得到各采样点的拟合平面；
计算所述基准点到其对应的拟合平面的投影点，得到各激光点对应的重采样点。
进一步的，对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型，具体包括：
对融合后的激光点云进行三角网格化处理，得到初步三维网格模型；
对初步三维网格模型进行补洞、精简、平滑处理，得到最终物体重建的三维网格模型。
另一方面，本发明还公开了一种基于多目三维扫描装置的三维重建系统，所述多目三维扫描装置包括：激光模组、若干扫描支路，每条扫描支路均至少包括第一相机及第二相机，所述激光模组包括若干不同规格的激光管，各所述扫描支路上的第一相机及第二相机与各激光管组合以实现不同扫描模式功能的物体扫描；
其中，所述三维重建系统包括：
图像采集模块，用于在物体表面设置标记点，利用所述激光管在物体表面投射激光线，并采集所述第一相机与第二相机拍摄的双目图像；
图像坐标提取模块，用于对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标；
三维坐标计算模块，用于利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标；
坐标转换模块，用于利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
点云融合模块，用于将所有帧双目图像中的所有激光点云进行点云融合；
网格处理模块，用于对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
另一方面，本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
在物体表面设置标记点，利用所述激光管在物体表面投射激光线，并采集所述第一相机与第二相机拍摄的双目图像；
对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标；
利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标；
利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
将所有帧双目图像中的所有激光点云进行点云融合；
对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
另一方面，本发明还公开了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
在物体表面设置标记点，利用所述激光管在物体表面投射激光线，并采集所述第一相机与第二相机拍摄的双目图像；
对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标；
利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标；
利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
将所有帧双目图像中的所有激光点云进行点云融合；
对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
采用本发明，具有如下有益效果：
本发明，基于多目三维扫描装置实现物体的三维扫描重建，通过在物体表面设置标记点，利用激光管投射激光线，采集相机拍摄的图像，提取图像中标记点和激光点的图像坐标，再通过算法将图像坐标转换为统一的全局坐标，进而构成激光点云，然后进行点云融合，最终得到物体重建的三维模型，有效满足多模式的物体扫描需求，同时显著提升物体扫描重建的效率及扫描效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中三维重建方法的流程图；
图2为一个实施例中三维重建系统的结构框图；
图3为一个实施例中多目三维扫描装置的结构框图；
图4为一个实施例中计算机设备的结构框图。
附图标记说明：图像采集模块100，图像坐标提取模块200，三维坐标计算模块300，坐标转换模块400，点云融合模块500，网格处理模块600。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，在一个实施例中，提供了一种基于多目三维扫描装置的三维重建方法，所述多目三维扫描装置包括：激光模组、若干扫描支路，每条扫描支路均至少包括第一相机及第二相机，所述激光模组包括若干不同规格的激光管，各所述扫描支路上的第一相机及第二相机与各激光管组合以实现不同扫描模式功能的物体扫描；
其中，该三维重建方法具体包括如下步骤：
S1、在物体表面设置标记点，利用激光管在物体表面投射激光线，并采集第一相机与第二相机拍摄的双目图像；
S2、对双目图像进行图像处理，提取标记点与激光线上的激光点的图像坐标；
S3、利用双目立体视觉算法，根据标记点与激光点的图像坐标，计算标记点与激光点的三维坐标；
S4、利用标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
S5、将所有帧双目图像中的所有激光点云进行点云融合；
S6、对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
现有的激光三维扫描仪大多采用双相机形式，扫描仪所能获得扫描幅面相对单一，无法自适应的满足不同尺寸工件的扫描要求。比如在扫描精细度要求较高的情况下，如硬币类物品，由于扫描仪的扫描幅面相对于此类物品的尺寸过大，因此其扫描分辨率无法描述物体特征的精细程度，导致在扫描硬币这类极小尺寸物品的时候，其扫描效果差强人意。又如在扫描对象尺寸特别大的情况下，如飞机类物体，由于扫描仪的扫描幅面相对于此类物体的尺寸过小，因此扫描前在物体上黏贴的标记点的时候，需要采用较小的标记点黏贴间距，由此导致黏贴标记点的数量过多，致使工作效率非常低效。
而本实施例中，基于多目三维扫描装置实现物体的三维重建扫描，该扫描装置包括多条扫描支路与激光模组，每条扫描支路上均具有对应的一组相机，通过每条支路上的对应相机与激光模组中不同规格的激光管组合，通过本实施例中的三维重建方法，实现不同扫描模式下的物体扫描重建功能，可以有效解决现有技术中双目扫描仪扫描幅面单一及工作效率低下的问题。
其中，本实施例中多目三维扫描装置在每种工作模式下，每条扫描支路上的两个相机的清晰度可以与其对应的扫描模式下的工作距离最佳适配，以及两个相机的视野幅面也可以完全重合，进而使得在每一种扫描模式下均能获得最优质的扫描效果。而相比之下，现有的双目式手持激光扫描仪，因为其共用同一组相机进行所有扫描模式的扫描工作，故其在相机清晰度和视野重合性方面需要针对各种模式做一个技术平衡，即器件无法完美匹配各种扫描模式发挥功效，进而无法获得良好的扫描重建效果。
进一步的，一实施例中，步骤S2具体包括：
通过图像滤波、边界检测、边界分类、椭圆拟合、标记点判别的方法实现标记点的图像坐标提取；
通过图像滤波、基于像素灰度变化的激光点粗定位、基于像素梯度局部极值的激光点精定位的方法实现激光点的图像坐标提取。
在提取双目图像中标记点与激光点的图像坐标时，可以通过多种图像处理方法对图像进行处理，降低图像中的噪声干扰，进而使得所提取的图像坐标更加精准，有利于后续更加快速、准确的实现物体的三维模型的重建。
进一步的，一实施例中，在步骤S3之前还包括：
对第一相机、第二相机以及激光面进行标定，获得第一相机、第二相机标定参数和激光面参数。
本实施例中，在对物体进行三维重建之前，需要先对相机及激光面进行标定，获取各类相机参数和激光面参数，才能进行后续坐标计算及转换，从而实现物体的三维重建。且进行各相机的标定工作，可以使得扫描装置的各条扫描支路中的相机处于同一坐标系下，方便进行不同扫描模式中扫描数据的坐标统一，提升扫描结果的准确性。
进一步的，一实施例中，步骤S3具体包括：
通过以下公式，利用双目立体视觉算法，根据标记点与激光点的图像坐标，计算标记点与激光点的三维坐标：
其中，s1、s2分别表示方程的比例系数，K1、R1、T1表示第一相机的标定参数(依次为第一相机的内参数矩阵，旋转矩阵、平移向量)，K2、R2、T2表示第二相机的标定参数(依次为第一相机的内参数矩阵，旋转矩阵、平移向量)，p1、p2分别表示标记点或激光点在双目图像上的图像坐标，p表示所计算的标记点或激光点的三维坐标。
进一步的，一实施例中，步骤S4具体包括：
通过以下公式，利用标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换：
q＝Rp+T
其中，R、T分别表示通过标记点的空间位置关系确定的三维坐标到全局坐标的旋转矩阵和平移向量，p表示激光点的三维坐标，q表示转换后的激光点的全局坐标。
本实施例中，图像坐标具体为基于图像坐标系下的坐标，三维坐标具体为基于扫描装置坐标系下的坐标，而全局坐标具体为基于全局坐标系下的坐标。在扫描过程中，扫描装置将通过人工手持等方式，使得激光线相对于被测物体连续移动，从而扫掠被测物体的整个表面进行扫描，其中扫描装置处于不断运动状态，即基于扫描装置建立的三维坐标系也处于不断变化中，因此由每帧图像中标记点和激光点的图像坐标计算得到对应三维坐标所处的坐标系是不一样的，而在各帧图像中各激光点坐标系不统一的情况下，无法进行激光点的拼接与融合。故本实施例中，还需要将不同帧之间所有激光点的坐标进行统一，即进行从三维坐标到全局坐标的坐标转换，进而有利于后续激光点云数据的拼接与融合。
进一步的，一实施例中，步骤S5具体包括：
将空间按照预设距离进行划分，形成若干方格，并将每个方格的中心点定义为重采样的基准点；
将落入每个方格的激光点定义为该方格基准点的采样点；
对每个方格的采样点进行平面拟合，得到各采样点的拟合平面；
计算基准点到其对应的拟合平面的投影点，得到各激光点对应的重采样点。
在进行大量的激光点云数据拼接与融合时，可能会存在较大的冗余和噪声，严重拖慢数据处理速度，并且为扫描重建工作带来误差。故本实施例中，在进行激光点云融合时，对激光点进行重采样计算，由于空间划分得到的基准点本身是规则排列的，所以经过上述操作后的重采样点也是近似规则排列的，进而实现激光点坐标规则分布，由此大大降低了扫描数据的冗余程度和噪声。
进一步的，一实施例中，步骤S6，具体包括：
对融合后的激光点云进行三角网格化处理，得到初步三维网格模型；
对初步三维网格模型进行补洞、精简、平滑处理，得到最终物体重建的三维网格模型。
此外，如图2所示，在一实施例中，还提供了一种基于多目三维扫描装置的三维重建系统，所述多目三维扫描装置包括：激光模组、若干扫描支路，每条扫描支路均至少包括第一相机及第二相机，所述激光模组包括若干不同规格的激光管，各所述扫描支路上的第一相机及第二相机与各激光管组合以实现不同扫描模式功能的物体扫描；
其中，所述三维重建系统包括：
图像采集模块100，用于在物体表面设置标记点，利用激光管在物体表面投射激光线，并采集第一相机与第二相机拍摄的双目图像；
图像坐标提取模块200，用于对双目图像进行图像处理，提取标记点与所述激光线上的激光点的图像坐标；
三维坐标计算模块300，用于利用双目立体视觉算法，根据标记点与激光点的图像坐标，计算标记点与激光点的三维坐标；
坐标转换模块400，用于利用标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
点云融合模块500，用于将所有帧双目图像中的所有激光点云进行点云融合；
网格处理模块600，用于对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
进一步的，如图3所示，一实施例中，具体提供了一种多目三维扫描装置，其结构可以包括：
激光模组，用于在物体表面投射激光线，具体可以由5个激光管组成，分别是两个13线激光管、两个7线激光管、一个单线激光管；
三条扫描支路，用于对应实现标准扫描、大范围扫描、精细扫描等不同扫描模式功能，每条扫描支路分别包括第一相机和第二相机；
补光灯，用于补光，具体可以由6个灯板组成，每个灯板又可以由8个led灯珠组成，每个灯板对应安装于每个相机前端；
主控板，用于控制所有器件工作，以及每帧图像扫描时，相机曝光、激光点亮、补光灯点亮的精准时序；
按键板，用于实现扫描启动/停止、扫描模式切换、视图放大/缩小等快捷功能，具体可以总共包括四个按键；
蜂鸣器，用于通过声响指示用户操作反馈；
距离指示灯，用于通过不同指示灯色彩指示扫描装置距离物体的工作距离；
USB接口，用于连接相机、主控板和后台计算机。
在该实施例中，通过各扫描支路中的第一相机和第二相机与不同规格的激光管组合，实现不同扫描模式功能，具体各扫描模式工作情况如下：
(1)精细扫描模式下，内侧扫描支路中的两个相机和两个7线激光管工作，此时工作距离聚焦在200mm处，获得的扫描幅面最小，但是空间分辨率最高，旨在扫描尺寸较小的物体(例如尺寸<0.2m的物体)；
(2)标准扫描模式下，中间扫描支路中的两个相机和两个13线激光管工作，此时工作距离聚焦在320mm处，获得的扫描幅面较大，空间分辨率也较低，旨在扫描尺寸一般的物体；
(3)大范围扫描模式下，外侧扫描支路中的两个相机和两个13线激光管工作，此时工作距离聚焦在500mm处，获得的扫描幅面最大，空间分辨率也最低，旨在扫描尺寸较大的物体(例如尺寸>2m的物体)；
(4)标准扫描模式下，亦支持单线扫描，此时中间扫描支路中的两个相机和一个单线激光管工作，旨在扫描具有深孔的物体。
每种扫描模式下，均将停止其他扫描支路的相机、激光器、补光灯的工作，仅启用本条扫描支路中的相机、激光器、补光灯。
图4示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于多目三维扫描装置的三维重建方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于多目三维扫描装置的三维重建方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
在物体表面设置标记点，利用所述激光管在物体表面投射激光线，并采集所述第一相机与第二相机拍摄的双目图像；
对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标；
利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标；
利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
将所有帧双目图像中的所有激光点云进行点云融合；
对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
在物体表面设置标记点，利用所述激光管在物体表面投射激光线，并采集所述第一相机与第二相机拍摄的双目图像；
对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标；
利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标；
利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
将所有帧双目图像中的所有激光点云进行点云融合；
对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于多目三维扫描装置的三维重建方法，其特征在于，所述多目三维扫描装置包括：激光模组、若干扫描支路，每条扫描支路均至少包括第一相机及第二相机，所述激光模组包括若干不同规格的激光管，各所述扫描支路上的第一相机及第二相机与各激光管组合以实现不同扫描模式功能的物体扫描；
其中，所述三维重建方法包括：
在物体表面设置标记点，利用所述激光管在物体表面投射激光线，并采集所述第一相机与第二相机拍摄的双目图像；
对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标；
利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标；
利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
将所有帧双目图像中的所有激光点云进行点云融合；
对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
2.根据权利要求1所述的基于多目三维扫描装置的三维重建方法，其特征在于，对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标，具体包括：
通过图像滤波、边界检测、边界分类、椭圆拟合、标记点判别的方法实现所述标记点的图像坐标提取；
通过图像滤波、基于像素灰度变化的激光点粗定位、基于像素梯度局部极值的激光点精定位的方法实现所述激光点的图像坐标提取。
3.根据权利要求1所述的基于多目三维扫描装置的三维重建方法，其特征在于，在利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标之前，还包括：
对所述第一相机、第二相机以及激光面进行标定，获得第一相机、第二相机标定参数和激光面参数。
4.根据权利要求3所述的基于多目三维扫描装置的三维重建方法，其特征在于，利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标，具体包括：
通过以下公式，利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标：
其中，s1、s2分别表示方程的比例系数，K1、R1、T1表示第一相机的标定参数(依次为第一相机的内参数矩阵，旋转矩阵、平移向量)，K2、R2、T2表示第二相机的标定参数(依次为第一相机的内参数矩阵，旋转矩阵、平移向量)，p1、p2分别表示标记点或激光点在双目图像上的图像坐标，p表示所计算的标记点或激光点的三维坐标。
5.根据权利要求1所述的基于多目三维扫描装置的三维重建方法，其特征在于，利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，具体包括：分别
通过以下公式，利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换：
q＝Rp+T
其中，R、T分别表示通过标记点的空间位置关系确定的三维坐标到全局坐标的旋转矩阵和平移向量，p表示激光点的三维坐标，q表示转换后的激光点的全局坐标。
6.根据权利要求1所述的基于多目三维扫描装置的三维重建方法，其特征在于，将所有帧双目图像中的所有激光点云进行点云融合，具体包括：
将空间按照预设距离进行划分，形成若干方格，并将每个方格的中心点定义为重采样的基准点；
将落入每个方格的激光点定义为该方格基准点的采样点；
对每个方格的采样点进行平面拟合，得到各采样点的拟合平面；
计算所述基准点到其对应的拟合平面的投影点，得到各激光点对应的重采样点。
7.根据权利要求1所述的基于多目三维扫描装置的三维重建方法，其特征在于，对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型，具体包括：
对融合后的激光点云进行三角网格化处理，得到初步三维网格模型；
对初步三维网格模型进行补洞、精简、平滑处理，得到最终物体重建的三维网格模型。
8.一种基于多目三维扫描装置的三维重建系统，其特征在于，所述多目三维扫描装置包括：激光模组、若干扫描支路，每条扫描支路均至少包括第一相机及第二相机，所述激光模组包括若干不同规格的激光管，各所述扫描支路上的第一相机及第二相机与各激光管组合以实现不同扫描模式功能的物体扫描；
其中，所述三维重建系统包括：
图像采集模块，用于在物体表面设置标记点，利用所述激光管在物体表面投射激光线，并采集所述第一相机与第二相机拍摄的双目图像；
图像坐标提取模块，用于对所述双目图像进行图像处理，提取所述标记点与所述激光线上的激光点的图像坐标；
三维坐标计算模块，用于利用双目立体视觉算法，根据所述标记点与激光点的图像坐标，计算所述标记点与激光点的三维坐标；
坐标转换模块，用于利用所述标记点在不同帧双目图像之间的空间位置关系，实现所有激光点从三维坐标到全局坐标的坐标转换，构成激光点云；
点云融合模块，用于将所有帧双目图像中的所有激光点云进行点云融合；
网格处理模块，用于对融合后的激光点云进行网格化处理，得到物体重建的三维网格模型。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310179207.9A CN116222425A (zh) | 2023-02-16 | 2023-02-16 | 一种基于多目三维扫描装置的三维重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310179207.9A CN116222425A (zh) | 2023-02-16 | 2023-02-16 | 一种基于多目三维扫描装置的三维重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116222425A true CN116222425A (zh) | 2023-06-06 |
Family
ID=86580200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310179207.9A Pending CN116222425A (zh) | 2023-02-16 | 2023-02-16 | 一种基于多目三维扫描装置的三维重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116222425A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437291A (zh) * | 2023-12-21 | 2024-01-23 | 河南卫华重型机械股份有限公司 | 一种基于双目视觉的数字化料堆可视方法 |
| CN117579754A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000339685A (ja) * | 1999-05-27 | 2000-12-08 | Sony Corp | データの三次元記録装置および方法およびデータの三次元再生装置および方法およびデータの三次元記録再生装置および方法および光照射・光検出装置 |
| CN101726257A (zh) * | 2009-12-22 | 2010-06-09 | 西安交通大学 | 多目大范围激光扫描测量方法 |
| CN208140024U (zh) * | 2018-03-13 | 2018-11-23 | 北京浩宇天地测绘科技发展有限公司 | 一种具有多种扫描模式的三维扫描仪 |
| CN110030946A (zh) * | 2019-04-12 | 2019-07-19 | 杭州思看科技有限公司 | 一种手持式三维扫描设备多模式和状态的指示装置和方法 |
| CN111023970A (zh) * | 2019-12-17 | 2020-04-17 | 杭州思看科技有限公司 | 多模式三维扫描方法及系统 |
| CN212539085U (zh) * | 2020-06-08 | 2021-02-12 | 武汉中观自动化科技有限公司 | 具有普通模式和精细模式的三维扫描仪 |
| CN112539710A (zh) * | 2020-08-17 | 2021-03-23 | 武汉中观自动化科技有限公司 | 一种具有不同工作模式的三维扫描系统 |
| CN112964199A (zh) * | 2021-04-19 | 2021-06-15 | 先临三维科技股份有限公司 | 三维扫描方法及装置 |
| CN214621026U (zh) * | 2021-04-19 | 2021-11-05 | 中优智能科技有限公司 | 手持式激光三维扫描仪 |
| CN215338212U (zh) * | 2021-06-21 | 2021-12-28 | 杭州思看科技有限公司 | 投射机构以及扫描仪 |
| CN215338215U (zh) * | 2021-05-21 | 2021-12-28 | 杭州思锐迪科技有限公司 | 一种结构光三维扫描仪和扫描系统 |
| CN215810705U (zh) * | 2021-06-07 | 2022-02-11 | 杭州思锐迪科技有限公司 | 三维扫描系统 |
| US20220207765A1 (en) * | 2020-12-31 | 2022-06-30 | Zg Technology Co., Ltd. | Positioning method and system combining mark point positioning and intelligent reverse positioning |
| CN114858086A (zh) * | 2022-03-25 | 2022-08-05 | 先临三维科技股份有限公司 | 一种三维扫描系统、方法和装置 |
| WO2022179623A1 (zh) * | 2021-02-25 | 2022-09-01 | 先临三维科技股份有限公司 | 手持扫描仪及其扫描方法 |
-
2023
- 2023-02-16 CN CN202310179207.9A patent/CN116222425A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000339685A (ja) * | 1999-05-27 | 2000-12-08 | Sony Corp | データの三次元記録装置および方法およびデータの三次元再生装置および方法およびデータの三次元記録再生装置および方法および光照射・光検出装置 |
| CN101726257A (zh) * | 2009-12-22 | 2010-06-09 | 西安交通大学 | 多目大范围激光扫描测量方法 |
| CN208140024U (zh) * | 2018-03-13 | 2018-11-23 | 北京浩宇天地测绘科技发展有限公司 | 一种具有多种扫描模式的三维扫描仪 |
| CN110030946A (zh) * | 2019-04-12 | 2019-07-19 | 杭州思看科技有限公司 | 一种手持式三维扫描设备多模式和状态的指示装置和方法 |
| CN111023970A (zh) * | 2019-12-17 | 2020-04-17 | 杭州思看科技有限公司 | 多模式三维扫描方法及系统 |
| CN212539085U (zh) * | 2020-06-08 | 2021-02-12 | 武汉中观自动化科技有限公司 | 具有普通模式和精细模式的三维扫描仪 |
| CN112539710A (zh) * | 2020-08-17 | 2021-03-23 | 武汉中观自动化科技有限公司 | 一种具有不同工作模式的三维扫描系统 |
| US20220207765A1 (en) * | 2020-12-31 | 2022-06-30 | Zg Technology Co., Ltd. | Positioning method and system combining mark point positioning and intelligent reverse positioning |
| WO2022179623A1 (zh) * | 2021-02-25 | 2022-09-01 | 先临三维科技股份有限公司 | 手持扫描仪及其扫描方法 |
| CN112964199A (zh) * | 2021-04-19 | 2021-06-15 | 先临三维科技股份有限公司 | 三维扫描方法及装置 |
| CN214621026U (zh) * | 2021-04-19 | 2021-11-05 | 中优智能科技有限公司 | 手持式激光三维扫描仪 |
| CN215338215U (zh) * | 2021-05-21 | 2021-12-28 | 杭州思锐迪科技有限公司 | 一种结构光三维扫描仪和扫描系统 |
| CN215810705U (zh) * | 2021-06-07 | 2022-02-11 | 杭州思锐迪科技有限公司 | 三维扫描系统 |
| CN215338212U (zh) * | 2021-06-21 | 2021-12-28 | 杭州思看科技有限公司 | 投射机构以及扫描仪 |
| CN114858086A (zh) * | 2022-03-25 | 2022-08-05 | 先临三维科技股份有限公司 | 一种三维扫描系统、方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 吴清华等: "《三维激光扫描数据处理技术及其工程应用》", 华中科技大学出版社, pages: 65 - 66 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437291A (zh) * | 2023-12-21 | 2024-01-23 | 河南卫华重型机械股份有限公司 | 一种基于双目视觉的数字化料堆可视方法 |
| CN117437291B (zh) * | 2023-12-21 | 2024-05-17 | 河南卫华重型机械股份有限公司 | 一种基于双目视觉的数字化料堆可视方法 |
| CN117579754A (zh) * | 2024-01-16 | 2024-02-20 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
| CN117579754B (zh) * | 2024-01-16 | 2024-05-07 | 思看科技(杭州)股份有限公司 | 三维扫描方法、装置、计算机设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116222425A (zh) | 一种基于多目三维扫描装置的三维重建方法及系统 | |
| EP2568253B1 (en) | Structured-light measuring method and system | |
| CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
| US20150109418A1 (en) | Method and system for three-dimensional data acquisition | |
| CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| CN110672020A (zh) | 一种基于单目视觉的立木高度测量方法 | |
| CN105066962B (zh) | 一种多分辨率大视场角高精度摄影测量装置 | |
| CN109242898B (zh) | 一种基于图像序列的三维建模方法及系统 | |
| CN110189400B (zh) | 一种三维重建方法、三维重建系统、移动终端及存储装置 | |
| CN110838164B (zh) | 基于物体点深度的单目图像三维重建方法、系统及装置 | |
| CN102376089A (zh) | 一种标靶校正方法及系统 | |
| CN110120091B (zh) | 电力巡检图像样本制作方法、装置和计算机设备 | |
| EP3382645B1 (en) | Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| US9147279B1 (en) | Systems and methods for merging textures | |
| CN207766424U (zh) | 一种拍摄装置及成像设备 | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| CN113610933A (zh) | 一种基于双目区域视差的原木堆垛动态检尺系统和方法 | |
| Wenzel et al. | High-resolution surface reconstruction from imagery for close range cultural Heritage applications | |
| JP7432793B1 (ja) | 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器 | |
| CN113077523B (zh) | 一种标定方法、装置、计算机设备及存储介质 | |
| CN117579753A (zh) | 三维扫描方法、装置、计算机设备以及存储介质 | |
| CN111462331B (zh) | 扩展对极几何并实时计算三维点云的查找表方法 | |
| CN109446945B (zh) | 三维模型处理方法和装置、电子设备、计算机可读存储介质 | |
| CN116379965A (zh) | 结构光系统标定方法、装置、结构光系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |