CN115330958A - 基于激光雷达的实时三维重建方法及装置 - Google Patents
基于激光雷达的实时三维重建方法及装置 Download PDFInfo
- Publication number
- CN115330958A CN115330958A CN202211236572.0A CN202211236572A CN115330958A CN 115330958 A CN115330958 A CN 115330958A CN 202211236572 A CN202211236572 A CN 202211236572A CN 115330958 A CN115330958 A CN 115330958A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- target
- cloud data
- data set
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000010147 laser engraving Methods 0.000 claims abstract description 46
- 238000007689 inspection Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000012512 characterization method Methods 0.000 claims description 48
- 230000009467 reduction Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 22
- 238000005192 partition Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/36—Removing material
- B23K26/362—Laser etching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/70—
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明涉及物联网技术领域,公开了一种基于激光雷达的实时三维重建方法及装置,用于提高三维重建的准确率以及激光雕刻的准确率。所述方法包括:根据参数数据计算多个扫描角度;根据多个扫描角度进行全方位扫描,输出原始点云数据集;对原始点云数据集进行预处理,得到目标点云数据集;对目标点云数据集进行点云配准和特征提取,得到特征点云数据,并对特征点云数据进行三维重建,得到目标三维模型;根据目标三维模型选取待雕刻区域,并根据目标雕刻图案对待雕刻区域进行激光雕刻,得到目标物品;采集目标物品的表面图像,并根据表面图像对目标物品进行激光雕刻质量检验,得到质量检验结果。
Description
技术领域
本发明涉及物联网技术领域,尤其涉及一种基于激光雷达的实时三维重建方法及装置。
背景技术
三维重建技术是当前各个领域的应用场合下的一项重要技术,其对于物品的三维建模具有重要作用。目前主流的三维重建技术是使用视觉传感器,比如单目相机和双目相机等,视觉传感器需要处理的数据量大,测量距离较小而且容易受环境光照影响,一般只能应用于室内环境下。
传统的三维建模技术是采用多台相机对目标物体的图像进行采集,采集目标图像之前需要对相机进行参数校验,校准过程十分复杂,运算量特别大,而且采集的图像没有任何约束条件,因此传统的三维建模技术复原的模型对物体的细节复原不到位,很难做到高精度的复原。由于三维建模的准确率较低导致在对物品进行激光雕刻时,极易发生错位、雕刻错误等缺陷。
发明内容
本发明提供了一种基于激光雷达的实时三维重建方法及装置,用于提高三维重建的准确率以及激光雕刻的准确率。
本发明第一方面提供了一种基于激光雷达的实时三维重建方法,所述基于激光雷达的实时三维重建方法包括:获取待处理物品的参数数据,并根据所述参数数据计算所述待处理物品的物体曲率,以及根据所述物体曲率计算所述待处理物品的多个扫描角度;根据所述多个扫描角度,调用预置的激光雷达对所述待处理物品进行全方位扫描,输出每个扫描角度的点云数据,并对每个扫描角度的点云数据进行点云数据融合,生成所述待处理物品的原始点云数据集;对所述原始点云数据集进行离群点去除,得到标准点云数据集,并对所述标准点云数据集进行点云滤波,得到降噪点云数据集,以及对所述降噪点云数据集进行密度平均处理,得到目标点云数据集;对所述目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对所述特征点云数据进行三维重建,得到所述待处理物品对应的目标三维模型;根据所述目标三维模型选取所述待处理物品的待雕刻区域,并获取目标雕刻图案,以及调用预置的激光雕刻机并根据所述目标雕刻图案对所述待雕刻区域进行激光雕刻,得到目标物品;采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据,以及对所述目标表征数据进行纹理特征提取,得到表面纹理特征;根据所述表面纹理特征对所述目标物品进行激光雕刻质量检验,得到所述目标物品对应的质量检验结果。
可选的,在本发明第一方面的第一种实现方式中,所述获取待处理物品的参数数据,并根据所述参数数据计算所述待处理物品的物体曲率,以及根据所述物体曲率计算所述待处理物品的多个扫描角度,包括:从预置的数据库中查询待处理物品的目标型号,并根据所述目标型号获取所述待处理物品的参数数据;根据所述参数数据计算所述待处理物品的物体曲率;根据所述物体曲率将所述待处理物品分割为多个连续视觉区域;根据所述多个连续视觉区域确定所述待处理物品的多个扫描角度。
可选的,在本发明第一方面的第二种实现方式中,所述对所述原始点云数据集进行离群点去除,得到标准点云数据集,并对所述标准点云数据集进行点云滤波,得到降噪点云数据集,以及对所述降噪点云数据集进行密度平均处理,得到目标点云数据集,包括:获取所述原始点云数据集中的多个目标点,并分别计算所述多个目标点之间的点距;根据所述点距确定离群点,并将所述原始点云数据集中的离群点进行去除,得到标准点云数据集;对所述标准点云数据集中的多个目标点进行领域均值计算,得到目标均值,并根据所述目标均值对所述标准点云数据集中的多个目标点进行点位修正,得到降噪点云数据集;计算所述降噪点云数据集的点云密度,并根据所述点云密度对所述降噪点云数据集进行密度平均处理,得到目标点云数据集。
可选的,在本发明第一方面的第三种实现方式中,所述对所述目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对所述特征点云数据进行三维重建,得到所述待处理物品对应的目标三维模型,包括:从所述目标点云数据集中选取多个基点,并根据所述多个基点对所述目标点云数据集进行点云配准,得到点云配准后的数据集;对所述点云配准后的数据集进行特征点提取,得到特征点云数据;通过预置的三维重建算法对所述特征点云数据进行点云卷积运算,得到多个特征像素值;根据所述多个特征像素值构建所述待处理物品的三维结构;对所述三维结构进行三维渲染,得到所述待处理物品的目标三维模型。
可选的,在本发明第一方面的第四种实现方式中,所述采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据,以及对所述目标表征数据进行纹理特征提取,得到表面纹理特征,包括:采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据;将所述目标表征数据输入预置的卷积神经网络进行特征提取,得到特征表征数据;将所述特征表征数据输入预置的生成对抗网络进行特征还原,得到目标还原数据;对所述目标还原数据进行纹理特征识别和纹理特征提取,输出所述目标表征数据的表面纹理特征。
可选的,在本发明第一方面的第五种实现方式中,所述根据所述表面纹理特征对所述目标物品进行激光雕刻质量检验,得到所述目标物品对应的质量检验结果,包括:根据所述表面纹理特征计算激光雕刻区域的位置数据、雕刻深度和表面平滑度;根据所述位置数据、所述雕刻深度和所述表面平滑度对所述目标物品进行激光雕刻质量检验,生成质量检验结果。
可选的,在本发明第一方面的第六种实现方式中,所述基于激光雷达的实时三维重建方法还包括:根据所述目标雕刻图案对所述待雕刻区域进行图案映射,得到预雕刻区域;对所述预雕刻区域进行分区,得到多个分区,并获取所述多个分区的二维图案和每个分区的位置参数;通过所述激光雕刻机根据每个分区的位置参数对预雕刻区域进行定位,并控制所述激光雕刻机按照所述二维图案对所述预雕刻区域进行激光雕刻,得到目标物品。
本发明第二方面提供了一种基于激光雷达的实时三维重建装置,所述基于激光雷达的实时三维重建装置包括:获取模块,用于获取待处理物品的参数数据,并根据所述参数数据计算所述待处理物品的物体曲率,以及根据所述物体曲率计算所述待处理物品的多个扫描角度;扫描模块,用于根据所述多个扫描角度,调用预置的激光雷达对所述待处理物品进行全方位扫描,输出每个扫描角度的点云数据,并对每个扫描角度的点云数据进行点云数据融合,生成所述待处理物品的原始点云数据集;处理模块,用于对所述原始点云数据集进行离群点去除,得到标准点云数据集,并对所述标准点云数据集进行点云滤波,得到降噪点云数据集,以及对所述降噪点云数据集进行密度平均处理,得到目标点云数据集;提取模块,用于对所述目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对所述特征点云数据进行三维重建,得到所述待处理物品对应的目标三维模型;雕刻模块,用于根据所述目标三维模型选取所述待处理物品的待雕刻区域,并获取目标雕刻图案,以及调用预置的激光雕刻机并根据所述目标雕刻图案对所述待雕刻区域进行激光雕刻,得到目标物品;分析模块,用于采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据,以及对所述目标表征数据进行纹理特征提取,得到表面纹理特征;检验模块,用于根据所述表面纹理特征对所述目标物品进行激光雕刻质量检验,得到所述目标物品对应的质量检验结果。
可选的,在本发明第二方面的第一种实现方式中,所述获取模块具体用于:从预置的数据库中查询待处理物品的目标型号,并根据所述目标型号获取所述待处理物品的参数数据;根据所述参数数据计算所述待处理物品的物体曲率;根据所述物体曲率将所述待处理物品分割为多个连续视觉区域;根据所述多个连续视觉区域确定所述待处理物品的多个扫描角度。
可选的,在本发明第二方面的第二种实现方式中,所述处理模块具体用于:获取所述原始点云数据集中的多个目标点,并分别计算所述多个目标点之间的点距;根据所述点距确定离群点,并将所述原始点云数据集中的离群点进行去除,得到标准点云数据集;对所述标准点云数据集中的多个目标点进行领域均值计算,得到目标均值,并根据所述目标均值对所述标准点云数据集中的多个目标点进行点位修正,得到降噪点云数据集;计算所述降噪点云数据集的点云密度,并根据所述点云密度对所述降噪点云数据集进行密度平均处理,得到目标点云数据集。
可选的,在本发明第二方面的第三种实现方式中,所述提取模块具体用于:从所述目标点云数据集中选取多个基点,并根据所述多个基点对所述目标点云数据集进行点云配准,得到点云配准后的数据集;对所述点云配准后的数据集进行特征点提取,得到特征点云数据;通过预置的三维重建算法对所述特征点云数据进行点云卷积运算,得到多个特征像素值;根据所述多个特征像素值构建所述待处理物品的三维结构;对所述三维结构进行三维渲染,得到所述待处理物品的目标三维模型。
可选的,在本发明第二方面的第四种实现方式中,所述分析模块具体用于:采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据;将所述目标表征数据输入预置的卷积神经网络进行特征提取,得到特征表征数据;将所述特征表征数据输入预置的生成对抗网络进行特征还原,得到目标还原数据;对所述目标还原数据进行纹理特征识别和纹理特征提取,输出所述目标表征数据的表面纹理特征。
可选的,在本发明第二方面的第五种实现方式中,所述检验模块具体用于:根据所述表面纹理特征计算激光雕刻区域的位置数据、雕刻深度和表面平滑度;根据所述位置数据、所述雕刻深度和所述表面平滑度对所述目标物品进行激光雕刻质量检验,生成质量检验结果。
可选的,在本发明第二方面的第六种实现方式中,所述基于激光雷达的实时三维重建装置还包括:定位模块,用于根据所述目标雕刻图案对所述待雕刻区域进行图案映射,得到预雕刻区域;对所述预雕刻区域进行分区,得到多个分区,并获取所述多个分区的二维图案和每个分区的位置参数;通过所述激光雕刻机根据每个分区的位置参数对预雕刻区域进行定位,并控制所述激光雕刻机按照所述二维图案对所述预雕刻区域进行激光雕刻,得到目标物品。
本发明第三方面提供了一种基于激光雷达的实时三维重建设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于激光雷达的实时三维重建设备执行上述的基于激光雷达的实时三维重建方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的基于激光雷达的实时三维重建方法。
本发明提供的技术方案中,通过根据待处理物品的参数数据确定多个扫描角度,多个扫描角度的目的是为了保证可以对待处理物品进行全方位的扫描,保证三维重建的准确率,然后本发明通过对采集得到的点云数据进行离群点去除、点云滤波以及密度平均处理,更加保证了点云数据的准确率,避免了由于误差点带来的重建误差,通过将激光雷达与三维重建相结合,通过特征提取、特征匹配和点云融合等实现了通过激光雷达对物品进行实时三维重建的功能,其具有成本低、去畸变效果好,实时性强以及建图精度高的特点,并且,将三维重建和激光雕刻相结合的特征,提高了激光雕刻的定位准确性,进而提高了三维重建的准确率以及激光雕刻的准确率。
附图说明
图1为本发明实施例中基于激光雷达的实时三维重建方法的一个实施例示意图;
图2为本发明实施例中基于激光雷达的实时三维重建方法的另一个实施例示意图;
图3为本发明实施例中基于激光雷达的实时三维重建装置的一个实施例示意图;
图4为本发明实施例中基于激光雷达的实时三维重建装置的另一个实施例示意图;
图5为本发明实施例中基于激光雷达的实时三维重建设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于激光雷达的实时三维重建方法及装置,用于提高三维重建的准确率以及激光雕刻的准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中基于激光雷达的实时三维重建方法的一个实施例包括:
101、获取待处理物品的参数数据,并根据参数数据计算待处理物品的物体曲率,以及根据物体曲率计算待处理物品的多个扫描角度;
可以理解的是,本发明的执行主体可以为基于激光雷达的实时三维重建装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
需要说明的是,由于待处理物品可以是规则的圆柱体或者一些具有特殊设计的圆柱体,例如:保温杯、塑料杯等,因此需要根据待处理物品的不同型号所对应的参数数据进行分析,通过该参数数据计算待处理物品的物体曲率,在本实施例中可以为保温杯的杯体曲率,计算待处理物品的物体曲率的主要目的是分析需要采集待处理物品的几个面,才能使所采集的面完整覆盖整个待处理物品。激光雷达的单次扫描范围是固定的,,需要根据物体曲率计算出待处理物品的全覆盖扫描角度,得到多个扫描角度。其中,多个扫描角度包括:杯体对应的多个扫描角度、杯盖对应的扫描角度以及杯底对应的扫描角度。本实施例通过计算待处理物品的多个扫描角度,可以有效的使待处理物品被完整的扫描,进而作为其三维重建的基础。
102、根据多个扫描角度,调用预置的激光雷达对待处理物品进行全方位扫描,输出每个扫描角度的点云数据,并对每个扫描角度的点云数据进行点云数据融合,生成待处理物品的原始点云数据集;
具体的,通过预置的激光雷达从多个扫描角度对待处理物品进行扫描,并获取待处理物品的三维采样点坐标信息,点云数据是指使用激光雷达获取的点数据,由于其数量比较大并且比较密集,所以称为点云数据,本实施例中每一个扫描角度对应一个点云数据,每个扫描角度的点云数据只能反映待处理物品在该扫描角度时对应的部分,因此,本实施例将每个扫描角度的点云数据进行点云数据融合,生成待处理物品的原始点云数据集,该原始点云数据集包含了所有待处理物品的点云数据,可以完整的呈现出待处理物品的多个点位数据。本实施例还对待处理物品进行三维空间数据提取,通过对激光雷达进行参数校准,基于SIFT算法原理,对输入待处理物品的特征点的提取,通过姿态估算对特征点进行匹配,通过三角化过程生成待处理物品的点云数据。
103、对原始点云数据集进行离群点去除,得到标准点云数据集,并对标准点云数据集进行点云滤波,得到降噪点云数据集,以及对降噪点云数据集进行密度平均处理,得到目标点云数据集;
具体的,对原始点云数据集进行离群点去除,得到标准点云数据集,其中,离群点是指原始点云数据集中与大多数数据点完全相异的点,它分为离群的孤立点和模型边界线周围的孤立点,因此,需要对这些离群点进行自动化的辨别及消除,本实施例计算离群点检测的方法可以为以下任一种:基于邻近度、密度、聚类、统计等方法;对标准点云数据集进行点云滤波,得到降噪点云数据集,其中,除了离群点这类大的噪声之外,由于待处理物品本身的反射率、散射等因素,标准点云数据集中还会产生细小的误差,使得激光雷达扫描的采样点在真实值附近波动,所以需要修改点的部分属性,本实施例针对有序点云,一般采用对图像进行去噪的方法进行处理,将标准点云数据集的z坐标看成灰度图像中的灰度值,然后使用中值滤波、高斯滤波或平均滤波进行处理,得到降噪点云数据集;对降噪点云数据集进行密度平均处理,得到目标点云数据集,主要是通过对降噪点云数据集中点密度较大的位置进行下采样处理,以使整个降噪点云数据集中的点密度大致相同,得到目标点云数据集。
104、对目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对特征点云数据进行三维重建,得到待处理物品对应的目标三维模型;
需要说明的是,由于目标点云数据集中的每个扫描角度的点云数据,每个扫描角度的基准坐标系都不同,则需要对目标点云数据集进行点云配准,使每个扫描角度的点云数据基于同一基准坐标系,然后利用预置深度学习算法对图像进行特征提取,得到特征点云数据。进一步地,通过预置的三维重建算法对特征点云数据进行点云卷积运算,得到多个特征像素值;根据多个特征像素值构建待处理物品的三维结构;对三维结构进行三维渲染,得到待处理物品的目标三维模型。
105、根据目标三维模型选取待处理物品的待雕刻区域,并获取目标雕刻图案,以及调用预置的激光雕刻机并根据目标雕刻图案对待雕刻区域进行激光雕刻,得到目标物品;
具体的,根据目标三维模型选取待处理物品的待雕刻区域,在待处理物品的目标三维模型构建完成之后,根据预设的雕刻模型选取待雕刻区域,该待雕刻区域包括杯体区域、杯底区域以及杯盖区域;获取目标雕刻图案,以及调用预置的激光雕刻机并根据目标雕刻图案对待雕刻区域进行激光雕刻,得到目标物品,该激光雕刻机的工作原理包括:将目标雕刻图案及该位置参数信号输出到该雕刻控制单元,该雕刻控制单元与该图像编辑处理器电连接,其根据接收的目标雕刻图案控制该激光发射装置及根据该位置参数信号控制该机械手,该机械手与该雕刻控制单元电连接,其用于对该待雕刻产品的位置定位,该激光发射装置与该雕刻控制单元电连接,其用于发射激光以对该待雕刻产品进行激光雕刻,得到雕刻完成的物品,也就是目标物品。
106、采集目标物品的表面图像,并根据表面图像对目标物品进行表征数据提取,得到目标表征数据,以及对目标表征数据进行纹理特征提取,得到表面纹理特征;
具体的,激光雕刻完成的目标物品可能会存在雕刻位置偏移或者雕刻有毛刺等雕刻的瑕疵,因此,需要采集目标物品的表面图像,以对目标物品进行表面特征提取,具体为:对表面图像进行表征数据提取,通过将表面图像输入预置残差学习网络,通过残差学习网络对表面图像的纹理数据进行特征提取,得到表面纹理特征。其中,残差学习网络使用4个由残差块组成的模块,每个模块使用若干个同样输出通道数的残差块。第一个模块的通道数同输入通道数一致。利用残差学习网络对表面图像进行特征提取,过滤掉表面图像的冗杂信息,因为残差模块的引入,有效缓解了梯度消失的影响,使得网络模型层数可以大大增加。随着层级的增加,其残差学习网络的表达能力也增加,可以有效提取到表面图像的多个特征数据,得到表面纹理特征。
107、根据表面纹理特征对目标物品进行激光雕刻质量检验,得到目标物品对应的质量检验结果。
具体的,根据表面纹理特征对目标物品进行激光雕刻质量检验,得到目标物品对应的质量检验结果,还可以采用模板匹配的方式进行质量检验,模板匹配具体包括:将表面纹理特征输入缺陷检测模型;通过缺陷检测模型定位模板区域,并计算模板区域的坐标信息;基于坐标信息对标准图像进行模板匹配并计算匹配坐标信息;对匹配坐标信息进行模板区域仿射处理,得到匹配成功的区域信息;对匹配成功的区域信息进行差集运算,得到差集面积;基于差集面积生成标准图像对应的质量检验结果。进一步地,计算差集面积和预设目标值的误差值,并判断误差值是否超过预设阈值;若超过,则确定质量检验结果为目标物品有缺陷;若不超过,则确定质量检验结果为目标物品无缺陷。
本发明实施例中,通过根据待处理物品的参数数据确定多个扫描角度,多个扫描角度的目的是为了保证可以对待处理物品进行全方位的扫描,保证三维重建的准确率,然后本发明通过对采集得到的点云数据进行离群点去除、点云滤波以及密度平均处理,更加保证了点云数据的准确率,避免了由于误差点带来的重建误差,通过将激光雷达与三维重建相结合,通过特征提取、特征匹配和点云融合等实现了通过激光雷达对物品进行实时三维重建的功能,其具有成本低、去畸变效果好,实时性强以及建图精度高的特点,并且,将三维重建和激光雕刻相结合的特征,提高了激光雕刻的定位准确性,进而提高了三维重建的准确率以及激光雕刻的准确率。
请参阅图2,本发明实施例中基于激光雷达的实时三维重建方法的另一个实施例包括:
201、获取待处理物品的参数数据,并根据参数数据计算待处理物品的物体曲率,以及根据物体曲率计算待处理物品的多个扫描角度;
具体的,从预置的数据库中查询待处理物品的目标型号,并根据目标型号获取待处理物品的参数数据;根据参数数据计算待处理物品的物体曲率;根据物体曲率将待处理物品分割为多个连续视觉区域,其中,多个连续视觉区域包含了所有待处理物品的点云数据,可以完整的呈现出待处理物品的多个点位数据;根据多个连续视觉区域确定待处理物品的多个扫描角度。其中,对待处理物品进行三维空间数据提取,通过对激光雷达进行参数校准,基于SIFT算法原理,对输入待处理物品的特征点的提取,通过姿态估算对特征点进行匹配,通过三角化过程生成待处理物品的点云数据。
202、根据多个扫描角度,调用预置的激光雷达对待处理物品进行全方位扫描,输出每个扫描角度的点云数据,并对每个扫描角度的点云数据进行点云数据融合,生成待处理物品的原始点云数据集;
需要说明的是,本实施例采用基于脉冲式测距的激光雷达进行全方位扫描,该激光雷达通常是不可见光,由于其波长短又窄,所以其优点主要是角分辨率极高、可测距离相比其他类型的激光较远,其原理简单来说就是针对激光波形的飞行时间差进行测距,又称为飞行时间法(TOF),激光束通过发射脉冲信号,当碰到待处理物品表面时由于反射而被激光测距仪接收,由此得到激光来回的时间差,并根据时间差得到待处理物品的距离,激光雷达扫描获得的数据被形象的称为点云数据,该点云数据是一种特殊的图像又叫深度图像,图像中存储的是每个点的三维坐标信息,点云数据按照矩阵的形式进行排列,获取的激光雷达扫描数据用数学表达式表示如下:
D={P(d,e),d=0,1,2...X-1,e=0,1,2...,Y-1}
其中,D表示所获取的深度数据点集。X是扫描点集的行数,d为行索引值,Y是扫描点集的列数,e是列索引值。P(d,n)=(x,y,2)表示点云集合中点的坐标。
203、对原始点云数据集进行离群点去除,得到标准点云数据集,并对标准点云数据集进行点云滤波,得到降噪点云数据集,以及对降噪点云数据集进行密度平均处理,得到目标点云数据集;
具体的,获取原始点云数据集中的多个目标点,并分别计算多个目标点之间的点距;根据点距确定离群点,并将原始点云数据集中的离群点进行去除,得到标准点云数据集;对标准点云数据集中的多个目标点进行领域均值计算,得到目标均值,并根据目标均值对标准点云数据集中的多个目标点进行点位修正,得到降噪点云数据集;计算降噪点云数据集的点云密度,并根据点云密度对降噪点云数据集进行密度平均处理,得到目标点云数据集。首先提取关键点,对关键点附加详细的信息(局部特征)也就是所谓的描述器;再通过两方特征点(附带上特征向量的关键点)的两两比较找出相互匹配的若干对特征点,也就建立物体间的对应关系。将原始点云数据集的点云数据进行密集匹配,得到密集点云。得到的点密集以后,就可以获得大量密集点的三维坐标,从而逼近待处理物品的三维模型。点云数据为非结构化的散乱点云,属于三维重建特有的点云特点。经过配准后的深度信息仍为空间中散乱无序的点云数据,仅能展现景物的部分信息。因此必须对点云数据进行密度平均,通过过滤掉偏差较大的点云数据以获得更加精细的重建模型。
204、对目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对特征点云数据进行三维重建,得到待处理物品对应的目标三维模型;
具体的,从目标点云数据集中选取多个基点,并根据多个基点对目标点云数据集进行点云配准,得到点云配准后的数据集;对点云配准后的数据集进行特征点提取,得到特征点云数据;通过预置的三维重建算法对特征点云数据进行点云卷积运算,得到多个特征像素值,其中,点云卷积运算是指从图像的左上角开始,开一个与模板同样大小的活动窗口,窗口图像与模板像元对应起来相乘再相加,并用计算结果代替窗口中心的像元亮度值,得到多个像素点输出值。然后,活动窗口向右移动一列,并作同样的运算。以此类推,从左到右、从上到下,即可得到一幅新图像。点云卷积运算得到像素点输出值,根据像素点输出值构建待处理物品的预测三维结构,对三维结构进行纹理信息渲染得到目标三维模型;根据多个特征像素值构建待处理物品的三维结构;对三维结构进行三维渲染,得到待处理物品的目标三维模型。在生成待处理物品的三维结构之后,还需要对三维结构进行三维渲染,三维渲染主要是根据颜色特征,对三维结构进行颜色渲染,对三维模型的多个层级结构进行渲染,多个层级结构包括前,后,上,下,左,右等多个层级。根据三维结构得到模型的多个像素点,将像素点连接成多个小面,再利用纹理和色泽特征生成三维重建模型对应的一个个颜色纹理面,结合三维空间预测特征和二维表面预测信息进行合并重构,得到目标三维模型。根据像素点的输出值得到待处理物品的预测三维结构,对三维结构进行纹理和颜色渲染得到待处理物品的目标三维模型。
205、根据目标三维模型选取待处理物品的待雕刻区域,并获取目标雕刻图案,以及调用预置的激光雕刻机并根据目标雕刻图案对待雕刻区域进行激光雕刻,得到目标物品;
可选的,根据目标雕刻图案对待雕刻区域进行图案映射,得到预雕刻区域;对预雕刻区域进行分区,得到多个分区,并获取多个分区的二维图案和每个分区的位置参数,其中,在待处理物品的目标三维模型构建完成之后,根据预设的雕刻模型选取待雕刻区域,该待雕刻区域包括杯体区域、杯底区域以及杯盖区域;通过激光雕刻机根据每个分区的位置参数对预雕刻区域进行定位,并控制激光雕刻机按照二维图案对预雕刻区域进行激光雕刻,得到目标物品。
206、采集目标物品的表面图像,并根据表面图像对目标物品进行表征数据提取,得到目标表征数据,以及对目标表征数据进行纹理特征提取,得到表面纹理特征;
具体的,采集目标物品的表面图像,并根据表面图像对目标物品进行表征数据提取,得到目标表征数据;将目标表征数据输入预置的卷积神经网络进行特征提取,得到特征表征数据;将特征表征数据输入预置的生成对抗网络进行特征还原,得到目标还原数据,生成对抗网络有两个部分构成:生成器和判别器。首先将特征表征数据各表征数据先传入生成器中,然后生成器生成图片之后,把图片传入判别器中,标签此刻传入的是1,真实的图片,但实际上是假图,此刻判别器就会判断为假图,然后模型就会不断调整生成器参数,此刻的判别器的参数被设置为不可调整,为了不断降低loss值,模型就会一直调整生成器的参数,直到判别器认为这是真图。此刻判别器与生成器达到了一个平衡。继续迭代训练,提高判别器精度,往复循环此操作,直到生成特征表征数据的目标还原数据;对目标还原数据进行纹理特征识别和纹理特征提取,输出目标表征数据的表面纹理特征。本实施例通过预置残差学习网络对目标物品进行表征数据提取,该残差学习网络采用Resnet152网络,Resnet152网络的图像处理包括以下步骤:第一、调整尺寸。将表面图像中较短的一边缩短或者放大到[256,480]范围内,长边随短边等比例缩放。比如:原始图片的尺寸为[1000,800,3],假设图片短边缩放到256,那么此时图片的尺寸即为[320,256,3],即图片的长宽比例是不变的。第二、裁剪。将表面图像进行水平翻转,然后从原图像和翻转后的图像中,随机裁剪出224*224的图像。第三、归一化。就是对于整个训练集图像,每个通道分别减去训练集该通道平均值。第四、特征识别。对于每张图片,每个通道的数据先由二维转成一维再对该图片三个通道求出协方差。矩阵(3*3),再求出协方差矩阵的特征向量p和特征值,将特征值乘以特征向量,得到各表面图像的表征数据。
207、根据表面纹理特征计算激光雕刻区域的位置数据、雕刻深度和表面平滑度;
208、根据位置数据、雕刻深度和表面平滑度对目标物品进行激光雕刻质量检验,生成质量检验结果。
具体的,根据表面纹理特征计算激光雕刻区域的位置数据、雕刻深度和表面平滑度,将位置数据、雕刻深度和表面平滑度作为目标物品的激光雕刻质量评价指标,根据位置数据、雕刻深度和表面平滑度对目标物品进行激光雕刻质量检验,生成质量检验结果,其中,质量缺陷类型包括:位置存在偏移、雕刻深度过深或过浅、以及表面存在毛刺不光滑等。
本发明实施例中,通过根据待处理物品的参数数据确定多个扫描角度,多个扫描角度的目的是为了保证可以对待处理物品进行全方位的扫描,保证三维重建的准确率,然后本发明通过对采集得到的点云数据进行离群点去除、点云滤波以及密度平均处理,更加保证了点云数据的准确率,避免了由于误差点带来的重建误差,通过将激光雷达与三维重建相结合,通过特征提取、特征匹配和点云融合等实现了通过激光雷达对物品进行实时三维重建的功能,其具有成本低、去畸变效果好,实时性强以及建图精度高的特点,并且,将三维重建和激光雕刻相结合的特征,提高了激光雕刻的定位准确性,进而提高了三维重建的准确率以及激光雕刻的准确率。
上面对本发明实施例中基于激光雷达的实时三维重建方法进行了描述,下面对本发明实施例中基于激光雷达的实时三维重建装置进行描述,请参阅图3,本发明实施例中基于激光雷达的实时三维重建装置一个实施例包括:
获取模块301,用于获取待处理物品的参数数据,并根据所述参数数据计算所述待处理物品的物体曲率,以及根据所述物体曲率计算所述待处理物品的多个扫描角度;
扫描模块302,用于根据所述多个扫描角度,调用预置的激光雷达对所述待处理物品进行全方位扫描,输出每个扫描角度的点云数据,并对每个扫描角度的点云数据进行点云数据融合,生成所述待处理物品的原始点云数据集;
处理模块303,用于对所述原始点云数据集进行离群点去除,得到标准点云数据集,并对所述标准点云数据集进行点云滤波,得到降噪点云数据集,以及对所述降噪点云数据集进行密度平均处理,得到目标点云数据集;
提取模块304,用于对所述目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对所述特征点云数据进行三维重建,得到所述待处理物品对应的目标三维模型;
雕刻模块305,用于根据所述目标三维模型选取所述待处理物品的待雕刻区域,并获取目标雕刻图案,以及调用预置的激光雕刻机并根据所述目标雕刻图案对所述待雕刻区域进行激光雕刻,得到目标物品;
分析模块306,用于采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据,以及对所述目标表征数据进行纹理特征提取,得到表面纹理特征;
检验模块307,用于根据所述表面纹理特征对所述目标物品进行激光雕刻质量检验,得到所述目标物品对应的质量检验结果。
本发明实施例中,通过根据待处理物品的参数数据确定多个扫描角度,多个扫描角度的目的是为了保证可以对待处理物品进行全方位的扫描,保证三维重建的准确率,然后本发明通过对采集得到的点云数据进行离群点去除、点云滤波以及密度平均处理,更加保证了点云数据的准确率,避免了由于误差点带来的重建误差,通过将激光雷达与三维重建相结合,通过特征提取、特征匹配和点云融合等实现了通过激光雷达对物品进行实时三维重建的功能,其具有成本低、去畸变效果好,实时性强以及建图精度高的特点,并且,将三维重建和激光雕刻相结合的特征,提高了激光雕刻的定位准确性,进而提高了三维重建的准确率以及激光雕刻的准确率。
请参阅图4,本发明实施例中基于激光雷达的实时三维重建装置另一个实施例包括:
获取模块301,用于获取待处理物品的参数数据,并根据所述参数数据计算所述待处理物品的物体曲率,以及根据所述物体曲率计算所述待处理物品的多个扫描角度;
扫描模块302,用于根据所述多个扫描角度,调用预置的激光雷达对所述待处理物品进行全方位扫描,输出每个扫描角度的点云数据,并对每个扫描角度的点云数据进行点云数据融合,生成所述待处理物品的原始点云数据集;
处理模块303,用于对所述原始点云数据集进行离群点去除,得到标准点云数据集,并对所述标准点云数据集进行点云滤波,得到降噪点云数据集,以及对所述降噪点云数据集进行密度平均处理,得到目标点云数据集;
提取模块304,用于对所述目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对所述特征点云数据进行三维重建,得到所述待处理物品对应的目标三维模型;
雕刻模块305,用于根据所述目标三维模型选取所述待处理物品的待雕刻区域,并获取目标雕刻图案,以及调用预置的激光雕刻机并根据所述目标雕刻图案对所述待雕刻区域进行激光雕刻,得到目标物品;
分析模块306,用于采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据,以及对所述目标表征数据进行纹理特征提取,得到表面纹理特征;
检验模块307,用于根据所述表面纹理特征对所述目标物品进行激光雕刻质量检验,得到所述目标物品对应的质量检验结果。
可选的,所述处理模块303具体用于:获取所述原始点云数据集中的多个目标点,并分别计算所述多个目标点之间的点距;根据所述点距确定离群点,并将所述原始点云数据集中的离群点进行去除,得到标准点云数据集;对所述标准点云数据集中的多个目标点进行领域均值计算,得到目标均值,并根据所述目标均值对所述标准点云数据集中的多个目标点进行点位修正,得到降噪点云数据集;计算所述降噪点云数据集的点云密度,并根据所述点云密度对所述降噪点云数据集进行密度平均处理,得到目标点云数据集。
可选的,所述提取模块304具体用于:从所述目标点云数据集中选取多个基点,并根据所述多个基点对所述目标点云数据集进行点云配准,得到点云配准后的数据集;对所述点云配准后的数据集进行特征点提取,得到特征点云数据;通过预置的三维重建算法对所述特征点云数据进行点云卷积运算,得到多个特征像素值;根据所述多个特征像素值构建所述待处理物品的三维结构;对所述三维结构进行三维渲染,得到所述待处理物品的目标三维模型。
可选的,所述分析模块306具体用于:采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据;将所述目标表征数据输入预置的卷积神经网络进行特征提取,得到特征表征数据;将所述特征表征数据输入预置的生成对抗网络进行特征还原,得到目标还原数据;对所述目标还原数据进行纹理特征识别和纹理特征提取,输出所述目标表征数据的表面纹理特征。
可选的,所述检验模块307具体用于:根据所述表面纹理特征计算激光雕刻区域的位置数据、雕刻深度和表面平滑度;根据所述位置数据、所述雕刻深度和所述表面平滑度对所述目标物品进行激光雕刻质量检验,生成质量检验结果。
可选的,所述基于激光雷达的实时三维重建装置还包括:
定位模块308,用于根据所述目标雕刻图案对所述待雕刻区域进行图案映射,得到预雕刻区域;对所述预雕刻区域进行分区,得到多个分区,并获取所述多个分区的二维图案和每个分区的位置参数;通过所述激光雕刻机根据每个分区的位置参数对预雕刻区域进行定位,并控制所述激光雕刻机按照所述二维图案对所述预雕刻区域进行激光雕刻,得到目标物品。
本发明实施例中,通过根据待处理物品的参数数据确定多个扫描角度,多个扫描角度的目的是为了保证可以对待处理物品进行全方位的扫描,保证三维重建的准确率,然后本发明通过对采集得到的点云数据进行离群点去除、点云滤波以及密度平均处理,更加保证了点云数据的准确率,避免了由于误差点带来的重建误差,通过将激光雷达与三维重建相结合,通过特征提取、特征匹配和点云融合等实现了通过激光雷达对物品进行实时三维重建的功能,其具有成本低、去畸变效果好,实时性强以及建图精度高的特点,并且,将三维重建和激光雕刻相结合的特征,提高了激光雕刻的定位准确性,进而提高了三维重建的准确率以及激光雕刻的准确率。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于激光雷达的实时三维重建装置进行详细描述,下面从硬件处理的角度对本发明实施例中基于激光雷达的实时三维重建设备进行详细描述。
图5是本发明实施例提供的一种基于激光雷达的实时三维重建设备的结构示意图,该基于激光雷达的实时三维重建设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对基于激光雷达的实时三维重建设备500中的一系列指令操作。更进一步地,处理器510可以设置为与存储介质530通信,在基于激光雷达的实时三维重建设备500上执行存储介质530中的一系列指令操作。
基于激光雷达的实时三维重建设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作系统531,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图5示出的基于激光雷达的实时三维重建设备结构并不构成对基于激光雷达的实时三维重建设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种基于激光雷达的实时三维重建设备,所述基于激光雷达的实时三维重建设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述基于激光雷达的实时三维重建方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述基于激光雷达的实时三维重建方法的步骤。
进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于激光雷达的实时三维重建方法,其特征在于,所述基于激光雷达的实时三维重建方法包括:
获取待处理物品的参数数据,并根据所述参数数据计算所述待处理物品的物体曲率,以及根据所述物体曲率计算所述待处理物品的多个扫描角度;
根据所述多个扫描角度,调用预置的激光雷达对所述待处理物品进行全方位扫描,输出每个扫描角度的点云数据,并对每个扫描角度的点云数据进行点云数据融合,生成所述待处理物品的原始点云数据集;
对所述原始点云数据集进行离群点去除,得到标准点云数据集,并对所述标准点云数据集进行点云滤波,得到降噪点云数据集,以及对所述降噪点云数据集进行密度平均处理,得到目标点云数据集;
对所述目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对所述特征点云数据进行三维重建,得到所述待处理物品对应的目标三维模型;
根据所述目标三维模型选取所述待处理物品的待雕刻区域,并获取目标雕刻图案,以及调用预置的激光雕刻机并根据所述目标雕刻图案对所述待雕刻区域进行激光雕刻,得到目标物品;
采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据,以及对所述目标表征数据进行纹理特征提取,得到表面纹理特征;
根据所述表面纹理特征对所述目标物品进行激光雕刻质量检验,得到所述目标物品对应的质量检验结果。
2.根据权利要求1所述的基于激光雷达的实时三维重建方法,其特征在于,所述获取待处理物品的参数数据,并根据所述参数数据计算所述待处理物品的物体曲率,以及根据所述物体曲率计算所述待处理物品的多个扫描角度,包括:
从预置的数据库中查询待处理物品的目标型号,并根据所述目标型号获取所述待处理物品的参数数据;
根据所述参数数据计算所述待处理物品的物体曲率;
根据所述物体曲率将所述待处理物品分割为多个连续视觉区域;
根据所述多个连续视觉区域确定所述待处理物品的多个扫描角度。
3.根据权利要求1所述的基于激光雷达的实时三维重建方法,其特征在于,所述对所述原始点云数据集进行离群点去除,得到标准点云数据集,并对所述标准点云数据集进行点云滤波,得到降噪点云数据集,以及对所述降噪点云数据集进行密度平均处理,得到目标点云数据集,包括:
获取所述原始点云数据集中的多个目标点,并分别计算所述多个目标点之间的点距;
根据所述点距确定离群点,并将所述原始点云数据集中的离群点进行去除,得到标准点云数据集;
对所述标准点云数据集中的多个目标点进行领域均值计算,得到目标均值,并根据所述目标均值对所述标准点云数据集中的多个目标点进行点位修正,得到降噪点云数据集;
计算所述降噪点云数据集的点云密度,并根据所述点云密度对所述降噪点云数据集进行密度平均处理,得到目标点云数据集。
4.根据权利要求1所述的基于激光雷达的实时三维重建方法,其特征在于,所述对所述目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对所述特征点云数据进行三维重建,得到所述待处理物品对应的目标三维模型,包括:
从所述目标点云数据集中选取多个基点,并根据所述多个基点对所述目标点云数据集进行点云配准,得到点云配准后的数据集;
对所述点云配准后的数据集进行特征点提取,得到特征点云数据;
通过预置的三维重建算法对所述特征点云数据进行点云卷积运算,得到多个特征像素值;
根据所述多个特征像素值构建所述待处理物品的三维结构;
对所述三维结构进行三维渲染,得到所述待处理物品的目标三维模型。
5.根据权利要求1所述的基于激光雷达的实时三维重建方法,其特征在于,所述采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据,以及对所述目标表征数据进行纹理特征提取,得到表面纹理特征,包括:
采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据;
将所述目标表征数据输入预置的卷积神经网络进行特征提取,得到特征表征数据;
将所述特征表征数据输入预置的生成对抗网络进行特征还原,得到目标还原数据;
对所述目标还原数据进行纹理特征识别和纹理特征提取,输出所述目标表征数据的表面纹理特征。
6.根据权利要求1所述的基于激光雷达的实时三维重建方法,其特征在于,所述根据所述表面纹理特征对所述目标物品进行激光雕刻质量检验,得到所述目标物品对应的质量检验结果,包括:
根据所述表面纹理特征计算激光雕刻区域的位置数据、雕刻深度和表面平滑度;
根据所述位置数据、所述雕刻深度和所述表面平滑度对所述目标物品进行激光雕刻质量检验,生成质量检验结果。
7.根据权利要求1-6中任一项所述的基于激光雷达的实时三维重建方法,其特征在于,所述基于激光雷达的实时三维重建方法还包括:
根据所述目标雕刻图案对所述待雕刻区域进行图案映射,得到预雕刻区域;
对所述预雕刻区域进行分区,得到多个分区,并获取所述多个分区的二维图案和每个分区的位置参数;
通过所述激光雕刻机根据每个分区的位置参数对预雕刻区域进行定位,并控制所述激光雕刻机按照所述二维图案对所述预雕刻区域进行激光雕刻,得到目标物品。
8.一种基于激光雷达的实时三维重建装置,其特征在于,所述基于激光雷达的实时三维重建装置包括:
获取模块,用于获取待处理物品的参数数据,并根据所述参数数据计算所述待处理物品的物体曲率,以及根据所述物体曲率计算所述待处理物品的多个扫描角度;
扫描模块,用于根据所述多个扫描角度,调用预置的激光雷达对所述待处理物品进行全方位扫描,输出每个扫描角度的点云数据,并对每个扫描角度的点云数据进行点云数据融合,生成所述待处理物品的原始点云数据集;
处理模块,用于对所述原始点云数据集进行离群点去除,得到标准点云数据集,并对所述标准点云数据集进行点云滤波,得到降噪点云数据集,以及对所述降噪点云数据集进行密度平均处理,得到目标点云数据集;
提取模块,用于对所述目标点云数据集进行点云配准和特征提取,得到特征点云数据,并通过预置的三维重建算法对所述特征点云数据进行三维重建,得到所述待处理物品对应的目标三维模型;
雕刻模块,用于根据所述目标三维模型选取所述待处理物品的待雕刻区域,并获取目标雕刻图案,以及调用预置的激光雕刻机并根据所述目标雕刻图案对所述待雕刻区域进行激光雕刻,得到目标物品;
分析模块,用于采集所述目标物品的表面图像,并根据所述表面图像对所述目标物品进行表征数据提取,得到目标表征数据,以及对所述目标表征数据进行纹理特征提取,得到表面纹理特征;
检验模块,用于根据所述表面纹理特征对所述目标物品进行激光雕刻质量检验,得到所述目标物品对应的质量检验结果。
9.一种基于激光雷达的实时三维重建设备,其特征在于,所述基于激光雷达的实时三维重建设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于激光雷达的实时三维重建设备执行如权利要求1-7中任一项所述的基于激光雷达的实时三维重建方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于激光雷达的实时三维重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211236572.0A CN115330958B (zh) | 2022-10-10 | 2022-10-10 | 基于激光雷达的实时三维重建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211236572.0A CN115330958B (zh) | 2022-10-10 | 2022-10-10 | 基于激光雷达的实时三维重建方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115330958A true CN115330958A (zh) | 2022-11-11 |
CN115330958B CN115330958B (zh) | 2023-03-24 |
Family
ID=83913297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211236572.0A Active CN115330958B (zh) | 2022-10-10 | 2022-10-10 | 基于激光雷达的实时三维重建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115330958B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116188660A (zh) * | 2023-04-24 | 2023-05-30 | 深圳优立全息科技有限公司 | 一种基于流式渲染的点云数据处理方法及相关装置 |
CN116580159A (zh) * | 2023-07-10 | 2023-08-11 | 苏州创捷传媒展览股份有限公司 | 基于静态扫描的三维建模系统 |
CN116757713A (zh) * | 2023-08-18 | 2023-09-15 | 画版文化科技集团有限公司 | 基于图像识别的作品估值方法、装置、设备及存储介质 |
CN116909211A (zh) * | 2023-09-12 | 2023-10-20 | 惠州市诺昂科技有限公司 | 一种高精密数控机床的智能调控方法及系统 |
CN117152399A (zh) * | 2023-10-30 | 2023-12-01 | 长沙能川信息科技有限公司 | 基于变电站的模型制作方法、装置、设备和存储介质 |
CN117476509A (zh) * | 2023-12-27 | 2024-01-30 | 联合富士半导体有限公司 | 一种用于半导体芯片产品的激光雕刻装置及控制方法 |
CN117620448A (zh) * | 2024-01-25 | 2024-03-01 | 东莞市昂图智能科技有限公司 | 激光雕刻机的加工控制方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104180771A (zh) * | 2014-09-09 | 2014-12-03 | 南京金创有色金属科技发展有限公司 | 基于三维激光扫描的快速高精度罐体容积测量方法及装置 |
CN113231745A (zh) * | 2021-07-12 | 2021-08-10 | 中钞印制技术研究院有限公司 | 激光雕刻制版设备、控制系统、制版方法以及存储介质 |
-
2022
- 2022-10-10 CN CN202211236572.0A patent/CN115330958B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104180771A (zh) * | 2014-09-09 | 2014-12-03 | 南京金创有色金属科技发展有限公司 | 基于三维激光扫描的快速高精度罐体容积测量方法及装置 |
CN113231745A (zh) * | 2021-07-12 | 2021-08-10 | 中钞印制技术研究院有限公司 | 激光雕刻制版设备、控制系统、制版方法以及存储介质 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116188660A (zh) * | 2023-04-24 | 2023-05-30 | 深圳优立全息科技有限公司 | 一种基于流式渲染的点云数据处理方法及相关装置 |
CN116580159A (zh) * | 2023-07-10 | 2023-08-11 | 苏州创捷传媒展览股份有限公司 | 基于静态扫描的三维建模系统 |
CN116580159B (zh) * | 2023-07-10 | 2023-09-26 | 苏州创捷传媒展览股份有限公司 | 基于静态扫描的三维建模系统 |
CN116757713A (zh) * | 2023-08-18 | 2023-09-15 | 画版文化科技集团有限公司 | 基于图像识别的作品估值方法、装置、设备及存储介质 |
CN116757713B (zh) * | 2023-08-18 | 2024-01-12 | 画版文化科技集团有限公司 | 基于图像识别的作品估值方法、装置、设备及存储介质 |
CN116909211A (zh) * | 2023-09-12 | 2023-10-20 | 惠州市诺昂科技有限公司 | 一种高精密数控机床的智能调控方法及系统 |
CN116909211B (zh) * | 2023-09-12 | 2023-11-17 | 惠州市诺昂科技有限公司 | 一种高精密数控机床的智能调控方法及系统 |
CN117152399A (zh) * | 2023-10-30 | 2023-12-01 | 长沙能川信息科技有限公司 | 基于变电站的模型制作方法、装置、设备和存储介质 |
CN117476509A (zh) * | 2023-12-27 | 2024-01-30 | 联合富士半导体有限公司 | 一种用于半导体芯片产品的激光雕刻装置及控制方法 |
CN117476509B (zh) * | 2023-12-27 | 2024-03-19 | 联合富士半导体有限公司 | 一种用于半导体芯片产品的激光雕刻装置及控制方法 |
CN117620448A (zh) * | 2024-01-25 | 2024-03-01 | 东莞市昂图智能科技有限公司 | 激光雕刻机的加工控制方法、装置、设备及存储介质 |
CN117620448B (zh) * | 2024-01-25 | 2024-04-16 | 东莞市昂图智能科技有限公司 | 激光雕刻机的加工控制方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115330958B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115330958B (zh) | 基于激光雷达的实时三维重建方法及装置 | |
CN109410256B (zh) | 基于互信息的点云与影像自动高精度配准方法 | |
Fanello et al. | Hyperdepth: Learning depth from structured light without matching | |
CN110230998B (zh) | 基于线激光和双目相机的快速精密三维测量方法和装置 | |
Kang et al. | Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model | |
KR101283262B1 (ko) | 영상 처리 방법 및 장치 | |
Xu et al. | Line structured light calibration method and centerline extraction: A review | |
Takimoto et al. | 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor | |
JP2015201192A (ja) | 物体の位置及び向きの検出 | |
Cheng et al. | Building boundary extraction from high resolution imagery and lidar data | |
Son et al. | Learning to remove multipath distortions in time-of-flight range images for a robotic arm setup | |
CN113920081A (zh) | 一种刀具磨损度检测方法 | |
CN113012293A (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
KR102186733B1 (ko) | 3차원 해저 지형 생성 방법 | |
Flores-Fuentes et al. | 3D spatial measurement for model reconstruction: A review | |
Wang | Automatic extraction of building outline from high resolution aerial imagery | |
Page et al. | Laser‐based imaging for reverse engineering | |
CN113160416A (zh) | 一种用于煤流检测的散斑成像装置及方法 | |
CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
Groenwall et al. | Methods for recognition of natural and man-made objects using laser radar data | |
Grifoni et al. | 3D multi-modal point clouds data fusion for metrological analysis and restoration assessment of a panel painting | |
Yogeswaran | 3D Surface Analysis for the Automated Detection of Deformations on Automotive Panels | |
CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
Fernandes et al. | A fast and accurate approach for computing the dimensions of boxes from single perspective images | |
Brunken | Stereo vision-based road condition monitoring |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |