CN111583388A - 一种三维扫描系统的扫描方法及设备 - Google Patents
一种三维扫描系统的扫描方法及设备 Download PDFInfo
- Publication number
- CN111583388A CN111583388A CN202010348889.8A CN202010348889A CN111583388A CN 111583388 A CN111583388 A CN 111583388A CN 202010348889 A CN202010348889 A CN 202010348889A CN 111583388 A CN111583388 A CN 111583388A
- Authority
- CN
- China
- Prior art keywords
- data
- point cloud
- acquired
- acquiring
- visual angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 239000011159 matrix material Substances 0.000 claims abstract description 51
- 230000010354 integration Effects 0.000 claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims description 114
- 238000009616 inductively coupled plasma Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 16
- 238000012545 processing Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例提供了一种三维扫描系统的扫描方法及设备,通过对标定物进行数据采集后进行处理,获取到所述预采集的旋转矩阵;采集目标物当前视角的数据,并将当前视角的数据转化成数据的点云,数据的点云通过所述旋转矩阵旋转后进行配准后进行融合,当未完成全视角的融合集成时,通过获取下一视角的数据继续进行融合集成,直到全视角都完成融合集成之后,则获取重建后的三维模型。通过标定块获取的所述旋转矩阵能够标定出不同视角之间存在的视角误差,通过所述旋转矩阵能够减小点云配准的误差,从而提高所述三维重建的精度,同时提高了点云配准收敛的速度,解决了现有技术中存在的三维重建的精度较低需要人工干预的技术问题。
Description
技术领域
本发明涉及三维扫描系统扫描重建的技术领域,尤其涉及一种三维扫描系统的扫描方法及设备。
背景技术
表面三维扫描系统(Surface3Dscanner),为了简单起见以下称为三维扫描系统或三维扫描仪,用来检测和分析目标物体的外部形状(几何构造)并进行三维重建,在有的情况下同时获取物体表面纹理和颜色等信息。三维扫描仪在工业设计和逆向工程、缺陷检测、机器人导引、数字文物典藏、医疗诊断、动画和游戏创作等领域有广泛应用。
传统的转台式三维扫描仪得益于其独特的结构,在设备运行时镜头与目标物体的距离变化较小、目标物体图像采集的角度稳定、图像背景噪声小,从而使得处理后的三维数据精度很高。然而这类扫描仪并不能实现真正意义上的全自动扫描模式,因为在获取物体完整三维数据的过程中需要人为地调整物体摆放的位置,否则无法获取目标物体置于转台上被遮挡的表面的图像,这就增加了三维扫描的时间和人力成本;此外,在扫描过程中目标物体位置的人为改变有时会导致无法实现两次或多次扫描结果的自动拼接,需要使用特定的标记或手动选择特征点协助多次扫描的模型和图像的拼接,重建的模型比较粗造,三维重建的精度较低,造成重建的三维模型与实际的物品具有一定的差别。
发明内容
本发明提供了一种三维扫描系统的扫描方法及设备,用于解决现有技术中存在的三维重建的精度较低的技术问题。
本发明提供的一种三维扫描系统的扫描方法,其特征在于,包括以下步骤:
对标定物的数据进行预采集,获取预采集的数据;
根据各个视角的所述预采集的数据,获取预采集的旋转矩阵;
对目标物当前视角的数据进行采集,获取当前视角的数据;
根据所述当前视角的数据,获取数据的点云;
将所述数据的点云通过旋转矩阵进行配准后进行融合,获取当前集成状态的体素模型;
判断是否已经获取了目标物全视角的数据;若未获取全视角的数据,则获取下一个视角的数据;
若已经获取全视角的数据,则获取重建的三维模型。
其中,获取数据的点云的过程包括:
将所述当前视角的数据存储至当前缓存队列中,获取当前视角的深度数据;
对所述当前视角的深度数据进行预处理,获取当前视角的深度图像;
所述当前视角的深度图像,获取数据的点云。
其中,将所述数据的点云通过旋转矩阵进行配准的过程包括:
所述数据的点云根据所述旋转矩阵旋转,获取旋转后的点云;
所述旋转后的点云通过ICP算法进行配准,获取所述配准后的点云。
其中,通过三维扫描系统的至少一套N组摄像头同步采集M组RGB-D图像,所述M组RGB-D图像通过由上而下排布N组镜头对准目标物的摄像头进行采集,所述N≥2。
其中,所述所述旋转后的点云通过ICP算法进行配准的过程包括:
将所述旋转后的点云通过当前视角预定图像的点云进行ICP算法配准,获取配准后的点云。
其中,所述融合过程为:
当前视角配准后的点云依次通过TSDF算法与前一视角集成状态的体素模型进行融合,获取当前集成状态的体素模型。
其中,所述融合还包括:
所述当前视角为初始视角时,将各个图像对应的配准后的点云之间通过TSDF算法进行融合,获取初始集成状态的体素模型。
其中,对所述重建的三维模型进行后处理,获取完整的三维模型。
其中,所述获取重建的三维模型后还包括:
对所述重建的三维模型进行后处理,获取完整的三维模型。
其中,所述后处理包括纹理映射,
所述纹理映射的过程包括:
根据所述重建的三维模型,获取T组三角片面;
通过对所述三角片面进行聚合,获取K组片面;
根据缓存队列,获取各视角的深度数据及各所述深度数据对应的位置;
对各所述视角的深度数据进行调整后进行切裁,获取各视角的纹理图像;
通过所述纹理图像根据所述深度数据对应的位置对各所述片面进行贴图,获取完整的三维模型。
其中,所述片面进行贴图的过程包括:
根据两个相邻的片面,获取相邻两个片面之间的接缝;
所述接缝向两个片面扩展预设距离,获取第一片面上对应的第一纹理图像、第二片面上对应的第二纹理图像和两个片面之间的第三纹理图像;
根据所述第一纹理图像、所述第二纹理图像和所述第三纹理图像,获取第四纹理图像;
通过所述第四纹理图和所述纹理图像对各所述片面进行贴图,获取完整的三维模型。
本发明的另一实施例还提供了一种三维扫描系统的扫描设备,所述设备包括如下模块:
标定模块:所述标定模块用于对标定物的数据进行预采集,获取预采集的数据;
矩阵模块:所述矩阵模块用于根据各个视角的所述预采集的数据,获取预采集的旋转矩阵;
目标模块:所述目标模块用于对目标物当前视角的数据进行采集,获取当前视角的数据;
点云模块:所述点云模块用于根据所述当前视角的数据,获取数据的点云;
集成模块:所述集成模块用于将所述数据的点云通过旋转矩阵进行配准后进行融合,获取当前集成状态的体素模型;
判断模块:所述判断模块用于判断是否已经获取了目标物全视角的数据;未获取全视角模块:所述未获取全视角模块用于若未获取全视角的数据,则获取下一个视角的数据;
重建模块:所述重建模块用于若已经获取全视角的数据,则获取重建的三维模型。
从以上技术方案可以看出,本发明具有以下优点:
本发明实施例提供了一种三维扫描系统的扫描方法,通过对标定物进行数据采集后进行处理,获取到所述预采集的旋转矩阵;采集目标物当前视角的数据,并将当前视角的数据转化成数据的点云,数据的点云通过所述旋转矩阵旋转后进行配准后进行融合,当未完成全视角的融合集成时,通过获取下一视角的数据继续进行融合集成,直到全视角都完成融合集成之后,则获取重建后的三维模型。通过标定块获取的所述旋转矩阵能够标定出不同视角之间存在的视角误差,通过所述旋转矩阵能够减小点云配准的误差,从而提高所述三维重建的精度,同时提高了点云配准收敛的速度,解决了现有技术中存在的三维重建的精度较低的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种三维扫描系统的扫描方法及设备的方法流程图。
图2为本发明另一实施例提供的一种三维扫描系统的扫描方法及设备的方法流程图。
图3为本发明实施例提供的一种三维扫描系统的扫描方法及设备的设备框架图。
具体实施方式
本发明提供了一种三维扫描系统的扫描方法及设备,用于解决现有技术中存在的三维重建的精度较低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
现有的三维扫描系统通常是通过将目标物放置在旋转台上或者是固定台上,根据预设角度来转动目标物或者是转动采集装置来实现对目标物全视角进行扫描,采集装置优选为摄像机的时候,扫描获取的数据为图像,采集装置还可能为声波或者激光甚至还可以为设有传感器的机械手等能够对物体表面进行数据获取的装置,采用的采集装置不同,采集的数据类型各有不同。另外还存在有直接在每隔一个预设角度就设计一组采集装置,物体和采集装置都不动,直接能够获目标物全视角的数据,当然是用该方式对全视角的数据进行采集会精度高一些,成本相对会比较高,而且灵活性不高,需要调换预设角度的时候,就会出现需要拆装采集装置的情况,使用比较麻烦。所述全视角为360度,所述的预设角度一般为10度或者20度,选择的预设角度越小,采集到数据就越多,在三维重建的时候,虽然精度会提高,但是需要进行大量的运算,效率会大大降低;但是如果选择的预设角度越大,则采集的到的数据越少,虽然三维重建的速度加快,但是大大降低了三维重建的精度。本发明实施例提供的是的采集装置采集数据是通过三维扫描系统的至少一套N组摄像头同步采集M组RGB-D图像,所述M组RGB-D图像通过由上而下排布N组镜头对准目标物的摄像头进行采集,所述N≥2。N≥2是为了确保采集装置能够对上下两个方向进行采集,通过对准目标物进行采集。
无论是通过转动预设角度进行采集还是通过在相隔每个预设角度上设置采集装置进行采集的方法,都会存在两个视角之间的误差,即理论上两个视角设定的角度为预设角度,但是实际上的两个视角可能有安装或者是转动导致实际角度会偏离预设角度,这个偏离会使得两个视角相对位置与实际目标物不相符合,造成进行点云配准的时候出现误差,从而加大了点云配准的迭代次数,同时降低了三维重建的精度。
请参阅图1,本发明实施例提供的一种三维扫描系统的扫描方法及设备的方法流程图。
本发明实施例提供的一种三维扫描系统的扫描方法,包括以下步骤:
所述方法包括步骤如下:
对标定物的数据进行预采集,获取预采集的数据;
本发明实施例中采用的是将目标物放置在固定平台上,通过转动将摄像头安装在转动支架上,设定每次转动的预设角度为10度,从初始位置开始采集初始视角的图像,每转动10度以后采集当前视角的图像。所述采集装置还可以为激光等上述已经做了描述,所述数据可以为图像或者是其他的,上述中同样作了描述,在此不进行赘述。所述对标定物的数据进行采集的过程为将一个特征明显的标定物放置在三维扫描系统的平台上,通过对所述标定物进行扫描,采集到所述标定物的图像,通过转动采集装置,获取到360度的标定物的图像,即采集到标定物全视角的各个视角的图像。
根据各个视角的所述预采集的数据,获取预采集的旋转矩阵;
将所述预采集的数据转换成预采集的点云,所述预采集的数据为预采集的图像,可以先对预采集的图像进行降噪和深度化处理,也可以直接将预采集的图像转化为点云。将所述预采集的图像存储到预缓存队列后,获得预缓存缓存队列内的对应的图像为预采集的深度图像,将所述预采集的深度图像提供的图像帧中,每一个像素点代表的是在深度感应器视野(FieldofView,FOV)中,物体表面到镜头传感器之间的直线距离。预采集的深度图像转换成点云的计算过程如下,其中(x,y,z)表示空间点坐标,(u,v)表示空间点在预采集的深度图像中的坐标,d指深度数据,fx指相机在x轴上的焦距,fy指相机在y轴上的焦距,cx,cy(cx,cy)指相机的光圈中心,s指的缩放因子:
z=d/s
x=(u-cx)·z/fx
y=(v-cy)·z/fy
通过将各个视角对应的预采集的深度图像根据上述转换方式转换为各个视角对应的预采集的点云。
在扫描过程中对同一物体表面采集了多个视角的图像,因此不同视角采集图像之间包含一定的公共部分。使用深度图重建物体的三维表面,需要对这些图像进行分析,求解各帧图像之间的变换参数。为了把在不同时间、角度、曝光度获取的多帧图像叠加匹配到统一的坐标系中,需要对进行操作的深度图像以它们之间的公共部分为基准进行配准。本发明的实施例采用的是迭代最近点算法,即ICP算法,所述迭代最近点算法是先计算初始点云与目标点云的距离,保证这些点和目标点云的最近点相互对应,并构造它们之间的误差函数后,使用最小二乘法对误差函数进行最小化处理,经反复迭代后求得小于设定阈值的误差值。每个视角的所述预采集的点云通过ICP算法进行多次反复迭代,获取到预采集的旋转矩阵。所述预采集的旋转矩阵能够准确的确立每个视角之间的角度差,确保在每个视角之间的实际角度与预设角度之间存在误差的时候,同样能够根据预采集的旋转矩阵重建精确的三维模型。
对目标物当前视角的数据进行采集,获取当前视角的数据;
将所述目标物放置在三维扫描系统的平台上,通过摄像头采集到当前视角的图像,所述当前视角的数据可以为除了图像以外的其它数据,上述已经进行描述,在此不进行赘述。当当前视角为初始视角时,若视角会发生转动的三维装置,未发生转动时候的视角为初始视角,若视角不发生转动的三维装置,任意一个视角都可以为初始视角。
根据所述当前视角的数据,获取数据的点云;
有上述可知,所述当前视角的数据即为当前视角的图像;
获取数据的点云的过程包括:
将所述当前视角的数据存储至当前缓存队列中,获取当前视角的深度数据;
对所述当前视角的深度数据进行预处理,获取当前视角的深度图像;
所述预处理的方式通常用将所述当前视角的深度图想进行降噪处理和灰度调整等使得图像的特征能够便于提取和易于识别。
所述当前视角的深度图像,获取数据的点云。
将当前的深度图像通过与上述预处理相同的方法转换为数据的点云。
将所述数据的点云通过旋转矩阵进行配准后进行融合,获取当前集成状态的体素模型;
将所述数据的点云通过旋转矩阵进行配准的过程包括:
所述数据的点云根据所述旋转矩阵旋转,获取旋转后的点云;
所述旋转后的点云通过ICP算法进行配准,获取所述配准后的点云。
将所述数据的点云根据旋转矩阵进行旋转,由于旋转矩阵是根据上述预标定后得到的,具有较高的准确性,因此数据的点云根据旋转数据进行旋转后,获取的旋转后的点云在进行ICP算法进行配准,能够更加准确得到配准后的点云,避免了视角之间存在的误差,导致数据的点云配准不够准确,影响到三维重建的精度。同时通过旋转矩阵进行旋转后的点云,能够更加的接近目标物实际的位置,因此能够在进行IPC算法的时候,迭代次数减少,配准的效率提高,扫描时间缩短。
所述所述旋转后的点云通过ICP算法进行配准的过程包括:
将所述旋转后的点云通过当前视角预定图像的点云进行ICP算法配准,获取配准后的点云。
其中,在对所述旋转后的点云进行配准的时候,只需要对当前视角的预定图像的点云通过ICP算法进行配准,所述预定图像为当前视角采集到的任意一个图像,预定图像的点云为任意一个视角采集到的图像对应的转换的点云,优选地,所述预设图像优先为目标物被遮挡的最少的图像。无论是通过转动视角采集全视角的数据的三维扫描系统,还是通过每个视角都设置采集装置进行采集全视角的数据的三维扫描系统,在同一个视角的N组相机之间的相对位置是不改变的,通过对任意一组向拍摄的任意一个图像转化的点云进行配准,其他图像对应的点云同步进行移动,既可以直接完成当前视角数据的点云的配准,能够快速高效的进行配准,提升了三维重建的效率。
所述融合过程为:
当前视角配准后的点云依次通过TSDF算法与前一视角集成状态的体素模型进行融合,获取当前集成状态的体素模型。
所述前一视角集成状态的体素模型是当前视角之间的所有视角进行点云融合后的体素模型,其中,所述融合还包括:
所述当前视角为初始视角时,将各个图像对应的配准后的点云之间通过TSDF算法进行融合,获取初始集成状态的体素模型。由于初始视角之前是没有前一个视角的,因此前一个视角集成状态的体素模型相当于只是一个三维坐标系,即初始集成状态的体素模型是将初始视角各个图像的配准后的点云进行TSDF算法融合而获取到的。其他视角配准后的点云不断地在这个初始集成状态的体素模型上继续添加,直至完成全视角的点云融合后,即重建三维模型。
判断是否已经获取了目标物全视角的数据;
判断是否获取了目标物全视角的数据的目的在于需要判断是否具备有足够的数据进行完整的三维重建,即是否采集到目标物上的完整的各个角度的数据,通过全视角的数据进行三维重建。全视角即为360度的视角,便于目标物能够清晰完整的重建目标物。
若未获取全视角的数据,则获取下一个视角的数据;
若未获取全视角的数据,即说明目标物上存在有些位置是未被采集到的,或者说是采集的不够完全,通过采集下一个视角的数据进行处理,继续对当前集成的体素模型进行融合,直至全视角集成完整的体素模型,即重建的三维模型。
若已经获取全视角的数据,则获取重建的三维模型。
已经获取全视角的数据即已经完成了对目标物表面各个视角的特征进行了采集,能够通过上述的方法获得重建的三维模型。
通过标定块获取的所述旋转矩阵能够标定出不同视角之间存在的视角误差,通过所述旋转矩阵能够减小点云配准的误差,从而提高所述三维重建的精度,同时提高了点云配准收敛的速度,解决了现有技术中存在的三维重建的精度较低的技术问题。
另外,为了进一步提升三维重建的精度,如图2所述,本发明另一实施例提供了一种三维扫描系统的扫描方法,
所述方法包括步骤如下:
对标定物的数据进行预采集,获取预采集的数据;
本发明实施例中采用的是将目标物放置在固定平台上,通过转动将摄像头安装在转动支架上,设定每次转动的预设角度为10度,从初始位置开始采集初始视角的图像,每转动10度以后采集当前视角的图像。所述采集装置还可以为激光等上述已经做了描述,所述数据可以为图像或者是其他的,上述中同样作了描述,在此不进行赘述。所述对标定物的数据进行采集的过程为将一个特征明显的标定物放置在三维扫描系统的平台上,通过对所述标定物进行扫描,采集到所述标定物的图像,通过转动采集装置,获取到360度的标定物的图像,即采集到标定物全视角的各个视角的图像。
根据各个视角的所述预采集的数据,获取预采集的旋转矩阵;
将所述预采集的数据转换成预采集的点云,所述预采集的数据为预采集的图像,可以先对预采集的图像进行降噪和深度化处理,也可以直接将预采集的图像转化为点云。将所述预采集的图像存储到预缓存队列后,获得预缓存缓存队列内的对应的图像为预采集的深度图像,将所述预采集的深度图像提供的图像帧中,每一个像素点代表的是在深度感应器视野(FieldofView,FOV)中,物体表面到镜头传感器之间的直线距离。预采集的深度图像转换成点云的计算过程如下,其中(x,y,z)表示空间点坐标,(u,v)表示空间点在预采集的深度图像中的坐标,d指深度数据,fx指相机在x轴上的焦距,fy指相机在y轴上的焦距,cx,cy(cx,cy)指相机的光圈中心,s指的缩放因子:
z=d/s
x=(u-cx)·z/fx
y=(v-cy)·z/fy
通过将各个视角对应的预采集的深度图像根据上述转换方式转换为各个视角对应的预采集的点云。
在扫描过程中对同一物体表面采集了多个视角的图像,因此不同视角采集图像之间包含一定的公共部分。使用深度图重建物体的三维表面,需要对这些图像进行分析,求解各帧图像之间的变换参数。为了把在不同时间、角度、曝光度获取的多帧图像叠加匹配到统一的坐标系中,需要对进行操作的深度图像以它们之间的公共部分为基准进行配准。本发明的实施例采用的是迭代最近点算法,即ICP算法,所述迭代最近点算法是先计算初始点云与目标点云的距离,保证这些点和目标点云的最近点相互对应,并构造它们之间的误差函数后,使用最小二乘法对误差函数进行最小化处理,经反复迭代后求得小于设定阈值的误差值。每个视角的所述预采集的点云通过ICP算法进行多次反复迭代,获取到预采集的旋转矩阵。所述预采集的旋转矩阵能够准确的确立每个视角之间的角度差,确保在每个视角之间的实际角度与预设角度之间存在误差的时候,同样能够根据预采集的旋转矩阵重建精确的三维模型。
对目标物当前视角的数据进行采集,获取当前视角的数据;
将所述目标物放置在三维扫描系统的平台上,通过摄像头采集到当前视角的图像,所述当前视角的数据可以为除了图像以外的其它数据,上述已经进行描述,在此不进行赘述。当当前视角为初始视角时,若视角会发生转动的三维装置,未发生转动时候的视角为初始视角,若视角不发生转动的三维装置,任意一个视角都可以为初始视角。
根据所述当前视角的数据,获取数据的点云;
有上述可知,所述当前视角的数据即为当前视角的图像;
获取数据的点云的过程包括:
将所述当前视角的数据存储至当前缓存队列中,获取当前视角的深度数据;
对所述当前视角的深度数据进行预处理,获取当前视角的深度图像;
所述预处理的方式通常用将所述当前视角的深度图想进行降噪处理和灰度调整等使得图像的特征能够便于提取和易于识别。
所述当前视角的深度图像,获取数据的点云。
将当前的深度图像通过与上述预处理相同的方法转换为数据的点云。
将所述数据的点云通过旋转矩阵进行配准后进行融合,获取当前集成状态的体素模型;
将所述数据的点云通过旋转矩阵进行配准的过程包括:
所述数据的点云根据所述旋转矩阵旋转,获取旋转后的点云;
所述旋转后的点云通过ICP算法进行配准,获取所述配准后的点云。
将所述数据的点云根据旋转矩阵进行旋转,由于旋转矩阵是根据上述预标定后得到的,具有较高的准确性,因此数据的点云根据旋转数据进行旋转后,获取的旋转后的点云在进行ICP算法进行配准,能够更加准确得到配准后的点云,避免了视角之间存在的误差,导致数据的点云配准不够准确,影响到三维重建的精度。同时通过旋转矩阵进行旋转后的点云,能够更加的接近目标物实际的位置,因此能够在进行IPC算法的时候,迭代次数减少,配准的效率提高,扫描时间缩短。
所述所述旋转后的点云通过ICP算法进行配准的过程包括:
将所述旋转后的点云通过当前视角预定图像的点云进行ICP算法配准,获取配准后的点云。
其中,在对所述旋转后的点云进行配准的时候,只需要对当前视角的预定图像的点云通过ICP算法进行配准,所述预定图像为当前视角采集到的任意一个图像,预定图像的点云为任意一个视角采集到的图像对应的转换的点云,优选地,所述预设图像优先为目标物被遮挡的最少的图像。无论是通过转动视角采集全视角的数据的三维扫描系统,还是通过每个视角都设置采集装置进行采集全视角的数据的三维扫描系统,在同一个视角的N组相机之间的相对位置是不改变的,通过对任意一组向拍摄的任意一个图像转化的点云进行配准,其他图像对应的点云同步进行移动,既可以直接完成当前视角数据的点云的配准,能够快速高效的进行配准,提升了三维重建的效率。
所述融合过程为:
当前视角配准后的点云依次通过TSDF算法与前一视角集成状态的体素模型进行融合,获取当前集成状态的体素模型。
所述前一视角集成状态的体素模型是当前视角之间的所有视角进行点云融合后的体素模型,其中,所述融合还包括:
所述当前视角为初始视角时,将各个图像对应的配准后的点云之间通过TSDF算法进行融合,获取初始集成状态的体素模型。由于初始视角之前是没有前一个视角的,因此前一个视角集成状态的体素模型相当于只是一个三维坐标系,即初始集成状态的体素模型是将初始视角各个图像的配准后的点云进行TSDF算法融合而获取到的。其他视角配准后的点云不断地在这个初始集成状态的体素模型上继续添加,直至完成全视角的点云融合后,即重建三维模型。
判断是否已经获取了目标物全视角的数据;
判断是否获取了目标物全视角的数据的目的在于需要判断是否具备有足够的数据进行完整的三维重建,即是否采集到目标物上的完整的各个角度的数据,通过全视角的数据进行三维重建。全视角即为360度的视角,便于目标物能够清晰完整的重建目标物。
若未获取全视角的数据,则获取下一个视角的数据;
若未获取全视角的数据,即说明目标物上存在有些位置是未被采集到的,或者说是采集的不够完全,通过采集下一个视角的数据进行处理,继续对当前集成的体素模型进行融合,直至全视角集成完整的体素模型,即重建的三维模型。
若已经获取全视角的数据,则获取重建的三维模型。
已经获取全视角的数据即已经完成了对目标物表面各个视角的特征进行了采集,能够通过上述的方法获得重建的三维模型。
通过标定块获取的所述旋转矩阵能够标定出不同视角之间存在的视角误差,通过所述旋转矩阵能够减小点云配准的误差,从而提高所述三维重建的精度,同时提高了点云配准收敛的速度,解决了现有技术中存在的三维重建的精度较低的技术问题。
对所述重建的三维模型进行后处理,获取完整的三维模型。
所述后处理包括纹理映射、填补孔洞和修复小缺陷等,使得所述三维模型能够变得更加完整,更加接近目标物。
所述纹理映射的过程包括:
根据所述重建的三维模型,获取T组三角片面;
通过对所述三角片面进行聚合,获取K组片面;
为了避免单个三角面去寻找贴图形成交错复杂的边界,我们将相邻的法向量接近的三角面合并为一个大的片面,整个片面合在一起寻找一个角度进行贴图。合并的方法有很多,我们的实现使用了随机锚点和给定阈值的方法,简单的说就是随机寻找一个点为起点,如果与所述起点相邻的点和所述起点的法向量夹角没有超过一个设定阈值,就合并它们,并继续向外扩张直至超过设定阈值,当超过该设定阈值的时候,则另外创建一个片面,以该片面进行合并,直到所有的点都被合并为止。合并方法也可以使用马尔可夫随机场的方法、多个随机锚点的方法或者锚点迭代的方法等。
根据缓存队列,获取各视角的深度数据及各所述深度数据对应的位置;
所述缓存队列中已经记录有各视角的深度数据以及所述深度数据对应的位置,直接可以通过缓存队列直接得到。
对各所述视角的深度数据进行调整后进行切裁,获取各视角的纹理图像;
在贴图过程中,需要为三维模型中的每个三角片面选择最佳的纹理图像,以实现最好的映射效果;并且需要对将要贴合的纹理数据进行分块和剪裁,从而精简化模型的纹理数据。为了实现三维模型的无缝隙均匀纹理映射,纹理图像的颜色也需要进行适当调整,以消除不同纹理图像帧之间的色彩和亮度差异。
通过所述纹理图像根据所述深度数据对应的位置对各所述片面进行贴图,获取完整的三维模型。
在片面与其相邻片面的相接处,对应的纹理图像会因为光照色泽(曝光度)的原因使得交界处的过渡不自然,所以需要特定的处理来解决连接产生的缝隙。
所述片面进行贴图的过程包括:
根据两个相邻的片面,获取相邻两个片面之间的接缝;
所述接缝向两个片面扩展预设距离,获取第一片面上对应的第一纹理图像、第二片面上对应的第二纹理图像和两个片面之间的第三纹理图像;所述预设距离可以根据实际情况而定,所述预设距离能够尽量小,能够使得接缝的贴图精度越高,所述第一纹理图像和第二纹理图像尽量能够选择最靠近接缝处的图像。
根据所述第一纹理图像、所述第二纹理图像和所述第三纹理图像,获取第四纹理图像;
所述第四纹理图是由所述第一纹理图像对应第一片面位置、所述第二纹理图像对应第二片面位置、所述第三纹理图像对应相邻两个片面之间进行融合获取。具体为第四纹理图像需要第一纹理图像和第一片面尽可能接近,第二纹理图像和第二片面尽可能接近,相邻两个片面之间使用第三纹理图像。本实施例采用特征点匹配的方式,使用AKAZE寻找图像的特征点并在第一纹理图像和第三纹理图像进行匹配生成第一控制点对,同样的对第二纹理图像图和第三纹理图像进行匹配生成第二控制点对。使用所述第一控制点对和对儿控制点对进行图像warp计算,获得第三纹理图像的旋转变换矩阵,旋转第三纹路图像后使用alpha融合的方式,融合第一纹理图像和第二纹理图像进行融合生成第四纹理图像。
通过所述第四纹理图和所述纹理图像对各所述片面进行贴图,获取完整的三维模型。
通过获取第四纹理图来对接触处进行贴片,同时其他位置直接对片面进行铁片,解决了两个相邻片面之间与由于存在缝隙,引起的过渡不自然,使得三维重建的效果变差的问题。能够使得两个相邻的片面之间能够自然的过渡,提升了三维重建的精度。
如图3所示,本发明的实施例还提供了一种三维扫描系统的扫描设备,
所述设备包括如下模块:
标定模块201:所述标定模块用201于对标定物的数据进行预采集,获取预采集的数据;
矩阵模块202:所述矩阵模块202用于根据各个视角的所述预采集的数据,获取预采集的旋转矩阵;
目标模块203:所述目标模块203用于对目标物当前视角的数据进行采集,获取当前视角的数据;
点云模块204:所述点云模块204用于根据所述当前视角的数据,获取数据的点云;
集成模块205:所述集成模块205用于将所述数据的点云通过旋转矩阵进行配准后进行融合,获取当前集成状态的体素模型;
判断模块206:所述判断模块206用于判断是否已经获取了目标物全视角的数据;
未获取全视角模块207:所述未获取全视角模块207用于若未获取全视角的数据,则获取下一个视角的数据;
重建模块208:所述重建模块208用于若已经获取全视角的数据,则获取重建的三维模型。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种三维扫描系统的扫描方法,其特征在于,所述方法包括步骤如下:
对标定物的数据进行预采集,获取预采集的数据;
根据各个视角的所述预采集的数据,获取预采集的旋转矩阵;
对目标物当前视角的数据进行采集,获取当前视角的数据;
根据所述当前视角的数据,获取数据的点云;
将所述数据的点云通过旋转矩阵进行配准后进行融合,获取当前集成状态的体素模型;
判断是否已经获取了目标物全视角的数据;
若未获取全视角的数据,则获取下一个视角的数据;
若已经获取全视角的数据,则获取重建的三维模型。
2.根据权利要求1所述的一种三维扫描系统的扫描方法,其特征在于;
获取数据的点云的过程包括:
将所述当前视角的数据存储至当前缓存队列中,获取当前视角的深度数据;
对所述当前视角的深度数据进行预处理,获取当前视角的深度图像;
所述当前视角的深度图像,获取数据的点云。
3.根据权利要求2所述的一种三维扫描系统的扫描方法,其特征在于,将所述数据的点云通过旋转矩阵进行配准的过程包括:
所述数据的点云根据所述旋转矩阵旋转,获取旋转后的点云;
所述旋转后的点云通过ICP算法进行配准,获取所述配准后的点云。
4.根据权利要求3所述的一种三维扫描系统的扫描方法,其特征在于,
通过三维扫描系统的至少一套N组摄像头同步采集M组RGB-D图像,所述M组RGB-D图像通过由上而下排布N组镜头对准目标物的摄像头进行采集,所述N≥2;
所述旋转后的点云通过ICP算法进行配准的过程包括:
将所述旋转后的点云通过当前视角预定图像的点云进行ICP算法配准,获取配准后的点云。
5.根据权利要求4所述的一种三维扫描系统的扫描方法,其特征在于,所述融合过程为:
当前视角配准后的点云依次通过TSDF算法与前一视角集成状态的体素模型进行融合,获取当前集成状态的体素模型。
6.根据权利要求5所述的一种三维扫描系统的扫描方法,其特征在于,所述融合还包括:
所述当前视角为初始视角时,将各个图像对应的配准后的点云之间通过TSDF算法进行融合,获取初始集成状态的体素模型。
7.根据权利要求6所述的一种三维扫描系统的扫描方法,其特征在于,所述获取重建的三维模型后还包括:
对所述重建的三维模型进行后处理,获取完整的三维模型。
8.根据权利要求7所述的一种三维扫描系统的扫描方法,其特征在于,所述后处理包括纹理映射,
所述纹理映射的过程包括:
根据所述重建的三维模型,获取T组三角片面;
通过对所述三角片面进行聚合,获取K组片面;
根据缓存队列,获取各视角的深度数据及各所述深度数据对应的位置;
对各所述视角的深度数据进行调整后进行切裁,获取各视角的纹理图像;
通过所述纹理图像根据所述深度数据对应的位置对各所述片面进行贴图,获取完整的三维模型。
9.根据权利要求8所述的一种三维扫描系统的扫描方法,其特征在于,所述片面进行贴图的过程包括:
根据两个相邻的片面,获取相邻两个片面之间的接缝;
所述接缝向两个片面扩展预设距离,获取第一片面上对应的第一纹理图像、第二片面上对应的第二纹理图像和两个片面之间的第三纹理图像;
根据所述第一纹理图像、所述第二纹理图像和所述第三纹理图像,获取第四纹理图像;
通过所述第四纹理图和所述纹理图像对各所述片面进行贴图,获取完整的三维模型。
10.一种三维扫描系统的扫描设备,其特征在于,所述设备包括如下模块:
标定模块:所述标定模块用于对标定物的数据进行预采集,获取预采集的数据;
矩阵模块:所述矩阵模块用于根据各个视角的所述预采集的数据,获取预采集的旋转矩阵;
目标模块:所述目标模块用于对目标物当前视角的数据进行采集,获取当前视角的数据;
点云模块:所述点云模块用于根据所述当前视角的数据,获取数据的点云;
集成模块:所述集成模块用于将所述数据的点云通过旋转矩阵进行配准后进行融合,获取当前集成状态的体素模型;
判断模块:所述判断模块用于判断是否已经获取了目标物全视角的数据;
未获取全视角模块:所述未获取全视角模块用于若未获取全视角的数据,则获取下一个视角的数据;
重建模块:所述重建模块用于若已经获取全视角的数据,则获取重建的三维模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010348889.8A CN111583388B (zh) | 2020-04-28 | 2020-04-28 | 一种三维扫描系统的扫描方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010348889.8A CN111583388B (zh) | 2020-04-28 | 2020-04-28 | 一种三维扫描系统的扫描方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111583388A true CN111583388A (zh) | 2020-08-25 |
CN111583388B CN111583388B (zh) | 2023-12-08 |
Family
ID=72124554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010348889.8A Active CN111583388B (zh) | 2020-04-28 | 2020-04-28 | 一种三维扫描系统的扫描方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111583388B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085839A (zh) * | 2020-09-16 | 2020-12-15 | 华中科技大学鄂州工业技术研究院 | 一种灵活、多功能的三维重建方法及装置 |
WO2022041119A1 (zh) * | 2020-08-28 | 2022-03-03 | 深圳市大疆创新科技有限公司 | 三维点云处理方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160125226A1 (en) * | 2013-09-17 | 2016-05-05 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Method and system for automatically optimizing quality of point cloud data |
CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
CN109741382A (zh) * | 2018-12-21 | 2019-05-10 | 西安科技大学 | 一种基于Kinect V2的实时三维重建方法与系统 |
CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
CN110070598A (zh) * | 2018-01-22 | 2019-07-30 | 宁波盈芯信息科技有限公司 | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 |
CN110223387A (zh) * | 2019-05-17 | 2019-09-10 | 武汉奥贝赛维数码科技有限公司 | 一种基于深度学习的三维模型重建技术 |
-
2020
- 2020-04-28 CN CN202010348889.8A patent/CN111583388B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160125226A1 (en) * | 2013-09-17 | 2016-05-05 | Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences | Method and system for automatically optimizing quality of point cloud data |
CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
CN110070598A (zh) * | 2018-01-22 | 2019-07-30 | 宁波盈芯信息科技有限公司 | 用于3d扫描重建的移动终端及其进行3d扫描重建方法 |
CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
CN109741382A (zh) * | 2018-12-21 | 2019-05-10 | 西安科技大学 | 一种基于Kinect V2的实时三维重建方法与系统 |
CN110223387A (zh) * | 2019-05-17 | 2019-09-10 | 武汉奥贝赛维数码科技有限公司 | 一种基于深度学习的三维模型重建技术 |
Non-Patent Citations (2)
Title |
---|
李健;李丰;何斌;杜希瑞;: "单Kinect+回转台的全视角三维重建", no. 02 * |
李翔;李泽丰;李治江;: "基于Kinect的人体三维重建方法", no. 06 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022041119A1 (zh) * | 2020-08-28 | 2022-03-03 | 深圳市大疆创新科技有限公司 | 三维点云处理方法及装置 |
CN112085839A (zh) * | 2020-09-16 | 2020-12-15 | 华中科技大学鄂州工业技术研究院 | 一种灵活、多功能的三维重建方法及装置 |
CN112085839B (zh) * | 2020-09-16 | 2023-05-16 | 华中科技大学鄂州工业技术研究院 | 一种灵活、多功能的三维重建方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111583388B (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Koch et al. | Evaluation of cnn-based single-image depth estimation methods | |
JP4245963B2 (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
Herráez et al. | 3D modeling by means of videogrammetry and laser scanners for reverse engineering | |
Strecha et al. | On benchmarking camera calibration and multi-view stereo for high resolution imagery | |
US5850469A (en) | Real time tracking of camera pose | |
WO2012053521A1 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
US20020164067A1 (en) | Nearest neighbor edge selection from feature tracking | |
CN107155341B (zh) | 三维扫描系统和框架 | |
WO2021140886A1 (ja) | 三次元モデル生成方法、情報処理装置およびプログラム | |
JP5955028B2 (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
CN109035170A (zh) | 基于单网格图分段映射的自适应广角图像校正方法及装置 | |
JP2000268179A (ja) | 三次元形状情報取得方法及び装置,二次元画像取得方法及び装置並びに記録媒体 | |
CN111583388A (zh) | 一种三维扫描系统的扫描方法及设备 | |
CN115272080A (zh) | 基于图像拼接的全局变形测量方法和系统 | |
CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
CN112132971B (zh) | 三维人体建模方法、装置、电子设备和存储介质 | |
CN117848234A (zh) | 物体扫描机构、方法及相关设备 | |
CN113432558B (zh) | 一种基于激光的不规则物体表面积的测量装置及方法 | |
CN115880424A (zh) | 三维重建方法、装置、电子设备及机器可读存储介质 | |
CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
Grifoni et al. | 3D multi-modal point clouds data fusion for metrological analysis and restoration assessment of a panel painting | |
JP2961140B2 (ja) | 画像処理方法 | |
Wu et al. | MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes | |
Uyanik et al. | A method for determining 3D surface points of objects by a single camera and rotary stage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |