CN111754573A - 一种扫描方法及系统 - Google Patents
一种扫描方法及系统 Download PDFInfo
- Publication number
- CN111754573A CN111754573A CN202010427075.3A CN202010427075A CN111754573A CN 111754573 A CN111754573 A CN 111754573A CN 202010427075 A CN202010427075 A CN 202010427075A CN 111754573 A CN111754573 A CN 111754573A
- Authority
- CN
- China
- Prior art keywords
- model
- scanning
- camera
- depth camera
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 239000003550 marker Substances 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 8
- 230000036544 posture Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000010587 phase diagram Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004381 surface treatment Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Abstract
本发明提供一种扫描方法及系统，方法包括：采用深度相机扫描待测物的所有区域获得所述待测物的全局模型；追踪所述深度相机的位置姿态，采用结构光扫描所述待测物的局部区域，获得局部模型；将所述局部模型融合到所述全局模型中得到所述待测物的三维重建模型。通过深度相机快速重建全局模型，然后利用面结构光将被测物精细区域精确重建局部模型并融合到全局模型，得到局部精度较高的三维重建模型。在保持较高的扫描速度的前提下，精确重建大型待测物的精细特征。
Description
技术领域
本发明涉及三维技术领域，尤其涉及一种扫描方法及系统。
背景技术
目前市面上已有的便携式扫描仪，一般采用线激光扫描方法、面结构光扫描方法和基于深度相机的扫描方法。
基于线激光的扫描系统，主动投射点状或线状的激光图案到待测物表面，然后利用单个或多个相机拍摄激光图案。如果是单目线激光方法，则利用相机与激光点或激光面的位置关系，求解待测物上激光图案上的三维点坐标。对于双目线激光系统，利用双目立体匹配对应激光点并三维重建。该方法由于采用激光主动投射技术，能够极大地克服环境光带来的噪声，具有较高的三维重建精度。
面结构光扫描方法，市面上最常见的方法是通过投影仪投射一系列的光栅图案到待测物，然后利用单个或两个相机拍摄待测物表面的变形图案，求解相位并利用双目立体视觉原理求解对应点的三维坐标。该方法由于投射的光栅图案可基本覆盖相机幅面，因此，单次测量即可重建得到大面积表面的点云，且该方法具有较高的精度，可用于工业检测现场。
基于深度相机的扫描方法，一般采用单个或多个深度相机重建待测物表面，深度相机可实时输出待测物的深度图像，具有高速测量的优势，且其体积小、成本低、具有较大的测量范围和景深。对于便携式扫描仪，一般采用单个深度相机配合高性能图形显卡可实现实时扫描，从而快速获取待测物的完整三维模型。深度相机另外一个显著的优势是，可不经预先表面处理直接获得黑色物体、高亮反光物体和头发等传统扫描方法无法扫描的待测物点云。
对于线激光扫描方法，由于一般采用单线或多线扫描，导致重建的单帧点云点数过少，且多帧点云拼接时，需借助反光标志点，需要提前在被测模型表面粘贴标志点，对于大型物体，扫描前准备时间较长。另外，由于激光线在不同表面上的反射特性不一致，沿激光线截面上的横向亮度分布可能不满足正态分布，导致中心线提取精度下降，从而三维重建精度一般低于面结构光方法。
对于面结构光扫描方法，由于该方法投射光栅图案需要一定时间，且该时间段内要求测量单元保持静止，因此，一般要求操作者从多个角度获取多幅点云，且不同角度测量时需固定相机和待测物的位置关系，然后利用标志点进行拼接，该方法对于扫描大型待测物是非常耗时的。另外，该方法受待测物表面材质、颜色影响相对较大，一般无法用于测量黑色物体、头发等。
对于基于深度相机的扫描方法，虽然该方法一般成本较低且更便携，然而由于深度相机本身的精度较低，无法用于精度要求高的扫描场合。另外，深度相机分辨率一般较低，扫描的点云一般比较稀疏，无法重建得到密集点云模型。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的便携式扫描仪，采用线激光、面结构光和深度相机中的一种方法难以同时满足高精度、快速扫描，且一般仅适用于特定的具有诸多限制的扫描场合的问题，提供一种扫描方法及系统。
本发明采用的技术方案如下所述：
一种扫描方法，包括如下步骤：S1：采用深度相机扫描待测物的所有区域获得所述待测物的全局模型；S2：追踪所述深度相机的位置姿态，采用结构光扫描所述待测物的局部区域，获得局部模型；S3：将所述局部模型融合到所述全局模型中得到所述待测物的三维重建模型。
优选地，采用深度相机扫描待测物的所有区域获得所述待测物的全局模型包括如下步骤：S11：采用所述深度相机采集所述待测物的单帧的、对应的深度图像和彩色图像；所述彩色图像包括所述被测物和所述被测物周围的编码标志点的图像；S12：对所述深度图像和所述彩色图像进行预处理得到稀疏的编码标志点特征和所述被测物的密集的几何信息、光度信息；S13：结合所述稀疏的编码标志点特征和所述被测物的密集的几何信息、光度信息，对所述深度相机追踪，获得所述深度相机相对于全局坐标系的刚体转换矩阵，用于对齐所述深度图像和所述彩色图像获得所述待测物的全局模型。
优选地，追踪所述深度相机的位置姿态包括：依据几何能量分量、光度能量分量、编码标志点位置能量分量估计所述深度相机的位置。
优选地，，追踪所述深度相机的位置姿态包括：S131：估计所述深度相机的位置参数γ，该参数将深度相机坐标系中的点Pc转换到全局坐标系Pg，转换公式如下：
其中，
r＝(r1,r2,r3)代表旋转分量，而平移分量为t＝(t1,t2,t3)，
表示将李代数中元素转换到李群；S132：通过最小化所述几何能量分量、所述光度能量分量、所述编码标志点位置能量分量组成的能量函数来估计深度相机位置：
Epose＝wgeoEgeo+wphoEpho+wctpEctp
其中，Egeo代表所述深度图像采集的三维点的能量，wgeo为所述被测物的几何信息的权重；Epho代表所述彩色图像采集的灰度信息的能量，wpho为所述被测物的光度信息的权重；Ectp代表所述彩色图像采集的编码标志点的能量，wctp是编码标志点空间位置的权重参数。
优选地，计算所述能量函数的权重包括：设置所述几何信息的权重wgeo使得wgeoEgeo∈[0,1]；设置所述光度信息的权重wpho＝0.1*wgeo；设置所述编码标志点空间位置的权重参数，其中，包括：对于当被观测的有效编码标志点数量Nc超过一定阈值τ后，所述编码标志点空间位置的权重参数wctp等于1；当被观测的有效编码标志点数量Nc小于3，则所述编码标志点空间位置的权重参数wctp等于0；其余情况，所述编码标志点空间位置的权重参数wctp等于Nc与τ的比值。
优选地，将所述局部模型融合到所述全局模型时采用截断距离函数表示所述三维重建模型的三维顶点和顶点对应的颜色，具体包括：当采用所述结构光扫描时，直接利用所述局部模型的顶点截断距离函数中的值替换所述全局模型的值；当采用所述深度相机进行扫描时，所述三维重建模型中顶点截断距离函数中的值采用如下公式进行更新；
其中，Fk-1(p)为更新前体素中的TSDF值，Wk-1(p)为更新前体素中的权重值，
为当前点云的对应TSDF值，
为当前点云对应的权重值。
本发明又提供一种扫描系统，包括：全局模型获取单元，用于采用深度相机扫描待测物的所有区域获得所述待测物的全局模型；局部模型获取单元，用于在持续追踪所述深度相机的位置姿态的基础上采用结构光扫描所述待测物的局部区域，获得局部模型；融合单元，用于将所述局部模型融合到所述全局模型中得到所述待测物的三维重建模型。
优选地，所述全局模型获取单元包括：红外相机、红外投射器和彩色相机；所述红外相机和所述红外投射器用于实时三维重建获取所述待测物的全局深度图像；所述彩色相机，用于获取所述待测物的彩色图像；所述局部模型获取单元包括黑白相机、微型投影仪和所述彩色相机，黑白相机和投影仪组成单目面结构光扫描单元，用于获取所述待测物的局部的深度信息。
优选地，所述全局模型获取单元通过手持模式获得所述待测物的全局模型；所述局部模型获取单元通过桌面模式获得所述待测物的局部模型。
优选地，所述全局模型获取单元或所述局部模型获取单元单独获取所述待测物的三维重建模型。
本发明的有益效果为：提供一种扫描方法及系统，通过深度相机快速重建全局模型，然后利用面结构光将被测物精细区域精确重建局部模型并融合到全局模型，得到局部精度较高的三维重建模型。在保持较高的扫描速度的前提下，精确重建大型待测物的精细特征。
进一步地，采用了编码标志点结合几何/光度信息的相机追踪算法，使深度相机追踪算法更准确、鲁棒性更高。另外，使用编码标志点用于回环检测，避免了深度相机追踪误差的累积和相机飘移。
更进一步的，本发明的系统首次将面结构光扫描系统和深度相机系统集成到一个测量单元内，具有桌面扫描模式和手持扫描模式，且共用1个彩色相机，使体积和重量大大减轻，方便进行手持扫描操作。
附图说明
图1是本发明实施例中一种扫描方法的示意图。
图2是本发明实施例中一种深度相机实时扫描获得所述待测物的全局模型的方法示意图。
图3是本发明实施例中追踪所述深度相机的位置姿态的方法示意图。
图4是本发明实施例中计算所述能量函数的权重的方法示意图。
图5是本发明实施例中一种扫描系统的示意图。
图6是本发明实施例中一种双模手持扫描系统的示意图。
图7是本发明实施例中又一种扫描系统的示意图。
图8是本发明实施例中测量单元的结构示意图。
图9是本发明实施例中一种编码标志点图案的示意图。
图10是本发明实施例中一种标定板的示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，本发明提供一种扫描方法，包括如下步骤：
S1：采用深度相机扫描待测物的所有区域获得所述待测物的全局模型；
S2：追踪所述深度相机的位置姿态，采用结构光扫描所述待测物的局部区域，获得局部模型；
S3：将所述局部模型融合到所述全局模型中得到所述待测物的三维重建模型。
本发明通过如上的方法，实现了对待测物的全局模型的快速扫描，同时，通过局部扫描获取更精准的局部模型，利用深度相机扫描和结构光扫描结合的扫描方法，在保持较高的扫描速度的前提下，精确重建大型待测物的精细特征。
如图2所示，采用深度相机扫描待测物的所有区域获得所述待测物的全局模型包括如下步骤：
S11：采用所述深度相机采集所述待测物的单帧的、对应的深度图像和彩色图像，所述彩色图像包括所述被测物和所述被测物周围的编码标志点的图像；
S12：对所述深度图像和所述彩色图像进行预处理得到稀疏的编码标志点特征和所述被测物的密集的几何信息、光度信息；
S13：结合所述稀疏的编码标志点特征和所述被测物的密集的几何信息、光度信息，对所述深度相机追踪，获得所述深度相机相对于全局坐标系的刚体转换矩阵，用于对齐所述深度图像和所述彩色图像获得所述待测物的全局模型。
在本发明的一种实施例中，追踪深度相机的位置姿态包括：依据几何能量分量、光度能量分量、编码标志点位置能量分量估计所述深度相机的位置。
与现有技术不同的是，本发明中采用三个能量分类来估计深度相机的位置，尤其增加了编码标志点位置能量分量，这个能量分量保证每次观察到编码标志点和之前观察到的位置一致，从而可以提高配准精度，防止漂移误差累积。
如图3所示，追踪所述深度相机的位置姿态包括：
S131：估计所述深度相机的位置参数γ，该参数将相机坐标系中的点Pc转换到全局坐标系Pg，转换公式如下：
其中，
r＝(r1,r2,r3)代表旋转分量，而平移分量为t＝(t1，t2，t3)，
表示将李代数中元素转换到李群；
S132：通过最小化所述几何能量分量、所述光度能量分量、所述编码标志点位置能量分量组成的能量函数来估计深度相机位置：
Epose＝wgeoEgeo+wphoEpho+wctpEctp
其中，Egeo代表深度相机采集的三维点的能量，Epho代表彩色相机采集的灰度信息的能量，Ectp代表彩色相机采集的编码标志点的能量，wgeo为几何信息的权重，wpho为光度信息的权重，wctp是编码标志点空间位置的权重参数。
如图4所示，计算所述能量函数的权重包括：
设置所述几何信息的权重wgeo使得wgeoEgeo∈[0,1]；
设置所述光度信息的权重wpho＝0.1*wgeo；
设置所述编码标志点空间位置的权重参数，其中，包括：对于当被观测的有效编码标志点数量Nc超过一定阈值τ后，所述编码标志点空间位置的权重参数wctp等于1；当被观测的有效编码标志点数量Nc小于3，则所述编码标志点空间位置的权重参数wctp等于0；其余情况，所述编码标志点空间位置的权重参数wctp等于Nc与τ的比值。
在本发明的一种实施例中，将所述局部模型融合到所述全局模型时采用截断距离函数表示所述三维重建模型的三维顶点和顶点对应的颜色，具体包括：
当采用所述结构光扫描时，直接利用所述局部模型的顶点截断距离函数中的值替换所述全局模型的值；
当采用所述深度相机进行扫描时，所述三维重建模型中顶点截断距离函数中的值采用如下公式进行更新；
其中，Fk-1(p)为更新前体素中的TSDF值，Wk-1(p)为更新前体素中的权重值，
为当前点云的对应TSDF值，
为当前点云对应的权重值。
如图5所示，本发明还提供一种扫描系统，包括：
全局模型获取单元，用于采用深度相机扫描待测物的所有区域获得所述待测物的全局模型；
局部模型获取单元，用于在持续追踪所述深度相机的位置姿态的基础上采用结构光扫描所述待测物的局部区域，获得局部模型；
融合单元，用于将所述局部模型融合到所述全局模型中得到所述待测物的三维重建模型。
本发明通过如上的系统，通过全局模型获取单元获得待测物的全局模型，同通过局部模型获取单元获得待测物的局部模型，实现在保持较高的扫描速度的前提下，精确重建大型待测物的精细特征。
如图6所示,是本发明双模手持扫描系统的示意图。全局模型获取单元通过手持模式获取待测物的全局模型，用于实时快速测量中型和大型被测物；局部模型获取单元通过桌面模式获取待测物的局部模型，用于精确测量小型被测物。当测量具有精细区域的大型被测物时，先采用全局模型获取单元通过手持模式获取待测物的全局模型，再采用局部模型获取单元通过桌面模式获取待测物的局部模型。本发明的系统可以用于测量各种尺寸范围的、各种精度需求的被测物，且能测量织物、高反光被测物、头发、黑色物体等传统测量方法难以测量的被测物，因为，能满足各种测量需求。
如图7所示，为了方便使用，本发明的系统还包括电动转台1和固定支架2；电动转台1，用于承载所述待测物并在测量过程中带动待测物旋转，方便进行测量。固定支架2用于承载全局模型获取单元和局部模型获取单元，具有一定高度，便于进行测量。全局模型获取单元和局部模型获取单元共同组成测量单元3。
如图8所示，全局模型获取单元包括：红外相机4、红外投射器6和彩色相机5；红外相机4和红外投射器6用于实时三维重建获取待测物的全局深度图像；彩色相机5，用于获取所述待测物的彩色图像。局部模型获取单元包括黑白相机7、微型投影仪8和彩色相机5，黑白相机7和投影仪8组成单目面结构光扫描单元，用于获取所述待测物的局部的深度信息，彩色相机5用于点云贴图。
本发明通过巧妙的工业设计，首次将面结构光扫描系统和深度相机系统集成到一个测量单元内，具有桌面扫描模式和手持扫描模式，且共用1个彩色相机，使体积和重量大大减轻，方便进行手持扫描操作。
可以理解的是，全局模型获取单元或局部模型获取单元可以单独获取所述待测物的三维重建模型。具体如下所述。
一、全局模型获取单元
全局模型获取单元包含一个单独的深度相机，该深度相机上包含了1个红外相机、1个红外投射器和1个彩色相机。其中红外相机和红外投射器用于实时三维重建获取深度图，彩色相机用于深度图对应点云的彩色贴图。全局模型获取单元单独工作的流程主要包括：1.图像采集；2.单帧图像数据预处理；3.相机位置跟踪；4.全局模型更新；5.表面预测。具体技术流程如下：
1.图像采集：操作者手持双模扫描仪进行连续的图像采集，这些图像经后续步骤实时处理，实时重建被测物模型。
首先，将被测模型放于桌面或地面等较平坦的平面上。在被测物附近的平面上，放置若干圆形编码标志点。这些编码标志点将用于后续相机位置追踪，每次观察到编码标志点都对相机姿态进行校正，从而避免误差的累计。
如图9所示，是本发明一种编码标志点图案的示意图。操作者围绕被测物，手持双模扫描仪对准被测物进行图像采集。采集时最好采用以下流程：首先，在单个角度从下到上采集图像，到最上端后围绕被测物顺时针旋转一定角度，然后从上到下采集。这样，回环往复，直到围绕被测物一圈完成图像采集。采用以上流程的好处是每隔一段时间扫描仪会拍摄到编码标志点，从而用于定期回环检测和相机位置校正。
2.单帧图像预处理：对一帧完成采集的深度图像和彩色图像的预处理，用于后续相机追踪和三维重建，具体包括：
(1)通过图像采集，在时刻k，获得单帧深度图和彩色图。
(2)利用深度相机内部存储的彩色相机和深度相机的内外标定参数，将彩色图对齐到深度图。
(3)将对齐的彩色图转化为灰度图像。
(4)利用标志点识别算法，识别灰度图像上的标志点中心像素坐标。
(5)利用对齐的深度图，计算标志点中心的三维坐标。
(6)如果识别到编码标志点，意味着相机拍摄到了桌面或地面等量平面点云，利用随机采样一致性算法进行平面点云分割并移除深度图和灰度图中对应的属于平面上的像素值。本发明对随机采样一致性算法进行了改进，通过将编码标志点中心点三维坐标作为随机采样一致性的初值，能加速算法速度，保证平面移除算法不影响整体算法的实时性。这里进行平面移除是必要的的，原因是桌面或地面上几何特征单一，且一般缺少纹理特征，容易导致相机追踪失败和追踪精度下降。
(7)对去除平面的深度图和彩色图，生成3层深度图金字塔和3层灰度图金字塔。生成密集到稀疏的深度图和灰度图金字塔时，使用的是下采样+块平均算法。
(8)利用生成的3层深度图金字塔，结合深度相机内参数，生成3层顶点金字塔。
(9)利用深度图有序的特性，即在深度图上相邻的像素在空间中也相邻，利用每个顶点相邻的4个顶点计算顶点对应的法向量，从而生成3层法向量金字塔。
3.深度相机位置跟踪：结合稀疏的编码标志点特征和密集的几何/光度信息，对深度相机追踪，获得深度相机相对于全局坐标系的刚体转换矩阵，用于后续对齐当前帧深度图和彩色图到全局模型。
为了使用深度相机进行实时扫描，在算法上采用了编码标志点结合几何/光度信息的相机追踪算法，使相机追踪算法更准确、鲁棒性更高。另外，使用编码标志点用于回环检测，避免了深度相机追踪误差的累积和相机飘移。
深度相机追踪的目标是是估计深度相机位置参数γ，该参数将深度相机坐标系中的点Pc转换到全局坐标系Pg，转换公式如下：
其中，
r＝(r1,r2,r3)代表旋转分量，而平移分量为t＝(t1,t2,t3).
将李代数中元素转换到李群。
该深度相机追踪算法，通过最小化如下能量函数来估计深度相机位置：
Epose＝wgeoEgeo+wphoEpho+wctpEctp (3)
其中，Egeo代表深度相机采集的三维点的能量，Epho代表彩色相机采集的灰度信息的能量，Ectp代表彩色相机采集的编码标志点的能量。wgeo和wpho分别为几何/光度信息的权重,wctp是编码标志点空间位置的权重参数。
对于第一个能量项，通过找到相机位姿参数γ从而使当前深度图上的点与对应的预测表面上的点之间的点面距离和最小。对于第二个能量项，通过找到相机位姿参数使当前彩色图和预测的彩色图上对应像素的灰度值差值的总和最小。第三个能量项，通过找到相应位姿参数使当前观测的编码标志点三维坐标与之前观测的三维坐标一致。
下面介绍如何计算3个权重值。首先，对于wgeo，保证wgeoEgeo∈[0,1]。然后，通过设置wpho＝0.1*wgeo，可获得较好的追踪效果。最后，对于当被观测的有效编码标志点数量Nc超过一定阈值τ后，wctp等于1，如果小于3，则wctp等于0。其余情况wctp等于Nc与τ的比值。
4.全局模型更新：根据上一步骤获得的相机位置，将当前帧深度图和彩色图融合到全局模型中。融合时，采用截断距离函数(truncated signed distance function,TSDF)表示模型三维顶点和顶点对应的颜色。
TSDF是个立方体形式的场景表示方式，包含一定数量的体素，每个体素中包含了一个TSDF值和一个正比于表面不确定性的权重。本发明中，采用顶点TSDF和颜色TSDF两个TSDF立方体表示全局模型。对于顶点TSDF，每个体素中包含一个TSDF值，该值代表该体素中心点与表面的距离，体素中还包含一个代表曲面不确定性的权重。对于颜色TSDF，每个体素中包含一个代表颜色值的TSDF值，还有一个代表曲面上该颜色值不确定性的权重。给定相机的位姿，可将当前的原始深度图和对齐后的彩色图各生成一幅TSDF点云，然后分别融合到全局的顶点TSDF和颜色TSDF中。全局TSDF的更新使用过一个加权移动平均算法来实现的。对于全局顶点TSDF和全局颜色TSDF，更新公式如下：
Wk(p)＝Wk-1(p)+WRk(p) (5)
其中，Fk-1(p)为更新前体素中的TSDF值，Wk-1(p)为更新前体素中的权重值，
为当前点云的对应TSDF值，
为当前点云对应的权重值。注意，对于颜色TSDF，每个体素存储的TSDF值，由R，G，B三个分量值构成。更新时，每个分量按照公式(5)进行更新。权重值在更新时，当达到一定阈值后其值不再增加。对于顶点TSDF，其权重阈值为120，对于颜色TSDF，其权重阈值为255。通过设置以上阈值，可在重建模型中移除被测物附近的动态物体。当扫描结束后，利用移动立方体法从全局TSDF获得重建的彩色的网格模型。
5.表面预测：相机位姿估计时，是对齐当前帧到全局模型的，因此，通过估计的相机位姿，可利用光线透射法获得全局模型在该相机位姿的预测表面，从而为下一次相机位姿估计提供参考。
通过光线透射法获取了预测的深度图和预测的颜色图，然后通过下采样加快平均，生成3层预测灰度图金字塔和3层预测深度图。然后利用3层预测深度图，生成对应的3层顶点金字塔和3层法向量金字塔。
上述五部分的算法为并行算法，因此采用GPU并行加速，可实现基于深度相机的实时三维重建。
在一种具体的实施例中，利用全局模型获取单元对一个人物雕塑进行了扫描。扫描前，在人物雕塑附近布置编码标志点，使编码标志点随机的布满相机视场。扫描时，沿竖直方向，上下来回扫描，同时围绕被测物旋转进行扫描，这样扫描的好处是，围绕被测物扫描时的每个角度都能拍摄到编码标志点，定期拍摄编码标志点从而对相机位置进行修正，避免误差累计，提高相机追踪的精度。扫描整个过程花费1min，扫描速度非常快。扫描得到彩色的人物雕塑点云，扫描的点云比较平滑，具有较高的扫描精度。
扫描得到的脸部点云缺少脸部的细节特征，为了保持较快的扫描速度且能高精度还原雕塑的脸部特征，提出了本发明的扫描方法。
二、局部模型获取单元
局部模型获取单元包含一个黑白相机、一个微型投影仪和一个彩色相机，其中黑白相机和投影仪组成单目面结构光扫描系统，彩色相机用于点云贴图。局部模型获取单元单独工作的流程主要包括：1.相机标定；2.单幅点云的三维重建；3.多幅点云拼接为完整模型。具体流程如下：
1.相机标定：该步骤利用标定板并配合转台进行相机标定，标定得到该系统的2个相机和投影仪的内参数和外参数，并标定获得转台的旋转轴的几何参数。其中，黑白相机和投影仪的内外参数用于单目面结构光系统的三维重建，而彩色相机的内外参数用于点云的彩色贴图。
(1)选用尺寸为200mm×150mm的平面铝板作为标定板，标定板上印刷有圆形非编码标志点和圆形编码标志点。
如图10所示，是本发明的一种标定板的示意图。
(2)用数码相机在不同姿态下对标定板进行图像拍摄，利用摄影测量技术，计算得到标定板上各个非编码标志点和编码标志点的中心三维坐标。
(3)将标定板倾斜一定角度放置在转台上，使标定板正对测头，在该位置投影仪投射多幅横竖条纹的光栅图案到标定板，同时使用黑白相机捕捉这些光栅图案。然后，黑白相机和彩色相机再分别拍摄一张无光栅图案的标定板图像。
(4)控制转台转动，带动标定板到不同角度，重复第3)步。
(5)重复3)、4)步骤，共拍摄8个位置的标定板的系列图像。
(6)对单个位置的系列光栅图像进行解相位，这里用的是多频相移的解相位技术，获得相位图，然后利用标志点识别，匹配得到黑白相机、投影仪和彩色相机中的对应标志点图像坐标。
(7)利用基于摄影测量的标定技术，标定得到黑白相机、投影仪和彩色相机的内外参数。注意，这里将投影仪当做相机进行标定。
(8)从步骤(2)中获得的标定板上标志点的三维坐标和双目重建得到的标志点在相机坐标系下的坐标，获得多个标定板位置处的对应点的空间分布，拟合每个标志点的各个状态的三维点为圆，得到一系列圆心点。由于这些圆心点均位于转台中心轴线上，利用这些圆心点拟合直线，即可得到转台中心在基准相机即黑白相机坐标系中的几何参数。
2.单幅点云的三维重建：该步骤用于重建位于转台上的面向测量单元的曲面的一幅点云，得到三维彩色点云。
将被测模型置于转台中心处，控制投影仪向被测物投射一系列不同频率的相位移动的横纵正弦条纹同时用黑白相机采集这些光栅图案。
(1)光栅投射完毕后，用彩色相机拍摄一幅彩色图像。
(2)利用多频外差相移技术，获得相位图，然后利用双目立体重建，获得单幅点云。
(3)利用相机标定获得的彩色相机内外参数，获取单幅点云上对应各个三维点的颜色值。
3.多幅点云拼接为完整模型：
(1)控制转台带动模型旋转，每隔40°进行一次单幅点云的三维重建。转到一圈后，获得9幅彩色点云。
(2)利用相机标定得到的旋转轴和单次旋转角度，将9点彩色点云配准，对齐到同一个坐标系。
(3)对点云进行精简并三角化，封装得到被测物完整的3D彩色网格模型。
在本发明的一种具体的实施例中，利用局部模型获取单元对一个小型雕塑进行了精确重建。扫描时，将被测的小型雕塑放置于转台中心，利用桌面扫描模式，自动控制相机旋转拍摄被测物的光栅图案。被测物旋转一周后，重建得到被测物的密集彩色点云模型，模型的表面得到了精确重建，且雕塑的细节特征得到了很好的还原。
通过上述的双模扫描仪的两个独立系统，可完成小型物体的全自动精确扫描，大型被测物的实时快速扫描，还可以不经预先表面处理直接扫描高反光表面，黑色物体和头发、织物等等传统方法难以扫描的被测物。然而，在扫描大型物体时，如需求的重建精度较高，则需要利用面结构光扫描系统多次测量，利用标志点拼接得到完整高精度的重建模型，该过程耗时较长，且由于每次测量均需要调整扫描方向并固定测量单元和被测物的相对位置关系。
根据实际测量经验，大型被测物往往仅有小数量的精细纹理区域需要精确扫描，其他区域的扫描精度要求一般较低。因此，可利用深度相机扫描完整模型，然后利用深度相机实时扫描系统的相机跟踪功能定位相机，并利用面结构光扫描系统精确扫描精细表面区域。该方法采用基于深度相机的扫描系统保证了较快的扫描速度，并能利用面结构光扫描系统精确重建大型被测物上少量的精细区域，是一种既快速又精确的扫描方法。为采用该混合扫描系统扫描具有精细区域的大型被测物，需要将前述的基于深度相机的实时扫描方法做几处修改，该扫描方法具体流程如下：
(1)利用前述的基于深度相机的扫描方法，扫描整个大型被测物，包括大型被测物的具有精细纹理的区域。
(2)扫描完整模型后，基于深度相机的扫描方法仍保持工作，但是此时上述全局模型获取单元单独工作时采用的扫描方法中全局模型更新停止工作，仅利用该算法的相机追踪方法追踪深度相机位置姿态。利用深度相机估计相机姿态的原因是，面结构光系统的测量幅面较小，用面结构光扫描的小区域点云与全局模型配准时，一方面缺少足够准确的相机位姿初值，另一方面，容易迭代收敛到局部极小值，导致配准精度不够高。
(3)移动测量单元到需要精确扫描的位置，保持扫描仪不动，开始利用结构光扫描系统扫描。开始后，结构光扫描系统，投射光栅到被测物表面并用相机采集后，计算得到该位置的精确被测曲面的深度图。扫描时，如果仅用手持方式保持扫描仪不动，扫描过程中不可避免的会产生轻微抖动。因此，扫描时的相机位置，是利用这段时间内的所有相机位姿估计值的平均值代替的。若扫描时，也可利用夹具夹持测量单元，使相机位姿估计和结构光扫描的精度更高。
(4)利用深度相机和结构光系统的黑白相机的标定参数，加上第2)步追踪的当前结构光扫描系统的深度图，生成结构光扫描的顶点TSDF，然后融合到全局顶点TSDF中。融合时，如果顶点TSDF中的值是基于深度相机的扫描系统生成的，则直接替换为当前结构光扫描系统的TSDF，如果全局顶点TSDF值为结构光扫描的值，则利用公式(4)进行更新。
在本发明的一种具体的实施例中，扫描前，在人物雕塑附近地面上布置编码标志点，使编码标志点随机的充满相机视场。扫描时，沿竖直方向，上下来回扫描，同时围绕被测物旋转进行扫描。扫描整个过程花费1min20s，扫描速度较快。扫描得到彩色的任务雕塑点云，面部的特征得到了较为准确的重建，具有很高的精度。其他部位的点云比较平滑，符合人物雕塑的真实表面特征。利用该结合的扫描方法，可在保持较高的扫描速度的前提下，精确重建大型被测物的精细特征。
本发明提出一种扫描方法及系统，用于结合全局扫描和局部扫描扫描大型被测物，达到快速扫描且精确重建被测物精细区域的目的。该结合的算法中心思想是利用深度相机快速重建完整模型，然后利用面结构光将被测物精细区域精确重建，融合到已有模型，得到局部精度较高的完整模型。具体扫描时，利用深度相机的算法中扫描完整模型，具有速度快的优势，然后，仅使用深度相机追踪相机位置，移动扫描仪对准被测物需要精确重建的区域，改用面结构光系统扫描重建得到深度图，然后利用相机追踪结果将该深度图融合到已有模型，替换模型中不精确的点云为精确的点云。
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (10)
1.一种扫描方法，其特征在于，包括如下步骤：
S1：采用深度相机扫描待测物的所有区域获得所述待测物的全局模型；
S2：追踪所述深度相机的位置姿态，采用结构光扫描所述待测物的局部区域，获得局部模型；
S3：将所述局部模型融合到所述全局模型中得到所述待测物的三维重建模型。
2.如权利要求1所述的扫描方法，其特征在于，采用深度相机扫描待测物的所有区域获得所述待测物的全局模型包括如下步骤：
S11：采用所述深度相机采集所述待测物的单帧的、对应的深度图像和彩色图像，所述彩色图像包括所述被测物和所述被测物周围的编码标志点的图像；
S12：对所述深度图像和所述彩色图像进行预处理得到稀疏的编码标志点特征和所述被测物的密集的几何信息、光度信息；
S13：结合所述稀疏的编码标志点特征和所述被测物的密集的几何信息、光度信息，对所述深度相机追踪，获得所述深度相机相对于全局坐标系的刚体转换矩阵，用于对齐所述深度图像和所述彩色图像获得所述待测物的全局模型。
3.如权利要求2所述的扫描方法，其特征在于，追踪所述深度相机的位置姿态包括：依据几何能量分量、光度能量分量、编码标志点位置能量分量估计所述深度相机的位置。
4.如权利要求3所述的扫描方法，其特征在于，追踪所述深度相机的位置姿态包括：
S131：估计所述深度相机的位置参数γ，该参数将深度相机坐标系中的点Pc转换到全局坐标系Pg，转换公式如下：
其中，γ＝(r,t)|r,
r＝(r1,r2,r3)代表旋转分量，而平移分量为t＝(t1，t2，t3)，
表示将李代数中元素转换到李群；
S132：通过最小化所述几何能量分量、所述光度能量分量、所述编码标志点位置能量分量组成的能量函数来估计深度相机位置：
Epose＝wgeoEgeo+wphoEpho+wctpEctp
其中，Egeo代表所述深度图像采集的三维点的能量，wgeo为所述被测物的几何信息的权重；Epho代表所述彩色图像采集的灰度信息的能量，wpho为所述被测物的光度信息的权重；Ectp代表所述彩色图像采集的编码标志点的能量，wctp是编码标志点空间位置的权重参数。
5.如权利要求4所述的扫描方法，其特征在于，计算所述能量函数的权重包括：
设置所述几何信息的权重wgeo使得wgeoEgeo∈[0,1]；
设置所述光度信息的权重wpho＝0.1*wgeo；
设置所述编码标志点空间位置的权重参数，其中，包括：对于当被观测的有效编码标志点数量Nc超过一定阈值τ后，所述编码标志点空间位置的权重参数wctp等于1；当被观测的有效编码标志点数量Nc小于3，则所述编码标志点空间位置的权重参数wctp等于0；其余情况，所述编码标志点空间位置的权重参数wctp等于Nc与τ的比值。
6.如权利要求5所述的扫描方法，其特征在于，将所述局部模型融合到所述全局模型时采用截断距离函数表示所述三维重建模型的三维顶点和顶点对应的颜色，具体包括：
当采用所述结构光扫描时，直接利用所述局部模型的顶点截断距离函数中的值替换所述全局模型的值；
当采用所述深度相机进行扫描时，所述三维重建模型中顶点截断距离函数中的值采用如下公式进行更新；
其中，Fk-1(p)为更新前体素中的TSDF值，Wk-1(p)为更新前体素中的权重值，
为当前点云的对应TSDF值，
为当前点云对应的权重值。
7.一种扫描系统，其特征在于，包括：
全局模型获取单元，用于采用深度相机扫描待测物的所有区域获得所述待测物的全局模型；
局部模型获取单元，用于在持续追踪所述深度相机的位置姿态的基础上采用结构光扫描所述待测物的局部区域，获得局部模型；
融合单元，用于将所述局部模型融合到所述全局模型中得到所述待测物的三维重建模型。
8.如权利要求7所述的扫描系统，其特征在于，所述全局模型获取单元包括：红外相机、红外投射器和彩色相机；
所述红外相机和所述红外投射器用于实时三维重建获取所述待测物的全局深度图像；
所述彩色相机，用于获取所述待测物的彩色图像；
所述局部模型获取单元包括黑白相机、微型投影仪和所述彩色相机，
黑白相机和投影仪组成单目面结构光扫描单元，用于获取所述待测物的局部的深度信息。
9.如权利要求8所述的扫描系统，其特征在于，所述全局模型获取单元通过手持模式获得所述待测物的全局模型；所述局部模型获取单元通过桌面模式获得所述待测物的局部模型。
10.如权利要求7-9任一所述的扫描系统，其特征在于，所述全局模型获取单元或所述局部模型获取单元单独获取所述待测物的三维重建模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010427075.3A CN111754573B (zh) | 2020-05-19 | 一种扫描方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010427075.3A CN111754573B (zh) | 2020-05-19 | 一种扫描方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111754573A true CN111754573A (zh) | 2020-10-09 |
| CN111754573B CN111754573B (zh) | 2024-05-10 |
Family
ID=
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112556596A (zh) * | 2020-12-08 | 2021-03-26 | 深圳大学 | 三维变形测量系统、方法、装置和存储介质 |
| CN112767541A (zh) * | 2021-01-15 | 2021-05-07 | 浙江商汤科技开发有限公司 | 三维重建方法及装置、电子设备和存储介质 |
| CN113052898A (zh) * | 2021-04-08 | 2021-06-29 | 四川大学华西医院 | 基于主动式双目相机的点云和强反光目标实时定位方法 |
| WO2022120607A1 (zh) * | 2020-12-08 | 2022-06-16 | 深圳大学 | 三维变形测量系统、方法、装置和存储介质 |
| CN114719775A (zh) * | 2022-04-06 | 2022-07-08 | 新拓三维技术(深圳)有限公司 | 一种运载火箭舱段自动化形貌重建方法及系统 |
| WO2024001916A1 (zh) * | 2022-06-30 | 2024-01-04 | 先临三维科技股份有限公司 | 扫描仪姿态定位方法、装置、设备及存储介质 |
| CN117387491A (zh) * | 2023-12-11 | 2024-01-12 | 南京理工大学 | 一种适用于架桥机的双目视觉标志物定位装置及方法 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012156141A1 (en) * | 2011-05-16 | 2012-11-22 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Fast articulated motion tracking |
| US20160350904A1 (en) * | 2014-03-18 | 2016-12-01 | Huawei Technologies Co., Ltd. | Static Object Reconstruction Method and System |
| CN107784687A (zh) * | 2017-09-22 | 2018-03-09 | 武汉中观自动化科技有限公司 | 一种基于白光扫描仪的三维重建方法及系统 |
| CN107833270A (zh) * | 2017-09-28 | 2018-03-23 | 浙江大学 | 基于深度相机的实时物体三维重建方法 |
| CN108053437A (zh) * | 2017-11-29 | 2018-05-18 | 深圳奥比中光科技有限公司 | 基于体态的三维模型获取方法及装置 |
| CN108335353A (zh) * | 2018-02-23 | 2018-07-27 | 清华-伯克利深圳学院筹备办公室 | 动态场景的三维重建方法、装置和系统、服务器、介质 |
| CN108805979A (zh) * | 2018-02-05 | 2018-11-13 | 清华-伯克利深圳学院筹备办公室 | 一种动态模型三维重建方法、装置、设备和存储介质 |
| CN108876897A (zh) * | 2018-04-20 | 2018-11-23 | 杭州电子科技大学 | 快速运动下的场景三维重建方法 |
| CN109215117A (zh) * | 2018-09-12 | 2019-01-15 | 北京航空航天大学青岛研究院 | 基于ORB与U-net的花卉三维重建方法 |
| CN109242873A (zh) * | 2018-08-22 | 2019-01-18 | 浙江大学 | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 |
| US20190072771A1 (en) * | 2017-09-05 | 2019-03-07 | Facebook Technologies, Llc | Depth measurement using multiple pulsed structured light projectors |
| US20190155302A1 (en) * | 2016-07-22 | 2019-05-23 | Imperial College Of Science, Technology And Medicine | Estimating dimensions for an enclosed space using a multi-directional camera |
| CN110246186A (zh) * | 2019-04-15 | 2019-09-17 | 深圳市易尚展示股份有限公司 | 一种自动化三维彩色成像与测量方法 |
| EP3593323A1 (en) * | 2017-06-07 | 2020-01-15 | Google LLC | High speed, high-fidelity face tracking |
| US20200058137A1 (en) * | 2015-06-24 | 2020-02-20 | Sergi PUJADES | Skinned Multi-Person Linear Model |
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012156141A1 (en) * | 2011-05-16 | 2012-11-22 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Fast articulated motion tracking |
| US20160350904A1 (en) * | 2014-03-18 | 2016-12-01 | Huawei Technologies Co., Ltd. | Static Object Reconstruction Method and System |
| US20200058137A1 (en) * | 2015-06-24 | 2020-02-20 | Sergi PUJADES | Skinned Multi-Person Linear Model |
| US20190155302A1 (en) * | 2016-07-22 | 2019-05-23 | Imperial College Of Science, Technology And Medicine | Estimating dimensions for an enclosed space using a multi-directional camera |
| EP3593323A1 (en) * | 2017-06-07 | 2020-01-15 | Google LLC | High speed, high-fidelity face tracking |
| US20190072771A1 (en) * | 2017-09-05 | 2019-03-07 | Facebook Technologies, Llc | Depth measurement using multiple pulsed structured light projectors |
| CN107784687A (zh) * | 2017-09-22 | 2018-03-09 | 武汉中观自动化科技有限公司 | 一种基于白光扫描仪的三维重建方法及系统 |
| CN107833270A (zh) * | 2017-09-28 | 2018-03-23 | 浙江大学 | 基于深度相机的实时物体三维重建方法 |
| CN108053437A (zh) * | 2017-11-29 | 2018-05-18 | 深圳奥比中光科技有限公司 | 基于体态的三维模型获取方法及装置 |
| CN108805979A (zh) * | 2018-02-05 | 2018-11-13 | 清华-伯克利深圳学院筹备办公室 | 一种动态模型三维重建方法、装置、设备和存储介质 |
| CN108335353A (zh) * | 2018-02-23 | 2018-07-27 | 清华-伯克利深圳学院筹备办公室 | 动态场景的三维重建方法、装置和系统、服务器、介质 |
| CN108876897A (zh) * | 2018-04-20 | 2018-11-23 | 杭州电子科技大学 | 快速运动下的场景三维重建方法 |
| CN109242873A (zh) * | 2018-08-22 | 2019-01-18 | 浙江大学 | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 |
| CN109215117A (zh) * | 2018-09-12 | 2019-01-15 | 北京航空航天大学青岛研究院 | 基于ORB与U-net的花卉三维重建方法 |
| CN110246186A (zh) * | 2019-04-15 | 2019-09-17 | 深圳市易尚展示股份有限公司 | 一种自动化三维彩色成像与测量方法 |
Non-Patent Citations (6)
| Title |
|---|
| MICHAEL ZOLLHOFER 等: "State of the Art on 3D Reconstruction with RGB-D Cameras", 《COMPUTER GRAPHICS FORUM》, vol. 37, no. 02, 22 May 2018 (2018-05-22), pages 625 - 652, XP055645281, DOI: 10.1111/cgf.13386 * |
| YUAN HE 等: "Real-Time 3D Reconstruction of Thin Surface Based on Laser Line Scanner", 《SENSORS》, vol. 20, no. 02, 18 January 2020 (2020-01-18), pages 1 - 30 * |
| 刘洋: "基于单目视频序列的非刚性动态目标三维重建算法研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 2019, 15 January 2019 (2019-01-15), pages 138 - 124 * |
| 张少玉: "基于Kinect的三维人体建模技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2018, 15 June 2018 (2018-06-15), pages 138 - 1760 * |
| 杨红庄: "全自动深度相机三维扫描系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2016, 15 October 2016 (2016-10-15), pages 138 - 348 * |
| 邱俊奎: "基于Kinect的虚拟试衣间三维人体模型重建的研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》, no. 2020, 15 March 2020 (2020-03-15), pages 024 - 455 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112556596A (zh) * | 2020-12-08 | 2021-03-26 | 深圳大学 | 三维变形测量系统、方法、装置和存储介质 |
| WO2022120607A1 (zh) * | 2020-12-08 | 2022-06-16 | 深圳大学 | 三维变形测量系统、方法、装置和存储介质 |
| CN112767541A (zh) * | 2021-01-15 | 2021-05-07 | 浙江商汤科技开发有限公司 | 三维重建方法及装置、电子设备和存储介质 |
| CN113052898A (zh) * | 2021-04-08 | 2021-06-29 | 四川大学华西医院 | 基于主动式双目相机的点云和强反光目标实时定位方法 |
| CN113052898B (zh) * | 2021-04-08 | 2022-07-12 | 四川大学华西医院 | 基于主动式双目相机的点云和强反光目标实时定位方法 |
| CN114719775A (zh) * | 2022-04-06 | 2022-07-08 | 新拓三维技术(深圳)有限公司 | 一种运载火箭舱段自动化形貌重建方法及系统 |
| CN114719775B (zh) * | 2022-04-06 | 2023-08-29 | 新拓三维技术(深圳)有限公司 | 一种运载火箭舱段自动化形貌重建方法及系统 |
| WO2024001916A1 (zh) * | 2022-06-30 | 2024-01-04 | 先临三维科技股份有限公司 | 扫描仪姿态定位方法、装置、设备及存储介质 |
| CN117387491A (zh) * | 2023-12-11 | 2024-01-12 | 南京理工大学 | 一种适用于架桥机的双目视觉标志物定位装置及方法 |
| CN117387491B (zh) * | 2023-12-11 | 2024-04-05 | 南京理工大学 | 一种适用于架桥机的双目视觉标志物定位装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110672039B (zh) | 一种基于平面反射镜的物体全方位三维测量方法 | |
| JP3624353B2 (ja) | ３次元形状計測方法およびその装置 | |
| US7751651B2 (en) | Processing architecture for automatic image registration | |
| EP2870428B1 (en) | System and method for 3d measurement of the surface geometry of an object | |
| US6750873B1 (en) | High quality texture reconstruction from multiple scans | |
| JP4245963B2 (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
| EP2111530B1 (en) | Automatic stereo measurement of a point of interest in a scene | |
| Bonfort et al. | General specular surface triangulation | |
| WO2021140886A1 (ja) | 三次元モデル生成方法、情報処理装置およびプログラム | |
| CN110288642A (zh) | 基于相机阵列的三维物体快速重建方法 | |
| US20030066949A1 (en) | Method and apparatus for scanning three-dimensional objects | |
| WO2007133620A2 (en) | System and architecture for automatic image registration | |
| US20030071194A1 (en) | Method and apparatus for scanning three-dimensional objects | |
| CN114998499A (zh) | 一种基于线激光振镜扫描的双目三维重建方法及系统 | |
| CN113205592B (zh) | 一种基于相位相似性的光场三维重建方法及系统 | |
| CN110940295B (zh) | 基于激光散斑极限约束投影的高反射物体测量方法及系统 | |
| JP4052382B2 (ja) | 非接触画像計測装置 | |
| CN112254670B (zh) | 一种基于光扫描和智能视觉融合的3d信息采集设备 | |
| CN111754573B (zh) | 一种扫描方法及系统 | |
| CN111754573A (zh) | 一种扫描方法及系统 | |
| CN114993207A (zh) | 基于双目测量系统的三维重建方法 | |
| Skabek et al. | Comparison of photgrammetric techniques for surface reconstruction from images to reconstruction from laser scanning | |
| Klette et al. | Wide-Angle Image Acquisition, Analysis and Visualisation | |
| CN113375593A (zh) | 可逆式水轮发电机组镜板形貌视觉测量方法以及相关装置 | |
| Van der Vlugt | Algorithms and design aspects of an automated vision based 3-D surface measurement system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |