CN110230979A - 一种立体标靶及其三维彩色数字化系统标定方法 - Google Patents
一种立体标靶及其三维彩色数字化系统标定方法 Download PDFInfo
- Publication number
- CN110230979A CN110230979A CN201910300719.XA CN201910300719A CN110230979A CN 110230979 A CN110230979 A CN 110230979A CN 201910300719 A CN201910300719 A CN 201910300719A CN 110230979 A CN110230979 A CN 110230979A
- Authority
- CN
- China
- Prior art keywords
- target
- sub
- coordinate system
- dimensional
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000007787 solid Substances 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 title claims description 40
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 15
- 238000005259 measurement Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
- G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
- G01B21/042—Calibration or calibration artifacts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
- G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
本发明提供一种立体标靶，包括第一子标靶以及第二子标靶；其中，所述第一子标靶包括一个平面，所述平面的表面包含规则排布的第一非编码标志点；所述第二子标靶包括至少两个平面，包述至少两个平面包含多个随机排布的第二非编码标志点。通过对不同表面立体标靶的标志点合理设置可以实现复杂三维传感器的联合标定，以确保后续利用该三维传感器进行高精度三维扫描提供保障。
Description
技术领域
本发明属于电子技术领域，更具体地说，是涉及一种立体标靶及其三维彩色 数字化系统标定方法。
背景技术
在众多光学三维测量技术中，基于相位的主动双目视觉3D成像技术由于其 非接触、快速、高精度的特点被认为是一种最为有效的精确检测与重建物体三维 形貌的技术。
然而在光学三维测量和成像过程中，受三维传感器测量范围的限制，待测量 物体的尺寸变化与拓扑变化对完整的三维测量与成像均会造成不同程度的影响， 尤其是对自动化扫描带来巨大的挑战：既要满足三维扫描的完整性要求，又要协 调控制三维传感器与测量表面间的姿态关系，以保证三维数字化测量的精度与效 率。
在进行三维测量时，良好的标定结果是实现高精度三维测量的首要前提条件。 然而目前的三维测量标定存在标定精度低的问题。针对该问题，本发明提供一种 立体标靶及其三维彩色数字化系统标定方法。
发明内容
为解决上述问题，本发明提出一种立体标靶，包括第一子标靶以及第二子标 靶；其中，所述第一子标靶包括一个平面，所述平面的表面包含规则排布的第一 非编码标志点；所述第二子标靶包括至少两个平面，包述至少两个平面包含多个 随机排布的第二非编码标志点。
在一个实施例中，所述第一非编码标志点内部包括相对较小的同心标志点， 所述第一非编码标志点包括基准点和定位点，所述基准点与所述定位点的同心标 志点的灰度不同。
本发明还提供一种三维彩色数字化系统的标定方法，利用设置在底座上的如 上所述的立体标靶，对三维彩色数字化系统进行标定，所述三维彩色数字化系统 包括彩色三维传感器以及深度相机，其特征在于，包括：利用彩色三维传感器以 及深度相机对所述第一子标靶进行多视角采集，并根据所采集的多视角图像计算 所述彩色三维传感器的内外参数以及相对于另一坐标系的变换矩阵Hlm和Him； 利用彩色三维传感器对所述第二子标靶进行多视角采集，并根据所采集的多视角 图像对所述第二子标靶进行重建，基于重建结果构建所述底座坐标系。
在一个实施例中，所述三维彩色数字化系统还包括与所述彩色三维传感器以 及深度相机连接的机械臂，所述机械臂通过机械臂底座与所述底座连接；所述相 对于另一坐标系的变换矩阵指的是相对于所述机械臂坐标系的变换矩阵。
在一个实施例中，进一步基于所述构建的底座坐标系计算所述机械臂底座坐 标系与所述底座坐标系之间的变换矩阵Hba。利用所述三维传感器环绕所述立体 标靶进行圆周运动，在不同旋转角度下重建所述第二子标靶，并基于重建结果进 行全局匹配优化以得到所述第二子标靶的变换关系。利用全局最小二乘优化法计 算所述圆周运动的圆轨迹中心，并基于所述圆轨迹中心计算所述三维传感器坐标 系相对于所述底座坐标系的变换关系。
本发明还提供一种计算机可读介质，其特征在于，所述计算机可读介质用于 存储算法程序，所述算法程序可以被处理器调用以执行如权利要求上面所述的标 定方法。
本发明的有益效果：提出了一种多表面的立体标靶以及基于该标靶的标定 方法，通过对不同表面立体标靶的标志点合理设置可以实现复杂三维传感器的联 合标定，以确保后续利用该三维传感器进行高精度三维扫描提供保障。
附图说明
图1是根据本发明一个实施例的三维彩色数字化系统示意图。
图2是根据本发明一个实施例的系统坐标系分布及变换关系示意图。
图3是根据本发明一个实施例的基于非编码标志点的低成本立体标靶示意 图。
图4是根据本发明一个实施例的双目视觉三维传感器的约束关系示意图。
图5是根据本发明一个实施例的ISO点可视范围(a)以及体素包含视点(b)示 意图。
图6是根据本发明一个实施例的体素内向量直方图统计示意图。
图7是根据本发明一个实施例的NBVs算法流程图。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的 是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
系统描述
图1是根据本发明一个实施例的三维彩色数字化系统示意图。系统10包括 底座101、机械臂102、成像模块103、旋转轴105以及处理器(图中未示出)。
底座101用于放置被测物104，底座也可以不作为系统的必须配置，比如可 以是其他平面或者结构。
成像模块103包括彩色三维传感器和深度相机1035，彩色三维传感器包括 由左相机1031、右相机1032、投影仪1033组成的主动双目视觉相机以及彩色相 机1034，分别用于采集被测物104的第一三维图像以及彩色图像，通过对各个 相机之间的相对位置信息(通过标定获取)，可以进一步将第一三维图像与彩色进 行对齐以获取被测物的三维彩色图像，或者说将彩色相机采集到的彩色图像进行 纹理映射实现三维图像的着色以获得三维彩色图像。在一个实施例中，左相机 1031、右相机1032为高分辨率黑白相机，投影仪可以是数字条纹投影仪，用于 投射编码结构光图像，左相机1031和右相机1032采集相位结构光图像并基于相 位辅助的主动立体视觉(PAAS)技术进行高精度三维成像。在一个实施例中，左、右相机也可以是红外相机等，左、右相机的各项参数，例如焦距、分辨率、 景深等可以相同也可以不相同。第一三维图像是指彩色三维传感器所采集到的被 测物104的三维图像。
深度相机1035用于采集被测物104的第二三维图像，深度相机1035可以是 基于时间飞行法(TOF)、结构光或者被动双目视觉技术的深度相机，一般地，所 采集到的第二三维图像的分辨率、精度以及帧率中的至少一个低于第一三维图像， 一般而言，第二三维图像的分辨率、精度以及帧率均低于第一三维图像。为了便 于描述，在以下的说明中，将物体的第一三维图像称为高精度精细三维模型，将 物体的第二三维图像称为低精度粗略三维模型。第二三维图像是指深度相机1035 采集到的被测物104的三维图像。
机械臂102、旋转轴105组成位姿调整模块，用于固定成像模块103并对其 进行位姿调整。其中，机械臂102连接成像模块103以及旋转轴105，旋转轴105 被安装在底座101上用于围绕底座101旋转，机械臂102为多轴联动机械臂以进 行相应的位姿调整，通过旋转轴105以及机械臂102的联合调整，可以对成像模 块103进行多方位视角变换，以便于对被测物104进行多方位测量。在一些实施 例中，旋转轴105包括旋转电机，在旋转电机的驱动下机械臂将在旋转轴的带动 下围绕底座进行旋转，以对被测物进行测量。
处理器与机械臂102、成像模块103、旋转轴105连接，用于执行控制及相 应的数据处理或三维扫描任务，比如三维彩色图像提取、粗略三维模型建立、精 细三维模型建立等。可以理解的是，处理器可以是单个处理器也可以是多个独立 的处理器，比如成像模块中可以包括多个专门处理器用于执行三维成像等算法。 系统还包括存储器，用于储存被处理器执行的算法程序，比如本发明所提及的各 类算法、方法(标定方法、重建方法、视点生成算法以及扫描方法等)，存储器可 以是各类计算机可读介质，比如非暂态存储介质，包括磁性介质和光学介质，例 如磁盘、磁带、CDROM、RAM、ROM等。
可以理解的是，上述所说的三维图像即可以指深度图像，也可以指基于深度 图像进一步处理而获取的点云数据、网格数据或者三维模型数据等。
利用系统10对被测物104进行三维扫描时，整体扫描过程由处理器执行， 分为以下几个步骤：
第一步：对深度相机1035以及彩色三维传感器进行标定，以获取深度相机 1035与彩色三维传感器的内部参数与外部参数，具体过程详见后文阐述；
第二步：利用深度相机1035采集被测物104的低精度粗略三维模型，比如 利用旋转轴105以及机械臂102控制深度相机1035以环绕被测物104一周以快 速生成物体的低精度粗略三维模型，可以理解的是，提前需要将被测物104放置 在底座101上，在一个实施例中，被测物104被放置在底座101中心；
第三步：基于低精度粗略三维模型计算生成全局扫描视点，具体地将根据本 发明提出的NBVs算法自动生成全局扫描视点。
第四步：对所生成的全局扫描视点并根据最短路径规划利用主动双目视觉相 机对被测物104进行高精度的三维扫描，以获取第一高精度精细三维模型；
在一些实施例中，还需要对第一高精度精细三维模型进行置信图计算，确定 数据缺失以及细节缺失的区域并进行补充扫描，以获取精度更高的第二高精度精 细三维模型；
在一些实施例中，在第一和/或第二高精度精细三维模型的采集过程中同步 利用彩色相机进行彩色图像的采集，并将彩色图像进行纹理映射实现精细三维模 型的着色以获得三维彩色数字图像，最终实现高保真度的完整物体三维彩色数字 化。
系统标定
在利用系统10对被测物104进行三维扫描之前，需要对系统中的各个部件 进行标定以获取各个部件所在坐标系之间的相对位置关系，基于相对位置关系才 可以进行相应的操作，比如彩色着色、基于粗略三维模型生成全局扫描视点等。
图2是根据本发明一个实施例的系统坐标系分布及变换关系示意图。其中将 世界坐标系建立于底座坐标系上，彩色三维传感器坐标系建立于左相机Sl上，深 度相机坐标系建立在其内部的红外相机Si上。需要通过系统标定确定彩色三维传 感器内外参，以及彩色三维传感器/深度相机坐标系——机械臂坐标系——机械 臂基座坐标系——底座坐标系的变换矩阵。本发明中系统标定的难点在于，既有 不同分辨率、不同视场范围的传感器(比如彩色相机2000万像素、左右相机500 万像素，镜头的FOV为H39.8°，V27.6°；深度相机30万像素，FOV为H 58.4°， V 45.5°)，又有不同光谱响应范围的传感器(如彩色相机、黑白相机的光谱相 应范围在可见光波段；红外相机的响应范围在红外波段)，同时要保证彩色三维传感器的标定精度，因此设计与制作高精度的立体标靶是进行高精度标定的关键。
图3是根据本发明一个实施例的基于非编码标志点的低成本立体标靶示意 图。立体标靶由第一子标靶A以及第二子标靶B组成，第一子标靶A部分由一 个平面组成，平面的表面为规则排布(比如11×9个)的非编码标志点，这些标志点 的准确空间坐标可以通过光束平差技术来确定。标志点包括基准点和定位点，其 中点位点至少包括四个，为了提高低分辨率的深度相机的标志点提取精度，基准 点与定位点均采用大圆设计。定位点与基准点的内部包括一个小的黑色同心标志 点(例如同心圆)，通过标志点的圆心灰度来区分定位点和基准点(例如圆心灰度 大于125则为基准点，小于125则为定位点，即基准点与定位点的圆心灰度不同)， 如图3(c)所示，这样设计极大增加了基准点的尺寸，同时提高了定位点的定 位准确度；第二子标靶B由多个平面组成，表面随机粘贴非编码标志点，用于 旋转轴标定。标定过程是通过彩色三维传感器环绕立体标靶一周重建多个视角下 随机标志点的空间坐标，通过标志点匹配优化来确定底座坐标系，因此不需要预 先确定第二子标靶B的随机标志点的空间坐标，极大降低了标靶制作的难度和 成本。
标定过程分为两个步骤：(1)旋转轴(旋转电机)保持静止，机械臂携带彩色 三维传感器对第一子标靶A进行多视角采集，计算彩色三维传感器的内外参数、 Hlm和Him。由于左、右相机、彩色相机以及红外相机在不同频谱波段的光源下 工作，在每次采集中，首先在可见光照明下，左、右相机和彩色相机采集标靶图 像，然后用红外光源进行照明，红外相机采集标靶图像；(2)机械臂保持姿态不 变，电机旋转不同角度，左、右相机利用双目立体视觉原理重建每个视角下标靶 B部分的随机标记点的三维坐标，通过标记点匹配确定旋转角度，从而构建底座 坐标系，计算Hba。
在一个实施例中，彩色三维传感器在标定时，三个相机(左、右、红外相机) 分别同时获取不同视角下的标靶图案，构建单相机标定模型的目标函数：
其中表示标靶坐标系下M个标志点中第j个标志点的空间 齐次坐标，xij(i＝1,...N)表示相机于第i个视角下所采集图像中第j个标志点的 图像坐标，K为相机的内参矩阵，包括焦距、主点位置和倾斜因子，ε为镜头畸 变，本文只考虑典型的五阶镜头畸变，表示第i个视角下标靶坐 标系到相机坐标系的变换矩阵。
一般地，设左相机坐标系为三维传感器坐标系，则三个相机的结构参数为：
其中，和分别为左相机Sl到右相机Sr的旋转矩阵与平移向量，和 为左相机Sl到彩色相机Sc之间的旋转矩阵与平移向量。为了获得更高精度的 结构参数，我们把变换矩阵加入到三相机的非线性目标函数中，通过 Gauss-Newton或者Levenberg-Marquardt的方法最小化目标函数实现相机参数估 计：
其中τ＝{εl,εr,εc,Kl,Kr,Kc,Hlr,Hlc}，由此可以获得彩色三维传感器的内外参数。红外相机的参数求解类似。
彩色三维传感器标定完成后，可以得到左相机在每个采集视角下的变换矩阵直接由机械臂控制系统给出，根据手眼标定的数学模型，建立以下关 系式：
其中，i,k＝1,2,...,N,且i≠k，N为扫描次数，N个运动姿态可建立个 方程，根据Tsai的方法[30]，采用线性最小二乘求解方法可以求解Hsg和Hcb。
在一个实施例中，为了进一步提高精度，我们将其作为初始值，建立非线性 目标函数：
其中可以从机械臂中实时获取，采用Levenberg-Marquardt的方法最小 化目标函数可以得到更高精度的Hlm与Hbt。Him的求解类似，不再做论述。
在一个实施例中，旋转轴标定过程中，机械臂保持姿态不变，记此时机械臂 到底座的变换矩阵为H′gb，三维传感器环绕立体标靶进行圆周运动，在不同旋转 角度下重建标靶B部分的随机标志点m＝1,2,...,T，T是旋转次数，j是 标志点序号，对所有视场下重建的标志点进行全局匹配优化，得到标 靶标志点在每个旋转角度下的变换关系[R(m)|T(m)]，然后旋转轴方向向量可以在 每两个闭合圆轨迹平面之间距离的约束下计算出，每个圆轨迹的中心可以通过全 局最小二乘优化法获取，由此可以确定三维传感器坐标系到底座坐标系的变换关 系Hrl。根据变换关系(Hrl)-1＝HbrH′mbHlm可以求得基座坐标系到底座坐标系Hbr。
全局扫描视点生成
根据立体视觉成像模型，受双目相机夹角(FOV)、相机镜头和数字投影镜头 的焦距和景深(DOF)的限制，三维传感器的测量空间有限，而且三维重建的点云 质量还受到诸多约束条件的影响，本发明就是基于一定的约束条件前提下，通过 对粗略三维模型(Roughmodel)进行分析自动生成一系列扫描视点，以最少的 视点数量实现完整物体三维数字化彩色成像。接下来分别介绍约束条件以及视点 生成方法。
图4是根据本发明一个实施例的双目视觉三维传感器的约束关系示意图。其 中图4(a)为双目传感器基本结构及测量空间示意图，图4(b)为三维传感器 的测量空间约束，图4(c)为点云可见性约束。为了简单描述，本发明不对具 体视景体的计算展开描述，测量空间简化为图4(b)所示，设3D传感器的工作 距离范围为[dn,df]，最大视场角视点位置为vi(x,y,z)，vi(α,β,γ)表示 3D传感器光轴方向单位向量，vik＝d(vi,sk)表示视点位置vi指向测量目标点位置 sk的矢量。视点规划的过程受到物体表面空间(object surfacespace)，视点空间 (viewpoint space)和成像工作空间(imaging work space)的影响，其约束条件 主要包括但不限于以下几个方面中的至少一种：
1)可见性约束：表示测量目标点允许被传感器采集的角度范围，设测量目标点 pk的法向量为nk，则可见性约束条件
其中表示测量目标点的最大可视角度范围，如图4(c)所示。
2)测量空间约束：包括视场(FOV)约束和景深(DOF)约束，代表三维传感 器的可测量范围，其约束条件为
其中φmax表示三维传感器最大视场角，如图4(b)所示。
3)重叠度(Overlap)约束：为了后续多视角深度数据的ICP匹配和网格融合(registration and integration)，相邻的扫描视场之间需要有一定视场重叠度。 定义视场重叠度为W和Wcover分别表示视场总面积和重叠部 分面积，其约束条件为
ξ≥ξmin (8)
其中ξmin为最小视场重叠度。
4)遮挡(Occlusion)约束：当视点vi到测量目标点sk的线段d(vi,sk)与物体实 体发生交叉(intersection)时，表示视点vi在目标点sk的视点方向vik被遮挡。
对于一个未知形状的物体，首先利用深度相机环绕被测物进行初始扫描，生 成粗略三维模型(Rough model)。本步骤的目的是利用该模型生成全局的扫描视 角，因此粗略三维模型并不需要太高的精度和分辨率，也不要求扫描数据特别完 整。另外，由于深度相机一般都具有扫描视角广、测量空间的纵深距离范围大、 实时性好等特点，因此对于大部分不同尺寸以及不同表面材质的物体，可以简单 预设一组扫描姿态即可实现物体形貌的初始扫描。
在一个实施例中，在初始扫描过程中，利用匹配及融合算法，例如 kinectFusion算法对数据进行实时的匹配和整合。初始扫描完成后，对原始点云 进行噪声滤波、平滑、边缘去除和归一化估计等预处理，然后再生成初始的闭合 三角网格模型，对该模型进行泊松-圆盘采样，得到所谓的ISO点，如图4(b) 所示，设模型采样点为
根据初始模型大小以及扫描仪的最大工作距离df，构建包含模型以及扫描 空间的最小包围盒S，并对该空间按照一定的距离间隔ΔD进行3D体素网格的 划分(比如划分为100×100×100个体素)。对于S中的任意空间点(px，py，pz)， 根据式(9)可快速求解该点归属于哪一个体素网格。
其中(px-min，py-min，pz-min)为包围盒S的最小坐标值，vi＝(nx，ny，nz)为体素编号值，体素的中心点将作为空间三维点参与到下面的下一个最佳视点(next best views,NBVs)计算中。本文的NBVs算法主要分为三个步骤：
Step1:对于初始模型采样点sk，沿其法向nk，距离为d0＝(dn+df)/2的位置， 根据式(9)可找到体素vi。以vi为搜索种子，采用贪婪算法对邻域体素进行膨胀搜 索，根据上面所述的可见性约束，将满足式(10)的体素编号记录在采样点sk的关 联集合当中，如图5(a)所示。
其中vik＝d(vi,sk)表示点vi到点sk的矢量，wik(vi,sk)＝1表示sk对vi可见，当 wik(vi,sk)＝0表示sk到vi之间存在遮挡。在记录的同时，也把(sk,vik)记录在 满足式(10)的所有vi的关联集合中，即对所有的ISO点{sk}执行step1 步骤，得到所有记录了ISO点的有效体素{vi}，而没有记录的体素被视为无效， 不再参与运算。
Step2:对于有效体素vi，根据其集合中元素sk的标记函数g(sk)，求解该 体素的标记分数
g(sk)标记sk的使用情况，当sk还未被确认为归属于某个扫描视点时，标记为 1，已经被确认归属于某个扫描视点时，标记为0，即
Step3:选择标记分数值最大的体素进行视点计算。一个体素记录的ISO点不一 定被同一个扫描范围所覆盖，如图5(b)所示，因此我们采用直方图统计的方 法对中的所有sk的矢量d(vi,sk)进行统计和选择。根据笛卡尔坐标系(x,y,z) 与球坐标系的转换关系将矢量d(vi,sk)转换到球坐标系下，直方图中的X 轴和Y轴分别为θ和Z轴为iso点的统计数量，如图6所示。根据三维传感 器的扫描视场角约束φmax及重叠度约束ξmin，确定XY平面的滤波器窗口的大小 φfilter＝φmax(1-ξmin)，滤波器遍历直方图XY平面的所有元素(x，y)并求滤波 器内iso点数量之和，当滤波窗口内统计量最大时，滤波器内所包含的iso点为 {s′k}k∈N，N为标记权重g(s′k)＝1的s′k的数量，对s′k的矢量d(vi,sk)求其均值作为 扫描视点方向
至此，可以得到视点的空间位置及视点方向向量
Step4:将{s′k}中的标记函数g(s′k)置为0。
重复Step2-Step4，直到所有体素的标记分数低于阈值。NBVs算法流程图如
图1所示。由以上算法流程可以看出，有效体素包含了所有满足约束条件的iso点，体素的标记分数越高，表明由该体素计算的视点可以覆盖更多物体表面范围， 也即该视点越重要。本文的视点是选择标记分数最大的体素进行计算的，最终生 成的视点列表也按照视点所覆盖的iso点的数量由多到少排序。
自动三维扫描和补充扫描
通过上面所述的NBVs算法得到一系列视点的空间位置和方向，如何以最短 路径实现所有视点扫描，属于路径规划问题。解决路径规划问题的算法包括但不 限于蚁群算法、神经网络算法、粒子群算法、遗传算法等，各有优缺点，比如在 一个实施例中，采用蚁群算法对视点集合求解可以得到最短路径。接下来利用彩 色三维传感器沿着最短路径进行三维扫描，每个视角下所采集到的高精度深度数 据(左相机坐标系)通过坐标系变换关系转换到世界坐标系下，最终实现多视角 深度数据的实时匹配以计算出物体的高精度精细三维模型。
通过式(10)可以看到，本文的视点规划算法已经考虑了物体自遮挡的情况， 但是在实际扫描过程中，由于物体表面材质等因素的影响，不可避免的出现一些 数据缺失，或者点云数据稀疏等质量不高的情况，更重要的是，由于用于视点规 划的粗略三维模型丢失了物体的细节信息，因此生成的视点中并没有考虑到几何 细节部分的精细扫描。
为此，在一个实施例中，将通过构建模型置信图的方法来体现原始数据缺失 部分和细节缺失区域，结合视点规划算法生成补充扫描的视点。对前面高精度扫 描阶段获取的原始点云数据进行泊松-圆盘采样生成IS0采样点根据式(14)生成iso点sk的置信图：
f(sk)＝fg(sk,nk)fs(sk,nk) (14)
其中fg(sk,nk)＝Γ(sk)·nk定义为完整置信分数(completeness confidencescore)，Γ(sk)为点sk处的标量场梯度，nk为法向量。fg(sk,nk)在进行泊松-圆盘 采样过程中已经获得，因此不需要额外计算量；fs(sk,nk)为平滑置信分数K (smoothnessconfidence score)，满足
其中||g||为l2-范数，为点sk的K邻域范围Ωk内的原始点云，空间权重函数θ(||sk-qj||)在Ωk范围内随着半径增大而急 剧衰减；正交权重函数φ(nk,qj-sk)体现K邻域范围Ωk内的原始点qj到iso点处 切平面的距离。当平滑置信分数值高时，表面点sk处局部比较平滑，而且扫描质 量比较高；当平滑置信分数值低时，表明点sk处局部原始扫描数据稀疏，或者原 始扫描数据高频成分比较多，比如点云噪声或者富含几何细节等，需要更多的补 充扫描。
置信分数有效反映了扫描模型点云数据的质量和保真度，我们利用模型置信 分数来指导补充扫描环节的视点规划。设定置信分数阈值ε，求出缺失部分和富 含几何细节部分的iso点的范围S′＝{s′k|f(s′k)≤ε}，通过前文算法对S′进行视点 计算。与前文提到的NBVs算法所不同的是，g(s′k)根据s′k的置信分数进行赋值
因此，体素的分数不再体现的是包含iso点的数量，而是iso点置信分数的 总和，对置信分数最高的体素进行视点计算，将会使得视点更加着重扫描缺失部 分和富含几何细节部分。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不 能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技 术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式 做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
Claims (9)
1.一种立体标靶，其特征在于，包括:
第一子标靶以及第二子标靶；其中，
所述第一子标靶包括一个平面，所述平面的表面包含规则排布的第一非编码标志点；
所述第二子标靶包括至少两个平面，包述至少两个平面包含多个随机排布的第二非编码标志点。
2.根据权利要求1所述的立体标靶，其特征在于，所述第一非编码标志点内部包括相对较小的同心标志点。
3.根据权利要求2所述的立体标靶，其特征在于，所述第一非编码标志点包括基准点和定位点，所述基准点与所述定位点的同心标志点的灰度不同。
4.一种三维彩色数字化系统的标定方法，利用设置在底座上的如权1～4任一所述的立体标靶，对三维彩色数字化系统进行标定，所述三维彩色数字化系统包括彩色三维传感器以及深度相机，其特征在于，包括：
利用彩色三维传感器以及深度相机对所述第一子标靶进行多视角采集，并根据所采集的多视角图像计算所述彩色三维传感器的内外参数以及相对于机械臂坐标系的变换矩阵Hlm和Him；
利用彩色三维传感器对所述第二子标靶进行多视角采集，并根据所采集的多视角图像对所述第二子标靶进行重建，基于重建结果构建所述底座坐标系。
5.根据权利要求4所述的标定方法，其特征在于：
所述三维彩色数字化系统还包括与所述彩色三维传感器以及深度相机连接的机械臂，所述机械臂与底座连接；
所述相对于另一坐标系的变换矩阵指的是相对于所述机械臂坐标系的变换矩阵。
6.根据权利要求5所述的标定方法，其特征在于，进一步基于所述构建的底座坐标系计算所述机械臂底座坐标系与所述底座坐标系之间的变换矩阵Hba。
7.根据权利要求6所述的标定方法，其特征在于，利用所述三维传感器环绕所述立体标靶进行圆周运动，在不同旋转角度下重建所述第二子标靶，并基于重建结果进行全局匹配优化以得到所述第二子标靶的变换关系。
8.根据权利要求7所述的标定方法，其特征在于，利用全局最小二乘优化法计算所述圆周运动的圆轨迹中心，并基于所述圆轨迹中心计算所述三维传感器坐标系相对于所述底座坐标系的变换关系。
9.一种计算机可读介质，其特征在于，所述计算机可读介质用于存储算法程序，所述算法程序可以被处理器调用以执行如权利要求5～9任一项的标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910300719.XA CN110230979A (zh) | 2019-04-15 | 2019-04-15 | 一种立体标靶及其三维彩色数字化系统标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910300719.XA CN110230979A (zh) | 2019-04-15 | 2019-04-15 | 一种立体标靶及其三维彩色数字化系统标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110230979A true CN110230979A (zh) | 2019-09-13 |
Family
ID=67860881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910300719.XA Pending CN110230979A (zh) | 2019-04-15 | 2019-04-15 | 一种立体标靶及其三维彩色数字化系统标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110230979A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111207671A (zh) * | 2020-03-03 | 2020-05-29 | 上海御微半导体技术有限公司 | 位置标定方法和位置标定装置 |
| CN111981982A (zh) * | 2020-08-21 | 2020-11-24 | 北京航空航天大学 | 一种基于加权sfm算法的多向合作靶标光学测量方法 |
| CN112102414A (zh) * | 2020-08-27 | 2020-12-18 | 江苏师范大学 | 基于改进遗传算法和神经网络的双目远心镜头标定方法 |
| CN112991460A (zh) * | 2021-03-10 | 2021-06-18 | 哈尔滨工业大学 | 一种用于获取汽车零件尺寸的双目测量系统、方法及装置 |
| CN114205483A (zh) * | 2022-02-17 | 2022-03-18 | 杭州思看科技有限公司 | 扫描仪精度校准方法、装置和计算机设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102155923A (zh) * | 2011-03-17 | 2011-08-17 | 北京信息科技大学 | 基于立体靶标的拼接测量方法及系统 |
| CN102175261A (zh) * | 2011-01-10 | 2011-09-07 | 深圳大学 | 一种基于自适应标靶的视觉测量系统及其标定方法 |
| CN104819707A (zh) * | 2015-04-23 | 2015-08-05 | 上海大学 | 一种多面体主动光标靶 |
| US20160300383A1 (en) * | 2014-09-10 | 2016-10-13 | Shenzhen University | Human body three-dimensional imaging method and system |
| WO2018119771A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳大学 | 基于条纹投影轮廓术的高效相位-三维映射方法及系统 |
| CN109118545A (zh) * | 2018-07-26 | 2019-01-01 | 深圳市易尚展示股份有限公司 | 基于旋转轴和双目摄像头的三维成像系统标定方法及系统 |
| CN109591011A (zh) * | 2018-11-29 | 2019-04-09 | 天津工业大学 | 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法 |
-
2019
- 2019-04-15 CN CN201910300719.XA patent/CN110230979A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102175261A (zh) * | 2011-01-10 | 2011-09-07 | 深圳大学 | 一种基于自适应标靶的视觉测量系统及其标定方法 |
| CN102155923A (zh) * | 2011-03-17 | 2011-08-17 | 北京信息科技大学 | 基于立体靶标的拼接测量方法及系统 |
| US20160300383A1 (en) * | 2014-09-10 | 2016-10-13 | Shenzhen University | Human body three-dimensional imaging method and system |
| CN104819707A (zh) * | 2015-04-23 | 2015-08-05 | 上海大学 | 一种多面体主动光标靶 |
| WO2018119771A1 (zh) * | 2016-12-28 | 2018-07-05 | 深圳大学 | 基于条纹投影轮廓术的高效相位-三维映射方法及系统 |
| CN109118545A (zh) * | 2018-07-26 | 2019-01-01 | 深圳市易尚展示股份有限公司 | 基于旋转轴和双目摄像头的三维成像系统标定方法及系统 |
| CN109591011A (zh) * | 2018-11-29 | 2019-04-09 | 天津工业大学 | 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 赵松;西勤;刘松林;: "基于立体标定靶的扫描仪与数码相机联合标定", 测绘科学技术学报, no. 06, pages 430 - 434 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111207671A (zh) * | 2020-03-03 | 2020-05-29 | 上海御微半导体技术有限公司 | 位置标定方法和位置标定装置 |
| CN111207671B (zh) * | 2020-03-03 | 2022-04-05 | 合肥御微半导体技术有限公司 | 位置标定方法和位置标定装置 |
| CN111981982A (zh) * | 2020-08-21 | 2020-11-24 | 北京航空航天大学 | 一种基于加权sfm算法的多向合作靶标光学测量方法 |
| CN111981982B (zh) * | 2020-08-21 | 2021-07-06 | 北京航空航天大学 | 一种基于加权sfm算法的多向合作靶标光学测量方法 |
| CN112102414A (zh) * | 2020-08-27 | 2020-12-18 | 江苏师范大学 | 基于改进遗传算法和神经网络的双目远心镜头标定方法 |
| CN112991460A (zh) * | 2021-03-10 | 2021-06-18 | 哈尔滨工业大学 | 一种用于获取汽车零件尺寸的双目测量系统、方法及装置 |
| CN112991460B (zh) * | 2021-03-10 | 2021-09-28 | 哈尔滨工业大学 | 一种用于获取汽车零件尺寸的双目测量系统、方法及装置 |
| CN114205483A (zh) * | 2022-02-17 | 2022-03-18 | 杭州思看科技有限公司 | 扫描仪精度校准方法、装置和计算机设备 |
| CN114205483B (zh) * | 2022-02-17 | 2022-07-29 | 杭州思看科技有限公司 | 扫描仪精度校准方法、装置和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110243307A (zh) | 一种自动化三维彩色成像与测量系统 | |
| CN110230979A (zh) | 一种立体标靶及其三维彩色数字化系统标定方法 | |
| CN110246186A (zh) | 一种自动化三维彩色成像与测量方法 | |
| CN104156972B (zh) | 基于激光扫描测距仪与多相机融合的透视成像方法 | |
| JP4245963B2 (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
| CN103971404B (zh) | 一种高性价比的3d实景复制装置 | |
| CN104335005B (zh) | 3d扫描以及定位系统 | |
| CN108053476B (zh) | 一种基于分段三维重建的人体参数测量系统及方法 | |
| CA2731680C (en) | System for adaptive three-dimensional scanning of surface characteristics | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| CN103959012B (zh) | 6自由度位置和取向确定 | |
| Bonfort et al. | General specular surface triangulation | |
| CN105931234A (zh) | 一种地面三维激光扫描点云与影像融合及配准的方法 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| CN106504321A (zh) | 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法 | |
| CN107767440A (zh) | 基于三角网内插及约束的文物序列影像精细三维重建方法 | |
| CN107170037A (zh) | 一种基于多摄像机的实时三维点云重建方法和系统 | |
| CN114998499A (zh) | 一种基于线激光振镜扫描的双目三维重建方法及系统 | |
| CN109523595A (zh) | 一种建筑工程直线棱角间距视觉测量方法 | |
| CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
| CN111091599A (zh) | 一种基于球体标定物的多相机-投影仪系统标定方法 | |
| JP2000137815A (ja) | 新視点画像生成方法 | |
| CN108955520A (zh) | 一种结构光三维扫描可达性分析方法及分析系统 | |
| CN104374374B (zh) | 基于主动全景视觉的3d环境复制系统及3d全景显示绘制方法 | |
| Zagorchev et al. | A paintbrush laser range scanner |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |