CN106643504B - 一种基于跟踪器的大型物体三维测量中led标记的标定方法 - Google Patents

一种基于跟踪器的大型物体三维测量中led标记的标定方法 Download PDF

Info

Publication number
CN106643504B
CN106643504B CN201710019186.9A CN201710019186A CN106643504B CN 106643504 B CN106643504 B CN 106643504B CN 201710019186 A CN201710019186 A CN 201710019186A CN 106643504 B CN106643504 B CN 106643504B
Authority
CN
China
Prior art keywords
led
dimensional
label
tracking device
denoted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710019186.9A
Other languages
English (en)
Other versions
CN106643504A (zh
Inventor
白素琴
史金龙
钱强
庞林斌
王直
刘镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN201710019186.9A priority Critical patent/CN106643504B/zh
Publication of CN106643504A publication Critical patent/CN106643504A/zh
Application granted granted Critical
Publication of CN106643504B publication Critical patent/CN106643504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Abstract

本发明公开了一种基于跟踪器的大型物体三维测量中LED标记的标定方法，包括以下步骤：(1)用基于轨迹的LED标记匹配方法对LED标记进行匹配：所述的立体跟踪器观测所述的LED标记在立体跟踪器视场中的运动轨迹；将立体跟踪器两个相机中观测到的LED标记的轨迹进行匹配；根据匹配结果，测量LED标记在立体跟踪器坐标系中的三维坐标；(2)用基于棋盘格的LED标记标定方法进行LED标记的标定：将所述的LED标记在立体跟踪器坐标系中的三维坐标，转换到三维扫描仪的坐标系中，实现LED标记的标定。该方法LED标记匹配精确度高，能准确地寻找空间标定物的点特征，其标定精度和鲁棒性高，从而能够方便、准确地在三维测量中对LED标记进行标定。

Description

一种基于跟踪器的大型物体三维测量中LED标记的标定方法
技术领域
本发明属于三维测量技术领域，涉及三维测量技术中的LED标记标定方法，特别是一种基于立体跟踪器的大型物体三维测量中LED标记的标定方法。
技术背景
基于跟踪器的大型物体三维测量方法是一种新兴的三维测量技术。在该技术中，需要利用三维扫描仪和立体跟踪器等设备实现三维测量。三维扫描仪包括两个工业相机和一个投影仪组成，立体跟踪器包括两个工业相机。在三维扫描仪上需要安装若干LED反光标记。通过移动三维扫描仪，测量大型物体的局部三维数据。在移动三维扫描仪测量大型物体的局部数据的过程中，立体跟踪器需要跟踪三维扫描仪上的LED标记，计算三维扫描仪的姿态，拼接局部数据。在此过程中，如何准确地标定三维扫描仪上的LED标记，是实现精确拼接的关键技术。所谓标定LED的标记，是指计算LED标记在三维扫描仪坐标系中的三维坐标。一般是先进行LED标记匹配，然后进行标定。但是由于三维扫描仪上的工业相机无法看到安装在自身上的LED标记，如何标定LED标记非常困难。
在现有技术中，往往采用点对应的方式，实现LED标记匹配。由于所有LED标记所在图像区域的局部特征非常相似，无法采用传统的点特征匹配技术实现精确匹配。因此只能利用平面几何关系寻找点的对应关系，但是该方法会产生较大的匹配错误。而且，现有技术通常采用圆形图案的标定方法进行LED标记的标定，该方法无法精确地寻找空间标定物，标定精度和鲁棒性较低。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种基于跟踪器的大型物体三维测量中LED标记的标定方法。该方法LED标记匹配精确度高，能准确地寻找空间标定物的点特征，其标定精度和鲁棒性高，从而能够方便、准确地在三维测量中对LED标记进行标定。
为了解决现有技术的上述问题，本发明采用以下技术方案。
本发明的一种基于跟踪器的大型物体三维测量中LED标记的标定方法，所采用的系统包括：一台包括两个工业相机和一台投影仪的三维扫描仪、一台包括两个工业相机的立体跟踪器，安装于三维扫描仪上的多个LED标记、GPU服务器；所述工业相机和投影仪分别经由千兆网线和USB接口连接到GPU服务器；
其特征在于，所述方法包括：首先在三维扫描仪上安装多个LED标记，然后进行以下步骤：
(1)用基于轨迹的LED标记匹配方法对LED标记进行匹配：所述的立体跟踪器观测所述的LED标记在立体跟踪器视场中的运动轨迹；将立体跟踪器两个相机中观测到的LED标记的轨迹进行匹配；根据匹配结果，测量LED标记在立体跟踪器坐标系中的三维坐标；
(2)用基于棋盘格的LED标记标定方法进行LED标记的标定：将所述的LED标记在立体跟踪器坐标系中的三维坐标，转换到三维扫描仪的坐标系中，实现LED标记的标定。
所述的基于轨迹的LED标记匹配方法，包括以下具体步骤：
(1-1)在t时刻，假设所述的三维扫描仪上的一个LED标记在所述的立体跟踪器坐标系中的坐标，记作i∈{1，…，n}，其中n为LED标记的数量；将投影到立体跟踪器的两个相机中，在两个立体图像上，形成两个图像点，分别记作和
(1-2)假设在时间段T(t)＝{t|1≤t≤T0}内，移动三维扫描仪，那么和将在立体跟踪器的两个立体图像序列中形成两条轨迹；
(1-3)基于上述轨迹，在所述的两个立体图像中，构建T(t)内LED标记的描述符，记作和
(1-4)同一个LED标记，根据极线几何约束原理，在两个立体图像中应该有相同的轨迹描述符，即应该与相等；因此，根据构建的LED标记描述符，即可匹配LED标记。
所述的基于棋盘格的LED标记标定方法，包括以下具体步骤：
(2-1)倾斜放置棋盘格标定板；
(2-2)放置三维扫描仪和立体跟踪器；
(2-3)将棋盘格标定板看作世界坐标系，记作Cw，将立体跟踪器的坐标系记作CT，将三维扫描仪的坐标系记作CS；
(2-4)利用之前所述的基于轨迹的LED标记匹配方法，在立体跟踪器的两个相机中匹配LED标记；
(2-5)利用三角测量算法，在立体跟踪器的坐标系中，计算匹配的LED标记的三维坐标，记作
(2-6)利用张正友标定算法，计算坐标系CT和Cw之间的变换关系，记作TTW，以及CS和Cw之间的关系，记作TSW，并将CT和CS之间的关系记作TTS；
(2-7)利用TTW和TSW，计算出CT和CS之间的关系，记作TTS；
(2-8)根据TTS和计算出在三维扫描仪坐标系CS中的坐标，记作
所述的棋盘格标定板放置的倾斜角度为45度。
在所述步骤(2-2)中，所述的放置三维扫描仪和立体跟踪器的要求是：三维扫描仪的两个相机和立体跟踪器的两个相机均能看见棋盘格标定板，并且立体跟踪器能看见三维扫描仪的LED标记。
在所述步骤(2-6)中，所述的三个坐标系TTW、TSW、TTS之间具有如下关系：
TTW＝TTSTSW (1)。
所述的利用TTW和TSW，计算出CT和CS之间的关系公式为：
在所述步骤(2-8)中，所述的根据TTS和计算出在三维扫描仪坐标系CS中的坐标，记作的公式为：
与现有技术相比，本发明的优点及有益效果包括以下几个方面：
1.现有技术往往采用点对应的方式，实现LED标记匹配。由于所有LED标记所在图像区域的局部特征非常相似，无法采用传统的点特征匹配技术实现精确匹配。因此只能利用平面几何关系寻找点的对应关系，但是该方法会产生较大的匹配错误。本发明为了解决这个问题，利用跟踪技术在图像序列中构建LED标记的运动轨迹，利用轨迹实现LED标记的匹配，该方法大大减低了错误匹配的可能性，提高了系统的稳定性。
2.在基于轨迹的LED标记匹配技术的基础之上，本发明提出了基于棋盘格的LED标记标定方法。该方法与传统的采用圆形图案的标定方法相比，能更加精确地寻找空间标定物的点特征，因此能提高系统的标定精度和鲁棒性。
3.本发明提出了一种基于轨迹的LED标记匹配方法，为类似于LED标记的粒子物体在立体相机中的匹配提供了一种手段；并且，提出了精确的LED标记标定手段，为基于跟踪器的三维测量方法提供了技术基础。
附图说明
图1是本发明所适用的系统结构简易示意图。
图2是本发明的一种实施例的基于轨迹的LED标记匹配方法原理图。
图3是本发明的一种实施例的基于轨迹的LED标记匹配方法流程图。
图4是本发明的一种实施例的基于棋盘格的LED标记标定方法流程图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
图1是本发明所适用的系统结构简易示意图。如图1所示，本发明所适用的系统包括一台三维扫描仪(含两台工业相机和一台投影仪)、一个立体跟踪器(含两台工业相机)、一个棋盘格标定板，及一台高性能GPU服务器。
本发明方法所述方法包括：首先在三维扫描仪上安装多个LED标记，然后进行以下步骤：
(1)用基于轨迹的LED标记匹配方法对LED标记进行匹配：所述的立体跟踪器观测所述的LED标记在立体跟踪器视场中的运动轨迹；将立体跟踪器两个相机中观测到的LED标记的轨迹进行匹配；根据匹配结果，测量LED标记在立体跟踪器坐标系中的三维坐标；
(2)用基于棋盘格的LED标记标定方法进行LED标记的标定：将所述的LED标记在立体跟踪器坐标系中的三维坐标，转换到三维扫描仪的坐标系中，实现LED标记的标定。
图2是本发明的一种实施例的基于轨迹的LED标记匹配方法原理图。图3是本发明的一种实施例的基于轨迹的LED标记匹配方法流程图。如图2、图3所示，本实施例的基于轨迹的LED标记匹配方法，具体步骤如下：
a.在t时刻，假设三维扫描仪上的一个LED标记在立体跟踪器坐标系中的坐标，记作i∈{1，…，n}，其中n为LED标记数量。将投影在立体跟踪器的两个相机中，在两个立体图像中，形成两个图像点，记作和
b.假设在时间段T(t)＝{t|1≤t≤T0}内移动3D扫描仪，那么和将在立体跟踪器的两个立体图像序列中形成两条轨迹。本发明使用Kanade-Lucas-Tomasi(KLT)跟踪法跟踪LED标记，形成T(t)时间段内的轨迹；
c.基于上述轨迹，在两个立体图像中，构建T(t)内LED标记的描述符，记作和
d.根据极线几何约束，同一个LED标记，在两个立体图像中应该有相同的轨迹描述符，即应该与相等；因此根据LED标记描述符，即可匹配LED标记。
图4是本发明的一种实施例的基于棋盘格的LED标记标定方法流程图。如图4所示，本实施例的基于棋盘格的LED标记的标定方法，具体步骤如下：
a.在视场之中，倾斜放置棋盘格标定板(见图1，倾斜角度约45度)，要求棋盘格标定板为盘格黑白相间，并且角点清晰；
b.在视场之中，放置三维扫描仪和立体跟踪器，要求三维扫描仪的两个相机和立体跟踪器的两个相机均能看见棋盘格标定板，并且立体跟踪器能看见三维扫描仪的LED标记(见图1)；
c.将棋盘格标定板看作世界坐标系，将其中的一个角点作为坐标原点，该坐标系记作Cw；将立体跟踪器的坐标系记作CT，以其中的任意一个相机光心作为坐标原点；将三维扫描仪的坐标系记作CS，以其中的任意一个相机光心作为坐标原点；
d.利用之前所述的基于轨迹的LED标记匹配方法，在立体跟踪器的图像中，匹配LED标记；
e.利用三角测量算法，在立体跟踪器的坐标系中，计算出匹配的LED标记的三维坐标，记作i∈{1，...，n}，n表示LED标记的数量；
f.利用张正友标定算法，计算坐标系CT和Cw之间的变换关系，记作TTW，以及CS和Cw之间的变换关系，记作TSW，CT和CS之间的关系记作TTS，如图1所示，三个坐标系之间具有如下关系：
TTW＝TTSTSW (1)
g.利用TTW和TSW，计算出CT和CS之间的关系，
h.根据TTS和计算出在三维扫描仪坐标系CS中的坐标，记作

Claims (7)

1.一种基于跟踪器的大型物体三维测量中LED标记的标定方法，所采用的系统包括：一台包括两个工业相机和一台投影仪的三维扫描仪、一台包括两个工业相机的立体跟踪器，安装于三维扫描仪上的多个LED标记、GPU服务器；所述工业相机和投影仪分别经由千兆网线和USB接口连接到GPU服务器；
其特征在于，所述方法包括：首先在三维扫描仪上安装多个LED标记，然后进行以下步骤：
(1)用基于轨迹的LED标记匹配方法对LED标记进行匹配：所述的立体跟踪器观测所述的LED标记在立体跟踪器视场中的运动轨迹；将立体跟踪器两个相机中观测到的LED标记的轨迹进行匹配；根据匹配结果，测量LED标记在立体跟踪器坐标系中的三维坐标；
(2)用基于棋盘格的LED标记标定方法进行LED标记的标定：将所述的LED标记在立体跟踪器坐标系中的三维坐标，转换到三维扫描仪的坐标系中，实现LED标记的标定；
所述的基于轨迹的LED标记匹配方法，包括以下具体步骤：
(1-1)在t时刻，假设所述的三维扫描仪上的一个LED标记在所述的立体跟踪器坐标系中的坐标，记作其中n为LED标记的数量；将投影到立体跟踪器的两个相机中，在两个立体图像上，形成两个图像点，分别记作和
(1-2)假设在时间段T(t)＝{t|1≤t≤T0}内，移动三维扫描仪，那么和将在立体跟踪器的两个立体图像序列中形成两条轨迹；
(1-3)基于上述轨迹，在所述的两个立体图像中，构建T(t)内LED标记的描述符，记作和
(1-4)同一个LED标记，根据极线几何约束原理，在两个立体图像中应该有相同的轨迹描述符，即应该与相等；因此，根据构建的LED标记描述符，即可匹配LED标记。
2.根据权利要求1所述的一种基于跟踪器的大型物体三维测量中LED标记的标定方法，其特征在于，所述的基于棋盘格的LED标记标定方法，包括以下具体步骤：
(2-1)倾斜放置棋盘格标定板；
(2-2)放置三维扫描仪和立体跟踪器；
(2-3)将棋盘格标定板看作世界坐标系，记作Cw，将立体跟踪器的坐标系记作CT，将三维扫描仪的坐标系记作CS；
(2-4)利用之前所述的基于轨迹的LED标记匹配方法，在立体跟踪器的两个相机中匹配LED标记；
(2-5)利用三角测量算法，在立体跟踪器的坐标系中，计算匹配的LED标记的三维坐标，记作
(2-6)利用张正友标定算法，计算坐标系CT和Cw之间的变换关系，记作TTW，以及CS和Cw之间的关系，记作TSW，并将CT和CS之间的关系记作TTS；
(2-7)利用TTW和TSW，计算出CT和CS之间的关系，记作TTS；
(2-8)根据TTS和计算出在三维扫描仪坐标系CS中的坐标，记作
3.根据权利要求2所述的一种基于跟踪器的大型物体三维测量中LED标记的标定方法，其特征在于，所述的棋盘格标定板放置的倾斜角度为45度。
4.根据权利要求2所述的一种基于跟踪器的大型物体三维测量中LED标记的标定方法，其特征在于，在所述步骤(2-2)中，所述的放置三维扫描仪和立体跟踪器的要求是：三维扫描仪的两个相机和立体跟踪器的两个相机均能看见棋盘格标定板，并且立体跟踪器能看见三维扫描仪的LED标记。
5.根据权利要求2所述的一种基于跟踪器的大型物体三维测量中LED标记的标定方法，其特征在于，在所述步骤(2-6)中，所述的三个坐标系TTW、TSW、TTS之间具有如下关系：
TTW＝TTSTSW (1)。
6.根据权利要求2所述的一种基于跟踪器的大型物体三维测量中LED标记的标定方法，其特征在于，所述的利用TTW和TSW，计算出CT和CS之间的关系公式为：
7.根据权利要求2所述的一种基于跟踪器的大型物体三维测量中LED标记的标定方法，其特征在于，在所述步骤(2-8)中，所述的根据TTS和计算出在三维扫描仪坐标系CS中的坐标，记作的公式为：
CN201710019186.9A 2017-01-11 2017-01-11 一种基于跟踪器的大型物体三维测量中led标记的标定方法 Active CN106643504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710019186.9A CN106643504B (zh) 2017-01-11 2017-01-11 一种基于跟踪器的大型物体三维测量中led标记的标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710019186.9A CN106643504B (zh) 2017-01-11 2017-01-11 一种基于跟踪器的大型物体三维测量中led标记的标定方法

Publications (2)

Publication Number Publication Date
CN106643504A CN106643504A (zh) 2017-05-10
CN106643504B true CN106643504B (zh) 2019-08-02

Family

ID=58843652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710019186.9A Active CN106643504B (zh) 2017-01-11 2017-01-11 一种基于跟踪器的大型物体三维测量中led标记的标定方法

Country Status (1)

Country Link
CN (1) CN106643504B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109000582B (zh) * 2018-03-15 2021-07-02 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
CN108534707B (zh) * 2018-03-21 2019-12-10 福建万象三维科技有限公司 工业制造部件规模化扫描检测方法
CN114387300A (zh) * 2021-12-17 2022-04-22 武汉中观自动化科技有限公司 一种多跟踪器位置关系实时校正方法及系统
CN114001696B (zh) * 2021-12-31 2022-04-12 杭州思看科技有限公司 三维扫描系统、工作精度监控方法及三维扫描平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252886A (zh) * 2005-06-29 2008-08-27 艾可瑞公司 不用基准标记而用超声波图像对软组织目标的动态跟踪
CN102859317A (zh) * 2010-05-04 2013-01-02 形创有限公司 使用参考的体积分析传感器的物体检查
CN104887238A (zh) * 2015-06-10 2015-09-09 上海大学 基于动作捕捉的手康复训练评估系统和方法
CN104949618A (zh) * 2014-03-24 2015-09-30 法罗技术股份有限公司 具有用于建立参照系的测距仪的坐标测量机
CN104976968A (zh) * 2015-06-16 2015-10-14 江苏科技大学 一种基于led标签跟踪的三维几何测量方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252886A (zh) * 2005-06-29 2008-08-27 艾可瑞公司 不用基准标记而用超声波图像对软组织目标的动态跟踪
CN102859317A (zh) * 2010-05-04 2013-01-02 形创有限公司 使用参考的体积分析传感器的物体检查
CN104949618A (zh) * 2014-03-24 2015-09-30 法罗技术股份有限公司 具有用于建立参照系的测距仪的坐标测量机
CN104887238A (zh) * 2015-06-10 2015-09-09 上海大学 基于动作捕捉的手康复训练评估系统和方法
CN104976968A (zh) * 2015-06-16 2015-10-14 江苏科技大学 一种基于led标签跟踪的三维几何测量方法及系统

Also Published As

Publication number Publication date
CN106643504A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106643504B (zh) 一种基于跟踪器的大型物体三维测量中led标记的标定方法
CN107784038B (zh) 一种传感器数据的标注方法
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及系统
CN101901501B (zh) 一种生成激光彩色云图的方法
CN104990515A (zh) 大型物体三维形状测量系统及其测量方法
CN104200086A (zh) 宽基线可见光相机位姿估计方法
Wang et al. Single view metrology from scene constraints
CN110146030A (zh) 基于棋盘格标志法的边坡表面变形监测系统和方法
JP2008059319A (ja) 物体認識装置および映像物体測位装置
CN106504287B (zh) 基于模板的单目视觉目标空间定位系统
CN106846488A (zh) 一种基于多立体跟踪器的大型物体三维建模系统及方法
Jun et al. An extended marker-based tracking system for augmented reality
TW202006668A (zh) 空間座標轉換伺服器以及方法
CN110505468A (zh) 一种增强现实显示设备的测试标定及偏差修正方法
Caspi et al. Vertical parallax from moving shadows
CN109035343A (zh) 一种基于监控相机的楼层相对位移测量方法
CN103424087A (zh) 一种大尺度钢板三维测量拼接系统及方法
Fleischmann et al. Fast projector-camera calibration for interactive projection mapping
CN108895979B (zh) 线段编码的结构光深度获取方法
CN103426170A (zh) 基于非结构光场合成孔径成像的隐藏目标成像方法
Zheng et al. Rail sensor: A mobile lidar system for 3d archiving the bas-reliefs in angkor wat
CN105096314A (zh) 基于二值网格模板的结构光动态场景深度获取方法
CN111402315A (zh) 一种自适应调整双目摄像机基线的三维距离测量方法
Megyesi et al. Dense 3D reconstruction from images by normal aided matching
CN113487726A (zh) 动作捕捉系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20170510

Assignee: Center for technology transfer Jiangsu University of Science and Technology

Assignor: JIANGSU University OF SCIENCE AND TECHNOLOGY

Contract record no.: X2021980006173

Denomination of invention: A calibration method of LED mark in 3D measurement of large object based on tracker

Granted publication date: 20190802

License type: Common License

Record date: 20210714

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Center for technology transfer Jiangsu University of Science and Technology

Assignor: JIANGSU University OF SCIENCE AND TECHNOLOGY

Contract record no.: X2021980006173

Date of cancellation: 20210826