CN117274318A - 一种高鲁棒性的反向光学大范围跟踪方法和系统 - Google Patents
一种高鲁棒性的反向光学大范围跟踪方法和系统 Download PDFInfo
- Publication number
- CN117274318A CN117274318A CN202311545043.3A CN202311545043A CN117274318A CN 117274318 A CN117274318 A CN 117274318A CN 202311545043 A CN202311545043 A CN 202311545043A CN 117274318 A CN117274318 A CN 117274318A
- Authority
- CN
- China
- Prior art keywords
- tracking area
- basic
- tracking
- shot image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000003287 optical effect Effects 0.000 claims abstract description 49
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Abstract
本发明提供一种高鲁棒性的反向光学大范围跟踪方法和系统，方法包括：在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；每个基本图元均包括共线且依次设置的点A、线段BC和点D；每个基本图元的交比值不同；利用摄像机获取的跟踪区域的实拍图像，实拍图像中至少包括2个不共线的基本图元；计算实拍图像中基本图元的交比值并与匹配模板进行对应；利用获得的对应关系计算摄像机的位姿，完成反向光学定位跟踪；本发明所用的基本图元包含了点和线段，并利用点和线段的共线约束识别标记点，能排除大部分图像噪点的干扰，鲁棒性更强，并且由于是纯光学定位和计算位姿，比使用混合传感的系统定位精度更高，成本也更低廉。
Description
技术领域
本发明涉及光学定位技术领域，更具体地，涉及一种高鲁棒性的反向光学大范围跟踪方法和系统。
背景技术
由相机进行光学定位的系统可以分为两种类型，一种称为由外向内的方法，安装在环境中固定位置的相机拍摄移动的目标，当多个相机同时捕捉到同一个目标，就可以使用多视角几何的原理来解算出目标的三维位置，并估算出目标朝向，缺点是系统需要使用多摄像机，标定复杂，位姿精度会随着摄像机到标记点的距离线性下降；
另一种称为由内而外的方法，是一种正好相反的策略，它直接把相机放到跟踪的目标上，通过追踪外界固定的标记（可以是人工设置，也可以是自然纹理特征），使用透视投影原理解算出相机自身的位姿，这种解算自身位姿的方法系统较为简单，易于扩展到大范围的跟踪区域中。现有方法在设计追踪所需的标记点时，要么设计为不连续的基准标记，只能在标记物周围小范围内使用，不能应用在大范围连续追踪，要么设计的连续标记点冗余度不够，易受遮挡影响，姿态解算的鲁棒性不足。
现有技术中公开了一种用于对移动对象进行反向光学跟踪的系统和方法，跟踪方法包括通过检测和配准基本光学图案的独特组合来自动调节跟踪区域的步骤，以及通过检测基本光学图案的独特组合及将该独特组合与在跟踪区域调节期间配准的基本光学图案的独特组合的比较来跟踪移动对象的位置和/或取向的变化的步骤；用于跟踪移动对象的系统包括处于移动对象上的至少一个跟踪器，该跟踪器包括光学传感器、至少一个标记条和中央处理单元，该至少一个标记条包括在从光学传感器获得的图像中形成基本光学图案的有源标记；该现有技术中的方案使用三个点组成的有向图案作为基本单位，通过基本单位的组合进行图案的编解码，同时混合使用了陀螺仪数据，当检测到的点阵能够成功匹配离线注册的点阵时，可以得到点的二维-三维对应；但该技术方案的纯光学方法鲁棒性不足，三个点组成的基本图元冗余度不高，很容易受遮挡的影响而无法匹配成功，而使用增加陀螺仪数据增强鲁棒性的方法，会使系统因为多出了一个传感器而变得笨重，同时增加成本。
发明内容
本发明为克服上述现有技术中光学追踪定位易受遮挡影响而失效、鲁棒性不足、成本较高，以及跟踪范围小的缺陷，提供一种高鲁棒性的反向光学大范围跟踪方法和系统，拥有更大的冗余度且复杂度较低，能够提升光学追踪定位的鲁棒和定位精度。
为解决上述技术问题，本发明的技术方案如下：
一种高鲁棒性的反向光学大范围跟踪方法，包括以下步骤：
S1：在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；
每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；
S2：利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；
所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；
S3：获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；
S4：利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；
S5：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。
优选地，所述步骤S1之前还包括：对跟踪区域进行网格划分；
所述步骤S1中，在跟踪区域内的网格中不重叠地设置至少2个基本图元，每个所述基本图元的共线方向均与网格边界平行或垂直。
优选地，所述步骤S1中，每个基本图元的交比值不同的设置方法为：
每个所述基本图元中，点A和点D之间的距离相等，且线段BC长度不相等。
优选地，所述步骤S2中，获取跟踪区域的实拍图像后还包括：对所述跟踪区域的实拍图像进行畸变校正。
优选地，所述步骤S3中，根据以下公式计算并获取所述跟踪区域的实拍图像中基本图元的交比值：
其中，为基本图元的交比值；AC为点A与线段BC的端点C之间的距离；BC为线段BC的长度；BD为线段BC的端点B与点D之间的距离；AD为点A与点D之间的距离。
优选地，所述步骤S4中，利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系的具体方法为：
将跟踪区域的实拍图像中至少2个不共线的基本图元的交比值与跟踪区域的匹配模板中每个基本图元的交比值进行匹配；
将跟踪区域的实拍图像与跟踪区域的匹配模板中交比值相同的每个基本图元一一对应，获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系。
优选地，所述步骤S2和S5中，摄像机的成像模型为：
其中，为摄像机拍摄的图像中点的像素坐标的齐次表达式，满足/>，为摄像机拍摄的图像中点的像素坐标；/>为跟踪区域的三维空间点坐标的齐次表达式，满足/>，/>为跟踪区域的三维空间点坐标；/>为摄像机的内参数矩阵；和/>分别为摄像机的旋转矩阵和位移矩阵；/>为非零系数。
优选地，所述步骤S5中，利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，具体方法为：
S5.1：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系获取至少2组不共线且一一对应的基本图元；
S5.2：将每组一一对应的基本图元中点A、线段BC的端点B和端点C，以及点D的坐标分别建立与/>的对应关系；
S5.3：根据每组基本图元中所有点的与/>的对应关系建立PnP问题；所述PnP问题用于求解摄像机的旋转矩阵/>和位移矩阵/>；
S5.4：计算并求解所述PnP问题，获取摄像机的旋转矩阵和位移矩阵/>，获取摄像机的位姿，完成反向光学定位跟踪。
优选地，所述步骤S5.4中计算并求解PnP问题的具体方法为：直接线性变换DLT、EPnP、SDP、P3P、UPnP和非线性优化方法中的任意一种。
本发明还提供一种高鲁棒性的反向光学大范围跟踪系统，应用上述的一种高鲁棒性的反向光学大范围跟踪方法，包括：
模板生成单元：用于在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；
每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；
拍摄单元：用于利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；
所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；
交比值计算单元：用于获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；
图像匹配单元：用于利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；
定位跟踪单元：用于利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供一种高鲁棒性的反向光学大范围跟踪方法和系统，首先在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；之后利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪；
本发明具有以下优点：
1）本发明所使用的基本图元的标志点编码简易，仅由点和线段构成，在现实环境中部署较为方便；
2）本发明的基本图元具备良好的扩展性，可根据现场环境灵活布局，跟踪面积可扩展至数百平米，跟踪范围较大；
3）本发明中的每个基本图元都可以根据交比值直接计算和模板图元的匹配，不依赖其相邻图元的位置关系，计算量小，从而降低了对处理设备的性能要求；
4）本发明所用基本图元的编码图案中包含了线段，并利用点和线段的共线约束识别标记点，相对于单纯使用点的编码方案，能排除大部分图像噪点的干扰，其鲁棒性更强，并且由于是纯光学定位和计算位姿，比使用混合传感的系统定位精度更高，成本也更低廉。
附图说明
图1为实施例1所提供的一种高鲁棒性的反向光学大范围跟踪方法流程图。
图2为实施例2所提供的基本图元示意图。
图3为实施例2所提供的跟踪区域的匹配模板示意图。
图4为实施例2所提供的包含基本图元的跟踪区域的实拍图像。
图5为实施例2所提供的利用共线特征确定跟踪区域的实拍图像中的每个基本图元的示意图。
图6为实施例2所提供的根据基本图元交比值将跟踪区域的实拍图像与匹配模板对应的示意图。
图7为实施例3所提供的一种高鲁棒性的反向光学大范围跟踪系统结构图。
具体实施方式
附图仅用于示例性说明，不能理解为对本申请的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本实施例提供一种高鲁棒性的反向光学大范围跟踪方法，包括以下步骤：
S1：在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；
每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；
S2：利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；
所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；
S3：获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；
S4：利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；
S5：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。
在具体实施过程中，首先在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；该步骤用于图案编码，跟踪区域的匹配模板用于后续图案的解码匹配；
之后利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；
获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；
利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；该步骤为解码步骤，由于在摄影变换中交比值保持不变，故一个基本图元中的4个点在匹配模板和实拍图像中的交比值均保持不变，这也是进行对应点识别的理论基础；
最后利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪；
本方法所使用的基本图元的标志点编码简易，仅由点和线段构成，在现实环境中部署较为方便，且基本图元具备良好的扩展性，可根据现场环境灵活布局，跟踪面积可扩展至数百平米，跟踪范围较大；同时，本方法中的每个基本图元都可以根据交比值直接计算和模板图元的匹配，不依赖其相邻图元的位置关系，计算量小，从而降低了对处理设备的性能要求；另外，本方法所用基本图元的编码图案中包含了线段，并利用点和线段的共线约束识别标记点，相对于单纯使用点的编码方案，能排除大部分图像噪点的干扰，其鲁棒性更强，并且由于是纯光学定位和计算位姿，比使用混合传感的系统定位精度更高，成本也更低廉。
实施例2
本实施例提供一种高鲁棒性的反向光学大范围跟踪方法，包括以下步骤：
S1：对跟踪区域进行网格划分，在跟踪区域的网格内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；
每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；每个所述基本图元的共线方向均与网格边界平行或垂直；
每个基本图元的交比值不同的设置方法为：
每个所述基本图元中，点A和点D之间的距离相等，且线段BC长度不相等；
S2：利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像，并对所述跟踪区域的实拍图像进行畸变校正；
所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；
S3：获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；
S4：利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；
S5：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪；
所述步骤S3中，根据以下公式计算并获取所述跟踪区域的实拍图像中基本图元的交比值：
其中，为基本图元的交比值；AC为点A与线段BC的端点C之间的距离；BC为线段BC的长度；BD为线段BC的端点B与点D之间的距离；AD为点A与点D之间的距离；
所述步骤S4中，利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系的具体方法为：
将跟踪区域的实拍图像中至少2个不共线的基本图元的交比值与跟踪区域的匹配模板中每个基本图元的交比值进行匹配；
将跟踪区域的实拍图像与跟踪区域的匹配模板中交比值相同的每个基本图元一一对应，获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；
所述步骤S2和S5中，摄像机的成像模型为：
其中，为摄像机拍摄的图像中点的像素坐标的齐次表达式，满足/>，为摄像机拍摄的图像中点的像素坐标；/>为跟踪区域的三维空间点坐标的齐次表达式，满足/>，/>为跟踪区域的三维空间点坐标；/>为摄像机的内参数矩阵；和/>分别为摄像机的旋转矩阵和位移矩阵；/>为非零系数；
所述步骤S5中，利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，具体方法为：
S5.1：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系获取至少2组不共线且一一对应的基本图元；
S5.2：将每组一一对应的基本图元中点A、线段BC的端点B和端点C，以及点D的坐标分别建立与/>的对应关系；
S5.3：根据每组基本图元中所有点的与/>的对应关系建立PnP问题；所述PnP问题用于求解摄像机的旋转矩阵/>和位移矩阵/>；
S5.4：利用直接线性变换DLT、EPnP、SDP、P3P、UPnP和非线性优化方法中的任意一种方法计算并求解所述PnP问题，获取摄像机的旋转矩阵和位移矩阵/>，获取摄像机的位姿，完成反向光学定位跟踪。
在具体实施过程中，本实施例的方案使用点和直线的组合对图案进行编码，得到基本图元间的几何不变量进行离线注册，在实时定位追踪的过程中，对相机拍摄的图像进行预处理，识别出每一个基本图元，之后还原基本图元组合的几何不变量，与离线注册表进行匹配和基本图元编号的解码，最终使用得到的点的二维-三维关系使用多个点求解单应矩阵的方法进行相机的外参的计算，得到包括旋转和位移的相机六自由度位姿，主要流程如下所示：
编码部分：
Step1：确定跟踪区域的长宽尺寸；
Step2：将跟踪区域用正方形网格划分，确定长和宽所占的网格数；
Step3：将数量的基本图元放入网格内，保证所有基本图元不重叠；
Step4：编码结束，保存当前的基本图元布局作为匹配模板；
解码部分：
Step1：摄像机拍摄场地内的标记点图像，并对图像进行畸变校正；
Step2：通过图像处理算法得到畸变校正后图像中的点、线的图像坐标；
Step3：通过点、线的共线关系等特征识别基本图元；
Step4：利用基本图元的交比值建立实拍图像点与匹配模板的对应关系；
Step5：通过上述对应点计算摄像机位姿，实现定位；
本方法中的基本图元如图2所示，其包含两个点和一条线段，其中点和线段的端点按照从左到右的顺序分别定义为A、B、C、D，上述4点共线；在本实施例中，每个基本图元都是独一无二的，交比值都互不相同；本实施例中改变交比值的方法为：线段AD的长度固定且已知，点B、C的位置各个基本图元均不相同；
在射影几何中，有关于交比的定义，用cr代表交比，因此，基本图元的交比值为：
其中，为基本图元的交比值；AC为点A与线段BC的端点C之间的距离；BC为线段BC的长度；BD为线段BC的端点B与点D之间的距离；AD为点A与点D之间的距离；
由上式可知，当B、C点位置不同时，每个基本图元的交比值都不相同；由于在摄影变换中交比保持不变，故一个基本图元中的上述4点在匹配模板和实拍图像中的交比均保持不变，这是进行对应点识别的理论基础；
在跟踪区域的大小确定后，可将其用正方形网格划分；如图3所示，在跟踪范围内的各个网格区域分别布置一定数量（至少2个）的基本图元，注意各个基本图元的交比值不同，每个基本图元的共线方向均与网格边界平行或垂直；由此即完成了跟踪区域的编码，图3所示的编码图即是跟踪区域的匹配模板，可用于后续解码匹配；
通常摄像机拍摄的图像只涵盖了部分跟踪区域，在透视变换下，基本图元往往并不能如模板图像中那般始终保持水平和垂直的形态，举例如图4所示；
由于透视变换不改变点的共线性质，所以可以通过线段和与其相邻的共线点来提取基本图元，如图5所示；
然后根据上述交比值的计算公式可以计算出识别到的基本图元的交比，然后与匹配模板中的基本图元交比进行对比，找到交比一致的图元即可完成匹配，如图6所示；
经过上述处理，便得到了摄像机图像中的二维像素点与实物模板中的三维空间点之间的对应关系，由此可以计算摄像机位姿；摄像机的成像模型如下式所示：
其中，为摄像机拍摄的图像中点的像素坐标的齐次表达式，满足/>，为摄像机拍摄的图像中点的像素坐标；/>为跟踪区域的三维空间点坐标的齐次表达式，满足/>，/>为跟踪区域的三维空间点坐标；/>和/>均可通过上述的实拍图像和匹配模板的对应关系获得；/>为摄像机的内参数矩阵，可通过标定事先获得；/>和/>分别为摄像机的旋转矩阵和位移矩阵，为待求未知量；/>为非零系数；
在已知和/>时求/>，可以构建一个求解问题，这种问题被称为PnP问题，其具有普适方法求解，为计算机视觉中的基础知识，可以利用直接线性变换DLT、EPnP、SDP、P3P、UPnP和非线性优化方法中的任意一种，或其他现有方法直接求解；
对于上述PnP问题，在空间三维点共面和摄像机内参数已知的条件下，最少只需4组不共线的/>与/>点对即可求出摄像机位姿/>；因此，本实施例所述的方法中，只需完成2组不共线的基本图元的识别（这也是要求实拍图像必须包含至少2个不共线的基本图元的原因），提供2×4=8个对应点的条件下，即可求解得到摄像机的旋转矩阵/>和位移矩阵，完成摄像机位姿的计算，从而实现了跟踪器的反向光学定位；
本方法所使用的基本图元的标志点编码简易，仅由点和线段构成，在现实环境中部署较为方便，且基本图元具备良好的扩展性，可根据现场环境灵活布局，跟踪面积可扩展至数百平米，跟踪范围较大；同时，本方法中的每个基本图元都可以根据交比值直接计算和模板图元的匹配，不依赖其相邻图元的位置关系，计算量小，从而降低了对处理设备的性能要求；另外，本方法所用基本图元的编码图案中包含了线段，并利用点和线段的共线约束识别标记点，相对于单纯使用点的编码方案，能排除大部分图像噪点的干扰，其鲁棒性更强，并且由于是纯光学定位和计算位姿，比使用混合传感的系统定位精度更高，成本也更低廉。
实施例3
如图7所示，本实施例提供一种高鲁棒性的反向光学大范围跟踪系统，应用实施例1或2所述的一种高鲁棒性的反向光学大范围跟踪方法，包括：
模板生成单元301：用于在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；
每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；
拍摄单元302：用于利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；
所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；
交比值计算单元303：用于获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；
图像匹配单元304：用于利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；
定位跟踪单元305：用于利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。
在具体实施过程中，首先模板生成单元301在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；该步骤用于图案编码，跟踪区域的匹配模板用于后续图案的解码匹配；
之后拍摄单元302利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；
交比值计算单元303获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；
图像匹配单元304利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；该步骤为解码步骤，由于在摄影变换中交比值保持不变，故一个基本图元中的4个点在匹配模板和实拍图像中的交比值均保持不变，这也是进行对应点识别的理论基础；
最后定位跟踪单元305利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪；
本系统所使用的基本图元的标志点编码简易，仅由点和线段构成，在现实环境中部署较为方便，且基本图元具备良好的扩展性，可根据现场环境灵活布局，跟踪面积可扩展至数百平米，跟踪范围较大；同时，本系统中的每个基本图元都可以根据交比值直接计算和模板图元的匹配，不依赖其相邻图元的位置关系，计算量小，从而降低了对处理设备的性能要求；另外，本系统所用基本图元的编码图案中包含了线段，并利用点和线段的共线约束识别标记点，相对于单纯使用点的编码方案，能排除大部分图像噪点的干扰，其鲁棒性更强，并且由于是纯光学定位和计算位姿，比使用混合传感的系统定位精度更高，成本也更低廉。
本发明的关键点在于标志点仅使用了直线和点这种最简单的图形组合，其编、解码方式具有编码方案简单，解码处理流程简洁，实时性高、鲁棒性好的特点；其中标志点的编码构建方法和对应的解码方法为本发明的保护点；通过点和直线端点组成基本图元进行匹配获取二维-三维对应关系等与直线和点组合编解码的方法都在本发明的保护范围之内；
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本申请的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，包括以下步骤：
S1：在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；
每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；
S2：利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；
所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；
S3：获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；
S4：利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；
S5：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。
2.根据权利要求1所述的一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，所述步骤S1之前还包括：对跟踪区域进行网格划分；
所述步骤S1中，在跟踪区域内的网格中不重叠地设置至少2个基本图元，每个所述基本图元的共线方向均与网格边界平行或垂直。
3.根据权利要求1所述的一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，所述步骤S1中，每个基本图元的交比值不同的设置方法为：
每个所述基本图元中，点A和点D之间的距离相等，且线段BC长度不相等。
4.根据权利要求2或3所述的一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，所述步骤S2中，获取跟踪区域的实拍图像后还包括：对所述跟踪区域的实拍图像进行畸变校正。
5.根据权利要求4所述的一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，所述步骤S3中，根据以下公式计算并获取所述跟踪区域的实拍图像中基本图元的交比值：
其中，为基本图元的交比值；AC为点A与线段BC的端点C之间的距离；BC为线段BC的长度；BD为线段BC的端点B与点D之间的距离；AD为点A与点D之间的距离。
6.根据权利要求5所述的一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，所述步骤S4中，利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系的具体方法为：
将跟踪区域的实拍图像中至少2个不共线的基本图元的交比值与跟踪区域的匹配模板中每个基本图元的交比值进行匹配；
将跟踪区域的实拍图像与跟踪区域的匹配模板中交比值相同的每个基本图元一一对应，获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系。
7.根据权利要求6所述的一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，所述步骤S2和S5中，摄像机的成像模型为：
其中，为摄像机拍摄的图像中点的像素坐标的齐次表达式，满足/>，/>为摄像机拍摄的图像中点的像素坐标；/>为跟踪区域的三维空间点坐标的齐次表达式，满足，/>为跟踪区域的三维空间点坐标；/>为摄像机的内参数矩阵；/>和/>分别为摄像机的旋转矩阵和位移矩阵；/>为非零系数。
8.根据权利要求7所述的一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，所述步骤S5中，利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，具体方法为：
S5.1：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系获取至少2组不共线且一一对应的基本图元；
S5.2：将每组一一对应的基本图元中点A、线段BC的端点B和端点C，以及点D的坐标分别建立与/>的对应关系；
S5.3：根据每组基本图元中所有点的与/>的对应关系建立PnP问题；所述PnP问题用于求解摄像机的旋转矩阵/>和位移矩阵/>；
S5.4：计算并求解所述PnP问题，获取摄像机的旋转矩阵和位移矩阵/>，获取摄像机的位姿，完成反向光学定位跟踪。
9.根据权利要求8所述的一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，所述步骤S5.4中计算并求解PnP问题的具体方法为：直接线性变换DLT、EPnP、SDP、P3P、UPnP和非线性优化方法中的任意一种。
10.一种高鲁棒性的反向光学大范围跟踪系统，应用权利要求1~9任意一项中所述的一种高鲁棒性的反向光学大范围跟踪方法，其特征在于，包括：
模板生成单元：用于在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；
每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；
拍摄单元：用于利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；
所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；
交比值计算单元：用于获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；
图像匹配单元：用于利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；
定位跟踪单元：用于利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311545043.3A CN117274318B (zh) | 2023-11-20 | 2023-11-20 | 一种高鲁棒性的反向光学大范围跟踪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311545043.3A CN117274318B (zh) | 2023-11-20 | 2023-11-20 | 一种高鲁棒性的反向光学大范围跟踪方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274318A true CN117274318A (zh) | 2023-12-22 |
| CN117274318B CN117274318B (zh) | 2024-03-15 |
Family
ID=89204746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311545043.3A Active CN117274318B (zh) | 2023-11-20 | 2023-11-20 | 一种高鲁棒性的反向光学大范围跟踪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274318B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130148851A1 (en) * | 2011-12-12 | 2013-06-13 | Canon Kabushiki Kaisha | Key-frame selection for parallel tracking and mapping |
| US20140105486A1 (en) * | 2011-05-30 | 2014-04-17 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Method for locating a camera and for 3d reconstruction in a partially known environment |
| CN112991388A (zh) * | 2021-03-11 | 2021-06-18 | 中国科学院自动化研究所 | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 |
| CN113808241A (zh) * | 2020-06-15 | 2021-12-17 | 辉达公司 | 共享顶点的射线追踪图元的硬件加速 |
| CN113971684A (zh) * | 2021-09-16 | 2022-01-25 | 中国人民解放军火箭军工程大学 | 一种基于kcf和surf特征的实时鲁棒目标跟踪方法 |
| CN116402890A (zh) * | 2023-04-04 | 2023-07-07 | 北京临近空间飞艇技术开发有限公司 | 一种抗遮挡的光学跟踪定位方法 |
-
2023
- 2023-11-20 CN CN202311545043.3A patent/CN117274318B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140105486A1 (en) * | 2011-05-30 | 2014-04-17 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Method for locating a camera and for 3d reconstruction in a partially known environment |
| US20130148851A1 (en) * | 2011-12-12 | 2013-06-13 | Canon Kabushiki Kaisha | Key-frame selection for parallel tracking and mapping |
| CN113808241A (zh) * | 2020-06-15 | 2021-12-17 | 辉达公司 | 共享顶点的射线追踪图元的硬件加速 |
| CN112991388A (zh) * | 2021-03-11 | 2021-06-18 | 中国科学院自动化研究所 | 基于光流跟踪预测和凸几何距离的线段特征跟踪方法 |
| CN113971684A (zh) * | 2021-09-16 | 2022-01-25 | 中国人民解放军火箭军工程大学 | 一种基于kcf和surf特征的实时鲁棒目标跟踪方法 |
| CN116402890A (zh) * | 2023-04-04 | 2023-07-07 | 北京临近空间飞艇技术开发有限公司 | 一种抗遮挡的光学跟踪定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| 赵新灿 等: "沉浸式三维视线追踪算法研究", 系统仿真学报, vol. 30, no. 06, pages 2027 - 2035 * |
| 韩兆阳 等: "一种基于简易标记点编码的光学跟踪系统", 图学学报, vol. 44, no. 5, pages 997 - 1012 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274318B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| EP3100234B1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
| Lucchese | Geometric calibration of digital cameras through multi-view rectification | |
| CN108510551B (zh) | 一种远距离大视场条件下相机参数的标定方法及系统 | |
| WO2014024579A1 (ja) | 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム | |
| CN112396656B (zh) | 一种视觉与激光雷达融合的室外移动机器人位姿估计方法 | |
| Hansen et al. | Online continuous stereo extrinsic parameter estimation | |
| CN111524195B (zh) | 一种掘进机截割头定位中的相机标定方法 | |
| CN105809706B (zh) | 一种分布式多像机系统的全局标定方法 | |
| CN107680139A (zh) | 一种远心双目立体视觉测量系统的通用性标定方法 | |
| CN113920205B (zh) | 一种非同轴相机的标定方法 | |
| CN110415304B (zh) | 一种视觉标定方法及系统 | |
| CN110108269A (zh) | 基于多传感器数据融合的agv定位方法 | |
| CN110084743B (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| Su et al. | A novel camera calibration method based on multilevel-edge-fitting ellipse-shaped analytical model | |
| Iocchi et al. | A multiresolution stereo vision system for mobile robots | |
| Kruger et al. | In-factory calibration of multiocular camera systems | |
| CN113658279B (zh) | 相机内参和外参估算方法、装置、计算机设备及存储介质 | |
| Rudakova et al. | Camera matrix calibration using circular control points and separate correction of the geometric distortion field | |
| CN117274318B (zh) | 一种高鲁棒性的反向光学大范围跟踪方法和系统 | |
| RU2384882C1 (ru) | Способ автоматической компоновки ландшафтных панорамных изображений | |
| CN111402315A (zh) | 一种自适应调整双目摄像机基线的三维距离测量方法 | |
| KR100837119B1 (ko) | 영상계측을 위한 카메라 교정방법 | |
| CN115841517A (zh) | 一种基于dic双圆交比的结构光标定方法和装置 | |
| Hamzah et al. | A practical method for camera calibration in stereo vision mobile robot navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240220 Address after: Room 501/502/503/504, Building B1, Suikai Science and Technology Park, No. 136 Kaiyuan Avenue, Yunpu Street, Huangpu District, Guangzhou City, Guangdong Province, 510535 Applicant after: Guangzhou Dawan District Virtual Reality Research Institute Country or region after: China Applicant after: Shaoguan Museum (Shaoguan Institute of Cultural Relics and Archaeology) Address before: Room 501/502/503/504, Building B1, Suikai Science and Technology Park, No. 136 Kaiyuan Avenue, Yunpu Street, Huangpu District, Guangzhou City, Guangdong Province, 510535 Applicant before: Guangzhou Dawan District Virtual Reality Research Institute Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |