CN107590832A - 基于自然特征的物理对象追踪定位方法 - Google Patents
基于自然特征的物理对象追踪定位方法 Download PDFInfo
- Publication number
- CN107590832A CN107590832A CN201710903308.0A CN201710903308A CN107590832A CN 107590832 A CN107590832 A CN 107590832A CN 201710903308 A CN201710903308 A CN 201710903308A CN 107590832 A CN107590832 A CN 107590832A
- Authority
- CN
- China
- Prior art keywords
- physical object
- point
- coordinate system
- point cloud
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自然特征的物理对象追踪定位方法，用于解决现有物理对象追踪定位方法实用性差的技术问题。技术方案是该方法首先对物理对象建模，引入ORB特征描述符，描述物理对象坐标系下的三维坐标点；其次将相机坐标系为中间变量，对物理对象与世界坐标系的位姿关系进行标定；最后通过ORB特征点匹配完成二维图像点到三维空间点的匹配，进而完成目标追踪。本发明利用点云分割、运动检测技术，保证追踪过程的自动化进行，利用基于网格的特征点匹配算法以及追踪结果的后端优化，保证了算法的精确性与稳定性。本发明可适用于任意以追踪定位为基础的增强现实产品应用，实用性好。
Description
技术领域
本发明涉及一种物理对象追踪定位方法，特别涉及一种基于自然特征的物理对象追踪定位方法。
背景技术
文献“Lima J P,Roberto R, F,et al.Markerless tracking systemfor augmented reality in the automotive industry[J].Expert Systems withApplications,2017,82:100-114.”公开的基于自然特征三维建模追踪方法，利用物理对象的自然特征点，结合三维重建技术完成任意物理对象的定位追踪，但其在对关键帧进行背景剔除时，依赖人的手动选择性操作，影响系统的自动化进行；在追踪定位目标对象时，没有将之前的数据作为参考，未进行后端优化，使追踪结果产生误差累积且稳定性较差。
发明内容
为了克服现有物理对象追踪定位方法实用性差的不足，本发明提供一种基于自然特征的物理对象追踪定位方法。该方法首先对物理对象建模，引入ORB特征描述符，描述物理对象坐标系下的三维坐标点；其次将相机坐标系为中间变量，对物理对象与世界坐标系的位姿关系进行标定；最后通过ORB特征点匹配完成二维图像点到三维空间点的匹配，进而完成目标追踪。本发明利用点云分割、运动检测技术，保证追踪过程的自动化进行，利用基于网格的特征点匹配算法以及追踪结果的后端优化，保证了算法的精确性与稳定性。本发明不依赖人工标识点，可追踪任意物理对象，故鲁棒性强、适应性广、自动化程度高，不仅适用于增强现实智能装配系统的目标精确追踪定位，完成装配状态检测及错误预警。同时该方法通用性强，可适用于任意以追踪定位为基础的增强现实产品应用，实用性好。
本发明解决其技术问题所采用的技术方案：一种基于自然特征的物理对象追踪定位方法，其特点是包括以下步骤：
步骤一、利用深度相机或双目立体相机对物理对象的进行多角度图像采集，得到物理对象的图像序列及局部点云p1p2p3......，计算局部点云p1、p2的质心位置，然后计算每个点的去质心坐标q1、q2：
式(1)中，分别为p1、p2的质心坐标，p1j，p2j，q1j，q2j分别代表局部点云p1、p2，去质心局部点云q1、q2中第j个点。
根据以下目标函数优化问题计算旋转矩阵R：
计算平移矩阵t：
由旋转矩阵R求出欧拉角α，β，γ，以5弧度的角度间隔挑选关键帧Kj。通过对物理对象CAD模型点云化处理，得到物理对象的三维点云。利用基于霍夫变换的点云识别算法计算物理对象CAD模型点云与三维场景点云间的平移矩阵Tm及旋转矩阵Rm。将CAD模型点云pm转化到基准坐标系：
pbi＝Rmpmi+tm (4)
式(4)中，pmi代表模型点云pm中第i点，pbi代表模型点云pm中第i点pmi转化到基准坐标系下。
将pb转化到Kj关键帧局部坐标系：
cji＝Rj -1(pbi-tj) (5)
式(5)中cji为模型点云pm中第i点pmi转化到关键帧坐标系下。
利用相机标定获得相机的内参Min，根据式(6)将点集cj中点cji(xi，yi，zi)转化为关键帧Kj中像素点fi(ui，vi)：
求解像素点集f凸包，即物理对象在关键帧Kj中轮廓，并据此剔除背景。
将处理过的关键帧图像网格化均衡化提取ORB特征点，利用与关键帧Ki配准的深度图，提取ORB特征点处的三维坐标，并将三维坐标添加到对应ORB特征点的描述符列表，并记录在模型的XML文件中。至此，模型构建完毕。
步骤二、利用平面标定板自定义世界坐标系，将标定板放置于物理对象周围。用深度相机或双目立体相机采集同时包含物理对象与标定板的图像Ib。
对Ib进行ORB特征点提取，并与模型文件中的ORB特征点进行匹配，将匹配点带入以下等式，求解相机在物理对象基准坐标系下的位姿。
式(7)中为实时图像特征点像素坐标(ui，vi)与与之匹配的模型特征点所记录的三维坐标(xi，yi，zi)，Min相机内参由标定获得，Mex1相机在模型基准坐标系下的外参。
由式(7)求得相机在世界坐标系下的外参Mex2。
将物理对象模型中的三维坐标点统一到世界坐标系下，转换矩阵为：
Mex＝(Mex2)-1*Mex1 (8)
步骤三、通过深度传感器的彩色相机对物理对象实时图像采集，以历史帧为背景，对当前进行运动检测：
|It-It-1|≥T前景
|It-It-1|<T背景 (9)
式(9)中，T为阈值，It-1为前一帧像素，It为当前帧像素值；
由式(9)提取运动的物理对象所在区域，对该区域进行网格均衡化ORB特征点提取。
利用随机采样一致性算法匹配物理对象模型中ORB特征点与的当前帧ORB特征点，完成2D-3D匹配，由式(7)求解相机在物理对象基准坐标系下的位姿。
对所求结果进行稳定性评估，通过二次样条曲线拟合的方式对当不稳定结果进行修正。
本发明的有益效果是：该方法首先对物理对象建模，引入ORB特征描述符，描述物理对象坐标系下的三维坐标点；其次将相机坐标系为中间变量，对物理对象与世界坐标系的位姿关系进行标定；最后通过ORB特征点匹配完成二维图像点到三维空间点的匹配，进而完成目标追踪。本发明利用点云分割、运动检测技术，保证追踪过程的自动化进行，利用基于网格的特征点匹配算法以及追踪结果的后端优化，保证了算法的精确性与稳定性。本发明不依赖人工标识点，可追踪任意物理对象，故鲁棒性强、适应性广、自动化程度高，不仅适用于增强现实智能装配系统的目标精确追踪定位，完成装配状态检测及错误预警。同时该方法通用性强，可适用于任意以追踪定位为基础的增强现实产品应用，实用性好。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明基于自然特征的物理对象追踪定位方法的流程图。
图2是本发明方法实施例中点云拼接原理图。
图3是本发明方法实施例中世界坐标到图像坐标转换原理图。
图4是本发明方法实施例中背景剔除原理图。
图5是本发明方法实施例中x方向时间位移样条差值曲线图。
具体实施方式
参照图1-5。本发明基于自然特征的物理对象追踪定位方法具体步骤如下：
步骤1：物理对象的三维建模。分为以下5步：
步骤1.1：利用深度相机/双目相机对物理对象的进行多角度图像采集，得到物理对象的图像序列。利用深度图或视差图，获得图像对应的局部点云pi。
步骤1.2：利用迭代最近点算法对局部三维点云场景拼接融合，完成三维重建，得到包含物理对象的完整三维点云场景，及图像序列相对于基准坐标系的平移矩阵Tj及旋转矩阵Rj。由旋转矩阵R求出欧拉角α，β，γ，以最佳角度间隔，本发明经实验验证，选取角度间隔为5弧度，挑选关键帧Kj。以第1帧与第2帧的点云拼接为例，具体主要分为以下3步：
步骤1.2.1：计算两组点p1、p2的质心位置，然后计算每个点的去质心坐标：
式(1)中分别为p1、p2的质心坐标，p1j，p2j，q1j，q2j分别代表局部点云p1、p2，去质心局部点云q1、q2中第j个点。
步骤1.2.2：根据以下目标函数优化问题计算旋转矩阵：
步骤1.2.3：计算平移矩阵：
步骤1.3：通过对物理对象CAD模型点云化处理，得到物理对象的三维点云pm，通过基于霍夫变换的点云识别算法计算物理对象CAD模型点云与三维场景点云间的平移矩阵Tm及旋转矩阵Rm。
步骤1.4：通过步骤1.1及步骤1.3得到CAD模型点云坐标系与关键帧Kj的位置关系，并将CAD模型点云转换为关键帧Kj上像素点，利用凸包算法求解出关键帧Kj物理对象的轮廓。将关键帧的背景剔除，获得只包含物理对象的关键帧图像，具体主要分为以下3步：
步骤1.4.1：首先将CAD模型点云pm转化到基准坐标系：
pbi＝Rmpmi+tm (4)
式(4)中pmi代表模型点云pm中第i点，pbi代表模型点云pm中第i点pmi转化到基准坐标系下。
步骤1.4.2：将pb转化到Kj关键帧局部坐标系：
cji＝Rj -1(pbi-tj) (5)
式(5)中cji为模型点云pm中第i点pmi转化到关键帧坐标系下。
步骤1.4.3：首先，利用相机标定获得相机的内参Min，将点集cj中点(xi，yi，zi)转化为关键帧Kj中像素点fi(ui，vi)。：
步骤1.4.4：求解像素点集f凸包，即物理对象在关键帧Kj中轮廓，并据此剔除图像背景。
步骤1.5：并将处理过的关键帧图像网格化均衡化提取ORB特征点，，利用与关键帧Kj配准的深度图，提取ORB特征点处的三维坐标，并将三维坐标添加到ORB特征点的描述符列表，并记录在模型的XML文件中。至此，模型构建完毕。
步骤2：物理对象的标定。在增强现实可视化过程时，为了方便准确的实现虚拟模型的叠加增强显示，需要将物理对象从模型的基准坐标系转换到世界坐标系。
步骤2.1：利用人工标记点即标定板构建世界坐标系，将标定板放置于物理对象周围。
步骤2.2：利用深度传感器的彩色相机采集同时包含物理对象与标定板的图像信息，并对获得的图像进行ORB特征点提取，与模型文件中的ORB特征点进行匹配，通过特征点匹配完成图像二维点到空间三维点的映射匹配，由式(7)求解相机在物理对象基准坐标系下的位姿。
式(7)中为实时图像特征点像素坐标(ui，vi)与与之匹配的模型特征点所记录的三维坐标(xi，yi，zi)，Min相机内参由标定获得，Mex1相机在模型基准坐标系下的外参。
步骤2.3：由式(7)求得相机在世界坐标系下的外参Mex2。
步骤2.4：通过步骤2.2及步骤2.3，可分别获得相机在世界坐标系下、模型基准坐标系下的位姿，由式(8)将物理对象模型中的三维坐标点统一到世界坐标系下，转换矩阵为：
Mex＝(Mex2)-1*Mex1 (8)
步骤3：物理对象的追踪定位。通过深度传感器的彩色相机对物理对象的实时图像采集，利用运动检测，将场景中的运动单元提取，并将运动单元网格均衡化ORB特征点提取，利用随机采样一致性算法优化ORB特征点匹配结果，完成图像二维点到空间三维点的匹配，通过点到点映射算法求解相机在物理对象基准坐标系下的位姿，对运动过程中的追踪结果进行稳定性评估，并利后端优化对当前结果进行修正。在物理对象运动结束时，通过基于网格的ORB特征点匹配算法，获得更精确的图像二维点到空间三维点的映射匹配，解出物理对象位姿状态，
步骤3.1：通过深度传感器的彩色相机对物理对象实时图像采集，用帧差法进行运动检测后进行边缘检测，提取运动的物理对象所在区域，对该区域进行网格均衡化
ORB特征点提取。用帧差法的处理过程如下：
|It-It-1|≥T前景
|It-It-1|<T背景 (9)
式中，T为阈值，可据环境设置或采用自适应算法求解，It-1为前一帧像素值，It为当前像素值。
步骤3.2：用随机采样一致性算法匹配物理对象模型中ORB特征点与步骤3.1获得的特征点，完成图像平面二维点到空间三维坐标点的匹配，通过点到点映射算法求解相机在物理对象基准坐标系下的位姿。
步骤3.2.1：寻找最佳变换矩阵H，令h34＝1归一化处理，有以下等式：
步骤3.2.2：随机抽取4组个不共线的点，计算最佳变换矩阵H，计算重投影误差：
步骤3.2.3：返回步骤3.2.2，迭代K次，得到最佳最佳变换矩阵H。
H＝Min*Mex＝Min*[Rc Tc] (12)
式中，Min相机内参，Mex相机外参，可由上式子求解相机位姿。
步骤3.3：对步骤3.2所求结果进行稳定性评估，通过二次样条插值法对当不稳定结果进行修正。
步骤3.3.1：计算角速度wt，当wt>t1时，将第一帧到第二帧的平均角速度近似为第二帧的瞬时角速度，并作为边界条件，采用二次样条插值法构造角度(α，β，γ方向)—时间曲线，利用角度—时间曲线估计相机的旋转角度，t1为角速度阈值。
步骤3.3.2：计算速度vt，当vt>t2时，将第一帧到第二帧的平均速度近似为第二帧的瞬时速度，并作为边界条件，采用二次样条插值法构造位移(x，y，z方向)—时间曲线，利用位移时间曲线估计相机位置，t2为速度阈值。
步骤3.4：对于物理对象运动终止状态，在要求追踪精度要求较高的工作场景下，通过步骤3.2计算相机位姿，选取与该位姿最佳匹配的关键帧，采用现有的基于网格的ORB特征点匹配算法，获得更精确的匹配结果，求出更精确的物理对象位姿状态。
Claims (1)
1.一种基于自然特征的物理对象追踪定位方法，其特征在于包括以下步骤：
步骤一、利用深度相机或双目立体相机对物理对象的进行多角度图像采集，得到物理对象的图像序列及局部点云p1p2p3......，计算局部点云p1、p2的质心位置，然后计算每个点的去质心坐标q1、q2：
<mrow>
<msub>
<mi>q</mi>
<mrow>
<mn>1</mn>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>p</mi>
<mrow>
<mn>1</mn>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mover>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>,</mo>
<msub>
<mi>q</mi>
<mrow>
<mn>2</mn>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<msub>
<mi>p</mi>
<mrow>
<mn>2</mn>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<mover>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
式(1)中，分别为p1、p2的质心坐标，p1j，p2j，q1j，q2j分别代表局部点云p1、p2，去质心局部点云q1、q2中第j个点；
根据以下目标函数优化问题计算旋转矩阵R：
<mrow>
<msup>
<mi>R</mi>
<mo>*</mo>
</msup>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>R</mi>
</munder>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>q</mi>
<mrow>
<mn>1</mn>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>Rq</mi>
<mrow>
<mn>2</mn>
<mi>j</mi>
</mrow>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
计算平移矩阵t：
<mrow>
<mi>t</mi>
<mo>=</mo>
<mover>
<msub>
<mi>p</mi>
<mn>1</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mi>R</mi>
<mover>
<msub>
<mi>p</mi>
<mn>2</mn>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
由旋转矩阵R求出欧拉角α，β，γ，以5弧度的角度间隔挑选关键帧Kj；通过对物理对象CAD模型点云化处理，得到物理对象的三维点云；利用基于霍夫变换的点云识别算法计算物理对象CAD模型点云与三维场景点云间的平移矩阵Tm及旋转矩阵Rm；将CAD模型点云pm转化到基准坐标系：
pbi＝Rmpmi+tm (4)
式(4)中，pmi代表模型点云pm中第i点，pbi代表模型点云pm中第i点pmi转化到基准坐标系下；
将pb转化到Kj关键帧局部坐标系：
cji＝Rj -1(pbi-tj) (5)
式(5)中cji为模型点云pm中第i点pmi转化到关键帧坐标系下；
利用相机标定获得相机的内参Min，根据式(6)将点集cj中点cji(xi，yi，zi)转化为关键帧Kj中像素点fi(ui，vi)：
<mrow>
<mi>s</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>M</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>*</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
求解像素点集f凸包，即物理对象在关键帧Kj中轮廓，并据此剔除背景；
将处理过的关键帧图像网格化均衡化提取ORB特征点，利用与关键帧Ki配准的深度图，提取ORB特征点处的三维坐标，并将三维坐标添加到对应ORB特征点的描述符列表，并记录在模型的XML文件中；至此，模型构建完毕；
步骤二、利用平面标定板自定义世界坐标系，将标定板放置于物理对象周围；用深度相机或双目立体相机采集同时包含物理对象与标定板的图像Ib；
对Ib进行ORB特征点提取，并与模型文件中的ORB特征点进行匹配，将匹配点带入以下等式，求解相机在物理对象基准坐标系下的位姿；
<mrow>
<mi>s</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>u</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>v</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>M</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<msub>
<mi>M</mi>
<mrow>
<mi>e</mi>
<mi>x</mi>
<mn>1</mn>
</mrow>
</msub>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msub>
<mi>M</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
</mrow>
</msub>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>R</mi>
<mi>c</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>T</mi>
<mi>c</mi>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>f</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>f</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>c</mi>
<mi>y</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>r</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mn>12</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mn>13</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mn>14</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>r</mi>
<mn>21</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mn>22</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mn>23</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mn>24</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>r</mi>
<mn>31</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mn>32</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mn>33</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>r</mi>
<mn>34</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>z</mi>
<mi>i</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
式(7)中为实时图像特征点像素坐标(ui，vi)与与之匹配的模型特征点所记录的三维坐标(xi，yi，zi)，Min相机内参由标定获得，Mex1相机在模型基准坐标系下的外参；
由式(7)求得相机在世界坐标系下的外参Mex2；
将物理对象模型中的三维坐标点统一到世界坐标系下，转换矩阵为：
Mex＝(Mex2)-1*Mex1 (8)
步骤三、通过深度传感器的彩色相机对物理对象实时图像采集，以历史帧为背景，对当前进行运动检测：
|It-It-1|≥T前景
|It-It-1|<T背景 (9)
式(9)中，T为阈值，It-1为前一帧像素，It为当前帧像素值；
由式(9)提取运动的物理对象所在区域，对该区域进行网格均衡化ORB特征点提取；
利用随机采样一致性算法匹配物理对象模型中ORB特征点与的当前帧ORB特征点，完成2D-3D匹配，由式(7)求解相机在物理对象基准坐标系下的位姿；
对所求结果进行稳定性评估，通过二次样条曲线拟合的方式对当不稳定结果进行修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710903308.0A CN107590832A (zh) | 2017-09-29 | 2017-09-29 | 基于自然特征的物理对象追踪定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710903308.0A CN107590832A (zh) | 2017-09-29 | 2017-09-29 | 基于自然特征的物理对象追踪定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107590832A true CN107590832A (zh) | 2018-01-16 |
Family
ID=61047204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710903308.0A Pending CN107590832A (zh) | 2017-09-29 | 2017-09-29 | 基于自然特征的物理对象追踪定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107590832A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550141A (zh) * | 2018-03-29 | 2018-09-18 | 上海大学 | 一种基于深度视觉信息的运动车斗自动识别与定位方法 |
| CN109034418A (zh) * | 2018-07-26 | 2018-12-18 | 国家电网公司 | 作业现场信息传输方法及系统 |
| CN109272453A (zh) * | 2018-08-31 | 2019-01-25 | 盎锐（上海）信息科技有限公司 | 基于3d摄像机的建模装置及定位方法 |
| CN109492639A (zh) * | 2018-11-12 | 2019-03-19 | 北京拓疆者智能科技有限公司 | 装载位置三维坐标获取方法、系统及图像识别设备 |
| CN110209997A (zh) * | 2019-06-10 | 2019-09-06 | 成都理工大学 | 基于三维特征点的深度相机自动标定算法 |
| CN110363801A (zh) * | 2019-07-04 | 2019-10-22 | 陕西丝路机器人智能制造研究院有限公司 | 工件实物与工件三维cad模型的对应点匹配方法 |
| CN110378964A (zh) * | 2018-12-05 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 一种摄像机外参标定方法及装置、存储介质 |
| TWI678679B (zh) * | 2018-07-09 | 2019-12-01 | 財團法人資訊工業策進會 | 空間座標轉換伺服器以及方法 |
| WO2019228523A1 (zh) * | 2018-05-31 | 2019-12-05 | 上海微电子装备（集团）股份有限公司 | 物体空间位置形态的确定方法、装置、存储介质及机器人 |
| CN110728717A (zh) * | 2019-09-27 | 2020-01-24 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
| CN113096165A (zh) * | 2021-04-16 | 2021-07-09 | 无锡物联网创新中心有限公司 | 一种目标对象定位方法及装置 |
| EP3866112A3 (en) * | 2020-11-30 | 2022-01-05 | Beijing Baidu Netcom Science And Technology Co. Ltd. | Method, apparatus, device, storage medium and program for three-dimensional reconstruction |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150243035A1 (en) * | 2014-02-21 | 2015-08-27 | Metaio Gmbh | Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest |
| CN106651942A (zh) * | 2016-09-29 | 2017-05-10 | 苏州中科广视文化科技有限公司 | 基于特征点的三维旋转运动检测与旋转轴定位方法 |
| CN106780601A (zh) * | 2016-12-01 | 2017-05-31 | 北京未动科技有限公司 | 一种空间位置追踪方法、装置及智能设备 |
-
2017
- 2017-09-29 CN CN201710903308.0A patent/CN107590832A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150243035A1 (en) * | 2014-02-21 | 2015-08-27 | Metaio Gmbh | Method and device for determining a transformation between an image coordinate system and an object coordinate system associated with an object of interest |
| CN106651942A (zh) * | 2016-09-29 | 2017-05-10 | 苏州中科广视文化科技有限公司 | 基于特征点的三维旋转运动检测与旋转轴定位方法 |
| CN106780601A (zh) * | 2016-12-01 | 2017-05-31 | 北京未动科技有限公司 | 一种空间位置追踪方法、装置及智能设备 |
Non-Patent Citations (1)
| Title |
|---|
| GILES WESTERFIELD 等: "《Intelligent Augmented Reality Training for Motherboard Assembly》", 《SPRINGER:INT J ARTIF INTELL EDUC》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550141A (zh) * | 2018-03-29 | 2018-09-18 | 上海大学 | 一种基于深度视觉信息的运动车斗自动识别与定位方法 |
| WO2019228523A1 (zh) * | 2018-05-31 | 2019-12-05 | 上海微电子装备（集团）股份有限公司 | 物体空间位置形态的确定方法、装置、存储介质及机器人 |
| CN110555878B (zh) * | 2018-05-31 | 2021-04-13 | 上海微电子装备（集团）股份有限公司 | 物体空间位置形态的确定方法、装置、存储介质及机器人 |
| CN110555878A (zh) * | 2018-05-31 | 2019-12-10 | 上海微电子装备（集团）股份有限公司 | 物体空间位置形态的确定方法、装置、存储介质及机器人 |
| TWI678679B (zh) * | 2018-07-09 | 2019-12-01 | 財團法人資訊工業策進會 | 空間座標轉換伺服器以及方法 |
| CN109034418A (zh) * | 2018-07-26 | 2018-12-18 | 国家电网公司 | 作业现场信息传输方法及系统 |
| CN109272453A (zh) * | 2018-08-31 | 2019-01-25 | 盎锐（上海）信息科技有限公司 | 基于3d摄像机的建模装置及定位方法 |
| CN109272453B (zh) * | 2018-08-31 | 2023-02-10 | 上海盎维信息技术有限公司 | 基于3d摄像机的建模装置及定位方法 |
| CN109492639A (zh) * | 2018-11-12 | 2019-03-19 | 北京拓疆者智能科技有限公司 | 装载位置三维坐标获取方法、系统及图像识别设备 |
| CN110378964A (zh) * | 2018-12-05 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 一种摄像机外参标定方法及装置、存储介质 |
| CN110378964B (zh) * | 2018-12-05 | 2021-07-30 | 北京京东尚科信息技术有限公司 | 一种摄像机外参标定方法及装置、存储介质 |
| CN110209997A (zh) * | 2019-06-10 | 2019-09-06 | 成都理工大学 | 基于三维特征点的深度相机自动标定算法 |
| CN110363801A (zh) * | 2019-07-04 | 2019-10-22 | 陕西丝路机器人智能制造研究院有限公司 | 工件实物与工件三维cad模型的对应点匹配方法 |
| CN110363801B (zh) * | 2019-07-04 | 2023-04-18 | 陕西丝路机器人智能制造研究院有限公司 | 工件实物与工件三维cad模型的对应点匹配方法 |
| CN110728717A (zh) * | 2019-09-27 | 2020-01-24 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
| CN110728717B (zh) * | 2019-09-27 | 2022-07-15 | Oppo广东移动通信有限公司 | 定位方法及装置、设备、存储介质 |
| US11417056B2 (en) | 2020-11-30 | 2022-08-16 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and storage medium for three-dimensional reconstruction |
| EP3866112A3 (en) * | 2020-11-30 | 2022-01-05 | Beijing Baidu Netcom Science And Technology Co. Ltd. | Method, apparatus, device, storage medium and program for three-dimensional reconstruction |
| CN113096165B (zh) * | 2021-04-16 | 2022-02-18 | 无锡物联网创新中心有限公司 | 一种目标对象定位方法及装置 |
| CN113096165A (zh) * | 2021-04-16 | 2021-07-09 | 无锡物联网创新中心有限公司 | 一种目标对象定位方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107590832A (zh) | 基于自然特征的物理对象追踪定位方法 | |
| CN110264416B (zh) | 稀疏点云分割方法及装置 | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN109035200B (zh) | 一种基于单双目视觉协同的螺栓定位及位姿检测方法 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| CN106548462B (zh) | 基于薄板样条插值的非线性sar图像几何校正方法 | |
| CN113178009B (zh) | 一种利用点云分割和网格修补的室内三维重建方法 | |
| CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN104156536B (zh) | 一种盾构机刀具磨损的可视化定量标定及分析方法 | |
| CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
| KR20180087947A (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
| CN111476841B (zh) | 一种基于点云和图像的识别定位方法及系统 | |
| CN103198477B (zh) | 一种采用苹果套袋机器人进行视觉定位的方法 | |
| CN107862735B (zh) | 一种基于结构信息的rgbd三维场景重建方法 | |
| CN111897349A (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
| CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
| CN107492107B (zh) | 基于平面与空间信息融合的物体识别与重建方法 | |
| CN110021039A (zh) | 序列图像约束的多视角实物表面点云数据初始配准方法 | |
| CN110532865B (zh) | 基于可见光与激光融合的航天器结构识别方法 | |
| KR101714224B1 (ko) | 센서 융합 기반 3차원 영상 복원 장치 및 방법 | |
| CN106709432B (zh) | 基于双目立体视觉的人头检测计数方法 | |
| CN114639115A (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| CN113724329A (zh) | 融合平面与立体信息的目标姿态估计方法、系统和介质 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| CN114419259B (zh) | 一种基于物理模型成像仿真的视觉定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180116 |