CN108053491A - 动态视角条件下实现平面目标三维跟踪和增强现实的方法 - Google Patents

动态视角条件下实现平面目标三维跟踪和增强现实的方法 Download PDF

Info

Publication number
CN108053491A
CN108053491A CN201711314517.8A CN201711314517A CN108053491A CN 108053491 A CN108053491 A CN 108053491A CN 201711314517 A CN201711314517 A CN 201711314517A CN 108053491 A CN108053491 A CN 108053491A
Authority
CN
China
Prior art keywords
module
planar target
coordinates
processing module
stc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711314517.8A
Other languages
English (en)
Inventor
禄盛
杨佳东
赵洋
陈翔
邓聪颖
马莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201711314517.8A priority Critical patent/CN108053491A/zh
Publication of CN108053491A publication Critical patent/CN108053491A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种动态视角条件下实现平面目标三维跟踪和增强现实的方法，该方法通过STC跟踪算法对图像中的多个区域分别进行跟踪以得到相应的2D坐标，然后根据2D坐标解算出位姿矩阵，最终实现对平面目标的三维跟踪和增强现实；本发明的有益技术效果是：提出了一种动态视角条件下实现平面目标三维跟踪和增强现实的方法，该方法能够通过多点视觉跟踪来实现三维跟踪，不受边和特征点的限制，而且能稳定、精确、实时地实现对平面目标的三维跟踪。

Description

动态视角条件下实现平面目标三维跟踪和增强现实的方法
技术领域
本发明涉及一种虚拟图像处理技术，尤其涉及一种动态视角条件下实现平面目标三维跟踪和增强现实的方法。
背景技术
基于现有技术可知，增强现实技术是一种能在真实场景图像中融合虚拟信息，进而对真实场景图像起到增强效果的计算机辅助技术。在实际应用中，为了实现虚拟信息与图像中真实场景的完美融合，需要实时而准确地获取到图像中场景或目标相对于相机的位姿信息。
目前，基于平面目标跟踪的增强现实应用种类较多，比如AR魔法书、AR涂涂乐、AR模型展览等等；这些增强现实应用基本上都是采用基于边或特征点信息的平面目标跟踪方法；然而，基于边的平面目标跟踪方法受边的限制较大，无法跟踪局部闭塞和混乱场景中的平面目标，而且对于相机抖动带来的边缘模糊比较敏感，很容易出现跟踪失败；基于特征点的平面目标跟踪方法，受目标纹理的限制较大，无法跟踪纹理较少和金属类的平面目标；而且在目标较小和图像轻度模糊时，一般的ORB、fast等特征点的匹配结果较差，很容易发生跟踪失败，而稳定性能较好的SIFT特征点，系统的计算开销特别大，无法满足实时性要求。
发明内容
针对背景技术中的问题，本发明提出了一种动态视角条件下实现平面目标三维跟踪和增强现实的方法，所涉及的硬件包括图像采集模块、显示模块、人机对话模块和处理模块；所述图像采集模块、显示模块和人机对话模块均与处理模块连接；其创新在于：被跟踪的对象记为平面目标，所述平面目标为二维平面结构，所述二维平面结构的几何中心和几何尺寸已知；将所述平面目标设置在一平面场景中，跟踪过程中，平面目标静止不动；所述方法包括：
1)在平面目标表面选定4个或4个以上的点位作为识别点；
2)以平面目标的几何中心为原点O，平面目标所在平面为XOY平面，建立三维笛卡尔坐标系；所述三维笛卡尔坐标系简记为3D坐标系；根据各个识别点在平面目标上的分布位置得到各个识别点的3D坐标，将各个识别点所对应的3D坐标导入处理模块；识别点在3D坐标系中的坐标即为3D坐标；
3)建立用于后期增强现实三维渲染的虚拟模型；所述虚拟模型预存在处理模块中；
4)为图像采集模块的像平面生成二维笛卡尔坐标系，所述二维笛卡尔坐标系简记为2D坐标系；所述2D坐标系预存在处理模块中；
5)控制图像采集模块驻停在某一位置，然后通过图像采集模块获取首帧图像并将首帧图像传输至处理模块，处理模块控制显示模块对首帧图像进行显示；所述识别点全部位于首帧图像的画面中；
6)操作人员通过显示模块观察首帧图像，然后通过操作人机对话模块，在首帧图像上标记出多个跟踪点位，以及设定好跟踪点位与识别点的对应关系，至此，跟踪点位和相应的识别点就形成了对应关系，此对应关系简记为2D-3D关系；首帧图像的画面中与识别点对应的点位即为跟踪点位，跟踪点位与识别点一一对应；
7)处理模块在2D坐标系上为每个跟踪点位生成相应的跟踪区，各个跟踪区互不干涉，跟踪点位位于相应跟踪区的中心；图像采集模块的像平面上与跟踪区对应的区域记为识别区；然后，处理模块根据识别区内的灰度分布，为每个跟踪区生成相应的灰度梯度上下文；然后，处理模块为每个跟踪区分配独立的STC处理单元，并用灰度梯度上下文对相应的STC处理单元进行初始化；跟踪点位在2D坐标系中的坐标记为2D坐标，STC处理单元初始化后，STC处理单元采用STC跟踪算法解算出相应的2D坐标并对STC跟踪算法内的2D坐标的数值进行更新；
8)处理模块根据2D坐标、2D-3D关系、图像采集模块的内参矩阵和图像采集模块的畸变矩阵，采用PNP算法解算出平面目标相对于所述像平面的位姿矩阵；同时，处理模块根据STC跟踪算法内的2D坐标的数值，对各个跟踪区的位置进行更新；
9)处理模块根据所述内参矩阵、畸变矩阵和位姿矩阵，将所述虚拟模型注册至首帧图像中，得到三维增强现实视图，处理模块控制显示模块对三维增强现实视图进行显示；
10)之后，控制图像采集模块运动并实时获取图像数据；每收到一帧图像数据，处理模块就按如下方式对图像数据进行处理：
A)处理模块根据相应识别区内的灰度分布，为每个跟踪区生成相应的灰度梯度上下文，然后将灰度梯度上下文发送给对应的STC处理单元；STC处理单元采用STC跟踪算法解算出相应跟踪点位当前的2D坐标并对STC跟踪算法内的2D坐标的数值进行更新；
B)处理模块根据2D坐标、2D-3D关系、图像采集模块的内参矩阵和图像采集模块的畸变矩阵，采用PNP算法解算出平面目标相对于所述像平面的位姿矩阵；同时，处理模块根据STC跟踪算法内的2D坐标的数值，对各个跟踪区的位置进行调节；
C)处理模块根据所述内参矩阵、畸变矩阵和位姿矩阵，将所述虚拟模型注册至当前帧图像中，得到三维增强现实视图，处理模块控制显示模块对三维增强现实视图进行显示。
本发明的原理是：在前述方案中，多个STC处理单元能够对多个跟踪点位进行一对一的实时跟踪，于是我们就可以实时获取到各个跟踪点位在像平面上的位置(也即2D坐标)，由于跟踪点位与识别点存在2D-3D关系，在图像采集模块的内参矩阵和畸变矩阵已知的情况下，利用PNP算法就能解算出平面目标相对于像平面的位姿矩阵，进而就能实现虚拟模型的显示视角对拍摄视角的三维跟踪，同时，也就能够以正确的角度显示出渲染后的增强现实效果；从方案中可见，采用多个STC处理单元对多个跟踪点位进行实时跟踪是方案的核心，这种处理方式使得我们可以通过多点视觉跟踪来解决三维跟踪问题，由于STC跟踪算法的固有优点和各个点位的分散分布特性，使得本发明可以不受边和特征点的限制，而且能稳定、精确、实时地实现对平面目标的三维跟踪；现有技术在应用STC跟踪算法时，一般采用灰度上下文来获得上下文先验模型，由灰度特征得到的统计相关性对光照变化的鲁棒性不佳，于是，发明人采用了对光照变化定鲁棒性更好的梯度特征来替换灰度特征，以解决剧烈的光照变化对STC跟踪算法的影响。4个坐标是PNP算法解算位姿矩阵的最低要求，因此本发明采用了4个或4个以上的识别点，识别点数量越多，精确性肯定越好，但需注意的是，识别点也并非越多越好，识别点过多会导致运算开销较大，处理的实时性将会降低，具体实施时，可根据硬件性能，合理选择识别点数量。
优选地，所述灰度梯度上下文由灰度上下文计算像素梯度而得。
优选地，所述步骤3)结束后，采用7×9的黑白块方格标定板对图像采集模块的像平面进行标定并获取图像采集模块的内参矩阵和图像采集模块的畸变矩阵，然后按步骤4)中方式进行操作。在本发明的主方案中，图像采集模块的内参矩阵和畸变矩阵是作为已知条件存在的，在实际工程，有可能图像采集模块的内参矩阵和畸变矩阵无法书面获知，为了提高方法的通用性，于是发明人在主方案基础上又引入了前述的优选方案，通过这种方式，处理模块就能对图像采集模块的性能参数进行自动识别。
优选地，所述跟踪区的像素尺寸为60×60。经多次试验验证，跟踪区的像素尺寸过小时，特征信息太少跟踪误差较大，跟踪区的像素尺寸过大，运算开销和时延都较大，跟踪区的像素尺寸为60×60，是多次试验得到的优选参数。
本发明的有益技术效果是：提出了一种动态视角条件下实现平面目标三维跟踪和增强现实的方法，该方法能够通过多点视觉跟踪来实现三维跟踪，不受边和特征点的限制，而且能稳定、精确、实时地实现对平面目标的三维跟踪。
附图说明
图1、图像采集模块和平面目标相对位置示意图；
图2、三维笛卡尔坐标系示意图；
图3、首帧图像示意图；
图中各个标记所对应的名称分别为：平面目标1，图像采集模块2，识别区3，识别点p1、p2、p3、p4，3D坐标k1、k2、k3、k4，
具体实施方式
一种动态视角条件下实现平面目标三维跟踪和增强现实的方法，所涉及的硬件包括图像采集模块、显示模块、人机对话模块和处理模块；所述图像采集模块、显示模块和人机对话模块均与处理模块连接；其创新在于：被跟踪的对象记为平面目标，所述平面目标为二维平面结构，所述二维平面结构的几何中心和几何尺寸已知；将所述平面目标设置在一平面场景中，跟踪过程中，平面目标静止不动；所述方法包括：
1)在平面目标表面选定4个或4个以上的点位作为识别点；
2)以平面目标的几何中心为原点O，平面目标所在平面为XOY平面，建立三维笛卡尔坐标系；所述三维笛卡尔坐标系简记为3D坐标系；根据各个识别点在平面目标上的分布位置得到各个识别点的3D坐标，将各个识别点所对应的3D坐标导入处理模块；识别点在3D坐标系中的坐标即为3D坐标；
3)建立用于后期增强现实三维渲染的虚拟模型；所述虚拟模型预存在处理模块中；
4)为图像采集模块的像平面生成二维笛卡尔坐标系，所述二维笛卡尔坐标系简记为2D坐标系；所述2D坐标系预存在处理模块中；
5)控制图像采集模块驻停在某一位置，然后通过图像采集模块获取首帧图像并将首帧图像传输至处理模块，处理模块控制显示模块对首帧图像进行显示；所述识别点全部位于首帧图像的画面中；
6)操作人员通过显示模块观察首帧图像，然后通过操作人机对话模块，在首帧图像上标记出多个跟踪点位，以及设定好跟踪点位与识别点的对应关系，至此，跟踪点位和相应的识别点就形成了对应关系，此对应关系简记为2D-3D关系；首帧图像的画面中与识别点对应的点位即为跟踪点位，跟踪点位与识别点一一对应；
7)处理模块在2D坐标系上为每个跟踪点位生成相应的跟踪区，各个跟踪区互不干涉，跟踪点位位于相应跟踪区的中心；图像采集模块的像平面上与跟踪区对应的区域记为识别区；然后，处理模块根据识别区内的灰度分布，为每个跟踪区生成相应的灰度梯度上下文；然后，处理模块为每个跟踪区分配独立的STC处理单元，并用灰度梯度上下文对相应的STC处理单元进行初始化；跟踪点位在2D坐标系中的坐标记为2D坐标，STC处理单元初始化后，STC处理单元采用STC跟踪算法解算出相应的2D坐标并对STC跟踪算法内的2D坐标的数值进行更新；
8)处理模块根据2D坐标、2D-3D关系、图像采集模块的内参矩阵和图像采集模块的畸变矩阵，采用PNP算法解算出平面目标相对于所述像平面的位姿矩阵；同时，处理模块根据STC跟踪算法内的2D坐标的数值，对各个跟踪区的位置进行更新；
9)处理模块根据所述内参矩阵、畸变矩阵和位姿矩阵，将所述虚拟模型注册至首帧图像中，得到三维增强现实视图，处理模块控制显示模块对三维增强现实视图进行显示；
10)之后，控制图像采集模块运动并实时获取图像数据；每收到一帧图像数据，处理模块就按如下方式对图像数据进行处理：
A)处理模块根据相应识别区内的灰度分布，为每个跟踪区生成相应的灰度梯度上下文，然后将灰度梯度上下文发送给对应的STC处理单元；STC处理单元采用STC跟踪算法解算出相应跟踪点位当前的2D坐标并对STC跟踪算法内的2D坐标的数值进行更新；
B)处理模块根据2D坐标、2D-3D关系、图像采集模块的内参矩阵和图像采集模块的畸变矩阵，采用PNP算法解算出平面目标相对于所述像平面的位姿矩阵；同时，处理模块根据STC跟踪算法内的2D坐标的数值，对各个跟踪区的位置进行调节；
C)处理模块根据所述内参矩阵、畸变矩阵和位姿矩阵，将所述虚拟模型注册至当前帧图像中，得到三维增强现实视图，处理模块控制显示模块对三维增强现实视图进行显示。
进一步地，所述灰度梯度上下文由灰度上下文计算像素梯度而得。
进一步地，所述步骤3)结束后，采用7×9的黑白块方格标定板对图像采集模块的像平面进行标定并获取图像采集模块的内参矩阵和图像采集模块的畸变矩阵，然后按步骤4)中方式进行操作。
进一步地，所述跟踪区的像素尺寸为60×60。
参见图1，图中的平面目标为平面矩形结构，将平面目标的四个顶角分别作为四个识别点，为其建立三维笛卡尔坐标系如图2所示，图1中的四个识别点p1、p2、p3、p4分别与图2中的四个3D坐标k1、k2、k3、k4对应，参见图3，图中四个方框区域即为与四个识别点一一对应的四个识别区，识别区的中心即为相应的跟踪点位；由于平面目标是静止不动的，因此四个识别点的3D坐标是不变的，当图像采集模块运动时，跟踪点位在图像上的位置也会随之变化，由于处理模块是对图像数据进行逐帧处理，对单帧图像而言，每个跟踪点位的2D坐标是唯一的，因此，根据每帧图像所对应的四个2D坐标即可解算出相应的位姿矩阵，再结合STC处理单元的跟踪性能，我们就能实时解算出各个跟踪点位相对于每帧图像的2D坐标，最终就能实现对平面目标的三维跟踪，在实现了三维跟踪的条件下，我们就能够实时调节虚拟模型在图像中的显示视角，使得虚拟模型与真实的平面目标完美融合，进而就实现了平面目标的三维跟踪，并获得了相应的增强现实效果。
本发明除了可以应用于游戏娱乐领域外，还可应用于工业领域，比如，可以以零部件安装部位上的某一区域作为跟踪目标，为相应的零部件及其安装位置和安装方式制作三维模型，装配操作人员可通过三维增强现实视图直观、形象地看到如何安装零部件。

Claims (4)

1.一种动态视角条件下实现平面目标三维跟踪和增强现实的方法，所涉及的硬件包括图像采集模块、显示模块、人机对话模块和处理模块；所述图像采集模块、显示模块和人机对话模块均与处理模块连接；其特征在于：被跟踪的对象记为平面目标，所述平面目标为二维平面结构，所述二维平面结构的几何中心和几何尺寸已知；将所述平面目标设置在一平面场景中，跟踪过程中，平面目标静止不动；所述方法包括：
1)在平面目标表面选定4个或4个以上的点位作为识别点；
2)以平面目标的几何中心为原点O，平面目标所在平面为XOY平面，建立三维笛卡尔坐标系；所述三维笛卡尔坐标系简记为3D坐标系；根据各个识别点在平面目标上的分布位置得到各个识别点的3D坐标，将各个识别点所对应的3D坐标导入处理模块；识别点在3D坐标系中的坐标即为3D坐标；
3)建立用于后期增强现实三维渲染的虚拟模型；所述虚拟模型预存在处理模块中；
4)为图像采集模块的像平面生成二维笛卡尔坐标系，所述二维笛卡尔坐标系简记为2D坐标系；所述2D坐标系预存在处理模块中；
5)控制图像采集模块驻停在某一位置，然后通过图像采集模块获取首帧图像并将首帧图像传输至处理模块，处理模块控制显示模块对首帧图像进行显示；所述识别点全部位于首帧图像的画面中；
6)操作人员通过显示模块观察首帧图像，然后通过操作人机对话模块，在首帧图像上标记出多个跟踪点位，以及设定好跟踪点位与识别点的对应关系，至此，跟踪点位和相应的识别点就形成了对应关系，此对应关系简记为2D-3D关系；首帧图像的画面中与识别点对应的点位即为跟踪点位，跟踪点位与识别点一一对应；
7)处理模块在2D坐标系上为每个跟踪点位生成相应的跟踪区，各个跟踪区互不干涉，跟踪点位位于相应跟踪区的中心；图像采集模块的像平面上与跟踪区对应的区域记为识别区；然后，处理模块根据识别区内的灰度分布，为每个跟踪区生成相应的灰度梯度上下文；然后，处理模块为每个跟踪区分配独立的STC处理单元，并用灰度梯度上下文对相应的STC处理单元进行初始化；跟踪点位在2D坐标系中的坐标记为2D坐标，STC处理单元初始化后，STC处理单元采用STC跟踪算法解算出相应的2D坐标并对STC跟踪算法内的2D坐标的数值进行更新；
8)处理模块根据2D坐标、2D-3D关系、图像采集模块的内参矩阵和图像采集模块的畸变矩阵，采用PNP算法解算出平面目标相对于所述像平面的位姿矩阵；同时，处理模块根据STC跟踪算法内的2D坐标的数值，对各个跟踪区的位置进行更新；
9)处理模块根据所述内参矩阵、畸变矩阵和位姿矩阵，将所述虚拟模型注册至首帧图像中，得到三维增强现实视图，处理模块控制显示模块对三维增强现实视图进行显示；
10)之后，控制图像采集模块运动并实时获取图像数据；每收到一帧图像数据，处理模块就按如下方式对图像数据进行处理：
A)处理模块根据相应识别区内的灰度分布，为每个跟踪区生成相应的灰度梯度上下文，然后将灰度梯度上下文发送给对应的STC处理单元；STC处理单元采用STC跟踪算法解算出相应跟踪点位当前的2D坐标并对STC跟踪算法内的2D坐标的数值进行更新；
B)处理模块根据2D坐标、2D-3D关系、图像采集模块的内参矩阵和图像采集模块的畸变矩阵，采用PNP算法解算出平面目标相对于所述像平面的位姿矩阵；同时，处理模块根据STC跟踪算法内的2D坐标的数值，对各个跟踪区的位置进行调节；
C)处理模块根据所述内参矩阵、畸变矩阵和位姿矩阵，将所述虚拟模型注册至当前帧图像中，得到三维增强现实视图，处理模块控制显示模块对三维增强现实视图进行显示。
2.根据权利要求1所述的动态视角条件下实现平面目标三维跟踪和增强现实的方法，其特征在于：所述灰度梯度上下文由灰度上下文计算像素梯度而得。
3.根据权利要求1所述的动态视角条件下实现平面目标三维跟踪和增强现实的方法，其特征在于：所述步骤3)结束后，采用7×9的黑白块方格标定板对图像采集模块的像平面进行标定并获取图像采集模块的内参矩阵和图像采集模块的畸变矩阵，然后按步骤4)中方式进行操作。
4.根据权利要求1所述的动态视角条件下实现平面目标三维跟踪和增强现实的方法，其特征在于：所述跟踪区的像素尺寸为60×60。
CN201711314517.8A 2017-12-12 2017-12-12 动态视角条件下实现平面目标三维跟踪和增强现实的方法 Pending CN108053491A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711314517.8A CN108053491A (zh) 2017-12-12 2017-12-12 动态视角条件下实现平面目标三维跟踪和增强现实的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711314517.8A CN108053491A (zh) 2017-12-12 2017-12-12 动态视角条件下实现平面目标三维跟踪和增强现实的方法

Publications (1)

Publication Number Publication Date
CN108053491A true CN108053491A (zh) 2018-05-18

Family

ID=62123483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711314517.8A Pending CN108053491A (zh) 2017-12-12 2017-12-12 动态视角条件下实现平面目标三维跟踪和增强现实的方法

Country Status (1)

Country Link
CN (1) CN108053491A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109091228A (zh) * 2018-07-04 2018-12-28 首都医科大学 一种多器械光学定位方法及系统
CN111179342A (zh) * 2019-12-11 2020-05-19 上海非夕机器人科技有限公司 物体位姿的估计方法、装置、存储介质和机器人
CN112734797A (zh) * 2019-10-29 2021-04-30 浙江商汤科技开发有限公司 图像特征跟踪方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177468A (zh) * 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法
CN103854283A (zh) * 2014-02-21 2014-06-11 北京理工大学 一种基于在线学习的移动增强现实跟踪注册方法
CN106125907A (zh) * 2016-06-13 2016-11-16 西安电子科技大学 一种基于线框模型的三维目标注册定位方法
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN106897982A (zh) * 2017-02-23 2017-06-27 淮阴工学院 基于图像无标记识别的现实增强方法
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
CN107045726A (zh) * 2017-04-27 2017-08-15 南京航空航天大学 一种改良的基于时空上下文模型的目标跟踪方法
US20170352190A1 (en) * 2016-06-02 2017-12-07 Thales Visionix, Inc. Miniature vision-inertial navigation system with extended dynamic range

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177468A (zh) * 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法
CN103854283A (zh) * 2014-02-21 2014-06-11 北京理工大学 一种基于在线学习的移动增强现实跟踪注册方法
US20170352190A1 (en) * 2016-06-02 2017-12-07 Thales Visionix, Inc. Miniature vision-inertial navigation system with extended dynamic range
CN106125907A (zh) * 2016-06-13 2016-11-16 西安电子科技大学 一种基于线框模型的三维目标注册定位方法
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN106897982A (zh) * 2017-02-23 2017-06-27 淮阴工学院 基于图像无标记识别的现实增强方法
CN107016704A (zh) * 2017-03-09 2017-08-04 杭州电子科技大学 一种基于增强现实的虚拟现实实现方法
CN107045726A (zh) * 2017-04-27 2017-08-15 南京航空航天大学 一种改良的基于时空上下文模型的目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CRIVELLARO A, RAD M, VERDIE Y, ET AL.: "A Novel Representation of Parts for Accurate 3D Object Detection and Tracking in Monocular Images", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
刘昭: "基于稀疏表示和时空上下文的目标跟踪方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
许海霞: "机器视觉标定与目标检测跟踪方法及其应用研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109091228A (zh) * 2018-07-04 2018-12-28 首都医科大学 一种多器械光学定位方法及系统
CN109091228B (zh) * 2018-07-04 2020-05-12 首都医科大学 一种多器械光学定位方法及系统
CN112734797A (zh) * 2019-10-29 2021-04-30 浙江商汤科技开发有限公司 图像特征跟踪方法、装置及电子设备
CN111179342A (zh) * 2019-12-11 2020-05-19 上海非夕机器人科技有限公司 物体位姿的估计方法、装置、存储介质和机器人
CN111179342B (zh) * 2019-12-11 2023-11-17 上海非夕机器人科技有限公司 物体位姿的估计方法、装置、存储介质和机器人

Similar Documents

Publication Publication Date Title
US20240153143A1 (en) Multi view camera registration
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
US10378877B2 (en) Image processing device, image processing method, and program
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
CN103345736B (zh) 一种虚拟视点绘制方法
CN109887003A (zh) 一种用于进行三维跟踪初始化的方法与设备
CN109461174A (zh) 视频目标区域跟踪方法和视频平面广告植入方法及系统
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN103400409A (zh) 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
WO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
WO2012096747A1 (en) Forming range maps using periodic illumination patterns
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN108629810B (zh) 双目相机的标定方法、装置及终端
CN104835143A (zh) 一种快速投影机系统参数标定方法
CN110706159B (zh) 空间坐标转换服务器以及方法
CN108053491A (zh) 动态视角条件下实现平面目标三维跟踪和增强现实的方法
Audet et al. Direct image alignment of projector-camera systems with planar surfaces
JP2012185772A (ja) 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム
CN107145224A (zh) 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN113160421A (zh) 一种基于投影的空间式实物交互虚拟实验方法
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
CN106204744B (zh) 利用编码光源为标志物的增强现实三维注册方法
CN106408654B (zh) 一种三维地图的创建方法及系统
Lee et al. Estimation of illuminants for plausible lighting in augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication