CN108694348A - 一种基于自然特征的跟踪注册方法及装置 - Google Patents
一种基于自然特征的跟踪注册方法及装置 Download PDFInfo
- Publication number
- CN108694348A CN108694348A CN201710222902.3A CN201710222902A CN108694348A CN 108694348 A CN108694348 A CN 108694348A CN 201710222902 A CN201710222902 A CN 201710222902A CN 108694348 A CN108694348 A CN 108694348A
- Authority
- CN
- China
- Prior art keywords
- face
- image sequence
- module
- tracing registration
- human face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000011159 matrix material Substances 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000001815 facial effect Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005303 weighing Methods 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000184339 Nemophila maculata Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于自然特征的跟踪注册方法及装置，所述跟踪注册方法包括以下步骤：图像序列划分，获取图像序列后，对图像序列进行人脸检测，并将所述图像序列划分为人脸区域和背景区域；相机位姿估计，对所述背景区域提取特征，并通过帧间匹配估算相机位姿，计算投影矩阵；人脸视觉检测，将所述人脸区域进行人脸特征点定位和人脸姿态估计；跟踪注册，根据所述上述步骤所得参数计算注册矩阵，完成跟踪注册；所述装置包括图像序列划分模块、相机位姿估计模块、人脸视觉检测模块和跟踪注册模块。本技术方案能够有效实现运动相机和运动目标区域之间的估计，完成增强现实的跟踪注册。
Description
技术领域
本发明涉及计算机增强现实领域，具体地，涉及一种基于自然特征的跟踪注册方法及装置。
背景技术
增强现实技术(Augmented Reality，AR)是目前计算机技术快速发展的重要领域之一，其通过计算机生成的虚拟环境与用户周围的现实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分。基于视觉的增强现实系统中，跟踪注册技术是其核心技术，用来跟踪相机在三维空间的运动轨迹，计算三维空间点到图像像素点的投影变换矩阵。跟踪注册技术分为基于标识的跟踪注册方法和基于自然特征的跟踪注册方法，基于标识的跟踪注册方法采用人工放置标识物的方式实现目标跟踪定位，具有跟踪定位精准，实现简单的特点，但无法避免标识物遮挡和环境光照变化带来的影响。基于自然特征的跟踪注册方法基于现实世界的对象识别技术，可用于无需提前预设的场景，适用于大范围，不易安置标识物的复杂场景中，因此具有广泛研究应用的价值。但基于自然特征的跟踪注册技术是基于三维空间静止的特征点来进行相机跟踪和计算注册矩阵的，由于实际应用中人和相机都在运动，无法直接计算出两者之间的变换矩阵，从而会导致无法将计算机生成的虚拟信息注册到目标区域上的问题。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种能有效实现运动相机和运动目标区域之间的估计，从而准确计算注册矩阵的基于自然特征的跟踪注册方法；进一步地，提供应用该方法的装置。
为实现上述第一个发明目的，本发明所采用的技术方案如下：
一种基于自然特征的跟踪注册方法，包括以下步骤：
图像序列划分：获取图像序列后，对图像序列进行人脸检测，并将所述图像序列划分为人脸区域和背景区域；
相机位姿估计：对所述背景区域提取特征，并通过帧间匹配估算相机位姿，计算投影矩阵，并得到三维空间不变点；
人脸视觉检测：将所述人脸区域进行人脸特征点定位，得到人脸特征点位置信息，再进行人脸姿态估计；
跟踪注册：根据所述投影矩阵、人脸特征点位置信息和三维空间不变点计算注册矩阵，完成跟踪注册。
需要说明的是，在之前的基于自然特征的跟踪注册方法中，所采用的通常是采取三维空间静止的特征点来进行相机跟踪和计算注册矩阵的方法而实现的，例如静态的人脸和运动的相机，但在实际的应用中，人和相机往往都在运动，因此采用常规方法的时候就会出现无法直接计算出两者之间的变换矩阵，从而会导致无法将计算机生成的虚拟信息注册到目标区域上的问题。为解决这个问题，发明人创新性地分别通过相机位姿估计和人脸视觉检测得出投影矩阵、人脸特征点位置信息和三维空间不变点，并通过这三个参数计算注册矩阵，完成跟踪注册，从而有效地克服了不能对均在运动的人和相机进行跟踪注册的问题，真正实现了对运动相机和运动目标区域之间的估计。
优选地，所述帧间匹配估算包括判断步骤：判断所述背景区域提取特征的数量是否大于或等于预设阈值，若是，采用特征点法计算帧间图像的匹配点；若否，采用直接法计算帧间图像匹配点。
需要说明的是，由于在实际的应用中背景区域的图像环境会有不同，有些背景区域图像较为复杂，有些较为单一，导致所需提取背景区域的特征数量会有所不同。为进一步提高相机姿态估计稳定性，本发明通过预设阈值并将其与背景区域提取特征的数量进行比较，若背景区域提取特征的数量大于或等于预设阈值则采用特征点法计算帧间图像的匹配点；若背景区域提取特征的数量小于预设阈值，则采用直接法计算帧间图像匹配点。这样能够提高计算帧间图像匹配点的效率，促进后续方案的效率提升。
优选地，所述人脸姿态估计是通过在所述人脸特征点定位后获取若干点的位置信息并假设其确定一平面，然后利用几何关系计算所述平面的法线向量，并分解人脸绕旋转轴的旋转角度所计算确定的。
优选地，所述人脸检测包括人脸判断：提取图像序列的特征，根据所述特征判断图像中是否包含人脸，若是，则继续进行图像序列划分；若否，则重新进行人脸判断。
需要说明的是，由于本技术方案其中一个步骤是需要通过人脸检测得到相关参数，因此可在人脸检测中设置人脸判断步骤，判断所述图像中是否包含有人脸，若有，则进行图像序列划分；若否，则重新对图像进行判断，使得后续的划分步骤效果更佳。
进一步优选地，所述人脸判断包括真实人脸判断：判断所述人脸是否为真实人脸，若是，则继续进行图像序列划分；若否，则重新进行人脸判断。
需要说明的是，作为进一步可选的一种实施方式，所述人脸判断步骤还包括真实人脸判断步骤，即识别出该人脸是真实人脸或是非真实人脸(如照片人脸、图画人脸等)，防止非真实人脸对本方法的干扰混淆，确保本方法实施的有效性。
为实现上述第二个发明目的，本发明所采用的技术方案如下：
一种基于自然特征的跟踪注册装置，包括以下模块：
图像序列划分模块：用于获取图像序列后，对图像序列进行人脸检测，并将所述图像序列划分为人脸区域和背景区域；
相机位姿估计模块：用于对所述背景区域提取特征，并通过帧间匹配模块估算相机位姿，计算投影矩阵，并得到三维空间不变点；
人脸视觉检测模块：用于将所述人脸区域进行人脸特征点定位，得到人脸特征点位置信息，再进行人脸姿态估计；
跟踪注册模块：用于根据上述模块中所得所述投影矩阵、人脸特征点位置信息和三维空间不变点计算注册矩阵，完成跟踪注册。
优选地，所述帧间匹配模块包括判断模块，所述判断模块用于判断所述背景区域提取特征的数量是否大于或等于预设阈值，若是，采用特征点法计算帧间图像的匹配点；若否，采用直接法计算帧间图像匹配点。
优选地，所述人脸视觉检测模块还包括用于通过在所述人脸特征点定位后获取若干点的位置信息并假设其确定一平面，然后利用几何关系计算所述平面的法线向量，并分解人脸绕旋转轴的旋转角度所计算确定所述人脸姿态估计的模块。
优选地，所述人脸检测包括人脸判断模块，用于提取图像序列的特征，根据所述特征判断图像中是否包含人脸，若是，则继续进行图像序列划分；若否，则重新进行人脸判断。
进一步优选地，所述人脸判断模块还包括真实人脸判断模块：用于判断所述人脸是否为真实人脸，若是，则继续进行图像序列划分；若否，则重新进行人脸判断。
需要说明的是，上述各模块工作过程参照前述基于自然特征的跟踪注册方法而完成。
相比现有技术，本发明的有益效果在于：
1、本发明的基于自然特征的跟踪注册方法，分别通过相机位姿估计和人脸视觉检测得出投影矩阵、人脸特征点位置信息和三维空间不变点，并通过这三个参数计算注册矩阵，完成跟踪注册，从而有效地克服了不能对均在运动的人和相机进行跟踪注册的问题，真正实现了对运动相机和运动目标区域之间的估计。
2、本发明的基于自然特征的跟踪注册方法，根据背景区域提取特征数量的不同采用不同的方法计算帧间图像的匹配点，提高了帧间图像匹配点的计算和整个跟踪注册方法的运算效率。
3、本发明的基于自然特征的跟踪注册方法，其所述人脸判断包括真实人脸判断，识别出该人脸是真实人脸或是非真实人脸，防止非真实人脸对本方法的干扰混淆，确保本方法实施的有效性。
4、本发明的基于自然特征的跟踪注册装置，包括图像序列划分模块、相机位姿估计模块、人脸视觉检测模块和跟踪注册模块，通过上述基于自然特征的跟踪注册方法真正通过物理装置实现对运动相机和运动目标区域之间的估计。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1为本发明的基于自然特征的跟踪注册方法的流程示意图；
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下：
本发明提供了一种基于自然特征的跟踪注册方法，具体实施例如下：
实施例一
本实施例是基于自然特征的跟踪注册方法第一种优选的实施方式，如图1所示是本方法的流程示意图，包括以下步骤：
S1：图像序列划分，获取图像序列后，对图像序列进行人脸检测，并将所述图像序列划分为人脸区域和背景区域；
S2：相机位姿估计，对所述背景区域提取特征，并通过帧间匹配估算相机位姿，计算投影矩阵，并得到三维空间不变点；
S3：人脸视觉检测，将所述人脸区域进行人脸特征点定位，得到人脸特征点位置信息，再进行人脸姿态估计；
S4：跟踪注册，根据所述投影矩阵、人脸特征点位置信息和三维空间不变点计算注册矩阵，完成跟踪注册。
上述步骤具体实现方式如下：
S1：图像序列划分
图像序列划分包括以下步骤：
获取图像序列，即如通过单目相机获取目标图像序列；
人脸检测，用于助于将所述图像序列划分为人脸区域和背景区域。具体的步骤如下：
(1)首先对图像进行预处理，包括转化为灰度图和建立图像金字塔；
(2)对经过预处理的图像进行特征提取。采用类哈尔特征，其描述了图像相邻矩形框块的像素差异；
(3)利用预先收集的标注好特征点的人脸样本集，对每张图像提取特征点附近的类哈尔特征得到训练正例样本集，距离特征点一定范围外采样得到负样本集，采用adaboost算法训练弱分类器组合成强分类器，实现快速分类；
图像划分，即将所述图像序列划分为人脸区域和背景区域。
S2：相机位姿估计
相机位姿估计，其作用在于跟踪相机在空间中的运动轨迹，计算投影矩阵。具体的步骤如下：
从背景图像序列中提取FAST特征，计算图像帧间匹配点；
计算相机外部参数，由于单目相机得到的图像序列的匹配点为像素坐标，不知道深度距离，因此姿态初始化是使用两个图像的像素位置来估计相机的运动，即使用对极几何的方法。分为两种情况，当匹配点对位于同一平面时，通过匹配点求解单应性矩阵，利用SVD分解和QR分解得到相机相对运动参数[R|T]，当匹配点对不在同一平面时，利用五点法或八点法求解本质矩阵，通过SVD分解得到相机相对运动参数[R|T]，得到相机初始化姿态估计，根据相机运动信息，通过三角测量得到各个特征点的空间位置。此后利用三维空间点到二维图像像素点之间的对应关系，采用EPnP算法迭代求解相机姿态，由于代数方法计算简便，但对于噪声的容忍性差，当存在无匹配或者像素坐标有较大误差时，得到的解不准确，因此结合光束平差法进行优化，通过最小化重投影误差的方法，对相机姿态估计进行优化。
S3：人脸视觉检测
人脸视觉检测包括人脸特征点定位和人脸姿态估计，其中，
人脸特征点定位，用于得到人脸特征点位置信息。具体的步骤如下：
(1)采用级联形状回归框架，采用随机森林和全局线性回归相结合的方法，级联形状回归框架可表示为以下公式：
St＝St-1+Rt(I,St-1)
其中：Rt表示回归器，I表示输入图像，St表示第t阶段的人脸形状。
(2)每个人脸特征点训练一个随机森林，训练过程如下：
①采用形状索引特征，其描述人脸区域内两个点的像素差值，在当前关键点的临近区域随机产生特征点对集合，取其像素差作为特征。
②从生成好的特征集合中选取一个，将所有样本点x映射为实数集合，随机选取阈值分配样本点到左右子树。分配准则是使左右子树的样本集合由相同的模式，即使得样本方差减小最大。
(3)全局线性回归训练的目标函数：
ΔS表示形变目标，φ表示随机森林输出的二值特征，Wt表示线性回归的参数，λ抑制模型，防止过拟合。
人脸姿态估计，用于矫正三维眼镜模型的朝向。具体步骤如下：
首先，将人脸特征点定位获取点，例如作为其中一种可选的方式，可将人脸特征点定位后获取四个眼角点，两个鼻翼点，两个嘴角点的位置信息，并假设其位于一个平面。利用几何关系计算该平面的法线向量，通过分解可得人脸绕旋转轴的三个旋转角度。
之后，根据计算得到的人脸旋转角度对三维眼镜模型进行同样的旋转，确定其姿态，根据人脸姿态估计的旋转角度矫正三维眼镜模型的朝向。
S4：跟踪注册
跟踪注册，通过注册矩阵，即用于将计算机生成的虚拟三维眼镜模型正确叠加到目标区域上的变换矩阵，完成跟踪注册。具体注册矩阵的计算步骤如下：通过相机姿态估计得到图像像素坐标系和世界坐标系之间的投影变换矩阵后，可将虚拟眼镜模型注册到真实世界环境中。而后，通过人脸特征点在图像像素的位置信息，即兴趣目标区域的检测结果，得到人脸和三维空间点之间的对应关系，并结合投影变换矩阵，得到相机坐标系和人脸坐标系之间的转换关系，计算注册矩阵。
实施例二
作为本发明基于自然特征的跟踪注册方法另一种可选的实施方式，本实施例与上述实施例一的区别在于：
在相机位姿估计步骤中，本实施例在帧间匹配估算时加入了将背景区域提取特征的数量与预设阈值比较后采用不同计算方法计算的步骤，具体过程如下：
(1)输入预设阈值；
(2)判断特征点数量与预设阈值之间的大小。当特征点数量大于或者等于阈值时，通过特征点法计算图像帧间匹配点，即通过BRIEF算法计算特征描述子，采用HAMMING距离估算其相似度的方法来计算特征点在下一帧图像上的位置信息。当特征点数量小于阈值时，采用半直接法计算图像帧间匹配点，即基于灰度不变假设，同一空间点的像素灰度，在各个投影图像中是固定不变的。
本优选实施方法根据背景区域提取特征数量的不同采用不同的方法计算帧间图像的匹配点，提高了帧间图像匹配点的计算和整个跟踪注册方法的运算效率。
本实施例其余方法步骤与实施例一相同，在此不再累述。
实施例三
作为本发明基于自然特征的跟踪注册方法另一种可选的实施方式，本实施例与上述实施例一的区别在于：
所述人脸检测步骤中，还包括人脸判断步骤：提取图像序列的特征，根据所述特征判断图像中是否包含人脸，若是，则继续进行图像序列划分；若否，则重新进行人脸判断。
通过人脸判断步骤可有效识别图像中是否存在人脸，从而通过人脸检测的其余步骤获得相关参数，实现后续的跟踪注册步骤。
作为进一步可选的一种实施方式，所述人脸判断步骤还包括真实人脸判断步骤，即如判断图像中的人脸是否运动，进一步如判断眼球是否运动等，识别出该人脸是真实人脸或是非真实人脸(如照片人脸、图画人脸等)，防止非真实人脸对本方法的干扰混淆，确保本方法实施的有效性。
本实施例其余方法步骤与实施例一相同，在此不再累述。
进一步地，本技术方案还提供了一种基于自然特征的跟踪注册装置，作为实现上述基于自然特征的跟踪注册方法的物理装置，其包括以下模块：
图像序列划分模块：用于获取图像序列后，对图像序列进行人脸检测，并将所述图像序列划分为人脸区域和背景区域；
相机位姿估计模块：用于对所述背景区域提取特征，并通过帧间匹配模块估算相机位姿，计算投影矩阵，并得到三维空间不变点；
人脸视觉检测模块：用于将所述人脸区域进行人脸特征点定位，得到人脸特征点位置信息，再进行人脸姿态估计；
跟踪注册模块：用于根据上述模块中所得所述投影矩阵、人脸特征点位置信息和三维空间不变点计算注册矩阵，完成跟踪注册。
本基于自然特征的跟踪注册装置之模块构建方法及运行方法参照上述基于自然特征的跟踪注册方法，包括但不限于实施例一至三对应的模块设置方式，在此不再累述。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.一种基于自然特征的跟踪注册方法，其特征在于，包括以下步骤：
图像序列划分：获取图像序列后，对图像序列进行人脸检测，并将所述图像序列划分为人脸区域和背景区域；
相机位姿估计：对所述背景区域提取特征，并通过帧间匹配估算相机位姿，计算投影矩阵，并得到三维空间不变点；
人脸视觉检测：将所述人脸区域进行人脸特征点定位，得到人脸特征点位置信息，再进行人脸姿态估计；
跟踪注册：根据所述投影矩阵、人脸特征点位置信息和三维空间不变点计算注册矩阵，完成跟踪注册。
2.根据权利要求1所述基于自然特征的跟踪注册方法，其特征在于，所述帧间匹配估算包括判断步骤：判断所述背景区域提取特征的数量是否大于或等于预设阈值，若是，采用特征点法计算帧间图像的匹配点；若否，采用直接法计算帧间图像匹配点。
3.根据权利要求1所述基于自然特征的跟踪注册方法，其特征在于，所述人脸姿态估计是通过在所述人脸特征点定位后获取若干点的位置信息并假设其确定一平面，然后利用几何关系计算所述平面的法线向量，并分解人脸绕旋转轴的旋转角度所计算确定的。
4.根据权利要求1所述基于自然特征的跟踪注册方法，其特征在于，所述人脸检测包括人脸判断：提取图像序列的特征，根据所述特征判断图像中是否包含人脸，若是，则继续进行图像序列划分；若否，则重新进行人脸判断。
5.根据权利要求4所述基于自然特征的跟踪注册方法，其特征在于，所述人脸判断包括真实人脸判断：判断所述人脸是否为真实人脸，若是，则继续进行图像序列划分；若否，则重新进行人脸判断。
6.一种基于自然特征的跟踪注册装置，其特征在于，包括以下模块：
图像序列划分模块：用于获取图像序列后，对图像序列进行人脸检测，并将所述图像序列划分为人脸区域和背景区域；
相机位姿估计模块：用于对所述背景区域提取特征，并通过帧间匹配模块估算相机位姿，计算投影矩阵，并得到三维空间不变点；
人脸视觉检测模块：用于将所述人脸区域进行人脸特征点定位，得到人脸特征点位置信息，再进行人脸姿态估计；
跟踪注册模块：用于根据上述模块中所得所述投影矩阵、人脸特征点位置信息和三维空间不变点计算注册矩阵，完成跟踪注册。
7.根据权利要求6所述基于自然特征的跟踪注册装置，其特征在于，所述帧间匹配模块包括判断模块，所述判断模块用于判断所述背景区域提取特征的数量是否大于或等于预设阈值，若是，采用特征点法计算帧间图像的匹配点；若否，采用直接法计算帧间图像匹配点。
8.根据权利要求6所述基于自然特征的跟踪注册装置，其特征在于，所述人脸视觉检测模块还包括用于通过在所述人脸特征点定位后获取若干点的位置信息并假设其确定一平面，然后利用几何关系计算所述平面的法线向量，并分解人脸绕旋转轴的旋转角度所计算确定所述人脸姿态估计的模块。
9.根据权利要求6所述基于自然特征的跟踪注册装置，其特征在于，所述人脸检测包括人脸判断模块，用于提取图像序列的特征，根据所述特征判断图像中是否包含人脸，若是，则继续进行图像序列划分；若否，则重新进行人脸判断。
10.根据权利要求9所述基于自然特征的跟踪注册装置，其特征在于，所述人脸判断模块还包括真实人脸判断模块：用于判断所述人脸是否为真实人脸，若是，则继续进行图像序列划分；若否，则重新进行人脸判断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710222902.3A CN108694348B (zh) | 2017-04-07 | 2017-04-07 | 一种基于自然特征的跟踪注册方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710222902.3A CN108694348B (zh) | 2017-04-07 | 2017-04-07 | 一种基于自然特征的跟踪注册方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108694348A true CN108694348A (zh) | 2018-10-23 |
| CN108694348B CN108694348B (zh) | 2021-12-31 |
Family
ID=63842130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710222902.3A Expired - Fee Related CN108694348B (zh) | 2017-04-07 | 2017-04-07 | 一种基于自然特征的跟踪注册方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108694348B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145248A (zh) * | 2018-11-06 | 2020-05-12 | 北京地平线机器人技术研发有限公司 | 位姿信息确定方法、确定装置和电子设备 |
| CN112070884A (zh) * | 2020-08-29 | 2020-12-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| WO2023088383A1 (zh) * | 2021-11-22 | 2023-05-25 | 中兴通讯股份有限公司 | 目标物体的重定位方法、装置、存储介质及电子装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976461A (zh) * | 2010-10-25 | 2011-02-16 | 北京理工大学 | 一种新的户外增强现实无标跟踪注册算法 |
| CN103177468A (zh) * | 2013-03-29 | 2013-06-26 | 渤海大学 | 一种基于无标记的三维运动物体增强现实注册方法 |
| CN103927745A (zh) * | 2014-03-28 | 2014-07-16 | 北京中海新图科技有限公司 | 面向可穿戴设备的跟踪与匹配并行计算方法 |
| US20160050372A1 (en) * | 2014-08-15 | 2016-02-18 | Qualcomm Incorporated | Systems and methods for depth enhanced and content aware video stabilization |
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
-
2017
- 2017-04-07 CN CN201710222902.3A patent/CN108694348B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976461A (zh) * | 2010-10-25 | 2011-02-16 | 北京理工大学 | 一种新的户外增强现实无标跟踪注册算法 |
| CN103177468A (zh) * | 2013-03-29 | 2013-06-26 | 渤海大学 | 一种基于无标记的三维运动物体增强现实注册方法 |
| CN103927745A (zh) * | 2014-03-28 | 2014-07-16 | 北京中海新图科技有限公司 | 面向可穿戴设备的跟踪与匹配并行计算方法 |
| US20160050372A1 (en) * | 2014-08-15 | 2016-02-18 | Qualcomm Incorporated | Systems and methods for depth enhanced and content aware video stabilization |
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| CN106446815A (zh) * | 2016-09-14 | 2017-02-22 | 浙江大学 | 一种同时定位与地图构建方法 |
Non-Patent Citations (4)
| Title |
|---|
| QIUJU GUAN ET AL.: "A Novel Infrared Motion Sensing System for Compressive Classification of Physical Activity", 《IEEE SENSORS JOURNAL》 * |
| 刘成: "一种基于增强现实的虚拟眼镜试戴的方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 张志刚 等: "基于单幅图像的人脸三维姿态估计", 《计算机应用》 * |
| 张立鹏: "基于自然特征的增强现实实时跟踪研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145248A (zh) * | 2018-11-06 | 2020-05-12 | 北京地平线机器人技术研发有限公司 | 位姿信息确定方法、确定装置和电子设备 |
| CN111145248B (zh) * | 2018-11-06 | 2023-06-27 | 北京地平线机器人技术研发有限公司 | 位姿信息确定方法、确定装置和电子设备 |
| CN112070884A (zh) * | 2020-08-29 | 2020-12-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种同步实现三维重建和ar虚实注册的方法、系统及装置 |
| WO2023088383A1 (zh) * | 2021-11-22 | 2023-05-25 | 中兴通讯股份有限公司 | 目标物体的重定位方法、装置、存储介质及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108694348B (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200685B2 (en) | Method for three-dimensional human pose estimation | |
| CN105389539B (zh) | 一种基于深度数据的三维手势姿态估计方法及系统 | |
| US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
| Papazov et al. | Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features | |
| US9330307B2 (en) | Learning based estimation of hand and finger pose | |
| Cheung et al. | Shape-from-silhouette of articulated objects and its use for human body kinematics estimation and motion capture | |
| CN103839277B (zh) | 一种户外大范围自然场景的移动增强现实注册方法 | |
| US8571258B2 (en) | Method of tracking the position of the head in real time in a video image stream | |
| CN105719352B (zh) | 人脸三维点云超分辨率融合方法及应用其的数据处理装置 | |
| CN108182397B (zh) | 一种多姿态多尺度的人脸验证方法 | |
| CN110096925A (zh) | 人脸表情图像的增强方法、获取方法和装置 | |
| US11113571B2 (en) | Target object position prediction and motion tracking | |
| US20230085384A1 (en) | Characterizing and improving of image processing | |
| CN110852182A (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN109446929A (zh) | 一种基于增强现实技术的简笔画识别系统 | |
| CN107145224B (zh) | 基于三维球面泰勒展开的人眼视线跟踪方法和装置 | |
| CN108694348A (zh) | 一种基于自然特征的跟踪注册方法及装置 | |
| Kanaujia et al. | Part segmentation of visual hull for 3d human pose estimation | |
| CN106408654B (zh) | 一种三维地图的创建方法及系统 | |
| Cohen et al. | 3D body reconstruction for immersive interaction | |
| Zhang et al. | A multiple camera system with real-time volume reconstruction for articulated skeleton pose tracking | |
| Gond et al. | A 3D shape descriptor for human pose recovery | |
| Jiménez et al. | Face tracking and pose estimation with automatic three-dimensional model construction | |
| Lin et al. | Human action recognition using motion history image based temporal segmentation | |
| Lefevre et al. | Structure and appearance features for robust 3d facial actions tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211231 |