CN106296598B - 三维姿态处理方法、系统及拍摄终端 - Google Patents
三维姿态处理方法、系统及拍摄终端 Download PDFInfo
- Publication number
- CN106296598B CN106296598B CN201610616736.0A CN201610616736A CN106296598B CN 106296598 B CN106296598 B CN 106296598B CN 201610616736 A CN201610616736 A CN 201610616736A CN 106296598 B CN106296598 B CN 106296598B
- Authority
- CN
- China
- Prior art keywords
- frame image
- pose
- rotational component
- current frame
- smoothing processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 155
- 238000009499 grossing Methods 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000006073 displacement reaction Methods 0.000 claims description 48
- 108010023321 Factor VII Proteins 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种三维姿态处理方法、系统及拍摄终端。该方法包括：获取当前帧图像中的三维姿态的旋转分量；利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中三维姿态的旋转分量在第一坐标空间内进行第一平滑处理；利用第一坐标空间内平滑处理后的旋转分量，将当前帧图像中三维姿态的旋转分量转换到第二坐标空间内进行第二平滑处理。根据本发明实施例提供的三维姿态处理方法，可以改善虚拟物体姿态的抖动问题。
Description
技术领域
本发明涉及计算机视觉领域，具体涉及一种三维姿态处理方法、系统及拍摄终端。
背景技术
增强现实(Augmented Reality，简称AR)系统可以通过系统自身携带的拍摄终端捕获真实世界的影像视频，使用图像配准等技术，估计出影像视频中虚拟物体的姿态，进而将虚拟物体或场景放置到真实环境中预定的位置，最后通过摄像机镜头的视角将场景渲染出来。
但在实际应用中，由于拍摄时硬件环境和拍摄人员水平等很多因素，导致估计出来的姿态与实际的姿态不一致，甚至在跟踪的物体静止不动时，也会存在估计出来的姿态不停抖动的现象，即所谓的姿态抖动问题。
姿态抖动问题是AR技术的一个难题，常见的处理方法中，一类方法是需要AR系统配备专有外接硬件设备，在拍摄时记录摄像机的运动轨迹，后期根据该拍摄时相机的运动轨迹对抖动的视频画面进行改正，这种方法需要较大的存储空间保存摄像机的运动轨迹，并且不适合实时AR系统的使用。
发明内容
本发明实施例提供一种三维姿态处理方法、系统和拍摄终端，能够改善虚拟物体三维姿态的抖动问题。
一方面，本发明提供了一种三维姿态处理方法，包括：获取当前帧图像的三维姿态的旋转分量；利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中的三维姿态的旋转分量在第一坐标空间内进行第一平滑处理；利用第一坐标空间内平滑处理后的旋转分量，将当前帧图像中三维姿态的旋转分量转换到第二坐标空间内进行第二平滑处理。
另一方面，本发明提供了一种三维姿态处理系统，包括：姿态信息获取模块，被配置为从当前帧图像的三维姿态中获取三维姿态的旋转分量；第一处理模块，被配置为利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中三维姿态的旋转分量在第一坐标空间内进行第一平滑处理；第二处理模块，被配置为利用第一坐标空间内平滑处理后的旋转分量，将当前帧图像中三维姿态的旋转分量转换到第二坐标空间内进行第二平滑处理。
再一方面，本发明提供了一种拍摄终端，该拍摄终端包括本发明提供的如上所述的三维姿态处理系统。
根据本发明实施例提供的三维姿态处理方法、系统以及拍摄终端，AR系统每获取一帧真实世界的影像，会根据上一帧图像处理后的姿态信息对当前帧图像中的姿态信息进行处理，即，本发明提供的是一个实时处理的方法，处理时仅需使用到上一帧的处理结果，运算需要的存储空间小，并使虚拟物体的姿态抖动问题得到明显改善。
附图说明
图1示出了本发明一实施例提供的三维姿态处理方法的流程图。
图2示出了本发明另一实施例提供的三维姿态处理方法的流程图。
图3示出了本发明一个实施例提供的三维姿态处理系统的结构示意图。
图4示出了本发明另一实施例提供的三维姿态处理系统更详细的结构示意图。
图5示出了本发明再一实施例提供的拍摄终端的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
在本发明的实施例中，三维姿态用于描述物体的三维坐标和偏转角度。在AR系统中，摄像机镜头可以看到虚拟物体的部位和运动是由该物体的姿态决定的。对于摄像机获取的每一帧图像而言，当前帧图像中的三维姿态是通过识别当前帧图像中的图像特征点而获得。
以AR系统为例，AR系统通过摄像机采集真实场景中每帧视频图像，跟踪当前帧视频图像中预先放置的标识图像或识别出的自然物体特征，获取当前帧图像中虚拟物体的图像特征点，并通过图像特征点来确定虚拟物体的姿态。
具体地，根据针孔摄像机成像模型，真实场景中的三维点通过投影变换映射到图像上的二维点，该变换过程可以表示为：
p＝K[R t]P
或
在上面的等式中，P＝[X Y Z 1]T是该物体上的某一点在真实场景中的3D坐标；矩阵表征摄像机镜头焦距和成像焦点的内参数矩阵；是将虚拟物体的三维姿态扩展成3×4的矩阵；p＝[x y 1]T是图像上对应点的2D齐次像素坐标。
通过上式，AR系统将物体在真实环境中的3D坐标转换为虚拟环境中的2D像素坐标。
在虚拟环境中，通常假设虚拟物体的运动为3D欧式距离变换或3D刚体运动，其运动过程中物体不会发生形变，仅包含旋转和平移两部分，旋转部分称为旋转分量，平移部分称为位移分量。
作为一个示例，假设虚拟物体在AR系统中的运动是3D欧式距离变换，摄像机采集的视频图像中，第k帧图像中虚拟物体的姿态可以表示为pk＝[Rk tk]。其中，旋转矩阵Rk是一个3×3的正交旋转矩阵，满足RRt＝I和|R|＝1；tk表示虚拟物体在AR系统中的三维坐标。因此，第k帧图像中三维姿态的旋转分量可以表示为旋转矩阵Rk，位移分量可以表示为平移向量tk。
作为另一个示例，假设虚拟物体在AR系统中的运动是3D刚体运动，摄像机采集的视频图像中，第k帧图像中虚拟物体的姿态可以表示为pk＝{θk，tk}。其中，旋转量θk表示虚拟物体旋转运动的3个旋转角：俯仰角、偏航角和翻滚角，根据这3个旋转角可以确定虚拟物体刚体运动的朝向；tk表示虚拟物体在AR系统中的三维坐标。因此，第k帧图像中三维姿态的旋转分量可以表示为旋转量θk，位移分量可以表示为平移向量tk。
根据上述示例，可以将虚拟物体的三维姿态分解为旋转分量和位移分量，对三维姿态的处理具体表示为对旋转分量和/或位移分量的处理。
由于拍摄视频图像时，物体距离拍摄镜头的距离变化并不大，基本保持固定的拍摄距离。这种情况下，AR系统中对虚拟物体三维姿态的处理主要集中在旋转分量上，即只需要处理旋转分量就可以减少抖动，使三维姿态稳定的效果。
下面结合附图，详细描述根据本发明实施例的三维姿态处理方法。
图1是示出了本发明一个实施例的三维姿态处理方法的流程图。如图1所示，本实施例中三维姿态处理方法100包括以下步骤：
步骤S110，获取当前帧图像的三维姿态的旋转分量；步骤S120，利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中三维姿态的旋转分量在第一坐标空间内进行第一平滑处理；步骤S130，利用第一坐标空间内平滑处理后的旋转分量，将当前帧图像中三维姿态的旋转分量转换到第二坐标空间内进行第二平滑处理。
在步骤S120中，利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中三维姿态的旋转分量在第一坐标空间内进行第一平滑处理。
应注意，本发明实施例中的上一帧，是指在相邻两帧中当前帧之前的一帧，作为一个例子，当前帧表示为第k帧，则当前帧的上一帧为第k-1帧。
应理解，对于第一帧图像，平滑处理后的三维姿态为其原始三维姿态，即
上式中p1表示第一帧图像中三维姿态的原始姿态，表示第一帧图像中平滑处理后的三维姿态。
作为一个可选实施例，步骤S120中的第一坐标空间是四元数空间，第一平滑处理包括利用上一帧图像即第k-1帧图像中三维姿态平滑处理后的旋转分量，对当前第k帧图像中三维姿态的旋转分量在四元数空间进行球面线性插值，得到当前第k帧图像中平滑处理后的旋转分量的四元数表示。
具体地，使用球面线性插值法进行的平滑处理包括以下步骤：
步骤S121，分别将当前帧图像中三维姿态的旋转分量和上一帧图像中平滑处理后三维姿态的旋转分量转化为四元数表示。
作为一个示例，从当前第k帧图像中所获取的三维姿态的旋转分量为旋转矩阵空间表示的Rk时，需要将旋转矩阵Rk转化为四元数空间坐标表示的qk。
作为旋转矩阵，Rk可以表示为：
作为一个四元数，qk可以表示为：
qk＝[q0 q1 q2 q3] (2)
使用下面的公式将当前帧图像中三维姿态的旋转矩阵Rk转化为四元数表示为qk：
继续使用上述公式(3)，将当前第k帧的上一帧图像中三维姿态平滑处理后的旋转矩阵转化为四元数表示的
作为另一个示例，从当前第k帧图像中所获取的三维姿态的旋转分量是欧拉角表示的旋转量θk，则需要先将欧拉角表示的θk进行空间坐标转换为四元数表示的qk，以及将上一帧图像中三维姿态平滑处理后的旋转分量转化为四元数表示的
经上述空间坐标转换，三维姿态的旋转分量转换为四元数表示。在四元数空间对旋转分量进行插值，占用的储存空间更小，更便于进行插值运算处理。
步骤S122，利用预设的光滑因子、当前帧图像中三维姿态旋转分量的四元数表示、以及上一帧图像中平滑处理后的三维姿态的旋转分量的四元数表示，对当前帧图像中三维姿态旋转分量进行球面线性插值运算。
光滑因子α是进行图像插值处理的一个重要参数，用于确定前后两帧姿态间插值平滑的程度。通常α是[0～1]范围内的变量，即，α＝0至1。光滑因子的具体取值可以通过分析摄像机本身的运动获得，也可以通过离线实验获得一个较好的估计值。在本发明描述的实施例中，可以根据虚拟物体的类型选择对应的光滑因子，且光滑因子的取值均在[0.75～0.95]之间，即，α＝0.75至0.95。
可选的，球面线性插值可以选用四元数球面线性插值或几何球面线性插值。
作为一个示例，对当前第k帧图像中三维姿态的旋转分量进行球面线性插值处理可以用下述公式表示：
在上述公式(4)中，当前第k帧图像三维姿态的旋转矩阵转化为四元数表示qk，以及上一帧图像三维姿态平滑处理后的旋转矩阵转化为四元数表示qk和在光滑因子α的作用下，得到当前第k帧图像中三维姿态的旋转矩阵进行第一次插值后的四元数表示
在上述示例中，使用SLERP函数对三维姿态的旋转分量进行插值处理，能够使三维姿态呈现出比较平滑和顺眼的效果，SLERP函数在两个四元数qk之间进行插值，使得前后两帧图像中的三维姿态旋转部分能够平滑过渡，呈现出的虚拟物体的三维姿态会更加清晰和稳定。
在步骤S130中，利用第一坐标空间内平滑处理后的旋转分量，将当前帧图像中三维姿态的旋转分量转换到第二坐标空间内进行第二平滑处理。
作为一个可选实施例，第二坐标空间为旋转矩阵坐标空间，第二平滑处理包括利用第一坐标空间内平滑处理后的旋转分量，将当前帧图像中三维姿态的旋转分量转换到旋转矩阵空间内进行流形插值，得到当前帧图像中三维姿态平滑处理后的旋转分量的旋转矩阵表示。
作为一个示例，将当前第k帧图像中虚拟物体三维姿态旋转分量，转换到旋转矩阵空间内使用流形插值算法进行平滑处理。
具体地，使用流形插值算法进行的平滑处理包括以下步骤：
步骤S131，分别将当前帧图像中三维姿态的旋转分量和在第一坐标空间内平滑处理后的当前帧图像中三维姿态的旋转分量由四元数表示转化为旋转矩阵表示。
由于流形插值算法的运算过程需要在旋转矩阵空间坐标下进行，因此，在使用流形插值算法进行插值处理之前，需要将参与运算的旋转分量进行空间坐标的转换到旋转矩阵表示。
作为一个示例，将旋转分量的四元数表示qk转换为旋转矩阵表示的Rk。
作为四元数，qk可以表示为：qk＝[q0 q1 q2 q3] (5)
使用下面的公式将四元数表示的qk转化为旋转矩阵表示的Rk：
使用上述公式(6)，将在四元数空间经过球面线性插值得到的旋转分量的四元数表示转换为旋转矩阵坐标空间表示的
在步骤S132，利用预设的稳定因子、当前帧图像中三维姿态旋转分量的旋转矩阵表示、以及在第一坐标空间内平滑处理后的当前帧图像中旋转分量的旋转矩阵表示，对当前帧图像中三维姿态旋转分量进行流形插值运算。
稳定因子β是进行三维旋转群中的流形插值算法的重要参数。在AR系统中，第k帧图像可以通过三维姿态平滑处理后的旋转矩阵结合摄像机自身的参数矩阵将虚拟物体的外接边界框投影到二维图像上，获得该图像上虚拟物体的二维外界矩形框，每个矩形框和由第k-1帧平滑处理后的旋转矩阵按同样的方式得到的上一帧外界矩形框大部分是相交的，对两个矩形框进行交运算，并计算相交部分的面积。因为不同稳定因子β可以得到不同的平滑旋转矩阵，因此通过简单的二分查找法可以得到使得上述相交部分面积最大的稳定因子β。
在本发明的实施例中，稳定因子β是取值在[0，1]范围内的变量，即，β＝0至1。
由于所有的3×3旋转矩阵组成了特殊正交群即三维旋转流形SO(3)，在流形SO(3)中，定义两个旋转矩阵之间的测地线距离为 其中logm是矩阵对数运算，||·||F表示弗罗贝尼乌斯范数。
旋转矩阵的对数运算定义了流形S0(3)中切线空间中的一个切向量ζ，该向量的方向是从Ri指向Rj；切向量ζ的指数运算Riexpm(ζ)用来将旋转矩阵Ri沿着切向量ζ的方向移动。
上述旋转矩阵的对数运算和切向量ζ的指数运算，这两个运算结合起来提供了一种十分方便的按测地线距离进行线性插值的方法。
由于三维姿态的旋转矩阵是隶属于流形SO(3)的，对流形SO(3)而言，为了满足其正交性，对旋转矩阵Rk和上一帧平滑处理后的旋转矩阵在测地线距离下的线性插值可以表示为下述公式：
在本发明的实施例中，采用上述公式(7)的改进形式：
通过上述公式(8)，对当前第k帧图像中三维姿态的旋转分量在第二空间，即旋转矩阵空间进行插值处理，得到当前帧图像中三维姿态平滑处理后的旋转分量的旋转矩阵表示
在另外一个实施例中，步骤110，从当前第k帧图像中获取的三维姿态的旋转分量是欧拉角表示的θk，对该旋转分量分别在四元数空间和旋转矩阵空间进行平滑处理后，得到的是旋转矩阵空间坐标表示的为了空间坐标的一致性，需要在步骤S130之后，将经过平滑处理的三维姿态的旋转分量由旋转矩阵表示的转化为欧拉角表示
通过上述实施例中提供的三维姿态处理方法，每获取当前一帧图像，会利用上一帧图像的三维姿态信息对当前帧图像中三维姿态信息进行平滑处理。因此，本方案提供的是一种实时处理的方法。在一些实施例中，可以将当前帧图像的处理结果进行保存，覆盖上一帧的处理结果，并将当前帧图像的处理结果用于下一帧图像中三维姿态的处理，由于只保存一帧的处理结果，所以需要的存储空间小。当摄像机与被拍摄物体距离变化不大时，可以上述实施例中提供的三维姿态处理方法，只对旋转分量进行平滑处理，可使三维姿态的抖动问题得到明显改善。
在另一个实施例中，提供了一种三维姿态处理方法，还对三维姿态的位移分量进行处理。
在摄像头获取真实场景时，如果摄像头前后移动频繁，会使渲染出来的虚拟物体出现忽大忽小的情况，这种情况是由识别出的三维姿态的位移分量频繁变化引起的，虽然这种变化带来的影响并不会那么明显，但为了获取更好的视觉效果，对于摄像头获取的每一帧图像，在对三维姿态的旋转分量进行平滑处理的同时，也对位移分量进行平滑处理。
请参阅图2，示出了本发明另一实施例提供的三维姿态处理方法的流程图，图2与图1相同或等同的步骤使用相同的标号。本实施例的三维姿态处理方法200包括：步骤S110，获取当前帧图像的三维姿态的旋转分量；步骤S120，利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中三维姿态的旋转分量在第一坐标空间内进行第一平滑处理；步骤S130，利用第一坐标空间内平滑处理后的旋转分量，将当前帧图像中三维姿态的旋转分量转换到第二坐标空间内进行第二平滑处理；以及在步骤S140，获取当前帧图像中三维姿态的位移分量；利用上一帧图像中三维姿态平滑处理后的位移分量，对当前帧图像中三维姿态的位移分量进行平滑处理。
本实施例的三维姿态处理方法200与上述实施例的三维姿态处理方法100基本相同，不同之处在于：本实施例的三维姿态处理方法200包括：
步骤S140，获取当前帧图像中三维姿态的位移分量；利用上一帧图像中三维姿态平滑处理后的位移分量，对当前帧图像中三维姿态的位移分量进行平滑处理。
在一些实施例中，可以在步骤S110中，对三维姿态进行分解之后，同时获取当前帧图像中的旋转分量和位移分量，后续在步骤S120-S130中，对旋转分量进行平滑处理，在步骤S140中，对获取的当前帧图像三维姿态的位移分量进行平滑处理。
应注意，对旋转分量和位移分量的处理并没有先后顺序的限制。可以先处理旋转分量或位移分量，也可以在分别对应的处理模块中同时对旋转分量和位移分量进行平滑处理。
作为一个可选实施例，对位移分量的平滑处理包括使用无线脉冲响应滤波器对移分量执行无限脉冲响应滤波处理。
做为一个示例，对当前第k帧图像中三维姿态的位移分量tk执行无限脉冲响应(IIR)滤波，可以表示为下面的公式：
在上面的公式(9)中，tk表示第k帧图像三维姿态的位移分量，表示第k-1帧图像三维姿态经平滑处理后的位移分量，α为光滑因子。
通过上述公式(9)，将当前帧图像三维姿态的位移分量tk和上一帧图像中三维姿态平滑处理后的位移分量作为一阶无限冲激响应(IIR)滤波器的输入信号，在预设的光滑因子α的影响下进行插值，得到当前帧图像中三维姿态平滑处理后的位移分量
一阶无限冲激响应滤波器(IIR)采用低阶设计实现，算法简单，插值处理时具有较快的运算速度。
进一步地，作为一可选实施例，三维姿态处理方法200还可以包括：
步骤S150，将当前帧图像中平滑处理后的旋转分量和平滑处理后的位移分量进行合成，得到当前帧图像中平滑处理后的三维姿态。
作为一个示例，将当前第k帧的原始三维姿态pk分解得到位移分量tk和旋转矩阵表示的旋转分量Rk，后续对这两个分量分别进行平滑处理，得到平滑处理后的位移分量和旋转分量并将这两个分量进行合并得到平滑处理后的三维姿态
作为另一个示例，将当前第k帧的原始三维姿态pk分解为位移分量tk和欧拉角表示的旋转分量θk，后续分别对这两个分量进行平滑处理，得到平滑处理后的位移分量和旋转分量并将这两个分量进行合并得到平滑处理后的三维姿态
作为一个可选实施例，记录当前帧图像中平滑处理后的三维姿态，使其覆盖上一帧图像中平滑处理后的三维姿态。在该步骤中，用第k帧图像中平滑处理后的姿态覆盖上一帧图像中平滑处理的姿态为下一帧图像的处理做好准备。
位移分量的平滑处理需要的计算量很小，运算速度快，并且，由于仅需要保存一帧姿态平滑处理结果，需要的存储空间小。
根据上述实施例中提供的三维姿态处理方法，每获取当前一帧图像，会对渲染出的虚拟物体三维姿态的旋转分量和位移分量同时进行平滑处理。相对于只平滑处理旋转分量或只平滑处理位移分量，本实施例中的方法对旋转分量和位移分量都进行插值运算，从而获得更加稳定的图像，并使三维姿态的抖动问题得到更好的改善。
另一方面，本发明还提供了一种三维姿态处理系统。如图3所示，示出了根据本发明一个实施例提供的三维姿态处理系统300的结构示意图，包括：姿态信息获取模块310，被配置为从当前帧图像的三维姿态中获取三维姿态的旋转分量；第一处理模块320，被配置为利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中三维姿态的旋转分量在第一坐标空间内进行第一平滑处理；第二处理模块330，被配置为利用第一坐标空间内平滑处理后的旋转分量，将当前帧图像中三维姿态的旋转分量转换到第二坐标空间内进行第二平滑处理。
通过本发明提供的三维姿态处理系统，可以通过对每一帧图像中虚拟物体三维姿态的旋转分量进行平滑处理，使虚拟物体的姿态抖动问题得到改善。
请参阅图4，示出了本发明另一实施例提供的三维姿态处理系统400更详细的结构示意图。图4所示，姿态信息获取模块410被配置为通过对三维姿态的分解，从当前帧图像的三维姿态中获取旋转分量和位移分量；第一处理模块420，被配置为利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中三维姿态的旋转分量在第一坐标空间内进行第一平滑处理；第二处理模块430，被配置为利用第一坐标空间内平滑处理后的旋转分量，将当前帧图像中三维姿态的旋转分量转换到第二坐标空间内进行第二平滑处理；第三处理模块440，被配置为利用上一帧图像中三维姿态平滑处理后的位移分量，对当前帧图像中三维姿态的位移分量进行平滑处理。
可选的，三维姿态处理系统400还可以包括：三维姿态合成模块450，被配置为将经过第一处理模块和第二处理模块平滑处理后的旋转分量，与第三处理模块平滑处理后的位移分量进行合成，得到当前帧图像中平滑处理后的三维姿态。
在一些实施例中，三维姿态处理系统400还可以包括：存储模块460，被配置为记录三维姿态合成模块450合成的经平滑处理后的当前帧三维姿态，使其覆盖上一帧图像中平滑处理后的三维姿态。
再一方面，本发明还提供了一种拍摄终端500。图5示出了本发明再一实施例提供的拍摄终端的结构示意图。如图5所示，该拍摄终端可以包括上述实施例所述的三维姿态处理系统，其中，三维姿态处理系统的结构可以采用图3或图4实施例的结构。对应地，可以执行图3至图4中所示方法实施例的技术方案，并且实现原理和技术效果类似。
其中，拍摄终端500可以为手机、数码相机或者平板电脑，也可以为笔记本电脑或者多功能播放器等具有拍摄镜头的设备。
本发明提供的实时三维姿态处理方法和系统使虚拟物体抖动问题得到了明显的改善，便于推广在如上所述的手机、数码相机或平板电脑等具有AR系统并配置有摄像头的拍摄终端上。
需要说明的是，本说明书中的一些实施例采用递进的方式进行描述，这些实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于与方法实施例基本相似，所以描述的比较简单，相关之处参加方法实施例的部分说明即可。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种三维姿态处理方法，包括：
实时获取当前帧图像的三维姿态的旋转分量；
利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中的所述旋转分量在四元数坐标空间进行球面线性插值，得到当前帧图像中三维姿态平滑处理后的旋转分量的四元数表示，其中，所述球面线性插值包括：
分别将当前帧图像中的所述旋转分量和上一帧图像中平滑处理后的所述旋转分量转化为四元数表示，利用预设的光滑因子、当前帧图像中所述旋转分量的四元数表示、以及上一帧图像中平滑处理后的所述旋转分量的四元数表示，对当前帧图像中所述旋转分量进行球面线性插值运算，并且其中，所述光滑因子的取值的获得包括通过分析摄像机本身的运动获得，且所述光滑因子的取值在0.75至0.95之间；
利用所述四元数坐标空间内平滑处理后的旋转分量，将当前帧图像中所述旋转分量转换到第二坐标空间内进行第二平滑处理；其中，所述方法还包括：
所述第二坐标空间为旋转矩阵坐标空间；
所述第二平滑处理包括利用所述四元数坐标空间内平滑处理后的旋转分量，将当前帧图像中的所述旋转分量转换到旋转矩阵空间内进行流形插值，得到当前帧图像中三维姿态平滑处理后的旋转分量的旋转矩阵表示，其中，所述流形插值是按测地线距离进行线性插值的方法；
其中，所述流形插值还包括：
分别将当前帧图像中所述旋转分量和在四元数坐标空间内平滑处理后的当前帧图像中所述旋转分量由四元数表示转化为旋转矩阵表示，利用预设的稳定因子、当前帧图像中所述旋转分量的旋转矩阵表示、以及在四元数坐标空间内平滑处理后的当前帧图像中所述旋转分量的旋转矩阵表示，对当前帧图像中所述旋转分量进行流形插值运算，其中，所述稳定因子是进行流行插值算法的参数。
2.根据权利要求1所述的三维姿态处理方法，其中，所述当前帧图像的三维姿态是通过识别所述当前帧图像中的图像特征点而获得。
3.根据权利要求1所述的三维姿态处理方法，还包括：
获取当前帧图像中三维姿态的位移分量；
利用上一帧图像中三维姿态平滑处理后的位移分量，对当前帧图像中所述位移分量进行平滑处理。
4.根据权利要求3所述的三维姿态处理方法，其中，所述对当前帧图像中所述位移分量进行平滑处理包括：
对所述位移分量执行无限脉冲响应滤波处理。
5.根据权利要求3所述的三维姿态处理方法，还包括：
将当前帧图像中平滑处理后的旋转分量和平滑处理后的位移分量进行合成，得到当前帧图像中平滑处理后的三维姿态。
6.一种三维姿态处理系统，包括：
姿态信息获取模块，被配置为实时从当前帧图像的三维姿态中获取所述三维姿态的旋转分量；
第一处理模块，被配置为利用上一帧图像中三维姿态平滑处理后的旋转分量，对当前帧图像中的所述旋转分量在四元数坐标空间进行球面线性插值，得到当前帧图像中三维姿态平滑处理后的旋转分量的四元数表示，其中，所述球面线性插值包括：分别将当前帧图像中的所述旋转分量和上一帧图像中平滑处理后的所述旋转分量转化为四元数表示，利用预设的光滑因子、当前帧图像中所述旋转分量的四元数表示、以及上一帧图像中平滑处理后的所述旋转分量的四元数表示，对当前帧图像中所述旋转分量进行球面线性插值运算，并且其中，所述光滑因子的取值的获得包括通过分析摄像机本身的运动获得，且所述光滑因子的取值在0.75至0.95之间；
第二处理模块，被配置为利用所述四元数坐标空间内平滑处理后的旋转分量，将当前帧图像中的所述旋转分量转换到第二坐标空间内进行第二平滑处理；其中，所述第二坐标空间为旋转矩阵坐标空间，所述第二平滑处理包括利用所述四元数坐标空间内平滑处理后的旋转分量，将当前帧图像中的所述旋转分量转换到旋转矩阵空间内进行流形插值，得到当前帧图像中三维姿态平滑处理后的旋转分量的旋转矩阵表示，其中，所述流形插值是按测地线距离进行线性插值的方法；
其中，所述流形插值还包括：
分别将当前帧图像中所述旋转分量和在四元数坐标空间内平滑处理后的当前帧图像中所述旋转分量由四元数表示转化为旋转矩阵表示，利用预设的稳定因子、当前帧图像中所述旋转分量的旋转矩阵表示、以及在四元数坐标空间内平滑处理后的当前帧图像中所述旋转分量的旋转矩阵表示，对当前帧图像中所述旋转分量进行流形插值运算，其中，所述稳定因子是进行流行插值算法的参数。
7.根据权利要求6所述的三维姿态处理系统，其中，
所述姿态信息获取模块还被配置为从当前帧图像的三维姿态中获取所述三维姿态的位移分量；
所述三维姿态处理系统还包括：
第三处理模块，被配置为利用上一帧图像中三维姿态平滑处理后的位移分量，对当前帧图像中的所述位移分量进行平滑处理。
8.根据权利要求7所述的三维姿态处理系统，还包括：
三维姿态合成模块，被配置为将所述第二处理模块平滑处理后的旋转分量，和第三处理模块平滑处理后的位移分量进行合成，得到当前帧图像中平滑处理后的三维姿态。
9.一种拍摄终端，包括根据权利要求6至8任一项所述的三维姿态处理系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610616736.0A CN106296598B (zh) | 2016-07-29 | 2016-07-29 | 三维姿态处理方法、系统及拍摄终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610616736.0A CN106296598B (zh) | 2016-07-29 | 2016-07-29 | 三维姿态处理方法、系统及拍摄终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106296598A CN106296598A (zh) | 2017-01-04 |
| CN106296598B true CN106296598B (zh) | 2019-11-26 |
Family
ID=57663619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610616736.0A Active CN106296598B (zh) | 2016-07-29 | 2016-07-29 | 三维姿态处理方法、系统及拍摄终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106296598B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106843285B (zh) * | 2017-01-16 | 2019-11-01 | 青岛海大新星软件咨询有限公司 | 虚拟环境中基于四元数的六自由度模型随动相机控制算法 |
| CN107516327B (zh) * | 2017-08-21 | 2023-05-16 | 腾讯科技（上海）有限公司 | 基于多层滤波确定相机姿态矩阵的方法及装置、设备 |
| CN107678828A (zh) * | 2017-10-26 | 2018-02-09 | 北京易讯理想科技有限公司 | 一种基于图像追踪技术实现的声音音量控制方法 |
| CN108378854B (zh) * | 2018-02-07 | 2021-10-29 | 北京摩高科技有限公司 | 一种姿态测量捕捉分析系统及其计算方法 |
| CN110544280B (zh) * | 2018-05-22 | 2021-10-08 | 腾讯科技（深圳）有限公司 | Ar系统及方法 |
| CN109115186B (zh) * | 2018-09-03 | 2020-07-28 | 山东科技大学 | 一种针对车载移动测量系统的360°可量测全景影像生成方法 |
| CN110992454B (zh) * | 2019-11-29 | 2020-07-17 | 南京甄视智能科技有限公司 | 基于深度学习的实时动作捕捉和三维动画生成方法与装置 |
| CN113099106B (zh) * | 2021-02-24 | 2023-05-09 | 影石创新科技股份有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN115689898A (zh) * | 2021-07-29 | 2023-02-03 | 北京字跳网络技术有限公司 | 一种姿态估计方法、装置、设备及介质 |
| CN116985144A (zh) * | 2023-09-26 | 2023-11-03 | 珞石（北京）科技有限公司 | 一种具有c2连续的机器人末端姿态规划方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005076226A1 (en) * | 2004-02-03 | 2005-08-18 | British Telecommunications Public Limited Company | Animation techniques using quaternions |
| CN102521843A (zh) * | 2011-11-28 | 2012-06-27 | 大连大学 | 一种基于流形学习的三维人体运动分析与合成方法 |
| CN105563482A (zh) * | 2015-12-01 | 2016-05-11 | 珞石（北京）科技有限公司 | 用于工业机器人的末端执行器的旋转运动规划方法 |
| CN105631919A (zh) * | 2015-07-09 | 2016-06-01 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和装置 |
-
2016
- 2016-07-29 CN CN201610616736.0A patent/CN106296598B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005076226A1 (en) * | 2004-02-03 | 2005-08-18 | British Telecommunications Public Limited Company | Animation techniques using quaternions |
| CN102521843A (zh) * | 2011-11-28 | 2012-06-27 | 大连大学 | 一种基于流形学习的三维人体运动分析与合成方法 |
| CN105631919A (zh) * | 2015-07-09 | 2016-06-01 | 腾讯科技（深圳）有限公司 | 一种数据处理方法和装置 |
| CN105563482A (zh) * | 2015-12-01 | 2016-05-11 | 珞石（北京）科技有限公司 | 用于工业机器人的末端执行器的旋转运动规划方法 |
Non-Patent Citations (2)
| Title |
|---|
| Spherical blend skinning：a real-time deformation of articulated models;Kavan L 等;《Proceedings of the 2005 symposium on Interactive 3D graphics and games》;20051231;全文 * |
| 基于XNA的人体骨骼蒙皮动画关键技术研究;潘军等;《计算机时代》;20130331(第3期);第14-15页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106296598A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106296598B (zh) | 三维姿态处理方法、系统及拍摄终端 | |
| US11632533B2 (en) | System and method for generating combined embedded multi-view interactive digital media representations | |
| Huang et al. | 6-DOF VR videos with a single 360-camera | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| Lai et al. | Semantic-driven generation of hyperlapse from 360 degree video | |
| CN107646126B (zh) | 用于移动设备的相机姿态估计 | |
| CN109615703B (zh) | 增强现实的图像展示方法、装置及设备 | |
| CN110276317B (zh) | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 | |
| CN106875431B (zh) | 具有移动预测的图像追踪方法及扩增实境实现方法 | |
| EP3186787A1 (en) | Method and device for registering an image to a model | |
| CN108028904B (zh) | 移动设备上光场增强现实/虚拟现实的方法和系统 | |
| CN110544278B (zh) | 刚体运动捕捉方法及装置、agv位姿捕捉系统 | |
| Kim et al. | Real-time panorama canvas of natural images | |
| Liu et al. | A new model-based method for multi-view human body tracking and its application to view transfer in image-based rendering | |
| CN109509153A (zh) | 一种拖挂车图像的全景拼接方法及系统 | |
| US11138743B2 (en) | Method and apparatus for a synchronous motion of a human body model | |
| CN112749611A (zh) | 人脸点云模型生成方法及装置、存储介质、电子设备 | |
| CN109688327B (zh) | 一种全景视频防抖的方法、装置及便携式终端 | |
| CN114913308A (zh) | 摄像机跟踪方法、装置、设备及存储介质 | |
| WO2019213392A1 (en) | System and method for generating combined embedded multi-view interactive digital media representations | |
| Sweeney et al. | Structure from motion for panorama-style videos | |
| CN110008873B (zh) | 面部表情捕捉方法、系统及设备 | |
| Chew et al. | Panorama stitching using overlap area weighted image plane projection and dynamic programming for visual localization | |
| CN113034345B (zh) | 一种基于sfm重建的人脸识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |