CN107040694A - 一种全景视频防抖的方法、系统及便携式终端 - Google Patents

一种全景视频防抖的方法、系统及便携式终端 Download PDF

Info

Publication number
CN107040694A
CN107040694A CN201710225056.0A CN201710225056A CN107040694A CN 107040694 A CN107040694 A CN 107040694A CN 201710225056 A CN201710225056 A CN 201710225056A CN 107040694 A CN107040694 A CN 107040694A
Authority
CN
China
Prior art keywords
matrix
numerical value
state
moment
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710225056.0A
Other languages
English (en)
Other versions
CN107040694B (zh
Inventor
蔡锦霖
姜文杰
刘靖康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Arashi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Co Ltd filed Critical Arashi Vision Co Ltd
Priority to CN201710225056.0A priority Critical patent/CN107040694B/zh
Publication of CN107040694A publication Critical patent/CN107040694A/zh
Priority to JP2019553531A priority patent/JP6941687B2/ja
Priority to US16/481,454 priority patent/US10812718B2/en
Priority to PCT/CN2018/075265 priority patent/WO2018184423A1/zh
Priority to EP18781767.1A priority patent/EP3528489B1/en
Application granted granted Critical
Publication of CN107040694B publication Critical patent/CN107040694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Gyroscopes (AREA)
  • Telephone Function (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于视频领域，提供了一种全景视频防抖的方法、系统及便携式终端。所述方法包括：实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。本发明能稳定抖动的视频帧，能减轻VR晕动症。

Description

一种全景视频防抖的方法、系统及便携式终端
技术领域
本发明属于视频领域，尤其涉及一种全景视频防抖的方法、系统及便携式终端。
背景技术
现有技术提供的全景视频，当戴上VR眼镜看时，会让人感觉恶心、眩晕，VR晕动症是一个一直未能很好解决的问题，除了硬件方面未能取得突破外，软件部分也是一个原因，特别是VR全景视频，如果使用手持式的全景相机拍摄，画面的抖动会进一步加速VR晕动症的产生。
发明内容
本发明的目的在于提供一种全景视频防抖的方法、系统及便携式终端，旨在解决画面的抖动会进一步加速VR晕动症的产生的问题。
第一方面，本发明提供了一种全景视频防抖的方法，所述方法包括：
实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
第二方面，本发明提供了一种全景视频防抖的系统，所述系统包括：
获取模块，用于实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
估计模块，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
计算模块，用于根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；和
视频帧生成模块，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
第三方面，本发明提供了一种便携式终端，包括存储器和处理器，所述处理器和所述存储器通过总线连接；所述存储器用于存储一组程序代码，所述处理器用于调用所述存储器中存储的程序代码，执行如下操作：
实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
因为加速度计数值估计出的角度，容易受到干扰(如行走，徒步，奔跑等)，随着时间的累积，角速度的累积误差会越来越大。在本发明中，由于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量，并根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵，然后旋转全景图像，因此最终能稳定抖动的视频帧，能减轻VR晕动症。
附图说明
图1是本发明实施例一提供的全景视频防抖的方法的流程图。
图2是本发明实施例一提供的全景视频防抖的方法中的S102的流程图。
图3是本发明实施例二提供的全景视频防抖的系统的示意图。
图4是本发明实施例三提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
请参阅图1，本发明实施例一提供的全景视频防抖的方法包括以下步骤：
S101、实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值。
在本发明实施例一中，
实时获取便携式终端的加速度计数值具体可以是：利用重力感应器读取三轴加速度计数值。
实时获取便携式终端的角速度数值具体可以是：利用角速度感应器读取三轴角速度数值。
在本发明实施例一中，S101之后还可以包括以下步骤：
利用低通滤波对加速度计数值和角速度数值进行降噪处理。具体可以包括以下步骤：
通过公式d'i＝α·di+(1-α)·d'i-1分别对加速度计数值和角速度数值进行低通滤波降噪处理，其中，di表示第i时刻的加速度计数值或角速度数值；d'i表示第i时刻经过低通滤波后的加速度计数值或角速度数值；d'i-1表示第i-1时刻时滤波后的加速度计数值或角速度数值；α表示平滑因子，其中fc表示低通滤波的截止频率，Rc表示时间常数，Δt表示采样时间间隔。
S102、利用扩展卡尔曼滤波(Extended Kalman Filtering)结合加速度计数值和角速度数值，估计当前状态的旋转向量。
扩展卡尔曼滤波是将非线性系统线性化，然后进行卡尔曼滤波，卡尔曼滤波是一种高效率的递归滤波器,它能够从一系列的不完全包含噪声的测量中，估计动态系统的状态。
请参阅图2，在本发明实施例一中，S102具体可以包括以下步骤：
S1021、利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
在本发明实施例一中，S1021具体可以包括以下步骤：
对初始状态转移矩阵、初始预测协方差矩阵和初始观测矩阵进行初始化，其中，初始状态转移矩阵初始预测协方差矩阵，初始观测矩阵
计算k时刻的状态转移矩阵计算观测信息矩阵其中，xk-1表示k-1时刻的便携式终端的状态估计，xk表示k时刻的便携式终端的状态估计，表示偏微分符号，f表示状态方程函数，x表示便携式终端的状态，即三个轴方向上的旋转角度，h表示观测方程函数， xk-2表示第k-2时刻的便携式终端的状态，uk-1表示第k-1时刻的角速度数值，wk-1表示k-1时刻的过程噪声，表示利用k-2时刻来预测第k-1时刻便携式终端的估计状态，xk-1表示第k-1时刻的便携式终端的状态，uk表示第k时刻的角速度数值，wk表示第k时刻的过程噪声，表示利用k-1时刻来预测第k时刻便携式终端的估计状态，xk-2＝[Xk-2,Yk-2,Zk-2]T，其中，Xk-2,Yk-2,Zk-2表示第k-2时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，xk-1＝[Xk-1,Yk-1,Zk-1]T，其中，Xk-1,Yk-1,Zk-1表示第k-1时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，T表示转置；
把参考系坐标系下的垂直向下的重力加速度投影到刚体坐标系下，通过公式计算观测余量其中，zk为k时刻利用低通滤波进行降噪处理后的加速度计数值，Hk是观测信息矩阵，表示观测方程zk＝h(xk,g,vk)使用当前估计状态计算的雅可比(Jacobian)矩阵，其中，g表示参考坐标系下的垂直向下的重力矢量，g＝[0,0,-9.81]T，vk表示为测量误差。
S1022、利用上一状态的估计误差协方差矩阵Pk-1|k-1、当前状态的状态转移矩阵Fk和过程噪声Q估计当前状态的误差协方差矩阵Pk|k-1；
在本发明实施例一中，S1022具体可以利用公式计算出的状态预测估计协方差矩阵Pk|k-1，其中，Pk-1|k-1表示k-1时刻状态的估计协方差矩阵，Qk表示过程噪声的协方差矩阵，dt表示陀螺仪数据的采样间隔时间，Fk表示k时刻的状态转移矩阵，表示Fk的转置。
S1023、利用估计的当前状态的误差协方差矩阵Pk|k-1、观测矩阵Hk和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵Kk；
在本发明实施例一中，S1023具体可以包括以下步骤：
利用状态预测估计协方差矩阵Pk|k-1来计算k时刻的最优卡尔曼增益矩阵Kk，R表示噪声协方差矩阵，σ2表示噪声方差，一般地σ＝0.75，Hk表示k时刻的观测信息雅克比矩阵，表示Hk的转置。
S1024、根据当前状态的最优卡尔曼增益矩阵Kk和当前时刻预测余量更新当前状态估计旋转向量
在本发明实施例一中，S1024具体可以包括以下步骤：
更新状态估计得到k时刻通过融合加速度计数值和角速度数值得到的当前状态的旋转向量更新估计协方差矩阵Pk|k，Pk|k＝(I-Kk·Hk)Pk|k-1，其中I是单位矩阵，Pk|k就是下一时刻需要的估计误差协方差矩阵Pk-1|k-1。
S103、根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵。
罗德里格旋转公式是计算三维空间中，一个向量绕旋转轴旋转给定角度以后得到的新向量的计算公式。这个公式使用原向量，旋转轴及它们叉积作为标架表示出旋转以后的向量。
S104、根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
在本发明实施例一中，S104具体可以包括以下步骤：
把经纬图像上的点映射到球型图像的点；
遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧。
其中，利用当前的旋转矩阵对单位球上的所有点进行旋转具体可以采用以下的公式：其中，x,y,z表示单位圆旋转之前的球面坐标，xnew,ynew,znew表示旋转后的球面坐标，Mk表示当前的旋转矩阵，t表示位移向量，t＝[0,0,0]T。
实施例二：
请参阅图3，本发明实施例二提供的全景视频防抖的系统包括：
获取模块11，用于实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
估计模块12，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
计算模块13，用于根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；和
视频帧生成模块14，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
在本发明实施例二中，所述系统还可以包括：
降噪模块，用于利用低通滤波对加速度计数值和角速度数值进行降噪处理。
所述估计模块具体可以包括：
预测余量计算模块，用于利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
误差协方差矩阵估计模块，用于利用上一状态的估计误差协方差矩阵Pk-1|k-1、当前状态的状态转移矩阵Fk和过程噪声Q估计当前状态的误差协方差矩阵Pk|k-1；
最优卡尔曼增益矩阵计算模块，用于利用估计的当前状态的误差协方差矩阵Pk|k-1、观测矩阵Hk和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵Kk；
更新模块，用于根据当前状态的最优卡尔曼增益矩阵Kk和当前时刻预测余量更新当前状态估计旋转向量
所述视频帧生成模块具体可以包括：
映射模块，用于把经纬图像上的点映射到球型图像的点；
旋转模块，用于遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧。
实施例三：
图4示出了本发明实施例三提供的便携式终端的具体结构框图，该便携式终端100可以用于实施上述实施例中提供的全景视频防抖的方法和系统。
请参阅图4，本发明实施例三提供的便携式终端100可以包括有一个或一个以上(图中仅示出一个)计算机可读存储介质的存储器101、包括有一个或者一个以上(图中仅示出一个)处理核心的处理器102、显示模块103以及电源104等部件。本领域技术人员可以理解，图4中示出的便携式终端并不构成对便携式终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：处理器102和存储器101通过总线连接；存储器101可用于存储软件程序以及模块，如上述实施例中全景视频防抖的方法和系统对应的程序指令/模块，处理器102用于调用存储器101中存储的程序代码，执行如下操作：
实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
因为加速度计数值估计出的角度，容易受到干扰(如行走，徒步，奔跑等)，随着时间的累积，角速度的累积误差会越来越大。在本发明中，由于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量，并根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵，然后旋转全景图像，因此最终能稳定抖动的视频帧，能减轻VR晕动症。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种全景视频防抖的方法，其特征在于，所述方法包括：
实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
2.如权利要求1所述的方法，其特征在于：
所述实时获取便携式终端的加速度计数值具体是：利用重力感应器读取三轴加速度计数值；
所述实时获取便携式终端的角速度数值具体是：利用角速度感应器读取三轴角速度数值。
3.如权利要求1所述的方法，其特征在于，所述实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值之后，所述方法还包括：
利用低通滤波对加速度计数值和角速度数值进行降噪处理。
4.如权利要求3所述的方法，其特征在于，所述利用低通滤波对加速度计数值和角速度数值进行降噪处理具体包括：
通过公式d′i＝α·di+(1-α)·d′i-1分别对加速度计数值和角速度数值进行低通滤波降噪处理，其中，di表示第i时刻的加速度计数值或角速度数值；d′i表示第i时刻经过低通滤波后的加速度计数值或角速度数值；d′i-1表示第i-1时刻时滤波后的加速度计数值或角速度数值；α表示平滑因子，其中fc表示低通滤波的截止频率，Rc表示时间常数，Δt表示采样时间间隔。
5.如权利要求1或3所述的方法，其特征在于，所述利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量具体包括：
利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
利用上一状态的估计误差协方差矩阵Pk-1|k-1、当前状态的状态转移矩阵Fk和过程噪声Q估计当前状态的误差协方差矩阵Pk|k-1；
利用估计的当前状态的误差协方差矩阵Pk|k-1、观测矩阵Hk和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵Kk；
根据当前状态的最优卡尔曼增益矩阵Kk和当前时刻预测余量更新当前状态估计旋转向量
6.如权利要求5所述的方法，其特征在于，
所述利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量具体包括以下步骤：
对初始状态转移矩阵、初始预测协方差矩阵和初始观测矩阵进行初始化，其中，初始状态转移矩阵初始预测协方差矩阵，初始观测矩阵
计算k时刻的状态转移矩阵计算观测信息矩阵其中，xk-1表示k-1时刻的便携式终端的状态估计，xk表示k时刻的便携式终端的状态估计，表示偏微分符号，f表示状态方程函数，x表示便携式终端的状态，即三个轴方向上的旋转角度，h表示观测方程函数， xk-2表示第k-2时刻的便携式终端的状态，uk-1表示第k-1时刻的角速度数值，wk-1表示k-1时刻的过程噪声，表示利用k-2时刻来预测第k-1时刻便携式终端的估计状态，xk-1表示第k-1时刻的便携式终端的状态，uk表示第k时刻的角速度数值，wk表示第k时刻的过程噪声，表示利用k-1时刻来预测第k时刻便携式终端的估计状态，xk-2＝[Xk-2,Yk-2,Zk-2]T，其中，Xk-2,Yk-2,Zk-2表示第k-2时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，xk-1＝[Xk-1,Yk-1,Zk-1]T，其中，Xk-1,Yk-1,Zk-1表示第k-1时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，T表示转置；
把参考系坐标系下的垂直向下的重力加速度投影到刚体坐标系下，通过公式计算观测余量其中，zk为k时刻利用低通滤波进行降噪处理后的加速度计数值，Hk是观测信息矩阵，表示观测方程zk＝h(xk,g,vk)使用当前估计状态计算的雅可比矩阵，其中，g表示参考坐标系下的垂直向下的重力矢量，g＝[0,0,-9.81]T，vk表示为测量误差；
所述利用上一状态的估计误差协方差矩阵Pk-1|k-1、当前状态的状态转移矩阵Fk和过程噪声Q估计当前状态的误差协方差矩阵Pk|k-1具体为：
利用公式计算出的状态预测估计协方差矩阵Pk|k-1，其中，Pk-1|k-1表示k-1时刻状态的估计协方差矩阵，Qk表示过程噪声的协方差矩阵，dt表示陀螺仪数据的采样间隔时间，Fk表示k时刻的状态转移矩阵，表示Fk的转置；
所述利用估计的当前状态的误差协方差矩阵Pk|k-1、观测矩阵Hk和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵Kk具体包括以下步骤：
利用状态预测估计协方差矩阵Pk|k-1来计算k时刻的最优卡尔曼增益矩阵Kk，R表示噪声协方差矩阵，σ2表示噪声方差，一般地σ＝0.75，Hk表示k时刻的观测信息雅克比矩阵，表示Hk的转置；
所述根据当前状态的最优卡尔曼增益矩阵Kk和当前时刻预测余量更新当前状态估计旋转向量具体包括以下步骤：
更新状态估计得到k时刻通过融合加速度计数值和角速度数值得到的当前状态的旋转向量 更新估计协方差矩阵Pk|k，Pk|k＝(I-Kk·Hk)Pk|k-1，其中I是单位矩阵，Pk|k就是下一时刻需要的估计误差协方差矩阵Pk-1|k-1。
7.如权利要求1所述的方法，其特征在于，所述根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧具体包括：
把经纬图像上的点映射到球型图像的点；
遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧。
8.如权利要求7所述的方法，其特征在于，所述利用当前的旋转矩阵对单位球上的所有点进行旋转具体采用以下的公式：其中，x,y,z表示单位圆旋转之前的球面坐标，xnew,ynew,znew表示旋转后的球面坐标，Mk表示当前的旋转矩阵，t表示位移向量，t＝[0,0,0]T。
9.一种全景视频防抖的系统，其特征在于，所述系统包括：
获取模块，用于实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
估计模块，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
计算模块，用于根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；和
视频帧生成模块，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
10.如权利要求9所述的系统，其特征在于，所述系统还包括：
降噪模块，用于利用低通滤波对加速度计数值和角速度数值进行降噪处理。
11.如权利要求9或10所述的系统，其特征在于，所述估计模块具体包括：
预测余量计算模块，用于利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
误差协方差矩阵估计模块，用于利用上一状态的估计误差协方差矩阵Pk-1|k-1、当前状态的状态转移矩阵Fk和过程噪声Q估计当前状态的误差协方差矩阵Pk|k-1；
最优卡尔曼增益矩阵计算模块，用于利用估计的当前状态的误差协方差矩阵Pk|k-1、观测矩阵Hk和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵Kk；
更新模块，用于根据当前状态的最优卡尔曼增益矩阵Kk和当前时刻预测余量更新当前状态估计旋转向量
12.如权利要求9所述的系统，其特征在于，所述视频帧生成模块具体包括：
映射模块，用于把经纬图像上的点映射到球型图像的点；
旋转模块，用于遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的视频帧。
13.一种便携式终端，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线连接；所述存储器用于存储一组程序代码，所述处理器用于调用所述存储器中存储的程序代码，执行如下操作：
实时获取便携式终端的当前状态时间戳、加速度计数值和角速度数值；
利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵；
根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。
CN201710225056.0A 2017-04-07 2017-04-07 一种全景视频防抖的方法、系统及便携式终端 Active CN107040694B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710225056.0A CN107040694B (zh) 2017-04-07 2017-04-07 一种全景视频防抖的方法、系统及便携式终端
JP2019553531A JP6941687B2 (ja) 2017-04-07 2018-02-05 パノラマビデオジッター補正の方法、システム及び携帯端末
US16/481,454 US10812718B2 (en) 2017-04-07 2018-02-05 Method and system for panoramic video stabilization, and portable terminal
PCT/CN2018/075265 WO2018184423A1 (zh) 2017-04-07 2018-02-05 一种全景视频防抖的方法、系统及便携式终端
EP18781767.1A EP3528489B1 (en) 2017-04-07 2018-02-05 Method and system for panoramic video stabilization, and portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710225056.0A CN107040694B (zh) 2017-04-07 2017-04-07 一种全景视频防抖的方法、系统及便携式终端

Publications (2)

Publication Number Publication Date
CN107040694A true CN107040694A (zh) 2017-08-11
CN107040694B CN107040694B (zh) 2019-10-25

Family

ID=59534803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710225056.0A Active CN107040694B (zh) 2017-04-07 2017-04-07 一种全景视频防抖的方法、系统及便携式终端

Country Status (5)

Country Link
US (1) US10812718B2 (zh)
EP (1) EP3528489B1 (zh)
JP (1) JP6941687B2 (zh)
CN (1) CN107040694B (zh)
WO (1) WO2018184423A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107801014A (zh) * 2017-10-25 2018-03-13 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN108337411A (zh) * 2018-01-15 2018-07-27 深圳岚锋创视网络科技有限公司 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件
CN108366243A (zh) * 2018-01-23 2018-08-03 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN108366201A (zh) * 2018-02-12 2018-08-03 天津天地伟业信息系统集成有限公司 一种基于陀螺仪的电子防抖方法
CN108600616A (zh) * 2018-04-04 2018-09-28 深圳市极酷威视科技有限公司 一种基于rtp帧同步的视频防抖系统和视频获取器材
WO2018184423A1 (zh) * 2017-04-07 2018-10-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端
CN109561254A (zh) * 2018-12-18 2019-04-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109561253A (zh) * 2018-12-18 2019-04-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109688327A (zh) * 2018-12-18 2019-04-26 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
WO2019119597A1 (zh) * 2017-12-22 2019-06-27 深圳岚锋创视网络科技有限公司 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件
WO2019174640A1 (zh) * 2018-03-16 2019-09-19 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法及便携式终端

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI700000B (zh) * 2019-01-29 2020-07-21 威盛電子股份有限公司 全景影片影像穩定方法及裝置與影像穩定演算法評估方法
CN111044054B (zh) * 2020-01-06 2023-02-03 哈尔滨工业大学 一种基于单目slam算法利用卡尔曼滤波进行位姿优化的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
CN101969533A (zh) * 2010-09-08 2011-02-09 中兴通讯股份有限公司 一种移动终端摄像头的防抖方法及装置
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
CN104811588A (zh) * 2015-04-10 2015-07-29 浙江工业大学 一种基于陀螺仪的船载稳像控制方法
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313252B2 (en) * 2005-03-25 2007-12-25 Sarnoff Corporation Method and system for improving video metadata through the use of frame-to-frame correspondences
KR100758632B1 (ko) * 2006-03-29 2007-09-14 삼성전자주식회사 파노라마 사진촬영 장치 및 방법
US9516223B2 (en) * 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US9013617B2 (en) * 2012-10-12 2015-04-21 Qualcomm Incorporated Gyroscope conditioning and gyro-camera alignment
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN107040694B (zh) * 2017-04-07 2019-10-25 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231456A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 利用角度传感器纠正全景视频抖动的方法
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
CN101969533A (zh) * 2010-09-08 2011-02-09 中兴通讯股份有限公司 一种移动终端摄像头的防抖方法及装置
CN104811588A (zh) * 2015-04-10 2015-07-29 浙江工业大学 一种基于陀螺仪的船载稳像控制方法
CN106507094A (zh) * 2016-10-31 2017-03-15 北京疯景科技有限公司 校正全景视频显示视角的方法及装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018184423A1 (zh) * 2017-04-07 2018-10-11 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端
US10812718B2 (en) 2017-04-07 2020-10-20 Arashi Vision Inc. Method and system for panoramic video stabilization, and portable terminal
US11057567B2 (en) * 2017-10-25 2021-07-06 Arashi Vision Inc. Anti-shake method and apparatus for panoramic video, and portable terminal
JP7039691B6 (ja) 2017-10-25 2022-05-16 影石創新科技股▲ふん▼有限公司 パノラマ映像の手振れ補正方法、装置及び携帯端末
JP7039691B2 (ja) 2017-10-25 2022-03-22 影石創新科技股▲ふん▼有限公司 パノラマ映像の手振れ補正方法、装置及び携帯端末
EP3703006A4 (en) * 2017-10-25 2021-06-02 Arashi Vision Inc. ANTI-SHAKER PROCESS AND APPARATUS FOR PANORAMIC VIDEO, AND PORTABLE TERMINAL
JP2020536460A (ja) * 2017-10-25 2020-12-10 影石創新科技股▲ふん▼有限公司 パノラマ映像の手振れ補正方法、装置及び携帯端末
WO2019080748A1 (zh) * 2017-10-25 2019-05-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN107801014A (zh) * 2017-10-25 2018-03-13 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
WO2019119597A1 (zh) * 2017-12-22 2019-06-27 深圳岚锋创视网络科技有限公司 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件
CN108337411A (zh) * 2018-01-15 2018-07-27 深圳岚锋创视网络科技有限公司 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件
CN108366243A (zh) * 2018-01-23 2018-08-03 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN108366243B (zh) * 2018-01-23 2019-10-29 微幻科技(北京)有限公司 一种视频去抖方法及装置
CN108366201B (zh) * 2018-02-12 2020-11-06 天津天地伟业信息系统集成有限公司 一种基于陀螺仪的电子防抖方法
CN108366201A (zh) * 2018-02-12 2018-08-03 天津天地伟业信息系统集成有限公司 一种基于陀螺仪的电子防抖方法
WO2019174640A1 (zh) * 2018-03-16 2019-09-19 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法及便携式终端
US11388339B2 (en) 2018-03-16 2022-07-12 Arashi Vision Inc. Anti-shake method for panoramic video, and portable terminal
CN108600616A (zh) * 2018-04-04 2018-09-28 深圳市极酷威视科技有限公司 一种基于rtp帧同步的视频防抖系统和视频获取器材
CN109561254B (zh) * 2018-12-18 2020-11-03 影石创新科技股份有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109688327A (zh) * 2018-12-18 2019-04-26 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109561253A (zh) * 2018-12-18 2019-04-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109561254A (zh) * 2018-12-18 2019-04-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
WO2020125130A1 (zh) * 2018-12-18 2020-06-25 影石创新科技股份有限公司 一种全景视频防抖的方法及便携式终端
WO2020125132A1 (zh) * 2018-12-18 2020-06-25 影石创新科技股份有限公司 一种全景视频防抖的方法及便携式终端
WO2020125131A1 (zh) * 2018-12-18 2020-06-25 影石创新科技股份有限公司 一种全景视频防抖的方法及便携式终端
US11483478B2 (en) 2018-12-18 2022-10-25 Arashi Vision Inc. Panoramic video anti-shake method and portable terminal
US11490010B2 (en) 2018-12-18 2022-11-01 Arashi Vision Inc. Panoramic video anti-shake method and portable terminal

Also Published As

Publication number Publication date
EP3528489A4 (en) 2020-04-29
EP3528489B1 (en) 2022-05-18
JP6941687B2 (ja) 2021-09-29
US10812718B2 (en) 2020-10-20
JP2020516177A (ja) 2020-05-28
EP3528489A1 (en) 2019-08-21
WO2018184423A1 (zh) 2018-10-11
US20190349526A1 (en) 2019-11-14
CN107040694B (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN107040694A (zh) 一种全景视频防抖的方法、系统及便携式终端
CN107801014B (zh) 一种全景视频防抖的方法、装置及便携式终端
CN108447097B (zh) 深度相机标定方法、装置、电子设备及存储介质
CN108627153B (zh) 一种基于惯性传感器的刚体运动追踪系统及其工作方法
CN104982027B (zh) 用于通过基于约束的转动平滑的数字视频稳定的系统和方法
CN107888828A (zh) 空间定位方法及装置、电子设备、以及存储介质
CN112649016A (zh) 一种基于点线初始化的视觉惯性里程计方法
US20220051031A1 (en) Moving object tracking method and apparatus
CN106709222B (zh) 基于单目视觉的imu漂移补偿方法
CN108731700B (zh) 一种视觉惯性里程计中的加权欧拉预积分方法
CN106525003A (zh) 一种基于双目视觉的姿态测量方法
CN106370178B (zh) 移动终端设备的姿态测量方法及装置
CN108073909A (zh) 合成模糊人脸图像的方法和装置、计算机装置及存储介质
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN109669533A (zh) 一种基于视觉和惯性的动作捕捉方法、装置及系统
CN114013449A (zh) 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
WO2019119597A1 (zh) 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件
CN106970705A (zh) 动作捕捉方法、装置和电子设备
CN110099206A (zh) 基于机器人的拍照方法、机器人及计算机可读存储介质
Tong et al. Cascade-LSTM-based visual-inertial navigation for magnetic levitation haptic interaction
Zhang et al. Ubiquitous human body motion capture using micro-sensors
CN108701348A (zh) 处理图像的方法、集成电路、处理器、系统和可移动设备
Cao Analysis of aerobic training posture using machine vision for body area networks
Sheikhpour et al. Calibration-free visual-inertial fusion with deep convolutional recurrent neural networks
CN116211290B (zh) 一种踝泵运动的姿态监测与评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee after: Yingshi Innovation Technology Co., Ltd

Address before: 6, building 518000, block A, Liuzhou light Century Towers, Shenzhen, Baoan District, Guangdong Province, 601

Patentee before: SHENZHEN ARASHI VISION Co.,Ltd.