CN108337411B - 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件 - Google Patents

移动终端与镜头组件配合实现平面拍摄的方法和镜头组件 Download PDF

Info

Publication number
CN108337411B
CN108337411B CN201810037000.7A CN201810037000A CN108337411B CN 108337411 B CN108337411 B CN 108337411B CN 201810037000 A CN201810037000 A CN 201810037000A CN 108337411 B CN108337411 B CN 108337411B
Authority
CN
China
Prior art keywords
mobile terminal
lens
matrix
video frame
lens assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810037000.7A
Other languages
English (en)
Other versions
CN108337411A (zh
Inventor
陈聪
姜文杰
刘靖康
彭文学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN201810037000.7A priority Critical patent/CN108337411B/zh
Priority to PCT/CN2018/073444 priority patent/WO2019119597A1/zh
Publication of CN108337411A publication Critical patent/CN108337411A/zh
Application granted granted Critical
Publication of CN108337411B publication Critical patent/CN108337411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Studio Devices (AREA)

Abstract

本发明适用于平面视频拍摄领域，提供了一种移动终端与镜头组件配合实现平面拍摄的方法和镜头组件。所述镜头组件包括安装支架、前置镜头和后置镜头，其中，安装支架的正面和背面均设有通孔，前置镜头嵌入至安装支架的正面的通孔，后置镜头嵌入至安装支架的背面的通孔，安装支架可拆卸地套设在移动终端的摄像头区域的外面，镜头组件安装至移动终端时，前置镜头覆盖移动终端的前置摄像头，后置镜头覆盖移动终端的后置摄像头，前置镜头和后置镜头均是广角镜头或鱼眼镜头；通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄，配合所述前置镜头或后置镜头实现平面视频拍摄，成本低，不需要专业的相机。

Description

移动终端与镜头组件配合实现平面拍摄的方法和镜头组件
技术领域
本发明属于平面视频拍摄领域，尤其涉及一种移动终端与镜头组件配合实现平面拍摄的方法和镜头组件。
背景技术
目前，广角的平面视频都是通过专业相机配合广角的镜头来拍摄的。然而，专业相机的成本很高，比较少人为了偶尔拍摄广角的平面视频而专门去买专业相机。因此，非常有必要提供一种成本低，且能与移动终端配合实现广角平面视频拍摄的镜头组件。
发明内容
本发明的目的在于提供一种移动终端与镜头组件配合实现平面拍摄的方法和镜头组件，旨在解决现有技术通过专业相机配合广角的镜头拍摄广角的平面视频，成本很高的问题。
第一方面，本发明提供了一种镜头组件，所述镜头组件包括安装支架、前置镜头和后置镜头，其中，安装支架的正面和背面均设有通孔，前置镜头嵌入至安装支架的正面的通孔，后置镜头嵌入至安装支架的背面的通孔，安装支架可拆卸地套设在移动终端的摄像头区域的外面，镜头组件安装至移动终端时，前置镜头覆盖移动终端的前置摄像头，后置镜头覆盖移动终端的后置摄像头，前置镜头和后置镜头均是广角镜头或鱼眼镜头；通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄，配合所述前置镜头或后置镜头实现平面视频拍摄。
进一步地，所述前置镜头与移动终端的前置摄像头的光轴共轴或大致平行，所述后置镜头与移动终端的后置摄像头的光轴共轴或大致平行。
第二方面，本发明还提供了一种移动终端与镜头组件配合实现平面拍摄的方法，所述方法包括：
移动终端启动安装在移动终端中的平面拍摄应用程序，所述移动终端安装有如上述的镜头组件；
移动终端实时获取移动终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到移动终端到世界坐标系的旋转量；
控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧，或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧；
移动终端同步陀螺仪时间戳与平面视频帧的时间戳；
移动终端对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵；
移动终端根据当前的旋转矩阵旋转平面视频帧，生成稳定的平面视频帧。
第三方面，本发明还提供了一种移动终端与镜头组件配合实现平面拍摄的方法，所述方法包括：
移动终端启动安装在移动终端中的平面拍摄应用程序，所述移动终端安装有如上述的镜头组件；
移动终端实时获取移动终端的当前状态时间戳、加速度计数值和角速度数值；
移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
移动终端根据当前状态的旋转向量通过罗德里格旋转公式计算得到当前的旋转矩阵；
控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧，或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧；
移动终端根据当前的旋转矩阵旋转平面视频帧，生成稳定的平面视频帧。
在本发明中，由于镜头组件包括安装支架、前置镜头和后置镜头，镜头组件安装至移动终端时，前置镜头覆盖移动终端的前置摄像头，后置镜头覆盖移动终端的后置摄像头，前置镜头和后置镜头均是广角镜头或鱼眼镜头；因此通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄，配合所述前置镜头或后置镜头实现平面视频拍摄，成本低，不需要专业的相机。
由于移动终端安装有本发明提供的镜头组件，又由于本发明的移动终端与镜头组件配合实现平面拍摄的方法中，对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵，因此能得到更为精确的旋转矩阵。然后根据当前的旋转矩阵旋转平面视频帧，生成稳定的平面视频帧。因此最终能稳定抖动的平面视频帧，对大噪声场景和大部分运动场景都有很强的鲁棒性。
另外，因为加速度计数值估计出的角度，容易受到干扰(如行走，徒步，奔跑等)，随着时间的累积，角速度的累积误差会越来越大。在本发明的移动终端与镜头组件配合实现平面拍摄的方法中，由于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量，并根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵，然后旋转平面视频帧，因此最终能稳定抖动的平面视频帧。
附图说明
图1是本发明实施例提供的镜头组件的主视图。
图2是本发明实施例提供的镜头组件的后视图。
图3是本发明实施例提供的镜头组件的右视图。
图4是本发明实施例提供的镜头组件的俯视图。
图5是本发明实施例提供的镜头组件的仰视图。
图6是本发明实施例提供的镜头组件的剖视图。
图7是本发明实施例提供的镜头组件与移动终端配合的主视图。
图8是本发明实施例提供的镜头组件与移动终端配合的后视图。
图9是本发明实施例提供的镜头组件与移动终端配合的俯视图。
图10是本发明实施例提供的镜头组件与移动终端配合的右视图。
图11是本发明实施例提供的第二种配合移动终端实现全景拍摄的镜头组件与移动终端(Iphone 6，Iphone 6S，Iphone 7，Iphone 8)配合的示意图。
图12是本发明实施例提供的第三种配合移动终端实现全景拍摄的镜头组件与移动终端(Iphone 6Plus，Iphone 6S Plus，Iphone 7 Plus，Iphone 8 Plus) 配合的示意图。
图13是本发明实施例提供的第四种配合移动终端实现全景拍摄的镜头组件与移动终端(Iphone X)配合的示意图。
图14是本发明实施例提供的移动终端与镜头组件配合实现平面拍摄的方法的流程图。
图15是本发明实施例提供的移动终端与镜头组件配合实现平面拍摄的方法中的S103的流程图。
图16是本发明另一实施例提供的移动终端与镜头组件配合实现平面拍摄的方法的流程图。
图17是本发明另一实施例提供的移动终端与镜头组件配合实现平面拍摄的方法中的S203的流程图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
请参阅图1至图10，本发明实施例提供的镜头组件100包括安装支架101、前置镜头102和后置镜头103，其中，安装支架101的正面和背面均设有通孔 (图未示)，前置镜头102嵌入至安装支架101的正面的通孔，后置镜头103 嵌入至安装支架101的背面的通孔，安装支架101可拆卸地套设在移动终端200 的摄像头区域的外面，镜头组件100安装至移动终端200时，前置镜头102覆盖移动终端200的前置摄像头，后置镜头103覆盖移动终端200的后置摄像头，镜头组件100不遮挡移动终端200的显示屏。
在本发明实施例中，为了使拍摄的效果较佳，前置镜头102与移动终端200 的前置摄像头的光轴共轴或大致平行。后置镜头103与移动终端200的后置摄像头的光轴共轴或大致平行。
在本发明实施例中，前置镜头102通过前置镜头套筒104嵌入至安装支架 101的正面的通孔，后置镜头103通过后置镜头套筒105嵌入至安装支架101 的背面的通孔。前置镜头套筒104和后置镜头套筒105与安装支架101可以是一体的，或者，前置镜头套筒104和后置镜头套筒105分别可拆卸地固定于安装支架上，或者，前置镜头套筒104和后置镜头套筒105分别与安装支架101 固定连接。安装支架101具有环状的侧壁106，形成中空的腔体，腔体的形状与移动终端200的摄像头区域匹配，使安装支架101可固定在移动终端200的摄像头区域。
安装支架101可以具有顶壁也可以没有顶壁，图中所示为没有顶壁的安装支架(请参阅图10)。如图6和图10所示，由于移动终端的顶部通常是弧形的，为了使安装支架101的侧壁106与移动终端200更好的配合，安装支架101 的正面和背面的侧壁106向顶部的中间延伸预定距离，形成固定部107，使安装支架101不容易滑落。请参阅图5，安装支架101与移动终端200的侧面配合的侧壁106的底端设有凸起108，使安装支架101更好地固定在移动终端200。请参阅图7，安装支架101的正面还开设有与移动终端200的喇叭位置对应的通孔109，使镜头组件100不影响移动终端的喇叭播放效果。
在本发明实施例中，移动终端200可以是手机、平板电脑等。前置镜头102 和后置镜头103均可以是广角镜头或鱼眼镜头(即超广角镜头)。
图1至图10仅是与其中一款移动终端配合使用的镜头组件，对于不同的移动终端，尤其是摄像头位置不同的移动终端，本发明实施例提供的镜头组件的结构也可以作适应性的修改，如图11、12和13所示。
当将本发明实施例提供的镜头组件固定到移动终端后，当需要拍摄平面视频时，可以通过启动安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄，配合所述前置镜头或后置镜头实现平面拍摄，由于前置摄像头和后置摄像头分别被前置镜头和后置镜头覆盖，因此前置摄像头和后置摄像头采集的图像实际上是经前置镜头和后置镜头采集的平面视频帧，由于前置镜头和后置镜头是广角镜头或鱼眼镜头，因此能达到180度的视角。
请参阅图14，本发明实施例还提供了一种移动终端与镜头组件配合实现平面拍摄的方法，所述方法包括：
S101、移动终端启动安装在移动终端中的平面拍摄应用程序，所述移动终端安装有如本发明实施例提供的镜头组件；
在本发明实施例中，S101之后，所述方法还可以包括以下步骤：
移动终端接收用户选择的启动防抖功能的指令。
S102、移动终端实时获取移动终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
在本发明实施例中，
实时获取移动终端中的陀螺仪的加速度计数值具体可以是：利用重力感应器读取三轴加速度计数值。
实时获取移动终端中的陀螺仪的角速度数值具体可以是：利用角速度感应器读取三轴角速度数值。
在本发明实施例中，S102之后还可以包括以下步骤：
利用低通滤波对加速度计数值进行降噪处理。具体可以包括以下步骤：
通过公式d'i＝α·di+(1-α)·Ri·d'i-1对加速度计数值进行低通滤波降噪处理，其中，di'表示第i时刻经过低通滤波后的加速度计数值，di表示第i时刻的加速度计数值，Ri为陀螺仪第i帧视频的相对旋转量，Ri＝exp[-ωi·Δt]×，ωi表示第i时刻的角速度数值，d'i-1表示第i-1时刻时滤波后的加速度计数值，α表示平滑因子，
Figure BDA0001548299040000071
其中fc表示低通滤波的截止频率，Rc表示时间常数，Δt表示陀螺仪数据的采样时间间隔。
S103、移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到移动终端到世界坐标系的旋转量；
扩展卡尔曼滤波是将非线性系统线性化，然后进行卡尔曼滤波，卡尔曼滤波是一种高效率的递归滤波器,它能够从一系列的不完全包含噪声的测量中，估计动态系统的状态。
请参阅图15，在本发明实施例中，S103具体可以包括以下步骤：
S1031、初始状态旋转量
Figure BDA0001548299040000072
其中，d0为初始测得的加速度数值，g为世界坐标系重力矢量；初始过程协方差
Figure BDA0001548299040000073
S1032、利用角速度数值ωk计算第K时刻的状态转移矩阵Φ(ωk)；
Φ(ωk)＝exp(-[ωk·Δt]×)，其中ωk是第K时刻的角速度数值，Δt表示陀螺仪数据的采样时间间隔。
S1033、计算状态噪声的协方差矩阵Qk，更新状态旋转先验估计量
Figure BDA0001548299040000074
和过程协方差先验估计矩阵
Figure BDA0001548299040000075
Figure BDA0001548299040000081
Qk为状态噪声的协方差矩阵；
Figure BDA0001548299040000082
其中，
Figure BDA0001548299040000083
是第K-1时刻的状态旋转后验估计量；
Figure BDA0001548299040000084
其中，
Figure BDA0001548299040000085
是第K-1时刻的过程协方差后验估计矩阵；
S1034、由加速度数值dk更新观测量的噪声方差矩阵Rk，计算观测转移雅克比矩阵Hk，计算当前观测量和估计观测量误差ek；
Figure BDA0001548299040000086
其中，
Figure BDA0001548299040000087
Figure BDA0001548299040000088
α为加速度变化量的平滑因子，β为加速度模长的影响因子；
Figure BDA0001548299040000089
其中h为观察函数，h(q,v)＝q·g+vk，g世界坐标系下的重力矢量，q为状态量，即世界坐标系到陀螺仪坐标系的旋转量，vk为测量噪声；
Figure BDA00015482990400000810
S1035、更新第k时刻的最优卡尔曼增益矩阵Kk；
Figure BDA00015482990400000811
S1036、根据最优卡尔曼增益矩阵Kk和观测量误差ek更新移动终端到世界坐标系的旋转后验估计量
Figure BDA00015482990400000812
和过程协方差后验估计矩阵
Figure BDA00015482990400000813
Figure BDA00015482990400000814
Figure BDA00015482990400000815
S104、控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧，或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧；
S105、移动终端同步陀螺仪时间戳与平面视频帧的时间戳；
在本发明实施例中，S105具体可以为：
移动终端同步陀螺仪时间戳与平面视频帧的时间戳，使tk≥tj＞tk-1，其中 tj是平面视频帧的时间戳，tk为陀螺仪第K帧的时间戳，tk-1为陀螺仪第K-1帧的时间戳。
S106、移动终端对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵；
在本发明实施例中，S106具体可以包括以下步骤：
移动终端计算邻近陀螺仪时间戳的相对旋转量，
Figure BDA0001548299040000091
其中，rk为第K 时刻的相对旋转量，
Figure BDA0001548299040000092
和
Figure BDA0001548299040000093
为第k和k-1时刻的状态后验估计量，即世界坐标系到陀螺仪坐标系的旋转量；
移动终端进行四元数插值获取平面视频帧到第k帧的相对旋转量， Rj＝γ·I+(1-γ)·rk，其中，Rj为第k帧的相对旋转量，
Figure BDA0001548299040000094
移动终端计算平面视频帧中第j帧视频的旋转矩阵
Figure BDA0001548299040000095
S107、移动终端根据当前的旋转矩阵旋转平面视频帧，生成稳定的平面视频帧。
在本发明实施例中，S107具体可以包括以下步骤：
移动终端把经纬度二维图像上的栅格点映射到球面坐标；
移动终端遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的平面视频帧；
其中，利用当前的旋转矩阵对单位球上的所有点进行旋转具体采用以下的公式：
Figure BDA0001548299040000096
其中，[x,y,z]T表示单位圆旋转之前的球面坐标， [xnew,ynew,znew]T表示旋转后的球面坐标，Qj表示当前的旋转矩阵，t表示位移向量，t＝[0,0,0]T。
请参阅图16，本发明另一实施例还提供了一种移动终端与镜头组件配合实现平面拍摄的方法，所述方法包括：
S201、移动终端启动安装在移动终端中的平面拍摄应用程序，所述移动终端安装有如本发明实施例提供的镜头组件；
在本发明实施例中，S201之后，所述方法还可以包括以下步骤：
移动终端接收用户选择的启动防抖功能的指令。
S202、移动终端实时获取移动终端的当前状态时间戳、加速度计数值和角速度数值；
在本发明实施例中，
实时获取移动终端的加速度计数值具体可以是：利用重力感应器读取三轴加速度计数值。
实时获取移动终端的角速度数值具体可以是：利用角速度感应器读取三轴角速度数值。
在本发明实施例中，S202之后还可以包括以下步骤：
利用低通滤波对加速度计数值和角速度数值进行降噪处理。具体可以包括以下步骤：
通过公式di'＝α·di+(1-α)·di'-1分别对加速度计数值和角速度数值进行低通滤波降噪处理，其中，di表示第i时刻的加速度计数值或角速度数值；di'表示第i 时刻经过低通滤波后的加速度计数值或角速度数值；di'-1表示第i-1时刻时滤波后的加速度计数值或角速度数值；α表示平滑因子，
Figure BDA0001548299040000101
其中fc表示低通滤波的截止频率，Rc表示时间常数，Δt表示采样时间间隔。
S203、移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量；
扩展卡尔曼滤波是将非线性系统线性化，然后进行卡尔曼滤波，卡尔曼滤波是一种高效率的递归滤波器,它能够从一系列的不完全包含噪声的测量中，估计动态系统的状态。
请参阅图17，在本发明实施例中，S203具体可以包括以下步骤：
S2031、移动终端利用角速度数值计算k时刻的状态转移矩阵Fk；利用加速度计数值，结合参考坐标系下重力矢量g和上一状态的旋转矩阵计算当前时刻预测余量
Figure BDA0001548299040000111
在本发明实施例中，S2031具体可以包括以下步骤：
移动终端对初始状态转移矩阵、初始预测协方差矩阵和初始观测矩阵进行初始化，其中，初始状态转移矩阵
Figure BDA0001548299040000112
初始预测协方差矩阵
Figure BDA0001548299040000113
初始观测矩阵
Figure BDA0001548299040000114
移动终端计算k时刻的状态转移矩阵
Figure BDA0001548299040000115
计算观测信息矩阵
Figure BDA0001548299040000116
其中，xk-1表示k-1时刻的移动终端的状态估计，xk表示k时刻的移动终端的状态估计，
Figure BDA00015482990400001110
表示偏微分符号，f表示状态方程函数，x表示移动终端的状态，即三个轴方向上的旋转角度，h表示观测方程函数，
Figure BDA0001548299040000117
xk-2表示第k-2时刻的移动终端的状态，uk-1表示第k-1时刻的角速度数值，wk-1表示k-1时刻的过程噪声，
Figure BDA0001548299040000118
表示利用k-2时刻来预测第k-1时刻移动终端的估计状态，xk-1表示第k-1时刻的移动终端的状态，uk表示第k时刻的角速度数值，wk表示第k时刻的过程噪声，
Figure BDA0001548299040000119
表示利用k-1时刻来预测第k时刻移动终端的估计状态， xk-2＝[Xk-2,Yk-2,Zk-2]T，其中，Xk-2,Yk-2,Zk-2表示第k-2时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，xk-1＝[Xk-1,Yk-1,Zk-1]T，其中，Xk-1,Yk-1,Zk-1表示第k-1 时刻参考系坐标系在X轴，Y轴，Z轴上的旋转角度，T表示转置；
移动终端把参考系坐标系下的垂直向下的重力加速度投影到刚体坐标系下，通过公式
Figure BDA0001548299040000121
计算预测余量
Figure BDA0001548299040000122
其中，zk为k时刻利用低通滤波进行降噪处理后的加速度计数值，Hk是观测信息矩阵，表示观测方程zk＝h(xk,g,vk)使用当前估计状态计算的雅可比(Jacobian)矩阵，其中，g表示参考坐标系下的垂直向下的重力矢量，g＝[0,0,-9.81]T，vk表示为测量误差。
S2032、移动终端利用上一状态的估计误差协方差矩阵Pk-1|k-1、当前状态的状态转移矩阵Fk和过程噪声Q估计当前状态的误差协方差矩阵Pk|k-1；
在本发明实施例中，S2032具体可以利用公式
Figure BDA00015482990400001210
计算出的状态预测估计协方差矩阵Pk|k-1，其中，Pk-1|k-1表示k-1时刻状态的估计协方差矩阵，Qk表示过程噪声的协方差矩阵，
Figure BDA0001548299040000123
dt表示陀螺仪数据的采样间隔时间，Fk表示k时刻的状态转移矩阵，
Figure BDA0001548299040000124
表示Fk的转置。
S2033、移动终端利用估计的当前状态的误差协方差矩阵Pk|k-1、观测矩阵 Hk和噪声方差矩阵R计算当前状态的最优卡尔曼增益矩阵Kk；
在本发明实施例中，S2033具体可以包括以下步骤：
利用状态预测估计协方差矩阵Pk|k-1来计算k时刻的最优卡尔曼增益矩阵
Figure BDA0001548299040000125
R表示噪声协方差矩阵，
Figure BDA0001548299040000126
σ2表示噪声方差，一般地σ＝0.75，Hk表示k时刻的观测信息雅克比矩阵，
Figure BDA0001548299040000127
表示Hk的转置。
S2034、移动终端根据当前状态的最优卡尔曼增益矩阵Kk和当前时刻预测余量
Figure BDA0001548299040000128
更新当前状态估计旋转向量
Figure BDA0001548299040000129
在本发明实施例中，S2034具体可以包括以下步骤：
更新状态估计得到k时刻通过融合加速度计数值和角速度数值得到的当前状态的旋转向量
Figure BDA0001548299040000131
更新估计协方差矩阵Pk|k， Pk|k＝(I-Kk·Hk)Pk|k-1，其中I是单位矩阵，Pk|k就是下一时刻需要的估计误差协方差矩阵Pk-1|k-1。
S204、移动终端根据当前状态的旋转向量通过罗德里格旋转公式计算得到当前的旋转矩阵；
罗德里格旋转公式是计算三维空间中，一个向量绕旋转轴旋转给定角度以后得到的新向量的计算公式。这个公式使用原向量，旋转轴及它们叉积作为标架表示出旋转以后的向量。
S205、控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧，或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧；
S206、移动终端根据当前的旋转矩阵旋转平面视频帧，生成稳定的平面视频帧。
在本发明实施例中，S206具体可以包括以下步骤：
把经纬图像上的点映射到球型图像的点；
遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的平面视频帧。
其中，利用当前的旋转矩阵对单位球上的所有点进行旋转具体可以采用以下的公式：
Figure BDA0001548299040000132
其中，x,y,z表示单位圆旋转之前的球面坐标， xnew,ynew,znew表示旋转后的球面坐标，Mk表示当前的旋转矩阵，t表示位移向量， t＝[0,0,0]T。
在本发明中，由于镜头组件包括安装支架、前置镜头和后置镜头，镜头组件安装至移动终端时，前置镜头覆盖移动终端的前置摄像头，后置镜头覆盖移动终端的后置摄像头，前置镜头和后置镜头均是广角镜头或鱼眼镜头；因此通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄，配合所述前置镜头或后置镜头实现平面视频拍摄，成本低，不需要专业的相机。
由于移动终端安装有本发明提供的镜头组件，又由于本发明的移动终端与镜头组件配合实现平面拍摄的方法中，对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵，因此能得到更为精确的旋转矩阵。然后根据当前的旋转矩阵旋转平面视频帧，生成稳定的平面视频帧。因此最终能稳定抖动的平面视频帧，对大噪声场景和大部分运动场景都有很强的鲁棒性。
另外，因为加速度计数值估计出的角度，容易受到干扰(如行走，徒步，奔跑等)，随着时间的累积，角速度的累积误差会越来越大。在本发明的移动终端与镜头组件配合实现平面拍摄的方法中，由于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计当前状态的旋转向量，并根据当前状态的旋转向量通过罗德里格旋转公式计算到当前的旋转矩阵，然后旋转平面视频帧，因此最终能稳定抖动的平面视频帧。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种移动终端与镜头组件配合实现平面拍摄的方法，其特征在于，所述方法包括：
移动终端启动安装在移动终端中的平面拍摄应用程序，所述移动终端安装有镜头组件；
移动终端实时获取移动终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；
移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到移动终端到世界坐标系的旋转量；
控制移动终端的前置摄像头经由镜头组件的前置镜头采集平面视频帧，或者控制移动终端的后置摄像头经由镜头组件的后置镜头采集平面视频帧；
移动终端同步陀螺仪时间戳与平面视频帧的时间戳；
移动终端对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵；
移动终端根据当前的旋转矩阵旋转平面视频帧，生成稳定的平面视频帧；
所述镜头组件包括安装支架、前置镜头和后置镜头，其中，安装支架的正面和背面均设有通孔，前置镜头嵌入至安装支架的正面的通孔，后置镜头嵌入至安装支架的背面的通孔，安装支架可拆卸地套设在移动终端的摄像头区域的外面，镜头组件安装至移动终端时，前置镜头覆盖移动终端的前置摄像头，后置镜头覆盖移动终端的后置摄像头，前置镜头和后置镜头均是广角镜头或鱼眼镜头；通过安装在移动终端中的平面拍摄应用程序控制移动终端的前置摄像头或后置摄像头进行拍摄，配合所述前置镜头或后置镜头实现平面视频拍摄；
所述移动终端对陀螺仪的状态进行四元数插值获取对应平面视频帧的旋转矩阵具体包括：
移动终端计算邻近陀螺仪时间戳的相对旋转量，
Figure FDA0002669990800000011
其中，rk为第K时刻的相对旋转量，
Figure FDA0002669990800000012
和
Figure FDA0002669990800000013
为第k和k-1时刻的状态后验估计量，即世界坐标系到陀螺仪坐标系的旋转量；
移动终端进行四元数插值获取平面视频帧到第k帧的相对旋转量，Rj＝γ·I+(1-γ)·rk，其中，Rj为第k帧的相对旋转量，
Figure FDA0002669990800000021
其中tj是平面视频帧的时间戳，tk为陀螺仪第K帧的时间戳，tk-1为陀螺仪第K-1帧的时间戳；
移动终端计算平面视频帧中第j帧视频的旋转矩阵
Figure FDA0002669990800000022
2.如权利要求1所述的方法，其特征在于，所述移动终端利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到移动终端到世界坐标系的旋转量具体包括：
S1031、初始状态旋转量
Figure FDA0002669990800000023
其中，d0为初始测得的加速度数值，g为世界坐标系重力矢量；初始过程协方差
Figure FDA0002669990800000024
S1032、利用角速度数值ωk计算第K时刻的状态转移矩阵Φ(ωk)；
Φ(ωk)＝exp(-[ωk·Δt]×)，其中ωk是第K时刻的角速度数值，Δt表示陀螺仪数据的采样时间间隔；
S1033、计算状态噪声的协方差矩阵Qk，更新状态旋转先验估计量
Figure FDA0002669990800000025
和过程协方差先验估计矩阵
Figure FDA0002669990800000026
Figure FDA0002669990800000027
Qk为状态噪声的协方差矩阵；
Figure FDA0002669990800000028
其中，
Figure FDA0002669990800000029
是第K-1时刻的状态旋转后验估计量；
Figure FDA00026699908000000210
其中，
Figure FDA00026699908000000211
是第K-1时刻的过程协方差后验估计矩阵；
S1034、由加速度数值dk更新观测量的噪声方差矩阵Rk，计算观测转移雅克比矩阵Hk，计算当前观测量和估计观测量误差ek；
Figure FDA0002669990800000031
其中，
Figure FDA0002669990800000032
Figure FDA0002669990800000033
α为加速度变化量的平滑因子，β为加速度模长的影响因子；
Figure FDA0002669990800000034
其中h为观察函数，h(q,v)＝q·g+vk，g世界坐标系下的重力矢量，q为状态量，即世界坐标系到陀螺仪坐标系的旋转量，vk为测量噪声；
Figure FDA0002669990800000035
S1035、更新第k时刻的最优卡尔曼增益矩阵Kk；
Figure FDA0002669990800000036
S1036、根据最优卡尔曼增益矩阵Kk和观测量误差ek更新移动终端到世界坐标系的旋转后验估计量
Figure FDA0002669990800000037
和过程协方差后验估计矩阵
Figure FDA0002669990800000038
Figure FDA0002669990800000039
Figure FDA00026699908000000310
3.如权利要求2所述的方法，其特征在于，所述移动终端同步陀螺仪时间戳与平面视频帧的时间戳具体为：
移动终端同步陀螺仪时间戳与平面视频帧的时间戳，使tk≥tj＞tk-1。
4.如权利要求3所述的方法，其特征在于，所述移动终端根据当前的旋转矩阵旋转平面视频帧，生成稳定的平面视频帧具体包括：
移动终端把经纬度二维图像上的栅格点映射到球面坐标；
移动终端遍历单位球上的所有点，利用当前的旋转矩阵对单位球上的所有点进行旋转，生成稳定的平面视频帧；
其中，利用当前的旋转矩阵对单位球上的所有点进行旋转具体采用以下的公式：
Figure FDA0002669990800000041
其中，[x,y,z]T表示单位圆旋转之前的球面坐标，[xnew,ynew,znew]T表示旋转后的球面坐标，Qj表示当前的旋转矩阵，t表示位移向量，t＝[0,0,0]T。
CN201810037000.7A 2017-12-22 2018-01-15 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件 Active CN108337411B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810037000.7A CN108337411B (zh) 2018-01-15 2018-01-15 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件
PCT/CN2018/073444 WO2019119597A1 (zh) 2017-12-22 2018-01-19 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810037000.7A CN108337411B (zh) 2018-01-15 2018-01-15 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件

Publications (2)

Publication Number Publication Date
CN108337411A CN108337411A (zh) 2018-07-27
CN108337411B true CN108337411B (zh) 2020-11-17

Family

ID=62924270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810037000.7A Active CN108337411B (zh) 2017-12-22 2018-01-15 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件

Country Status (1)

Country Link
CN (1) CN108337411B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104064869B (zh) * 2014-06-13 2016-10-05 北京航天万达高科技有限公司 基于mems惯导的双四元数动中通天线控制方法及系统
CN105376471A (zh) * 2015-12-21 2016-03-02 景好 一种基于移动平台的全景拍摄系统及方法
CN106791360A (zh) * 2016-11-22 2017-05-31 北京疯景科技有限公司 生成全景视频的方法及装置
CN107040694B (zh) * 2017-04-07 2019-10-25 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、系统及便携式终端

Also Published As

Publication number Publication date
CN108337411A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN107801014B (zh) 一种全景视频防抖的方法、装置及便携式终端
CN109376785B (zh) 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN107869989B (zh) 一种基于视觉惯导信息融合的定位方法及系统
WO2019119597A1 (zh) 移动终端与镜头组件配合实现平面拍摄、全景拍摄的方法和镜头组件
Zhou et al. 2D human gesture tracking and recognition by the fusion of MEMS inertial and vision sensors
WO2018184423A1 (zh) 一种全景视频防抖的方法、系统及便携式终端
CN106525003B (zh) 一种基于双目视觉的姿态测量方法
Jia et al. Probabilistic 3-d motion estimation for rolling shutter video rectification from visual and inertial measurements
CN107833237B (zh) 用于模糊视频中的虚拟对象的方法和设备
CN109186592B (zh) 用于视觉惯导信息融合的方法和装置以及存储介质
US8964040B2 (en) High dynamic range image registration using motion sensor data
CN110617813B (zh) 单目视觉信息和imu信息相融合的尺度估计系统及方法
CN109029425B (zh) 一种采用区域滤波的模糊星图复原方法
CN112577493B (zh) 一种基于遥感地图辅助的无人机自主定位方法及系统
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
CN109040525B (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN109147058A (zh) 用于视觉惯导信息融合的初始化方法和装置以及存储介质
WO2020038720A1 (en) Apparatus, method and computer program for detecting the form of a deformable object
CN109688327B (zh) 一种全景视频防抖的方法、装置及便携式终端
CN109561253B (zh) 一种全景视频防抖的方法、装置、便携式终端及存储介质
CN108337411B (zh) 移动终端与镜头组件配合实现平面拍摄的方法和镜头组件
CN112188037B (zh) 生成陀螺仪旋转方向的方法及计算机设备
CN111811421B (zh) 一种高速实时形变监测方法及系统
Ovrén et al. Why would I want a gyroscope on my RGB-D sensor?
CN109462717A (zh) 电子稳像方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605

Applicant after: Yingshi Innovation Technology Co., Ltd

Address before: 518000 Guangdong, Shenzhen, Baoan District Xin'an street, Hai Xiu Road 23, 6 A 601603605, long Kong Century Towers, 601603605

Applicant before: SHENZHEN ARASHI VISION Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant