CN116614706A - 一种旋转拍摄中画面实时自适应保持水平的方法和装置 - Google Patents

一种旋转拍摄中画面实时自适应保持水平的方法和装置 Download PDF

Info

Publication number
CN116614706A
CN116614706A CN202310570501.2A CN202310570501A CN116614706A CN 116614706 A CN116614706 A CN 116614706A CN 202310570501 A CN202310570501 A CN 202310570501A CN 116614706 A CN116614706 A CN 116614706A
Authority
CN
China
Prior art keywords
image
picture
camera
angle
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310570501.2A
Other languages
English (en)
Inventor
王凯飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuanyin Cultural And Creative Technology Co ltd
Original Assignee
Beijing Yuanyin Cultural And Creative Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuanyin Cultural And Creative Technology Co ltd filed Critical Beijing Yuanyin Cultural And Creative Technology Co ltd
Priority to CN202310570501.2A priority Critical patent/CN116614706A/zh
Publication of CN116614706A publication Critical patent/CN116614706A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，尤其涉及一种旋转拍摄中画面实时自适应保持水平的方法和装置，通过创建模块创建标准角度及标准水平画面，标准水平画面包括中心点和边界；通过获取模块实时获取由IMU姿态传感器模块采集的摄像头在空间的姿态形状，姿态形状包括含倾斜、旋转、俯仰的第一数据组，所述第一数据经扩展卡尔曼滤波算法修正后输出第二数据组；多轴防抖增稳处理模块稳定实时旋转抖动的图像，核心处理模块将旋转角度、倾斜角度反向调节至标准角度，使水平视频画面调整至与标准水平画面匹配，通过判断模块对图像除雾的判断，通过图像除雾增强模块对水平视频画面除雾处理，获取清晰的水平视频画面，传输给显示屏实时显示。

Description

一种旋转拍摄中画面实时自适应保持水平的方法和装置
技术领域
本发明涉及视频处理技术领域，尤其涉及一种旋转拍摄中画面实时自适应保持水平的方法和装置。
背景技术
随着科技的发展和人们生活水平的提高，对紧凑型、特殊用途可穿戴的便携式摄像机的需求迅猛增长，随着工业、军事、医疗、应急安全和融媒体产业的发展，获取高质量的视频变得尤为重要，由于空间、环境等恶劣条件限制或工作需要，需要摄像机360°旋转或倾斜状态，容易导致相机抖动，视频序列帧会受到振动，输出的画面也不能保持水平完整的展示。
为了克服这个问题，已采用在机械视频稳定系统使用陀螺仪传感器或加速度计控制摄像机振动，采用移动镜头以改变光路和光轴，或者使用内部传感器来最大程度地减少抖动，尽管性能很高，但由于系统体积和成本的增加，机械和光学视频稳定器不适用于便携式摄像机。另外，相机运动和旋转会产生透视失真，尽管2D视频稳定方法由于使用线性变换而更快且更稳健，但它们无法估计无纹理区域中的最佳相机路径，因此，急需一种在360°旋转或倾斜状态下仍然输出稳定且水平完整高质量视频画面的便携式摄像机。
发明内容
本发明公开了一种旋转拍摄中画面实时自适应保持水平的方法和装置，旨在解决现有技术中存在的技术问题。
本发明采用下述技术方案：
一种旋转拍摄中画面实时自适应保持水平的方法，运行于可穿戴设备中，所述可穿戴设备包括摄像单元，所述摄像单元与显示屏相连，包括如下步骤：
S1:创建标准水平画面，摄像单元在预设摄像平面内预设位置拍摄画面时设有的摄像头中心轴线与所述摄像平面的垂直夹角为标准角度，所述摄像头在所述标准角度拍摄的画面为标准水平画面；
S2:获取观看者在最佳位姿观看时，显示屏显示的所述摄像单元在所述标准角度拍摄的包括中心点和边界的标准水平画面；
S3:实时获取由IMU传感器采集的所述摄像单元在空间的姿态形状，所述姿态形状包括含倾斜、旋转、俯仰的第一数据组，所述第一数据组经扩展卡尔曼滤波算法修正后输出第二数据组；
S4:获取经尺度不变特征变换从每一视频帧中提取的特征点，跟踪所述特征点在连续帧的运动轨迹，通过过滤器平滑所述摄像单元路径，所述特征点取值于所述第二数据组，将所述特征点与所述标准角度匹配比对，通过算法稳定实时旋转抖动的图像，实时生成与所述标准水平画面匹配的水平视频画面。
S5:获取清晰的水平视频画面，并实时输出显示。
在一些实施例中，步骤S2中，所述边界包括边界尺寸和边界方向，所述边界方向包括上水平边界、下水平边界和左竖向边界、右竖向边界，所述标准水平画面的中心点位于所述边界组成的四边形的对角线交点。
在一些实施例中，步骤S3中，所述第一数据组产生的步骤包括：
由轴和角度构建四元数公式如(1)，
其中，q为单位四元数，表征旋转轴及旋转角，旋转为XYZ三坐标的变换缩放、旋转和平移；θ是西塔浮动角数据；
代表一个余弦角度；
分别代表X轴、Y轴、Z轴的正弦角度数据；
Cos为三角函数余弦定义，sin为三角函数正弦定义；
采用微积分的半角公式优化，见公式(2)(3)：
采用三个向量处理三个平方根的方法以避免平方根，见公式(4)
||u×υ||＝|u|.|υ|.|sinθ| (4)
再一次从微积分公式得知公式(5)：
将陀螺仪生成的旋转速率矢量转换为单位四元数，以表示自上次姿态更新以来误差不大于0.002°的小角度变化，应用小角度近似到四元方程式(10)以减少创建它所需的处理时间；
t_2＝Δt*0.5 (6)
Q.x＝T.x*t_2 (7)
Q.y＝T.y*t_2 (8)
Q.z＝T.z*t_2 (9)
Q.w＝1.0-0.5*(Q.x*Q.x+Q.y*Q.y+Q.z*Q.z) (10)
其中，Q.w为姿态估计的数值结果，w为实部，t为时间，Δt为时间增加量，T为陀螺仪；Q为陀螺仪旋转轴加旋转角，Q.x、Q.y、Q.z为陀螺仪的x、y、z三个轴乘以一半的时间增加量，推导和分析出结果处理的时间，以公式(1)的q四元数计算当前第一数据组的姿态。
在一些实施例中，所述浮动角θ包括所述摄像头在所述摄像平面内360°旋转角度，和/或与所述摄像平面的倾斜角度。
在一些实施例中，步骤S3中，经过扩展卡尔曼滤波算法修正横滚和俯仰融合的IMU数据，见公式(11)(12)：
xu＝Ruvxv (11)
xv＝(RUV)txu＝Rvuxu (12)
旋转矩阵是一个正交矩阵，设置u和v两个坐标系，旋转矩阵将旋转一个向量X从v帧到u帧，t为平移矩阵，处理u和v两个坐标系；
单位四元数是方向的4-D表达式，并且可以使用单位四元数定义旋转，如公式(13)：
其中，方向被计算为一个四元数，它将重力矢量从地球坐标系旋转到传感器坐标系，传感器坐标系中的重力矢量是加速度计读数；
在一些实施例中，所述扩展卡尔曼滤波可使用非线性空间模型、动态系统框图表达。
在一些实施例中，S4中，稳定实时旋转抖动的图像算法见公式(14)(15)：
稳定过程：
获取连续的抖动视频帧ft-1和ft，生成平坦区域图，在平坦区域图中从ft-1中提取与ft中对应的关键点和/>由快速图像和简短的帧关键点的统计分析生成；全局摄像机路径Ct由最优单应性Ht估计以及平滑的相机路径Pt，使用变分法估算结果，获得稳定的平滑的框架，ft使用估计计算后的摄像机路径输出。
在一些实施例中，S5中，获取清晰的水平视频画面前还包括图像去雾增强处理，步骤：
获取去雾预设阈值，通过公式(16)计算雾量值S(x,y)，xy代表摄像机传感器的尺寸坐标，L(x,y)为入射光分量，R(x,y)为反射光分量；
S(x，y)＝R(x，y)×L(x，y) (16)
当雾量值S大于所述阈值时，需进行去雾处理；
采用暗通道去雾算法去雾，见公式(17)，从左至右逆推过程中观察图像I(X)，以求理想图像J(X)：
I(x)＝J(x).t(x)+A[1-t(x)] (17)
其中，I(X)为所述摄像单元对真实场景所产生的观察图像，J(X)为所述观察图像在去除雾霾影响情况下的理想图像，t(x)为所述摄像单元的光介质传输系数，A为大气背景强度；
由于图像场景中色彩或暗表面影响，彩色图像的某一个色彩通道、黑白图像的局部有比较小的趋于零的亮度值，计算大气流动性对图像的干扰光传输系数T(x)，见公式(18)；
T(x)＝e-βd(x) (18)
其中，β为大气散射系数，d(x)为场景图像的深度信息；
图像去雾处理见公式(19)，求最小值：
其中，t为一个传感器窗口的透射率，为一个常数，ω因子取值为0.95。
本发明还公开了一种旋转拍摄中画面实时自适应保持水平的装置，用于实现旋转拍摄中画面实时自适应保持水平的方法，包括：
创建模块，用于创建标准角度及标准水平画面；
图像传感器模块，用于实时获取图像信息；
IMU姿态传感器模块，用于获取摄像头在空间的姿态形状，包括倾斜、旋转、俯仰数据；
多轴防抖增稳处理模块，用于视频帧的特征点提取，跟踪特征点以评估相机的运动路径，帧补偿运动得到稳定的平滑的框架，估计计算后经摄像机路径输出；
图像除雾增强模块，用于对防抖增稳处理后的水平视频画面在输出前进行图像除雾、图像锐化处理；
匹配模块，将摄像头在摄像平面内的旋转角度及与摄像平面的倾斜角度与标准角度匹配比对；将稳定后的图像与预设的标准水平画面匹配，包括图像中心点的匹配和边界的匹配；
核心处理模块，用于将所述旋转角度、所述倾斜角度反向调节至标准角度，使得显示屏显示的水平视频画面调整至与标准水平画面匹配，包括上水平边界、下水平边界、左竖向边界、右竖向边界的对应匹配及中心点的对应匹配；
判断模块，比对图像雾霾指标与预设值，依据比对结果判断是否进行去雾增强处理；
计算模块，依据程序指令对数据进行计算；
传输模块，用于传输数据信息；
过滤模块，用于过滤平滑相机路径；
获取模块，用于获取数据、角度或图片；
图像显示模块，用于水平视频画面在显示屏中显示；
处理器，依据计算机指令控制运行，实现实时获取图像信息，获取摄像头在空间的姿态形状，提取视频帧的特征点，跟踪特征点以评估相机的运动路径，帧补偿运动得到稳定的平滑的框架，估计计算后经摄像机路径输出；对防抖增稳处理后的水平视频画面在输出前进行图像除雾、图像锐化处理；将摄像头在摄像平面内的旋转角度及与摄像平面的倾斜角度与标准角度匹配比对；将稳定后的图像与预设的标准水平画面匹配，包括图像中心点的匹配和边界的匹配，将旋转角度、倾斜角度反向调节至标准角度，旋转拍摄画面实时自适应保持水平显示；
存储器，用于储存数据信息及计算机指令；
便携式摄像装置，包括摄像单元及显示屏，所述摄像单元包括本体和安装在所述本体上的摄像头，所述摄像头上装有滤镜，其中，
所述本体，包括内装有所述处理器和存储器的壳体；
所述摄像头为广角无畸变镜头，安装在所述本体上；
所述滤镜安装在镜头前，用以遮挡部分干扰光线。
有益效果：
本发明公开了一种旋转拍摄中画面实时自适应保持水平的方法和装置，与现有技术相比，本发明具有以下优点：
一种旋转拍摄中画面实时自适应保持水平的方法和装置，通过创建模块创建标准角度及标准水平画面；通过IMU姿态传感器模块获取摄像头在空间的姿态形状，包括倾斜、旋转、俯仰数据；通过多轴防抖增稳处理模块对视频帧的特征点提取，跟踪特征点以评估相机的运动路径，帧补偿运动得到稳定的平滑的框架，估计计算后经摄像机路径输出；通过图像除雾增强模块对防抖增稳处理后的水平视频画面在输出前进行图像除雾、图像锐化处理；通过匹配模块将摄像头在摄像平面内的旋转角度及与摄像平面的倾斜角度与标准角度匹配比对，将稳定后的图像与预设的标准水平画面匹配，包括图像中心点的匹配和边界的匹配；通过核心处理模块将所述旋转角度、所述倾斜角度反向调节至标准角度，使得显示屏显示的水平视频画面调整至与标准水平画面匹配，包括上水平边界、下水平边界、左竖向边界、右竖向边界的对应匹配及中心点的对应匹配；通过传输模块将调整好的水平视频画面传输至显示屏实时显示，实现了便携式摄像机在360°旋转或倾斜状态下仍然能输出稳定且水平完整的高质量视频画面。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，构成本发明的一部分，本发明的示意性实施例及其说明解释本发明，并不构成对本发明的不当限定；在附图中：
图1为本发明实施例提供的旋转拍摄中画面实时自适应保持水平的流程图；
图2为扩展卡尔曼滤波使用非线性空间模型、动态系统框图；
图3为旋转拍摄中画面实时自适应保持水平的装置技术方案结构示意图；
图4为标准水平画面技术方案结构示意图；
图5为便携式摄像装置在摄像平面内拍摄画面时的标准角度结构示意图。
图中：
处理器100；创建模块101；图像传感器模块102；I MU姿态传感器模块103；多轴防抖增稳处理模块104；图像除雾增强模块105；匹配模块106；核心处理模块107；判断模块108；过滤模块109；计算模块110；传输模块111；获取模块112；图像显示模块113；存储器200；便携式摄像装置300；本体301；摄像头302；滤镜303；显示屏304；标准水平画面400；上水平边界410；下水平边界420；左竖向边界430；右竖向边界440；中心点A。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。在本发明的描述中，需要说明的是，说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1－图5所示，本发明技术方案：
一种旋转拍摄中画面实时自适应保持水平的方法，运行于可穿戴的便携式摄像装置300中，所述便携式摄像装置300包括摄像单元，所述摄像单元与显示屏304相连，包括如下步骤：
S1:创建模块101创建标准水平画面，摄像单元在预设摄像平面内预设位置拍摄画面时设有的摄像头302中心轴线与所述摄像平面的垂直夹角为标准角度，创建所述摄像头302在所述标准角度时拍摄的画面为标准水平画面。
S2:获取观看者在最佳位姿观看时，显示屏304显示的由图像传感器模块102获取的包括中心点A和边界的标准水平画面400。
S3:实时获取由IMU传感器103采集的所述摄像单元在空间的姿态形状，所述姿态形状包括含倾斜、旋转、俯仰的第一数据组，所述第一数据组由计算模块110经扩展卡尔曼滤波算法修正后输出第二数据组，数据储存在存储器200中。
S4:多轴防抖增稳处理模块104获取经尺度不变特征变换从每一视频帧中提取的特征点，跟踪所述特征点在连续帧的运动轨迹，通过过滤模块109平滑所述摄像单元路径，所述特征点取值于所述第二数据组，匹配模块106将所述特征点与所述标准角度匹配比对，核心处理模块107将所述旋转角度、所述倾斜角度反向调节至标准角度，使得显示屏304显示的水平视频画面调整至与标准水平画面400匹配；通过多轴防抖增稳处理模块104计算出稳定实时旋转抖动的图像，通过匹配模块106匹配，实时生成与所述标准水平画面400匹配的水平视频画面。
S5:图像除雾增强模块105对所述水平视频画面除雾，获取清晰的水平视频画面，传输模块111实时输出画面图像，显示模块113使所述显示屏304实时显示。
本发明优选实施例，如图3所示：
本发明公开了一种旋转拍摄中画面实时自适应保持水平的装置，用于实现旋转拍摄中画面实时自适应保持水平的方法，包括：
创建模块101，用于创建标准角度及标准水平画面。
图像传感器模块102，用于实时获取图像信息，本示例取为镜头CMOS传感器。
I MU姿态传感器模块103，用于获取摄像头302在空间的姿态形状，包括倾斜、旋转、俯仰数据。
多轴防抖增稳处理模块104，用于视频帧的特征点提取，跟踪特征点以评估相机的运动路径，帧补偿运动得到稳定的平滑的框架，估计计算后经摄像机路径输出。
图像除雾增强模块105，用于对防抖增稳处理后的水平视频画面在输出前进行图像除雾、图像锐化处理。
匹配模块106，将摄像头302在摄像平面内的旋转角度及与摄像平面的倾斜角度与标准角度匹配比对；将稳定后的图像与预设的标准水平画面400匹配，包括图像中心点A的匹配和边界的匹配。
核心处理模块107，包括DSP数字处理器，将算法导入的半导体芯片，用于将所述旋转角度、所述倾斜角度反向调节至标准角度，使得显示屏304显示的水平视频画面调整至与标准水平画面400匹配，包括上水平边界410、下水平边界420、左竖向边界430、右竖向边界440的对应匹配及中心点A的对应匹配。
判断模块108，比对图像雾霾指标与预设值，依据比对结果判断是否进行去雾增强处理。
过滤模块109，用于过滤平滑相机路径。
计算模块110，依据程序指令对数据进行计算。
传输模块111，用于传输数据信息。
获取模块112，用于获取数据、角度或图片。
图像显示模块113，包括SD I视频格式输出、HDM I视频格式输出和UVC驱动的输出，用于处理视频信号转换接口，使得水平视频画面在显示屏中显示。
存储器200，用于储存数据信息及计算机指令。
处理器100，依据计算机指令控制运行，实现实时获取图像信息，获取摄像头在空间的姿态形状，提取视频帧的特征点，跟踪特征点以评估相机的运动路径，帧补偿运动得到稳定的平滑的框架，估计计算后经摄像机路径输出；对防抖增稳处理后的水平视频画面在输出前进行图像除雾、图像锐化处理；将摄像头在摄像平面内的旋转角度及与摄像平面的倾斜角度与标准角度匹配比对；将稳定后的图像与预设的标准水平画面匹配，包括图像中心点的匹配和边界的匹配，将旋转角度、倾斜角度反向调节至标准角度，旋转拍摄画面实时自适应保持水平显示。
便携式摄像装置300，包括摄像单元及显示屏304，所述摄像单元包括本体301和安装在所述本体301上的摄像头302，所述摄像头302上装有滤镜303；其中，
所述本体301包括内装有所述处理器100和存储器200的壳体，所述本体301通过连接部件(图中未示出)与头盔、手持式探头等连接。
所述本体301中设有的图像显示模块113与显示屏304相连，使图像在显示屏304中实时显示。
需要说明的是：本发明的便携式摄像装置300可以输出SD I、HDM I、UVC三种接口，与这些接口匹配的外部设备均可连接。
所述便携式摄像装置300为固定焦距摄像机，所述摄像头302采用90°-100°广角无畸变镜头，所述摄像头302通过紧固件安装在镜头CMOS传感器上，所述滤镜303安装在镜头前，设为ND滤镜，用以遮挡部分干扰光线。
本发明另一优选实施例，如图1-图5所示：
一种旋转拍摄中画面实时自适应保持水平的方法，运行于便携式摄像装置300中，所述便携式摄像装置300为固定焦距摄像机，所述本体301前端装有摄像头302，所述摄像头302采用90°～100°广角无畸变镜头，图像传感器模块102为镜头CMOS传感器，所述摄像头302通过紧固件安装在镜头CMOS传感器上，与显示屏304通讯相连，包括如下步骤：
S1:创建模块101创建所述便携式摄像装置300在预设摄像平面内预设位置拍摄画面时设有的摄像头302的中心轴线与所述摄像平面的垂直夹角为标准角度，即标准角度为90°，见图5；
创建模块101创建所述摄像头302在所述标准角度拍摄的画面为标准水平画面400，并将标准角度和标准水平画面400储存在存储器200内。
S2:获取模块112获取观看者在最佳位姿观看时，显示屏304显示的所述便携式摄像装置300在所述标准角度摄像头302设有的图像传感器模块102采集的包括中心点A和边界的标准水平画面400；所述边界包括边界尺寸和边界方向，所述边界方向包括上水平边界410、下水平边界420和左竖向边界430、右竖向边界440，所述标准水平画面400的中心点A位于所述边界组成的四边形的对角线交点,参见图4。
S3:获取模块112实时获取由I MU姿态传感器模块103采集的摄像头302在空间的姿态形状，所述姿态形状包括含倾斜、旋转、俯仰的第一数据组，所述第一数据组经扩展卡尔曼滤波算法修正后输出第二数据组；
所述第一数据组经计算模块110计算后产生的步骤包括：
由轴和角度构建四元数公式如(1)，
其中，q为单位四元数，表征旋转轴及旋转角，旋转为XYZ三坐标的变换缩放、旋转和平移；θ是西塔浮动角数据；
代表一个余弦角度；
分别代表X轴、Y轴、Z轴的正弦角度数据；
Cos为三角函数余弦定义，sin为三角函数正弦定义；
采用微积分的半角公式优化，见公式(2)(3)：
采用三个向量处理三个平方根的方法以避免平方根，见公式(4)
||u×υ||＝|u|.|υ|.|sinθ| (4)
再一次从微积分公式得知公式(5)：
将陀螺仪生成的旋转速率矢量转换为单位四元数，以表示自上次姿态更新以来误差不大于0.002°的小角度变化，应用小角度近似到四元方程式(10)以减少创建它所需的处理时间；
t_2＝Δt*0.5 (6)
Q.x＝T.x*t_2 (7)
Q.y＝T.y*t_2 (8)
Q.z＝T.z*t_2 (9)
Q.w＝1.0-0.5*(Q.x*Q.x+Q.y*Q.y+Q.z*Q.z) (10)
其中，Q.w为姿态估计的数值结果，w为实部，t为时间，Δt为时间增加量，T为陀螺仪；Q为陀螺仪旋转轴加旋转角，Q.x、Q.y、Q.z为陀螺仪的x、y、z三个轴乘以一半的时间增加量，推导和分析出结果处理的时间，以公式(1)的q四元数计算当前第一数据组的姿态；
所述浮动角θ包括所述摄像头302在所述摄像平面内360°旋转角度，和/或与所述摄像平面B的倾斜角度。
所述第二数据组产生的步骤包括：
计算模块110经过扩展卡尔曼滤波算法修正横滚和俯仰融合的I MU数据，见公式(11)(12)：
xu＝Ruvxv (11)
xv＝(RUV)Txu＝Rvuxu (12)
旋转矩阵是一个正交矩阵，设置u和v两个坐标系，旋转矩阵将旋转一个向量X从v帧到u帧，t为平移矩阵，处理u和v两个坐标系；
单位四元数是方向的4-D表达式，并且可以使用单位四元数定义旋转，如公式(13)：
其中，方向被计算为一个四元数，它将重力矢量从地球坐标系旋转到传感器坐标系，传感器坐标系中的重力矢量是加速度计读数。
需要说明的是：
旋转也可以用欧拉角来定义,首先是偏航角(ψ)绕z轴，俯仰角(θ)周围y轴被使用，滚动角(φ)周围X轴被使用，导致旋转矩阵；通常，偏航角被称为航向，而滚动角和俯仰角一起被称为倾斜角。
另外，所述扩展卡尔曼滤波也可使用非线性空间模型、动态系统框图表达，见附图2。
S4:处理器100设有的多轴防抖增稳处理模块104获取经尺度不变特征变换从每一视频帧中提取的特征点，跟踪所述特征点在连续帧的运动轨迹，通过过滤模块109平滑所述摄像头302路径，所述特征点取值于所述第二数据组，匹配模块106将所述特征点与所述标准角度匹配比对，通过核心处理模块107稳定实时旋转抖动的图像，实时生成与所述标准水平画面匹配的水平视频画面,即边界及边界方向分别与上水平边界410、下水平边界420和左竖向边界430、右竖向边界440匹配，水平视频画面的中心点与中心点A重合：
稳定实时旋转抖动的图像算法见公式(14)(15)：
稳定过程：
多轴防抖增稳处理模块104获取连续的抖动视频帧ft-1和ft，生成平坦区域图，在平坦区域图中从ft-1中提取与ft中对应的关键点和/>由快速图像和简短的帧关键点的统计分析生成；全局摄像机路径Ct由最优单应性Ht估计以及平滑的相机路径Pt，使用变分法估算结果，获得稳定的平滑的框架，ft使用估计计算后的摄像机路径输出。
S5：预设去雾阈值,阈值选取暗通道中最亮的像素值的0.1％，计算模块110计算阈值及雾量值，当雾量值大于所述阈值时，需进行去雾处理，步骤：
获取去雾预设阈值，通过公式(16)计算雾量值S(x,y)，xy代表摄像机传感器的尺寸坐标，L(x,y)为入射光分量，R(x,y)为反射光分量；
S(x，y)＝R(x，y)×L(x，y) (16)
经判断模块108判断，当雾量值不大于所述阈值时，无需去雾处理；当雾量值大于所述阈值时，需进行去雾处理，处理过程如下：
图像除雾增强模块105采用暗通道去雾算法去雾，见公式(17)，从左至右逆推过程中观察图像I(X)，以求理想图像J(X)：
I(x)＝J(x).t(x)+A[1-t(x)] (17)
其中，I(X)为所述摄像头302对真实场景所产生的观察图像，J(X)为所述观察图像在去除雾霾影响情况下的理想图像，t(x)为所述摄像头302的光介质传输系数，A为大气背景强度。
由于图像场景中色彩或暗表面影响，彩色图像的某一个色彩通道、黑白图像的局部有比较小的趋于零的亮度值，计算大气流动性对图像的干扰光传输系数T(x)，见公式(18)：
T(x)＝e-βd(x) (18)
其中，β为大气散射系数，d(x)为场景图像的深度信息；
图像去雾处理见公式(19)，求最小值：
其中，t为一个传感器窗口的透射率，为一个常数，ω因子取值为0.95。
经除雾，图像为清晰的水平视频画面，经传输模块111将清晰的水平视频画传输，图像显示模块113使图像在显示屏304中实时显示，实现了便携式摄像装置300在360°旋转或倾斜状态下仍然能输出稳定且水平完整的高质量视频画面。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (9)

1.一种旋转拍摄中画面实时自适应保持水平的方法，运行于可穿戴设备中，所述可穿戴设备包括摄像单元，所述摄像单元与显示屏相连，其特征在于：包括如下步骤：
S1:创建标准水平画面，摄像单元在预设摄像平面内预设位置拍摄画面时设有的摄像头中心轴线与所述摄像平面的垂直夹角为标准角度，所述摄像头在所述标准角度拍摄的画面为标准水平画面；
S2:获取观看者在最佳位姿观看时，显示屏显示的包括中心点和边界的标准水平画面；
S3:实时获取由IMU传感器采集的所述摄像单元在空间的姿态形状，所述姿态形状包括含倾斜、旋转、俯仰的第一数据组，所述第一数据组经扩展卡尔曼滤波算法修正后输出第二数据组；
S4:获取经尺度不变特征变换从每一视频帧中提取的特征点，跟踪所述特征点在连续帧的运动轨迹，通过过滤器平滑所述摄像单元路径，所述特征点取值于所述第二数据组，将所述特征点与所述标准角度匹配比对，通过算法稳定实时旋转抖动的图像，实时生成与所述标准水平画面匹配的水平视频画面；
S5:获取清晰的水平视频画面，并实时输出显示。
2.根据权利要求1所述的旋转拍摄中画面实时自适应保持水平的方法，其特征在于：S2中，所述边界包括边界尺寸和边界方向，所述边界方向包括上水平边界、下水平边界和左竖向边界、右竖向边界，所述标准水平画面的中心点位于所述边界组成的四边形的对角线交点。
3.根据权利要求1所述的旋转拍摄中画面实时自适应保持水平的方法，其特征在于：S3中，所述第一数据组产生的步骤包括：
由轴和角度构建四元数公式如(1)，
其中，q为单位四元数，表征旋转轴及旋转角，旋转为XYZ三坐标的变换缩放、旋转和平移；θ是浮动角；
代表一个余弦角度；
分别代表X轴、Y轴、Z轴的正弦角度数据；Cos为三角函数余弦定义，sin为三角函数正弦定义；
采用微积分的半角公式优化，见公式(2)(3)：
采用三个向量处理三个平方根的方法以避免平方根，见公式(4)
||u×v||＝||u×v||＝|u|.|v|.|sinθ| (4)
再一次从微积分公式得知公式(5)：
将陀螺仪生成的旋转速率矢量转换为单位四元数，以表示自上次姿态更新以来误差不大于0.002°的小角度变化，应用小角度近似到四元方程式(10)以减少创建它所需的处理时间；
t_2＝Δt*0.5 (6)
Q.x＝T.x*t_2 (7)
Q.y＝T.y*t_2 (8)
Q.z＝T.z*t_2 (9)
Q.w＝1.0-0.5*(Q.x*Q.x+Q.y*Q.y+Q.z*Q.z) (10)
其中，Q.w为姿态估计的数值结果，w为实部，t为时间，Δt为时间增加量，T为陀螺仪；Q为陀螺仪旋转轴加旋转角，Q.x、Q.y、Q.z为陀螺仪的x、y、z三个轴乘以一半的时间增加量，推导和分析出结果处理的时间，以公式(1)的q四元数计算当前第一数据组的姿态。
4.根据权利要求3所述的旋转拍摄中画面实时自适应保持水平的方法，其特征在于：所述浮动角θ包括所述摄像头在所述摄像平面内360°旋转角度，和/或与所述摄像平面的倾斜角度。
5.根据权利要求4所述的旋转拍摄中画面实时自适应保持水平的方法，其特征在于：S3中，经过扩展卡尔曼滤波算法修正横滚和俯仰融合的IMU数据，见公式(11)(12)：
xu＝Ruvxv (11)
xv＝(RUV)txu＝Rvuxu (12)
旋转矩阵是一个正交矩阵，设置u和v两个坐标系，旋转矩阵将旋转一个向量X从v帧到u帧，t为平移矩阵，处理u和v两个坐标系；
单位四元数是方向的4-D表达式，并且可以使用单位四元数定义旋转，如公式(13)：
其中，方向被计算为一个四元数，它将重力矢量从地球坐标系旋转到传感器坐标系，传感器坐标系中的重力矢量是加速度计读数。
6.根据权利要求5所述的旋转拍摄中画面实时自适应保持水平的方法，其特征在于：所述扩展卡尔曼滤波可使用非线性空间模型、动态系统框图表达。
7.根据权利要求1所述的旋转拍摄中画面实时自适应保持水平的方法，其特征在于：S4中，稳定实时旋转抖动的图像算法见公式(14)(15)：
稳定过程：
获取连续的抖动视频帧ft-1和ft，生成平坦区域图，在平坦区域图中从ft-1中提取与ft中对应的关键点和/>由快速图像和简短的帧关键点的统计分析生成；全局摄像机路径Ct由最优单应性Ht估计以及平滑的相机路径Pt，使用变分法估算结果，获得稳定的平滑的框架，ft使用估计计算后的摄像机路径输出。
8.根据权利要求1所述的旋转拍摄中画面实时自适应保持水平的方法，其特征在于：S5中，获取清晰的水平视频画面前还包括图像去雾增强处理，步骤：
获取去雾预设阈值，通过公式(16)计算雾量值S(x,y)，xy代表摄像机传感器的尺寸坐标，L(x,y)为入射光分量，R(x,y)为反射光分量；
S(xy)＝R(x，y)×L(x，y) (16)
当雾量值S大于所述阈值时，需进行去雾处理；
采用暗通道去雾算法去雾，见公式(17)，从左至右逆推过程中观察图像I(X)，以求理想图像J(X)：
I(x)＝J(x)·t(x)+A[1-t(x)] (17)
其中，I(X)为所述摄像单元对真实场景所产生的观察图像，J(X)为所述观察图像在去除雾霾影响情况下的理想图像，t(x)为所述摄像单元的光介质传输系数，A为大气背景强度；
由于图像场景中色彩或暗表面影响，彩色图像的某一个色彩通道、黑白图像的局部有比较小的趋于零的亮度值，计算大气流动性对图像的干扰光传输系数T(x)，见公式(18)；
T(x)＝e-βd(x) (18)
其中，β为大气散射系数，d(x)为场景图像的深度信息；
图像去雾处理见公式(19)，求最小值：
其中，t为一个传感器窗口的透射率，为一个常数，ω因子取值为0.95。
9.一种旋转拍摄中画面实时自适应保持水平的装置，其特征在于：用于实现如权利要求1～8中任一项所述的旋转拍摄中画面实时自适应保持水平的方法，包括：
创建模块，用于创建标准角度及标准水平画面；
图像传感器模块，用于实时获取图像信息；
IMU姿态传感器模块，用于获取摄像头在空间的姿态形状，包括倾斜、旋转、俯仰数据；
多轴防抖增稳处理模块，用于视频帧的特征点提取，跟踪特征点以评估相机的运动路径，帧补偿运动得到稳定的平滑的框架，估计计算后经摄像机路径输出；
图像除雾增强模块，用于对防抖增稳处理后的水平视频画面在输出前进行图像除雾、图像锐化处理；
匹配模块，将摄像头在摄像平面内的旋转角度及与摄像平面的倾斜角度与标准角度匹配比对；将稳定后的图像与预设的标准水平画面匹配，包括图像中心点的匹配和边界的匹配；
核心处理模块，用于将所述旋转角度、所述倾斜角度反向调节至标准角度，使得显示屏显示的水平视频画面调整至与标准水平画面匹配，包括上水平边界、下水平边界、左竖向边界、右竖向边界的对应匹配及中心点的对应匹配；
判断模块，比对图像雾霾指标与预设值，依据比对结果判断是否进行去雾增强处理；
计算模块，依据程序指令对数据进行计算；
传输模块，用于传输数据信息；
过滤模块，用于过滤平滑相机路径；
获取模块，用于获取数据、角度或图片；
图像显示模块，用于水平视频画面在显示屏中显示；
处理器，依据计算机指令控制运行，实现实时获取图像信息，获取摄像头在空间的姿态形状，提取视频帧的特征点，跟踪特征点以评估相机的运动路径，帧补偿运动得到稳定的平滑的框架，估计计算后经摄像机路径输出；对防抖增稳处理后的水平视频画面在输出前进行图像除雾、图像锐化处理；将摄像头在摄像平面内的旋转角度及与摄像平面的倾斜角度与标准角度匹配比对；将稳定后的图像与预设的标准水平画面匹配，包括图像中心点的匹配和边界的匹配，将旋转角度、倾斜角度反向调节至标准角度，旋转拍摄画面实时自适应保持水平显示；
存储器，用于储存数据信息及计算机指令；
便携式摄像装置，包括摄像单元及显示屏，所述摄像单元包括本体和安装在所述本体上的摄像头，所述摄像头上装有滤镜；其中，
所述本体，包括内装有所述处理器和存储器的壳体；
所述摄像头为广角无畸变镜头，安装在所述本体上；
所述滤镜安装在镜头前，用以遮挡部分干扰光线。
CN202310570501.2A 2023-05-19 2023-05-19 一种旋转拍摄中画面实时自适应保持水平的方法和装置 Pending CN116614706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310570501.2A CN116614706A (zh) 2023-05-19 2023-05-19 一种旋转拍摄中画面实时自适应保持水平的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310570501.2A CN116614706A (zh) 2023-05-19 2023-05-19 一种旋转拍摄中画面实时自适应保持水平的方法和装置

Publications (1)

Publication Number Publication Date
CN116614706A true CN116614706A (zh) 2023-08-18

Family

ID=87681223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310570501.2A Pending CN116614706A (zh) 2023-05-19 2023-05-19 一种旋转拍摄中画面实时自适应保持水平的方法和装置

Country Status (1)

Country Link
CN (1) CN116614706A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213234A1 (en) * 2008-02-18 2009-08-27 National Taiwan University Method of full frame video stabilization
JP2015023470A (ja) * 2013-07-19 2015-02-02 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ パノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体及びパノラマ動画像補正装置並びにパノラマ撮影装置
KR20200016702A (ko) * 2018-08-07 2020-02-17 네이버 주식회사 스핀 이미지 생성 방법 및 그 장치
WO2022214037A1 (zh) * 2021-04-08 2022-10-13 北京字跳网络技术有限公司 视频防抖处理方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213234A1 (en) * 2008-02-18 2009-08-27 National Taiwan University Method of full frame video stabilization
JP2015023470A (ja) * 2013-07-19 2015-02-02 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ パノラマ動画像補正プログラム、パノラマ動画像補正方法、記録媒体及びパノラマ動画像補正装置並びにパノラマ撮影装置
KR20200016702A (ko) * 2018-08-07 2020-02-17 네이버 주식회사 스핀 이미지 생성 방법 및 그 장치
WO2022214037A1 (zh) * 2021-04-08 2022-10-13 北京字跳网络技术有限公司 视频防抖处理方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吉淑娇;朱明;胡汉平;: "基于特征点匹配的电子稳像技术", 中国光学, no. 06 *

Similar Documents

Publication Publication Date Title
US10594941B2 (en) Method and device of image processing and camera
US10659768B2 (en) System and method for virtually-augmented visual simultaneous localization and mapping
US10043245B2 (en) Image processing apparatus, imaging apparatus, control method, and information processing system that execute a re-anti-shake process to remove negative influence of an anti-shake process
TWI503786B (zh) 用於生成全景視頻的移動設備和系統
US8508651B2 (en) Image stabilizing apparatus, image pick-up apparatus and image stabilizing method
US6396961B1 (en) Method and apparatus for fixating a camera on a target point using image alignment
CN108363946B (zh) 基于无人机的人脸跟踪系统及方法
WO2014181726A1 (ja) 背景差分抽出装置及び背景差分抽出方法
US20230059888A1 (en) Combined mechanical and electronic image stabilization
US11968449B2 (en) Camera lens smoothing method and portable terminal
CN111800589B (zh) 图像处理方法、装置和系统，以及机器人
CN113556464B (zh) 拍摄方法、装置及电子设备
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
CN111741223B (zh) 一种全景图像拍摄方法、装置和系统
CN110060295B (zh) 目标定位方法及装置、控制装置、跟随设备及存储介质
CN108900775A (zh) 一种水下机器人实时电子稳像方法
WO2020257999A1 (zh) 图像处理方法、装置、云台和存储介质
Nayar et al. Omnidirectional vision systems: 1998 PI report
CN114390186A (zh) 视频拍摄方法及电子设备
CN116614706A (zh) 一种旋转拍摄中画面实时自适应保持水平的方法和装置
JP7025042B2 (ja) 全天球画像生成方法、全天球画像生成表示方法、全天球画像生成システムのプログラム及び全天球画像生成表示システムのプログラム
CN115278049A (zh) 拍摄方法及其装置
WO2021035525A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
Ren et al. Self-calibration method of gyroscope and camera in video stabilization
CN115278086B (zh) 一种陀螺仪电子防抖方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination