CN113099106B - 一种视频处理方法、装置、设备及存储介质 - Google Patents

一种视频处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113099106B
CN113099106B CN202110209535.XA CN202110209535A CN113099106B CN 113099106 B CN113099106 B CN 113099106B CN 202110209535 A CN202110209535 A CN 202110209535A CN 113099106 B CN113099106 B CN 113099106B
Authority
CN
China
Prior art keywords
queue
camera pose
smooth
smooth camera
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110209535.XA
Other languages
English (en)
Other versions
CN113099106A (zh
Inventor
袁文亮
陈聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202110209535.XA priority Critical patent/CN113099106B/zh
Publication of CN113099106A publication Critical patent/CN113099106A/zh
Application granted granted Critical
Publication of CN113099106B publication Critical patent/CN113099106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明适用视频图像处理技术领域，提供了一种视频处理方法、装置、设备及存储介质，该方法包括：对获取的视频流当前视频帧对应的当前原始相机姿态进行平滑处理，得到对应的当前平滑相机姿态，根据当前原始相机姿态和当前平滑相机姿态，对缓存帧的平滑相机姿态队列进行水平角度校正，当校正后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将校正后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出，从而降低了在各种复杂运动场景下拍摄角度不正时视频图像画面不正的概率，提高了视频图像视觉效果。

Description

一种视频处理方法、装置、设备及存储介质
技术领域
本发明属于视频图像处理技术领域，尤其涉及一种视频处理方法、装置、设备及存储介质。
背景技术
随着科技的发展和社会的进步，移动设备已成为人们生活中不可或缺的部分，人们可以通过移动设备进行视频拍摄，记录生活中的点点滴滴以和朋友们分享，因此，视频拍摄已经渐渐成为很多用户进行社交分享和沟通交流的一种方式。虽然移动设备中摄像头配置越来越高，使得移动设备在静置状态下拍摄出的视频图像画面清晰、质量高，但当用户手持移动设备在走路或跑步或其他各种复杂运动场景下(例如，驾车行驶中车载放置)进行视频拍摄时，会导致移动设备不稳定，此时，录制出的视频数据往往存在抖动的现象，容易造成视频图像模糊及视频画面水平线歪的问题，使得拍摄出的视频质量效果不理想。
在专利公开号为US10027893B2的发明专利申请文件中，公开了一种基于车载运动传感的移动设备实时视频稳定的方法，该方案虽然实现了可以根据未来的运动情况及时调整当前的角速度，避免突然出界而出现角速度变化不平滑的情况，但该方案在复杂剧烈的运动条件下难以平衡运动跟随和画面抖动消除，且在拍摄角度不正时视频图像画面不正概率高。
发明内容
本发明的目的在于提供一种视频处理方法、装置、设备及存储介质，旨在解决由于现有技术在复杂运动场景下导致视频图像画面不正概率高，且视频图像的抖动消除实时性不高、平滑效果不佳的问题。
一方面，本发明提供了一种视频处理方法，所述方法包括下述步骤：
获取视频流中待处理的当前视频帧对应的当前原始相机姿态；
从缓存帧的平滑相机姿态队列中获取所述当前视频帧对应的上一视频帧的平滑相机姿态，根据所述上一视频帧的平滑相机姿态对所述当前原始相机姿态进行平滑处理，得到所述当前视频帧对应的当前平滑相机姿态；
根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列；
当所述校正后的平滑相机姿态队列的队列长度超过所述缓存帧的帧数时，将所述校正后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
优选地，所述根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列的步骤包括：
根据缓存帧的原始相机姿态队列与对应的平滑相机姿态队列，对所述平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，得到调整后的平滑相机姿态队列；
根据所述当前原始相机姿态和所述当前平滑相机姿态，分别对所述原始相机姿态队列和所述调整后的平滑相机姿态队列进行更新，得到更新后的平滑相机姿态队列；
对所述更新后的平滑相机姿态队列进行水平角度校正，得到所述校正后的平滑相机姿态队列。
优选地，所述对所述更新后的平滑相机姿态队列进行水平角度校正的步骤包括：
根据预设的水平角度校正算法对所述更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正，分别得到对应的校正后的平滑相机姿态；
根据所述更新后的平滑相机姿态队列中的每个平滑相机姿态和与所述平滑相机姿态对应的所述校正后的平滑相机姿态，以及预设的最低水平角度校正阈值和最高水平角度校正阈值确定水平角度校正权重；
根据所述校正后的平滑相机姿态和所述水平角度校正权重对所述更新后的平滑相机姿态队列中对应的平滑相机姿态进行球面线性插值处理，得到对应的处理后的平滑相机姿态，由所有所述处理后的平滑相机姿态组成所述校正后的平滑相机姿态队列。
优选地，所述根据预设的水平角度校正算法对所述更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正的步骤包括：
根据所述更新后的平滑相机姿态队列中每个平滑相机姿态对应的当前旋转量确定竖直向上方向；
根据预设的视线向前方向公式计算所述更新后的平滑相机姿态队列中每个平滑相机姿态对应的视线向前方向；
根据确定的所述竖直向上方向和计算得到的、对应的所述视线向前方向对所述更新后的平滑相机姿态队列中对应的平滑相机姿态所对应的竖直向上方向的角度进行校正，得到对应的校正后的竖直向上方向；
根据所述竖直向上方向、对应的所述视线向前方向以及所述校正后的竖直向上方向确定水平角度校正后的旋转矩阵，并根据校正后的所述旋转矩阵确定对应的所述校正后的平滑相机姿态。
优选地，所述根据所述更新后的平滑相机姿态队列中的每个平滑相机姿态和与所述平滑相机姿态对应的所述校正后的平滑相机姿态，以及预设的最低水平角度校正阈值和最高水平角度校正阈值确定水平角度校正权重的步骤包括：
计算所述更新后的平滑相机姿态队列中的每个平滑相机姿态和与所述平滑相机姿态对应的所述校正后的平滑相机姿态之间的相对旋转量；
利用预设的旋转角度公式计算所述相对旋转量对应的旋转角度；
将所述旋转角度与预设的最低水平角度校正阈值和最高水平角度校正阈值进行角度大小比较，并利用预设的校正权重公式确定所述水平角度校正权重。
另一方面，本发明提供了一种视频处理方法，所述方法包括下述步骤：
获取视频流中待处理的当前视频帧对应的当前原始相机姿态；
从缓存帧的平滑相机姿态队列中获取所述当前视频帧对应的上一视频帧的平滑相机姿态，根据所述上一视频帧的平滑相机姿态对所述当前原始相机姿态进行平滑处理，得到所述当前视频帧对应的当前平滑相机姿态；
根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列；
当所述处理后的平滑相机姿态队列的队列长度超过所述缓存帧的帧数时，将所述处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
优选地，所述根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列的步骤包括：
根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列；
对所述校正后的平滑相机姿态队列进行均值滤波处理，得到所述处理后的平滑相机姿态队列。
另一方面，本发明提供了一种视频处理装置，所述装置包括：
第一参数获得单元，用于获取视频流中待处理的当前视频帧对应的当前原始相机姿态；
第二参数获得单元，用于从缓存帧的平滑相机姿态队列中获取所述当前视频帧对应的上一视频帧的平滑相机姿态，根据所述上一视频帧的平滑相机姿态对所述当前原始相机姿态进行平滑处理，得到所述当前视频帧对应的当前平滑相机姿态；
队列校正单元，用于根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列；
校正图像输出单元，用于当所述校正后的平滑相机姿态队列的队列长度超过所述缓存帧的帧数时，将所述校正后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
另一方面，本发明提供了一种视频处理装置，所述装置包括：
第一参数获得单元，用于获取视频流中待处理的当前视频帧对应的当前原始相机姿态；
第二参数获得单元，用于从缓存帧的平滑相机姿态队列中获取所述当前视频帧对应的上一视频帧的平滑相机姿态，根据所述上一视频帧的平滑相机姿态对所述当前原始相机姿态进行平滑处理，得到所述当前视频帧对应的当前平滑相机姿态；
队列处理单元，用于根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列；
校正图像输出单元，用于当所述处理后的平滑相机姿态队列的队列长度超过所述缓存帧的帧数时，将所述处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
另一方面，本发明还提供了一种视频图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述视频处理方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述视频处理方法所述的步骤。
本发明对获取的视频流当前视频帧对应的当前原始相机姿态进行平滑处理，得到对应的当前平滑相机姿态，根据当前原始相机姿态和当前平滑相机姿态，对缓存帧的平滑相机姿态队列进行水平角度校正，当校正后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将校正后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出，从而降低了在各种复杂运动场景下拍摄角度不正时视频图像画面不正的概率，提高了视频图像视觉效果。
附图说明
图1是本发明实施例一提供的视频处理方法的实现流程图；
图2是本发明实施例二提供的视频处理方法的实现流程图；
图3是本发明实施例三提供的视频处理方法的实现流程图；
图4是本发明实施例四提供的视频处理方法的实现流程图；
图5是本发明实施例五提供的视频处理方法的实现流程图；
图6是本发明实施例六提供的视频处理装置的结构示意图；
图7是本发明实施例六提供的视频处理装置的优选结构示意图；
图8是本发明实施例七提供的视频处理装置的结构示意图；
图9是本发明实施例七提供的视频处理装置的优选结构示意图；
图10是本发明实施例七提供的视频处理装置的又一优选结构示意图；以及
图11是本发明实施例八提供的视频图像处理设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的视频处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，获取视频流中待处理的当前视频帧对应的当前原始相机姿态。
本发明实施例适用于视频显示、获取等视频图像处理设备。在本发明实施例中，当开始录制视频后，获取视频流当前视频帧对应的当前相机姿态，相机姿态是一个三维的空间信息，可以通过四元数或欧拉角或旋转矩阵表示当前相机姿态对应的三维空间信息，得到当前视频帧对应的当前原始相机姿态。
应当理解，在一些具体计算中，为了便于计算，会需要转换相机姿态的表现形式，比如，在球面线性插值计算中，若相机姿态通过欧拉角或者旋转矩阵来表示，为了便于计算，可以通过转换计算，得到相机姿态对应的四元数表现形式，鉴于四元数、欧拉角、旋转矩阵之间的转换计算为本领域公知常识，在此不多加赘述。
在步骤S102中，从缓存帧的平滑相机姿态队列中获取当前视频帧对应的上一视频帧的平滑相机姿态，根据上一视频帧的平滑相机姿态对当前原始相机姿态进行平滑处理，得到当前视频帧对应的当前平滑相机姿态。
在本发明实施例中，通过设置缓存帧，利用队列的形式缓存视频帧相关的原始相机姿态和平滑相机姿态。在获取到当前视频帧对应的当前原始相机姿态后，从缓存帧的平滑相机姿态队列中获取当前视频帧对应的上一视频帧的平滑相机姿态，根据该上一视频帧的平滑相机姿态对当前原始相机姿态进行平滑处理，得到与当前视频帧对应的当前平滑相机姿态，其中，该上一视频帧是相邻两帧中当前视频帧之前的一帧。而当前视频帧是视频流的第一帧视频图像时，则平滑处理后的当前平滑相机姿态为当前原始相机姿态，即v(1)＝p(1)，p(1)为第一视频帧的原始相机姿态，v(1)为第一视频帧的平滑相机姿态。
在根据上一视频帧的平滑相机姿态对当前原始相机姿态进行平滑处理时，优选地，利用上一视频帧的平滑相机姿态对当前原始相机姿态进行球面线性插值(Sphericallinear interpolation，简称Slerp)处理，从而提高前后两帧视频图像过渡的平滑度，使得呈现出的视频图像更稳定。
在利用上一视频帧的平滑相机姿态对当前原始相机姿态进行球面线性差值处理时，优选地，利用上一视频帧的平滑相机姿态，通过预设的平滑公式v(k)＝slerp(v(k-1),p(k),weight)对当前原始相机姿态进行球面线性插值处理，其中，p(k)为第k帧的原始相机姿态，v(k)为第k帧的平滑相机姿态，v(k-1)为第k-1帧的平滑相机姿态，weight是p(k)在进行球面线性插值处理时的插值权重，k为大于1的整数，从而提高前后两帧视频图像过渡的平滑度，使得呈现出的视频图像更稳定。
在通过预设的平滑公式v(k)＝slerp(v(k-1),p(k),weight)对当前原始相机姿态进行球面线性插值处理时，进一步优选地，先将上一帧的平滑相机姿态v(k-1)作为初值计算其与原始相机姿态p(k)之间的相对相机姿态Δq，再计算当前视频帧在相对旋转量为Δq时裁剪多边形距离原始画面边界的度量值rate，其中，裁剪多边形在内边框内时rate为0，出外边框时rate为1，在内、外边框之间时则距离外边框越近度量值越大，然后根据该度量值rate和权重计算公式
Figure BDA0002950917840000081
计算权重weight，其中，min_weight表示最小的权重，一般介于0.001和0.4之间，inner_rate表示内边框对应的度量值，取值范围在0到1之间，该inner_rate值越大则平滑度越高但跟随更慢，值过大时在出界时会出现较大的抖动，值越小则平滑度相对较低但跟随更紧，α为控制权重变化的锐度，取值一般介于0.5和4之间，最后利用平滑公式v(k)＝slerp(v(k-1),p(k),weight)对当前原始相机姿态进行平滑处理，得到与当前视频帧对应的当前平滑相机姿态，从而进一步提高前后两帧视频图像过渡的平滑度，使得呈现出的视频图像更稳定。
在步骤S103中，根据当前原始相机姿态和当前平滑相机姿态，对平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列。
在本发明实施例中，根据当前原始相机姿态和当前平滑相机姿态对平滑相机姿态队列进行水平角度校正的具体实现流程详见后续方法实施例。
在步骤S104中，当校正后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将校正后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
在本发明实施例中，实时检测平滑相机姿态队列的队列长度，当检测到校正后的平滑相机姿态队列的队列长度超过预设的缓存帧的帧数时，将该平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
优选地，缓存帧的帧数可以设置为5，从而满足缓存帧数较少的硬件设备需求。
在将处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出后，优选地，原始相机姿态队列头出队列，处理后的平滑相机姿态队列头出队列，完成对原始相机姿态队列和平滑相机姿态队列的更新，从而通过对缓存帧中队列的设置提高视频图像防抖的实时性。
在本发明实施例中，对获取的视频流当前视频帧对应的当前原始相机姿态进行平滑处理，得到对应的当前平滑相机姿态，根据当前原始相机姿态和当前平滑相机姿态，对缓存帧的平滑相机姿态队列进行水平角度校正，当校正后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将校正后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出，从而降低了在各种复杂运动场景下拍摄角度不正时视频图像画面不正的概率，提高了视频图像视觉效果。
实施例二：
图2示出了本发明实施例二提供的视频处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在实施例一步骤S103中，在根据当前原始相机姿态和当前平滑相机姿态，对平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列时，通过下述步骤实现对平滑相机姿态队列进行水平角度校正：
在步骤S201中，根据缓存帧的原始相机姿态队列与对应的平滑相机姿态队列，对平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，得到调整后的平滑相机姿态队列。
在本发明实施例中，根据缓存帧的原始相机姿态队列与对应的平滑相机姿态队列，对平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，使得平滑相机姿态向其对应的原始相机姿态靠近，得到调整后的平滑相机姿态队列。
在对平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整时，优选地，根据原始相机姿态队列中的每一视频帧对应的原始相机姿态，通过预设的跟随公式v(m)＝slerp(v(m),p(m)smooth,weightfollow)对平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，其中，v(m)为平滑相机姿态队列中第m帧的平滑相机姿态，p(m)smooth表示原始相机姿态队列做无约束迭代均值滤波后第m帧的原始相机姿态，weightfollow为跟随权重，m为大于1的整数，从而提高后续视频图像的平滑效果。
在通过预设的跟随公式v(m)＝slerp(v(m),p(m)smooth,weightfollow)对平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整时，进一步优选地，先计算平滑相机姿态队列中每一视频帧的平滑相机姿态与原始相机姿态队列中对应的原始相机姿态之间的相对相机姿态Δq，再计算缓存帧中的每一视频帧在相对旋转量为对应的Δq时裁剪多边形距离原始画面边界的度量值，并根据缓存帧中所有帧的度量值计算得到度量值平均值rate_avr，然后根据rate_avr和跟随权重公式
Figure BDA0002950917840000101
计算跟随原始相机姿态的权重weightfollow，其中，min_weightfollow表示最小的跟随权重，一般介于0.002和0.4之间，β为控制权重变化的锐度，取值一般介于0.5和4之间，最后通过跟随公式v(m)＝slerp(v(m),p(m)smooth,weightfollow)调整缓存帧平滑相机姿态队列，从而进一步提高后续视频图像的平滑效果。
在步骤S202中，根据当前原始相机姿态和当前平滑相机姿态，分别对原始相机姿态队列和调整后的平滑相机姿态队列进行更新，得到更新后的平滑相机姿态队列。
在本发明实施例中，将当前视频帧的当前原始相机姿态加入到原始相机姿态队列，将当前平滑相机姿态加入到调整后的平滑相机姿态队列中，完成对这两个队列的更新，得到更新后的平滑相机姿态队列。
在步骤S203中，对更新后的平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列。
在本发明实施例中，对更新后的平滑相机姿态队列进行水平角度校正的具体实现流程详见实施例三。
在本发明实施例中，先对平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，再将当前平滑相机姿态加入到调整后的平滑相机姿态队列，得到更新后的平滑相机姿态队列，最后对更新后的平滑相机姿态队列进行水平角度校正，从而提高后续水平校正后视频图像的视觉效果。
实施例三：
图3示出了本发明实施例三提供的视频处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在实施例二步骤S203中，在对更新后的平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列时，通过下述步骤实现对更新后的平滑相机姿态队列进行水平角度校正：
在步骤S301中，根据预设的水平角度校正算法对更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正，分别得到对应的校正后的平滑相机姿态。
在本发明实施例中，根据预设的水平角度校正算法对更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平线校正，分别得到与更新后的平滑相机姿态队列中每个平滑相机姿态对应的校正后的平滑相机姿态。
优选地，通过下述步骤实现对更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正：
1)根据更新后的平滑相机姿态队列中每个平滑相机姿态对应的当前旋转量确定竖直向上方向up。
在本发明实施例中，在确定竖直向上方向up时，可以选取前左上的绝对世界坐标系的向上方向(0，0，1)作为竖直向上方向up，或者选取前、后、左、右、上、下六个方向中与更新后的平滑相机姿态队列中每个平滑相机姿态对应的当前旋转量最接近的方向作为竖直向上方向up。
2)根据预设的视线向前方向公式计算更新后的平滑相机姿态队列中每个平滑相机姿态对应的视线向前方向。
在本发明实施例中，根据视线向前方向公式front＝vm*(1,0,0)计算更新后的平滑相机姿态队列中每个平滑相机姿态对应的视线向前方向front，其中vm为更新后的平滑相机姿态队列中第m帧的平滑相机姿态。
3)根据确定的竖直向上方向和计算得到的、对应的视线向前方向对更新后的平滑相机姿态队列中对应的平滑相机姿态所对应的竖直向上方向的角度进行校正，得到对应的校正后的竖直向上方向。
在本发明实施例中，根据确定的up和计算得到的front对每个平滑相机姿态对应的竖直向上方向的角度进行校正，得到对应的校正后的竖直向上方向uprectify，具体地，先通过up叉乘front得到左向left，再通过front叉乘left即可得到校正后的uprectify。
4)根据竖直向上方向、对应的视线向前方向以及校正后的竖直向上方向确定水平角度校正后的旋转矩阵，并根据校正后的旋转矩阵确定对应的校正后的平滑相机姿态。
在本发明实施例中，根据竖直向上方向up、对应的视线向前方向front以及校正后的竖直向上方向uprectify，通过公式
Figure BDA0002950917840000131
确定水平线校正后的旋转矩阵，并根据校正后的旋转矩阵确定对应的校正后的平滑相机姿态v(m)rectify，具体地，可以将水平线校正后的旋转矩阵转化为四元数即可得到水平线校正后的相机姿态v(m)rectify，v(m)rectify即为更新后的平滑相机姿态队列中第m帧对应的校正后的平滑相机姿态。
通过上述步骤1)-4)实现对更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正，从而提高视频图像水平线校正的精确度。
在步骤S302中，根据更新后的平滑相机姿态队列中的每个平滑相机姿态和与平滑相机姿态对应的校正后的平滑相机姿态，以及预设的最低水平角度校正阈值和最高水平角度校正阈值确定水平角度校正权重。
在本发明实施例中，优选地，通过下述步骤实现对水平角度校正权重的确定：
(1)计算更新后的平滑相机姿态队列中的每个平滑相机姿态和与平滑相机姿态对应的校正后的平滑相机姿态之间的相对旋转量。
在本发明实施例中，计算v(m)rectify和v(m)之间的相对旋转量Δq，其中，v(m)为更新后的平滑相机姿态队列中第m帧的平滑相机姿态，v(m)rectify为更新后的平滑相机姿态队列中第m帧校正后的平滑相机姿态。
(2)利用预设的旋转角度公式计算相对旋转量对应的旋转角度。
在本发明实施例中，通过旋转角度公式θ＝2.0*arccos(Δq.w)计算相对旋转量Δq对应的旋转角度θ，其中，Δq.w为相对旋转量Δq的w分量。
(3)将旋转角度与预设的最低水平角度校正阈值和最高水平角度校正阈值进行角度大小比较，并利用预设的校正权重公式确定水平角度校正权重。
在本发明实施例中，将旋转角度θ与预设的最低水平角度校正阈值θmin和最高水平角度校正阈值θmax进行角度大小比较，并通过公式
Figure BDA0002950917840000141
确定水平角度校正权重weighthorizontal，其中λ控制权重变化的锐度，一般取值介于0.1到10之间。
通过上述步骤(1)-(3)实现对水平角度校正权重的确定，从而提高视频图像进行水平线校正时在多个方向之间过渡的平滑度。
在步骤S303中，根据校正后的平滑相机姿态和水平角度校正权重对更新后的平滑相机姿态队列中对应的平滑相机姿态进行球面线性插值处理，得到对应的处理后的平滑相机姿态，由所有处理后的平滑相机姿态组成校正后的平滑相机姿态队列。
在本发明实施例中，若相机姿态不是四元数表现形式，可以先分别将校正后的平滑相机姿态和更新后的平滑相机姿态队列中对应的平滑相机姿态转换为四元数形式，得到转化为四元数形式的校正后的平滑相机姿态和转化为四元数形式的更新后的平滑相机姿态队列，再通过公式
v′(m)＝slerp(v(m),v(m)rectify,weighthorizontal)对更新后的平滑相机姿态队列中每个平滑相机姿态进行球面线性插值处理，其中，v(m)为更新后的平滑相机姿态队列中第m帧的平滑相机姿态，v(m)rectify为更新后的平滑相机姿态队列中第m帧校正后的平滑相机姿态，weighthorizontal为水平角度校正权重，v′(m)为球面线性插值处理后第m帧的平滑相机姿态，即处理后的平滑相机姿态，由所有视频帧对应的处理后的平滑相机姿态构成校正后的平滑相机姿态队列。
在本发明实施例中，先通过预设的水平角度校正算法对更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正，分别得到对应的校正后的平滑相机姿态，再根据更新后的平滑相机姿态队列中的每个平滑相机姿态和与平滑相机姿态对应的校正后的平滑相机姿态，以及预设的最低水平角度校正阈值和最高水平角度校正阈值确定水平角度校正权重，最后根据校正后的平滑相机姿态和水平角度校正权重对更新后的平滑相机姿态队列中对应的平滑相机姿态进行球面线性插值处理，从而提高视频图像水平线校正的精确度，进而降低了在拍摄角度不正时视频图像画面不正的概率，提高了视频图像视觉效果。
实施例四：
图4示出了本发明实施例四提供的视频处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S401中，获取视频流中待处理的当前视频帧对应的当前原始相机姿态。
在步骤S402中，从缓存帧的平滑相机姿态队列中获取当前视频帧对应的上一视频帧的平滑相机姿态，根据上一视频帧的平滑相机姿态对当前原始相机姿态进行平滑处理，得到当前视频帧对应的当前平滑相机姿态。
在本发明实施例中，步骤S401-S402的具体实施方式可参考实施例一的步骤S101-S102的描述，在此不再赘述。
在步骤S403中，根据当前原始相机姿态和当前平滑相机姿态，对平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列。
在本发明实施例中，根据当前原始相机姿态和当前平滑相机姿态对平滑相机姿态队列进行水平角度校正和平滑滤波处理的具体实现流程详见实施例五。
在步骤S404中，当处理后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
在本发明实施例中，步骤S404的具体实施方式可参考实施例一的步骤S104的描述，在此不再赘述。
在本发明实施例中，对获取的视频流当前视频帧对应的当前原始相机姿态进行平滑处理，得到对应的当前平滑相机姿态，根据当前原始相机姿态和当前平滑相机姿态，对缓存帧的平滑相机姿态队列进行水平角度校正和平滑滤波处理，当处理后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出，从而不仅提高了在各种复杂运动场景下视频图像的平滑效果和视频图像防抖的实时性，同时还降低了在拍摄角度不正时视频图像画面不正的概率，提高了视频图像视觉效果。
实施例五：
图5示出了本发明实施例五提供的视频处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在实施例四步骤S403中，在根据当前原始相机姿态和当前平滑相机姿态，对平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列时，通过下述步骤实现对平滑相机姿态队列进行水平角度校正和平滑滤波处理：
在步骤S501中，根据当前原始相机姿态和当前平滑相机姿态，对平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列。
在本发明实施例中，对平滑相机姿态队列进行水平角度校正的具体实现流程详见实施例二，在此不再赘述。
在步骤S502中，对校正后的平滑相机姿态队列进行均值滤波处理，得到处理后的平滑相机姿态队列。
在本发明实施例中，对校正后的平滑相机姿态队列进行均值滤波处理，得到处理后的平滑相机姿态队列，实现对平滑相机姿态队列中每一平滑相机姿态对应的视频图像的降噪及其相机姿态的平滑。
在对校正后的平滑相机姿态队列进行均值滤波处理时，优选地，对校正后的平滑相机姿态队列进行迭代均值滤波处理，同时在每次迭代平滑后都判断队列中每一视频帧的平滑相机姿态是否会导致出界，即判断平滑后每一视频帧的裁剪区域在原始画面中的投影是否超出画面有效范围，如果出界则通过二分查找算法求出最接近该平滑相机姿态且保证不出界的相机姿态，并将该相机姿态作为该平滑相机姿态对应视频帧的平滑后结果，从而消除对应的视频画面的抖动。
在本发明实施例中，通过先对缓存帧的平滑相机姿态队列进行水平角度校正，再对校正后的平滑相机姿态队列进行均值滤波处理，从而不仅提高了在各种复杂运动场景下视频图像的平滑效果和视频图像防抖的实时性，同时还降低了在拍摄角度不正时视频图像画面不正的概率，提高了视频图像视觉效果。
实施例六：
图6示出了本发明实施例六提供的视频处理装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
第一参数获得单元61，用于获取视频流中待处理的当前视频帧对应的当前原始相机姿态。
第二参数获得单元62，用于从缓存帧的平滑相机姿态队列中获取当前视频帧对应的上一视频帧的平滑相机姿态，根据上一视频帧的平滑相机姿态对当前原始相机姿态进行平滑处理，得到当前视频帧对应的当前平滑相机姿态。
队列校正单元63，用于根据当前原始相机姿态和当前平滑相机姿态，对平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列。
校正图像输出单元64，用于当校正后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将校正后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
其中，如图7所示，优选地，本发明实施例的第二参数获得单元62包括：
参数获得子单元621，用于利用上一视频帧的平滑相机姿态对当前原始相机姿态进行球面线性差值处理。
队列校正单元63包括：
队列跟随调整单元631，用于根据缓存帧的原始相机姿态队列与对应的平滑相机姿态队列，对平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，得到调整后的平滑相机姿态队列；
队列更新单元632，用于根据当前原始相机姿态和当前平滑相机姿态，分别对原始相机姿态队列和调整后的平滑相机姿态队列进行更新，得到更新后的平滑相机姿态队列；
队列校正子单元633，用于对更新后的平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列。
队列校正子单元633包括：
相机姿态校正单元6331，用于根据预设的水平角度校正算法对更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正，分别得到对应的校正后的平滑相机姿态；
校正权重确定单元6332，用于根据更新后的平滑相机姿态队列中的每个平滑相机姿态和与平滑相机姿态对应的校正后的平滑相机姿态，以及预设的最低水平角度校正阈值和最高水平角度校正阈值确定水平角度校正权重；
相机姿态处理单元6333，用于根据校正后的平滑相机姿态和水平角度校正权重对更新后的平滑相机姿态队列中对应的平滑相机姿态进行球面线性插值处理，得到对应的处理后的平滑相机姿态，由所有处理后的平滑相机姿态组成校正后的平滑相机姿态队列。
在本发明实施例中，视频处理装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。具体地，各单元的实施方式可参考前述方法实施例的描述，在此不再赘述。
实施例七：
图8示出了本发明实施例七提供的视频处理装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
第一参数获得单元81，用于获取视频流中待处理的当前视频帧对应的当前原始相机姿态。
第二参数获得单元82，用于从缓存帧的平滑相机姿态队列中获取当前视频帧对应的上一视频帧的平滑相机姿态，根据上一视频帧的平滑相机姿态对当前原始相机姿态进行平滑处理，得到当前视频帧对应的当前平滑相机姿态。
队列处理单元83，用于根据当前原始相机姿态和当前平滑相机姿态，对平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列。
校正图像输出单元84，用于当处理后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
其中，如图9所示，优选地，本发明实施例的第二参数获得单元82包括：
参数获得子单元821，用于利用上一视频帧的平滑相机姿态对当前原始相机姿态进行球面线性差值处理。
队列处理单元83包括：
队列水平校正单元831，用于根据当前原始相机姿态和当前平滑相机姿态，对平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列；
队列均值滤波单元832，用于对校正后的平滑相机姿态队列进行均值滤波处理，得到处理后的平滑相机姿态队列。
进一步优选地，如图10所示，本发明实施例的队列水平校正单元831包括：
队列跟随调整单元8311，用于根据缓存帧的原始相机姿态队列与对应的平滑相机姿态队列，对平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，得到调整后的平滑相机姿态队列；
队列更新单元8312，用于根据当前原始相机姿态和当前平滑相机姿态，分别对原始相机姿态队列和调整后的平滑相机姿态队列进行更新，得到更新后的平滑相机姿态队列；
队列校正子单元8313，用于对更新后的平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列。
队列校正子单元8313包括：
相机姿态校正单元83131，用于根据预设的水平角度校正算法对更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正，分别得到对应的校正后的平滑相机姿态；
校正权重确定单元83132，用于根据更新后的平滑相机姿态队列中的每个平滑相机姿态和与平滑相机姿态对应的校正后的平滑相机姿态，以及预设的最低水平角度校正阈值和最高水平角度校正阈值确定水平角度校正权重；
相机姿态处理单元83133，用于根据校正后的平滑相机姿态和水平角度校正权重对更新后的平滑相机姿态队列中对应的平滑相机姿态进行球面线性插值处理，得到对应的处理后的平滑相机姿态，由所有处理后的平滑相机姿态组成校正后的平滑相机姿态队列。
在本发明实施例中，视频处理装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。具体地，各单元的实施方式可参考前述方法实施例的描述，在此不再赘述。
实施例八：
图11示出了本发明实施例八提供的视频图像处理设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的视频图像处理设备11包括处理器110、存储器111以及存储在存储器111中并可在处理器110上运行的计算机程序112。该处理器110执行计算机程序112时实现上述视频处理方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器110执行计算机程序112时实现上述各装置实施例中各单元的功能，例如图6所示单元61至64的功能。
在本发明实施例中，对获取的视频流当前视频帧对应的当前原始相机姿态进行平滑处理，得到对应的当前平滑相机姿态，根据当前原始相机姿态和当前平滑相机姿态，对缓存帧的平滑相机姿态队列进行水平角度校正和平滑滤波处理，当处理后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出，从而不仅提高了在各种复杂运动场景下视频图像的平滑效果和视频图像防抖的实时性，同时还降低了在拍摄角度不正时视频图像画面不正的概率，提高了视频图像视觉效果。
本发明实施例的视频图像处理设备可以为带摄像头的智能手机、平板电脑。该视频图像处理设备11中处理器110执行计算机程序112时实现视频处理方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例九：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述视频处理方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图6所示单元61至64的功能。
在本发明实施例中，对获取的视频流当前视频帧对应的当前原始相机姿态进行平滑处理，得到对应的当前平滑相机姿态，根据当前原始相机姿态和当前平滑相机姿态，对缓存帧的平滑相机姿态队列进行水平角度校正和平滑滤波处理，当处理后的平滑相机姿态队列的队列长度超过缓存帧的帧数时，将处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出，从而不仅提高了在各种复杂运动场景下视频图像的平滑效果和视频图像防抖的实时性，同时还降低了在拍摄角度不正时视频图像画面不正的概率，提高了视频图像视觉效果。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种视频处理方法，其特征在于，所述方法包括下述步骤：
获取视频流中待处理的当前视频帧对应的当前原始相机姿态；
从缓存帧的平滑相机姿态队列中获取所述当前视频帧对应的上一视频帧的平滑相机姿态，根据所述上一视频帧的平滑相机姿态对所述当前原始相机姿态进行平滑处理，得到所述当前视频帧对应的当前平滑相机姿态；
根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列；
当所述校正后的平滑相机姿态队列的队列长度超过所述缓存帧的帧数时，将所述校正后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出；
所述根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列的步骤包括：
根据缓存帧的原始相机姿态队列与对应的平滑相机姿态队列，对所述平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，得到调整后的平滑相机姿态队列；
根据所述当前原始相机姿态和所述当前平滑相机姿态，分别对所述原始相机姿态队列和所述调整后的平滑相机姿态队列进行更新，得到更新后的平滑相机姿态队列；
对所述更新后的平滑相机姿态队列进行水平角度校正，得到所述校正后的平滑相机姿态队列。
2.如权利要求1所述的方法，其特征在于，所述对所述更新后的平滑相机姿态队列进行水平角度校正的步骤包括：
根据预设的水平角度校正算法对所述更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正，分别得到对应的校正后的平滑相机姿态；
根据所述更新后的平滑相机姿态队列中的每个平滑相机姿态和与所述平滑相机姿态对应的所述校正后的平滑相机姿态，以及预设的最低水平角度校正阈值和最高水平角度校正阈值确定水平角度校正权重；
根据所述校正后的平滑相机姿态和所述水平角度校正权重对所述更新后的平滑相机姿态队列中对应的平滑相机姿态进行球面线性插值处理，得到对应的处理后的平滑相机姿态，由所有所述处理后的平滑相机姿态组成所述校正后的平滑相机姿态队列。
3.如权利要求2所述的方法，其特征在于，所述根据预设的水平角度校正算法对所述更新后的平滑相机姿态队列中的每个平滑相机姿态进行水平角度校正的步骤包括：
根据所述更新后的平滑相机姿态队列中每个平滑相机姿态对应的当前旋转量确定竖直向上方向；
根据预设的视线向前方向公式计算所述更新后的平滑相机姿态队列中每个平滑相机姿态对应的视线向前方向；
根据确定的所述竖直向上方向和计算得到的、对应的所述视线向前方向对所述更新后的平滑相机姿态队列中对应的平滑相机姿态所对应的竖直向上方向的角度进行校正，得到对应的校正后的竖直向上方向；
根据所述竖直向上方向、对应的所述视线向前方向以及所述校正后的竖直向上方向确定水平角度校正后的旋转矩阵，并根据校正后的所述旋转矩阵确定对应的所述校正后的平滑相机姿态。
4.如权利要求2所述的方法，其特征在于，所述根据所述更新后的平滑相机姿态队列中的每个平滑相机姿态和与所述平滑相机姿态对应的所述校正后的平滑相机姿态，以及预设的最低水平角度校正阈值和最高水平角度校正阈值确定水平角度校正权重的步骤包括：
计算所述更新后的平滑相机姿态队列中的每个平滑相机姿态和与所述平滑相机姿态对应的所述校正后的平滑相机姿态之间的相对旋转量；
利用预设的旋转角度公式计算所述相对旋转量对应的旋转角度；
将所述旋转角度与预设的最低水平角度校正阈值和最高水平角度校正阈值进行角度大小比较，并利用预设的校正权重公式确定所述水平角度校正权重。
5.一种视频处理方法，其特征在于，所述方法包括下述步骤：
获取视频流中待处理的当前视频帧对应的当前原始相机姿态；
从缓存帧的平滑相机姿态队列中获取所述当前视频帧对应的上一视频帧的平滑相机姿态，根据所述上一视频帧的平滑相机姿态对所述当前原始相机姿态进行平滑处理，得到所述当前视频帧对应的当前平滑相机姿态；
根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列；
当所述处理后的平滑相机姿态队列的队列长度超过所述缓存帧的帧数时，将所述处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出；
所述根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列的步骤包括：
根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列，包括：根据缓存帧的原始相机姿态队列与对应的平滑相机姿态队列，对所述平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，得到调整后的平滑相机姿态队列；根据所述当前原始相机姿态和所述当前平滑相机姿态，分别对所述原始相机姿态队列和所述调整后的平滑相机姿态队列进行更新，得到更新后的平滑相机姿态队列；对所述更新后的平滑相机姿态队列进行水平角度校正，得到所述校正后的平滑相机姿态队列；
对所述校正后的平滑相机姿态队列进行均值滤波处理，得到所述处理后的平滑相机姿态队列。
6.一种视频处理装置，其特征在于，所述装置包括：
第一参数获得单元，用于获取视频流中待处理的当前视频帧对应的当前原始相机姿态；
第二参数获得单元，用于从缓存帧的平滑相机姿态队列中获取所述当前视频帧对应的上一视频帧的平滑相机姿态，根据所述上一视频帧的平滑相机姿态对所述当前原始相机姿态进行平滑处理，得到所述当前视频帧对应的当前平滑相机姿态；
队列校正单元，用于根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列，所述根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列包括：根据缓存帧的原始相机姿态队列与对应的平滑相机姿态队列，对所述平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，得到调整后的平滑相机姿态队列；根据所述当前原始相机姿态和所述当前平滑相机姿态，分别对所述原始相机姿态队列和所述调整后的平滑相机姿态队列进行更新，得到更新后的平滑相机姿态队列；对所述更新后的平滑相机姿态队列进行水平角度校正，得到所述校正后的平滑相机姿态队列；以及
校正图像输出单元，用于当所述校正后的平滑相机姿态队列的队列长度超过所述缓存帧的帧数时，将所述校正后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出。
7.一种视频处理装置，其特征在于，所述装置包括：
第一参数获得单元，用于获取视频流中待处理的当前视频帧对应的当前原始相机姿态；
第二参数获得单元，用于从缓存帧的平滑相机姿态队列中获取所述当前视频帧对应的上一视频帧的平滑相机姿态，根据所述上一视频帧的平滑相机姿态对所述当前原始相机姿态进行平滑处理，得到所述当前视频帧对应的当前平滑相机姿态；
队列处理单元，用于根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列，所述根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正和平滑滤波处理，得到处理后的平滑相机姿态队列包括：根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列；对所述校正后的平滑相机姿态队列进行均值滤波处理，得到所述处理后的平滑相机姿态队列；以及
校正图像输出单元，用于当所述处理后的平滑相机姿态队列的队列长度超过所述缓存帧的帧数时，将所述处理后的平滑相机姿态队列中队列头对应的平滑相机姿态所对应的、水平角度校正后的视频帧图像进行输出；
所述队列处理单元在根据所述当前原始相机姿态和所述当前平滑相机姿态，对所述平滑相机姿态队列进行水平角度校正，得到校正后的平滑相机姿态队列时，包括：根据缓存帧的原始相机姿态队列与对应的平滑相机姿态队列，对所述平滑相机姿态队列中每一视频帧对应的平滑相机姿态进行跟随调整，得到调整后的平滑相机姿态队列；根据所述当前原始相机姿态和所述当前平滑相机姿态，分别对所述原始相机姿态队列和所述调整后的平滑相机姿态队列进行更新，得到更新后的平滑相机姿态队列；对所述更新后的平滑相机姿态队列进行水平角度校正，得到所述校正后的平滑相机姿态队列。
8.一种视频图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN202110209535.XA 2021-02-24 2021-02-24 一种视频处理方法、装置、设备及存储介质 Active CN113099106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110209535.XA CN113099106B (zh) 2021-02-24 2021-02-24 一种视频处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110209535.XA CN113099106B (zh) 2021-02-24 2021-02-24 一种视频处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113099106A CN113099106A (zh) 2021-07-09
CN113099106B true CN113099106B (zh) 2023-05-09

Family

ID=76667311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110209535.XA Active CN113099106B (zh) 2021-02-24 2021-02-24 一种视频处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113099106B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011050A (ja) * 2008-06-26 2010-01-14 Canon Inc 動画像処理装置、カメラ一体型画像記録装置、動画像再生装置、遠隔操作システム、動画像処理プログラム、記憶媒体及び、動画像処理システム
CN106296598A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 三维姿态处理方法、系统及拍摄终端
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020213756A1 (ko) * 2019-04-17 2020-10-22 엘지전자 주식회사 영상 보정 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011050A (ja) * 2008-06-26 2010-01-14 Canon Inc 動画像処理装置、カメラ一体型画像記録装置、動画像再生装置、遠隔操作システム、動画像処理プログラム、記憶媒体及び、動画像処理システム
CN106296598A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 三维姿态处理方法、系统及拍摄终端
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法

Also Published As

Publication number Publication date
CN113099106A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
US8363116B2 (en) Image processing device, focal plane distortion component calculation method, image processing program, and recording medium
US8274570B2 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
US10848676B2 (en) Semiconductor device and electronic device
US9639913B2 (en) Image processing device, image processing method, image processing program, and storage medium
US20100208087A1 (en) Image processing device, camera motion component calculation method, image processing program, and recording medium
US10984583B2 (en) Reconstructing views of real world 3D scenes
US9674438B2 (en) Low light video image stabilization strength modulation
WO2018223381A1 (zh) 一种视频防抖方法及移动设备
EP3466050A1 (en) Improved video stabilization for mobile devices
US8965105B2 (en) Image processing device and method
JP2000267799A (ja) 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN109618103B (zh) 无人机图传视频的防抖方法及无人机
CN109191506B (zh) 深度图的处理方法、系统及计算机可读存储介质
JP2022542079A (ja) カメラレンズの平滑化処理方法及び携帯端末
CN112470164A (zh) 姿态校正
TW200534710A (en) Method and system for stabilizing video data
JP6533761B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
CN112866556A (zh) 基于陀螺仪和特征点匹配的稳像方法及系统
CN113099106B (zh) 一种视频处理方法、装置、设备及存储介质
JP6223161B2 (ja) 画像処理装置およびそれを備えた撮像装置、画像処理方法
CN113038010A (zh) 视频处理方法、视频处理装置、存储介质与电子设备
JP6499993B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
CN112734653A (zh) 一种视频图像的运动平滑处理方法、装置、设备及存储介质
CN110602377B (zh) 一种视频稳像方法及装置
CN111126101B (zh) 关键点位置的确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant