CN108600616A - 一种基于rtp帧同步的视频防抖系统和视频获取器材 - Google Patents

Abstract

本发明公开了一种基于RTP帧同步的视频防抖系统和器材，系统包括:采集模块，用于获取视频帧、时间戳和陀螺仪数据，将所述视频帧、时间戳和陀螺仪数据进行RTP打包并对外输出；解析模块，用于接收并解析RTP数据包以获取视频帧、时间戳和陀螺仪数据；处理模块，用于基于预设的视频校正算法和陀螺仪数据调整所述视频帧。器材包括摄像头模块、主控MCU、陀螺仪模块、LCD显示模块、存储模块和wifi模块。本发明采用RTP打包视频帧和陀螺仪数据并发送至外部，外部通过解析获得的视频帧和陀螺仪数据对视频帧进行校正以解决由于抖动带来的视频内容偏移的问题。

Description

一种基于RTP帧同步的视频防抖系统和视频获取器材

技术领域

本发明涉及视频处理技术，尤其涉及领域一种基于RTP帧同步的视频防抖系统和视频获取器材。

背景技术

全景视频即720度或者360度全景视频。它是在720度或者360度全景的技术之上发展延伸而来，全景视频可以在拍摄角度左右上下360的任意观看动态视频。而拍摄过程难免会出现抖动导致视频内容偏移等问题，而由于相机的硬件资源有限，难以本地处理视频资料。

发明内容

为了解决上述问题，本发明提供一种基于RTP帧同步的视频防抖系统和视频获取器材。

本发明采用的技术方案一方面为一种基于RTP帧同步的视频防抖系统，包括：采集模块，用于获取视频帧、时间戳和陀螺仪数据，将所述视频帧、时间戳和陀螺仪数据进行RTP打包并对外输出；解析模块，用于接收并解析RTP数据包以获取视频帧、时间戳和陀螺仪数据；处理模块，用于基于预设的视频校正算法和陀螺仪数据调整所述视频帧。

优选地,还包括设定模块，该设定模块用于设置定义视频帧与陀螺仪数据的采集比例的采集参数。

优选地，还包括提供一APP，所述APP用于接收并解析RTP数据包以获取视频帧、时间戳和陀螺仪数据，基于预设的视频校正算法和陀螺仪数据调整所述视频帧。

本发明采用的技术方案另一方面为一种基于RTP帧同步的视频防抖的视频获取器材，包括摄像头模块、主控MCU、陀螺仪模块、LCD显示模块、存储模块和wifi模块，其中，所述主控MCU分别连接摄像头模块、陀螺仪模块、LCD显示模块、存储模块和wifi模块。

本发明的有益效果为采用RTP打包视频帧和陀螺仪数据并发送至外部，外部通过解析获得的视频帧和陀螺仪数据对视频帧进行校正以解决由于抖动带来的视频内容偏移的问题。

附图说明

图1所示为基于本发明实施例的一种基于RTP帧同步的视频防抖系统的示意图；

图2所示为基于本发明实施例的视频帧处理流程示意图；

图3所示为基于本发明实施例的APP处理流程示意图。

具体实施方式

以下结合实施例对本发明进行说明。

基于发明的实施例，一种基于RTP帧同步的视频防抖方法，应用于设置有陀螺仪的视频获取器材，包括步骤:获取视频帧、时间戳和陀螺仪数据，将所述视频帧、时间戳和陀螺仪数据进行RTP打包并对外输出；接收并解析RTP数据包以获取视频帧、时间戳和陀螺仪数据；基于预设的视频校正算法和陀螺仪数据调整所述视频帧。

还包括设置定义视频帧与陀螺仪数据的采集比例的采集参数。

还包括提供一APP，所述APP用于接收并解析RTP数据包以获取视频帧、时间戳和陀螺仪数据，基于预设的视频校正算法和陀螺仪数据调整所述视频帧。

视频在获取的过程中由于相机抖动等问题会导致在全景视频的具体视频内容会出现无法合理重叠的问题，因此本方案第一步是为相机设置陀螺仪，根据陀螺仪来测量相机在拍摄过程中的具体抖动情况(即运动的三维坐标上的偏差)，然后绑定在该时刻获取的视频帧(通过时间戳来进行两者的绑定)，将视频帧、时间戳和陀螺仪数据存放在一起后基于RTP协议(实时传输协议)进行打包，将打包后的数据包通过无线通信单元发送出去，外部的处理器根据预设的解码规则解析数据包以获取对应的视频帧、时间戳和陀螺仪数据，根据预设的视频校正算法结合陀螺仪数据可以求出视频帧的偏移情况，然后根据该偏移情况对视频帧进行显示参数上的调节以适应全景视频。

本方案中的rtp帧(本方案中，rtp即RTP，Rtp为具体数据格式)的陀螺仪信息标示方法如下，打包rtp帧时添加GYRO_DATA_S结构体信息：

typedef struct hiGYRO_DATA_S

{

int pdRotX；

int pdRotY；

int pdRotZ；

Long long int ps64Time；

}GYRO_DATA_S；

本发明中视频流为H264编码(不包含B帧)，GYRO_DATA_S使用RTP包中的padding字段，rtp头中设置padding，在报文末端包含的多个padding字节即为GYRO_DATA_S信息，该字段的最后一个字节设置长度，本发明中一帧视频获取5组GYRO_DATA_S信息，该字段的最后一个字节设置为0x14。对于不同的RTP h264负载类型(单一NAL单元模式、组合封包模式、分片单元)，处理分片NALU单元时，rtp包使用相同的GYRO_DATA_S信息，I帧和P帧以外的其他NALU单元打包时不包含GYRO_DATA_S信息，保证无论使用何RTP每帧视频能获取到有效的5组GYRO_DATA_S信息。

如图2所示的视频帧处理流程：

获取H264帧及陀螺仪数据；判断H264帧是否为I帧或P帧，是则Rtp头P标志位为1，不是则Rtp头P标志位为0；在Rtp头P标志位为1情况下，判断NALU数据长度是否大于MTU是则运送FU的RTP padding字段被设置成分片该NAL单元的对应的陀螺仪信息，不是则RTPpadding字段被设置成该NAL单元的对应的陀螺仪信息；将打包好的rtp包推送到局域网。

如图3所示的APP处理流程：

APP端获取到rtp包，判断Rtp头P标志位是否为1，是则解析出RTP padding字段被设置成该NAL单元的对应的陀螺仪信息，然后采用防抖算法根据获取到的陀螺仪信息实现防抖。

作为实施例的进一步改进，可以设置视频帧与陀螺仪数据的采集比例，例如一帧对应5组陀螺仪数据(即在一帧对应的时间内采集5组数据)，通过采集比例可以控制视频帧调整的精度，有利于适应各自精度的全景视频要求。

基于发明的实施例,如图1所示一种基于RTP帧同步的视频防抖系统，用于执行上述方法，包括：采集模块，用于获取视频帧、时间戳和陀螺仪数据，将所述视频帧、时间戳和陀螺仪数据进行RTP打包并对外输出；解析模块，用于接收并解析RTP数据包以获取视频帧、时间戳和陀螺仪数据；处理模块，用于基于预设的视频校正算法和陀螺仪数据调整所述视频帧。

还包括设定模块，该设定模块用于设置定义视频帧与陀螺仪数据的采集比例的采集参数。

还包括提供一APP，所述APP用于接收并解析RTP数据包以获取视频帧、时间戳和陀螺仪数据，基于预设的视频校正算法和陀螺仪数据调整所述视频帧。

基于发明的实施例一种基于RTP帧同步的视频防抖的视频获取器材，包括摄像头模块、主控MCU、陀螺仪模块、LCD显示模块、存储模块和wifi模块，其中，所述主控MCU分别连接摄像头模块、陀螺仪模块、LCD显示模块、存储模块和wifi模块。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (4)

1.一种基于RTP帧同步的视频防抖系统，包括设置有陀螺仪的视频获取器材，其特征在于，包括：

采集模块，用于获取视频帧、时间戳和陀螺仪数据，将所述视频帧、时间戳和陀螺仪数据进行RTP打包并对外输出；

解析模块，用于接收并解析RTP数据包以获取视频帧、时间戳和陀螺仪数据；

处理模块，用于基于预设的视频校正算法和陀螺仪数据调整所述视频帧。

2.根据权利要求1所述一种基于RTP帧同步的视频防抖系统，其特征在于，还包括设定模块，该设定模块用于设置定义视频帧与陀螺仪数据的采集比例的采集参数。

3.根据权利要求1所述一种基于RTP帧同步的视频防抖系统，其特征在于，还包括提供一APP，所述APP用于接收并解析RTP数据包以获取视频帧、时间戳和陀螺仪数据，基于预设的视频校正算法和陀螺仪数据调整所述视频帧。

4.一种基于RTP帧同步的视频防抖的视频获取器材，其特征在于，包括摄像头模块、主控MCU、陀螺仪模块、LCD显示模块、存储模块和wifi模块，其中，

所述主控MCU分别连接摄像头模块、陀螺仪模块、LCD显示模块、存储模块和wifi模块。