CN104954631A - 一种视频处理方法、装置和系统 - Google Patents

一种视频处理方法、装置和系统 Download PDF

Info

Publication number
CN104954631A
CN104954631A CN201410115045.3A CN201410115045A CN104954631A CN 104954631 A CN104954631 A CN 104954631A CN 201410115045 A CN201410115045 A CN 201410115045A CN 104954631 A CN104954631 A CN 104954631A
Authority
CN
China
Prior art keywords
rotation
gyroscope
information
angular velocity
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410115045.3A
Other languages
English (en)
Other versions
CN104954631B (zh
Inventor
戴超
吕静
陈伟
唐骋洲
王荣刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Peking University Shenzhen Graduate School
Original Assignee
Tencent Technology Shenzhen Co Ltd
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Peking University Shenzhen Graduate School filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201410115045.3A priority Critical patent/CN104954631B/zh
Priority to PCT/CN2014/093127 priority patent/WO2015143892A1/en
Publication of CN104954631A publication Critical patent/CN104954631A/zh
Priority to US14/982,959 priority patent/US20160112701A1/en
Application granted granted Critical
Publication of CN104954631B publication Critical patent/CN104954631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明实施例公开了一种视频处理方法、装置和系统；本发明实施例可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后获取第一视频信息和第一陀螺仪旋转信息，并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去抖动处理和/或去卷帘快门效应处理；采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。

Description

一种视频处理方法、装置和系统
技术领域
本发明涉及通信技术领域，具体涉及一种视频处理方法、装置和系统。
背景技术
为了得到更为清晰的视频，需要对视频进行防抖处理，在目前主流视频去抖动系统和相关视频处理应用中，多数的帧间运动估计方法都采用了基于图像的特征匹配来进行全局运动估计，例如，可以先通过特征点匹配来找到两帧间的一系列点的对应关系，然后用一个全局运动模型对这些点的对应关系进行拟合，从而得到能够描述两帧全局运动的全局运动模型。
在对现有技术的研究和实践过程中，本发明的发明人发现，虽然现有的这种方法应用较为普遍，但是其鲁棒性较差，在某些视频帧中难以找到足够的可靠的特征点来进行匹配，因此，处理后的视频质量不佳，而且该类方法计算复杂度也较高，需要占用较多的计算资源，不适用于移动终端如手机等计算能力较差的平台。
发明内容
本发明实施例提供一种视频处理方法、装置和系统，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
本发明实施例提供一种视频处理方法，包括：
基于罗德里格（Rodrigues'Rotation Matrix，简称Rodrigues）旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数；
获取第一视频信息和第一陀螺仪旋转信息，所述第一陀螺仪旋转信息为所述第一视频信息对应的陀螺仪旋转信息；
根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去抖动处理；和/或，
根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去卷帘快门效应处理。
相应的，本发明实施例还提供一种视频处理装置，包括标定单元、信息获取单元和处理单元；
标定单元，用于基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数；
信息获取单元，用于获取第一视频信息和第一陀螺仪旋转信息，所述第一陀螺仪旋转信息为所述第一视频信息对应的陀螺仪旋转信息；
处理单元，用于根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去抖动处理；和/或，根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去卷帘快门效应处理。
相应的，本发明实施例还提供一种视频处理系统，包括本发明实施例提供的任一种视频处理装置。
本发明实施例可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后获取第一视频信息和其对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去抖动处理，和/或根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去卷帘快门效应处理，以实现对视频的矫正；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的视频处理方法的流程图；
图2是本发明实施例提供的视频处理方法的另一流程图；
图3是本发明实施例提供的视频处理方法的又一流程图；
图4是本发明实施例提供的视频处理方法的又一流程图；
图5是本发明实施例提供的视频处理装置的结构示意图；
图6是本发明实施例提供的移动终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种视频处理方法、装置和系统。以下分别进行详细说明。
实施例一、
本发明实施例将从视频处理装置的角度进行描述，该视频处理装置可以集成在具有陀螺仪的摄像设备中，该摄像设备可以为移动终端，比如手机、平板电脑、笔记本电脑、相机或摄像机等设备。
一种视频处理方法，包括：基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，获取第一视频信息和对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去抖动处理。
如图1所示，该视频处理方法的具体流程可以如下：
101、基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，例如，具体可以采用如下方法来对摄像设备进行标定：
（1）获取该摄像设备的陀螺仪旋转角速度。
比如，具体可以从该摄像设备的陀螺仪中读出该陀螺仪旋转角速度。
（2）利用罗德里格旋转矩阵对该陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型，例如，具体可以如下：
获取该陀螺仪旋转角速度对应的旋转时间，将该陀螺仪旋转角速度结合该获取到的旋转时间，根据罗德里格旋转矩阵形式构造旋转矩阵，得到罗德里格旋转矩阵的运动模型。
（3）获取第二视频信息和相应的陀螺仪旋转信息，其中，为了描述方便，在本发明中，将该第二视频信息对应的陀螺仪旋转信息称为第二陀螺仪旋转信息。
例如，具体可以通过拍摄视频来获取视频信息，为了描述方便，在本实施例中，将该建模时获取到的视频信息称为第二视频信息。
其中，本发明实施例中的陀螺仪旋转信息包括陀螺仪旋转角速度和/或对应的旋转时间等信息。
（4）基于该罗德里格旋转矩阵的运动模型，结合该第二视频信息和第二陀螺仪旋转信息对该摄像设备进行标定，得到标定参数，例如，具体可以如下：
A、对该第二视频信息中每一帧内预置的特征点进行检测，并在相邻两帧间进行特征点匹配，得到特征匹配关系。
B、基于建立的罗德里格旋转矩阵的运动模型对该第二陀螺仪旋转信息进行转换，得到对应的三维旋转矩阵。
C、根据该三维旋转矩阵和特征匹配关系对该摄像设备进行标定，得到标定参数。例如，具体可以如下：
根据预置的优化策略拟合该特征匹配关系，得到拟合后的特征匹配关系；利用B步骤中得到的三维旋转矩阵和拟合后的特征匹配关系计算该摄像设备的标定参数。
其中，该标定参数可以包括摄像设备的内部参数、帧采集时间、以及“陀螺仪时间戳与视频信息的帧时间戳之间的偏差”等参数。而优化策略可以根据实际应用的需求进行设置。
需说明的是，计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数，也就是本发明实施例所说的标定参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机标定(或称为定标)。也就是说，标定过程就是确定摄像机的几何和光学参数、以及摄像机相对于世界坐标系的方位。标定精度的大小，直接影响着计算机视觉（机器视觉）的精度。
102、获取第一视频信息和相应的陀螺仪旋转信息，为了描述方便，在本发明实施例中，将该第一视频信息对应的陀螺仪旋转信息称为第一陀螺仪旋转信息。
例如，具体可以通过拍摄视频来获取视频信息，为了描述方便，在本实施例中，将该需要进行去抖动处理和/或矫正（比如进行去卷帘快门效应处理）的视频信息称为第一视频信息。
103、根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去抖动处理；例如，具体可以如下：
（1）对该第一陀螺仪旋转信息进行平滑操作，得到第一旋转角速度累积乘积。
（2）根据该第一视频信息确定当前需要处理的帧。
（3）从该第一陀螺仪旋转信息中获取从所述第一视频信息的第一帧开始到所述当前需要处理的帧之间的各个帧所对应的陀螺仪旋转角速度。
（4）根据所述各个帧所对应的陀螺仪旋转角速度计算旋转角速度累积乘积。
其中，该第二旋转角速度累积乘积为从所述第一视频信息的第一帧开始到所述当前需要处理的帧的旋转角速度累积乘积。
（5）计算该第二旋转角速度累积乘积和第一旋转角速度累积乘积的差，得到差值，为了描述方便，在本发明实施例中，将该差值称为第一差值。
（6）根据该第一差值和该标定参数得到一个全局运动矩阵，在本发明实施例中，称为第一全局运动矩阵。
（7）根据该第一全局运动矩阵对该第一视频信息进行重新绘制，从而实现去抖动的目的。
此外，除了可以对第一视频信息进行去抖动处理之外，为了进一步提高视频质量，还可以对该第一视频信息进行矫正处理，比如进行去卷帘快门效应处理。即，在获取第一视频信息和第一陀螺仪旋转信息之后，该视频处理方法还可以包括：
根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去卷帘快门效应处理。例如，具体可以如下：
根据该第一视频信息确定当前需要处理的帧，从该第一陀螺仪旋转信息中获取当前需要处理的帧所对应的陀螺仪旋转角速度，根据该当前需要处理的帧所对应的陀螺仪旋转角速度分别获取当前需要处理的帧的第一行的旋转角速度和第n行的旋转角速度，计算该第一行的旋转角速度和第n行的旋转角速度的差，得到一个差值，在本发明实施例中称为第二差值，根据该第二差值和标定参数得到一个全局运动矩阵，在本发明实施例中称为第二全局运动矩阵，根据该第二全局运动矩阵对第一视频信息进行重新绘制。
其中，n为正整数，n的值可以根据实际应用的需求进行设置。
由上可知，本实施例可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后获取第一视频信息和其对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去抖动处理；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
实施例二、
此外，本发明实施例还提供另一种视频处理方法，与实施例一相同，本发明实施例也将从视频处理装置的角度进行描述，其中，该视频处理装置可以集成在具有陀螺仪的摄像设备中，该摄像设备可以为移动终端，比如手机、平板电脑、笔记本电脑、相机或摄像机等设备。
一种视频处理方法，包括：基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，获取第一视频信息和对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去卷帘快门效应处理。
如图2所示，该视频处理方法的具体流程可以如下：
201、基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，例如，具体可以采用如下方法来对摄像设备进行标定：
（1）获取该摄像设备的陀螺仪旋转角速度。
比如，具体可以从该摄像设备的陀螺仪中读出该陀螺仪旋转角速度。
（2）利用罗德里格旋转矩阵对该陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型，例如，具体可以如下：
获取该陀螺仪旋转角速度对应的旋转时间，将该陀螺仪旋转角速度结合该获取到的旋转时间，根据罗德里格旋转矩阵形式构造旋转矩阵，得到罗德里格旋转矩阵的运动模型。
（3）获取第二视频信息和相应的陀螺仪旋转信息，即第二陀螺仪旋转信息。
例如，具体可以通过拍摄视频来获取视频信息，为了描述方便，在本实施例中，将该建模时获取到的视频信息称为第二视频信息。
（4）基于该罗德里格旋转矩阵的运动模型，结合该第二视频信息和第二陀螺仪旋转信息对该摄像设备进行标定，得到标定参数，例如，具体可以如下：
A、对该第二视频信息中每一帧内预置的特征点进行检测，并在相邻两帧间进行特征点匹配，得到特征匹配关系。
B、基于建立的罗德里格旋转矩阵的运动模型对该第二陀螺仪旋转信息进行转换，得到对应的三维旋转矩阵。
C、根据该三维旋转矩阵和特征匹配关系对该摄像设备进行标定，得到标定参数。例如，具体可以如下：
根据预置的优化策略拟合该特征匹配关系，得到拟合后的特征匹配关系；利用B步骤中得到的三维旋转矩阵和拟合后的特征匹配关系计算该摄像设备的标定参数。
其中，该标定参数可以包括摄像设备的内部参数、帧采集时间、以及“陀螺仪时间戳与视频信息的帧时间戳之间的偏差”等参数。
202、获取第一视频信息和相应的陀螺仪旋转信息，即第一陀螺仪旋转信息。
例如，具体可以通过拍摄视频来获取视频信息，为了描述方便，在本实施例中，将该需要进行去抖动处理和/或矫正（比如进行去卷帘快门效应处理）的视频信息称为第一视频信息。
203、根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去卷帘快门效应处理，以实现矫正的目的，例如，具体可以如下：
根据该第一视频信息确定当前需要处理的帧，从第一陀螺仪旋转信息中获取当前需要处理的帧所对应的陀螺仪旋转角速度，根据该陀螺仪旋转角速度（即当前需要处理的帧所对应的陀螺仪旋转角速度）分别获取该当前需要处理的帧的第一行的旋转角速度和第n行的旋转角速度，计算第一行的旋转角速度和第n行的旋转角速度的差，得到第二差值，根据第二差值和该标定参数得到第二全局运动矩阵，根据第二全局运动矩阵对第一视频信息进行重新绘制，从而实现去卷帘快门效应的目的。
其中，n为正整数，n的值可以根据实际应用的需求进行设置。
此外，还可以对第一视频信息进行去抖动处理，详见实施例一，在此不再赘述。
由上可知，本实施例可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后获取第一视频信息和其对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去卷帘快门效应处理，以实现对视频的矫正；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
根据实施例一和二所描述的方法，以下将在实施例三、四和五中举例对该视频处理方法作进一步详细说明。
实施例三、
在本实施例中，将以该视频处理装置集成在具有陀螺仪的摄像设备中，且该摄像设备具体为移动终端为例进行说明。
如图3所示，一种视频处理方法，具体流程可以如下：
301、移动终端获取该摄像设备的陀螺仪旋转角速度。
比如，具体可以从该移动终端的陀螺仪中读出该陀螺仪旋转角速度。
302、移动终端利用罗德里格旋转矩阵对该陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型，例如，具体可以如下：
移动终端获取该陀螺仪旋转角速度对应的旋转时间，将该陀螺仪旋转角速度结合该获取到的旋转时间，根据罗德里格旋转矩阵形式构造旋转矩阵，得到罗德里格旋转矩阵的运动模型。
303、移动终端获取第二视频信息和相应的陀螺仪旋转信息，即第二陀螺仪旋转信息。
比如，可以选取一个远处的建筑物，旋转所需标定参数的移动设备，拍摄一段视频，即获取第二视频信息，同时记录从陀螺仪读出的陀螺仪旋转信息，即获取第二陀螺仪旋转信息。
其中，移动设备能够任意运动，拍摄任意内容。
304、移动终端基于该罗德里格旋转矩阵的运动模型，结合该第二视频信息和第二陀螺仪旋转信息对该摄像设备进行标定，得到标定参数，例如，具体可以如下：
（1）移动终端对该第二视频信息中每一帧内预置的特征点进行检测，并在相邻两帧间进行特征点匹配，得到特征匹配关系。
例如，特征点检测可以采用尺度不变特征变换（SIFT，Scale-invariantfeature transform）算法进行检测，而特征匹配则可以采用基于多维查找树（KD，K-dimension tree）的特征匹配方法，一般的，每一帧大约可以检测400个左右SIFT特征点。
需说明的是，也可以采用其他的算法进行特征点检测和匹配，在此不再赘述。
（2）移动终端基于建立的罗德里格旋转矩阵的运动模型对该第二陀螺仪旋转信息进行转换，得到对应的三维旋转矩阵。
（3）移动终端根据该三维旋转矩阵和特征匹配关系对该摄像设备进行标定，得到标定参数。例如，具体可以如下：
根据预置的优化策略拟合该特征匹配关系，得到拟合后的特征匹配关系；利用（1）步骤中得到的三维旋转矩阵和拟合后的特征匹配关系计算该摄像设备的标定参数。
其中，该标定参数可以包括摄像设备的内部参数、帧采集时间、以及“陀螺仪时间戳与视频信息的帧时间戳之间的偏差”等参数。而优化策略可以根据实际应用的需求进行设置。
305、移动终端获取第一视频信息和相应的陀螺仪旋转信息，即第一陀螺仪旋转信息。
例如，具体可以通过拍摄视频来获取第一视频信息和第一陀螺仪旋转信息，比如，可以选取一个远处的建筑物，旋转所需标定参数的移动设备，拍摄一段视频，即获取第二视频信息，同时记录从陀螺仪读出的陀螺仪旋转信息，即获取第二陀螺仪旋转信息。
其中，移动设备能够任意运动，拍摄任意内容。
306、移动终端根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去抖动处理；例如，具体可以如下：
（1）移动终端对该第一陀螺仪旋转信息进行平滑操作，得到第一旋转角速度累积乘积。
例如，具体可以采用标准差为32，半径为20的高斯核对旋转角速度进行平滑，当然，也可以采用其他的方式进行平滑，在此不再赘述。
（2）移动终端根据该第一视频信息确定当前需要处理的帧。
（3）移动终端从该第一陀螺仪旋转信息中获取从所述第一视频信息的第一帧开始到所述当前需要处理的帧之间的各个帧所对应的陀螺仪旋转角速度。
（4）移动终端根据所述各个帧所对应的陀螺仪旋转角速度计算旋转角速度累积乘积，得到第二旋转角速度累积乘积。
其中，该第二旋转角速度累积乘积为从所述第一视频信息的第一帧开始到所述当前需要处理的帧的旋转角速度累积乘积。
（5）移动终端计算该第二旋转角速度累积乘积和第一旋转角速度累积乘积的差，得到第一差值。
（6）移动终端根据该第一差值和该标定参数得到一个全局运动矩阵，即第一全局运动矩阵。
（7）移动终端根据该第一全局运动矩阵对该第一视频信息进行重新绘制。
这样，对每一帧视频进行上述步骤306所述的操作后，即能够达成去抖动的效果。
由上可知，本实施例的移动终端可以基于罗德里格旋转矩阵对其中的摄像设备进行标定，得到标定参数，然后获取第一视频信息和其对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去抖动处理；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
实施例四、
与实施例三相同的是，在本实施例中，也以该视频处理装置集成在具有陀螺仪的摄像设备中，且该摄像设备具体为移动终端为例进行说明，与实施例三不同的是，在本实施例中，将以对第一视频信息进行矫正，比如进行去卷帘快门效应处理为例进行说明。
如图4所示，一种视频处理方法，具体流程可以如下：
401、移动终端获取该摄像设备的陀螺仪旋转角速度。
比如，具体可以从该移动终端的陀螺仪中读出该陀螺仪旋转角速度。
402、移动终端利用罗德里格旋转矩阵对该陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型，例如，具体可以如下：
移动终端获取该陀螺仪旋转角速度对应的旋转时间，将该陀螺仪旋转角速度结合该获取到的旋转时间，根据罗德里格旋转矩阵形式构造旋转矩阵，得到罗德里格旋转矩阵的运动模型。
403、移动终端获取第二视频信息和相应的陀螺仪旋转信息，即第二陀螺仪旋转信息。
比如，可以选取一个远处的建筑物，旋转所需标定参数的移动设备，拍摄一段视频，即获取第二视频信息，同时记录从陀螺仪读出的陀螺仪旋转信息，即获取第二陀螺仪旋转信息。
其中，移动设备能够任意运动，拍摄任意内容。
404、移动终端基于该罗德里格旋转矩阵的运动模型，结合该第二视频信息和第二陀螺仪旋转信息对该摄像设备进行标定，得到标定参数，例如，具体可以如下：
（1）移动终端对该第二视频信息中每一帧内预置的特征点进行检测，并在相邻两帧间进行特征点匹配，得到特征匹配关系。
例如，特征点检测可以采用SIFT算法进行检测，而特征匹配则可以采用基于KD的特征匹配方法，一般的，每一帧大约可以检测400个左右SIFT特征点。
需说明的是，也可以采用其他的算法进行特征点检测和匹配，在此不再赘述。
（2）移动终端基于建立的罗德里格旋转矩阵的运动模型对该第二陀螺仪旋转信息进行转换，得到对应的三维旋转矩阵。
（3）移动终端根据该三维旋转矩阵和特征匹配关系对该摄像设备进行标定，得到标定参数。例如，具体可以如下：
根据预置的优化策略拟合该特征匹配关系，得到拟合后的特征匹配关系；利用（1）步骤中得到的三维旋转矩阵和拟合后的特征匹配关系计算该摄像设备的标定参数。
其中，该标定参数可以包括摄像设备的内部参数、帧采集时间、以及“陀螺仪时间戳与视频信息的帧时间戳之间的偏差”等参数。而优化策略可以根据实际应用的需求进行设置。
405、移动终端获取第一视频信息和相应的陀螺仪旋转信息，即第一陀螺仪旋转信息。
例如，具体可以通过拍摄视频来获取第一视频信息和第一陀螺仪旋转信息，比如，可以选取一个远处的建筑物，旋转所需标定参数的移动设备，拍摄一段视频，即获取第二视频信息，同时记录从陀螺仪读出的陀螺仪旋转信息，即获取第二陀螺仪旋转信息。
其中，移动设备能够任意运动，拍摄任意内容。
406、移动终端根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去卷帘快门效应处理，以实现矫正的目的，例如，具体可以如下：
（1）移动终端根据该第一视频信息确定当前需要处理的帧。
（2）移动终端从第一陀螺仪旋转信息中获取当前需要处理的帧所对应的陀螺仪旋转角速度。
（3）移动终端根据该陀螺仪旋转角速度（即当前需要处理的帧所对应的陀螺仪旋转角速度）分别获取该当前需要处理的帧的第一行的旋转角速度和第n行的旋转角速度。
（4）移动终端计算第一行的旋转角速度和第n行的旋转角速度的差，得到第二差值。
（5）移动终端根据第二差值和该标定参数得到第二全局运动矩阵.
（6）移动终端根据第二全局运动矩阵对第一视频信息进行重新绘制，从而实现去卷帘快门效应的目的。
其中，n为正整数，n的值可以根据实际应用的需求进行设置。
由上可知，本实施例的移动终端可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后获取第一视频信息和其对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去卷帘快门效应处理，以实现对视频的矫正；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
实施例五、
为了进一步提高视频质量，除了实施例三和四中所述的分别对视频信息进行去抖动和去卷帘快门效应处理之外，还可以同时对视频信息进行去抖动和去卷帘快门效应处理，即将实施例三和四结合起来，具体可参见实施例三和四，在此不再赘述，其中，去抖动处理的步骤和去卷帘快门效应处理的步骤的执行可以不分先后。
本实施例可以同时实现实施例三和四中所描述的有益效果，详见前面的实施例，在此不再赘述。
实施例六、
相应的，本发明实施例还提供一种视频处理装置，如图5所示，该视频处理装置包括标定单元501、信息获取单元502和处理单元503。
标定单元501，用于基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数；
信息获取单元502，用于获取第一视频信息和第一陀螺仪旋转信息，其中，该第一陀螺仪旋转信息为第一视频信息对应的陀螺仪旋转信息；
处理单元503，用于根据标定单元501得到的标定参数和信息获取单元502获取到的第一陀螺仪旋转信息对第一视频信息进行去抖动处理；和/或，根据标定单元501得到的标定参数和信息获取单元502获取到第一陀螺仪旋转信息对第一视频信息进行去卷帘快门效应处理。
其中，标定单元501可以包括获取子单元、建模子单元和标定子单元，如下：
获取子单元，用于获取该摄像设备的陀螺仪旋转角速度；以及获取第二视频信息和第二陀螺仪旋转信息，其中，第二陀螺仪旋转信息为所述第二视频信息对应的陀螺仪旋转信息。
比如，获取子单元具体可以从该摄像设备的陀螺仪中读出该陀螺仪旋转角速度，以及通过拍摄视频并同时记录陀螺仪旋转信息来获取第二视频信息和第二陀螺仪旋转信息。
建模子单元，用于利用罗德里格旋转矩阵对获取子单元获取到的陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型。
例如，建模子单元，具体可以用于获取该陀螺仪旋转角速度对应的旋转时间，将该陀螺仪旋转角速度结合该获取到的旋转时间，根据罗德里格旋转矩阵形式构造旋转矩阵，得到罗德里格旋转矩阵的运动模型。
标定子单元，用于基于建模子单元得到的罗德里格旋转矩阵的运动模型，结合获取子单元获取到的第二视频信息和第二陀螺仪旋转信息对该摄像设备进行标定，得到标定参数。
例如，标定子单元，具体可以用于对该第二视频信息中每一帧内预置的特征点进行检测，并在相邻两帧间进行特征点匹配，得到特征匹配关系，基于该罗德里格旋转矩阵的运动模型对所述第二陀螺仪旋转信息进行转换，得到对应的三维旋转矩阵，根据该三维旋转矩阵和特征匹配关系对所述摄像设备进行标定，得到标定参数。
其中，根据该三维旋转矩阵和特征匹配关系对该摄像设备进行标定，得到标定参数具体可以包括：
根据预置的优化策略拟合该特征匹配关系，得到拟合后的特征匹配关系；利用得到的三维旋转矩阵和拟合后的特征匹配关系计算该摄像设备的标定参数。
其中，该标定参数可以包括摄像设备的内部参数、帧采集时间、以及“陀螺仪时间戳与视频信息的帧时间戳之间的偏差”等参数。而优化策略可以根据实际应用的需求进行设置。
其中，处理单元503可以包括去抖动处理子单元和/或矫正处理子单元，如下：
去抖动处理子单元，用于对所述第一陀螺仪旋转信息进行平滑操作，得到第一旋转角速度累积乘积；根据该第一视频信息确定当前需要处理的帧；从该第一陀螺仪旋转信息中获取从所述第一视频信息的第一帧开始到所述当前需要处理的帧之间的各个帧所对应的陀螺仪旋转角速度；根据该各个帧所对应的陀螺仪旋转角速度计算第二旋转角速度累积乘积，所述第二旋转角速度累积乘积为从所述第一视频信息的第一帧开始到所述当前需要处理的帧的旋转角速度累积乘积；计算所述第二旋转角速度累积乘积和第一旋转角速度累积乘积的差，得到第一差值；根据所述第一差值和所述标定参数得到第一全局运动矩阵；根据所述第一全局运动矩阵对所述第一视频信息进行重新绘制。
矫正处理子单元，用于根据该第一视频信息确定当前需要处理的帧，从该第一陀螺仪旋转信息中获取当前需要处理的帧所对应的陀螺仪旋转角速度，根据该当前需要处理的帧所对应的陀螺仪旋转角速度分别获取当前需要处理的帧的第一行的旋转角速度和第n行的旋转角速度，计算该第一行的旋转角速度和第n行的旋转角速度的差，得到一个差值，在本发明实施例中称为第二差值，根据该第二差值和标定参数得到一个全局运动矩阵，在本发明实施例中称为第二全局运动矩阵，根据该第二全局运动矩阵对第一视频信息进行重新绘制。
其中，n为正整数，n的值可以根据实际应用的需求进行设置。
具体实现时，以上各个单元可以作为同一实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的实施例，在此不再赘述。
该视频处理装置可以集成在具有陀螺仪的摄像设备中，该摄像设备可以为移动终端，比如手机、平板电脑、笔记本电脑、相机或摄像机等设备。
由上可知，本实施例的视频处理装置的标定单元501可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后由信息获取单元502获取第一视频信息和其对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），并由处理单元503根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去抖动处理，和/或，根据标定参数和第一陀螺仪旋转信息对第一视频信息进行去卷帘快门效应处理；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
实施例七、
相应的，本发明实施例还提供一种视频处理系统，可以包括本发明实施例提供的任一种视频处理装置，详见实施例六，例如，具体可以如下：
视频处理系统，用于基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，获取第一视频信息和对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去抖动处理。或者，
视频处理系统，用于基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，获取第一视频信息和对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去卷帘快门效应处理。或者，
该视频处理系统，用于基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，获取第一视频信息和对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去抖动处理，以及根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去卷帘快门效应处理。
上述视频处理系统中各个步骤的具体操作可参见前面的实施例，在此不再赘述。
由上可知，本实施例的视频处理系统可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后获取第一视频信息和其对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去抖动处理和/或去卷帘快门效应处理；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
实施例八、
相应的，本发明实施例还提供一种移动终端，该移动终端可以集成本发明实施例提供的任一种视频处理装置，如图6所示，该移动终端可以包括射频（RF，Radio Frequency）电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真（WiFi，Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图6中示出的移动终端结构并不构成对移动终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块（SIM，Subscriber IdentityModule）卡、收发信机、耦合器、低噪声放大器（LNA，Low Noise Amplifier）、双工器等。此外，RF电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（GSM，Global System of Mobile communication）、通用分组无线服务（GPRS，General Packet Radio Service）、码分多址（CDMA，Code Division MultipleAccess）、宽带码分多址（WCDMA，Wideband Code Division Multiple Access）、长期演进（LTE，Long Term Evolution)、电子邮件、短消息服务（SMS，ShortMessaging Service)等。
存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据移动终端的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板，可选的，可以采用液晶显示器（LCD，Liquid Crystal Display）、有机发光二极管（OLED，OrganicLight-Emitting Diode）等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图6中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
移动终端还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在移动终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等;至于移动终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路606、扬声器，传声器可提供用户与移动终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经RF电路601以发送给比如另一移动终端，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔，以提供外设耳机与移动终端的通信。
WiFi属于短距离无线传输技术，移动终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块607，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是移动终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行移动终端的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。
移动终端还包括给各个部件供电的电源609（比如电池），优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，移动终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，移动终端中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现各种功能：
尽管未示出，移动终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，移动终端的显示单元是触摸屏显示器，移动终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含用于进行以下操作的指令：
基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，获取第一视频信息和对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去抖动处理，和/或，根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去卷帘快门效应处理。
其中，步骤“基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数”具体可以如下：
（1）获取该摄像设备（即该移动终端中的摄像部件，以下不再进行额外说明）的陀螺仪旋转角速度。
比如，具体可以从该摄像设备的陀螺仪中读出该陀螺仪旋转角速度。
（2）利用罗德里格旋转矩阵对该陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型，例如，具体可以如下：
获取该陀螺仪旋转角速度对应的旋转时间，将该陀螺仪旋转角速度结合该获取到的旋转时间，根据罗德里格旋转矩阵形式构造旋转矩阵，得到罗德里格旋转矩阵的运动模型。
（3）获取第二视频信息和相应的陀螺仪旋转信息，即第二陀螺仪旋转信息。
例如，具体可以通过拍摄视频来获取视频信息，为了描述方便，在本实施例中，将该建模时获取到的视频信息称为第二视频信息。
（4）基于该罗德里格旋转矩阵的运动模型，结合该第二视频信息和第二陀螺仪旋转信息对该摄像设备进行标定，得到标定参数，例如，具体可以如下：
A、对该第二视频信息中每一帧内预置的特征点进行检测，并在相邻两帧间进行特征点匹配，得到特征匹配关系。
B、基于建立的罗德里格旋转矩阵的运动模型对该第二陀螺仪旋转信息进行转换，得到对应的三维旋转矩阵。
C、根据该三维旋转矩阵和特征匹配关系对该摄像设备进行标定，得到标定参数。例如，具体可以如下：
根据预置的优化策略拟合该特征匹配关系，得到拟合后的特征匹配关系；利用B步骤中得到的三维旋转矩阵和拟合后的特征匹配关系计算该摄像设备的标定参数。
其中，该标定参数可以包括摄像设备的内部参数、帧采集时间、以及“陀螺仪时间戳与视频信息的帧时间戳之间的偏差”等参数。
其中，步骤“根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去抖动处理”具体可以如下：
对该第一陀螺仪旋转信息进行平滑操作，得到第一旋转角速度累积乘积；根据该第一视频信息确定当前需要处理的帧；从该第一陀螺仪旋转信息中获取从所述第一视频信息的第一帧开始到所述当前需要处理的帧之间的各个帧所对应的陀螺仪旋转角速度；根据所述各个帧所对应的陀螺仪旋转角速度计算旋转角速度累积乘积（其中，该第二旋转角速度累积乘积为从所述第一视频信息的第一帧开始到所述当前需要处理的帧的旋转角速度累积乘积）；计算该第二旋转角速度累积乘积和第一旋转角速度累积乘积的差，得到第一差值；根据该第一差值和该标定参数得到一个全局运动矩阵，在本发明实施例中，称为第一全局运动矩阵；根据该第一全局运动矩阵对该第一视频信息进行重新绘制。
其中，步骤“根据该标定参数和第一陀螺仪旋转信息对该第一视频信息进行去卷帘快门效应处理”具体可以如下：
根据该第一视频信息确定当前需要处理的帧，从第一陀螺仪旋转信息中获取当前需要处理的帧所对应的陀螺仪旋转角速度，根据该陀螺仪旋转角速度（即当前需要处理的帧所对应的陀螺仪旋转角速度）分别获取该当前需要处理的帧的第一行的旋转角速度和第n行的旋转角速度，计算第一行的旋转角速度和第n行的旋转角速度的差，得到第二差值，根据第二差值和该标定参数得到第二全局运动矩阵，根据第二全局运动矩阵对第一视频信息进行重新绘制，从而实现去卷帘快门效应的目的。
其中，n为正整数，n的值可以根据实际应用的需求进行设置。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例的移动终端可以基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，然后获取第一视频信息和其对应的陀螺仪旋转信息（即第一陀螺仪旋转信息），并根据该标定参数和第一陀螺仪旋转信息对第一视频信息进行去抖动处理和/或去卷帘快门效应处理；由于该方案采用了罗德里格旋转矩阵，因此，相对于采用其他旋转矩阵的方案而言，在计算标定参数时，不仅可以更加精确，大大减少误差，而且，计算也较为简便，可以大大降低实现的复杂度；也就是说，采用该方案，不仅可以提高其鲁棒性，而且计算复杂度较低，可以在占用较低计算资源的情况下更好地对视频进行处理，提高视频质量。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
以上对本发明实施例所提供的一种视频处理方法、装置和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种视频处理方法，其特征在于，包括：
基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数；
获取第一视频信息和第一陀螺仪旋转信息，所述第一陀螺仪旋转信息为所述第一视频信息对应的陀螺仪旋转信息；
根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去抖动处理；和/或，
根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去卷帘快门效应处理。
2.根据权利要求1所述的方法，其特征在于，所述基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数，包括：
获取所述摄像设备的陀螺仪旋转角速度；
利用罗德里格旋转矩阵对所述陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型；
获取第二视频信息和第二陀螺仪旋转信息，所述第二陀螺仪旋转信息为所述第二视频信息对应的陀螺仪旋转信息；
基于所述罗德里格旋转矩阵的运动模型，结合所述第二视频信息和第二陀螺仪旋转信息对所述摄像设备进行标定，得到标定参数。
3.根据权利要求2所述的方法，其特征在于，所述基于所述罗德里格旋转矩阵的运动模型，结合所述第二视频信息和第二陀螺仪旋转信息对所述摄像设备进行标定，得到标定参数，包括：
对所述第二视频信息中每一帧内预置的特征点进行检测，并在相邻两帧间进行特征点匹配，得到特征匹配关系；
基于所述罗德里格旋转矩阵的运动模型对所述第二陀螺仪旋转信息进行转换，得到对应的三维旋转矩阵；
根据所述三维旋转矩阵和特征匹配关系对所述摄像设备进行标定，得到标定参数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述三维旋转矩阵和特征匹配关系对所述摄像设备进行标定，得到标定参数，包括：
根据预置的优化策略拟合所述特征匹配关系，得到拟合后的特征匹配关系；
利用所述三维旋转矩阵和拟合后的特征匹配关系计算所述摄像设备的标定参数，所述标定参数包括摄像设备的内部参数、帧采集时间、以及陀螺仪时间戳与视频信息的帧时间戳之间的偏差。
5.根据权利要求2所述的方法，其特征在于，所述利用罗德里格旋转矩阵对所述陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型，包括：
获取所述陀螺仪旋转角速度对应的旋转时间；
将所述陀螺仪旋转角速度结合所述旋转时间，根据罗德里格旋转矩阵形式构造旋转矩阵，得到罗德里格旋转矩阵的运动模型。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去抖动处理，包括：
对所述第一陀螺仪旋转信息进行平滑操作，得到第一旋转角速度累积乘积；
根据所述第一视频信息确定当前需要处理的帧；
从所述第一陀螺仪旋转信息中获取从所述第一视频信息的第一帧开始到所述当前需要处理的帧之间的各个帧所对应的陀螺仪旋转角速度；
根据所述各个帧所对应的陀螺仪旋转角速度计算第二旋转角速度累积乘积，所述第二旋转角速度累积乘积为从所述第一视频信息的第一帧开始到所述当前需要处理的帧的旋转角速度累积乘积；
计算所述第二旋转角速度累积乘积和第一旋转角速度累积乘积的差，得到第一差值；
根据所述第一差值和所述标定参数得到第一全局运动矩阵；
根据所述第一全局运动矩阵对所述第一视频信息进行重新绘制。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去卷帘快门效应处理，包括：
根据所述第一视频信息确定当前需要处理的帧；
从所述第一陀螺仪旋转信息中获取所述当前需要处理的帧所对应的陀螺仪旋转角速度；
根据所述当前需要处理的帧所对应的陀螺仪旋转角速度分别获取所述当前需要处理的帧的第一行的旋转角速度和第n行的旋转角速度；
计算所述第一行的旋转角速度和第n行的旋转角速度的差，得到第二差值；
根据所述第二差值和所述标定参数得到第二全局运动矩阵；
根据所述第二全局运动矩阵对所述第一视频信息进行重新绘制。
8.一种视频处理装置，其特征在于，包括：
标定单元，用于基于罗德里格旋转矩阵对具有陀螺仪的摄像设备进行标定，得到标定参数；
信息获取单元，用于获取第一视频信息和第一陀螺仪旋转信息，所述第一陀螺仪旋转信息为所述第一视频信息对应的陀螺仪旋转信息；
处理单元，用于根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去抖动处理，和/或，根据所述标定参数和第一陀螺仪旋转信息对所述第一视频信息进行去卷帘快门效应处理。
9.根据权利要求8所述的视频处理装置，其特征在于，所述标定单元包括获取子单元、建模子单元和标定子单元；
获取子单元，用于获取所述摄像设备的陀螺仪旋转角速度；以及获取第二视频信息和第二陀螺仪旋转信息，所述第二陀螺仪旋转信息为所述第二视频信息对应的陀螺仪旋转信息；
建模子单元，用于利用罗德里格旋转矩阵对所述陀螺仪旋转角速度进行建模，得到罗德里格旋转矩阵的运动模型；
标定子单元，用于基于所述罗德里格旋转矩阵的运动模型，结合所述第二视频信息和第二陀螺仪旋转信息对所述摄像设备进行标定，得到标定参数。
10.根据权利要求9所述的视频处理装置，其特征在于，
所述标定子单元，具体用于对所述第二视频信息中每一帧内预置的特征点进行检测，并在相邻两帧间进行特征点匹配，得到特征匹配关系，基于所述罗德里格旋转矩阵的运动模型对所述第二陀螺仪旋转信息进行转换，得到对应的三维旋转矩阵，根据所述三维旋转矩阵和特征匹配关系对所述摄像设备进行标定，得到标定参数。
11.根据权利要求10所述的视频处理装置，其特征在于，
所述标定子单元，具体用于根据预置的优化策略拟合所述特征匹配关系，得到拟合后的特征匹配关系，利用所述三维旋转矩阵和拟合后的特征匹配关系计算所述摄像设备的标定参数，所述标定参数包括摄像设备的内部参数、帧采集时间、以及陀螺仪时间戳与视频信息的帧时间戳之间的偏差。
12.根据权利要求9所述的视频处理装置，其特征在于，
所述建模子单元，具体用于获取所述陀螺仪旋转角速度对应的旋转时间，将所述陀螺仪旋转角速度结合所述旋转时间，根据罗德里格旋转矩阵形式构造旋转矩阵，得到罗德里格旋转矩阵的运动模型。
13.根据权利要求8至12任一项所述的视频处理装置，其特征在于，所述处理单元包括去抖动处理子单元和/或矫正处理子单元，
所述去抖动处理子单元，具体用于，对所述第一陀螺仪旋转信息进行平滑操作，得到第一旋转角速度累积乘积；根据所述第一视频信息确定当前需要处理的帧；从所述第一陀螺仪旋转信息中获取从所述第一视频信息的第一帧开始到所述当前需要处理的帧之间的各个帧所对应的陀螺仪旋转角速度；根据所述各个帧所对应的陀螺仪旋转角速度计算第二旋转角速度累积乘积，所述第二旋转角速度累积乘积为从所述第一视频信息的第一帧开始到所述当前需要处理的帧的旋转角速度累积乘积；计算所述第二旋转角速度累积乘积和第一旋转角速度累积乘积的差，得到第一差值；根据所述第一差值和所述标定参数得到第一全局运动矩阵；根据所述第一全局运动矩阵对所述第一视频信息进行重新绘制；
所述矫正处理子单元，具体用于根据所述第一视频信息确定当前需要处理的帧；从所述第一陀螺仪旋转信息中获取所述当前需要处理的帧所对应的陀螺仪旋转角速度；根据所述当前需要处理的帧所对应的陀螺仪旋转角速度分别获取所述当前需要处理的帧的第一行的旋转角速度和第n行的旋转角速度，n为正整数；计算所述第一行的旋转角速度和第n行的旋转角速度的差，得到第二差值；根据所述第二差值和所述标定参数得到第二全局运动矩阵；根据所述第二全局运动矩阵对所述第一视频信息进行重新绘制。
14.一种视频处理系统，其特征在于，包括权利要求8至13任一项所述的视频处理装置。
CN201410115045.3A 2014-03-25 2014-03-25 一种视频处理方法、装置和系统 Active CN104954631B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410115045.3A CN104954631B (zh) 2014-03-25 2014-03-25 一种视频处理方法、装置和系统
PCT/CN2014/093127 WO2015143892A1 (en) 2014-03-25 2014-12-05 Video processing method, device and system
US14/982,959 US20160112701A1 (en) 2014-03-25 2015-12-29 Video processing method, device and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410115045.3A CN104954631B (zh) 2014-03-25 2014-03-25 一种视频处理方法、装置和系统

Publications (2)

Publication Number Publication Date
CN104954631A true CN104954631A (zh) 2015-09-30
CN104954631B CN104954631B (zh) 2018-02-27

Family

ID=54168950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410115045.3A Active CN104954631B (zh) 2014-03-25 2014-03-25 一种视频处理方法、装置和系统

Country Status (3)

Country Link
US (1) US20160112701A1 (zh)
CN (1) CN104954631B (zh)
WO (1) WO2015143892A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108007439A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 视频增稳方法、装置及无人机
CN108462838A (zh) * 2018-03-16 2018-08-28 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法、装置及便携式终端
CN109922267A (zh) * 2019-04-01 2019-06-21 珠海全志科技股份有限公司 基于陀螺仪数据的图像防抖处理方法、计算机装置及计算机可读存储介质
CN110072049A (zh) * 2019-03-26 2019-07-30 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110415186A (zh) * 2019-07-05 2019-11-05 浙江大华技术股份有限公司 一种图像去抖动的方法和设备
CN110519507A (zh) * 2019-07-23 2019-11-29 深圳岚锋创视网络科技有限公司 一种相机镜头平滑处理方法、装置及便携式终端
CN112396639A (zh) * 2019-08-19 2021-02-23 虹软科技股份有限公司 图像对齐方法
WO2022007396A1 (zh) * 2020-07-09 2022-01-13 北京迈格威科技有限公司 图像抖动校正方法、装置、计算机设备、存储介质及产品

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747144B2 (en) * 2017-03-29 2023-09-05 Agency For Science, Technology And Research Real time robust localization via visual inertial odometry
JP6910219B2 (ja) * 2017-06-27 2021-07-28 ローム株式会社 撮像装置のキャリブレーション方法
CN109960479B (zh) * 2017-12-22 2022-05-17 中科创达软件股份有限公司 一种显示设备抗眩晕的方法及装置
CN113923340B (zh) * 2020-07-09 2023-12-29 武汉Tcl集团工业研究院有限公司 一种视频处理方法、终端以及存储介质
CN112637496B (zh) * 2020-12-21 2022-05-31 维沃移动通信有限公司 图像矫正方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2091234A2 (en) * 2008-02-18 2009-08-19 Ricoh Company, Limited Image pickup apparatus
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
US20110211082A1 (en) * 2011-04-07 2011-09-01 Forssen Per-Erik System and method for video stabilization of rolling shutter cameras
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160980B2 (en) * 2011-01-11 2015-10-13 Qualcomm Incorporated Camera-based inertial sensor alignment for PND
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
US8913140B2 (en) * 2011-08-15 2014-12-16 Apple Inc. Rolling shutter reduction based on motion sensors
US8786716B2 (en) * 2011-08-15 2014-07-22 Apple Inc. Rolling shutter reduction based on motion sensors
US9071756B2 (en) * 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
US9277132B2 (en) * 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2091234A2 (en) * 2008-02-18 2009-08-19 Ricoh Company, Limited Image pickup apparatus
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
US20110211082A1 (en) * 2011-04-07 2011-09-01 Forssen Per-Erik System and method for video stabilization of rolling shutter cameras
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108007439A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 视频增稳方法、装置及无人机
CN108462838A (zh) * 2018-03-16 2018-08-28 深圳岚锋创视网络科技有限公司 一种全景视频防抖方法、装置及便携式终端
CN108462838B (zh) * 2018-03-16 2020-10-02 影石创新科技股份有限公司 一种全景视频防抖方法、装置及便携式终端
CN110072049A (zh) * 2019-03-26 2019-07-30 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN110072049B (zh) * 2019-03-26 2021-11-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109922267A (zh) * 2019-04-01 2019-06-21 珠海全志科技股份有限公司 基于陀螺仪数据的图像防抖处理方法、计算机装置及计算机可读存储介质
CN110415186A (zh) * 2019-07-05 2019-11-05 浙江大华技术股份有限公司 一种图像去抖动的方法和设备
CN110415186B (zh) * 2019-07-05 2021-07-20 浙江大华技术股份有限公司 一种图像去抖动的方法和设备
CN110519507A (zh) * 2019-07-23 2019-11-29 深圳岚锋创视网络科技有限公司 一种相机镜头平滑处理方法、装置及便携式终端
CN112396639A (zh) * 2019-08-19 2021-02-23 虹软科技股份有限公司 图像对齐方法
WO2022007396A1 (zh) * 2020-07-09 2022-01-13 北京迈格威科技有限公司 图像抖动校正方法、装置、计算机设备、存储介质及产品

Also Published As

Publication number Publication date
WO2015143892A1 (en) 2015-10-01
US20160112701A1 (en) 2016-04-21
CN104954631B (zh) 2018-02-27

Similar Documents

Publication Publication Date Title
CN104954631A (zh) 一种视频处理方法、装置和系统
CN104142862B (zh) 服务器的过载保护方法及装置
CN103345602B (zh) 一种客户端代码完整性检测方法、装置和系统
CN104133832B (zh) 盗版应用的识别方法及装置
CN103716331B (zh) 一种数值转移的方法、终端、服务器及系统
CN106357897A (zh) 跌落信息的获取方法及装置
CN104954402A (zh) 一种应用推荐方法、系统及装置
CN105363201A (zh) 提示信息的显示方法及装置
CN104980455A (zh) 一种基于云存储的多终端数据同步方法、装置和系统
CN103177217B (zh) 一种文件扫描方法、系统及客户端和服务器
CN104837042A (zh) 数字多媒体数据的编码方法和装置
CN104134043B (zh) 对内容进行隐藏、解隐藏的方法、装置及终端
CN105224556A (zh) 瀑布流界面显示方法及装置
CN105279186A (zh) 一种图像处理方法和系统
CN103945241A (zh) 一种流媒体数据的统计方法、系统及相关装置
CN103577023A (zh) 视频处理方法及终端
CN104574452A (zh) 窗体背景的生成方法及装置
CN105227598A (zh) 一种基于云存储的资源分享方法、装置和系统
CN104951637A (zh) 一种获取训练参数的方法及装置
CN103955279B (zh) 一种视角反馈方法及终端
CN105120158A (zh) 移动终端的拍摄方法及装置
CN104901992A (zh) 一种资源转移的方法和装置
CN104918130A (zh) 一种发送、播放多媒体信息的方法、装置和系统
CN106500751A (zh) 接近传感器的校准方法及移动终端
CN103310155B (zh) 一种查找病毒母体的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant