CN108347563A

CN108347563A - 视频处理方法和装置、电子设备、计算机可读存储介质

Info

Publication number: CN108347563A
Application number: CN201810125076.5A
Authority: CN
Inventors: 李小朋
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2018-02-07
Filing date: 2018-02-07
Publication date: 2018-07-31
Anticipated expiration: 2038-02-07
Also published as: CN108347563B

Abstract

本申请提供一种视频处理方法和装置、电子设备、计算机可读存储介质。所述方法包括：获取电子设备所拍摄的视频中的第一图像帧序列，所述第一图像帧序列中包含的图像帧是所述电子设备在未抖动时所获取的；对所述第一图像帧序列进行运动检测；其中，所述运动检测用于检测图像帧中是否包含运动物体；根据运动检测结果将所述视频中的第一图像帧序列进行播放。上述视频处理方法和装置、电子设备、计算机可读存储介质，可以提高视频处理的准确率。

Description

视频处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频处理方法和装置、电子设备、计算机可读存储介质。

背景技术

随着智能设备的发展，智能设备中的相机功能也越来越多，除了传统的拍照、录像等功能，还具备将视频快录慢播、慢录快播等各种功能。比如要录一个人在打篮球，就可以将上篮的动作慢慢播放，以便更真实和清晰地观看上篮动作。帧率(Frames per Second，FPS)表示视频中每秒所显示的图像帧数，帧率越高，视频播放的速度越快。例如，智能设备可以支持120FPS、240FPS、480FPS等不同帧率的视频。在拍摄视频的时候，还可以通过设置菜单选择不同的帧率进行拍摄。

发明内容

本申请实施例提供一种视频处理方法和装置、电子设备、计算机可读存储介质，可以提高视频处理的准确率。

一种视频处理方法，包括：

获取电子设备所拍摄的视频中的第一图像帧序列，所述第一图像帧序列中包含的图像帧是所述电子设备在未抖动时所获取的；

对所述第一图像帧序列进行运动检测；其中，所述运动检测用于检测图像帧中是否包含运动物体；

根据运动检测结果将所述视频中的第一图像帧序列进行播放。

一种视频处理装置，包括：

图像获取模块，用于获取电子设备所拍摄的视频中的第一图像帧序列，所述第一图像帧序列中包含的图像帧是所述电子设备在未抖动时所获取的；

运动检测模块，用于对所述第一图像帧序列进行运动检测；其中，所述运动检测用于检测图像帧中是否包含运动物体；

图像播放模块，用于根据运动检测结果将所述视频中的第一图像帧序列进行播放。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

上述视频处理方法和装置、电子设备、计算机可读存储介质，根据电子设备在未抖动时所获取的图像帧组成第一图像帧序列，对第一图像帧序列进行运动检测，并根据运动检测结果将视频中的第一图像帧序列进行播放。这样可以根据运动检测的结果对视频进行播放，从而使用户能够更清楚地对视频进行查看。同时会根据电子设备拍摄视频过程中是否产生抖动来决定是否对视频进行运动检测，若电子设备产生抖动，则可能会将产生抖动带来的图像变化误判为是图像中存在运动物体，这样检测结果是不准确的。因此只对电子设备未抖动时获取的图像帧进行运动检测，这样的检测结果是比较准确的，提高了视频处理的准确率。同时，避免电子设备在抖动状态下一直进行不必要的运动检测，从而降低电子设备的功耗。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中视频处理方法的流程图；

图2为另一个实施例中视频处理方法的流程图；

图3为又一个实施例中视频处理方法的流程图；

图4为又一个实施例中视频处理方法的流程图；

图5为一个实施例中图像帧序列的示意图；

图6为一个实施例的视频处理装置的结构框图；

图7为一个实施例中电子设备的内部结构示意图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中视频处理方法的流程图。如图1所示，该视频处理方法包括步骤102至步骤106，其中：

步骤102，获取电子设备所拍摄的视频中的第一图像帧序列，第一图像帧序列中包含的图像帧是电子设备在未抖动时所获取的。

电子设备在打开摄像头后，摄像头会每间隔一定的时长采集一次当前拍摄画面，并根据拍摄画面生成一张图像帧，这些图像帧按照顺序进行存储，形成一个连续的图像帧序列。例如，摄像头每0.2秒钟采集一次当前拍摄画面，生成一张图像帧，则可以根据采集的图像帧生成一个连续的图像帧序列。在电子设备打开摄像头之后，采集图像的过程可以分为两个阶段：预览阶段和拍摄阶段。在预览阶段时，电子设备通过摄像头采集的图像帧不会被保存，用户只能查看当前获取的图像帧；在拍摄阶段时，电子设备通过摄像头采集的图像帧会被保存，完成拍摄后，用户可以对保存的图像帧进行查看。具体地，电子设备在检测到拍摄开始指令时，进入拍摄阶段，检测到拍摄结束指令时，结束拍摄阶段，然后将拍摄阶段中获取的图像帧进行保存。例如，当电子设备打开摄像头之后，电子设备立即进入预览阶段，在预览过程中若检测到拍摄开始指令，则进入拍摄阶段。

当检测到拍摄开始指令时，电子设备进入拍摄阶段。在视频拍摄的过程中，可以实时对电子设备的抖动状态进行检测，从而判断电子设备是否产生抖动。具体地，电子设备在每获取一次图像帧时，会对应检测一次电子设备的抖动状态。然后根据检测结果生成一个状态标记，并建立状态标记与获取的图像帧的图像标识的对应关系，根据该状态标记就可以判断对应的图像帧是否为电子设备未产生抖动时所获取的图像帧。其中，状态标记用于标记电子设备在获取图像帧时的抖动状态，图像标识用于唯一标示一张图像帧。例如，图像标识可以表示为“pic_01”，状态标记可以为“抖动”或“未抖动”，电子设备在获取图像帧的过程中，通过对电子设备的抖动状态的检测来生成状态标记，并建立图像标识与状态标记的对应关系。

在对电子设备所获取的视频进行处理时，可以通过视频中每一帧图像帧的状态标记判断电子设备在获取该图像帧时所对应的抖动状态，然后获取该视频中电子设备在未抖动时所生成的图像帧，并根据所获取的图像帧组成第一图像帧序列。

步骤104，对第一图像帧序列进行运动检测；其中，运动检测用于检测图像帧中是否包含运动物体。

电子设备获取的视频中，可以包含运动物体和静态物体。只要电子设备在拍摄时保持位置或角度的不变，那么拍摄出来的视频中，运动物体的位置或形态都是在发生改变的，而静态物体的位置或形态是没有发生改变的。举例来说，假设通过固定的摄像头在交通场景下连续拍摄几帧图像，那么公路就是静止不动的，公路在拍摄的图像中的位置和形态是固定不变的，而车辆是不停地运动的，在拍摄的图像中的位置或形态是不断变化的，也就是说公路就是静态物体，车辆就属于运动物体。

运动检测用于检测图像帧中是否包含运动物体，具体地可以通过运动检测算法来检测，运动检测算法可以但不限于是根据光流检测法、帧间差分法等算法。光流是指空间运动物体在成像平面上的像素运动的瞬时速度。光流检测法是利用图像帧序列中像素在时间域上的变化以及相邻图像帧之间的相关性，来找到上一帧图像跟当前帧图像之间存在的对应关系，从而计算出相邻图像帧之间物体的运动信息的一种方法。而帧间差分法则是利用连续图像帧之间的像素点的灰度差来判断是否存在运动物体的方法。一般来说，连续获取的图像帧进行差分后，静态物体所在像素点对应的灰度差为零，动态物体所在像素点对应的灰度差则不为零。具体地，对第一图像帧序列进行运动检测，会对第一图像帧序列中的每一帧图像帧进行运动检测，从而判断每一帧图像帧中是否都包含运动物体。

在获取图像帧序列的过程中，会检测电子设备是否产生抖动。对电子设备在未抖动时产生的图像帧序列会进行运动检测，电子设备在抖动时产生的图像帧序列不会进行运动检测。可以理解的是，运动检测可以是在电子设备生成图像帧序列的过程中进行的，也可以是在生成图像帧序列之后的任意时刻进行的，在本实施例中不进行限定。

步骤106，根据运动检测结果将视频中的第一图像帧序列进行播放。

在一个实施例中，电子设备会将拍摄的视频进行存储，以供用户进行查看。电子设备可以根据一个固定的帧率对视频进行播放，也可以采用不同的帧率对视频进行播放。帧率(Frame rate)表示在视频播放过程中用于测量图像帧显示帧数的量度，具体可以是指视频播放过程中每秒显示的图像帧的帧数，帧率的单位可以表示为FPS(Frames per Second，每秒显示帧数)。例如，常见的帧率可以为30FPS、120FPS、240FPS等，则将所拍摄的视频以30FPS进行播放时，就是指每秒钟播放30帧图像帧。视频播放的帧率越小，则视频的播放速度越慢；视频播放的帧率越大，则视频的播放速度越快。

根据运动检测结果将视频中的第一图像帧序列进行播放，具体可以是将第一图像帧序列中包含运动物体的图像帧以较小的帧率进行播放，将第一图像帧序列中不包含运动物体的图像帧以较大的帧率进行播放。这样在检测到包含运动物体的图像帧数，就可以降低播放速度，以使用户能够更清晰地看清图像帧中的运动物体。例如，拍摄百米冲刺的视频时，镜头对准百米冲刺的终点，当运动员跑到终点时，拍摄的视频中就会出现运动员，然后将运动员冲刺的图像帧以较小的帧率进行慢放，以便能够更清楚的看清冲刺过程。

上述实施例提供的视频处理方法，根据电子设备在未抖动时所获取的图像帧组成第一图像帧序列，对第一图像帧序列进行运动检测，并根据运动检测结果将视频中的第一图像帧序列进行播放。这样可以根据运动检测的结果对视频进行播放，从而使用户能够更清楚地对视频进行查看。同时会根据电子设备拍摄视频过程中是否产生抖动来决定是否对视频进行运动检测，若电子设备产生抖动，则可能会将产生抖动带来的图像变化误判为是图像中存在运动物体，这样检测结果是不准确的。因此只对电子设备未抖动时获取的图像帧进行运动检测，这样的检测结果是比较准确的，提高了视频处理的准确率。同时，避免电子设备在抖动状态下一直进行不必要的运动检测，从而降低电子设备的功耗。

图2为另一个实施例中视频处理方法的流程图。如图2所示，该视频处理方法包括步骤202至步骤214，其中：

步骤202，获取电子设备所拍摄的视频中每一帧图像帧所对应的抖动数据，根据获取的抖动数据确定电子设备在获取图像帧时的抖动状态。

在拍摄视频的过程中，电子设备每生成一帧图像帧，会对应获取一次抖动数据，从而根据获取的抖动数据确定电子设备在获取当前图像帧时的抖动状态。其中，抖动数据是用于判断电子设备抖动状态的数据，抖动状态可以包括抖动和未抖动，电子设备处于抖动时偏转角度会发生频繁地变化，未抖动时偏转角度都是固定不变的。具体地，可以通过GPS(Global Positioning System，全球定位系统)、加速度传感器、陀螺仪等中的一种或多种来获取抖动数据，从而根据获取的抖动数据判断电子设备是否产生抖动。GPS可以检测电子设备的具体位置，从而判断电子设备的位置是否发生变化。加速度传感器可以检测终端的在三个方向上的加速度，从而通过加速度判断电子设备是否抖动。终端的角度变化可以通过陀螺仪进行检测，终端中的陀螺仪在没有受到外力影响时，旋转轴的指向不会发生改变，在受到外力影响时，会通过旋转轴的变化来判断转动的角度。

具体地，可以通过陀螺仪获取电子设备所拍摄的视频中每一帧图像帧所对应的抖动数据，抖动数据与获取的图像帧是一一对应的。根据获取的抖动数据确定电子设备在获取图像帧时的抖动状态，可以是在视频拍摄的过程中进行的，也可以是在后期的视频处理过程中进行的。根据抖动数据确定电子设备在获取图像帧时的抖动状态后，可以根据抖动状态生成抖动标记，并建立抖动标记和图像标识的对应关系。这样就不用在每次对视频进行处理的时候，都去根据抖动数据来判断抖动状态，可以直接根据抖动标记来进行判断。则确定抖动状态的过程具体可以包括：

步骤302，获取连续图像帧所对应的抖动数据，判断所获取的抖动数据是否均大于抖动阈值。

可以理解的是，电子设备获取的视频中每一帧图像都有对应的抖动数据，则可以获取视频中的连续图像帧，并根据连续图像帧对应的抖动数据来判断电子设备的抖动状态。视频是由一个具有时序性的图像帧序列构成的，图像帧的排列是具有一定的顺序的。则连续图像帧就是指在视频中获取的连续不间断的图像帧。电子设备在拍摄视频的过程中，可以对每一图像帧建立一个顺序标记，通过顺序标记来对图像帧的顺序进行标记，该顺序标记可以包含在图像标识中。例如，图像帧的图像标识可以为“sim_01”，其中“01”就可以为顺序标记。假设视频中的图像帧按照顺序进行排列可以包括：“sim_01”→“sim_02”→“sim_03”→“sim_04”→“sim_05”，则“sim_02”→“sim_03”→“sim_04”就是连续图像帧，“sim_01”→“sim_02”→“sim_04”中由于缺失了“sim_03”就不是连续图像帧。

步骤304，若是，则判定电子设备在获取连续图像帧中的最后一帧图像帧时产生抖动。

获取的连续图像帧中可以包含一帧或多帧图像帧，连续图像帧中的每一帧图像帧都对应一个抖动数据。判断获取的连续图像帧对应的抖动数据是否均大于抖动阈值，若是，则判定电子设备在获取连续图像帧中的最后一帧图像帧时产生了抖动。例如，在“sim_01”→“sim_02”→“sim_03”→“sim_04”→“sim_05”序列中，可以获取连续三帧图像帧来判断电子设备的抖动状态。假设抖动阈值为0.2，则获取连续三帧图像帧“sim_01”→“sim_02”→“sim_03”，对应的抖动数据分别为0.21、0.32、0.54，由于获取的该连续三帧图像帧对应的抖动数据都大于抖动阈值，则可以判定电子设备在获取该连续三帧图像帧中的最后一帧图像帧时产生了抖动，即电子设备在获取图像帧“sim_03”时产生了抖动。

步骤306，若否，则判定电子设备在获取连续图像帧中的最后一帧图像帧时未产生抖动。

若获取的连续图像帧中的任意一帧图像帧对应的抖动数据小于抖动阈值，则判定电子设备在获取连续图像帧中的最后一帧图像帧时未产生抖动。例如，抖动阈值为0.2，获取连续三帧图像帧“sim_01”→“sim_02”→“sim_03”，对应的抖动数据分别为0.11、0.32、0.04，由于获取的该连续三帧图像帧中，“sim_01”和“sim_03”对应的抖动数据小于抖动阈值，则可以判定电子设备在获取该连续三帧图像帧中的最后一帧图像帧时未产生抖动，即电子设备在获取图像帧“sim_03”时未产生抖动。

步骤204，根据电子设备在未抖动时所获取的图像帧生成第一图像帧序列。

在一个实施例中，电子设备在产生抖动时，获取的图像帧中的像素点会产生相应的变化，这时如果对图像帧进行运动检测的话，就会将抖动产生的图像变化误判为物体运动带来的变化，造成误检。可以根据电子设备在抖动时所获取的图像帧生成第一图像帧序列，然后对第一图像帧序列中的图像帧进行运动检测，这样运动检测结果更加准确。

步骤206，对第一图像帧序列进行运动检测；其中，运动检测用于检测图像帧中是否包含运动物体。

可以理解的是，电子设备采集的图像帧是由若干个像素点构成的，这若干个像素点按照一定的规律进行排列，形成一个二维矩阵。图像的尺寸可以通过分辨率进行标识，分辨率可以通过横向和纵向上的像素点的数量进行表示，一般分辨率越高，图像越清晰；分辨率越低，图像越模糊。例如，图像的分辨率可以为320*640，表示图像的每一个横向方向上320个像素点，每一个纵向方向上有640个像素点。图像的分辨率还可以只通过横向或纵向方向上的像素点的数量进行表示。例如，图像分辨率可以通过高分辨率(High Definition，HD)进行表示，图像的高分辨率为1080P时，表示该图像在每一个纵向方向上有1080个像素点。

具体地，可以获取第一图像帧序列对应的背景图像，并将该背景图像与第一图像帧序列中的图像帧进行对比；若相同，则认为图像帧中不包含运动物体；若不同，则认为图像帧中包含运动物体。背景图像是指第一图像帧序列中背景物体所构成的图像，背景图像中的物体是不变的。背景图像可以是电子设备预先存储的，也可以是根据第一图像帧序列训练得到的。具体可以对第一图像帧序列进行高斯背景建模，得到背景图像。获取背景图像与图像帧的灰度差值，若得到的灰度差值小于差值阈值，则认为图像帧中不存在运动物体；若得到的灰度差值大于差值阈值，则认为图像帧中存在运动物体。一般该差阈值阈值取一个比较小的值，可以根据需要进行设置。

步骤208，根据运动检测结果对第一图像帧序列中的图像帧进行分类，并根据分类结果对图像帧进行播放。

根据运动检测结果对第一图像序列中的图像帧进行分类。具体可以分为包含运动物体的图像帧和不包含运动物体的图像帧，然后根据分类结果对图像帧进行播放。一般会将包含运动物体的图像帧以一个较小的帧率进行播放，不包含运动物体的图像帧以一个较大的帧率进行播放，以便于更清楚地查看图像帧中的运动物体。

在一个实施例中，步骤208之前还可以包括：检测第一图像帧序列中是否存在包含运动物体的图像帧，若是，则执行步骤208；若否，则根据第一帧率或第二帧率将第一图像帧序列进行播放。也就是说，在第一图像帧序列中存在包含运动物体的图像帧时，可以将第一图像帧序列中的图像帧进行分类播放。在第一图像帧序列中不存在包含运动物体的图像帧时，那么可以任意选择第一帧率或第二帧率对第一图像帧序列来进行播放，即可以选择对第一图像帧序列进行快播，也可以选择对第一图像帧序列进行慢播，在本实施例中不做限定。对第一图像帧序列进行分类播放的过程具体可以包括：

步骤402，获取第一图像帧序列中不包含运动物体的图像帧作为第一图像帧，获取第一图像帧序列中包含运动物体的图像帧作为第二图像帧。

根据运动检测结果将第一图像帧序列的图像帧进行分类，将不包含运动物体的图像帧作为第一图像帧，包含运动物体的图像帧作为第二图像帧。将第一图像帧和第二图像帧，进行分类播放。

步骤404，根据第一帧率将第一图像帧进行播放，并根据第二帧率将第二图像帧进行播放；其中，第一帧率大于第二帧率。

以第一帧率的播放速度将第一图像帧进行播放，以第二帧率的播放速度将第二图像帧进行播放。其中，第一帧率大于第二帧率，即实现了将包含运动物体的图像帧进行慢放的效果。例如，未检测到运动物体的图像帧以60FPS的帧率进行播放，检测到运动物体的图像帧以30FPS的帧率进行播放，以便能够清楚地查看图像帧中的运动物体。其中，第二帧率可以是预先设置好的，也可以是根据第二图像帧获取的。

具体地，获取第二图像帧中的运动物体的运动速度，根据运动速度获取对应的第二帧率，然后根据第二帧率将第二图像帧进行播放。预先建立运动速度与第二帧率的对应关系，一般运动速度越快，对应的第二帧率越小；运动速度越慢，对应的第二帧率越大。可以理解的是，第二图像帧中可能会存在多个运动物体，那么就可以分别获取各个运动物体对应的运动速度，然后根据最大的运动速度获取第二帧率。

获取运动速度可以包括：从第二图像帧中获取两帧目标图像帧，检测所获取的目标图像帧中的运动物体；获取运动物体在该目标图像帧中的位移，以及生成该目标图像帧的间隔时长；根据所获取的位移和间隔时长可以得到运动物体的运动速度。其中，位移是指运动物体在目标图像帧中的位置移动距离，可以通过运动物体在水平方向或垂直方向上移动的像素点的个数来进行表示。

在一个实施例中，视频处理方法还可以包括：获取电子设备所拍摄的视频中的第二图像帧序列，第二图像帧序列中包含的图像帧是电子设备处于抖动时所获取的；根据第一帧率将第二图像帧序列进行播放。也就是说，电子设备在抖动时所获取的图像帧并不是用户所关系的图像帧，也可以以较大的帧率进行播放，即根据第一帧率进行播放。

图5为一个实施例中图像帧序列的示意图。如图5所示，该图像帧序列中包含了四张图像帧，即图像帧502、图像帧504、图像帧506和图像帧508。这四张图像帧包含了一个处于运动过程的人物，该人物在每一帧中的位置和形态都发生了变化。则可以在播放视频的时候，将这四张图像帧以一个较小的帧率进行播放，从而实现慢播的效果。

在本申请提供的实施例中，步骤206之前还可以包括：判断第一图像帧序列中是否包含图像帧，若是，则执行步骤206；若否，则获取电子设备所拍摄的视频中的第二图像帧序列，第二图像帧序列中包含的图像帧是电子设备处于抖动时所获取的；根据第二帧率将第二图像帧序列进行播放。也就是说，若在视频拍摄过程中，电子设备全程都处于抖动，那么就可以将获取的视频全程都以第二帧率进行播放，即实现慢播的效果。可以理解的是，电子设备所拍摄的视频是一个连续的图像帧序列，在播放视频的时候，是按照图像帧序列的顺序进行播放的。也就是说，在视频播放的过程中，会按照视频中的图像帧顺序获取，然后判断当前获取的图像帧为第一图像帧序列中的图像帧，还是第二图像帧序列中的图像帧，并根据判断结果决定当前图像帧的播放帧率。

上述实施例提供的视频处理方法，根据视频中图像帧的抖动数据判断电子设备的抖动状态，根据电子设备在未抖动时所获取的图像帧组成第一图像帧序列。然后对第一图像帧序列进行运动检测，并根据运动检测结果将视频中的第一图像帧序列进行分类，并将第一图像帧序列进行分类播放。这样可以根据运动检测的结果对视频进行播放，从而使用户能够更清楚地对视频进行查看。同时会根据电子设备拍摄视频过程中是否产生抖动来决定是否对视频进行运动检测，若电子设备产生抖动，则可能会将产生抖动带来的图像变化误判为是图像中存在运动物体，这样检测结果是不准确的。因此只对电子设备未抖动时获取的图像帧进行运动检测，这样的检测结果是比较准确的，提高了视频处理的准确率。同时，避免电子设备在抖动状态下一直进行不必要的运动检测，从而降低电子设备的功耗。

应该理解的是，虽然图1至图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例的视频处理装置的结构框图。如图6所示，该视频处理装置600包括图像获取模块602、运动检测模块604和图像播放模块606。其中：

图像获取模块602，用于获取电子设备所拍摄的视频中的第一图像帧序列，所述第一图像帧序列中包含的图像帧是所述电子设备在未抖动时所获取的。

运动检测模块604，用于对所述第一图像帧序列进行运动检测；其中，所述运动检测用于检测图像帧中是否包含运动物体。

图像播放模块606，用于根据运动检测结果将所述视频中的第一图像帧序列进行播放。

上述实施例提供的视频处理装置，根据电子设备在未抖动时所获取的图像帧组成第一图像帧序列，对第一图像帧序列进行运动检测，并根据运动检测结果将视频中的第一图像帧序列进行播放。这样可以根据运动检测的结果对视频进行播放，从而使用户能够更清楚地对视频进行查看。同时会根据电子设备拍摄视频过程中是否产生抖动来决定是否对视频进行运动检测，若电子设备产生抖动，则可能会将产生抖动带来的图像变化误判为是图像中存在运动物体，这样检测结果是不准确的。因此只对电子设备未抖动时获取的图像帧进行运动检测，这样的检测结果是比较准确的，提高了视频处理的准确率。同时，避免电子设备在抖动状态下一直进行不必要的运动检测，从而降低电子设备的功耗。

在一个实施例中，图像获取模块602还用于获取电子设备所拍摄的视频中每一帧图像帧所对应抖动数据，根据获取的抖动数据确定电子设备在获取图像帧时的抖动状态；根据电子设备在未抖动时所获取的图像帧生成第一图像帧序列。

在一个实施例中，图像获取模块602还用于获取连续图像帧所对应的抖动数据，判断所获取的抖动数据是否均大于抖动阈值；若是，则判定所述电子设备在获取所述连续图像帧中的最后一帧图像帧时产生抖动；否则，判定所述电子设备在获取所述连续图像帧中的最后一帧图像帧时未产生抖动。

在一个实施例中，图像播放模块606还用于根据所述运动检测结果对所述第一图像帧序列中的图像帧进行分类，并根据分类结果对图像帧进行播放。

在一个实施例中，图像播放模块606还用于获取所述第一图像帧序列中不包含运动物体的图像帧作为第一图像帧，获取所述第一图像帧序列中包含运动物体的图像帧作为第二图像帧；根据第一帧率将所述第一图像帧进行播放，并根据第二帧率将所述第二图像帧进行播放；其中，所述第一帧率大于第二帧率。

在一个实施例中，图像播放模块606还用于预先构建运动速度与第二帧率的对应关系；获取所述第二图像帧中的运动物体的运动速度，根据所述运动速度获取对应的第二帧率。

在一个实施例中，图像播放模块606还用于获取电子设备所拍摄的视频中的第二图像帧序列，所述第二图像帧序列中包含的图像帧是所述电子设备处于抖动时所获取的；若所述第一图像帧序列中不包含图像帧，则根据第二帧率将所述第二图像帧序列进行播放。

上述视频处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将视频处理装置按照需要划分为不同的模块，以完成上述视频处理装置的全部或部分功能。

本申请实施例中提供的视频处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行视频处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行视频处理方法。

如图7所示，提供了一种电子设备的内部结构示意图。该电子设备包括通过系统总线连接的处理器、存储器和显示屏。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序、和/或指令代码等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的应用程序处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现本申请各个实施例所提供的一种视频处理方法。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。显示屏可以是触摸屏，比如为电容屏或电子屏，用于显示前台进程对应的应用的界面信息，还可以被用于检测作用于该显示屏的触摸操作，生成相应的指令，比如生成视频拍摄指令等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。如该电子设备还包括通过系统总线连接的网络接口，网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信，比如可用于同服务器进行通信。

本申请实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image SignalProcessing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理，ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器814也可将原始图像数据发送给传感器820，传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840，或者传感器820将原始图像数据存储到图像存储器830中。

ISP处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器840还可从图像存储器830接收图像数据。例如，传感器820接口将原始图像数据发送给图像存储器830，图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时，ISP处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器840的输出还可发送给图像存储器830，且显示器870可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，ISP处理器840的输出可发送给编码器/解码器860，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。

ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数及ISP处理器840的控制参数。例如，成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。

以下为运用图8中图像处理技术实现上述实施例提供的视频处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种视频处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取电子设备所拍摄的视频中的第一图像帧序列包括：

获取电子设备所拍摄的视频中每一帧图像帧所对应的抖动数据，根据获取的抖动数据确定电子设备在获取图像帧时的抖动状态；

根据电子设备在未抖动时所获取的图像帧生成第一图像帧序列。

3.根据权利要求2所述的方法，其特征在于，所述根据获取的抖动数据确定电子设备在获取图像帧时的抖动状态包括：

获取连续图像帧所对应的抖动数据，判断所获取的抖动数据是否均大于抖动阈值；

若是，则判定所述电子设备在获取所述连续图像帧中的最后一帧图像帧时产生抖动；

若否，则判定所述电子设备在获取所述连续图像帧中的最后一帧图像帧时未产生抖动。

4.根据权利要求1所述的方法，其特征在于，所述根据运动检测结果将所述视频中的第一图像帧序列进行播放包括：

根据所述运动检测结果对所述第一图像帧序列中的图像帧进行分类，并根据分类结果对图像帧进行播放。

5.根据权利要求4所述的方法，其特征在于，所述根据所述运动检测结果对所述第一图像帧序列中的图像帧进行分类，并根据分类结果对图像帧进行播放包括：

获取所述第一图像帧序列中不包含运动物体的图像帧作为第一图像帧，获取所述第一图像帧序列中包含运动物体的图像帧作为第二图像帧；

根据第一帧率将所述第一图像帧进行播放，并根据第二帧率将所述第二图像帧进行播放；其中，所述第一帧率大于第二帧率。

6.根据权利要求5所述的方法，其特征在于，预先构建运动速度与第二帧率的对应关系；则所述方法还包括：

获取所述第二图像帧中的运动物体的运动速度，根据所述运动速度获取对应的第二帧率。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

获取电子设备所拍摄的视频中的第二图像帧序列，所述第二图像帧序列中包含的图像帧是所述电子设备处于抖动时所获取的；

若所述第一图像帧序列中不包含图像帧，则根据第二帧率将所述第二图像帧序列进行播放。

8.一种视频处理装置，其特征在于，包括：

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。