CN109963081A - 视频处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种视频处理方法、装置、计算机设备和存储介质。所述方法包括：通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像帧和第一角速度数据，其中，第一角速度数据用于表示图像传感器在采集第一图像帧时的抖动程度；根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧；根据得到的目标图像帧生成视频文件。上述视频处理方法、装置、电子设备和存储介质能够提高了视频图像帧的处理效率。

Description

视频处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频处理方法、装置、电子设备、计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多领域应用到摄像头的拍摄功能，对摄像头应用场景的要求也越来越复杂。在摄像头的拍摄视频的过程中，经常会出现震动或者抖动的情况。为了保证拍摄的视频画面更具有可视化，需要过滤掉环境中的震动，即对拍摄的画面进行补偿。

发明内容

本申请实施例提供一种视频处理方法、装置、电子设备、计算机可读存储介质，可以提高视频图像帧的处理效率。

一种视频处理方法，所述方法包括：

通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像帧和第一角速度数据，其中，所述第一角速度数据用于表示所述图像传感器在采集所述第一图像帧时的抖动程度；

根据解析得到的所述第一角速度数据分别对各个所述第一图像帧进行抖动补偿，得到对应的目标图像帧；

根据得到的所述目标图像帧生成视频文件。

一种视频处理装置，应用于电子设备，所述电子设备包括图像传感器和处理器，所述图像传感器与所述处理器连接，所述装置包括：

解析模块，用于通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像帧和第一角速度数据，其中，所述第一角速度数据用于表示所述图像传感器在采集所述图像帧时的抖动程度；

抖动补偿模块，用于根据解析得到的所述第一角速度数据分别对各个所述第一图像帧进行抖动补偿，得到对应的目标图像帧；

视频文件生成模块，用于根据得到的所述目标图像帧生成视频文件。

一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述视频处理方法所述的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述视频处理方法所述的步骤。

上述视频处理方法、装置、计算机设备和存储介质，通过处理器对接收的至少两个组合数据进行解析，得到对应的第一图像帧和第一角速度数据，根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧。由于组合数据中第一图像帧和第一角速度数据是绑定的，那么解析之后的第一图像帧和第一角速度数据就是对应的，无需再将获取的第一图像帧和第一角速度数据进行匹配，提高了视频图像帧的处理效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中视频处理方法的应用环境图；

图2为一个实施例中视频处理方法的流程图；

图3为另一个实施例中视频处理方法的流程图；

图4为又一个实施例中视频处理方法的流程图；

图5为又一个实施例中视频处理方法的流程图；

图6为又一个实施例中视频处理方法的流程图；

图7为一个实施例中实现视频处理方法的硬件结构图；

图8为一个实施例中视频处理装置的结构框图；

图9为另一个实施例中视频处理装置的结构框图；

图10为一个实施例中电子设备的内部结构示意图；

图11为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中视频处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备10，电子设备10包括图像传感器102，图像传感器102采集图像帧104与获取的角速度数据绑定得到组合数据，并将组合数据发送至电子设备10中的与图像传感器102连接的处理器。

在一个实施例中，如图2所示，提供了一种视频处理方法，应用于电子设备，电子设备包括图像传感器和处理器，图像传感器与处理器连接，包括以下步骤：

步骤202，通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像帧和第一角速度数据，其中，第一角速度数据用于表示图像传感器在采集第一图像帧时的抖动程度。

处理器可以是CPU(Central Processing Unit,中央处理器)，ISP(Image SignalProcessing，图像信号处理)，MCU(Microcontroller Unit，微控制单元)等，不限于此。处理器的功能主要是解释电子设备中的指令以及处理电子设备中软件的数据。

处理器主要包括运算器(算术逻辑运算单元，ALU，Arithmetic Logic Unit)和高速缓冲存储器(Cache)及实现它们之间联系的数据(Data)、控制及状态的总线(Bus)。它与内部存储器(Memory)和输入/输出(I/O)设备合称为电子计算机三大核心部件。

图像传感器指的是利用光电器件的光电转换功能，将感光面上的光像转换为与光像成相应比例关系的电信号的一种功能器件。在本实施例中，通过图像传感器可以获取图像数据并将图像数据发送至处理器。

在一个实施例中，图像传感器可以通过MIPI(Mobile Industry ProcessorInterface，移动产业处理器接口)将图像数据发送至处理器，也可以通过网络无线接口发送至处理器，不限于此。

组合数据指的是图像帧与角速度数据进行绑定得到的数据。绑定的方式包括但不限于将第一角速度数据插入到第一图像帧中，也可以是将第一角速度数据拼接在第一图像帧的头部或者尾部。其中，图像帧指的是视频文件中的每一帧图像，根据多个图像帧可以生成视频文件，生成的视频文件可以呈现图像帧中的物体所形成的连续变化的效果。第一角速度数据指的是表示电子设备在各个角度上的变化速度的数据。可以理解的是，第一角速度数据中的角速度越大，表示图像传感器在采集第一图像帧时的抖动程度越大。

处理器接收到图像传感器发送的至少两个组合数据，获取对组合数据进行解析的解析算法，根据解析算法对组合数据进行解析，得到对应的第一图像帧和第一角速度数据。其中，对组合数据进行解析的解析算法与生成组合数据的绑定算法相对应。

步骤204，根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧。

抖动补偿指的是在拍摄过程中电子设备抖动的情况下，对第一图像帧进行处理，从而减弱电子设备抖动所造成的影响。目标图像帧指的是经过抖动补偿的第一图像帧。

每一个第一图像帧对应至少一个第一角速度数据。当第一图像帧对应一个第一角速度数据时，第一角速度数据表示图像传感器在获取第一图像帧时的抖动程度。当图像传感器是逐行获取第一图像帧中的像素值点时，第一图像帧可以对应多个第一角速度数据，每个第一角速度数据表示图像传感器在第一图像帧中不同像素点时的抖动程度。

处理器解析得到第一角速度数据后，根据第一角速度数据分别对各个第一图像帧进行抖动补偿。抖动补偿的方式可以是对第一图像帧进行剪切、平移、旋转等，不限于此。

步骤206，根据得到的目标图像帧生成视频文件。

处理器对第一图像帧进行抖动补偿得到对应的目标图像帧后，处理器可以对目标图像帧进行编码，将各个目标图像帧编码成为计算机语言0和1，并将编码后的各个目标图像帧发送至电子设备中的播放视频文件的应用程序。播放视频文件的应用程序接收到编码后的各个目标图像帧后，对各个目标图像帧进行解码，生成视频文件。

可以理解的是，音频文件、文档等媒体数据也可以应用上述方法进行编码传输，对应的应用程序接收到编码后的音频文件、文档等媒体数据后进行解码，可以生成音频文件、文档等媒体数据。

在一个实施例中，在拍摄过程中，可能因为电磁干扰等外部因素而产生噪声。因此，可以对目标图像帧进行滤波处理，减少噪声，从而提高视频文件的抗干扰性。

在本实施例中，通过处理器对接收的至少两个组合数据进行解析，得到对应的第一图像帧和第一角速度数据，根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧。由于组合数据中第一图像帧和第一角速度数据是绑定的，那么解析之后的第一图像帧和第一角速度数据就是对应的，无需再将获取的第一图像帧和第一角速度数据进行匹配，提高了视频图像帧的处理效率。

在一个实施例中，电子设备还包括陀螺仪，陀螺仪与图像传感器连接；通过处理器接收图像传感器发送的至少两个组合数据之前，还包括：控制图像传感器采集至少两个第二图像帧，同时接收陀螺仪采集的至少两个第二角速度数据；将至少两个第二图像帧分别与对应的第二角速度数据进行绑定得到至少两个组合数据，并将组合数据发送至处理器。

在传统的视频处理方法中，通过是将图像传感器和陀螺仪分别与处理器进行连接，处理器根据陀螺仪发送的角速度数据对图像传感器发送的图像帧进行抖动补偿。然而，当陀螺仪或者图像传感器出现延迟时，处理器获取的角速度数据与图像帧并不对应，根据角速度数据对图像帧进行抖动补偿，存在抖动补偿的准确性较低的问题。

陀螺仪又称为角速度传感器，通过陀螺仪可以获取角速度数据。在电子设备中还包括陀螺仪，陀螺仪可以通过SPI(Serial Peripheral Interface，串行外设接口)与图像传感器连接，图像传感器可以获取陀螺仪产生的角速度数据。

在电子设备拍摄的过程中，可以通过获取陀螺仪的开启指令，开启陀螺仪并获取电子设备的抖动数据即角速度数据。

当获取拍摄视频指令时，电子设备控制图像传感器采集至少两个第二图像帧，并同时接收陀螺仪采集的至少两个第二角速度数据。可以理解的是，第二图像帧可以与第二角速度数据一一对应，第二图像帧也可以与对应于多个第二角速度数据，即图像传感器采集第二图像帧的速率小于或等于陀螺仪采集第二角速度数据的速率。图像传感器采集第二图像帧的速率和陀螺仪采集第二角速度数据的速率可以预先进行设置。

图像传感器将采集得到的至少两个第二图像帧分别与对应的第二角速度数据进行绑定，得到至少两个组合数据并将组合数据发送至处理器。绑定的方式包括但不限于将第一角速度数据插入到第一图像帧中，也可以是将第一角速度数据拼接在第一图像帧的头部数据或者尾部数据。

在本实施例中，将图像传感器采集的至少两个第二图像帧和陀螺仪采集的至少两个第二角速度数据进行绑定，得到至少两个组合数据并将组合数据发送至处理器。处理器在解析得到第一角速度数据和第一图像帧后，可以根据第一角速度数据准确地对第一图像帧进行抖动补偿，提高抖动补偿的准确性。

在一个实施例中，将组合数据发送至处理器，包括：

步骤302，获取加密密钥。

加密密钥指的是将明文数据即组合数据转换成密文数据的参数。加密密钥可以是字符串，如字母、数字、文字等其中的一种或者多种的组合。加密密钥可以存储在图像传感器中，也可以存储在处理器中，还可以存储在电子设备中的其他存储设备中。解密密钥与加密密钥相对应，可以与加密密钥一同存储，也可以分开存储，不限于此。为了提高安全性，通常将加密密钥与解密密钥分开进行存储。

可以理解的是，加密密钥的安全性与加密密钥的长度相关，加密密钥的长度越长，则加密密钥越安全，破解加密密钥的难度更大。

步骤304，根据加密密钥将组合数据进行加密生成密文数据，并将密文数据发送至处理器。

图像传感器获取到加密密钥后，根据加密密钥对组合数据进行加密生成密文数据。在一个实施例中，可以对密文数据进行分片处理，得到至少两个密文数据片段，再将密文数据片段发送至处理器。

通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像帧和第一角速度数据，包括：

步骤306，通过处理器接收图像传感器发送的至少两个密文数据，并将每一个密文数据进行解析得到对应的第一图像帧和第一角速度数据。

处理器接收到图像传感器发送的至少两个密文数据后，获取与加密密钥对应的解密密钥，根据解密密钥将密文数据进行解密得到解密后的组合数据。获取与生成组合数据的绑定算法相对应的解析算法，根据解析算法对解密后的组合数据进行解析得到对应的第一图像帧和第一角速度数据。

在一个实施例中，当处理器接收到的是至少两个密文数据片段时，获取与分片处理算法相对应的组合算法，根据组合算法将各个密文数据片段组合生成组合后的密文数据。再获取解密密钥对密文数据进行解密得到解密后的组合数据，获取解析算法对解密后的组合数据进行解析得到对应的第一图像帧和第一角速度数据。

在本实施例中，根据获取到的加密密钥对组合数据进行加密，生成密文数据，并将密文数据发送至处理器，可以提高组合数据的的安全性。

在一个实施例中，根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧，包括：根据解析得到的第一角速度数据获取各个第一图像帧的图像偏移数据；根据图像偏移数据对第一图像帧进行抖动补偿，得到对应的目标图像帧。

图像偏移数据指的是图像传感器在采集第一图像帧时偏移的数据。图像偏移数据可以包括图像偏移的角度、方向、偏移量等数据。

处理器对组合数据进行解析得到对应的第一图像帧和第一角速度数据后，可以获取第一图像帧的图像偏移数据和第一角速度数据的转换算法，根据转换算法可以将第一角速度数据通过计算，转换成第一图像帧的图像偏移数据。

处理器根据第一图像帧的图像偏移数据对第一图像帧进行抖动补偿，可以根据图像偏移数据中的角度、方向、偏移量分别对第一图像帧进行旋转、平移、剪切等抖动补偿处理，得到对应的目标图像帧。

在本实施例中，根据解析得到的第一角速度数据获取第一图像帧的图像偏移数据，根据图像偏移数据对第一图像帧进行抖动补偿，得到对应的目标图像帧，由于组合数据中第一图像帧和第一角速度数据是绑定的，那么解析之后的第一图像帧和第一角速度数据就是对应的，无需再将获取的第一图像帧和第一角速度数据进行匹配，提高了视频图像帧的处理效率。

在一个实施例中，根据图像偏移数据对第一图像帧进行抖动补偿，得到对应的目标图像帧，包括：

步骤402，获取预先设置的参考补偿量。

参考补偿量指的是第一图像帧进行抖动补偿时参考的补偿量。参考补偿量可以包括横向参考补偿量和纵向参考补偿量，如参考补偿量100*50，可以表示横向参考补偿量100和纵向参考补偿量50。

参考补偿量可以根据处理器抖动补偿的算法精度进行设置，一般情况下，处理器抖动补偿的算法精度越高，参考补偿量可以设置得越大，则生成的各个目标图像帧之间更加连贯，生成的视频文件也更加连贯。

步骤404，根据参考补偿量和图像偏移数据计算第一图像帧在各个补偿方向对应的目标补偿量，根据目标补偿量在各个补偿方向上对第一图像帧进行抖动补偿，得到目标图像帧。

在第一图像帧中，可以以第一图像帧的中心为原点建立二维坐标系，则第一图像帧的补偿方向可以有四个，即x轴正方向、x轴负方向、y轴正方向和y轴负方向。在一个实施例中，x轴正方向和x轴负方向可以是横向的两个相反方向，y轴正方向和y轴负方向可以是纵向的两个相反方向。可以理解的是，并不限定补偿方向的数量，本实施例也可以应用其他数量的补偿方向，如两个补偿方向，7个补偿方向等，不限于此。

获取各个补偿方向对应的目标补偿量的计算公式，根据该计算公式、参考补偿量和图像偏移数据可以计算得到各个补偿方向对应的目标补偿量。如参考补偿量为横向参考补偿量100*纵向参考补偿量50，即x轴的参考补偿量100*y轴参考补偿量50，图像偏移数据为第一图像帧向x轴正方向偏移了80。则通过各个补偿方向对应的目标补偿量的计算公式，计算得到x轴正方向的目标补偿量为80，x轴负方向的目标补偿量为20，，y轴正方向和y轴负方向的目标补偿量各位25。

根据计算得到的第一图像帧的各个补偿方向上的目标补偿量，分别在对应补偿方向上对第一图像帧进行抖动补偿，得到目标图像帧。

在本实施例中，根据预先设置的参考补偿量和图像偏移数据计算第一图像帧在各个补偿方向对应的目标补偿量，对第一图像帧的各个补偿方向进行抖动补偿，可以更加精确地进行抖动补偿。

在一个实施例中，图像偏移数据包括图像偏移方向和图像偏移量；根据参考补偿量和图像偏移数据计算第一图像帧在各个补偿方向对应的目标补偿量，包括：

步骤502，当图像偏移量大于或等于参考补偿量时，将与图像偏移方向相反的补偿方向作为第一补偿方向，将参考补偿量作为第一图像帧在第一补偿方向上对应的目标补偿量。

图像偏移方向指的是图像传感器采集的图像帧偏移的方向。需要指出的是，第一图像帧的图像偏移方向与第一图像帧中的成像偏移方向相反。例如，一个第一图像帧的图像偏移方向为左，则该第一图像帧中的成像向左的相反方向即右偏移了。

可以理解的是，在视频文件中，每一个图像帧的大小都是一致的。因此，预先设置参考补偿量，对各个第一图像帧进行相同补偿量的抖动补偿。

当图像偏移量大于或等于参考补偿量时，将与图像偏移方向相反的补偿方向作为第一补偿方向，将参考补偿量作为第一图像帧在第一补偿方向上对应的目标补偿量。保证了各个目标图像帧的大小相同，并最大限度地对第一图像帧进行抖动补偿。

步骤504，当图像偏移量小于参考补偿量时，将与图像偏移方向相反的补偿方向作为第一补偿方向，与图像偏移方向相同的补偿方向作为第二补偿方向，将图像偏移量作为第一图像帧在第一补偿方向上对应的目标补偿量，将图像偏移量与参考补偿量的差值作为第一图像帧在第二补偿方向上对应的目标补偿量。

当图像偏移量小于参考补偿量时，为了保证各个目标图像帧的大小相同，可以对第一图像帧进行参考补偿量的抖动补偿。

将与图像偏移方向相反的补偿方向作为第一补偿方向，与图像偏移方向相同的补偿方向作为第二补偿方向。将图像偏移量作为第一图像帧在第一补偿方向上对应的目标补偿量，将图像偏移量与参考补偿量的差值作为第一图像帧在第二补偿方向上对应的目标补偿量。保证了各个目标图像帧的大小相同，从而保证了视频文件的正确性。

在本实施例中，当图像偏移量大于或等于参考补偿量时，将参考补偿量作为第一图像帧在第一补偿方向上对应的目标补偿量；当图像偏移量小于参考补偿量时，将图像偏移量作为第一图像帧在第一补偿方向上对应的目标补偿量，将图像偏移量与参考补偿量的差值作为第一图像帧在第二补偿方向上对应的目标补偿量，保证了目标图像帧的大小相同，并最大限度地对第一图像帧进行抖动补偿。

在一个实施例中，每一张第一图像帧对应至少两个第一角速度数据，至少两个第一角速度数据分别对应于第一图像帧中至少两个不同的图像区域；根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧，包括：获取各个第一图像帧对应的至少两个第一角速度数据，并根据至少两个第一角速度数据分别对第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧。

图像传感器采集图像帧可以逐行获取像素值，在图像传感器采集整个图像帧的像素值过程中，可以获取至少两个第一角速度数据，至少两个第一角速度数据分别对应于第一图像帧中至少两个不同的图像区域。

例如，图像传感器采集一个图像帧包含400行像素值，每40行像素值获取一个角速度数据，该图像帧分为10个不同的图像区域，每个不同的图像区域对应一个第一角速度数据。

获取各个第一图像帧对应的至少两个第一角速度数据，根据至少两个第一角速度数据分别对第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧。

例如，当第一图像帧中分为10个不同的图像区域，每个不同的图像区域对应一个第一角速度数据。通过第一图像帧中的第5个图像区域对应的角速度数据，可以知道第一图像帧中的第5个图像区域向上偏移了，则根据第一图像帧中的第5个图像区域对应的角速度数据对第一图像帧中的第5个图像区域进行抖动补偿，即向下进行抖动补偿，抖动补偿的方式包括但不限于平移、旋转、剪切等。

在本实施例中，获取各个第一图像帧对应的至少两个第一角速度数据，并根据至少两个第一角速度数据分别对第一图像帧中至少两个不同的图像区域进行抖动补偿，可以更加精确地进行抖动补偿，得到对应的目标图像帧。

在一个实施例中，获取各个第一图像帧对应的至少两个第一角速度数据，并根据至少两个第一角速度数据分别对第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧，包括：

步骤602，获取各个第一图像帧对应的至少两个第一角速度数据，并获取至少两个第一角速度数据之间的角速度差值。

第一角速度数据中包含了角速度，角速度指的是在角度这个维度中的速度。角速度越大，表示电子设备的抖动程度越大。当角速度为0时，表示电子设备未抖动。

在一个实施例中，当电子设备进行匀速转动时，获取到各个第一图像帧对应的至少两个第一角速度数据之间的角速度差值为0。当获取至少两个第一角速度数据之间的角速度差值不为0时，表示电子设备存在抖动。

步骤604，当角速度差值大于差值阈值时，根据至少两个第一角速度数据分别对第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧。

可以预先设置差值阈值，当角速度差值大于差值阈值时，表示第一图像帧中的至少两个不同图像区域的抖动较大，对第一图像帧中至少两个不同的图像区域进行抖动补偿。

根据至少两个第一角速度数据分别对第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧。

步骤606，当角速度差值小于或等于差值阈值时，从至少两个第一角速度数据中确定第一图像帧的目标角速度数据，并根据目标角速度数据对第一图像帧进行抖动补偿，得到对应的目标图像帧。

当角速度差值小于或等于差值阈值时，从至少两个第一角速度数据中确定第一图像帧的目标角速度数据。可以从至少两个第一角速度数据中随机确定一个第一角速度数据作为目标角速度点数据，也可以选择其中一个第一角速度数据作为目标角速度点数据，还可以对至少两个第一角速度数据计算平均值作为目标角速度数据，不限于此。

根据确定好的目标角速度数据对第一图像帧进行抖动补偿，得到对应的目标图像帧。

在本实施例中，获取至少两个第一角速度数据之间的角速度差值，当角速度差值大于差值阈值时，根据至少两个第一角速度数据分别对第一图像帧中至少两个不同的图像区域可以更加精确地进行抖动补偿，得到对应的目标图像帧进行抖动补偿，得到对应的目标图像帧；当角速度差值小于或等于差值阈值时，从至少两个第一角速度数据中确定第一图像帧的目标角速度数据，并根据目标角速度数据对第一图像帧更加精确地进行抖动补偿，得到对应的目标图像帧。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，图像传感器704在采集至少两个第二图像帧的同时，获取陀螺仪702采集的至少两个第二角速度数据，将至少两个第二图像帧分别与对应的第二角速度数据进行绑定得到至少两个组合数据，并将组合数据发送至处理器706。

处理器706接收图像传感器704发送的至少两个组合数据，并将每一个组合数据进行解析操作708，得到对应的第一图像帧和第一角速度数据。根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿操作710，得到对应的目标图像帧。根据得到的目标图像帧进行视频编码操作712，生成视频文714。

在一个实施例中，如图8所示，提供了一种视频处理装置800，电子设备包括图像传感器和处理器，图像传感器与处理器连接，包括：解析模块802、抖动补偿模块804和视频文件生成模块806，其中：

解析模块802，用于通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像帧和第一角速度数据，其中，第一角速度数据用于表示图像传感器在采集图像帧时的抖动程度。

抖动补偿模块804，用于根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧。

视频文件生成模块806，用于根据得到的目标图像帧生成视频文件。

上述视频处理装置，通过处理器对接收的至少两个组合数据进行解析，得到对应的第一图像帧和第一角速度数据，根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧。由于组合数据中第一图像帧和第一角速度数据是绑定的，那么解析之后的第一图像帧和第一角速度数据就是对应的，无需再将获取的第一图像帧和第一角速度数据进行匹配，提高了视频图像帧的处理效率。

在一个实施例中，如图9所示，提供了一种视频处理装置900，电子设备包括图像传感器和处理器，图像传感器与处理器连接，包括：绑定模块902、解析模块904、抖动补偿模块906和视频文件生成模块908，其中：

绑定模块902，用于控制图像传感器采集至少两个第二图像帧，同时接收陀螺仪采集的至少两个第二角速度数据；将至少两个第二图像帧分别与对应的第二角速度数据进行绑定得到至少两个组合数据，并将组合数据发送至处理器。

解析模块904，用于通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像帧和第一角速度数据，其中，第一角速度数据用于表示图像传感器在采集图像帧时的抖动程度。

抖动补偿模块906，用于根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧。

视频文件生成模块908，用于根据得到的目标图像帧生成视频文件。

上述视频处理装置，将图像传感器采集的至少两个第二图像帧和陀螺仪采集的至少两个第二角速度数据绑定得到至少两个组合数据，并将组合数据发送至处理器。通过处理器对接收的至少两个组合数据进行解析，得到对应的第一图像帧和第一角速度数据，根据解析得到的第一角速度数据分别对对应的各个第一图像帧进行抖动补偿，更加准确地对第一图像帧进行抖动补偿，提高抖动补偿的准确性得到对应的目标图像帧。由于组合数据中第一图像帧和第一角速度数据是绑定的，那么解析之后的第一图像帧和第一角速度数据就是对应的，无需再将获取的第一图像帧和第一角速度数据进行匹配，提高了视频图像帧的处理效率。

在一个实施例中，上述绑定模块902还用于获取加密密钥；根据加密密钥将组合数据进行加密生成密文数据，并将密文数据发送至处理器；通过处理器接收图像传感器发送的至少两个密文数据，并将每一个密文数据进行解析得到对应的第一图像帧和第一角速度数据。

在一个实施例中，上述抖动补偿模块906还用于根据解析得到的第一角速度数据获取各个第一图像帧的图像偏移数据；根据图像偏移数据对第一图像帧进行抖动补偿，得到对应的目标图像帧。

在一个实施例中，上述抖动补偿模块906还用于获取预先设置的参考补偿量；根据参考补偿量和图像偏移数据计算第一图像帧在各个补偿方向对应的目标补偿量，根据目标补偿量在各个补偿方向上对第一图像帧进行抖动补偿，得到目标图像帧。

在一个实施例中，上述抖动补偿模块906还用于当图像偏移量大于或等于参考补偿量时，将与图像偏移方向相反的补偿方向作为第一补偿方向，将参考补偿量作为第一图像帧在第一补偿方向上对应的目标补偿量；当图像偏移量小于参考补偿量时，将与图像偏移方向相反的补偿方向作为第一补偿方向，与图像偏移方向相同的补偿方向作为第二补偿方向，将图像偏移量作为第一图像帧在第一补偿方向上对应的目标补偿量，将图像偏移量与参考补偿量的差值作为第一图像帧在第二补偿方向上对应的目标补偿量。

在一个实施例中，上述抖动补偿模块906还用于获取各个第一图像帧对应的至少两个第一角速度数据，并根据至少两个第一角速度数据分别对第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧。

在一个实施例中，上述抖动补偿模块906还用于获取各个第一图像帧对应的至少两个第一角速度数据，并获取至少两个第一角速度数据之间的角速度差值；当角速度差值大于差值阈值时，根据至少两个第一角速度数据分别对第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧；当角速度差值小于或等于差值阈值时，从至少两个第一角速度数据中确定第一图像帧的目标角速度数据，并根据目标角速度数据对第一图像帧进行抖动补偿，得到对应的目标图像帧。

上述视频处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将视频处理装置按照需要划分为不同的模块，以完成上述视频处理装置的全部或部分功能。

图10为一个实施例中电子设备的内部结构示意图。如图10所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种视频处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的视频处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图11所示，图像处理电路包括ISP处理器1140和控制逻辑器1150。成像设备1110捕捉的图像数据首先由ISP处理器1140处理，ISP处理器1140对图像数据进行分析以捕捉可用于确定和/或成像设备1110的一个或多个控制参数的图像统计信息。成像设备1110可包括具有一个或多个透镜1112和图像传感器1114的照相机。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1140处理的一组原始图像数据。传感器1120(如陀螺仪)可基于传感器1120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1140。传感器1120接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器1114也可将原始图像数据发送给传感器1120，传感器1120可基于传感器1120接口类型把原始图像数据提供给ISP处理器1140，或者传感器1120将原始图像数据存储到图像存储器1130中。

ISP处理器1140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1140还可从图像存储器1130接收图像数据。例如，传感器1120接口将原始图像数据发送给图像存储器1130，图像存储器1130中的原始图像数据再提供给ISP处理器1140以供处理。图像存储器1130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器1114接口或来自传感器1120接口或来自图像存储器1130的原始图像数据时，ISP处理器1140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1130，以便在被显示之前进行另外的处理。ISP处理器1140从图像存储器1130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1140处理后的图像数据可输出给显示器1170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1140的输出还可发送给图像存储器1130，且显示器1170可从图像存储器1130读取图像数据。在一个实施例中，图像存储器1130可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1140的输出可发送给编码器/解码器1160，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1170设备上之前解压缩。编码器/解码器1160可由CPU或GPU或协处理器实现。

ISP处理器1140确定的统计数据可发送给控制逻辑器1150单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1112阴影校正等图像传感器1114统计信息。控制逻辑器1150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1110的控制参数及ISP处理器1140的控制参数。例如，成像设备1110的控制参数可包括传感器1120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1112阴影校正参数。

以下为运用图11中图像处理技术实现视频处理方法的步骤：通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像帧和第一角速度数据，其中，第一角速度数据用于表示图像传感器在采集第一图像帧时的抖动程度；根据解析得到的第一角速度数据分别对各个第一图像帧进行抖动补偿，得到对应的目标图像帧；根据得到的目标图像帧生成视频文件。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行视频处理方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行视频处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种视频处理方法，应用于电子设备，所述电子设备包括图像传感器和处理器，所述图像传感器与所述处理器连接，其特征在于，所述方法包括：

通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像帧和第一角速度数据，其中，所述第一角速度数据用于表示所述图像传感器在采集所述第一图像帧时的抖动程度；

根据解析得到的所述第一角速度数据分别对各个所述第一图像帧进行抖动补偿，得到对应的目标图像帧；

根据得到的所述目标图像帧生成视频文件。

2.根据权利要求1所述的方法，其特征在于，所述电子设备还包括陀螺仪，所述陀螺仪与所述图像传感器连接；

所述通过所述处理器接收所述图像传感器发送的至少两个组合数据之前，还包括：

控制所述图像传感器采集至少两个第二图像帧，同时接收所述陀螺仪采集的至少两个第二角速度数据；

将至少两个所述第二图像帧分别与对应的第二角速度数据进行绑定得到至少两个组合数据，并将所述组合数据发送至所述处理器。

3.根据权利要求2所述的方法，其特征在于，所述将所述组合数据发送至所述处理器，包括：

获取加密密钥；

根据所述加密密钥将所述组合数据进行加密生成密文数据，并将所述密文数据发送至所述处理器；

所述通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像帧和第一角速度数据，包括：

通过所述处理器接收所述图像传感器发送的至少两个密文数据，并将每一个所述密文数据进行解析得到对应的第一图像帧和第一角速度数据。

4.根据权利要求1所述的方法，其特征在于，所述根据解析得到的所述第一角速度数据分别对各个所述第一图像帧进行抖动补偿，得到对应的目标图像帧，包括：

根据解析得到的所述第一角速度数据获取各个所述第一图像帧的图像偏移数据；

根据所述图像偏移数据对所述第一图像帧进行抖动补偿，得到对应的目标图像帧。

5.根据权利要求4所述的方法，其特征在于，所述根据所述图像偏移数据对所述第一图像帧进行抖动补偿，得到对应的目标图像帧，包括：

获取预先设置的参考补偿量；

根据所述参考补偿量和所述图像偏移数据计算所述第一图像帧在各个补偿方向对应的目标补偿量，根据所述目标补偿量在各个所述补偿方向上对所述第一图像帧进行抖动补偿，得到目标图像帧。

6.根据权利要求5所述的方法，其特征在于，所述图像偏移数据包括图像偏移方向和图像偏移量；

所述根据所述参考补偿量和所述图像偏移数据计算所述第一图像帧在各个补偿方向对应的目标补偿量，包括：

当所述图像偏移量大于或等于所述参考补偿量时，将与所述图像偏移方向相反的补偿方向作为第一补偿方向，将所述参考补偿量作为所述第一图像帧在所述第一补偿方向上对应的目标补偿量；

当所述图像偏移量小于所述参考补偿量时，将与所述图像偏移方向相反的补偿方向作为第一补偿方向，与所述图像偏移方向相同的补偿方向作为第二补偿方向，将所述图像偏移量作为所述第一图像帧在所述第一补偿方向上对应的目标补偿量，将所述图像偏移量与参考补偿量的差值作为所述第一图像帧在所述第二补偿方向上对应的目标补偿量。

7.根据权利要求1-6中任一项所述的方法，其特征在于，每一张第一图像帧对应至少两个第一角速度数据，所述至少两个第一角速度数据分别对应于所述第一图像帧中至少两个不同的图像区域；

所述根据解析得到的所述第一角速度数据分别对各个所述第一图像帧进行抖动补偿，得到对应的目标图像帧，包括：

获取各个所述第一图像帧对应的至少两个第一角速度数据，并根据所述至少两个第一角速度数据分别对所述第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧。

8.根据权利要求7所述的方法，其特征在于，所述获取各个所述第一图像帧对应的至少两个第一角速度数据，并根据所述至少两个第一角速度数据分别对所述第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧，包括：

获取各个所述第一图像帧对应的至少两个第一角速度数据，并获取所述至少两个第一角速度数据之间的角速度差值；

当所述角速度差值大于差值阈值时，根据所述至少两个第一角速度数据分别对所述第一图像帧中至少两个不同的图像区域进行抖动补偿，得到对应的目标图像帧；

当所述角速度差值小于或等于所述差值阈值时，从所述至少两个第一角速度数据中确定所述第一图像帧的目标角速度数据，并根据所述目标角速度数据对所述第一图像帧进行抖动补偿，得到对应的目标图像帧。

9.一种视频处理装置，应用于电子设备，所述电子设备包括图像传感器和处理器，所述图像传感器与所述处理器连接，其特征在于，所述装置包括：

解析模块，用于通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像帧和第一角速度数据，其中，所述第一角速度数据用于表示所述图像传感器在采集所述图像帧时的抖动程度；

抖动补偿模块，用于根据解析得到的所述第一角速度数据分别对各个所述第一图像帧进行抖动补偿，得到对应的目标图像帧；

视频文件生成模块，用于根据得到的所述目标图像帧生成视频文件。

10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。