CN110072049B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、电子设备、计算机可读存储介质，所述方法包括：通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像和第一角速度数据，其中，所述第一角速度数据用于表示采集所述第一图像时所述图像传感器对应的透镜的抖动程度；根据解析得到的所述第一角速度数据分别获取每一张所述第一图像的图像补偿量，其中，每一张所述第一图像在横向或纵向上的图像补偿量相等；根据所述图像补偿量对每一张所述第一图像进行抖动补偿，得到对应的目标图像。上述图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像处理的效率。

Description

图像处理方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备、计算机可读存储介质。

背景技术

摄像头在拍摄图像的时候，成像需要一定的时间。在成像期间如果摄像头产生了抖动，生成的图像就可能会产生断层、虚影等情况，导致拍摄的图像严重失真。为了解决抖动导致的图像误差，可以通过陀螺仪检测摄像头抖动情况，然后根据陀螺仪检测的抖动情况来补偿图像的抖动误差。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像处理的效率。

一种图像处理方法，应用于电子设备，所述电子设备包括图像传感器和处理器，所述图像传感器与所述处理器连接，所述方法包括：

通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像和第一角速度数据，其中，所述第一角速度数据用于表示采集所述第一图像时所述图像传感器对应的透镜的抖动程度；

根据解析得到的所述第一角速度数据分别获取每一张所述第一图像的图像补偿量，其中，每一张所述第一图像在横向或纵向上的图像补偿量相等；

根据所述图像补偿量对每一张所述第一图像进行抖动补偿，得到对应的目标图像。

一种图像处理装置，应用于电子设备，所述电子设备包括图像传感器和处理器，所述图像传感器与所述处理器连接，所述装置包括：

数据解析模块，用于通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像和第一角速度数据，其中，所述第一角速度数据用于表示采集所述第一图像时所述图像传感器对应的透镜的抖动程度；

补偿量获取模块，用于根据解析得到的所述第一角速度数据分别获取每一张所述第一图像的图像补偿量，其中，每一张所述第一图像在横向或纵向上的图像补偿量相等；

图像补偿模块，用于根据所述图像补偿量对每一张所述第一图像进行抖动补偿，得到对应的目标图像。

一种电子设备，包括存储器、处理器、图像传感器和处理器，所述图像传感器与所述处理器连接，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像和第一角速度数据，其中，所述第一角速度数据用于表示采集所述第一图像时所述图像传感器对应的透镜的抖动程度；

根据解析得到的所述第一角速度数据分别获取每一张所述第一图像的图像补偿量，其中，每一张所述第一图像在横向或纵向上的图像补偿量相等；

根据所述图像补偿量对每一张所述第一图像进行抖动补偿，得到对应的目标图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像和第一角速度数据，其中，所述第一角速度数据用于表示采集所述第一图像时所述图像传感器对应的透镜的抖动程度；

根据解析得到的所述第一角速度数据分别获取每一张所述第一图像的图像补偿量，其中，每一张所述第一图像在横向或纵向上的图像补偿量相等；

根据所述图像补偿量对每一张所述第一图像进行抖动补偿，得到对应的目标图像。

上述图像处理方法、装置、电子设备、计算机可读存储介质，处理器可以接收图像传感器发送的组合数据，并将组合数据解析得到第一图像和对应的第一角速度数据。然后根据第一角速度数据对第一图像进行抖动补偿，得到目标图像。由于组合数据中解析得到的第一图像和第一角速度数据是对应的，所以处理器再进行抖动补偿的时候可以直接将对应的第一图像和第一角速度数据进行对应的处理，无需再将一帧一帧的第一图像与第一角速度数据进行配准，从而提高了图像的处理效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用场景图；

图2为一个实施例中图像处理方法的流程示意图；

图3为另一个实施例中图像处理方法的流程示意图；

图4为一个实施例中实现图像处理方法的硬件示意图；

图5为又一个实施例中图像处理方法的流程示意图；

图6为一个实施例中图像处理装置的结构示意图；

图7为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。第一图像和第二图像两者都是图像，但其不是同一图像。

图1为一个实施例中图像处理方法的应用场景图。如图1所示，图1为一个实施例中图像处理方法的应用场景图。如图1所示，该应用场景中包括电子设备10，电子设备10上安装摄像头102。摄像头102包括透镜和图像传感器，透镜可以收集拍摄场景中的光线，通过图像传感器生成图像。电子设备10中还可以安装处理器，图像传感器与处理器连接。具体的，可以通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像和第一角速度数据；根据解析得到的第一角速度数据分别获取每一张所述第一图像的图像补偿量，其中，每一张第一图像在横向或纵向上的图像补偿量的总和相等；根据图像补偿量对每一张第一图像进行抖动补偿，得到对应的目标图像。其中，电子设备10可以但不限于是手机、电脑、平板、可穿戴设备、个人数字助理等。

图2为一个实施例中图像处理方法的流程示意图。如图2所示，该图像处理方法包括步骤202至步骤206。其中：

步骤202，通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像和第一角速度数据，其中，第一角速度数据用于表示采集第一图像时图像传感器对应的透镜的抖动程度。

在一个实施例中，当电子设备需要拍摄图像的时候，可以对图像传感器上电，上电之后的图像传感器可以将透镜采集的光线转换成电信号，从而生成图像。本实施例中的图像传感器可以但不限于是CCD(Charged Coupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等。

摄像头中可以包括透镜和图像传感器，透镜可以收集拍摄场景中的光线，并通过图像传感器将收集的光线转换成电信号，从而生成图像。如果透镜产生了抖动，那么收集的光线也会发生变化，即采集得到图像也会产生变化。陀螺仪可以检测透镜抖动时产生的角速度，即第一角速度数据可以用于表示在采集第一图像时上述图像传感器所对应的透镜的抖动程度。第一角速度数据越大，说明采集第一图像时图像传感器对应的透镜的抖动程度越大，采集的第一图像的误差就越大。

处理器可以是CPU(Central Processing Unit,中央处理器)，ISP(Image SignalProcessing，图像信号处理)，MCU(Microcontroller Unit，微控制单元)等，不限于此。图像传感器可以通过MIPI(Mobile Industry Processor Interface，移动产业处理器接口)将图像数据发送至处理器，也可以通过网络无线接口发送至处理器，不限于此。

步骤204，根据解析得到的第一角速度数据分别获取每一张第一图像的图像补偿量，其中，每一张第一图像在横向或纵向上的图像补偿量相等。

在采集图像时，如果透镜产生了抖动，就会导致透镜接收的光线产生变化，则生成的图像也就会产生相应的变化。第一角速度数据可以表示在采集第一图像时图像传感器对应的透镜的抖动程度，因此根据第一角速度数据可以确定第一图像的偏移程度，然后根据第一图像的偏移进行补偿。例如，根据第一角速度数据可以确定第一图像偏移的方向和大小等，然后根据第一图像偏移的方向和大小等对图像进行补偿。

具体的，在生成图像的时候，物体的光线以一定的角度照射到透镜，再经过透镜折射到图像传感器。当透镜产生抖动的时候，可以根据第一角速度数据判断透镜抖动的方向，然后再根据抖动的方向、相距以及相面大小等数据计算出图像的偏移量。

在一个实施例中，图像传感器发送至少两个组合数据到处理器，解析得到至少两帧第一图像。为了保证连续获取的第一图像的规格的一致性，必须保证补偿之后的第一图像的分辨率是相等的。因此，在对第一图像做抖动补偿的时候，需要保证所有第一图像在横向或纵向上的图像补偿量是相等的，这样才能保证补偿之后的所有第一图像的分辨率是相等的。

步骤206，根据图像补偿量对每一张第一图像进行抖动补偿，得到对应的目标图像。

对第一图像进行抖动补偿具体可以是对第一图像进行平移、剪切、旋转等，不限于此。例如，第一图像的偏移具体为向a方向偏移100个像素，b方向偏移50个像素，则可以将第一图像在a方向的反方向上平移100个像素，在b方向的反方向上平移50个像素。对第一图像的平移可以理解为是在平移方向的方向上做剪裁，即上述补偿可以理解为将第一图像在a方向的反方向上剪裁100个像素，在b方向的反方向上剪裁50个像素。

上述实施例提供的图像处理方法，处理器可以接收图像传感器发送的组合数据，并将组合数据解析得到第一图像和对应的第一角速度数据。然后根据第一角速度数据对第一图像进行抖动补偿，得到目标图像。由于组合数据中解析得到的第一图像和第一角速度数据是对应的，所以处理器再进行抖动补偿的时候可以直接将对应的第一图像和第一角速度数据进行对应的处理，无需再将一帧一帧的第一图像与第一角速度数据进行配准，从而提高了图像的处理效率。同时，根据第一角速度数据得到第一图像的图像补偿量，每一张第一图像在横向或纵向上的图像补偿量相等，可以保证补偿后的所有第一图像的规格是相同的，以保证连续多帧图像的一致性，以确保能够准确快速地对多帧图像进行处理。

图3为另一个实施例中图像处理方法的流程示意图。如图3所示，该图像处理方法包括步骤302至步骤312。其中：

步骤302，控制图像传感器采集至少两张第二图像，并接收陀螺仪采集的至少两个第二角速度数据。

在一个实施例中，电子设备还可以包括陀螺仪，陀螺仪和图像传感器连接。电子设备可以控制图像传感器采集至少两张第二图像，并同时接收陀螺仪采集的至少两个第二角速度数据。可以理解的是，图像传感器采集第二图像的频率和陀螺仪采集第二角速度数据的频率可以相同，也可以不同。例如，图像传感器可以以30HZ(赫兹)的频率采集第二图像，陀螺仪可以以3KHZ(千赫兹)的频率采集第二角速度数据。

步骤304，将至少两张第二图像分别与对应的第二角速度数据进行绑定得到至少两个组合数据，并将得到的至少两个组合数据发送至处理器。

陀螺仪可以将采集的第二角速度数据发送给图像传感器，图像传感器将第二图像和对应的第二角速度数据进行绑定得到组合数据。图像传感器在采集连续多张第二图像时，每一张第二图像对应的第二角速度数据不同，图像传感器会将每一张第二图像分别与对应的第二角速度数据进行绑定，每一张第二图像与对应的第二角速度数据绑定得到一个组合数据。

具体的，将第二图像和对应的第二角速度数据进行绑定，可以是将第二角速度数据放在第二图像的头部或尾部，也可以将第二角速度数据插入到第二图像中，在此不做限定。目的是将第二图像和第二角速度数据做一一对应关系，打包传输。

一般地，图像传感器采集第二图像的频率小于或等于陀螺仪采集第二角速度数据的频率。图像传感器在采集到第二图像时，会从接收到的第二角速度数据中选取第二图像对应的第二角速度数据，并将第二图像与对应的第二角速度数据进行绑定。

例如，图像传感器以20HZ的频率采集第二图像，陀螺仪以200HZ的频率采集第二角速度数据，那么图像传感器每采集一张第二图像，陀螺仪就会采集10个第二角速度数据。图像传感器可以从接收到的10个第二角速度数据中选择一个角速度数据与第二图像绑定，如将采集时刻最接近的第二角速度数据与第二图像进行绑定。

步骤306，通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像和第一角速度数据，其中，第一角速度数据用于表示采集第一图像时图像传感器对应的透镜的抖动程度。

图像传感器将绑定的至少两个组合数据发送给处理器之后，处理器可以对这至少两个组合数据进行处理。具体的，处理器可以将至少两个组合数据进行解析，每一个组合数据解析都可以得到对应的第一图像和第一角速度数据。将组合数据解析得到的第一图像与绑定之前的第二图像可以是相同的，也可以是不同的。将组合数据解析得到的第一角速度数据和绑定之前的第二角速度数据可以是相同的，也可以是不同的，在此不做限定。

图像传感器在传输第二图像之前，将第二图像与对应的第二角速度数据绑定之后再传输到处理器，处理器接收到绑定的数据之后再解析得到第一图像和第一角速度数据是对应的，处理器无需再将第一图像和第一角速度数据进行匹配，这样可以提高数据处理的效率，并避免数据配准过程出错从而导致对图像的补偿出错，提高了图像处理的准确性。

步骤308，根据第一角速度数据分别获取每一张第一图像对应的图像偏移数据。

其中，图像偏移数据就是指图像偏移的方向、大小等数据，根据第二角速度数据可以确定第二图像的图像偏移数据。在获取图像之前可以对透镜进行标定，确定第二角速度数据与图像偏移数据之间的对应关系。还可以根据其他方式确定第二角速度数据与图像偏移数据之间的对应关系，不限于此。

例如，根据若干个标定角速度数据控制透镜产生移动，然后在透镜根据每一个标定角速度数据产生移动之后，采集一张标定图像，并将采集的标定图像与一张标准图像进行比较，确定每一张标定图像的标定图像偏移数据。最后根据这若干个标定角速度数据和标定图像偏移数据建立对应关系。

确定图像偏移数据之后，就可以根据图像偏移数据确定对第二图像的补偿量。例如，第二图像在x方向上偏移100个像素，那么就可以在x方向的反方向上对第二图像补偿100个像素。

步骤310，获取参考补偿量，根据参考补偿量和图像偏移数据计算第一图像在各个补偿方向对应的图像补偿量。

图像传感器在采集连续图像时，需要保证所采集的连续图像的规格统一，即连续采集的图像一般需要有相同的大小。图像传感器输出的第二图像一般是相同的大小，因此处理器解析得到的第一图像也是同样的大小，为了保证补偿之后的第一图像是同样的大小，就必须保证对每一张第一图像的补偿量是相同的。

具体的，可以限定一个统一的补偿量，所有的第二图像都用统一的补偿量做补偿。上述参考补偿量即为限定的统一的补偿量，可以根据每一张第一图像的图像偏移数据以及参考补偿量来计算实际的图像补偿量，以保证最后得到的每一张第一图像的大小是相等的。

在一个实施例中，参考补偿量可以分别横向参考补偿量和纵向参考补偿量，根据图像偏移数据可以确定第一图像分别在横向的两个方向上的偏移量以及纵向的两个方向上的偏移量，然后根据参考补偿量将第一图像在横向或纵向上的补偿量限制在统一的规格。上述参考补偿量可以是预先设置的，也可以是根据得到的所有第一图像的图像偏移数据计算的，在此不做限定。

步骤312，根据图像补偿量在各个补偿方向上对第一图像进行抖动补偿，得到对应的目标图像。

上述补偿方向是指对第一图像进行抖动补偿的方向，例如，根据第一图像建立xoy坐标系，对第一图像的抖动补偿可以是将第一图像偏移的部分进行裁剪。那么参考图像量可以是分别在x轴方向和y轴方向上裁剪的量，补偿方向就可以是x轴正方向、x轴负方向、y轴正方向、y轴负方向，图像补偿量就可以是分别对应于x轴正方向、x轴负方向、y轴正方向或y轴负方向上的裁剪量。

图4为一个实施例中实现图像处理方法的硬件示意图。如图4所示，透镜404可以采集物体402反射的光线，通过图像传感器408生成第二图像，同时陀螺仪406会采集第二角速度数据，并将第二角速度数据发送给图像传感器408。图像传感器408可以将第二图像和第二角速度数据绑定得到组合数据，并将组合数据发送给处理器410。处理器410再将组合数据解析，得到第一图像和第一角速度数据。

上述实施例提供的图像处理方法，处理器可以接收图像传感器发送的组合数据，并将组合数据解析得到第一图像和对应的第一角速度数据。然后根据第一角速度数据对第一图像进行抖动补偿，得到目标图像。由于组合数据中解析得到的第一图像和第一角速度数据是对应的，所以处理器再进行抖动补偿的时候可以直接将对应的第一图像和第一角速度数据进行对应的处理，无需再将一帧一帧的第一图像与第一角速度数据进行配准，从而提高了图像的处理效率。同时，根据第一角速度数据得到第一图像的图像补偿量，每一张第一图像在横向或纵向上的图像补偿量相等，可以保证补偿后的所有第一图像的规格是相同的，以保证连续多帧图像的一致性，以确保能够准确快速地对多帧图像进行处理。

在本申请提供的实施例中，图像传感器在采集第二图像的时候，可以通过不同的曝光时长进行采集，这样可以不同亮度分布的第二图像。例如，图像传感器可以分别以100ms(毫秒)、200ms和300ms等三个不同的曝光时长进行曝光，分别得到对应的三张第二图像。图像传感器的曝光时长不同，在采集第二图像的过程中所接收的第二角速度数据不同。

具体的，上述采集第二图像和第二角速度数据的步骤具体可以包括：控制图像传感器获取至少两个不同的曝光时长，分别根据每一个曝光时长采集一张对应的第二图像，并接收陀螺仪分别在每一个曝光时长内采集的第二角速度数据。

在一个实施例中，图像传感器分别采用不同曝光时长采集第二图像时，不同曝光时长内接收到的第二角速度数据的数量不同。例如，100ms曝光时长内可能会接收到10个第二角速度数据，200ms的曝光时长内可能会接收到20个第二角速度数据。因此，可以根据曝光时长从第二角速度数据中选取一个角速度数据与第二图像进行绑定。则绑定的步骤可以包括：根据曝光时长从第二角速度数据中确定每一张第二图像对应的中间角速度数据，并将至少两张第二图像分别与对应的中间角速度数据进行绑定得到至少两个组合数据。

具体的，图像传感器在采集图像时，是逐个像素点进行曝光的，即第二图像中的像素点的像素值是按照顺序逐个获取的。在采集第二图像的曝光时长比较长的时候，不同像素点曝光时抖动程度不同的可能性越大。因此在曝光时长比较长的时候，就可以根据多个角速度数据将图像的不同区域分别进行抖动补偿。

在一个实施例中，上述获取中间角速度数据的步骤具体可以包括：根据每一张第二图像的曝光时长确定对应的角速度数量，并根据上述角速度数量从第二角速度数据中获取每一张第二图像对应的中间角速度数据。根据曝光时长确定角速度数量，曝光时长越长，对应的角速度数量越多，这样对图像的抖动补偿就越精确。

当第二图像对应的中间角速度数据对应有多个时，处理器根据组合数据解析得到的第一图像对应的第一角速度数据也有多个，这样就可以根据多个第一角速度数据对第一图像进行补偿。具体的，根据每一个组合数据进行解析可以得到第一图像以及角速度数量对应的第一角速度数据，然后可以将第一图像分成上述角速度数量对应的不同的图像区域，根据第一角速度数据可以对第一图像的不同的图像区域进行抖动补偿。

在一个实施例中，确定每一张第一图像对应的角速度数量，根据第一图像对应的角速度数量将第一图像划分为不同的图像区域，那么上述每一张第一图像的图像补偿量就包括每一张图像的不用图像区域所对应的区域补偿量。则对第一图像进行抖动的步骤可以包括：根据解析得到的第一角速度数据分别获取每一张第一图像的不同图像区域所对应的区域补偿量；根据上述区域补偿量分别对每一张第一图像中的不同图像区域进行抖动补偿，得到对应的目标图像。

例如，按照像素点的像素值获取顺序将第一图像分成不同的图像区域。例如，第一图像中的像素点可以表示为“pix_x_y”，x、y分别表示像素点在第一图像中的横坐标、纵坐标。按照像素值获取顺序将第一图像中的像素点进行排列的顺序如下：pix_1_1……pix_1_n……pix_m_n，其中假设m＝600，n＝300。可以将上述第一图像分成3个图像区域，则每一个图像区域包含的像素点分别为“pix_11……pix_200_n”、“pix_11……pix_400_n”、“pix_11……pix_600_n”。

在一个实施例中，图像偏移数据可以包括图像偏移方向和图像偏移量，则如图5所示，获取图像补偿量的步骤具体可以包括：

步骤502，根据各个第一图像对应的图像偏移量获取参考补偿量。

具体的，参考补偿量可以是预先设置的固定值，也可以是根据图像偏移量来确定的。例如，可以将所有第一图像对应的图像偏移量的最大值作为参考补偿量，还可以去所有第一图像对应的图像偏移量的平均值作为参考补偿量，不限于此。

步骤504，当图像偏移量大于或等于参考补偿量时，将与图像偏移方向相反的补偿方向作为第一补偿方向，将参考补偿量作为第一图像在第一补偿方向上对应的图像补偿量。

参考补偿量也可以分别横向参考补偿量和纵向参考补偿量，通过横向参考补偿量和纵向参考补偿量分别统一第一图像在横向和纵向上的图像补偿量。根据图像偏移方向可以确定第一图像偏移的方向，图像偏移方向可以包括横向偏移方向和纵向偏移方向。例如，第一图像向右偏移或向左偏移，就确定第一图像在横向产生偏移；如果第一图像向上偏移或者向下偏移，则确定第一图像在纵向产生偏移。

具体的，将横向偏移方向对应的图像偏移量与横向参考补偿量比较，将纵向偏移方向对应的图像偏移量与纵向参考补偿量比较，然后分别得到横向和纵向上的图像补偿量。例如，当横向偏移方向对应的图像偏移量大于或等于横向参考补偿量时，则将与横向偏移方向相反的补偿方向作为第一补偿方向，将横向参考补偿量作为第一图像在第一补偿方向上对应的图像补偿量。

步骤506，当图像偏移量小于参考补偿量时，将与图像偏移方向相反的补偿方向作为第一补偿方向，与图像偏移方向相同的补偿方向作为第二补偿方向，将图像偏移量作为第一图像在第一补偿方向上对应的图像补偿量，将图像偏移量与参考补偿量的差值作为第一图像在第二补偿方向上对应的图像补偿量。

当图像偏移量大于参考补偿量时，直接根据参考补偿量确定图像补偿量。当图像偏移量小于参考补偿量时，则需要根据图像偏移量和参考补偿量共同确定每一个补偿方向上的图像补偿量。这样能够保证所有第一图像的图像补偿量是相等的。

例如，限定第二图像处于xoy坐标系中，参考补偿量可以为“x轴100像素，y轴100像素”。假设图像偏移数据为“x轴正方向120像素，y轴正方向80像素”，如果第二图像在x轴正方向上剪裁120像素，就会超过参考补偿量，因此可以将第二图像在x轴方向上只剪裁100个像素。同样的，如果第二图像在y轴正方向剪裁80像素就不够参考补偿量，则可以另外将第二图像在y轴负方向剪裁20像素。这样所有第二图像补偿完就会是相同的规格。

在一个实施例中，可以将各个第一图像对应的图像偏移量中的最大值作为参考补偿量；将与图像偏移方向相反的补偿方向作为第一补偿方向，与图像偏移方向相同的补偿方向作为第二补偿方向，将图像偏移量作为第一图像在第一补偿方向上对应的图像补偿量，将图像偏移量与参考补偿量的差值作为第一图像在第二补偿方向上对应的图像补偿量。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例中图像处理装置的结构示意图。如图6所示，该图像处理装置600应用于电子设备，电子设备包括图像传感器和处理器，图像传感器与处理器连接。该图像处理装置600包括数据解析模块602、补偿量获取模块604和图像补偿模块606。其中：

数据解析模块602，用于通过处理器接收图像传感器发送的至少两个组合数据，并将每一个组合数据进行解析得到对应的第一图像和第一角速度数据，其中，第一角速度数据用于表示采集第一图像时图像传感器对应的透镜的抖动程度；

补偿量获取模块604，用于根据解析得到的第一角速度数据分别获取每一张第一图像的图像补偿量，其中，每一张第一图像在横向或纵向上的图像补偿量相等；

图像补偿模块606，用于根据图像补偿量对每一张第一图像进行抖动补偿，得到对应的目标图像。

上述实施例提供的图像处理装置，处理器可以接收图像传感器发送的组合数据，并将组合数据解析得到第一图像和对应的第一角速度数据。然后根据第一角速度数据对第一图像进行抖动补偿，得到目标图像。由于组合数据中解析得到的第一图像和第一角速度数据是对应的，所以处理器再进行抖动补偿的时候可以直接将对应的第一图像和第一角速度数据进行对应的处理，无需再将一帧一帧的第一图像与第一角速度数据进行配准，从而提高了图像的处理效率。同时，根据第一角速度数据得到第一图像的图像补偿量，每一张第一图像在横向或纵向上的图像补偿量相等，可以保证补偿后的所有第一图像的规格是相同的，以保证连续多帧图像的一致性，以确保能够准确快速地对多帧图像进行处理。

在一个实施例中，电子设备还包括陀螺仪，陀螺仪与图像传感器连接；上述图像处理装置600还可以包括数据采集模块，用于控制图像传感器采集至少两张第二图像，并接收陀螺仪采集的至少两个第二角速度数据；将至少两张第二图像分别与对应的第二角速度数据进行绑定得到至少两个组合数据，并将得到的至少两个组合数据发送至处理器。

在一个实施例中，上述数据采集模块还用于控制图像传感器获取至少两个不同的曝光时长，分别根据每一个曝光时长采集一张对应的第二图像，并接收陀螺仪分别在每一个曝光时长内采集的第二角速度数据。

在一个实施例中，上述数据采集模块还用于根据曝光时长从第二角速度数据中确定每一张第二图像对应的中间角速度数据，并将至少两张第二图像分别与对应的中间角速度数据进行绑定得到至少两个组合数据。

在一个实施例中，上述补偿量获取模块604还用于根据第一角速度数据分别获取每一张第一图像对应的图像偏移数据；获取参考补偿量，根据参考补偿量和图像偏移数据计算第一图像在各个补偿方向对应的图像补偿量；上述图像补偿模块606还用于根据图像补偿量在各个补偿方向上对第一图像进行抖动补偿，得到对应的目标图像。

在一个实施例中，图像偏移数据包括图像偏移方向和图像偏移量；上述补偿量获取模块604还用于根据各个第一图像对应的图像偏移量获取参考补偿量；当图像偏移量大于或等于参考补偿量时，将与图像偏移方向相反的补偿方向作为第一补偿方向，将参考补偿量作为第一图像在第一补偿方向上对应的图像补偿量；当图像偏移量小于参考补偿量时，将与图像偏移方向相反的补偿方向作为第一补偿方向，与图像偏移方向相同的补偿方向作为第二补偿方向，将图像偏移量作为第一图像在第一补偿方向上对应的图像补偿量，将图像偏移量与参考补偿量的差值作为第一图像在第二补偿方向上对应的图像补偿量。

在一个实施例中，上述补偿量获取模块604还用于将各个第一图像对应的图像偏移量中的最大值作为参考补偿量；将与图像偏移方向相反的补偿方向作为第一补偿方向，与图像偏移方向相同的补偿方向作为第二补偿方向，将图像偏移量作为第一图像在第一补偿方向上对应的图像补偿量，将图像偏移量与参考补偿量的差值作为第一图像在第二补偿方向上对应的图像补偿量。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图7所示，图像处理电路包括ISP处理器740和控制逻辑器750。成像设备710捕捉的图像数据首先由ISP处理器740处理，ISP处理器740对图像数据进行分析以捕捉可用于确定和/或成像设备710的一个或多个控制参数的图像统计信息。成像设备710可包括具有一个或多个透镜712和图像传感器714的照相机。图像传感器714可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器714可获取用图像传感器714的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器740处理的一组原始图像数据。传感器720(如陀螺仪)可基于传感器720接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器740。传感器720接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器714也可将原始图像数据发送给传感器720，传感器720可基于传感器720接口类型把原始图像数据提供给ISP处理器740，或者传感器720将原始图像数据存储到图像存储器730中。

ISP处理器740按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器740可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器740还可从图像存储器730接收图像数据。例如，传感器720接口将原始图像数据发送给图像存储器730，图像存储器730中的原始图像数据再提供给ISP处理器740以供处理。图像存储器730可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器714接口或来自传感器720接口或来自图像存储器730的原始图像数据时，ISP处理器740可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器730，以便在被显示之前进行另外的处理。ISP处理器740从图像存储器730接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器740处理后的图像数据可输出给显示器770，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器740的输出还可发送给图像存储器730，且显示器770可从图像存储器730读取图像数据。在一个实施例中，图像存储器730可被配置为实现一个或多个帧缓冲器。此外，ISP处理器740的输出可发送给编码器/解码器760，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器770设备上之前解压缩。编码器/解码器760可由CPU或GPU或协处理器实现。

ISP处理器740确定的统计数据可发送给控制逻辑器750单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜712阴影校正等图像传感器714统计信息。控制逻辑器750可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备710的控制参数及ISP处理器740的控制参数。例如，成像设备710的控制参数可包括传感器720控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜712控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜712阴影校正参数。

在一个实施例中，可以运用图7中图像处理技术实现上述实施例提供的图像处理方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施例提供的图像处理方法。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像处理方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，应用于电子设备，所述电子设备包括图像传感器和处理器，所述图像传感器与所述处理器连接，其特征在于，所述方法包括：

通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像和第一角速度数据，其中，所述第一角速度数据用于表示采集所述第一图像时所述图像传感器对应的透镜的抖动程度；

根据解析得到的每一个所述第一角速度数据，分别对应的获取每一张所述第一图像的图像偏移量，并根据每一张所述第一图像的图像偏移量和参考补偿量的大小关系确定对应的第一图像的图像补偿量，其中，所述图像补偿量表示横向上的剪裁量和纵向上的裁剪量；每一张所述第一图像在横向上的图像补偿量相等和在纵向上的图像补偿量相等；所述参考补偿量为各个所述第一图像对应的图像偏移量中的最大值；

根据每一张所述第一图像的图像补偿量对对应的第一图像进行抖动补偿，得到对应的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述电子设备还包括陀螺仪，所述陀螺仪与所述图像传感器连接；

所述通过所述处理器接收所述图像传感器发送的至少两个组合数据之前，还包括：

控制所述图像传感器采集至少两张第二图像，并接收所述陀螺仪采集的至少两个第二角速度数据；所述第二图像与所述第一图像相同或者不同；所述第二角速度数据和所述第一角速度数据相同或者不同；

将至少两张所述第二图像分别与对应的第二角速度数据进行绑定得到至少两个组合数据，并将得到的至少两个所述组合数据发送至所述处理器。

3.根据权利要求2所述的方法，其特征在于，所述控制所述图像传感器采集至少两张第二图像，并接收所述陀螺仪采集的至少两个第二角速度数据，包括：

控制所述图像传感器获取至少两个不同的曝光时长，分别根据每一个曝光时长采集一张对应的第二图像，并接收所述陀螺仪分别在每一个所述曝光时长内采集的第二角速度数据。

4.根据权利要求3所述的方法，其特征在于，所述将至少两张所述第二图像分别与对应的第二角速度数据进行绑定得到至少两个组合数据，包括：

根据所述曝光时长从所述第二角速度数据中确定每一张第二图像对应的中间角速度数据，并将至少两张所述第二图像分别与对应的中间角速度数据进行绑定得到至少两个组合数据。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据解析得到的每一个所述第一角速度数据，分别对应的获取每一张所述第一图像的图像偏移量，并根据每一张所述第一图像的图像偏移量和参考补偿量的大小关系确定对应的第一图像的图像补偿量，包括：

根据每一个所述第一角速度数据分别对应地获取每一张所述第一图像对应的图像偏移方向；

根据所述参考补偿量和每一张所述第一图像的图像偏移方向和图像偏移量，计算对应的第一图像在各个补偿方向对应的图像补偿量；

则，所述根据每一张所述第一图像的图像补偿量对对应的第一图像进行抖动补偿，得到对应的目标图像，包括：

根据每一张所述第一图像的图像补偿量在各个所述补偿方向上对对应的第一图像进行抖动补偿，得到对应的目标图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述参考补偿量和每一张所述第一图像的图像偏移方向和图像偏移量，计算对应的第一图像在各个补偿方向对应的图像补偿量，包括：

当所述图像偏移量等于所述参考补偿量时，将与所述图像偏移方向相反的补偿方向作为第一补偿方向，将所述参考补偿量作为所述第一图像在所述第一补偿方向上对应的图像补偿量。

7.根据权利要求6所述的方法，其特征在于，所述根据所述参考补偿量和每一张所述第一图像的图像偏移方向和图像偏移量，计算所述第一图像在各个补偿方向对应的图像补偿量，包括：

当所述图像偏移量小于所述参考补偿量时，将与所述图像偏移方向相反的补偿方向作为第一补偿方向，与所述图像偏移方向相同的补偿方向作为第二补偿方向，将所述图像偏移量作为所述第一图像在所述第一补偿方向上对应的图像补偿量，将所述图像偏移量与参考补偿量的差值作为所述第一图像在所述第二补偿方向上对应的图像补偿量。

8.一种图像处理装置，应用于电子设备，所述电子设备包括图像传感器和处理器，所述图像传感器与所述处理器连接，其特征在于，所述装置包括：

数据解析模块，用于通过所述处理器接收所述图像传感器发送的至少两个组合数据，并将每一个所述组合数据进行解析得到对应的第一图像和第一角速度数据，其中，所述第一角速度数据用于表示采集所述第一图像时所述图像传感器对应的透镜的抖动程度；

补偿量获取模块，用于根据解析得到的每一个所述第一角速度数据，分别对应地获取每一张所述第一图像的图像偏移量，并根据每一张所述第一图像的图像偏移量和参考补偿量的大小关系确定对应的第一图像的图像补偿量，其中，所述图像补偿量表示横向上的剪裁量和纵向上的裁剪量；每一张所述第一图像在横向上的图像补偿量相等和在纵向上的图像补偿量相等；所述参考补偿量为各个所述第一图像对应的图像偏移量中的最大值；

图像补偿模块，用于根据每一张所述第一图像的图像补偿量对对应的第一图像进行抖动补偿，得到对应的目标图像。

9.一种电子设备，包括存储器、图像传感器和处理器，所述图像传感器与所述处理器连接，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。

Images