CN113473027A - 图像处理方法、电子设备和存储介质 - Google Patents

Abstract

一种图像处理方法、电子设备和存储介质，其中，通过光学防抖组件在摄像组件的每帧图像采集期间内，控制摄像组件进行补偿运动，以及在摄像组件的每帧图像采集完成后复位摄像组件。以此，使得摄像组件在每帧图像采集期间均能够进行最大量程的补偿运动，确保摄像组件采集的每帧图像均能保持稳定，得到光学防抖图像。另外，通过电子防抖组件对每帧光学防抖图像进行电子防抖处理，补偿相邻光学防抖图像的姿态跳变，得到每帧姿态保持一致的电子防抖图像，达到提高电子设备图像拍摄质量的目的。

Description

图像处理方法、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、电子设备和存储介质。

背景技术

目前，如手机、平板电脑等电子设备通常配置有摄像组件，从而为用户提供拍照功能，使得用户能够通过这些电子设备随时随地的记录身边发生的事情，看到的景物等。然而，由于用户通常手持电子设备进行拍摄，而用户手持电子设备会引入不同程度的抖动而影响电子设备拍摄的稳定性，导致拍摄得到的图像的质量较差。

发明内容

本申请实施例提供一种图像处理方法、电子设备和存储介质，能够提高电子设备的图像拍摄质量。

本申请公开的图像处理方法，应用于电子设备，所述电子设备包括摄像组件、光学防抖组件和电子防抖组件，图像处理方法可以包括：

所述光学防抖组件在所述摄像组件的每帧图像采集期间内，控制所述摄像组件进行补偿运动，以及在所述摄像组件的每帧图像采集完成后复位所述摄像组件；

所述电子防抖组件对所述摄像组件采集得到的每帧光学防抖图像进行电子防抖处理，以得到每帧光学防抖图像对应的电子防抖图像。

本申请公开的电子设备包括摄像组件、光学防抖组件和电子防抖组件，其中，

所述摄像组件用于采集图像；

所述光学防抖组件用于在所述摄像组件的每帧图像采集期间内，控制所述摄像组件进行补偿运动，以及在所述摄像组件的每帧图像采集完成后复位所述摄像组件；

所述电子防抖组件用于对所述摄像组件采集得到的每帧光学防抖图像进行电子防抖处理，以得到每帧光学防抖图像对应的电子防抖图像。

本申请公开的存储介质存储有计算机程序，该计算机程序被电子设备执行时实现本申请所提供的图像处理方法中的步骤。

本申请通过光学防抖组件在摄像组件的每帧图像采集期间内，控制摄像组件进行补偿运动，以及在摄像组件的每帧图像采集完成后复位摄像组件。以此，使得摄像组件在每帧图像采集期间均能够进行最大量程的补偿运动，确保摄像组件采集的每帧图像均能保持稳定，得到光学防抖图像。另外，通过电子防抖组件对每帧光学防抖图像进行电子防抖处理，补偿相邻光学防抖图像的姿态跳变，得到每帧姿态保持一致的电子防抖图像，达到提高电子设备图像拍摄质量的目的。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的电子设备的一硬件结构示意图。

图2为本申请实施例中摄像组件的运动量与时间的一关系示意图。

图3为本申请实施例中摄像组件的运动量与时间的另一关系示意图。

图4为本申请实施例中未进行电子防抖处理时图像姿态跳变的示例图。

图5为本申请实施例中进行电子防抖处理后的图像姿态示意图。

图6为本申请实施例中光学防抖组件和摄像组件的连接示意图。

图7为本申请实施例中光学防抖组件和应用处理器的连接示意图。

图8为本申请实施例中电子防抖组件获取第一网格数据的示意图。

图9为本申请实施例中摄像组件的运动自由度的一示意图。

图10为本申请实施例中摄像组件的运动自由度的另一示意图。

图11为本申请实施例提供的图像处理方法的流程示意图。

具体实施方式

应当说明的是，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例提供一种图像处理方法和电子设备，其中图像处理方法的执行主体可以是本申请实施例提供的电子设备。其中，电子设备的实体展现形式可以是智能手机、平板电脑、掌上电脑、笔记本电脑等配置有摄像组件而具有拍摄功能的设备。

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参照图1，示出了电子设备100的一硬件结构示意图，如图1所示，该电子设备100包括运动传感器110、摄像组件120、光学防抖组件130以及电子防抖组件140。此处对运动传感器110、摄像组件120、光学防抖组件130以及电子防抖组件140在电子设备100中的设置位置不作具体限制，可由本领域技术人员根据实际需要进行设置。另外，本领域技术人员可以理解的是，图1中示出的结构并不构成对电子设备100的限定，电子设备100可以包括比图示更多或更少的组件，或者组合某些组件，或者不同的组件布置等。

其中，运动传感器110被配置为对电子设备100的运动状态进行实时感应，相应得到用于描述电子设备100的运动状态的运动状态数据。此处对运动传感器110的类型以及数量不作具体限制，可由本领域技术人员根据实际需要进行设置。示例性地，运动传感器110可以仅感应电子设备100在单一维度的运动状态，相应得到单一维度的运动状态数据(比如，运动传感器110可以仅感应得到电子设备100的加速度)，也可以感应电子设备100在多维度的运动状态，相应得到多维度的运动状态数据(比如，运动传感器110可以感应得到电子设备100的加速度和角速度)。应当说明的是，以运动传感器110与电子设备100本体刚性连接为约束，可以将运动传感器110设置在电子设备100的任意位置。

摄像组件120被配置为采集图像，至少包括镜头1210和图像传感器1220，其中镜头1210用于将外界的光信号投射至图像传感器1220，图像传感器1220用于将镜头1210投射的光信号进行光电转换，将光信号转换为可用的电信号，得到数字化的图像。摄像组件120被使能之后，可以实时地对拍摄场景进行图像采集。拍摄场景可以理解为摄像组件120在使能后所对准的现实区域，即摄像组件120能够将光信号转换为对应图像的区域。比如，电子设备100在根据用户操作使能摄像组件120之后，若用户控制电子设备100的摄像组件120对准一包括某对象的区域，则包括该对象的区域即为摄像组件120的拍摄场景。其中，摄像组件120被配置为可相对于电子设备100运动，即摄像组件120相对于电子设备100具备一定的运动自由度(可以是镜头1210和图像传感器1220均具备运动自由度，也可以是镜头1210和图像传感器1220二者之一具备运动自由度)，以此，当电子设备100发生运动时，可驱动摄像组件120进行补偿运动，以尽可能抵消电子设备100的运动，使得摄像组件120的成像光路稳定。

应当说明的是，本实施例对摄像组件120在电子设备100的设置位置不作具体限制，可由本领域技术人员根据实际需要进行设置。以手机为例，可以在手机屏幕所在的一面设置摄像组件120，也可以在手机屏幕相对的一面设置摄像组件120，还可以同时在手机屏幕的所在面以及相对面均设置摄像组件120等。

光学防抖组件130被配置为根据电子设备100的运动对摄像组件120进行光学防抖处理。比如，当镜头1210具备在其X轴方向和Y轴方向的平移自由度时，光学防抖组件130可以根据电子设备100的运动，相应控制镜头1210在其X轴方向和Y轴方向进行补偿平移，以抵消电子设备100的运动，使得摄像组件120的成像光路稳定。应当说明的是，光学防抖组件130可以作为独立的硬件组件，也可以集成在电子设备100的已有硬件组件中。

电子防抖组件140被配置为通过电子防抖的方式对图像进行防抖，电子防抖是一种演算法运算，比如通过图像对应的运动状态数据，计算出该图像与其它图像间的运动情况，以及该图像内部的运动情况，并根据运动情况对齐图像后进行适当的裁剪、拉伸和变形等处理后，得到相对稳定的图像。应当说明的是，电子防抖组件140同样可以作为独立的硬件组件，也可以集成在电子设备100的已有硬件组件中，比如，电子防抖组件140可以集成在电子设备100的应用处理器(图1未示出)中。

应当说明的是，请参照图2，摄像组件120能够进行补偿运动的运动量程是有限的，摄像组件120每补偿运动一次，下一次可用于补偿运动的运动余量就小一些，当摄像组件120运动到自身的最大量程时，也就无法进行补偿运动了。其中，补偿运动可以通俗的理解为：当电子设备100运动时，摄像组件120按照电子设备100运动的相反方向运动，以此来抵消电子设备100的运动，从而使得摄像组件120的成像光路稳定。

本实施例为了确保摄像组件120能够有效地进行补偿运动，光学防抖组件130用于在摄像组件120的每帧图像采集期间，控制摄像组件120进行补偿运动，以及在摄像组件120每帧图像采集完成后复位摄像组件120。也即是说，光学防抖组件130在控制摄像组件120进行补偿运动时，并不是连续地控制摄像组件120进行补偿运动，而是间歇性地仅在摄像组件120的每帧图像采集期间内控制摄像组件120进行补偿运动。

请参照图3，光学防抖组件130在摄像组件120的每帧图像采集期间，控制摄像组件120进行补偿运动，在此期间，摄像组件120的运动量跟随时间增长，而在摄像组件120每帧图像采集完成后，相应复位摄像组件120，摄像组件120固定在初始位置。

比如，光学防抖组件130在摄像组件120的一帧图像采集期间，从电子设备100的运动传感器110处获取到用于描述电子设备100的运动状态的运动状态数据，根据该运动状态数据控制摄像组件120进行补偿运动，而在摄像组件120每帧图像采集完成后，复位摄像组件120，也即是将摄像组件120置于进行补偿运动前的初始位置，则摄像组件120下次进行图像采集时，摄像组件120能够满量程的进行补偿运动。

以此，由光学防抖组件130采用复位的形式控制摄像组件120在每帧图像采集期间内进行补偿运动，使得摄像组件120在每帧图像采集期间进行充分的补偿运动，并且不会随着运动累积而超出量程范围，能够确保摄像组件120采集的图像保持稳定。

根据以上相关描述可知，在摄像组件120的每帧图像采集期间内，由光学防抖组件130控制摄像组件120进行补偿运动，也即光学防抖，使得摄像组件120的成像光路稳定。相应的，本实施例将摄像组件120在每帧图像采集期间内所采集的图像记为光学防抖图像。

请参照图4，需要说明的是，虽然摄像组件120在每帧图像采集期间内进行的补偿运动使得采集得到的光学防抖图像的姿态保持稳定，但是复位摄像组件120将使得相邻光学防抖图像的姿态发生跳变，随着时间流逝，光学防抖图像的姿态跳变也将逐渐累积，最终向用户呈现出图像不稳定的结果。

因此，本实施例为避免复位摄像组件120导致的姿态跳变，使得摄像组件120采集的图像的姿态始终保持稳定，电子防抖组件140用于对摄像组件120采集得到的每帧光学防抖图像进行电子防抖处理，以得到每帧光学防抖图像对应的电子防抖图像。

其中，进一步由电子防抖组件140对摄像组件120采集得到的每帧光学防抖图像进行电子防抖处理，对每帧光学防抖图像发生的跳变进行补偿，得到每帧光学防抖图像对应的电子防抖图像。

比如，请参照图5，由电子防抖组件140对摄像组件120采集得到的每帧光学防抖图像进行电子防抖处理，避免了相邻光学防抖图像的姿态跳变，得到每帧姿态保持一致的电子防抖图像。

由上可知，本申请通过光学防抖组件在摄像组件的每帧图像采集期间内，控制摄像组件进行补偿运动，以及在摄像组件的每帧图像采集完成后复位摄像组件。以此，使得摄像组件在每帧图像采集期间均能够进行最大量程的补偿运动，确保摄像组件采集的每帧图像均能保持稳定，得到光学防抖图像。另外，通过电子防抖组件对每帧光学防抖图像进行电子防抖处理，补偿相邻光学防抖图像的姿态跳变，得到每帧姿态保持一致的电子防抖图像，达到提供电子设备图像拍摄质量的目的。

可选地，在一实施例中，光学防抖组件130用于：

通过光学防抖组件130与摄像组件120之间的第一数据接口，接收摄像组件120传输的用于指示摄像组件120每帧图像采集开始的第一指示信号；

根据第一指示信号，开始控制摄像组件120进行补偿运动；

通过第一数据接口，接收摄像组件120传输的用于指示摄像组件120每帧图像采集结束的第二指示信号；

根据第二指示信号，复位摄像组件120。

请参照图6，本实施例中，光学防抖组件130还通过其与摄像组件120之间的第一数据接口，在二者间建立有直连的数据连接。应当说明的是，此处对第一数据接口的接口类型不作限制，具体可由本领域技术人员根据实际需要进行选择。比如，可以选择GPIO(General-purpose input/output，通用输入/输出)接口作为第一数据接口。

本实施例中，摄像组件120在每帧图像采集开始时，通过其与光学防抖组件130之间的第一数据数据所建立的数据连接，向光学防抖组件130传输用于指示其每帧图像采集开始的指示信号，记为第一指示信号。比如，摄像组件120可以采用SOF(Start Of Frame，帧起始)信号作为第一指示信号。

相应的，光学防抖组件130可以通过其与摄像组件120之间的第一数据接口所建立的数据连接，接收到摄像组件120传输的用于指示摄像组件120每帧图像采集开始的第一指示信号。当接收到来自与摄像组件120的第一指示信号时，光学防抖组件130即判定摄像组件120开始进行当次的图像采集，开始控制摄像组件120进行补偿运动，使得摄像组件120在图像采集过程中的成像光路保持稳定。

此外，摄像组件120在每帧图像采集完成时，通过其与光学防抖组件130之间的第一数据数据所建立的数据连接，向光学防抖组件130传输用于指示其每帧图像采集完成的指示信号，记为第二指示信号。比如，摄像组件120可以采用EOF(End Of Frame，帧结束)信号作为第二指示信号。

相应的，光学防抖组件130可以通过其与摄像组件120之间的第一数据接口所建立的数据连接，接收到摄像组件120传输的用于指示摄像组件120每帧图像采集完成的第二指示信号。当接收到来自于摄像组件120的第二指示信号时，光学防抖组件130即判定摄像组件120完成图像采集，相应复位摄像组件120，使得摄像组件120下一次进行图像采集时仍能够进行最大量程的补偿运动。

如上，光学防抖组件130根据用于指示摄像组件120每帧图像采集开始的第一指示信号，开始控制摄像组件120进行补偿运动，以及根据用于指示摄像组件120每帧图像采集完成的第二指示信号，复位摄像组件120，从而实现在摄像组件120的每帧图像采集期间内，控制摄像组件120进行补偿运动，以及在摄像组件120每帧图像采集完成后复位摄像组件120。

可选地，在一实施例中，请参照7，电子设备100还包括应用处理器150，光学防抖组件130用于：

通过光学防抖组件130与应用处理器150之间的第二数据接口，接收应用处理器150传输的用于指示光学防抖组件130控制摄像组件120进行补偿运动的第三指示信号，第三指示信号由应用处理器150在摄像组件120每帧曝光开始时传输；

根据第三指示信号，开始控制摄像组件120进行补偿运动；

通过第二数据接口，接收应用处理器150传输的用于指示光学防抖组件130复位摄像组件120的第四指示信号，第四指示信号由应用处理器150在摄像组件120每帧曝光结束时传输；

根据第四指示信号，复位摄像组件120。

请参照图7，本实施例中，光学防抖组件130还通过其与应用处理器150之间的第二数据接口，在二者间建立有直连的数据连接。应当说明的是，此处对第二数据接口的接口类型不作限制，具体可由本领域技术人员根据实际需要进行选择。比如，可以选择GPIO(General-purpose input/output，通用输入/输出)接口作为第二数据接口。

本实施例中，摄像组件120在每帧图像采集开始时，向应用处理器150传输用于指示摄像组件120开始图像采集的指示信号，比如，摄像组件120向应用处理器150传输SOF信号，告知应用处理器150其开始图像采集。另一方面，应用处理器150根据来自于摄像组件120的用于指示摄像组件120开始图像采集的指示信号，判定摄像组件120开始图像采集，向光学防抖组件130传输用于指示其开始控制摄像组件120进行补偿运动的指示信号，记为第三指示信号。

相应的，光学防抖组件130可以通过其与应用处理器150之间的第二数据接口所建立的数据连接，接收到应用处理器150传输的用于指示光学防抖组件130开始控制摄像组件120进行补偿运动的第三指示信号。当接收到来自于应用处理器150的第三指示信号时，光学防抖组件130即根据第三指示信号开始控制摄像组件120进行补偿运动，使得摄像组件120在图像采集过程中的成像光路保持稳定。

此外，摄像组件120在每帧图像采集完成时，向应用处理器150传输用于指示摄像组件120完成图像采集的指示信号，比如，摄像组件120向应用处理器150传输EOF信号，告知应用处理器150其完成图像采集。另一方面，应用处理器150根据来自于摄像组件120的用于指示摄像组件120完成图像采集的指示信号，判定摄像组件120完成图像采集，向光学防抖组件130传输用于指示其复位摄像组件120的指示信号，记为第四指示信号。

相应的，光学防抖组件130可以通过其与应用处理器150之间的第二数据接口所建立的数据连接，接收到应用处理器150传输的用于指示光学防抖组件130复位摄像组件120的第四指示信号。当接收到来自于应用处理器150的第四指示信号时，光学防抖组件130即根据第四指示信号复位摄像组件120，使得摄像组件120下一次进行图像采集时仍能够进行最大量程的补偿运动。

如上，光学防抖组件130根据用于指示光学防抖组件130开始控制摄像组件120进行补偿运动的第三指示信号，开始控制摄像组件120进行补偿运动，以及根据用于指示光学防抖组件130复位摄像组件120的第四指示信号，复位摄像组件120，从而实现在摄像组件120的每帧图像采集期间内，控制摄像组件120进行补偿运动，以及在摄像组件120每帧图像采集完成后复位摄像组件120。

可选地，在一实施例中，光学防抖组件130用于：

在摄像组件120的每帧图像采集期间内，获取电子设备100的运动状态数据；

通过光学防抖驱动算法获取对应运动状态数据的目标驱动数据；

根据目标驱动数据驱动摄像组件120进行补偿运动。

本实施例中，光学防抖组件130在摄像组件120的每帧图像采集期间内，从电子设备100的运动传感器110处获取该运动传感器110采集的电子设备100的运动状态数据，该运动状态数据用于描述电子设备100瞬时的运动状态。

比如，当运动传感器110具备角速度感应功能时，可以从运动传感器110处获取到其采集的电子设备100的角速度；当运动传感器110具备加速度感应功能时，可以从运动传感器110处获取到的电子设备100的加速度；当运动传感器110同时具备加速度和角速度感应功能时，可以从运动传感器110处同时获取到的电子设备100的加速度和角速度。

如上，在获取到电子设备100的运动状态数据后，光学防抖组件130进一步通过光学防抖驱动算法，根据前述运动状态数据获取摄像组件120在对应时刻的姿态(相对于电子设备100的姿态)，并将此时获取得到的姿态编码为驱动数据输出，记为目标驱动数据。比如，可以编码得到对应的霍尔数据作为目标驱动数据。

应当说明的是，本实施例对于采用的光学防抖驱动算法不做具体限制，可由本领域技术人员根据摄像组件120的硬件结构，选择与摄像组件120的运动自由度相匹配的光学防抖驱动算法。

此外，还应当说明的是，电子设备100还包括用于驱动摄像组件120运动的驱动器件，该驱动器件可以集成在摄像组件120内部。比如，摄像组件120中集成有用于驱动镜头1210运动的音圈马达，从而使得镜头1210具有一定的运动自由度，又比如，摄像组件120中集成有用于驱动镜头1210运动的音圈马达和用于驱动图像传感器1220运动的音圈马达，从而使得镜头1210和图像传感器1220均具有一定的运动自由度。

如上，本实施例在获取到对应前述运动状态数据的目标驱动数据之后，将该目标驱动数据输入驱动器件，通过该驱动器件来驱动摄像组件120进行补偿运动，即运动至前述对应时刻的姿态，以抵消电子设备100的运动，使得摄像组件120的成像光路稳定，达到光学防抖的目的。

可选地，在一实施例中，电子防抖组件140用于：

根据每帧光学防抖图像对应的目标驱动数据，获取摄像组件120相对于电子设备100的第一组件姿态值；

根据每帧光学防抖图像对应的第一组件姿态值，对每帧光学防抖图像的姿态进行还原校正，得到校正图像；

根据每帧光学防抖图像对应的运动状态数据，获取电子设备100的第一设备姿态值；

根据每帧光学防抖图像对应的第一设备姿态值，对每帧校正图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像。

本实施例提供一可选地电子防抖处理方式。

应当说明的是，本实施例预设有驱动数据和姿态值的对应关系，该对应关系用于描述一驱动数据用于驱动摄像组件120运动时，该摄像组件120运动至该驱动数据对应的姿态值所描述的姿态(相对于电子设备100的姿态)。其中，前述对应关系取决于摄像组件120的具体硬件结构，可以预先校准得到，此处对采用何种校准方式不作具体限制，可由本领域技术人员根据实际需要选取。

以下以针对一帧光学防抖图像的电子防抖处理为例进行说明。

其中，电子防抖组件140根据光学防抖图像对应的目标驱动数据，以及驱动数据和姿态值的预设对应关系，确定出对应该目标驱动数据的姿态值，并将对应该目标驱动数据的姿态值作为摄像组件120相对于电子设备100的组件姿态值，记为第一组件姿态值。然后，电子防抖组件140根据光学防抖图像对应的第一组件姿态值，对该光学防抖图像的姿态进行还原校正，得到校正图像。应当说明的是，此处对姿态的还原校正可以通俗的理解为将光学防抖图像“还原”至光学防抖组件130未控制摄像组件120进行光学防抖的姿态，也即将光学防抖图像“还原”至摄像组件120未进行补偿运动的姿态。

此外，电子防抖组件140可以在世界坐标系下，根据光学防抖图像对应的运动状态数据，获取电子设备100对应该光学防抖图像的设备姿态值，记为第一设备姿态值。其中，根据获取到的运动状态数据的类型，相应获取到该类型对应的设备姿态值。比如，当获取到的运动状态数据为电子设备100的角速度时，根据该角速度可以获取到电子设备100的设备旋转姿态值；当获取到的运动状态数据为电子设备100的加速度时，根据该加速度可以获取到电子设备100的设备位移姿态值等。将电子设备100视为一个整体，第一设备姿态值描述的即为这个整体在世界坐标系下的姿态，而摄像组件120具备一定的运动自由度，通过控制其进行补偿运动，将使得摄像组件120相对于电子设备100整体产生相对运动，第一组件姿态值反映的即是摄像组件120相对于电子设备100的姿态。

在完成对光学防抖图像的还原校正，且获取到光学防抖图像对应的第一设备姿态值后，电子防抖组件140以还原校正得到的校正图像为基础，根据第一设备姿态值对校正图像进行电子防抖处理，得到电子防抖图像。

本领域技术人员可以理解的是，按照如上处理方式，即可实现对每帧光学防抖图像的电子防抖处理。

可选地，在一实施例中，电子防抖组件140用于：

根据每帧光学防抖图像对应的第一设备姿态值，获取用于对每帧校正图像进行仿射变换的第一网格数据；

根据每帧校正图像对应的第一网格数据，对每帧校正图像进行仿射变换，得到每帧光学防抖图像对应的电子防抖图像。

以下以针对一帧光学防抖图像的校正图像的电子防抖处理为例进行说明。

本实施例中，电子防抖组件140在进行电子防抖处理时，首先对光学防抖图像对应的第一设备姿态值进行姿态滤波，也即是姿态补偿的过程，并根据补偿后的姿态生成用于对光学防抖图像对应的校正图像进行仿射变化的网格数据，记为第一网格数据，如图8所示。

如上，在获取到第一网格数据之后，电子防抖组件140进一步根据第一网格数据对光学防抖图像对应的校正图像进行仿射变换。其中，根据第一网格数据对校正图像进行仿射变换是一个根据第一网格数据做像素插值的运算过程，相较于仿射变换前的校正图像，仿射变换后的校正图像的姿态发生了变化(比如旋转和/或位移等)，以此来达到电子防抖的目的，相应得到电子防抖图像。

由上可知，本实施例并不是针对校正图像进行逐像素的电子防抖处理，而是使用网格进行的抽样电子防抖处理，能够有效提升电子防抖的处理效率。

本领域技术人员可以理解的是，按照如上处理方式，即可实现对每帧光学防抖图像的校正图像的电子防抖处理。

在其它实施例中，电子设备100还包括仿射变换组件，该仿射变换组件可以作为独立的硬件组件，也可以集成在电子设备100的已有硬件组件中，比如，仿射变换组件可以集成在电子设备100的应用处理器中。电子防抖组件140也可将每帧光学防抖图像的校正图像所对应的第一网格数据传输至仿射变换组件，使得仿射变换组件根据每帧校正图像对应的第一网格数据，对每帧校正图像进行仿射变换，得到每帧光学防抖图像对应的电子防抖图像。

可选地，在一实施例中，电子防抖组件140用于：

根据每帧光学防抖图像对应的目标驱动数据，获取摄像组件120相对于电子设备100的第二组件姿态值；

根据每帧光学防抖图像对应的运动状态数据，获取电子设备100的第二设备姿态值；

根据每帧光学防抖图像对应的第二组件姿态值和第二设备姿态值，获取每帧光学防抖图像对应的组件姿态修正值；

根据每帧光学防抖图像对应的组件姿态修正值，对每帧光学防抖图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像。

本实施例提供一可选地电子防抖处理方式。

应当说明的是，本实施例预设有驱动数据和姿态值的对应关系，该对应关系用于描述一驱动数据用于驱动摄像组件120运动时，该摄像组件120运动至该驱动数据对应的姿态值所描述的姿态(相对于电子设备100的姿态)。其中，前述对应关系取决于摄像组件120的具体硬件结构，可以预先校准得到，此处对采用何种校准方式不作具体限制，可由本领域技术人员根据实际需要选取。

以下以针对一帧光学防抖图像的电子防抖处理为例进行说明。

其中，电子防抖组件140根据光学防抖图像对应的目标驱动数据，以及驱动数据和姿态值的预设对应关系，确定出对应该目标驱动数据的姿态值，并将对应该目标驱动数据的姿态值作为摄像组件120相对于电子设备100的组件姿态值，记为第二组件姿态值。

此外，电子防抖组件140可以在世界坐标系下，根据光学防抖图像对应的运动状态数据，获取电子设备100对应该光学防抖图像的设备姿态值，记为第二设备姿态值。其中，根据获取到的运动状态数据的类型，相应获取到该类型对应的设备姿态值。比如，当获取到的运动状态数据为电子设备100的角速度时，根据该角速度可以获取到电子设备100的设备旋转姿态值；当获取到的运动状态数据为电子设备100的加速度时，根据该加速度可以获取到电子设备100的设备位移姿态值等。

将电子设备100视为一个整体，第二设备姿态值描述的即为这个整体在世界坐标系下的姿态，而摄像组件120具备一定的运动自由度，通过控制其进行补偿运动，将使得摄像组件120相对于电子设备100整体产生相对运动，第二组件姿态值反映的即是摄像组件120相对于电子设备100的姿态。本实施例中，为了能够描述摄像组件120在世界坐标系下的真实姿态，进一步根据第二设备姿态值对第二组件姿态值进行修正，相应得到组件姿态修正值。

应当说明的是，根据第二设备姿态值对第二组件姿态值进行修正的过程也即是融合第二设备姿态值和第二组件姿态值的过程，也即是在原有的第二组件姿态值上叠加第二设备姿态值，从而通过得到的组件姿态修正值来描述摄像组件120在世界坐标系的真实姿态。其中，在进行姿态值的叠加时，根据姿态值的类型不同，相应叠加的方式也不相同，比如，位移姿态值通过相加的方式叠加，旋转姿态值通过相乘的方式叠加。

在获取到光学防抖图像对应的组件姿态修正值后，电子防抖组件140即可根据该组件姿态修正值对光学防抖图像进行电子防抖处理，得到对应的电子防抖图像。

本领域技术人员可以理解的是，按照如上处理方式，即可实现对每帧光学防抖图像的电子防抖处理，相应得到每帧光学防抖图像的电子防抖图像。

可选地，在一实施例中，电子设备100还包括仿射变换组件，电子防抖组件140用于：

根据每帧光学防抖图像对应的组件姿态修正值，确定用于对每帧光学防抖图像进行仿射变换的第二网格数据；

将每帧光学防抖图像对应的第二网格数据传输至仿射变换组件，使得仿射变换组件根据每帧光学防抖图像对应的第二网格数据，对每帧光学防抖图像进行仿射变换，得到每帧光学防抖图像对应的电子防抖图像。

本实施例中，电子设备100还包括仿射变换组件，该仿射变换组件可以作为独立的硬件组件，也可以集成在电子设备100的已有硬件组件中，比如，仿射变换组件可以集成在电子设备100的应用处理器中。

本实施例中，电子防抖组件140在进行电子防抖处理时，首先对光学防抖图像对应的组件姿态修正值进行姿态滤波，也即是姿态补偿的过程，并根据补偿后的姿态生成用于对光学防抖图像进行仿射变化的网格数据，记为第二网格数据。

如上，在获取到第二网格数据之后，电子防抖组件140进一步将该第二网格数据传输至仿射变换组件，由仿射变换组件根据第二网格数据，对光学防抖图像进行仿射变换。其中，根据第二网格数据对光学防抖图像进行仿射变换是一个根据第二网格数据做像素插值的运算过程，相较于仿射变换前的光学防抖图像，仿射变换后的光学防抖图像的姿态发生了变化(比如旋转和/或位移等)，以此来达到电子防抖的目的，相应得到电子防抖图像。

由上可知，本实施例并不是针对光学防抖图像进行逐像素的电子防抖处理，而是使用网格进行的抽样电子防抖处理，能够有效提升电子防抖的处理效率。

本领域技术人员可以理解的是，按照如上处理方式，即可实现对每帧光学防抖图像的电子防抖处理。

应当说明的是，在其它实施例中，电子防抖组件140也可根据每帧光学防抖图像对应的第二网格数据，对每帧光学防抖图像进行仿射变换，得到每帧光学防抖图像对应的电子防抖图像。

可选地，在一实施例中，摄像组件120包括镜头1210和图像传感器1220，图像传感器1220包括在图像传感器1220的X轴方向和Y轴方向的平移自由度以及绕图像传感器1220Z轴的旋转自由度，镜头1210包括在镜头1210X轴方向和Y轴方向的平移自由度或偏转自由度。

本实施例中，电子设备100配置的摄像组件120被配置为5维的运动自由度。

比如，请参照图9，可以包括镜头1210在其X轴和Y轴的2维平移自由度，图像传感器1220在其X轴和Y轴的2维平移自由度，以及图像传感器1220在其Z轴的1维旋转自由度。相应的，光学防抖组件130在控制摄像组件120进行补偿运动时，可以控制镜头1210在镜头1210的X轴方向和Y轴方向进行补偿平移，控制图像传感器1220在图像传感器1220的X轴方向和Y轴方向进行补偿平移，以及控制图像传感器1220绕图像传感器1220的Z轴进行补偿旋转，从而抵消电子设备100运动的影响，使得成像光路稳定，达到光学防抖的目的。其中，镜头1210可以被控制而同时在其X轴方向和Y轴方向产生实际位移，也可以被控制而仅在X轴方向和Y轴方向之一产生实际位移(比如镜头1210仅在X轴方向产生实际位移，或者仅在其Y轴方向产生实际位移)，同样的，图像传感器1220可以被控制而同时在其X轴方向和Y轴方向产生实际位移，也可以被控制而仅在其X轴方向和Y轴方向之一产生实际位移(比如图像传感器1220仅在其X轴方向产生实际位移，或者仅在其Y轴方向产生实际位移)。

又比如，请参照图10，还可以包括镜头1210在其X轴和Y轴的2维偏转自由度，图像传感器1220在其X轴和Y轴的2维平移自由度，以及图像传感器1220在其Z轴的1维旋转自由度。相应的，光学防抖组件130在控制摄像组件120进行补偿运动时，可以控制镜头1210在镜头1210的X轴方向和Y轴方向进行补偿偏转，控制图像传感器1220在图像传感器1220的X轴方向和Y轴方向进行补偿平移，以及控制图像传感器1220绕图像传感器1220的Z轴进行补偿旋转，从而抵消电子设备100运动的影响，使得成像光路稳定，达到光学防抖的目的。其中，镜头1210可以被控制而同时在其X轴方向和Y轴方向产生实际偏转，也可以被控制而仅在X轴方向和Y轴方向之一产生实际偏转(比如镜头1210仅在X轴方向产生实际偏转，或者仅在其Y轴方向产生实际偏转)，同样的，图像传感器1220可以被控制而同时在其X轴方向和Y轴方向产生实际位移，也可以被控制而仅在其X轴方向和Y轴方向之一产生实际位移(比如图像传感器1220仅在其X轴方向产生实际位移，或者仅在其Y轴方向产生实际位移)。

请参照图11，本申请还提供一种图像处理方法，如图11所示，该图像处理方法包括：，

在210中，光学防抖组件在摄像组件的每帧图像采集期间内，控制摄像组件进行补偿运动，以及在摄像组件的每帧图像采集完成后复位摄像组件；

在220中，电子防抖组件对摄像组件采集得到的每帧光学防抖图像进行电子防抖处理，以得到每帧光学防抖图像对应的电子防抖图像。

可选地，在一实施例中，光学防抖组件在摄像组件的每帧图像采集期间内，控制摄像组件进行补偿运动，以及在摄像组件的每帧图像采集完成后复位摄像组件，包括：

光学防抖组件通过其与摄像组件之间的第一数据接口，接收摄像组件传输的用于指示摄像组件每帧图像采集开始的第一指示信号；

光学防抖组件根据第一指示信号，开始控制摄像组件进行补偿运动；

光学防抖组件通过第一数据接口，接收摄像组件传输的用于指示摄像组件每帧图像采集结束的第二指示信号；

光学防抖组件根据第二指示信号，复位摄像组件。

可选地，在一实施例中，电子设备还包括应用处理器，光学防抖组件在摄像组件的每帧图像采集期间内，控制摄像组件进行补偿运动，以及在摄像组件的每帧图像采集完成后复位摄像组件，包括：

光学防抖组件通过其与应用处理器之间的第二数据接口，接收应用处理器传输的用于指示光学防抖组件控制摄像组件进行补偿运动的第三指示信号，第三指示信号由应用处理器在摄像组件每帧曝光开始时传输；

光学防抖组件根据第三指示信号，开始控制摄像组件进行补偿运动；

光学防抖组件通过第二数据接口，接收应用处理器传输的用于指示光学防抖组件复位摄像组件的第四指示信号，第四指示信号由应用处理器在摄像组件每帧曝光结束时传输；

光学防抖组件根据第四指示信号，复位摄像组件。

可选地，在一实施例中，光学防抖组件在摄像组件的每帧图像采集期间内，控制摄像组件进行补偿运动，包括：

光学防抖组件在摄像组件的每帧图像采集期间内，获取电子设备的运动状态数据；

光学防抖组件通过光学防抖驱动算法获取对应运动状态数据的目标驱动数据；

光学防抖组件根据目标驱动数据驱动摄像组件进行补偿运动。

可选地，在一实施例中，电子防抖组件对摄像组件采集得到的每帧光学防抖图像进行电子防抖处理，以得到每帧光学防抖图像对应的电子防抖图像，包括：

电子防抖组件根据每帧光学防抖图像对应的目标驱动数据，获取摄像组件相对于电子设备的第一组件姿态值；

电子防抖组件根据每帧光学防抖图像对应的第一组件姿态值，对每帧光学防抖图像的姿态进行还原校正，得到校正图像；

电子防抖组件根据每帧光学防抖图像对应的运动状态数据，获取电子设备的第一设备姿态值；

电子防抖组件根据每帧光学防抖图像对应的第一设备姿态值，对每帧校正图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像。

可选地，在一实施例中，电子防抖组件根据每帧光学防抖图像对应的第一设备姿态值，对每帧校正图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像，包括：

电子防抖组件根据每帧光学防抖图像对应的第一设备姿态值，获取用于对每帧校正图像进行仿射变换的第一网格数据；

电子防抖组件根据每帧校正图像对应的第一网格数据，对每帧校正图像进行仿射变换，得到每帧光学防抖图像对应的电子防抖图像。

可选地，在一实施例中，电子防抖组件对摄像组件曝光得到的每帧光学防抖图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像，包括：

电子防抖组件根据每帧光学防抖图像对应的目标驱动数据，获取摄像组件相对于电子设备的第二组件姿态值；

电子防抖组件根据每帧光学防抖图像对应的运动状态数据，获取电子设备的第二设备姿态值；

电子防抖组件根据每帧光学防抖图像对应的第二组件姿态值和第二设备姿态值，获取每帧光学防抖图像对应的组件姿态修正值；

电子防抖组件根据每帧光学防抖图像对应的组件姿态修正值，对每帧光学防抖图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像。

可选地，在一实施例中，电子设备还包括仿射变换组件，电子防抖组件根据每帧光学防抖图像对应的组件姿态修正值，对每帧光学防抖图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像，包括：

电子防抖组件根据每帧光学防抖图像对应的组件姿态修正值，确定用于对每帧光学防抖图像进行仿射变换的第二网格数据；

电子防抖组件将每帧光学防抖图像对应的第二网格数据传输至仿射变换组件，使得仿射变换组件根据每帧光学防抖图像对应的第二网格数据，对每帧光学防抖图像进行仿射变换，得到每帧光学防抖图像对应的电子防抖图像。

可选地，在一实施例中，摄像组件包括镜头和图像传感器，图像传感器包括在图像传感器的X轴方向和Y轴方向的平移自由度以及绕图像传感器Z轴的旋转自由度，镜头包括在镜头X轴方向和Y轴方向的平移自由度或偏转自由度。

应当说明的是，本申请实施例提供的图像处理方法与上文实施例中的电子设备属于同一构思，其具体实现过程请参照电子设备的以上相关实施例，此处不再赘述。

本申请还提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在本申请提供的电子设备上执行时，使得电子设备执行如本申请提供的图像处理方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)或者随机存取器(Random Access Memory，RAM)等。

以上对本申请实施例提供的图像处理方法、电子设备和存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括摄像组件、光学防抖组件和电子防抖组件，所述图像处理方法包括：

所述光学防抖组件在所述摄像组件的每帧图像采集期间内，控制所述摄像组件进行补偿运动，以及在所述摄像组件的每帧图像采集完成后复位所述摄像组件；

所述电子防抖组件对所述摄像组件采集得到的每帧光学防抖图像进行电子防抖处理，以得到所述每帧光学防抖图像对应的电子防抖图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述光学防抖组件在所述摄像组件的每帧图像采集期间内，控制所述摄像组件进行补偿运动，以及在所述摄像组件的每帧图像采集完成后复位所述摄像组件，包括：

所述光学防抖组件通过其与所述摄像组件之间的第一数据接口，接收所述摄像组件传输的用于指示所述摄像组件每帧图像采集开始的第一指示信号；

所述光学防抖组件根据所述第一指示信号，开始控制所述摄像组件进行补偿运动；

所述光学防抖组件通过所述第一数据接口，接收所述摄像组件传输的用于指示所述摄像组件每帧图像采集结束的第二指示信号；

所述光学防抖组件根据所述第二指示信号，复位所述摄像组件。

3.根据权利要求1所述的图像处理方法，其特征在于，所述电子设备还包括应用处理器，所述光学防抖组件在所述摄像组件的每帧图像采集期间内，控制所述摄像组件进行补偿运动，以及在所述摄像组件的每帧图像采集完成后复位所述摄像组件，包括：

所述光学防抖组件通过其与所述应用处理器之间的第二数据接口，接收所述应用处理器传输的用于指示所述光学防抖组件控制所述摄像组件进行补偿运动的第三指示信号，所述第三指示信号由所述应用处理器在所述摄像组件每帧曝光开始时传输；

所述光学防抖组件根据所述第三指示信号，开始控制所述摄像组件进行补偿运动；

所述光学防抖组件通过所述第二数据接口，接收所述应用处理器传输的用于指示所述光学防抖组件复位所述摄像组件的第四指示信号，所述第四指示信号由所述应用处理器在所述摄像组件每帧曝光结束时传输；

所述光学防抖组件根据所述第四指示信号，复位所述摄像组件。

4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述光学防抖组件在所述摄像组件的每帧图像采集期间内，控制所述摄像组件进行补偿运动，包括：

所述光学防抖组件在所述摄像组件的每帧图像采集期间内，获取所述电子设备的运动状态数据；

所述光学防抖组件通过光学防抖驱动算法获取对应所述运动状态数据的目标驱动数据；

所述光学防抖组件根据所述目标驱动数据驱动所述摄像组件进行补偿运动。

5.根据权利要求4所述的图像处理方法，其特征在于，所述电子防抖组件对所述摄像组件采集得到的每帧光学防抖图像进行电子防抖处理，以得到每帧光学防抖图像对应的电子防抖图像，包括：

所述电子防抖组件根据每帧光学防抖图像对应的所述目标驱动数据，获取所述摄像组件相对于所述电子设备的第一组件姿态值；

所述电子防抖组件根据每帧光学防抖图像对应的第一组件姿态值，对每帧光学防抖图像的姿态进行还原校正，得到校正图像；

所述电子防抖组件根据每帧光学防抖图像对应的所述运动状态数据，获取所述电子设备的第一设备姿态值；

所述电子防抖组件根据每帧光学防抖图像对应的所述第一设备姿态值，对每帧校正图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述电子防抖组件根据每帧光学防抖图像对应的第一设备姿态值，对每帧校正图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像，包括：

所述电子防抖组件根据每帧光学防抖图像对应的第一设备姿态值，获取用于对每帧校正图像进行仿射变换的第一网格数据；

所述电子防抖组件根据每帧校正图像对应的第一网格数据，对每帧校正图像进行仿射变换，得到每帧光学防抖图像对应的电子防抖图像。

7.根据权利要求4所述的图像处理方法，其特征在于，所述电子防抖组件对所述摄像组件曝光得到的每帧光学防抖图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像，包括：

所述电子防抖组件根据每帧光学防抖图像对应的目标驱动数据，获取所述摄像组件相对于所述电子设备的第二组件姿态值；

所述电子防抖组件根据每帧光学防抖图像对应的运动状态数据，获取所述电子设备的第二设备姿态值；

所述电子防抖组件根据每帧光学防抖图像对应的第二组件姿态值和第二设备姿态值，获取每帧光学防抖图像对应的组件姿态修正值；

所述电子防抖组件根据每帧光学防抖图像对应的组件姿态修正值，对每帧光学防抖图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述电子设备还包括仿射变换组件，所述电子防抖组件根据每帧光学防抖图像对应的组件姿态修正值，对每帧光学防抖图像进行电子防抖处理，得到每帧光学防抖图像对应的电子防抖图像，包括：

所述电子防抖组件根据每帧光学防抖图像对应的组件姿态修正值，确定用于对每帧光学防抖图像进行仿射变换的第二网格数据；

所述电子防抖组件将每帧光学防抖图像对应的第二网格数据传输至所述仿射变换组件，使得所述仿射变换组件根据每帧光学防抖图像对应的第二网格数据，对每帧光学防抖图像进行仿射变换，得到每帧光学防抖图像对应的电子防抖图像。

9.根据权利要求1-8任一项所述的图像处理方法，其特征在于，所述摄像组件包括镜头和图像传感器，所述图像传感器包括在所述图像传感器的X轴方向和Y轴方向的平移自由度以及绕所述图像传感器Z轴的旋转自由度，所述镜头包括在所述镜头X轴方向和Y轴方向的平移自由度或偏转自由度。

10.一种电子设备，其特征在于，所述电子设备包括摄像组件、光学防抖组件和电子防抖组件，其中，

所述摄像组件用于采集图像；

所述光学防抖组件用于在所述摄像组件的每帧图像采集期间内，控制所述摄像组件进行补偿运动，以及在所述摄像组件的每帧图像采集完成后复位所述摄像组件；

所述电子防抖组件用于对所述摄像组件采集得到的每帧光学防抖图像进行电子防抖处理，以得到每帧光学防抖图像对应的电子防抖图像。

11.一种计算机可读的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被电子设备执行时实现如权利要求1-9任一项所述图像处理方法中的步骤。

Images