CN118233758A - 图像处理方法及其装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及其装置，属于图像处理技术领域。图像处理方法由电子设备执行，图像处理方法包括：获取第一图像的第一姿态信息和第二图像的第二姿态信息；根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息；根据扰动信息修正第二姿态信息，得到第三姿态信息；对第三姿态信息进行平滑处理，得到第四姿态信息；根据第四姿态信息和第二图像得到第三图像。

Description

图像处理方法及其装置

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法及其装置。

背景技术

目前，电子设备搭载多个不同焦距的摄像头已经成为一种趋势，基于不同焦距的摄像头，在拍摄视频的过程中进行变焦操作时，通过切换不同的摄像头能够获得更好的画质效果。然而，由于不同摄像头的视角和参数不同，摄像头切换时往往会出现明显的画面抖动，拍摄画面的质量较低。

为减少摄像头切换时的画面抖动，目前传统的摄像头切换方案是同时开启多个摄像头，并实时配准当前摄像头采集的图像和预切摄像头采集的图像，通过配准得到的特征点推算并裁切当前采集的图像，以实现多摄像头的平滑切换。然而，多个摄像头同时开启增加了电子设备的功耗，且上述方案的平滑力度有限，摄像头切换的瞬间拍摄画面仍会产生显著的跳变，降低了拍摄画面的质量。

发明内容

本申请实施例的目的是提供一种图像处理方法及其装置，能够解决电子设备的摄像头在切换的瞬间拍摄画面存在显著的跳变，导致拍摄的画面质量降低的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法由电子设备执行，图像处理方法包括：获取第一图像的第一姿态信息和第二图像的第二姿态信息；根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息；根据扰动信息修正第二姿态信息，得到第三姿态信息；对第三姿态信息进行平滑处理，得到第四姿态信息；根据第四姿态信息和第二图像得到第三图像。

第二方面，本申请实施例提供了一种图像处理装置，该装置应用于电子设备，图像处理装置包括：处理单元，用于获取第一图像的第一姿态信息和第二图像的第二姿态信息；处理单元，还用于根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息；处理单元，还用于根据扰动信息修正第二姿态信息，得到第三姿态信息；处理单元，还用于对第三姿态信息进行平滑处理，得到第四姿态信息；处理单元，还用于根据第四姿态信息和第二图像得到第三图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的图像处理方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储有程序或指令，程序或指令被处理器执行时实现如第一方面的图像处理方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的图像处理方法的步骤。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的图像处理方法的步骤。

在本申请实施例提供的图像处理方法中，获取第一图像的第一姿态信息和第二图像的第二姿态信息；根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息；根据扰动信息修正第二姿态信息，得到第三姿态信息；对第三姿态信息进行平滑处理，得到第四姿态信息；根据第四姿态信息和第二图像得到第三图像。通过上述图像处理方法，在切换摄像头进行拍摄的过程中，将多个摄像头视为一个整体摄像头，同时把不同摄像头的切换视为帧间扰动，基于不同帧图像的位姿信息和扰动信息，对摄像头切换后所拍摄的画面进行处理，从而处理摄像头切换造成的帧间扰动。这样，解决了电子设备的摄像头在切换的瞬间拍摄画面存在显著的跳变，从而导致拍摄的画面质量降低的问题，实现了摄像头的平滑切换，并且，摄像头切换过程中只需同时保持单个摄像头开启，降低了电子设备的功耗。

附图说明

图1为本申请实施例提供的图像处理方法的流程示意图之一；

图2为本申请实施例提供的图像处理方法的流程示意图之二；

图3为本申请实施例提供的图像处理方法的流程示意图之三；

图4为本申请实施例提供的图像处理方法的流程示意图之四；

图5为本申请实施例提供的图像处理方法的流程示意图之五；

图6为本申请实施例提供的图像处理方法的流程示意图之六；

图7为本申请实施例提供的图像处理方法的原理图之一；

图8为本申请实施例提供的图像处理方法的原理图之二；

图9为本申请实施例提供的图像处理装置的结构框图；

图10为本申请实施例提供的电子设备的结构框图；

图11为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

如图1所示，本申请实施例提供一种图像处理方法，该方法可以包括下述S102至S110：

S102：获取第一图像的第一姿态信息和第二图像的第二姿态信息。

本申请实施例提出的图像处理方法，由电子设备执行，该电子设备具体可为智能手机、平板电脑、笔记本电脑以及智能手表等智能电子设备，在此不作具体限制。

其中，第一图像和第二图像对应电子设备的摄像模组中的不同摄像头，例如，第一图像为摄像模组中的第一摄像头拍摄的图像，第二图像为摄像模组中的第二摄像头拍摄的图像，在此不作具体限制。

进一步地，以第一图像由第一摄像头采集，第二图像由第二摄像头采集为例，第一图像为第一摄像头切换至第二摄像头过程中第一摄像头拍摄的最后一帧图像，第二图像为第一摄像头切换至第二摄像头过程中第二摄像头拍摄的第一帧图像即切换帧图像。

进一步地，上述第一姿态信息为第一图像的实时姿态信息，上述第二姿态信息为第二图像的实时姿态信息。在实际的应用过程中，上述第一姿态信息和第二姿态信息均表现为矩阵的形式。

进一步地，在本申请实施例提供的图像处理方法中，将摄像模组中的多个摄像头看作一个整体，将摄像模组的实时姿态信息作为拍摄图像的实时姿态信息。也即，上述第一姿态信息具体可为拍摄第一图像时摄像模组的实时姿态信息，上述第二姿态信息具体可为拍摄第二图像时摄像模组的实时姿态信息。

可以理解的是，电子设备抖动会造成摄像模组的实时姿态信息发生变化，也即造成拍摄图像的实时姿态信息发生变化。在此基础上，上述第一姿态信息和第二姿态信息可用于反映摄像头切换过程中电子设备自身的抖动情况，反映摄像头切换过程中拍摄图像的位姿变换情况。

S104：根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息。

其中，上述扰动信息用于反映摄像头切换过程中拍摄图像的扰动变换。

具体地，在本申请实施例提供的图像处理方法中，在切换摄像头进行拍摄的过程中，将摄像模组中的多个摄像头视为一个整体摄像头，同时把不同摄像头的切换视为帧间扰动，并基于第一图像和第二图像的实时位姿信息，对摄像头切换造成的帧间扰动进行建模，得到上述扰动信息。

S106：根据扰动信息修正第二姿态信息，得到第三姿态信息。

其中，上述第二姿态信息为第二图像的实时姿态信息，即第二姿态信息为第二图像的初始姿态信息。

可以理解的是，在摄像头切换过程中，切换摄像头后拍摄的第二图像相较于切换摄像头前拍摄的第一图像，除了存在因电子设备自身抖动而产生的位姿变换，还存在因摄像头切换造成的扰动变换。因此，在本申请实施例提供的图像处理方法中，在切换摄像头进行拍摄的过程中，基于第一图像和第二图像的实时位姿信息，确定摄像头切换过程中第一图像和第二图像之间的扰动信息，进而根据得到的扰动信息对第二图像的初始姿态信息即第二姿态信息进行修正，得到第三姿态信息，以减少摄像头切换过程中第一图像和第二图像之间的位姿变换和扰动变换。

S108：对第三姿态信息进行平滑处理，得到第四姿态信息。

其中，上述平滑处理具体可为基于卡尔曼滤波器的平滑处理方法，还可为基于深度学习的平滑处理方法，在此不作具体限制。

其中，卡尔曼滤波器是一种常见的状态估计方法，其可以通过对观测数据进行滤波来估计系统状态。而基于深度学习的平滑处理方法则可以通过神经网络来学习扰动和抖动的特征，从而实现平滑处理。

具体地，在本申请实施例提供的图像处理方法中，在对第二图像的实时姿态信息进行修正从而得到第三姿态信息之后，基于电子设备防抖算法，使用卡尔曼滤波器或者基于深度学习的方法来对第二图像的第三姿态信息进行平滑处理。这样，对摄像头切换造成的帧间扰动和电子设备的自身抖动进行建模，并基于防抖原理采用平滑处理的方式来处理上述扰动和抖动，实现了多摄像头之间的平滑切换。

在实际的应用过程中，可以采用滑动窗口的方式选取一定连续的帧即拍摄图像，如从开始拍摄的第一帧图像开始选取，选取多帧拍摄图像进行平滑处理，或者，从切换摄像头前拍摄的几帧图像开始选取，选取多帧拍摄图像进行平滑处理。其中，选取的图像帧数和滑动窗口间隔可取决于电子设备配置的缓存数和性能，选取的图像帧数越多，平滑效果越好。进一步地，对于切换摄像头前的拍摄图像如第一图像，对拍摄图像的实时姿态信息进行平滑处理，而对于切换摄像头后的拍摄图像如第二图像，对拍摄图像修正后的实时姿态信息进行平滑处理。

示例性地，如图8所示，基于电子设备防抖算法，使用卡尔曼滤波器或者基于深度学习的方法，基于摄像头切换前拍摄的第i-1帧图像和第i帧图像的实时姿态信息，对第i-1帧图像和第i帧图像进行平滑处理，以及基于摄像头切换后拍摄的第i+1帧图像和第i+2帧图像修正后的实时姿态信息，对第i+1帧图像和第i+2帧图像进行平滑处理。如图8所示，经算法平滑后的视频流可以达到多摄像头之间平滑切换且稳定的效果。

S110：根据第四姿态信息和第二图像得到第三图像。

具体地，在本申请实施例提供的图像处理方法中，在对第二图像的第三姿态信息进行平滑处理，从而得到对应的第四姿态信息之后，将得到的第四姿态信息应用于第二图像，从而得到对应的第三图像，相较于第二图像，第三图像与第一图像之间的位姿变换和扰动变换更小，实现了多摄像头之间的平滑切换，提高了摄像头切换过程中拍摄画面的质量。

本申请实施例提供的上述图像处理方法，获取第一图像的第一姿态信息和第二图像的第二姿态信息；根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息；根据扰动信息修正第二姿态信息，得到第三姿态信息；对第三姿态信息进行平滑处理，得到第四姿态信息；根据第四姿态信息和第二图像得到第三图像。通过上述图像处理方法，在切换摄像头进行拍摄的过程中，将摄像模组中的多个摄像头视为一个整体摄像头，同时把不同摄像头的切换视为帧间扰动，基于不同帧图像的位姿信息和扰动信息，对摄像头切换后所拍摄的画面进行处理，从而处理摄像头切换造成的帧间扰动。这样，解决了电子设备的摄像头在切换的瞬间拍摄画面存在显著的跳变，从而导致拍摄的画面质量降低的问题，实现了摄像头的平滑切换，并且，摄像头切换过程中只需同时保持单个摄像头开启，降低了电子设备的功耗。

在本申请实施例中，电子设备包括惯性测量装置，第一图像和第二图像对应电子设备的摄像模组中的不同摄像头，第一图像的拍摄时间为第一时刻，在此基础上，如图2所示，上述获取第一图像的第一姿态信息的步骤，具体可包括下述的S112至S116：

S112：获取摄像模组的初始姿态信息。

其中，上述初始姿态信息具体可为一个单位矩阵，在此不作具体限制。

S114：根据惯性测量装置在初始时刻至第一时刻的输出信息、惯性测量装置的输出时间间隔确定第一旋转矩阵。

其中，上述惯性测量装置为测量物体三轴姿态角以及加速度的装置。在实际的应用过程中，上述惯性测量装置具体可为惯性测量传感器、陀螺仪等装置，在此不作具体限制。

进一步地，上述第一时刻为第一图像的拍摄时刻，上述初始时刻为开始拍摄的时刻。

进一步地，上述输出信息为惯性测量装置检测到的电子设备的三轴姿态角以及加速度等信息。

进一步地，上述输出时间间隔为惯性测量装置输出相邻两个输出信息之间的时间间隔。

具体地，在本申请实施例提供的图像处理方法中，基于下述公式(1)，通过当前时刻摄像模组的实时姿态信息来计算下一时刻摄像模组的实时姿态信息：

R_t+Δt＝R_te^(ω(t)Δt)，(1)

其中，t为当前时刻，Δt为惯性测量装置的输出时间间隔，R_t为摄像模组在t时刻的实时姿态信息，R_t+Δt为摄像模组在(t+Δt)时刻的实时姿态信息，ω(t)为惯性测量装置在t时刻的输出信息，e^(ω(t)Δt)表示旋转矩阵。通过不断地重复上述公式(1)，即可实时地获取摄像模组的姿态信息。

在此基础上，通过对上述公式(1)进行变形，即可得到摄像模组在第一时刻的实时姿态信息即上述第一姿态信息与摄像模组的初始姿态信息之间的对应关系，也即得到下述公式(2)：

其中，t为第一时刻，R_t为摄像模组在t时刻的实时姿态信息即上述第一姿态信息，R₀为摄像模组的初始姿态信息，Δt为惯性测量装置的输出时间间隔，i为0至(t-1)之间的任意时刻，ω(i)为惯性测量装置在i时刻的输出信息，即为上述第一旋转矩阵。

S116：根据第一旋转矩阵和初始姿态信息，确定第一姿态信息。

具体地，在本申请实施例提供的图像处理方法中，在得到摄像模组的初始姿态信息以及上述第一旋转矩阵之后，基于上述公式(2)，通过第一旋转矩阵和初始姿态信息的乘积，得到第一图像的第一姿态信息。

同理，在实际的应用过程中，在获取第二图像的第二姿态信息的过程中，即可使用第一图像的第一姿态信息，基于下述公式(3)计算第二图像的实时姿态信息即第二姿态信息：

R_t+1＝R_te^(ω(t)Δt)，(3)

其中，t为第一时刻，Δt为惯性测量装置的输出时间间隔，ω(t)为惯性测量装置在t时刻的输出信息，R_t为第一姿态信息，R_t+1为第二姿态信息。

本申请提供的上述实施例，电子设备包括惯性测量装置，第一图像和第二图像对应电子设备的摄像模组中的不同摄像头，第一图像的拍摄时间为第一时刻，在获取第一图像的第一姿态信息的过程中，获取摄像模组的初始姿态信息；根据惯性测量装置在初始时刻至第一时刻的输出信息、惯性测量装置的输出时间间隔确定第一旋转矩阵；根据第一旋转矩阵和初始姿态信息，确定第一姿态信息。这样，保证了第一姿态信息确定的实时性和准确性，进而提高了后续基于第一姿态信息进行图像处理的准确性。

在本申请实施例中，如图3所示，上述S104具体可包括下述的S104a至S104e：

S104a：根据第一姿态信息和第二姿态信息确定变换矩阵。

其中，上述第一姿态信息为第一图像的实时姿态信息，上述第二姿态信息为第二图像的实时姿态信息。

可以理解的是，切换摄像头后拍摄的第二图像相较于切换摄像头前拍摄的第一图像，除了存在因电子设备自身抖动而产生的位姿变换，还存在因摄像头切换造成的扰动变换。因此，在本申请实施例提供的图像处理方法中，在得到第一姿态信息和第二姿态信息之后，基于下述公式(4)，根据第一姿态信息和第二姿态信息，确定对齐第一图像和第二图像所需的变换矩阵：

M＝K·R_{t_inv}·R_t+1·R_r·T_r·K_inv，(4)

其中，M为变换矩阵，K为相机内参矩阵，K_inv为相机内参矩阵的逆矩阵，R_r为待求解的扰动信息中的第二旋转矩阵，T_r为待求解的扰动信息中的平移矩阵，R_{t_inv}为第一姿态信息的逆矩阵，R_t+1为第二姿态信息，·表示矩阵的点乘。

S104b：提取第一图像中的多个第一特征点以及第二图像中的多个第二特征点。

其中，多个第一特征点和多个第二特征点一一对应。

具体地，在本申请实施例提供的图像处理方法中，可以使用最小二乘法来求解上述公式(4)中的R_r和T_r。其中，最小二乘法是一种数学优化方法，其用于找到一组参数，以使得给定的模型和实际观测数据之间的误差最小。

具体地，在本申请实施例提供的图像处理方法中，在确定第一图像和第二图像之间的扰动信息的过程中，也即在求解上述公式(4)中的R_r和T_r的过程中，从第一图像中提取多个第一特征点，得到第一特征点集P{p_i}，其中，p_i表示提取到的第i个第一特征点。进一步地，从第二图像中提取对应的多个第二特征点，得到第二特征点集Q{q_i}，其中，q_i表示提取到的第i个第二特征点，p_i与q_i相对应。

S104c：基于变换矩阵构建每对第一特征点和第二特征点对应的误差函数。

具体地，在本申请实施例提供的图像处理方法中，在从第一图像中提取到多个第一特征点，以及从第二图像中提取到对应的多个第二特征点之后，对于每对相对应的第一特征点和第二特征点，基于上述变换矩阵，构建每对第一特征点和第二特征点之间的误差函数。

其中，每对第一特征点和第二特征点之间的误差函数，用于衡量第一特征点和第二特征点分别在第一图像和第二图像中位置的变换误差。

在实际的应用过程中，上述误差函数具体可采用欧式距离、重投影误差等，在此不作具体限制。

示例性地，以上述误差函数采用重投影误差为例，每对第一特征点和第二特征点之间的误差函数具体可表现为下述公式(5)：

f₁＝p_iM-q_i，(5)

其中，f₁表示误差函数，M为变换矩阵，p_i为第i个第一特征点在第一图像中的像素位置，q_i为第i个第二特征点在第二图像中的像素位置。

S104d：根据多个误差函数构建目标优化函数。

具体地，在本申请实施例提供的图像处理方法中，在构建得到每对第一特征点和第二特征点对应的误差函数之后，通过最小化多个误差函数的平方和，来构建目标优化函数。

示例性地，以上述误差函数采用重投影误差为例，上述目标优化函数具体可表现为下述公式(6)：

f₂＝min∑|p_iM-q_i|²，(6)

其中，f₂表示目标优化函数。

S104e：求解目标优化函数，得到扰动信息。

具体地，在本申请实施例提供的图像处理方法中，在构建得到上述目标优化函数之后，使用数值优化算法来求解上述目标优化函数，以求得上述变换矩阵中的第二旋转矩阵和平移矩阵，第二旋转矩阵和平移矩阵即为上述扰动信息。

在实际的应用过程中，上述数值优化算法具体可为梯度下降算法、LM(Levenberg-Marquardt，列文伯格-马夸尔特)算法等，在此不作具体限制。

本申请提供的上述实施例，在根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息的过程中，根据第一姿态信息和第二姿态信息确定变换矩阵；提取第一图像中的多个第一特征点以及第二图像中的多个第二特征点，多个第一特征点和多个第二特征点一一对应；基于变换矩阵构建每对第一特征点和第二特征点对应的误差函数；根据多个误差函数构建目标优化函数；求解目标优化函数，得到扰动信息。这样，保证了对扰动信息进行确定的准确性，从而提高了后续基于扰动信息进行图像处理的准确性。

在本申请实施例中，扰动信息包括第二旋转矩阵和平移矩阵，在此基础上，如图4所示，上述S106具体可包括下述的S106a：

S106a：根据第二姿态信息、第二旋转矩阵和平移矩阵的乘积，确定第三姿态信息。

其中，上述扰动信息包括第二旋转矩阵和平移矩阵。

可以理解的是，在摄像头切换过程中，切换摄像头后拍摄的第二图像相较于切换摄像头前拍摄的第一图像，除了存在因电子设备自身抖动而产生的位姿变换，还存在因摄像头切换造成的扰动变换。因此，在本申请实施例提供的图像处理方法中，在确定第一图像和第二图像之间的扰动信息之后，基于下述公式(7)，通过扰动信息中的第二旋转矩阵和平移矩阵，对第二图像的第二姿态信息进行修正，从而得到第三姿态信息：

R’_t+1＝R_t+1·R_r·T_r，(7)

其中，R’_t+1为第三姿态信息，R_r为第二旋转矩阵，T_r为平移矩阵，R_t+1为第二姿态信息，·表示矩阵的点乘。

示例性地，如图7所示，对于单路视频流，在由摄像头A切换至摄像头B的过程中，摄像头A拍摄的第i-1帧图像的实时姿态信息为R_i-1，摄像头A拍摄的第i帧图像的实时姿态信息为R_i，摄像头B拍摄的第1帧图像即切换帧图像的实时姿态信息为R_i+1，其修正后的实时姿态信息为R_i+1·R_r·T_r，摄像头B拍摄的第2帧图像的实时姿态信息为R_i+2，其修正后的实时姿态信息为R_i+2·R_r·T_r。通过对摄像头切换后拍摄的图像的实时姿态信息进行修正，减少摄像头切换过程中拍摄图像的位姿变换和扰动变换。

本申请提供的上述实施例，扰动信息包括第二旋转矩阵和平移矩阵，在根据扰动信息修正第二姿态信息，得到第三姿态信息的过程中，根据第二姿态信息、第二旋转矩阵和平移矩阵的乘积，确定第三姿态信息。这样，对切换摄像头后拍摄的第二图像的实时姿态信息进行修正，能够减少摄像头切换过程中第一图像和第二图像之间的位姿变换和扰动变换，从而提高摄像头切换时拍摄画面的质量。

在本申请实施例中，如图5所示，在确定第一图像和第二图像之间的扰动信息之后，上述图像处理方法具体还可包括下述的S118至S122：

S118：根据第一图像和扰动信息确定第四图像。

其中，上述扰动信息包括第二旋转矩阵和平移矩阵。

具体地，在本申请实施例提供的图像处理方法中，在通过求解上述目标优化函数，以得到第一图像与第二图像之间的扰动信息之后，将确定的扰动信息中的第二旋转矩阵和平移矩阵应用于上述第一图像中，以对第一图像进行变换，得到对应的第四图像。

S120：比较第二图像和第四图像，并根据比较结果确定扰动信息的准确率。

具体地，在本申请实施例提供的图像处理方法中，在得到上述第四图像之后，比较第二图像和第四图像，以根据比较结果得到上述扰动信息的准确率，也即得到对上述目标优化函数进行求解的准确率。

S122：在准确率小于预设阈值的情况下，调整扰动信息。

其中，上述预设阈值用于判断扰动信息的准确率是否符合要求，在扰动信息的准确率小于预设阈值的情况下，说明扰动信息的准确率较低，需要重新求解。

具体地，在本申请实施例提供的图像处理方法中，在确定扰动信息的准确率之后，将该准确率与预设阈值进行比较，在准确率小于预设阈值的情况下，说明扰动信息的准确率较低，此时，重新求解上述扰动信息，以调整优化扰动信息，保证得到的扰动信息的准确性。

其中，对于上述预设阈值的具体取值，本领域技术人员可根据实际情况进行设置，在此不作具体限制。

本申请提供的上述实施例，在确定第一图像和第二图像之间的扰动信息之后，根据第一图像和扰动信息确定第四图像；比较第二图像和第四图像，并根据比较结果确定扰动信息的准确率；在准确率小于预设阈值的情况下，调整扰动信息。这样，保证了得到的扰动信息的准确性，从而提高了后续基于扰动信息进行图像处理的准确性。

综上所述，如图6所示，本申请实施例提供的图像处理方法具体可包括下述的S202至S208：

S202：实时记录每一帧图像的姿态信息。

S204：在切换摄像头时计算切换帧图像和上一帧图像之间的扰动信息。

S206：根据扰动信息对切换帧图像的实时姿态信息进行修正。

S208：对修正后的实时姿态信息进行平滑处理，并将平滑处理后的实时姿态信息应用于切换帧图像。

其中，上一帧图像即为上述第一图像，切换帧图像即为上述第二图像，切换帧图像的实时姿态信息即为上述第二姿态信息，修正后的实时姿态信息即为上述第三姿态信息，平滑处理后的实时姿态信息即为上述第四姿态信息。

这样，本申请实施例提供的图像处理方法，将摄像模组中的多个摄像头视为一个整体摄像头，同时把不同摄像头的切换视为帧间扰动，并基于视频防抖的方法对帧件扰动进行平滑处理，达到了多摄平滑切换的效果。并且，基于本申请实施例提供的图像处理方法，在切换摄像头进行拍摄的过程中只需同时保持单个摄像头开启，降低了电子设备的功耗。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行上述图像处理方法为例，说明本申请实施例提供的图像处理装置。

如图9所示，本申请实施例提供一种图像处理装置500，该装置应用于电子设备，图像处理装置500可以包括下述的处理单元502。

处理单元502，用于获取第一图像的第一姿态信息和第二图像的第二姿态信息；

处理单元502，还用于根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息；

处理单元502，还用于根据扰动信息修正第二姿态信息，得到第三姿态信息；

处理单元502，还用于对第三姿态信息进行平滑处理，得到第四姿态信息；

处理单元502，还用于根据第四姿态信息和第二图像得到第三图像。

本申请实施例提供的图像处理装置500，获取第一图像的第一姿态信息和第二图像的第二姿态信息；根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息；根据扰动信息修正第二姿态信息，得到第三姿态信息；对第三姿态信息进行平滑处理，得到第四姿态信息；根据第四姿态信息和第二图像得到第三图像。通过上述图像处理装置500，在切换摄像头进行拍摄的过程中，将摄像模组中的多个摄像头视为一个整体摄像头，同时把不同摄像头的切换视为帧间扰动，基于不同帧图像的位姿信息和扰动信息，对摄像头切换后所拍摄的画面进行处理，从而处理摄像头切换造成的帧间扰动。这样，解决了电子设备的摄像头在切换的瞬间拍摄画面存在显著的跳变，从而导致拍摄的画面质量降低的问题，实现了摄像头的平滑切换，并且，摄像头切换过程中只需同时保持单个摄像头开启，降低了电子设备的功耗。

在本申请实施例中，电子设备包括惯性测量装置，第一图像和第二图像对应电子设备的摄像模组中的不同摄像头，第一图像的拍摄时间为第一时刻，处理单元502具体用于：获取摄像模组的初始姿态信息；根据惯性测量装置在初始时刻至第一时刻的输出信息、惯性测量装置的输出时间间隔确定第一旋转矩阵；根据第一旋转矩阵和初始姿态信息，确定第一姿态信息。

本申请提供的上述实施例，电子设备包括惯性测量装置，第一图像和第二图像对应电子设备的摄像模组中的不同摄像头，第一图像的拍摄时间为第一时刻，在获取第一图像的第一姿态信息的过程中，获取摄像模组的初始姿态信息；根据惯性测量装置在初始时刻至第一时刻的输出信息、惯性测量装置的输出时间间隔确定第一旋转矩阵；根据第一旋转矩阵和初始姿态信息，确定第一姿态信息。这样，保证了第一姿态信息确定的实时性和准确性，进而提高了后续基于第一姿态信息进行图像处理的准确性。

在本申请实施例中，处理单元502具体用于：根据第一姿态信息和第二姿态信息确定变换矩阵；提取第一图像中的多个第一特征点以及第二图像中的多个第二特征点，多个第一特征点和多个第二特征点一一对应；基于变换矩阵构建每对第一特征点和第二特征点对应的误差函数；根据多个误差函数构建目标优化函数；求解目标优化函数，得到扰动信息。

本申请提供的上述实施例，在根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息的过程中，根据第一姿态信息和第二姿态信息确定变换矩阵；提取第一图像中的多个第一特征点以及第二图像中的多个第二特征点，多个第一特征点和多个第二特征点一一对应；基于变换矩阵构建每对第一特征点和第二特征点对应的误差函数；根据多个误差函数构建目标优化函数；求解目标优化函数，得到扰动信息。这样，保证了对扰动信息进行确定的准确性，从而提高了后续基于扰动信息进行图像处理的准确性。

在本申请实施例中，扰动信息包括第二旋转矩阵和平移矩阵，处理单元502具体用于：根据第二姿态信息、第二旋转矩阵和平移矩阵的乘积，确定第三姿态信息。

本申请提供的上述实施例，扰动信息包括第二旋转矩阵和平移矩阵，在根据扰动信息修正第二姿态信息，得到第三姿态信息的过程中，根据第二姿态信息、第二旋转矩阵和平移矩阵的乘积，确定第三姿态信息。这样，对切换摄像头后拍摄的第二图像的实时姿态信息进行修正，能够减少摄像头切换过程中第一图像和第二图像之间的位姿变换和扰动变换，从而提高摄像头切换时拍摄画面的质量。

在本申请实施例中，确定第一图像和第二图像之间的扰动信息之后，处理单元502还用于：根据第一图像和扰动信息确定第四图像；比较第二图像和第四图像，并根据比较结果确定扰动信息的准确率；在准确率小于预设阈值的情况下，调整扰动信息。

本申请提供的上述实施例，在确定第一图像和第二图像之间的扰动信息之后，根据第一图像和扰动信息确定第四图像；比较第二图像和第四图像，并根据比较结果确定扰动信息的准确率；在准确率小于预设阈值的情况下，调整扰动信息。这样，保证了得到的扰动信息的准确性，从而提高了后续基于扰动信息进行图像处理的准确性。

本申请实施例中的图像处理装置500可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置500可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置500能够实现图1至图6的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图10所示，本申请实施例还提供一种电子设备600，包括处理器602和存储器604，存储器604上存储有可在处理器602上运行的程序或指令，该程序或指令被处理器602执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图11为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709以及处理器710等部件。

本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器710，用于获取第一图像的第一姿态信息和第二图像的第二姿态信息。

处理器710，还用于根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息。

处理器710，还用于根据扰动信息修正第二姿态信息，得到第三姿态信息。

处理器710，还用于对第三姿态信息进行平滑处理，得到第四姿态信息。

处理器710，还用于根据第四姿态信息和第二图像得到第三图像。

在本申请实施例中，获取第一图像的第一姿态信息和第二图像的第二姿态信息；根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息；根据扰动信息修正第二姿态信息，得到第三姿态信息；对第三姿态信息进行平滑处理，得到第四姿态信息；根据第四姿态信息和第二图像得到第三图像。在本申请实施例中，在切换摄像头进行拍摄的过程中，将摄像模组中的多个摄像头视为一个整体摄像头，同时把不同摄像头的切换视为帧间扰动，基于不同帧图像的位姿信息和扰动信息，对摄像头切换后所拍摄的画面进行处理，从而处理摄像头切换造成的帧间扰动。这样，解决了电子设备的摄像头在切换的瞬间拍摄画面存在显著的跳变，从而导致拍摄的画面质量降低的问题，实现了摄像头的平滑切换，并且，摄像头切换过程中只需同时保持单个摄像头开启，降低了电子设备的功耗。

可选地，电子设备包括惯性测量装置，第一图像和第二图像对应电子设备的摄像模组中的不同摄像头，第一图像的拍摄时间为第一时刻，处理器710具体用于：获取摄像模组的初始姿态信息；根据惯性测量装置在初始时刻至第一时刻的输出信息、惯性测量装置的输出时间间隔确定第一旋转矩阵；根据第一旋转矩阵和初始姿态信息，确定第一姿态信息。

本申请提供的上述实施例，电子设备包括惯性测量装置，第一图像和第二图像对应电子设备的摄像模组中的不同摄像头，第一图像的拍摄时间为第一时刻，在获取第一图像的第一姿态信息的过程中，获取摄像模组的初始姿态信息；根据惯性测量装置在初始时刻至第一时刻的输出信息、惯性测量装置的输出时间间隔确定第一旋转矩阵；根据第一旋转矩阵和初始姿态信息，确定第一姿态信息。这样，保证了第一姿态信息确定的实时性和准确性，进而提高了后续基于第一姿态信息进行图像处理的准确性。

可选地，处理器710具体用于：根据第一姿态信息和第二姿态信息确定变换矩阵；提取第一图像中的多个第一特征点以及第二图像中的多个第二特征点，多个第一特征点和多个第二特征点一一对应；基于变换矩阵构建每对第一特征点和第二特征点对应的误差函数；根据多个误差函数构建目标优化函数；求解目标优化函数，得到扰动信息。

本申请提供的上述实施例，在根据第一姿态信息和第二姿态信息，确定第一图像和第二图像之间的扰动信息的过程中，根据第一姿态信息和第二姿态信息确定变换矩阵；提取第一图像中的多个第一特征点以及第二图像中的多个第二特征点，多个第一特征点和多个第二特征点一一对应；基于变换矩阵构建每对第一特征点和第二特征点对应的误差函数；根据多个误差函数构建目标优化函数；求解目标优化函数，得到扰动信息。这样，保证了对扰动信息进行确定的准确性，从而提高了后续基于扰动信息进行图像处理的准确性。

可选地，扰动信息包括第二旋转矩阵和平移矩阵，处理器710具体用于：根据第二姿态信息、第二旋转矩阵和平移矩阵的乘积，确定第三姿态信息。

本申请提供的上述实施例，扰动信息包括第二旋转矩阵和平移矩阵，在根据扰动信息修正第二姿态信息，得到第三姿态信息的过程中，根据第二姿态信息、第二旋转矩阵和平移矩阵的乘积，确定第三姿态信息。这样，对切换摄像头后拍摄的第二图像的实时姿态信息进行修正，能够减少摄像头切换过程中第一图像和第二图像之间的位姿变换和扰动变换，从而提高摄像头切换时拍摄画面的质量。

可选地，确定第一图像和第二图像之间的扰动信息之后，处理器710还用于：根据第一图像和扰动信息确定第四图像；比较第二图像和第四图像，并根据比较结果确定扰动信息的准确率；在准确率小于预设阈值的情况下，调整扰动信息。

本申请提供的上述实施例，在确定第一图像和第二图像之间的扰动信息之后，根据第一图像和扰动信息确定第四图像；比较第二图像和第四图像，并根据比较结果确定扰动信息的准确率；在准确率小于预设阈值的情况下，调整扰动信息。这样，保证了得到的扰动信息的准确性，从而提高了后续基于扰动信息进行图像处理的准确性。

应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。

处理器710可包括一个或多个处理单元；可选的，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，由电子设备执行，所述图像处理方法包括：

获取第一图像的第一姿态信息和第二图像的第二姿态信息；

根据所述第一姿态信息和所述第二姿态信息，确定所述第一图像和所述第二图像之间的扰动信息；

根据所述扰动信息修正所述第二姿态信息，得到第三姿态信息；

对所述第三姿态信息进行平滑处理，得到第四姿态信息；

根据所述第四姿态信息和所述第二图像得到第三图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述电子设备包括惯性测量装置，所述第一图像和所述第二图像由所述电子设备的摄像模组中的不同摄像头采集，所述第一图像的拍摄时间为第一时刻，所述获取第一图像的第一姿态信息，包括：

获取所述摄像模组的初始姿态信息；

根据所述惯性测量装置在初始时刻至所述第一时刻的输出信息、所述惯性测量装置的输出时间间隔确定第一旋转矩阵；

根据所述第一旋转矩阵和所述初始姿态信息，确定所述第一姿态信息。

3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第一姿态信息和所述第二姿态信息，确定所述第一图像和所述第二图像之间的扰动信息，包括：

根据所述第一姿态信息和所述第二姿态信息确定变换矩阵；

提取所述第一图像中的多个第一特征点以及所述第二图像中的多个第二特征点，多个所述第一特征点和多个所述第二特征点一一对应；

基于所述变换矩阵构建每对所述第一特征点和所述第二特征点对应的误差函数；

根据多个所述误差函数构建目标优化函数；

求解所述目标优化函数，得到所述扰动信息。

4.根据权利要求1所述的图像处理方法，其特征在于，所述扰动信息包括第二旋转矩阵和平移矩阵，所述根据所述扰动信息修正所述第二姿态信息，得到第三姿态信息，包括：

根据所述第二姿态信息、所述第二旋转矩阵和所述平移矩阵的乘积，确定所述第三姿态信息。

5.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，所述确定所述第一图像和所述第二图像之间的扰动信息之后，所述图像处理方法还包括：

根据所述第一图像和所述扰动信息确定第四图像；

比较所述第二图像和所述第四图像，并根据比较结果确定所述扰动信息的准确率；

在所述准确率小于预设阈值的情况下，调整所述扰动信息。

6.一种图像处理装置，其特征在于，应用于电子设备，所述图像处理装置包括：

处理单元，用于获取第一图像的第一姿态信息和第二图像的第二姿态信息；

所述处理单元，还用于根据所述第一姿态信息和所述第二姿态信息，确定所述第一图像和所述第二图像之间的扰动信息；

所述处理单元，还用于根据所述扰动信息修正所述第二姿态信息，得到第三姿态信息；

所述处理单元，还用于对所述第三姿态信息进行平滑处理，得到第四姿态信息；

所述处理单元，还用于根据所述第四姿态信息和所述第二图像得到第三图像。

7.根据权利要求6所述的图像处理装置，其特征在于，所述电子设备包括惯性测量装置，所述第一图像和所述第二图像由所述电子设备的摄像模组中的不同摄像头采集，所述第一图像的拍摄时间为第一时刻，所述处理单元具体用于：

获取所述摄像模组的初始姿态信息；

根据所述惯性测量装置在初始时刻至所述第一时刻的输出信息、所述惯性测量装置的输出时间间隔确定第一旋转矩阵；

根据所述第一旋转矩阵和所述初始姿态信息，确定所述第一姿态信息。

8.根据权利要求6所述的图像处理装置，其特征在于，所述处理单元具体用于：

根据所述第一姿态信息和所述第二姿态信息确定变换矩阵；

提取所述第一图像中的多个第一特征点以及所述第二图像中的多个第二特征点，多个所述第一特征点和多个所述第二特征点一一对应；

基于所述变换矩阵构建每对所述第一特征点和所述第二特征点对应的误差函数；

根据多个所述误差函数构建目标优化函数；

求解所述目标优化函数，得到所述扰动信息。

9.根据权利要求6所述的图像处理装置，其特征在于，所述扰动信息包括第二旋转矩阵和平移矩阵，所述处理单元具体用于：

根据所述第二姿态信息、所述第二旋转矩阵和所述平移矩阵的乘积，确定所述第三姿态信息。

10.根据权利要求6至9中任一项所述的图像处理装置，其特征在于，所述确定所述第一图像和所述第二图像之间的扰动信息之后，所述处理单元还用于：

根据所述第一图像和所述扰动信息确定第四图像；

比较所述第二图像和所述第四图像，并根据比较结果确定所述扰动信息的准确率；

在所述准确率小于预设阈值的情况下，调整所述扰动信息。