CN115546043B

CN115546043B - 视频处理方法及其相关设备

Info

Publication number: CN115546043B
Application number: CN202210336037.6A
Authority: CN
Inventors: 张田田; 王宇; 李智琦; 王宁; 朱聪超
Original assignee: Honor Device Co Ltd
Current assignee: Honor Device Co Ltd
Priority date: 2022-03-31
Filing date: 2022-03-31
Publication date: 2023-08-18
Anticipated expiration: 2042-03-31
Also published as: CN115546043A

Abstract

本申请提供了一种视频处理方法及其相关设备，涉及视频处理领域，该视频处理方法包括：获取视频流，视频流包括多帧原始图像；从多帧原始图像中，确定第n帧原始图像对应的第一参考图像，第一参考图像比第n帧原始图像清晰；根据第一参考图像和第n帧原始图像，确定单应性变换矩阵、目标缩放因子和目标平移量；根据第一参考图像和单应性变换矩阵、目标缩放因子以及目标平移量，确定目标图像；利用目标图像替换第n帧原始图像。本申请通过利用结合了模糊帧的位姿变换关系的清晰帧来替换模糊帧，从而能够改善视频的清晰度。

Description

视频处理方法及其相关设备

技术领域

本申请涉及视频处理领域，尤其涉及一种视频处理方法及其相关设备。

背景技术

随着电子设备的广泛使用，使用电子设备进行视频录制已经成为人们生活中的一种日常行为方式。以电子设备为手机为例，当人们利用手机进行视频录制时，由于自身手抖、走动等，会导致录制出的视频出现帧间清晰度不一致的现象，即产生运动模糊。

为了提高录制的视频的清晰度，降低运动模糊的影响，随之出现了多种提升视频质量的技术。例如，在较暗光线下需要长时间曝光录制视频时，相对减少曝光时间，或者，在电子设备上增加OIS控制器，以减弱运动模糊的影响。但是，受限于曝光时间的下降，可能会引入噪声等问题，而OIS控制器的量程也有限制，因此，前述现有技术无法完全去除视频录制过程中出现的运动模糊现象。

那么，如何完全、高效的去除运动模糊成为一个亟需解决的问题。

发明内容

本申请提供一种视频处理方法及其相关设备，能够对视频中模糊的图像进行处理，恢复其细节，提高视频质量。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供了一种视频处理方法，包括：

获取视频流，所述视频流包括多帧原始图像；

从多帧所述原始图像中，确定第n帧原始图像对应的第一参考图像，n≥1，n为正整数，所述第一参考图像比所述第n帧原始图像清晰；

根据所述第一参考图像和所述第n帧原始图像，确定单应性变换矩阵、目标缩放因子和目标平移量，所述单应性变换矩阵用于表示图像旋转关系，所述目标缩放因子用于表示图像缩放关系，所述目标平移量用于表示图像平移关系；

根据所述第一参考图像和所述单应性变换矩阵、所述目标缩放因子以及所述目标平移量，确定目标图像；

利用所述目标图像替换所述第n帧原始图像。

在本申请的实施例中，通过确定出视频中模糊帧以及其相邻范围内相对清晰的第一参考图像，然后利用第一参考图像和第n帧原始图像之间对应的旋转、平移和缩放关系，将第一参考图像变换成与第n帧原始图像位姿关系一致的目标图像，利用目标图像替换第n帧原始图像，从而可以改善视频的清晰度，提升用户体验。

在第一方面一种可能的实现方式中，所述电子设备包括陀螺仪传感器和光学稳像OIS控制器；

根据所述第一参考图像和所述第n帧原始图像，确定单应性变换矩阵，包括：

根据所述第一参考图像和所述第n帧原始图像分别对应的陀螺仪数据，确定旋转矩阵，所述陀螺仪数据由所述陀螺仪传感器获取；

根据所述第一参考图像和所述第n帧原始图像分别对应的OIS数据，确定第一相机内参矩阵，所述OIS数据由所述OIS控制器获取，所述第一相机内参矩阵用于指示所述OIS控制器启用时对应的相机内参矩阵；

根据所述旋转矩阵和所述第一相机内参矩阵，利用公式H＝KRK_ois ^-1，确定所述单应性变换矩阵；

其中，H表示所述单应性变换矩阵，K表示标准相机内参，R表示所述旋转矩阵；K_ois ^-1表示所述第一相机内参矩阵的逆。

在该实现方式中，基于第一参考图像和第n帧原始图像分别对应的陀螺仪数据和OIS数据，可以获取到表示第一参考图像和第n帧原始图像之间的旋转关系的单应性变换矩阵。

在第一方面一种可能的实现方式中，根据所述第一参考图像和所述第n帧原始图像，确定目标缩放因子和目标平移量，包括：

对多帧所述原始图像分别进行特征点检测，确定所述第一参考图像中的特征点为第一特征点，所述第n帧原始图像中的特征点为原始特征点；

将所述第一参考图像和所述第n帧原始图像检测出的特征点进行匹配，确定多对特征点对，每对特征点对包括1个所述第一特征点和1个所述原始特征点；

根据多对所述特征点对，确定所述目标缩放因子和所述目标平移量。

在该实现方式中，基于第一参考图像和第n帧原始图像之间匹配的特征点对来确定目标缩放因子和目标平移量，数据量较小，处理效率高。

在第一方面一种可能的实现方式中，根据多对所述特征点对，确定所述目标缩放因子，包括：

根据多对所述特征点对中的任意两对所述特征点对，利用最小二乘法，确定1个缩放因子；

重复执行多次，确定多个所述缩放因子；

确定多个所述缩放因子的平均值为所述目标缩放因子。

在该实现方式中，由于缩放关系不受旋转关系的影响，因此，可以直接通过第一参考图像和第n帧原始图像之间对应的特征点对来进行确定。

在第一方面一种可能的实现方式中，根据多对所述特征点对，确定所述目标平移量，包括：

针对一对所述特征点对，确定所述原始特征点在所述第n帧原始图像中的原始坐标，以及确定所述第一特征点在所述第一参考图像中的第一坐标；

利用所述单应性变换矩阵，对所述第一特征点的所述第一坐标进行变换，确定变换后的所述第一特征点对应的第二坐标；

根据所述原始特征点的所述原始坐标和变换后的所述第一特征点对应的所述第二坐标，确定一组坐标差值；

根据多对所述特征点对，确定多组坐标差值；

确定多组所述坐标差值的平均坐标差值为所述目标平移量。

在该实现方式中，由于平移关系受到旋转关系的影响，因此，在确定平移关系之前，需先利用单应性变换矩阵对第一参考图像中的第一特征点的第一坐标进行变换，以消除旋转的影响，然后，再利用消除旋转关系的第二坐标，来跟第n帧原始图像的原始坐标确定坐标差值，再通过确定多组坐标差值的平均值来作为第n帧原始图像和第一参考图像之间的目标平移量。

在第一方面一种可能的实现方式中，所述方法还包括：

确定所述视频流中的第n帧原始图像为清晰帧或模糊帧；

若所述第n帧原始图像为模糊帧，在预设帧数范围内除了第n帧原始图像之外其他多帧原始图像中，确定所述第n帧原始图像对应的第一参考图像；

其中，所述预设帧数范围包括第n-k帧原始图像至第n+k帧原始图像，所述第一参考图像为所述预设帧数范围内的最清晰帧，k≥1，k为正整数。

在该实现方式中，通过筛选出第n帧原始图像预设帧数范围内的最清晰帧作为第一参考图像，可以最大程度上提高第n帧原始图像的清晰度。

第二方面，提供了一种电子设备，包括用于执行第一方面或第一方面中任一种方法的模块/单元。

第三方面，提供了一种电子设备，包括摄像头模组、处理器和存储器；

所述摄像头模组，用于采集视频流，所述视频流包括多帧原始图像；

所述存储器，用于存储可在所述处理器上运行的计算机程序；

所述处理器，用于执行第一方面或第一方面中任一种方法中进行处理的步骤。

第四方面，提供了一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行第一方面或第一方面中任一种方法中进行处理的步骤。

第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行第一方面或第一方面中任一种方法中进行处理的步骤。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中任一种方法中进行处理的步骤。

本申请实施例提供一种视频处理方法及其相关设备，通过确定出视频中模糊帧以及其相邻范围内相对清晰的第一参考图像，然后利用第一参考图像和第n帧原始图像之间对应的旋转、平移和缩放关系，将第一参考图像变换成与第n帧原始图像位姿关系一致的目标图像，利用目标图像替换第n帧原始图像，从而可以改善视频的清晰度，提升用户体验。

附图说明

图1是利用现有技术录制的视频中的2帧图像；

图2是本申请实施例提供的一种应用场景的示意图；

图3是本申请实施例提供的一种视频处理方法的流程示意图；

图4是本申请实施例提供的一种确定单应性变换矩阵的流程示意图；

图5是本申请实施例提供的一种确定目标缩放因子和目标平移量的流程示意图；

图6是本申请实施例提供的一种确定第二参考图像的示意图；

图7是本申请实施例提供的一种特征点对的示意图；

图8是本申请实施例提供的一种确定目标图像的示意图；

图9是本申请实施例提供的视频处理方法的效果示意图；

图10是一种适用于本申请的装置的硬件系统的示意图；

图11为本申请实施例提供的一种视频处理装置的结构示意图；

图12为申请实施例提供的一种芯片的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

首先，对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

1、RGB(red，green，blue)颜色空间，或者RGB域，指的是一种与人的视觉系统结构相关的颜色模型。根据人眼睛的结构，将所有颜色都当作是红色、绿色和蓝色的不同组合。

2、像素值，指的是位于RGB颜色空间的彩色图像中每个像素对应的一组颜色分量。例如，每个像素对应一组三基色分量，其中，三基色分量分别为红色分量R、绿色分量G和蓝色分量B。

3、YUV颜色空间，或者YUV域，指的是一种颜色编码方法，Y表示亮度，U和V表示的则是色度。上述RGB颜色空间着重于人眼对色彩的感应，YUV颜色空间则着重于视觉对亮度的敏感程度，RGB颜色空间和YUV颜色空间可以互相转换。

4、运动模糊

在电子设备拍摄的过程中，每帧图像的生成依靠在曝光时间内累积光子，并通过光电转化将其转化为电子，并进一步的变换为人眼可识别的图像。在这个时间内，若电子设备存在较大幅度的运动，则该运动信息也会被累积记录，生成的图像则会附带较强的运动模糊。

5、光学防抖(optical image stabilization，OIS)

光学防抖又可以称为光学稳像，OIS技术是指在拍照曝光期间，通过运动传感器(例如，陀螺仪，加速度计)检测电子设备的抖动，OIS控制器根据运动传感器检测到的抖动数据，控制推动OIS的马达，移动镜头或者图像传感器(charge-coupled device，CCD)，使得在整个曝光期间光路尽可能保持稳定不变，进而得到清晰曝光的图像。

光学防抖包括两种防抖方式，第一种为镜片移动式光学防抖，第二种为感光元件移动式光学防抖。其中，第一种镜片移动式光学防抖的原理是通过镜头内的陀螺仪传感器侦测到微小的移动，然后将信号传至微处理器，微处理器立即计算需要补偿的位移量，然后通过补偿镜片组，根据镜头的抖动方向及位移量加以补偿，从而有效地克服因相机的振动产生的影像模糊。第二种感光元件移动式光学防抖是使用图像传感器偏移来实现防抖，其原理是：首先把CCD安置在一个可以上下左右移动的支架上，然后当陀螺仪传感器检测到抖动时，就把抖动的方向、速度和移动量等参数经过处理，计算出足以抵消抖动的CCD移动量。

可选地，OIS控制器包括两轴和三轴的光学图像稳定器，本申请实施例以两轴的OIS为例进行说明，涉及水平方向数据和垂直方向数据，以下不再赘述。

6、电子防抖(electric image stabilization，EIS)

电子防抖又可以称为电子稳像，EIS技术是指基于运动传感器数据来进行防抖处理，通过每帧图像曝光期间运动传感器采集的数据，计算图像序列中图像帧之间的运动情况；并对图像帧之间的运动进行校正，生成相对稳定的图像序列。

电子防抖的全过程都没有任何元部件的辅助和参与，依靠数字处理的技术去实现的防抖，当前电子防抖主要有提高相机感光度(ISO)而实现的“自然防抖”和通过像素补偿或其他运算方式而实现的“数码防抖”两大种类。

以上是对本申请实施例所涉及的名词的简单介绍，以下不再赘述。

示例性的，图1示出了利用现有技术录制的视频中的2帧图像。

如图1中的(a)所示，为视频中1帧具有运动模糊的图像帧。如图1中的(b)所示，为视频中1帧较为清晰的图像帧。

为了提高录制的视频的清晰度，降低运动模糊的影响，随之出现了多种提升视频质量的技术。例如，在录制视频时，通常周围环境光较暗的话，电子设备为了提升成像效果一般会增加曝光时间，但是，为了减少帧间清晰度不一致导致的运动模糊问题，则可以相对减少曝光时间。另外，还可以在电子设备上增加OIS控制器，通过防抖来减弱运动模糊。

但是，受限于曝光时间的下降，可能会在录制的视频中引入噪声等问题，引入的OIS控制器的量程也有限制，因此，前述两种现有技术均无法完全去除运动模糊。

有鉴于此，本申请实施例提供了一种视频处理方法，通过确定出视频中模糊帧以及其相邻范围内相对清晰的清晰帧，然后利用清晰帧和模糊帧之间对应的旋转、平移和缩放关系，将清晰帧变换成模糊帧关系一致的目标图像，利用目标图像替换模糊帧，从而可以改善视频的清晰度，提升用户体验。

首先对本申请实施例的应用场景进行简要说明。

图2是本申请实施例提供的一种应用场景的示意图。本申请提供的视频处理方法可以应用于去除视频中的图像上的运动模糊。

在一个示例中，以电子设备是手机进行举例说明。如图2中的(a)所示，为电子设备的图形用户界面(graphical user interface，GUI)。当电子设备检测到用户点击界面上的相机应用的图标的操作后，可以启动相机应用，显示如图2中的(b)所示的另一GUI，该GUI可以称为预览界面。

该预览界面上可以包括取景窗口21。在预览状态下，该取景窗口21内可以实时显示预览图像。该预览界面还可以包括多种拍摄模式选项以及第一控件，即，拍摄键11。该多种拍摄模式选项例如包括：拍照模式、录像模式等，拍摄键11用于指示当前拍摄模式为拍照模式、录像模式或者为其他模式。其中，相机应用打开时一般默认处于拍照模式。

示例性的，如图2中的(b)所示，当电子设备启动相机应用后，电子设备运行视频处理方法对应的程序，响应于用户对拍摄键11的点击操作，获取并存储视频。

应理解，在拍摄过程中，若拍摄者由于自身生理现象造成的手抖，比如呼吸时身体随胸腔震颤；并且，拍摄者也在行走，此时，待拍摄场景中的楼房、树木等静物相对于拍摄者也在运动，这样，将会导致录制的视频中帧间出现清晰度不一致的现象，利用相关技术无法有效避免。但是，通过本申请的视频处理方法可以检测出视频中的模糊帧以及其相邻范围内相对清晰的清晰帧，然后利用清晰帧和模糊帧之间对应的旋转、平移和缩放关系，将清晰帧变换成模糊帧关系一致的目标图像，利用目标图像替换模糊帧，从而可以改善视频的清晰度，得到高质量的视频。其中，模糊帧用于指示清晰程度相对较低的图像，清晰帧用于指示清晰程度相对较高的图像。

应理解，上述图2所示的场景为对应用场景的举例说明，并不对本申请的应用场景进行任何限制。本申请实施例提供的视频处理方法可以应用但不限于以下场景中：

视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、智能运镜应用场景、系统相机录像功能录制视频、视频监控以及智能猫眼等拍摄类场景等。

下面结合说明书附图，对本申请实施例所提供的视频处理方法进行详细介绍。

本申请实施例提供的视频处理方法可以用于视频模式，其中，视频模式可以指示电子设备进行录像拍摄；或者，视频模式也可以指示电子设备进行视频直播。

示例性的，本申请实施例提供的视频处理方法可以适用于夜晚或光线较暗的环境下的视频模式。

图3为本申请实施例提供的视频处理方法的流程示意图。如图3所示，该视频处理方法1包括以下S11～S17。

S11、获取视频流。该视频流包括多帧原始图像。

应理解，该视频流包括的多帧原始图像是按照时间顺序进行排序的多帧原始图像，例如在存储器或者缓存器中保存的视频流包括多帧原始图像，该多帧原始图像是按照时间顺序进行排序的。其中，多帧原始图像可以均为位于RAW域的图像、位于RGB域的图像、或者均为位于YUV域的图像，本申请实施例对此不进行任何限制。

应理解，该视频流可以为电子设备利用自身设置的摄像头采集的或者从其他设备获取的，本申请实施例对此不进行任何限制。其中，当电子设备利用自身设置的摄像头采集时，摄像头应包括OIS控制器。当电子设备从其他设备获取时，其他设备需具包括OIS控制器。

示例性的，当电子设备利用自身设置的包括OIS控制器的摄像头采集时，其过程可以包括：电子设备启动相机，显示如图2中的(b)所示的预览界面，预览界面包括第一控件，该第一控件可以为拍摄键11。当电子设备检测到用户对拍摄键11的第一操作后，响应于第一操作，包括OIS控制器的摄像头采集多帧原始图像，生成视频流，OIS控制器用于进行光学稳像处理，也即获取的多帧原始图像是指经过光学稳像处理的原始图像，或者说获取的视频流是指经过光学稳像处理的视频流。

还应理解，视频流包括的多帧原始图像可以是直接由包括OIS控制器的摄像头生成的原始图像，也可以是由对该原始图像进行一种或多种处理操作之后得到的图像。

S12、确定视频流中的第n帧原始图像为清晰帧或模糊帧。n≥1，n为正整数。

示例性的，可以通过确定第n帧原始图像对应的模糊度，然后，通过设置模糊度阈值，来筛选第n帧原始图像为清晰帧或模糊帧。

应理解，模糊度和清晰度是描述图像清晰程度(模糊程度)的两个相对但又相互关联的概念。图像越清晰，质量越高，对应清晰度越大，模糊度越小。图像越不清晰，也即越模糊，质量越低，对应清晰度越小，模糊度越大。

其中，若电子设备中设置有陀螺仪传感器和/或加速度传感器，则根据陀螺仪传感器采集的角度信息，和/或，加速度传感器所采集的加速度信息，来确定第n帧原始图像对应的模糊度。或者，也可以利用其他算法，来确定第n帧原始图像对应的模糊度，本申请实施例对此不进行任何限制。模糊度阈值的大小也可以根据需要进行设置和调整，本申请实施例对此不进行任何限制。

基于此，若第n帧原始图像对应的模糊度大于模糊度阈值，则该第n帧原始图像为模糊帧。若该第n帧原始图像对应的模糊度小于或等于模糊度阈值，则该第n帧原始图像为清晰帧。

结合上述确定出的结果，若初步判断出第n帧原始图像为清晰帧，则不进行处理。后续可以继续判断第n+1帧原始图像为清晰帧或模糊帧，依次类推。但是，若第n帧原始图像为模糊帧，则需要对第n帧原始图像进行后续处理。

应理解，上述过程主要是为了对视频流中的原始图像进行初步筛选，对筛选出的清晰帧不进行处理，仅对模糊帧进行后续处理，这样可以节省一些计算量，提高处理效率。

S13、若第n帧原始图像为清晰帧，则不进行处理。

应理解，当第n帧原始图像为清晰帧时，说明其已经是相对清晰的图像，为了减少计算量，将重点放在对模糊帧的处理上，所以，可以对判断为清晰帧的原始图像不进行处理，将其直接输出。

当然，也可以继续对清晰帧进行其他处理，本申请实施例对此不进行任何限制。

S14、若第n帧原始图像为模糊帧，在预设帧数范围内除了第n帧原始图像之外的多帧原始图像中，确定出该预设帧数范围内的最清晰帧，将该最清晰帧作为第n帧原始图像对应的第一参考图像。

该预设帧数范围内除了第n帧原始图像的其他原始图像也需计算模糊度，并根据模糊度与模糊度阈值的大小关系，来判断各自为清晰帧或为模糊帧。

当该预设帧数范围内除了第n帧原始图像的其他原始图像都为模糊帧时，说明该预设帧数范围内包括第n帧原始图像在内的所有原始图像的模糊都非常严重，此时，可以扩大预设帧数范围，直至寻找到一帧清晰帧来作为最清晰帧。或者，虽然该预设帧数范围内的其他原始图像都为模糊帧，但有部分模糊帧对应的模糊度小于第n帧原始图像对应的模糊度，则可以确定这部分模糊帧中的模糊度最小的模糊帧为相对于第n帧原始图像较为清晰的模糊帧，由此，也可以将模糊度最小的模糊帧作为最清晰帧。

当该预设帧数范围内除了第n帧原始图像的其他原始图像中，只有1帧清晰帧，其他帧均为模糊帧时，则可以将该清晰帧作为最清晰帧。

当该预设帧数范围内除了第n帧原始图像的其他原始图像中有多帧清晰帧时，则可以根据该多帧清晰帧分别对应的模糊度，确定出最清晰帧。例如，在该多帧清晰帧中，模糊度最小的清晰帧，即为最清晰帧。

其中，预设帧数范围例如为第n-k帧原始图像至第n+k帧原始图像，k≥1，k为正整数。

应理解，当n取值不同时，该帧原始图像对应的预设帧数范围所包括的原始图像不同。当k取值不同时，针对同一原始图像，其对应的预设帧数范围所包括的原始图像也不同。

应理解，该处所指的最清晰帧是在相应范围内相对清晰的一帧原始图像。随着n和k的改变，第n帧原始图像对应的预设帧数范围所包括的原始图像不同，相应的，从预设帧数范围中确定出的最清晰帧不一定相同。

示例性的，假设n＝5，k＝1，且判断出第5帧原始图像对应的模糊度大于预设的模糊度阈值，则该第5帧原始图像为模糊帧，由此，下一步需要确定第5帧原始图像是否为第4帧原始图像至第6帧原始图像范围内的最清晰帧。

若第5帧原始图像虽然被判定为模糊帧，但仍是其相邻两帧原始图像中的最清晰帧，此时，则不需要对第5帧原始图像再做处理。因为相对于第5帧原始图像，其他两帧原始图像更模糊。

若第5帧原始图像被判定为模糊帧，同时，确定出第4帧原始图像的模糊度比第5帧原始图像和第6帧原始图像的模糊度都小，则第4帧原始图像为第4帧原始图像至第6帧原始图像范围内的最清晰帧。由此，可以将第4帧原始图像作为第5帧原始图像对应的第一参考图像。

S15、确定第一参考图像和第n帧原始图像之间对应的单应性变换矩阵、目标缩放因子和目标平移量。

需要说明的是，通常一对内容相似的清晰的图像和模糊的图像之间具有三种基本几何变换关系，平移、旋转和缩放关系。所以，在本申请实施例中，在进行去模糊处理之前，可以先确定出第n帧原始图像与第一参考图像之间对应的平移、旋转和缩放关系，再将平移、旋转和缩放关系结合到去模糊处理中；而平移和缩放关系又均与旋转关系息息相关，所以可以先确定旋转关系，再旋转关系确定平移关系和缩放关系。

其中，一般意义上的单应性变换矩阵H包含图像之间的平移、旋转和缩放关系，在本申请实施例中，基于陀螺仪数据计算出的单应性变换矩阵H可以用于表示图像之间的旋转关系，在本申请实施例中可以用于表示第一参考图像和第n帧原始图像之间的旋转关系，由此，可以通过确定第一参考图像和第n帧原始图像之间的单应性变换矩阵H来确定该两帧图像之间的旋转关系。

缩放因子可以用于表示图像之间的缩放关系，在本申请实施例中，目标缩放因子可以用于表示第一参考图像和第n帧原始图像之间的缩放关系。平移量可以用于表示图像之间的平移关系，在本申请实施例中，目标平移量可以用于表示第一参考图像和第n帧原始图像之间的平移关系。

结合图4所示，上述S15中确定第一参考图像和第n帧原始图像之间对应的单应性变换矩阵可以包括以下S151至S153。

S151、根据第一参考图像对应的陀螺仪数据和第n帧原始图像对应的陀螺仪数据，确定旋转矩阵R。

应理解，电子设备在获取多帧原始图像时，针对每帧原始图像均对应确定有相应的陀螺仪数据。陀螺仪传感器获取陀螺仪数据的频率比较高，通常会在获取原始图像的曝光时间段内获取多次陀螺仪数据，由此，可以将在该曝光时间段内获取的多个陀螺仪数据，根据时间戳插值得到该原始图像对应的陀螺仪数据；或者，可以将该曝光时间段内中间时刻对应的陀螺仪数据作为该原始图像对应的陀螺仪数据；或者，也可以利用其他方式确定原始图像对应的陀螺仪数据。同理，可以将在获取第一参考图像的曝光时间段内获取的多个陀螺仪数据，根据时间戳插值得到第一参考图像对应的陀螺仪数据，或者，可以为该曝光时间段内中间时刻对应的陀螺仪数据，或者，也可以利用其他方式确定，本申请实施例对此不进行任何限制。

应理解，陀螺仪数据指的是陀螺仪传感器所测量的角速度信息，例如本申请实施例中陀螺仪传感器为三轴陀螺仪传感器时，该陀螺仪数据指的是陀螺仪传感器所测量的三轴角速度信息。需要说明的是，可以以时间为单位对角速度进行积分，利用求得的角度信息进行后续处理。

还应理解，陀螺仪传感器每次获取原始陀螺仪数据的时刻，也即原始陀螺仪数据对应的时间戳随原始陀螺仪数据一起存储。

此处，在仅还原OIS运动的场景下，该旋转矩阵R可以为单位矩阵。

S152、根据第一参考图像对应的OIS数据和第n帧原始图像对应的OIS数据，确定第一相机内参矩阵K_ois。

应理解，电子设备在获取多帧原始图像时，针对每帧原始图像均对应确定有相应的OIS数据。OIS控制器获取OIS数据的频率比较高，通常会在获取原始图像的曝光时间段内获取多次OIS数据，由此，可以将在该曝光时间段内获取的多次OIS数据的平均值作为该原始图像对应的OIS数据；或者，可以将该曝光之间段内中间时刻对应的OIS数据作为该原始图像对应的OIS数据；或者，也可以利用其他方式确定原始图像对应的OIS数据。同理，第一参考图像对应的OIS数据也可以为获取第一参考图像的曝光时间段内对应的多个OIS数据的平均值，或者，可以为该曝光时间段内中间时刻对应的OIS数据，或者，也可以利用其他方式确定，本申请实施例对此不进行任何限制。

应理解，该OIS数据包括图像传感器的光学中心分别在图像坐标系中的x轴、y轴的位置，以及进行光学防抖时，用于实现防抖的位移数据，例如位移数据为二维数据时，可以包括x轴方向上的偏移量和y轴方向上的偏移量。

第一相机内参矩阵K_ois表示OIS控制器启用时对应的相机内参矩阵。

其中，K_ois可以表示为：

其中，f表示相机的焦距；center_x-ois_x表示图像传感器的光学中心偏移后，在x轴的坐标位置；center_x表示图像传感器的光学中心在x轴的位置；ois_x表示图像传感器的光学中心偏移后，在x轴的偏移量；center_y-ois_y表示图像传感器的光学中心偏移后，在y轴的坐标位置；center_y表示图像传感器的光学中心在y轴的位置；ois_y表示图像传感器的光学中心偏移后，在y轴的偏移量。

S153、根据旋转矩阵和第一相机内参矩阵，利用公式H＝KRK_ois ^-1，确定单应性(homography)变换矩阵H。

其中，H表示单应性变换矩阵；K表示标准相机内参；R表示旋转矩阵；K_ois ^-1表示第一相机内参矩阵的逆。

标准相机内参K可以表示为：

其中，f表示相机的焦距；center_x表示图像传感器的光学中心在x轴的位置；center_y表示图像传感器的光学中心在y轴的位置。

在上述基础上，结合图5所示，上述S15中确定第一参考图像和第n帧原始图像之间对应的目标缩放因子和目标平移量可以包括以下S154至S163。

S154、对多帧原始图像分别进行特征点检测，确定第一参考图像中的特征点为第一特征点，第n帧原始图像中的特征点为原始特征点。

由于第一参考图像是从多帧原始图像中确定出的，所以，对多帧原始图像分别进行特征点检测，就相当于对第n帧原始图像以及第n帧原始图像对应的第一参考图像均进行了特征点检测，基于此，可以在某一帧原始图像被确定为第一参考图像时，将该帧原始图像中的原始特征点作为第一特征点。

应理解，特征点检测是计算机视觉和图像处理中的一个概念；特征点检测是指对图像进行的运算处理，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。比如轮廓点、较暗区域中的亮点、较亮区域中的暗点等。

示例性的，上述对图像进行特征点检测时采用的算法可以为：ORB算法、SIFT、SURF等。当然，也可以为其他检测方法，本申请实施例对此不进行任何限制。

S155、将第一参考图像和第n帧原始图像检测出的特征点进行匹配，确定多对特征点对。

特征点对可以是指两帧图像中指示相同内容的特征点组成的集合。其中，每对特征点对中的两个特征点具有一一对应的映射关系，每对特征点对中包括的两个特征点，一个为第一参考图像中的第一特征点，另一个为第n帧原始图像中的原始特征点。

例如，遍历第n帧原始图像，对第n帧原始图像进行特征点检测，可以确定出第n帧原始图像中包括的多个特征点，分别称为原始特征点。当确定第n+1帧原始图像为第n帧原始图像对应的第一参考图像时，遍历第n+1帧原始图像，对第n+1帧原始图像进特征点检测，也即对第一参考图像进行特征点检测，可以确定出第n+1帧原始图像中的多个特征点，分别称为第一特征点。基于此，再将第一参考图像中的多个第一特征点和第n帧原始图像中的多个原始特征点进行匹配，确定出一对或多对特征点对。其中，每对特征点对包括的两个特征点，一个为第一参考图像中的第一特征点，另一个为第n帧原始图像中的原始特征点。

示例性的，图7示出了一对确定出特征点对的第一参考图像和第n帧原始图像。

如图7中的(a)所示，第一参考图像包括有检测出的多个第一特征点，如图7中的(b)所示，第n帧原始图像包括有检测出的多个原始特征点。

然后，将第一参考图像和第n帧原始图像检测出的特征点进行匹配，比如将如图7中的(a)所示的道路左侧一个窗户左边的第一特征点a1与如图7中的(b)所示的道路左侧同一窗户左边的原始特征点a1'匹配，确定为一对特征点对；同理，将如图7中的(a)所示的道路左侧一个窗户右边的第一特征点b1与如图7中的(b)所示的道路左侧同一窗户右边的原始特征点b1'匹配，确定为一对特征点对；其他特征点的匹配方式类似，在此不再赘述。

依次类推，可以将第一参考图像中检测出的第一特征点和第n帧原始图像检测出的原始特征点匹配出多对特征点对。

可选地，作为一种可实现的方式，在将第一参考图像和第n帧原始图像确定出的特征点进行匹配时，可以对第一特征点和原始特征点均进行筛选，剔除图像中一些不满足要求或者误差比较大的特征点。

应理解，通过对第一参考图像和第n帧原始图像进行特征点检测和匹配，基于匹配的特征点可以将第一参考图像和第n帧原始图像的内容中相同的物体建立起对应关系，以便于后续可以根据特征点对之间的差异确定图像之间的缩放信息和平移信息。

S156、针对每对特征点对，确定原始特征点的原始坐标，确定第一特征点的第一坐标。

应理解，原始特征点对应的原始坐标指的是原始特征点在第n帧原始图像中的坐标；第一特征点对应的第一坐标指的是第一特征点在第一参考图像中的坐标。

可以理解的是，当某一帧原始图像被确定为第n帧原始图像对应的第一参考图像时，该原始图像中的原始特征点被作为第一特征点，该原始特征点的原始坐标被作为第一特征点的第一坐标。

S157、利用单应性变换矩阵，对第一参考图像中的第一特征点的第一坐标进行变换，确定变换后的第一特征点对应的第二坐标。

应理解，通过将第一参考图像的第一特征点的第一坐标与单应性变换矩阵进行相乘，该单应性变换矩阵可以将第一参考图像中的第一特征点根据相机内参与相机坐标系下的运动信息进行位姿变换，换句话说，就可以将相对清晰的第一参考图像中的第一特征点按照旋转关系，旋转成与第n帧原始图像旋转关系一致的第一特征点。

需要说明的是，二维坐标系可以包括二维图像坐标系，二维图像坐标系是指以像素为单位的二维坐标系。例如，相机采集图像在电子设备内可以存储为数组，数组中的每一个元素(像素，pixel)的值即是图像点的亮度(灰度)；在图像上定义直角坐标系u-v，每一个像素的坐标(u，v)可以分别表示该像素在数组中的列数和行数。

三维坐标系可以包括三维相机坐标系，三维相机坐标系是指以光心为原点的三维坐标系。

由于第一参考图像中第一特征点的第一坐标是二维图像坐标系下的值，所以可以将第一参考图像与相机内参矩阵的逆K_ois ^-1相乘，相当于将第一参考图像从二维图像坐标系变换为三维相机坐标系下；将相乘结果再与旋转矩阵R相乘，相当于再进行旋转变换；然后，将旋转变换后对应的数据与K相乘，相当于将三维相机坐标系下的运动又还原到二维图像坐标系中，由此，可以得到相对于第一特征点变换了旋转关系的新的第一特征点，该新的第一特征点的内容与原来的第一特征点对应，但是旋转关系与第n帧原始图像一致。

示例性的，图6是本申请实施例提供的一种确定第二坐标的示意图。

如图6中的(a)所示的，为本申请提供的第9帧原始图像，该第9帧原始图像中的心形图案是模糊的。经计算该第9帧原始图像的模糊度大于模糊度阈值，所以该第9帧原始图像被视为模糊帧，需要进行去模糊处理。然后，在该第9帧原始图像对应的预设帧数范围内确定出对应的第一参考图像，例如第10帧原始图像如图6中的(b)所示。

根据第一参考图像和该第9帧原始图像分别对应的陀螺仪数据，确定第一参考图像和第9帧原始图像之间对应的旋转矩阵，继续根据第一参考图像和第9帧原始图像分别对应的OIS数据，确定第一相机内参矩阵；然后利用公式H＝KRK_ois ^-1，可以确定出第一参考图像和该第9帧原始图像对应的单应性变换矩阵H。

由此，可以将第一参考图像的第一特征点的第一坐标和单应性变换矩阵H进行相乘，得到如图6中的(c)所示的第二坐标。第二坐标相对于第一坐标来说，旋转关系进行了校正，校正后的第二坐标与第9帧原始图像的原始坐标的旋转关系保持一致，比如两图中的心形图案的上下方向保持一致。

此处，需要说明的是，由于是将第一参考图像中的第一特征点利用单应性变换矩阵H进行变换，所以可以认为图6中的(c)所示的内容仅为多个特征点，不是完整的图像信息。

S158、根据多对特征点对中的任意两对特征点对，利用最小二乘法，确定一个缩放因子。

上述S156可以理解为，基于每对特征点对中原始特征点的原始坐标，变换后的第一特征点对应的第二坐标，根据多对特征点对中的任意两对特征点对，利用最小二乘法，确定一个缩放因子。

S159、重复执行S156多次，确定多个缩放因子。

示例性的，假设第n帧原始图像中的一个原始特征点的原始坐标为(x'，y'，1)，变换后的第一参考图像中相匹配的第一特征点的第二坐标为(x，y，1)，该两个特征点之间应具有缩放关系和平移关系，由此，可以将缩放关系和平移关系一起用3×3的矩阵H'来表示：

其中，s表示缩放关系，也即s为缩放因子；t_x用于表示x轴方向上的差值，t_y用于表示y轴方向上的差值，t_x、t_y用于表示平移关系，也即t_x、t_y为平移量。

由此，可以列出以下方程式(一)：

现从第n帧原始图像和第一参考图像匹配出的多对特征点对选取任意两对特征点对的原始坐标和第二坐标，带入上述方程中，可得到一组方程组：

/>

其中，(x₁'，y₁'，1)为第n帧原始图像中的一个原始特征点的原始坐标，(x₁，y₁，1)为变换后的第一参考图像中的一个第一特征点对应的第二坐标，该原始特征点和该第一特征点为一对匹配的特征点。

(x₂'，y₂'，1)为第n帧原始图像中的另一个原始特征点的原始坐标，(x₂，y₂，1)为变换后的第一参考图像中的另一个第一特征点对应的第二坐标，该原始特征点和该第一特征点为一对匹配的特征点。

将上述方程组拆解，可以导出以下方程组：

x₁'＝sx₁+t_x

y₁'＝sy₂+t_y；

x₂'＝sx₂+t_x

进而可以推导出方程式(二)：

假设用B来表示，/>用A来表示，/>用M来表示。

由此，上述方程式(二)可以简化为B＝AM。

那么，可以通过M＝(A^TA)^-1A^TB，来求解出一个表示缩放和平移关系的矩阵M。

此处，由于利用上述方式计算得到的平移量不够准确，因此可以仅保留缩放因子，换句话说，可以仅利用上述方式来计算表示缩放关系的缩放因子s。

重复执行上述步骤，每次从第n帧原始图像和第一参考图像匹配出的多对特征点对中选取任意两对特征点对，利用上述方法可以确定出一个对应的缩放因子s，多次可以确定出多个缩放因子s。

S160、确定多个缩放因子的平均值为目标缩放因子。

需要说明的是，确定出的多个缩放因子的平均值，为第一参考图像和第n帧原始图像对应的目标缩放因子，该目标缩放因子可以表示变换后的第一参考图像和第n帧原始图像之间的缩放关系。

可选地，作为一种可实现的方式，可以对缩放因子进行筛选，剔除一些异常的缩放因子，然后，确定剔除后的其他多个缩放因子的平均值为目标缩放因子。

比如，可以剔除一些与其他缩放因子差异比较大的缩放因子，以减小误差，提高求得的目标缩放因子的准确性。

S161、根据原始特征点的原始坐标和变换后的第一特征点对应的第二坐标，确定一组坐标差值。

S162、根据多对特征点对，确定多组坐标差值。

S163、确定多组坐标差值的平均坐标差值为目标平移量。

其中，每组坐标差值包括x轴方向的差值和y轴方向的差值，x轴和y轴相互垂直。平均坐标差值包括x轴方向的平均差值和y轴方向的平均差值。

应理解，由于匹配的特征点对中的第一特征点经过变换后对应的坐标为第二坐标，而原始特征点对应的原始坐标，第二坐标和原始坐标均包括x轴方向的坐标和y轴方向的坐标，因此可以将第二坐标和原始坐标的x轴坐标相减，得到的x轴方向的差值，以及可以将第二坐标和原始坐标的y轴坐标相减，得到y轴方向的差值。由此，可以根据一对特征点对所对应的x轴方向的差值和y轴方向的差值得到一组坐标差值，该一组坐标差值可以称为一个平移量。

重复执行上述步骤，每次从第n帧原始图像和第一参考图像匹配出的多对特征点对中选取一对特征点对，利用上述方法可以确定出一组坐标差值，多次可以确定出多组坐标差值。然后，确定多组坐标差值中的x轴方向的差值的平均值作为x轴的平均差值，确定多组坐标差值中的y轴方向的差值的平均值作为y轴的平均差值。

该x轴的平均差值和y轴的平均差值即为多组坐标差值的平均坐标差值，也即为多个平移量的平均值，由此，可以将该平均坐标差值作为目标平移量。

需要说明的是，确定出的多个平移量的平均值，为进行旋转关系校正后的第一参考图像和第n帧原始图像之间对应的目标平移量，该目标平移量可以表示进行旋转关系校正后的第一参考图像和第n帧原始图像之间的平移关系。

可选地，作为一种可实现的方式，可以对平移量进行筛选，剔除一些异常的平移量，然后，确定剔除后的其他多个平移量的平均值为目标平移量。

比如，可以剔除一些与其他平移量差异比较大的平移量，以减小误差，提高求得的目标平移量的准确性。

S16、根据第一参考图像和单应性变换矩阵、目标缩放因子和目标平移量，确定第n帧原始图像对应的目标图像。

也即，将第一参考图像按照单应性变换矩阵所表示的旋转关系，目标缩放因子所表示的缩放关系，目标平移量所表示的平移关系，将第一参考图像进行旋转、缩放和平移，由此，可以得到一帧与第n帧原始图像位姿关系完全相同的目标图像。又因为目标图像时由第一参考图像得到的，并未对第一参考图像的清晰度进行处理，第一参考图像的清晰度高于第n帧原始图像，所以目标图像的清晰度也高于第n帧原始图像。

示例性的，如图8所示，图8是在图6的基础上，继续确定目标图像的示意图。

如图8中的(a)所示的，为本申请提供的第9帧原始图像，该第9帧原始图像中的心形图案是模糊的。经计算该第9帧原始图像的模糊度大于模糊度阈值，所以该第9帧原始图像被视为模糊帧，需要进行去模糊处理。然后，在该第9帧原始图像对应的预设帧数范围内确定出对应的第一参考图像，例如第10帧原始图像如图8中的(b)所示。

由此，可以将第一参考图像所有像素的值和单应性变换矩阵H进行相乘，得到如图8中的(c)所示的第二参考图像。第二参考图像相对于第一参考图像来说，旋转关系进行了校正，校正后的第二参考图像与第9帧原始图像的旋转关系保持一致，比如两图中的心形图案的上下方向保持一致。

然后，再基于第二参考图像，根据目标缩放因子、目标平移量进行变换，可以得到如图8中的(d)所示的目标图像。目标图像相对于第二参考图像来说，缩放关系和平移关系均得到了校正，校正后的目标图像与第9帧原始图像的旋转、缩放、平移关系均保持一致，比如两图中的心形图案的上下方向、心形图案的大小、以及心形图案在图像中的相对位置均相同。不同的是，目标图像中的心形图案比第9帧原始图像的心形图案更清晰。

S17、利用目标图像替换第n帧原始图像。

利用本申请实施例提供的方法，可以得到一帧与第n帧原始图像相比，清晰度较高，其余特性均相同的目标图像，因此，将目标图像替换第n帧原始图像后，可以提高第n帧原始图像所对应的视频流的图像质量。

本申请实施例提供一种视频处理方法，通过确定出视频中的模糊帧以及其相邻范围内相对清晰的清晰帧，然后利用清晰帧和模糊帧之间对应的旋转、平移和缩放关系，将清晰帧变换成模糊帧位姿一致的目标图像，再利用目标图像替换模糊帧，从而提高图像的清晰需，进而可以改善视频的清晰度，提升用户体验。

图9示出了本申请实施例提供的视频处理方法的效果示意图。

如图9中的(a)所示，为视频中1帧模糊的图像帧。如图9中的(b)所示，为图9中的(a)所示的图像经本申请实施例提供的视频处理方法处理后，确定的目标图像，两者相比，该目标图像的清晰度较高，用该目标图像替换模糊的原始图像，可以使得图像的清晰度得到大幅提升。

本申请实施例提供一种视频处理方法，通过确定出视频中的模糊帧以及其相邻范围内相对清晰的清晰帧，然后利用清晰帧和模糊帧之间对应的旋转、平移和缩放关系，将清晰帧变换成模糊帧位姿关系一致的目标图像，再利用目标图像替换模糊帧。依次类推，可对每帧原始图像进行修复和提高，进而可以改善整个视频的清晰度，提升用户体验。

应理解，上述举例说明是为了帮助本领域技术人员理解本申请实施例，而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本申请实施例的范围内。

上文结合图2至图9，对本申请实施例的视频处理方法进行了详细描述，下面将结合图10至图12，详细描述本申请适用的电子设备的硬件系统、装置以及芯片。应理解，本申请实施例中的硬件系统、装置以及芯片可以执行前述本申请实施例的各种视频处理方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

本申请实施例提供的视频处理方法可以适用于各种电子设备，对应的，本申请实施例提供的视频处理装置可以为多种形态的电子设备。

在本申请的一些实施例中，该电子设备可以为单反相机、卡片机等各种摄像装置、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等，或者可以为其他能够进行图像处理的设备或装置，对于电子设备的具体类型，本申请实施例不作任何限制。

下文以电子设备为手机为例，图10示出了本申请实施例提供的一种电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

需要说明的是，图10所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图10所示的部件更多或更少的部件，或者，电子设备100可以包括图10所示的部件中某些部件的组合，或者，电子设备100可以包括图10所示的部件中某些部件的子部件。图10所示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在本申请的实施例中，处理器110可以运行本申请实施例提供的视频处理方法的软件代码，从而拍摄得到清晰度较高的视频。

图10所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获图像或视频。可以通过应用程序指令触发开启，实现拍摄功能，如拍摄获取任意场景的视频流。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。图像传感器主要是用于对拍照视角中的所有物体(也可称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，并输入处理器130进行后续处理。其中，摄像头193可以位于电子设备100的前面，也可以位于电子设备100的背面，摄像头的具体个数以及排布方式可以根据需求设置，本申请不做任何限制。

在本申请的实施例中，摄像头193可以获取视频流，该视频流包括多帧原始图像。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。

示例性地，在本申请的实施例中陀螺仪传感器180B可以用于采集的角度信息，角度信息可以用于确定原始图像对应的模糊度。

加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

示例性的，在本申请的实施例中加速度传感器180E可以用于采集加速度的大小，也即加速度信息，加速度信息可以用于确定原始图像对应的模糊度。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

图11为本申请实施例提供的一种视频处理装置的结构示意图。如图11所示，该视频处理装置200包括获取模块210和处理模块220。

该视频处理装置200可以执行以下方案：

获取模块210，用于获取视频流，视频流包括多帧原始图像。

处理模块220，用于确定视频流中的第n帧原始图像是否为预设帧数范围内的最清晰帧，n≥1，k≥1，n和k为正整数，预设帧数范围为第n-k帧原始图像至第n+k帧原始图像；若否，则将预设帧数范围内的最清晰帧作为第n帧原始图像对应的参考帧。

处理模块220还用于将参考帧和第n帧原始图像进行融合，得到第n帧原始图像对应的目标图像。

需要说明的是，上述视频处理装置200以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的模块，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例还提供另一种电子设备，包括摄像头模组、处理器和存储器。

摄像头模组，用于获取视频流，视频流包括多帧原始图像。

存储器，用于存储可在处理器上运行的计算机程序。

处理器，用于执行如上述所述的视频处理方法中进行处理的步骤。

可选地，摄像头模组可以包括广角摄像头、主摄摄像头、长焦摄像头中的至少一种。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令；当所述计算机可读存储介质在视频处理装置上运行时，使得该视频处理装置执行如图3所示的方法。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本申请实施例还提供了一种包含计算机指令的计算机程序产品，当其在视频处理装置上运行时，使得视频处理装置可以执行图3所示的技术方案。

图12为本申请实施例提供的一种芯片的结构示意图。图12所示的芯片可以为通用处理器，也可以为专用处理器。该芯片包括处理器301。其中，处理器301用于支持视频处理装置执行图3所示的技术方案。

可选的，该芯片还包括收发器302，收发器302用于接受处理器301的控制，用于支持通信装置执行图3所示的技术方案。

可选的，图12所示的芯片还可以包括：存储介质303。

需要说明的是，图12所示的芯片可以使用下述电路或者器件来实现：一个或多个现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑器件(programmable logic device，PLD)、控制器、状态机、门逻辑、分立硬件部件、任何其他适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

上述本申请实施例提供的电子设备、视频处理装置、计算机存储介质、计算机程序产品、芯片均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。

应理解，上述只是为了帮助本领域技术人员更好地理解本申请实施例，而非要限制本申请实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本申请实施例的范围内。

还应理解，上文对本申请实施例的描述着重于强调各个实施例之间的不同之处，未提到的相同或相似之处可以互相参考，为了简洁，这里不再赘述。

还应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，本申请实施例中，“预先设定”、“预先定义”可以通过在设备(例如，包括电子设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

还应理解，本申请实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。

还应理解，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

最后应说明的是：以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种视频处理方法，其特征在于，应用于电子设备，所述方法包括：

获取视频流，所述视频流包括多帧原始图像；

根据所述第一参考图像和所述第n帧原始图像分别对应的陀螺仪数据、分别对应的OIS数据，确定单应性变换矩阵，所述单应性变换矩阵用于表示图像旋转关系；

根据多对所述特征点对，结合所述单应性变换矩阵，确定目标缩放因子和目标平移量，所述目标缩放因子用于表示图像缩放关系，所述目标平移量用于表示图像平移关系；

利用所述目标图像替换所述第n帧原始图像。

2.根据权利要求1所述的视频处理方法，其特征在于，所述电子设备包括陀螺仪传感器和光学稳像OIS控制器；

根据所述第一参考图像和所述第n帧原始图像分别对应的陀螺仪数据、分别对应的OIS数据，确定单应性变换矩阵，包括：

3.根据权利要求1或2所述的视频处理方法，其特征在于，根据多对所述特征点对，结合所述单应性变换矩阵，确定所述目标缩放因子，包括：

重复执行多次，确定多个所述缩放因子；

确定多个所述缩放因子的平均值为所述目标缩放因子。

4.根据权利要求1或2所述的视频处理方法，其特征在于，根据多对所述特征点对，结合所述单应性变换矩阵，确定所述目标平移量，包括：

根据多对所述特征点对，确定多组坐标差值；

确定多组所述坐标差值的平均坐标差值为所述目标平移量。

5.根据权利要求1所述的视频处理方法，其特征在于，所述方法还包括：

确定所述视频流中的第n帧原始图像为清晰帧或模糊帧；

6.一种电子设备，其特征在于，包括摄像头模组、处理器和存储器；

所述处理器，用于执行如权利要求1至5中任一项所述的视频处理方法中进行处理的步骤。

7.一种芯片，其特征在于，包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行如权利要求1至5中任一项所述的视频处理方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如权利要求1至5中任一项所述的视频处理方法。