CN113660420A - 视频帧处理方法和视频帧处理装置 - Google Patents

Abstract

本申请公开了一种视频帧处理方法和视频帧处理装置，属于视频处理技术领域，其中，视频帧处理方法包括：在电子设备录制视频的过程中，获取第一视频帧，以及电子设备的旋转角度参数和平移向量参数，其中，平移向量参数为标记像素点在第一视频帧中的平移向量参数，旋转角度参数为电子设备拍摄视频过程中的旋转角度参数；根据旋转角度参数和平移向量参数，对第一视频帧进行修正处理，得到第二视频帧。

Description

视频帧处理方法和视频帧处理装置

技术领域

本申请属于视频处理技术领域，具体涉及一种视频帧处理方法和一种视频帧处理装置。

背景技术

通过电子设备拍摄视频已经成为人们记录和分享生活的新形式。但是在手持电子设备拍摄视频的过程中，由于光学稳像幅度有限，拍摄的视频稳像性差。

发明内容

本申请实施例的目的是提供一种视频帧处理方法、装置、电子设备和可读存储介质，提高录制视频的稳像性，避免拍摄过程中抖动导致的视频效果不佳的问题。

第一方面，本申请实施例提供了一种视频帧处理方法，该方法包括：在电子设备录制视频的过程中，获取第一视频帧，以及电子设备的旋转角度参数和平移向量参数，其中，平移向量参数为标记像素点在第一视频帧中的平移向量参数，旋转角度参数为电子设备拍摄视频过程中的旋转角度参数；根据旋转角度参数和平移向量参数，对第一视频帧进行修正处理，得到第二视频帧。

第二方面，本申请实施例提供了一种视频帧处理装置，该装置包括：获取单元，用于在电子设备录制视频的过程中，获取第一视频帧，以及电子设备的旋转角度参数和平移向量参数，其中，平移向量参数为标记像素点在第一视频帧中的平移向量参数，旋转角度参数为电子设备拍摄视频过程中的旋转角；处理单元，用于根据旋转角度参数和平移向量参数，对第一视频帧进行修正处理，得到第二视频帧。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。

第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的方法的步骤。

本申请实施例中，通过旋转角度参数和平移向量参数对第一视频帧进行修正，能够提高录制生成视频的稳像性，避免拍摄过程中抖动导致的视频效果不佳的问题。在对视频修正的过程中，不仅去除了视频中的旋转抖动，还去除了视频中的平移抖动，提高了电子设备对近景对象拍摄过程中的稳像效果，从而满足用户不同拍摄场景的视频的稳像需求。

附图说明

图1示出了根据本申请实施例的视频帧处理方法的流程示意图之一；

图2示出了根据本申请实施例的视频帧处理方法的流程示意图之二；

图3示出了根据本申请实施例的视频帧处理方法的流程示意图之三；

图4示出了根据本申请实施例的视频帧处理方法的流程示意图之四；

图5示出了根据本申请实施例的第三视频帧和第一视频帧的示意图；

图6示出了根据本申请实施例的视频帧处理方法的流程示意图之五；

图7示出了根据本申请实施例的视频帧处理方法的流程示意图之六；

图8示出了根据本申请实施例的旋转角度参数与时间的关系曲线；

图9示出了根据本申请实施例的视频帧处理方法的流程示意图之七；

图10示出了根据本申请实施例的视频处理装置的结构框图；

图11示出了根据本申请实施例的获取单元的结构框图；

图12示出了根据本申请实施例的电子设备的结构框图；

图13示出了本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图1至图13，通过具体的实施例及其应用场景对本申请实施例提供的视频帧处理方法和视频帧处理装置进行详细地说明。

本申请实施例提供了一种视频帧处理方法，图1示出了根据本申请实施例的视频帧处理方法的流程图之一，如图1所示，视频处理方法包括：

步骤102，在电子设备录制视频的过程中，获取第一视频帧，以及电子设备的旋转角度参数和平移向量参数；

其中，平移向量参数为标记像素点在第一视频帧中的平移向量参数，旋转角度参数为电子设备拍摄视频过程中的旋转角度参数。

步骤104，根据旋转角度参数和平移向量参数，对第一视频帧进行修正处理，得到第二视频帧。

本申请实施例所提供的视频帧处理方法，应用于电子设备，电子设备上设置有摄像头和传感器组件。在电子设备通过摄像头录制视频的过程中，传感器组件同步采集电子设备拍摄视频过程中的电子设备的旋转角度参数，以及平移向量参数，具体地，在在开始录制视频的开始阶段，在初始视频帧中标出标记像素点，采集在第一视频帧中标记像素点的平移向量参数，作为电子设备的平移向量参数。可以理解的是，用户在使用电子设备进行拍摄的过程中容易产生抖动，从而使生成的视频具有平移抖动和旋转抖动，电子设备的旋转角度参数能够反映出录制得到的视频的旋转抖动量，标记像素点在视频帧中的平移向量参数能够反映出录制得到的视频的平移抖动量。在视频的录制过程中，提取录制的视频中的视频帧，即第一视频帧，同时提取录制第一视频帧过程中的旋转角度参数和平移向量参数。通过旋转角度参数和平移向量参数对相第一视频帧进行修正，得到第二视频帧，第二视频帧为去除用户在拍摄过程中产生的旋转抖动量和平移抖动量的视频帧。

将录制得到的每个视频帧均作为第一视频帧进行修正处理，以得到与每个视频帧对应的第二视频帧。根据每个视频帧对应的第二视频帧生成修正后的视频，修正后的视频为去除录制过程中抖动的视频，提高了电子设备录制视频的防抖效果。

电子设备包括摄像头和传感器组件，在视频录制过程中，电子设备同时开启摄像头和传感器组件。其中，传感器组件包括动态视觉传感器和惯性测量传感器。动态视觉传感器用于采集标记像素点在第一视频中的平移向量参数，惯性测量传感器用于采集电子设备录制过程中的旋转角度参数。对第一视频帧修正所需的旋转角度参数和平移向量参数均由传感器实时采集得到，不需要处理器进行大量的数据计算，保证了对视频帧处理的实时性，保证在用户对视频录制结束后能够及时得到修正处理都的视频。并且视觉传感器和惯性测量传感器均为低功耗的元件，能够满足电子设备低功耗的需求。

其中，电子设备包括但不限于手机、移动电脑、平板电脑、录像机。

具体地，用户通过电子设备开始录制视频之前，通过开启电子设备的防抖录制功能。电子设备接收到防抖录制功能后，开启摄像头和传感器组件，在摄像头录制视频的过程中，动态视觉传感器实时采集标记像素点在视频帧中的平移向量参数，惯性测量传感器实时采集电子设备录制过程中的旋转角度参数。将当前采集到的视频帧作为第一视频帧，通过旋转角度参数对第一视频帧的旋转抖动进行修正，并通过平移向量参数对第一视频帧的平移抖动进行修正。通过上述修正方式，将电子设备录制的每一帧视频均作为第一视频帧进行修正，能够得到修正后的视频，实现了通过电子设备录制视频的防抖功能。

值得说明的是，在电子设备通过摄像头采集到视频帧后，通过电子设备的显示屏幕显示当前采集到的第一视频帧，并将由第二视频帧生成的修正后的视频进行缓存。在视频录制结束后，询问用户是否保存修正后的视频。用户能够根据实际需求选择保存原视频或修正后的视频。

本申请实施例通过旋转角度参数和平移向量参数对第一视频帧进行修正，能够提高录制生成视频的稳像性，避免拍摄过程中抖动导致的视频效果不佳的问题。在对视频修正的过程中，不仅去除了视频中的旋转抖动，还去除了视频中的平移抖动，提高了电子设备对近景对象拍摄过程中的稳像效果，从而满足用户不同拍摄场景的视频的稳像需求。

在本申请的一些实施例中，图2示出了根据本申请实施例的视频帧处理方法的流程图之二，如图2所示，获取电子设备的旋转角度参数的步骤，具体包括：

步骤202：获取与第一视频帧对应的电子设备的N个旋转角速度；

其中，N为大于1的整数，旋转角速度为通过惯性传感器采集的角速度。

步骤204，获取N个旋转角速度中每相邻两个角速度之间的时间间隔；

步骤206，根据N个旋转角速度与时间间隔，计算得到旋转角度参数。

本申请实施例中，在视频录制过程中，通过惯性传感器采集电子设备的旋转角速度。摄像头在录制一帧视频的过程中，惯性传感器能够采集电子设备的多个旋转角速度。可以理解的是，惯性传感器按照预设的固定采集频率对电子设备的旋转角速度进行采集，即惯性传感器对旋转角速度的采集频率高于摄像头录制视频帧的采集频率。由于采集旋转角速度的频率为预设的固定值，则采集到的相邻两个角速度之间的时间间隔为预设值，将多个旋转角速度与对应的时间间隔进行乘法计算能够得到电子设备的旋转角度参数。

本申请实施例将惯性传感器的角速度采集频率设置高于摄像头的视频帧采集频率，在摄像头采集一帧视频帧的过程中，惯性传感器能够采集与视频帧对应的多个旋转角速度。根据与第一视频帧对应的电子设备的多个旋转角速度对旋转角度参数进行计算，能够提高采集到的旋转角度的准确性，进而提高修复得到的第二视频帧的旋转抖动的去除效率。

具体地，采集第一视频帧对应的多个旋转角速度，将采集到的多个角速度中的每个旋转角速度与时间间隔进行乘法计算，以得到时间间隔内电子设备的旋转角度，并将多个计算的到的旋转角度进行累加，从而得到与第一视频帧对应的电子设备的旋转角度参数。

值得说明的是，惯性传感器采集的旋转角速度包括俯仰轴、横滚轴和平移轴方向上的旋转角速度，通过上述三个方向上的旋转角速度计算得到与三个方向对应的旋转角度，并将其转换为旋转矩阵后进行累乘计算，从而确定第一视频帧的旋转角度参数。

本申请实施例中根据俯仰轴、横滚轴和平移轴上的旋转角度确定旋转角度参数，根据旋转角度参数对第一视频帧进行修正，提高了对第一视频帧去除旋转抖动的效果。

在本申请的一些实施例中，图3示出了根据本申请实施例的视频帧处理方法的流程图之三，如图3所示，获取电子设备的平移向量参数的步骤，具体包括：

步骤302，提取第一视频帧采集过程中的第一像素信息；

其中，像素信息为通过动态视觉传感器采集的信息；

步骤304，根据第一像素信息，确定第一视频帧对应的电子设备的平移向量参数。

本申请实施例中，在摄像头录制视频的过程中，通过动态视觉传感器记录第一像素信息。对第一视频帧中的第一像素信息进行分析，能够得到标记像素点在第一视频帧中的平移向量信息。

可以理解的是，标记像素点在第一视频帧中的平移向量信息包括但不限于运动方向、运动距离和运动速度。

由于平移向量信息为根据动态视觉传感器采集到的第一像素信息得到的，故无需通过软件算法对第一视频帧中的图像与其他视频帧中的图像进行比对分析，减少了电子设备的处理器对视频数据的处理量，降低了电子设备的算力需求。

值得说明的是，视觉传感器为采集第一视频帧中的像素信息，依据像素信息得到的标记像素点在第一视频帧中的平移向量参数更加准确，从而提高了根据平移向量参数对第一视频帧去除平移抖动的效果，保证了根据第二视频帧得到的修正后的视频的稳像性。

在本申请的一些实施例中，图4示出了根据本申请实施例的视频帧处理方法的流程图之四，如图4所示，根据第一像素信息，确定第一视频帧对应电子设备的平移向量参数的步骤，具体包括：

步骤402，获取第三视频帧；

其中，第三视频帧为与第一视频帧相邻，且在第一视频帧之前的视频帧。

步骤404，提取第三视频帧中与第一像素信息相对应的第二像素信息；

步骤406，根据第一像素信息和第二像素信息，确定平移向量参数。

本申请实施例中，获取与第一视频帧相邻且在第一视频帧之前的第三视频帧，并提取第三视频帧中的与第一像素信息对应的第二像素信息。可以理解的是，第一像素信息和第二像素信息为相同的目标像素点的位置信息，即第一像素信息为目标像素点在第一视频帧中的位置信息，第二像素信息为目标像素点在第二视频帧中的位置信息。通过第一像素信息和第二像素信息能够确定，目标像素点在第三视频帧至第一视频帧的平移方向和平移距离，获取采集第三视频帧与采集第一视频帧之间的采集时间间隔，根据采集时间间隔和平移距离能够确定目标像素点的平移速度。

本申请实施例根据目标像素点在不同视频帧之间的位置信息的变化，精准地确定标记像素点在第一视频帧中的平移向量参数。由于平移向量参数为像素点的移动参数，因此，提高了平移向量参数的准确性，从而保证了对第一视频帧的处理效果。

图5示出了根据本申请实施例的第三视频帧502和第一视频帧504的示意图，如图5所示，目标像素点在第三视频帧502中，位于靠近第三视频帧502图像的左上角位置，读取目标像素点506在第三视频帧502中的第一坐标(x，y)，即第二像素信息。目标像素点506在第一视频帧504中，位于靠近第三视频帧502图像的中部位置，读取目标像素点506在第一视频帧504中的第二坐标(x+u,y+v)，即第一像素信息。根据第一坐标和第二坐标能够确定第一视频帧504的平移向量参数为(u,v)。

在本申请的一些实施例中，图6示出了根据本申请实施例的视频帧处理方法的流程图之五，如图6所示，根据旋转角度参数和平移向量参数，对第一视频帧进行修正处理，得到第二视频帧的步骤，具体包括：

步骤602，根据旋转角度参数和平移向量参数确定与第一视频帧对应的电子设备的稳像姿态参数；

步骤604，根据稳像姿态参数对第一视频帧进行修正处理。

本申请实施例中，第一视频帧的旋转角度参数和平移向量参数，能够反映出采集第一视频帧时电子设备的旋转抖动情况和平移抖动情况，因而对旋转角度参数和平移向量参数进行分析，能够得到第一视频帧模拟的最佳稳定姿态，即第一视频帧的稳像姿态参数。可以理解的是，在采集第一视频帧的过程中，如果将电子设备以稳像姿态参数进行采集，则能够保证第一视频帧的抖动较小。因此，根据稳像姿态参数对第一视频帧进行修正，能够提高第二视频帧的稳像性，避免了生成的视频抖动过大。

在本申请的一些实施例中，图7示出了根据本申请实施例的视频帧处理方法的流程图之六，如图7所示，根据旋转角度参数和平移向量参数确定与第一视频帧对应的电子设备的稳像姿态参数的步骤，具体包括：

步骤702，将旋转角度参数和平移向量参数输入至预设损失函数，以得到旋转补偿量和平移补偿量；

步骤704，根据旋转补偿量和平移补偿量确定稳像姿态参数。

本申请实施例中，通过将获取的旋转角度参数和平移向量参数输入至预设的损失函数，得到旋转补偿量和平移补偿量。稳像姿态参数为根据损失函数输出的旋转补偿量和平移补偿量得到的姿态参数，因而根据稳像姿态参数对第一视频帧进行修正处理，能够使对第一视频帧的旋转量修正补偿更加平滑，补偿后的第一视频帧的旋转量能够更加接近电子设备的实际旋转角度，补偿后的第一视频帧的位移量能够更加接近电子设备的实际平移向量。避免对第一视频帧修正后得到的第二视频帧失真，实现了在减少第二视频帧的旋转抖动和平移抖动的基础上，还使第二视频帧符合用户的实际录制需求。

具体地，根据稳像姿态参数确定第一视频帧的裁剪位置和裁剪量，按照裁剪位置和裁剪量对第一视频帧进行裁剪处理。

本申请实施例中，由于视频录制过程中，录制的目标物体通常位于视频帧的中部位置，在录制过程中受到旋转抖动和平移抖动的影响，目标物体通常会向视频帧的边缘移动，通过裁剪的方式能够快速对第一视频帧进行修正处理，使第一视频帧能够满足防抖动的需求。本申请实施例中，旋转补偿量和平移补偿量小于或等于补偿量阈值。

根据稳像姿态参数中的旋转补偿量和平移补偿量对第一视频帧进行裁剪修正，为避免对第一视频帧过度裁剪，对裁剪量设置了相应的裁剪量阈值，裁剪量阈值为补偿量阈值，需要保证裁剪量小于裁剪量阈值，避免了第二视频帧与用户的拍摄意图不符的问题发生。

值得说明的是，在对视频录制的初始视频帧设置标记像素点时，将标记像素点设置在靠近视频帧中部的位置。在对视频帧裁剪时，避免将视频帧中的标记像素点裁剪掉。

本申请实施例中，第二视频帧的平滑损失小于设定平滑损失。

平滑损失包括平移平滑损失和旋转平滑损失。其中，平移平滑损失与稳像姿态参数中的平移补偿量相关，旋转平滑损失与稳像姿态参数中的旋转补偿量相关。

本申请实施例将第二视频帧的平滑损失设置小于设定平滑损失，能够保证第二视频帧更加平滑，使根据第二视频帧生成的修正后的视频更加平滑，相比于由第一视频帧生成的原视频抖动更小。

本申请实施例中，第二视频帧与第一视频帧的近似度大于设定近似度参数。

第二视频帧与第一视频帧的近似度包括平移近似度和旋转近似度，其中平移近似度与稳像姿态参数中的平移补偿量相关，旋转近似度与稳像姿态参数中的旋转补偿量相关。

本申请实施例将第二视频帧与第一视频帧的近似度设置为大于设定近似度，使第二视频帧更加符合用户的拍摄意图，避免由第二视频帧生成的修正后的视频失真的情况发生。

具体地，将旋转平滑损失、平移平滑损失、旋转近似度和平移近似度按照设定权重系数进行计算，以得到补偿参数。使稳像姿态参数修正的第二视频帧对应的补偿参数小于设定补偿参数，从而满足第二视频帧的平滑度要求和近似度要求。实现了根据第二视频帧生成的修正后的视频抖动较小，且符合用户的拍摄意图。

图8示出了根据本申请实施例的旋转角度参数与时间的关系曲线，如图8所示，曲线1为第一视频帧中的旋转角度参数与时间的关系曲线，曲线2为修正后的第二视频帧中的旋转角度与时间的关系曲线。

本申请实施例中，通过稳像姿态参数对第一视频帧进行修正，修正后的第二视频帧对应的曲线2相对曲线1更加平滑，使根据第二视频帧生成的视频相较于原视频具有更加稳定的视觉效果，并且曲线2接近曲线1，保证了第二视频帧生成的视频符合用户的拍摄意图。

在本申请的一些实施例中，图9示出了根据本申请实施例的视频帧处理方法的流程图之七，如图9所示，根据旋转角度参数和平移向量参数，对第一视频帧进行修正处理，得到第二视频帧的步骤之后，还包括：

根据第二视频帧对视频中的第一视频帧进行更新，以得到目标视频。

其中，根据第二视频帧对视频中的第一视频帧进行更新的步骤，具体包括：

步骤902，获取第一视频帧在视频中的时间信息；

步骤904，根据时间信息，通过第二视频帧对视频中的第一视频帧进行更新，以生成目标视频。

本申请实施例中，在电子设备录制视频的过程中，将录制得到的原视频中的每一视频帧均作为第一视频帧进行修正处理，以得到与每一视频帧对应第二视频帧。获取与第二视频帧对应的第一视频帧的时间信息，按照时间信息对第二视频帧进行排序，生成目标视频。目标视频中的每一视频帧均为修正后的第二视频帧，故目标视频相较于由第一视频帧生成的原视频抖动更小，实现了对原视频的防抖处理。并且第二视频帧均由第一视频帧生成，因此目标视频符合用户的拍摄意图，提高了用户录制视频的体验。

在本申请的一些实施例中，提供了一种视频帧处理装置1000，图10示出了根据本申请实施例的视频帧处理装置1000的结构框图，如图10所示，视频帧处理装置1000包括：

获取单元1002，用于在电子设备录制视频的过程中，获取第一视频帧，以及电子设备的旋转角度参数和平移向量参数；

其中，平移向量参数为标记像素点在第一视频帧中的平移向量参数，旋转角度参数为电子设备拍摄视频过程中的旋转角。

处理单元1004，用于根据旋转角度参数和平移向量参数，对第一视频帧进行修正处理，得到第二视频帧。

本申请实施例中，通过旋转角度参数和平移向量参数对第一视频帧进行修正，能够提高录制生成视频的稳像性，避免拍摄过程中抖动导致的视频效果不佳的问题。在对视频修正的过程中，不仅去除了视频中的旋转抖动，还去除了视频中的平移抖动，提高了电子设备对近景对象拍摄过程中的稳像效果，从而满足用户不同拍摄场景的视频的稳像需求。

图11示出了根据本申请实施例的获取单元1002的结构框图，如图11所示，进一步地，获取单元1002包括：

第一采集单元10021，用于获取与第一视频帧对应的电子设备的N个旋转角速度，N为大于1的整数，其中，旋转角速度为通过惯性传感器采集的角速度；

第二采集单元10022，用于获取N个旋转角速度中每相邻两个角速度之间的时间间隔；

计算单元10023，用于根据N个旋转角速度与时间间隔，计算得到旋转角度参数。

本申请实施例将惯性传感器的角速度采集频率设置高于摄像头的视频帧采集频率，在摄像头采集一帧视频帧的过程中，惯性传感器能够采集与视频帧对应的多个旋转角速度。根据与第一视频帧对应的电子设备的多个旋转角速度对旋转角度参数进行计算，能够提高采集到的旋转角度的准确性，进而提高修复得到的第二视频帧的旋转抖动的去除效率。

如图11所示，进一步地，获取单元1002包括：

提取单元10024提取第一视频帧采集过程中的第一像素信息；

其中，像素信息为通过动态视觉传感器采集的信息。

确定单元10025，用于根据第一像素信息，确定第一视频帧对应的平移向量参数。

本申请实施例中，由于平移向量信息为根据动态视觉传感器采集到的第一像素信息得到的，故无需通过软件算法对第一视频帧中的图像与其他视频帧中的图像进行比对分析，减少了电子设备的处理器对视频数据的处理量，降低了电子设备的算力需求。

如图11所示，进一步地，获取单元1002包括：

第三采集单元10026，用于获取第三视频帧，其中，第三视频帧为与第一视频帧相邻，且在第一视频帧之前的视频帧；

提取单元还用于10024：提取第三视频帧中的第二像素信息，第二像素信息与第一像素信息相对应；

确定单元10025还用于：根据第一像素信息和第二像素信息，确定平移向量参数。

本申请实施例中，根据目标像素点在不同视频帧之间的位置信息的变化，精准地确定标记像素点在第一视频帧中的平移向量参数。由于平移向量参数为像素点的移动参数，因此，提高了平移向量参数的准确性，从而保证了对第一视频帧的处理效果。

进一步地，获取单元1002还用于：获取第一视频帧在视频中的时间信息；

视频帧处理装置1000还包括：

生成单元1006，用于根据时间信息，通过第二视频帧对视频中的第一视频帧进行更新，以生成目标视频。

本申请实施例中，在电子设备录制视频的过程中，将录制得到的原视频中的每一视频帧均作为第一视频帧进行修正处理，以得到与每一视频帧对应第二视频帧。获取与第二视频帧对应的第一视频帧的时间信息，按照时间信息对第二视频帧进行排序，生成目标视频。目标视频中的每一视频帧均为修正后的第二视频帧，故目标视频相较于由第一视频帧生成的原视频抖动更小，实现了对原视频的防抖处理。并且第二视频帧均由第一视频帧生成，因此目标视频符合用户的拍摄意图，提高了用户录制视频的体验。

精准地进一步地，处理单元1004还用于：根据旋转角度参数和平移向量参数确定与第一视频帧对应的电子设备的稳像姿态参数；

处理单元1004还用于：根据稳像姿态参数对第一视频帧进行修正处理。

进一步地，处理单元1004还用于：将旋转角度参数和平移向量参数输入至预设损失函数，以得到旋转补偿量和平移补偿量；根据旋转补偿量和平移补偿量确定稳像姿态参数。

本申请实施例中，第一视频帧的旋转角度参数和平移向量参数，能够反映出采集第一视频帧时电子设备的旋转抖动情况和平移抖动情况，因而对旋转角度参数和平移向量参数进行分析，能够得到第一视频帧模拟的最佳稳定姿态，即第一视频帧的稳像姿态参数。可以理解的是，在采集第一视频帧的过程中，如果将电子设备以稳像姿态参数进行采集，则能够保证第一视频帧的抖动较小。因此，根据稳像姿态参数对第一视频帧进行修正，能够提高第二视频帧的稳像性，避免了生成的视频抖动过大。

进一步地，旋转补偿量和平移补偿量小于或等于补偿量阈值。

本申请实施例中，根据稳像姿态参数中的旋转补偿量和平移补偿量对第一视频帧进行裁剪修正，为避免对第一视频帧过度裁剪，对裁剪量设置了相应的裁剪量阈值，裁剪量阈值为补偿量阈值，需要保证裁剪量小于裁剪量阈值，避免了第二视频帧与用户的拍摄意图不符的问题发生。

进一步地，第二视频帧的平滑损失小于设定平滑损失。

本申请实施例中，将第二视频帧的平滑损失设置小于设定平滑损失，能够保证第二视频帧更加平滑，使根据第二视频帧生成的修正后的视频更加平滑，相比于由第一视频帧生成的原视频抖动更小。

进一步地，第二视频帧的平滑损失小于设定平滑损失。

本申请实施例中，将第二视频帧与第一视频帧的近似度设置为大于设定近似度，使第二视频帧更加符合用户的拍摄意图，避免由第二视频帧生成的修正后的视频失真的情况发生。

进一步地，处理单元1004还用于：根据稳像姿态参数确定第一视频帧的裁剪位置和裁剪量；

处理单元1004还用于：按照裁剪位置和裁剪量对第一视频帧进行裁剪处理。

本申请实施例中，由于视频录制过程中，录制的目标物体通常位于视频帧的中部位置，在录制过程中受到旋转抖动和平移抖动的影响，目标物体通常会向视频帧的边缘移动，通过裁剪的方式能够快速对第一视频帧进行修正处理，使第一视频帧能够满足防抖动的需求。

本申请实施例中的视频帧处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobilepersonalcomputer，UMPC)、上网本或者个人数字助理(personaldigitalassistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttachedStorage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的视频帧处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的视频帧处理装置能够实现如图1至图8的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，本申请实施例还提供一种电子设备1200，图12示出了根据本申请实施例的电子设备的结构框图，如图12所示，包括处理器1210，存储器1209，存储在存储器1209上并可在处理器1210上运行的程序或指令，该程序或指令被处理器1210执行时实现上述视频帧处理方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图13为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1200包括但不限于：射频单元1201、网络模块1202、音频输出单元1203、输入单元1204、传感器1205、显示单元1206、用户输入单元1207、接口单元1208、存储器1209、以及处理器1210等部件。

本领域技术人员可以理解，电子设备1200还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1210逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图13中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1210用于在电子设备录制视频的过程中，获取第一视频帧，以及与第一视频帧对应的电子设备的旋转角度参数和平移向量参数。

其中，平移向量参数为标记像素点在第一视频帧中的平移向量参数，旋转角度参数为电子设备拍摄视频过程中的旋转角度参数。

处理器1210用于根据旋转角度参数和平移向量参数，对第一视频帧进行修正处理，得到第二视频帧。

本申请实施例中，通过旋转角度参数和平移向量参数对第一视频帧进行修正，能够提高录制生成视频的稳像性，避免拍摄过程中抖动导致的视频效果不佳的问题。在对视频修正的过程中，不仅去除了视频中的旋转抖动，还去除了视频中的平移抖动，提高了电子设备对近景对象拍摄过程中的稳像效果，从而满足用户不同拍摄场景的视频的稳像需求。

可选地，处理器1210还用于获取与第一视频帧对应的电子设备的N个旋转角速度，N为大于1的整数，其中，旋转角速度为通过惯性传感器采集的角速度；获取N个旋转角速度中每相邻两个角速度之间的时间间隔；根据N个旋转角速度与时间间隔，计算得到旋转角度参数。

本申请实施例将惯性传感器的角速度采集频率设置高于摄像头的视频帧采集频率，在摄像头采集一帧视频帧的过程中，惯性传感器能够采集与视频帧对应的多个旋转角速度。根据与第一视频帧对应的电子设备的多个旋转角速度对旋转角度参数进行计算，能够提高采集到的旋转角度的准确性，进而提高修复得到的第二视频帧的旋转抖动的去除效率。

可选地，处理器1210，还用于提取第一视频帧采集过程中的第一像素信息，其中，像素信息为通过动态视觉传感器采集的信息；

根据第一像素信息，确定第一视频帧对应的平移向量参数。

本申请实施例中，由于平移向量信息为根据动态视觉传感器采集到的第一像素信息得到的，故无需通过软件算法对第一视频帧中的图像与其他视频帧中的图像进行比对分析，减少了电子设备的处理器对视频数据的处理量，降低了电子设备的算力需求。

可选地，处理器1210，还用于获取第三视频帧，其中，第三视频帧为与第一视频帧相邻，且在第一视频帧之前的视频帧；

提取第三视频帧中的第二像素信息，第二像素信息与第一像素信息相对应；

根据第一像素信息和第二像素信息，确定平移向量参数。

本申请实施例中，根据目标像素点在不同视频帧之间的位置信息的变化，精准地确定标记像素点在第一视频帧中的平移向量参数。由于平移向量参数为像素点的移动参数，因此，提高了平移向量参数的准确性，从而保证了对第一视频帧的处理效果。

可选地，处理器1210，还用于根据旋转角度参数和平移向量参数确定与第一视频帧对应的电子设备的稳像姿态参数；

根据稳像姿态参数对第一视频帧进行修正处理。

可选地，处理器1210，还用于将旋转角度参数和平移向量参数输入至预设损失函数，以得到旋转补偿量和平移补偿量；根据旋转补偿量和平移补偿量确定稳像姿态参数。

本申请实施例中，第一视频帧的旋转角度参数和平移向量参数，能够反映出采集第一视频帧时电子设备的旋转抖动情况和平移抖动情况，因而对旋转角度参数和平移向量参数进行分析，能够得到第一视频帧模拟的最佳稳定姿态，即第一视频帧的稳像姿态参数。可以理解的是，在采集第一视频帧的过程中，如果将电子设备以稳像姿态参数进行采集，则能够保证第一视频帧的抖动较小。因此，根据稳像姿态参数对第一视频帧进行修正，能够提高第二视频帧的稳像性，避免了生成的视频抖动过大。

可选地，旋转补偿量和平移补偿量小于或等于补偿量阈值。

本申请实施例中，根据稳像姿态参数中的旋转补偿量和平移补偿量对第一视频帧进行裁剪修正，为避免对第一视频帧过度裁剪，对裁剪量设置了相应的裁剪量阈值，裁剪量阈值为补偿量阈值，需要保证裁剪量小于裁剪量阈值，避免了第二视频帧与用户的拍摄意图不符的问题发生。

可选地，第二视频帧的平滑损失小于设定平滑损失。

本申请实施例中，将第二视频帧的平滑损失设置小于设定平滑损失，能够保证第二视频帧更加平滑，使根据第二视频帧生成的修正后的视频更加平滑，相比于由第一视频帧生成的原视频抖动更小

可选地，第二视频帧的平滑损失小于设定平滑损失。

本申请实施例中，将第二视频帧与第一视频帧的近似度设置为大于设定近似度，使第二视频帧更加符合用户的拍摄意图，避免由第二视频帧生成的修正后的视频失真的情况发生。

可选地，处理器1210，还用于根据稳像姿态参数确定第一视频帧的裁剪位置和裁剪量；

按照裁剪位置和裁剪量对第一视频帧进行裁剪处理。

本申请实施例中，由于视频录制过程中，录制的目标物体通常位于视频帧的中部位置，在录制过程中受到旋转抖动和平移抖动的影响，目标物体通常会向视频帧的边缘移动，通过裁剪的方式能够快速对第一视频帧进行修正处理，使第一视频帧能够满足防抖动的需求。

可选地，处理器1210，还用于根据第二视频帧对视频中的第一视频帧进行更新，以得到目标视频。

可选地，处理器1210，还用于获取第一视频帧在视频中的时间信息；

根据时间信息，通过第二视频帧对视频中的第一视频帧进行更新，以生成目标视频。

本申请实施例中，在电子设备录制视频的过程中，将录制得到的原视频中的每一视频帧均作为第一视频帧进行修正处理，以得到与每一视频帧对应第二视频帧。获取与第二视频帧对应的第一视频帧的时间信息，按照时间信息对第二视频帧进行排序，生成目标视频。目标视频中的每一视频帧均为修正后的第二视频帧，故目标视频相较于由第一视频帧生成的原视频抖动更小，实现了对原视频的防抖处理。并且第二视频帧均由第一视频帧生成，因此目标视频符合用户的拍摄意图，提高了用户录制视频的体验。

应理解的是，本申请实施例中，如图13所示，输入单元1204可以包括图形处理器(GraphicsProcessingUnit，GPU)12041和麦克风12042，图形处理器12041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1206可包括显示面板12061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板12061。用户输入单元1207包括触控面板12071以及其他输入设备12072。触控面板12071，也称为触摸屏。触控面板12071可包括触摸检测装置和触摸控制单元两个部分。其他输入设备12072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1209可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1210可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1210中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述视频帧处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述视频帧处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种视频帧处理方法，其特征在于，包括：

在电子设备录制视频的过程中，获取第一视频帧，以及电子设备的旋转角度参数和平移向量参数，其中，所述平移向量参数为标记像素点在所述第一视频帧中的平移向量参数，所述旋转角度参数为所述电子设备拍摄所述视频过程中的旋转角度参数；

根据所述旋转角度参数和所述平移向量参数，对所述第一视频帧进行修正处理，得到第二视频帧。

2.根据权利要求1所述的视频帧处理方法，其特征在于，所述获取电子设备的旋转角度参数的步骤，具体包括：

获取与所述第一视频帧对应的所述电子设备的N个旋转角速度，N为大于1的整数，其中，所述旋转角速度为通过惯性传感器采集的角速度；

获取所述N个旋转角速度中每相邻两个所述角速度之间的时间间隔；

根据所述N个旋转角速度与所述时间间隔，计算得到所述旋转角度参数。

3.根据权利要求1所述的视频帧处理方法，其特征在于，所述获取电子设备的平移向量参数的步骤，具体包括：

提取所述第一视频帧采集过程中的第一像素信息，其中，所述像素信息为通过动态视觉传感器采集的信息；

根据所述第一像素信息，确定所述第一视频帧对应的电子设备的所述平移向量参数。

4.根据权利要求3所述的视频帧处理方法，其特征在于，所述根据所述像素信息，确定所述第一视频帧对应的电子设备的所述平移向量参数的步骤，具体包括：

获取第三视频帧，其中，所述第三视频帧为与所述第一视频帧相邻，且在所述第一视频帧之前的视频帧；

提取所述第三视频帧中的第二像素信息，所述第二像素信息与所述第一像素信息相对应；

根据所述第一像素信息和所述第二像素信息，确定所述平移向量参数。

5.根据权利要求1至4中任一项所述的视频帧处理方法，其特征在于，在所述根据所述旋转角度参数和所述平移向量参数，对所述第一视频帧进行修正处理，得到第二视频帧的步骤之后，还包括：

获取所述第一视频帧在所述视频中的时间信息；

根据所述时间信息，通过所述第二视频帧对所述视频中的所述第一视频帧进行更新，以生成目标视频。

6.一种视频帧处理装置，其特征在于，包括：

获取单元，用于在电子设备录制视频的过程中，获取第一视频帧，以及与所述电子设备的旋转角度参数和平移向量参数，其中，所述平移向量参数为标记像素点在所述第一视频帧中的平移向量参数，所述旋转角度参数为所述电子设备拍摄所述视频过程中的旋转角度参数；

处理单元，用于根据所述旋转角度参数和所述平移向量参数，对所述第一视频帧进行修正处理，得到第二视频帧。

7.根据权利要求6所述的视频帧处理装置，其特征在于，所述获取单元包括：

第一采集单元，用于获取与所述第一视频帧对应的所述电子设备的N个旋转角速度，N为大于1的整数，其中，所述旋转角速度为通过惯性传感器采集的角速度；

第二采集单元，用于获取所述N个旋转角速度中每相邻两个所述角速度之间的时间间隔；

计算单元，用于根据所述N个旋转角速度与所述时间间隔，计算得到所述旋转角度参数。

8.根据权利要求6所述的视频帧处理装置，其特征在于，所述获取单元包括：

提取单元，用于提取所述第一视频帧采集过程中的第一像素信息，其中，所述像素信息为通过动态视觉传感器采集的信息；

确定单元，用于根据所述第一像素信息，确定所述第一视频帧对应的所述平移向量参数。

9.根据权利要求8所述的视频帧处理装置，其特征在于，所述获取单元包括：

第三采集单元，用于获取第三视频帧，其中，所述第三视频帧为与所述第一视频帧相邻，且在所述第一视频帧之前的视频帧；

提取单元还用于提取所述第三视频帧中的第二像素信息，所述第二像素信息与所述第一像素信息相对应；

确定单元还用于根据所述第一像素信息和所述第二像素信息，确定所述平移向量参数。

10.根据权利要求6至9中任一项所述的视频帧处理装置，其特征在于，

获取单元还用于获取所述第一视频帧在所述视频中的时间信息；

所述视频帧处理装置还包括：

生成单元，用于根据所述时间信息，通过所述第二视频帧对所述视频中的所述第一视频帧进行更新，以生成目标视频。

Images