CN113329170A - 图像抖动校正方法、装置、计算机设备和可读存储介质 - Google Patents

Abstract

本申请涉及一种图像抖动校正方法、装置、计算机设备和可读存储介质，其中，该方法包括：获取视频图像和预设图像校正参数；预设图像校正参数包括预设防抖动增益；基于预设防抖动增益对视频图像进行抖动校正处理，并获取视频图像的抖动量，基于抖动量调整预设防抖动增益，并基于调整后的防抖动增益对视频图像进行抖动校正处理，以获取目标视频图像。通过本申请，解决了相关技术中无法实时有效地消除图像抖动对视频图像清晰度的影响的问题。

Description

图像抖动校正方法、装置、计算机设备和可读存储介质

技术领域

本申请涉及图像抖动技术领域，特别是涉及一种图像抖动校正方法、装置、计算机设备和可读存储介质。

背景技术

摄像机在拍摄过程中，可能会受到其所在环境的影响而发生抖动，此时监控摄像机拍摄的影像会变得模糊，这会严重影响摄像机拍摄过程中图像的清晰度，因此如何有效避免图像抖动对图像清晰度的影响成为本领域亟待解决的技术问题。

在相关技术中，对连续多帧抖动的图像进行裁剪，以去除边缘抖动的像素，保留图像中部公共静止的场景，从而在最终视频中消除抖动。采用这种方法，不需要复杂的外设，利用视频芯片的处理能力并配合合适的算法就能取得一定的防抖动效果，然而，部分图像像素被裁剪会影响整个图像的清晰度，另外，这种方法在长焦镜头的应用场景中的处理效果比较差。

目前针对相关技术中，无法实时有效地消除图像抖动对视频图像清晰度的影响的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种图像抖动校正方法、装置、计算机设备和可读存储介质，以至少解决相关技术中无法实时有效地消除图像抖动对视频图像清晰度的影响的问题。

第一方面，本申请实施例提供了一种图像抖动校正方法，包括：

获取视频图像和预设图像校正参数；所述预设图像校正参数包括预设防抖动增益；

基于所述预设防抖动增益对所述视频图像进行抖动校正处理，并获取所述视频图像的抖动量，基于所述抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，以获取目标视频图像。

在其中一些实施例中，所述基于所述预设防抖动增益对所述视频图像进行抖动校正处理，并获取所述视频图像的抖动量，基于所述抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，以获取目标视频图像包括：

基于所述预设防抖动增益对所述视频图像进行抖动校正处理，并获取所述视频图像的第一抖动量；

基于所述第一抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，获取所述视频图像的第二抖动量；

重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点，获取目标视频图像。在其中一些实施例中，所述基于所述第一抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，获取所述视频图像的第二抖动量包括：

判断所述第一抖动量是否达到所述极小值点；

若所述第一抖动量未达到所述极小值点，则以第一调整方向调整所述预设防抖动增益，得到调整后的防抖动增益；所述第一调整方向包括增大所述预设防抖动增益的方向或者减小所述预设防抖动增益的方向；

基于调整后的防抖动增益对所述视频图像进行抖动校正处理，获取所述第二抖动量。

在其中一些实施例中，所述重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点包括：

基于所述第一抖动量和所述第二抖动量，判断所述视频图像的抖动量是否减小；

若所述视频图像的抖动量减小，则继续以所述第一调整方向调整防抖动增益，并重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点；

若所述视频图像的抖动量增大，则以第二调整方向调整防抖动增益，并重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点；所述第一调整方向与所述第二调整方向相反；所述第二调整方向包括减小防抖动增益的方向或者增大防抖动增益的方向。

在其中一些实施例中，在所述以第一调整方向调整所述预设防抖动增益，得到调整后的防抖动增益之前，所述方法还包括：

获取预设时间段内所述视频图像中预设标定位置的位置变化矢量，以及获取所述预设时间段内角速度传感器的角度变化矢量；

比较所述位置变化矢量的方向与所述角度变化矢量的方向，得到比较结果，并基于所述比较结果确定所述第一调整方向。

在其中一些实施例中，所述基于所述比较结果确定所述第一调整方向包括：

根据所述比较结果，若所述位置变化矢量的方向与所述角度变化矢量的方向一致，则确定所述第一调整方向为增大所述预设防抖动增益的方向；

若所述位置变化矢量的方向与所述角度变化矢量的方向不一致，则确定所述第一调整方向为减小所述预设防抖动增益的方向。

在其中一些实施例中，所述预设防抖动增益包括预设水平防抖动增益和预设垂直防抖动增益；所述第一调整方向包括第一水平调整方向和第一垂直调整方向；所述比较所述位置变化矢量的方向与所述角度变化矢量的方向，得到比较结果，并基于所述比较结果确定所述第一调整方向包括：

比较所述位置变化矢量的水平方向与所述角度变化矢量的水平方向，得到水平方向比较结果，并基于所述水平方向比较结果确定所述第一水平调整方向；所述第一水平调整方向用于调整所述预设水平防抖动增益；

比较所述位置变化矢量的垂直方向与所述角度变化矢量的垂直方向，得到垂直方向比较结果，并基于所述垂直方向比较结果确定所述第一垂直调整方向；所述第一垂直调整方向用于调整所述预设垂直防抖动增益。

在其中一些实施例中，在所述重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点，获取目标视频图像之后，所述方法还包括：

获取所述极小值点的抖动量对应的目标防抖动增益，并基于所述目标防抖动增益更新所述预设图像校正参数，得到更新后的图像校正参数。

第二方面，本申请实施例提供了一种图像抖动校正装置，包括：

数据获取模块，用于获取视频图像和预设图像校正参数；所述预设图像校正参数包括预设防抖动增益；

抖动校正模块，用于基于所述预设防抖动增益对所述视频图像进行抖动校正处理，并获取所述视频图像的抖动量，基于所述抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，以获取目标视频图像。

第三方面，本申请实施例提供了一种图像抖动校正系统，应用于摄像设备，包括：图像传感器、图像抖动计算模块、抖动校正控制模块以及存储模块，其中，

所述图像传感器分别与所述摄像设备、所述图像抖动计算模块连接，用于采集所述摄像设备拍摄的视频图像，并将所述视频图像传输至所述图像抖动计算模块；

所述图像抖动计算模块与所述抖动校正控制模块连接，用于接收所述图像传感器传输的所述视频图像，以及获取所述视频图像的抖动量，并将所述抖动量传输至所述抖动校正控制模块；

所述抖动校正控制模块分别与所述存储模块、所述图像传感器连接，用于从所述存储模块中获取预设图像校正参数、从所述图像传感器中获取所述视频图像以及接收所述图像抖动计算模块传输的所述抖动量，并执行如上述第一方面所述的图像抖动校正方法。

在其中一些实施例中，所述图像抖动校正系统还包括防抖增益参数模块；其中，所述防抖增益参数模块中存储有预设防抖增益参数；

所述抖动校正控制模块与所述防抖增益参数模块连接，还用于根据目标防抖动增益更新所述防抖增益参数模块中的预设防抖增益参数。

在其中一些实施例中，所述图像抖动校正系统还包括驱动控制模块、防抖补偿运动模块以及角度计算模块；其中：

所述驱动控制模块分别与所述防抖增益参数模块、所述角度计算模块以及所述防抖补偿运动模块连接，用于从所述防抖增益参数模块中获取更新后的防抖动增益参数以及从所述角度计算模块中获取角度信号，根据所述角度信号和更新后的防抖动增益参数得到当前防抖动增益，并根据所述当前防抖动增益驱动所述防抖补偿运动模块进行防抖补偿作业。

在其中一些实施例中，所述防抖补偿运动模块与所述图像传感器连接，用于根据所述当前防抖动增益控制所述图像传感器的底板进行防抖补偿运动。

在其中一些实施例中，所述防抖补偿运动模块与所述摄像设备连接，还用于根据所述当前防抖动增益控制所述摄像设备的镜头进行防抖补偿运动。

第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的图像抖动校正方法。

第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的图像抖动校正方法。

相比于相关技术，本申请实施例提供的图像抖动校正方法、装置、计算机设备和可读存储介质，通过获取视频图像和预设图像校正参数；预设图像校正参数包括预设防抖动增益；基于预设防抖动增益对视频图像进行抖动校正处理，并获取视频图像的抖动量，基于抖动量调整预设防抖动增益，并基于调整后的防抖动增益对视频图像进行抖动校正处理，以获取目标视频图像。本申请通过视频图像的抖动量的变化实时调整防抖动增益，并基于调整后的防抖动增益实时地对视频图像进行抖动校正处理，解决了相关技术中无法实时有效地消除图像抖动对视频图像清晰度的影响的问题。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例的图像抖动校正方法的流程图；

图2为本申请实施例中调整预设防抖动增益以及对视频图像进行抖动校正的流程图；

图3为本申请实施例中重复抖动校正处理以及调整防抖动增益的步骤的流程图；

图4为本申请实施例中确定第一调整方向的流程图；

图5为本申请具体实施例的图像抖动校正方法的流程图；

图6为本申请实施例的图像抖动校正装置的结构框图；

图7为本申请实施例的图像抖动校正系统的结构框图；

图8为本申请实施例的图像抖动校正设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请所描述的各种技术，可以但不仅限于应用于各种抖动校正系统、装置以及设备。

在相关技术中，防抖动增益参数β一般是一个预先设置好的固定值，该预设的防抖动增益参数β本身就不一定精准。同时，角速度传感器在实际应用场景中的漂移也可能会导致防抖动增益参数β未达到最佳值，进而导致防抖动校正效果劣化的问题。

基于上述问题，本申请提供了一种图像抖动校正方法，以至少解决相关技术中防抖动校正效果差以及无法实时有效地消除图像抖动对视频图像清晰度的影响的问题。

图1为本申请实施例的图像抖动校正方法的流程图，如图1所示，该流程包括如下步骤：

步骤S110，获取视频图像和预设图像校正参数；预设图像校正参数包括预设防抖动增益。

预设图像校正参数包括但不仅限于预设防抖动增益，还可能包括图像亮度调节参数和图像对比度调节参数等，本实施例不作限制。

防抖动增益表示增益放大后的角度信号经驱动控制电路转换得到的驱动量。角度信号表示角速度积分后的信号。驱动控制电路可以是PID控制电路，也可以是其他驱动控制电路，本实施例不作限制。角度信号可以由角度计算模块对角速度传感器采集到的角度数据进行积分得到。例如，将角度信号增益放大β倍，并将增益放大β倍后的角度信号转换成防抖运动部件的驱动量，该驱动量即为防抖动增益。其中，增益放大的倍数β即为防抖动增益参数。

步骤S120，基于预设防抖动增益对视频图像进行抖动校正处理，并获取视频图像的抖动量，基于抖动量调整预设防抖动增益，并基于调整后的防抖动增益对视频图像进行抖动校正处理，以获取目标视频图像。

通过上述步骤S110至步骤S120，获取视频图像和预设图像校正参数；预设图像校正参数包括预设防抖动增益；基于预设防抖动增益对视频图像进行抖动校正处理，并获取视频图像的抖动量，基于抖动量调整预设防抖动增益，并基于调整后的防抖动增益对视频图像进行抖动校正处理，以获取目标视频图像。本申请通过将视频图像的抖动量的变化作为反馈信息实时调整防抖动增益，并基于调整后的防抖动增益实时地对视频图像进行抖动校正处理，以消除图像抖动对视频图像清晰度的影响，从而可以提供视频图像的清晰度，解决了相关技术中无法实时有效地消除图像抖动对视频图像清晰度的影响的问题。

在其中一些实施例中，上述步骤S120具体包括以下步骤：

步骤S121，基于预设防抖动增益对视频图像进行抖动校正处理，并获取视频图像的第一抖动量。

步骤S122，基于第一抖动量调整预设防抖动增益，并基于调整后的防抖动增益对视频图像进行抖动校正处理，获取视频图像的第二抖动量。

步骤S123，重复上述抖动校正处理以及调整防抖动增益的步骤，直至视频图像的抖动量达到极小值点，获取目标视频图像。

极小值点表示增大防抖动增益或者减小防抖动增益，均会导致视频图像的抖动量增加的点。

具体地，基于第二抖动量继续调整防抖动增益，并基于当前防抖动增益对视频图像进行抖动校正处理，获取视频图像的第三抖动量，以此类推，交替重复上述抖动校正处理以及调整防抖动增益的步骤，直至视频图像的抖动量达到极小值点。

需要说明的是，重复一次上述抖动校正处理以及调整防抖动增益的步骤表示一次迭代的过程，通过多次迭代，使得视频图像的抖动量达到极小值点，从而能够最大程度地消除图像抖动对视频图像清晰度的影响。

在调整预设防抖动增益的过程中实际上是对防抖动增益参数β进行调整，即增大或者减小防抖动增益参数β，直至视频图像的抖动量达到极小值点，该极小值点对应的目标防抖动增益参数β为当前应用场景下的最佳防抖动增益参数，此时，目标视频图像的抖动量达到极小值点，最大程度地消除了图像抖动对视频图像清晰度的影响。

上述步骤S121至步骤S123，通过将视频图像的抖动量的变化作为反馈信息实时调整防抖动增益，并基于调整后的防抖动增益实时地对视频图像进行抖动校正处理，直至视频图像的抖动量达到极小值点，从而可以实现防抖动增益在实际应用场景达到最优值，进而可以有效提高防抖动校正处理效果，消除图像抖动对视频图像清晰度的影响，可以进一步提高视频的图像清晰度。

在其中一些实施例中，图2为本申请实施例中调整预设防抖动增益以及对视频图像进行抖动校正的流程图，如图2所示，该流程包括如下步骤：

步骤S210，判断第一抖动量是否达到极小值点。

步骤S220，若第一抖动量未达到极小值点，则以第一调整方向调整预设防抖动增益，得到调整后的防抖动增益；第一调整方向包括增大预设防抖动增益的方向或者减小预设防抖动增益的方向。

具体地，若第一抖动量未达到极小值点，则可以选取增大预设防抖动增益的方向或者减小预设防抖动增益的方向作为第一调整方向，并基于第一调整方向调整预设防抖动增益。

步骤S230，基于调整后的防抖动增益对视频图像进行抖动校正处理，获取第二抖动量。

在其中一些实施例中，图3为本申请实施例中重复抖动校正处理以及调整防抖动增益的步骤的流程图，如图3所示，该流程包括如下步骤：

步骤S310，基于第一抖动量和第二抖动量，判断视频图像的抖动量是否减小。

步骤S320，若视频图像的抖动量减小，则继续以第一调整方向调整防抖动增益，并重复上述抖动校正处理以及调整防抖动增益的步骤，直至视频图像的抖动量达到极小值点。

步骤S330，若视频图像的抖动量增大，则以第二调整方向调整防抖动增益，并重复上述抖动校正处理以及调整防抖动增益的步骤，直至视频图像的抖动量达到极小值点；第一调整方向与第二调整方向相反；第二调整方向包括减小防抖动增益的方向或者增大防抖动增益的方向。

具体地，将第一抖动量与第二抖动量进行比较，若第二抖动量大于第一抖动量，说明视频图像的抖动量增大，则以第二调整方向调整防抖动增益，并重复上述抖动校正处理以及调整防抖动增益的步骤，直至视频图像的抖动量达到极小值点；第一调整方向与第二调整方向相反。

若第二抖动量小于第一抖动量，说明视频图像的抖动量减小，则继续以第一调整方向调整防抖动增益，并重复上述抖动校正处理以及调整防抖动增益的步骤，直至视频图像的抖动量达到极小值点。

需要说明的是，若第二抖动量大于第一抖动量，则说明视频图像的抖动量在增大，第一调整方向为增大视频图像的抖动量的方向，并非靠近极小值点的方向，因此，需要改变调整防抖动增益的方向，以第二调整方向调整防抖动增益。

若第二抖动量小于第一抖动量，则说明视频图像的抖动量在减小，第一调整方向为减小视频图像的抖动量的方向，也就是靠近极小值点的方向，因此，无需改变调整防抖动增益的方向，可以继续以第一调整方向调整防抖动增益，直至视频图像的抖动量达到极小值点。

上述步骤S310至步骤S330，通过基于第一抖动量和第二抖动量判断视频图像的抖动量是否减小，并基于视频图像的抖动量是否减小的反馈结果可以快速准确地确定出下一步调整防抖动增益的方向，从而可以使得视频图像的抖动量能够快速达到极小值点，实现了在实时有效地消除图像抖动对视频图像清晰度的同时，提高了视频图像抖动校正的效率。同时，还可以快速确定极小值点对应的最佳防抖动增益，实现基于视频图像的抖动情况动态地调整防抖动增益，以适应不同的应用场景。

在其中一些实施例中，图4为本申请实施例中确定第一调整方向的流程图，如图4所示，该流程包括如下步骤：

步骤S410，获取预设时间段内视频图像中预设标定位置的位置变化矢量，以及获取预设时间段内角速度传感器的角度变化矢量。

可以选取视频图像中的非运动物体作为预设标定位置。例如，建筑、地貌轮廓等。可以获取连续视频图像帧(至少2帧)中预设标定位置在视频图像的位置变化矢量。

步骤S420，比较位置变化矢量的方向与角度变化矢量的方向，得到比较结果，并基于比较结果确定第一调整方向。

通过上述步骤S410至步骤S420，获取预设时间段内视频图像中预设标定位置的位置变化矢量，以及获取预设时间段内角速度传感器的角度变化矢量；比较位置变化矢量的方向与角度变化矢量的方向，得到比较结果，并基于比较结果确定第一调整方向。本实施例通过基于预设时间段内视频图像的位置变化矢量和角速度传感器的角度变化矢量，可以快速准确地确定出第一调整方向，进而可以基于第一调整方向调整预设防抖动增益，使得视频图像的抖动量能够快速达到极小值点，以及快速确定极小值点对应的最佳防抖动增益，实现了在实时有效地消除图像抖动对视频图像清晰度的同时，进一步提高了视频图像抖动校正的效率。

在其中一些实施例中，根据比较结果，若位置变化矢量的方向与角度变化矢量的方向一致，则确定第一调整方向为增大预设防抖动增益的方向；若位置变化矢量的方向与角度变化矢量的方向不一致，则确定第一调整方向为减小预设防抖动增益的方向。

在其中一些实施例中，预设防抖动增益包括预设水平防抖动增益和预设垂直防抖动增益；第一调整方向包括第一水平调整方向和第一垂直调整方向；上述步骤S420包括步骤S421和步骤S422，其中：

步骤S421，比较位置变化矢量的水平方向与角度变化矢量的水平方向，得到水平方向比较结果，并基于水平方向比较结果确定第一水平调整方向；第一水平调整方向用于调整预设水平防抖动增益。

步骤S422，比较位置变化矢量的垂直方向与角度变化矢量的垂直方向，得到垂直方向比较结果，并基于垂直方向比较结果确定第一垂直调整方向；第一垂直调整方向用于调整预设垂直防抖动增益。

其中，预设水平防抖动增益表示水平方向的预设防抖动增益，预设垂直防抖动增益表示垂直方向的预设防抖动增益。第一水平调整方向用于在水平方向上调整预设防抖动增益。第一垂直调整方向用于在垂直方向上调整预设防抖动增益。

需要说明的是，可以分别针对水平和垂直两个基准轴对位置变化矢量与角度变化矢量的方向一致性进行单独判断，并基于判断结果分别在水平方向上和垂直方向上调整预设防抖动增益。

进一步地，若位置变化矢量的水平方向与角度变化矢量的水平方向一致，则确定第一水平调整方向为增大预设水平防抖动增益的方向；若位置变化矢量的水平方向与角度变化矢量的水平方向不一致，则确定第一水平调整方向为减小预设水平防抖动增益的方向。

若位置变化矢量的垂直方向与角度变化矢量的垂直方向一致，则确定第一垂直调整方向为增大预设垂直防抖动增益的方向；若位置变化矢量的垂直方向与角度变化矢量的垂直方向不一致，则确定第一垂直调整方向为减小预设垂直防抖动增益的方向。

在其中一些实施例中，获取极小值点的抖动量对应的目标防抖动增益，并基于目标防抖动增益更新预设图像校正参数，得到更新后的图像校正参数。

下面通过优选实施例对本申请实施例进行描述和说明。

图5为本申请具体实施例的图像抖动校正方法的流程图，如图5所示，该图像抖动校正方法包括如下步骤：

步骤S510，获取视频图像和预设图像校正参数；预设图像校正参数包括预设防抖动增益。

步骤S520，获取预设时间段内视频图像中预设标定位置的位置变化矢量，以及获取预设时间段内角速度传感器的角度变化矢量，并基于位置变化矢量的方向与角度变化矢量的方向，确定第一调整方向。

步骤S530，基于预设防抖动增益对视频图像进行抖动校正处理，并获取视频图像的第一抖动量。

步骤S540，判断第一抖动量是否达到极小值点；若第一抖动量未达到极小值点，则以第一调整方向调整预设防抖动增益，得到调整后的防抖动增益；第一调整方向包括增大预设防抖动增益的方向或者减小预设防抖动增益的方向。

步骤S550，基于调整后的防抖动增益对视频图像进行抖动校正处理，获取第二抖动量。

步骤S560，重复上述抖动校正处理以及调整防抖动增益的步骤，直至视频图像的抖动量达到极小值点，获取目标视频图像。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，结合图5，步骤S520和步骤S530的执行顺序可以互换，即可以先执行步骤S520，然后执行步骤S530；也可以先执行步骤S530，然后执行步骤S520。

本实施例还提供了一种图像抖动校正装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6为本申请实施例的图像抖动校正装置的结构框图，如图6所示，该图像抖动校正装置600包括：

数据获取模块610，用于获取视频图像和预设图像校正参数；预设图像校正参数包括预设防抖动增益。

抖动校正模块620，用于基于预设防抖动增益对视频图像进行抖动校正处理，并获取视频图像的抖动量，基于抖动量调整预设防抖动增益，并基于调整后的防抖动增益对视频图像进行抖动校正处理，以获取目标视频图像。

在其中一些实施例中，抖动校正模块620包括第一校正模块、第二校正模块和第三校正模块，其中：

第一校正模块，用于基于预设防抖动增益对视频图像进行抖动校正处理，得到视频图像的第一抖动量。

第二校正模块，用于基于第一抖动量调整预设防抖动增益，并基于调整后的防抖动增益对视频图像进行抖动校正处理，获取视频图像的第二抖动量。

第三校正模块，用于重复上述抖动校正处理以及调整防抖动增益的步骤，直至视频图像的抖动量达到极小值点，获取目标视频图像。

在其中一些实施例中，第二校正模块包括极值判断单元、增益调整单元和校正处理单元，其中：

极值判断单元，用于判断第一抖动量是否达到极小值点。

增益调整单元，用于若第一抖动量未达到极小值点，则以第一调整方向调整预设防抖动增益，得到调整后的防抖动增益；第一调整方向包括增大预设防抖动增益的方向或者减小预设防抖动增益的方向。

校正处理单元，用于基于调整后的防抖动增益对视频图像进行抖动校正处理，获取第二抖动量。

在其中一些实施例中，第三校正模块包括抖动量判断单元、第一调整单元和第二调整单元，其中：

抖动量判断单元，用于基于第一抖动量和第二抖动量，判断视频图像的抖动量是否减小。

第一调整单元，用于若视频图像的抖动量减小，则继续以第一调整方向调整防抖动增益，并重复上述抖动校正处理的步骤，直至视频图像的抖动量达到极小值点。

第二调整单元，用于若视频图像的抖动量增大，则以第二调整方向调整防抖动增益，并重复上述抖动校正处理的步骤，直至视频图像的抖动量达到极小值点；第一调整方向与第二调整方向相反；第二调整方向包括减小防抖动增益的方向或者增大防抖动增益的方向。

在其中一些实施例中，图像抖动校正装置600还包括调整方向确定模块，调整方向确定模块包括矢量获取单元和调整方向确定单元，其中：

矢量获取单元，用于获取预设时间段内视频图像中预设标定位置的位置变化矢量，以及获取预设时间段内角速度传感器的角度变化矢量。

调整方向确定单元，用于比较位置变化矢量的方向与角度变化矢量的方向，得到比较结果，并基于比较结果确定第一调整方向。

在其中一些实施例中，调整方向确定单元包括第一确定子单元和第二确定子单元，其中：

第一确定子单元，用于根据比较结果，若位置变化矢量的方向与角度变化矢量的方向一致，则确定第一调整方向为增大预设防抖动增益的方向。

第二确定子单元，用于若位置变化矢量的方向与角度变化矢量的方向不一致，则确定第一调整方向为减小预设防抖动增益的方向。

在其中一些实施例中，预设防抖动增益包括预设水平防抖动增益和预设垂直防抖动增益；第一调整方向包括第一水平调整方向和第一垂直调整方向；调整方向确定单元包括第一调整方向确定子单元和第二调整方向确定子单元，其中，

第一调整方向确定子单元，用于比较位置变化矢量的水平方向与角度变化矢量的水平方向，得到水平方向比较结果，并基于水平方向比较结果确定第一水平调整方向；第一水平调整方向用于调整预设水平防抖动增益。

第二调整方向确定子单元，用于比较位置变化矢量的垂直方向与角度变化矢量的垂直方向，得到垂直方向比较结果，并基于垂直方向比较结果确定第一垂直调整方向；第一垂直调整方向用于调整预设垂直防抖动增益。

在其中一些实施例中，图像抖动校正装置600还包括参数更新模块，用于获取极小值点的抖动量对应的目标防抖动增益，并基于目标防抖动增益更新预设图像校正参数，得到更新后的图像校正参数。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本申请实施例还提供了一种图像抖动校正系统，应用于摄像设备，图7为本申请实施例的图像抖动校正系统的结构框图，如图7所示，该图像抖动校正系统包括：图像传感器710、图像抖动计算模块720、抖动校正控制模块730以及存储模块740，其中：

图像传感器710分别与摄像设备、图像抖动计算模块720连接，用于采集摄像设备拍摄的视频图像，并将视频图像传输至图像抖动计算模块720；

图像抖动计算模块720与抖动校正控制模块730连接，用于接收图像传感器710传输的视频图像，以及获取视频图像的抖动量，并将抖动量传输至抖动校正控制模块730；

抖动校正控制模块730分别与存储模块740、图像传感器710连接，用于从存储模块740中获取预设图像校正参数、从图像传感器710中获取视频图像以及接收图像抖动计算模块720传输的抖动量，并执行如上述第一方面的图像抖动校正方法。

在其中一些实施例中，图像抖动校正系统还包括防抖增益参数模块750；其中，防抖增益参数模块750中存储有预设防抖增益参数。

抖动校正控制模块730与防抖增益参数模块750连接，还用于根据目标防抖动增益更新防抖增益参数模块750中的预设防抖增益参数。

在其中一些实施例中，图像抖动校正系统还包括驱动控制模块760、防抖补偿运动模块770以及角度计算模块780；其中：

驱动控制模块760分别与防抖增益参数模块750、角度计算模块780以及防抖补偿运动模块770连接，用于从防抖增益参数模块750中获取更新后的防抖动增益参数以及从角度计算模块780中获取角度信号，根据角度信号和更新后的防抖动增益参数得到当前防抖动增益，并根据当前防抖动增益驱动防抖补偿运动模块770进行防抖补偿作业。

在其中一些实施例中，驱动控制模块760包括PID控制电路，还用于根据更新后的防抖动增益参数对角度信号进行增益放大，得到增益放大后的角度信号，并将角度信号输入至PID控制电路中，得到当前防抖动增益。

在其中一些实施例中，防抖补偿运动模块770与图像传感器710连接，用于根据当前防抖动增益控制图像传感器710的底板进行防抖补偿运动，以消除图像抖动对视频图像清晰度的影响。

在其中一些实施例中，防抖补偿运动模块770与摄像设备连接，还用于根据当前防抖动增益控制摄像设备的镜头进行防抖补偿运动，以消除镜头抖动对摄像设备拍摄的视频图像清晰度的影响。

在其中一些实施例中，图像抖动校正系统还包括角速度传感器790；角速度传感器790与角度计算模块780连接，用于采集摄像设备拍摄时的角速度数据，并将角速度数据传输至角度计算模块780。

角速度传感器790可以是陀螺仪，也可以是其他角速度传感器，本实施例不作限制。

在其中一些实施例中，角度计算模块780，用于对接收到的角度数据进行积分，得到角度数据对应的角度信号，并将角度信号传输至驱动控制模块760。

另外，结合图1描述的本申请实施例图像抖动校正方法可以由图像抖动校正设备来实现。图8为本申请实施例的图像抖动校正设备的硬件结构示意图。

图像抖动校正设备可以包括处理器81以及存储有计算机程序指令的存储器82。

具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。

处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种图像抖动校正方法。

在其中一些实施例中，图像抖动校正设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。

通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线80包括硬件、软件或两者，将图像抖动校正设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该图像抖动校正设备可以基于获取到的图像抖动校正，执行本申请实施例中的图像抖动校正方法，从而实现结合图1描述的图像抖动校正方法。

另外，结合上述实施例中的图像抖动校正方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像抖动校正方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种图像抖动校正方法，其特征在于，包括：

获取视频图像和预设图像校正参数；所述预设图像校正参数包括预设防抖动增益；

基于所述预设防抖动增益对所述视频图像进行抖动校正处理，并获取所述视频图像的抖动量，基于所述抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，以获取目标视频图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述预设防抖动增益对所述视频图像进行抖动校正处理，并获取所述视频图像的抖动量，基于所述抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，以获取目标视频图像包括：

基于所述预设防抖动增益对所述视频图像进行抖动校正处理，并获取所述视频图像的第一抖动量；

基于所述第一抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，获取所述视频图像的第二抖动量；

重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点，获取目标视频图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，获取所述视频图像的第二抖动量包括：

判断所述第一抖动量是否达到所述极小值点；

若所述第一抖动量未达到所述极小值点，则以第一调整方向调整所述预设防抖动增益，得到调整后的防抖动增益；所述第一调整方向包括增大所述预设防抖动增益的方向或者减小所述预设防抖动增益的方向；

基于调整后的防抖动增益对所述视频图像进行抖动校正处理，获取所述第二抖动量。

4.根据权利要求3所述的方法，其特征在于，所述重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点包括：

基于所述第一抖动量和所述第二抖动量，判断所述视频图像的抖动量是否减小；

若所述视频图像的抖动量减小，则继续以所述第一调整方向调整防抖动增益，并重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点；

若所述视频图像的抖动量增大，则以第二调整方向调整防抖动增益，并重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点；所述第一调整方向与所述第二调整方向相反；所述第二调整方向包括减小防抖动增益的方向或者增大防抖动增益的方向。

5.根据权利要求3所述的方法，其特征在于，在所述以第一调整方向调整所述预设防抖动增益，得到调整后的防抖动增益之前，所述方法还包括：

获取预设时间段内所述视频图像中预设标定位置的位置变化矢量，以及获取所述预设时间段内角速度传感器的角度变化矢量；

比较所述位置变化矢量的方向与所述角度变化矢量的方向，得到比较结果，并基于所述比较结果确定所述第一调整方向。

6.根据权利要求5所述的方法，其特征在于，所述基于所述比较结果确定所述第一调整方向包括：

根据所述比较结果，若所述位置变化矢量的方向与所述角度变化矢量的方向一致，则确定所述第一调整方向为增大所述预设防抖动增益的方向；

若所述位置变化矢量的方向与所述角度变化矢量的方向不一致，则确定所述第一调整方向为减小所述预设防抖动增益的方向。

7.根据权利要求6所述的方法，其特征在于，所述预设防抖动增益包括预设水平防抖动增益和预设垂直防抖动增益；所述第一调整方向包括第一水平调整方向和第一垂直调整方向；所述比较所述位置变化矢量的方向与所述角度变化矢量的方向，得到比较结果，并基于所述比较结果确定所述第一调整方向包括：

比较所述位置变化矢量的水平方向与所述角度变化矢量的水平方向，得到水平方向比较结果，并基于所述水平方向比较结果确定所述第一水平调整方向；所述第一水平调整方向用于调整所述预设水平防抖动增益；

比较所述位置变化矢量的垂直方向与所述角度变化矢量的垂直方向，得到垂直方向比较结果，并基于所述垂直方向比较结果确定所述第一垂直调整方向；所述第一垂直调整方向用于调整所述预设垂直防抖动增益。

8.根据权利要求2所述的方法，其特征在于，在所述重复上述抖动校正处理以及调整防抖动增益的步骤，直至所述视频图像的抖动量达到极小值点，获取目标视频图像之后，所述方法还包括：

获取所述极小值点的抖动量对应的目标防抖动增益，并基于所述目标防抖动增益更新所述预设图像校正参数，得到更新后的图像校正参数。

9.一种图像抖动校正装置，其特征在于，包括：

数据获取模块，用于获取视频图像和预设图像校正参数；所述预设图像校正参数包括预设防抖动增益；

抖动校正模块，用于基于所述预设防抖动增益对所述视频图像进行抖动校正处理，并获取所述视频图像的抖动量，基于所述抖动量调整所述预设防抖动增益，并基于调整后的防抖动增益对所述视频图像进行抖动校正处理，以获取目标视频图像。

10.一种图像抖动校正系统，应用于摄像设备，其特征在于，包括：图像传感器、图像抖动计算模块、抖动校正控制模块以及存储模块，其中，

所述图像传感器分别与所述摄像设备、所述图像抖动计算模块连接，用于采集所述摄像设备拍摄的视频图像，并将所述视频图像传输至所述图像抖动计算模块；

所述图像抖动计算模块与所述抖动校正控制模块连接，用于接收所述图像传感器传输的所述视频图像，以及获取所述视频图像的抖动量，并将所述抖动量传输至所述抖动校正控制模块；

所述抖动校正控制模块分别与所述存储模块、所述图像传感器连接，用于从所述存储模块中获取预设图像校正参数、从所述图像传感器中获取所述视频图像以及接收所述图像抖动计算模块传输的所述抖动量，并执行如权利要求1至8中任一项所述的图像抖动校正方法。

11.根据权利要求10所述的系统，其特征在于，所述图像抖动校正系统还包括防抖增益参数模块；其中，所述防抖增益参数模块中存储有预设防抖增益参数；

所述抖动校正控制模块与所述防抖增益参数模块连接，还用于根据目标防抖动增益更新所述防抖增益参数模块中的预设防抖增益参数。

12.根据权利要求11所述的系统，其特征在于，所述图像抖动校正系统还包括驱动控制模块、防抖补偿运动模块以及角度计算模块；其中：

所述驱动控制模块分别与所述防抖增益参数模块、所述角度计算模块以及所述防抖补偿运动模块连接，用于从所述防抖增益参数模块中获取更新后的防抖动增益参数以及从所述角度计算模块中获取角度信号，根据所述角度信号和更新后的防抖动增益参数得到当前防抖动增益，并根据所述当前防抖动增益驱动所述防抖补偿运动模块进行防抖补偿作业。

13.根据权利要求12所述的系统，其特征在于，所述防抖补偿运动模块与所述图像传感器连接，用于根据所述当前防抖动增益控制所述图像传感器的底板进行防抖补偿运动。

14.根据权利要求12所述的系统，其特征在于，所述防抖补偿运动模块与所述摄像设备连接，还用于根据所述当前防抖动增益控制所述摄像设备的镜头进行防抖补偿运动。

15.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的图像抖动校正方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任一项所述的图像抖动校正方法。

Images