CN111225155B - 视频防抖方法、装置、电子设备、计算机设备和存储介质 - Google Patents

视频防抖方法、装置、电子设备、计算机设备和存储介质 Download PDF

Info

Publication number
CN111225155B
CN111225155B CN202010106337.6A CN202010106337A CN111225155B CN 111225155 B CN111225155 B CN 111225155B CN 202010106337 A CN202010106337 A CN 202010106337A CN 111225155 B CN111225155 B CN 111225155B
Authority
CN
China
Prior art keywords
shake
video
calibration
video frames
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010106337.6A
Other languages
English (en)
Other versions
CN111225155A (zh
Inventor
戴朋飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010106337.6A priority Critical patent/CN111225155B/zh
Publication of CN111225155A publication Critical patent/CN111225155A/zh
Application granted granted Critical
Publication of CN111225155B publication Critical patent/CN111225155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种视频防抖方法、装置、电子设备、计算机设备和存储介质，在摄像设备满足预设的防抖参数更新条件的情况下，摄像设备获取防抖校准目标视频，并根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数，然后基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理。该方法在摄像设备的使用过程中可以实时地、多次地根据实际情况对摄像设备的防抖参数进行校准，使得后续摄像设备的视频防抖是基于校准后的防抖参数进行的，极大地提高了摄像设备拍摄的视频的防抖效果。

Description

视频防抖方法、装置、电子设备、计算机设备和存储介质
技术领域
本申请涉及视频处理技术领域，尤其涉及一种视频防抖方法、装置、电子设备、计算机设备和存储介质。
背景技术
视频防抖方案主要有光学防抖和电子防抖两种。一般电子防抖和光学防抖在对视频进行防抖时，都需要gyro(陀螺仪)数据提供相机姿态信息和/或运动信息，然后通过相机姿态信息和/或运动信息对视频进行防抖处理。
无论是电子防抖还是光学防抖，在防抖处理之前都需要进行防抖参数的标定和校准，以保证gyro数据提供相机姿态信息和/或运动信息的准确性。通常，现有方案中防抖参数的校准都是一次性校准，例如，在摄像设备出厂前对防抖参数进行一次校准，那么校准的参数将一直用于该摄像头模组的防抖处理中。但随着摄像头模组的硬件和材料在使用过程中发生的微小位移或者材料老化等，摄像头模组将会发生光学性质变化，这种情况就会导致摄像设备使用的旧标定参数与摄像头模组不再完全匹配，若继续使用旧防抖参数进行防抖处理，将导致摄像设备拍摄的视频不再准确。
因此，现有方案中摄像设备在对拍摄的视频进行防抖时，防抖效果较差。
发明内容
基于此，有必要针对上述技术问题，提供一种视频防抖方法、装置、电子设备、计算机设备和存储介质。
第一方面，本申请提供一种视频防抖方法，该方法包括：
若摄像设备满足预设的防抖参数更新条件，获取防抖校准目标视频；
根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数；
基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理。
在其中一个实施例中，上述防抖参数更新条件包括以下条件中的任一种：
当前时刻与摄像设备的防抖参数的上次更新时刻之间的间隔等于预设的时间间隔；
当前时刻与摄像设备的防抖参数的上次更新时刻之间的间隔大于预设的时间间隔；
摄像设备开机。
在其中一个实施例中，上述获取防抖校准目标视频包括：
在摄像设备中获取候选视频；候选视频的拍摄时刻与当前时刻的时间间隔最短；
获取候选视频中的有效视频帧的数量；
若有效视频帧的数量在候选视频总帧数的占比大于预设比值，则将候选视频确定为防抖校准目标视频。
在其中一个实施例中，上述获取候选视频中的有效视频帧的数量，包括:
获取候选视频中每一组相邻视频帧之间的特征点匹配数量；
若每一组相邻视频帧之间的特征点匹配数量大于预设数量阈值，则确定每一组相邻视频帧中的两个视频帧均为有效视频帧；
获取候选视频中的所有有效视频帧的数量。
在其中一个实施例中，上述获取候选视频中每一组相邻视频帧之间的特征点匹配数量，包括：
对候选视频中的相邻视频帧进行帧间特征点匹配，并对每一组相邻视频帧之间匹配的特征点进行异常值过滤；
获取异常值过滤后的每一组相邻视频帧之间的特征点匹配数量。
在其中一个实施例中，上述根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数，包括：
从防抖校准目标视频中的相邻视频帧中获取预设数量的匹配特征点；
根据预设数量的匹配特征点，获取相邻视频帧之间匹配特征点的运动信息；
根据运动信息，对摄像设备的防抖参数进行校准，得到校准后的防抖参数。
在其中一个实施例中，上述根据运动信息，对摄像设备的防抖参数进行校准，得到校准后的防抖参数，包括：
根据运动信息，通过预设的算法，获取防抖参数校准初步值；
对防抖参数校准初步值进行验证，将验证通过的防抖参数校准初步值确定为校准后的防抖参数。
在其中一个实施例中，在上述对防抖参数校准初步值进行验证，包括：
分析防抖参数校准初步值与历史防抖参数之间的误差；
若误差满足预设的误差范围，则确定防抖参数校准初步值通过验证。
在其中一个实施例中，上述根据运动信息，通过预设的算法，获取防抖参数校准初步值，包括：
将运动信息的值带入预设的代价函数中，对代价函数进行最小值求解，并将代价函数的最小值对应的防抖参数校准变量的值确定为防抖参数校准初步值；代价函数为包括防抖参数校准变量和运动信息变量的函数。
第二方面，本申请提供一种视频防抖装置，该装置包括：
获取模块，用于若摄像设备满足预设的防抖参数更新条件，获取防抖校准目标视频；
校准模块，用于根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数；
处理模块，用于基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理。
第三方面，本申请提供一种电子设备，该电子设备包括摄像设备，摄像设备包括视频防抖装置。
第四方面，本申请提供一种计算机设备，包括存储器和处理器，其中，存储器存储有计算机程序，处理器执行计算机程序时实现第一方面任一实施例提供的视频防抖方法。
第五方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现第一方面任一实施例提供的视频防抖方法。
本申请提供的一种视频防抖方法、装置、电子设备、计算机设备和存储介质，在摄像设备满足预设的防抖参数更新条件的情况下，摄像设备获取防抖校准目标视频，并根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数，然后基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理。本实施例中，根据预先设定的防抖参数更新条件，只要摄像设备满足了该防抖参数更新条件，即执行对摄像设备的防抖参数进行校准的过程，这样，在摄像设备的使用过程中可以实时地、多次地根据实际情况对摄像设备的防抖参数进行校准，使得后续摄像设备的视频防抖是基于校准后的防抖参数进行的，极大地提高了摄像设备拍摄的视频的防抖效果。另外，对防抖参数进行校准时摄像设备根据预先设定的防抖参数更新条件自动进行的，整个过程避免了人工对防抖参数校准，极大地简化了摄像设备防抖参数的校准流程，提高了使用的便利性。
附图说明
图1为一个实施例提供的一种摄像设备的内部结构示意图；
图2为一个实施例提供的一种视频防抖方法的流程图；
图3为一个实施例提供的一种视频防抖方法的流程图；
图4为一个实施例提供的一种视频防抖方法的流程图；
图5为一个实施例提供的一种视频防抖方法的流程图；
图6为一个实施例提供的一种视频防抖方法的流程图；
图7为一个实施例提供的一种视频防抖方法的流程图；
图8为一个实施例提供的一种视频防抖方法的流程图；
图9为一个实施例提供的一种视频防抖装置的结构示意图；
图10为一个实施例提供的计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
为了更好的理解本申请实施例提供的视频防抖方法，提供一个本申请实施例适用的应用环境。请参见图1，本申请提供的一种视频防抖方法，可以应用于如图1所示的摄像设备中，该摄像设备的内部结构如图1所示。其中，该摄像设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储一种视频防抖方法的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频防抖方法。可以理解的是，图1所示的内部结构一种示例，并不用作限定。
其中，该摄像设备在实际应用中可内置于各种个人计算机、笔记本电脑、台式电脑、媒体播放器、智能电视、智能终端、平板电脑和便携式可穿戴设备等电子设备中，本申请实施例对电子设备的类型不做限定。
本申请实施例提供一种视频防抖方法、装置、电子设备、计算机设备和存储介质，可多次对防抖参数进行校准，使得摄像设备与防抖参数更加匹配，保证了摄像设备在对拍摄的视频进行防抖时的防抖效果。下面将通过实施例并结合附图具体地对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本申请提供的一种视频防抖方法，图2-图8的执行主体为摄像设备。其中，图2-图8的执行主体还可以是视频防抖装置，其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为摄像设备的部分或者全部。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
在一个实施例中，图2提供了一种视频防抖方法，本实施例涉及的是摄像设备基于预设的防抖参数更新条件，获取校准后的防抖参数，并基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理的具体过程，如图2所示，该方法包括：
S101，若摄像设备满足预设的防抖参数更新条件，获取防抖校准目标视频。
本实施例中，防抖参数更新条件表示的是对摄像设备的防抖参数进行更新的条件，例如，以时间间隔设置更新条件，或者以使用次数设置更新条件等，本实施例对防抖参数更新条件不做限定。其中，防抖参数是用于保证gyro(陀螺仪)数据准确性的参数，防抖参数包括但不限于gyro采样频率、gyro零漂和温漂、gyro数据时间戳与图像时间戳之间的延迟、sensor(传感器)读出图像的时间、gyro模组与sensor之间的旋转矩阵以及相机内参等
其中，该防抖参数更新条件是预先设置好的并存储在摄像设备中的。在实际使用过程中，摄像设备可以实时检测当前的摄像设备是否满足了预设的防抖参数更新条件，若满足该防抖参数更新条件，则摄像设备获取防抖校准目标视频。
这里的防抖校准目标视频指的是可用于对防抖参数进行校准的视频，可选地，在实际应用过程中，对防抖校准目标视频要满足预先设定好的条件，例如，防抖校准目标视频需要满足预设的大小、存储路径、获取方式、有效帧数量等。示例地，防抖校准目标视频为用户已经拍摄好并存储在摄像设备中的，或者，该防抖校准目标视频中的有效视频帧的数量需要满足预设数量阈值等，本实施对防抖校准目标视频需要满足的条件不做限定。
S102，根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数。
在获取了防抖校准目标视频后，摄像设备根据该防抖校准目标视频对防抖参数进行校准。其中，对防抖参数进行校准的方法可以是通过预先训练好的校准模型进行校准，例如，将获取的防抖校准目标视频输入至校准模型中，直接通过校准模型的输出结果得到校准后的防抖参数。其中，对防抖参数进行校准的方法，还可以是摄像设备实时地，根据防抖校准目标视频的各视频帧中特征点的位置变化信息，分析出防抖参数的补偿信息，并根据该补偿信息对防抖参数进行校准，得到校准后的防抖参数。可以理解的是，以上两种校准方法均是举例说明，实际应用中对具体的校准方法不做限定。
S103，基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理。
在得到校准后的防抖参数后，摄像设备就可采用该新的防抖参数配合摄像设备的陀螺仪采集gyro数据，根据gyro数据获取摄像设备的姿态信息或者运动信息，并根据摄像设备的姿态信息或者运动信息对摄像设备拍摄的视频进行防抖处理。当然，本步骤中根据摄像设备的姿态信息或者运动信息对摄像设备拍摄的视频进行防抖处理的方式不限于光学防抖或电子防抖两种，对此不作具体限定。例如，若采用光学防抖，则摄像设备根据相机姿态变化信息(主要由gyro数据提供)，计算摄像头模组的补偿平移量，并通过马达驱动镜头或者摄像头模组进行移动对相机抖动进行补偿。若采用电子防抖，则摄像设备通过收集相机运动和姿态变化信息(主要由gyro数据提供)，建模相机运动路径并进行平滑操作，并根据相机位置和姿态信息对成像的图像进行仿射变换，得到稳定的图像帧画面。
本实施例提供的视频防抖方法，在摄像设备满足预设的防抖参数更新条件的情况下，摄像设备获取防抖校准目标视频，并根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数，然后基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理。本实施例中，根据预先设定的防抖参数更新条件，只要摄像设备满足了该防抖参数更新条件，即执行对摄像设备的防抖参数进行校准的过程，这样，在摄像设备的使用过程中可以实时地、多次地根据实际情况对摄像设备的防抖参数进行校准，使得后续摄像设备的视频防抖是基于校准后的防抖参数进行的，极大地提高了摄像设备拍摄的视频的防抖效果。另外，对防抖参数进行校准时摄像设备根据预先设定的防抖参数更新条件自动进行的，整个过程避免了人工对防抖参数校准，极大地简化了摄像设备防抖参数的校准流程，提高了使用的便利性。
对于上述防抖参数更新条件，提供一个实施例进行说明，该实施例中对上述防抖参数更新条件提供三种，包括：第一种，当前时刻与摄像设备的防抖参数的上次更新时刻之间的间隔等于预设的时间间隔；第二种，当前时刻与摄像设备的防抖参数的上次更新时刻之间的间隔大于预设的时间间隔；第三种，摄像设备开机。
其中，第一种和第二种具体为摄像设备先分别获取当前时刻，以及防抖参数的上次更新时刻，然后判断当前时刻与上次更新时刻之间的时间间隔是否大于或者等于预设的时间间隔，该预设的时间间隔即预设的更新周期，也就是说，第一种和第二种是每隔一个更新周期，就对防抖参数校准一次。
其中，第三种指的是摄像设备开机时，对防抖参数进行校准，这种情况一般可以针对长时间不开机的摄像设备，在开启摄像设备时即开始对摄像设备的防抖参数进行校准。
当然，以上三种条件在实际应用中可选择其中一种或多种作为防抖参数更新条件，或者，额外增加其他条件均可。可选地，其他防抖参数更新条件包括：摄像设备使用次数，以每次开机和关机为一次，若摄像设备的使用次数超过了预设阈值，则对摄像设备的防抖参数进行校准。
本实施例中，通过几种防抖参数更新条件，可以及时地对摄像设备的防抖参数进行更新，避免了摄像设备在使用一定时间后，导致的光学性质发生变化的摄像模组与旧的防抖参数不匹配的情况，在摄像设备的使用过程中，一旦满足预设的防抖参数更新条件，即对防抖参数重新进行校准，保证了防抖参数的有效性。
对上述S101步骤中，摄像设备获取防抖校准目标视频的过程，下面通过几个实施例进行具体说明，则在一个实施例中，如图3所示，S101包括：
S201，在摄像设备中获取候选视频；候选视频的拍摄时刻与当前时刻的时间间隔最短。
候选视频指的是摄像设备中当前已存储的视频，且该视频的拍摄时刻与当前时刻之间的时间间隔最短。则获取摄像设备中的候选视频即获取的是摄像设备中用户最新拍摄的视频。可以理解的是，用户最新拍摄的视频更能反映当前摄像设备的光学性质，因此，将用户最新拍摄的视频作为候选视频。
S202，获取候选视频中的有效视频帧的数量。
基于上述获取的候选视频，摄像设备获取该候选视频中的有效视频帧的数量。其中，有效视频帧表示的是能够用于视频防抖校准的视频帧，实际应用中，可通过视频帧上的特征点作为判断依据，例如，若该视频帧与相邻视频帧上的匹配特征点的数量较多，则认为该视频帧为有效帧。
S203，若有效视频帧的数量在候选视频总帧数的占比大于预设比值，则将候选视频确定为防抖校准目标视频。
若上述S202步骤中获取的有效视频帧的数量，在候选视频总帧数中的占比大于预设比值，则确定该候选视频为防抖校准目标视频。该预设比值可以为70％、75％、80％等，本申请实施例中不加以限制。例如，有效视频帧的数量为N1,候选视频总帧数为N，则N1在N中的占比大于预设比值，则认为该候选视频可用于视频防抖参数校准，并将该候选视频确定为防抖校准目标视频。且可以直接从用户拍摄视频中获取候选视频，候选视频获取过程方便快捷，无需为了防抖参数校准专门拍摄视频，节省了资源。
本实施例中，将摄像设备中用户最新拍摄的，且有效视频帧数量在总视频帧数量的占比大于预设比值的候选视频，作为防抖校准目标视频。一方面，选择用户最新拍摄的视频，保证防抖校准目标视频更加准确的反映摄像设备的光学性质；另一方面，有效视频帧数量在总视频帧数量的占比大于预设比值，可保证防抖校准目标视频中大部分视频帧是可用于防抖校准的，两方面结合获取的防抖校准目标视频，极大地保证了防抖校准目标视频的可靠性。
在另外一个实施例中，如图4所示，上述S202中的“获取候选视频中的有效视频帧的数量”包括:
S301，获取候选视频中每一组相邻视频帧之间的特征点匹配数量。
本步骤中，将候选视频中每相邻视频帧作为一组，例如，第一帧和第二帧作为一组相邻视频帧，第三帧和第四帧作为一组相邻视频帧等。这里需要说明的是，为了避免重复判断，在对候选视频中相邻视频分组时可以是第一帧与第二帧为一组，第三帧与第四帧为一组，但实际应用中，为了对有效帧的判断更加精确，可以将各帧视频重复判断，例如，第一帧和第二帧为一组，第二帧和第三帧为一组等交叉分组，且当交叉分组导致的判断结果不一致时，可根据实际情况对不一致的视频帧进行二次判断。
其中，特征点匹配表示的相邻视频帧中对应位置的特征点，对应位置以视频中的主体为参照，则获取每一组相邻视频帧之间对应位置的特征点作为匹配特征点，并获取特征点匹配的数量，可选地，如图5所示，获取每一组相邻视频帧之间的特征点匹配数量，包括：
S401，对候选视频中的相邻视频帧进行帧间特征点匹配，并对每一组相邻视频帧之间匹配的特征点进行异常值过滤。
具体地，对候选视频中的相邻视频帧进行帧间特征点匹配，可通过尺度不变特征变换(Scale-invariant feature transform，SIFT)、加速稳健特征(Speeded Up RobustFeatures,SURF)等算法实现，本实施例对帧间特征点匹配方法不做限定。
对于每一组相邻视频帧之间匹配的特征点，为了保证准确性，需要进行异常值过滤，将异常值剔除，其中，异常值过滤可通过随机抽样一致算法(Random SampleConsensus,RANSAC)实现，本实施例对异常值过滤方法不做限定。
S402，获取异常值过滤后的每一组相邻视频帧之间的特征点匹配数量。
从异常值过滤后每一组相邻视频帧，获取剩余的特征点匹配数量，作为最后每一组相邻视频帧之间的特征点匹配数量。本实施例获取的相邻视频帧之间的特征点匹配数量是经过异常值过滤的，这样，提高了获取的特征点匹配数量的精准性。
S302，若每一组相邻视频帧之间的特征点匹配数量大于预设数量阈值，则确定每一组相邻视频帧中的两个视频帧均为有效视频帧。
本步骤基于上述S301步骤中获取的每一组相邻视频帧之间的特征点匹配数量，检测每一组相邻视频帧之间的特征点匹配数量是否大于预设数量阈值，若是，则确定每一组相邻视频帧中的两个视频帧均为有效视频帧。
例如，一组相邻视频帧之间的特征点匹配数为ni，设定一个预设数量阈值为threshold，若ni>threshold，则认为该相邻视频帧均为有效可用于视频防抖校准的有效帧。
S303，获取候选视频中的所有有效视频帧的数量。
依上述方法将候选视频中每一组相邻视频帧均进行判断，获取该候选视频中所有有效视频帧的数量。
本实施例中，以相邻视频帧间的特征点匹配数量为判断依据，获取候选视频中的有效视频帧，这样确定的有效视频帧中具有足够的特征点可用于视频防抖，保证了有效视频帧的可用性，进一步保证了确定的防抖校准目标视频的可用性。
下面对S102步骤中根据防抖校准目标视频，对摄像设备的防抖参数进行校准的过程进行具体说明。
在一个实施例中，如图6所示，上述S102包括：
S501，从防抖校准目标视频中的相邻视频帧中获取预设数量的匹配特征点。
基于已经确定的防抖校准目标视频，从防抖校准目标视频中的相邻视频帧获取预设数量的匹配特征点，例如，帧Ft和帧Ft+1对应的特征点表示为xit和xi t+1。这里的预设数量具体数量可根据实际情况定，只要足够用于防抖校准即可。
S502，根据预设数量的匹配特征点，获取相邻视频帧之间匹配特征点的运动信息。
基于上述获取的匹配特征点，进一步获取相邻视频帧之间匹配特征点的运动信息，其中，运动信息表示对应匹配特征点的位移等移动信息，例如xi t和xi t+1之间的位置信息。其中，获取相邻视频帧之间匹配特征点的运动信息的方式，本申请实施例也不做限定。
S503，根据运动信息，对摄像设备的防抖参数进行校准，得到校准后的防抖参数。
基于获取到的运动信息，开始对摄像设备的防抖参数进行校准，并得到校准后的防抖参数。
本实施例根据防抖校准目标视频，对摄像设备的防抖参数进行校准，是基于防抖校准目标视频中相邻帧匹配特征点的运动信息进行的，由于相邻帧匹配特征点之间的运动信息可以准确反映摄像设备抖动信息，因此，根据运动信息对摄像设备的防抖参数进行校准，可提高摄像设备的防抖参数校准的准确性。
可选地，如图7所示，根据运动信息对摄像设备的防抖参数进行校准的一种实施例包括：
S601，根据运动信息，通过预设的算法，获取防抖参数校准初步值。
根据上述匹配特征点的运动信息，将该运动信息用于防抖参数校准。例如，可以预先设置对应的算法，可根据运动信息获取到防抖参数校准值。可选地，根据该运动信息，通过预设的算法，获取防抖参数校准初步值，包括：将运动信息的值带入预设的代价函数中，对代价函数进行最小值求解，并将代价函数的最小值对应的防抖参数校准变量的值确定为防抖参数校准初步值；代价函数为包括防抖参数校准变量和运动信息变量的函数。
例如，代价函数为
Figure BDA0002388585470000141
其中W为防抖参数，J为代价函数，帧Ft和帧Ft+1对应的匹配特征点表示为
Figure BDA0002388585470000142
和
Figure BDA0002388585470000143
即匹配特征点的运动信息，则在实际使用是将该运动信息的值带入到代价函数中，该代价函数J最小值对应的W确定为防抖参数校准初步值。其中，在实际应用中，这里的代价函数可与更多机器学习方法结合实现校准后防抖参数的获取。
其中，防抖参数校准初步值表示的是还未经过验证的防抖参数校准值。
S602，对防抖参数校准初步值进行验证，将验证通过的防抖参数校准初步值确定为校准后的防抖参数。
本步骤对防抖参数校准处布置进行验证，将验证不通过的防抖参数校准初步值剔除，重新获取下一个防抖参数校准初步值，直到验证通过，将验证通过的防抖参数校准初步值确定为校准后的防抖参数，可以提高了校准后的防抖参数的精确性。
在一个实施例中，如图8所示，对防抖参数校准初步值进行验证的一种可实现方式包括：
S701，分析防抖参数校准初步值与历史防抖参数之间的误差。
分析防抖参数校准初步值与历史防抖参数之间的误差，可以是将防抖参数校准初步值与多个历史防抖参数之间的误差做分析。
S702，若误差满足预设的误差范围，则确定防抖参数校准初步值通过验证。
若此次获取的防抖参数校准初步值与历史防抖参数之间的误差较大，超出了预设的误差范围，则确定此次获取的防抖参数校准初步值异常，将其过滤。若误差满足预设的误差范围，则确定防抖参数校准初步值通过验证。
本实施例在获取校准后的防抖参数时，将异常的校准值过滤掉，极大地保证了获取的校准后防抖参数的准确性。
应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
另外，本申请还提供了上述视频防抖方法对应的虚拟装置，在一个实施例中，如图9所示，提供了一种视频防抖装置，该装置包括：获取模块10、校准模块11和处理模块12，其中，
获取模块10，用于若摄像设备满足预设的防抖参数更新条件，获取防抖校准目标视频；
校准模块11，用于根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数；
处理模块12，用于基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理。
在一个实施例中，上述防抖参数更新条件包括以下条件中的任一种：
当前时刻与摄像设备的防抖参数的上次更新时刻之间的间隔等于预设的时间间隔；
当前时刻与摄像设备的防抖参数的上次更新时刻之间的间隔大于预设的时间间隔；
摄像设备开机。
在一个实施例中，上述获取模块10包括：候选视频获取单元、有效帧数获取单元、确定单元，其中，
候选视频获取单元，用于在摄像设备中获取候选视频；候选视频的拍摄时刻与当前时刻的时间间隔最短；
有效帧数获取单元，用于获取候选视频中的有效视频帧的数量；
确定单元，用于若有效视频帧的数量在候选视频总帧数的占比大于预设比值，则将候选视频确定为防抖校准目标视频。
在一个实施例中，上述有效帧数获取单元包括:特征点数量子单元、有效帧子单元、有效帧数获取子单元，其中，
特征点数量子单元，用于获取候选视频中每一组相邻视频帧之间的特征点匹配数量；
有效帧子单元，用于若每一组相邻视频帧之间的特征点匹配数量大于预设数量阈值，则确定每一组相邻视频帧中的两个视频帧均为有效视频帧；
有效帧数获取子单元，用于获取候选视频中的所有有效视频帧的数量。
在一个实施例中，上述特征点数量子单元具体用于对候选视频中的相邻视频帧进行帧间特征点匹配，并对每一组相邻视频帧之间匹配的特征点进行异常值过滤；获取异常值过滤后的每一组相邻视频帧之间的特征点匹配数量。
在一个实施例中，上述校准模块11包括：匹配特征点单元、运动信息单元、校准单元，其中，
匹配特征点单元，用于从防抖校准目标视频中的相邻视频帧中获取预设数量的匹配特征点；
运动信息单元，用于根据预设数量的匹配特征点，获取相邻视频帧之间匹配特征点的运动信息；
校准单元，用于根据运动信息，对摄像设备的防抖参数进行校准，得到校准后的防抖参数。
在一个实施例中，上述校准单元包括：校准初步值子单元和验证子单元，其中，
校准初步值子单元，用于根据运动信息，通过预设的算法，获取防抖参数校准初步值；
验证子单元，用于对防抖参数校准初步值进行验证，将验证通过的防抖参数校准初步值确定为校准后的防抖参数。
在一个实施例中，在上述验证子单元具体用于分析防抖参数校准初步值与历史防抖参数之间的误差；若误差满足预设的误差范围，则确定防抖参数校准初步值通过验证。
在一个实施例中，上述根据运动信息，通过预设的算法，获取防抖参数校准初步值，包括：将运动信息的值带入预设的代价函数中，对代价函数进行最小值求解，并将代价函数的最小值对应的防抖参数校准变量的值确定为防抖参数校准初步值；代价函数为包括防抖参数校准变量和运动信息变量的函数。
上述实施例提供的所有视频防抖装置，其实现原理和技术效果与上述视频防抖方法实施例类似，在此不再赘述。
关于视频防抖装置的具体限定可以参见上文中对于视频防抖方法的限定，在此不再赘述。上述视频防抖装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频防抖方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，上述图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
若摄像设备满足预设的防抖参数更新条件，获取防抖校准目标视频；
根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数；
基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理。
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
若摄像设备满足预设的防抖参数更新条件，获取防抖校准目标视频；
根据防抖校准目标视频，对摄像设备的防抖参数进行校准，得到校准后的防抖参数；
基于校准后的防抖参数，对摄像设备拍摄的视频进行防抖处理。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种视频防抖方法，其特征在于，所述方法包括：
若摄像设备满足预设的防抖参数更新条件，获取防抖校准目标视频，所述防抖校准目标视频中的有效视频帧的数量满足预设数量阈值；
从所述防抖校准目标视频中的相邻视频帧中获取预设数量的匹配特征点；
根据所述预设数量的匹配特征点，获取所述相邻视频帧之间匹配特征点的运动信息；
根据所述运动信息，对所述摄像设备的防抖参数进行校准，得到所述校准后的防抖参数；
基于所述校准后的防抖参数，对所述摄像设备拍摄的视频进行防抖处理。
2.根据权利要求1所述的方法，其特征在于，所述防抖参数更新条件包括以下条件中的任一种：
当前时刻与所述摄像设备的防抖参数的上次更新时刻之间的间隔等于预设的时间间隔；
当前时刻与所述摄像设备的防抖参数的上次更新时刻之间的间隔大于预设的时间间隔；
所述摄像设备开机。
3.根据权利要求1或2所述的方法，其特征在于，所述获取防抖校准目标视频包括：
从所述摄像设备中获取候选视频；所述候选视频的拍摄时刻与当前时刻的时间间隔最短；
获取所述候选视频中的有效视频帧的数量；
若所述有效视频帧的数量在所述候选视频总帧数的占比大于预设比值，则将所述候选视频确定为所述防抖校准目标视频。
4.根据权利要求3所述的方法，其特征在于，所述获取所述候选视频中的有效视频帧的数量，包括:
获取所述候选视频中每一组相邻视频帧之间的特征点匹配数量；
若所述每一组相邻视频帧之间的特征点匹配数量大于预设数量阈值，则确定所述每一组相邻视频帧中的两个视频帧均为有效视频帧；
获取所述候选视频中的所有有效视频帧的数量。
5.根据权利要求4所述的方法，其特征在于，所述获取所述候选视频中每一组相邻视频帧之间的特征点匹配数量，包括：
对所述候选视频中的相邻视频帧进行帧间特征点匹配，并对每一组相邻视频帧之间匹配的特征点进行异常值过滤；
获取异常值过滤后的每一组相邻视频帧之间的特征点匹配数量。
6.根据权利要求1所述的方法，其特征在于，所述根据所述运动信息，对所述摄像设备的防抖参数进行校准，得到所述校准后的防抖参数，包括：
根据所述运动信息，通过预设的算法，获取防抖参数校准初步值；
对所述防抖参数校准初步值进行验证，将验证通过的防抖参数校准初步值确定为所述校准后的防抖参数。
7.根据权利要求6所述的方法，其特征在于，在所述对所述防抖参数校准初步值进行验证，包括：
分析所述防抖参数校准初步值与历史防抖参数之间的误差；
若所述误差满足预设的误差范围，则确定所述防抖参数校准初步值通过验证。
8.根据权利要求6或7所述的方法，其特征在于，所述根据所述运动信息，通过预设的算法，获取防抖参数校准初步值，包括：
将所述运动信息的值带入预设的代价函数中，对所述代价函数进行最小值求解，并将所述代价函数的最小值对应的防抖参数校准变量的值确定为所述防抖参数校准初步值；所述代价函数为包括防抖参数校准变量和运动信息变量的函数。
9.一种视频防抖装置，其特征在于，所述装置包括：
获取模块，用于若摄像设备满足预设的防抖参数更新条件，获取防抖校准目标视频，所述防抖校准目标视频中的有效视频帧的数量满足预设数量阈值；
校准模块，用于从所述防抖校准目标视频中的相邻视频帧中获取预设数量的匹配特征点；根据所述预设数量的匹配特征点，获取所述相邻视频帧之间匹配特征点的运动信息；根据所述运动信息，对所述摄像设备的防抖参数进行校准，得到所述校准后的防抖参数；
处理模块，用于基于所述校准后的防抖参数，对所述摄像设备拍摄的视频进行防抖处理。
10.一种电子设备，其特征在于，所述电子设备包括摄像设备，所述摄像设备包括所述权利要求9所述的视频防抖装置。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202010106337.6A 2020-02-21 2020-02-21 视频防抖方法、装置、电子设备、计算机设备和存储介质 Active CN111225155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010106337.6A CN111225155B (zh) 2020-02-21 2020-02-21 视频防抖方法、装置、电子设备、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010106337.6A CN111225155B (zh) 2020-02-21 2020-02-21 视频防抖方法、装置、电子设备、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111225155A CN111225155A (zh) 2020-06-02
CN111225155B true CN111225155B (zh) 2021-09-28

Family

ID=70831423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010106337.6A Active CN111225155B (zh) 2020-02-21 2020-02-21 视频防抖方法、装置、电子设备、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111225155B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951180B (zh) * 2020-07-09 2024-05-14 北京迈格威科技有限公司 图像抖动校正方法、装置、计算机设备和存储介质
CN115209031B (zh) * 2021-04-08 2024-03-29 北京字跳网络技术有限公司 视频防抖处理方法、装置、电子设备和存储介质
CN113438409B (zh) * 2021-05-18 2022-12-20 影石创新科技股份有限公司 延迟校准方法、装置、计算机设备和存储介质
CN113438472A (zh) * 2021-06-24 2021-09-24 苏州科达科技股份有限公司 防抖测试方法、装置及电子设备
CN116709023B (zh) * 2022-12-14 2024-03-26 荣耀终端有限公司 视频处理方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014179A (zh) * 2007-02-14 2007-08-08 中兴通讯股份有限公司 一种通信系统中告警防抖的实现装置和实现方法
CN101635659A (zh) * 2009-08-27 2010-01-27 中兴通讯股份有限公司 告警防抖方法和装置
CN102868811A (zh) * 2012-09-04 2013-01-09 青岛大学 一种基于实时视频处理的手机屏幕操控方法
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
CN106060412A (zh) * 2016-08-02 2016-10-26 乐视控股（北京）有限公司 拍照处理方法和装置
CN106412441A (zh) * 2016-11-04 2017-02-15 珠海市魅族科技有限公司 一种视频防抖控制方法以及终端
CN106559615A (zh) * 2015-09-29 2017-04-05 宁波舜宇光电信息有限公司 摄像模组光学防抖系统的校正设备及其校正方法
CN109598764A (zh) * 2018-11-30 2019-04-09 Oppo广东移动通信有限公司 摄像头标定方法和装置、电子设备、计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509052B (zh) * 2011-10-28 2014-05-07 深圳市新国都技术股份有限公司 电子设备触摸屏安全保护方法与装置
CN106131529B (zh) * 2016-06-30 2018-02-27 联想(北京)有限公司 一种视频图像处理方法及装置
CN108366201B (zh) * 2018-02-12 2020-11-06 天津天地伟业信息系统集成有限公司 一种基于陀螺仪的电子防抖方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101014179A (zh) * 2007-02-14 2007-08-08 中兴通讯股份有限公司 一种通信系统中告警防抖的实现装置和实现方法
CN101635659A (zh) * 2009-08-27 2010-01-27 中兴通讯股份有限公司 告警防抖方法和装置
CN102868811A (zh) * 2012-09-04 2013-01-09 青岛大学 一种基于实时视频处理的手机屏幕操控方法
CN106559615A (zh) * 2015-09-29 2017-04-05 宁波舜宇光电信息有限公司 摄像模组光学防抖系统的校正设备及其校正方法
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
CN106060412A (zh) * 2016-08-02 2016-10-26 乐视控股（北京）有限公司 拍照处理方法和装置
CN106412441A (zh) * 2016-11-04 2017-02-15 珠海市魅族科技有限公司 一种视频防抖控制方法以及终端
CN109598764A (zh) * 2018-11-30 2019-04-09 Oppo广东移动通信有限公司 摄像头标定方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN111225155A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111225155B (zh) 视频防抖方法、装置、电子设备、计算机设备和存储介质
CN110430365B (zh) 防抖方法、装置、计算机设备和存储介质
US9467623B2 (en) Image correcting apparatus and method for imaging device
CN108805898B (zh) 视频图像处理方法和装置
JP4586534B2 (ja) 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
CN108830900B (zh) 关键点的抖动处理方法和装置
JP2019004451A (ja) パノラマ映像を処理する方法、装置、デバイス、コンピュータ読取り可能な記憶媒体
CN112017216A (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
CN108280828B (zh) 相机装配位置检测方法与装置
CN111951180B (zh) 图像抖动校正方法、装置、计算机设备和存储介质
CN109561257B (zh) 画面对焦方法、装置、终端及对应的存储介质
CN113635311B (zh) 固定标定板的眼在手外标定方法和系统
CN111711756A (zh) 一种图像防抖方法、电子设备及存储介质
CN111080571A (zh) 摄像头遮挡状态检测方法、装置、终端和存储介质
CN112017215A (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112629565B (zh) 像机与惯性测量单元旋转关系校准方法、装置和设备
CN113438409B (zh) 延迟校准方法、装置、计算机设备和存储介质
US20170331998A1 (en) Camera device, method for camera device, and non-transitory computer readable storage medium
CN112393804B (zh) 一种图像校正的方法及装置
CN109379536B (zh) 画面生成方法、装置、终端及对应的存储介质
CN110866535B (zh) 视差图的获取方法、装置、计算机设备和存储介质
CN115272473A (zh) 相机标定方法、装置、电子设备及存储介质
CN112911058A (zh) 一种拍照控制方法、装置、移动终端及存储介质
CN114979456B (zh) 视频数据的防抖处理方法、装置、计算机设备和存储介质
CN117593437B (zh) 基于gpu的内窥镜实时图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant