CN113691733B - 视频抖动检测方法、装置、电子设备和存储介质 - Google Patents
视频抖动检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113691733B CN113691733B CN202111112132.XA CN202111112132A CN113691733B CN 113691733 B CN113691733 B CN 113691733B CN 202111112132 A CN202111112132 A CN 202111112132A CN 113691733 B CN113691733 B CN 113691733B
- Authority
- CN
- China
- Prior art keywords
- video frame
- target
- video
- determining
- moving distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 abstract description 11
- 238000004590 computer program Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种视频抖动检测方法、装置、电子设备和存储介质,涉及图像处理技术领域,具体涉及智能推荐和媒体云技术领域。具体实现方案为:获取目标视频帧和目标视频帧之前的多帧历史帧,确定各视频帧相对于前一视频帧在设定方向上的移动距离,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。本公开中基于视频帧的抖动幅度和周期确定视频帧的抖动情况,避免了抖动的误判,提高了视频抖动检测的准确性。
Description
技术领域
本公开涉及图像处理技术领域,具体涉及智能推荐和媒体云技术领域,尤其涉及一种视频抖动检测方法、装置、电子设备和存储介质。
背景技术
在视频拍摄、录制、监控过程中,会出现摄像设备发生抖动导致拍摄的视频画面质量较差的情况。因此,需要客观、快速、有效的方法检测视频是否发生抖动,以便于后续稳定设备或者稳像处理。
发明内容
本公开提供了一种视频抖动检测方法、装置、电子设备和存储介质。
根据本公开的一方面,提供了一种视频抖动检测方法,包括:
获取目标视频帧和所述目标视频帧之前的多帧历史视频帧;
对所述目标视频帧和所述多帧历史视频帧中的各所述视频帧,确定相对前一视频帧在设定方向上的移动距离;
根据各所述视频帧相对于前一视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期;
在所述目标视频帧在设定方向上的目标幅度大于设定幅度,且所述目标周期小于设定周期的情况下,确定所述视频存在抖动。
根据本公开的另一方面,提供了一种视频抖动检测装置,包括:
获取模块,用于获取目标视频帧和所述目标视频帧之前的多帧历史视频帧;
第一确定模块,用于对所述目标视频帧和所述多帧历史视频帧中的各所述视频帧,确定相对前一视频帧在设定方向上的移动距离;
第二确定模块,用于根据各所述视频帧相对于前一视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期;
第三确定模块,用于在所述目标视频帧在设定方向上的目标幅度大于设定幅度,且所述目标周期小于设定周期的情况下,确定所述视频存在抖动。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述一方面所述方法的步骤。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行前述一方面所述方法的步骤。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机指令,所述计算机指令在被处理器执行时实现前述一方面所述方法的步骤。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开实施例所提供的一种视频抖动检测方法的流程示意图;
图2为本公开实施例提供的另一种视频抖动检测方法的流程示意图;
图3为本公开实施例提供的另一种视频抖动检测方法的流程示意图;
图4为本公开实施例提供的另一种视频抖动检测方法的流程示意图;
图5为本公开实施例提供的一种视频抖动检测装置的结构示意图;
图6为本公开实施例的示例电子设备600的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的视频抖动检测方法、装置、电子设备和存储介质。
相关技术中,根据抖动幅值判断视频是否存在抖动,当摄像设备缓慢往复运动时,计算出的抖动幅值可能较大,会认为目标视频帧存在抖动,而实际上是正常的摄像设备的移动,导致误判断。为此,本公开实施例提出了一种视频抖动检测方法,获取目标视频帧和目标视频帧之前的多帧历史帧,确定各视频帧相对于前一视频帧在设定方向上的移动距离,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。本公开中基于视频帧的抖动幅度和周期确定视频帧的抖动情况,避免了抖动的误判,提高了视频抖动检测的准确性。
图1为本公开实施例所提供的一种视频抖动检测方法的流程示意图。
如图1所示,该方法包含以下步骤:
步骤101,获取目标视频帧和目标视频帧之前的多帧历史视频帧。
本公开实施例中,视频是由视频帧组成,目标视频帧可以为视频播放过程中的任意一帧视频帧,或者是视频播放过程中的当前视频帧。目标视频帧也可以是视频中的一个视频片段中的任意一帧,或特定一帧。
例如,视频片段A中包含30帧视频帧,为了便于区分编号为1、2、3·····,30,若目标视频帧为第30帧,即编号为30的视频帧,则编号为1-29的视频帧则为编号为30的视频帧之前的历史视频帧。若目标视频帧为第28帧,即编号为28的视频帧,则编号为1-27的视频帧则为编号为28的视频帧之前的历史视频帧。
步骤102,对目标视频帧和多帧历史视频帧中的各视频帧,确定相对前一视频帧在设定方向上的移动距离。
其中,各视频帧包含目标视频帧和目标视频帧之前的多帧历史视频帧。
本公开实施例中,确定各视频帧中相邻的两视频帧间在设定方向上的移动距离,以确定各视频帧中的每一帧在设定方向上的移动距离,其中,设定方向可以是水平方向,或者是垂直方向,或者是水平方向和垂直方向,又或者是水平方向和垂直方向之间的一个方向。
作为一种可能的实现方式,确定各视频帧中任一相邻的视频帧之间的仿射变换矩阵,根据仿射变换矩阵得到相邻视频帧中后一帧相对前一帧在设定方向上的移动距离。
步骤103,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期。
本公开实施例中,根据各视频帧中的每一帧相对于前一视频帧在设定方向上的移动距离,确定各视频帧在设定方向上移动轨迹,根据各视频帧的移动轨迹,确定目标视频帧在设定方向上的目标幅度和目标周期,进而根据目标幅度和目标周期,确定目标视频帧是否存在抖动。本公开实施例中通过增加确定目标视频帧是否存在抖动时考虑的因素,提高了视频帧抖动确定的准确性。
步骤104,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。
本公开实施例中,根据确定的目标视频帧在设定方向上的目标幅度和目标周期,在确定目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定目标视频帧存在抖动,从而确定获取目标视频帧的视频存在抖动,相比于现有技术中通过幅度即确定视频是否存在抖动的方法,避免了在视频采集设备正常往复运动时因幅度较大而导致的抖动的误判断,提高了视频抖动确定的准确性。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
本公开实施例的视频抖动检测方法中,获取目标视频帧和目标视频帧之前的多帧历史帧,确定各视频帧相对于前一视频帧在设定方向上的移动距离,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。本公开中基于视频帧的抖动幅度和周期确定视频帧的抖动情况,避免了抖动的误判,提高了视频抖动检测的准确性。
基于上述实施例,本实施例提供了另一种视频抖动检测方法,图2为本公开实施例提供的另一种视频抖动检测方法的流程示意图,具体说明了如何确定各视频帧相对于前一视频帧在设定方向上的移动距离,如图2所示,该方法包含以下步骤:
步骤201,获取目标视频帧和目标视频帧之前的多帧历史帧。
具体地,可参照前述实施例中的解释说明,原理相同,本实施例中不再赘述。
步骤202,针对各视频帧,将视频帧中的特征点和视频帧的前一视频帧中的特征点进行匹配,以确定视频帧中的第一匹配特征点和视频帧的前一视频帧中的第二匹配特征点。
其中,视频帧中的特征点,可以是包含视频中物体的形状、颜色、纹理等特征的一个或多个像素点的组合。
本公开实施例的一种实现方式中,获取相邻的两个视频帧图像,在前一视频帧图像和后一视频帧图像中提取到多个特征点的特征,例如,可基于SURF算法提取视频帧图像中的特征点,然后对特征点的特征进行匹配,得到前一视频帧图像与后一视频帧图像中的匹配的特征点,构成特征点匹配对。为了便于区别,针对各视频帧,本公开实施例中称为该视频帧中的第一匹配特征点,以及该视频帧的前一视频帧中和第一匹配特征点匹配的第二匹配特征点。比如,一视频帧图像中的特征点分别为P1,P2,P3……,Pn,前一视频帧图像中的相应匹配的特征点分别为Q1,Q2,Q3……,Qn。其中,P1和Q1为特征点匹配对,P2和Q2为特征点匹配对,P3和Q3为特征点匹配对等。特征点的匹配可以采用暴力匹配(Brute Force)或快速近似最近邻(FLANN)算法进行特征匹配,其中,快速近似最近邻算法是通过判断最近匹配距离和次近匹配距离比值是否超过设定阈值,若超过预设阈值,则判定匹配成功,以此减少误匹配点对。
步骤203,确定各第一匹配特征点相对于各第二匹配特征点在设定方向上的移动距离。
其中,设定方向为水平方向和/或垂直方向。由于采集图像的摄像装置的抖动可能是水平方向上的移动,也可能是垂直方向上的移位导致的抖动,也可能同时存在水平方向和垂直方向的抖动,通过确定两个方向上的移动距离,可提高后续抖动确定的准确性。
本公开实施例中,确定各第一匹配特征点在设定方向上的移动距离,以及各第二匹配特征点在设定方向上的移动距离,从而,可确定各第一匹配特征点相对于各第二匹配特征点的移动距离。
步骤204,在第一匹配特征点的数量大于特征点设定数量的情况下,将各第一匹配特征点的移动距离的平均值,作为视频帧相对于前一视频帧在设定方向上的移动距离。
本公开实施例中,确定第一匹配特征点的数量,并将第一匹配特征点的数量和特征点设定数量进行对比,以确定第一匹配特征点的数量大于特征点设定数量,以避免第一匹配特征点的数量较少时为匹配错误的特征点造成的误判,提高了准确性。进而,将第一匹配特征点的移动距离的平均值,作为视频帧相对于前一视频帧在设定方向上的移动距离。
需要说明的是,在第一匹配特征点的数量小于或等于特征点设定数量的情况下,则认为视频帧相对于前一视频帧在设定方向上未发生移动。
步骤205,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期。
步骤206,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。
具体地,步骤205和步骤206可参照前述实施例中的解释说明,原理相同,本实施例中不再赘述。
本公开实施例的视频抖动检测方法中,获取目标视频帧和目标视频帧之前的多帧历史帧,确定各视频帧相对于前一视频帧在设定方向上的移动距离,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。本公开中基于视频帧的抖动幅度和周期确定视频帧的抖动情况,避免了抖动的误判,提高了视频抖动检测的准确性。而在确定各视频帧相对于前一视频帧在设定方向上的移动距离时,通过判断各视频帧中的匹配的特征点的总数量,减少因匹配错误的特征点导致的误判断,提高了各视频帧移动距离确定的准确性。
基于上述实施例,本实施例提供了另一种实现方式,针对各视频帧,通过确定匹配的特征点的移动距离大于设定距离的数量,以提高各视频帧相对于前一视频帧在设定方向上的移动距离的准确性,图3为本公开实施例提供的另一种视频抖动检测方法的流程示意图,如图3所示,该方法还包含以下步骤:
步骤301,获取目标视频帧和目标视频帧之前的多帧历史帧。
步骤302,针对各视频帧,将视频帧中的特征点和视频帧的前一视频帧中的特征点进行匹配,以确定视频帧中的第一匹配特征点和视频帧的前一视频帧中的第二匹配特征点。
步骤303,确定各第一匹配特征点相对于各第二匹配特征点的移动距离。
具体地,步骤301-303可参照前述实施例中的解释说明,原理相同,本实施例中不再赘述。
步骤304,统计第一匹配特征点中移动距离大于设定距离的第三匹配特征点数量,确定第三匹配特征点数量大于第三设定数量或第三匹配特征点数量在第一匹配特征点的数量中的占比大于第一占比。
本公开实施例中,统计第一匹配特征点中移动距离大于设定距离的第三匹配特征点数量,并确定第三匹配特征点数量大于第三设定数量或第三匹配特征点数量在第一匹配特征点的数量中的占比大于第一占比,通过确定各第一匹配特征点中移动距离较大的特征点数量或特征点的占比,以确定对应视频帧中存在大量特征点发生移动,避免因为视频帧中的一部分物体移动而误判视频帧存在移动,提高视频帧移动判断的准确性。
需要说明的是,在确定第三匹配特征点数量小于或等于第三设定数量或第三匹配特征点数量在第一匹配特征点的数量中的占比小于或等于第一占比时,则认为是视频中的部分物体移动,而视频帧相对前一视频帧未存在移动。
步骤305,在第一匹配特征点的数量大于特征点设定数量,且第三匹配特征点数量大于第三设定数量或第三匹配特征点数量在第一匹配特征点的数量中的占比大于第一占比的情况下,将各第一匹配特征点的移动距离的平均值,作为视频帧相对于前一视频帧在设定方向上的移动距离。
本公开实施例中,在确定第一匹配特征点的数量大于特征点设定数量,且第三匹配特征点数量大于第三设定数量或第三匹配特征点数量在第一匹配特征点的数量中的占比大于第一占比的情况下,确定相应的视频帧存在移动,从而,将视频帧的各第一匹配特征点的移动距离的平均值,作为视频帧相对于前一视频帧在设定方向上的移动距离,提高了各视频帧移动判断的准确性。
步骤306,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期。
步骤307,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。
具体地,步骤306和步骤307可参照前述实施例中的解释说明,原理相同,本实施例中不再赘述。
本公开实施例的视频抖动检测方法中,获取目标视频帧和目标视频帧之前的多帧历史帧,确定各视频帧相对于前一视频帧在设定方向上的移动距离,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。本公开中基于视频帧的抖动幅度和周期确定视频帧的抖动情况,避免了抖动的误判,提高了视频抖动检测的准确性。而在确定各视频帧相对于前一视频帧在设定方向上的移动距离时,通过判断各视频帧中的匹配的特征点的总数量,以及特征点移动距离占比满足设定要求或存在移动的特征点的数量满足设定要求,减少了因视频帧中部分物体移动而导致的误判断,提高了各视频帧移动距离确定的准确性。
基于上述实施例,本实施例提供了另一种视频抖动检测方法,图4为本公开实施例提供的另一种视频抖动检测方法的流程示意图,如图4所示,该方法包含以下步骤:
步骤401,获取目标视频帧和目标视频帧之前的多帧历史帧。
步骤402,确定各视频帧相对于前一视频帧在设定方向上的移动距离。
具体地,步骤401和步骤402可参照前述实施例中的相关解释说明,原理相同,本实施例中不再赘述。
步骤403,根据各移动距离,按照设定顺序生成移动距离列表。
其中,设定顺序指示了各视频帧的生成顺序。
本公开实施例的一种实现方式中,根据各视频帧相对于前一视频帧在设定方向上的移动距离,以及各视频帧的生成顺序在移动距离列表中依次写入数据。例如,各视频帧一共为10帧,按照各视频帧生成的顺序分别编号为1-10,其中,编号为10的帧为当前最近的一帧,编号为9的帧为编号为10的帧的前一帧,依次类推,则编号为1的帧为最早生成的帧,从而在移动距离列表中从左到右依次填入编号为1-10的各帧在设定方向上的移动距离。
本公开实施例中,在移动距离列表中包含的各视频帧的移动距离数量大于设定阈值数量时,由于移动距离列表用于筛选后续用于确定目标视频帧的目标幅度和目标周期的多个视频帧,则删除生成顺序较早的视频帧,以降低移动距离列表中包含的移动距离的数量,从而降低运算量,同时提高后续基于移动距离列表中包含的各视频帧的移动距离,确定目标视频帧的目标幅度和目标周期的准确性。
步骤404,根据移动距离列表,确定移动距离的绝对值大于设定距离阈值的第一设定数量的连续视频帧。
本公开实施例的一种实现方式中,在移动距离列表中,按照设定顺序的反方向,从各视频帧对应的移动距离列表中,确定移动距离的绝对值大于设定距离阈值的第一设定数量的连续视频帧,以排除移动距离较小或者是没有移动的视频帧,确定有效的连续视频帧,以降低用于确定目标视频帧在设定方向上的目标幅度和目标周期的连续视频帧的数量,以提高准确性。
例如,在移动距离列表中,从编号为10的帧到编号为1的帧查询,确定移动距离的绝对值大于设定距离阈值的第一设定数量的连续视频帧,例如为10帧。
步骤405,在第一设定数量的连续视频帧中,确定移动距离的绝对值为极值的第二设定数量的候选视频帧。
其中,第二设定数量小于第一设定数量。例如,第一设定数量为10帧,第二设定数量为3帧。
本公开实施例中,确定移动距离的绝对值为极值的第二设定数量的候选视频帧,即确定了多个局部的移动距离的绝对值的极值点,以进一步对移动距离进行筛选。
例如,从上一步骤中确定出的10帧连续视频帧中筛选出局部移动距离为极值点的第二设定数量的视频帧,例如为3帧。
步骤406,根据第二设定数量的候选视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期。
本公开实施例中,第二设定数量的候选视频帧移动距离较大,指示了可能存在抖动的各视频帧,进而根据可能存在抖动的第二设定数量的候选视频帧在设定方向上的移动距离,估算出目标视频帧在设定方向上的目标幅度和目标周期,以实现基于目标幅度和目标周期两个参数,确定目标视频帧是否发生抖动,提高了目标视频帧抖动确定的准确性。
在本公开实施例的一种实现方式中,在第二设定数量的候选视频帧中,根据相邻的候选视频帧在设定方向上的移动距离,确定参考视频帧。在一种场景下,若第二设定数量大于或等于2个,则从第二设定数量的候选视频帧中确定存在相邻关系的候选视频帧对,从多个候选视频帧对中筛选出移动距离较小的候选视频帧,进而,重复上述筛选操作,直至筛选出的候选视频帧为两个,从最后筛选出的两个候选视频帧中,选择移动距离较大的候选视频帧作为参考视频帧。
例如,第二设定数量的候选视频帧为3个,按照在距离列表中的顺序依次分别为A,B和C,其中,候选视频帧A的移动距离最大,候选视频帧B的移动距离大于候选视频帧C的移动距离,将候选视频帧C和候选视频帧B的移动距离的绝对值比较,确定候选视频帧C为移动距离较小的候选视频帧;将候选视频帧B和候选视频帧A的移动距离的绝对值比较,确定候选视频帧B为移动距离较小的候选视频帧,进而,将候选视频帧C和候选视频帧B的移动距离比较,确定移动距离较大的候选视频帧B为参考视频帧。
在另一种场景下,若第二设定数量为1个,则该一个极值点对应的候选视频帧则作为参考视频帧,在存在一个参考视频帧时,目标视频帧在设定方向上的目标幅度和目标周期均为0,则确定视频不存在抖动。
进而,将目标视频帧在设定方向上的移动距离,作为目标视频帧在设定方向上的目标幅度。并根据参考视频帧与相邻的候选视频帧间的帧差值,确定目标视频帧在设定方向上的目标周期。
其中,在一种场景下,若参考视频帧相邻的候选视频帧为两个,确定参考视频帧与相邻的任一个候选视频帧间的帧间隔,根据帧间隔确定参考视频帧与相邻的任一个候选视频帧间的周期,即为T1和T2,进而,将T1或T2作为目标视频帧的目标周期,或者是将T1和T2的平均值作为目标视频帧的目标周期。
其中,对于T1或T2的确定方式,本公开实施例中,以T1为例,例如,参考视频帧为上述确定的候选视频帧B,候选视频帧B与候选视频帧A间的帧间隔为3帧,获取采集目标视频帧的设备的拍摄帧率,根据帧率确定一帧的时长为t1,将一帧的时长乘以帧间隔的2倍,作为参考视频帧B与相邻的候选视频帧A间的周期,即t1*3*2。
在另一种场景下,若参考视频帧相邻的候选视频帧为一个,则将根据参考视频帧与相邻的候选视频帧间的帧间隔确定的周期,作为目标视频帧的目标周期。
进而,根据确定的目标视频帧的目标幅度和目标周期,可以准确的确定目标视频帧是否发生抖动,提高了抖动确定的准确性。本公开实施例中从第二设定数量的候选视频帧中,在第二设定数量较多时,可迭代筛选出参考视频帧,基于参考视频帧的移动距离确定目标视频帧的目标幅度,提高了目标幅度确定的准确性,进而基于参考视频帧与相邻帧间的帧间隔确定目标周期,目标周期估算的准确度也较高。
步骤407,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。
具体地,可参照前述实施例中的解释说明,本实施例中不再赘述。
本公开实施例的视频抖动检测方法中,获取目标视频帧和目标视频帧之前的多帧历史帧,确定各视频帧相对于前一视频帧在设定方向上的移动距离,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。本公开中基于视频帧的抖动幅度和周期确定视频帧的抖动情况,避免了抖动的误判,提高了视频抖动检测的准确性。
上述实施例中说明了在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定目标视频帧存在抖动,从而确定视频存在抖动。为了提高视频抖动确定的准确性,基于上述实施例,本公开实施例提供了另一种视频抖动检测方法,在确定目标视频帧存在抖动后,获取目标视频帧之后获取的多帧连续的视频帧,采用上述确定目标视频帧的方法,确定目标视频帧之后的连续视频帧中的各视频在设定方向上的幅度和周期,根据各视频在设定方向上的幅度和周期,确定存在抖动的连续视频帧的数量,在存在抖动的连续的视频帧的数量大于第一帧数量的情况下,确定视频存在抖动。本公开实施例中,通过确定连续的多帧视频帧的抖动情况,可以确定视频中存在抖动的各帧视频帧,也就是可以确定视频中存在抖动的起始时刻和结束时刻,从而准确定位到存在抖动的视频部分,提高了视频抖动确定的准确性,并为后续抖动消除和抖动分析提供依据。
为了实现上述实施例,本实施例提供了一种视频抖动检测装置。
图5为本公开实施例提供的一种视频抖动检测装置的结构示意图,如图5所示,该装置包含:
获取模块51,用于获取目标视频帧和所述目标视频帧之前的多帧历史视频帧。
第一确定模块52,用于对目标视频帧和多帧历史视频帧中的各视频帧,确定相对前一视频帧在设定方向上的移动距离。
第二确定模块53,用于根据各所述视频帧相对于前一视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期。
第三确定模块54,用于在所述目标视频帧在设定方向上的目标幅度大于设定幅度,且所述目标周期小于设定周期的情况下,确定视频存在抖动。
进一步,在本公开实施例的一种实现方式中,第二确定模块53,还用于:
根据各所述移动距离,按照设定顺序生成移动距离列表;所述设定顺序指示了各所述视频帧的生成顺序;根据所述移动距离列表,确定移动距离的绝对值大于设定距离阈值的第一设定数量的连续视频帧;在所述第一设定数量的连续视频帧中,确定移动距离的绝对值为极值的第二设定数量的候选视频帧;所述第二设定数量小于所述第一设定数量;第三确定单元,用于根据所述第二设定数量的候选视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期。
在本公开实施例的一种实现方式中,第二确定模块53,还用于:
在所述第二设定数量的候选视频帧中,根据相邻的候选视频帧在设定方向上的移动距离,确定参考视频帧;将所述参考视频帧在设定方向上的移动距离,作为所述目标视频帧在设定方向上的目标幅度;根据所述参考视频帧与相邻的候选视频帧间的帧差值,确定所述目标视频帧在设定方向上的目标周期。
在本公开实施例的一种实现方式中,第一确定模块52,还用于:
针对各所述视频帧,将所述视频帧中的特征点和所述视频帧的前一视频帧中的特征点进行匹配,以确定所述视频帧中的第一匹配特征点和所述视频帧的前一视频帧中的第二匹配特征点;确定各所述第一匹配特征点相对于各所述第二匹配特征点的移动距离;在所述第一匹配特征点的数量大于特征点设定数量的情况下,将各所述第一匹配特征点的移动距离的平均值,作为所述视频帧相对于前一视频帧在设定方向上的移动距离。
在本公开实施例的一种实现方式中,第一确定模块52,还用关于:
统计所述第一匹配特征点中移动距离大于设定距离的第三匹配特征点数量;确定所述第三匹配特征点数量大于第三设定数量或所述第三匹配特征点数量在所述第一匹配特征点的数量中的占比大于第一占比。
在本公开实施例的一种实现方式中,第三确定模块54,还用于:
获取所述目标视频帧之后获取的多帧连续的视频帧;根据所述连续的视频帧中各所述视频帧在设定方向上的幅度和周期,确定存在抖动的连续的视频帧的数量;在所述存在抖动的连续的视频帧的数量大于第一帧数量的情况下,确定所述视频存在抖动。
在本公开实施例的一种实现方式中,其中,所述设定方向包含水平方向和/或垂直方向。
需要理解的是,前述方法实施例中的解释说明也适用于本实施例的中的装置,原理相同,本实施例中不再赘述。
本公开实施例的视频抖动检测装置中,获取目标视频帧和目标视频帧之前的多帧历史帧,确定各视频帧相对于前一视频帧在设定方向上的移动距离,根据各视频帧相对于前一视频帧在设定方向上的移动距离,确定目标视频帧在设定方向上的目标幅度和目标周期,在目标视频帧在设定方向上的目标幅度大于设定幅度,且目标周期小于设定周期的情况下,确定视频存在抖动。本公开中基于视频帧的抖动幅度和周期确定视频帧的抖动情况,避免了抖动的误判,提高了视频抖动检测的准确性。
为了实现上述实施例,本公开实施例还提供了一种电子设备,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述方法实施例所述方法的步骤。
为了实现上述实施例,本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行前述方法实施例所述方法的步骤。
为了实现上述实施例,本公开实施例还提供了一种计算机程序产品,包括计算机指令,所述计算机指令在被处理器执行时实现前述方法实施例所述方法的步骤。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6为本公开实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在ROM(Read-OnlyMemory,只读存储器)602中的计算机程序或者从存储单元608加载到RAM(Random AccessMemory,随机访问/存取存储器)603中的计算机程序,来执行各种适当的动作和处理。在RAM603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。I/O(Input/Output,输入/输出)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于CPU(Central Processing Unit,中央处理单元)、GPU(Graphic Processing Units,图形处理单元)、各种专用的AI(Artificial Intelligence,人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor,数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如视频抖动检测方法。例如,在一些实施例中,视频抖动检测方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的视频抖动检测方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行视频抖动检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array,现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit,专用集成电路)、ASSP(Application Specific StandardProduct,专用标准产品)、SOC(System On Chip,芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device,复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory,可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory,便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode-Ray Tube,阴极射线管)或者LCD(Liquid Crystal Display,液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:LAN(LocalArea Network,局域网)、WAN(Wide Area Network,广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
其中,需要说明的是,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (14)
1.一种视频抖动检测方法,包括:
获取目标视频帧和所述目标视频帧之前的多帧历史视频帧;
对所述目标视频帧和所述多帧历史视频帧中的各所述视频帧,确定相对前一视频帧在设定方向上的移动距离;
根据各所述视频帧相对于前一视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期;
在所述目标视频帧在设定方向上的目标幅度大于设定幅度,且所述目标周期小于设定周期的情况下,确定视频存在抖动;
其中,所述根据各所述视频帧相对于前一视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期,包括:
根据各所述移动距离,按照设定顺序生成移动距离列表;所述设定顺序指示了各所述视频帧的生成顺序;
根据所述移动距离列表,确定移动距离的绝对值大于设定距离阈值的第一设定数量的连续视频帧;
在所述第一设定数量的连续视频帧中,确定移动距离的绝对值为极值的第二设定数量的候选视频帧;所述第二设定数量小于所述第一设定数量;
根据所述第二设定数量的候选视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期。
2.如权利要求1所述的方法,其中,所述根据所述第二设定数量的候选视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期,包括:
在所述第二设定数量的候选视频帧中,根据相邻的候选视频帧在设定方向上的移动距离,确定参考视频帧;
将所述参考视频帧在设定方向上的移动距离,作为所述目标视频帧在设定方向上的目标幅度;
根据所述参考视频帧与相邻的候选视频帧间的帧差值,确定所述目标视频帧在设定方向上的目标周期。
3.如权利要求1所述的方法,其中,所述对所述目标视频帧和所述多帧历史视频帧中的各所述视频帧,确定相对前一视频帧在设定方向上的移动距离,包括:
针对各所述视频帧,将所述视频帧中的特征点和所述视频帧的前一视频帧中的特征点进行匹配,以确定所述视频帧中的第一匹配特征点和所述视频帧的前一视频帧中的第二匹配特征点;
确定各所述第一匹配特征点相对于各所述第二匹配特征点的移动距离;
在所述第一匹配特征点的数量大于特征点设定数量的情况下,将各所述第一匹配特征点的移动距离的平均值,作为所述视频帧相对于前一视频帧在设定方向上的移动距离。
4.如权利要求3所述的方法,其中,所述将各所述第一匹配特征点的移动距离的平均值,作为所述视频帧相对于前一视频帧在设定方向上的移动距离之前,包括:
统计所述第一匹配特征点中移动距离大于设定距离的第三匹配特征点数量;
确定所述第三匹配特征点数量大于第三设定数量或所述第三匹配特征点数量在所述第一匹配特征点的数量中的占比大于第一占比;
在第一匹配特征点的数量大于特征点设定数量,且第三匹配特征点数量大于第三设定数量或第三匹配特征点数量在第一匹配特征点的数量中的占比大于第一占比的情况下,将各第一匹配特征点的移动距离的平均值,作为视频帧相对于前一视频帧在设定方向上的移动距离。
5.如权利要求1-4任一所述的方法,其中,所述确定视频存在抖动,包括:
获取所述目标视频帧之后获取的多帧连续的视频帧;
根据所述连续的视频帧中各所述视频帧在设定方向上的幅度和周期,确定存在抖动的连续的视频帧的数量;
在所述存在抖动的连续的视频帧的数量大于第一帧数量的情况下,确定所述视频存在抖动。
6.如权利要求1-4任一所述的方法,其中,所述设定方向包含水平方向和/或垂直方向。
7.一种视频抖动检测装置,包括:
获取模块,用于获取目标视频帧和所述目标视频帧之前的多帧历史视频帧;
第一确定模块,用于对所述目标视频帧和所述多帧历史视频帧中的各所述视频帧,确定相对前一视频帧在设定方向上的移动距离;
第二确定模块,用于根据各所述视频帧相对于前一视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期;
第三确定模块,用于在所述目标视频帧在设定方向上的目标幅度大于设定幅度,且所述目标周期小于设定周期的情况下,确定视频存在抖动;
所述第二确定模块,还用于:
根据各所述移动距离,按照设定顺序生成移动距离列表;所述设定顺序指示了各所述视频帧的生成顺序;
根据所述移动距离列表,确定移动距离的绝对值大于设定距离阈值的第一设定数量的连续视频帧;
在所述第一设定数量的连续视频帧中,确定移动距离的绝对值为极值的第二设定数量的候选视频帧;所述第二设定数量小于所述第一设定数量;
第三确定单元,用于根据所述第二设定数量的候选视频帧在设定方向上的移动距离,确定所述目标视频帧在设定方向上的目标幅度和目标周期。
8.如权利要求7所述的装置,其中,所述第二确定模块,还用于:
在所述第二设定数量的候选视频帧中,根据相邻的候选视频帧在设定方向上的移动距离,确定参考视频帧;
将所述参考视频帧在设定方向上的移动距离,作为所述目标视频帧在设定方向上的目标幅度;
根据所述参考视频帧与相邻的候选视频帧间的帧差值,确定所述目标视频帧在设定方向上的目标周期。
9.如权利要求7所述的装置,其中,所述第一确定模块,还用于:
针对各所述视频帧,将所述视频帧中的特征点和所述视频帧的前一视频帧中的特征点进行匹配,以确定所述视频帧中的第一匹配特征点和所述视频帧的前一视频帧中的第二匹配特征点;
确定各所述第一匹配特征点相对于各所述第二匹配特征点的移动距离;
在所述第一匹配特征点的数量大于特征点设定数量的情况下,将各所述第一匹配特征点的移动距离的平均值,作为所述视频帧相对于前一视频帧在设定方向上的移动距离。
10.如权利要求9所述的装置,其中,所述第一确定模块,还用于:
统计所述第一匹配特征点中移动距离大于设定距离的第三匹配特征点数量;
确定所述第三匹配特征点数量大于第三设定数量或所述第三匹配特征点数量在所述第一匹配特征点的数量中的占比大于第一占比;
在第一匹配特征点的数量大于特征点设定数量,且第三匹配特征点数量大于第三设定数量或第三匹配特征点数量在第一匹配特征点的数量中的占比大于第一占比的情况下,将各第一匹配特征点的移动距离的平均值,作为视频帧相对于前一视频帧在设定方向上的移动距离。
11.如权利要求7-10任一所述的装置,其中,所述第三确定模块,还用于:
获取所述目标视频帧之后获取的多帧连续的视频帧;
根据所述连续的视频帧中各所述视频帧在设定方向上的幅度和周期,确定存在抖动的连续的视频帧的数量;
在所述存在抖动的连续的视频帧的数量大于第一帧数量的情况下,确定所述视频存在抖动。
12.如权利要求7-10任一所述的装置,其中,所述设定方向包含水平方向和/或垂直方向。
13. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述方法的步骤。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述方法的步骤。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111112132.XA CN113691733B (zh) | 2021-09-18 | 2021-09-18 | 视频抖动检测方法、装置、电子设备和存储介质 |
JP2022127538A JP2022160646A (ja) | 2021-09-18 | 2022-08-10 | ビデオジッタの検出方法、装置、電子機器および記憶媒体 |
KR1020220108642A KR20220126264A (ko) | 2021-09-18 | 2022-08-29 | 비디오 흔들림 검출 방법, 장치, 전자 기기 및 저장 매체 |
EP22196149.3A EP4145844A1 (en) | 2021-09-18 | 2022-09-16 | Method and apparatus for detecting jitter in video, electronic device, and storage medium |
US17/932,831 US20230013170A1 (en) | 2021-09-18 | 2022-09-16 | Method and apparatus for detecting jitter in video, electronic device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111112132.XA CN113691733B (zh) | 2021-09-18 | 2021-09-18 | 视频抖动检测方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113691733A CN113691733A (zh) | 2021-11-23 |
CN113691733B true CN113691733B (zh) | 2023-04-18 |
Family
ID=78587029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111112132.XA Active CN113691733B (zh) | 2021-09-18 | 2021-09-18 | 视频抖动检测方法、装置、电子设备和存储介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230013170A1 (zh) |
EP (1) | EP4145844A1 (zh) |
JP (1) | JP2022160646A (zh) |
KR (1) | KR20220126264A (zh) |
CN (1) | CN113691733B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114298992B (zh) * | 2021-12-21 | 2024-08-13 | 北京百度网讯科技有限公司 | 一种视频帧去重方法、装置、电子设备及存储介质 |
CN114494328B (zh) * | 2022-02-11 | 2024-01-30 | 北京字跳网络技术有限公司 | 图像显示方法、装置、电子设备及存储介质 |
CN114640754B (zh) * | 2022-03-08 | 2024-06-14 | 京东科技信息技术有限公司 | 视频抖动检测方法、装置、计算机设备及存储介质 |
CN114531549B (zh) * | 2022-04-22 | 2022-08-09 | 浙江大华技术股份有限公司 | 图像采集方法、电子设备和计算机可读存储介质 |
CN117750203A (zh) * | 2024-02-20 | 2024-03-22 | 荣耀终端有限公司 | 电子设备及其视频处理方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110740247A (zh) * | 2018-07-18 | 2020-01-31 | 腾讯科技(深圳)有限公司 | 视频增稳方法、装置、计算机设备及存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005102082A (ja) * | 2003-09-26 | 2005-04-14 | Mitsubishi Electric Corp | 画像空間安定化方法 |
JP2007096481A (ja) * | 2005-09-27 | 2007-04-12 | Matsushita Electric Ind Co Ltd | 撮像装置および撮像システム |
JP2007267115A (ja) * | 2006-03-29 | 2007-10-11 | Seiko Epson Corp | 手ぶれ補正装置、それを用いた撮影装置、手ぶれ補正方法、手ぶれ補正プログラム、及び手ぶれ補正プログラムの記録媒体 |
US8130845B2 (en) * | 2006-11-02 | 2012-03-06 | Seiko Epson Corporation | Method and apparatus for estimating and compensating for jitter in digital video |
JP5031690B2 (ja) * | 2008-07-15 | 2012-09-19 | キヤノン株式会社 | 防振制御装置及び撮像装置並びに防振制御装置の制御方法 |
JP5822430B2 (ja) * | 2008-11-28 | 2015-11-24 | キヤノン株式会社 | 像振れ補正装置およびそれを有する撮像装置 |
JP2011082901A (ja) * | 2009-10-09 | 2011-04-21 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2011097512A (ja) * | 2009-11-02 | 2011-05-12 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
CN103763461B (zh) * | 2013-12-31 | 2015-06-10 | 合一网络技术(北京)有限公司 | 一种视频抖动检测方法及装置 |
CN104135597B (zh) * | 2014-07-04 | 2017-12-15 | 上海交通大学 | 一种视频抖动自动检测方法 |
CN107958462A (zh) * | 2017-11-20 | 2018-04-24 | 江西服装学院 | 一种视频抖动判定方法及装置 |
-
2021
- 2021-09-18 CN CN202111112132.XA patent/CN113691733B/zh active Active
-
2022
- 2022-08-10 JP JP2022127538A patent/JP2022160646A/ja active Pending
- 2022-08-29 KR KR1020220108642A patent/KR20220126264A/ko not_active Application Discontinuation
- 2022-09-16 US US17/932,831 patent/US20230013170A1/en active Pending
- 2022-09-16 EP EP22196149.3A patent/EP4145844A1/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110740247A (zh) * | 2018-07-18 | 2020-01-31 | 腾讯科技(深圳)有限公司 | 视频增稳方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2022160646A (ja) | 2022-10-19 |
US20230013170A1 (en) | 2023-01-19 |
KR20220126264A (ko) | 2022-09-15 |
CN113691733A (zh) | 2021-11-23 |
EP4145844A1 (en) | 2023-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113691733B (zh) | 视频抖动检测方法、装置、电子设备和存储介质 | |
CN109740499A (zh) | 视频分割方法、视频动作识别方法、装置、设备及介质 | |
CN110659600B (zh) | 物体检测方法、装置及设备 | |
CN111079670A (zh) | 人脸识别方法、装置、终端和介质 | |
CN111553282A (zh) | 用于检测车辆的方法和装置 | |
CN113642431A (zh) | 目标检测模型的训练方法及装置、电子设备和存储介质 | |
CN111601013B (zh) | 用于处理视频帧的方法和装置 | |
CN112508126A (zh) | 深度学习模型训练方法、装置、电子设备及可读存储介质 | |
CN114449343A (zh) | 一种视频处理方法、装置、设备及存储介质 | |
CN115334335B (zh) | 视频插帧方法及装置 | |
CN113469085A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
CN112560772A (zh) | 人脸的识别方法、装置、设备及存储介质 | |
CN114169425B (zh) | 训练目标跟踪模型和目标跟踪的方法和装置 | |
CN114037087B (zh) | 模型训练方法及装置、深度预测方法及装置、设备和介质 | |
CN113628192B (zh) | 图像模糊检测方法、装置、设备、存储介质及程序产品 | |
CN111967299B (zh) | 无人机巡检方法、装置、设备及存储介质 | |
CN115116130A (zh) | 一种通话动作识别方法、装置、设备以及存储介质 | |
CN115131315A (zh) | 一种图像的变化检测方法、装置、设备及存储介质 | |
CN114550300A (zh) | 视频数据分析方法、装置、电子设备及计算机存储介质 | |
CN114627556A (zh) | 动作检测方法、动作检测装置、电子设备以及存储介质 | |
CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
CN113361455A (zh) | 人脸鉴伪模型的训练方法、相关装置及计算机程序产品 | |
CN112507957A (zh) | 一种车辆关联方法、装置、路侧设备及云控平台 | |
CN115880776B (zh) | 关键点信息的确定方法和离线动作库的生成方法、装置 | |
CN113643257B (zh) | 图像噪点检测方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |