CN114827443A - 视频帧选取方法、视频延时处理方法、装置及计算机设备 - Google Patents
视频帧选取方法、视频延时处理方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN114827443A CN114827443A CN202110130010.7A CN202110130010A CN114827443A CN 114827443 A CN114827443 A CN 114827443A CN 202110130010 A CN202110130010 A CN 202110130010A CN 114827443 A CN114827443 A CN 114827443A
- Authority
- CN
- China
- Prior art keywords
- video
- block
- video frame
- frames
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 26
- 239000000872 buffer Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 16
- 206010034719 Personality change Diseases 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002829 reductive effect Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 11
- 230000003111 delayed effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 239000007983 Tris buffer Substances 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请实施例提供了一种视频帧选取方法、视频延时处理方法、装置及计算机设备,其中方法包括:将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧;根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列。通过所提供的视频帧选取方案,将已录制视频划分为区块后,再以区块为单元选择最佳的结果成本帧,不需要针对全部视频帧统一处理,可以实现视频的实时录制和视频帧选取,减少了视频帧选取的工作量,提高了视频帧选取精度。
Description
技术领域
本申请涉及视频处理技术领域,尤其涉及一种视频帧选取方法、视频延时处理方法、装置及计算机设备。
背景技术
随着摄影机与摄影技术的进步,用户对于拍照及录像的要求也越高,因应而生的是更加丰富的拍摄体验。其中,延时摄影(Time lapse)是一种将画面拍摄频率设定在远低于一般观看连续画面所需频率的摄影技术,如每秒只拍摄一帧,而后将拍摄好的画面以正常速度回放,例如每秒24帧或30帧时,便会给用户一种时间经过较快快速而导致的流逝感。此技术常用来捕捉人眼不易观察的细微变化,如星空的移动、植物的生长等等。而在延时摄影的同时加上摄影机的运动,则称为移动延时摄影(Hyper lapse),通常地,移动延时摄影会加上视频稳定方法,以获得较佳的观看体验。
现有的延时摄影方案有多种,但均存在相应的问题。例如,透过手动方式拍摄每个独立的影像,再将独立的影像合成视频,这就需要透过人为控制,难以进行长时间的记录。或者,透过可自动控制快门的控制器,精准设定时间间隔或增加幅度来进行拍摄。此方案于摄像机静止不动的情形下,通常是有效的,但无法针对场景的变化做细微的调整。若在固定的间隔下选取帧做记录,难以避免挑选到的帧有突发性的模糊,甚至是在相机运动时造成的抖动等,都会因为增加视频的帧率而放大该状况,比如更加明显的抖动,进而影响观看体验。
可见,现有的延时摄影方案存在摄影难度较大或者后期选帧效果较差的技术问题。
发明内容
为了解决上述技术问题,本申请实施例提供了一种视频帧选取方法、视频延时处理方法、装置及计算机设备。
第一方面,本申请实施例提供了一种视频帧选取方法,所述方法包括:
将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧;
根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列。
根据本申请的一种具体实施方式,所述根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧的步骤,包括:
计算区块内每个视频帧相对第二预设数量的邻近帧的匹配成本值,其中,所述第二预设数量小于或者等于所述第一预设数量;
将首个区块内全部视频帧的全部匹配成本值存入预设缓存空间,并计算首个区块对应的结果视频帧;
依次将首个区块之后的各区块内全部视频帧的全部匹配成本值替换预设缓存空间内前一区块的匹配成本值,并在每次替换后计算当前区块对应的结果视频帧。
根据本申请的一种具体实施方式,所述依次将首个区块之后的各区块内全部视频帧的全部匹配成本值替换预设缓存空间内前一区块的步骤,包括:
在录制过程中将当前已录制的视频帧序列划分为多个区块,每个区块均包含所述第一预设数量的视频帧,相邻区块共用第三预设数量的视频帧,所述第三预设数量小于所述第一数量;
在每次更新区块时,在所述预设缓存空间保留上一区块与当前区块共用的视频帧的全部匹配成本值,并将当前区块相对上一区块的新增视频帧的全部匹配成本值存入所述预设缓存空间。
根据本申请的一种具体实施方式,所述根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列的步骤,包括:
当相邻区块的结果视频帧之间存在对应的冲突帧时,将相邻区块中前一区块内的冲突帧剔除;
将剔除冲突帧后的全部结果视频帧组成的序列,作为所述视频帧序列的结果帧序列。
根据本申请的一种具体实施方式,所述根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧的步骤之前,所述方法还包括:
计算视频帧相对邻近帧的陀螺仪姿态变化成本、影像内容差异成本和选帧倍率成本;
将所述陀螺仪姿态变化成本、影像内容差异成本和选帧倍率成本进行加权求和,得到所述视频相对邻近帧的匹配成本值。
第二方面,本申请实施例提供了一种视频延时处理方法,所述方法包括:
将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧,根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列;
控制所述结果帧序列按照预设频率显示。
第三方面,本申请实施例提供了一种视频帧选取装置,所述装置包括:
划分模块,用于将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
选择模块,用于根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧;
获取模块,用于根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列。
第四方面,本申请实施例提供了一种视频延时处理装置,所述装置包括:
划分模块,用于将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
选择模块,用于根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧,根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列;
显示模块,用于控制所述结果帧序列按照预设频率显示。
第五方面,本申请实施例提供了一种计算机设备,包括存储器以及处理器,所述存储器用于存储计算机程序,所述计算机程序在所述处理器运行时执行第一方面中任一项所述的视频帧选取方法,或者执行第二方面所述的视频延时处理方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行时执行第一方面中任一项所述的视频帧选取方法,或者执行第二方面所述的视频延时处理方法。
本申请提供的视频帧选取方法、视频延时处理方法、装置及计算机设备,在进行视频帧选取时,将已录制的全部或者部分视频帧序列划分为多个区块,在根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧,进而根据视频帧序列对应全部区块的结果视频帧来获取该视频帧序列的结果帧序列。将已录制视频划分为区块后,再以区块为单元选择最佳的结果成本帧,不需要针对全部视频帧统一处理,可以实现视频的实时录制和视频帧选取,减少了视频帧选取的工作量,提高了视频帧选取精度,且有效减少视频帧选取过程中的运算成本。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅用于示出为本申请的某些实施例,因此不应被看作是对本申请保护范围的限定。在各个附图中,类似的构成部分采用类似的编号。
图1所示为一种现有视频帧选取方法的示意图;
图2所示为本申请实施例提供的一种视频帧选取方法的流程示意图;
图3所示为本申请实施例提供的一种视频帧选取方法的部分流程示意图;
图4所示为本申请实施例提供的视频帧选取方法所涉及的视频帧序列示意图;
图5所示为本申请实施例提供的视频帧选取方法所涉及的视频帧序列对应的区块示意图;
图6所示为本申请实施例提供的视频帧选取方法所涉及的计算机设备内功能模块示意图;
图7所示为本申请实施例提供的视频帧选取方法所涉及的视频帧序列的示意图;
图8所示为本申请实施例提供的视频帧选取方法所涉及的视频帧匹配过程示意图;
图9所示为现有视频帧选取方法所涉及的等间隔选帧示意图;
图10所示为本申请实施例提供的视频帧选取方法所涉及的视频帧匹配过程示意图;
图11所示为本申请实施例提供的一种视频延时处理方法的流程示意图;
图12所示为本申请实施例提供的一种视频帧选取装置的模块框图;
图13所示为本申请实施例提供的一种视频延时处理装置的模块框图;
图14所示为本申请实施例提供的一种计算机设备的硬件结构图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在下文中,可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本申请的各种实施例中被清楚地限定。
如图1所示为一种现有的延时视频处理方案,在固定间隔下选取帧做记录,难以避免挑选到的帧有突发性的模糊,甚至是在相机运动时造成的抖动等,都会因为增加视频的帧率而放大该状况,比如更加明显的抖动,进而影响观看体验。如图1为例,以固定间隔每三帧取一帧,可分别获得T、T+3、T+6、T+9(粗体字),而T+6可能因上述原因而造成画面失真,此时选择邻近帧,例如T+5或T+7可能会是较好的结果。因此,亟需一种能够选取稳定视频帧的方案。
实施例1
参见图2,为本申请实施例提供的一种视频帧选取方法的流程示意图。如图2所示,所述方法主要包括以下步骤:
S201,将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧。
本实施例提供的方法,用于对包含多个连续视频帧的视频帧序列进行视频帧选取,选取出部分能够表征视频内容以及视频之间连续性的视频帧,即视频帧之间在前景目标、背景区域的像素点特征等方面的稳定性较高的视频帧,将所选取出的视频帧能够基本覆盖视频内容,将此部分视频帧作为对应该视频帧序列的结果视频帧。从视频帧序列中包含的大量视频帧中选择少数能够表征视频内容的视频帧,减少视频帧数量及内存占用,可以应用于视频延时场景,以较少的视频帧数量提供丰富的视觉延时体验等。
在进行视频帧选取的时候,可以先将视频帧序列划分为多个区块,每个区块均包含第一预设数量的连续的视频帧。每个区块内包含视频帧的第一预设数量可以根据视频帧序列的总量或者计算机的处理速度来适应性设置,例如,设置第一预设数量为6-20,或者设置为15。
需要说明的是,考虑到视频帧序列内的视频帧数量的限制,划分出的全部区块内不一定都包含第一预设数量的视频帧,例如在前期按照第一预设数量进行多区块划分之后,最后一个区块的视频帧的数量可能小于第一预设数量或者略大于第一数量。
所提供的视频帧选取方法,可以应用于已录制好的完整视频帧序列的视频帧选取场景,也可以应用于在录制过程中边录制边从已录制部分视频帧中选取结果帧的场景,这样,在视频录制完成后结果视频帧也选好,实现了实时选帧方案。
S202,根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧。
在将视频帧序列划分为多个区块后,先针对各个区块进行结果帧选取。针对各区块的结果帧选取,可以是分别针对各个区块同时处理,这种尤其适用于针对已录制好的完整视频帧序列进行选帧的场景。当然,也可以按照时间轴,针对时间轴上的各区块依次进行视频帧选取,这种尤其适用于单线程处理的计算机设备或者是边录制边选帧的场景。
在对区块进行选帧时,会参考该区块内的各视频帧参考值,依据各视频帧的参考值来从中选取结果视频帧。具体的,为选取稳定的结果视频帧,计算各视频帧相对其他视频帧的匹配程度,根据视频帧相对其他视频帧的匹配程度来判断。将在区块内的全部视频帧中与当前视频帧邻近的视频帧定义为该当前视频帧的邻近帧,该当前视频帧的邻近帧可以为在该当前帧之前或者之后一定数量的视频帧。此外,根据当前帧与邻近帧在姿态角、速度等参考数据得到的用于表征匹配程度的值可定义为匹配成本值,这样,根据每个视频帧与其他邻近帧的匹配成本值,从中选择至少一个结果视频帧。
根据本申请的一种具体实施方式,所述根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧的步骤之前,所述方法还包括:
计算视频帧相对邻近帧的陀螺仪姿态变化成本、影像内容差异成本和选帧倍率成本;
将所述陀螺仪姿态变化成本、影像内容差异成本和选帧倍率成本进行加权求和,得到所述视频相对邻近帧的匹配成本值。
本实施方式对匹配成本值的计算过程作了进一步限定。具体的,匹配成本值可以是缩小图像之重叠信息的特征匹配,或是陀螺仪、加速度计等硬件获得之数据,在此不设限,欲匹配的帧数量由设定的缓存容量作为限制。
一方面,匹配成本考虑陀螺仪累积的姿态变化,姿态变化成本Cost_g的计算公式为:
Cost_g=|euler_x|+|euler_y|+|euler_z| (一);
其中,欧拉角euler_x、euler_y和euler_z分别为三个维度的欧拉角,绝对值之和作为姿态变化成本。
另一方面,匹配成本还考虑影像内容的差异Cost_m,计算公式为:
其中,i和j为两个待匹配的视频帧,(xp,yp)为视频帧内对应特征点的坐标,τ(i,j)为两个视频帧之间的单应性,即利用RANSAC处理选择n个特征的集合误差平均值。
另外,匹配成本还考虑设定的选帧倍率成本Cost_v,具体计算公式为:
Cost_v=|(j-i)-v| (三);
其中,Cost_v以视频帧i和视频帧j的实际帧数差值减去目标选择帧倍率v表示。
结合上述各类成本,赋予不同的权重a、b和c,进行加总获得计算整体的成本函数Ct,如下:
Ct=a*Costg+b*Costm+c*Costv。
成本函数为计算帧与帧之间的差异,因此可以进行任意组合,权重系数也可以跟情况设定,于此不受限。接着起始帧为i=2,以此类推重复上述步骤,直到缓存空间被填满,或不再有新的输入帧。
当然,也可以依据其他参数,使用其他的参考函数来计算各视频帧相对其他邻近帧的匹配成本值,不作限定。
S203,根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列。
依据上述步骤确定各区块的结果视频帧后,可以直接将各区块的结果视频帧按照时间轴顺序排列,将排列后的视频帧序列即作为结果帧序列。当然,考虑到可能存在前后区块之间的部分结果帧冲突或者接近的情况,也可以先将相邻区块之间存在冲突或者接近的结果视频帧进行筛选,将筛选之后得到的视频帧序列作为结果帧序列。再或者,还可能存在从各区块选出来的结果帧的整体数量较多或者跳动性较大,还可以再次依据上述各结果视频帧的匹配成本值进行二次筛选,以进一步得到更稳定且简化的结果帧序列。
上述本申请实施例提供的视频帧处理方法,在进行视频帧选取时,将已录制的全部或者部分视频帧序列划分为多个区块,在根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧,进而根据视频帧序列对应全部区块的结果视频帧来获取该视频帧序列的结果帧序列。将已录制视频划分为区块后,再以区块为单元选择最佳的结果成本帧,不需要针对全部视频帧统一处理,可以实现视频的实时录制和视频帧选取,减少了视频帧选取的工作量,提高了视频帧选取精度。
在上述实施例的基础上,根据本申请的一种具体实施方式,如图3所示,上述S202所述的,根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧的步骤,可以具体包括:
S301、计算区块内每个视频帧相对第二预设数量的邻近帧的匹配成本值,其中,所述第二预设数量小于或者等于所述第一预设数量;
本实施方式主要对根据视频帧的匹配成本值选择结果视频帧的方案作了进一步限定。首先,限定在对区块内的各视频帧进行匹配成本值计算时,可以计算每个视频帧对区块内的第二预设数量的邻近帧的匹配成本值,即对区块内的部分或者全部邻近视频帧均进行匹配成本值计算。
如图4所示为一视频帧序列中选择结果视频帧的示意图,图5为将视频帧序列中划分区块的示意图。如图4和图5所示,视频帧序列为50个视频帧,设置各区块内视频帧的第一预设数量为15,而计算匹配成本值时参考的邻近帧的第二数量则为6,即计算每个视频帧相对其后6个邻近帧的匹配成本值。当然,这只是一个具体示例,不作为对方案的限定。
S302、将首个区块内全部视频帧的全部匹配成本值存入预设缓存空间,并计算首个区块对应的结果视频帧;
本实施方式中,利用一固定内存的预设缓存空间,来存放一个区块内全部视频帧相对其他邻近帧的匹配成本值,其存放示意图如图5中的矩形框所示。为节省缓存占用,本方案限定依次将各个区块的匹配成本值存入该预设缓存空间内,且在每次存入一个区块的匹配成本值时计算该区块的结果视频帧。
在进行具体处理时,先将首个区块内全部视频帧的全部匹配成本值存入该预设缓存空间,并计算对应该首个区块的结果视频帧。需要说明的是,首个区块可以为按照时间轴排在最靠前的区块。
S303、依次将首个区块之后的各区块内全部视频帧的全部匹配成本值替换预设缓存空间内前一区块的匹配成本值,并在每次替换后计算当前区块对应的结果视频帧。
在计算完首个区块后,可以直接利用后续的各区块的全部匹配成本值依次替换前一区块的匹配成本值存入预设缓存空间内,进行结果视频帧的计算。即计算完首个区块的结果视频帧之后,将该预设缓存空间清空,将第二个区块的全部匹配成本值存入该预设缓存空间并计算第二区块的结果视频帧,依次替换,直至计算完最后一个区块的结果视频帧。
需要说明的是,可以预先将视频帧序列按照采集节点划分为多个区块,将对应同一区块的视频帧的全部匹配成本值同批次存入预设缓存空间内。当然,在具体执行时,为简化步骤,也可以在每个视频帧相对邻近帧的全部匹配成本值依次存入预设缓存空间,将该预设缓存空间存满或者达到一定数量即自动认定为一个区块,不需要另外划分区块的动作。
根据本申请的另一种具体实施方式,S303所述的,依次将首个区块之后的各区块内全部视频帧的全部匹配成本值替换预设缓存空间内前一区块的步骤,还可以包括:
在录制过程中将当前已录制的视频帧序列划分为多个区块,每个区块均包含所述第一预设数量的视频帧,相邻区块共用第三预设数量的视频帧,所述第三预设数量小于所述第一数量;
在每次更新区块时,在所述预设缓存空间保留上一区块与当前区块共用的视频帧的全部匹配成本值,并将当前区块相对上一区块的新增视频帧的全部匹配成本值存入所述预设缓存空间。
本实施方式中,限定相邻区块之间共用一定量视频帧的方案。具体的,如图5所示,各区块均由1个矩形表示,包含15个视频帧,即存储15个视频帧的全部匹配成本值。此外,相邻区块之间共用10个视频帧的全部匹配成本值。本实施方式中,共用视频帧的第三预设数量为10,占第一预设数量的2/3,常规设置时,共用视频帧的占比范围可以为(0.1-1)。
在替换更新区块时,可以先保留共用视频帧的匹配成本值,再将新区块的新增视频帧的全部匹配成本值存入预设存储空间。
本实施方式提供的视频帧选取方案,相邻区块之间共用视频帧,可以有效避免区块的视频帧之间的大程度跳变,提高区块之间选取的结果视频帧的关联性。
进一步的,根据本申请的一种具体实施方式,所述根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列的步骤,包括:
当相邻区块的结果视频帧之间存在对应的冲突帧时,将相邻区块中前一区块内的冲突帧剔除;
将剔除冲突帧后的全部结果视频帧组成的序列,作为所述视频帧序列的结果帧序列。
继续如图5所示,第一区块选出的结果视频帧为6-10-13-15,而第二区块选出的结果视频帧为13-18-21,第三区块选出的结果视频帧为18-23-25,这样,第一区块的结果视频帧中的13-15,就与第二区块的13-18存在冲突,而第二区块的18-21与第三区块的18-23存在冲突,存在冲突的帧可以定义为冲突帧。为便于选择与后续视频帧更接近的结果视频帧,本方案优选以相互冲突的最终帧中位于前一区块的结果帧定义为冲突帧,将后一区块的结果帧替换掉前一区块中冲突的结果帧,即提出冲突帧,即保留第二区块的13-18,剔除第一区块的13-15,保留第三区块的18-23,剔除第二区块的18-21。后续详见附图并以此类推,不再例举。
本实施方式利用后一区块替代前一区块中相冲突的结果帧,以避免选到较为接近的多个结果视频帧,提高选帧效率。
下面将结合一个具体示例解释本方案的视频帧选取过程。
如图6所示,将执行视频帧选取的计算机设备600划分为多个功能区块,主要为录像模块601、处理器602、存储介质603和视频处理装置604,而视频处理装置604又包含了帧匹配模块605、选帧模块606和视频稳定模块607。首先针对输入帧于帧匹配模块605中计算匹配成本(Matching cost),将匹配成本填入缓存中,当缓存空间达到饱和时,于选帧模块606中进行有效帧的提取,并将提取的帧指引加入视频稳定模块607,而后重新排列缓存中的数据,清除旧数据并保留部分数据提供后续有效帧提取计算,接着继续将新输入的帧匹配成本填入缓存中,重复上述步骤至不再有新的帧输入为止,最后延时视频由视频稳定模块607编码输出。此方法提升了选帧效率,并重复利用固定大小的缓存空间,减少内存的浪费。具体过程如下:
首先将输入帧透过帧匹配模块605计算各帧之间的匹配成本。如图7,为达到实时计算,匹配成本可以是缩小图像的重叠信息的特征匹配,或是陀螺仪、加速度计等硬件获得之数据,在此不设限,欲匹配的帧数量由设定的缓存容量作为限制。
图4和图5所示为选帧范例,其中纵轴i坐标表示起始帧,横轴j坐标表示匹配帧,当起始帧i=1时,针对帧j=i+1~i+N等邻近帧进行匹配,并将匹配成本填入缓存中,本方案中N设为6。成本函数为计算帧与帧之间的差异,因此可以进行任意组合,于此不受限。接着起始帧为i=2,以此类推重复上述步骤,直到缓存空间被填满,或不再有新的输入帧。
当缓存被填满时进行选帧,透过动态编程(DP)进行最佳路径的编程,决定被选择的帧与欲丢弃的帧。传统动态编程为计算前一节点数据最小成本并加入至当前节点成本中,如图8所示,同时记录最小成本之路径,当计算至序列末端后,再进行Back tracing,意即从末端逐步往前一最小成本所连接之路径。此处则考虑前N个。
图9为一等间隔选帧范例,其中共有25帧,每次间隔3帧选取,不考虑匹配成本的结果,分别选得6、9、12、15、18、21、24帧。图6为动态编程方法选帧,在与图9相同的序列中,进一步考虑各帧之间的匹配成本(此范例考虑相邻6帧的匹配成本),规划全局最佳路径,分别选得6、10、13、18、23、25帧。
由于动态编程考虑全局最佳路径,选帧步骤必须在整段视频录制完成才可进行,本申请为达到实时录像选帧,提出分段式动态选帧架构,如图6为一扩展范例,其中共有50帧,经由动态编程法选帧,分别选得6、10、13、18、23、25、30、34、38、42、47、50帧。分段的方法如下:
首先设置一固定缓存空间(本范例设为可容纳15帧的匹配成本空间),将匹配成本填入缓存中,当缓存空间达到饱和时,进行动态编程,如图6区块1,选得6、10、13、15帧。
接着以相同的缓存空间,于图6区块2中,将数据重新排列与新增,再进行动态编程,选得13、18、21帧。以此类推,在各区块中皆可获得一选帧子集,每一区块可以允许重迭(本范例重迭区设为10帧),因此相邻的子集会存在相同或相近的选帧结果。
数据的重新排列与新增方式由重迭区块决定,图6之范例中每一区块包含15帧匹配成本的缓存空间,依照顺序依次将计算好的成本填入,当完成第一块子集的选帧后,保留重迭区块的数据并移位至缓存起始位置,可避免重复计算的步骤,并将新的计算成本接续填入缓存直至空间饱和。
此处以后一个重迭区块的选帧结果取代前次的选帧,以图6为例,当进行到区块2时,可决定区块1中的第6、10帧;区块3可决定区块2的第13帧;区块4可决定区块3的第18帧,以此类推。最终获得结果与全局动态编程相同或相近,取决于缓冲空间的大小与重迭区域的多寡。
图10为一范例,用于表示不同选帧方法的优劣,波形图代表水平位移振幅。图10的左图可以看出等间隔选帧结果有部分落于波峰或波谷中,将导致各帧间的差异过大。而本申请提出的方法,能将选帧结果有效限制在较小的位移范围内,如图10的右侧所示,各帧间的差异较小,影像也较为稳定。
上述本申请实施例提供的视频帧选取方法,将选帧过程拆分为小区块进行,再将子集重组获得近似全局优化的结果,可藉此达到实时录像,并提升选帧效率,并且重复使用固定大小的缓存空间,减少内存的浪费。
实施例2
参见图11,为本申请实施例提供的一种视频延时处理方法的流程示意图。如图11所示,所述方法主要包括以下步骤:
S1101,将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
本实施方式提供的视频延时处理方法,基于上述实施例提供的视频帧选取方法。将视频帧划分为多个区块,再从各个区块选取结果帧。
S1102,根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧,根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列;
从各区块中选取结果帧的方案可以参见上述实施例中对应部分,不再赘述。
S1103,控制所述结果帧序列按照预设频率显示。
在获取对应视频帧序列的结果帧序列之后,即可按照预设频率进行显示。以选择得到的较少的连续稳定的结果帧序列进行正常频率显示,可以给人一种流逝感,实现了较佳的延时观看体验。
当然,除此之外,本申请提供的视频帧选取方法可以应用于视频延时处理方案,也可以应用于其他需要进行视频帧选取的场景中,例如视频缩时处理等,不作限定。
实施例3
参见图12,为本申请实施例提供的一种视频帧选取装置的模块框图。如图12所示,所述视频帧选取装置1200包括:
划分模块1201,用于将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
选择模块1202,用于根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧;
获取模块1203,用于根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列。
可选的,所述选择模块1202用于:
计算区块内每个视频帧相对第二预设数量的邻近帧的匹配成本值,其中,所述第二预设数量小于或者等于所述第一预设数量;
将首个区块内全部视频帧的全部匹配成本值存入预设缓存空间,并计算首个区块对应的结果视频帧;
依次将首个区块之后的各区块内全部视频帧的全部匹配成本值替换预设缓存空间内前一区块的匹配成本值,并在每次替换后计算当前区块对应的结果视频帧。
可选的,所述选择模块1202用于:
在录制过程中将当前已录制的视频帧序列划分为多个区块,每个区块均包含所述第一预设数量的视频帧,相邻区块共用第三预设数量的视频帧,所述第三预设数量小于所述第一数量;
在每次更新区块时,在所述预设缓存空间保留上一区块与当前区块共用的视频帧的全部匹配成本值,并将当前区块相对上一区块的新增视频帧的全部匹配成本值存入所述预设缓存空间。
可选的,所述选择模块1202用于:
利用动态编程方法,从当前区块的全部匹配成本值中选择最佳路径指向的目标匹配成本值;
将所述目标匹配成本值对应的视频帧作为当前区块的结果视频帧。
可选的,所述获取模块1203用于:
当相邻区块的结果视频帧之间存在对应的冲突帧时,将相邻区块中前一区块内的冲突帧剔除;
将剔除冲突帧后的全部结果视频帧组成的序列,作为所述视频帧序列的结果帧序列。
可选的,所述选择模块1202用于:
计算视频帧相对邻近帧的陀螺仪姿态变化成本、影像内容差异成本和选帧倍率成本;
将所述陀螺仪姿态变化成本、影像内容差异成本和选帧倍率成本进行加权求和,得到所述视频相对邻近帧的匹配成本值。
实施例4
参见图13,为本申请实施例提供的一种视频延时处理装置的模块框图。如图13所示,所述视频延时处理装置1300包括:
划分模块1301,用于将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
选择模块1302,用于根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧,根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列;
显示模块1303,用于控制所述结果帧序列按照预设频率显示。
参见图14,是本申请另一实施例提供的计算机设备的结构示意图。如图14所示,为实现本申请各个实施例的一种计算机设备,该计算机设备1400包括但不限于:射频单元1401、网络模块1402、音频输出单元1403、输入单元1404、传感器1405、显示单元1406、用户输入单元1407、接口单元1408、存储器1409、处理器1410、以及电源1411等部件。本领域技术人员可以理解,图14中示出的计算机设备结构并不构成对计算机设备的限定,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本申请实施例中,计算机设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载计算机设备、可穿戴设备、以及计步器等。
应理解的是,本申请实施例中,射频单元1401可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器1410处理;另外,将上行的数据发送给基站。通常,射频单元1401包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元1401还可以通过无线通信系统与网络和其他设备通信。
计算机设备通过网络模块1402为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元1403可以将射频单元1401或网络模块1402接收的或者在存储器1409中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元1403还可以提供与计算机设备1400执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元1403包括扬声器、蜂鸣器以及受话器等。
输入单元1404用于接收音频或视频信号。输入单元1404可以包括图形处理器(Graphics Processing Unit,GPU)14041和麦克风14042,图形处理器14041对在视频捕获模式或图像捕获模式中由图像捕获计算机设备(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以视频播放在显示单元1406上。经图形处理器14041处理后的图像帧可以存储在存储器1409(或其它存储介质)中或者经由射频单元1401或网络模块1402进行发送。麦克风14042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1401发送到移动通信基站的格式输出。
计算机设备1400还包括至少一种传感器1405,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板14061的亮度,接近传感器可在计算机设备1400移动到耳边时,关闭显示面板14061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别计算机设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器1405还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元1406用于视频播放由用户输入的信息或提供给用户的信息。显示单元1406可包括显示面板14061,可以采用液晶视频播放器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板14061。
用户输入单元1407可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元1407包括触控面板14071以及其他输入设备14072。触控面板14071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板14071上或在触控面板14071附近的操作)。触控面板14071可包括触摸检测计算机设备和触摸控制器两个部分。其中,触摸检测计算机设备检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测计算机设备上接收触摸信息,并将它转换成触点坐标,再送给处理器1410,接收处理器1410发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板14071。除了触控面板14071,用户输入单元1407还可以包括其他输入设备14072。具体地,其他输入设备14072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板14071可覆盖在显示面板14061上,当触控面板14071检测到在其上或附近的触摸操作后,传送给处理器1410以确定触摸事件的类型,随后处理器1410根据触摸事件的类型在显示面板14061上提供相应的视觉输出。虽然在图5中,触控面板14071与显示面板14061是作为两个独立的部件来实现计算机设备的输入和输出功能,但是在某些实施例中,可以将触控面板14071与显示面板14061集成而实现计算机设备的输入和输出功能,具体此处不做限定。
接口单元1408为外部计算机设备与计算机设备1400连接的接口。例如,外部计算机设备可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的计算机设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1408可以用于接收来自外部计算机设备的输入(例如,数据信息、电力等等)并且将接收到的输入传输到计算机设备1400内的一个或多个元件或者可以用于在计算机设备1400和外部计算机设备之间传输数据。
存储器1409可用于存储软件程序以及各种数据。存储器1409可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1409可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1410是计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器1409内的软件程序和/或模块,以及调用存储在存储器1409内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。处理器1410可包括一个或多个处理单元;优选的,处理器1410可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1410中。
计算机设备1400还可以包括给各个部件供电的电源1411(比如电池),优选的,电源1411可以通过电源管理系统与处理器1410逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,计算机设备1400包括一些未示出的功能模块,在此不再赘述。
所述存储器用于存储计算机程序,所述计算机程序在所述处理器运行时执行上述的视频帧选取方法,或者视频延时处理方法。
另外,本申请实施例提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行上述的视频帧选取方法,或者视频延时处理方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (11)
1.一种视频帧选取方法,其特征在于,所述方法包括:
将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧;
根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列。
2.根据权利要求1所述的方法,其特征在于,所述根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧的步骤,包括:
计算区块内每个视频帧相对第二预设数量的邻近帧的匹配成本值,其中,所述第二预设数量小于或者等于所述第一预设数量;
将首个区块内全部视频帧的全部匹配成本值存入预设缓存空间,并计算首个区块对应的结果视频帧;
依次将首个区块之后的各区块内全部视频帧的全部匹配成本值替换预设缓存空间内前一区块的匹配成本值,并在每次替换后计算当前区块对应的结果视频帧。
3.根据权利要求2所述的方法,其特征在于,所述依次将首个区块之后的各区块内全部视频帧的全部匹配成本值替换预设缓存空间内前一区块的步骤,包括:
在录制过程中将当前已录制的视频帧序列划分为多个区块,每个区块均包含所述第一预设数量的视频帧,相邻区块共用第三预设数量的视频帧,所述第三预设数量小于所述第一预设数量;
在每次更新区块时,在所述预设缓存空间保留上一区块与当前区块共用的视频帧的全部匹配成本值,并将当前区块相对上一区块的新增视频帧的全部匹配成本值存入所述预设缓存空间。
4.根据权利要求2所述的方法,其特征在于,所述计算当前区块对应的结果视频帧的步骤,包括:
利用动态编程方法,从当前区块的全部匹配成本值中选择最佳路径指向的目标匹配成本值;
将所述目标匹配成本值对应的视频帧作为当前区块的结果视频帧。
5.根据权利要求4所述的方法,其特征在于,所述根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列的步骤,包括:
当相邻区块的结果视频帧之间存在对应的冲突帧时,将相邻区块中前一区块内的冲突帧剔除;
将剔除冲突帧后的全部结果视频帧组成的序列,作为所述视频帧序列的结果帧序列。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧的步骤之前,所述方法还包括:
计算视频帧相对邻近帧的陀螺仪姿态变化成本、影像内容差异成本和选帧倍率成本;
将所述陀螺仪姿态变化成本、影像内容差异成本和选帧倍率成本进行加权求和,得到所述视频相对邻近帧的匹配成本值。
7.一种视频延时处理方法,其特征在于,所述方法包括:
将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧,根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列;
控制所述结果帧序列按照预设频率显示。
8.一种视频帧选取装置,其特征在于,所述装置包括:
划分模块,用于将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
选择模块,用于根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧;
获取模块,用于根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列。
9.一种视频延时处理装置,其特征在于,所述装置包括:
划分模块,用于将视频帧序列划分为多个区块,其中,每个区块包括第一预设数量的视频帧;
选择模块,用于根据区块内各视频帧相对邻近帧的匹配成本值,选择每个区块内匹配成本值满足预设要求的结果视频帧,根据全部区块的结果视频帧,获取所述视频帧序列的结果帧序列;
显示模块,用于控制所述结果帧序列按照预设频率显示。
10.一种计算机设备,其特征在于,包括存储器以及处理器,所述存储器用于存储计算机程序,所述计算机程序在所述处理器运行时执行权利要求1至6中任一项所述的视频帧选取方法,或者执行权利要求7所述的视频延时处理方法。
11.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序在处理器上运行时执行权利要求1至6中任一项所述的视频帧选取方法,或者执行权利要求7所述的视频延时处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110130010.7A CN114827443A (zh) | 2021-01-29 | 2021-01-29 | 视频帧选取方法、视频延时处理方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110130010.7A CN114827443A (zh) | 2021-01-29 | 2021-01-29 | 视频帧选取方法、视频延时处理方法、装置及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114827443A true CN114827443A (zh) | 2022-07-29 |
Family
ID=82526300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110130010.7A Pending CN114827443A (zh) | 2021-01-29 | 2021-01-29 | 视频帧选取方法、视频延时处理方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114827443A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2005202715A1 (en) * | 2004-06-22 | 2006-01-12 | Canon Kabushiki Kaisha | A Method for Detecting and Selecting Good Quality Image Frames from Video |
CN110086985A (zh) * | 2019-03-25 | 2019-08-02 | 华为技术有限公司 | 一种延时摄影的录制方法及电子设备 |
CN110166829A (zh) * | 2019-05-15 | 2019-08-23 | 上海商汤智能科技有限公司 | 视频处理方法及装置、电子设备和存储介质 |
CN110213614A (zh) * | 2019-05-08 | 2019-09-06 | 北京字节跳动网络技术有限公司 | 从视频文件中提取关键帧的方法和装置 |
US20190377957A1 (en) * | 2018-06-06 | 2019-12-12 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting frames of a video sequence |
CN110786005A (zh) * | 2018-06-29 | 2020-02-11 | 深圳市大疆创新科技有限公司 | 延时摄影的控制方法及控制装置、成像系统及存储介质 |
-
2021
- 2021-01-29 CN CN202110130010.7A patent/CN114827443A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2005202715A1 (en) * | 2004-06-22 | 2006-01-12 | Canon Kabushiki Kaisha | A Method for Detecting and Selecting Good Quality Image Frames from Video |
US20190377957A1 (en) * | 2018-06-06 | 2019-12-12 | Canon Kabushiki Kaisha | Method, system and apparatus for selecting frames of a video sequence |
CN110786005A (zh) * | 2018-06-29 | 2020-02-11 | 深圳市大疆创新科技有限公司 | 延时摄影的控制方法及控制装置、成像系统及存储介质 |
CN110086985A (zh) * | 2019-03-25 | 2019-08-02 | 华为技术有限公司 | 一种延时摄影的录制方法及电子设备 |
CN110213614A (zh) * | 2019-05-08 | 2019-09-06 | 北京字节跳动网络技术有限公司 | 从视频文件中提取关键帧的方法和装置 |
CN110166829A (zh) * | 2019-05-15 | 2019-08-23 | 上海商汤智能科技有限公司 | 视频处理方法及装置、电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
陈秀新;贾克斌;邓智;: "融合时序特征和关键帧的视频检索方法", 电视技术, no. 03, 2 February 2011 (2011-02-02) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110198412B (zh) | 一种视频录制方法及电子设备 | |
CN110557566B (zh) | 视频拍摄方法及电子设备 | |
CN107770457B (zh) | 一种视频制作方法及移动终端、计算机可读存储介质 | |
CN108073437B (zh) | 一种应用推荐方法及移动终端 | |
CN112203024B (zh) | 一种抠图方法、装置、设备和存储介质 | |
CN108234894B (zh) | 一种曝光调整方法及终端设备 | |
CN108038825B (zh) | 一种图像处理方法及移动终端 | |
CN111263071B (zh) | 一种拍摄方法及电子设备 | |
CN110868550B (zh) | 一种拍照方法及终端设备电子设备 | |
CN112954199B (zh) | 视频录制方法及装置 | |
CN109462745B (zh) | 一种白平衡处理方法及移动终端 | |
CN111432245B (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
CN112330692B (zh) | 一种抠图方法、装置、设备和存储介质 | |
CN111010511B (zh) | 全景分身图像拍摄方法及电子设备 | |
EP3989591A1 (en) | Resource display method, device, apparatus, and storage medium | |
CN111147752A (zh) | 变焦倍数调节方法、电子设备及介质 | |
CN111770374B (zh) | 视频播放方法及装置 | |
CN111597370A (zh) | 一种拍摄方法及电子设备 | |
CN111182211B (zh) | 拍摄方法、图像处理方法及电子设备 | |
CN109361864B (zh) | 一种拍摄参数设置方法及终端设备 | |
CN109639981B (zh) | 一种图像拍摄方法及移动终端 | |
CN114449162A (zh) | 一种播放全景视频的方法、装置、计算机设备及存储介质 | |
CN107734269B (zh) | 一种图像处理方法及移动终端 | |
CN111491124B (zh) | 视频处理方法、装置及电子设备 | |
CN110766606B (zh) | 一种图像处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |