CN114697764A - 一种生成视频摘要的方法、装置和可读存储介质 - Google Patents
一种生成视频摘要的方法、装置和可读存储介质 Download PDFInfo
- Publication number
- CN114697764A CN114697764A CN202210614997.4A CN202210614997A CN114697764A CN 114697764 A CN114697764 A CN 114697764A CN 202210614997 A CN202210614997 A CN 202210614997A CN 114697764 A CN114697764 A CN 114697764A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- key frame
- information corresponding
- extraction frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000000605 extraction Methods 0.000 claims abstract description 113
- 230000008569 process Effects 0.000 claims abstract description 37
- 230000004044 response Effects 0.000 claims abstract description 14
- 230000008859 change Effects 0.000 claims description 85
- 238000004364 calculation method Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 239000013589 supplement Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
- G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明实施例提供了一种生成视频摘要的方法、装置和可读存储介质。其中的方法应用于视频采集设备,所述视频采集设备包括用于实时获取运动信息的硬件单元,所述运动信息包括所述视频采集设备的速度信息和方向信息,所述方法包括:响应于采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息;根据每一帧对应的运动信息,确定关键帧提取频率;根据所述关键帧提取频率,在已采集的视频信号中确定关键帧;响应于采集结束指令,根据所述关键帧生成视频摘要。本发明实施例可以在线生成视频摘要,并且可以提高生成视频摘要的效率以及提高生成视频摘要的质量。
Description
技术领域
本发明涉及视频处理技术领域,尤其涉及一种生成视频摘要的方法、装置和可读存储介质。
背景技术
摄像头的应用越来越广泛,随之产生了大量的视频,用户在浏览记录的视频时,会浪费大量的时间,为了节省用户浏览已记录视频的时间,生成视频摘要成为一项重要技术。
目前生成视频摘要的方法,通常是在视频录制完成之后,逐帧分析视频信号,提取每一帧的特征,分析视频内容的相似特征和变化特征,从而找到能够表达视频主要内容的关键帧,不仅需要耗费大量算力来分析视频信号,而且导致生成视频摘要的速度较慢。此外,在视频质量较差的情况下,还会影响提取特征的准确性,进而影响生成视频摘要的质量。
发明内容
本发明实施例提供一种生成视频摘要的方法、装置和可读存储介质,可以在线生成视频摘要,并且可以提高生成视频摘要的效率以及提高生成视频摘要的质量。
第一方面,本发明实施例公开了一种生成视频摘要的方法,所述方法应用于视频采集设备,所述视频采集设备包括用于实时获取运动信息的硬件单元,所述运动信息包括所述视频采集设备的速度信息和方向信息,所述方法包括:
响应于采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息;
根据每一帧对应的运动信息,确定关键帧提取频率;
根据所述关键帧提取频率,在已采集的视频信号中确定关键帧;
响应于采集结束指令,根据所述关键帧生成视频摘要。
第二方面,本发明实施例公开了一种生成视频摘要的装置,所述装置应用于视频采集设备,所述视频采集设备包括用于实时获取运动信息的硬件单元,所述运动信息包括所述视频采集设备的速度信息和方向信息,所述装置包括:
采集记录模块,用于响应于采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息;
频率确定模块,用于根据每一帧对应的运动信息,确定关键帧提取频率;
关键帧确定模块,用于根据所述关键帧提取频率,在已采集的视频信号中确定关键帧;
摘要生成模块,用于响应于采集结束指令,根据所述关键帧生成视频摘要。
第三方面,本发明实施例公开了一种机器可读介质,其上存储有指令,当所述指令由装置的一个或多个处理器执行时,使得装置执行如前述一个或多个所述的生成视频摘要的方法。
本发明实施例包括以下优点:
本发明实施例提供的生成视频摘要的方法可适用于视频采集设备,视频采集设备在接收到采集开始指令时,响应于所述采集开始指令,开始采集视频信号,并且在采集视频信号的过程中,记录每一帧对应的运动信息,从而可以根据每一帧对应的运动信息实时确定关键帧,在接收到采集结束指令时,响应于所述采集结束指令,即可根据已确定的关键帧直接生成视频摘要。此过程不需要逐帧分析视频信号并提取视频特征,可以降低计算复杂度,减少计算量,提高生成视频摘要的效率,还可以避免因视频质量导致提取特征不准确的问题,可以保证生成的视频摘要的质量。此外,本发明实施例在实时确定关键帧时,根据视频采集设备的运动信息动态确定关键帧提取频率,使得动态确定的关键帧提取频率更加符合视频采集设备的运动变化情况,可以更加准确地确定关键帧,进一步提高生成的视频摘要的质量。再者,视频采集设备在采集视频信号的过程中实时确定关键帧,在视频信号采集完成时,即可生成视频摘要。相对于在所有视频信号采集完成之后,再逐帧分析视频信号的离线生成视频摘要的方式,本发明实施例可以实现在线生成视频摘要,可以满足用户对实时生成视频摘要的需求。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一种生成视频摘要的方法实施例的步骤流程图;
图2是本发明在视频采集设备运动过程中确定关键帧的一个示例图;
图3是本发明的一种生成视频摘要的装置300实施例的步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中的术语“和/或”用于描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本发明实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
参照图1,示出了本发明的一种生成视频摘要的方法实施例的步骤流程图,所述方法可应用于视频采集设备,所述视频采集设备包括用于实时获取运动信息的硬件单元,所述运动信息包括所述视频采集设备的速度信息和方向信息,所述方法可以包括如下步骤:
步骤101、响应于采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧(指每一帧视频信号)对应的运动信息;
步骤102、根据每一帧对应的运动信息,确定关键帧提取频率;
步骤103、根据所述关键帧提取频率,在已采集的视频信号中确定关键帧;
步骤104、响应于采集结束指令,根据所述关键帧生成视频摘要。
本发明实施例提供的生成视频摘要的方法可应用于视频采集设备,所述视频采集设备可以为具有视频采集功能的任意设备,如车载记录仪、具有摄像头的可穿戴设备等。
所述视频采集设备包括用于实时获取运动信息的硬件单元,所述硬件单元可以为所述视频采集设备的内置单元或者外接单元。所述硬件单元可以实时获取所述视频采集设备的运动信息,所述运动信息包括但不限于所述视频采集设备的速度信息和方向信息。
需要说明的是,本发明实施例对所述硬件单元的具体类型不做限制。示例性地,所述硬件单元可以包括IMU(Inertial Measurement Unit,惯性测量单元)和Gyrosensor(陀螺仪)。IMU可用于提供速度信息,Gyrosensor可用于提供方向信息。
IMU可以测量物体的加速度,根据IMU测量的视频采集设备的加速度,可以得到视频采集设备的速度信息。例如,某个时间点获得IMU测量的视频采集设备的加速度为a,则视频采集设备在该时间点的速度为v=v0+a*t,v0为视频采集设备的初始速度,一般为0,t为视频采集设备的运动时间。
Gyrosensor可以测量物体在x、y、z三个方向的加速度,根据Gyrosensor测量的视频采集设备在x、y、z三个方向的加速度,可以得到视频采集设备的方向信息。进一步地,根据视频采集设备在x、y、z三个方向的加速度的变化信息,可以确定视频采集设备是否发生了转向。例如,当视频采集设备在z方向的加速度突然变大后又减小,可以判定此时视频采集设备发生了一次转向。
本发明实施例提供的生成视频摘要的方法,在所述视频采集设备运动过程中,可以根据视频采集设备采集的视频信号以及视频采集设备的运动信息,实时、快速地生成视频摘要。
所述采集开始指令用于触发所述视频采集设备开始采集视频信号,所述采集结束指令用于触发所述视频采集设备结束采集视频信号。
所述视频采集设备在接收到采集开始指令时,响应于所述采集开始指令,开始采集视频信号,并在采集视频信号的过程中,根据IMU提供的速度信息以及Gyrosensor提供的方向信息,记录每一帧(指每一帧视频信号)对应的运动信息。也即,对于采集的每一帧视频信号,可以记录采集该帧视频信号时所述视频采集设备的运动信息。
进一步地,视频采集设备在采集视频信号的过程中,可以记录每一帧视频信号的标识信息与所述视频采集设备的运动信息之间的映射关系。这样,在确定关键帧时,可以确定关键帧的标识信息,在视频采集结束时,根据已确定的关键帧的标识信息可以从已采集的所有视频信号中提取所有关键帧,将提取的所有关键帧进行拼接组合即可得到视频摘要。其中,所述标识信息可以为每一帧对应的采集时间点,或者,所述标识信息可以为每一帧对应的帧序列号,本发明实施例对此不做限制。
视频采集设备在运动过程中,运动信息可能会发生变化。例如,在用户携带可穿戴设备跑步的过程中,可以通过该可穿戴设备采集视频信号,用户跑步的速度可能会有时增大有时减小,用户在跑步的过程中还可能会控制视频采集设备(可穿戴设备)出现转向的情况。所述转向可以包括转头和/或转弯的情况。转头指视频采集设备的拍摄方向发生变化,包括上、下、左、右等各个方向的变化,但是运动方向未发生变化。例如,用户在携带可穿戴设备跑步的过程中,通过该可穿戴设备拍摄前进方向(如用户跑步的方向)的场景,在某一时刻用户为了拍摄用户左侧场景而将视频采集设备(可穿戴设备)转向其左侧,但是用户仍然保持原来的前进方向继续跑步,此时则发生了一次转向(具体为发生了一次转头)。转弯指视频采集设备的运动方向发生变化,在转弯时,拍摄方向也可能随着运动方向的变化发生变化。转头和转弯可能单独发生,也可能同时发生。同样的,在用户开车的过程中,可以通过车载记录仪采集视频信号,用户开车的速度也可能会有时增大有时减小,还有可能出现转弯的情况。
在视频采集设备运动过程中,如果采用固定的频率提取关键帧,例如对于同一段路程,在用户跑步和用户开车的情况下,视频采集设备采用相同的频率提取关键帧,可能导致用户开车的情况下提取的关键帧数量不够,不能准确表达视频的主要内容,进而影响生成的视频摘要的质量。又如,在视频采集设备一直对着某个方向进行拍摄时,采集的视频信号相对比较相似,但是当视频采集设备发生转向(如转头和/或转弯)时,视频采集设备拍摄的场景通常会发生较大的变化,此时若采用固定的频率提取关键帧,可能导致在发生转向时提取的关键帧数量不够,不能准确表达视频的主要内容,进而影响生成的视频摘要的质量。
为解决该问题,本发明实施例在视频采集设备采集视频信号的过程中,记录每一帧对应的运动信息,并根据每一帧对应的运动信息,确定关键帧提取频率,根据所述关键帧提取频率,在已采集的视频信号中确定关键帧。例如,在视频采集设备的运动速度较快时,可以采用较高的关键帧提取频率,以在运动速度较快时,可以在相同的时间内提取更多的关键帧,使得生成的视频摘要可以更加准确地表达视频的主要内容;而在视频采集设备的运动速度较慢时,可以采用较低的关键帧提取频率,以在运动速度较慢时,可以在相同的时间内提取更少的关键帧,从而在保证生成的视频摘要可以准确地表达视频的主要内容的同时,可以减少信息冗余。
在具体实施中,视频采集设备在接收到采集开始指令时,响应于所述采集开始指令,开始采集视频信号,并且在采集视频信号的过程中,记录每一帧对应的运动信息,从而可以根据每一帧对应的运动信息实时确定关键帧,如可以确定关键帧对应的采集时间点和/或帧序列号,在接收到采集结束指令时,响应于所述采集结束指令,即可根据已确定的关键帧对应的采集时间点和/或帧序列号直接提取关键帧,生成视频摘要。此过程不需要逐帧分析视频信号并提取视频特征,可以减少计算量,提高生成视频摘要的效率,还可以避免因视频质量导致提取特征不准确的问题,可以保证生成的视频摘要的质量。此外,视频采集设备在采集视频信号的过程中,实时确定关键帧,在视频信号采集完成时,即可生成视频摘要。相对于在所有视频信号采集完成之后,再逐帧分析视频信号的离线生成视频摘要的方式,本发明实施例可以实现在线生成视频摘要,可以满足用户对实时生成视频摘要的需求。
在本发明的一种可选实施例中,步骤102所述根据每一帧对应的运动信息,确定关键帧提取频率,可以包括:根据每一帧对应的速度信息或方向信息,确定关键帧提取频率。
一种可选的实施方式中,本发明实施例可以根据每一帧对应的速度信息确定关键帧提取频率。例如,关键帧提取频率可以与速度信息成正比,速度越快,关键帧提取频率越高,反之,速度越慢,关键帧提取频率越低,当速度为零时,关键帧提取频率可以为零或者近似为零。当然,关键帧提取频率的大小与速度信息的大小之间的对应关系可以根据实际需要进行设置,本发明实施例对此不做限制。可选地,还可以将速度信息划分为不同的区间范围,并且为不同的区间范围设置不同的关键帧提取频率,从而可以根据速度信息所属的区间范围确定关键帧提取频率。
另一种可选的实施方式中,本发明实施例可以根据每一帧对应的方向信息确定关键帧提取频率。例如,可以设置默认的关键帧提取频率,在检测到方向信息发生变化时,若根据方向信息的变化情况可以判定视频采集设备发生了转向(如转头和/或转弯)时,可以增大所述默认的关键帧提取频率,以在发生转向时,可以提取更多的关键帧。
需要说明的是,本发明实施例可以根据实时采集的每一帧视频信号对应的运动信息,确定每一帧对应的关键帧提取频率,进而实时对采集的视频信号确定关键帧。然而,在实际应用中,视频采集设备的运动信息可能会在一段时间内保持相同或者相近的状态,因此,本发明实施例在视频采集设备运动过程中,周期性地在已采集的视频信号中确定关键帧。
在本发明的一种可选实施例中,步骤102所述根据每一帧对应的运动信息,确定关键帧提取频率,可以包括:
步骤S11、在预设周期到达时,获取所述预设周期内每一帧对应的运动信息;
步骤S12、根据所述预设周期内每一帧对应的运动信息,确定所述预设周期内的关键帧提取频率。
视频采集设备在接收到采集开始指令时,响应于所述采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息。在预设周期到达时,视频采集设备获取该预设周期内每一帧对应的运动信息,根据该预设周期内每一帧对应的运动信息,确定该预设周期内的关键帧提取频率,并记录该预设周期内的关键帧的标识信息(如采集时间点或者帧序列号)。然后进入下一个预设周期。本发明实施例周期性地确定关键帧,可以在满足实时生成视频摘要的同时,减少视频采集设备的计算量。
进一步地,所述预设周期可以包括预设时间周期或者预设距离周期。
以预设周期为预设时间周期为例,假设预设时间周期为5秒,则所述视频采集设备在采集视频信号的过程中,每5秒就在这5秒内采集的视频信号中确定关键帧,并记录确定的关键帧的标识信息。
以预设周期为预设距离周期为例,假设预设距离周期为10米,则所述视频采集设备在采集视频信号的过程中,每移动10米,就在移动这10米距离的时间内采集到的视频信号中确定关键帧,并记录确定的关键帧的标识信息。
在本发明的一种可选实施例中,所述运动信息还可以包括所述视频采集设备的位置信息,所述预设距离周期可以根据每一帧对应的位置信息所确定。
示例性地,所述视频采集设备还可以包括用于实时获取位置信息的硬件单元,如GPS(Global Positioning System,全球定位系统)单元,可用于实时获取视频采集设备的位置信息。GPS单元可以为所述视频采集设备的内置单元或者外接单元。
本发明实施例根据每一帧对应的位置信息,可以确定所述视频采集设备移动的距离,在确定所述视频采集设备移动的距离到达所述预设距离周期对应的距离时,可以认为此时到达预设周期。
在本发明的一种可选实施例中,步骤103所述根据所述关键帧提取频率,在已采集的视频信号中确定关键帧,可以包括:
步骤S21、根据所述预设周期和所述预设周期内的关键帧提取频率,确定所述预设周期内的提取帧数;
步骤S22、在所述预设周期的起始帧和结束帧之间,确定数量为所述提取帧数的关键帧。
视频采集设备在接收到采集开始指令时,响应于所述采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息。在预设周期到达时,视频采集设备获取该预设周期内每一帧对应的运动信息,并根据该预设周期内每一帧对应的运动信息,确定该预设周期内的关键帧提取频率。以预设距离周期为例,假设预设距离周期为s米,则视频采集设备在移动距离到达s米时,获取在移动这s米距离的时间内采集的每一帧视频信号对应的运动信息,根据获取的每一帧对应的运动信息,确定该预设周期内的关键帧提取频率,假设确定该预设周期内的关键帧提取频率为f1帧/100米。根据所述预设周期和所述预设周期内的关键帧提取频率,可以确定所述预设周期内的提取帧数。具体地,所述预设周期与所述关键帧提取频率的乘积即为所述预设周期内的提取帧数。也即,该预设周期内的提取帧数为s*f1*0.01帧,可以在所述预设周期的起始帧和结束帧之间,确定数量为s*f1*0.01帧的关键帧。假设该预设周期内的起始帧和结束帧之间共包含n帧视频信号,也即,视频采集设备在移动s米的距离内,共采集了n帧视频信号,则可以在这n帧中确定s*f1*0.01帧为关键帧。示例性地,可以在这n帧中均匀选取s*f1*0.01帧作为关键帧。
可以理解的是,所述预设周期还可以为预设时间周期,假设预设时间周期为t秒,某个预设周期内的关键帧提取频率为f2帧/100秒,则可以确定该预设周期内的提取帧数为t*f2*0.01帧。
在本发明的一种可选实施例中,步骤102所述根据每一帧对应的运动信息,确定关键帧提取频率,可以包括:
步骤S31、设置初始的关键帧提取频率,所述初始的关键帧提取频率对应默认速度区间;
步骤S32、若检测到第一变化帧,则根据所述第一变化帧对应的速度信息,更新所述初始的关键帧提取频率;其中,所述第一变化帧指速度信息超出所述默认速度区间的帧。
视频采集设备在接收到采集开始指令时,响应于所述采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息。此时可以设置初始的关键帧提取频率,所述初始的关键帧提取频率对应默认速度区间。所述默认速度区间可以预先根据经验设置。
视频采集设备在采集视频信号的过程中,可以实时检测是否存在第一变化帧,若检测到第一变化帧,说明此时视频采集设备的速度信息发生较大的变化,则可以根据第一变化帧对应的速度信息,更新所述初始的关键帧提取频率。所述第一变化帧指速度信息超出所述默认速度区间的帧。示例性地,在检测到速度信息大于所述默认速度区间的范围时,可以增大所述初始的关键帧提取频率,而在检测到速度信息小于所述默认速度区间的范围时,可以减小所述初始的关键帧提取频率。
可选地,所述默认速度区间可以根据视频采集场景进行设置,不同的视频采集场景可以对应不同的默认速度区间。示例性地,对于跑步过程中的视频采集场景,可以设置所述默认速度区间为a1千米/时~b1千米/时。对于开车过程中的视频采集场景,可以设置所述默认速度区间为a2千米/时~b2千米/时。其中,b1可以小于a2。
可以理解的是,视频采集设备在根据所述第一变化帧对应的速度信息,更新所述初始的关键帧提取频率之后,继续实时检测是否存在第一变化帧,在检测到第一变化帧时,即可根据第一变化帧对应的速度信息,更新当前的关键帧提取频率。也即,本发明实施例根据视频采集设备的速度变化情况实时更新关键帧提取频率,使得当前采用的关键帧提取频率更加符合视频采集设备当前的速度信息,可以更加准确地确定关键帧,进而提高生成的视频摘要的质量。
在本发明的一种可选实施例中,步骤S32中所述根据所述第一变化帧对应的速度信息,更新所述初始的关键帧提取频率,可以包括:
若所述第一变化帧对应的速度信息大于所述默认速度区间中的最大值,则增大所述初始的关键帧提取频率;或者,
若所述第一变化帧对应的速度信息小于所述默认速度区间中的最小值,则减小所述初始的关键帧提取频率。
视频采集设备在接收到采集开始指令时,响应于所述采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息。此时可以设置初始的关键帧提取频率,所述初始的关键帧提取频率对应默认速度区间。视频采集设备在采集视频信号的过程中,可以实时检测是否存在第一变化帧,若检测到第一变化帧,且第一变化帧对应的速度信息大于所述默认速度区间中的最大值,以默认速度区间为a1千米/时~b1千米/时为例,若所述第一变化帧对应的速度信息大于b1千米/时,说明此时初始的关键帧提取频率已不能满足视频采集设备当前的速度信息,则增大所述初始的关键帧提取频率。或者,若检测到第一变化帧,且第一变化帧对应的速度信息小于所述默认速度区间中的最小值,如小于a1千米/时,说明此时初始的关键帧提取频率对于视频采集设备当前的速度信息已有富余,则减小所述初始的关键帧提取频率。
可选地,本发明实施例可以将速度信息划分为不同的区间范围,并且为不同的区间范围设置不同的关键帧提取频率。例如,若检测到第一变化帧对应的速度信息小于所述默认速度区间中的最小值,且所述第一变化帧对应的速度信息属于某个区间范围,则可以将所述初始的关键帧提取频率更新为该区间范围对应的关键帧提取频率。
可选地,本发明实施例可以设置速度信息为零时,关键帧提取频率为第一频率;设置速度信息在默认速度区间内时,关键帧提取频率为第二频率(也即默认的关键帧提取频率);以及设置速度信息为预设的最高速度值时,关键帧提取频率为第三频率。当第一变化帧对应的速度信息大于0并且小于默认速度区间的最小值时,可以通过对所述第一频率与所述第二频率之间计算线性插值确定更新后的关键帧提取频率。当第一变化帧对应的速度信息大于默认速度区间的最大值并且小于所述预设的最高速度值时,可以通过对所述第二频率与所述第三频率之间计算线性插值确定更新后的关键帧提取频率。
在本发明的一种可选实施例中,所述方法还可以包括:
步骤S41、若检测到第二变化帧,则根据所述第二变化帧对应的方向信息,确定补充帧数;其中,所述第二变化帧指方向信息相对于前一帧的变化满足预设条件的帧;
步骤S42、在检测到所述第二变化帧时,增加所述补充帧数的关键帧。
视频采集设备在采集视频信号的过程中,可以实时检测是否存在第二变化帧,若检测到第二变化帧,说明此时视频采集设备发生了转向(如转头和/或转弯),则根据所述第二变化帧对应的运动信息,确定补充帧数。其中,所述第二变化帧指方向信息相对于前一帧的变化满足预设条件的帧。所述预设条件用于判断所述第二变化帧处发生的方向变化是否满足转向的条件。例如,当方向变化的角度大于第一预设值时,可以判定此时发生了转头。又如,当方向变化的角度大于第一预设值,并且运动方向变化的角度大于第二预设值时,可以判定此时发生了转弯。
在检测到第二变化帧时,可以确定视频采集设备发生了转向(包括转头和/或转弯)。当视频采集设备发生转向时,拍摄场景会出现较大的变化,因此需要额外增加关键帧以准确表达转向时拍摄到的场景信息。本发明实施例在检测到第二变化帧时,根据所述第二变化帧对应的运动信息,确定补充帧数,并增加所述补充帧数的关键帧。
所述根据所述第二变化帧对应的方向信息,确定补充帧数,可以包括:根据所述第二变化帧对应的方向信息相对于前一帧的变化量,确定补充帧数。例如,变化量越大,说明转向的角度越大,则可以增加更多的关键帧。也即,所述补充帧数和所述变化量可以成正比。所述变化量可以通过第二变化帧对应的方向信息与前一帧的方向信息之间形成的角度来衡量,角度越大说明变化量越大。
进一步地,在确定发生转头时,可以确定补充帧数为第一数量,以及在确定发生转弯时,可以确定补充帧数为第二数量。可选地,由于转弯相对于转头,场景变化更大,因此可以设置第二数量大于第一数量。在检测到第二变化帧时,还可以获取所述第二变化帧对应的位置信息,以判断发生了转头还是转弯。
所述方法还可以包括:在检测到第二变化帧时,获取所述第二变化帧之后预设时间段内每一帧对应的位置信息,根据所述第二变化帧以及所述第二变化帧之后预设时间段内每一帧对应的位置信息,可以判断视频采集设备在采集第二变化帧的时间点后,视频采集设备的运动方向是否发生变化,若视频采集设备的运动方向也发生了变化,可以判定视频采集设备在采集第二变化帧的时间点发生了转弯,否则可以判定视频采集设备在采集第二变化帧的时间点仅发生了转头。
参照图2,示出了本发明在视频采集设备运动过程中确定关键帧的一个示例图。在该示例中,视频采集设备内置有IMU、Gyrosensor、以及GPS三个硬件单元,IMU可用于提供视频采集设备的速度信息,Gyrosensor可用于提供视频采集设备的方向信息,GPS可用于提供视频采集设备的位置信息。
如图2所示,在视频采集设备接收到采集开始指令到接收到采集结束指令之间,视频采集设备从A点位置运动到E点位置。该示例中,在A点位置时,视频采集设备接收到采集开始指令,响应于所述采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息。此时设置初始的关键帧提取频率,假设初始的关键帧提取频率为53帧/100m。视频采集设备在采集视频信号时,可以实时获取每一帧对应的速度信息,假设从A点位置到B点位置,每一帧对应的速度信息均在默认速度区间,则对于视频采集设备从A点位置运动到B点位置期间内采集的视频信号,可以按照53帧/100m的关键帧提取频率确定关键帧。可以理解的是,从A点位置运动到B点位置期间,可以周期性地确定关键帧,如每移动10米确定一次关键帧。假设A点位置到B点位置的距离为500米,则视频采集设备从A点位置运动到B点位置期间内,视频采集设备可以在该期间内采集的视频信号中确定5*53=265帧关键帧。
当视频采集设备从A点位置运动到B点位置时,检测到速度信息发生变化,B点位置时采集到的视频信号帧小于所述默认速度区间的最小值,也即此时检测到第一变化帧,则可以减小当前的关键帧提取频率,如确定更新后的关键帧提取频率为27帧/100m,则从B点位置开始按照27帧/100m的关键帧提取频率周期性地确定关键帧。
当视频采集设备从B点位置运动到C点位置时,检测到方向信息相对于前一帧的变化满足预设条件,也即此时检测到第二变化帧,则根据该第二变化帧对应的方向信息,确定补充帧数,并增加该补充帧数的关键帧。例如,根据第二变化帧对应的方向信息,确定视频采集设备在C点位置发生了转头,则确定补充帧数为第一数量N1,假设N1为10帧,则在C点位置增加10帧关键帧,从C点位置开始继续按照27帧/100m的关键帧提取频率周期性地确定关键帧。
当视频采集设备从C点位置运动到D点位置时,检测到方向信息相对于前一帧的变化满足预设条件,也即此时检测到第二变化帧,则根据该第二变化帧对应的方向信息,确定补充帧数,并增加该补充帧数的关键帧。例如,根据该第二变化帧以及该第二变化帧之后预设时间段内每一帧对应的位置信息,确定视频采集设备在D点位置发生了转弯,则确定补充帧数为第二数量N2,假设N2为15帧,则在D点位置增加15帧关键帧。假设在D点位置完成转弯后,视频采集设备检测到速度信息发生变化,如速度信息到达默认速度区间,则将当前的关键帧提取频率更新为53帧/100m,从D点位置开始按照53帧/100m的关键帧提取频率周期性地确定关键帧。
当视频采集设备从D点位置运动到E点位置时,接收到采集结束指令,此时可以根据从A点位置到E点位置确定的关键帧生成视频摘要。具体地,从A点位置到B点位置可以提取5*53=265帧关键帧。假设B点位置到C点位置的距离为500米,从B点位置到C点位置可以提取5*27=135帧关键帧。假设C点位置到D点位置的距离为250米,在C点位置增加了10帧,则从C点位置到D点位置可以提取了2.5*27+10=77.5帧,当提取帧数为小数时,可以向上取整或向下取整,如77.5帧向上取整为78帧。假设D点位置到E点位置的距离为500米,在D点位置增加了15帧,则从D点位置到E点位置一共提取了5*53+15=280帧。因此,从A点位置到E点位置一共可以提取265+135+78+280=758帧关键帧。
综上,本发明实施例提供的生成视频摘要的方法可适用于视频采集设备,视频采集设备在接收到采集开始指令时,响应于所述采集开始指令,开始采集视频信号,并且在采集视频信号的过程中,记录每一帧对应的运动信息,从而可以根据每一帧对应的运动信息实时确定关键帧,在接收到采集结束指令时,响应于所述采集结束指令,即可根据已确定的关键帧直接生成视频摘要。此过程不需要逐帧分析视频信号并提取视频特征,可以降低计算复杂度,减少计算量,提高生成视频摘要的效率,还可以避免因视频质量导致提取特征不准确的问题,可以保证生成的视频摘要的质量。此外,本发明实施例在实时确定关键帧时,根据视频采集设备的运动信息动态确定关键帧提取频率,使得动态确定的关键帧提取频率更加符合视频采集设备的运动变化情况,可以更加准确地确定关键帧,进一步提高生成的视频摘要的质量。再者,视频采集设备在采集视频信号的过程中实时确定关键帧,在视频信号采集完成时,即可生成视频摘要。相对于在所有视频信号采集完成之后,再逐帧分析视频信号的离线生成视频摘要的方式,本发明实施例可以实现在线生成视频摘要,可以满足用户对实时生成视频摘要的需求。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,示出了本发明的一种生成视频摘要的装置300实施例的结构框图,所述装置300可应用于视频采集设备200,所述视频采集设备200包括用于实时获取运动信息的硬件单元201,所述运动信息包括所述视频采集设备的速度信息和方向信息,所述装置300可以包括:
采集记录模块301,用于响应于采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息;
频率确定模块302,用于根据每一帧对应的运动信息,确定关键帧提取频率;
关键帧确定模块303,用于根据所述关键帧提取频率,在已采集的视频信号中确定关键帧;
摘要生成模块304,用于响应于采集结束指令,根据所述关键帧生成视频摘要。
可选地,所述频率确定模块,包括:
信息获取子模块,用于在预设周期到达时,获取所述预设周期内每一帧对应的运动信息;
频率确定子模块,用于根据所述预设周期内每一帧对应的运动信息,确定所述预设周期内的关键帧提取频率。
可选地,所述关键帧确定模块,包括:
提取帧数确定子模块,用于根据所述预设周期和所述预设周期内的关键帧提取频率,确定所述预设周期内的提取帧数;
关键帧确定子模块,用于在所述预设周期的起始帧和结束帧之间,确定数量为所述提取帧数的关键帧。
可选地,所述预设周期包括预设时间周期或者预设距离周期。
可选地,所述运动信息还包括所述视频采集设备的位置信息,所述预设距离周期根据每一帧对应的位置信息所确定。
可选地,所述频率确定模块,包括:
初始确定子模块,用于设置初始的关键帧提取频率,所述初始的关键帧提取频率对应默认速度区间;
频率更新子模块,用于若检测到第一变化帧,则根据所述第一变化帧对应的速度信息,更新所述初始的关键帧提取频率;其中,所述第一变化帧指速度信息超出所述默认速度区间的帧。
可选地,所述频率更新子模块,包括:
第一更新子模块,用于若所述第一变化帧对应的速度信息大于所述默认速度区间中的最大值,则增大所述初始的关键帧提取频率;或者,
第二更新子模块,用于若所述第一变化帧对应的速度信息小于所述默认速度区间中的最小值,则减小所述初始的关键帧提取频率。
可选地,所述装置还包括:
补充帧数确定模块,用于若检测到第二变化帧,则根据所述第二变化帧对应的方向信息,确定补充帧数;其中,所述第二变化帧指方向信息相对于前一帧的变化满足预设条件的帧;
关键帧补充模块,用于在检测到所述第二变化帧时,增加所述补充帧数的关键帧。
本发明实施例提供的生成视频摘要的装置可适用于视频采集设备,视频采集设备在接收到采集开始指令时,响应于所述采集开始指令,开始采集视频信号,并且在采集视频信号的过程中,记录每一帧对应的运动信息,从而可以根据每一帧对应的运动信息实时确定关键帧,在接收到采集结束指令时,响应于所述采集结束指令,即可根据已确定的关键帧直接生成视频摘要。此过程不需要逐帧分析视频信号并提取视频特征,可以降低计算复杂度,减少计算量,提高生成视频摘要的效率,还可以避免因视频质量导致提取特征不准确的问题,可以保证生成的视频摘要的质量。此外,本发明实施例在实时确定关键帧时,根据视频采集设备的运动信息动态确定关键帧提取频率,使得动态确定的关键帧提取频率更加符合视频采集设备的运动变化情况,可以更加准确地确定关键帧,进一步提高生成的视频摘要的质量。再者,视频采集设备在采集视频信号的过程中实时确定关键帧,在视频信号采集完成时,即可生成视频摘要。相对于在所有视频信号采集完成之后,再逐帧分析视频信号的离线生成视频摘要的方式,本发明实施例可以实现在线生成视频摘要,可以满足用户对实时生成视频摘要的需求。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明实施例还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时,使得装置能够执行前文图1所对应实施例中生成视频摘要的方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上对本发明所提供的一种生成视频摘要的方法、装置和机器可读存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种生成视频摘要的方法,其特征在于,所述方法应用于视频采集设备,所述视频采集设备包括用于实时获取运动信息的硬件单元,所述运动信息包括所述视频采集设备的速度信息和方向信息,所述方法包括:
响应于采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息;
根据每一帧对应的运动信息,确定关键帧提取频率;
根据所述关键帧提取频率,在已采集的视频信号中确定关键帧;
响应于采集结束指令,根据所述关键帧生成视频摘要。
2.根据权利要求1所述的方法,其特征在于,所述根据每一帧对应的运动信息,确定关键帧提取频率,包括:
在预设周期到达时,获取所述预设周期内每一帧对应的运动信息;
根据所述预设周期内每一帧对应的运动信息,确定所述预设周期内的关键帧提取频率。
3.根据权利要求2所述的方法,其特征在于,所述根据所述关键帧提取频率,在已采集的视频信号中确定关键帧,包括:
根据所述预设周期和所述预设周期内的关键帧提取频率,确定所述预设周期内的提取帧数;
在所述预设周期的起始帧和结束帧之间,确定数量为所述提取帧数的关键帧。
4.根据权利要求2或3所述的方法,其特征在于,所述预设周期包括预设时间周期或者预设距离周期。
5.根据权利要求4所述的方法,其特征在于,所述运动信息还包括所述视频采集设备的位置信息,所述预设距离周期根据每一帧对应的位置信息所确定。
6.根据权利要求1所述的方法,其特征在于,所述根据每一帧对应的运动信息,确定关键帧提取频率,包括:
设置初始的关键帧提取频率,所述初始的关键帧提取频率对应默认速度区间;
若检测到第一变化帧,则根据所述第一变化帧对应的速度信息,更新所述初始的关键帧提取频率;其中,所述第一变化帧指速度信息超出所述默认速度区间的帧。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一变化帧对应的速度信息,更新所述初始的关键帧提取频率,包括:
若所述第一变化帧对应的速度信息大于所述默认速度区间中的最大值,则增大所述初始的关键帧提取频率;或者,
若所述第一变化帧对应的速度信息小于所述默认速度区间中的最小值,则减小所述初始的关键帧提取频率。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若检测到第二变化帧,则根据所述第二变化帧对应的方向信息,确定补充帧数;其中,所述第二变化帧指方向信息相对于前一帧的变化满足预设条件的帧;
在检测到所述第二变化帧时,增加所述补充帧数的关键帧。
9.一种生成视频摘要的装置,其特征在于,所述装置应用于视频采集设备,所述视频采集设备包括用于实时获取运动信息的硬件单元,所述运动信息包括所述视频采集设备的速度信息和方向信息,所述装置包括:
采集记录模块,用于响应于采集开始指令,开始采集视频信号,并在采集视频信号的过程中,记录每一帧对应的运动信息;
频率确定模块,用于根据每一帧对应的运动信息,确定关键帧提取频率;
关键帧确定模块,用于根据所述关键帧提取频率,在已采集的视频信号中确定关键帧;
摘要生成模块,用于响应于采集结束指令,根据所述关键帧生成视频摘要。
10.一种机器可读存储介质,其上存储有指令,当所述指令由装置的一个或多个处理器执行时,使得装置执行如权利要求1至8中任一所述的生成视频摘要的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210614997.4A CN114697764B (zh) | 2022-06-01 | 2022-06-01 | 一种生成视频摘要的方法、装置和可读存储介质 |
US18/710,957 US20240334027A1 (en) | 2022-06-01 | 2023-04-24 | Method and apparatus for generating video digest and readable storage medium |
PCT/CN2023/090361 WO2023231647A1 (zh) | 2022-06-01 | 2023-04-24 | 一种生成视频摘要的方法、装置和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210614997.4A CN114697764B (zh) | 2022-06-01 | 2022-06-01 | 一种生成视频摘要的方法、装置和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114697764A true CN114697764A (zh) | 2022-07-01 |
CN114697764B CN114697764B (zh) | 2022-09-02 |
Family
ID=82130985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210614997.4A Active CN114697764B (zh) | 2022-06-01 | 2022-06-01 | 一种生成视频摘要的方法、装置和可读存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240334027A1 (zh) |
CN (1) | CN114697764B (zh) |
WO (1) | WO2023231647A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023231647A1 (zh) * | 2022-06-01 | 2023-12-07 | 深圳比特微电子科技有限公司 | 一种生成视频摘要的方法、装置和可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040136460A1 (en) * | 2003-01-15 | 2004-07-15 | Zhang Hongjiang | Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy |
US20050226331A1 (en) * | 2004-03-31 | 2005-10-13 | Honeywell International Inc. | Identifying key video frames |
CN101582063A (zh) * | 2008-05-13 | 2009-11-18 | 华为技术有限公司 | 视频服务系统、视频服务装置及其关键帧的提取方法 |
CN102184221A (zh) * | 2011-05-06 | 2011-09-14 | 北京航空航天大学 | 一种基于用户偏好的实时视频摘要生成方法 |
CN102819528A (zh) * | 2011-06-10 | 2012-12-12 | 中国电信股份有限公司 | 生成视频摘要的方法和装置 |
US20140072284A1 (en) * | 2012-09-12 | 2014-03-13 | Intel Corporation | Techniques for indexing video files |
CN114201644A (zh) * | 2021-12-15 | 2022-03-18 | 中国平安人寿保险股份有限公司 | 摘要视频的生成方法、装置、设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030026529A (ko) * | 2001-09-26 | 2003-04-03 | 엘지전자 주식회사 | 키프레임 기반 비디오 요약 시스템 |
CN107230187B (zh) * | 2016-03-25 | 2022-05-24 | 北京三星通信技术研究有限公司 | 多媒体信息处理的方法和装置 |
US9912860B2 (en) * | 2016-06-12 | 2018-03-06 | Apple Inc. | User interface for camera effects |
CN107330000B (zh) * | 2017-06-09 | 2020-03-17 | 天脉聚源(北京)传媒科技有限公司 | 新闻视频的播放方法及装置 |
US20210065427A1 (en) * | 2019-08-30 | 2021-03-04 | Shopify Inc. | Virtual and augmented reality using light fields |
CN110662044B (zh) * | 2019-10-22 | 2022-02-18 | 浙江大华技术股份有限公司 | 一种视频编码方法、视频编码装置及计算机存储介质 |
US20230069018A1 (en) * | 2020-02-26 | 2023-03-02 | Nec Corporation | Image processing apparatus, imaging apparatus, image processing system, image processing method, and non-transitory computer readable medium |
CN114697764B (zh) * | 2022-06-01 | 2022-09-02 | 深圳比特微电子科技有限公司 | 一种生成视频摘要的方法、装置和可读存储介质 |
-
2022
- 2022-06-01 CN CN202210614997.4A patent/CN114697764B/zh active Active
-
2023
- 2023-04-24 WO PCT/CN2023/090361 patent/WO2023231647A1/zh active Application Filing
- 2023-04-24 US US18/710,957 patent/US20240334027A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040136460A1 (en) * | 2003-01-15 | 2004-07-15 | Zhang Hongjiang | Method and system for extracting key frames from video using a triangle model of motion based on perceived motion energy |
US20050226331A1 (en) * | 2004-03-31 | 2005-10-13 | Honeywell International Inc. | Identifying key video frames |
CN101582063A (zh) * | 2008-05-13 | 2009-11-18 | 华为技术有限公司 | 视频服务系统、视频服务装置及其关键帧的提取方法 |
CN102184221A (zh) * | 2011-05-06 | 2011-09-14 | 北京航空航天大学 | 一种基于用户偏好的实时视频摘要生成方法 |
CN102819528A (zh) * | 2011-06-10 | 2012-12-12 | 中国电信股份有限公司 | 生成视频摘要的方法和装置 |
US20140072284A1 (en) * | 2012-09-12 | 2014-03-13 | Intel Corporation | Techniques for indexing video files |
CN114201644A (zh) * | 2021-12-15 | 2022-03-18 | 中国平安人寿保险股份有限公司 | 摘要视频的生成方法、装置、设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023231647A1 (zh) * | 2022-06-01 | 2023-12-07 | 深圳比特微电子科技有限公司 | 一种生成视频摘要的方法、装置和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023231647A1 (zh) | 2023-12-07 |
CN114697764B (zh) | 2022-09-02 |
US20240334027A1 (en) | 2024-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10733985B2 (en) | Digital video fingerprinting using motion segmentation | |
WO2017096949A1 (zh) | 一种对目标进行跟踪拍摄的方法、控制装置及系统 | |
US10474921B2 (en) | Tracker assisted image capture | |
US8014566B2 (en) | Image processing apparatus | |
CN110706247B (zh) | 一种目标跟踪方法、装置及系统 | |
CN106375706B (zh) | 利用双摄像头进行运动物体测速的方法、装置及移动终端 | |
CN111798487B (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
CN110248048A (zh) | 一种视频抖动的检测方法及装置 | |
CN114697764B (zh) | 一种生成视频摘要的方法、装置和可读存储介质 | |
CN111583118B (zh) | 图像拼接方法、装置、存储介质及电子设备 | |
CN112489076B (zh) | 一种多目标跟踪方法与系统 | |
CN109360225B (zh) | 一种运动模型的优化系统及方法 | |
CN104574954A (zh) | 一种基于自由流系统的车辆稽查方法、控制设备及系统 | |
CN105046719A (zh) | 一种视频监控方法及系统 | |
CN112183431A (zh) | 实时行人数量统计方法、装置、相机和服务器 | |
CN111986229A (zh) | 视频目标检测方法、装置及计算机系统 | |
CN112291480B (zh) | 跟踪对焦方法、跟踪对焦装置、电子设备和可读存储介质 | |
CN113643206A (zh) | 一种奶牛呼吸情况检测方法 | |
CN106370883B (zh) | 一种测速方法及终端 | |
CN115953434B (zh) | 轨迹匹配方法、装置、电子设备和存储介质 | |
CN113963307A (zh) | 目标上内容的识别及视频采集方法、装置、存储介质、计算机设备 | |
CN111726526A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
CN103366598B (zh) | 一种车辆停靠到位检测系统及检测方法 | |
CN118038302A (zh) | 运动物体轮廓的确定方法、装置、电子设备以及存储介质 | |
CN114070954A (zh) | 视频数据与遥测数据同步方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |