CN110458141A - 一种视频关键帧的提取方法、装置及系统 - Google Patents

一种视频关键帧的提取方法、装置及系统 Download PDF

Info

Publication number
CN110458141A
CN110458141A CN201910768665.XA CN201910768665A CN110458141A CN 110458141 A CN110458141 A CN 110458141A CN 201910768665 A CN201910768665 A CN 201910768665A CN 110458141 A CN110458141 A CN 110458141A
Authority
CN
China
Prior art keywords
frame
target
video
key
key frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910768665.XA
Other languages
English (en)
Inventor
潘珍珍
黄晓南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenyan Intelligent Technology Co Ltd
Original Assignee
Beijing Shenyan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenyan Intelligent Technology Co Ltd filed Critical Beijing Shenyan Intelligent Technology Co Ltd
Priority to CN201910768665.XA priority Critical patent/CN110458141A/zh
Publication of CN110458141A publication Critical patent/CN110458141A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种视频关键帧的提取方法、装置及系统,该提取方法首先获取待提取关键帧的目标视频,然后获取所述目标视频中每一帧的HSV颜色空间。之后计算相邻两帧的差值,得到目标差分数组,并基于所述目标差分数组,确定出目标关键帧。可见,本方案提供了一种视频关键帧的提取方法,能够准确提取视频关键帧。

Description

一种视频关键帧的提取方法、装置及系统
技术领域
本发明涉及视频处理技术领域,特别涉及一种视频关键帧的提取方法、装置及系统。
背景技术
帧是动画中最小单位的单幅影像画面,相当于电影胶片上的每一格镜头。在动画软件的时间轴上,帧表现为一格或一个标记。关键帧相当于二维动画中的原画,指角色或者物体运动或变化中的关键动作所处的那一帧。
而目前并没有一种方法,能够准确的从视频中提取关键帧,因此,如何提供一种视频关键帧的提取方法、装置及系统,能够准确提取视频关键帧,是本领域技术人员亟待解决的一大技术问题。
发明内容
本发明提供了一种视频关键帧的提取方法、装置及系统,能够准确提取视频关键帧。
为实现所述目的,本申请提供的技术方案如下:
一种视频关键帧的提取方法,包括:
获取待提取关键帧的目标视频;
获取所述目标视频中每一帧的HSV颜色空间;
计算相邻两帧的差值,得到目标差分数组;
基于所述目标差分数组,确定出目标关键帧。
可选的,还包括:
对所述目标关键帧打标签,确定所述目标关键帧的标签为所述目标视频的标签。
可选的,所述基于所述目标差分数组,确定出目标关键帧,包括:
基于第一预设平滑函数以及所述目标差分数组,得到目标帧变化图;
确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。
可选的,所述基于所述目标差分数组,确定出目标关键帧,还包括:
对所述目标差分数组中各差分值进行排序,确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。
可选的,还包括:
基于第二预设平滑函数,确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧;
基于所述目标主题帧,划分所述目标视频。
一种视频关键帧的提取装置,包括:
第一获取模块,用于获取待提取关键帧的目标视频;
第二获取模块,用于获取所述目标视频中每一帧的HSV颜色空间;
计算模块,用于计算相邻两帧的差值,得到目标差分数组;
第一确定模块,用于基于所述目标差分数组,确定出目标关键帧。
可选的,还包括:
第二确定模块,用于对所述目标关键帧打标签,确定所述目标关键帧的标签为所述目标视频的标签。
可选的,所述第一确定模块包括:
第一确定单元,用于基于第一预设平滑函数以及所述目标差分数组,得到目标帧变化图;
第二确定单元,用于确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。
可选的,所述第一确定模块还包括:
第三确定单元,用于对所述目标差分数组中各差分值进行排序,确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。
可选的,还包括:
第二确定模块,用于基于第二预设平滑函数,确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧;
划分模块,用于基于所述目标主题帧,划分所述目标视频。
一种视频关键帧的提取系统,包括任意一项上述的视频关键帧的提取装置。
本发明提供了一种视频关键帧的提取方法,首先获取待提取关键帧的目标视频,然后获取所述目标视频中每一帧的HSV颜色空间。之后计算相邻两帧的差值,得到目标差分数组,并基于所述目标差分数组,确定出目标关键帧。可见,本方案提供了一种视频关键帧的提取方法,能够准确提取视频关键帧。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频关键帧的提取方法的流程示意图;
图2为本发明实施例提供的一种视频关键帧的提取方法的又一流程示意图;
图3为本发明实施例提供的一种视频关键帧的提取方法的又一流程示意图;
图4为本发明实施例提供的一种视频关键帧的提取方法的又一流程示意图;
图5为本发明实施例提供的一种视频关键帧的提取方法的又一流程示意图;
图6为本发明实施例提供的一种视频关键帧的提取装置的结构示意图;
图7为本发明实施例提供的一种视频关键帧的提取装置的又一结构示意图;
图8为本发明实施例提供的一种视频关键帧的提取装置的又一结构示意图;
图9为本发明实施例提供的一种视频关键帧的提取装置的又一结构示意图;
图10为本发明实施例提供的一种视频关键帧的提取装置的又一结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
请参阅图1,图1为本发明实施例提供的一种视频关键帧的提取方法的流程示意图,该视频关键帧的提取方法包括:
S11、获取待提取关键帧的目标视频;
其中,在本实施例中,可以利用Opencv将待提取关键帧的目标视频读取到内存中。
S12、获取所述目标视频中每一帧的HSV颜色空间;
然后逐帧读取上述的目标视频,获得每一帧图像的RGB数据,然后将每一帧图像的RGB数据转换成HSV颜色空间。
具体的,可以使用python的opencv库中封装的方法实现从RGB到HSV颜色空间的转换,例如:cv2.cvtColor(frame,cv2.COLOR_BGR2LUV)。
S13、计算相邻两帧的差值,得到目标差分数组;
步骤S12得到了每一帧的HSV颜色空间,本步骤是将步骤S12处理之后的一帧与前一帧视频做差,将差值转换成整数,然后计算得到的全部整数存入数组,形成目标差分数组。
具体的,在依次读取视频帧后,将后一帧(帧是以矩阵的形式存储的)与前一帧的矩阵做差,然后将做差之后的矩阵利用numpy包封装的sum方法把矩阵元素计算成一个整数值,用来代替矩阵差作两帧差并存入数组,之后遍历完所有的视频帧,即可得到目标差分数组。
S14、基于所述目标差分数组,确定出目标关键帧。
在本实施例中,提供了几种基于目标差分数组,确定出目标关键帧的具体实现步骤,如下:
方式一,如图2所示,包括:
S21、基于第一预设平滑函数以及所述目标差分数组,得到目标帧变化图;
S22、确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。
在本实施例中,首先利用第一平滑函数消除两帧差距较大的误差,得到较为平滑的目标帧变化图,然后根据上述目标帧变化图,得到图中变化较大的帧,选为关键帧。
具体的,本实施例中,“变化较大”指的就是帧差越大,因此本方案是在得到了平滑后的目标帧变化图后,只需使用封装的argrelextrema函数就可以取得离散序列极值点,即峰值,从而作为目标关键帧。
方式二,如图3所示,包括:
S31、对所述目标差分数组中各差分值进行排序,确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。
例如,在提取关键帧时,直接将目标差分数组里面数值前10的帧确定为目标关键帧。当然10只是为了举例,还可以为其他数值,如6、12等等。
除此,在本实施例中,还可以根据临界函数值来确定目标关键帧,具体的为:提取关键帧时,用差分进行函数计算(x=(b-a)/max(a,b),x>0.6),得到目标关键帧。
综上,本方案提供了一种视频关键帧的提取方法,能够准确的提取色差单调、变化迅速的视频的关键帧,准确率高。例如,直接选取峰值前十,利用平滑函数处理之后的帧差图可以有效的避免图像上的噪声和失真,提高了准确率,减少了非关键帧的提取和关键帧的遗漏,提高完整性。
在上述实施例的基础上,本实施例在确定了目标关键帧之后,还提供了几种基于目标关键帧的应用,例如,对目标关键帧打标签,以使目标关键帧对视频具有一定的指示作用。除此,还可以将目标关键帧确定为目标主题帧,以实现基于该目标主题帧,对视频的划分,等等。
具体的,结合图4,对本实施例提供的一种视频关键帧的提取方法的应用一进行介绍,包括:
S41、对所述目标关键帧打标签,确定所述目标关键帧的标签为所述目标视频的标签。
其中,对目标关键帧打标签的过程如下:
将关键帧保存为图片,并上传至打标签系统打上标签返回。具体的,打标签系统可以为开源图片的打标签系统,即利用post请求将图片作为参数,发送请求,会得到标签结果的json串。
例如:
POST https://imm.cn-shanghai.aliyuncs.com
?Action=DetectImageTags
&Project=test-project
&ImageUri=oss://imm-test/testcases/cat.jpg
在对目标关键帧打标签之后,将所有得到的标签作为视频的标签。可见,本实施例可以将视频中的关键部分的图片打上标签,例如标签可以黑色,猫,士兵等等,从而用标签概括视频。
除此,结合图5,对本实施例提供的一种视频关键帧的提取方法的应用二进行介绍,包括:
S51、基于第二预设平滑函数,确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧;
S52、基于所述目标主题帧,划分所述目标视频。
在本实施例中,可以根据差分数组的数值大小,选取前6作为变化时间点,利用这些时间点切分视频主题。需要说明的是,在本实施例中,前6是经验值,也可以是客户需求值。
还可以利用平滑函数消除两帧差距较大的误差,得到较为平滑的帧变化图。根据平滑函数得出的帧变化图,得到图中变化较大的帧,选为关键帧。将关键帧二次运用平滑函数,在关键帧中筛选差异较大的帧作为主题帧。
本实施例通过确定目标主题帧,对视频进行分段,例如可以形成:一段广告,前面0-5秒是展示产品,后面10-30秒是代言人画面,最后5秒是logo页面,从而能在最快时间内了解视频内容梗概。
在上述实施例的基础上,如图6所示,本实施例还提供了一种视频关键帧的提取装置,包括:
第一获取模块61,用于获取待提取关键帧的目标视频;
第二获取模块62,用于获取所述目标视频中每一帧的HSV颜色空间;
计算模块63,用于计算相邻两帧的差值,得到目标差分数组;
第一确定模块64,用于基于所述目标差分数组,确定出目标关键帧。
除此,如图7所示,本实施例提供的视频关键帧的提取装置,还包括:
第二确定模块71,用于对所述目标关键帧打标签,确定所述目标关键帧的标签为所述目标视频的标签。
具体的,如图8所示,本实施提供的视频关键帧的提取装置中,所述第一确定模块64包括:
第一确定单元81,用于基于第一预设平滑函数以及所述目标差分数组,得到目标帧变化图;
第二确定单元82,用于确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。
除此,如图9所示,本实施提供的视频关键帧的提取装置中,所述第一确定模块64还包括:
第三确定单元91,用于对所述目标差分数组中各差分值进行排序,确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。
更进一步的,本实施例提供的视频关键帧的提取装置,如图10所示,还包括:
第二确定模块101,用于基于第二预设平滑函数,确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧;
划分模块102,用于基于所述目标主题帧,划分所述目标视频。
该装置的工作原理请参见上述方法实施例,在此不重复叙述。
除此,本实施例还提供了一种视频关键帧的提取系统,包括任意一项上述的视频关键帧的提取装置,该系统的工作原理请参见上述张纸实施例,在此不重复叙述。
综上,本发明提供了一种视频关键帧的提取方法、装置及系统,该提取方法首先获取待提取关键帧的目标视频,然后获取所述目标视频中每一帧的HSV颜色空间。之后计算相邻两帧的差值,得到目标差分数组,并基于所述目标差分数组,确定出目标关键帧。可见,本方案提供了一种视频关键帧的提取方法,能够准确提取视频关键帧。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明。任何熟悉本领域的技术人员,在不脱离本发明技术方案范围情况下,都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰,或修改为等同变化的等效实施例。因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰,均仍属于本发明技术方案保护的范围内。

Claims (11)

1.一种视频关键帧的提取方法,其特征在于,包括:
获取待提取关键帧的目标视频;
获取所述目标视频中每一帧的HSV颜色空间;
计算相邻两帧的差值,得到目标差分数组;
基于所述目标差分数组,确定出目标关键帧。
2.根据权利要求1所述的视频关键帧的提取方法,其特征在于,还包括:
对所述目标关键帧打标签,确定所述目标关键帧的标签为所述目标视频的标签。
3.根据权利要求1所述的视频关键帧的提取方法,其特征在于,所述基于所述目标差分数组,确定出目标关键帧,包括:
基于第一预设平滑函数以及所述目标差分数组,得到目标帧变化图;
确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。
4.根据权利要求1所述的视频关键帧的提取方法,其特征在于,所述基于所述目标差分数组,确定出目标关键帧,还包括:
对所述目标差分数组中各差分值进行排序,确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。
5.根据权利要求3所述的视频关键帧的提取方法,其特征在于,还包括:
基于第二预设平滑函数,确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧;
基于所述目标主题帧,划分所述目标视频。
6.一种视频关键帧的提取装置,其特征在于,包括:
第一获取模块,用于获取待提取关键帧的目标视频;
第二获取模块,用于获取所述目标视频中每一帧的HSV颜色空间;
计算模块,用于计算相邻两帧的差值,得到目标差分数组;
第一确定模块,用于基于所述目标差分数组,确定出目标关键帧。
7.根据权利要求6所述的视频关键帧的提取装置,其特征在于,还包括:
第二确定模块,用于对所述目标关键帧打标签,确定所述目标关键帧的标签为所述目标视频的标签。
8.根据权利要求6所述的视频关键帧的提取装置,其特征在于,所述第一确定模块包括:
第一确定单元,用于基于第一预设平滑函数以及所述目标差分数组,得到目标帧变化图;
第二确定单元,用于确定所述目标帧变化图中所述差分值的峰值对应的帧为所述目标关键帧。
9.根据权利要求6所述的视频关键帧的提取装置,其特征在于,所述第一确定模块还包括:
第三确定单元,用于对所述目标差分数组中各差分值进行排序,确定排序符合第一预设规则的所述差分值对应的帧为所述目标关键帧。
10.根据权利要求8所述的视频关键帧的提取装置,其特征在于,还包括:
第二确定模块,用于基于第二预设平滑函数,确定所述目标关键帧中符合第二预设规则的所述目标关键帧为目标主题帧;
划分模块,用于基于所述目标主题帧,划分所述目标视频。
11.一种视频关键帧的提取系统,其特征在于,包括任意一项如权利要求6-10所述的视频关键帧的提取装置。
CN201910768665.XA 2019-08-20 2019-08-20 一种视频关键帧的提取方法、装置及系统 Pending CN110458141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910768665.XA CN110458141A (zh) 2019-08-20 2019-08-20 一种视频关键帧的提取方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910768665.XA CN110458141A (zh) 2019-08-20 2019-08-20 一种视频关键帧的提取方法、装置及系统

Publications (1)

Publication Number Publication Date
CN110458141A true CN110458141A (zh) 2019-11-15

Family

ID=68487818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910768665.XA Pending CN110458141A (zh) 2019-08-20 2019-08-20 一种视频关键帧的提取方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110458141A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111641869A (zh) * 2020-06-04 2020-09-08 虎博网络技术(上海)有限公司 视频分镜方法、装置、电子设备和计算机可读存储介质
CN113627363A (zh) * 2021-08-13 2021-11-09 百度在线网络技术(北京)有限公司 视频文件的处理方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720006A (zh) * 2009-11-20 2010-06-02 张立军 一种适用于视频关键帧提取的代表帧定位方法
CN103327304A (zh) * 2013-06-13 2013-09-25 北京林业大学 一种基于聚集机理的花卉生长关键帧提取系统
CN105761263A (zh) * 2016-02-19 2016-07-13 浙江大学 一种基于镜头边界检测和聚类的视频关键帧提取方法
CN107229710A (zh) * 2017-05-27 2017-10-03 深圳市唯特视科技有限公司 一种基于局部特征描述符的视频分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101720006A (zh) * 2009-11-20 2010-06-02 张立军 一种适用于视频关键帧提取的代表帧定位方法
CN103327304A (zh) * 2013-06-13 2013-09-25 北京林业大学 一种基于聚集机理的花卉生长关键帧提取系统
CN105761263A (zh) * 2016-02-19 2016-07-13 浙江大学 一种基于镜头边界检测和聚类的视频关键帧提取方法
CN107229710A (zh) * 2017-05-27 2017-10-03 深圳市唯特视科技有限公司 一种基于局部特征描述符的视频分析方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111641869A (zh) * 2020-06-04 2020-09-08 虎博网络技术(上海)有限公司 视频分镜方法、装置、电子设备和计算机可读存储介质
CN111641869B (zh) * 2020-06-04 2022-01-04 虎博网络技术(上海)有限公司 视频分镜方法、装置、电子设备和计算机可读存储介质
CN113627363A (zh) * 2021-08-13 2021-11-09 百度在线网络技术(北京)有限公司 视频文件的处理方法、装置、设备以及存储介质
CN113627363B (zh) * 2021-08-13 2023-08-15 百度在线网络技术(北京)有限公司 视频文件的处理方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
US20240127588A1 (en) Recurrent Deep Neural Network System for Detecting Overlays in Images
Hannane et al. An efficient method for video shot boundary detection and keyframe extraction using SIFT-point distribution histogram
US10896357B1 (en) Automatic key/value pair extraction from document images using deep learning
CN107016387B (zh) 一种识别标签的方法及装置
Zayene et al. A dataset for Arabic text detection, tracking and recognition in news videos-AcTiV
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
CN110309353A (zh) 视频索引方法及装置
US20150172603A1 (en) System and method for receipt acquisition
KR20060115123A (ko) 동영상 추출장치 및 방법
CN111553362A (zh) 一种视频处理方法、电子设备和计算机可读存储介质
CN102193946A (zh) 为媒体文件添加标签方法和使用该方法的系统
CN110458141A (zh) 一种视频关键帧的提取方法、装置及系统
US20210056429A1 (en) Apparatus and methods for converting lineless tables into lined tables using generative adversarial networks
CN111798543A (zh) 模型训练方法、数据处理方法、装置、设备及存储介质
Zhai et al. Chinese image text recognition with BLSTM-CTC: a segmentation-free method
US11995889B2 (en) Cognitive generation of HTML pages based on video content
US9471990B1 (en) Systems and methods for detection of burnt-in text in a video
CN110991440A (zh) 一种像素驱动的手机操作界面文本检测方法
CN112053323A (zh) 单镜头多帧图像数据物体追踪标注方法和装置、存储介质
CN109598206B (zh) 动态手势识别方法及装置
CN116993978A (zh) 小样本分割方法、系统、可读存储介质及计算机设备
CN111914850A (zh) 图片特征提取方法、装置、服务器和介质
CN113938739B (zh) 信息显示方法、装置、电子设备及存储介质
CN116052195A (zh) 文档解析方法、装置、终端设备和计算机可读存储介质
CN115984588A (zh) 图像背景相似度分析方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191115

RJ01 Rejection of invention patent application after publication