CN108182391B - 一种基于教育视频自动提取不重复的幻灯片方法 - Google Patents
一种基于教育视频自动提取不重复的幻灯片方法 Download PDFInfo
- Publication number
- CN108182391B CN108182391B CN201711378173.7A CN201711378173A CN108182391B CN 108182391 B CN108182391 B CN 108182391B CN 201711378173 A CN201711378173 A CN 201711378173A CN 108182391 B CN108182391 B CN 108182391B
- Authority
- CN
- China
- Prior art keywords
- slide
- straight lines
- image
- images
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Abstract
本发明实施例公开了一种基于教育视频自动提取不重复的幻灯片方法，所述方法包括：获取视频，按照一定时间间隔，截取图像；将截取图像灰度化生成二值图，找出边缘点的所有连通区域，进行检测，获得二值图中所有线段，并延长成直线，进行迭代合并相等的直线，获取任意两条不相等直线，计算两直线之间的交叉点，获取4个交叉点组成四边形，进行判断识别，获得合法四边形，进行透视变换，提取5张候选幻灯片图像并进行过滤提取冗余幻灯片图像，获得所需要的幻灯片。实施本发明实施例，在没有明显降低提取幻灯片的召回率的同时，很大程度减少了处理时间，提高了准确率。为用户提供了方便。
Description
技术领域
本发明涉及图像处理、图像识别技术领域，尤其涉及一种基于教育视频自动提取不重复的幻灯片方法。
背景技术
随着MOOC(massive open online courses)的流行，因特网上教育视频的数量在快速增长，对知识的传播起到正面的影响。幻灯片作为教育视频的常见元素，是教育视频内容的高度概括和总结，同时很多情况下，教育视频的制作单位不会放出原始幻灯片，因此需要一种方法能够对教育视频里面播放的幻灯片进行自动提取。
幻灯片自动提取问题和车牌识别问题有一些相似的地方，所以现有的幻灯片提取方法大多借鉴了车牌识别方法：先通过Canny边缘检测算法检测出所有边缘点，然后从中识别出幻灯片边缘，然后根据幻灯片边缘提取出幻灯片。而由于教学视频中会有亮度变化、镜头切换、摄像头变焦等复杂情况,使用Canny边缘检测算法的效果并不理想，从而影响到幻灯片区域定位的效果。另一方面，这种方法会对视频里每一帧都进行处理，提取出大量的重复幻灯片。
但其技术的缺点是需要预先设定多个参数，比如需要根据灰度值阈值来对边缘点进行过滤，而灰度值阈值设置得过高，则会漏掉重要的边缘点；阈值设置得过低，则会保留许多不重要的边缘点。由于教育视频的录制条件各不相同，很难得到一个适用于所有教育视频的通用阈值。且只使用单张图像的信息来定位提取幻灯片，需要对视频的每一帧画面都进行幻灯片提取操作，处理时间长，而且会提取大量重复的幻灯片。没有利用教育视频中幻灯片的特点，比如：每一帧幻灯片的播放时间不会太短，在同一个视频里面幻灯片区域的宽高比变化不大。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于教育视频自动提取不重复的幻灯片方法，为解决含有幻灯片的教学视频里面,如何准确地定位幻灯片区域，并自动提取出不重复的幻灯片的问题。
为了解决上述问题，本发明提出了一种基于教育视频自动提取不重复的幻灯片方法，所述方法包括：
获取视频，按照一定时间间隔，截取图像；
将截取图像灰度化生成二值图，找出边缘点的所有连通区域，进行检测，获得二值图中所有线段，并延长成直线；
获取所述直线，进行迭代合并相等的直线，获得不相等直线；
获取任意两条不相等直线，计算两直线之间的交叉点，取其一；
获取4个交叉点组成四边形，进行判断识别，循环迭代直至获得所有合法四边形；
获取周长最大的5个四边形进行透视变换，提取5张候选幻灯片图像；
获取候选幻灯片图像进行过滤提取冗余幻灯片图像，获得不重复的幻灯片。
优选地，所述进行迭代合并相等的直线的依据为如果两条直线存在一个交点且夹角少于3°，则认为这两条直线相同，就剔除其中任意一条直线。
优选地，所述获取任意两条不相等直线，计算两直线之间的交叉点，取其一的同时，把每一个交叉点和产生这个交叉点的线段关联在一起。
优选地，所述提取5张候选幻灯片图像是基于幻灯片区域在教育视频里宽高比不变的特点，统计所有候选幻灯片区域宽高比的众数，选择宽高比最接近该众数的区域，获取所述候选幻灯片图像。
优选地，所述获取候选幻灯片图像进行过滤提取冗余幻灯片图像包括：
从Ii中得到的特征点集合为
从Ii+1中得到的特征点集合为
其中Ni，Ni+1为Ii，Ii+1的特征点个数，每一个特征点都是128维向量。
设
分别是幻灯片图像Ii，Ii+1中的一个特征点。对于
中任意的特征点
来说，总能在
中找到一个与其欧氏距离最近的特征点
如果其如果其欧式距离小于Dc，则认为
和
是一组匹配点对。
如果
和
之间存在的匹配点对超过预先设定的阈值Td，则认为幻灯片图像Ii，Ii+1相似，可从幻灯片图像序列中删除幻灯片图像Ii+1，然后接着比较幻灯片图像Ii，Ii+2的相似性。
否则，认为幻灯片图像Ii，Ii+1不相似，然后接着比较幻灯片图像Ii+1，Ii+2的相似性。
最终得到的不相似幻灯片图像序列，就是提取出不重复的幻灯片。
实施本发明实施例，在没有明显降低提取幻灯片的召回率的同时，很大程度减少了处理时间，提高了准确率。为用户提供了方便。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例的一种基于教育视频自动提取不重复的幻灯片方法的方法流程示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的一种基于教育视频自动提取不重复的幻灯片方法的方法流程示意图，如图1所示，所述方法包括：
S1，获取视频，按照一定时间间隔，截取图像；
S2，将截取图像灰度化生成二值图，找出边缘点的所有连通区域，进行检测，获得二值图中所有线段，并延长成直线；
S3，获取所述直线，进行迭代合并相等的直线，获得不相等直线；
S4，获取任意两条不相等直线，计算两直线之间的交叉点，取其一；
S5，获取4个交叉点组成四边形，进行判断识别，循环迭代直至获得所有合法四边形；
S6，获取原图像中周长最大的5个四边形进行透视变换，提取5张候选幻灯片图像；
S7，获取候选幻灯片图像进行过滤提取冗余幻灯片图像，获得不重复的幻灯片。
具体地，S1中截取图像的大小均预先人为定义H*W。在本发明实施例中，我们为了减少计算量，先将截取图像缩放为256*256大小。
进一步地，S2通过HED模型将截取图像生成灰度图，其后将灰度图重新缩放为H*W大小像素。
S2中所述将截取图像灰度化生成二值图，包括：生成的灰度图根据阈值128生成二值图，灰度图的像素值大于等于128的话设为1，像素值小于128的话设为0。二值图的像素点的值为1的话，表示该像素点预测为属于幻灯片的边缘。像素点的值为0的话，表示该像素点预测为不属于幻灯片的边缘。
具体地，S2中所述找出边缘点的所有连通区域，主要采用了种子填充算法。将像素点少于10的连通区域里的所有像素点的值均设为0，标记为非边缘点。
随后，通过霍夫变换算法检测出所有线段，把所有线段延长成直线。
具体地，S3所述进行迭代合并相等的直线的依据为如果两条直线存在一个交点且夹角少于3°，则认为这两条直线相同，就剔除其中任意一条直线。
S4中，所述计算两直线之间的交叉点的处理步骤，包括：
人工设定任意一点作为判断两个检测出来的交叉点是否离得太近的距离值，如果是，就认为两个交叉点属于同一个点，然后选取其中一个来表示；其中，人为设定任意一点距离值Dc，c＝(1,2,3，...，5)。
具体地，S4所述获取任意两条不相等直线，计算两直线之间的交叉点，取其一的同时，把每一个交叉点和产生这个交叉点的线段关联在一起。
具体地，S5中所述进行判断识别的依据，包括：
四边形的任一内角的角度在70°至110°之间；
四边形的每条边要能够与S4中得到的对应的点的关联线段重合。
其中，根据S5中所述判断依据，获得合法四边形后返回S4中不断循环迭代，直至判断出所有合法四边形。
具体地，对S7作出说明：
由于在同一个视频里面，幻灯片区域的宽高比变化不大，所以需要统计出所有候选幻灯片图像的宽高比的众数M，然后从每一组的5张候选幻灯片图像中选择宽高比最接近M的那张，得到一个有N张幻灯片图像的序列。
对于得到的幻灯片图像序列，遍历地比较相邻两张幻灯片图像Ii，Ii+1的相似性，其中，i＝1，2，3，...，n。
这里的相似性计算是基于SIFT特征点，从Ii中得到的SIFT特征点集合为
从Ii+1中得到的SIFT特征点集合为
其中Ni，Ni+1为Ii，Ii+1的特征点个数，每一个特征点都是128维向量。
设
分别是幻灯片图像Ii，Ii+1中的一个特征点。对于
中任意的特征点
来说，总能在
中找到一个与其欧氏距离最近的特征点
如果其如果其欧式距离小于Dc，则认为
和
是一组匹配点对。
如果
和
之间存在的匹配点对超过预先设定的阈值Td，则认为幻灯片图像Ii，Ii+1相似，可从幻灯片图像序列中删除幻灯片图像Ii+1，然后接着比较幻灯片图像Ii，Ii+2的相似性。
否则，认为幻灯片图像Ii，Ii+1不相似，然后接着比较幻灯片图像Ii+1，Ii+2的相似性。
最终得到的不相似幻灯片图像序列，就是提取出不重复的幻灯片。
实施本发明实施例，在没有明显降低提取幻灯片的召回率的同时，很大程度减少了处理时间，提高了准确率。为用户提供了方便。。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于教育视频自动提取不重复的幻灯片方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (1)
1.一种基于教育视频自动提取不重复的幻灯片方法，其特征在于，所述方法包括：
获取视频，按照一定时间间隔，截取图像；
将截取图像灰度化生成二值图，找出边缘点的所有连通区域，进行检测，获得二值图中所有线段，并延长成直线；
获取所述直线，进行迭代合并相等的直线，获得不相等直线；
获取任意两条不相等直线，计算两直线之间的交叉点，取其一；
获取4个交叉点组成四边形，进行判断识别，循环迭代直至获得合法四边形；
获取周长最大的5个四边形进行透视变换，提取5张候选幻灯片图像；
获取候选幻灯片图像进行过滤提取冗余幻灯片图像，获得不重复的幻灯片；
其中，所述提取5张候选幻灯片图像是基于幻灯片区域在教育视频里宽高比不变的特点，统计所有候选幻灯片区域宽高比的众数，选择宽高比最接近该众数的区域，获取所述候选幻灯片图像；
其中，所述获取任意两条不相等直线，计算两直线之间的交叉点，取其一的同时，把每一个交叉点和产生这个交叉点的线段关联在一起；
其中，所述进行迭代合并相等的直线的依据为如果两条直线存在一个交点且夹角少于3°，则认为这两条直线相同，就剔除其中任意一条直线；
其中，所述获取候选幻灯片图像进行过滤提取冗余幻灯片图像包括：
从幻灯片图像Ii中得到的特征点集合为
从幻灯片图像Ii+1中得到的特征点集合为
其中Ni、Ni+1为Ii、Ii+1的特征点个数，每一个特征点都是128维向量；
设
分别是幻灯片图像Ii、Ii+1中的一个特征点，对于
中任意的特征点
来说，总能在
中找到一个与其欧氏距离最近的特征点
如果其欧式距离小于Dc，则认为
和
是一组匹配点对；
如果
和
之间存在的匹配点对超过预先设定的阈值Td，则认为幻灯片图像Ii、Ii+1相似，可从幻灯片图像序列中删除幻灯片图像Ii+1，然后接着比较幻灯片图像Ii、Ii+2的相似性；
否则，认为幻灯片图像Ii、Ii+1不相似，然后接着比较幻灯片图像Ii+1、Ii+2的相似性；
最终得到的不相似幻灯片图像序列，就是提取出不重复的幻灯片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711378173.7A CN108182391B (zh) | 2017-12-19 | 2017-12-19 | 一种基于教育视频自动提取不重复的幻灯片方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711378173.7A CN108182391B (zh) | 2017-12-19 | 2017-12-19 | 一种基于教育视频自动提取不重复的幻灯片方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108182391A CN108182391A (zh) | 2018-06-19 |
| CN108182391B true CN108182391B (zh) | 2021-12-17 |
Family
ID=62546497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711378173.7A Active CN108182391B (zh) | 2017-12-19 | 2017-12-19 | 一种基于教育视频自动提取不重复的幻灯片方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108182391B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109194894B (zh) * | 2018-08-30 | 2021-09-14 | 努比亚技术有限公司 | 一种投影录制方法、设备及计算机可读存储介质 |
| CN115205562B (zh) * | 2022-07-22 | 2023-03-14 | 四川云数赋智教育科技有限公司 | 一种基于特征点的任意试卷配准方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9411824B2 (en) * | 2012-10-26 | 2016-08-09 | Lida Huang | Method and apparatus for image retrieval |
| CN103902603A (zh) * | 2012-12-28 | 2014-07-02 | 重庆凯泽科技有限公司 | 一种基于子镜头的视频匹配方法 |
| CN104217444B (zh) * | 2013-06-03 | 2018-06-05 | 支付宝（中国）网络技术有限公司 | 定位卡片区域的方法和设备 |
| CN103970868A (zh) * | 2014-05-09 | 2014-08-06 | 清华大学深圳研究生院 | 含幻灯片的教学视频的索引建立方法及幻灯片定位方法 |
| CN106934336B (zh) * | 2015-12-31 | 2020-07-03 | 珠海金山办公软件有限公司 | 一种幻灯片识别的方法及装置 |
| CN107301036A (zh) * | 2016-04-14 | 2017-10-27 | 珠海金山办公软件有限公司 | 一种快速筛选幻灯片的方法及装置 |
-
2017
- 2017-12-19 CN CN201711378173.7A patent/CN108182391B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108182391A (zh) | 2018-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334848B (zh) | 一种基于生成对抗网络的微小人脸识别方法 | |
| Hildebrandt et al. | Benchmarking face morphing forgery detection: Application of stirtrace for impact simulation of different processing steps | |
| JP4928310B2 (ja) | ナンバープレート認識装置、その制御方法、コンピュータプログラム | |
| WO2017162069A1 (zh) | 一种图像文本的识别方法和装置 | |
| CN112686812B (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| JP5775225B2 (ja) | マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出 | |
| US10565713B2 (en) | Image processing apparatus and method | |
| US10277806B2 (en) | Automatic image composition | |
| CN108197644A (zh) | 一种图像识别方法和装置 | |
| US7340096B2 (en) | Method for identification of tokens in video sequences | |
| KR100843513B1 (ko) | 영상보정을 통한 얼굴 인식 방법 | |
| CN103530638A (zh) | 多摄像头下的行人匹配方法 | |
| CN107464245B (zh) | 一种图像结构边缘的定位方法及装置 | |
| CN112580447B (zh) | 一种基于边缘二阶统计与融合的电力线检测方法 | |
| KR101752742B1 (ko) | 가우시안 스케일 공간 생성 단순화를 기반으로 한 특징점 추출 방법 및 장치 | |
| CN108182391B (zh) | 一种基于教育视频自动提取不重复的幻灯片方法 | |
| CN108961262B (zh) | 一种复杂场景下的条码定位方法 | |
| CN111222507A (zh) | 数字式仪表读数的自动识别方法、计算机可读存储介质 | |
| WO2021051939A1 (zh) | 一种证件区域定位的方法及装置 | |
| CN113436222A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| Yanagisawa et al. | Face detection for comic images with deformable part model | |
| CN104504712B (zh) | 图片处理方法和装置 | |
| CN112686248B (zh) | 证件增减类别检测方法、装置、可读存储介质和终端 | |
| CN107704864B (zh) | 基于图像对象性语义检测的显著目标检测方法 | |
| EP1460835B1 (en) | Method for identification of tokens in video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |