CN104539942A - 基于帧差聚类的视频镜头切换检测方法及其装置 - Google Patents
基于帧差聚类的视频镜头切换检测方法及其装置 Download PDFInfo
- Publication number
- CN104539942A CN104539942A CN201410831291.9A CN201410831291A CN104539942A CN 104539942 A CN104539942 A CN 104539942A CN 201410831291 A CN201410831291 A CN 201410831291A CN 104539942 A CN104539942 A CN 104539942A
- Authority
- CN
- China
- Prior art keywords
- video
- ball
- frame
- detection method
- switching detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种基于帧差聚类的视频镜头切换检测方法及装置。本发明的视频镜头切换检测方法是在非固定相机的常规视频图像序列中,检测出镜头切换。该检测方法包括:接收器对非固定摄像机拍摄的常规视频预处理,得到连续的帧序列图像;图像转换器将帧图像转换成规格统一的灰度图像;将连续的三帧图像,每两帧之间的灰度值作差,生成三维向量;聚类器将生成的一组三维向量映射成空间坐标系中的点,根据设置参数生成一个包含球,通过球内外的点区分连续镜头帧或切换镜头帧,即是否有镜头切换。本发明可应用于视频镜头切换检测和连续帧渲染的异常检测。
Description
技术领域
本发明涉及计算机视觉,包括视频处理、图像处理等对视频中镜头切换检测的方法,具体涉及一种基于帧差聚类的视频镜头切换检测方法及其装置。
背景技术
随着多媒体技术的发展,数字视频的存储和传输技术都取得了重大的进展。在智能视频分割、视频检索、关键帧选取、人机交互接口的姿态识别等计算机视觉应用方面,从视频的连续帧序列中检测跳转帧或镜头切换,是一个非常关键的任务。而目前传统方法只能通过非常繁琐耗时的快进和快退等方法人工查找,这显然已无法满足多媒体技术发展的需求。
发明内容
本发明针对上述现有技术存在的问题作出改进,即本发明要解决的技术问题是提供一种基于帧差聚类的视频镜头切换检测方法及其装置,实现自动地给出视频的镜头切换点。
为了解决上述技术问题,本发明提供了如下的技术方案:
一种基于帧差聚类的视频镜头切换检测方法,对给定的视频图像序列,检测其中的镜头切换信息,找到其中的画面跳转帧。
包括如下步骤:
S1、视频接收器接收视频,并将视频读取,生成帧图像序列;
S2、图像转换器读取视频接收器生成的帧图像序列,并转换成规格统一的灰度图像,然后将连续的三帧图像,每两者之间的灰度作差,生成三维向量;
S3、聚类器根据缩放系数生成球半径并在空间坐标系中构造球,其中,球内的点为连续帧图像,球外的点为镜头跳转帧图像;将图像转换器生成的三维向量映射到空间坐标系;
S4、根据置信系数输出结果。
其中,所述缩放系数和置信系数是根据不同视频设置的参数。
所述S1的具体步骤为:
接收一个视频,生成连续的若干帧图像G1,G2,…,Gn,其中i=1,2,…,n-2。
所述S2的具体步骤为:
计算Gi和Gi+1的灰度距离差di 1,Gi和Gi+2的灰度距离di 2,Gi+1和Gi+2灰度距离di 3,其中i=1,2,…,n-2;
构造三维向量Vi=(di 1,di 2,di 3),i=1,2,…,n-2,将这n-2个三维向量看成是空间坐标系中的n-2个点,找到距离坐标系原点最近的点Vmin,到原点距离为S1,最远的点Vmax,到原点距离为S2。
所述S3的具体步骤为:
定义球半径缩放系数μ,一般设为0.1,计算球半径公式为:r=μ(S1-S2)+S2;
构造球方程,计算所有三维向量Vi=(di 1,di 2,di 3)在球内的个数m1,在球外的个数m2。
所述S4的具体步骤为:
定义跳帧置信系数Ψ,可设为0.1,计算θ=m1/m2,若θ<Ψ,输出所有球外向量对应的图像帧,置为画面跳转帧;若θ≥Ψ,则输出空。
一种实现权利要求1所述的基于帧差聚类的视频镜头切换检测方法的基于帧差聚类的视频镜头切换检测装置,
包括视频接收器、图像处理器、差值器和聚类器;
所述视频接收器,用于读取待检测视频,并将视频转换成连续帧图像;
所述图像处理器,用于将连续帧图像转换成规格统一的灰度图像;
所述差值器,用于将连续的三张帧图像,每两者之间的灰度值作差,生成一组三维向量。
所述聚类器,包括:
球半径生成器,根据半径缩放系数,生成球半径并构造球,将一组三维向量分类;
球聚类器,将一组三维向量映射到空间坐标系中,根据半径在空间坐标系中构造球,根据置信系数,输出结果。
本发明提供的基于帧差聚类的视频镜头切换检测方法及其装置,其有益效果在于:在非固定相机的常规视频图像序列中,检测出镜头切换。该检测方法包括:接收器对非固定摄像机拍摄的常规视频预处理,得到连续的帧序列图像;图像转换器将帧图像转换成规格统一的灰度图像;将连续的三帧图像,每两帧之间的灰度值作差,生成三维向量;聚类器将生成的一组三维向量映射成空间坐标系中的点,根据设置参数生成一个包含球,通过球内外的点区分连续镜头帧或切换镜头帧,即是否有镜头切换。本发明可应用于视频镜头切换检测和连续帧渲染的异常检测。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明检测视频镜头切换的运行总图;
图2是本发明获取视频序列差示意图;
图3是本发明检测方法模型球半径获取流程图;
图4是本发明球模型结构示意图;
图5是基于置信判断的球外点输出流程图。
具体实施方式
如图1-5所示,本发明公开一种基于帧差聚类的视频镜头切换检测方法,对给定的视频图像序列,检测其中的镜头切换信息,找到其中的画面跳转帧。
包括如下步骤:
S1、视频接收器接收视频,并将视频读取,生成帧图像序列;
S2、图像转换器读取视频接收器生成的帧图像序列,并转换成规格统一的灰度图像,然后将连续的三帧图像,每两者之间的灰度作差,生成三维向量;
S3、聚类器根据缩放系数生成球半径并在空间坐标系中构造球,其中,球内的点为连续帧图像,球外的点为镜头跳转帧图像;将图像转换器生成的三维向量映射到空间坐标系;
S4、根据置信系数输出结果。
其中,所述缩放系数和置信系数是根据不同视频设置的参数。
下面结合实施例对本发明作进一步的说明:
如图1,展示了检测视频中镜头切换的过程:
视频接收器将视频读取并生成帧图像序列;图像转换器读取帧图像并转换成规格统一的灰度图像,然后将连续的三帧图像,每两者之间的灰度作差,生成三维向量;聚类器根据缩放系数生成球半径并在空间坐标系中构造球,将生成的一组三维向量映射到空间坐标系;根据置信系数输出结果。其中缩放系数和置信系数是根据不同视频设置的参数。
如图2,是对灰度图像序列作差的示意图,设灰度图像序列G1,G2,…,Gn,对其中连续三帧图像Gi、Gi+1、Gi+2,计算Gi和Gi+1的灰度距离差di 1,Gi和Gi+2的灰度距离di 2,Gi+1和Gi+2灰度距离di 3,构造三维向量Vi=(di 1,di 2,di 3)。(其中i=1,2,…,n-2)
如图3是计算球半径流程图,对图像作灰度差所得的一组三维向量,并将该组向量映射到空间坐标系进行聚类,根据球半径在空间坐标系中构造球模型。球半径的计算由距原点最近的向量和距原点最远的向量与原点之间距离乘缩放系数所得,计算公式为:r=μ(S1-S2)+S2。其中r为半径,μ是设置的缩放系数,S1为向量距原点最远距离,S2为向量距原点最近距离。
如图4是对三维向量聚类结果进行集群划分的球模型示意图,由求得的球半径r在空间坐标系中构造球模型,对所有的三维向量的聚类结果进行划分集群。
图5是根据球模型划分情况输出结果的流程图,计算球内的点数量m1,计算球外的点数量m2,计算θ=m1/m2,根据设置的置信参数判断θ与的大小,若大于θ,输出球外的点作为跳转帧点;否则,输出空。
综上,本发明在非固定相机的常规视频图像序列中,检测出镜头切换。接收器对非固定摄像机拍摄的常规视频预处理,得到连续的帧序列图像;图像转换器将帧图像转换成规格统一的灰度图像;将连续的三帧图像,每两帧之间的灰度值作差,生成三维向量;聚类器将生成的一组三维向量映射成空间坐标系中的点,根据设置参数生成一个包含球,通过球内外的点区分连续镜头帧或切换镜头帧,即是否有镜头切换。
因此,本发明可应用于视频镜头切换检测和连续帧渲染的异常检测。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于帧差聚类的视频镜头切换检测方法,其特征在于,对给定的视频图像序列,检测其中的镜头切换信息,找到其中的画面跳转帧。
2.根据权利要求1所述的基于帧差聚类的视频镜头切换检测方法,包括如下步骤:
S1、视频接收器接收视频,并将视频读取,生成帧图像序列;
S2、图像转换器读取视频接收器生成的帧图像序列,并转换成规格统一的灰度图像,然后将连续的三帧图像,每两者之间的灰度作差,生成三维向量;
S3、聚类器根据缩放系数生成球半径并在空间坐标系中构造球,其中,球内的点为连续帧图像,球外的点为镜头跳转帧图像;将图像转换器生成的三维向量映射到空间坐标系;
S4、根据置信系数输出结果。
3.根据权利要求2所述的基于帧差聚类的视频镜头切换检测方法,其特征在于,所述缩放系数和置信系数是根据不同视频设置的参数。
4.根据权利要求2所述的基于帧差聚类的视频镜头切换检测方法,其特征在于,所述S1的具体步骤为:
接收一个视频,生成连续的若干帧图像G1,G2,…,Gn,其中i=1,2,…,n-2。
5.根据权利要求2所述的基于帧差聚类的视频镜头切换检测方法,其特征在于,所述S2的具体步骤为:
计算Gi和Gi+1的灰度距离差,Gi和Gi+2的灰度距离,Gi+1和Gi+2灰度距离,其中i=1,2,…,n-2;
构造三维向量Vi=(di 1,di 2,di 3),i=1,2,…,n-2,将这n-2个三维向量看成是空间坐标系中的n-2个点,找到距离坐标系原点最近的点Vmin,到原点距离为S1,最远的点Vmax,到原点距离为S2。
6.根据权利要求2所述的基于帧差聚类的视频镜头切换检测方法,其特征在于,所述S3的具体步骤为:
定义球半径缩放系数μ,一般设为0.1,计算球半径公式为:r=μ(S1-S2)+S2;
构造球方程,计算所有三维向量Vi=(di 1,di 2,di 3)在球内的个数m1,在球外的个数m2。
7.根据权利要求2所述的基于帧差聚类的视频镜头切换检测方法,其特征在于,所述S4的具体步骤为:
定义跳帧置信系数Ψ,可设为0.1,计算θ=m1/m2,若θ<Ψ,输出所有球外向量对应的图像帧,置为画面跳转帧;若θ≥Ψ,则输出空。
8.一种实现权利要求1所述的基于帧差聚类的视频镜头切换检测方法的基于帧差聚类的视频镜头切换检测装置,其特征在于,
包括视频接收器、图像处理器、差值器和聚类器;
所述视频接收器,用于读取待检测视频,并将视频转换成连续帧图像;
所述图像处理器,用于将连续帧图像转换成规格统一的灰度图像;
所述差值器,用于将连续的三张帧图像,每两者之间的灰度值作差,生成一组三维向量。
所述聚类器,包括:
球半径生成器,根据半径缩放系数,生成球半径并构造球,将一组三维向量分类;
球聚类器,将一组三维向量映射到空间坐标系中,根据半径在空间坐标系中构造球,根据置信系数,输出结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410831291.9A CN104539942B (zh) | 2014-12-26 | 2014-12-26 | 基于帧差聚类的视频镜头切换检测方法及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410831291.9A CN104539942B (zh) | 2014-12-26 | 2014-12-26 | 基于帧差聚类的视频镜头切换检测方法及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104539942A true CN104539942A (zh) | 2015-04-22 |
CN104539942B CN104539942B (zh) | 2017-07-18 |
Family
ID=52855400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410831291.9A Active CN104539942B (zh) | 2014-12-26 | 2014-12-26 | 基于帧差聚类的视频镜头切换检测方法及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104539942B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447656A (zh) * | 2016-09-22 | 2017-02-22 | 江苏赞奇科技股份有限公司 | 基于图像识别的渲染瑕疵图像检测方法 |
CN107197325A (zh) * | 2017-06-13 | 2017-09-22 | 深圳市瑞云科技有限公司 | 一种坏帧自动检测方法 |
CN110248182A (zh) * | 2019-05-31 | 2019-09-17 | 成都东方盛行电子有限责任公司 | 一种场景片段镜头检测方法 |
CN112930677A (zh) * | 2018-10-12 | 2021-06-08 | 三星电子株式会社 | 用于在第一镜头和第二镜头之间切换的方法和电子设备 |
US11653097B2 (en) | 2018-10-12 | 2023-05-16 | Samsung Electronics Co., Ltd. | Method and electronic device for switching between first lens and second lens |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101013444A (zh) * | 2007-02-13 | 2007-08-08 | 华为技术有限公司 | 一种自适应生成足球视频摘要的方法和装置 |
JP2008021225A (ja) * | 2006-07-14 | 2008-01-31 | Sony Corp | 画像処理装置および方法、並びにプログラム |
CN101127866A (zh) * | 2007-08-10 | 2008-02-20 | 西安交通大学 | 一种检测足球比赛视频精彩片段的方法 |
JP2010191934A (ja) * | 2009-01-20 | 2010-09-02 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
CN101872415A (zh) * | 2010-05-06 | 2010-10-27 | 复旦大学 | 适用于iptv的视频拷贝检测方法 |
CN102196292A (zh) * | 2011-06-24 | 2011-09-21 | 清华大学 | 基于人机交互生成视频深度图序列的方法及系统 |
US20120120106A1 (en) * | 2007-08-22 | 2012-05-17 | Sony Corporation | Image display device, image display control method and program |
CN103426176A (zh) * | 2013-08-27 | 2013-12-04 | 重庆邮电大学 | 基于改进直方图和聚类算法的视频镜头检测方法 |
CN103440640A (zh) * | 2013-07-26 | 2013-12-11 | 北京理工大学 | 一种视频场景聚类及浏览方法 |
-
2014
- 2014-12-26 CN CN201410831291.9A patent/CN104539942B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008021225A (ja) * | 2006-07-14 | 2008-01-31 | Sony Corp | 画像処理装置および方法、並びにプログラム |
CN101013444A (zh) * | 2007-02-13 | 2007-08-08 | 华为技术有限公司 | 一种自适应生成足球视频摘要的方法和装置 |
CN101127866A (zh) * | 2007-08-10 | 2008-02-20 | 西安交通大学 | 一种检测足球比赛视频精彩片段的方法 |
US20120120106A1 (en) * | 2007-08-22 | 2012-05-17 | Sony Corporation | Image display device, image display control method and program |
JP2010191934A (ja) * | 2009-01-20 | 2010-09-02 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
CN101872415A (zh) * | 2010-05-06 | 2010-10-27 | 复旦大学 | 适用于iptv的视频拷贝检测方法 |
CN102196292A (zh) * | 2011-06-24 | 2011-09-21 | 清华大学 | 基于人机交互生成视频深度图序列的方法及系统 |
CN103440640A (zh) * | 2013-07-26 | 2013-12-11 | 北京理工大学 | 一种视频场景聚类及浏览方法 |
CN103426176A (zh) * | 2013-08-27 | 2013-12-04 | 重庆邮电大学 | 基于改进直方图和聚类算法的视频镜头检测方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447656A (zh) * | 2016-09-22 | 2017-02-22 | 江苏赞奇科技股份有限公司 | 基于图像识别的渲染瑕疵图像检测方法 |
CN106447656B (zh) * | 2016-09-22 | 2019-02-15 | 江苏赞奇科技股份有限公司 | 基于图像识别的渲染瑕疵图像检测方法 |
CN107197325A (zh) * | 2017-06-13 | 2017-09-22 | 深圳市瑞云科技有限公司 | 一种坏帧自动检测方法 |
CN112930677A (zh) * | 2018-10-12 | 2021-06-08 | 三星电子株式会社 | 用于在第一镜头和第二镜头之间切换的方法和电子设备 |
CN115866394A (zh) * | 2018-10-12 | 2023-03-28 | 三星电子株式会社 | 用于在第一镜头和第二镜头之间切换的方法和电子设备 |
US11637957B2 (en) | 2018-10-12 | 2023-04-25 | Samsung Electronics Co., Ltd. | Method and electronic device for switching between first lens and second lens |
US11653097B2 (en) | 2018-10-12 | 2023-05-16 | Samsung Electronics Co., Ltd. | Method and electronic device for switching between first lens and second lens |
CN112930677B (zh) * | 2018-10-12 | 2023-11-10 | 三星电子株式会社 | 用于在第一镜头和第二镜头之间切换的方法和电子设备 |
CN110248182A (zh) * | 2019-05-31 | 2019-09-17 | 成都东方盛行电子有限责任公司 | 一种场景片段镜头检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104539942B (zh) | 2017-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9727775B2 (en) | Method and system of curved object recognition using image matching for image processing | |
US20240112035A1 (en) | 3d object recognition using 3d convolutional neural network with depth based multi-scale filters | |
CN106557778B (zh) | 通用物体检测方法和装置、数据处理装置和终端设备 | |
US9741125B2 (en) | Method and system of background-foreground segmentation for image processing | |
EP3295424B1 (en) | Systems and methods for reducing a plurality of bounding regions | |
US9865062B2 (en) | Systems and methods for determining a region in an image | |
US10089750B2 (en) | Method and system of automatic object dimension measurement by using image processing | |
CN110458805B (zh) | 一种平面检测方法、计算设备以及电路系统 | |
EP3271867B1 (en) | Local change detection in video | |
US9286532B2 (en) | Image processing apparatus and control method thereof | |
US10430694B2 (en) | Fast and accurate skin detection using online discriminative modeling | |
CN107273458B (zh) | 深度模型训练方法及装置、图像检索方法及装置 | |
CN104539942A (zh) | 基于帧差聚类的视频镜头切换检测方法及其装置 | |
CN112270710B (zh) | 位姿确定方法、位姿确定装置、存储介质与电子设备 | |
US9025863B2 (en) | Depth camera system with machine learning for recognition of patches within a structured light pattern | |
WO2020124360A1 (en) | Bidirectional pairing architecture for object detection in video | |
CN113793349A (zh) | 目标检测方法及装置、计算机可读存储介质、电子设备 | |
CN115170893B (zh) | 共视档位分类网络的训练方法、图像排序方法及相关设备 | |
CN109451318B (zh) | 便于vr视频编码的方法、装置、电子设备及存储介质 | |
CN112819953B (zh) | 三维重建方法、网络模型训练方法、装置及电子设备 | |
LIU et al. | Infrared monocular ranging algorithm based on multiscale feature fusion | |
US20110194769A1 (en) | Image processing method and apparatus | |
US9477890B2 (en) | Object detection using limited learned attribute ranges | |
GB2572795A (en) | Camera registration | |
CN118053009A (zh) | 视差处理方法、视差处理装置、介质与电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 213022 north of Jiangsu Province, Taihu Road No. 23 building 9-2 Applicant after: JIANGSU CUDATEC CO., LTD. Address before: 213022 north of Jiangsu Province, Taihu Road No. 23 building 9-2 Applicant before: Cudatec Development Co., Ltd. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant |