CN100428801C - 一种视频场景切换检测方法 - Google Patents

一种视频场景切换检测方法 Download PDF

Info

Publication number
CN100428801C
CN100428801C CNB2005101148469A CN200510114846A CN100428801C CN 100428801 C CN100428801 C CN 100428801C CN B2005101148469 A CNB2005101148469 A CN B2005101148469A CN 200510114846 A CN200510114846 A CN 200510114846A CN 100428801 C CN100428801 C CN 100428801C
Authority
CN
China
Prior art keywords
mean
frame
scene
brightness
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005101148469A
Other languages
English (en)
Other versions
CN1758759A (zh
Inventor
陆建华
余成伟
王翾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CNB2005101148469A priority Critical patent/CN100428801C/zh
Publication of CN1758759A publication Critical patent/CN1758759A/zh
Application granted granted Critical
Publication of CN100428801C publication Critical patent/CN100428801C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种视频场景切换检测方法,属于视频压缩处理技术领域。首先,若当前帧为视频序列的第一帧或新场景的第一帧,设当前帧在当前场景中的编号为k,则k=1,计算当前帧亮度和色度三个分量的均值mean(Si,Y)、mean(Si,U)、mean(Si,V),并初始化当前场景内多个图像的亮度和色度三个分量的均值meanY,meanU和meanV,使i=i+1,读取图像数据,计算当前帧的亮度和色度三个分量与前一帧亮度和色度三个分量均值差值的绝对值DY、DU、DV,用见右下式和DY+DU+DV≥N两个条件判断是否有场景切换,更换参数,循环检测。本发明的方法中,同时考察相对差值和绝对差值两方面,因此降低了错误检测和漏检测的几率,同时本发明所采用方法只需要计算图像帧的均值信息,计算量非常小,适于应用于实时视频编码。

Description

一种视频场景切换检测方法
技术领域
本发明涉及一种视频场景切换的检测方法,属于视频压缩处理技术领域。
背景技术
在一段视频序列频繁地出现场景切换的情况下,会造成编码质量下降,并增加了大量的算法复杂度。当场景切换帧为I帧时,由于I帧中的宏块全部应用帧内编码模式,场景切换不会对其编码质量带来不利影响;如果为B帧,由于B帧采取双向预测模式,即使存在场景切换,前后两个参考帧只要有一帧与当前B帧为同一场景,就不会对当前B帧的编码带来大的影响;但是如果场景切换发生在P帧,由于其参考帧为前一个I帧或者P帧,参考帧与当前P帧处于不同的场景内,导致当前编码P帧中绝大多数宏块采取帧内编码方式,某些情况下,甚至全部的宏块采用帧内编码模式。这样不仅占用了本图像组(以下简称GOP)后续帧的码率资源,同时无效的运动搜索也增加了编码运算复杂度,大大降低了视频编码性能。因此,在视频编码码率控制技术的研究中设计快速有效的场景切换检测算法具有重要的意义。
已有的场景切换检测算法大致可以分为三类:基于灰度值(gray-value-based)、基于边缘轮廓(edge/contour-based)和基于运动(motion-based)。
基于灰度值的检测算法基本思想是以参考帧图像灰度值和当前帧的差异作为判断是否场景切换的依据,其中最典型的算法是比较两帧图像在灰度直方图上的差异从而判断是否有场景切换发生。基于灰度值这一类的算法运算复杂度比较低,但是在视频对象的运动和场景切换之间容易误判。
基于边缘轮廓的检测方法是根据对参考帧和当前帧中相应的物体边缘轮廓进行比较从而判断是否有场景切换发生,这是由于场景切换时,前后两帧图像对应物体的边缘和轮廓是不同的。此类算法的主要步骤是提取图像的边缘轮廓。它可以有效地区分视频对象的运动和突变场景切换,同时还可有效地检测消融和淡入淡出等软切换;但对于突变场景切换的检测,相比基于灰度值的方法没有性能上的优越,且需要更大的运算复杂度。
基于运动的场景切换算法的基本思想是场景切换前后视频对象运动的不连续性,采用块匹配(block-matching)的运动估计思想,以运动估计剩余残差的均值作为是否有场景切换的依据。相关文献指出,采用这种块匹配的基于运动的算法,性能上并不比基于灰度值的算法优越,归其原因在于,可靠的运动估计算法远比场景切换检测要复杂得多,在解决一个简单的问题中,采用了一个要比问题本身复杂得多的方法,这是得不偿失的。
对于一种应用于视频码率控制算法的场景切换检测算法来说,对实时性的要求较高,这就要求算法复杂度应该尽可能的低,显然基于边缘轮廓和基于运动的场景切换检测算法都是不实际的,需要利用高效、低复杂度的方法。
发明内容
本发明的目的是提出一种视频场景切换检测方法,通过场景检测、判断得到场景切换的时刻,以指导切换后的图像帧编码模式的选择,省略不必要的运动估计步骤,从而降低运算复杂度,并提高编码效率。
本发明提出的视频场景切换检测方法,包括以下步骤:
(1)若当前帧为视频序列的第一帧或新场景的第一帧,设当前帧在当前场景中的编号为k,则k=1,计算当前帧亮度和色度三个分量的均值mean(Si,Y)、mean(Si,U)、mean(Si,V):
mean ( S i , Y ) = 1 H × W Σ h = 0 H - 1 Σ w = 0 W - 1 S i , Y ( h , w )
mean ( S i , U ) = 4 H × W Σ h = 0 H / 2 - 1 Σ w = 0 W / 2 - 1 S i , U ( h , w )
mean ( S i , V ) = 4 H × W Σ h = 0 H / 2 - 1 Σ w = 0 W / 2 - 1 S i , V ( h , w )
其中,Si,Y(h,w)、Si,U(h,w)和Si,V(h,w)分别表示视频序列中第i帧图像中,坐标为(h,w)像素的Y、U、V分量取值,H、W分别表示视频序列Y分量的高和宽;
(2)计算当前场景内前k帧的亮度和色度三个分量的均值meanY,meanU和meanV:
meanY=mean(Si,Y)
meanU=mean(Si,U)
meanV=mean(Si,V)
若i=n,n为视频序列中的图像帧数,即当前帧为视频序列的最后一帧,则结束循环,退出检测,若i<n,进行下述步骤(3);
(3)使i=i+1,读取图像数据,计算当前帧的亮度和色度三个分量与前一帧亮度和色度三个分量均值差值的绝对值DY、DU、DV
DY=|mean(Si,Y)-mean(Si-1,Y)|
DU=|mean(Si,U)-mean(Si-1,U)|
DV=|mean(Si,V)-mean(Si-1,V)|
(4)若 D Y meanY + D U meanU + D V meanV ≥ M 和DY+DU+DV≥N两个条件不能同时满足,则无场景切换,若同时满足,则有场景切换,并转入步骤(1),其中M,N分别为场景切换的判定阈值,M取值范围为0.01~1.0,N取值范围为1~100;
(5)使k=k+1,计算当前场景内前k帧的亮度和色度三个分量的均值meanY,meanU和meanV:
meanY = 1 k ( meanY × ( k - 1 ) + mean ( S i , Y ) )
meanU = 1 k ( meanU × ( k - 1 ) + mean ( S i , U ) )
meanV = 1 k ( meanV × ( k - 1 ) + mean ( S i , V ) )
若i<n,即当前帧不是视频序列最后一帧,则进行步骤(3),若i=n,则结束循环,退出检测。
本发明提出的视频场景切换检测方法,考察当前帧和前一帧亮度和色度信息均值的差值,将差值与一个阈值比较,以判断当前帧相对于前一帧是否发生场景切换。在算法中,同时考察相对差值和绝对差值两方面,因此降低了错误检测和漏检测的几率。
对场景切换方法可以从算法复杂度和检出率、检测精度三个方面进行评价。其中检出率(Recall)和检测精度(Precise)定义如下:
recall = N c N c + N m
precision = N c N c + N f
其中Nc为正确检测出的场景切换帧的数量,Nm为没有检测出的场景切换帧的数量,Nf为误判为有场景切换帧的数量。利用本发明的方法,以中央电视台新闻联播、焦点访谈、东方时空、法制在线、质量报告、经济半小时和新闻会客厅等节目源作为视频测试序列进行测试,本算法达到87%以上的检出率和97%以上的检测精度。另外,在算法复杂度评价中,由于本发明方法只计算每帧图像的亮度和色度信息共三个均值,计算复杂度非常低,对于视频编码来说基本不增加运算复杂度,能很好的满足码率控制对视频场景切换检测的要求。
附图说明
图1是本发明的视频场景切换检测方法的流程图。
具体实施方式
本发明提出的视频场景切换检测方法,其流程如图1所示。
(1)若当前帧为视频序列的第一帧或新场景的第一帧,设当前帧在当前场景中的编号为k,则k=1,计算当前帧亮度和色度三个分量的均值mean(Si,Y)、mean(Si,U)、mean(Si,V):
mean ( S i , Y ) = 1 H × W Σ h = 0 H - 1 Σ w = 0 W - 1 S i , Y ( h , w )
mean ( S i , U ) = 4 H × W Σ h = 0 H / 2 - 1 Σ w = 0 W / 2 - 1 S i , U ( h , w )
mean ( S i , V ) = 4 H × W Σ h = 0 H / 2 - 1 Σ w = 0 W / 2 - 1 S i , V ( h , w )
其中,Si,Y(h,w)、Si,U(h,w)和Si,V(h,w)分别表示视频序列中第i帧图像中,坐标为(h,w)像素的Y、U、V分量取值(Y、U、V均按无符号数读取),H、W分别表示视频序列Y分量的高和宽。在YUV420格式中,U分量和V分量高和宽分别为Y分量高和宽的一半,上式以YUV420格式序列为例;对于YUV422和YUV444或其它格式视频序列,只是U和V两个色度分量与亮度分量的尺寸大小关系不一样而已。
(2)计算当前场景内前k帧的亮度和色度三个分量的均值meanY,meanU和meanV:
meanY=mean(Si,Y)
meanU=mean(Si,U)
meanV=mean(Si,V)
若i=n,即当前帧为视频序列的最后一帧,则结束循环,退出检测,若i<n,进行下述步骤(3),n为视频序列中的图像帧数。
(3)使i=i+1,读取图像数据,计算当前帧的亮度和色度三个分量与前一帧亮度和笆度三个分量均值差值的绝对值DY、DU、DV
DY=|mean(Si,Y)-mean(Si-1,Y)|
DU=|mean(Si,U)-mean(Si-1,U)|,其中Si,Y、Si,U、Si,V分别表示当前帧的三个分量组
DV=|mean(Si,V)-mean(Si-1,V)|
成的二维矩阵,Si-1,Y、Si-1,U、Si-1,V分别表示前一帧的三个分量组成的二维矩阵。
(4)若 D Y meanY + D U meanU + D V meanV ≥ M 和DY+DU+DV≥N两个条件不能同时满足,则无场景切换,若同时满足,则有场景切换,并转入步骤(1),其中M,N分别为场景切换的判定阈值,M取值范围为0.01~1.0,N取值范围为1~100。
(5)使k=k+1,计算当前场景内前k帧的亮度和色度三个分量的均值meanY,meanU和meanV:
meanY = 1 k ( meanY × ( k - 1 ) + mean ( S i , Y ) )
meanU = 1 k ( meanU × ( k - 1 ) + mean ( S i , U ) )
meanV = 1 k ( meanV × ( k - 1 ) + mean ( S i , V ) )
若i<n,即当前帧不是视频序列最后一帧,则进行步骤(3),若i=n,则结束循环,退出检测。
当视频序列发生突变场景切换时,Y、U、V三个分量的均值将全部或部分出现突变,一般来说Y分量相差很明显;在某些情况下,比如说前一帧和当前帧图像都很亮或者很暗,Y分量相差不明显,此时可以以色度分量U、V的差别作为判断依据,实验表明,将当前帧和前一帧的Y、U、V三个分量的差别作为突变场景切换的判断依据是可行的。

Claims (1)

1、一种视频场景切换检测方法,其特征在于该方法包括以下步骤:
(1)若当前帧为视频序列的第一帧或新场景的第一帧,设当前帧在当前场景中的编号为k,则k=1,计算当前帧亮度和色度三个分量的均值mean(Si,Y)、mean(Si,U)、mean(Si,V):
mean ( S i , Y ) = 1 H × W Σ h = 0 H - 1 Σ w = 0 W - 1 S i , Y ( h , w )
mean ( S i , U ) = 4 H × W Σ h = 0 H 2 - 1 Σ w = 0 W 2 - 1 S i , U ( h , w )
mean ( S i , V ) = 4 H × W Σ h = 0 H 2 - 1 Σ w = 0 W 2 - 1 S i , V ( h , w )
其中,Si,Y(h,w)、Si,U(h,w)和Si,V(h,w)分别表示视频序列中第i帧图像中,坐标为(h,w)像素的Y、U、V分量取值,H、W分别表示视频序列Y分量的高和宽;
(2)计算当前场景内前k帧的亮度和色度三个分量的均值meanY,meanU和meanV:
meanY=mean(Si,Y)
meanU=mean(Si,U)
meanV=mean(Si,V)
若i=n,n为视频序列中的图像帧数,即当前帧为视频序列的最后一帧,则结束循环,退出检测,若i<n,进行下述步骤(3);
(3)使i=i+1,读取图像数据,计算当前帧的亮度和色度三个分量与前一帧亮度和色度三个分量均值差值的绝对值DY、DU、DV
DY=|mean(Si,Y)-mean(Si-1,Y)|
DU=|mean(Si,U)-mean(Si-1,U)|
DV=|mean(Si,V)-mean(Si-1,V)|
(4)若 D Y meanY + D U meanU + D V meanV ≥ M 和DY+DU+DV≥N两个条件不能同时满足,则无场景切换,若同时满足,则有场景切换,并转入步骤(1),其中M,N分别为场景切换的判定阈值,M取值范围为0.01~1.0,N取值范围为1~100;
(5)使k=k+1,计算当前场景内前k帧的亮度和色度三个分量的均值meanY,meanU和meanV:
meanY = 1 k ( meanY × ( k - 1 ) + mean ( S i , Y ) )
meanU = 1 k ( meanU × ( k - 1 ) + mean ( S i , U ) )
meanV = 1 k ( meanV × ( k - 1 ) + mean ( S i , V ) )
若i<n,即当前帧不是视频序列最后一帧,则进行步骤(3),若i=n,则结束循环,退出检测。
CNB2005101148469A 2005-11-18 2005-11-18 一种视频场景切换检测方法 Expired - Fee Related CN100428801C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2005101148469A CN100428801C (zh) 2005-11-18 2005-11-18 一种视频场景切换检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005101148469A CN100428801C (zh) 2005-11-18 2005-11-18 一种视频场景切换检测方法

Publications (2)

Publication Number Publication Date
CN1758759A CN1758759A (zh) 2006-04-12
CN100428801C true CN100428801C (zh) 2008-10-22

Family

ID=36703904

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101148469A Expired - Fee Related CN100428801C (zh) 2005-11-18 2005-11-18 一种视频场景切换检测方法

Country Status (1)

Country Link
CN (1) CN100428801C (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651786B (zh) * 2008-08-14 2011-07-27 华为终端有限公司 一种视频序列明暗变化修复的方法和视频处理设备
CN101742293B (zh) * 2008-11-14 2012-11-28 北京中星微电子有限公司 一种基于视频运动特征的图像自适应帧场编码方法
CN102026018B (zh) * 2010-12-16 2012-03-28 大连捷成实业发展有限公司 一种多格式数字视频信号切换检测方法
CN102497556B (zh) * 2011-12-26 2017-12-08 深圳市云宙多媒体技术有限公司 一种基于时间变化度的场景切换检测方法、装置、设备
CN107770538B (zh) * 2016-08-23 2020-09-11 华为技术有限公司 一种检测场景切换帧的方法、装置和系统
CN106412580B (zh) * 2016-11-01 2019-07-09 飞狐信息技术(天津)有限公司 一种设定视频序列中帧内编码帧的方法及装置
CN109194955B (zh) * 2018-11-16 2021-04-30 深圳市梦网视讯有限公司 一种场景切换检测方法及系统
CN110267044A (zh) * 2019-07-16 2019-09-20 吉林工程技术师范学院 一种电影场景的色度编码方法和系统
CN113132616B (zh) * 2019-12-31 2022-07-22 富联国基(上海)电子有限公司 工作模式切换装置及工作模式切换检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0896466A2 (en) * 1997-08-06 1999-02-10 General Instrument Corporation Fade detector for digital video
WO2001015459A1 (en) * 1999-08-24 2001-03-01 Fujitsu Limited Time-varying image processor, its method, and recorded medium
CN1349711A (zh) * 1999-12-30 2002-05-15 皇家菲利浦电子有限公司 画面切换检测中减少错误认定的方法和装置
EP1251689A1 (en) * 2001-04-20 2002-10-23 THOMSON multimedia Process for detecting a change of shot in a succession of video images
WO2003053073A2 (en) * 2001-12-19 2003-06-26 Moonlight Cordless Ltd. Apparatus and method for detection of scene changes in motion video
CN1602592A (zh) * 2001-09-26 2005-03-30 汤姆森许可公司 视频比特流中的场景切换检测

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0896466A2 (en) * 1997-08-06 1999-02-10 General Instrument Corporation Fade detector for digital video
WO2001015459A1 (en) * 1999-08-24 2001-03-01 Fujitsu Limited Time-varying image processor, its method, and recorded medium
CN1349711A (zh) * 1999-12-30 2002-05-15 皇家菲利浦电子有限公司 画面切换检测中减少错误认定的方法和装置
EP1251689A1 (en) * 2001-04-20 2002-10-23 THOMSON multimedia Process for detecting a change of shot in a succession of video images
CN1602592A (zh) * 2001-09-26 2005-03-30 汤姆森许可公司 视频比特流中的场景切换检测
WO2003053073A2 (en) * 2001-12-19 2003-06-26 Moonlight Cordless Ltd. Apparatus and method for detection of scene changes in motion video

Also Published As

Publication number Publication date
CN1758759A (zh) 2006-04-12

Similar Documents

Publication Publication Date Title
CN100428801C (zh) 一种视频场景切换检测方法
EP3075154B1 (en) Selection of motion vector precision
CN101378504B (zh) 用于h.264编码的块匹配运动估计方法
US5751378A (en) Scene change detector for digital video
KR100422389B1 (ko) 비디오 프레임 속도를 증가시키기 위한 방법 및 장치
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
JP2006519565A (ja) ビデオ符号化
KR20070116717A (ko) 압축된 디지털 이미지의 mpeg 노이즈 강도 측정 방법및 장치
KR20070003502A (ko) 에러 은닉 방법 및 장치
CN105872556B (zh) 视频编码方法和装置
WO2010109564A1 (ja) 画像符号化装置及び画像符号化方法
KR100621005B1 (ko) 영상 오류 복구장치 및 방법
JP2011528534A (ja) 動き推定反復検索のための簡単な次検索位置選択
JP4328000B2 (ja) 動画像符号化装置および動画像の特殊効果シーン検出装置
US7848424B2 (en) Control of frame types in video compression
CN101742295B (zh) 基于图像自适应条带划分的自适应帧场编码方法及设备
CN106454341B (zh) 一种基于场景切换的hevc预测模式快速选择方法
JP5321363B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムならびに映像伝送装置
EP3547684B1 (en) Method, device and system for encoding a sequence of frames in a video stream
CN106878753B (zh) 一种使用纹理平滑信息的3d视频残差编码模式选择方法
KR0185841B1 (ko) 영상 부호기에서의 움직임 추정 장치
JP2006295528A (ja) 画像信号処理方法
KR100558364B1 (ko) 키 프레임의 움직임 유형을 이용한 화상의 움직임 유형결정 방법 및 장치
JPH10304371A (ja) 動きベクトル検出装置
JPH10224779A (ja) 動画像のシーン変化検出方法及び装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081022

Termination date: 20191118

CF01 Termination of patent right due to non-payment of annual fee