CN1754382A - 镜头切变检测 - Google Patents

镜头切变检测 Download PDF

Info

Publication number
CN1754382A
CN1754382A CNA2004800048274A CN200480004827A CN1754382A CN 1754382 A CN1754382 A CN 1754382A CN A2004800048274 A CNA2004800048274 A CN A2004800048274A CN 200480004827 A CN200480004827 A CN 200480004827A CN 1754382 A CN1754382 A CN 1754382A
Authority
CN
China
Prior art keywords
fragment
group
image
value
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800048274A
Other languages
English (en)
Inventor
F·E·厄恩斯特
J·A·D·内斯瓦德巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1754382A publication Critical patent/CN1754382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明涉及一种基于借助分段确定的第一组片段(sn-1 1、sn-1 2、sn-1 3和sn-1 4)和第二组片段(sn 1、sn 2、sn 3和sn 4)检测视频图像序列中的镜头切变的方法,该方法包括:基于该第一组片段(sn 1、sn 2、sn 3和sn 4)创建第三组片段(∴n 1、∴n 2、∴n 3和∴n 4);基于多个表示各个片段对之间的重叠(Aij)的值来计算一个一致性度量C(n-1,n),每个片段对包括该第三组片段的一个片段(∴n-1 j)和该第二组片段的一个片段(Sn i);以及比较该一致性度量(C(n-1,n))与一个预定阈值(Tc),并且如果该一致性度量(C(n-1,n))低于该预定阈值(Tc)就确定检测到镜头切变。

Description

镜头切变检测
技术领域
本发明涉及一种检测视频图像序列中的镜头切变的方法。
本发明还涉及一种用于检测视频图像序列中的镜头切变的镜头切变检测器。
本发明还涉及一种图像处理装置,包括:
-一个用于接收与一个视频图像序列相应的信号的接收装置;
-一个用于检测该视频图像序列中的镜头切变的镜头切变检测器;以及
-一个被该镜头切变检测器控制的图像处理单元。
本发明还涉及一种由计算机装置装载的计算机程序产品,其包括用于检测视频图像序列中的镜头切变的指令。
背景技术
随着可获得的数字视频内容的增加,高级应用诸如索引、视频点播、数字图书馆和内容分析,需要将完整的视频序列分段为多个场景和/或镜头。一个场景包括一个或多个镜头。在镜头的采集期间,照相机静止不动或者随意地连续移动,同时采集同样场景的图像。一个镜头切变检测器被设置为指示一个镜头的边界。其它的视频处理应用还可以非常得益于镜头切变检测,例如:
-视频压缩,也就是编码或解码,例如根据MPEG标准。通过了解镜头切变,镜头的每个第一帧被作为I-帧(参考帧)编码是可能的。
-场景分类,也就是确定视频内容的类型,例如运动比赛或电影或卡通。适当的镜头切变检测避免以镜头或场景为基础的分析中的噪声;
-2D到3D内容转换。分段和照相机校准/深度估计处理在镜头切变后应该重新启动。
各种镜头切变检测器已经在文献中介绍了。例如S.W.Lee等人于2000年在IEEE关于多媒体的学报中第2:240-254中发表的“使用从MPEG压缩视频直接提取的特征检测快速场景变化”以及由C.L.Huang于2001年在IEEE关于用于视频技术的电路和系统的学报中第11:1281-1288中发表的“一种用于视频分段的健壮场景变化检测方法”。该已知的镜头切变检测器可以根据它们使用的特征来分类,例如色彩直方图、像素值差异、运动矢量或者它们被设计为未压缩域还是压缩(MPEG)域。
许多镜头切变检测器依赖于比较多个图像的统计学测量,以便找到视频序列中的一个位置,在该位置之前的一组图像和该位置之后的一组图像之间具有很大的不同。该统计学测量也可以基于局部标准,例如以像素为基础的图像差异,或者基于整体标准,例如比较色彩直方图。最近,更多的注意力转向检测逐渐的过渡,诸如衰减。参见例如由W.A.C.Fernando等人在2001年在IEEE关于消费者电子设备的学报中第46:769-779中发表的“一种检测未压缩的和压缩的视频中的场景变化的标准的方法”。
以像素为基础的镜头切变检测器具有它们对于噪声是敏感的以及它们处理由运动对象或者照相机的运动引起的运动是困难的缺陷。另一方面,以直方图为基础的整体镜头切变检测器是更健壮的但是忽略了图像中的数据的空间分布。
发明内容
本发明的一个目的是提供一种检测镜头切变的方法如在开头段中描述的,其是相对健壮的。
实现本发明的目的在于检测视频图像序列中的镜头切变的方法,视频图像序列包括一个第一图像和第一第二图像,该第一图像包括借助于分段确定的第一组片段,并且第二图像包括借助于分段确定的第二组片段,该方法包括:
-基于该第一组片段为该第二图像创建第三组片段;
-基于多个表示各个片段对之间的重叠的值来计算一个一致性度量,每个片段对包括第三组片段的一个片段和第二组片段的一个片段;以及
-比较一致性度量与预定阈值,并且如果一致性度量低于预定阈值就确定检测到镜头切变。
与已知的检测镜头切变的方法的差别在于,图像的片段相互比较而不是与现有已知的像素组比较。换句话说,在根据本发明的方法中,由于片段是借助于分段确定的,所以与图像内容有关的片段相互比较。这意味着在根据本发明的方法中,一致性度量是基于比较几何结构的,也就是图像内的对象的表示。如果表现出在第一图像中表示的对象和在第二图像中表示的对象之间具有相对强的关系,那么第一和第二图像属于相同镜头的可能性是相对高的。然而,如果表现出在第一图像中表示的对象和在第二图像中表示的对象之间具有相对弱的关系,那么第一图像和第二图像属于相同镜头的可能性是相对低的,并且因此属于不同的镜头。这意味着在第一和第二图像之间存在镜头切变。
优选地,基于为第一组片段的各个片段估计的运动矢量来执行第三组片段的创建。根据本发明的该实施例的优点在于,它对于具有相对多的运动的图像序列是健壮的。
在根据本发明的方法的一个实施例中,借助于对属于第二组片段的第一个片段的和属于第三组片段的第一个片段的像素数进行计数来计算表示各个片段对之间的重叠的值中的第一个值。根据本发明的实施例的优点在于,计数属于两个片段的像素是相对容易的。
计数的一个可替换方案在于,将加权因子应用于属于两个片段的像素。通过应用从第一和/或第二图像的像素值导出的加权因子,健壮性增加了。
在根据本发明的方法的一个实施例中,其中应用加权因子,借助于加权值的累积来计算表示各个片段对之间的重叠的第一个值,第一个加权值与第二组片段的第一个片段的第一个像素的第一个亮度值和第一图像的第二像素的第二亮度值之间的差异有关,第一像素还属于第三组片段的第一个片段。第一像素和第二像素可能具有相互相等的坐标值,但是最好第一和第二像素被估计为相应于相同的场景点。换句话说,存在表示第一和第二像素之间关系的运动矢量。
在另一根据本发明的图像处理装置的实施例中,其中应用加权因子,借助于加权值的累积来计算表示各个片段对之间的重叠的第一个值,第一个加权值与第二组片段的第一个片段的第一个像素的第一个颜色值与第一图像的第二像素的第二颜色值之间的差异有关,第一像素还属于第三组片段的第一个片段。第一像素和第二像素可能具有相互相等的坐标但是最好第一和第二像素被估计为相应于相同的场景点。换句话说,存在表示第一和第二像素之间的关系的运动矢量。
一个根据本发明的方法的实施例,包括借助于基于表示重叠的各个值从一组片段对中选择片段对来确定各个片段对。一致性度量是基于那些最可能相应的片段对。相应意味着重叠的量与其它包括相同片段的片段对比较是相对高的。这意味着应用于计算一致性度量的片段对必须从可能的片段对的较大组中选择。
在根据本发明的方法的实施例中,对于包括第三组片段的第一个片段和第二组片段的第一个片段的片段对组中的第一个,如果重叠的相应值大于以下值就被选择:
-相应于另一片段对的重叠的另一值,每个另一片段对包括第三组片段的第一个片段和不是第二组片段的第一个片段的另一个片段;和大于
-相应于其它片段对的重叠的其它值,每个其它片段对包括第二组片段的第一个片段和不是第三组片段的第一个片段的其他片段。
根据本发明的实施例的优点在于,仅使用相关的片段对。非相关的片段对不考虑用于累加。
在根据本发明方法的实施例中,预定阈值是基于第一组片段的片段的数目。如果片段数目增加,则片段的尺寸逻辑上将降低。这将导致在片段周围的更多的边界区域中找到良好匹配的可能性较低。在片段的数目的增加将导致重叠可能性的降低。这一知识被应用于依据片段的数目也就是片段的平均尺寸来获得用于镜头切变的预定阈值。
在根据本发明方法的一个实施例中,预定阈值是基于运动矢量的。如果运动量高,那么遮断的平均尺寸也是相对较高的。遮断减少了重叠率,因为逻辑上没有匹配可以找到。除此之外,在运动的增加将导致正确的运动估计的可能性较低。
可替换地,预定阈值是基于纹理量的,也就是平均均匀性。纹理被用于分段图像。模糊纹理将导致不稳定的分段,其将降低一致性度量。镜头切变检测器的预定阈值可能是依赖于纹理/均匀性。
本发明的另一个目的是提供如开头段中描述的一种相对健壮的镜头切变检测器。
该目的的实现在于用于检测视频图像序列中的镜头切变的镜头切变检测器,视频图像序列包括第一图像和第二图像,第一图像包括借助于分段确定的第一组片段,并且第二图像包括借助于分段确定的第二组片段,该检测器包括:
-创建装置,用于依据第一组片段为第二图像创建第三组片段;
-计算装置,用于基于多个表示各个片段对之间的重叠的值来计算一个一致性度量,每个片段对包括第三组片段的一个片段和第二组片段的一个片段;以及
-比较装置,用于比较一致性度量与预定阈值,并且如果一致性度量低于预定阈值就确定检测到镜头切变。
本发明的另一目的是提供一种图像处理装置,其包括在开头段中描述的镜头切变检测器,该检测器是相对健壮的。
该目的的实现在于用于检测视频图像序列中的镜头切变的镜头切变检测器,视频图像序列包括第一图像和第二图像,第一图像包括借助于分段确定的第一组片段,并且第二图像包括借助于分段确定的第二组片段,该检测器包括:
-创建装置,用于依据第一组片段为第二图像创建第三组片段;
-计算装置,用于基于多个表示各个片段对之间的重叠的值来计算一个一致性度量,每个片段对包括第三组片段的一个片段和第二组片段的一个片段;以及
-比较装置,用于比较一致性度量与预定阈值,并且如果一致性度量低于预定阈值就确定检测到镜头切变。
在根据本发明的图像处理装置的一个实施例中,该图像处理单元被设置执行视频压缩。在根据本发明图像处理装置的另一实施例中,该图像处理单元被设置执行场景分类。
本发明的另一目的是提供如开头段中描述的一种相对健壮的计算机程序产品。
该目的的实现在于用于检测视频图像序列中的镜头切变的计算机程序产品,视频图像序列包括第一图像和第二图像,第一图像包括借助于分段确定的第一组片段,并且第二图像包括借助于分段确定的第二组片段,该计算机程序产品被装载后,为处理装置提供执行下列步骤的能力:
-基于该第一组片段为该第二图像创建第三组片段;
-基于多个表示各个片段对之间的重叠的值来计算一个一致性度量,每个片段对包括第三组片段的一个片段和第二组片段的一个片段;以及
-比较一致性度量与预定阈值,并且如果一致性度量低于预定阈值就确定检测到镜头切变。
本方法的修改和变化可以与所描述的镜头切变检测器、图像处理装置和计算机程序产品的修改和变化对应。
附图简述
考虑到实施和下面描述的实施例并且参照附图,根据本发明的方法和镜头切变检测器、图像处理装置和计算机程序产品的这些和其它方面将是明显的并且将被阐明,其中:
图1示意性地示出具有第一组片段的第一图像和具有第二组片段和第三组片段的第二图像;
图2示意性地示出根据本发明的镜头切变检测器;
图3示意性地示出根据本发明计算的一致性度量作为用于音乐视频片段的图像数的函数;以及
图4示意性地示出根据本发明的图像处理装置。
附图中相同的附图标记始终用于表示相似的部分。
具体实施方式
图1示意性地示出具有第一组片段Sn-1 1、Sn-1 2、Sn-1 3和Sn-1 4的第一图像n-1以及具有第二组片段Sn 1、Sn 2、Sn 3和Sn 4的第二图像n。第二图像n还包括第三组片段
Figure A20048000482700101
第三组片段的片段
Figure A20048000482700103
Figure A20048000482700105
是分别基于片段Sn-1 1、Sn-1 2、Sn-1 3和Sn-1 4的。这意味着相应的片段,例如Sn-1 1
Figure A20048000482700106
包括各个图像n-1和n的相应的像素。在该情况下,第三组片段可以看作为第一组片段到第二图像的直接投影。可替换地,两个相应的片段具有相等的尺寸和形状但是它们不包括相应的像素。在那种情况下,第三片段的一个片段是基于投影的第一组片段,将其移动一个矢量,该矢量表示已经为第一组片段估计的运动矢量。
应注意,图像n-1可能在视频图像序列中在图像n之前或之后。
图2示意性地示出根据本发明的镜头切变检测器200。镜头切变检测器200设置为基于借助分段确定的片段检测视频图像序列中的镜头切变。分段可能借助于作为镜头切变检测器一部分的分段单元(未描绘)来执行。可替换地,在外部执行分段并且片段在镜头切变检测器的输入连接器208处提供。片段可以借助于片段的轮廓描述被表示。可替换地,片段可以借助于矩阵被表示。第一组片段相应于视频图像序列的第一图像,第二组片段相应于视频图像序列的第二图像。
镜头切变检测器200包括:
-一个组创建器202,用于基于第一组片段Sn-1 1、Sn-1 2、Sn-1 3和Sn-1 4为第二图像创建第三组片段
Figure A20048000482700111
该片段的创建可以基于第一组片段的直接投影。优选地,该创建还基于为第一组片段估计的并且借助输入连接器216提供的运动矢量;
-一个一致性度量计算单元204,用于基于多个表示各个片段对之间的重叠Aij的值来计算一个一致性度量C(n-1,n),每个片段对包括第三组片段的一个片段 和第二组片段的一个片段Sn i
-一个比较单元206,用于比较该一致性度量C(n-1,n)与一个预定阈值Tc,并且如果一致性度量C(n-1,n)低于预定阈值Tc就在输出连接器210处确定检测到镜头切变。该预定闽值Tc由输入连接器212提供。
组创建器202、一致性度量计算单元204和比较单元206可以使用一个处理器实现。通常,这些功能在一个软件程序产品的控制下执行。在执行中,通常软件程序产品装载到一个存储器中,比如RAM,并且从那里执行。该程序可以从一个后台存储器中装载,比如ROM、硬盘或磁和/或光存储器,或者可以通过比如因特网的网络装载。任选地,一个特定用途集成电路提供所公开的功能。
以下借助于例子解释镜头切变检测器200的工作。对于包含当前图像n的一个片段Sn i和从先前图像n-1导出的一个片段Sn-1 j的一个片段 的每个片段对,计算表示重叠Aij的值。这通过计数具有图像n的坐标 x → = ( x , y ) 的像素来实现,该坐标既属于片段Sn i又属于
Figure A20048000482700116
如等式1中表示的
Figure A20048000482700117
如果为两个片段组,即分别是第二和第三组片段的所有片段Sn i
Figure A20048000482700121
完成上述操作,那么将建立一个矩阵A。矩阵A的元素相应于各个表示Aij的值。从矩阵A中,选择所谓的相应的片段。这意味着从全部片段组中选出特定的片段对。一个包括第三组片段的第一个片段和第二组片段的第一个片段Sn i的特定的片段对,如果相应的表示重叠Aij的值大于下列值就被选择:
-相应于另一片段对的重叠的另一值,每个另一片段对包括第三组片段的第一个片段和不是第二组片段的第一个片段的另一个片段;和大于
-相应于其它片段对的重叠的其它值,每个其它片段对包括第二组片段的第一个片段和不是第三组片段的第一个片段的其他片段。
换句话说,如果Aij是列i和行j中最大的元素,片段被称为相应的。这意味着Sn i是重叠
Figure A20048000482700123
的最大的片段,并且 是重叠Sn i的最大的片段。
借助于表示相应于所选择的片段对的重叠的值的累加来计算一致性度量C(n-1,n)。例如,参见表1。
表1:表示各个片段对之间的重叠的示例值
Figure A20048000482700125
它表现出下列相应的片段对被选择:
Figure A20048000482700126
Figure A20048000482700127
各个重叠的值是:A21=300、A33=400和A44=65。注意,一些片段根本没被选择,例如Sn 1
Figure A20048000482700128
这意味着没有相应的片段可被发现。
借助于相应的片段对的重叠的值的累加来计算一致性度量C(n-1,n)。因此,C(n-1,n)等于765(=300+400+65)。
优选地,通过除以像素数N∈n即图像n的像素数目来计算标准化一致性度量 C(n-1,n)。
C ‾ ( n - 1 , n ) = C ( n - 1 , n ) N - - - ( 2 )
标准化一致性度量 C(n-1,n)的值在范围[0,1]中。
标准化一致性度量 C(n-1,n)的值与一个预定阈值Tc比较以便检测镜头切变:如果 C(n-1,n)<Tc,那么在图像n-1和n之间存在一个镜头切变。用于Tc的一个典型的值是0.4。
在另一实施例中,预定阈值Tc不是固定的,但是按照图像对的不同而不同。这个浮动的预定阈值Tc(n)可以基于一致性度量的移动平均:如果一致性度量的当前值显著地低于它的平均值就检测到镜头切变。检测每个镜头切变之后,就复位移动平均。
用于镜头切变的决定性的参数是与图像中的全部像素数目相比的图像n-1的片段和图像n的片段的相对重叠。如果图像n-1和图像n的匹配像素的数目可以增加,那么重叠增加。运动估计和补偿是可能的改进以便获得更好的匹配结果。在匹配图像n-1和图像n的片段之前执行运动补偿。这意味着第三组片段的片段是基于第一组片段的片段和这些片段的各个运动矢量的。这减少了运动多于匹配结果的影响。因此当应用运动估计和补偿时,健壮性增加了。
在根据本发明的另一实施例中,表示重叠的值是基于图像n-1和n的像素的值。这意味着借助每像素的加权因子
Figure A20048000482700132
的累加来计算该值:
Figure A20048000482700133
加权因子
Figure A20048000482700134
的例子由等式4-7给出。
w = ( x → ) | F L ( x → , n - 1 ) - F L ( x → , n ) | - - - ( 4 )
或者
w ( x → ) = | F L ( x ~ , n - 1 ) - F L ( x → , n ) | - - - ( 5 )
其中 是图像n中具有坐标
Figure A20048000482700138
的像素的亮度值,并且
Figure A20048000482700139
是基于运动矢量的
Figure A200480004827001310
的估计的坐标。
w ( x → ) = | F C ( x → , n - 1 ) - F C ( x → , n ) | - - - ( 6 )
或者
w ( x → ) = | F C ( x ~ , n - 1 ) - F C ( x → , n ) | - - - ( 7 )
其中
Figure A20048000482700142
是图像n中的具有坐标
Figure A20048000482700143
的像素的颜色值。
借助输入连接器214提供该亮度或颜色值。
任选地,一个另外的标准化借助所计算的表示重叠的值除以与两个亮度或颜色值之间的最大差异有关的值来执行。
如果分段发生在一个视频编码器中,那么一致性度量也可以由视频编码器计算。接着一致性度量的表示同样可以被插入到压缩的流中(每帧0和1之间的一个值,例如每帧额外的8比特是足够的)。应注意,在编码侧关于预定阈值的决定不是必须被作出。以该方法,通过一个设计为接收压缩流的装置,镜头切变检测可以在压缩域中完成。
图3示意性地示出根据本发明计算的一致性度量作为用于音乐视频剪辑的图像数的函数。X轴表示图像(帧)数目并且y轴表示一致性度量。通过应用预定阈值Tc=0.4,镜头切变可以被检测。应注意,视频序列中的镜头切变的实际数量可以相对较高。在视频材料的例子中,包括720个图像,有30个镜头切变。
图4示意性地示出根据本发明的图像处理装置400。该图像处理装置400包括:
-接收装置402,用于接收一个表示输入图像的信号;
-如参照图2描述的镜头切变检测器200;
-一个由镜头切变检测器控制的图像处理单元406;以及
-一个显示设备408,用于显示图像处理单元406的输出图像。
该信号可以是通过一个天线或电缆接收的广播信号,但是也可以是来自一个存储装置比如VCR(盒式磁带录像机)或数字光盘放象机(DVD)的信号。该信号在输入连接器410处提供。该图像处理装置400例如可能是一个TV。可替换地,图像处理装置400不包括可选择的显示设备408,但是提供输出图像到包括一个显示设备的装置。那么图像处理装置400可以是一个机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。任选地,图像处理装置400包括存储装置,比如硬盘或用于在可移动介质上存储的装置,例如光盘。图像处理装置400还可以是由电影摄影室或广播电台应用的系统。
图像处理单元406可能支持下列图像处理类型中的一个或多个:
-视频压缩,即编码或解码,例如根据MPEG标准。
-去隔行:隔行是用于交替地发送偶数行或奇数行图像的通用视频广播方法。去隔行企图恢复全垂直分辨率,即是使用于每个图像的奇数行和偶数行是同时可获得的。
-图像率转换:根据一系列原始输入图像计算一个较大系列的输出图像。输出图像暂时位于两个原始输入图像之间;以及
-时间噪声减少。这也可以涉及空间处理,结果空间-时间噪声减少。
由于在这些类型的图像处理中组合非相关图像可能导致失真,所以对于所有这些类型的图像处理,与将输入视频图像序列划分为子序列有关。
应注意,根据本发明的方法和检测器可以应用于检测视频序列中的不同类型的镜头切变。这些镜头切变包括硬切换和软切换:所谓的划变、淡入、淡出或淡入淡出。这意味着例如第一镜头的图像和第二镜头的图像部分混合。
应注意,上述实施例说明而不是限制本发明,并且本领域的技术人员将能够设计不脱离所附权利要求的范围的可选择的实施例。在权利要求中,在括号中的任何附图标记不构造为限制权利要求。该单词“包括”不排除未列在权利要求中的元件或步骤的存在。在一个元件前面的单词“一个”不排除多个这样的元件的存在。本发明可以通过包括几个分离的元件的硬件和一个合适的编程的计算机实现。在列举几个装置的装置权利要求中,这些装置中的几个可以通过一个并且硬件的相同项实现。

Claims (14)

1、一种检测视频图像序列中的镜头切变的方法,视频图像序列包括一个第一图像(n-1)和一个第二图像(n),该第一图像包括借助于分段确定的第一组片段(Sn-1 1、Sn-1 2、Sn-1 3和Sn-1 4),并且该第二图像包括借助于分段确定的第二组片段(Sn 1、Sn 2、Sn 3和Sn 4),该方法包括:
-基于该第一组片段(Sn-1 1、Sn-1 2、Sn-1 3和Sn-1 4)为该第二图像创建第三组片段
Figure A2004800048270002C1
-基于多个表示各个片段对之间的重叠(Aij)的值来计算一个一致性度量C(n-1,n),每个片段对包括该第三组片段的一个片段 和该第二组片段的一个片段(Sn i);以及
-比较该一致性度量(C(n-1,n))与一个预定阈值(Tc),并且如果该一致性度量(C(n-1,n))低于该预定阈值(Tc)就确定检测到镜头切变。
2.如权利要求1中所述的方法,其中基于为第一组片段(Sn-1 1、Sn-1 2、Sn-1 3和Sn-1 4)的各个片段估计的运动矢量来执行第三组片段
Figure A2004800048270002C6
的创建。
3.如权利要求1所述的方法,其中借助于对属于第二组片段的第一个片段(Sn i)的和属于第三组片段的第一个片段
Figure A2004800048270002C7
的像素数目进行计数来计算表示各个片段对之间的重叠(A11)的值中的第一个值。
4.如权利要求1所述的方法,其中借助于加权值的累积来计算表示各个片段对之间的重叠的第一个值,第一个加权值与第二组片段的第一个片段的第一个像素的第一个亮度值和第一图像的第二像素的第二亮度值之间的差异有关,该第一像素还属于第三组片段的第一个片段。
5.如权利要求1所述的方法,其中借助于加权值的累积来计算表示各个片段对之间的重叠的第一个值,第一个加权值与第二组片段的第一个片段的第一个像素的第一个颜色值和第一图像的第二像素的第二颜色值之间的差异有关,该第一像素还属于第三组片段的第一个片段。
6.如权利要求1所述的方法,包括借助于基于表示重叠的各个值从一组片段对中选择片段对来确定各个片段对。
7.如权利要求6所述的方法,其中对于包括该第三组片段的第一个片段和该第二组片段的第一个片段的片段对组中的第一个,如果重叠的相应值大于以下值就被选择:
-相应于另一片段对的重叠的另一个值,每个另一片段对包括该第三组片段的第一个片段和不是该第二组片段的第一个片段的另一个片段;和大于
-相应于其它片段对的重叠的其它值,每个其它片段对包括第二组片段的第一个片段和不是第三组片段的第一个片段的其它片段。
8.如权利要求1所述的方法,其中该预定阈值是基于第一组片段的片段的数目。
9.如权利要求2所述的方法,其中该预定阈值是基于运动矢量的。
10.一种用于检测视频图像序列中的镜头切变的镜头切变检测器(400),视频图像序列包括一个第一图像(n-1)和一个第二图像(n),该第一图像包括借助于分段确定的第一组片段(Sn-1 1、Sn-1 2、Sn-1 3和Sn-1 4),并且该第二图像包括借助于分段确定的第二组片段(Sn 1、Sn 2、Sn 3和Sn 4),该镜头切变检测器包括:
-创建装置(202),用于依据该第一组片段(Sn-1 1、Sn-1 2、Sn-1 3和Sn-1 4)为该第二图像创建第三组片段
Figure A2004800048270003C1
-计算装置(204),用于基于多个表示各个片段对之间的重叠(Aij)的值来计算一个一致性度量(C(n-1,n)),每个片段对包括该第三组片段的一个片段
Figure A2004800048270003C3
和该第二组片段的一个片段(Sn i);以及
-比较装置(206),用于比较该一致性度量(C(n-1,n))与一个预定阈值(Tc),并且如果该一致性度量(C(n-1,n))低于该预定阈值(Tc)就确定检测到镜头切变。
11.一种图像处理装置(400)包括:
-一个接收装置(402),用于接收一个相应于视频图像序列的信号;
-一个镜头切变检测器(200),用于如权利要求1中所述那样检测该视频图像序列中的镜头切变;
-一个由该镜头切变检测器控制的图像处理单元(406)。
12.如权利要求11所述的图像处理装置(400),其特征在于该图像处理单元被设置为执行视频压缩。
13.如权利要求11所述的图像处理装置(400),其特征在于该图像处理单元被设置为执行场景分类。
14.一种由一个计算机装置装载的计算机程序产品,包括用于检测视频图像序列中的镜头切变的指令,视频图像序列包括第一图像和第二图像,该第一图像包括借助于分段确定的第一组片段,并且该第二图像包括借助于分段确定的第二组片段,该计算机装置包括处理装置和一个存储器,该计算机程序产品被装载后,为所述处理装置提供执行下列步骤的能力:
-基于该第一组片段(Sn-1 1、Sn-1 2、Sn-1 3和Sn-1 4)为该第二图像创建第三组片段
Figure A2004800048270004C2
-基于多个表示各个片段对之间的重叠(Aij)的值来计算一个一致性度量C(n-1,n),每个片段对包括该第三组片段的一个片段
Figure A2004800048270004C3
和该第二组片段的一个片段(Sn i);以及
-比较该一致性度量(C(n-1,n))与一个预定阈值(Tc),并且如果该一致性度量(C(n-1,n))低于该预定阈值(Tc)就确定检测到镜头切变。
CNA2004800048274A 2003-02-21 2004-02-13 镜头切变检测 Pending CN1754382A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03100419 2003-02-21
EP03100419.5 2003-02-21

Publications (1)

Publication Number Publication Date
CN1754382A true CN1754382A (zh) 2006-03-29

Family

ID=32892967

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800048274A Pending CN1754382A (zh) 2003-02-21 2004-02-13 镜头切变检测

Country Status (6)

Country Link
US (1) US20060268181A1 (zh)
EP (1) EP1597914A1 (zh)
JP (1) JP2006518960A (zh)
KR (1) KR20050102126A (zh)
CN (1) CN1754382A (zh)
WO (1) WO2004075537A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175214B (zh) * 2007-11-15 2010-09-08 北京大学 一种从广播数据流中实时检测广告的方法及设备
CN111079527A (zh) * 2019-11-07 2020-04-28 北京航空航天大学 一种基于3d残差网络的镜头边界检测方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008541645A (ja) 2005-05-19 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンテンツアイテムの境界を検出するための方法及び装置
CN100417201C (zh) * 2005-08-17 2008-09-03 智辉研发股份有限公司 检测新闻主播的影音特征以将电视新闻分段的方法
CN101192861B (zh) * 2006-12-01 2011-11-16 华为技术有限公司 网络中调整数据速率的方法、装置及通信系统
WO2008139351A1 (en) * 2007-05-11 2008-11-20 Koninklijke Philips Electronics N.V. Method, apparatus and system for processing depth-related information
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
TR201819457T4 (tr) 2011-06-22 2019-01-21 Koninklijke Philips Nv Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz.

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
JP3755155B2 (ja) * 1994-09-30 2006-03-15 ソニー株式会社 画像符号化装置
US5767922A (en) * 1996-04-05 1998-06-16 Cornell Research Foundation, Inc. Apparatus and process for detecting scene breaks in a sequence of video frames
JPH10215436A (ja) * 1997-01-30 1998-08-11 Sony Corp 記録再生装置および方法、並びに記録媒体
JP3932631B2 (ja) * 1997-03-21 2007-06-20 松下電器産業株式会社 圧縮動画像データカット検出装置
KR100327103B1 (ko) * 1998-06-03 2002-09-17 한국전자통신연구원 사용자의조력및물체추적에의한영상객체분할방법
KR100289054B1 (ko) * 1998-11-17 2001-05-02 정선종 매크로블록 단위 영역 분할 및 배경 모자이크구성방법
SE9902328A0 (sv) * 1999-06-18 2000-12-19 Ericsson Telefon Ab L M Förfarande och system för att alstra sammanfattad video
KR100380229B1 (ko) * 2000-07-19 2003-04-16 엘지전자 주식회사 엠펙(MPEG) 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Wipe) 및 특수 편집 효과 검출 방법
JP2002077723A (ja) * 2000-09-01 2002-03-15 Minolta Co Ltd 動画像処理装置、動画像処理方法および記録媒体
JP2002281505A (ja) * 2001-03-16 2002-09-27 Toshiba Corp 動画像圧縮装置、同装置のカット検出用データ作成方法およびカット位置データ作成方法ならびにカット検出装置および同装置のカット検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175214B (zh) * 2007-11-15 2010-09-08 北京大学 一种从广播数据流中实时检测广告的方法及设备
CN111079527A (zh) * 2019-11-07 2020-04-28 北京航空航天大学 一种基于3d残差网络的镜头边界检测方法

Also Published As

Publication number Publication date
JP2006518960A (ja) 2006-08-17
WO2004075537A1 (en) 2004-09-02
US20060268181A1 (en) 2006-11-30
KR20050102126A (ko) 2005-10-25
EP1597914A1 (en) 2005-11-23

Similar Documents

Publication Publication Date Title
CN1155233C (zh) 数字电视图像自动宽高比格式检测方法和装置
CN100342401C (zh) 基于段的运动估计
CN1265321C (zh) 检测视频数据流中卡通的方法和系统
CN1311388C (zh) 表示图像组的方法和装置
CN1150772C (zh) 检测数字视频图象序列中的淡变的方法及装置
CN1757236A (zh) 操纵数据压缩参量的视频内容分析方法和系统
CN101047795A (zh) 运动图像分割设备、字幕提取设备、方法和程序
CN101052129A (zh) 数字广播接收装置
US9167260B2 (en) Apparatus and method for video processing
CN1922631A (zh) 创建深度图
CN1456015A (zh) 识别并行地出现在单个电视信号场中的影片和视频对象
CN1761309A (zh) 图像数据的信号处理装置及方法
CN1846445A (zh) 基于遮蔽检测对像素的时间插值
CN1606345A (zh) 进行反向电视电影处理的装置与方法
CN1538351A (zh) 视觉上代表性的视频缩略图的生成
JP2006510072A (ja) 一様なカラーセグメントを検出するための方法及びシステム
CN1311409C (zh) 用于分割的系统和方法
CN1479910A (zh) 信号处理方法及设备
CN101031029A (zh) 一种视频图像处理的方法及其装置
CN1698385A (zh) 用于自适应播放视频帧的方法
CN1147154C (zh) 用于编码交错形状信息的方法和设备
CN1754382A (zh) 镜头切变检测
CN1231055C (zh) 电视中传送电影场景的数字检测装置
Tan et al. GOP based automatic detection of object-based forgery in advanced video
CN1993989A (zh) 内容处理设备、处理内容的方法及计算机程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication