CN1279752C - 基于族直方图检测广告和其它视频内容的方法 - Google Patents

基于族直方图检测广告和其它视频内容的方法 Download PDF

Info

Publication number
CN1279752C
CN1279752C CNB028253671A CN02825367A CN1279752C CN 1279752 C CN1279752 C CN 1279752C CN B028253671 A CNB028253671 A CN B028253671A CN 02825367 A CN02825367 A CN 02825367A CN 1279752 C CN1279752 C CN 1279752C
Authority
CN
China
Prior art keywords
histogram
family
family histogram
video content
vision signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028253671A
Other languages
English (en)
Other versions
CN1605190A (zh
Inventor
N·蒂米特罗瓦
L·阿尼霍特里
T·F·M·麦吉
R·S·贾辛斯奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pendragon wireless limited liability company
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1605190A publication Critical patent/CN1605190A/zh
Application granted granted Critical
Publication of CN1279752C publication Critical patent/CN1279752C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种用于检测视频信号中的商业广告节目或其它特殊类型的视频内容的技术。在一个说明性的实施例中，颜色直方图从视频信号帧中被提取。提取的颜色直方图的至少一个子集中的每一个颜色直方图与族(family)直方图进行比较。如果该提取的颜色直方图属于族直方图的特定范围，则族直方图被更新来包括作为新成员的提取的颜色直方图。如果提取的颜色直方图不属于族直方图的特定范围，则族直方图被认为是完整的，并且提取的颜色直方图被使用来产生用于处理后续提取的颜色直方图的新族直方图。产生的族直方图被用来检测视频信号中的商业广告节目或其它特殊类型的视频内容。

Description

基于族直方图检测广告 和其它视频内容的方法
本发明涉及在1999年10月13日申请的美国专利申请序列号09/417,288中说明的发明，发明人N.Dimitrova、L.Agnihotri和T.McGee，标题为″Automatic Signature-Based Spotting，Learningand Extracting of Commercials and Other Video Content″(自动基于信号定点，识别和提取商业广告节目和其它视频内容)，其中的内容在此通过参考被合并。
本发明通常涉及视频信号处理，并且更特别地涉及视频信号的处理技术，该技术用于识别和提取商业广告节目或具有特性的其它类型的视频内容。
许多不同的系统已经被发展用于从广播或被记录的视频信号中检测和提取商业广告节目。例如，标题为″Editing Method andApparatus for Commercials During Video Recording″(用于在视频记录中编辑商业广告节目的方法和设备)的美国专利号4,782,401说明了一个面向硬件的解决方案，其基于用来描绘商业广告节目的黑暗或空白帧的存在，从而在模拟域中删除商业广告节目。
在PCT申请号WO83/00971中说明了一个类似的系统，标题为″Reciprocating Recording Method and Apparatus for EditingCommercial Messages from Television Signals″(用于编辑来自电视信号的商业广告的往复记录方法和设备)这个系统分别基于商业广告时间开始和结束时的渐显和渐隐来删除商业广告节目。
标题为″Apparatus and Method for Deleting Selected ProgramIntervals from Recorded Television Broadcasts″(用于从被记录的电视广播中删除选定的节目时隙的方法和设备)的美国专利号4,750,052叙述了另一个方法，其使用褪色检测器来编辑来自被记录的广播节目的商业广告节目。
标题为″Method and Apparatus for Classifying Patterns ofTelevision Programs and Commercials，″(用于分类电视节目和商业广告节目的模式的方法和设备)PCT申请号WO 94/27404使用特征提取和神经网络来分类视频信号。该系统检测特征中的变化，比如通过频谱的功率振幅、颜色和亮度、场消隐时间代码、内建字幕信号和彩色载波抖动信号。
标题为″Process and Device for Detecting Undesirable VideoScenes，″(用于检测不希望的视频景象的处理和设备)的PCT申请号WO95/06985描述了一个系统，其存储来自先于商业广告时间的广播节目图像，从而通过比较当前图像与存储图像来检测商业广告时间的结束。这个方法利用了这个事实，即在商业广告时间结束之后，广播往往重复节目的一小部分。
标题为Method and Apparatus for the Classification ofTelevision Signals，″(用于电视信号分类的方法和设备)的欧洲专利申请号EP 735754使用一组特征和关联规则来确定是否当前的商业广告节目在一定″模糊″程度上满足相同的标准。该组特征包括用来特性化商业广告节目的立体对比单、双信道音频、声音电平、图像亮度和颜色、和标志。需要一个广泛的规则组来调和这些特征的阈值和参数变化。
标题为″Video Signal Identifier for Controlling a VCR andTelevision Based on the Occurrence of Commercials″(基于商业广告节目的出现来控制录像机和电视机的视频信号标识符)的美国专利号5,708,477，其使用视频信号标识符来识别先前标识的商业广告节目内容并且通过静音电视伴音和/或暂停处于记录模式的录像机来拒绝该商业广告节目内容。该方法有一个重大的问题，即它没能提供自动检测，而是在检测之前需要用某种方式来识别的材料。
在标题为″Apparatus and Method for Detection of UnwantedBroadcast Information″(用于检测不需要的广播信息的方法和设备)的美国专利号5,668 917中描述了一个系统，其使用商业广告节目的重复性来识别商业广告节目材料。这个系统用压缩格式存储图像帧并且比较原来的″原始的″格式化像素中的帧和像素。如果像素在一些阈值内匹配，则该帧被认为是类似的。这个方法的严重缺点是它需要过多的存储器和计算资源。更特别地，甚至用压缩格式来存储视频不实际地占用了大量的存储空间，例如，高清晰度电视(HDTV)内容的一个频道一天就要占用大约200GB。另外，比较原始视频信号是很耗时的。甚至假定压缩和解压缩视频可以被实现而没有额外的计算成本，而比较帧也将是一个漫长的过程。一个给出的输入帧必须与上述大量被存储的视频材料相比较，并且比较必须在后续帧到达之前被完成。
在上面引用的美国专利申请序列号09/417,288中描述的技术通过使用基于信号定点、识别和提取而提供了在上面列出的常规方法上的实质性改进。然而，尽管这些技术提供了实质性的改进，但是仍然需要进一步完善商业广告节目及其它类型的视频内容的识别和提取。
本发明提供了一种用于检测视频信号中的商业广告节目或其它特殊类型的视频内容的改进技术，其运用一个基于族(family)直方图组群的方法。特殊类型的视频内容可以是例如直播或转播的广播节目中的商业广告节目。
根据本发明的一方面，颜色直方图从视频信号帧中被提取，并且提取的颜色直方图的至少一个子集中的每一个颜色直方图都与族直方图进行比较。从中提取颜色直方图的那组帧可以是在视频信号的发射边界提取的关键帧、视频信号的帧内编码帧(I帧)、或视频信号的所有帧。在处理提取的第一个颜色直方图中使用的族直方图可以包含一个被初始化为预定结构的初始族直方图。另一个例子，第一个提取的颜色直方图可以本身被指定为初始族直方图。如果该提取的颜色直方图属于族直方图的特定范围，则该族直方图被更新来包括作为新成员的提取的颜色直方图。如果提取的颜色直方图不属于特定范围的族直方图，则族直方图被认为是完成的，并且提取的颜色直方图被使用来产生用于处理后续提取的颜色直方图的新族直方图。通过多帧产生的族直方图被用来在视频信号中检测商业广告节目或其它特殊类型的视频内容。
根据本发明的另一方面，通过结合族直方图和给出的提取的颜色直方图，族直方图用属于族直方图特定范围的给出的提取的颜色直方图之一被更新。
根据本发明的再一方面，族直方图的持续时间和/或重复性被用来标记商业广告节目图块或其它特殊类型的视频内容的边界。例如，如果族直方图具有属于特定范围的持续时间，则族直方图可以被指出可能与特殊类型的视频内容相关，例如，对于直播或转播的广播节目中包含商业广告节目的视频内容，该特定范围大约是15到60秒。重复性的确定可以包括确定是否该族直方图是其中每个都具有指定持续时间的族直方图的连续系列中的一个，或确定是否该族直方图是先前的族直方图的实质性重复，该重复出现在在先前的族直方图后的指定时段内。
有利地，本发明允许商业广告节目及其它类型的视频内容用特别精确和有效的方法被识别。本发明的这些及其它特征和优点会从附图及其后的详细说明而变得更加明显。
图1是一个图象处理系统的框图，本发明可以在其中被实现。
图2是一个根据本发明说明性实施例的商业广告节目检测处理的流程图，该处理过程可以在图1的图象处理系统中被实现。
图3说明根据本发明技术的族直方图的产生过程。
图1示出图象处理系统100，其中，根据本发明的视频检测技术可以被实现。系统100可以表示电视、机顶箱、台式机、笔记本或掌上型计算机、个人数字助理(PDA)、诸如录像机(VCR)之类的视频存储设备、数字录像机(DVR)、TiVO设备等等，以及这些及其它视频处理设备的部分或组合。
系统100包括一个或多个视频源102、一个或多个输入输出设备104、处理器105和存储器106。视频源102可以表示电视接收机、录像机或其它视频存储设备，或任何其它类型的视频源，以及这类视频源的不同组合。源102可以替换地表示一个或多个用于从服务器或通过服务器接收视频的网络连接，例如诸如互联网之类的全球计算机通信网络、广域网、城域网、局域网、地面广播系统、有线电视网、卫星网、无线网、或电话网，以及这些及其它类型的网络的部分或组合。
输入输出设备104、处理器105和存储器106通过通信媒介107进行通信。通信媒介107可以表示总线、有线或无线通信网、电路的一个或多个内部连接、电路板或其它设备，以及这些及其它通信媒介的部分和组合。
根据被存储在存储器106中并且由处理器105执行的一个或多个软件程序，来自源102的输入视频被处理，从而产生被提供给显示设备108的输出视频，显示设备108可以是电视显示器、计算机监视器等等。例如，该一个或多个软件程序可以被用来实现结合下图2说明的至少部分商业广告节目检测处理，结果的输出视频包括用于信号内的商业广告节目边界的适当标记。显示设备108然后可以用一个另外的常规方法来处理该标记，从而从被显示的视频中除去商业广告节目。
应当理解，图1所示的系统100的特殊结构只是举例来说。本领域技术人员会认识到，本发明可以用各式各样的替换系统配置而被实现。
例如，显示设备108可以被替换为视频存储设备或连同视频存储设备一起使用，因此输出视频被存储以用于后续的使用。视频存储设备可以被合并到显示设备108中，或可以被实现为连接到显示设备108的独立设备。这类存储设备在本技术领域中是众所周知的，因此不再在此说明。
本发明提供用于检测视频信号中的商业广告节目或其它类型的视频内容的改进技术。通过说明性实施例将在此被说明的本发明使用从图像帧中提取的颜色直方图以形成所谓的″族直方图″，然后本发明处理族直方图来识别视频信号内的商业广告节目。例如，如果族直方图的长度在大约15和60秒之间，则通过在指定时段内存在几个这类族直方图，该指定时段对应例如大约2到3分钟或3到5分钟的多个商业广告时间的持续时间总数，从而来指出商业广告节目区域。这指出了在视频信号内的商业广告节目区域或图块中存在几个商业广告节目。如上所述，被检测的商业广告节目的边界然后可以被确定和标记，因此商业广告节目可以通过诸如系统100的设备108之类的视频显示设备中的快进、静音或别的处理而被除去。
图2是一个根据本发明的用于检测广播视频信号中的商业广告节目的进程200的实例流程图。假设在这个实例中，输入视频包含一个广播视频信号，该广播视频信号至少包括一个节目和多个商业广告节目。然而应当强调这仅仅是举例来说，而不是打算以任何方式来限制本发明的范围。更特别地，本领域技术人员将会认识到本发明可以被用来识别在其它类型的视频信号中除了商业广告节目之外的特殊类型的视频内容，并且可以使用不同于图2的实例的处理步骤来被实现。
在处理200的步骤202中，一个常规的帧接收器被用来获取输入视频信号的一个或多个帧。例如，该帧接收器可以从模拟视频源提供的模拟视频信号中获取一个或多个″原始的″图像帧，或者可以从诸如常规的动态图象专家组(MPEG)数字电视比特流之类的数字信源中提取这类帧。
由帧接收器获取的，和如下所述随后将从中提取颜色直方图的那组帧可能是一个或多个在视频信号的发射边界提取的关键帧、视频信号的帧内编码帧(I帧)、或视频信号的所有帧。结合图3将被说明的是，也可以使用一个典型的关键帧。在此使用的术语″帧″被包括这类典型的关键帧。
在步骤204中指出，只要一个或多个帧被获得，颜色直方图信息就从中被提取出来。在此使用的颜色直方图可以根据本技术领域中的已知技术来产生。产生和处理颜色直方图的有关细节可以在下列文件中被找到，例如：N.Dimitrova、J.Martino、L.Agnihotri和H.Elenbaas于1999年在神户召开的IEEE图像处理国际会议的″ColorSuperHistograms for Video Representation″(用于视频表示的颜色超级直方图)；2000年在法国里昂的图像会议中的L.Agnihotri和N.Dimitrova的″Video Clustering Using SuperHistograms inLarge Archives″(在大型文档中使用超级直方图的视频分组)；以及在1999年7月7日申请的欧洲专利申请号EP 1038269，标题为″AHistogram Method for Characterizing Video Content″(用于特性化视频内容的直方图方法)，发明人是J.Martino、N.Dimitrova、H.Elenbaas和J.Rutgers；上述文档在此通过参考被合并。
首先要指出，本发明部分基于″族直方图″的概念，其在此的使用通常涉及用大量相关帧而产生的直方图，例如具有类似调色板的大量帧或另外被确定有关的大量帧。通过比较在步骤204中提取的给定颜色直方图和先前的族直方图，步骤206形成此类型的族直方图。在贯穿步骤202、204、206和208的初始化中，先前的族直方图可以被初始化为第一个提取的颜色直方图，或者被初始化为一个指定结构。其后，也称为当前提取的直方图的从步骤204提取的给定颜色直方图，其在步骤206中被处理以确定它是否″属于″先前的族直方图。例如，当前提取的直方图可以与先前的族直方图、平均直方图、来自族的代表帧、或适合比较的另一个元件进行比较。
如果当前提取的直方图被认为是先前的族直方图的一部分，则族直方图在步骤206中被更新来包括新成员，由此产生的族直方图被称为当前族直方图。当前族直方图然后被认为是不完整的，因此处理经由步骤208回到步骤202以处理后续帧，而当前族直方图变成先前的族直方图。然而如果当前提取的直方图不匹配先前的族直方图，则先前的族直方图被认为是完整的，并且处理经由步骤208移到步骤210。
如上所指，图2处理大量指定帧中的每一个，从而计算颜色直方图，并且然后搜索一个或多个先前计算的族直方图以发现最接近的族直方图匹配。通过使用下列用于计算直方图差值D或其它相关比较单位的方法之一，给出的当前直方图Hc和先前的族直方图Hp之间的比较可以被计算。没有在此明确说明的其它方法也可以被使用，这对于本领域技术人员来说是很明显的。
(1)直方图差值D可以用下列公式来计算：
D = Σ i = 1 N | H c ( i ) - H p ( i ) |
在此，N是被使用的颜色bin的总数。举例来说，bin的数目N可以被选为9，当然也可以使用其它数目的bin。用这个公式获得的值介于0和在相应帧的像素最大数目的两倍之间。因为希望获得类似百分比，所以可以通过除以像素总数来标准化获得值。这个标准化的数值在0和1之间，其中，接近0的值意味着那些帧是相似的，并且接近1的值意味着那些帧是不相似的。
(2)直方图的差值D可以用下列公式来计算：
D = Σ i = 1 N ( H C ( i ) - H P ( i ) ) 2
在这种情况下，D的值可以用类似于上述情况(1)的方法来标准化。
(3)直方图的交集可以用下列公式来计算：
I = Σ i = 1 N min ( H C ( i ) , H P ( i ) ) Σ i = 1 N H C ( i )
用这个公式获得的值介于0和1之间。接近0的值意味着那些帧是不相似的，和接近1的值意味着那些帧是相似的。为了比较直方图和相似性的相同解释，可以使用D＝1-I来作为距离测量。
(4)用于比较两个帧直方图的卡方测试可以通过使用下列公式来计算：
x 2 = Σ i = 1 N ( H C ( i ) - H P ( i ) ) 2 ( H C ( i ) + H P ( i ) ) 2
在这种情况下，得出的值介于0和颜色bin的数目N之间，因此可以用N来标准化，即D＝x2/N。
(5)bin-wise直方图的交集可以使用下列公式来计算：
B = Σ i = 1 N min ( H C ( i ) , H P ( i ) ) max ( H C ( i ) , H P ( i ) )
类似于上述的直方图的交集，较低的B值意味着那些帧是不相似的，和较高的B值意味着那些帧是相似的。为了一致于先前的测量，可以通过使用D＝1-B/N来计算距离。
从图2对于这一点的描述可以明显地看出，族直方图可以是从表示来自相邻帧、I帧、场景中断等等的帧的直方图导出cumulatively平均直方图。这类先前指定的帧在此被称为关键帧。第一个遇到的帧的直方图可以被包含入族直方图来形成第一族。从第二帧开始，对每个新遇到的帧将作出一个判定，即新的帧是否应该与现有的族直方图合并，或者如果当前帧实质上是不同的，则是否应该开始一个新的族。举例来说，从两个帧或两个关键帧中提取的两个直方图被给出，这两个直方图之间的差值可以被计算。如果差值小于某个阈值，则当前的直方图被合并到族直方图中。
族直方图可以被实现为一个数据结构，其包含到每个直方图的组成部分和其相应帧编号的指针、被合并的族直方图和表示总的持续时间的变量。后边的变量可以被初始化为当前的直方图代表的场景持续时间。族直方图的合并可以根据下列公式被执行：
H fam ( l ) = Σ i ( dur i total _ dur fam · H i ( l ) )
在这个公式中，l是表示bin数目的变量，fam是这个特殊族的指数，Hfam是表示该族直方图的矢量，i是表示在这个族直方图中的发射数目的标引，duri是表示场景i的持续时间的变量，Hi(l)是指出对于关键帧数目i的bin l中的像素数目的数值，和total_durfam是表示已经在族中的所有场景的总持续时间的变量。用于比较当前的直方图和先前的族直方图的两个实例技术在此被称为不邻接和邻接比较。
在不邻接的情况中，计算每个帧或关键帧的直方图，然后搜索大量先前计算的族直方图以找出在指定时期内最接近的族直方图匹配。如果帧或关键帧和在指定时期内最接近的族直方图之间的差值小于某个阈值，则当前的帧或关键帧被增加给那个族并且其中包含新的直方图的新的族直方图被计算。这产生了帧的群集，这些帧彼此不邻接却具有相似的调色板。
在邻接的情况中，计算每个帧或关键帧的直方图，然后只搜索先前的族直方图。如果帧或关键帧和先前的族直方图之间的差值小于某个阈值，则当前的帧或关键帧被增加给先前的族。否则，新的族就用作为新族的族直方图的新直方图开始。
图3示出一个用于根据本发明技术来产生族直方图的可能方法的实例。在这个实例中，关键帧K1表示192帧的序列，和关键帧k2表示79帧的序列。在图2的步骤204中指出，颜色直方图H1和H2分别从关键帧K1和K2中被提取。基于连同图2被预先说明的其它处理操作，对于这个实例，进一步假设已经作出判定来结合颜色直方图H1和H2。这些直方图因此被结合成一个图中指出的族直方图FH1。
应当理解，图3的实例只是为了说明性的目的并且不应该被看作以任何方式对本发明范围的限制。本领域技术人员将理解大量的其它技术可以被使用来形成根据本发明的族直方图。
再次涉及图2，在步骤210中，当前的族直方图被分析表示商业广告节目的特征。在说明性的实施例中，在步骤210中施加于当前的族直方图的分析优选地包括持续时间和重复性的分析。关于持续时间，如果给出的族直方图的长度在大约15和60秒之间，则有可能给出的族直方图与商业广告节目相关。如果给出的族直方图具有与商业广告节目有关的持续时间，则优选地结合一个或多个辅助族直方图来进一步分析上述的重复性。举例来说，如果给出的族直方图是一系列族直方图或其它族直方图群之一，其中，每个族直方图的长度在大约15和60秒之间，则输入视频中的商业广告节目图块被指出。详细的商业广告节目和/或商业广告节目图块然后可以象在步骤212指出的那样被标记。
另一个例子，在大约3到5分钟之的典型商业广告时间时段内，步骤210中的商业广告节目检测被配置来检测多个持续时间小于大约10秒的短族直方图中的每一个。
每分钟或在大约为3到5分钟的商业广告典型时间内的其它时段，步骤210中的商业广告节目检测也可能被配置来检测唯一的族直方图的数目。更特别地，通过每分钟存在至少4个唯一的族直方图，或者在每分钟或其它时段中存在其它预定数目的唯一的族直方图，商业广告时间可以被指出。在这里，术语″唯一的″指的是在指定方式中不同于其它的族直方图。
又一个例子，步骤210中的商业广告节目的检测可能被配置来检测任何族直方图的不存在，这些族直方图具有大于指定时间量的持续时间，比如大于大约30秒的持续时间。
步骤210中的商业广告节目的检测可能利用辅助类型的分析。这类分析可能包括寻找族之间的空白帧或音频静止，或测量族内的清除率。另外，特殊的内建字幕文本或其它知道特征的存在可以被用来校验确实在商业广告节目区域。适用于本发明的辅助分析的其它实例可以在上面引用的美国专利申请序列号09/417,288中被找到。
具有大约15到60秒的上述短持续时间的族直方图也可以与较长的族直方图进行比较，较长的族直方图在先前的指定长度的时段中被发现，这个指定长度大约是15分钟或更少。这些较长的族直方图一般是与广播节目有关而与商业广告节目无关。通常，广播节目倾向于有较长时间的族直方图，因为许多帧的图象内容是相似的。然而，在商业广告节目的情况下，较短的族直方图通常和与节目有关的时间较长的族直方图有极大的不同，这是因为商业广告节目的图象内容被特意设计为″吸引人的″并且不同于短时段中的节目内容。
另一个实例，用上述方法被确定的短的族直方图可以与相应节目的普通超级直方图进行比较。
另外，来自常规电子节目指南(EPG)的信息可以被使用于上述分析。例如，节目名称、类型或其它细节可以从EPG获得并且被使用来识别特殊的普通的超级直方图，其已经被先前计算和存储用于特定节目。有适当持续时间的，不匹配在相应时间和频道播出的特定节目的先前计算的超级直方图的族直方图群然后可以被识别为可能与该节目中的商业广告节目图块相关。
关于重复性，也可能检查是否相同或相似的短时间族直方图在指定时间内被重复，例如，大约一个小时的时间。这是因为某些商业广告节目倾向于重复。例如，啤酒商业广告节目频繁地在广播运动节目中被重复。虽然啤酒商业广告节目的族直方图一般不匹配相应的运动节目的族直方图，但是它可能匹配在运动节目中的先前点播出的相同商业广告节目产生的族直方图。
还有另一个实例，步骤210中的商业广告节目的检测可以被配置来在指定时段内检测多个先前识别的短时间族直方图的不存在。更具体地说，如果大约15分钟的持续时段不包括任何先前识别的多个短时间族直方图，则该15分钟的时段可能是商业广告时间之间的节目段。
此外，也希望利用本发明的技术来检测其它类型的不需要的内容，例如暴力、爆炸、性或其它明确的内容。
将使用本发明的技术来检测的这些内容和其它类型的内容可以被用户标记，例如用户可以指定将被排除或包括的特殊类型的内容。
只要与商业广告节目或其它类型的指定视频内容有关的特殊族直方图已经被识别，这些族直方图就可以被用来标记这类内容的边界。
应当指出，给出的族直方图可以由关键帧表示，该关键帧可能是第一个、最后一个或在族直方图内指定或随机选择的帧、被确定是最接近地与该族直方图有关的关键帧、或making up给出的族直方图的独立帧直方图的平均值。这些表示和其它表示被定为包括在此使用的术语″族直方图″内。
有利地，结合图2说明的说明性处理甚至可以被用来识别那些实质上具有单一调色板的商业广告节目或其它类型的视频内容。例如，在商业广告节目的情况下，商业广告节目的时间一般大约为15来60秒，这将反映于相应的族直方图的持续时间或它在多个有近似持续时间的其它族直方图系列内的存在。
本发明的另一个说明性的实施例可以利用颜色熵方法而被实现。应用于MPEG编码的视频序列的I帧的方法在下面被说明，并且包括下列步骤：
1.对于MPEG编码的视频序列的每个I帧，计算N-bin颜色直方图。
2.确定哪个bin具有最高的votes数目。通过用这个最高votes数目来除每bin的votes总数，从而标准化直方图。这将会产生一个第j个I帧Ij的概率矢量 P ‾ I j ≡ ( P 1 r j , . . . P N I j ) .
3.计算第j个I帧Ij的颜色熵 S = - Σ i P i I j × log P i I j
4.给出一个例如十秒的临时滑动窗口W，其被集中在第j个I帧Ij并且包括FI帧的总数，计算平均熵
< S > = - 1 / F &Sigma; j &Sigma; i P i I j &times; log P i I j .
5.在窗口W内部分别计算<S>：< S>和(<S>-< S>)2的平均值和变化。
6.当窗口从I帧滑动到I帧时，如果在步骤5中计算出来的变化展示一个峰值，则在2或3个连续I帧之后，确定发生这个的第一I帧为新的视频图段的候选。在这个改变之后，如果变化仍然保持很高，则把这个第一I帧标记为商业广告节目的候选。另一方面，如果这个变化迅速降低，则认为这个第一I帧是场景变化的候选。
这个颜色熵方法可以用直接的方式实施于上述的其它技术，例如图1的系统和图2的处理。在上面示出的特殊的颜色熵方法只是作为说明性的例子，并且本领域技术人员将会认识到其它的颜色熵方法也可以根据本发明技术而被实施。
先前指出，通过使用上述技术，只要商业广告节目或其它类型的视频内容已经被检测到，用于除去或处理被标记的商业广告节目或其它内容的常规方法就可以用一个直接的方式被实施，这些常规方法包括快进通过记录的广播节目、静音电视、在数字视频信号中跳到指定点，等等。
本发明的另一个优点在于上述技术不需要非常大的存储器或计算要求就可以被实现。
尽管本发明适合于检测商业广告节目，但是它也可以结合任何指定类型的视频内容检测而被使用，例如，希望显示或记录以及连续播放的任何类型的内容，或将被删除的任何所不希望的类型的内容。
本发明的上述实施例只被定为说明性的。例如，在任何希望类型的图象处理系统或设备中，和在除了在此特别说明的应用之外的许多应用中，本发明可以被用来实现其它类型的图像信号检测。另外，尽管说明中使用颜色直方图，但是本发明技术可以用其它类型的直方图来实现，例如强度直方图等等。本发明还可以至少部分地以一个或多个软件程序的形式来实现，这些软件程序被存储在常规电子、磁的或光存储介质或其它类型存储器上并且通过处理设备来执行，例如通过图1中的系统100的处理器105来执行。这些和大量其它在以下权利要求范畴内的实施例对于本领域技术人员来说是显而易见的。

Claims (19)

1.一个用于处理视频信号的方法，包括下列步骤：
从视频信号的多个帧(K1、K2)中提取直方图(H1、H2)；
比较提取的直方图的至少一个子集中的每一个直方图和族直方图，并且如果提取的直方图属于族直方图的特定范围，则更新族直方图来包括作为新成员的提取的直方图，并且如果提取的直方图不属于族直方图的特定范围，则指出族直方图是完整的并且从提取的直方图中产生一个用于处理后续提取的直方图的新的族直方图(FH1)；和
利用视频信号的一个或多个族直方图来检测(210)视频信号中的特殊类型的视频内容。
2.权利要求1的方法，其中，特殊类型的视频内容包含直播或录播的广播节目中的商业广告节目。
3.权利要求1的方法，其中，在处理提取的第一个直方图中使用的族直方图(i)包含一个被初始化为预定结构的初始族直方图，或(ii)自身被指定为初始族直方图。
4.权利要求1的方法，其中，通过结合族直方图和给出的提取的直方图，为属于族直方图特定范围的给出的提取的直方图之一更新族直方图。
5.权利要求1的方法，其中，利用一个或多个族直方图来检测视频信号中的特殊类型的视频内容的步骤还包括确定族直方图的持续时间。
6.权利要求5的方法，其中，如果族直方图具有属于特定范围的持续时间，则族直方图被指出可能与特殊类型的视频内容相关。
7.权利要求6的方法，其中，对于在直播或录播的广播节目中包含商业广告节目的视频内容，特定范围是15到60秒。
8.权利要求1的方法，其中，利用一个或多个族直方图来检测视频信号中的特殊类型的视频内容的步骤还包括确定族直方图的重复性。
9.权利要求8的方法，其中，确定族直方图的重复性的步骤还包含确定是否族直方图是一系列连续的族直方图之一，该系列中的每个族直方图都具有一个指定的短持续时间。
10.权利要求8的方法，其中，确定族直方图的重复性的步骤还包含确定是否族直方图是先前的族直方图的实质性重复，该重复在先前的族直方图之后的指定时段内出现，其中，(i)重复性在第一个先前指定的3到5分钟的时段中不出现，或者(ii)重复性在第二个先前的指定的15分钟的时段中出现。
11.权利要求1的方法，其中，利用一个或多个族直方图来检测视频信号中的特殊类型的视频内容的步骤还包含：在长度为3到5分钟的时段内，检测多个持续时间小于10秒的短的族直方图中的每一个。
12.权利要求1的方法，其中，利用一个或多个族直方图来检测视频信号中的特殊类型的视频内容的步骤还包含：检测在指定时段出现的多个唯一的族直方图。
13.权利要求1的方法，其中，利用一个或多个族直方图来检测视频信号中的特殊类型的视频内容的步骤还包含：检测持续时间大于指定时间量的任何族直方图的不存在。
14.权利要求13的方法，其中，指定的时间量为30秒。
15.权利要求1的方法，其中，利用一个或多个族直方图来检测视频信号中的特殊类型的视频内容的步骤还包含：比较一个或多个指定持续时间的族直方图和对特殊节目产生的超级直方图。
16.权利要求15的方法，其中，特殊节目的超级直方图被先前计算和存储。
17.权利要求15的方法，其中，通过使用从电子节目指南(EPG)获得的信息，特殊节目和它的关联超级直方图被识别。
18.权利要求1的方法，其中，利用一个或多个族直方图来检测视频信号中的特殊类型的视频内容的步骤还包含：在一个指定的时间段内检测至少一个给定持续时间的多个先前识别的族直方图的不存在。
19.权利要求1的方法，其中，给出的族直方图根据颜色熵技术而被产生，该技术基于确定视频信号的帧内编码帧的滑动窗口内的颜色熵变化中的一个或多个峰值。
CNB028253671A 2001-12-21 2002-12-06 基于族直方图检测广告和其它视频内容的方法 Expired - Fee Related CN1279752C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/028,378 US7170566B2 (en) 2001-12-21 2001-12-21 Family histogram based techniques for detection of commercials and other video content
US10/028,378 2001-12-21

Publications (2)

Publication Number Publication Date
CN1605190A CN1605190A (zh) 2005-04-06
CN1279752C true CN1279752C (zh) 2006-10-11

Family

ID=21843118

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028253671A Expired - Fee Related CN1279752C (zh) 2001-12-21 2002-12-06 基于族直方图检测广告和其它视频内容的方法

Country Status (7)

Country Link
US (1) US7170566B2 (zh)
EP (1) EP1459518A1 (zh)
JP (1) JP2005513663A (zh)
KR (1) KR20040070269A (zh)
CN (1) CN1279752C (zh)
AU (1) AU2002366823A1 (zh)
WO (1) WO2003055202A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813708B2 (en) 2013-12-05 2017-11-07 Industrial Technology Research Institute Method and system of coding prediction for screen video

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003280513A1 (en) * 2002-07-01 2004-01-19 Microsoft Corporation A system and method for providing user control over repeating objects embedded in a stream
US20060107301A1 (en) * 2002-09-23 2006-05-18 Koninklijke Philips Electronics, N.V. Video recorder unit and method of operation therefor
US7324736B2 (en) * 2002-10-09 2008-01-29 Lsi Logic Corporation Intelligent recording control system
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
US7327885B2 (en) * 2003-06-30 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Method for detecting short term unusual events in videos
US7502513B2 (en) * 2003-11-14 2009-03-10 Lsi Corporation Commercial detector with a start of active video detector
US7853968B2 (en) * 2003-12-02 2010-12-14 Lsi Corporation Commercial detection suppressor with inactive video modification
CA2563107C (en) * 2004-03-29 2014-03-04 Nielsen Media Research, Inc. Methods and apparatus to detect a blank frame in a digital video broadcast signal
US20060218573A1 (en) * 2005-03-04 2006-09-28 Stexar Corp. Television program highlight tagging
US7400364B2 (en) * 2005-04-26 2008-07-15 International Business Machines Corporation Sub-program avoidance redirection for broadcast receivers
KR100707189B1 (ko) * 2005-04-29 2007-04-13 삼성전자주식회사 동영상의 광고 검출 장치 및 방법과 그 장치를 제어하는컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
US20070098357A1 (en) * 2005-10-28 2007-05-03 Microsoft Corporation DVR content skip navigation
KR100729660B1 (ko) * 2005-12-09 2007-06-18 한국전자통신연구원 장면 전환 길이를 이용한 디지털 비디오 인식 시스템 및 방법
KR100782828B1 (ko) 2005-12-29 2007-12-06 삼성전자주식회사 디지털 기기에서 알림 메시지를 표시하는 방법 및 상기 알림 메시지 표시 제어 장치
US20070250856A1 (en) * 2006-04-02 2007-10-25 Jennifer Leavens Distinguishing National and Local Broadcast Advertising and Other Content
US7982797B2 (en) * 2006-06-30 2011-07-19 Hewlett-Packard Development Company, L.P. Detecting blocks of commercial content in video data
KR100803747B1 (ko) * 2006-08-23 2008-02-15 삼성전자주식회사 요약 클립 생성 시스템 및 이를 이용한 요약 클립 생성방법
JP4986817B2 (ja) * 2007-11-13 2012-07-25 株式会社ソニーＤａｄｃ 評価装置、評価方法、プログラム
US8189912B2 (en) * 2007-11-24 2012-05-29 International Business Machines Corporation Efficient histogram storage
US20090320060A1 (en) * 2008-06-23 2009-12-24 Microsoft Corporation Advertisement signature tracking
KR101027159B1 (ko) * 2008-07-28 2011-04-05 뮤추얼아이피서비스(주) 타겟 영상 검출 장치 및 그 방법
US8243289B2 (en) * 2009-05-29 2012-08-14 Perceptron, Inc. System and method for dynamic windowing
US20110066944A1 (en) * 2009-09-14 2011-03-17 Barton James M Multifunction Multimedia Device
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US20110137976A1 (en) * 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
EP2840801B1 (en) * 2010-02-26 2017-09-20 Comcast Cable Communications, LLC Video stream segmentation and classification to skip advertisements.
US10116902B2 (en) 2010-02-26 2018-10-30 Comcast Cable Communications, Llc Program segmentation of linear transmission
US8599318B2 (en) * 2010-05-21 2013-12-03 Vixs Systems, Inc. Contrast control device and method therefor
US8698961B2 (en) * 2010-05-21 2014-04-15 Vixs Systems, Inc. Enhanced histogram equalization
US9215511B2 (en) * 2010-11-04 2015-12-15 Verizon Patent And Licensing Inc. Methods and systems for dynamically adjusting at least one of a start and a stop of a recording based on an advertisement break
US8897554B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms
US8750613B2 (en) 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
US8897553B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US9848222B2 (en) 2015-07-15 2017-12-19 The Nielsen Company (Us), Llc Methods and apparatus to detect spillover
US10623818B2 (en) * 2018-06-14 2020-04-14 Andrew Wasicki Television advertisement reduction apparatus
CN110769321B (zh) * 2019-10-14 2020-07-31 安徽省徽腾智能交通科技有限公司泗县分公司 伴音大数据信号现场播放系统
KR102439265B1 (ko) * 2020-10-16 2022-09-01 네이버 주식회사 생중계되는 스포츠 경기에 대한 목록을 제공하는 디스플레이 화면에서 광고 썸네일을 제거하기 위한 전자 장치 및 그의 동작 방법
US11930063B2 (en) * 2020-12-09 2024-03-12 Nagravision S.A. Content completion detection for media content

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4782401A (en) 1979-05-11 1988-11-01 Nelson A. Faerber Editing method and apparatus for commercials during video recording
US4750052A (en) * 1981-02-13 1988-06-07 Zenith Electronics Corporation Apparatus and method for automatically deleting selected program intervals from recorded television broadcasts
US4752834A (en) 1981-08-31 1988-06-21 Shelton Video Editors Inc. Reciprocating recording method and apparatus for controlling a video recorder so as to edit commercial messages from a recorded television signal
US4677466A (en) * 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
JPH01284092A (ja) * 1988-01-26 1989-11-15 Integrated Circuit Technol Ltd ビデオ信号から特定資料を識別し排除する方法及び装置
US4945412A (en) * 1988-06-14 1990-07-31 Kramer Robert A Method of and system for identification and verification of broadcasting television and radio program segments
US5343251A (en) 1993-05-13 1994-08-30 Pareto Partners, Inc. Method and apparatus for classifying patterns of television programs and commercials based on discerning of broadcast audio and video signals
US5668917A (en) * 1994-07-05 1997-09-16 Lewine; Donald A. Apparatus and method for detection of unwanted broadcast information
US5708477A (en) * 1994-12-01 1998-01-13 Forbes; Scott Jared Video signal identifier for controlling a VCR and television based on the occurrence of commercials
DE69637514D1 (de) 1995-03-30 2008-06-19 Thomson Licensing Verfahren und Anordnung zur Klassifizierung von Videosignalen
US5870754A (en) * 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
US6002443A (en) * 1996-11-01 1999-12-14 Iggulden; Jerry Method and apparatus for automatically identifying and selectively altering segments of a television broadcast signal in real-time
US6137544A (en) * 1997-06-02 2000-10-24 Philips Electronics North America Corporation Significant scene detection and frame filtering for a visual indexing system
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
US6469749B1 (en) * 1999-10-13 2002-10-22 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
EP1161098B1 (en) 2000-04-27 2011-06-22 Nippon Telegraph And Telephone Corporation Signal detection method and apparatus
US6714594B2 (en) * 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813708B2 (en) 2013-12-05 2017-11-07 Industrial Technology Research Institute Method and system of coding prediction for screen video

Also Published As

Publication number Publication date
JP2005513663A (ja) 2005-05-12
KR20040070269A (ko) 2004-08-06
US20030117530A1 (en) 2003-06-26
EP1459518A1 (en) 2004-09-22
AU2002366823A1 (en) 2003-07-09
WO2003055202A1 (en) 2003-07-03
CN1605190A (zh) 2005-04-06
US7170566B2 (en) 2007-01-30

Similar Documents

Publication Publication Date Title
CN1279752C (zh) 基于族直方图检测广告和其它视频内容的方法
US6469749B1 (en) Automatic signature-based spotting, learning and extracting of commercials and other video content
US6101274A (en) Method and apparatus for detecting and interpreting textual captions in digital video signals
CN1265321C (zh) 检测视频数据流中卡通的方法和系统
US6744922B1 (en) Signal processing method and video/voice processing device
US7184100B1 (en) Method of selecting key-frames from a video sequence
US6928233B1 (en) Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal
US8264616B2 (en) Scene classification apparatus of video
US20030061612A1 (en) Key frame-based video summary system
JP2009135957A (ja) データ圧縮パラメータを利用したビデオコンテンツ分析方法およびシステム
US20070261075A1 (en) Method for detecting a commercial in a video data stream by evaluating descriptor information
US20110234900A1 (en) Method and apparatus for identifying video program material or content via closed caption data
JP2004520756A (ja) マルチメディアの手掛かりを利用したテレビ番組をセグメント化及びインデクス化する方法
KR20160107734A (ko) 동영상의 시간정보를 이용한 유해 동영상 분류방법 및 장치
CN116363554A (zh) 一种监控视频关键帧提取方法、系统、介质、设备及终端
GB2352915A (en) A method of retrieving text data from a broadcast image
US7734096B2 (en) Method and device for discriminating obscene video using time-based feature value
US6690825B1 (en) Image processing apparatus and method
McGee et al. Parsing TV programs for identification and removal of nonstory segments
CN1679027A (zh) 用于检测视频图像序列中内容属性的设备和方法
KR100683501B1 (ko) 신경망 기법을 이용한 뉴스 비디오의 앵커 화면 추출 장치및 그 방법
CN100426329C (zh) 人物缩图序列产生系统与方法
Leszczuk et al. Accuracy vs. speed trade-off in detecting of shots in video content for abstracting digital video libraries
EP1065877A1 (en) Segment identification for compressed video bit-streams
CN112653892B (zh) 一种利用视频特征实现转码测试评估的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: IPG ELECTRONICS 503 CO., LTD.

Free format text: FORMER NAME: KONINKLIJKE PHILIPS ELECTRONICS N.V.

CP03 Change of name, title or address

Address after: British Channel Islands

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: PENDRAGON WIRELESS CO., LTD.

Free format text: FORMER OWNER: IPG ELECTRONICS 503 LTD.

Effective date: 20130109

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130109

Address after: Washington State

Patentee after: Pendragon wireless limited liability company

Address before: British Channel Islands

Patentee before: Koninkl Philips Electronics NV

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061011

Termination date: 20141206

EXPY Termination of patent right or utility model