CN103152632A - 一种多媒体节目的定位方法及装置 - Google Patents

Abstract

本发明公开了一种多媒体节目的定位方法，包括以下步骤：预设样本数据库，所述样本数据库包括不少于一种节目的片头样本和片尾样本，还包括所述片头样本和片尾样本的特征文件；获取所述各节目的电子节目指南；根据所述各节目的片头样本、片尾样本和电子节目指南，生成所述各节目的片头片尾配置文件；根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中确定所述各多媒体节目的开始位置和结束位置。本技术方案能够避免单纯利用一种方法定位节目起止位置精度不高的问题，通过样本数据库和电子节目指南快速准确定位具有特定片头和片尾的多媒体节目。本发明还公开了用于实现所述方法的装置。

Description

一种多媒体节目的定位方法及装置

技术领域

本发明涉及多媒体技术领域，尤其涉及一种多媒体节目的定位方法及装置。

背景技术

随着现代电视媒体技术的飞速发展，电视频道和节目数量日益丰富，同时越来越多的电视台把节目放在互联网上供用户在线点播。电视台的网站一般都采取VOD(Video-on-Demand视频点播)形式，提供实时视频数据流在线直播或点播，视频来源一般来自电视台已经或正在播出的节目。这样的在线点播系统一般不需要节目分割，因为电视台拥有可服务的节目资源，供点播的都是完整的节目或完整的剧集。随着互联网的广泛普及和信息技术的不断进步，视频点播和共享网站蓬勃发展，视频网站快速兴起，并开始逐步挑战传统广播电视的媒体主导地位，大量用户通过这些视频网站观看已经播出的电视节目。这样就需要把电视流中的节目分割出来，然后上传到网站上供用户观看，即在大量多媒体数据中找到各个节目的起止位置，对节目进行分割以提取完整的节目。

目前，电视节目分割一般有两种方法，一种是利用元数据进行节目分割，元数据包括电子节目指南(Electronic Program Guide，EPG)，事件信息表(EventInformation Table，EIT)及远程文本等。这些信息表取决于电视传输标准，如DVB(Digital Video Broadcasting数字视频广播)、ATSC(Advanced TelevisionSystem Committee，先进电视制式委员会)和ISDB-T(Integrated Services DigitalBroadcasting，综合业务数字广播)等。基于元数据的节目分割方法是充分利用电视流中的节目编排信息对数据中的节目进行分割。另一种是通过内容分析进行节目分割。基于内容分析的方法则是利用电视节目编排的内容特征，从低层特征分析出发，利用一定的规律进行节目分割。

利用元数据进行节目分割的优点是方法简单，只要从网站或数字电视流中提取相应的节目信息表就可以实现节目分割，但是要求得到录制数据的起始时间位置，这样才能利用节目时间表进行分割。该方法的弊端是对节目时间表的依赖性很强，如果节目编排临时变动，则无法利用节目时间表进行节目分割，另外在实时录制过程中的数据时间漂移所造成的累计偏差，会影响分割结果的精度。通过视频内容分析进行节目分割主要是对电视节目内容的低层特征，如镜头变化和类型，视频对象和场景、视频内容的相似性进行节目分割。由于目前的机器自动分析水平和理解能力与人类智能还有很大的距离，因此还不能完全通过机器实现视频的自动语义理解，因此这种方法进行电视节目分割的结果常常精确度不够，很难在实际应用中使用。

发明内容

本发明实施例提供一种多媒体节目的定位方法及装置，能够解决目前基于元数据的节目分割方法和基于内容分析的方法对节目起始位置定位存在的问题，通过利用节目具有固定内容的片头和片尾的特点，综合利用样本数据库、电子节目指南和固定图像或滚动字幕检测定位各多媒体节目。

本发明的一个方面，提出了一种多媒体节目的定位方法，包括以下步骤：预设样本数据库，所述样本数据库包括不少于一种节目的片头样本和片尾样本，还包括所述片头样本和片尾样本的特征文件；获取所述各节目的电子节目指南；根据所述各节目的片头样本、片尾样本和电子节目指南，生成所述各节目的片头片尾配置文件；根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中确定所述各多媒体节目的开始位置和结束位置。本技术方案能够避免单纯利用一种方法定位节目起止位置精度不高的问题，通过样本数据库和电子节目指南快速准确定位具有特定片头和片尾的多媒体节目。

优选的，所述根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中定位所述各多媒体节目的步骤之后还包括：根据预设的镜头检测算法对所述各多媒体节目的开始位置和结束位置进行校正。本技术方案能够根据初步定位结果进一步将多媒体节目的起止位置定位至一帧图像，提高定位精度。

优选的，所述片头样本和片尾样本的特征文件通过提取所述各样本的颜色边缘方向描述子特征获得。本技术方案进一步通过提取样本文件的颜色边缘方向描述子确定样本的特征文件，为图像匹配提供参考标准，提高定位精度。

优选的，所述电子节目指南通过网络抓取或多媒体流中提取，包括节目名称、节目开始时间和节目结束时间。本技术方案能够充分利用互联网资源或多媒体流本身包含的节目编排信息元数据，在线获取各节目的电子节目指南信息，为节目的初步定位提供基本时间点。

优选的，所述片头片尾配置文件包括节目名称、节目样本类型、节目开始时间和节目结束时间。本技术方案中，根据片头片尾配置文件包含的详细内容，能够将待检测的多媒体流进行分类和初步定位时间点，并确定选择哪种检测算法。

优选的，所述根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中确定所述各多媒体节目的开始位置和结束位置的步骤包括：当所述片头片尾配置文件确定所述节目的片头和片尾的内容不变时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置和结束位置；当所述片头片尾配置文件确定所述节目的片尾的内容包含滚动字幕时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置，通过预设的基于滚动字幕的检测算法确定所述节目的结束位置。本技术方案能够通过配置文件中描述的片头片尾种类的不同选择对应的检测算法，精确定位多媒体节目。

本发明的另一个方面，还提出了一种多媒体节目的定位装置，包括数据库设置模块、电子节目指南获取模块、配置文件生成模块和节目定位模块，其中：所述数据库设置模块，用于预设样本数据库，所述样本数据库包括不少于一种节目的片头样本和片尾样本，还包括所述片头样本和片尾样本的特征文件；所述电子节目指南获取模块，用于获取所述各节目的电子节目指南；所述配置文件生成模块，用于根据所述各节目的片头样本、片尾样本和电子节目指南，生成所述各节目的片头片尾配置文件；所述节目定位模块，用于根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中确定所述各多媒体节目的开始位置和结束位置。

优选的，还包括位置校正模块，用于根据预设的镜头检测算法对所述各多媒体节目的开始位置和结束位置进行校正。

优选的，所述数据库设置模块进一步用于，通过提取所述各样本的颜色边缘方向描述子特征获得片头样本和片尾样本的特征文件。

优选的，所述电子节目指南获取模块进一步用于，通过网络抓取电子节目指南，所述电子节目指南包括节目名称、节目开始时间和节目结束时间。

优选的，所述节目定位模块进一步用于：当所述片头片尾配置文件确定所述节目的片头和片尾的内容不变时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置和结束位置；当所述片头片尾配置文件确定所述节目的片尾的内容包含滚动字幕时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置，通过预设的基于滚动字幕的检测算法确定所述节目的结束位置。

通过本发明的多媒体节目定位方法及装置，利用样本数据库及各样本的特征文件以及各样本的电子节目指南，生成各样本的配置文件，通过配置文件和预设检测算法得到各节目在多媒体流中的起止位置，能够避免单纯依靠元数据方法或者内容分析方法定位节目起止位置不精确的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明实施例中的多媒体节目的定位方法的流程图；

图2是本发明实施例中多媒体节目的定位方法优选实施方式的流程图；

图3是本发明实施例中多媒体节目的定位装置的结构示意图；

图4是本发明实施例中多媒体节目的定位装置优选实施方式的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

为了解决基于元数据的节目分割方法和基于内容分析的方法存在的问题，发明人观察到大部分电视节目在很长一段时间内都有固定内容的片头和片尾，一部分节目的片尾内容不固定但在片尾的固定区域很出现滚动字幕来显示该节目的相关信息，因此根据电视节目的片头片尾特点提出一种多媒体节目的定位方法及装置，能够解决目前基于元数据的节目分割方法和基于内容分析的方法对节目起始位置定位存在的问题，通过利用节目具有固定内容的片头和片尾的特点，综合利用样本数据库、电子节目指南和固定图像或滚动字幕检测定位各多媒体节目。

图1为本发明实施例中的多媒体节目的定位方法的流程图。如图1所示，包括以下步骤：

步骤101、预设样本数据库，所述样本数据库包括不少于一种节目的片头样本和片尾样本，还包括所述片头样本和片尾样本的特征文件；

步骤102、获取所述各节目的电子节目指南；

步骤103、根据所述各节目的片头样本、片尾样本和电子节目指南，生成所述各节目的片头片尾配置文件；

步骤104、根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中确定所述各多媒体节目的开始位置和结束位置。

在步骤101中，把需要分割的节目建立一个包含尽量多参考样本的数据库，根据检测的目标不同，参考数据库保存了各种节目片头样本和片尾样本，这些样本对应的节目开头和结尾在较长时间内容不会发生变化。片头样本和片尾样本的特征文件通过提取所述各样本的颜色边缘方向描述子特征获得。对数据库中的每一个样本都离线提取特征文件，本实施例中采用的特征是颜色边缘方向描述子(CEDD，Color and Edge Directivity Descriptor)，CEDD算法对输入的每一幅图像计算出色彩边缘度描述，这个特征描述是一个144维的浮点型的数组。对数据库中的每一个样本的每一帧图像提取CEDD特征，同一个样本的特征保存到一个特征文件中，为后面的图像匹配做准备。

在步骤102中，数字传输模式下，电视流的元数据保存在事件信息表(EventInformation Table EIT)中，EIT一般有两种：包括节目时间安排表(保存几天的节目编排信息)和EIT次序表(包括当前和后续节目的准确起止时间和节目信息)。除了在电视流中加上节目编排信息元数据外，现在电视台基本会在其网站上发布一周的节目时间表，方便观众按时收看节目。因此电子节目指南(Electronic Program Guide，EPG)可以通过网络抓取或者从多媒体流中提取获得，包括节目名称、节目开始时间和节目结束时间。

在步骤103中，片头片尾配置文件通过节目片头片尾数据库和电子节目指南生成，包含节目名称、节目样本类型(片头或片尾，片尾是否是滚动字幕形式)及节目时间点(节目开始时间或结束时间)。根据片头片尾配置文件包含的详细内容，能够将待检测的多媒体流进行分类和初步定位时间点，并确定选择哪种检测算法。

在步骤104中，根据片头片尾配置文件启动片头片尾检测算法，当所述片头片尾配置文件确定所述节目的片头和片尾的内容不变时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置和结束位置；当所述片头片尾配置文件确定所述节目的片尾的内容包含滚动字幕时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置，通过预设的基于滚动字幕的检测算法确定所述节目的结束位置。

具体的检测算法如下所述：

基于图像匹配的检测算法：对于直播流中的电视视频，每10秒生成一个文件，对视频文件中的每一帧图像提取CEDD特征h_l，然后在对应的节目样本的特征H＝{h₁，h₂，…，h_n}中找两者距离最小的特征，两个特征之间的距离计算公式为： $\mathrm{sim}(h_i,h_j)=100*(1-\frac{h_i^T{h}_j}{h_i^T{h}_i+h_j^T{h}_j-h_i^T{h}_j}),$ 其中h^T向量h的转置向量。若最小距离值于10则说明直播流的该帧图像是节目样本中的一帧，该帧图像的描述为1，若最小距离大于等于10，说明该帧图像不是节目样本中的一帧，该帧图像描述为0。通过特征查询可以得到直播流中每一帧图像的描述，每10秒钟做一次后处理：若有连续10帧图像的描述为1，说明直播流中节目片头或片尾已经开始，记录下连续10帧图像为1开始的时间，作为节目片头片尾检测的初始结果。每一个10秒文件都会得到初始结果。

基于滚动字幕的检测算法：通过配置文件得到滚动字幕出现的区域，对于直播流中的每一帧图像做边缘检测，进而得到检测配置文件指定区域是否有字幕出现。计算相邻图像间指定区域的平均图像差分值，若平均差分值大于20，说明该区域有运动。若一帧图像的指定区域既有字幕又有运动，说明该帧图像中包含滚动字幕，是某一个节目片尾中的一帧图像，该帧图像的描述变为1，否则该帧图像的描述为0。可以得到直播流中每一帧图像的描述，每10秒钟做一次后处理：若有连续10帧图像的描述为1，说明直播流中节目片尾已经开始，记录下连续10帧图像为1开始的时间，作为节目片尾检测的初始结果。每一个10秒文件都会得到初始结果。

上述技术方案能够通过配置文件中描述的片头片尾种类的不同选择对应的检测算法，精确定位多媒体节目，避免单纯利用一种方法定位节目起止位置精度不高的问题，通过样本数据库和电子节目指南快速准确定位具有特定片头和片尾的多媒体节目。

图2是本发明实施例中多媒体定位方法的优选实施方式的流程图。如图2所示，除步骤201至204与前面实施例中相同之外，还包括：

步骤205、根据预设的镜头检测算法对所述各多媒体节目的开始位置和结束位置进行校正。

该镜头检测算法中，镜头是指摄像机一次连续拍摄所得到的内容，它是视频的基本单位，镜头边界检测的主要根据是镜头内部的相邻帧之间有很大的相似性，当发生镜头边界时，该相似性将被破坏。首先计算每一帧图像的灰度颜色直方图hist，hist有256个bin，并归一化即所有的bin相加等于1；再通过公式 $\mathrm{similar}({\mathrm{hist}}_n,{\mathrm{hist}}_{n+1})=\underset{i=0}{\overset{255}{\mathrm{\Σ}}}\min ({\mathrm{hist}}_{n,i},{\mathrm{hist}}_{n+1,i})$ 计算相邻帧之间的相似性，其中min()是求较小值函数，若相邻帧之间的相似度值小于0.75，则说明发生了镜头变化。

通过步骤204得到片头在视频流中最早开始出现的位置head_pos和片尾在视频流中早晚出现的位置tail_pos，通过步骤205得到视频流镜头开始变化的位置shot_pos＝{shot_pos₁，…，shot_pos_n}。校正过程如下：对于head_pos和tail_pos，分别在shot_pos＝{shot_pos₁，…，shot_pos_n}寻找位置i和j满足shot_pos_i＜head_pos＜＝shot_pos_i+i和shot_pos_j＜tail_pos＜＝shot_pos_j+1，并校正head_pos和tail_pos令head_pos＝shot_pos_i，tail_pos＝shot_pos_j+1-1。最终得到的head_pos和tail_pos是节目片头片尾的精确位置。本实施例的技术方案能够根据初步定位结果进一步将多媒体节目的起止位置定位至一帧图像，提高定位精度。

图3是本发明实施例中多媒体节目的定位装置的结构示意图。如图3所示，包括数据库设置模块301、电子节目指南获取模块302、配置文件生成模块303和节目定位模块304，其中：所述数据库设置模块301，用于预设样本数据库，所述样本数据库包括不少于一种节目的片头样本和片尾样本，还包括所述片头样本和片尾样本的特征文件；所述电子节目指南获取模块302，用于获取所述各节目的电子节目指南；所述配置文件生成模块303，用于根据所述各节目的片头样本、片尾样本和电子节目指南，生成所述各节目的片头片尾配置文件；所述节目定位模块304，用于根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中确定所述各多媒体节目的开始位置和结束位置。

本实施例中，所述数据库设置模块进一步用于，通过提取所述各样本的颜色边缘方向描述子特征获得片头样本和片尾样本的特征文件。所述电子节目指南获取模块进一步用于，通过网络抓取电子节目指南，所述电子节目指南包括节目名称、节目开始时间和节目结束时间。所述节目定位模块进一步用于：当所述片头片尾配置文件确定所述节目的片头和片尾的内容不变时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置和结束位置；当所述片头片尾配置文件确定所述节目的片尾的内容包含滚动字幕时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置，通过预设的基于滚动字幕的检测算法确定所述节目的结束位置。

图4是本发明实施例中多媒体节目的定位装置优选实施方式的结构示意图。如图4所示，除数据库设置模块401、电子节目指南获取模块402、配置文件生成模块403和节目定位模块404与上一个装置实施例相同之外，还包括位置校正模块405，用于根据预设的镜头检测算法对所述各多媒体节目的开始位置和结束位置进行校正，各模块的作用与第二个方法实施例一一对应，在此不再赘述。

通过本发明的多媒体节目定位方法及装置，利用样本数据库及各样本的特征文件以及各样本的电子节目指南，生成各样本的配置文件，通过配置文件和预设检测算法得到各节目在多媒体流中的起止位置，能够避免单纯依靠元数据方法或者内容分析方法定位节目起止位置不精确的问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种多媒体节目的定位方法，其特征在于，包括以下步骤：

预设样本数据库，所述样本数据库包括不少于一种节目的片头样本和片尾样本，还包括所述片头样本和片尾样本的特征文件；

获取所述各节目的电子节目指南；

根据所述各节目的片头样本、片尾样本和电子节目指南，生成所述各节目的片头片尾配置文件；

根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中确定所述各多媒体节目的开始位置和结束位置。

2.根据权利要求1所述的方法，其特征在于，所述根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中定位所述各多媒体节目的步骤之后还包括：

根据预设的镜头检测算法对所述各多媒体节目的开始位置和结束位置进行校正。

3.根据权利要求1或2所述的方法，其特征在于，所述片头样本和片尾样本的特征文件通过提取所述各样本的颜色边缘方向描述子特征获得。

4.根据权利要求1或2所述的方法，其特征在于，所述电子节目指南通过网络抓取或多媒体流中提取，包括节目名称、节目开始时间和节目结束时间。

5.根据权利要求1或2所述的方法，其特征在于，所述片头片尾配置文件包括节目名称、节目样本类型、节目开始时间和节目结束时间。

6.根据权利要求1或2所述的方法，其特征在于，所述根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中确定所述各多媒体节目的开始位置和结束位置的步骤包括：

当所述片头片尾配置文件确定所述节目的片头和片尾的内容不变时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置和结束位置；

当所述片头片尾配置文件确定所述节目的片尾的内容包含滚动字幕时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置，通过预设的基于滚动字幕的检测算法确定所述节目的结束位置。

7.一种多媒体节目的定位装置，其特征在于，包括数据库设置模块、电子节目指南获取模块、配置文件生成模块和节目定位模块，其中：

所述数据库设置模块，用于预设样本数据库，所述样本数据库包括不少于一种节目的片头样本和片尾样本，还包括所述片头样本和片尾样本的特征文件；

所述电子节目指南获取模块，用于获取所述各节目的电子节目指南；

所述配置文件生成模块，用于根据所述各节目的片头样本、片尾样本和电子节目指南，生成所述各节目的片头片尾配置文件；

所述节目定位模块，用于根据所述片头片尾配置文件和所述片头样本和片尾样本的特征文件在多媒体流中确定所述各多媒体节目的开始位置和结束位置。

8.根据权利要求7所述的装置，其特征在于，还包括位置校正模块，用于根据预设的镜头检测算法对所述各多媒体节目的开始位置和结束位置进行校正。

9.根据权利要求7或8所述的装置，其特征在于，所述数据库设置模块进一步用于，通过提取所述各样本的颜色边缘方向描述子特征获得片头样本和片尾样本的特征文件。

10.根据权利要求7或8所述的装置，其特征在于，所述电子节目指南获取模块进一步用于，通过网络抓取电子节目指南，所述电子节目指南包括节目名称、节目开始时间和节目结束时间。

11.根据权利要求7或8所述的装置，其特征在于，所述节目定位模块进一步用于：

当所述片头片尾配置文件确定所述节目的片头和片尾的内容不变时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置和结束位置；

当所述片头片尾配置文件确定所述节目的片尾的内容包含滚动字幕时，通过预设的基于图像匹配的检测算法确定所述节目的开始位置，通过预设的基于滚动字幕的检测算法确定所述节目的结束位置。

Images