CN1703083A - 移动图像处理装置和方法 - Google Patents

Abstract

本发明涉及移动图像处理装置和方法，该装置能以更高的准确度区分节目主体部分和广告。该装置包括相似镜头检测单元，测量部分移动图像之间的相似度并指定相似的部分移动图像；元镜头边界候选时间输入装置，从外部接收可以作为元镜头边界候选的移动图像内的时间；临时元镜头属性分配单元，将相同的属性分配给包含已被分组且属于相同的元镜头组的部分移动图像的临时元镜头，元镜头组是根据元镜头边界时间输入单元输入的元镜头边界时间分割的；和元镜头生成单元，通过耦合多个临时元镜头来定义元镜头，多个临时元镜头在时间上连续且基于分配的属性而具有相同的属性，或者，当具有相同属性的临时元镜头不连续时，定义临时元镜头自身为元镜头。

Description

移动图像处理装置和方法

相关申请的交叉引用

本申请以2004年5月26日提交的申请号为2004-156809的在先日本专利申请为基础并要求其优先权；其所有内容在此引入作为参考。

技术领域

本发明涉及一种用于产生元镜头的移动图像处理装置、移动图像处理方法，以及移动图像处理程序，所述元镜头包括作为在移动图像内容进行切换的改变点被分割的移动图像的多个部分移动图像。

背景技术

随着高性能个人计算机(PC)和硬盘记录器的广泛使用，视频和移动图像的数字化和存储技术也已经有了很大的发展。这种技术以软件和硬件的形式实现，不仅已经实现了商业使用，还可实现了家用。

特别地，例如，个人计算机或记录器的硬盘(HDD)是以电磁的方式记录视频的。因此，有这样的优点：使目标节目的再现以更少的等待时间启动，方便地限制性地删除不想要的节目等等，这是在传统的录像带上不能获得的。这种改进可以方便地使记录这类操作更为简单。

另一方面，当记录大量视频时，就产生了很难检索到希望得到的场景这种问题。这种问题可以由所谓的“跳过(skipping over)”程序使用快进功能以便减少检索时间的方式来解决。

然而，由于这样的“跳过”是跳过例如每几秒一帧的与节目内容的结构无关的物理单元的显示帧，那么，就会产生感兴趣的场景被错过的新问题。

为了解决这样的问题，使用图像处理技术的技术研究和产品已经有了很大的发展，所述技术研究和产品发展是为能跳过每一个部分移动图像(以下被称为“镜头”)，而将移动图像在其图像内容进行切换的图像改变点(以下被称为“剪切点(cut point)”)处分割成部分移动图像。

如上所述产生的许多镜头的再现时间长度可以只有几秒钟短。在一个镜头非常短的情况下，不会产生减少检索时间的效果。

为了解决这一问题，已经提出一些技术建议，并作出一些产品开发(例如，参见日本专利申请公报No.Hei-3-177175、Hei-3-184483、Hei-8-317342)，所述技术提供能自动地在节目中区分广告和其他非广告的内容(以下被称为“节目主体部分”)的属性，或者自动地定义边界以便于用户区分。

这些技术和产品如下：当记录广播节目时，利用立体声广播，多路声音广播，单声道广播等等之间的声音模式切换，自动地将立体声部分区分作广告；利用出现在广告起始和结束部分的固定时间长度的无声部分，使用无声部分并提示为广告之间或者广告和节目主体部分之间的边界；或者利用15秒的倍数等的广告的时间长度，使用N秒的倍数的剪切点的结合并提示为广告之间或者广告和节目主体部分这间的边界。因此，更易于用户有选择地观看节目主体部分或广告。

根据上文所述文献中的方法，还存在下述问题：当节目主体部分和广告使用同一声音模式(如立体声模式)广播时，找不到边界；当无声部分存在于节目主体部分时，定义了不想要的边界；当在节目主体部分的15秒的倍数的间隔存在剪切时，这一区间会被错误地定义为广告。

本发明是在考虑到上述问题基础上实现的，本发明的目的是提供一种移动图像的处理装置和方法，能够以更高的准确度自动地区分节目主体部分和广告。

发明内容

根据本发明的一个实施例，在移动图像处理装置中，为了用于将作为在图像改变点被分割的单个部分移动图像组或多个部分移动图像的集合的元镜头分类为具有同样属性的元镜头，该图像改变点是指移动图像的内容进行切换的点，所述移动图像处理装置包括：相似度测量处理单元，所述相似度测量处理单元用于测量在移动图像的内容进行切换的图像改变点处被分割的多个部分移动图像之间的相似度；相似镜头指定处理单元，所述相似镜头指定处理单元用于基于所述测量的相似度，指定彼此相似的部分移动图像；分组处理单元，所述分组处理单元用于分配相同的组属性给所述指定的相似部分移动图像；元镜头边界候选时间输入处理单元，所述元镜头边界候选时间输入处理单元用于从外部接收可以作为所述元镜头的边界候选的移动图像内的时间，并且根据所述接收的元镜头边界候选时间，将所述移动图像分割成为作为多个区间的临时元镜头；以及临时元镜头属性分配处理单元，所述临时元镜头属性分配处理单元用于将相同的属性分配所述已被分割的包含已被分配相同的组属性的部分移动图像的临时元镜头。

因为，根据本发明的移动图像处理装置给节目主体部分区间和广告(临时元镜头)区间分配属性，所述节目主体部分区间和广告区间是通过如上所述的专利文献等所述的方法在时间上定义的，所述属性通过使用相似镜头出现的趋势来表示区间是属于节目主体部分还是属于广告，所以可以以比传统的方法更高的准确度区分节目主体部分区间和广告。

附图说明

图1是示出了根据实施例1的移动图像处理装置的功能配置的框图。

图2是用于说明根据实施例1的移动图像处理装置的操作的示意图。

图3是用于说明根据实施例1的移动图像处理装置的操作的示意图。

图4是示出了根据实施例1的移动图像处理装置中的移动图像处理的流程图。

图5示出了根据实施例1的移动图像处理装置的硬件配置。

图6是示出了根据实施例2的移动图像处理装置的功能配置框图。

图7是用于说明根据实施例2的移动图像处理装置的操作的示意图。

图8是用于说明根据实施例2的移动图像处理装置的操作的示意图。

图9是示出了根据实施例2的移动图像处理装置中的移动图像处理的流程图。

图10是用于说明根据实施例3的移动图像处理装置的操作的示意图。

具体实施方式

下面将参照附图详细说明本发明的移动图像处理装置和移动图像处理方法以及移动图像处理程序的实施例。

在本发明的实施例中，单词“元镜头”作为一概括术语，用于表示一组时间上连续的多个镜头(或单个镜头)。此外，“临时元镜头(temporary meta shot)”用于表示被外部输入的元镜头边界候选(时间信息)所分割的移动图像的多个区间。

另外，在本发明的实施例中，术语“广告”的含义不仅包括商业广播公司播出的所谓的“广告”，而且还包括与节目主体部分直接联系少于一分钟的元镜头，诸如公共广播公司、付费电视广播公司等播出的节目预览或活动通知等。

还有，例如，在下述本发明的实施例中，将描述在分配“非广告(即节目主体部分)”或“广告(即非节目主体部分)”作为元镜头属性的情况下的处理。

[实施例1]

图1是示出按照本发明实施例1的移动图像处理装置10的功能配置框图。

移动图像处理装置10包括移动图像获取单元101，剪切检测单元102，镜头区间定义单元103，相似镜头检测单元104，临时元镜头属性分配单元105，元镜头生成单元107，元镜头信息输出单元108，以及元镜头边界候选时间输入单元109。

(1)动图像获取单元101

例如，移动图像获取单元101经由与涉及的移动图像处理装置10连接的广播节目接收器(调谐器)，从外部获取移动图像。

移动图像获取单元101可以获取未经压缩的移动图像。而且，还可以获取已经转化为DV(数字视频)格式的数字数据，或已经转化为作为移动图像压缩标准格式的MPEG-1，2，4压缩标准的数字数据。

移动图像获取单元101将获取的图像改变为适合剪切检测单元102处理的格式，并将转化后的移动图像传送给剪切检测单元102。例如，此处，该转化为合适的格式的处理是将已经压缩(编码)的移动图像解压缩(解码)的处理。而且，该转化可以是将移动图像的尺寸转化为剪切检测单元102处理所必须的和足够的图像尺寸的处理。

(2)剪切检测单元102

剪切检测单元102计算输入的一图像帧与其前一帧图像的相似度，所述图像帧为一帧接一帧地输入，并检测图像内容进行切换的图像改变点，即，剪切点。此外，当获取如在MPEG-2中那样使用预测编码进行图像压缩时，可以通过使用预测编码量的变化来检测剪切点。

顺便说明，剪切检测单元102检测剪切点的方法不限于实施例所述，该方法可以通过各种现有已知技术实现。该种技术在本申请的申请人提交的专利文献4(日本专利申请公报No.Hei-9-93588)等中得到描述。

(3)镜头区间定义单元103

镜头区间定义单元103定义一组图像帧为“镜头”，该组图像帧属于同一时间区间，并被剪切检测单元102检测出的时间上位置最近的两个剪切点所包围。例如，当一个剪切点刚好在再现时间的3′15″20帧之前被检测到，下一个剪切点刚好在3′21″12帧之前被检测到，则将3′15″20帧到3′21″11帧之间的帧定义为一个镜头。此处，当视频再现时，再现时间是指视频启动之后到预定帧被再现之前所需的时间。

(4)相似镜头镜头检测单元104

相似镜头检测单元104利用镜头区间定义单元103定义的镜头作为一个单元来检测相似镜头。具体地，其从各个镜头中选择包含在一个镜头中的一个或两个或更多帧作为目标。然后，其通过比较这些帧来测量相似度。

关于镜头之间相似性比较，可以使用本申请的申请人提交的专利文献5(日本专利申请公报No.Hei-9-270006)所述的方法，等等。依据该方法，作为目标的两帧中的特征量被分别计算。然后，计算这两特征量之间的距离。例如，在使用角度直方图的特征量被使用的情况下，计算在36维空间的两特征量点之间的距离。该距离是与相似度相关的一个数值，该距离值越小，相似度越高。

镜头之间相似性比较的方法不仅可以通过如上所述的专利文献5中所述的方法实现，还可以通过从作为比较目标的两帧中分别提取面部区域，然后比较提取的面部区域的图像之间的相似性来实现。

此外，该方法还可以通过下述方法实现：通过如上所述的方式从作为比较目标的两帧中提取面部区域，再从提取的面部区域图像中识别人，然后以这两帧中识别的人是否相同为依据来确定相似性。

依据这些方法，对于因为拍摄角度和摄像位置的不同，依据上述方法不能被确定为相似的镜头的可以依据“镜头中出现同一人”被确定为相似的镜头。

顺便说明，上文已经描述了镜头之间相似性比较方法的例子，本发明的移动图像处理装置10可以使用的相似性比较方法并不局限于上文所述的例子。

在测量得出的相似度等于或大于预定值的情况下，被检测的两个镜头被认为是彼此相似的镜头。因此，基于镜头之间的相似度就可确定相似的镜头。

相似图像镜头检测单元104测量包含在一个移动图像内的一个镜头与包含在该移动图像内的所有其他的镜头之间的相似度，然而，作为另一个例子，也可以测量一个镜头与同该镜头时间上接近的限定的预定数量的镜头之间的相似度。

(5)元镜头边界候选时间输入单元109

一方面，元镜头边界候选时间输入单元109从外部输入感兴趣的移动图像的元镜头之间的边界(例如，广告的一组连续的镜头与非广告的一组连续的镜头之间的边界)的时间信息。

例如，外部提供的时间信息假定通过下述方法生成。第一到第三生成例子在技术上已经在说明书的“技术领域”中描述的专利文献中以及已经公布产品中提出或实现。

(5-1)第一生成时间信息的例子

第一生成例子所生成的时间是指叠加在广播电波(air wave)上的声音信号模式(立体声广播，多路声音广播＝双语广播，单声道广播等等)被切换的时间。这已经被实现为模拟磁带录像机的广告检测功能。

(5-2)第二生成时间信息的例子

第二生成例子所产生的时间是无声片断的诸如起始时间、终止时间或者中间时间之类的任意时间。所述“无声片断”是指当观测到包含在一移动图像内的音频信号在固定时间段(如0.5秒等)内的声级(波形数据的平方)等于或小于固定值的情况。这也已经被实现为模拟磁带录像机的无声部分自动分割功能。

(5-3)第三生成时间信息的例子

第三生成例子是一种这样的方法，作为通过如上所述的利用广告通常有特定时间长度如15秒，30秒，或者60秒的事实的方法的剪切检测的结果，搜索其中剪切点是15秒倍的的组合，并且，当发现这样的组合时，则定义其为广告和节目主体部分的边界，并且定义被这种组合包围的时间上更短的时间片断为作为广告的元镜头。

(5-4)第四生成时间信息的例子

作为第四生成例子，在数字广播使用MPEG-2压缩标准的情况下  可以假定广告和节目的主体部分之间的传输系统是不同的。

例如，在播放电影等的节目的情况下，在每秒24帧的胶片上形成原始的电影，然而，作为一个用于电视广播的系统，可以使用“3-2下拉(pull down)”方法对其进行编码，使其转化为30帧(60场)。通过观测MPEG-2视频数据流中“3-2下拉”存在或不存在，来定义未经过“3-2下拉”编码的广告部分与节目主体部分(电影)之间的边界。

(5-5)第五生成时间信息的例子

在第五生成例子中，可以在节目的中间或在节目的主体部分与广告之间以某种标准进行分辨率等的切换。也就是说，有可能广告部分以高清晰度广播，而节目主体部分以标准的电视分辨率广播，或者相反。因此，分辨率等的改变点可以用作元镜头边界候选。

(5-6)第六生成时间信息的例子

在第六生成例子中，移动图像处理装置10的使用者、广播者、或者不同于这些人的第三方，可以手动输入广告与节目主体部分之间的边界。在此情况下，例如，操作者在注视电视屏幕的同时，当其感觉到广告部分与节目主体部分之间的边界时，可以按下按钮，并且在移动图像处理装置10中输入这一时间作为元镜头边界候选时间。

(5-7)临时元镜头例子

图2示出了输入到移动图像获取单元101的移动图像基于上述元镜头边界候选时间被分割为临时元镜头的例子。图2是用于解释依据本发明实施例1中移动图像处理装置10操作的概念性框图。

临时元镜头201至213表示从上述元镜头边界候选时间输入单元109输入的临时元镜头的定义。在图2中，时间从左至右移动，并且左向是节目起始方向，右向是节目结束的方向。在图2例子中，假定通过无声检测来定义临时元镜头。

临时元镜头203至206以及209至212均是30秒的广告，但是在这一阶段，然而，移动图像处理装置10还不能确定临时元镜头是否为广告。将通过下述方法来确定临时元镜头是否为广告。

在图2中，251至257表示在临时元镜头中的一些镜头，并且，镜头251和镜头254，镜头252和镜头253，镜头255和镜头256在相似镜头检测单元104中被确定为相似镜头，并且分别分配给它们相同的组属性。也就是说，将镜头模式“A”分配给镜头251和镜头254，将镜头模式“B”分配给镜头252和镜头253，将镜头模式“C”分配给镜头256和镜头257。

(6)临时元镜头属性分配单元105

临时元镜头属性分配单元105使用相似镜头的组属性将属性分配给临时元镜头。

也就是说，首先，将一个元镜头模式“a”的属性分配给临时元镜头201和207，所述临时元镜头201和207包含属于镜头模式“A”的镜头。

其次，尝试将同一属性分配给临时元镜头202和207，所述临时元镜头202和207包含有属于镜头模式“B”的镜头，但因为，元镜头模式“a”已经分配给元镜头207，因此，“a”的属性也分配给元镜头202。

接着，尝试将同一属性分配给临时元镜头207、208和213，所述临时元镜头207、208和213包含有属于镜头模式“C”的镜头，但因为，元镜头模式“a”已经分配给临时元镜头207，因此，“a”的属性也分配给元镜头208和213。

这样，在图2例子中，同一元镜头模式“a”分配给临时元镜头201、202、207、208和213。

(7)元镜头生成单元107

元镜头生成单元107通过将具有元镜头属性分配单元105按如上所述的方式所分配的同样属性且在时间上连续的临时元镜头耦合来定义元镜头。也就是说，元镜头201和202，207和208作为在其中同一元镜头模式“a”连续的区间被耦合。

另一方面，鉴于没有属性分配给元镜头203至206，209至212，因此，他们分别不能作为个别元镜头被耦合，也不能被耦合到一起。此处，假定他们利用作为一个属性的“无属性”相耦合，那么，最后元镜头如下：201和202(属性a)，203至206(无属性)，207和208(属性a)，209至212(无属性)，213(属性a)。

(8)元镜头信息输出单元108

元镜头信息输出单元108输出关于这样被定义的元镜头的信息。

尽管，只能通过无声检测，通过确定被作为节目主体部分和作为广告的其他部分的属性所定义的元镜头，来分割节目的主体部分，但是，不仅被分割的节目的主体部分可以重新集成，而且还可实现用于区分广告与节目的主体部分的属性分配。

(9)属性分配的修改例

如上已经描述了一个例子，所述例子中同一属性分配给所有节目主体部分，然而，其实质上，并不需要所有节目主体部分具有同一属性。

例如，在图3所示的例子中，尽管，元镜头模式“a”分配给临时元镜头301，302和307，元镜头模式“b”分配给临时元镜头308和313，然而，正如在前一段以及其前文所述，通过集成依据某属性而定义的元镜头，元镜头集成与用于区分广告节目的主体部分的属性分配可以依据如上所述的方式实施。

自然地，这样，元镜头能在不需要耦合元镜头模式“a”“b”的情况下被定义。

(10)关于移动图像处理的细节

图4是示出移动图像处理装置10中移动图像处理的流程图。

移动图像处理主要包括如下三个处理：镜头区间定义处理、分组处理和元镜头生成处理。

(10-1)镜头区间定义处理

首先，进行镜头区间定义处理。

也就是说，剪切检测单元102一帧接一帧地获取图像帧并将其输入(步骤402)。

然后，剪切检测单元102计算在步骤402所获得的图像帧与刚好在其前获得的图像帧之间的相似度，并且根据相似度检测剪切点。

在获取的图像帧是剪切点的情况下，(步骤403，是)，镜头区间定义单元103将从感兴趣的剪切点到刚好在其前的剪切点的区间定义为镜头区间(步骤S404)。

重复步骤402到步骤404的处理。关于全部的视频(节目)的镜头区间定义被完成(步骤401，是)，则镜头区间定义处理完成，并将进程转至分组处理。

(10-2)分组处理

相似镜头检测单元104选择预定镜头作为参考镜头，并确定感兴趣的镜头和要比较的目标镜头之间的相似度(步骤407)。

然后，当目标镜头被判定为与参考镜头相似时(步骤408，是)，相似镜头检测单元104将分配标签给感兴趣的目标镜头和参考镜头以标识为同一组。也就是说，目标镜头和参考镜头被归为同一组(步骤409)。

基于一个参考镜头，对于所有目标镜头重复如上所述的步骤407和步骤408。对于所有目标镜头的处理都已经完成(步骤406，是)，则替换参考镜头并再重复407和408的步骤。

然后，当对于全部视频，参考镜头和目标镜头之间的相似度确定过程都已完成时(步骤405，是)，则分组处理完成，并将进程转至下一个元镜头生成处理。

(10-3)元镜头生成处理

元镜头边界候选时间输入单元109从外部输入时间信息作为元镜头的边界候选(步骤413)。“临时元镜头”是根据通过在此处输入的时间边界，分割输入至移动图像获取单元101的移动图像而形成的。

然后，基于相似镜头检测单元104分配的标签(属性)临时元镜头属性分配单元105分配同一属性标签给多个临时元镜头，在所述多个临时元镜头中存在具有同一标签的相似镜头(步骤414)。

接着，元镜头生成单元107使用如上所述分配临时元镜头的标签，依据是否临时元镜头是连续的以及是否有相同的属性标签(或者它们是否有属性标签)(步骤411)来耦合临时元镜头，从而形成元镜头(步骤412)。

重复上述步骤411和步骤412。当对于整个视频元镜头的产生完成时(步骤410，是)，则元镜头生成处理完成，并将结果从元镜头信息输出单元108输出，则移动图像处理完成。

如上所述，由于按照实施例1移动图像处理装置10基于相似镜头出现模式耦合临时元镜头，因而，被过剩地检测的临时元镜头能被有效地耦合。此外，作为元镜头属性，他们是含有相似镜头(其为节目主体部分)还是不含有相似镜头(其为广告)以及其他情况能被自动地估计出。因此，用户能更方便地检索预定场景。

(11)移动图像处理修改例

移动图像处理装置10中移动图像处理由如下三个处理过程(图4中被虚线包围的部分)构成：(1)镜头区间定义处理；(2)分组处理；(3)元镜头生成处理。在本实施例中，对于移动图像中所有镜头完成(1)镜头区间定义处理后，过程转至(2)分组处理。同样地，对于移动图像中所有镜头完成(2)分组处理后，转至(3)元镜头生成处理。可替代地，作为另一个例子，在通过提供暂时存储区(未示出)将视频输入移动图像处理装置10中的同时，可以并行地执行上述三个处理过程。

例如，每次检测出一个新的剪切点和定义出一个镜头区间，则可以对于该镜头区间与过去镜头区间进行相似度确定，并且，此时，基于已获得的相似镜头确定结果以及从外部输入的元镜头边界候选时间信息，可以进行元镜头生成。如此，通过并行执行处理过程，在节目记录结束后极短时间内，即可获得处理结果。

(12)移动图像处理装置10的硬件配置

图5示出了按照本实施例的移动图像处理装置10的硬件配置。

移动图像处理装置10硬件配置包括ROM 52，所述ROM 52中存有用于在移动图像处理装置10中执行移动图像处理的程序或相似的程序；CPU 51，所述CPU 51根据存储在ROM 52中的程序来控制移动图像处理装置10的各个单元，以便于执行移动图像处理或其他相似的处理；RAM 53，所述RAM 53中有已形成的工作区并存储有移动图像处理装置10控制所需的各种数据；通信接口57，所述通信接口57与网络连接以实施通信；数据传输总线63，所述数据传输总线63用于连接各个部件。

用于在移动图像处理装置10中执行移动图像处理的移动图像处理程序，是由以可安装格式或可执行格式文件的形式存储有该程序的如CD-ROM，移动盘(FD)和DVD等计算机可读记录媒体提供的。

此外，本实施例的移动图像处理程序还可以被安排成由储存其的与因特网等网络连接的计算机提供，并且可经由网络下载。

这样，移动图像处理程序从上述记录媒体上下载到主存储器，并在移动图像处理装置10中执行，并且在主存储器上生成已经在软件配置中描述的各个部分。

[实施例2]

下面将根据本实施例2描述移动图像处理装置10。

图6是示出了按照本实施例2的移动图像处理装置10的功能配置框图。

本实施例2包括在如上所述的实施例1基础上添加的边界候选时间校正单元106，其余配置则与实施例1和图1相同。因此，下面将省略与实施例1相同部件的描述，只就对实施例1的扩展部分进行描述。

进展到通过临时元镜头属性分配单元105分配元镜头标签(属性)这一步骤的过程与实施例1是相同的，所述临时元镜头属性分配单元105使用包含属于同一相似镜头组的镜头的元镜头。

(1)临时元镜头的边界与镜头单元之间发生不匹配的可能性

下面将通过图7和图8描述通过从元镜头边界候选时间输入单元109输入的时间而定义的临时元镜头的边界和用于相似镜头检测单元104检测相似镜头的镜头单元不相同的可能性。

图7是一概念性框图，用于示出移动图像处理装置10中边界候选时间校正单元106的操作。在图7中，作为例子，MPEG-2格式的移动图像数据作为用帧单元来表示。垂直方向长的矩形代表一帧，且时间从左至右经过。

剪切检测单元102进行的剪切检测有时是通过只使用有较高高度的被称为“I-图(I-picture)”的帧来执行的。这是因为通过在限定的I-图上执行剪切检测和相似镜头检测能减少计算量。

在剪切检测单元102按此对于每一个I-图执行剪切检测的情况下，镜头区间定义单元103实施的镜头定义以及相似镜头检测单元104实施的相似镜头检测，是自然地以I-图为间隔。在此情况下，图7中的702是剪切检测单元102定义的剪切点，也就是，702为前后镜头的边界。

另一方面，从元镜头边界候选时间输入单元109输入的时间可以取任意时间。图7中的701就是这样输入的元镜头边界候选时间，然而，其不必然与剪切检测单元102所定义的剪切点702相匹配。

例如，当无声检测检测到从元镜头边界候选时间输入单元109输入的元镜头之间的边界时，就会发生这样的不匹配的例子。在无摄像的场景中人沉默的情况下，因为没有生成视频剪切点，但生成了无声区间，因此，就会在临时元镜头之间出现边界。

(2)临时元镜头的重新定义的描述

如图7所示，当701和702不匹配时，边界候选时间校正单元106用下述的规定方法进行临时元镜头的重新定义。

第一方法是这样一种方法：只启用从元镜头边界候选时间输入单元109输入的临时元镜头的边界，并丢弃剪切检测单元102检测到的剪切点(边界)。这样，图7中701被启用，而702被丢弃。

第二方法是这样一种方法：在剪切检测单元102检测到的剪切点中搜索距离从元镜头边界候选时间输入单元109输入的临时元镜头边界最近的，并将临时元镜头边界改变到检索结果的位置。这样，图7中701被丢弃，而702被启用。

第三种方法是这样一种方法：将从元镜头边界候选时间输入单元109输入的临时元镜头边界和剪切检测单元102检测到的剪切点均设置为新的元镜头边界。这样，图7中701和702都被启用，并且，701和702之间的区间就变成一个短镜头和短元镜头。

(3)临时元镜头的重新定义的其他描述

上述三种方法将通过图8从另外一种角度进行描述。

图8是一概念性框图，用于示出在移动图像处理装置10中的边界候选时间校正单元106的操作。

在图8中，A阶段中的矩形表示镜头定义区间103所定义的镜头。另一方面，801是从元镜头边界候选时间输入单元109输入的临时元镜头边界。

图7所描述的三种方法各自与B、C和D相一致。这样，边界候选时间校正单元106重新定义临时元镜头边界，并且元镜头生成单元107据此结果产生元镜头。后续的过程与实施例1相同。

(4)移动图像处理

图9是一流程图，示出移动图像处理装置10中的移动图像处理。

由于与使用图4的实施例1中所描述的部分有许多共同的、重复的步骤，因此，只描述与实施例1不同的部分，而省去共同的、重复的内容部分。

进展到通过临时元镜头属性分配单元105分配相同的属性标签给多个临时元镜头这一步骤(步骤414)的过程与实施例1是相同的，所述多个临时元镜头中含有基于相似镜头检测单元104分配的标签(属性)而具有同一标号的相似镜头。

此处，边界候选时间校正单元106通过如上所述的方法重新定义临时元镜头边界(步骤415)。

元镜头生成单元107依据临时元镜头是否是连续的以及是否有相同的属性标签(或者他们是否有属性标签)使用如上所述分配临时元镜头的标签来耦合临时元镜头(步骤411)，从而形成元镜头(步骤412)。在这之后的处理过程与本实施例1所述一致。

如上所述，由于移动图像处理装置10按照实施例2基于相似镜头出现模式耦合临时元镜头，因而过分地检测的临时元镜头能被有效地耦合。此外，作为元镜头属性，他们是否含有相似镜头(其为节目主体部分)还是不含有(其为广告)以及其他情况能被自动地估计出。因此，用户能更方便地检索预定场景。

(5)移动图像处理修改例

移动图像处理装置10中移动图像处理由如下三个处理过程(图4中被虚线包围的部分)构成：(1)镜头区间定义处理过程，(2)分组处理，(3)元镜头生成处理。

在本实施例中，对于移动图像中所有镜头的(1)镜头区间定义处理完成后，过程转至(2)分组处理。同样地，对于移动图像中所有镜头的(2)分组处理完成后，过程转至(3)元镜头生成处理。可替代地，作为另一个例子，在通过在移动图像处理装置10中提供暂时存储区(未示出)将视频输入的同时，可以并行地执行上述三个处理过程。

例如，每次检测出一个新的剪切点和定义出一个镜头区间，则可以对于该镜头区间和过去镜头区间进行相似度确定，并且，此时，基于已获得的相似镜头确定结果以及从外部输入的元镜头边界候选时间信息，可以生成元镜头生成。如此，通过并行执行处理过程，在节目记录结束后极短时间内，即可获得处理结果。

(6)移动图像处理装置10的硬件配置

和实施例1一样，图5示出移动图像处理装置10的硬件配置。

移动图像处理装置10硬件配置包括ROM 52，所述ROM 52中存有用于在移动图像处理装置10中执行移动图像处理的程序或的相似处理程序；CPU 51，所述CPU 51根据存储在ROM 52中的程序来控制移动图像处理装置10的各个单元，以便于执行移动图像处理或其他相似的处理；RAM 53，所述RAM 53中有已成形的一工作区并存储有移动图像处理装置10控制所需的各种数据；通信接口57，所述通信接口57与网络连接以实施通信；数据传输总线62，所述数据传输总线62用于连接各个部件。

用于在如上所述的移动图像处理装置10中执行移动图像处理的移动图像处理程序，是由以可安装格式或可执行格式文件形式存储有该程序的如CD-ROM，移动盘(FD)和DVD等计算机可读记录媒体提供的。

此外，本实施例的移动图像处理程序还可以被安排成由储存其的与因特网等网络连接的计算机提供，并且可经由网络下载。

这样，移动图像处理程序从上述记录媒体上下载到主存储器，并在移动图像处理装置10中执行，并且在主存储器上生成在软件配置中描述的各个部分。

[实施例3]

下面将根据本实施例3描述移动图像处理装置10。

因为本实施例的所有的功能配置、处理流程与装置配置都与如上所述的实施例1或实施例2相同，因此将省去对它们的描述。

(1)关于错误属性分配的可能性

首先，将描述本实施例3所要解决的问题。

图10是一概念性框图，示出当移动图像处理装置10的临时元镜头属性分配单元105使用相似镜头检测单元104的结果分配属性标签给临时元镜头时的过程扩展。

图10中，矩形表示镜头，倒三角形表示广告之间的边界。矩形上由曲线连接的部分表示它们分别为相似镜头。

不同区间1002，1003，1004是同一公司的广告。此外，区间1002和1003是同一产品的广告，并且除了中间镜头不同外，具有相同的剪切。

在这种情况下，代表该公司标志的图像1001经常在广告结尾处显示，并且在相似镜头检测单元104中被检测为相似镜头。然而，当区间1002，1003和1004是外部定义的临时元镜头时，如果临时元镜头属性分配单元105不经变化而使用它们分配同一元镜头模式(属性)，那么就会产生与分配给节目主体部分相同的属性这样的问题。

此外，因为跨越元镜头存在相似镜头，所以在完全相同的广告被连续播放两次，或者播放有部分内容不同的一系列广告的情况下也会产生同样的问题。

(2)解决方案

因此，当在临时元镜头之间存在相似镜头时，临时元镜头属性分配单元105计算其相关位置并且确定是否将其用于属性分配。

例如，假定如下，关于图10中相似镜头对A，起始时间在元镜头的头部(0秒)，结束时间在从元镜头的头部算起的2.5秒后，尽管它们是相似镜头，但是确定在元镜头中相对位置是严格地匹配的，相似镜头对(A)不再用作同一元镜头模式(属性)分配的依据。

具体地，关于作为比较目标的一对相似镜头，将使用这样的条件，所述条件为“从临时元镜头的头部测量的起始时间在0.5秒的误差余量之内匹配”并且“从临时元镜头的头部测量的结束时间在0.5秒的误差余量之内匹配”。通过这种方法，能清除公司标志之类的相似镜头对B。

(3)解决方案的修改例子1

在上述描述中，通过使用距离元镜头的头部的相对位置来确定是否相似镜头从元镜头模式(属性)分配基础中清除，然而，对于具有不同时间长度广告中的公司标志或相似其他标志，可以通过如下所述扩充方法而将其正确地消除。

例如，考虑这样的情况，尽管是同一家公司的广告，有时播出的广告为一个15秒和一个30秒，并且在广告结束时插入1秒钟的企业标志。为了解决这样的情况，相似镜头对不用作元镜头模式(属性)的分配依据这一条件，将被添加到如上使用的条件，即“从临时元镜头的头部测量的起始时间在0.5秒的误差余量之内匹配”并且“从临时元镜头的头部测量的结束时间在0.5秒的误差余量之内匹配”。

(4)解决方案的修改例子2

此外，在上述描述中，设定相似镜头的起始时间和结束时间作为目标匹配的条件，然而，若只用单个条件，即目标相似镜头“从元镜头的头部起始”，或者目标相似镜头“从元镜头的结尾处结束”，则通过公司标志或相似标志的相似检测，能防止同一元镜头模式(属性)跨越多个广告而分配。

(5)解决方案的修改例子3

此外，有时同一广告或同一公司的广告在同一节目中不同的时间播出，当从不同时间播出的广告中检测出相似镜头时，则可能执行将同一属性分配给节目主体部分。为了防止这种可能发生，可以在相似镜头检测单元104中规定相似镜头搜索范围。

例如，当提前设定“相似镜头的搜索在10分钟的范围内进行”的条件时，则不能检测出在时间上相距10分钟以上的相似镜头。也就是，在广告和广告之间存在超过10分钟的节目主体部分的情况下，即使在两侧广告区间播出同一广告，因为在第一处没有检测出来相似镜头，并且没有元镜头模式(属性)分配的依据，则从节目主体部分中正确地区分广告的可能性就变得更高。

(6)解决方案的修改例子4

此外，在上述描述中，作为例子描述了在同一移动图像内中的相似镜头检测，然而，可以通过多次记录同一节目而形成移动图像来实施处理。

这样，即使在这种情况下，例如，尽管一个节目由五个角组成，因为各个角的标题图像不同，因此，只通过播放一次的移动图像，不能将角标题检测出作为相似镜头，当使用多次记录同一节目的数据来实施相似镜头检测时，角标题是跨越广播次数的相似镜头，并且可以在临时元镜头上实现元镜头模式(属性)分配，因此，可以提高节目主体部分和广告之间的区分能力。

应当注意的是，本发明并不局限于上述各个实施例，而是可以以多种方式实施而不脱离其范围。

工业应用

如上所述，本发明用于生成元镜头，更具体地，适用于分配属性(节目主体部分或广告)给元镜头。

Claims (12)

1.一种移动图像处理装置，用于将作为在图像改变点被分割的单个部分移动图像或多个部分移动图像的集合的元镜头分类为具有同样属性的元镜头，所述图像改变点是指移动图像的内容进行切换的点，所述移动图像处理装置包括：

相似度测量处理单元，所述相似度测量处理单元用于测量在移动图像的内容进行切换的图像改变点处被分割的多个部分移动图像之间的相似度；

相似镜头指定处理单元，所述相似镜头指定处理单元用于基于所述测量的相似度，指定彼此相似的部分移动图像；

分组处理单元，所述分组处理单元用于分配相同的组属性给所述指定的相似部分移动图像；

元镜头边界候选时间输入处理单元，所述元镜头边界候选时间输入处理单元用于从外部接收可以作为所述元镜头的边界候选的移动图像内的时间输入，并且根据所述接收的元镜头边界候选时间，将所述移动图像分割成为作为多个区间的临时元镜头；以及

临时元镜头属性分配处理单元，所述临时元镜头属性分配处理单元用于将相同的属性分配给所述已被分割成的包含已被分配相同的组属性的部分移动图像的临时元镜头。

2.根据权利要求1所述的移动图像处理装置，还包括元镜头生成处理单元，所述元镜头生成处理单元用于耦合在时间上连续并且具有相同属性的临时元镜头，以基于所述临时元镜头属性分配处理单元分配的所述属性生成一个元镜头，或者当具有相同属性的元镜头不连续时，生成自身作为一个元镜头的单个元镜头。

3.根据权利要求1或2所述的移动图像处理装置，还包括边界候选时间校正处理单元，所述边界候选时间校正处理单元在由所述元镜头边界候选时间输入处理单元输入的所述元镜头边界候选时间，与在所述移动图像内容进行切换的图像改变点处被分割的所述部分移动图像的分割时间之间有时间偏移的情况下，用于参照所述元镜头边界候选时间或所述图像改变点来定义新的临时元镜头边界，

其中，所述元镜头生成处理单元基于所述定义的新的临时元镜头边界，生成元镜头。

4.根据权利要求1至3任何一项所述的移动图像处理装置，其中通过所述元镜头边界候选时间输入处理单元接收的所述元镜头边界候选时间是通过用户操作生成的时间信息。

5.根据权利要求1至3任何一项所述的移动图像处理装置，其中通过所述元镜头边界候选时间输入处理单元接收的元镜头边界候选时间是在所述移动图像内的在一段固定时间内声级等于或小于固定值的时间区间的头部、中间或尾部的一条或多条时间信息。

6.根据权利要求1至3任何一项所述的移动图像处理装置，其中通过所述元镜头边界候选时间输入处理单元接收的元镜头边界候选时间是所述移动图像中的声音的传输格式进行切换的时间信息。

7.根据权利要求1至3任何一项所述的移动图像处理装置，其中通过所述元镜头边界候选时间输入处理单元接收的元镜头边界候选时间是所述移动图像中的图像的传输格式进行切换的时间信息。

8.根据权利要求1至3任何一项所述的移动图像处理装置，其中通过所述元镜头边界候选时间输入处理单元接收的元镜头边界候选时间是在图像内容进行切换的图像改变点的间隔是固定时间的条件下，从所述图像改变点中选择的时间信息。

9.根据权利要求1至8任何一项所述的移动图像处理装置，其中，当分配同样属性给临时元镜头时，对于属于同一组且属于不同元镜头的两个部分移动图像的起始时间或结束时间或这两个时间，当各个临时元镜头内的相对的时间匹配或接近时，所述临时元镜头属性分配处理单元分配或不分配相同的属性给所述各个临时元镜头。

10.根据权利要求1至9任何一项所述的移动图像处理装置，其中所述部分移动图像是多个不同的移动图像的部分移动图像，其中，相似度测量处理单元测量所述部分移动图像的相似度，相似镜头指定处理单元指定相似的部分移动图像。

11.一种移动图像处理方法，用于将作为在图像改变点被分割的单个部分移动图像或多个部分移动图像的集合的元镜头分类为具有同样属性的元镜头，所述图像改变点是指移动图像的内容进行切换的点，所述移动图像处理方法包括：

剪切检测步骤，所述剪切检测步骤用于从移动图像中检测图像内容进行切换的图像改变点；

相似度测量步骤，所述相似度测量步骤用于测量在所述检测到的图像改变点处被分割的多个部分移动图像之间的相似度；

相似镜头指定步骤，所述相似镜头指定步骤基于所述测量到的相似度，指定彼此相似的部分移动图像；

分组步骤，所述分组步骤用于分配相同的组属性给所述指定的相似部分移动图像；

元镜头边界候选时间输入步骤，所述元镜头边界候选时间输入步骤用于从外部接收可以作为所述元镜头边界候选的移动图像内的时间输入，并且根据所述接收的元镜头边界候选时间，将所述移动图像分割成为作为多个区间的临时元镜头；以及

临时元镜头属性分配步骤，所述临时元镜头属性分配步骤用于将相同的属性分配给所述已被分割成的包含已被分配相同的组属性的部分移动图像的临时元镜头，以将所述多个部分移动图像分类为具有相同属性的临时元镜头。

12.一种用于通过计算机实现移动图像处理方法的程序，该移动移动图像处理方法用于将作为在图像改变点被分割的单个部分移动图像或多个部分移动图像的集合的元镜头分类为具有同样属性的元镜头，所述图像改变点是指移动图像的内容进行切换的点，所述移动图像处理方法的程序包括：

剪切检测功能，所述剪切检测功能用于从移动图像中检测图像内容进行切换的图像改变点；

相似度测量功能，所述相似度测量功能用于测量在所述检测到的图像改变点处被分割的多个部分移动图像之间的相似度；

相似镜头指定功能，所述相似镜头指定功能基于所述已测量到的相似度，指定彼此相似的部分移动图像；

分组功能，所述分组功能用于分配相同的组属性给所述指定的相似部分移动图像；

元镜头边界候选时间输入功能，所述元镜头边界候选时间输入功能用于从外部接收可以作为所述元镜头边界候选的移动图像内的时间输入，并且根据所述接收的元镜头边界候选时间，将所述移动图像分割成为作为多个区间的临时元镜头；以及

临时元镜头属性分配功能，所述临时元镜头属性分配功能用于将相同的属性分配给分割的所述已被分割成的包含已被分配相同的组属性的部分移动图像的临时元镜头，以将所述多个部分移动图像分类为具有相同属性的临时元镜头。

Images