CN101799823B - 内容处理设备和方法 - Google Patents

内容处理设备和方法 Download PDF

Info

Publication number
CN101799823B
CN101799823B CN201010113675.9A CN201010113675A CN101799823B CN 101799823 B CN101799823 B CN 101799823B CN 201010113675 A CN201010113675 A CN 201010113675A CN 101799823 B CN101799823 B CN 101799823B
Authority
CN
China
Prior art keywords
scene
frame
zone
data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010113675.9A
Other languages
English (en)
Other versions
CN101799823A (zh
Inventor
江尻淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101799823A publication Critical patent/CN101799823A/zh
Application granted granted Critical
Publication of CN101799823B publication Critical patent/CN101799823B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

提供了一种内容处理设备，包括：内容数据获取单元，其获取内容的数据；区域检测单元，其从获取的内容数据中检测包括多个帧的交叉衰落区域，所述多个帧构成其中逐渐地改变预定场景的最终图像并且利用下一场景的图像来取代所述最终图像的部分；场景指定单元，其基于检测到的交叉衰落区域来指定回顾场景，其中以预定的间隔来改变多个场景；类似场景搜索单元，其从由所述内容数据获取单元获取的不同内容的数据中搜索与在指定的回顾场景中包括的多个场景类似的场景；以及摘要生成单元，其通过组合搜索到的场景来生成所述不同内容的摘要。

Description

内容处理设备和方法
技术领域
本发明涉及一种内容处理设备和方法，且更具体地，涉及一种能够从内容中简单地提取所期望的场景(scene)并且在短时间中生成特别重要场景的摘要(digest)的内容处理设备和方法。
背景技术
近来，已经在BS广播和CS广播以及地面广播中广播了各种内容。此外，近来，随着HDD记录器已经变得普遍，已经通常使用了长时间记录和时移(time-shift)重放。
然而，由于观看时间有限，所以用户很难观看所有的视频。因此，要解决的问题在于如何自动地生成视频的摘要并有效地抓取其内容。在这些环境中，已经开发了一种摘要生成技术，所述摘要生成技术能够通过分析在内容中包括的画面、声音、字幕等、仅提取可能重要的场景并且重放有关的重要场景来在短时间中观看内容的所有片段(episode)(例如，参考日本未审查专利申请公开No.2000-23062、2005-252372、2002-344871和2005-115607)。
此外，为了防止重复地观看相同的场景，已经提出了一种用于针对内容的预定场景、在时间上的回顾方向中搜索相同画面场景的部分(具有相同画面特征的图案)的方法(例如，参考Yashugi Yukinobu、Babaguchi Noboru、和Kitahashi Tadahiro的″Detection of Identical Events from Sports Video byComparing Camera Works(通过比较相机作品来从体育视频中检测同一事件)，″Proceedings of The Institute of Electronics，Information and CommunicationEngineers，Vol.2001，Information System 2 pp.359-360(电子信息通信工程师学会的学报，卷2001，信息系统2第359-360页))。
然而，在日本未审查专利申请公开No.2000-23062、2005-252372、2002-344871和2005-115607中公开的技术具有以下问题，即难以从在内容中包括的画面、声音、字幕等中提取重要的场景，因为所述提取取决于内容的细节。
此外，在由Yashugi Yukinobu等人所著述的文章中公开的方法具有以下问题，即需要花费大量时间来执行用于分析画面并搜索同一画面场景的部分的处理。
发明内容
期望提供一种能够在内容中简单地提取所期望的场景并且在短时间中生成特别重要场景的摘要的内容处理设备和方法。
根据本发明的实施例，提供了一种内容处理设备，包括：内容数据获取部件，用于获取内容的数据；区域(section)检测部件，用于从所获取的内容数据中检测包括多个帧的交叉衰落(cross-fade)区域，所述多个帧构成其中逐渐地改变预定场景的最终图像并且利用下一场景的图像来取代所述最终图像的部分；场景指定部件，用于基于所检测到的交叉衰落区域来指定回顾场景，其中多个场景被插入在交叉衰落区域之间；类似场景搜索部件，用于从由内容数据获取部件所获取的不同内容的数据中搜索与在所指定的回顾场景中包括的多个场景类似的场景；以及摘要生成部件，用于通过组合所搜索到的场景来生成不同内容的摘要。其中区域检测部件包括：比率计算部件，其计算内容数据中单调改变的像素与要处理帧的占有比，单调改变像素的值单调地改变；活度比率计算部件，其计算要处理帧与在要处理帧之前的帧之间的活度比率；候选帧确定部件，其基于所计算的单调改变像素的占有比和所计算的活度比率来确定要处理的帧是否是交叉衰落区域中的候选帧；以及连续帧计数部件，其通过对连续地出现的候选帧进行计数来从内容数据中检测交叉衰落区域，以及其中，在其中连续出现的候选帧的数目等于或大于预定的阈值的情况下，如果连续候选帧的最初候选帧的特征量与其最终候选帧的特征量之间的差值等于或大于预定的阈值，则区域检测部件将从最初候选帧到最终候选帧的区域检测为交叉衰落区域。
所述比率计算部件可以将要处理帧设置为当前帧，通过对当前帧的关注像素的值和与所述关注像素对应的过去帧和将来帧中的像素的值进行比较，确定当前帧的关注像素是否是单调改变的像素，并且计算被确定为单调改变像素的所述像素与构成所述当前帧的所有像素的比率。
在其中改变所述关注像素和与所述关注像素对应的像素的值、以随着时间的经过而增加的情况下，或者在其中改变所述关注像素和与所述关注像素对应的像素的值、以随着时间的经过而降低的情况下，如果根据时间经过的改变量大于预定的阈值，则可以将所述关注像素确定为单调改变的像素。
如果第一帧的特征量与时间上在所述第一帧之前预定数目的帧的第二帧的特征量之间的差值等于或大于预定的阈值，则可以将所述第一帧设置为要处理的帧。
在其中在小于阈值的时间距离中连续地检测到预定数目或更多的交叉衰落区域的情况下，所述场景指定部件可以将从所述交叉衰落区域的最初交叉衰落区域到最终交叉衰落区域的部分指定为回顾场景。
所述类似场景搜索部件可以从不同内容的数据中搜索与在所指定的回顾场景中的交叉衰落区域之间插入的部分对应的场景类似的场景，以及所述摘要生成部件可以通过对添加有所搜索到的场景之前或之后的预定数目的连续帧的数据进行组合来生成所述摘要。
所述搜索部件可以从不同内容的数据中搜索与时间上定位在与在所指定的回顾场景中的交叉衰落区域之间插入的部分对应的场景中的最早点处的第一场景类似的第二场景，以及所述搜索部件可以从在不同内容数据中时间上晚于所述第二场景的部分中，搜索与时间上晚于和在所指定的回顾场景之中的交叉衰落区域之间插入的部分对应的场景中的第一场景的第三场景类似的第四场景。
根据本发明的另一实施例，提供了一种内容处理方法，包括以下步骤：获取内容的数据；从所获取的内容数据中检测包括多个帧的交叉衰落区域，所述多个帧构成其中逐渐地改变预定场景的最终图像并且利用下一场景的图像来取代所述最终图像的部分；基于所检测到的交叉衰落区域来指定回顾场景，其中多个场景被插入在交叉衰落区域之间；从由内容数据获取部件所获取的不同内容的数据中搜索与在所指定的回顾场景中包括的多个场景类似的场景；以及通过组合所搜索到的场景来生成所述不同内容的摘要。其中从获取的内容数据中检测包括多个帧的交叉衰落区域，多个帧构成其中逐渐地改变预定场景的最终图像并且利用下一场景的图像来取代最终图像的部分包括：计算内容数据中单调改变的像素与要处理帧的占有比，单调改变像素的值单调地改变；计算要处理帧与在要处理帧之前的帧之间的活度比率；基于所计算的单调改变像素的占有比和所计算的活度比率来确定要处理的帧是否是交叉衰落区域中的候选帧；以及通过对连续地出现的候选帧进行计数来从内容数据中检测交叉衰落区域，以及在其中连续出现的候选帧的数目等于或大于预定的阈值的情况下，如果连续候选帧的最初候选帧的特征量与其最终候选帧的特征量之间的差值等于或大于预定的阈值，则将从最初候选帧到最终候选帧的区域检测为交叉衰落区域。
根据本发明的又一实施例，获取内容的数据；从所获取的内容数据中检测包括多个帧的交叉衰落区域，所述多个帧构成其中逐渐地改变预定场景的最终图像并且利用下一场景的图像来取代所述最终图像的部分；基于所检测到的交叉衰落区域来搜索回顾场景，其中按照预定的区间来改变多个场景；从由内容数据获取部件所获取的不同内容的数据中搜索与在所指定的回顾场景中包括的多个场景类似的场景；以及通过组合所搜索到的场景来生成所述不同内容的摘要。
根据本发明，可能从内容中简单地提取所期望的场景并且在短时间中生成利用特别重要场景而构成的摘要。
附图说明
图1是图示了根据本发明实施例的内容处理设备的示例的视图。
图2是图示了图1所示的内容处理设备的配置的示例的框图。
图3是图示了由图2所示的控制单元所运行的软件的功能配置的示例的框图。
图4是图示了图3所示的特定场景检测单元的详细配置的示例的框图。
图5是图示了图4所示的单调改变像素检测单元的处理的视图。
图6是图示了图4所示的区域确定单元的处理的视图。
图7是图示了交叉衰落区域检测处理的示例的流程图。
图8是图示了候选帧提取处理的示例的流程图。
图9是图示了帧确定处理的示例的流程图。
图10是图示了体育节目的内容的重放场景的示例的视图。
图11是图示了戏剧系列节目(drama series)等的内容的回顾场景的示例的视图。
图12是图示了摘要生成处理的示例的流程图。
图13是图示了图3所示的摘要生成单元的处理的视图。
图14是图示了个人计算机的配置的示例的框图。
具体实施方式
下面，参考附图来对本发明的示例性实施例进行描述。
图1是图示了根据本发明实施例的内容处理设备的示例的视图。将该图所示的内容处理设备1配置为例如HDD(硬盘驱动器)记录器，所述HDD记录器连接到配置为电视机等的显示器2。
图2是图示了图1所示的内容处理设备1的配置的示例的框图。
将内容处理设备1配置为例如根据由用户所设置的记录计划来记录TV广播节目。内容处理设备1可以在具有大存储容量的HDD 40中记录大量的内容。
另外，内容处理设备1包括用CPU(中央处理单元)31、ROM(只读存储器)32和RAM(随机存取存储器)33构成的控制单元30。控制单元30是控制内容处理设备1的全部操作的主控制器。控制单元30允许内容处理设备1通过运行软件(例如，程序等)来执行预定的处理。
用DSP(数字信号处理器)、通用GPU(图形处理单元)等构成图形处理控制器43，以生成图像数据。另外，图形处理控制器34例如生成GUI(图形用户界面)图像，用户可以通过所述GUI图像来输入各种设置。
输入控制器35通过总线47来向CPU 31供应与用户操纵对应的输入信号(即，指示用户指令的输入信号(操纵信息))，通过输入单元36(例如，按钮、开关或键盘等)的用户操纵来获得所述输入信号。另外，输入控制器35允许输入单元36作为光接收单元来接收从遥控器(未示出)传送的、与用户操纵对应的红外信号，并将所述红外信号转换为电信号，并且向CPU 31供应所述电信号。
HDD I/F 39基于控制单元30的控制来控制HDD 40对于数据的访问。
HDD 40是可以存储包括采用预定文件格式的节目或内容的各种数据的随机存取存储单元。HDD 40通过HDD I/F 39连接到总线47。如果从解码器43供应了诸如作为节目的内容和EPG数据的各种数据，则HDD 40记录所述数据。如果存在用于读取的请求，则HDD 40输出所记录的数据。
另外，控制单元30例如基于通过总线47从输入控制器35供应的输入信号(操纵信息)，控制HDD I/F 39、HDD 40、调谐器41、解调器42、解码器43等，以运行内容记录或重放。
另外，向调谐器41供应通过天线(未示出)接收的广播波。根据预定的格式来配置所述广播波，并且其例如包括EPG数据。广播波可以是任何类型的广播波，即卫星广播波或地面广播波。另外，通过任意通信线(即，有线通信线或无线通信线)来传送所述广播波。
调谐器41例如基于控制单元30的控制来对预定信道的广播波执行调谐，即选择台，并且向解调器42输出所接收的数据。
解调器42对数字调制的接收数据进行解调，并且向解码器43输出所述数据。
例如，在数字卫星广播的情况下，由调谐器41接收并由解调器42解调的数字数据是以下传输流，其中对以MPEG2(运动图像专家组2)方案压缩的AV数据和用于数据广播的数据进行多路复用。前者的AV数据是构成广播节目主体的图像数据和声音数据，而后者的用于数据广播的数据包括附加到广播节目主体的数据(例如，EPG数据)。
解码器43从自解调器42供应的传输流中分离以MPEG2方案压缩的AV数据和用于数据广播的数据(例如，EPG数据)。通过总线47和HDD I/F 39来向HDD 40供应所分离的用于数据广播的数据，以便将所述数据记录在其中。
在其中要查看所接收的节目(内容)的情况下，解码器43进一步从AV数据中分离所压缩的图像数据和所压缩的声音数据。将所分离的声音数据解码为PCM(脉冲编码调制)数据，并且其后通过混频器45输出到扬声器13。另外，对所分离的图像数据进行解码，并且其后通过编排器46供应到显示器2。
另外，在其中指令将所接收的节目(内容)记录在HDD 40中的情况下，解码器43通过总线47和HDD I/F 39来向HDD 40输出分离前的AV数据(包括多路复用的图像数据和声音数据的AV数据)。另外，在其中指令重放在HDD 40中记录的节目的情况下，解码器43从通过总线47和HDD I/F 39而自HDD 40输入的AV数据中分离所压缩的图像数据和所压缩的声音数据。接下来，解码器43对所压缩的图像数据和所压缩的声音数据进行解码，并且向混频器45和编排器46供应所解码的图像数据和所解码器的声音数据。
如果必要，则混频器45组合从解码器43供应的声音数据和在HDD 40中记录的声音数据，并且向显示器2的扬声器等供应所组合的声音数据。
如果必要，则编排器46组合从解码器43供应的图像数据和从图形处理控制器34供应的图像数据，并且向显示器2供应所组合的图像数据。
另外，可以将内容处理设备1配置为连接到诸如因特网的网络，使得记录通过因特网而传送的内容。另外，尽管描述了其中在HDD 40中记录内容的配置，但是也可以将内容记录在安装在驱动器49上的可移除介质50(例如，DVD(数字多功能盘))中。
内容处理设备1配置为分析所记录内容的数据，并且检测其中包括诸如回顾场景和重放场景之类的特定场景的区域。在这里，例如将回顾场景设置为在戏剧系列节目的开头处包括的场景，以解释先前片段的回顾。另外，可以将重放场景设置为其中例如在诸如职业棒球比赛的直播的体育节目中重放非常优秀动作的场景。
另外，内容处理设备1可以通过从所记录内容的数据中搜索与所检测区域中的场景类似的场景并组合搜索到的场景来生成摘要。在这里，由于配置摘要以使得仅从在内容中包括的场景中提取可能重要的场景并且重放有关的重要场景，所以可以在短时间中观看所述内容的所有片段。
图3是图示了由图2所示的控制单元30所运行的软件的功能配置的示例的框图。
数据获取单元101从HDD 40中读取并获取例如要从其中检测包括特定场景的区域的内容数据、或要从其中生成摘要的内容数据。
如稍后所述，特定场景检测单元102分析从数据获取单元101供应的内容数据，以便从其中指定了回顾场景、重放场景等的特征区域中检测稍后所述的交叉衰落区域。
摘要生成单元103基于由特定场景检测单元102所检测到的交叉衰落区域来指定回顾场景、重放场景等。另外，摘要生成单元103例如从自数据获取单元101供应的内容数据中搜索与在回顾场景中包括的多个场景类似的场景。接下来，摘要生成单元103通过组合所搜索到的场景来生成摘要。
图4是图示了图3所示的特定场景检测单元102的详细配置的示例的框图。特定场景检测单元102检测交叉衰落，以便指定回顾场景、重放场景等。在这里，交叉衰落包括构成例如以下部分的多个帧，在所述部分中逐渐地改变预定场景的最终图像并且利用下一场景的图像来取代所述最终图像。在大多数常规内容中，由于在回顾场景和重放场景前后插入交叉衰落，所以特定场景检测单元102可以通过检测交叉衰落来指定回顾场景、重放场景等。
图4所示的特征量计算单元121计算预定帧的图像的特征量。例如，特征量计算单元121计算像素的亮度值的直方图作为像素的特征量。特征量计算单元121将要处理的帧设置为当前帧，并且提取在要处理帧之前n个帧的过去帧，以计算所述过去帧的像素的亮度值的直方图。接下来，特征量计算单元121计算当前帧的直方图元素与过去帧的直方图元素之间差值的绝对值之和，并且确定所获得的绝对值之和的值是否等于或大于预定的阈值。如果差值的绝对值之和等于或大于预定的阈值，则特征量计算单元121对于所述帧执行单调改变像素检测单元122的处理和活度(activity)计算单元123的处理。
换言之，在其中针对过去帧的图像的改变度小的情况下(例如，在其中直方图元素之间差值的绝对值之和小的情况下)，所述帧不可能是交叉衰落的帧。因此，特征量计算单元121仅选择具有针对过去帧的高图像改变度的帧。
单调改变像素检测单元122确定构成所指定的(所选择的)帧的每个像素是否是单调改变的像素。单调改变像素检测单元122提取时间上在当前帧(其是指定帧)之前重放的过去帧和时间上在当前帧之后重放的将来帧。在这里，可以将过去帧和将来帧中的每一个与当前帧分离预定数目的帧。另外，过去帧和将来帧中的每一个可以是当前帧的连续帧。
单调改变像素检测单元122提取过去帧、当前帧和将来帧的每一帧中相同坐标位置处的一个像素，并且比较过去帧的像素值v1、当前帧的像素值v2和将来帧的像素值v3。
例如，如图5所示，将在作为运动图像的内容中包括的多个帧之中的第n帧201设置为作为要处理帧的当前帧。因此，将第(n-1)帧202设置为过去帧，并且将第(n+1)帧设置为将来帧203。例如，将当前帧201中的坐标位置(x，y)处的像素设置为关注的像素，并且从帧202和帧203中提取与所述像素相同坐标位置处的像素。将帧201中关注像素的值设置为v2；将帧202中坐标位置(x，y)处像素的值设置为v1；并且将帧203中坐标位置(x，y)处像素的值设置为v3。
如上所述，单调改变像素检测单元122确定关注的像素是否是单调改变的像素。在这里，作为用于确定关注的像素是否是单调改变像素的函数，如下地定义函数mono(单)，所述函数mono具有关注的像素、与关注像素对应的过去帧的像素、和与关注像素对应的将来帧的像素的值作为变量。
在其中前述像素的值v1到v3满足等式(1)或(2)的情况下，通过等式(3)来表达函数mono。
[等式1]
(v1＜v2＜v3、v2-v1＜TH、和v3-v2＜TH)...(1)
[等式2]
(v3＜v2＜v1、v2-v3＜TH、和v1-v2＜TH)...(2)
[等式3]
mono(v1，v2，v3)＝1...(3)
在其中前述像素的值v1到v3不满足等式(1)或(2)的情况下，通过等式(4)来表达函数mono。
[等式4]
mono(v1，v2，v3)＝0...(4)
另外，等式(1)和(2)中的TH表示预定的阈值。
换言之，在其中改变关注像素和与关注像素对应的像素的值、以便从过去向将来逐渐增加所述值并且所述值的改变大于阈值的情况下，像素的值v1到v3满足等式(1)。另外，在其中改变关注像素和与关注像素对应的像素的值、以便从过去向将来逐渐降低所述值并且所述值的改变大于阈值的情况下，像素的值v1到v3满足等式(2)。在这些情况下，将关注的像素确定为单调改变的像素，并且所述函数mono的计算结果变为1。另一方面，不将没有满足所述条件的关注像素确定为单调改变的像素，并且函数mono的计算结果变为0。
单调改变像素检测单元122针对在帧201中包括的所有像素如上所述地确定每个像素是否是单调改变的像素，并且计算在帧201中包括的单调改变像素与所有像素的占有比。可以通过等式(5)来计算第n帧中单调改变像素的比率dissn。
[等式5]
diss n = 1 W × H ( Σ x = 1 W Σ y = 1 H mono ( f n - 1 ( x , y ) , f n ( x , y ) , f n + 1 ( x , y ) ) ) × 100 · · · ( 5 )
另外，在等式(5)中，W表示帧中图像的水平方向中的像素的数目，而H表示帧中图像的垂直方向中的像素的数目。另外，在等式(5)中，fn(x，y)表示第n帧中坐标位置(x，y)处的像素的值。类似地，fn-1(x，y)表示第(n-1)帧中坐标位置(x，y)处的像素的值，而fn+1(x，y)表示第(n+1)帧中坐标位置(x，y)处的像素的值。
返回到图4，活度计算单元123计算活度，所述活度指示由特征量计算单元121所指定的(所选择的)帧中像素值的变化度。可以通过等式(6)和(7)来计算第n帧的活度actn。
[等式6]
act n = Σ x = 1 W Σ y = 1 H | f n ( x , y ) - ave n | · · · ( 6 )
[等式7]
ave n = ( Σ x = 1 W Σ y = 1 H f n ( x , y ) ) / ( W × H ) · · · ( 7 )
类似地，活度计算单元123还如下地计算第(n-1)帧的活度actn-1、以及第n帧的活度actn与第(n-1)帧的活度actn-1之间的比率。
在其中活度actn和活度actn-1满足等式(8)的关系的情况下，通过等式(9)来表达第n帧的活度actn与第(n-1)帧的活度actn-1之间的比率act_rn。
[等式8]
actn＞actn-1...(8)
[等式9]
act_rn＝actn-1/actn...(9)
另一方面，在其中活度actn和活度actn-1不满足等式(8)的关系的情况下，通过等式(10)来表达第n帧的活度actn与第(n-1)帧的活度actn-1之间的比率act_rn。
[等式10]
act_rn＝actn/actn-1...(10)
以此方式，单调改变像素检测单元122计算由特征量计算单元121所指定的帧中单调改变像素与所有像素的比率。另外，活度计算单元123计算由特征量计算单元121所指定的帧与所指定帧之前的帧之间的活度比率。
交叉衰落确定单元124基于由单调改变像素检测单元122所计算的单调改变像素的比率和由活度计算单元123所计算的活度比率，确定相关联的帧是否是交叉衰落的帧。交叉衰落确定单元124通过使用等式(11)来计算用于确定相关联的帧是否是交叉衰落帧的变量FADE(衰落)的值。
[等式11]
FADE＝dissn+|act_rn-1|×ACT_C...(11)
另外，等式(11)，将ACT_C设置为整数。
如果变量FADE的值大于预定的阈值，则交叉衰落确定单元124确定相关联的帧是候选的交叉衰落帧。另外，如果变量FADE的值等于或小于预定的阈值，则交叉衰落确定单元124确定相关联的帧不是候选的交叉衰落帧。
通过以上处理，例如从一组内容的所有帧中检测要作为候选的交叉衰落帧的帧。例如，如图6所示，在由箭头所指示的位置处从内容的帧中检测候选的交叉衰落帧。在图6的示例中，由箭头221到228来指示内容的运动图像中的时间位置，并且在由箭头221到228所指示的位置处检测要作为候选的交叉衰落帧的帧。
返回到图4，区域确定单元125检测被交叉衰落确定单元124确定为候选帧的帧，并且对连续的候选帧的数目进行计数。接下来，如果连续候选帧的数目等于或大于预定的阈值，则区域确定单元125计算所述连续帧中最初帧与最终帧的图像之间特征量的差值。区域确定单元125例如计算像素的亮度值的直方图作为所述图像的特征量，并且计算最初帧直方图与最终帧直方图的元素之间差值的绝对值之和。接下来，如果最初帧直方图与最终帧直方图的元素之间差值的绝对值之和等于或大于预定的阈值，则区域确定单元125将用所述连续候选帧而构成的区域确定为交叉衰落区域。
例如，将前述阈值设置为5，并且参考图6来描述区域确定单元125的确定处理。尽管在由箭头221所指示的位置处检测到候选帧，但是由于存在连续的候选帧，所以区域确定单元125确定所述区域不是交叉衰落区域。另外，尽管在由箭头222和223所指示的位置处检测候选帧，但是由于存在两个连续的候选帧，所以区域确定单元125确定所述区域也不是交叉衰落区域。另外，区域确定单元125在由箭头224到228所指示的位置处检测候选帧。例如，在其中由箭头224所指示的位置处的帧是第p帧的情况下，由箭头225所指示的位置处的帧是第(p+1)帧；由箭头226所指示的位置处的帧是第(p+2)帧；......；由箭头228所指示的位置处的帧是第(p+4)帧。换言之，由箭头224到228所指示的位置处的候选帧是五个连续帧。
在此情况下，由于存在五个连续帧，所以计算由箭头224所指示位置处的帧与由箭头228所指示位置处的帧之间的特征量的差值(例如，直方图之间差值的绝对值之和)。接下来，如果特征量的差值等于或大于阈值，则将利用由箭头224所指示位置处的帧到由箭头228所指示位置处的帧而构成的区域确定为交叉衰落区域。
以此方式，指定了交叉衰落区域。
接下来，参考图7到9的流程图来描述由特定场景检测单元102所执行的交叉衰落区域检测处理的示例。
在步骤S21中，特定场景检测单元102指定其中要检测交叉衰落区域的要处理数据。例如，将一组内容的数据、或一组内容的数据之中由用户所指定区域中的数据指定为要搜索的数据。
在步骤S22中，特定场景检测单元102对于在步骤S21中指定的要处理数据运行候选帧提取处理，稍后参考图8来描述所述候选帧提取处理。在这里，参考图8的流程图来描述图7的步骤S22的候选帧提取处理的详细示例。
在图8所示的步骤S41中，图4所示的特征量计算单元121将要处理的帧设置为当前帧，并且例如提取在所述要处理帧之前n个帧的过去帧。
在步骤S42中，特征量计算单元121计算当前帧和过去帧中像素的亮度值的直方图。接下来，特征量计算单元121例如计算当前帧直方图与过去帧直方图的元素之间差值的绝对值之和作为当前帧与过去帧之间的差值。
在步骤S43中，特征量计算单元121确定在步骤S42的处理中获得的差值是否等于或大于预定的阈值。如果所述差值等于或大于预定的阈值，则该过程前进到步骤S44。另一方面，如果所述差值小于所述阈值，则跳过步骤S44的处理。
在步骤S44中，单调改变像素检测单元122、活度计算单元123和交叉衰落确定单元124运行稍后参考图9来描述的帧确定处理。在这里，参考图9的流程图来描述图8的步骤S44的帧确定处理的详细示例。
在步骤S61中，单调改变像素检测单元122计算要处理的帧中单调改变像素与所有像素的占有比。
此时，如上所述，通过使用等式(1)到(4)来确定帧中的每个像素是否是单调改变的像素。接下来，通过使用等式(5)，计算帧中单调改变像素的比率。
在步骤S62中，计算要处理帧与要处理帧之前的帧之间的活度比率。
此时，如上所述，通过等式(6)和(7)来计算代表帧中像素值的变化度的活度。另外，通过等式(8)到(10)来计算要处理帧的活度与要处理帧之前的帧的活度之间的比率。
在步骤S63中，交叉衰落确定单元124基于通过步骤S61的处理而计算的单调改变像素的比率和通过步骤S62的处理而计算的活度比率，来计算变量FADE。如上所述，通过等式(11)来计算设置为用于确定相关联的帧是否是交叉衰落帧的变量的变量FADE。
在步骤S64中，交叉衰落确定单元124确定在步骤S63中计算的变量FADE的值是否大于预定的阈值。
在步骤S64中，如果确定了变量FADE的值大于预定的阈值，则该过程前进到步骤S65，其中交叉衰落确定单元124将要处理的帧设置为候选帧。
另一方面，如果在步骤S64中变量FADE的值等于或小于预定的阈值，则跳过步骤S65的处理。
以此方式，运行了帧确定处理，使得确定了相关联的帧是否是用于交叉衰落的候选帧。
返回到图8，在步骤S44的处理之后，该过程前进到步骤S45，其中确定是否针对所有帧运行了步骤S41到步骤S44的处理。如果确定了没有运行针对所有帧的处理，则该过程前进到S46，其中将下一帧设置为当前帧，并且重复地运行步骤S41到步骤S45的处理。
在步骤S46中，如果确定对于所有帧执行了该处理，则结束该候选帧提取处理。因此，确定了在步骤S21中指定的要处理数据中包括的所有帧是否是候选帧。
返回到图7，在步骤S22的处理之后，该过程前进到步骤S23。
在步骤S23中，区域确定单元125检测由步骤S22的处理确定为候选帧的帧，并且对连续的候选帧的数目进行计数。
在步骤S24中，区域确定单元125确定连续候选帧的数目是否等于或大于预定的阈值。如果在步骤S24中将连续候选帧的数目确定为等于或大于预定的阈值，则该过程前进到步骤S25。
在步骤S25中，区域确定单元125计算所述连续帧之中最初帧与最终帧的图像之间特征量的差值。在这里，区域确定单元125例如计算像素的亮度值的直方图作为所述图像的特征量，并且计算最初帧直方图与最终帧直方图的元素之间差值的绝对值之和。
在步骤S26中，区域确定单元125确定在步骤S25中获得的差值是否等于或大于阈值。如果在步骤S26中确定所述差值为等于或大于所述阈值，则该过程前进到步骤S27。
在步骤S27中，区域确定单元125确定用所述连续候选帧构成的区域为交叉衰落区域。
此时，例如，如上面参考图6描述的，确定区域是否是交叉衰落区域。
另一方面，如果在步骤S26中由步骤S25的处理所获得的差值小于所述阈值，则跳过步骤S27的处理。另外，如果在步骤S24中确定连续候选帧的数目为不等于或大于预定的阈值，则跳过步骤S25到步骤S27的处理。
在步骤S27的处理之后，如果在步骤S26中确定所述差值为等于或大于所述阈值，或如果确定连续帧的数目为不等于或大于所述阈值，则该过程前进到步骤S28。
在步骤S28中，确定下一帧是否存在。如果确定了下一帧存在，则该过程返回到步骤S23，并且重复地运行其接下来的处理。另一方面，如果在步骤S28中确定下一帧不存在，则结束该过程。
以此方式，运行了交叉衰落区域检测处理。因此，可以简单地检测作为用于指定在内容中具有重要意义的场景的区域的交叉衰落区域。
作为指定内容中的交叉衰落区域的示例，可以指定体育节目内容中的重放场景、戏剧系列节目内容中的回顾场景等。
图10是图示了体育节目的内容的重放场景的示例的视图。在该图中，水平轴表示时间，并且在该图中由“CF”标记的部分表示交叉衰落区域。如该图所示，在许多情况下，重放场景是在交叉衰落区域之间插入的场景。
在其中图10所示的内容例如是职业棒球比赛直播节目的内容的情况下，将重放场景设置为其中重放非常优秀动作的场景，而将其他场景设置为常规场景。
图11是图示了戏剧系列节目等的内容的回顾场景的示例的视图。在该图中，水平轴表示时间，并且在该图中由“CF”标记的部分表示交叉衰落区域。如该图所示，利用在交叉衰落区域之间插入的区域A到D来构建回顾场景。以此方式，回顾场景包括其中多个交叉衰落区域在短时间中重复地出现的内容中的许多部分。
在其中图11所示的内容例如是戏剧系列节目的第二片段的内容的情况下，将场景A到D设置为在戏剧系列节目的先前片段(第一片段)中包括的场景，而将其他场景设置为常规场景。
在本发明中，当生成摘要时，例如将图11所示的回顾场景配置为被检测。接下来，通过从所记录的内容数据中搜索与在回顾场景中包括的场景(例如，图11所示的场景A到D)类似的场景、并且组合所搜索到的场景，生成摘要。由图3所示的摘要生成单元103来执行摘要的生成。
摘要生成单元103例如如下地指定内容中的回顾场景。由于通过运行参考图7描述的特定场景检测单元102的处理来指定内容中的交叉衰落区域，所以摘要生成单元103基于特定场景检测单元102的处理结果来检测交叉衰落区域。接下来，如果交叉衰落区域等于或大于作为预定间隔的预定阈值，则摘要生成单元103将在交叉衰落区域中包括的部分指定为回顾场景。
例如，在图11的情况下，摘要生成单元103计算交叉衰落区域241与交叉衰落区域242之间的距离(例如，时间距离)。例如，通过对在交叉衰落区域241的最终帧与交叉衰落区域242的最初帧之间存在的帧的数目进行计数，获得交叉衰落区域241与交叉衰落区域242之间的距离。如果交叉衰落区域241与交叉衰落区域242之间的距离小于预定的阈值，则对于交叉衰落区域242与交叉衰落区域243之间的距离类似地获得距离。另外，如果交叉衰落区域242与交叉衰落区域243之间的距离小于预定的阈值，则对于交叉衰落区域243与交叉衰落区域244之间的距离类似地获得距离。
以此方式，摘要生成单元103对其距离小于所述阈值的连续交叉衰落区域的数目进行计数。在图11的示例中，将相邻交叉衰落区域上241到245之间的所有距离设置为小于所述阈值。在此情况下，检测到其距离小于所述阈值的五个连续交叉衰落区域。
例如，在图11的示例中，在其中将用于确定场景是否是回顾场景的阈值设置为3的情况下，由于存在其距离小于所述阈值的五个连续交叉衰落区域，所以摘要生成单元103将包括所述交叉衰落区域的部分指定为回顾场景。换言之，将从交叉衰落区域241的最初帧到交叉衰落区域245的最终帧的部分指定为内容的回顾场景。
如果指定回顾场景，则摘要生成单元103例如指定在图11所示的回顾场景中包括的场景A到D。换言之，在指定为回顾场景的部分中，将用在所检测交叉衰落区域之间插入的帧构成的部分指定为在回顾场景中包括的场景。
摘要生成单元103在从数据获取单元101供应的数据之中搜索与场景A到D类似的场景。例如，通过使用在由Yashugi Yukinobu、Babaguchi Noboru、和Kitahashi Tadahiro撰写的文章(″Detection of Identical Events from SportsVideo by Comparing Camera Works，″Proceedings of The Institute of Electronics，Information and Communication Engineers，Vol.2001，Information System 2pp.359-360)中公开的方法，执行对于类似场景的搜索。可替换地，可以通过计算在场景中包括的帧的图像之间的特征量的差值来获得场景的相似度，并且可以基于相似度来搜索与场景A到D类似的场景。
例如，在其中图11所示的回顾场景是戏剧系列节目的第k广播的内容的情况下，数据获取单元101向摘要生成单元103供应戏剧系列节目的第(k-1)广播的内容数据。另外，用户可以指定从数据获取单元101向摘要生成单元103供应的数据。接下来，摘要生成单元103生成戏剧系列节目的第(k-1)广播的内容的摘要。
换言之，摘要生成单元103在戏剧系列节目的第(k-1)广播的内容之中搜索与对应场景A到D类似的场景W到Z。接下来，摘要生成单元103从戏剧系列节目的第(k-1)广播的内容中提取场景W的帧，例如在场景W的最初帧之前的300个时间上连续的帧和跟随在场景W的最终帧以后的300个时间上连续的帧。另外，摘要生成单元103生成用如上所述地提取的帧而构成的摘要数据1。
类似地，摘要生成单元103从戏剧系列节目的第(k-1)广播的内容中提取场景X的帧，例如在场景X的最初帧之前的300个时间上连续的帧和跟随在场景X的最终帧以后的300个时间上连续的帧。因此，生成摘要数据2。
还对于场景Y和场景Z执行相同的处理，使得生成摘要数据3和摘要数据4。
将摘要生成单元103配置为通过组合摘要数据1到4来生成摘要。换言之，通过连续地重放摘要数据1到4，生成戏剧系列节目的第(k-1)广播的内容的摘要。
接下来，参考图12的流程图来描述由摘要生成单元103所执行的摘要生成处理的示例。
在步骤S85中，摘要生成单元103基于参考图7的流程图描述的交叉衰落区域检测处理的结果，指定作为交叉衰落区域检测处理对象的内容的回顾场景。此时，摘要生成单元103例如基于交叉衰落区域检测处理的结果，检测内容中的交叉衰落区域。接下来，如果交叉衰落区域等于或大于作为预定间隔的预定阈值，则摘要生成单元103将在交叉衰落区域中包括的部分指定为回顾场景。
在步骤S86中，摘要生成单元103在步骤S85中指定的回顾场景中提取在交叉衰落区域之间插入的场景。此时，例如提取图11所示的场景A到D。
在步骤S87中，摘要生成单元103指定要处理的区域，用于搜索与由步骤S86的处理所提取的场景类似的场景。另外，在所述指定之前，从数据获取单元101向摘要生成单元103供应要搜索的数据。例如，在其中在戏剧系列节目的第k广播的内容中包括图11所示的回顾场景的情况下，数据获取单元101供应戏剧系列节目的第(k-1)广播的内容的数据。尽管在该实施例中可以将戏剧系列节目的第k广播的内容数据设置为要搜索的数据，但是描述了其中将戏剧系列节目的第(k-1)广播的内容数据设置为要搜索的数据的示例。
在步骤S87的处理中，在戏剧系列节目的第(k-1)广播的内容数据之中指定实际上要检测的时间区域。另外，例如，在步骤S87中，在其中搜索与图11所示的场景A类似的场景的情况下，将戏剧系列节目的第(k-1)广播的内容数据中从最初帧到最终帧的区域指定为要处理的区域。
在步骤S88中，摘要生成单元103在戏剧系列节目的第(k-1)广播的内容之中搜索与所述场景(例如，场景A)具有高相似性的场景。另外，在步骤S88中，从由步骤S87的处理所指定的要处理区域中搜索具有高相似性的场景。
在步骤S89中，摘要生成单元103提取由步骤S88的处理所搜索到的场景的帧和在所述场景之前或跟随在所述场景以后的预定数目的帧作为摘要数据。另外，生成摘要数据，使得不包括在所述场景之前或跟随在所述场景以后的预定数目的帧。可替换地，可以生成摘要数据，使得包括由步骤S88的处理所搜索到的场景的帧和在所述场景之前的预定数目的帧，或者使得包括由步骤S88的处理所搜索到的场景的帧和跟随在所述场景以后的预定数目的帧。
在步骤S90中，摘要生成单元103确定是否搜索到所有场景。在此情况下，由于没有搜索到与场景B到D类似的场景，所以确定了没有搜索到所有场景，并且该过程返回到步骤S86。
其后，在步骤S86的处理中，提取图11所示的场景B。接下来，在步骤S87的处理中，重新指定用于搜索与场景B类似的场景的要处理区域。
例如，如图13所示，用从时间点t0到时间点tn存在的连续帧构成戏剧系列节目的第(k-1)广播的内容。在其中由步骤S86的第一运行中的处理来提取场景A的情况下，将在步骤S87中指定的要处理区域设置为从时间点t0到时间点tn的区域。接下来，在步骤S88中，搜索用从时间点t2到时间点t3的区域中的帧构成的场景W，作为与场景A类似的场景。在步骤S89中，提取从时间点t1到时间点t2的区域中的帧，作为在所述场景W之前的预定数目的帧，并且提取从时间点t3到时间点t4的区域中的帧，作为跟随在所述场景W以后的预定数目的帧。接下来，生成摘要数据1以用从时间点t1到时间点t4的区域中的帧构成。
在其中由步骤S86的第二运行中的处理来提取场景B的情况下，将在步骤S87中指定的要处理区域设置为从时间点t3到时间点tn的区域。换言之，认为在戏剧系列节目的第k广播的内容的回顾场景中包括的场景A到D是在戏剧系列节目的第(k-1)广播的内容中顺序出现的场景。因此，由于与场景B类似的场景X时间上在与场景A类似的场景W之后出现，所以将通过步骤S87的第二运行来指定的要处理区域设置为从时间点t3到时间点tn的区域。
在步骤S88的第二运行的处理中，搜索用从时间点t6到时间点t7的帧构成的场景X为与场景B类似的场景。接下来，在步骤S89的第二运行的处理中，提取场景X之前的预定数目的帧和场景X之后的预定数目的帧、连同在场景X中包括的帧，并且生成用从时间点t5到时间点t8的区域中的帧构成的摘要数据2。
另外，在接下来的步骤S86的第三运行的处理中，提取场景C。在步骤S87的处理中，将从时间点t7到时间点tn的区域设置为要处理的区域。
以此方式，搜索与对应的场景A到D类似的场景W到Z，并且生成了摘要数据1到4。
另外，可以仅提取场景W到Z，以便生成摘要数据1到4。例如，在生成摘要数据1的情况下，提取从时间点t2到时间点t3的区域中的帧，使得不包括场景W之前的预定数目的帧和场景W之后的预定数目的帧，并且可以通过仅使用所述帧来生成摘要数据1。然而，在其中以此方式提取摘要数据的情况下，通过组合所述摘要数据而生成的摘要实质上变得与戏剧系列节目的第k广播的内容的回顾场景相同。
返回到图12，如果在步骤S90中确定搜索到所有的场景，则该过程前进到步骤S91。
在步骤S91中，摘要生成单元103组合摘要数据1到4。换言之，生成摘要，使得顺序地重放摘要数据1到4。
以此方式，运行了摘要生成处理。
在现有技术中，难以从在内容中包括的图像、声音、字幕等中提取重要的场景，因为所述提取取决于内容的细节。例如，可能错误地提取不重要的场景，或可能没有在摘要生成时提取特别重要的场景。
然而，在本发明中，由于通过指定回顾场景并提取与在回顾场景中包括的场景类似的场景来生成摘要，所以可以可靠地生成用重要场景构成的摘要。另外，如上所述，由于在检测到交叉衰落区域之后指定回顾场景，所以可以合适地指定回顾场景。
另外，在现有技术中，花费大量时间来执行分析内容数据并搜索相似场景的部分的处理。
然而，在本发明中，每当搜索到与在回顾场景中包括的场景类似的场景时，减少要搜索的区域，使得可能缩短用于搜索花费的时间。
因此，根据本发明，可能在短时间中生成包括特别重要场景的摘要。
尽管以上主要针对摘要的生成而描述了本发明，但是本发明例如可以仅仅用于检测交叉衰落区域。在根据本发明的内容处理设备1中，通过指定交叉衰落区域，例如可以指定重放场景或回顾场景，并且可以在短时间中搜索所期望的场景。
另外，可以以硬件方式或以软件方式来运行上述系列处理。在其中以软件方式来运行上述处理系列的情况下，可以通过网络、或从记录介质向其中组装了专用硬件的计算机或向其中安装了各种程序以运行各种功能的计算机(例如，如图14所示的通用个人计算机700)安装配置所述软件的程序。
在图14中，CPU(中央处理单元)701根据在ROM(只读存储器)702中存储的程序或从存储单元708加载到RAM(随机存取存储器)703上的程序来运行各种处理。另外，也在RAM 703中存储由CPU 701运行的各种处理所必须的合适数据。
CPU 701、ROM 702和RAM 703通过总线704相互连接。另外，输入输出接口705也连接到总线704。
输入单元706、输出单元707、存储单元708和通信单元709连接到输入输出接口705，所述输入单元706包括键盘、鼠标等，所述输出单元707包括诸如LCD(液晶显示器)之类的显示器、扬声器等，所述存储单元708包括硬盘等，而所述通信单元709包括诸如调制解调器和LAN卡之类的接口卡。通信单元709通过包括因特网的网络来执行通信处理。
另外，如果必要的话，则将驱动器710连接到输入输出接口705，并且合适地安装诸如磁盘、光盘、光磁盘或半导体存储器之类的可移除介质711。如果必要，则在存储单元708中安装从其中读取的计算机程序。
在其中通过软件来运行上述处理系列的情况下，通过诸如因特网之类的网络、或从诸如可移除介质711之类的记录介质中安装用于配置所述软件的程序。
另外，如图14所示，将记录介质配置为诸如磁盘(包括软盘(注册商标))、光盘(包括CD-ROM(致密盘-只读存储器)和DVD(数字多功能盘))、光磁盘(包括MD(迷你盘)(注册商标))、或半导体存储器之类的可移除介质711，所述可移除介质711在其中记录了程序并且对其进行分发，以便向用户提供所述程序。另外，可以将记录介质配置为ROM 702或在存储单元708中包括的硬盘驱动器，其在其中记录程序，并且在其中将所述ROM 702或硬盘驱动组装为所述设备的主体的情况下，向用户提供所述程序。
另外，在说明书中描述的上述处理系列包括：根据所描述的次序而按照时间顺序的方式来执行的处理、和按照并行的方式或按照单独的方式而不是时间顺序的方式来执行的处理。
本申请包含与在2009年2月6日向日本专利局提交的日本优先权专利申请JP 2009-025517中公开的主题相关的主题，在此通过引用而合并其全部内容。
另外，本发明的实施例不限于上述实施例，而是可以在本发明的范围内做出各种修改，而不脱离本发明的精神。

Claims (8)

1.一种内容处理设备，包括：
内容数据获取部件，其获取内容的数据；
区域检测部件，其从获取的内容数据中检测包括多个帧的交叉衰落区域，所述多个帧构成其中逐渐地改变预定场景的最终图像并且利用下一场景的图像来取代所述最终图像的部分；
场景指定部件，其基于检测到的交叉衰落区域来指定回顾场景，其中多个场景被插入在交叉衰落区域之间；
类似场景搜索部件，其从由所述内容数据获取部件获取的不同内容的数据中搜索与在指定的回顾场景中包括的多个场景类似的场景；以及
摘要生成部件，其通过组合搜索到的场景来生成所述不同内容的摘要。
其中所述区域检测部件包括：
比率计算部件，其计算内容数据中单调改变的像素与要处理帧的占有比，所述单调改变像素的值单调地改变；
活度比率计算部件，其计算要处理帧与在要处理帧之前的帧之间的活度比率；
候选帧确定部件，其基于所计算的单调改变像素的占有比和所计算的活度比率来确定要处理的帧是否是所述交叉衰落区域中的候选帧；以及
连续帧计数部件，其通过对连续地出现的候选帧进行计数来从内容数据中检测所述交叉衰落区域，以及
其中，在其中连续出现的候选帧的数目等于或大于预定的阈值的情况下，如果所述连续候选帧的最初候选帧的特征量与其最终候选帧的特征量之间的差值等于或大于预定的阈值，则所述区域检测部件将从所述最初候选帧到所述最终候选帧的区域检测为所述交叉衰落区域。
2.根据权利要求1的内容处理设备，其中所述比率计算部件将要处理帧设置为当前帧，通过对当前帧的关注像素的值和与所述关注像素对应的过去帧和将来帧中的像素的值进行比较，来确定当前帧的关注像素是否是单调改变的像素，并且计算确定为单调改变像素的所述像素与构成所述当前帧的所有像素的比率。
3.根据权利要求2的内容处理设备，其中，在其中改变所述关注像素和与所述关注像素对应的像素的值为随着时间的经过而增加的情况下，或者在其中改变所述关注像素和与所述关注像素对应的像素的值为随着时间的经过而减小的情况下，如果根据时间经过的改变量大于预定的阈值，则将所述关注像素确定为单调改变的像素。
4.根据权利要求1的内容处理设备，其中，如果第一帧的特征量与时间上在所述第一帧之前预定数目的帧的第二帧的特征量之间的差值等于或大于预定的阈值，则将所述第一帧设置为要处理的帧。
5.根据权利要求1的内容处理设备，其中，在其中在小于阈值的时间距离中连续地检测到预定数目或更多的交叉衰落区域的情况下，所述场景指定部件将从连续交叉衰落区域的最初交叉衰落区域到最终交叉衰落区域的部分指定为所述回顾场景。
6.根据权利要求5的内容处理设备，
其中所述类似场景搜索部件从不同内容的数据中搜索与和在所指定的回顾场景中的交叉衰落区域之间插入的部分对应的场景类似的场景，以及
其中所述摘要生成部件通过对添加有所搜索到的场景之前或之后的预定数目的连续帧的数据进行组合来生成所述摘要。
7.根据权利要求6的内容处理设备，
其中，所述搜索部件从不同内容的数据中搜索与时间上位于和在所指定的回顾场景之中的交叉衰落区域之间插入的部分对应的场景中的最早点处的第一场景类似的第二场景，以及
其中，所述搜索部件从在不同内容数据之中时间上晚于所述第二场景的部分中，搜索与时间上晚于和在所指定的回顾场景之中的交叉衰落区域之间插入的部分对应的场景中的第一场景的第三场景类似的第四场景。
8.一种内容处理方法，包括以下步骤：
获取内容的数据；
从获取的内容数据中检测包括多个帧的交叉衰落区域，所述多个帧构成其中逐渐地改变预定场景的最终图像并且利用下一场景的图像来取代所述最终图像的部分；
基于检测到的交叉衰落区域来指定回顾场景，其中多个场景被插入在交叉衰落区域之间；
从由内容数据获取部件所获取的不同内容的数据中搜索与在所指定的回顾场景中包括的多个场景类似的场景；以及
通过组合搜索到的场景来生成所述不同内容的摘要，
其中所述从获取的内容数据中检测包括多个帧的交叉衰落区域，所述多个帧构成其中逐渐地改变预定场景的最终图像并且利用下一场景的图像来取代所述最终图像的部分包括：
计算内容数据中单调改变的像素与要处理帧的占有比，所述单调改变像素的值单调地改变；
计算要处理帧与在要处理帧之前的帧之间的活度比率；
基于所计算的单调改变像素的占有比和所计算的活度比率来确定要处理的帧是否是所述交叉衰落区域中的候选帧；以及
通过对连续地出现的候选帧进行计数来从内容数据中检测所述交叉衰落区域，以及
在其中连续出现的候选帧的数目等于或大于预定的阈值的情况下，如果所述连续候选帧的最初候选帧的特征量与其最终候选帧的特征量之间的差值等于或大于预定的阈值，则将从所述最初候选帧到所述最终候选帧的区域检测为所述交叉衰落区域。
CN201010113675.9A 2009-02-06 2010-02-08 内容处理设备和方法 Expired - Fee Related CN101799823B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP025517/09 2009-02-06
JP2009025517A JP4721079B2 (ja) 2009-02-06 2009-02-06 コンテンツ処理装置および方法

Publications (2)

Publication Number Publication Date
CN101799823A CN101799823A (zh) 2010-08-11
CN101799823B true CN101799823B (zh) 2012-12-05

Family

ID=42540492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010113675.9A Expired - Fee Related CN101799823B (zh) 2009-02-06 2010-02-08 内容处理设备和方法

Country Status (3)

Country Link
US (1) US8693847B2 (zh)
JP (1) JP4721079B2 (zh)
CN (1) CN101799823B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5621734B2 (ja) 2011-08-29 2014-11-12 Ｎｔｔエレクトロニクス株式会社 フェード種別判定装置
US8848018B2 (en) * 2012-05-30 2014-09-30 TwineLAB Oy Method and apparatus for providing video call service
US9386358B2 (en) * 2014-05-29 2016-07-05 Echostar Technologies L.L.C. Automatic identification of relevant video content through replays
CN110032729A (zh) * 2019-02-13 2019-07-19 北京航空航天大学 一种基于神经图灵机的自动摘要生成方法
CN115065876A (zh) * 2022-08-18 2022-09-16 广州市千钧网络科技有限公司 一种变更直播标题与封面的方法、装置及相关产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1074301A (zh) * 1990-04-12 1993-07-14 株式会社日立制作所 专家系统开发支撑系统及专家系统
CN1461565A (zh) * 2001-02-12 2003-12-10 皇家菲利浦电子有限公司 生成和匹配多媒体内容的散列
CN101137986A (zh) * 2005-03-10 2008-03-05 皇家飞利浦电子股份有限公司 音频和/或视频数据的概括

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3728775B2 (ja) * 1995-08-18 2005-12-21 株式会社日立製作所 動画像の特徴場面検出方法及び装置
JP2000023062A (ja) 1998-06-30 2000-01-21 Toshiba Corp ダイジェスト作成システム
JP2001266548A (ja) * 2000-03-24 2001-09-28 Toshiba Corp 映像音声データ記録管理方法
JP2002344871A (ja) 2001-05-14 2002-11-29 Hitachi Ltd 字幕放送記録装置および記録方法
JP4426743B2 (ja) * 2001-09-13 2010-03-03 パイオニア株式会社 映像情報要約装置、映像情報要約方法および映像情報要約処理プログラム
JP2005115607A (ja) 2003-10-07 2005-04-28 Matsushita Electric Ind Co Ltd 映像検索装置
JP2006059387A (ja) * 2004-01-26 2006-03-02 Toshiba Corp 情報記録再生装置及び情報記録再生方法
JP2005252372A (ja) 2004-03-01 2005-09-15 Ntt Docomo Tokai Inc ダイジェスト映像作成装置及びダイジェスト映像作成方法
JP4399794B2 (ja) * 2004-09-16 2010-01-20 日本ビクター株式会社 画像符号化装置及び画像符号化方法
JP4368819B2 (ja) * 2005-03-30 2009-11-18 株式会社日立製作所 要約再生装置及び要約再生装置の制御方法
US20070071406A1 (en) * 2005-09-28 2007-03-29 Sanyo Electric Co., Ltd. Video recording and reproducing apparatus and video reproducing apparatus
JP4650288B2 (ja) * 2006-02-01 2011-03-16 ソニー株式会社 再生制御装置、再生制御方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1074301A (zh) * 1990-04-12 1993-07-14 株式会社日立制作所 专家系统开发支撑系统及专家系统
CN1461565A (zh) * 2001-02-12 2003-12-10 皇家菲利浦电子有限公司 生成和匹配多媒体内容的散列
CN101137986A (zh) * 2005-03-10 2008-03-05 皇家飞利浦电子股份有限公司 音频和/或视频数据的概括

Also Published As

Publication number Publication date
JP2010183383A (ja) 2010-08-19
US20100202749A1 (en) 2010-08-12
CN101799823A (zh) 2010-08-11
JP4721079B2 (ja) 2011-07-13
US8693847B2 (en) 2014-04-08

Similar Documents

Publication Publication Date Title
US7941031B2 (en) Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program
KR100915847B1 (ko) 스트리밍 비디오 북마크들
US6920641B1 (en) Transmit device and method thereof, record/play device and method thereof as well as recording system and media
US6744922B1 (en) Signal processing method and video/voice processing device
CN101799823B (zh) 内容处理设备和方法
JP2006526337A (ja) 再生装置及びダイジェスト再生方法
JP2007134010A (ja) 情報処理装置、表示方法及びそのプログラム
US7149365B2 (en) Image information summary apparatus, image information summary method and image information summary processing program
CN101431645B (zh) 节目录像再现装置以及节目录像再现方法
US8325803B2 (en) Signal processing apparatus, signal processing method, and program
EP2210408A1 (en) A method of determining a starting point of a semantic unit in an audiovisual signal
JP2003029772A (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP4432823B2 (ja) 特定条件区間検出装置および特定条件区間検出方法
JP4719604B2 (ja) コマーシャル検出方法およびコマーシャル検出装置並びにコマーシャル検出プログラムが記録された記録媒体
JP4376218B2 (ja) コンテンツ蓄積装置、コンテンツ蓄積方法及びプログラム記録媒体
JP2004328591A (ja) 映像録画再生装置
US20060078308A1 (en) Video reproducing apparatus
US20130101271A1 (en) Video processing apparatus and method
JP2009159437A (ja) 情報処理装置、情報処理方法及びプログラム
US20130151544A1 (en) Information processing apparatus, information processing method, and progam
CN1777953A (zh) 用于利用菜单信息补充视频/音频信号的菜单发生器设备和菜单产生方法
Dumont et al. Sequence alignment for redundancy removal in video rushes summarization
JP5424306B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
KR100678895B1 (ko) 모델 기반 세그먼트 메타데이터를 생성하는 장치 및 방법
JP2009065596A (ja) 要約映像生成装置及び要約映像生成プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121205

Termination date: 20150208

EXPY Termination of patent right or utility model