CN101131850A - 节目提供方法及节目提供设备 - Google Patents

节目提供方法及节目提供设备 Download PDF

Info

Publication number
CN101131850A
CN101131850A CNA2007101422123A CN200710142212A CN101131850A CN 101131850 A CN101131850 A CN 101131850A CN A2007101422123 A CNA2007101422123 A CN A2007101422123A CN 200710142212 A CN200710142212 A CN 200710142212A CN 101131850 A CN101131850 A CN 101131850A
Authority
CN
China
Prior art keywords
program
captions
key word
abstract fragments
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101422123A
Other languages
English (en)
Other versions
CN101131850B (zh
Inventor
村越象
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101131850A publication Critical patent/CN101131850A/zh
Application granted granted Critical
Publication of CN101131850B publication Critical patent/CN101131850B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H04N5/7755—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver the recorder being connected to, or coupled with, the antenna of the television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

一种节目提供方法，该方法利用视频数据和音频数据在记录介质中记录节目并将节目提供给用户，包括以下步骤：通过分析视频数据的图像检测利用视频数据表示节目内容的摘要片断；从节目的字幕中检测出现频率高的关键字；通过从摘要片断的字幕中检测如下部分创建节目索引，所述部分中关键字检测步骤检测到的关键字的出现频率高；以及显示索引。

Description

节目提供方法及节目提供设备
技术领域
本发明涉及节目提供方法、用于节目提供方法的程序、记录用于节目提供方法的程序的记录介质及节目提供设备，它们例如可以应用到记录/回放设备，该记录/回放设备从大容量记录介质记录的节目中回放用户想要的节目。本发明的实施例中，通过分析图像检测表示节目内容的摘要片断(digest section)，并且摘要片断中包含如下关键字的字幕部分被设为索引(index)，该关键字具有在全部字幕中检测的高出现频率，从而准确而高精度地掌握节目概要。
背景技术
现有技术中，诸如硬盘记录器的记录/回放设备记录电视广播提供的节目，并且当以后再观看该节目时使用。随着近年来记录容量的增加，这种记录/播放设备能够记录许多节目。因此，近年来，提出了通过在记录/回放设备中创建用于介绍节目内容的缩略图来提高用户选择节目的方便性的方法。
考虑到上述，JP-A-11-184867中提出一种通过使用隐藏字幕(closedcaption)提供的节目台词(speech)来根据索引回放节目的方法。
这种类型的记录/回放设备中，如果不观看所记录和存储的节目的细节就掌握节目概要，例如，可以在记录和存储的众多新闻中选择性地观看感兴趣的新闻，那么，可以想到这类记录/回放设备的可用性能够被进一步提高。
然而，现有技术中通过缩略图来介绍节目存在的问题是，很难准确而高精度地获得节目概要。
发明内容
希望提出能够准确而高精度地掌握节目概要的节目提供方法、用于该节目提供方法的程序、记录该用于节目提供方法的程序的记录介质及节目提供设备。
根据本发明的实施例，提供了节目提供方法，该方法利用视频数据和音频数据在记录介质中记录节目并将节目提供给用户，包括以下步骤：通过分析视频数据的图像检测利用视频数据表示节目内容的摘要片断；从节目的字幕中检测出现频率高的关键字；通过从摘要片断的字幕中检测如下部分创建节目索引，所述部分中关键字检测步骤检测到的关键字的出现频率高；以及显示索引。
此外，根据本发明的实施例，提供了用于节目提供方法的程序，该方法利用视频数据和音频数据在记录介质中记录节目并将节目提供给用户，包括以下步骤：通过分析视频数据的图像检测利用视频数据表示节目内容的摘要片断；从节目的字幕中检测出现频率高的关键字；通过从摘要片断的字幕中检测如下部分创建节目索引，所述部分中关键字检测步骤检测到的关键字的出现频率高；以及显示索引。
此外，根据本发明的实施例，提供了记录用于节目提供方法的程序的记录介质，该方法利用视频数据和音频数据在记录介质中记录节目并将节目提供给用户，该节目提供方法包括以下步骤：通过分析视频数据的图像检测利用视频数据表示节目内容的摘要片断；从节目的字幕中检测出现频率高的关键字；通过从摘要片断的字幕中检测如下部分创建节目索引，所述部分中关键字检测步骤检测到的关键字的出现频率高；以及显示索引。
此外，根据本发明的实施例，提供了节目提供设备，该设备利用视频数据和音频数据在记录介质中记录节目并将节目提供给用户，并包括以下部件：摘要片断检测单元，其通过分析视频数据的图像检测利用视频数据表示节目内容的摘要片断；关键字检测单元，其从节目的字幕中检测出现频率高的关键字；索引创建单元，其通过从摘要片断的字幕中检测如下部分创建节目索引，所述部分中关键字检测步骤检测到的关键字的出现频率高；以及索引显示单元，其显示索引。
根据本发明的实施例的配置，可以预知在摘要片断中分配了表示节目内容的字幕。所以，当从字幕中检测出现频率高的关键字并且从摘要片断的字幕中检测关键字出现频率高的部分时，可以创建索引以便准确介绍节目概要并且高精度掌握节目概要，因此，通过索引的显示可以准确掌握节目概要。
附图说明
图1是示出根据本发明实施例1的硬盘记录器中的中央处理单元的处理过程的流程图；
图2是示出本发明实施例1的硬盘记录器的框图；
图3是图2的硬盘记录器的功能框图；
图4是示出中央处理单元在图2的硬盘记录器中记录时的处理过程的流程图；
图5是用于说明摘要的示意图；
图6是示出图1的处理过程中的摘要片断确定处理的流程图；
图7是示出图1的处理过程中的字幕分类处理的流程图；
图8是示出图1的处理过程中的重要关键字提取处理的流程图；
图9是用于说明提取重要关键字的示例的图；
图10是示出各个关键字的确定的图；
图11是示出图1的处理过程中的索引生成处理的流程图；
图12是用于说明图11的处理过程的图；
图13是示出索引的显示例的平面图；
图14是示出索引的另一个显示例的平面图。
具体实施方式
下文中，将适当地参考附图详细描述本发明的实施例。
【实施例1】
(1)实施例1的配置
图2是示出根据本发明实施例1的硬盘记录器的配置的框图，图3是其相关部分的功能框图。硬盘记录器1记录电视广播提供的节目和因特网提供的节目并将它们提供给用户。
在硬盘记录器1中，调制解调器2在SIO(Serial I/O，串行输入输出)控制器3的控制下从因特网4上提供的网页服务器5获得视频内容的传输流，并将其输出到SIO控制器3。SIO控制器3在CPU-中央处理单元6的控制下控制调制解调器2的操作，并将从调制解调器2输出的传输流输出到总线(BUS)。按照调制解调器2和SIO控制器3的配置，硬盘记录器1接收因特网提供的节目。
广播接收单元10在中央处理单元6的控制下通过电视广播接收视频内容，并输出视频数据和音频数据。
在广播接收单元10中，调谐器11从天线12接收的各种广播波中选择和接收用户想要的广播波，并根据接收结果输出中频信号。解调器13处理从调谐器11输出的中频信号，并输出传输流。TS解码器14将从解调器13输出的传输流或从SIO控制器3经由总线输入的传输流暂时存储在RAM(随机存取存储器)15中，并处理该传输流以回放视频数据、音频数据和图文电视广播数据。TS解码器14向解码单元16输出所播放的视频数据和音频数据以供监视或用于创建下面将要描述的摘要。TS解码器14还向总线输出播放过的视频数据、音频数据和图文电视广播数据以用于记录视频内容。
因此，在硬盘记录器1中(图3)，广播接收单元10和SIO控制器3配置视/音频接收单元40，该视/音频接收单元40接收来自电视广播的视频内容以及来自因特网的视频内容。广播接收单元10和SIO控制器3还形成字幕接收单元42，该字幕接收单元42通过来自电视广播的视频内容和来自因特网的视频内容中的图文电视广播数据来接收字幕。
解码单元16在中央处理单元6的控制下解压缩从总线输出的视频数据和音频数据或者从广播接收单元10输出的视频数据和音频数据。解码单元16还向输出单元17输出解压缩的视频数据和音频数据以供监视，并且把它们输出到总线以用于创建下面将要描述的摘要。
输出单元17在中央处理单元6的控制下将从解码单元16输出的用于监视的视频数据和音频数据以及与提供给用户的各种信息相关的视频数据和音频数据加以混合，然后输出该数据。
在输出单元17中，混合器(MUX)21将从解码单元16输出的音频数据以及从总线输出的音频数据加以混合然后输出该数据，因此，在播放结果的音频，即用于监视的视频内容的音频上叠加了各种告警音等等，并输出该音频数据。显示控制器22利用从总线输出的视频数据生成用于与菜单等相关的OSD(On Screen Display，屏幕视控系统)的视频数据。视频处理单元23将从解码单元16输出的视频数据与从显示控制器22输出的视频数据加以混合然后输出该数据，因此，在播放结果的视频，即用于监视的视频内容的视频上叠加了各种图标等等。
硬盘记录器1向监视设备25输出从输出单元17输出的视频数据和音频数据，然后，这些音频数据和视频数据的音频和视频通过设在监视设备25处的扬声器26和显示设备27提供给用户。
硬盘接口(硬盘I/F)31在中央处理单元6的控制下将输出到总线的视频数据、音频数据和图文电视广播数据等等输出到硬盘驱动器(HDD)32，因此，这些数据被记录在硬盘驱动器32中。另外，存储在硬盘驱动器32中的数据在中央处理单元6的相似控制下被回放并且输出到总线。
板卡接口(板卡I/F)33是安放在板卡插槽34中的存储卡35和总线之间的接口，其在中央处理单元6的控制下将输出到总线的各种数据记录在存储卡35中，并将存储卡35中记录的各种数据输出到总线。
U/I控制单元36从遥控器接收遥控信号，并将其通知给中央处理单元6。
中央处理单元6是控制硬盘记录器1的操作的控制器，其通过在RAM 37中确保工作区域并执行记录在ROM(只读存储器)38中的程序来控制各个单元的操作。实施例中，中央处理单元6的程序通过事先安装在硬盘记录器1中来提供；然而，除此之外，程序通过记录在如光盘、磁盘、存储卡等记录介质中来提供也是优选的；另外，程序通过从诸如因特网之类的网络下载来提供也是优选的。
根据程序的运行，当用户指示记录视频内容时，中央处理单元6利用广播接收单元10接收用户指示的电视广播，并且在硬盘驱动器32中记录从TS解码器14输出的视频数据、音频数据和图文电视广播数据。中央处理单元6还访问用户指示的网页服务器5来获取视频内容，并在利用TS解码器14回放所得视频内容的视频数据、音频数据和图文电视广播数据之后，在硬盘驱动器32中记录该数据。
当用户指示监视视频内容时，中央处理单元6在解码单元16中处理由TS解码器14回放的视频数据和音频数据之后，从输出单元17向监视设备25输出数据。当用户指示回放记录在硬盘驱动器32中的视频内容时，中央处理单元6在回放了来自硬盘驱动器32的相应视频数据和音频数据并且在解码单元16中解码该数据之后，从输出单元17向监视设备25输出数据。
记录视频内容的时候，中央处理单元6在解码单元16中对将要记录在硬盘驱动器32中的视频数据进行解码并获得数据，然后，分析所得数据。中央处理单元6完成记录后还利用可用时间处理分析结果，并设置摘要片断，然后，通过分析图文电视广播数据对摘要片断设置索引。另外，在根据用户的指示回放视频内容的时候，索引被显示以执行索引处理。摘要片断是指视频中表示节目内容的片断。
图4是示出中央处理单元6在记录时的处理过程的流程图。记录开始后，中央处理单元6开始处理过程，从步骤SP1向步骤SP2继续。中央处理单元6判断是否已指示记录完成，如果得到否定答案，则从步骤SP2向步骤SP3继续。
在步骤SP3中，中央处理单元6分析从解码单元16输出的视频数据，然后在下一步骤SP4中，处理分析结果来计算评价屏幕连续性的评价值。例如，中央处理单元6将屏幕分成多个区域，并计算各个区域中的运动矢量以计算评价值。场景(scene)改变时以这种方式检测的多个运动矢量变化，而以同样的摄影技巧拍摄同样物体时它们示出的值几乎相同。因此，评价值示出了连续帧中的图像的连续性。
因此，在下一步骤SP5中，中央处理单元6将计算出的评价值与上一帧中得到的评价值相比较来判断相对于上一幅图像的连续性的存在/缺失，然后，若存在连续性，则该处理返回步骤SP2。另一方面，若不存在连续性，则该处理向步骤SP6继续，中央处理单元6记录步骤SP3中计算的评价值然后返回步骤SP2。
中央处理单元6对解码单元16中解码的视频数据的每一确定帧重复步骤SP2-SP3-SP4-SP5-SP6-SP2的处理过程。在对每一确定帧的重复中，若不存在连续性，则评价值被记录为特征量(feature amount)，并且记录完成时，该处理从步骤SP2向SP7继续以结束处理过程。因此，中央处理单元6形成提取特征量的特征提取单元41(图3)。
图1是示出如上所述检测特征量的处理过程的流程图。中央处理单元6结束记录后在可用时间内执行处理过程。在中央处理单元6的处理能力足够的情况下，图1的处理过程在记录期间执行也是优选的。
在处理过程中，中央处理单元6从步骤SP11向步骤SP12继续，执行摘要片断确定处理。摘要片断确定处理是如下的处理，在该处理中视频内容被分成摘要片断A、B和其他片断，如图5所示。
摘要片断是指视频内容的一部分，它表示该视频内容，并且例如，当视频内容是如图5所示的新闻节目时，其中每条新闻开始播音员介绍新闻概要的场景SA、SB对应摘要片断。下文中，从摘要片断A到摘要片断B前端的片断称为话题(topic)。新闻节目中，把摘要片断从话题片断排除的片断即为在其中广播具体新闻视频TA、TB的片断。
图6是详细示出摘要片断确定处理的流程图。中央处理单元6开始处理过程后，从步骤SP13向步骤SP14继续。中央处理单元6从记录和存储的特征量的分布(distribution)中检测具有最大分布的特征量。中央处理单元6还根据检测的特征量设置阈值，并使用阈值确定记录和存储的特征量。因此，中央处理单元6从所记录的视频内容中检测特征量相似的片断。
硬盘记录器1能够通过先前设定将摘要片断的一段时间设为“短”、“较短”、“正常”、“较长”和“长”5个级，并且中央处理单元6根据用户的事先设定通过设置阈值执行步骤SP16的处理过程。
接下来，中央处理单元6向步骤SP15继续。中央处理单元6计算步骤SP14检测的片断的全部回放时间。而且在下一步骤SP16中，中央处理单元6判断该回放时间是否在某一阈值之内。
若此处得到否定答案，则中央处理单元6从步骤SP16向步骤SP17继续，将用于步骤SP14中的片断确定的阈值向具有最大分布的特征量的一侧改变。中央处理单元6也回到步骤SP14并利用改变后的阈值确定记录和存储的特征量。因此，中央处理单元6再次从所记录的视频内容中检测特征量相似的片断。
另一方面，当步骤SP16中得到肯定答案时，中央处理单元6在将上一步骤SP15中检测的片断设为摘要片断之后，从步骤SP16向步骤SP18继续以结束处理过程。
中央处理单元6形成通过执行图6的处理过程设置摘要片断的摘要生成单元43(图3)。硬盘驱动器32形成记录特征量的特征信息存储单元44，还形成利用图文电视广播数据存储字幕信息的字幕存储单元45。检测摘要片断的方法不限于图6所示特征量的处理的情况，而是还可以应用多种方法。
接下来，中央处理单元6向步骤SP21(图1)继续，执行字幕分类处理。字幕分类处理是如下的处理，在该处理中由图文电视广播数据提供的字幕被分为摘要片断中的字幕和非摘要片断的片断中的字幕。本实施例中，通过执行图7所示处理过程允许摘要片断中的字幕与非摘要片断的片断中的字幕评分(score)不同，来将字幕分成摘要片断和非摘要片断的片断。
中央处理单元6开始处理过程后，从步骤SP22向步骤SP23继续，从图文电视广播数据提供的字幕中选择一个句子，然后判断所选句子是否包含在摘要片断中。若此处得到否定答案，则中央处理单元6向步骤SP24继续，对该句子的字幕设置低评分，然后向步骤SP25继续。另一方面，若此处得到肯定答案，则中央处理单元6从步骤SP23向步骤SP26继续，对该句子的字幕设置高评分，然后向步骤SP25继续。
本实施例中，中央处理单元6设置评分，以便当摘要片断在整个话题中所占比率减少时，与非摘要片断的片断中字幕的评分相比，摘要片断中字幕的评分增加。因此，即使摘要片断的长度与非摘要片断的片断长度以不同方式改变，在后面将要描述的重要关键字提取处理中，重要关键字也可以被适当地检测而不会遗漏。
具体而言，中央处理单元6将非摘要片断的片断中字幕的评分设为1分，并将形成一个话题的非摘要片断的片断中字幕字符的个数除以摘要片断中相应字幕字符的个数所得数值设为摘要片断中字幕的评分。
中央处理单元6在下一步骤SP25中判断是否已对字幕中的所有句子执行了处理过程。若此处得到否定答案，则中央处理单元6从步骤SP25返回步骤SP23，执行下一句的处理。另一方面，若此处得到肯定答案，则中央处理单元6从步骤SP25向步骤SP27继续，完成处理过程。
根据图7的处理，中央处理单元6形成字幕分类单元47(图3)，该字幕分类单元将图文电视广播数据提供的字幕分成摘要片断中的字幕和非摘要片断的片断中的字幕。
接下来，中央处理单元6返回步骤SP31(图1)，执行重要关键字提取处理。此处，重要关键字提取处理是在每个话题中提取指示话题内容的重要关键字的处理。中央处理单元6对形成字幕的各个关键字设置评分，以便出现频率高的关键字以及属于摘要片断的关键字具有较高的评分，然后提取具有较高评分的关键字。
图8是示出重要关键字提取处理的流程图。中央处理单元6开始处理后，从步骤SP32向步骤SP33继续。中央处理单元6从图文电视广播数据提供的字幕中选择一个话题并获得所选话题的字幕。在下一步骤SP34中，中央处理单元6从得到的字幕中剪切出关键字。应当注意，形态分析(morphological analysis)等方法可以应用于关键字的剪切。
接下来，中央处理单元6向步骤SP35继续，通过根据关键字把步骤SP21中对字幕设置的评分相加来计算各个关键字的评分。
此处，如图9所示，假设24秒的摘要片断和1分24秒的后续片断(下文中，称为后摘要片断)形成一个话题的字幕。另外假设通过形态分析检测下划线示出的关键字。图9的示例中，摘要片断的字符个数是100，后摘要片断的字符个数是339，因此，根据步骤SP21的处理对摘要片断的字幕设置3.4分的评分。
本例中，如图10所示，中央处理单元6通过各个关键字在摘要片断和后摘要片断中各自被检测到的次数对各个关键字设置评分。图9和图10的示例中，关键字“下午”在摘要片断中被检测到一次，在后摘要片断中被检测到一次，因此，它被设为4.4分的评分(3.4分加1分)。关键字“新闻”只在摘要片断中被检测到一次，因此，它被设为3.4分的评分。
接下来，中央处理单元6向步骤SP36继续，按评分顺序对关键字进行排序，按评分顺序挑选一定数目的关键字并将它们设为重要关键字。因此，图10的示例中，关键字“炸弹”、“男性”、“无家可归”、“案件”和“男孩”被检测为重要关键字。
接着，中央处理单元6向步骤SP38继续，判断是否已处理了所有话题，然后，若此处得到否定答案，则返回步骤SP33并处理下一话题。另一方面，若步骤SP38中得到肯定答案，则中央处理单元6向步骤SP39继续并返回原来的处理过程。
因此，中央处理单元6形成重要关键字检测单元48(图3)，该重要关键字检测单元在每个话题中检测指示每个话题内容的重要关键字。
接下来，中央处理单元6向步骤SP41(图1)继续，执行索引生成处理。索引生成处理是生成各个话题的索引的处理。中央处理单元6通过使用步骤SP31中检测的重要关键字来从每个话题的摘要片断的字幕中生成索引。
图11是示出索引生成处理的流程图。中央处理单元6开始处理过程后，从步骤SP42向步骤SP43继续，从图文电视广播数据提供的字幕中选择一个话题。中央处理单元6获取在步骤SP31中对于所选话题检测的重要关键字。
接下来，中央处理单元6向步骤SP44继续，从所选话题的摘要片断中选择一段句子，并从该段句子中检测在话题中检测到的重要关键字。中央处理单元6还利用步骤SP31中检测的各个重要关键字的评分把该段句子包含的重要关键字的评分相加，来计算指示该段的重要性的评分。这段句子对应于根据标点符号等等从摘要的字幕中剪切出的字符串，以便用户能够明白一个含义。
接下来，中央处理单元6向步骤SP45继续，判断是否已处理了所选话题的所有段，然后，若此处得到否定答案，则返回步骤SP44。因此，中央处理单元6在摘要的每段计算示出重要性的评分。
在图10的示例中，关键字“炸弹”、“男性”、“无家可归”、“案件”和“男孩”被检测为重要关键字，因此，相应摘要中的各段句子分别获得0分、45.2分、19.6分和8.4分的评分，如图12所示。
中央处理单元6将具有最高评分的那段句子设为摘要索引，并在硬盘驱动器32中将其与指定相应话题和摘要片断的信息一起记录下来。在下一步骤SP47中，中央处理单元6判断是否已处理了所有话题，然后，若此处得到否定答案，则向步骤SP43继续并处理下一话题。另一方面，若此处得到肯定答案，则中央处理单元6向步骤SP48继续，并返回原来的处理过程。返回原来的处理过程后，处理从步骤SP41向步骤SP51继续，以结束可用时间的处理。
因此，中央处理单元6形成索引生成单元49(图3)，该索引生成单元根据话题生成各个话题的索引。
当用户通过指定记录在硬盘驱动器32中的视频内容来指示重点回放时，中央处理单元6显示视频内容的索引。
如图13所示，中央处理单元6利用静止图像来显示被设置为用户指示了回放的视频内容的前端的摘要片断的前端帧。中央处理单元6还顺序显示在视频内容的各个话题中检测的索引。显示的索引根据用户对遥控器的操作而滚动。当用户通过选择任一索引来指示回放时，有关用户选择的索引的话题被回放并显示。
本例中，如作为图13的比较的图14所示，优选的是在列表中显示各个话题的前端帧的缩略图，并在各个缩略图处显示索引，而且可以广泛使用各种显示方式作为显示索引的方式。除了这样利用静止图像显示前端帧之外，从前端开始顺序回放和显示视频内容，并在一部分显示屏上的列表中显示索引也是优选的。
因此，本实施例中，中央处理单元6形成管理索引的索引管理单元50(图3)，还与显示控制器22和输出单元17一起形成显示索引的索引显示单元51。
(2)实施例的操作
上述配置中，对于从因特网4获得的节目(图2)，从网页服务器5经调制解调器2和SIO控制器获得传输流，然后该传输流在TS解码器14中被分成视频数据、音频数据和图文电视广播数据。该视频数据、音频数据和图文电视广播数据通过总线记录在硬盘驱动器32中。另一方面，对于电视广播节目，处理在调谐器11中接收的广播波并得到传输流，然后该传输流在TS解码器14中被分成视频数据、音频数据和图文电视广播数据。该视频数据、音频数据和图文电视广播数据通过总线记录在硬盘驱动器32中。
在硬盘记录器1中，当节目以这种方式记录在硬盘驱动器32中时，视频数据在影音(AV)解码器19中被解压缩然后输出到总线，并在中央处理单元6中被分析。根据分析结果，指示连续帧中的连续性的特征量被检测并与视频数据和音频数据一起记录在硬盘驱动器32中(图4)。
完成节目记录后的可用时间内，记录在硬盘驱动器32中的特征量被处理，并且表示节目内容的摘要片断被检测(图1、图5和图6)。以这种方式检测的摘要片断是利用视频数据表示图像中的节目内容的片断，因此，可以想到在该片断中分配的字幕包含表示节目内容的句子。实际上，在新闻节目中，首先，播音员讲解一条新闻的概要，然后，通过按照实际报导展示图像来介绍具体内容。因此，播音员作为该条新闻的概要讲解的那部分被检测为摘要片断，而且该片断的字幕包含讲解该条新闻的概要的句子。
然而，当显示摘要片断的所有字幕时，待显示的句子将会是多余的，这使得难以高精度地掌握节目的概要。而且，当显示摘要片断的缩略图时，很难准确地掌握节目概要，此外，很难高精度地掌握节目概要。
但是，根据各种分析结果，出现在摘要片断的字幕句子中的关键字也在非摘要片断部分出现。另外，摘要片断的字幕句子中最高精度地表示节目内容的句子包含的出现在非摘要片断部分的重要关键字最多。
根据上文，硬盘记录器1中，出现频率高的重要关键字从节目字幕中被检测出，而且重要关键字出现频率高的部分作为待显示的节目索引从摘要片断的字幕中被检测出(图1)。因此，硬盘记录器1中，与现有技术相比可以根据索引显示更加准确而高精度地掌握节目概要。
更具体而言，节目中的字幕被分为摘要片断中的字幕和非摘要片断的片断中的字幕，对摘要片断一侧的字幕设置较高的评分(图7)，使用该评分计算从节目字幕检测的各个关键字的评分，然后，按评分顺序选择预定数目的关键字，设为重要关键字(图8)。某些节目中，存在只在非摘要片断部分出现的关键字。如果这种关键字被设为重要关键字，则很难正确地从摘要片断中创建索引。硬盘记录器1中，为了选择重要关键字，对摘要片断一侧的字幕设置较高的评分，因此，只出现在非摘要片断部分的关键字不被设为重要关键字以有效避免索引的错误设置。
对字幕设置评分，以便当摘要片断在整个话题中所占比率减少时，与非摘要片断的片断中字幕的评分相比，摘要片断中字幕的评分增加。因此，在摘要片断的长度与非摘要片断的片断长度以不同方式改变的情况下，可以适当地检测到重要关键字而不加遗漏。
具体而言，硬盘记录器1中，对字幕设置评分，使得摘要片断中字幕的评分除以非摘要片断的片断中字幕的评分所得数值变成非摘要片断的片断中字幕字符的个数除以摘要片断中字幕字符的个数得到的数值。因此，即使在摘要片断的长度与非摘要片断的片断长度以不同方式改变的情况下，也可以通过简单处理适当地检测出重要关键字而不加遗漏。
此外，重要关键字、索引在从一个节目检测到的多个摘要片断中分别被检测，因此，例如在新闻节目等等中，各条新闻的概要可以被准确而高精度地掌握。
(3)实施例的优点
根据上述配置，通过分析视频检测表示节目内容的摘要片断，并且包含在全部字幕中检测到的出现频率高的关键字的摘要片断的字幕部分被设置为索引，从而准确而高精度地掌握节目概要。
另外，节目中的字幕被分为摘要片断中的字幕和非摘要片断的片断中的字幕，对摘要片断一侧的字幕设置较高的评分，并通过使用该评分设置重要关键字。因此，只出现在非摘要片断部分的关键字不被设为重要关键字以有效避免索引的错误设置。
对字幕设置评分，以便当摘要片断在整个话题中所占比率减少时，与非摘要片断的片断中字幕的评分相比，摘要片断中字幕的评分增加。因此，在摘要片断的长度与非摘要片断的片断长度以不同方式改变的情况下，可以适当地检测出重要关键字而不加遗漏，并可准确地创建索引。
更具体而言，对字幕设置评分，使得摘要片断中字幕的评分除以非摘要片断的片断中字幕的评分所得数值变成非摘要片断的片断中字幕字符的个数除以摘要片断中字幕字符的个数得到的数值。因此，即使在摘要片断的长度与非摘要片断的片断长度以不同方式改变的情况下，也可以通过简单处理适当地检测出重要关键字而不加遗漏。此外，重要关键字、索引在从一个节目检测到的多个摘要片断中分别被检测，因此，例如在新闻节目等等中，各条新闻的概要可以被准确而高精度地掌握。
【实施例2】
上述实施例中，描述了摘要片断和非摘要片断的片断中字幕的评分仅仅利用字符个数的比率来设置的情况，然而，本发明不限于这种情况。必要时设置评分的方法可按不同方式改变，例如根据回放时间的比率对摘要片断和非摘要片断的片断中的字幕设置评分的情况，或者根据用户对摘要片断创建的长度的指示，在摘要片断和非摘要片断的片断中改变字幕的评分的情况，如图6所示。
上述实施例中，描述了前端摘要或各个话题的前端帧的缩略图与索引一起显示的情况，但本发明不限于此。将节目的前端帧的缩略图与索引一起显示也是优选的，此外仅显示索引也是优选的。
上述实施例中，描述了根据标点符号等等从摘要的字幕中将字符串剪切到用户掌握一个含义的程度从而创建索引的情况，但本发明不限于此，根据场合的需求以多种方式设置索引长度也是优选的。
上述实施例中，描述了处理图文电视广播数据的字幕的情况，本发明不限于此，从语音识别的音频数据创建字幕以处理字幕也是优选的。
上述实施例中，描述了本发明的实施例应用到硬盘记录器并且视频内容被记录和回放的情况，但本发明不限于此，并且可以广泛应用到例如个人计算机下载新闻视频到个人终端设备之类的情况。这种情况下，可以高精度而准确地掌握各条新闻的概要，因此，可以高精度地将感兴趣的新闻下载到便携终端设备并进行观看。
此外，在上述实施例中，描述了本发明的实施例应用到硬盘记录器的情况，但本发明不限于此，并且本发明的实施例可以广泛应用到使用各种记录介质的视频内容的记录/回放设备。
本发明的实施例可以应用到记录和回放视频内容的硬盘记录器等等。
根据本发明的实施例，可以准确而高精度地掌握节目概要。
本领域技术人员应当理解，只要在所附权利要求或其等同物的范围之内，根据设计条件和其他因素可以想到各种修改、组合、子组合和变更。
相关申请的交叉引用
本发明包含与2006年8月21日向日本专利局递交的日本专利申请JP2006-223752相关的主题，此处通过引用将该申请的全部内容并入。

Claims (9)

1.一种节目提供方法，所述方法利用视频数据和音频数据在记录介质中记录节目并将该节目提供给用户，所述方法包括以下步骤：
通过分析视频数据的图像，检测利用视频数据表示所述节目内容的摘要片断；
从所述节目的字幕中检测出现频率高的关键字；
通过从所述摘要片断的字幕中检测在所述检测关键字步骤中检测到的关键字出现频率高的部分，来创建所述节目的索引；以及
显示所述索引。
2.根据权利要求1的节目提供方法，
其中所述检测关键字步骤包括以下步骤：
将所述节目的字幕分为摘要片断中的字幕和非摘要片断的片断中的字幕，并对摘要片断一侧的字幕设置高评分；
从所述节目字幕中检测关键字，并通过根据每个关键字把所述字幕分类步骤中设置的评分相加来计算各个关键字的评分；以及
按所述计算评分步骤计算的评分的顺序选择预定数目的关键字来设置关键字。
3.根据权利要求2的节目提供方法，
其中所述字幕分类步骤设置评分，使得当摘要片断在整个话题中所占比率减少时，与非摘要片断的片断中字幕的评分相比，摘要片断中字幕的评分增加。
4.根据权利要求2的节目提供方法，
其中所述字幕分类步骤设置评分，使得摘要片断中字幕的评分除以非摘要片断的片断中字幕的评分所得数值变成非摘要片断的片断中字幕字符的个数除以摘要片断中字幕字符的个数得到的数值。
5.根据权利要求1的节目提供方法，
其中所述检测摘要片断步骤从一个节目中检测多个摘要片断；
其中所述检测关键字步骤根据所述检测摘要片断步骤中检测到的每个摘要片断，从该摘要片断和后续的非摘要片断的片断中检测关键字；以及
其中所述创建索引步骤通过根据每个摘要片断在检测关键字步骤中检测到的相应关键字来创建索引。
6.根据权利要求1的节目提供方法，还包括以下步骤：
接收对在所述显示索引步骤中显示的索引的选择；以及
从与下述索引相对应的位置开始回放所述节目，在所述接收选择步骤中接收了对所述索引的选择。
7.一种节目提供方法的程序，所述方法利用视频数据和音频数据在记录介质中记录节目并将该节目提供给用户，所述方法包括以下步骤：
通过分析视频数据的图像，检测利用视频数据表示所述节目内容的摘要片断；
从所述节目的字幕中检测出现频率高的关键字；
通过从所述摘要片断的字幕中检测在所述检测关键字步骤中检测到的关键字出现频率高的部分，来创建所述节目的索引；以及
显示所述索引。
8.一种记录介质，所述记录介质记录用于节目提供方法的程序，所述方法通过利用视频数据和音频数据在记录介质中记录节目并将该节目提供给用户，所述节目提供方法包括以下步骤：
通过分析视频数据的图像，检测利用视频数据表示所述节目内容的摘要片断；
从所述节目的字幕中检测出现频率高的关键字；
通过从所述摘要片断的字幕中检测在所述检测关键字步骤中检测到的关键字出现频率高的部分，来创建所述节目的索引；以及
显示所述索引。
9.一种节目提供设备，所述节目提供设备利用视频数据和音频数据在记录介质中记录节目并将该节目提供给用户，所述设备包括：
摘要片断检测单元，其通过分析视频数据的图像，检测利用视频数据表示所述节目内容的摘要片断；
关键字检测单元，其从所述节目的字幕中检测出现频率高的关键字；
索引创建单元，其通过从所述摘要片断的字幕中检测在所述检测关键字单元中检测到的关键字出现频率高的部分，来创建所述节目的索引；以及
索引显示单元，其显示所述索引。
CN2007101422123A 2006-08-21 2007-08-21 节目提供方法及节目提供设备 Expired - Fee Related CN101131850B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006-223752 2006-08-21
JP2006223752A JP4835321B2 (ja) 2006-08-21 2006-08-21 番組提供方法、番組提供方法のプログラム、番組提供方法のプログラムを記録した記録媒体及び番組提供装置
JP2006223752 2006-08-21

Publications (2)

Publication Number Publication Date
CN101131850A true CN101131850A (zh) 2008-02-27
CN101131850B CN101131850B (zh) 2010-04-21

Family

ID=39129079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101422123A Expired - Fee Related CN101131850B (zh) 2006-08-21 2007-08-21 节目提供方法及节目提供设备

Country Status (3)

Country Link
US (1) US20080066104A1 (zh)
JP (1) JP4835321B2 (zh)
CN (1) CN101131850B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309993A (zh) * 2013-06-20 2013-09-18 天脉聚源(北京)传媒科技有限公司 一种关键词的提取方法及装置
CN104837036A (zh) * 2014-03-18 2015-08-12 腾讯科技（北京）有限公司 生成视频看点的方法、服务器、终端及系统
CN105611382A (zh) * 2014-11-14 2016-05-25 三星电子株式会社 产生概要内容的电子设备及其方法
CN108259971A (zh) * 2018-01-31 2018-07-06 百度在线网络技术（北京）有限公司 字幕添加方法、装置、服务器及存储介质
WO2018177139A1 (zh) * 2017-03-28 2018-10-04 腾讯科技（深圳）有限公司 一种视频摘要生成方法、装置、服务器及存储介质
CN111526413A (zh) * 2020-04-29 2020-08-11 江苏加信智慧大数据研究院有限公司 一种课程视频回放系统及回放方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090222849A1 (en) * 2008-02-29 2009-09-03 Peters Mark E Audiovisual Censoring
US9305603B2 (en) * 2010-07-07 2016-04-05 Adobe Systems Incorporated Method and apparatus for indexing a video stream
JP5244877B2 (ja) * 2010-09-15 2013-07-24 株式会社東芝 コンテンツ処理装置
JP2012129979A (ja) 2010-11-24 2012-07-05 Jvc Kenwood Corp 区間作成装置、区間作成方法、及び区間作成プログラム
JP6223678B2 (ja) * 2012-12-21 2017-11-01 株式会社東芝 電子機器及び再生制御方法
CN103686352A (zh) * 2013-11-15 2014-03-26 乐视致新电子科技（天津）有限公司 智能电视媒体播放器及其字幕处理方法、智能电视
US10242096B2 (en) 2016-03-15 2019-03-26 Google Llc Automated news digest
KR101924634B1 (ko) 2017-06-07 2018-12-04 네이버 주식회사 콘텐츠 제공 서버, 콘텐츠 제공 단말 및 콘텐츠 제공 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139343A (ja) * 1997-07-17 1999-02-12 Media Rinku Syst:Kk 映像検索装置
JP3873463B2 (ja) * 1998-07-15 2007-01-24 株式会社日立製作所 情報記録装置
JP2004534978A (ja) * 2000-11-16 2004-11-18 マイ ディーティービー ビデオ・プログラミング・イベントの望ましさを決定するシステムおよび方法
JP2002259720A (ja) * 2001-03-02 2002-09-13 Internatl Business Mach Corp <Ibm> コンテンツ要約システム、映像要約システム、ユーザ端末、要約映像生成方法、要約映像受信方法、およびプログラム
US7475416B2 (en) * 2001-06-13 2009-01-06 Microsoft Corporation System and methods for searching interactive broadcast data
JP4615166B2 (ja) * 2001-07-17 2011-01-19 パイオニア株式会社 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
US7747943B2 (en) * 2001-09-07 2010-06-29 Microsoft Corporation Robust anchoring of annotations to content
WO2005001715A1 (en) * 2003-06-30 2005-01-06 Koninklijke Philips Electronics, N.V. System and method for generating a multimedia summary of multimedia streams
JP2006115052A (ja) * 2004-10-13 2006-04-27 Sharp Corp コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体
US7555718B2 (en) * 2004-11-12 2009-06-30 Fuji Xerox Co., Ltd. System and method for presenting video search results
US7801910B2 (en) * 2005-11-09 2010-09-21 Ramp Holdings, Inc. Method and apparatus for timed tagging of media content
KR100754529B1 (ko) * 2005-11-28 2007-09-03 삼성전자주식회사 동영상 요약 서비스 장치 및 그 방법
US7680853B2 (en) * 2006-04-10 2010-03-16 Microsoft Corporation Clickable snippets in audio/video search results
US7640272B2 (en) * 2006-12-07 2009-12-29 Microsoft Corporation Using automated content analysis for audio/video content consumption

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309993A (zh) * 2013-06-20 2013-09-18 天脉聚源(北京)传媒科技有限公司 一种关键词的提取方法及装置
CN104837036A (zh) * 2014-03-18 2015-08-12 腾讯科技（北京）有限公司 生成视频看点的方法、服务器、终端及系统
CN104837036B (zh) * 2014-03-18 2018-04-10 腾讯科技（北京）有限公司 生成视频看点的方法、服务器、终端及系统
CN105611382A (zh) * 2014-11-14 2016-05-25 三星电子株式会社 产生概要内容的电子设备及其方法
WO2018177139A1 (zh) * 2017-03-28 2018-10-04 腾讯科技（深圳）有限公司 一种视频摘要生成方法、装置、服务器及存储介质
CN108259971A (zh) * 2018-01-31 2018-07-06 百度在线网络技术（北京）有限公司 字幕添加方法、装置、服务器及存储介质
CN111526413A (zh) * 2020-04-29 2020-08-11 江苏加信智慧大数据研究院有限公司 一种课程视频回放系统及回放方法

Also Published As

Publication number Publication date
JP2008047004A (ja) 2008-02-28
US20080066104A1 (en) 2008-03-13
JP4835321B2 (ja) 2011-12-14
CN101131850B (zh) 2010-04-21

Similar Documents

Publication Publication Date Title
CN101131850B (zh) 节目提供方法及节目提供设备
CN101202864B (zh) 动画再现装置
JP5057918B2 (ja) 電子機器およびシーン種類表示方法
CN101179681B (zh) 偏好提取装置和偏好提取方法
US8503832B2 (en) Electronic device and facial image display apparatus
US9497404B2 (en) Information processing apparatus, method, and program
JP5135024B2 (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
CN101778233B (zh) 数据处理装置以及数据处理方法
US20100275164A1 (en) Authoring apparatus
KR101100191B1 (ko) 멀티미디어 재생장치와 이를 이용한 멀티미디어 자료검색방법
US11803589B2 (en) Systems, methods, and media for identifying content
CN104105002A (zh) 音视频文件的展示方法和装置
JP2006319980A (ja) イベントを利用した動画像要約装置、方法及びプログラム
CN101112090A (zh) 视频内容回放辅助方法、系统和信息分发程序
US20040177317A1 (en) Closed caption navigation
JP2006163877A (ja) メタデータ生成装置
JP2007060626A (ja) 番組選択支援装置、番組選択支援方法、及び番組選択支援プログラム
KR101440168B1 (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
CN101835018B (zh) 动画记录重放装置
CN104349173A (zh) 视频复读方法及装置
JP2008227909A (ja) 映像検索装置
EP1918851A2 (en) Video player
CN106936830A (zh) 一种多媒体数据的播放方法和装置
JP5039020B2 (ja) 電子機器および映像コンテンツ情報表示方法
JP2007294020A (ja) 記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100421

Termination date: 20130821