CN101753915A - 数据处理设备、数据处理方法及程序 - Google Patents

Abstract

本发明公开了数据处理设备、数据处理方法及程序。该数据处理设备包括输出控制单元，该输出控制单元被配置为：从内容数据中的字幕数据中提取搜索所针对的字符串，内容数据包括图像数据、语音数据和字幕数据；搜索语音数据以寻找说出字符串的语音的数据，获取在图像数据中包括的、指示说出字符串的时间的定时信息；生成包括识别信息和定时信息的字幕定时信息，从而获取字幕定时信息，其中识别信息和定时信息彼此互相关联，并且识别信息用来识别包括字符串的字幕数据；以及使字幕数据和与字幕数据的识别信息相关联的定时信息所指示的时间的图像数据同步，并且基于字幕定时信息输出字幕数据和图像数据。

Description

数据处理设备、数据处理方法及程序

技术领域

本发明涉及数据处理设备、数据处理方法及程序，并且更具体地涉及例如为了易于同步和显示电视广播节目等的内容的图像和字幕而提供的数据处理设备、数据处理方法及程序。

背景技术

例如，在电视广播中，字幕数据以隐藏字幕等形式被包括在电视广播信号中，使得听障观众可以理解作为内容而提供的节目的图像细节。

在接收电视广播信号的电视(TV)接收机和/或包括记录器等的接收设备中，字幕数据被叠加在节目的图像数据上，使得节目图像得到显示。通常，字幕可被隐藏(关闭)。

此外，在现时提供的电视广播中，字幕不一定与图像相同步地显示。也就是说，字幕常常与对应于字幕的图像(其细节通过字幕来描述的图像)不同步地显示。

特别地，例如在现场广播中，操作者当场在键盘上产生示出为字幕的字符，所以对应于图像的字幕比图像显示滞后若干秒至数十秒。在这种情况下，图像细节与通过叠加在图像上的字幕提供的描述细节不匹配(不一致)。结果，观众常常困惑和烦恼。

为了校正所显示字幕的上述延迟，已经引入了通过电视广播台计算为图像数据显示的字幕数据的延迟时间并将延迟时间数据发送给接收设备的方法，如在日本未实审专利申请公布No.2006-211636中所公开的。在这种情况下，接收设备基于从广播台发送的延迟时间数据、与图像相同步地显示字幕。

发明内容

为了以上述方式从广播台向接收设备发送延迟时间数据，应当参考延迟时间数据传输来决定(修改)广播标准，并且广播台和接收设备两者应当为该广播标准做好准备。

然而，为了决定广播标准应当执行复杂的过程。另外，要使广播台和接收设备两者为广播标准做好准备也是复杂而困难的。

因此，为了易于同步并且显示内容的图像和字幕而作出了本发明的实施例。即，本发明的实施例允许同步并显示内容的图像和字幕，而无需修改广播标准或者使广播台为广播标准做好准备。

根据本发明一个实施例，提供了一种数据处理设备和/或使计算机充当该数据处理设备的程序，其中该数据处理设备包括输出控制单元，该输出控制单元被配置为：从内容数据中的字幕数据中提取搜索所针对的字符串，内容数据包括图像数据、语音数据和字幕数据；搜索语音数据以寻找说出字符串的语音的数据，获取在图像数据中包括的、指示说出字符串的时间的定时信息；生成包括识别信息和定时信息的字幕定时信息，从而获取字幕定时信息，其中识别信息和定时信息彼此互相关联，并且识别信息用来识别包括字符串的字幕数据；以及基于字幕定时信息使字幕数据和与字幕数据的识别信息相关联的定时信息所指示的时间的图像数据同步，并且输出字幕数据和图像数据。

根据本发明一个实施例的数据处理方法包括以下步骤：从内容数据中的字幕数据中提取搜索所针对的字符串，内容数据包括图像数据、语音数据和字幕数据；搜索语音数据以寻找说出字符串的语音的数据，获取在图像数据中包括的、指示说出字符串的时间的定时信息；生成包括识别信息和定时信息的字幕定时信息，从而获取字幕定时信息，其中识别信息和定时信息彼此互相关联，并且识别信息用来识别包括字符串的字幕数据；以及基于字幕定时信息使字幕数据和与字幕数据的识别信息相关联的定时信息所指示的时间的图像数据同步，并且通过数据处理设备来输出字幕数据和图像数据。

根据上述实施例，从包括图像数据、语音数据和字幕数据的内容数据中的字幕数据中提取搜索所针对的字符串；搜索语音数据以寻找说出字符串的语音的数据，获取在图像数据中包括的、指示说出字符串的时间的定时信息；生成包括识别信息和定时信息的字幕定时信息，从而获取字幕定时信息，其中识别信息和定时信息彼此互相关联，并且识别信息用来识别包括字符串的字幕数据；以及基于字幕定时信息使字幕数据和与字幕数据的识别信息相关联的定时信息所指示的时间的图像数据同步，并且输出字幕数据和图像数据。

这里，该数据处理设备可被提供作为独立设备和/或在单个设备中包括的至少一个内部块。

另外，该程序可被经由传送介质来传送并且/或者被记录在记录介质上，以便被呈现给用户。

根据本发明一个实施例，可以容易地同步并显示内容的图像和字幕。

附图说明

图1是示出了根据本发明一个实施例的记录器的示例性配置的框图；

图2是示出内容数据处理单元的示例性配置的框图；

图3是图示出字幕定时信息获取处理的流程图；

图4是图示出同步和再现处理的流程图；以及

图5是示出根据本发明实施例的计算机的示例性配置的框图。

具体实施方式

[根据本发明一个实施例的记录器的示例性配置]

图1是示出根据本发明一个实施例的记录器的示例性配置的框图。

图1所示的记录器例如是硬盘(HD)记录器，其包括调谐器11、解复用器12、记录和再现控制单元13、记录介质14、解码器15、内容数据处理单元16，等等。

调谐器11接收并解调电视广播节目的传输信号，该传输信号例如是从数字广播台(未示出)发送的。结果，调谐器11例如获取包括内容数据的传输流(TS)并且将该TS发送到解复用器12。

这里，图1所示的记录器不仅可以以上述方式从数字广播的传输信号获取内容数据(包括内容数据的TS)，而且可以从包括局域网(LAN)、因特网等在内的网络获取内容数据。

解复用器12从发送自调谐器11的TS中提取用于执行控制的适当数据(节目专用信息(PSI)和/或业务信息(SI))、包括电子节目指南(EPG)数据的数据，并且将适当的控制数据发送到记录和再现控制单元13。

另外，解复用器12基于由用户(观众)执行的操作等从发送自调谐器11的TS中提取包括预定节目的内容数据的TS分组，并且将该TS分组发送到记录和再现控制单元13。

记录和再现控制单元13控制在记录介质14上记录数据和/或从记录介质14中再现(读取)数据的操作。

也就是说，记录和再现控制单元13在记录介质14上记录从解复用器12发送的EPG数据、内容数据(包括内容数据的TS分组)。另外，记录和再现控制单元13从记录介质14中再现(读取)内容数据等，并且基于由用户执行的操作、从内容数据处理单元16发送的请求等将内容数据等发送到解码器15。

记录介质14包括包含硬盘(HD)等在内的磁盘、包含数字通用盘(DVD)、蓝光光盘等在内的光盘、包含闪存等在内的半导体存储器等，并且在记录和再现控制单元13的控制下记录(存储)数据。

解码器15例如按照运动图像专家组(MPEG)标准来解码从记录和再现控制单元13发送的、包括内容数据的TS分组，并且将作为解码结果而获得的内容数据发送到内容数据处理单元16，所述内容数据包括图像数据、语音数据和通过隐藏字幕获得的字幕数据，等等。

内容数据处理单元16将对适当内容数据的请求数据发送到记录和再现控制单元13。另外，内容数据处理单元16对包括在从解码器15发送的内容数据中的图像数据、语音数据和字幕数据进行处理，并且输出通过将字幕数据叠加在相应图像数据上(复合)而得到的复合图像数据以及与复合图像数据一起的语音数据。

在上述记录器中，调谐器11接收并解调传输信号从而获得TS，并且将TS发送到解复用器12。

解复用器12从发送自调谐器11的TS中提取包括预定节目的内容数据的TS分组，并且将该TS分组发送到记录和再现控制单元13。

记录和再现控制单元13把从解复用器12发送的、包括内容数据的TS分组记录在记录介质14上。结果，执行了所谓的节目记录。

当再现以上述方式记录的节目时，记录和再现控制单元13从记录介质14中再现(读取)包括内容数据的TS分组，并且将TS分组发送到解码器15。

解码器15对从记录和再现控制单元13发送的、包括内容数据的TS分组进行解码，从而得到包括图像数据、语音数据和字幕数据的内容数据，并且将内容数据发送到内容数据处理单元16。

内容数据处理单元16对包括在从解码器15发送的内容数据中的图像数据、语音数据和字幕数据进行处理，并且输出通过将字幕数据叠加在相应图像数据上而得到的复合图像数据以及与复合图像数据一起的语音数据。

从内容数据处理单元16输出的复合图像数据和语音数据被发送到监视器(未示出)。监视器显示与复合图像数据相对应的复合图像，即通过把描述节目图像细节的字幕数据叠加在节目图像上而得到的图像。同时，监视器输出与语音数据相对应的语音。

这里，可以基于例如由用户执行的操作来开启和/或关闭字幕显示(字幕叠加)。

[内容数据处理单元16的示例性配置]

图2示出了图1所示的内容数据处理单元16的示例性配置。

在图2中，内容数据处理单元16是被配置为处理从解码器15(在图1中示出)发送的、包括图像数据、语音数据和字幕数据的内容数据的数据处理设备。内容数据处理单元16包括内容数据获取单元31、字幕获取单元32、单词提取单元33、语音提取单元34、语音搜索单元35、字幕定时信息生成单元36、同步单元40，等等。

内容数据获取单元31把对内容数据的请求发送给记录和再现控制单元13(在图1中示出)，并且记录和再现控制单元13响应于该请求而获取从记录介质14中再现并被经由解码器15发送到内容数据获取单元31的内容数据。

另外，内容数据获取单元31基于例如由用户执行的操作，通过记录和再现控制单元13获取从记录介质14中再现并被经由解码器15发送到内容数据获取单元31的内容数据。

内容数据获取单元31在适当情况下把以上述方式获取的内容数据发送到字幕获取单元32、语音获取单元34和同步单元40。

字幕获取单元32例如按照字幕数据的群组从发送自内容数据获取单元31的内容数据中获取(分离)字幕数据，并且将所获取的字幕数据发送到单词提取单元33和字幕定时信息生成单元36。

单词提取单元33通过包括形态分析等的自然语言处理技术，例如从作为发送自字幕获取单元32的字幕数据而提供的文本数据中提取例如作为搜索所针对的(作为搜索目标的)字符串数据而提供的至少一个单词(串)的数据，并将单词数据发送到语音搜索单元35。

这里，作为搜索所针对的字符串而通过单词提取单元33从字幕数据中提取的单词也被称为搜索目标单词。

另外，除了从字幕数据中提取搜索目标单词之外，单词提取单元33在适当情况下获取显示时间信息并将所获取的显示时间信息和搜索目标单词发送到语音搜索单元35，所述显示时间信息指示显示与包括搜索目标单词的字幕数据相对应的字幕的时间。

也就是说，从内容数据获取单元31发送到字幕获取单元32的内容数据例如包括关于显示字幕数据的时间的信息。字幕数据获取单元32还从发送自内容数据获取单元31的内容数据中获取显示时间信息(除了字幕数据之外)，并且将字幕数据和显示时间信息发送到单词提取单元33。

当接收到从字幕获取单元32发送的显示时间信息时，单词提取单元33把从字幕数据中提取的搜索目标单词和关于显示包括搜索目标单词的字幕数据的时间的信息发送到语音搜索单元35。

语音获取单元34从发送自内容数据获取单元31的内容数据中获取语音数据，并且将语音数据发送到语音搜索单元35。

语音搜索单元35搜索从语音获取单元34发送的语音数据以寻找说出(语音表达)搜索目标单词(其数据是从单词提取单元33发送的)的语音的数据，并且获取指示在与语音数据一起的图像数据中说出搜索目标单词的时间的定时信息。

这里，定时信息例如可以是时间码等，其指示参考作为如下内容而提供的节目的头时间来确定的相对时间，所述内容对应于通过内容数据获取单元31获得的内容数据。

另外，当接收到从单词提取单元33发送的显示时间信息时，语音搜索单元35可以在显示时间信息所指示的显示时间附近的语音数据的范围内搜索语音数据，以寻找说出搜索目标单词的语音的数据。

因为语音搜索单元35在显示时间信息所指示的显示时间附近的语音数据的范围内搜索语音数据以寻找说出搜索目标单词的语音的数据，而非搜索通过内容数据获取单元31获取的内容数据中所包括的整个语音数据段，因此例如可以提高语音数据搜索的精度、减少为了获得搜索而执行的处理量和以高速执行搜索处理。

字幕定时信息生成单元36生成字幕定时信息，字幕定时信息包括用于识别从字幕获取单元32发送的字幕数据的字幕识别信息以及指示说出搜索目标单词的时间的定时信息，该定时信息是通过语音搜索单元35搜索说出从字幕数据中提取的搜索目标单词的语音的数据来获取的，其中字幕识别信息和定时信息彼此互相关联。

另外，字幕定时信息生成单元36与根据内容数据生成的字幕定时信息相关联地存储为了识别通过内容数据获取单元31获取的内容数据而提供的内容识别信息。

字幕定时信息生成单元36中存储的字幕定时信息被同步单元40的输出控制单元44在适当情况下参考。

另外，为了识别字幕数据而提供的字幕识别信息例如可以是字幕数据本身。另外，为了识别内容数据而提供的内容识别信息例如可以是作为与上述内容数据相对应的内容的节目的标题数据和/或广播日期和时间数据、广播频道，等等。

此外，唯一的标识(ID)数据可被给予内容数据，并且ID数据可被用作内容识别信息。字幕识别信息也可能是这种情形。然而，字幕识别信息应当是根据字幕数据本身获取的信息，例如通过将字幕数据确定为自变量(argument)而获得的散列值。

同步单元40对从内容数据获取单元31发送的内容数据执行处理，使得内容数据中包括的图像数据和对应于图像数据的字幕数据被彼此同步地显示。结果，同步单元40获得通过将字幕数据叠加在相应图像数据上而实现的复合图像数据，并且输出复合图像数据和与复合图像数据一起的语音数据。

也就是说，同步单元40包括语音获取单元41、图像获取单元42、字幕获取单元43、输出控制单元44、复合单元45，等等。

内容数据获取单元31将内容数据发送给语音获取单元41、图像获取单元42和字幕获取单元43。

语音获取单元41从所发送的内容数据中获取语音数据并且将语音数据发送给输出控制单元44。

图像获取单元42从所发送的内容数据中获取图像数据并且将图像数据发送给输出控制单元44。

字幕获取单元43从所发送的内容数据中获取字幕数据并且将字幕数据发送给输出控制单元44。

输出控制单元44基于字幕定时信息生成单元36中存储的字幕定时信息来同步从字幕数据获取单元43发送的字幕数据和与字幕数据的字幕识别信息相关联的定时信息所指示的时间的图像数据，并且输出字幕数据、图像数据和与图像数据一起的语音数据。

也就是说，输出控制单元44在适当情况下存储从图像获取单元42发送的图像数据和从语音获取单元41发送的、与图像数据一起的语音数据，使得图像数据和语音数据被延迟预定时间并输出。

另外，输出控制单元44参考字幕定时信息生成单元36中存储的字幕定时信息中的、与通过内容数据获取单元31获取的内容信息的内容识别信息相关联的每个字幕定时信息项，作为将关注的关注字幕定时信息。

另外，输出控制单元44从关注字幕定时信息中检测与从字幕获取单元43发送的字幕数据的字幕识别信息相关联的定时信息，并且与定时信息所指示的时间的图像数据(其细节由与从字幕获取单元43发送的字幕数据相对应的字幕来描述)相同步地输出从字幕获取单元43发送的字幕数据。

这里，从输出控制单元44输出的语音数据被发送到监视器(未示出)。

另外，从输出控制单元44输出的图像数据和描述图像数据细节的字幕的数据被发送到复合单元45。

复合单元45把从输出控制单元44发送的字幕数据叠加在同样从输出控制单元44发送的图像数据上(复合)，使得复合图像数据被生成并输出。

从复合单元45输出的复合图像数据被发送到监视器(未示出)，除此之外，从输出控制单元44输出的、与复合图像数据一起的语音数据也被发送到监视器(未示出)。

上述内容数据处理单元16执行字幕定时信息获取处理以及同步和再现处理。

在字幕定时信息获取处理期间，例如基于记录介质14上记录的内容数据(包括内容数据的TS分组)而生成字幕定时信息，从而获取字幕定时信息。另外，在同步和再现处理期间，基于通过字幕定时信息获取处理获取的字幕定时信息来同步在内容数据中包括的图像数据和字幕数据，并且输出图像数据、字幕数据和与图像数据一起的语音数据。

[字幕定时信息获取处理的描述]

将参考图3来描述通过图2所示的内容数据处理单元16执行的字幕定时信息获取处理。

字幕定时信息获取处理可以在诸如周期性时间和/或非周期性时间之类的任意时间开始。

在字幕定时信息获取处理的步骤S11处，内容数据获取单元31获取在记录介质14(在图1中示出)上记录的内容数据项之一，其中针对所获取的内容数据项还未获取字幕定时信息。

也就是说，在步骤S11处，内容数据获取单元31把对内容数据的请求数据发送到记录和再现控制单元13(在图1中示出)。响应于该请求，内容数据获取单元31通过记录和再现控制单元13获取从记录介质14中再现并被经由解码器15发送到内容数据获取单元31的内容数据。

另外，内容数据获取单元31把经由解码器15从记录和再现控制单元13获取的内容数据发送到字幕获取单元32和语音获取单元34，并且处理从步骤S11前进到步骤S12。

在步骤S12处，字幕获取单元32从发送自内容数据获取单元31的内容数据中获取每个字幕数据项，并且将这些字幕数据项发送到单词提取单元33和字幕定时信息生成单元36。另外，在步骤S12处，字幕获取单元32从发送自内容数据获取单元31的内容数据中获取关于显示从该内容数据中获取的每个字幕数据项的时间的信息，并且将所获取的显示时间信息发送到单词提取单元33。

另外，在步骤S12处，语音获取单元34从发送自内容数据获取单元31的内容数据中获取语音数据(语音的波形数据)，并且将语音数据发送到语音搜索单元35。

此后，处理从步骤S12前进到步骤S13，并且单词提取单元33从发送自字幕获取单元32的每个字幕数据项中提取作为搜索所针对的字符串的搜索目标单词的数据。另外，单词提取单元33生成搜索目标列表的数据，利用该数据，从每个字幕数据项中提取的搜索目标单词和从字幕提取单元32发送的显示时间信息(关于显示搜索目标单词所提取的来源的字幕的时间的信息)彼此相关联地被登记。然后，单词提取单元33将搜索目标列表数据发送到语音搜索单元35，并且处理从步骤S13前进到步骤S14。

这里，例如，单词提取单元33对用作字幕数据的文本数据执行形态分析，从而文本数据被划分为多个单词并且这些单词中的每一个单词的朗读(语声)的数据被获取。另外，单词提取单元例如从通过划分文本数据而得到的多个单词中选择(提取)具有最长朗读的单词、专有名词、具有预定数目字符或者更多字符的至少两个连续单词(单词串)等，作为搜索目标单词，以便例如在稍后将描述的步骤S16处以适当的精度搜索说出变为关注单词(remarked word)的搜索目标单词的语音的数据。

在步骤S14处，语音搜索单元35判定搜索目标单词是否在发送自单词提取单元33的搜索目标列表数据中登记过。

如果在步骤S14处判定搜索目标单词在搜索目标列表中登记过，那么处理前进到步骤S15并且语音搜索单元35把在搜索目标列表中登记过的搜索目标单词之一选择为关注单词。

此后，处理从步骤S15前进到步骤S16，并且语音搜索单元35搜索从语音获取单元34发送的语音数据，以寻找说出关注单词的语音的数据。然后，语音搜索单元35基于搜索结果辨认出在先前步骤(即步骤S11)处获取的内容数据中包括的图像数据中说出关注单词的时间。另外，语音搜索单元35生成指示说出关注单词的时间的定时信息从而获取定时信息，并且将定时信息发送到字幕定时信息生成单元36，结果处理从步骤S16前进到步骤S17。

这里，语音搜索单元35例如通过所谓的关键字定点(keywordspotting)方法和/或生成从语音获取单元34发送的语音数据的音位(phoneme)和音位位置作为索引并且基于上述索引来搜索包括在关注单词中的音位的系统的方法，来搜索说出关注单词的语音的数据。

另外，语音搜索单元35可以在与关注单词相关联的显示时间信息所指示的显示时间附近的语音数据的范围内，搜索从单词提取单元33发送的搜索目标列表数据，以寻找说出关注单词的语音的数据(例如，包括显示时间信息所指示的显示时间并且与关注单词的朗读长度成比例的时间)。

在步骤S17处，字幕定时信息生成单元36把从字幕获取单元32发送的每个字幕数据项确定为字幕数据项的字幕识别信息。另外，字幕定时信息生成单元36生成字幕定时信息，字幕定时信息包括从语音搜索单元35发送的、指示说出关注单词的时间的定时信息，以及关注单词所提取来自的字幕数据(从该字幕数据提取)的字幕识别信息，其中定时信息和字幕识别信息彼此互相关联。

另外，字幕定时信息生成单元36与针对关注单词而生成的字幕定时信息相关联地存储在先前步骤(即步骤S11)处获取的内容数据的内容识别信息，并且处理从步骤S17前进到步骤S18。

在步骤S18处，语音搜索单元35从搜索目标列表(其数据是从单词提取单元33发送的)中去除关注单词和与关注单词相关联的显示时间信息。

此后，处理从步骤S18返回到步骤S14，从而重复从S14往下的处理。

如果在步骤S14处判定搜索目标单词未在搜索目标列表中登记过，即，如果为在先前步骤(即步骤S11)处获取的内容数据中包括的每个字幕数据项生成了字幕定时信息，那么字幕信息获取处理完成。

[同步和再现处理的描述]

将参考图4来描述通过图2所示的内容数据处理单元16执行的同步和再现处理。

在同步和再现处理期间，内容数据获取单元31在步骤S31处判定是否例如由操作记录器的用户指定了再现所针对的(作为再现目标的)内容数据。

如果在步骤S31处判定未指定再现所针对的内容数据，那么处理返回到步骤S31。

如果在步骤S31处判定指定了再现所针对的内容数据，那么处理前进到步骤S32，结果内容数据获取单元31开始获取内容数据，然后处理前进到步骤S33。

也就是说，如果例如由操作记录器的用户指定了再现所针对的内容数据，那么记录和再现控制单元13(在图1中示出)从记录介质14中再现对其进行指定的内容数据(下文中称为所指定的内容数据)，并把所指定的内容数据经由解码器15发送到内容数据处理单元16。

内容数据获取单元31开始获取应以上述方式被发送到内容数据处理单元16的所指定内容数据。

通过内容数据获取单元31获取的内容数据被发送到设在同步单元40中的语音获取单元41、图像获取单元42和字幕获取单元43。

在步骤S33处，内容数据获取单元31判定是否应当结束内容数据再现。

如果在步骤S33处判定不应当结束内容数据再现，即如果用户未执行指示结束内容数据再现的操作等，那么处理前进到步骤S34，从而从所指定的内容数据中获取语音数据、图像数据和字幕数据，然后处理前进到步骤S35。

也就是说，在步骤S34处，语音获取单元41从发送自内容数据获取单元31的所指定内容数据中获取语音数据，并且将语音数据发送到输出控制单元44。

另外，图像获取单元42从发送自内容数据获取单元31的所指定内容数据中获取图像数据，并且将图像数据发送到输出控制单元44。

另外，字幕获取单元43从发送自内容数据获取单元31的所指定内容数据中获取字幕数据，并且将字幕数据发送到输出控制单元44。

另外，在步骤S35处，输出控制单元44参考在字幕定时信息生成单元36中存储的、与通过内容数据获取单元31获取的所指定内容数据的内容识别信息相关联的每个字幕定时信息项，作为要关注的关注字幕定时信息。

另外，输出控制单元44把从字幕获取单元43发送的字幕数据确定为字幕识别信息，并且根据关注字幕定时信息来检测与字幕识别信息相关联的定时信息，从而获取定时信息。

然后，处理从步骤S35前进到步骤S36，并且输出控制单元44基于由关注字幕定时信息而获取的字幕定时信息，来控制从语音获取单元41输出的语音数据、从图像获取单元42输出的图像数据、以及从字幕获取单元43输出的字幕数据。

也就是说，输出控制单元44在适当情况下延迟和/或不延迟从图像获取单元42发送的图像数据和从语音获取单元41发送的、与图像数据一起的语音数据，并且输出图像数据和语音数据。

另外，输出控制单元44与如下图像数据相同步地输出从字幕获取单元43发送的字幕数据：所述图像数据在由关注字幕定时信息获取的字幕定时信息所指示的时间被显示，即其细节通过与从字幕获取单元43发送的字幕数据相对应的字幕来描述的图像数据。也就是说，在由关注字幕定时信息获取的字幕定时信息所指示的时间的图像数据被输出的同时，输出控制单元44开始输出从字幕获取单元43发送的字幕数据。

从输出控制单元44输出的图像数据和(描述图像数据的细节的)字幕数据被发送到复合单元45。

此后，处理从步骤S36前进到步骤S37，并且复合单元45把从输出控制单元44发送的字幕数据叠加在同样从输出控制单元44发送的图像数据上(复合)，从而生成并输出复合图像数据。

从复合单元45输出的复合图像数据被发送到监视器(未示出)，除此之外，从输出控制单元44输出的、与复合图像数据一起的语音数据也被发送到监视器(未示出)。

结果，通过监视器，显示了对应于复合图像数据的复合图像(即，描述节目图像的字幕所叠加于的节目图像)，并且输出了对应于语音数据的语音。

此后，处理从步骤S37返回到步骤S33，从而重复从步骤S33往下的处理。

然后，如果在步骤S33处判定应当结束内容数据再现，即如果用户执行了指示结束内容数据再现的操作等，那么结束同步和再现处理。

因此，在内容数据处理单元16中执行的字幕定时信息获取处理(在图3中示出)期间，单词提取单元33从包括图像数据、语音数据和字幕数据的内容数据中包括的字幕数据中提取作为搜索所针对的字符串的搜索目标单词，语音搜索单元35搜索内容数据中包括的语音数据以寻找说出搜索目标单词的语音数据，从而获取指示在图像数据中说出搜索目标单词的时间的定时信息，并且字幕定时信息生成单元36生成包括字幕识别信息和定时信息的字幕定时信息，字幕识别信息是为了识别包括搜索目标单词的字幕数据而提供的，定时信息指示说出搜索目标单词的时间，其中字幕识别信息和定时信息彼此互相关联。

另外，在内容数据处理单元16中执行的同步和再现处理(在图4中示出)期间，输出控制单元44基于字幕定时信息来同步字幕数据和与字幕数据的字幕识别信息相关联的定时信息所指示的时间的图像数据，并且输出字幕数据和图像数据。

因此，可以容易地同步和显示内容的图像和字幕。就是说，例如在不修改广播标准和/或使广播台为广播标准做好准备的情况下，可以显示如下内容图像：在该内容图像上叠加了描述内容图像的细节的字幕。

结果，可以减少与图像(其细节通过字幕来描述)不同步显示的字幕并且防止观众困惑和/或烦恼。

另外，除了作为从字幕数据中提取的、搜索所针对的字符串的单个单词之外，单词提取单元33还可以采用包括子句、句子等在内的多个单词串。

另外，在上述实施例中，内容数据处理单元16基于在记录介质14上记录的内容数据来生成字幕定时信息，从而获取字幕定时信息。然而，可以例如从设在因特网上的服务器等获取字幕定时信息。即，可以通过设在因特网上的服务器来生成和呈递字幕定时信息。在这种情况下，内容数据处理单元16可以从设在因特网上的服务器下载字幕定时信息以进行获取。

当从设在因特网上的服务器下载字幕定时信息以进行获取时，内容数据处理单元16可以不包括字幕获取单元32(被提供为生成字幕定时信息的块)、单词提取单元33、语音获取单元34、语音搜索单元35和字幕定时信息生成单元36。

另外，在上述实施例中，针对记录介质14中存储(记录)的内容数据执行了字幕定时信息获取处理(在图3中示出)和同步和再现处理(在图4中示出)。然而，除了记录介质14上记录的内容数据之外，还可以针对实时广播的节目的内容数据执行字幕定时信息获取处理以及同步和再现处理。

当针对实时广播的节目的内容数据执行字幕定时信息获取处理以及同步和再现处理时，内容数据被发送到字幕获取单元32和语音获取单元34，以及设在同步单元40中的语音获取单元41、图像获取单元42和字幕获取单元43，并且在内容数据处理单元16中并行执行字幕定时信息获取处理(在图3中示出)以及同步和再现处理(在图4中示出)。

在这种情况下，作为同步和再现处理，(在图2中示出的)输出控制单元44使从语音获取单元41发送的语音数据和从图像获取单元42发送的图像数据延迟预定时间，例如获取至少一个字幕数据项(一组字幕数据项)的字幕定时信息所用的时间，并且输出语音数据和图像数据。

另一方面，作为字幕定时信息获取处理，字幕获取单元32、单词提取单元33、语音提取单元34、语音搜索单元35和字幕定时信息生成单元36针对通过字幕获取单元32获取的最新字幕数据生成字幕定时信息，并且将字幕定时信息发送到输出控制单元44。

输出控制单元44基于最新字幕定时信息与相应图像数据相同步地输出从字幕获取单元43发送的最新字幕数据。

在上述实施例中，本发明用于记录器。然而，除了记录器之外，本发明可以用于被配置为再现内容的设备和/或装置，例如被配置为接收电视广播节目的电视(TV)。

接下来，可以通过硬件和/或软件来执行通过内容数据处理单元16执行的上述一系列处理过程。当通过软件来执行这一系列处理过程时，软件中包括的程序例如被安装在通用计算机上。

图5示出了根据本发明一个实施例的计算机的示例性配置，其中执行上述一系列处理过程的程序被安装在计算机上。

程序可被预先记录在设在计算机中的、充当记录介质的硬盘105和/或只读存储器(ROM)103上。

另外，程序可被临时地和/或永久地存储(记录)在可移除记录介质111中，其中可移除记录介质111包括柔性盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘、半导体存储器，等等。上述可移除记录介质111可以表示为所谓的套装软件。

除了从计算机上的上述可移除记录介质111安装之外，程序也可以经由为了实现数字卫星广播而提供的人造卫星被从下载站点无线地传送到计算机，或者经由包括局域网(LAN)、因特网等的网络被以有线方式传送到计算机。计算机可以通过通信单元108接收以上述方式传送的程序，并且将程序安装在内部的硬盘105上。

计算机包括经由总线101而连接到输入和输出接口110的中央处理单元(CPU)102。例如当包括键盘、鼠标、麦克风等的输入单元107被用户操作，使得指令经由输入和输出接口110被发送到CPU 102时，CPU 102基于该指令执行在只读存储器(ROM)103中存储的程序。另一方面，CPU 102把硬盘105中存储的程序加载到随机存取存储器(RAM)104中并执行该程序，该程序是从卫星和/或网络传送、由通信单元108接收、并被安装在硬盘105上的程序，或是从插入到驱动器109中的可移除记录介质111中读取、并被安装在硬盘105上的程序。结果，CPU 102执行基于上述流程图的处理，以及通过上述框图的配置来执行的处理。然后，CPU102在适当情况下例如经由输入和输出接口110从包括液晶显示器(LCD)、扬声器等的输出单元106输出处理结果的数据，或者从通信单元108发送处理结果数据，并且将处理结果数据记录在硬盘105上。

另外，在本说明书中，描述使计算机执行各处理过程的程序的处理步骤可以不按照根据编写为流程图的次序的时间顺序来执行。即，处理步骤包括并行执行和/或分开执行的处理过程(例如，并行处理和/或由对象执行的处理)。

可以通过单个计算机来处理程序，或者可以将程序分发在多个计算机中进行处理。另外，可以将程序传送到远处的计算机并且执行程序。

本申请包含与2008年12月4日向日本专利局提交的日本在先专利申请JP 2008-309578中所公开的内容有关的主题，该申请的全部内容通过引用结合于此。

本领域技术人员应当明白，取决于设计要求和其他因素，只要各种修改、组合、子组合和变更在权利要求或其等同物的范围内就可以作出这些修改、组合、子组合和变更，而不限于上述实施例。

Claims (6)

1.一种数据处理设备，包括：

输出控制装置，被配置为：

从内容数据中的字幕数据中提取搜索所针对的字符串，所述内容数据包括图像数据、语音数据和所述字幕数据，

搜索所述语音数据以寻找说出所述字符串的语音的数据，获取在所述图像数据中包括的、指示说出所述字符串的时间的定时信息，

生成包括识别信息和所述定时信息的字幕定时信息，从而获取所述字幕定时信息，其中所述识别信息和所述定时信息彼此互相关联，并且所述识别信息用来识别包括所述字符串的字幕数据，以及

基于所述字幕定时信息使所述字幕数据和与所述字幕数据的识别信息相关联的定时信息所指示的时间的图像数据同步，并且输出所述字幕数据和所述图像数据。

2.根据权利要求1所述的数据处理设备，还包括：

提取装置，被配置为从所述内容数据的字幕数据中提取所述搜索所针对的字符串；

搜索装置，被配置为搜索所述内容数据中的语音数据以寻找说出所述字符串的语音的数据，并且获取指示说出所述字符串的时间的定时信息，以及

生成装置，被配置为生成包括所述识别信息和所述定时信息的字幕定时信息，其中所述识别信息和所述定时信息彼此互相关联，并且其中所述识别信息用来识别包括所述字符串的字幕数据。

3.根据权利要求2所述的数据处理设备，

其中，当所述内容数据还包括指示显示所述字幕数据的时间的显示时间信息时，

所述搜索装置在所述显示时间信息所指示的显示时间的时间附近的语音数据的范围内，搜索说出所述字符串的语音的数据。

4.一种数据处理方法，包括以下步骤：

从内容数据中的字幕数据中提取搜索所针对的字符串，所述内容数据包括图像数据、语音数据和所述字幕数据，

搜索所述语音数据以寻找说出所述字符串的语音的数据，获取在所述图像数据中包括的、指示说出所述字符串的时间的定时信息，

生成包括识别信息和所述定时信息的字幕定时信息，从而获取所述字幕定时信息，其中所述识别信息和所述定时信息彼此互相关联，并且所述识别信息用来识别包括所述字符串的字幕数据，以及

基于所述字幕定时信息使所述字幕数据和与所述字幕数据的识别信息相关联的定时信息所指示的时间的图像数据同步，并且通过数据处理设备来输出所述字幕数据和所述图像数据。

5.一种使计算机充当输出控制装置的程序，所述输出控制装置被配置为：

从内容数据中的字幕数据中提取搜索所针对的字符串，所述内容数据包括图像数据、语音数据和所述字幕数据，

搜索所述语音数据以寻找说出所述字符串的语音的数据，获取在所述图像数据中包括的、指示说出所述字符串的时间的定时信息，

生成包括识别信息和所述定时信息的字幕定时信息，从而获取所述字幕定时信息，其中所述识别信息和所述定时信息彼此互相关联，并且所述识别信息用来识别包括所述字符串的字幕数据，

基于所述字幕定时信息使所述字幕数据和与所述字幕数据的识别信息相关联的定时信息所指示的时间的图像数据同步，并且输出所述字幕数据和所述图像数据。

6.一种数据处理设备，包括：

输出控制单元，被配置为：

从内容数据中的字幕数据中提取搜索所针对的字符串，所述内容数据包括图像数据、语音数据和所述字幕数据，

搜索所述语音数据以寻找说出所述字符串的语音的数据，获取在所述图像数据中包括的、指示说出所述字符串的时间的定时信息，

生成包括识别信息和所述定时信息的字幕定时信息，从而获取所述字幕定时信息，其中所述识别信息和所述定时信息彼此互相关联，并且所述识别信息用来识别包括所述字符串的字幕数据，以及

基于所述字幕定时信息使所述字幕数据和与所述字幕数据的识别信息相关联的定时信息所指示的时间的图像数据同步，并且输出所述字幕数据和所述图像数据。

Images