CN102362489A - 再现控制程序、再现控制方法和再现装置 - Google Patents

再现控制程序、再现控制方法和再现装置 Download PDF

Info

Publication number
CN102362489A
CN102362489A CN2009801582914A CN200980158291A CN102362489A CN 102362489 A CN102362489 A CN 102362489A CN 2009801582914 A CN2009801582914 A CN 2009801582914A CN 200980158291 A CN200980158291 A CN 200980158291A CN 102362489 A CN102362489 A CN 102362489A
Authority
CN
China
Prior art keywords
segment part
word string
video
information
retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801582914A
Other languages
English (en)
Other versions
CN102362489B (zh
Inventor
上和田徹
堀田悦伸
胜山裕
藤本克仁
寺崎高史
漆原雅司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Client Computing Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN102362489A publication Critical patent/CN102362489A/zh
Application granted granted Critical
Publication of CN102362489B publication Critical patent/CN102362489B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

执行再现控制程序的计算机和与该计算机执行同等功能的再现控制装置,当被输入了1个以上的关键字时,从事先提取出的1个以上的区间部分中检测表现包含该关键字的词语串的区间部分,经由再现单元连续再现检测出的区间部分。由此,可简单地仅视听保存在计算机内的视频内容中、利用者感兴趣的部分。

Description

再现控制程序、再现控制方法和再现装置
技术领域
本发明涉及处理视频数据的技术。
背景技术
众所周知,计算机的利用者通过使用电视调谐器接收从电视广播站内的电视信号送出装置送出的电视信号,可将视频内容保存在计算机内。并且,利用者通过从视频发布站点或视频共享站点经由网络下载视频数据,也可以将视频内容保存在计算机内。这里,视频发布站点是用于由内容保持器接收来自利用者的请求来发布视频数据的Web站点。并且,视频共享站点是用于保有从利用者上传的视频数据并提供由利用者选择的视频数据的Web站点。
并且,视频内容由读入了视频数据的视频再现应用在计算机上再现。
专利文献1:日本特开2005-252586号公报
专利文献2:日本特开2006-332765号公报
专利文献3:日本特开2002-335478号公报
计算机的利用者针对1个视频内容,无需一定再现其全部,可以仅选择自己感兴趣的部分来再现。例如,在视频内容是报道节目的情况下,利用者可以仅再现与自己的工作有关联的主题的新闻。并且,例如,在视频内容是体育节目的情况下,利用者也可以仅再现高亮场景。
然而,根据现有的视频再现应用,利用者为了从视频内容中选择仅自己感兴趣的部分,必须进行几次快进和倒带的作业。而且,在从多个视频内容各方中检索自己感兴趣的部分的情况下,利用者必须进行几次这样的作业。因此,大部分的利用者都需要花费工夫才能找到自己感兴趣的部分。
发明内容
本发明是鉴于上述以往的情况而作成的,本发明的课题是可简单地仅视听保存在计算机内的视频内容中利用者感兴趣的部分。
为了解决上述课题,作为本发明的一个方式所提出的再现控制方法,其特征在于,为了控制再现视频内容的再现单元,计算机执行以下多个步骤。该多个步骤是以下步骤,即,受理步骤,受理1个以上的关键字;检索步骤,根据在受理步骤所受理的关键字检索对应信息,在该对应信息中,相对应地记录有区间信息、词语串和识别信息,该区间信息确定在视频内容中表现了词语串的区间部分,识别信息表示用于再现视频内容的视频数据;以及控制步骤,使再现单元再现由与通过检索步骤的检索检测出的词语串相对应的识别信息和区间信息确定的区间部分。
根据该再现控制方法,计算机当被输入了1个以上的关键字时,从视频内容中检测表现包含该关键字的词语串的区间部分,利用再现单元再现检测出的区间部分。
因此,根据本发明的一个方式,可简单地仅视听保存在计算机内的视频内容中利用者感兴趣的部分。
附图说明
图1是示出第1实施方式的电视系统的结构的图。
图2是示出附加有电视功能的个人计算机的结构的图。
图3是示出电视应用的结构的图。
图4是示意性示出内容信息表的图。
图5是为了说明从视频内容中提取出的区间部分而示出视频内容的视频一例的图。
图6是示意性示出候选信息表的图。
图7是为了说明词语串显示区域而示出帧图像的一例的图。
图8是示出候选提取处理流程的图。
图9是示出区间部分确定子程序流程的图。
图10是示出区间部分登记子程序流程的图。
图11是示出区间部分检索处理流程的图。
图12是示出输入画面的一例的图。
图13是示意性示出工作表的图。
图14是示出检索子程序流程的图。
图15是示意性示出文本数据内包含的关键字的个数与第1和第2调整时间的关系的图。
图16是示出总再现时间调整子程序的图。
图17是示意性示出对与字幕广播对应的电视节目进行录像而得到的视频数据的图。
图18是示出第2实施方式中的区间部分确定子程序流程的图。
图19是示意性示出第2实施方式中的候选信息表的图。
图20是示出第2实施方式中的检索子程序流程的图。
图21是示出第3实施方式中的计算机网络系统的结构的图。
图22是示出第3实施方式中的视频再现设备的结构的图。
图23是示出第3实施方式中的视频再现应用的结构的图。
图24是示出第4实施方式中的区间部分检索处理流程的图。
图25是示出第5实施方式中的计算机网络系统的结构的图。
图26是示出第5实施方式中的视频再现设备的结构的图。
图27是具体示出记录在第5实施方式中的视频再现设备的储存单元内的应用、数据和表的图。
具体实施方式
以下,参照附图说明本发明的一个方式的实施方式。
实施方式1
《结构》
图1是示出第1实施方式中的电视系统的结构的图。
第1实施方式中的电视系统包括电视信号送出装置10和附加有电视功能的个人计算机50。这里,电视功能是用于对从电视广播站广播的电视节目进行视听或录像的功能。以下,附加有电视功能的个人计算机简称为电视个人计算机。
电视信号送出装置10使电视信号搭载在分配给电视广播站的频道即频带的载波上来送出。该电视信号送出装置10设置在电视广播站的设施内。另外,电视信号送出装置10可以是配置在预定的卫星轨道上的广播卫星或通信卫星内的中继器。中继器从地面的电视广播站内的发送装置接收搭载在上行链路频带的载波上的电视信号,并使接收到的电视信号搭载在下行链路频带的载波上来向地面送出。并且,电视信号送出装置10可以是设置在有线电视广播企业者的设施内的前端装置。前端装置将从电视广播站的电视信号送出装置10经由高性能天线接收到的电视信号有线发送到一般住宅和事务所。并且,从电视信号送出装置10送出的电视信号可以重叠有EPG[Electronic Program Guide,电子节目指南]信息作为EPG信号。这里,EPG信息包含表示例如在一周内通过电视广播站预定了广播的电视节目的概要的电视节目信息。电视节目信息至少包含有频带编号、广播开始日期时间、广播结束日期时间。
图2是示出电视个人计算机50的结构的图。
电视个人计算机50具有:输出器件50a,操作器件50b,以及连接有这些器件50a、50b的主体。作为输出器件50a,例如有带有扬声器的液晶显示器。作为操作器件50b,例如有键盘和鼠标。主体内装有:视频控制单元50c,输入控制单元50d,电视调谐单元50e,储存单元50g,CPU[Central Processing Unit,中央处理单元]50h,以及主存储单元50i。
视频控制单元50c根据从CPU50h传来的音频信息和描绘信息生成音频视频信号并将其输出到输出器件50a。另外,输出器件50a根据从视频控制单元50c输入的音频视频信号输出音频视频。
输入控制单元50d检测对操作器件50b进行的操作,将进行了操作的意思和该操作的种类通知给CPU50d。
电视调谐单元50e从电视信号送出装置10(或者,人造卫星内的中继器、或者前端装置)接收多个广播频道的电视信号。并且,电视调谐单元50e通过调谐,从接收到的多个广播频道的电视信号中取出视听对象的广播频道的电视信号。然后,在所取出的电视信号是模拟信号的情况下,电视调谐单元50e对该电视信号进行数字化并取得视频数据,将其输出到主存储单元50i或储存单元50g。并且,在所取出的电视信号是数字信号的情况下,电视调谐单元50e从该电视信号取得视频数据,将其输出到主存储单元50i或储存单元50g。另外,基于模拟地面波的广播以外的广播例如有基于模拟BS[Broadcasting Satellite,广播卫星]波、数字地面波、数字BS波、数字CS[Communication Satellite,通信卫星]波的广播。在基于这样的模拟地面波的广播以外的广播中,视频数据被压缩。因此,该电视调谐单元50e具有解码器,该解码器用于在从电视信号取得的视频数据是压缩后的视频数据的情况下解压缩该视频数据。该电视调谐单元50e经由同轴电缆与设置在一般住宅和事务所内的电视天线(或前端装置)连接。另外,在第1实施方式中,电视调谐单元50e是作为自由拆装的适配器(扩展卡)内置于电视个人计算机50的主体内的电视调谐卡。不过,电视调谐单元50e可以是与USB[Universal Serial Bus,通用串行总线]接口单元等的接口单元连接的电视调谐框。并且,电视调谐单元50e具有硬件,该硬件作为将从电视信号取得的视频数据压缩为适于记录的数据的编码器执行功能。作为编码器,例如有MPEG[Moving Picture Experts Group,移动图像专家组]编码器。另外,在电视调谐单元50e是不具有作为这样的编码器执行功能的硬件的种类的电视调谐单元的情况下,作为编码器执行功能的软件被导入到后述的储存单元50g内。
储存单元50g具有记录有各种程序和各种数据的记录介质。储存单元50g根据来自CPU50h的指示,将数据写入到记录介质内,或者从记录介质中读出数据。作为储存单元50g,例如有SSD[Solid State Drive,固态驱动]装置、HDD[Hard Disk Drive,硬盘驱动]装置、BD[Blu-ray Disk,蓝光光盘]驱动装置、DVD[Digital Versatile Disk,数字通用光盘]驱动装置、+R/+RW驱动装置、CD[Compact Disk,小型光盘]驱动装置、存储卡驱动装置以及软盘驱动装置。并且,作为记录介质,例如有硅盘、硬盘、BD、DVD、+R/+RW、CD、存储卡以及软盘。硅盘是包含闪存等的非易失性半导体存储器的盘。作为BD,例如有BD-R、BD-RE[Rewritable,可改写]以及BD-ROM[Read Only Memory,只读存储器]。作为DVD,例如有DVD-R[Recordable,可记录]、DVD-RW[Rewritable,可改写]、DVD-ROM以及DVD-RAM[Random Access Memory,随机存取存储器]。作为CD,例如有CD-R、CD-RW以及CD-ROM。作为存储卡,有Compact Flash(美国SanDisk公司的商标)、Smart Media(东芝公司的商标)、SD Card(美国SanDisk公司、松下电器产业公司、东芝公司的商标)、Memory Stick(Sony公司的商标)、MMC(美国西门子公司、美国SanDisk公司的商标)。以上例示的记录介质既可以是自由拆装地安装在驱动装置上的记录介质,也可以是固定安装在驱动装置内的记录介质。无论怎样,以上例示的记录介质都是计算机可读介质。
CPU50h根据储存单元50g内的程序进行处理。并且,CPU50h将程序和数据高速缓存在主存储单元50i内,或者将作业区域写入到主存储单元50i内。
在第1实施方式中,在电视个人计算机50的储存单元50g内记录有操作系统51、电视应用52、录像预约信息表53、视频数据54、内容信息表55以及候选信息表56。
另外,以下,软件、应用、模块以及构件等的程序名称有时也用作为通过由CPU50h执行该程序而实现的功能自身的名称。
操作系统51主要进行软件和硬件的转接、存储空间的管理、文件管理、过程管理以及任务管理。
电视应用52是用于将所述的电视功能附加给个人计算机的软件。
图3是示出电视应用52的结构的图。
电视应用52包含用户界面模块52a、EPG控制模块52b、录像预约模块52c、录像控制模块52d、再现控制模块52e、解码器52f以及候选提取模块52g。
用户界面模块52a经由预定的GUI[Graphical User Interface,图形用户界面]从操作者受理请求。并且,用户界面模块52a委托与从操作者受理的请求对应的模块进行处理,或者执行与该请求对应的处理。作为从操作者受理的请求,例如有电子节目表的显示请求、电视节目的定时录像的预约、广播中的电视节目的录像的开始和停止请求、所录像的电视节目的再现请求以及各种设定信息的变更。
EPG控制模块52b当从用户界面模块52g接受了委托时,经由电视调谐单元50e从电视信号取得EPG信息,并将该EPG信息转交给用户界面模块52a。另外,用户界面模块52a当从EPG控制模块52b接收到EPG信息时,进行根据该EPG信息将电子节目表显示在输出器件50a上的处理。
录像预约模块52c预约由操作者从电子节目表中选择的电视节目的录像。并且,录像预约模块52c在经由用户界面模块52a从操作者受理了频道编号、开始日期时间以及结束日期时间的情况下,预约根据所受理的频道编号、开始日期时间以及结束日期时间确定的电视节目的录像。录像的预约由录像预约模块52c通过将频道编号、开始日期时间以及结束日期时间等的信息作为录像预约信息记录在录像预约信息表53内来进行。
录像控制模块52d针对记录在录像预约信息表53内的录像预约信息中的开始日期时间到来的信息,进行根据该录像预约信息确定的电视节目的录像。并且,在经由用户界面模块52a从操作者指示了针对广播中的电视节目的录像开始的情况下,录像控制模块52d开始该录像。之后,当从操作者指示了录像停止时,录像控制模块52d结束该录像。电视节目的录像是由录像控制模块52d通过进行将从电视调谐单元50e内的编码器输出的视频数据记录在储存单元50g内的处理来进行的。当由于电视节目的录像结束而将视频数据54记录在储存单元50g内时,录像控制模块52d将与所记录的视频数据54相关的后述的内容信息记录在内容信息表55内。之后,录像控制模块52d从录像预约信息表53中删除与录像结束的电视节目对应的录像预约信息。
图4是示意性示出内容信息表55的图。
内容信息表55具有与储存单元50g内的视频数据54相同数量的记录。各记录具有“ID[Identification]”、“文件名”、“尺寸”、“再现时间”、“视频分辨率”、“格式”以及“已处理”的字段。“ID”字段存储有用于唯一识别视频数据54的识别信息。“文件名”字段存储有视频数据54的文件名。“尺寸”字段存储有视频数据54的数据尺寸。“再现时间”字段存储有针对根据视频数据54再现的视频内容的再现时间、即从视频内容的再现开始到结束所花的时间。“视频分辨率”字段存储有根据视频数据54再现的视频内容内包含的音频和视频中的视频的纵方向和横方向的分辨率。“格式”字段内存储有表示视频数据54的压缩方式的信息。“已处理”字段存储有针对视频数据54表示后述的候选提取模块52g的处理是否结束的已处理标志。另外,在第1实施方式中,已处理标志是“1”时,表示后述的候选提取模块52g的处理结束。反之,已处理标志是“0”时,表示后述的候选提取模块52g的处理未结束。内容信息是包含存储在以上所示的各字段内的信息,即识别信息、文件名、数据尺寸、再现时间、视频分辨率、格式以及已处理标志的信息。
回到图3的再现控制模块52e的说明。再现控制模块52e进行再现由操作者从通过录像而保存在电视个人计算机50内的1个以上的视频内容中选择的1个视频内容的处理。再现控制模块52e将记录在图4的内容信息表55内的内容信息经由用户界面模块52a提示给操作者自由选择。再现控制模块52e通过用户界面模块52a受理作为再现对象选择的视频内容的指定。并且,再现控制模块52e利用解码器52f进行视频内容的再现。具体地说,再现控制模块52e从储存单元50g读出用于再现被指示了再现的视频内容的视频数据54,将其转交给解码器52f。解码器52f对从再现控制模块52e转交的视频数据54进行解压缩,将视频内容输出到输出器件50a。
候选提取模块52g进行从根据记录在储存单元50g内的视频数据54再现的视频内容中提取表现了后述的词语串的区间部分的处理。这里,是候选提取模块52g的说明途中,然而为了理解第1实施方式,先说明区间部分。
图5是为了说明从视频内容中提取出的区间部分而示出视频内容的视频一例的图。
在图5例示的视频内容的视频中,在该视频内容的时间轴上的0时15分20秒(00:15:20)之前什么也不显示(帧图像1)。并且,从相同时间轴上的0时15分20秒(00:15:20)到0时15分35秒(00:15:35)显示“旅游季节到来”的词语串(帧图像2~4)。并且,从相同时间轴上的0时15分25秒(00:15:25)到0时15分30秒(00:15:30)分别显示“东京:晴”和“神奈川:晴”的词语串(帧图像3)。并且,在相同时间轴上的0时15分35秒(00:15:35)之后什么也不显示(帧图像5)。这里,“旅游季节到来”、“东京:晴”和“神奈川:晴”在同时显示这些词语串的情况下,以不能由未图示的后述的文字识别引擎作为一个汇总掌握的程度分隔开。这里,作为一个汇总掌握的词语串是指当未图示的文字识别引擎作为前段处理从处理对象的图像中切出了描绘有文字的块时描绘在一个块中的词语串。换句话说,描绘有词语串的块有时也从1张图像中被切出多个。另外,未图示的文字识别引擎在从处理对象的图像中切出描绘有文字的块之后,通过对所切出的块实施预定处理,确定与描绘在该块中的词语串对应的文本数据(文字代码)。这里,预定处理例如是根据图形匹配法、探测法以及笔画分析法等的方法进行的处理。
在图5的示例中,图3的候选提取模块52g从视频内容中提取连续显示有“旅游季节到来”的词语串的区间部分(从00:15:20到00:15:35的部分)。并且,候选提取模块52g从视频内容中提取连续显示有“东京:晴”的词语串的区间部分(从00:15:25到00:15:30的部分)。并且,候选提取模块52g从视频内容中提取连续显示有“神奈川:晴”的词语串的区间部分(从00:15:25到00:15:30的部分)。这样,在第1实施方式中,由后述的文字识别引擎作为1个汇总掌握的词语串在视频中从出现到消失为止连续显示的区间部分作为1个区间部分被提取。因此,在如“东京:晴”和“神奈川:晴”那样词语串不同的情况下,区间部分也作为其他部分被提取。并且,从始端时刻到终端时刻的区间完全相同的区间部分有时也被提取多个。并且,从始端时刻到终端时刻的区间的一部分相互重复的多个区间部分有时也被提取。并且,存在一个区间包含在另一区间内的关系的多个区间部分有时也被提取。
另外,在第1实施方式中,词语串只要是在区间部分的视频中作为文字来表现的词语串,就可以是任何词语串。作为在视频中表现词语串的文字,例如有快报字幕、电影字幕、片头字幕、字幕。并且,词语串在构成区间部分的视频的多个帧图像内,既可以是纵写的词语串,也可以是横写的词语串。并且,词语串可以不必依照任何的语言的语法。并且,词语串可以是假名和汉字那样的音节文字、字母那样的音素文字、以及它们的组合。并且,词语串例如可以是感叹词或记号的罗列。无论怎样,词语串都是包含1个以上的词语的词语串。
回到图3的候选提取模块52g的说明。候选提取模块52g当从视频内容中提取出1个以上的区间部分时,将与提取出的区间部分相关的信息记录在候选信息表56内。另外,如后所述,与由候选提取模块52g提取出的区间部分相关的信息是利用从操作者(利用者)提供了1个以上的关键字的后述的区间部分检索构件52h来检索的。也就是说,与由候选提取模块52g事先提取出的区间部分相关的信息被用作由操作者检索的对象的候选。因此,与由候选提取模块52g提取出的区间部分相关的信息以下表记为候选信息。
图6是示意性示出候选信息表56的图。
候选信息表56具有与由候选提取模块52g从视频内容中提取出的区间部分相同数量的记录。各记录具有“ID”、“始端时刻”、“终端时刻”、“位置”、“尺寸”以及“出现词语串”的字段。“ID”字段存储有用于再现包含区间部分的视频内容的视频数据54的识别信息。“始端时刻”字段存储有视频内容的时间轴上的区间部分的始端时刻。“终端时刻”字段存储有视频内容的时间轴上的区间部分的终端时刻。“位置”字段存储有由未图示的文字识别引擎作为前段处理从帧图像切出的矩形块,即描绘有词语串的矩形块的左上角的坐标作为位置信息。这里,坐标是指在帧图像中定义了以其左上角为原点的二维坐标系的情况下的坐标。图7的虚线框Z表示描绘有“旅游季节到来”的词语串的矩形块的轮廓。以下将该矩形块表记为词语串表现区域。“尺寸”字段存储有对帧图像定义的二维坐标系上的词语串表现区域的纵和横的大小。另外,作为大小的单位例如有点。“出现词语串”字段保存有在区间部分的视频中表现为文字的词语串作为文本数据。候选信息是包含记录在以上所示的各字段内的信息,即识别信息、始端时刻、终端时刻、位置信息、纵横的大小以及文本数据的信息。该候选信息表56是将区间信息、词语串、以及用于再现视频内容的视频数据的识别信息相对应地记录而得到的对应信息的一例。另外,对应信息只要能够确定这些信息的对应,就可以如本例那样是表形式,与其数据结构无关。
如以上说明那样,图3的候选提取模块52g从保存在电视个人计算机50内的视频内容中提取区间部分,将与提取出的区间部分相关的候选信息记录在图6的候选信息表56内。另外,使用图8至图10对该候选提取模块52g的处理的具体内容进行后述。该候选提取模块52g在第1实施方式中例如一天一次定时执行。不过,该候选提取模块52g可以当录像控制模块52d的电视节目的录像结束时,以该结束作为触发因素来执行。并且,该候选提取模块52g可以当经由用户界面模块52a从操作者被直接指示了执行时,以该指示作为触发因素来执行。
在第1实施方式中,再现控制模块52e包含区间部分检索构件52h。区间部分检索构件52h从操作者受理1个以上的关键字,检索多个候选信息,即图6的候选信息表56。并且,区间部分检索构件52h生成定义了根据检测出的候选信息确定的区间部分的再现顺序的播放列表。另外,播放列表从该区间部分检索构件52h被转交给再现控制模块52e。再现控制模块52e当接收到播放列表时,按照播放列表依次进行利用了解码器52f的区间部分的再现。也就是说,当通过关键字检索检测出多个候选信息时,依次连续再现根据检测出的候选信息确定的多个区间部分。另外,使用图11至图16对该区间部分检索构件52h的处理的具体内容进行后述。该区间部分检索构件52h可以通过点击预定按钮,以该点击作为触发因素来执行。预定按钮可以包含在显示于用户界面模块52a控制下的窗口内的应用画面内。并且,区间部分检索构件52h可以当起动了电视应用52时,与该起动联动而自动起动。
《处理》
<候选提取>
图8是示出CPU50h依照候选提取模块52g执行的候选提取处理流程的图。
在候选提取处理开始后,在最初的步骤S101中,CPU50h从图4所示的内容信息表55提取未处理的记录,即“已处理”字段内的已处理标志是“0”的记录。之后,CPU50h执行第1处理循环L1。
在第1处理循环L1中,CPU50h从在步骤S101提取出的1个以上的记录中确定1个记录作为处理对象,针对所确定的1个记录执行步骤S102和S103。也就是说,CPU50h针对在步骤S101提取出的记录的各方依次执行步骤S102和S103。
在步骤S102中,CPU50h进行从储存单元50g读出根据处理对象记录内的文件名确定的视频数据54的处理。
在下一步骤S103中,CPU50h调用区间部分确定子程序并执行该子程序。区间部分确定子程序是用于在视频内容中确定表现有词语串的区间部分的处理。
图9是示出区间部分确定子程序流程的图。
在候选部分确定子程序开始后,在最初的步骤S111中,CPU50h从在图8的步骤S102读出的视频数据54中取出视频数据。接着,CPU50h从构成所取出的视频数据的多个帧数据中取得1个帧数据。
在下一步骤S112中,CPU50h使未图示的文字识别引擎对在步骤S111取得的1个帧数据进行文字切出处理。如上所述,文字切出处理是指未图示的文字识别引擎进行的前段处理,即从处理对象的图像中切出描绘有文字的块的处理。即,CPU50h利用未图示的文字识别引擎,从基于在步骤S111取得的1个帧数据的1帧的帧图像中检索词语串表现区域(参照图7的虚线框Z)。另外,在该检索中,如使用图5的示例先前说明那样,有时从1帧的帧图像检索出多个词语串表现区域。
在下一步骤S113中,CPU50h根据在步骤S112的检索结果,判别在基于在步骤S111取得的1个帧数据的1帧的帧图像中是否存在词语串表现区域。然后,在基于在步骤S111取得的1个帧数据的1帧的帧图像中1个词语串表现区域也不存在的情况下,CPU50h使处理从步骤S113进到步骤S116。另一方面,在基于在步骤S111取得的1个帧数据的1帧的帧图像中存在1个以上的词语串表现区域的情况下,CPU50h使处理从步骤S113分出,执行第2处理循环L2。
在第2处理循环L2中,CPU50h从通过步骤S112中的搜索而检测出的1个以上的词语串表现区域中确定1个词语串表现区域作为处理对象,针对所确定的1个词语串表现区域执行步骤S114和S115。也就是说,CPU50h针对通过步骤S112中的搜索而检测出的1个以上的词语串表现区域的各方依次执行步骤S114和S115。
在步骤S114中,CPU50h使未图示的文字识别引擎进行确定与在处理对象的词语串表现区域中表现的词语串对应的文本数据的处理。由此,CPU50h取得与词语串对应的文本数据。
在下一步骤S115中,CPU50h调用区间部分登记子程序并执行该子程序。区间部分登记子程序是用于将与在步骤S112至步骤S114中确定的区间部分相关的候选信息登记在图6的候选信息表56内的处理。
图10是示出区间部分登记子程序流程的图。
在区间部分登记子程序开始后,在最初的步骤S121中,CPU50h以在图9的步骤S114取得的文本数据作为检索条件,检索图6的候选信息表56。
在下一步骤S122中,CPU50h判别从图6的候选信息表56中是否能检测出与检索条件一致的记录。然后,在从图6的候选信息表56中不能检测出与检索条件一致的记录的情况下,CPU50h使处理从步骤S122进到步骤S125。另一方面,在从图6的候选信息表56中能检测出与检索条件一致的记录的情况下,CPU50h使处理从步骤S122分出到步骤S123。
在步骤S123中,CPU50h从通过在步骤S121的检索而检测出的记录中进一步检索“终端时刻”字段是空栏的记录。
在下一步骤S124中,CPU50h判别通过在步骤S123的检索是否能检测出“终端时刻”字段是空栏的记录。然后,在通过步骤S123的检索不能检测出“终端时刻”字段是空栏的记录的情况下,CPU50h使处理从步骤S124分出到步骤S125。
在步骤S125中,CPU50h进行将与处理对象的词语串表现区域对应的新记录追加给图6的候选信息表56的处理。具体地说,CPU50h读出包含处理对象的词语串表现区域的帧图像的视频内容的时间轴上的时刻。该读出的时刻作为区间部分的始端时刻被存储在新记录的“始端时刻”字段内。并且,新记录的“ID”字段存储有在第1处理循环L1中成为处理对象的记录内包含的识别信息。并且,新记录的“位置”字段存储有在包含处理对象的词语串表现区域的帧图像内定义的二维坐标系上的该处理对象的词语串表现区域的左上角的坐标。并且,新记录的“尺寸”字段存储有在包含处理对象的词语串表现区域的帧图像内定义的二维坐标系上的该处理对象的词语串表现区域的纵和横的大小。并且,新记录的“出现词语串”字段存储有在图9的步骤S114取得的文本数据。不过,新记录不包含区间部分的终端时刻。也就是说,在步骤S125中,通过新记录的追加,去除终端时刻,候选信息被记录在图6的候选信息表56内。CPU50h当结束追加新记录的处理时,结束图10涉及的区间部分登记子程序。
另一方面,在步骤S124中,在通过在步骤S123的检索能检测出“终端时刻”字段是空栏的记录的情况下,CPU50h使处理进到步骤S126。
在步骤S126中,CPU50h读出包含处理对象的词语串表现区域的帧图像的视频内容的时间轴上的时刻。接着,CPU50h将所读出的时刻作为区间部分的终端时刻存储在检测出的记录的“终端时刻”字段内。由此,候选信息的记录完成。即,1个区间部分的登记完成。CPU50h当候选信息的记录完成时,结束图10涉及的区间部分登记子程序。
当区间部分登记子程序结束时,CPU50h恢复到图9涉及的候选部分确定子程序,结束第2处理循环L2中的该处理对象的词语串表现区域的本次处理。
CPU50h当针对通过在步骤S112中的搜索而从1帧的帧图像中检索出的1个以上的词语串表现区域的全部,结束执行步骤S114和S115时,从第2处理循环L2退出,使处理进到步骤S116。
在步骤S116中,CPU50h判别是否存在在步骤S111取得的帧数据的下一帧数据。即,CPU50h判别在步骤S111取得的帧数据中是否存在预定数后的帧数据。然后,在步骤S111取得的帧数据中存在预定数后的帧数据的情况下,CPU50h使处理从步骤S116分出,使处理回到步骤S111,进行取得预定数后的帧数据。这里,在第1处理循环L1中的处理对象记录所确定的视频内容的视频是以每1秒约30帧的速度替换帧图像的视频的情况下,步骤S116中的预定数例如可以是30。在该情况下,未图示的文字识别引擎从该视频以约1秒1帧的比例对帧图像进行处理。另一方面,在不存在在步骤S111取得的帧数据的预定数后的帧数据的情况下,CPU50h结束图9涉及的区间部分确定子程序。
当区间部分确定子程序结束时,CPU50h恢复到图8涉及的候选提取处理,结束第1处理循环L1中的该处理对象的记录的本次处理。
CPU50h当针对在步骤S101提取出的全部记录结束执行步骤S102和S103时,退出第1处理循环L1,结束图8涉及的候选提取处理。
根据以上说明的候选提取处理,从保存在电视个人计算机50内的视频内容事先提取表现有词语串的区间部分。
<区间部分检索>
图11是示出CPU50h依照区间部分检索构件52h执行的区间部分检索处理流程的图。
在区间部分检索处理开始后,在最初的步骤S201中,CPU50h取得用于提示操作者自由选择的关键字候选。后面描述关键字候选。
在下一步骤S202中,CPU50h进行显示用于由操作者(利用者)输入1个以上的关键字的输入画面的处理。输入画面通过用户界面模块52a显示在输出器件50a上。
图12是示出输入画面61的一例的图。
图12例示的输入画面61包含复选框61a和执行按钮61b。复选框61a具有通过点击预定按钮来展开下拉列表框展开的功能。并且,在下拉列表框内自由选择地列举在步骤S201取得的关键字候选。并且,从操作者向该复选框61a直接输入关键字。另外,从操作者直接输入到该复选框61a的关键字可以存储在未图示的表内。在该情况下,在步骤S201中,CPU50h可从未图示的表取得关键字候选。并且,在该未图示的表中,关键字可以与使用该关键字检索出的次数相对应。在该情况下,CPU50h从未图示的表中按一定数量提取出检索次数多的关键字之后,可将提取出的关键字作为候选关键字列举在下拉列表框内。因此,即使存储在未图示的表内的关键字的个数庞大,操作者也不会为候选关键字的选择感到困难。并且,候选关键字可以是从存储在图6的候选信息表56内的各记录的“出现词语串”字段内的各文本数据中事先提取出的候选关键字。在该情况下,从各文本数据中提取关键字可以这样进行:利用未图示的词素分析引擎按每个词类进行分割,之后选出与登记在预先准备好的词典内的词语相同的词语。执行按钮61b是用于指示将输入到复选框61a的关键字作为检索条件的候选信息检索开始的按钮。
另外,在区间部分检索构件52h是与电视应用52的起动联动而自动起动的类型的构件的情况下,图12例示的输入画面61可以是桌面小工具(desktop gadget)。
CPU50h在进行了显示图12例示的输入画面61的处理之后,使处理进到图11的步骤S203。
在步骤S203中,CPU50h等待直到进行图12例示的输入画面61的执行按钮61b的点击、以及关闭输入画面61的操作(例如结束按钮的点击)中的任一操作。然后,当进行了执行按钮61b的点击、或者关闭输入画面61的操作时,CPU50h使处理进到步骤S204。
在步骤S204中,CPU50h判别操作者的操作是否是关闭输入画面61的操作。然后,在操作者的操作是关闭输入画面61的操作的情况下,CPU50h结束图11涉及的区间部分检索处理。另一方面,在操作者的操作不是关闭输入画面61的操作的情况下,CPU50h假定点击了输入画面61的执行按钮61b,使处理从步骤S204分出到步骤S205。
在步骤S205中,CPU50h取得在点击了执行按钮61b的时刻输入到复选框61a的关键字,使处理进到步骤S206。
另外,这些步骤S201至S205相当于所述的受理步骤。并且,执行这些步骤S201至S205的CPU50h相当于受理部。
在步骤S206中,CPU50h生成工作表。在该工作表内一次性地记录通过在下一步骤S207中的检索而检测出的候选信息中的一部分信息及其关联信息。这里,候选信息中的一部分信息是为确定区间部分所需要的最低限度的信息。具体地说,是识别信息、始端时刻以及终端时刻。根据识别信息确定用于再现包含区间部分的视频内容的视频数据54。并且,根据始端时刻和终端时刻,在视频内容中确定区间部分。因此,始端时刻和终端时刻相当于所述的区间信息。另外,工作表在步骤S206生成的时刻,成为连1个记录都没有的新的工作表。
图13是示意性示出工作表62的图。
工作表62的各记录具有“检测编号”、“ID”、“始端时刻”、“第1调整时间”、“终端时刻”以及“第2调整时间”的字段。“检测编号”字段存储有表示在步骤S207的检索中检测出候选信息的顺序的编号作为检测编号。“ID”字段存储有候选信息内包含的识别信息。“始端时刻”和“终端时刻”字段分别存储有候选信息内包含的始端时刻和终端时刻。“第1调整时间”字段存储有在委托解码器52f再现根据识别信息、始端时刻和终端时刻确定的区间部分之前为了调整其始端位置而利用的第1调整时间。另外,在第1实施方式中,第1调整时间为负值。然后,通过将该第1调整时间加到始端时刻,使区间部分的始端位置在视频内容的时间轴上回到开头侧。“第2调整时间”字段存储有在委托解码器52f再现根据识别信息、始端时刻和终端时刻确定的区间部分之前为了调整其后端位置而利用的第2调整时间。另外,在第1实施方式中,第2调整时间为正值。然后,通过将该第2调整时间加到终端时刻,使区间部分的终端位置在视频内容的时间轴上进到末尾侧。
CPU50h在生成图13所示的工作表62之后,使处理从图11的步骤S206进到步骤S207。
在步骤S207中,CPU50h调用检索子程序并执行该子程序。检索子程序是用于以在步骤S205取得的关键字作为检索条件检索图5的候选信息表56的处理。
图14是示出检索子程序流程的图。
在检索子程序开始后,在最初的步骤S211中,CPU50h读出图6的候选信息表56。之后,CPU50h执行第3处理循环L3。
在第3处理循环L3中,CPU50h从在步骤S211读出的图6的候选信息表56确定1个记录作为处理对象,针对所确定的1个记录执行步骤S212至S216。也就是说,CPU50h针对图6的候选信息表56内的记录各方依次执行步骤S212至S216。
在步骤S212中,CPU50h判别在存储于处理对象记录的“出现词语串”字段内的文本数据内是否包含有在图11的步骤S205取得的关键字。然后,在存储于处理对象记录的“出现词语串”字段内的文本数据内连1个都不包含在图11的步骤S205取得的关键字的情况下,CPU50h使处理从步骤S212分出,结束第3处理循环L3中的该处理对象的记录的本次处理。另一方面,在存储于处理对象记录的“出现词语串”字段内的文本数据内包含有1个以上的在图11的步骤S205取得的关键字的情况下,CPU50h使处理从步骤S212进到步骤S213。
在步骤S213中,CPU50h进行将与处理对象记录对应的新记录追加给图13的工作表62的处理。具体地说,新记录的“ID”、“始端时刻”和“终端时刻”字段分别存储有处理对象记录内包含的识别信息、始端时刻和终端时刻。并且,新记录的“检测编号”字段存储有已记录在图13的工作表62内的记录的检测编号中最大的检测编号加1后的编号。并且,新记录的“第1调整时间”和“第2调整时间”字段均存储有0时0分0秒(00:00:00)作为初始值。
另外,图11的步骤S206和图14的步骤S211至S213相当于所述的检索步骤。并且,执行图11的步骤S206和图14的步骤S211至S213的CPU50h相当于检索部。
在下一步骤S214中,CPU50h对处理对象记录的“出现词语串”字段内的文本数据内包含的关键字的个数进行计数。之后,CPU50h根据通过计数获得的个数,进行增加在步骤S213追加给图13的工作表62的新记录内包含的第1和第2调整时间的处理。另外,在第1实施方式中,当文本数据内包含的关键字的个数为Q个时,对第1调整时间加上(-5×Q)秒,对第2调整时间加上(10×Q)秒。因此,如图15的示意图所示,处理对象记录中的文本数据内包含的关键字的个数越多,根据在步骤S213追加给图13的工作表62的新记录确定的区间部分的再现时间在其前后就越延长。另外,与第1和第2调整时间相加的秒数不限于5或10的Q倍,只要与个数Q成正比,就可以是任意秒数。
在下一步骤S215中,CPU50h读入处理对象记录内包含的词语串表现区域的纵横大小、和构成根据处理对象记录确定的区间部分的视频的多个帧图像的纵横大小。接着,CPU50h根据所读入的词语串表现区域和图像面的纵横大小,取得词语串表现区域占帧图像的全部区域的比例作为占有率。
在下一步骤S216中,CPU50h根据在步骤S215取得的占有率,进行增加在步骤S213追加给图13的工作表62的新记录内包含的第1和第2调整时间的处理。另外,在第1实施方式中,当设占有率除以10获得的商的整数部分为R时,对第1调整时间加上(-5×R)秒,并对第2调整时间加上(5×R)秒。因此,词语串表现区域的占有率越高,根据在步骤S213追加给图11的工作表62的新记录确定的部分内容的再现时间在其前后就越延长。另外,与第1和第2调整时间相加的秒数不限于5的R倍,只要与商R成正比,就可以是任意秒数。CPU50h在进行了增加第1和第2调整时间的处理之后,结束第3处理循环L3中的该处理对象的记录的本次处理。
CPU50h当针对在步骤S211读出的图6的候选信息表56内的全部记录结束执行了步骤S212和S216时,退出第3处理循环L3,结束图14涉及的检索子程序。
当检索子程序结束时,CPU50h恢复到图11涉及的区间部分检索处理,使处理进到步骤S208。
在步骤S208中,CPU50h调用总再现时间调整子程序并执行该子程序。总再现时间调整子程序是用于调整根据图13的工作表62内的全部记录分别确定的区间部分的再现时间的总和的处理。
图16是示出总再现时间调整子程序流程的图。
在总再现时间调整子程序开始后,在最初的步骤S221中,CPU50h针对图13的工作表62内的全部记录各方,计算根据该记录确定的区间部分的再现时间。另外,1个区间部分的再现时间是通过从调整终端时刻减去调整始端时刻来得到的。调整终端时刻是通过对终端时刻加上第2调整时间来得到的。调整始端时刻是通过对始端时刻加上第1调整时间来得到的。接着,CPU50h计算根据图13的工作表62内的全部记录确定的区间部分的再现时间的总和。以下,将一个以上的区间部分的再现时间的总和表记为总再现时间Tt。
在下一步骤S222中,CPU50h判别在步骤S221计算出的总再现时间Tt是否是预定阈值Lt以上。然后,在步骤S221计算出的总再现时间Tt不是预定阈值Lt以上的情况下,CPU50h使处理从步骤S222分出到步骤S226。另一方面,在步骤S221计算出的总再现时间Tt是预定阈值Lt以上的情况下,CPU50h使处理从步骤S222进到步骤S223。
在步骤S223中,CPU50h从在步骤S221计算出的总再现时间Tt减去在步骤S222利用的预定阈值Lt。接着,CPU50h将通过该减法运算得到的值代入变量Nt。
在下一步骤S224中,CPU50h对变量Nt的代入值乘以预定系数Kts。接着,CPU50h使通过该乘法运算得到的值加到图13的工作表62内的全部记录的“第1调整时间”字段的值。另外,在第1实施方式中,预定系数Kts为负值。因此,根据图13的工作表62内的记录确定的区间部分的始端位置回到视频内容的开头侧,从而该区间部分的再现时间延长。
在下一步骤S225中,CPU50h对变量Nt的代入值乘以预定系数Kte。接着,CPU50h使通过该乘法运算得到的值加到图13的工作表62内的全部记录的“第2调整时间”字段的值。另外,在第1实施方式中,预定系数Kte为正值。因此,根据图13的工作表62内的记录确定的区间部分的后端位置回到视频内容的末尾侧,从而该区间部分的再现时间延长。
CPU50h当在步骤S224和步骤S225中结束变更图13的工作表62内的全部记录内包含的第1和第2调整时间的处理时,使处理进到步骤S226。
在步骤S226中,CPU50h通过对图13的工作表62内的记录数进行计数,取得检测总数Th(命中数)。
在下一步骤S227中,CPU50h判别在步骤S226取得的检测总数Th是否是预定阈值Lh以上。然后,在步骤S226取得的检测总数Th不是预定阈值Lh以上的情况下,CPU50h使处理从步骤S227分出,结束图16涉及的总再现时间调整子程序。另一方面,在步骤S226取得的检测总数Th是预定阈值Lh以上的情况下,CPU50h使处理从步骤S227进到步骤S228。
在步骤S228中,CPU50h从在步骤S226取得的检测总数Th减去在步骤S227利用的预定阈值Lh。接着,CPU50h将通过该减法运算获得的值代入变量Nh。
在下一步骤S229中,CPU50h对变量Nt的代入值乘以预定系数Khs。接着,CPU50h从图13的工作表62内的全部记录的“第1调整时间”字段的值减去通过该乘法运算得到的值。另外,在第1实施方式中,预定系数Khs为负值。因此,根据图13的工作表62内的记录确定的区间部分的始端位置进到视频内容的末尾侧,从而该区间部分的再现时间缩短。不过,在通过减法运算而使第1调整时间超过零而为正值的情况下,CPU50h使第1调整时间为零。第1调整时间用于使区间部分的始端位置错开到视频内容的开头侧。因此,由于第1调整时间被控制成不取正值,因而词语串在视频中表现为文字的区间部分没有被侵食。
在下一步骤S230中,CPU50h对变量Nh的代入值乘以预定系数Khe。接着,CPU50h从图13的工作表62内的全部记录的“第2调整时间”字段的值减去通过该乘法运算得到的值。另外,在第1实施方式中,预定系数Khe为正值。因此,根据图13的工作表62内的记录确定的区间部分的后端位置回到视频内容的开头侧,从而该区间部分的再现时间缩短。不过,在通过减法运算而使第2调整时间超过零而为负值的情况下,CPU50h使第2调整时间为零。第2调整时间用于使区间部分的终端位置错开到视频内容的末尾侧。因此,由于第2调整时间被控制成不取负值,因而词语串在视频中表现为文字的区间部分没有被侵食。
CPU50h当在步骤S229和步骤S230中结束变更图13的工作表62内的全部记录内包含的第1和第2调整时间的处理时,结束图16涉及的总再现时间调整子程序。
当总再现时间调整子程序结束时,CPU50h恢复到图11涉及的区间部分检索处理,使处理进到步骤S209。
在步骤S209中,CPU50h根据图13的工作表62,进行生成播放列表的处理。具体地说,CPU50h首先从图13的工作表62中读出1个记录。接着,CPU50h将对应信息记录在未图示的列表表格内,该对应信息是将对始端时刻加上第1调整时间而得到的时刻和对终端时刻加上第2调整时间而得到的时刻相对应的信息。CPU50h针对图13的工作表62内的全部记录执行这样的记录处理。之后,CPU50h在未图示的列表表格内按照预定顺序(例如检测编号的顺序)重新排列对应信息。这样,在未图示的列表表格内生成播放列表。
在下一步骤S210中,CPU50h进行将在步骤S209生成的播放列表转交给图3的再现控制模块52e的处理。CPU50h在进行了将播放列表转交给图3的再现控制模块52e的处理之后,结束图11涉及的区间部分检索处理。
根据以上说明的区间部分检索处理,当从操作者(利用者)输入了1个以上的关键字时,进行候选信息的检索,生成定义了根据检测出的候选信息确定的区间部分的再现顺序的播放列表。另外,如上所述,再现控制模块52e当从区间部分检索构件52h被转交了播放列表时,按照该播放列表依次进行利用了解码器52f的区间部分的再现。也就是说,当通过在步骤S207的检索而检测出多个候选信息时,依次连续再现根据检测出的候选信息确定的多个区间部分。
另外,图14的步骤S214至S216、图11的步骤S208、图16的步骤S221至S230、图11的步骤S209和S210相当于上述的控制步骤。并且,执行再现控制模块52e和解码器52f的CPU50h相当于上述的再现单元。并且,执行图14的步骤S214至S216、图11的步骤S208、图16的步骤S221至S230、图11的步骤S209和S210、再现控制模块52e和解码器52f的CPU50h相当于再现部。
《作用效果》
根据第1实施方式中的电视个人计算机50,从根据通过录像而记录在储存单元50g内的视频数据54再现的视频内容中定期地、按预定时期或者任意时期提取区间部分(步骤S101至S103、S111至S116、S121至S126)。
并且,当通过图12的输入画面61输入了1个以上的关键字时,从1个以上的区间部分中检索表现包含该关键字的词语串的区间部分,并依次连续再现该区间部分(步骤S201至S210、S211至S216、S221至S230)。
因此,根据第1实施方式,操作者(利用者)只需输入关键字,就能从通过录像而保存在电视个人计算机50内的视频内容中简单地仅视听自己感兴趣的部分。
并且,根据第1实施方式,通过关键字检测出的区间部分的再现时间根据在该区间部分内表现的词语串内包含的关键字的个数而延长(步骤S214)。在视频中作为文字所表现的词语串包含的关键字越多,则认为该区间部分是操作者感兴趣越高的部分。因此,在第1实施方式中,在根据词语串内包含的关键字的个数定量地估计为区间部分是操作者感兴趣高的部分的情况下,该区间部分的再现时间随着第1和第2调整时间的绝对值的增加而延长。
并且,根据第1实施方式,通过关键字检索而检测出的区间部分的再现时间根据词语串表现区域对帧图像的全部区域的占有率而延长(步骤S215和S216)。词语串表现区域的占有率越高,则认为该区间部分是操作者感兴趣越高的部分。因此,在第1实施方式中,在根据词语串表现区域的占有率定量地估计为区间部分是操作者感兴趣高的部分的情况下,该区间部分的再现时间随着第1和第2调整时间的绝对值的增加而延长。
并且,根据第1实施方式,在通过关键字检索而检测出的1个以上的区间部分的总再现时间Tt超过预定阈值Lt的情况下(步骤S222;是),对该超过时间Nt乘以预定系数Kts、Kte而得到的值与区间部分各自的第1和第2调整时间的绝对值相加(步骤S223至S225)。当通过关键字检索而检测出的1个以上的区间部分的总再现时间延长时,认为这些区间部分作为整体是操作者感兴趣高的部分。因此,在第1实施方式中,在定量地估计为通过关键字检索而检测出的1个以上的区间部分作为整体是操作者感兴趣高的部分的情况下,区间部分各自的再现时间随着第1和第2调整时间的绝对值的增加而延长,结果,总再现时间延长。
并且,根据第1实施方式,在通过关键字检索而检测出的区间部分的件数总数Th超过预定阈值Lh的情况下(步骤S227;是),从区间部分各自的第1和第2调整时间的绝对值减去对该超过件数Nh乘以预定系数Khs、Khe而得到的值(步骤S228至S230)。当通过关键字检索的检测总数(命中数)过多时,检测出的1个以上的区间部分的总再现时间往往过长。因此,在第1实施方式中,在通过关键字检索的检测总数过多的情况下,区间部分各自的再现时间随着第1和第2调整时间的绝对值的减少而缩短,结果,总再现时间缩短。
另外,在第1实施方式中,根据总再现时间Tt超过预定阈值Lt的超过量Nt,变更检测出的1个以上的区间部分各自的第1和第2调整时间。或者,根据通过关键字检索的检测总数Th(命中数)超过预定阈值Lh的超过量Nh,变更检测出的1个以上的区间部分各自的第1和第2调整时间。然而,检测出的1个以上的区间部分各自的第1和第2调整时间可以不根据超过量Nt、Nh来变更。例如,在总再现时间Tt超过预定阈值Lt的情况下,或者在检测总数Th超过预定阈值Lh的情况下,可以对检测出的1个以上的区间部分各自的第1和第2调整时间加上一定值。
并且,第1实施方式中的区间部分检索构件52h在生成了播放列表之后(步骤S209),在存在从始端时刻到终端时刻的区间的一部分相互重复的2个区间部分的情况下,可以进行连接该2个区间部分来汇总为1个区间部分的处理。并且,第1实施方式中的区间部分检索构件52h在生成了播放列表之后(步骤S209),在存在具有一个区间包含在另一区间内的关系的2个区间部分的情况下,可以进行从播放列表中删除所包含的区间部分的处理。
另外,在第1实施方式中,词语串在区间部分的视频中表现为文字。即,词语串是通过针对区间部分内包含的帧图像进行文字识别处理而得到的。然而,词语串可以从图像以外来识别。例如,词语串可以在区间部分的音频中表现为声音。在音频中表现词语串的声音例如有新闻播音员的讲话、实况播音员的讲话、演员的台词、剧中独白、智力问答回答者的讲话。在该变形方式中,词语串是由未图示的音频识别引擎从讲话、台词的有音区间来识别的。并且,在图8的候选提取处理中的步骤S103中,取代进行图9的子程序,每当由未图示的音频识别引擎识别词语串时,进行登记候选信息的处理。在该情况下,区间部分可以视为词语串作为声音表现的有音区间。并且,候选信息不包含词语串表现区域的位置信息和纵横大小。伴随于此,在图14的检索子程序中,省略步骤S215和S216。
实施方式2
第2实施方式与第1实施方式的不同是区间部分的提取方法。在第1实施方式中,从通过录像保存在电视个人计算机50内的视频内容中,利用文字识别引擎来确定词语串表现区域,提取区间部分。与此相对,在第2实施方式中,从视频内容中提取在字幕广播用的文本内包含预定词语的区间部分。以下,对与第1实施方式不同的部分进行说明。
这里,字幕广播(电视文本、隐藏字幕)是用于可将电视节目中的演出者的讲话和效果音视为与该电视节目的进行同步显示的文本的广播。与字幕广播对应的电视节目涉及的电视信号重叠有基于文本数据的信号,当该电视节目被录像时,视频数据54包含有字幕广播用的文本数据。因此,当根据保存在电视个人计算机50内的视频数据54再现了视频内容时,可利用字幕广播。
图17是示意性示出对与字幕广播对应的电视节目进行录像而得到的视频数据54的图。
如图17所示,视频数据54包含能够将流数据分割为固定长度的部分的多个视频分组和多个音频分组。并且,视频数据54包含内容信息表54a。内容信息表54a的各记录包含时间戳、文本数据、视频分组的指针、音频分组的指针。时间戳是在视频内容的时间轴上的视频分组和音频分组的始端时刻。文本数据是用于显示从该时间戳的时刻起显示的字幕广播用的文本的数据。
《处理》
<候选提取>
在第2实施方式中,在电视个人计算机50的储存单元50g内记录有图17所示的视频数据54。并且,在CPU50h依据图3的候选提取模块52g执行的图8的候选提取处理中的步骤S103(区间部分确定子程序)的内容与第1实施方式不同。
图18是示出第2实施方式中的区间部分确定子程序流程的图。
在区间部分确定子程序开始后,在最初的步骤S151中,CPU50h从在图8的步骤S102所读出的视频数据54中读出图17的内容信息表54a。之后,CPU50h执行第4处理循环L4。
在第4处理循环L4中,CPU50h从在步骤S151所读出的图17的内容信息表54a确定1个记录作为处理对象,针对所确定的1个记录执行步骤S152至S154。也就是说,CPU50h针对图17的内容信息表54a内的记录各方依次执行步骤S152至S154。
在步骤S152中,CPU50h将登记在预先准备好的词典内的词语作为检索条件,检索处理对象记录内的文本数据。
在下一步骤S153中,CPU50h判别从处理对象记录内的文本数据是否检测出登记在预先准备好的词典内的词语。然后,在从处理对象记录内的文本数据未检测出登记在预先准备好的词典内的词语的情况下,CPU50h使处理从步骤S153分出,结束第4处理循环L4中的该处理对象的记录的本次处理。另一方面,在从处理对象记录内的文本数据可检测出登记在预先准备好的词典内的词语的情况下,CPU50h使处理进到步骤S154。
在步骤S154中,CPU50h取得处理对象记录内的时间戳、和该处理对象记录的下一记录的时间戳作为根据处理对象记录确定的视频分组和音频分组的始端时刻和终端时刻。接着,CPU50h取得在图8的步骤S102读出的视频数据54的识别信息。并且,CPU50h取得处理对象记录内的文本数据。之后,CPU50h将包含所取得的识别信息、始端时刻、终端时刻以及文本数据的新记录追加给后述的候选信息表57。因此,在第2实施方式中,根据处理对象记录确定的视频分组和音频分组作为区间部分被提取。
图19是示意性示出第2实施方式中的候选信息表57的图。
将图19和图6进行比较可以明白,第2实施方式中的候选信息表57的各记录不具有“位置”和“尺寸”字段。这是因为,在第2实施方式中,不进行图9的步骤S112那样的处理,即利用文字识别引擎来从帧图像内确定词语串表现区域的处理。
CPU50h在图18的步骤S154中将新记录追加给图19所示的候选信息表57之后,结束第4处理循环L4中的该处理对象的记录的本次处理。
CPU50h当针对图17的内容信息表54a内的全部记录结束执行步骤S152至S154时,退出第4处理循环L4,结束图18涉及的区间部分确定子程序。
<部分内容检索>
并且,在第2实施方式中,候选信息表57的各记录不具有“位置”和“尺寸”字段。因此,不能进行依据图14的步骤S215和S216的处理,即根据词语串表现区域对帧图像的全部区域的占有率调整区间部分的再现时间的处理。结果,在第2实施方式中,图11涉及的区间部分检索处理中的步骤S207(检索子程序)的内容与第1实施方式不同。
图20是示出第2实施方式中的检索子程序流程的图。
将图20和图14进行比较可以明白,在第2实施方式中,省略了步骤S215和S216。
《作用效果》
利用第2实施方式中的电视个人计算机50,从根据通过录像而记录在储存单元50g内的视频数据54再现的视频内容定期地、按预定时期或者任意时期提取候选部分内容(步骤S101至S103、S151至S154)。
并且,当输入了1个以上的关键字时,从1个以上的区间部分中检索表现包含该关键字的词语串的区间部分,并依次连续再现该区间部分(步骤S201至S210、S211至S214、S221至S230)。
因此,根据第2实施方式,操作者(利用者)只需输入关键字,就能从通过录像保存在电视个人计算机50内的视频内容中简单地仅视听自己感兴趣的部分。
实施方式3
《结构》
图21是示出第3实施方式中的计算机网络系统的结构的图。
第3实施方式与第1实施方式的不同是视频数据的取得目的地。在第1实施方式中,电视个人计算机50在电视调谐单元50e中接收从电视信号送出装置10送出的电视信号,从接收到的电视信号取得视频数据54。与此相对,在第3实施方式中,视频再现设备70经由网络NW从视频服务器设备20取得视频数据。以下,对与第1实施方式不同的部分进行说明。
这里,视频服务器设备20是导入有作为视频发布站点或者视频共享站点执行功能的软件和数据的计算机。视频发布站点是用于由内容保持器接收来自利用者的请求来发布视频数据的Web站点。作为视频发布站点,例如有Gyao(USEN公司的商标)。并且,视频共享站点是用于保有从利用者上传的视频数据并提供由利用者选择的视频数据的Web站点。作为视频共享站点,例如有YouTube(YouTube公司的商标)。
图22是示出第3实施方式中的视频再现设备70的结构的图。
视频再现设备70是被附加了用于从视频服务器设备20取得视频数据的功能的个人计算机。视频再现设备70与第1实施方式中的电视个人计算机50一样,具有输出器件70a、操作器件70b以及连接有这些器件70a、70b的主体。然后,该主体内置:视频控制单元70c,输入控制单元70d,储存单元70g,CPU70h,以及主存储单元70i。并且,在第3实施方式中,主体不具有电视调谐单元50e,而具有通信单元70f。
通信单元70f进行与网络NW上的其它计算机的数据交换。作为通信单元70f,例如有:Ethernet(美国施乐(Xerox)公司的商标)卡,FC[Fiber Channel,光纤信道]卡,ATM[Asynchronous Transfer Mode,异步传送模式]卡,令牌环卡,FDDI[Fiber-Distributed Data Interface,光纤分布数据接口]卡,无线LAN[Local AreaNetwork,局域网]卡,Bluetooth(Bluetooth特殊利益团体的商标)卡,数据通信卡,调制解调器卡。另外,通信单元70f例如可以是经由PC卡槽、PCI卡槽、USB槽、SCSI[Small Computer System Interface,小型计算机系统接口]槽、AGP[AcceleratedGraphics Port,加速图形端口]槽、CF[CompactFlash]卡槽、SD卡槽与视频再现设备70的主体在外部连接的类型的通信单元。通信单元70f与网络NW内的中继装置通过有线或无线进行通信。作为中继装置,例如有:转接集线器、路由器、FC开关、FDDI开关、ATM开关、无线集线器、无线LAN路由器、便携电话中继器(线路补偿器)、PHS[Personal Handyphone System,个人手机系统]用电波中继器(repeater)、TA[Terminal Adapter,终端适配器]。
在第3实施方式中,在视频再现设备70的储存单元70g内,与第1实施方式中的储存单元50g一样,记录有操作系统71。在第3实施方式中,操作系统71包含有通信接口。作为通信接口,例如有TCP/IP[Transmission Control Protocol/InternetProtocol,传输控制协议/互联网协议]组。
并且,在第3实施方式中的储存单元70g内记录有视频再现应用72、下载预约信息表73、视频数据74、内容信息表75、候选信息表76以及下载器77。
图23是示出视频再现应用72的结构的图。
视频再现应用72是用于将用于从视频服务器设备20取得视频数据的功能附加给个人计算机的软件。视频再现应用72包含:用户界面模块72a,存取模块72b,下载预约模块72c,下载控制模块72d,再现控制模块72e,解码器72f,以及候选提取模块72g。
用户界面模块72a经由预定的GUI从操作者受理请求。并且,用户界面模块72a将处理委托给与从操作者受理的请求对应的模块,或者执行与该请求对应的处理。作为从操作者受理的请求,例如有:视频发布站点或视频共享站点发布或提供的视频内容的一览表的显示请求,视频数据的下载预约,基于所下载的视频数据的视频内容的再现请求,以及各种设定信息的变更。
存取模块72b当接收到来自用户界面模块72a的委托时,经由通信单元70f从视频发布站点或视频共享站点取得与视频内容的概要相关的信息,并将其转交给用户界面模块72a。另外,用户界面模块72a当从存取模块72b接收到与视频内容的概要相关的信息时,根据该信息进行将视频内容的一览表显示在输出器件70a上的处理。
当由操作者从视频内容的一览表中选择了视频内容时,下载预约模块72c预约用于再现该视频内容的视频数据的下载。下载的预约是由下载预约模块72c通过将视频发布站点或视频共享站点的URL[Uniform Resource Locator,统一资源定位符]、确定音频视频内容的信息(例如文件名)、以及预约日期时间等的信息作为下载预约信息记录在下载预约信息表73内来进行的。
下载控制模块72d针对记录在下载预约信息表73内的下载预约信息中的从预约日期时间起经过了预定时间后的内容,进行根据该下载预约信息确定的视频数据的下载。下载控制模块72d使下载器77进行视频数据的下载。下载器77从由下载预约信息表示的视频发布站点或视频共享站点下载由下载预约信息表示的视频数据。下载使用操作系统71内的通信接口和通信单元70f。下载控制模块72d进行将由下载器77下载的视频数据记录在储存单元70g内的处理。当下载结果而使视频数据74记录在储存单元70g内时,下载控制模块72d将与所记录的视频数据74相关的内容信息记录在内容信息表75内。之后,下载控制模块72d从下载预约信息表73中删除与下载结束的视频数据对应的下载预约信息。另外,第3实施方式中的内容信息表75具有与图4所示的内容信息表55相同的字段结构,因而省略其图示。
再现控制模块72e进行再现由操作者从通过下载而保存在视频再现设备70内的1个以上的视频内容中选择的1个视频内容的处理。再现控制模块72e将记录在内容信息表75(参照图4)内的内容信息经由用户界面模块72a提示给操作者自由选择。再现控制模块72e通过用户界面模块72a受理作为再现对象选择的视频内容的指定。并且,再现控制模块72e利用解码器72f进行视频内容的再现。具体地说,再现控制模块72e从储存单元70g中读出用于再现被指示了再现的视频内容的视频数据74,并将其转交给解码器72f。解码器72f对从再现控制模块72e所转交的视频数据74进行解压缩,将视频内容输出到输出器件70a。
候选提取模块72g进行从根据记录在储存单元70g内的视频数据74再现的视频内容中提取表现了词语串的区间部分的处理。并且,候选提取模块72g当从视频内容中提取出1个以上的区间部分时,将与提取出的区间部分相关的候选信息记录在候选信息表76内。也就是说,第3实施方式中的候选提取模块72g发挥与第1实施方式中的电视应用52内的候选提取模块52g同等的功能。因此,在第3实施方式中,CPU70h依照候选提取模块72g执行图8至图10涉及的处理。另外,第3实施方式中的候选提取模块72g与第1实施方式中的候选提取模块52g一样,例如一天一次定时地执行。不过,该候选提取模块72g可以当由下载控制模块72d进行的视频数据下载结束时,以该结束作为触发因素来执行。并且,该候选提取模块72g可以当经由用户界面模块72a从操作者被直接指示执行时,以该指示作为触发因素来执行。另外,第3实施方式中的候选信息表76具有与图6所示的候选信息表56相同的字段结构,因而省略其图示。
在第3实施方式中,再现控制模块72e包含区间部分检索构件72h。区间部分检索构件72h从操作者受理1个以上的关键字,检索多个候选信息,即候选信息表76(参照图6)。并且,再现控制模块72e生成定义了根据检测出的候选信息确定的区间部分的再现顺序的播放列表。也就是说,第3实施方式中的区间部分检索构件72h发挥与第1实施方式中的电视应用52内的区间部分检索构件52h同等的功能。因此,在第3实施方式中,CPU70h依照区间部分检索构件72h执行图11至图16涉及的处理。另外,播放列表从该区间部分检索构件72h被转交给再现控制模块72e。再现控制模块72e按照该播放列表依次进行利用了解码器72f的区间部分的再现。也就是说,当通过关键字检索检测出多个候选信息时,依次连续再现根据检测出的候选信息确定的多个区间部分。另外,第3实施方式中的区间部分检索构件72h与第1实施方式中的区间部分检索构件52h一样,可以通过点击预定按钮,以该点击作为触发因素来执行。预定按钮可以包含在显示于用户界面模块72a控制下的窗内的应用画面内。并且,该区间部分检索构件72h可以当起动了电视再现应用72时,与该起动联动而自动起动。
《作用效果》
根据第3实施方式中的电视再现设备70,从基于通过下载而记录在储存单元70g内的视频数据74的视频内容中定期地、按预定时期或者任意时期提取候选部分内容(步骤S101至S103、S111至S116、S121至S126)。
并且,当通过图12的输入画面61输入了1个以上的关键字时,从1个以上的区间部分中检索表现了包含该关键字的词语串的区间部分,并依次连续再现该区间部分(步骤S201至S210、S211至S216、S221至S230)。
因此,根据第3实施方式,操作者(利用者)只需输入关键字,就能从通过下载而保存在电视再现设备70内的视频内容中简单地仅视听自己感兴趣的部分。
并且,在第3实施方式中,也在根据词语串内包含的关键字的个数定量地估计为区间部分是操作者感兴趣高的部分的情况下,该区间部分的再现时间随着第1和第2调整时间的绝对值的增加而延长(步骤S214)。
并且,在第3实施方式中,也在根据词语串表现区域的占有率定量地估计为区间部分是操作者感兴趣高的部分的情况下,该区间部分的再现时间随着第1和第2调整时间的绝对值的增加而延长(步骤S215和S216)。
并且,在第3实施方式中,也在定量地估计为通过关键字检索而检测出的1个以上的区间部分作为整体是操作者感兴趣高的部分的情况下(步骤S222;是),区间部分各自的再现时间随着第1和第2调整时间的绝对值的增加而延长,结果,总再现时间延长(步骤S223至S225)。
并且,在第3实施方式中,也在通过关键字检索而检测出的区间部分的件数总数过多的情况下(步骤S227;是),区间部分各自的再现时间随着第1和第2调整时间的绝对值的减少而缩短,结果,总再现时间缩短(步骤S228至S230)。
另外,在第3实施方式中,图11的步骤S201中的关键字候选的取得目的地也与第1实施方式一样,为蓄积有过去从操作者所输入的关键字的未图示的表或者候选信息表76(参照图5)。然而,关键字候选的取得目的地不限于此。例如,在具有检索引擎的Web站点中,有进行提供在该检索引擎中作为检索条件输入的次数多的关键字的一览的服务的Web站点。在图11的步骤S201中,CPU70h可以从这样的Web站点的该服务中取得作为检索条件利用的次数多的关键字,例如上位10个关键字作为关键字候选。
实施方式4
第4实施方式与第3实施方式的不同是从操作者受理在检索候选信息时使用的检索条件的时期。
如上所述,检索条件是通过图12的输入画面61来受理的。该输入画面61是在区间部分检索构件72h的执行开始之后显示(图11的步骤S202)。在第3实施方式中,区间部分检索构件72h的执行与第1实施方式一样,是以点击在显示于用户界面模块72a控制下的窗内的应用画面内包含的预定按钮作为触发因素而开始的。或者,区间部分检索构件72h与视频再现应用72的起动联动而自动起动。也就是说,在第3实施方式中,输入画面61是在操作者(利用者)指示了区间部分检索构件72h或者视频再现应用72的执行开始之后显示的。
与此相对,在第4实施方式中,区间部分检索构件72h的执行是以再现控制模块72e开始再现通过用户界面模块72a从操作者指定的视频内容作为触发因素而开始的。以下,对与第3实施方式不同的部分进行说明。
《处理》
<部分内容检索>
图24是依照第4实施方式中的区间部分检索构件72h由CPU70h执行的区间部分检索处理流程的图。
在区间部分检索处理开始后,在最初的步骤S301中,CPU70h取得由再现控制模块72e利用解码器72f再现的视频内容的识别信息。接着,CPU70h从候选信息表76(参照图5)确定包含所取得的识别信息的记录。
在下一步骤S302中,CPU70h从在步骤S301确定的记录内包含的文本数据中读出与登记在预先准备好的词典内的词语一致的词语作为关键字候选。
在下一步骤S303中,CPU70h进行显示用于由操作者输入1个以上的关键字的输入画面61的处理。如图12所示,输入画面61包含复选框61a和执行按钮61b。如上所述,复选框61a是具有通过进行预定操作来使下拉列表框展开的功能的文本框。在下拉列表框内自由选择地列举在步骤S302取得的关键字候选。并且,从操作者直接将关键字输入到复选框61a。执行按钮61b是用于指示以输入到复选框61a的关键字作为检索条件的候选信息的检索开始的按钮。
另外,在第4实施方式中,输入画面61包含在显示于用户界面模块72a控制下的窗内的应用画面内。并且,输入画面61显示在显示有再现中的视频内容的框的附近。不过,输入画面61可以显示在与用户界面模块72a控制下的窗不同的窗内。并且,输入画面61可以显示为配置在其它窗更近处的桌面小工具(desktop gadget)。
CPU50h在进行了显示输入画面61的处理之后,使处理进到图24的步骤S304。
在步骤S304中,CPU70h等待直到进行输入画面61的执行按钮61b的点击、和视频内容再现结束中的任一事件。然后,当点击了执行按钮61b、或者视频内容再现结束时,CPU70h使处理进到步骤S305。
在步骤S305中,CPU70h判别在步骤S304检测出的事件是否是视频内容的再现结束。然后,在步骤S304检测出的事件是视频内容的再现结束的情况下,CPU70h结束图24涉及的区间部分检索处理。另一方面,在步骤S304检测出的事件不是视频内容的再现结束的情况下,CPU70h认为点击了输入画面61的执行按钮61b,使处理从步骤S305分支到步骤S306。
在步骤S306中,CPU70h取得在点击了执行按钮61b的时刻输入到复选框61a的关键字,使处理进到步骤S307。
另外,步骤S307以后是与图11的步骤S206以后相同的内容,因而省略其说明。
《作用效果》
根据第4实施方式中的视频再现设备70,当根据由操作者(利用者)从通过下载而记录在储存单元70g内的视频内容74中选择的视频数据74再现了视频内容时,显示输入画面61(步骤S301至S303)。在该输入画面61的复选框61a的下拉列表框内列举在再现中的视频内容的视频中作为文字表现的词语串内包含的词语作为关键字候选。当操作者选择该下拉列表框中的关键字候选并指示关键字检索执行时(步骤S305;否),检测将该关键字包含在词语串内的区间部分(步骤S307至S309),连续再现检测出的区间部分(步骤S310和S311)。
因此,根据第4实施方式,操作者(利用者)只需在视频内容的再现中输入关键字,就能从通过下载而保存在视频再现设备70内的视频内容中简单地视听与再现中的视频内容相关联的区间部分作为自己感兴趣的部分。
实施方式5
《结构》
图25是示出第5实施方式中的计算机网络系统的结构的图。图26是示出第5实施方式中的视频再现设备80的结构的图。图27是具体示出记录在第5实施方式中的视频再现设备80的储存单元80g内的应用、数据和表的图。
如图25至图27所示,第5实施方式是使第1和第3实施方式组合而成的实施方式。即,第5实施方式是将第1实施方式中的电视应用52和第3实施方式中的视频再现应用72导入到个人计算机内而得到的实施方式。
第5实施方式中的视频再现设备80与第3实施方式中的视频再现设备70一样,具有:输出器件80a,操作器件80b,以及连接有这些器件80a、80b的主体。然后,该主体内置有:视频控制单元80c,输入控制单元80d,储存单元80g,CPU80h,以及主存储单元80i。在第5实施方式中,主体还具有电视调谐单元80e和通信单元80f。
在第5实施方式中的视频再现设备80的储存单元80g内,与第3实施方式中的储存单元70g一样,记录有操作系统81。在第5实施方式中,操作系统81包含有通信接口。
并且,在第5实施方式中,为使电视应用52管理录像预约信息而利用的录像预约信息表53被记录在储存单元80g内。并且,为使视频再现应用72管理下载预约信息而利用的下载预约信息表73、和进行视频数据84的下载的下载器77被记录在储存单元80g内。
并且,在第5实施方式中,视频数据84通过电视应用52的录像、或者视频再现应用72的下载而被记录在储存单元80g内。
并且,在第5实施方式中,内容信息表85和候选信息表86被记录在储存单元80g内。另外,第5实施方式中的内容信息表85具有与图4所示的内容信息表55相同的字段结构,因而省略其图示。并且,第5实施方式中的候选信息表86具有与图6所示的候选信息表56相同的字段结构,因而省略其图示。电视应用52和视频再现应用72共同利用内容信息表85(参照图4)和候选信息表86(参照图5)。
《作用效果》
根据第5实施方式中的视频再现设备80,既可以将视频数据84的取得目的地设定为电视信号送出装置10,也可以设定为视频服务器设备20。
并且,根据第5实施方式,电视应用52也可以根据由视频再现应用72下载的视频数据84再现视频内容。反之,视频再现应用72也可以根据由电视应用52所录像的视频内容84再现视频内容。
根据第5实施方式,操作者(利用者)只需在电视应用52或视频再现应用72起动中输入关键字,就能从通过录像或下载而保存在视频再现设备80内的视频内容中简单地仅视听自己感兴趣的部分。
其它
《硬件要素》
在以上说明的第1至第5实施方式中,作为电视个人计算机50、视频再现设备70、80内包含的硬件要素,例如有:FPGA[Field Programmable Gate Array,现场可编程门阵列]、ASIC[Application Specific Integrated Circuit,专用集成电路]、LSI[LargeScale Integration,大规模集成]、IC[Integrated Circuit,集成电路]、门阵列、逻辑门、信号处理电路、模拟电路等。作为逻辑门,例如有AND(与)、OR(或)、NOT(非)、NAND(与非)、NOR(或非)、触发器、计数器电路。在信号处理电路内可以包含对信号值执行例如加法运算、乘法运算、除法运算、反转、积和运算、微分、积分的电路要素。在模拟电路内可以包含对信号值执行例如放大、加法运算、乘法运算、微分、积分的电路要素。
《软件要素》
在以上说明的第1至第5实施方式中,作为电视个人计算机50、视频再现设备70、80内包含的软件要素,例如有:接口程序,驱动程序,模块程序,构件程序,表,数据,软件部件,基于进程型语言的部件,面向对象软件部件,分类部件,作为任务而管理的部件,作为过程而管理的部件,函数,属性,进程,子程序(软件程序),程序代码的片段或部分,固件,微代码,代码,代码段,附加段,栈段,程序区域,数据区域,数据,数据库,数据结构,字段,记录,表,矩阵表,排列,变量,参数。
并且,以上例示的软件要素均可以是使用C语言、C++、Java(美国SunMicrosystems公司的商标)、Visual Basic(美国Microsoft公司的商标)、Perl、Ruby、其它许多编程语言来描述的软件要素。
《经由通信的导入》
以上说明的第1至第5实施方式中的任何功能可以从外部装置、例如Web服务器装置、文件服务器装置、主机装置经由有线网络或无线网络导入到电视个人计算机50、视频再现设备70、80内。在该情况下,用于实现该功能的程序和数据可以依据预定的通信协议从外部装置被发送到电视个人计算机50、视频再现设备70、80。电视个人计算机50、视频再现设备70、80可通过执行从外部装置接收到的程序来实现该功能。
《经由计算机可读介质的导入》
以上说明的第1至第5实施方式中的任何功能可以从其它计算机经由计算机可读介质被导入到电视个人计算机50、视频再现设备70、80。在该情况下,用于实现该功能的程序和数据可以被编码并存储在计算机可读介质内。电视个人计算机50、视频再现设备70、80可以通过从计算机可读介质读出程序并执行该程序来实现该功能。
这里,计算机可读介质是指这样的记录介质:通过电、磁、光学、化学、物理或机械的作用,蓄积程序和数据等的信息,并在计算机可读取的状态下保持该信息。作为电或磁的作用,例如有向由熔断器构成的ROM上的元件的数据写入。作为磁或物理的作用,例如有向纸介质上的潜像的调色剂显影。另外,记录在纸介质上的信息例如可进行光学读取。作为光学且化学的作用,例如有基板上的薄膜形成或凹凸形成。另外,以凹凸形态记录的信息例如可进行光学读取。作为化学的作用,例如有基板上的氧化还原反应、或者半导体基板上的氧化膜形成、氮化膜形成、或者光致抗蚀剂显像。作为物理或机械的作用,例如有凹凸卡上的凹凸形成或者纸介质上的穿孔器的穿孔。
标号说明
10:电视信号送出装置;20:视频服务器设备;50:电视个人计算机;50a:输出器件;50b:操作器件;50e:电视调谐单元;50g:储存单元;50h:CPU;52:电视应用;52d:录像控制模块;52e:再现控制模块;52f:解码器;52g:候选提取模块;52h:区间部分检索构件;54:视频数据;55:内容信息表;56:候选信息表;61:输入画面;61a:复选框(combo box);61b:执行钮;70:视频再现设备;70a:输出器件;70b:操作器件;70f:通信单元;70g:储存单元;70h:CPU;72:视频再现应用;72d:下载控制模块;72e:再现控制模块;72f:解码器;72g:候选提取模块;72h:区间部分检索构件;74:视频数据;75:内容信息表;76:候选信息表;77:下载器。

Claims (18)

1.一种再现控制程序,其用于控制再现视频内容的再现单元,该再现控制程序的特征在于,该再现控制程序使计算机执行:
受理步骤,受理1个以上的关键字;
检索步骤,根据在所述受理步骤中受理的关键字检索对应信息,在该对应信息中相对应地记录有区间信息、词语串和识别信息,其中,该区间信息确定在所述视频内容中表现了所述词语串的区间部分,该识别信息表示用于再现所述视频内容的视频数据;以及
控制步骤,使所述再现单元再现由与通过所述检索步骤的检索检测出的词语串相对应的识别信息和区间信息确定的区间部分。
2.根据权利要求1所述的再现控制程序,其特征在于,所述控制步骤包括以下步骤:根据通过所述检索步骤的检索检测出的词语串内所包含的所述关键字的个数,变更所述区间部分的再现时间。
3.根据权利要求1或2所述的再现控制程序,其特征在于,所述控制步骤包括以下步骤:当通过所述检索步骤的检索检测出的词语串的个数超过预定阈值时,进行缩短所述区间部分的再现时间的处理。
4.根据权利要求1、2或3所述的再现控制程序,其特征在于,所述控制步骤包括以下步骤:当所述区间部分的再现时间的总和超过预定阈值时,根据所述总和的长度变更所述区间部分的再现时间。
5.根据权利要求1、2、3或4所述的再现控制程序,其特征在于,在所述对应信息中与所述区间信息、所述词语串和所述识别信息相对应地记录有确定所述区间部分内所包含的图像的全部区域中表现了所述词语串的部分区域的区域信息,
所述控制步骤包括以下步骤:根据由与通过所述检索步骤的检索检测出的词语串相对应的所述区域信息确定的所述部分区域占所述视频显示区域的比例,进行延长所述区间部分的再现时间的处理。
6.根据权利要求1、2、3、4或5所述的再现控制程序,其特征在于,该再现控制程序使所述计算机还执行:
取得步骤,取得视频数据;
提取步骤,从根据在所述取得步骤中取得的所述视频数据再现的视频内容中提取表现了词语串的区间部分;以及
登记步骤,将针对在所述提取步骤中提取出的区间部分的区间信息、词语串和识别信息追加给所述对应信息。
7.一种再现控制方法,用于控制再现视频内容的再现单元,该再现控制方法的特征在于,由计算机执行:
受理步骤,受理1个以上的关键字;
检索步骤,根据在所述受理步骤中受理的关键字检索对应信息,在该对应信息中相对应地记录有区间信息、词语串和识别信息,其中,该区间信息确定在所述视频内容中表现了所述词语串的区间部分,该识别信息表示用于再现所述视频内容的视频数据;以及
控制步骤,使所述再现单元再现由与通过所述检索步骤的检索检测出的词语串相对应的识别信息和区间信息确定的区间部分。
8.根据权利要求7所述的再现控制方法,其特征在于,所述控制步骤包括以下步骤:根据通过所述检索步骤的检索检测出的词语串内所包含的所述关键字的个数,变更所述区间部分的再现时间。
9.根据权利要求7或8所述的再现控制方法,其特征在于,所述控制步骤包括以下步骤:当通过所述检索步骤的检索检测出的词语串的个数超过预定阈值时,进行缩短所述区间部分的再现时间的处理。
10.根据权利要求7、8或9所述的再现控制方法,其特征在于,所述控制步骤包括以下步骤:当所述区间部分的再现时间的总和超过预定阈值时,根据所述总和的长度变更所述区间部分的再现时间。
11.根据权利要求7、8、9或10所述的再现控制方法,其特征在于,在所述对应信息中与所述区间信息、所述词语串和所述识别信息相对应地记录有确定所述区间部分内所包含的图像的全部区域中表现了所述词语串的部分区域的区域信息,
所述控制步骤包括以下步骤:根据由与通过所述检索步骤的检索检测出的词语串相对应的所述区域信息确定的所述部分区域占所述视频显示区域的比例,进行延长所述区间部分的再现时间的处理。
12.根据权利要求7、8、9、10或11所述的再现控制方法,其特征在于,由所述计算机还执行:
取得步骤,取得视频数据;
提取步骤,从根据在所述取得步骤中取得的所述视频数据再现的视频内容中提取表现了词语串的区间部分;以及
登记步骤,将针对在所述提取步骤中提取出的区间部分的区间信息、词语串和识别信息追加给所述对应信息。
13.一种再现装置,其用于再现视频内容,该再现装置的特征在于包括:
受理部,其受理1个以上的关键字;
检索部,其根据由所述受理部受理的关键字检索对应信息,在该对应信息中相对应地记录有区间信息、词语串和识别信息,其中,该区间信息确定在所述视频内容中表现了所述词语串的区间部分,该识别信息表示用于再现所述视频内容的视频数据;以及
再现部,其再现由与通过所述检索部的检索检测出的词语串相对应的识别信息和区间信息确定的区间部分。
14.根据权利要求13所述的再现装置,其特征在于,所述再现部根据通过所述检索部的检索检测出的词语串内所包含的所述关键字的个数,变更所述区间部分的再现时间。
15.根据权利要求13或14所述的再现装置,其特征在于,当通过所述检索部的检索检测出的词语串的个数超过预定阈值时,所述再现部进行缩短所述区间部分的再现时间的处理。
16.根据权利要求13、14或15所述的再现装置,其特征在于,当所述区间部分的再现时间的总和超过预定阈值时,所述再现部根据所述总和的长度变更所述区间部分的再现时间。
17.根据权利要求13、14、15或16所述的再现装置,其特征在于,在所述对应信息中与所述区间信息、所述词语串和所述识别信息相对应地记录有确定所述区间部分内所包含的图像的全部区域中表现了所述词语串的部分区域的区域信息,
所述再现部根据由与通过所述检索部的检索检测出的词语串相对应的所述区域信息确定的所述部分区域占所述视频显示区域的比例,进行延长所述区间部分的再现时间的处理。
18.根据权利要求13、14、15、16或17所述的再现装置,其特征在于,该再现装置还包括:
取得部,其取得视频数据;
提取部,其从根据由所述取得部取得的所述视频数据再现的视频内容中提取表现了词语串的区间部分;以及
登记部,其将针对由所述提取部提取出的区间部分的区间信息、词语串和识别信息追加给所述对应信息。
CN200980158291.4A 2009-03-25 2009-03-25 再现控制程序、再现控制方法和再现装置 Expired - Fee Related CN102362489B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/055976 WO2010109613A1 (ja) 2009-03-25 2009-03-25 再生制御プログラム、再生制御方法及び再生装置

Publications (2)

Publication Number Publication Date
CN102362489A true CN102362489A (zh) 2012-02-22
CN102362489B CN102362489B (zh) 2014-08-27

Family

ID=42780322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980158291.4A Expired - Fee Related CN102362489B (zh) 2009-03-25 2009-03-25 再现控制程序、再现控制方法和再现装置

Country Status (6)

Country Link
US (1) US20120002944A1 (zh)
EP (1) EP2413592B1 (zh)
JP (1) JP5177283B2 (zh)
KR (1) KR101264070B1 (zh)
CN (1) CN102362489B (zh)
WO (1) WO2010109613A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320684A (zh) * 2014-07-28 2016-02-10 中国传媒大学 隐藏字幕的数据交换方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085098A (ja) * 2010-10-12 2012-04-26 Japan Radio Co Ltd 視聴者ランキングによる番組切替方法
WO2013157268A1 (ja) * 2012-04-20 2013-10-24 パナソニック株式会社 コンテンツ管理装置、コンテンツ管理方法、プログラム、およびコンテンツの表示方法
US20160374956A1 (en) * 2013-12-12 2016-12-29 Hisamitsu Pharmaceutical Co., Inc. Multilayer type patch

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US6973256B1 (en) * 2000-10-30 2005-12-06 Koninklijke Philips Electronics N.V. System and method for detecting highlights in a video program using audio properties
KR100374040B1 (ko) * 2001-03-09 2003-03-03 엘지전자 주식회사 비디오 텍스트 합성 키 프레임 추출방법
JP2002335478A (ja) 2001-05-07 2002-11-22 Ricoh Co Ltd ビデオ録画再生システム
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
WO2005001715A1 (en) * 2003-06-30 2005-01-06 Koninklijke Philips Electronics, N.V. System and method for generating a multimedia summary of multimedia streams
US7580158B2 (en) * 2003-08-28 2009-08-25 Fujifilm Corporation Image processing apparatus, method and program
JP2005252586A (ja) 2004-03-03 2005-09-15 Casio Comput Co Ltd 録画再生機、録画再生システム及びプログラム
US7505671B2 (en) * 2004-02-25 2009-03-17 Casio Computer Co., Ltd. Recording/reproduction apparatus, system and program which reproduces a section of a recorded program based on a keyword relating to the section and a reproduction speed corresponding to the keyword
JP2006157197A (ja) * 2004-11-26 2006-06-15 Fuji Photo Film Co Ltd フォトムービー作成装置及びフォトムービー作成プログラム
JP4252030B2 (ja) * 2004-12-03 2009-04-08 シャープ株式会社 記憶装置およびコンピュータ読取り可能な記録媒体
JP4349277B2 (ja) * 2004-12-24 2009-10-21 株式会社日立製作所 動画再生装置
JP2006332765A (ja) 2005-05-23 2006-12-07 Sharp Corp コンテンツ検索・再生方法、コンテンツ検索・再生装置、並びにプログラムおよび記録媒体
JP4832061B2 (ja) * 2005-11-29 2011-12-07 株式会社日立製作所 コンテンツ収集装置およびコンテンツ収集システム
JP4665780B2 (ja) * 2006-01-30 2011-04-06 ソニー株式会社 顔重要度判定装置、方法、および撮像装置
JP4905103B2 (ja) * 2006-12-12 2012-03-28 株式会社日立製作所 動画再生装置
JP5010292B2 (ja) * 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
JP5096017B2 (ja) * 2007-02-15 2012-12-12 オリンパスイメージング株式会社 撮像装置
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4315215B2 (ja) * 2007-05-18 2009-08-19 カシオ計算機株式会社 撮像装置、及び顔検出方法、顔検出制御プログラム
JP2008299411A (ja) * 2007-05-29 2008-12-11 Funai Electric Co Ltd マルチメディア再生機器
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320684A (zh) * 2014-07-28 2016-02-10 中国传媒大学 隐藏字幕的数据交换方法
CN105320684B (zh) * 2014-07-28 2019-03-01 中国传媒大学 隐藏字幕的数据交换方法

Also Published As

Publication number Publication date
US20120002944A1 (en) 2012-01-05
WO2010109613A1 (ja) 2010-09-30
CN102362489B (zh) 2014-08-27
EP2413592A1 (en) 2012-02-01
JP5177283B2 (ja) 2013-04-03
EP2413592B1 (en) 2016-08-31
JPWO2010109613A1 (ja) 2012-09-20
KR20110126712A (ko) 2011-11-23
KR101264070B1 (ko) 2013-05-13
EP2413592A4 (en) 2013-05-22

Similar Documents

Publication Publication Date Title
CN100545907C (zh) 语音识别词典制作装置及信息检索装置
CN100383889C (zh) 信息记录装置和方法
CN100358035C (zh) 使用交互式光盘播放器来播放内容信息的系统和方法
US8478759B2 (en) Information presentation apparatus and mobile terminal
CN103299648A (zh) 接收增强服务的方法及其显示装置
US8218953B2 (en) Video reproducing device and video reproducing method
CN102741842A (zh) 多功能多媒体设备
CN101202864A (zh) 动画再现装置
CN101179682A (zh) 检测并处理预定节目的中断的方法以及数字录像机
CN101322123A (zh) 用于更新用户简档的方法和系统
CN102169489A (zh) 信息处理装置、关键字注册方法和程序
CN102362489B (zh) 再现控制程序、再现控制方法和再现装置
US8494345B2 (en) Video reproducing device and video reproducing method
CN102291621B (zh) 信息提供服务器、信息处理设备及同一性判定系统和方法
CN102262643A (zh) 信息处理系统、信息处理装置和信息处理方法
US8352985B2 (en) Method of storing and displaying broadcast contents and apparatus therefor
CN113259708A (zh) 基于短视频介绍商品的方法、计算机设备和介质
WO2008100383A2 (en) Method and system for facilitating analysis audience ratings data for content
CN102710973A (zh) 动态图像推荐装置和动态图像推荐方法
JP2007201680A (ja) 情報管理装置および方法、並びにプログラム
JP5105109B2 (ja) 検索装置及び検索システム
KR102297362B1 (ko) 콘텐츠 재생 장치를 이용한 사용자 특성 기반의 광고 제공 장치 및 방법
JP2009049638A (ja) 情報処理システム、方法およびプログラム
CN101241737B (zh) 信息记录装置和方法
CN1926630A (zh) 在含需求内容描述符的记录介质上记录内容

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190213

Address after: Kanagawa

Patentee after: Fujitsu Personal Computer Co., Ltd.

Address before: Kawasaki, Kanagawa, Japan

Patentee before: Fujitsu Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140827

Termination date: 20190325