CN101365134A - 帧指定方法 - Google Patents

帧指定方法 Download PDF

Info

Publication number
CN101365134A
CN101365134A CNA2008101452513A CN200810145251A CN101365134A CN 101365134 A CN101365134 A CN 101365134A CN A2008101452513 A CNA2008101452513 A CN A2008101452513A CN 200810145251 A CN200810145251 A CN 200810145251A CN 101365134 A CN101365134 A CN 101365134A
Authority
CN
China
Prior art keywords
frame
dynamic image
broadcast
specified device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101452513A
Other languages
English (en)
Other versions
CN101365134B (zh
Inventor
寺崎高史
驹井広行
漆原雅司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN101365134A publication Critical patent/CN101365134A/zh
Application granted granted Critical
Publication of CN101365134B publication Critical patent/CN101365134B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47214—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for content reservation or setting reminders; for requesting event notification, e.g. of sport results or stock market
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Abstract

本发明涉及帧指定方法，其是为了提供一种根据用户的指令在动态图像中恰当地指定处理目标帧的技术。帧指定装置播放动态图像，在用户执行指令执行与该动态图像中的局部场景有关的处理的操作时，接收基于该用户的操作的指令信号，并且因接收到该指令信号而被触发，在构成该动态图像的帧中指定在接收到该指令信号时的播放帧或者与该播放帧隔开预定时间长度的帧，作为处理目标帧。

Description

帧指定方法
技术领域
本发明涉及根据用户的指令在动态图像(活动图像)中指定帧的技术。
背景技术
播送的TV节目(动态图像；活动图像)除了节目的原始情节内容以外，还包含用于显示诸如商业产品的CM(商业消息)、节目预告、在原始版本的美食节目中介绍的商店位置以及在烹调节目中介绍的烹调食谱的各类信息(也被称为广告信息)的场景。
针对需要这类广告信息的情况，一般实践是，在该信息显示在TV画面上的时段期间，将该信息快速写在纸上或者记录在视频上。
然而，对于准备纸并在该纸上写下该信息或者启动视频系统并在视频上记录该信息来说，是很耗时的，而另一方面，广告信息保持显示时的时间段相对较短，导致不能写下或记录该信息的情况。
为此，存在一种使得用户能够在这种显示广告信息的时机简单地通过遥控器给出指令来捕获所谓的画面备忘录(memo)以在存储器中临时存储显示图像的TV系统。
发明内容
然而，当用户给出指令以捕获该备忘录时，过程为，该用户在察看并判断显示在TV画面中的广告信息是所需的信息之后，该用户手拿遥控器并给出捕获备忘录的指令，由此，出现这种问题，即，从显示广告信息起直到将捕获指令传递至TV系统为止存在时滞，并且不能确保总是捕获该用户所希望的信息。
针对这种情况，本发明提供了一种根据用户的指令在动态图像中恰当地指定处理目标帧的技术。
本发明采用下面的构造，以便解决上述问题。
即，根据本发明，提供了一种通过计算机执行的帧指定方法，该帧指定方法包括以下步骤：
播放步骤，该播放步骤播放动态图像；
指令接收步骤，该指令接收步骤在用户执行指令执行与该动态图像中的局部场景有关的处理的操作时，接收基于该用户的操作的指令信号；以及
帧指定步骤，该帧指定步骤因接收到该指令信号而被触发，在构成该动态图像的帧中指定在接收到该指令信号时的播放帧或者与该播放帧隔开预定时间长度的帧，作为处理目标帧。
而且，根据本发明，提供了一种帧指定装置，该帧指定装置包括：
播放单元，该播放单元播放动态图像；
指令接收单元，该指令接收单元在用户执行指令执行与该动态图像中的局部场景有关的处理的操作时，接收基于该用户的操作的指令信号；以及
帧指定单元，该帧指定单元因接收到该指令信号而被触发，在构成该动态图像的帧中指定在接收到该指令信号时的播放帧或者与该播放帧隔开预定时间长度的帧，作为处理目标帧。
而且，本发明还可以是一种用于使计算机执行该帧指定方法的程序。而且，本发明还可以是一种记录有该程序的计算机可读记录介质。该计算机读取并执行该记录介质上的该程序，由此，使得能够提供其功能。
在此，该计算机可读记录介质意指能够以电方式、磁方式、光学方式、机械方式或通过化学反应存储可以从计算机读取的诸如数据和程序的信息的记录介质。在这些记录介质中，例如，软盘、磁光盘、CD-ROM、CD-R/W、DVD、DAT、8mm磁带、存储器卡等可以被指定为可从计算机拆卸的记录介质。
而且，硬盘、ROM(只读存储器)等被指定为固定在计算机内的记录介质。
根据本发明，可以提供能够根据用户的指令在动态图像中恰当地指定处理目标帧的技术。
附图说明
图1是搜索系统的示意图。
图2是搜索方法(包括搜索关键字提取方法)的说明图。
图3是通过自动地指定CM的预定区域来搜索该区域(尾部)的方法的说明图。
图4是通过根据用户的操作指定帧来提取关键字的方法的说明图。
图5是分析顺序的说明图。
图6是在现场广播期间缓冲提取的关键字的实施例的说明图。
图7是通过分析后指定帧并提取关键字来进行搜索的方法的说明图。
图8是示出显示搜索结果的实施例的图。
图9是包含模仿搜索框的区域的图像的说明图。
具体实施方式
下面，参照附图，对用于执行本发明的最佳模式进行说明。下面的实施方式的构造是示范，而本发明不限于该实施方式中的构造。
<当前实施方式的概述>
该实施方式的方案为，基于从广播站接收到的数据或者从诸如DVD(数字多媒体盘)的存储介质读取的数据来播放动态图像，并且如果用户标记显示了该动态图像中的广告信息的指定场景，则按照将该指示被传递至帧指定装置所需的时滞考虑在内的方式来指定多个场景构成帧。
接着，指定的帧可以经受诸如提取字符和输出打印的预定处理。
在下面的实施例中，示范了怎样指定帧，提取字符(关键字)以及使用该关键字执行搜索处理。
<装置构造>
图1是根据该实施方式的搜索系统的示意图。
该实施方式中的搜索系统10包括：广播站的播送TV广播的站侧装置101、接收通过该站侧装置101播送的动态图像(活动图像)的用户终端1、经由诸如因特网的网络提供信息的web服务器2、针对web服务器2提供的信息提供搜索服务的搜索服务器(搜索引擎)3、排名服务器4等。
用户终端1对应于搜索系统10中的帧指定装置。
用户终端1是通用计算机，该通用计算机包括：由CPU(中央处理单元)、主存储器等组成的算术处理单元12、存储有用于算术处理的数据和软件的存储单元(硬盘)13、输入/输出端口14、通信控制单元(CCU)15等。
诸如键盘、鼠标、遥控器、CD-ROM驱动器以及TV(电视)接收单元16的输入装置，和诸如显示装置和打印机的输出装置，被恰当地连接至I/O端口14。
TV接收单元(调谐器)16经由TV天线接收来自广播站的无线电波，接着将该无线电波转换成电信号(图像信息)，并将该信号输入至I/O端口14。
CCU15执行经由网络与其它计算机的通信。
存储单元13预先安装有操作系统(OS)和应用软件(帧指定程序、关键字提取程序、搜索程序)。
算术处理单元12恰当地从存储单元13读取OS和应用程序并执行该OS和该应用程序，并且算术处理从I/O端口14和CCU15输入的信息项和从存储单元13读取的信息项，由此还充任图像获取单元(帧指定单元)、分析单元、提取单元、播放单元以及指令接收单元。
图像获取单元获取图像信息(帧)。例如，图像获取单元接收TV接收单元16接收到的图像信息或者读取并获取存储(记录)在存储单元13中的图像信息。而且，图像获取单元在接收到从指令接收单元给出的标记信号时，从由此获取的帧中指定构成用户标记的场景的帧。
播放单元基于图像获取单元获取的图像信息播放动态图像。具体地说，在显示单元上显示该动态图像，并且从扬声器输出该动态图像的声音。而且，针对播放，该播放单元向TV接收单元16通知根据用户的操作等要接收或切换的频道。
指令接收单元接收根据用户的操作给出的搜索指令(指令信号)。
分析单元指定与模仿搜索框(栏)的预定图案相对应的区域，作为模仿搜索框区域。
提取单元通过在该模仿搜索框区域中识别字符来提取搜索关键字。
搜索处理单元使用搜索关键字来执行搜索处理或预搜索处理。搜索处理单元经由CCU 15向搜索服务器3发送包含该搜索关键字的搜索请求，并且把从该搜索服务器发送回的搜索结果显示在显示单元上。而且，搜索处理单元还具有基于显示的内容和超链接的搜索结果等的概要，访问web服务器并且显示该内容的功能。应注意到，搜索处理单元可以涉及使用通用类型的web浏览器。
另一方面，搜索服务器3是通用类型的所谓的基于计算机的搜索引擎，其包括用于接收来自用户终端1的搜索处理单元(web浏览器)的搜索请求的装置、存储有web服务器2的信息的存储装置、用于基于接收到的搜索请求的关键字从该存储装置搜索web服务器2的对应信息项的装置，以及用于向请求方用户终端1发送搜索结果的装置。
而且，web服务器2经由诸如因特网的网络连接至诸如用户终端1和搜索服务器3的其它计算机。web服务器2向请求方计算机提供(发送)根据从另一计算机给出的访问请求(URL等)而指定的内容(文件)。应注意到，web服务器2具有公知的构造，从而省略了其深入描述。
类似的是，排名服务器(关键字提供服务器)4经由诸如因特网的网络连接至诸如用户终端1和搜索服务器的其它计算机。排名服务器4响应于从其它计算机给出的请求，提供关键字(排名信息)，该排名服务器4中的存储单元存储有包含按从搜索次数从多到少的顺序排序的、用于在搜索站点上搜索而分类的关键字的排名信息。应注意到，排名服务器4还可以被组合用作搜索服务器3。而且，运营商可以在存储单元中存储用于CM的关键字。排名服务器4具有和通用类型的web服务器所具有的构造相同的构造，由此，省略了其详细说明。
<搜索方法>
接下来，参照图2，对具有上述构造的用户终端1基于搜索程序执行的搜索方法(包括搜索关键字提取方法)进行说明。
如图2所示，在用户终端1中，当通过用户的操作而指令音频/视频接收(播放)TV节目时，播放单元基于从存储单元13读取的或者从TV接收单元接收到的图像信息播放动态图像。
这时，用户终端1的图像获取单元从构成该动态图像的一系列帧内指定(获取)满足后面将说明的预定条件的帧，作为分析目标帧(图像信息)(步骤1，其在下文中被简写为S1)。
接下来，分析单元分析该指定的帧并且指定与模仿搜索引擎的搜索框的预定图案相对应的模仿搜索框区域(S2)。
而且，提取单元识别模仿搜索框区域中的字符并提取关键字(S3)。
接着，搜索单元启动web浏览器并且向搜索服务器发送提取单元提取的关键字，由此，进行搜索，并且显示搜索结果(S4)。
通过下面的具体实施例对相应步骤中的具体处理进行说明。
<第一具体实施例>
图3是示出从动态图像中自动指定CM帧的预定部分(尾部)的搜索方法的说明图。
首先，图像获取单元在动态图像(活动图像)中检测除了节目的原始情节以外的CM帧(S11)。
在满足下列条件的情况下，当前CM检测方法指定该CM帧。
1、通过比较之前的帧和之后的帧来证明帧的整个区域不同(如果一致性程度小于预定值)，即，当视频片断切换时存在预定或更长的静音时段。
2、节目的原始情节以单声道方式广播，而当播送CM时切换成立体声系统，由此将条件设置成，自将单声道系统切换成立体声系统起到广播返回至单声道系统为止的时间段。
3、在预定时点(例如，15秒钟的倍数)切换视频片断。
4、设置预定时点(例如，整点前5分钟)。
5、基于从EPG(电子节目指南)获取的节目信息设置节目切换时间之前和之后的五分钟，以及从节目切换时间起等分节目(除以2或4)的时点。
应注意到，CM检测方法可以涉及采用任何一种其它已知技术，并且还可以涉及使用这些技术的组合。
接下来，图像获取单元设置用作CM长度基准的时间段L。在第一实施例中，时间段L被设置为例如L＝15(分钟)(S12)。
另外，很可能通知关键字等的定时在CM帧的尾部，由此，图像获取单元获取从基于上述给出的条件检测出的CM帧的头部起向后经过预定时间长度(L/2、L/3、L-5(秒钟))直至L的帧。在第一实施例中，获取的帧在L-5到L的范围内(S13)。
接着，分析单元分析图像获取单元获取的帧(图像信息)并且指定与模仿搜索框的预定图案相对应的区域，作为模仿搜索框区域，并且提取单元从该模仿搜索框区域提取字符(S14)。
这时，因为分析单元如图9所示在图像中指定模仿搜索框的区域，所以沿水平方向(主扫描方向)和垂直方向(副扫描方向)扫描图像，并且提取这样的区域，即在该区域中，像素变得沿水平或垂直方向按预定或更长的距离延续以使形成直线。接着，将直线画出矩形的区域设置为模仿搜索框区域。
尤其在本实施方式中，具有较短宽度(沿水平方向)的矩形62与一个矩形61相邻，并且如果字符[搜索]存在于较短矩形中，即，如果与诸如包含对应于搜索按钮的图像的预定图案一致，则矩形61的区域被指定为模仿搜索框区域。
这时，如果能够提取到关键字，则向搜索单元通知该关键字，而如果不能够提取关键字，则向图像获取单元通知不能够提取的结果(S15)。
接收到这种不能提取通知的图像获取单元判断这个提取目标帧是否到达从CM的头部起的L秒钟之后(S16)，并且如果判断该帧没有到达L秒钟之后，则获取下一帧(S17)。
而且，如果在步骤S16中判断该帧到达L秒钟之后，则判断时间长度L是否小于60秒钟(S18)，接着，如果L不小于60秒钟，则处理结束，如果L等于或大于60秒钟，则随后将15秒钟加至L(S19)，并且如果没有超过CM的最大值(例如，60秒钟)，则处理返回至步骤S13，在该步骤中获取帧(S20)。
应注意到，当在步骤S13获取帧时，可以获取范围在从L-5秒钟到L秒钟内的所有帧，然而，对于基于MPEG(运动图像专家组)系统的动态图像(活动图像)的情况来说，还可以仅获取I图片(帧内图)。因而，如果采取仅获取I图片的方案，则可以缩减吞吐量。
<第二具体实施例>
图4是示出通过根据用户的操作指定帧来提取关键字的方法的说明图，而图5是示出第二实施例中的分析顺序的说明图。
首先，当通过用户使用经由I/O端口14连接的键盘和遥控器的输入操作而输入关键字获取指令时(S21)，图像获取单元获取在接收到该输入时的时点播放的帧(S22)。
接着，分析单元分析图像获取单元获取的帧(图像信息)，并且指定与模仿搜索框的预定图案相对应的区域，作为模仿搜索框区域，并且提取单元从模仿搜索框区域中提取字符(S23)。
这时，如果能够提取到关键字，则向搜索单元通知该关键字，而如果不能够提取，则向图像获取单元通知不能够提取的结果(S24)。
接收到这种不能提取的通知的图像获取单元判断这个提取目标帧是否为前一输入帧(S25)，并且如果为前一帧，则进一步判断，该帧是否为从接收到该输入时的时点起N秒钟之前的帧(S26)。
如果在步骤26中判断不是N秒钟之前的帧，则获取之前一帧(S27)，而如果是N秒钟之前的帧，则获取在接收到该输入时的时点的下一帧(S28)。
而另一方面，如果在步骤25中判断为在接收该输入之后的帧，则判断该帧是否为自接收到该输入时的时点起过了M秒钟之后的帧，而如果不是过了M秒钟之后的帧，则向图像获取单元通知该结果(S29)，并且获取下一个帧(S30)。应注意到，如果在步骤29中判断为过了M秒钟之后的帧，则终止提取处理。
因而，在根据用户的输入指定帧的情况下，因为很可能用户在检测到动态图像中的关键字之后进行输入操作，所以按从接收到该输入时的时点起顺序地回溯帧的方式来指定帧，并且如果没有提取到关键字，则将接收到该输入时的时点之后的帧指定为分析目标帧，由此，使得能够迅速地执行分析处理。
<第三实施例>
图6是示出在现场广播期间提取关键字并且缓冲提取的关键字的实施例的说明图。
首先，图像获取单元确定播放的动态图像是否为现场广播(TV接收单元接收到的信息)(S31)，而如果为现场广播，则获取预设时点处的帧(S32)。
分析单元从获取的帧中指定模仿搜索框区域(S33)。在此，如果可以指定模仿搜索框区域，则提取单元识别模仿搜索框区域中的字符(S34-S35)，并且提取关键字，而如果不能指定模仿搜索框，则处理返回至步骤S31。
如果可以在步骤35中提取到关键字，则确定缓冲器是否充满数据(S36-S37)，接着，如果充满数据，则删除缓冲器中最老的数据(S38)，并将提取的关键字添加至缓冲器(S39)。
关于已被缓冲的关键字，例如，当用户给出指令时，提取单元从缓冲器中读取最新的关键字，并向搜索单元通知该关键字，由此执行搜索。
应注意到，在第三实施例中，将步骤35中提取的关键字存储在缓冲器中，然而，一个可用方案是，将步骤33中指定的模仿搜索框区域存储在缓冲器中，而可以省略步骤34、35。
而且，针对在步骤32中顺序获取现场播放期间的帧的情况，可以获取构成动态图像(活动图像)的所有帧，然而，另一可用方案是，如果为基于MPEG系统的动态图像，则仅获取I图片(帧内图)。这个方案使得能够限制分析的存储容量和吞吐量。
<第四具体实施例>
图7是示出分析后指定帧、提取关键字以及进行搜索的方法的说明图。
首先，分析单元对分析目标帧进行分析，并且如果能够指定模仿搜索框区域(S41)，则提取单元识别这个模仿搜索框区域中的字符(S42)。
如果能够从模仿搜索框区域中提取到关键字(S43)，则将该关键字与存储在排名服务器4中的数据库(存储单元)中的关键字进行比较，由此，确定是否存储有相似关键字(S44)。
如果存在相似关键字，则搜索单元将该相似关键字设置为web浏览器上的搜索关键字，并且访问搜索站点，由此进行搜索(S45、S47)。而且，如果在步骤S44中确定不存在相似关键字，则将提取的关键字设置为搜索关键字，由此进行搜索(S46、S47)。
当搜索站点执行基于关键字的搜索并发送回搜索结果时(S48)，用户终端1的搜索单元把该搜索结果的上层内容显示在显示单元上(S49)。
图8是例示显示搜索结果的示例的图。
在示出搜索结果的窗口中的地址框51中显示了搜索内容的URL，而在内容框52中显示了从web服务器接收到的内容。
而且，在第四实施例中，还在与该内容的帧不同的帧中显示了搜索结果列表54和搜索关键字53。如果从搜索结果列表中选择其它链接，则还可以浏览除了上述给出内容以外的其它内容。
应注意到，搜索结果显示方法不限于上述方法，而且还可以仅显示最高级内容或仅显示搜索结果列表。
另一可用方案是，在不执行直到基于关键字的搜索的处理的情况下，预先搜索处理涉及在启动web浏览器的状态下停止处理，接着，将提取的关键字插入到搜索服务器2的搜索页面上的搜索框中，并且等待用户的操作。
<其它>
本发明不是仅限于上述例示性实施例，而当然可以在不脱离本发明的要点的范围内按多种形式进行修改。

Claims (11)

1、一种通过计算机执行的帧指定方法，该帧指定方法包括以下步骤：
播放步骤，该播放步骤播放动态图像；
指令接收步骤，该指令接收步骤在用户执行指令执行与该动态图像中的局部场景有关的处理的操作时，接收基于该用户的操作的指令信号；以及
帧指定步骤，该帧指定步骤因接收到该指令信号而被触发，在构成该动态图像的帧中指定在接收到该指令信号时的播放帧或者与该播放帧隔开预定时间长度的帧，作为处理目标帧。
2、一种帧指定装置，该帧指定装置包括：
播放单元，该播放单元用于播放动态图像；
指令接收单元，该指令接收单元在用户执行指令执行与该动态图像中的局部场景有关的处理的操作时，接收基于该用户的操作的指令信号；以及
帧指定单元，该帧指定单元因接收到该指令信号而被触发，在构成该动态图像的帧中指定在接收到该指令信号时的播放帧或者与该播放帧隔开预定时间长度的帧，作为处理目标帧。
3、根据权利要求2所述的帧指定装置，其中，该帧指定单元在构成该动态图像的帧的序列中指定在接收到该指令信号时的播放帧之前的帧，作为处理目标帧。
4、根据权利要求2所述的帧指定装置，其中，该帧指定单元在构成该动态图像的帧的序列中指定按预定间隔设置的帧，作为处理目标帧。
5、根据权利要求2所述的帧指定装置，其中，该帧指定单元通过比较该动态图像中的帧，指定满足商业消息条件的帧，作为处理目标帧。
6、根据权利要求5所述的帧指定装置，其中，该帧指定单元在满足所述商业消息条件的多个帧中和在限定为按时间序列连续的一组帧的帧组中指定预定时段内的帧，作为处理目标帧。
7、根据权利要求6所述的帧指定装置，其中，该预定时段对应于该帧组中的后半区域，或者从开始起向后经过预定时间长度的区域，或者从结尾起向前经过该预定时间长度的区域。
8、根据权利要求2到7中的任一项所述的帧指定装置，该帧指定装置还包括提取单元，该提取单元通过处理从该处理目标帧中提取字符。
9、根据权利要求8所述的帧指定装置，其中，该帧指定单元把从在接收到该指令信号时的播放帧起向前经过该预定时间长度的帧设置为处理目标帧，而如果该字符不存在，则把从接收到该指令信号时的播放帧起向后经过该预定时间长度的帧设置为处理目标帧。
10、根据权利要求9所述的帧指定装置，其中，所述帧被存储在存储单元中，并且
从该存储单元中读取从在接收到该指令信号时的播放帧起向前经过该预定时间长度的帧，并将读取的该帧设置为分析目标帧。
11、根据权利要求2到7中的任一项所述的帧指定装置，其中，该动态图像被限定为播送的TV广播信号。
CN2008101452513A 2007-08-10 2008-08-04 帧指定方法 Expired - Fee Related CN101365134B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-209945 2007-08-10
JP2007209945A JP4814849B2 (ja) 2007-08-10 2007-08-10 フレームの特定方法
JP2007209945 2007-08-10

Publications (2)

Publication Number Publication Date
CN101365134A true CN101365134A (zh) 2009-02-11
CN101365134B CN101365134B (zh) 2011-01-26

Family

ID=39847146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101452513A Expired - Fee Related CN101365134B (zh) 2007-08-10 2008-08-04 帧指定方法

Country Status (6)

Country Link
US (1) US8020188B2 (zh)
EP (1) EP2023617A3 (zh)
JP (1) JP4814849B2 (zh)
KR (1) KR100975327B1 (zh)
CN (1) CN101365134B (zh)
TW (1) TWI376948B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013535733A (ja) * 2010-07-26 2013-09-12 コーニンクレッカ フィリップス エヌ ヴェ 検索のためのキーワードの取得
JP5143270B1 (ja) * 2011-11-14 2013-02-13 株式会社東芝 画像処理装置、及び画像処理装置の制御方法
JP5627030B2 (ja) * 2012-02-13 2014-11-19 日本電信電話株式会社 関連情報提供方法、関連情報提供装置および関連情報提供プログラム
JP5458163B2 (ja) * 2012-11-16 2014-04-02 株式会社東芝 画像処理装置、及び画像処理装置の制御方法
US11080777B2 (en) 2014-03-31 2021-08-03 Monticello Enterprises LLC System and method for providing a social media shopping experience
JP7134662B2 (ja) * 2018-03-20 2022-09-12 ヤフー株式会社 情報配信システム、および情報配信方法
US11074457B2 (en) * 2019-04-17 2021-07-27 International Business Machines Corporation Identifying advertisements embedded in videos

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
JPH07203420A (ja) * 1993-11-26 1995-08-04 Sony Corp 双方向放送方式およびその受信装置とその遠隔制御装置
US8813137B2 (en) * 1998-05-08 2014-08-19 Qualcomm Incorporated Apparatus and method for decoding digital image and audio signals
TW420946B (en) 1998-07-20 2001-02-01 Intel Corp Display capture system
US6731788B1 (en) * 1999-01-28 2004-05-04 Koninklijke Philips Electronics N.V. Symbol Classification with shape features applied to neural network
US6608930B1 (en) * 1999-08-09 2003-08-19 Koninklijke Philips Electronics N.V. Method and system for analyzing video content using detected text in video frames
US7536705B1 (en) * 1999-02-22 2009-05-19 Tvworks, Llc System and method for interactive distribution of selectable presentations
KR20010029074A (ko) * 1999-09-29 2001-04-06 구자홍 플라즈마 디스플레이 패널의 영상정보 캡쳐 장치
US7299405B1 (en) * 2000-03-08 2007-11-20 Ricoh Company, Ltd. Method and system for information management to facilitate the exchange of ideas during a collaborative effort
AU2001231070A1 (en) 2000-01-20 2001-07-31 Interactual Technologies, Inc. System, method, and article of manufacture for embedded keywords in video
JP2001298709A (ja) 2000-04-13 2001-10-26 Sharp Corp 動画像記録再生装置
JP2002044575A (ja) * 2000-07-25 2002-02-08 Sony Corp 動画像取り込み装置及びその動画像取り込み方法
JP2002108889A (ja) 2000-09-29 2002-04-12 Hitachi Ltd 情報処理装置および情報サービス方法
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
JP2002290947A (ja) 2001-03-22 2002-10-04 Purantekku:Kk デジタル放送に於ける番組・ｃｍコンテンツ情報提供システム
US7143353B2 (en) 2001-03-30 2006-11-28 Koninklijke Philips Electronics, N.V. Streaming video bookmarks
EP1393553B1 (en) * 2001-05-15 2008-10-29 Koninklijke Philips Electronics N.V. Detecting subtitles in a displayable image area of a video signal
KR100960342B1 (ko) * 2002-05-09 2010-05-28 톰슨 라이센싱 디지털 비디오 레코더에서 컨텐트 식별
US20090119717A1 (en) 2002-12-11 2009-05-07 Koninklijke Philips Electronics N.V. Method and system for utilizing video content to obtain text keywords or phrases for providing content related to links to network-based resources
JP2004297618A (ja) * 2003-03-27 2004-10-21 Kyocera Corp 画像抽出方法および画像抽出装置
KR20050037703A (ko) * 2003-10-20 2005-04-25 주식회사 대우일렉트로닉스 텔레비전의 정지화상 저장 및 출력장치
JP4413633B2 (ja) 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
WO2006008716A2 (en) * 2004-07-16 2006-01-26 Blu Ventures Llc A method to access and use an integrated web site in a mobile environment
KR100789911B1 (ko) 2005-12-08 2008-01-02 한국전자통신연구원 디지털 멀티미디어 방송 단말기에서의 텍스트 표시 장치 및그 방법
KR20070061096A (ko) 2005-12-08 2007-06-13 한국전자통신연구원 비디오 장면 저장/구매를 위한 디지털 방송 수신 장치 및그 방법

Also Published As

Publication number Publication date
KR20090016384A (ko) 2009-02-13
US20090040383A1 (en) 2009-02-12
CN101365134B (zh) 2011-01-26
TW200910953A (en) 2009-03-01
US8020188B2 (en) 2011-09-13
TWI376948B (en) 2012-11-11
JP4814849B2 (ja) 2011-11-16
KR100975327B1 (ko) 2010-08-12
JP2009044657A (ja) 2009-02-26
EP2023617A2 (en) 2009-02-11
EP2023617A3 (en) 2011-02-02

Similar Documents

Publication Publication Date Title
TWI457770B (zh) 關鍵字擷取方法及裝置、搜尋方法及裝置，以及電腦可讀儲存媒體
KR101006278B1 (ko) 정보 처리 장치 및 정보 처리 방법
CN103024464B (zh) 提供与视频播放内容相关信息的系统和方法
CN101365134B (zh) 帧指定方法
JP4973906B2 (ja) 情報処理装置および方法、並びにプログラム
CN103299648A (zh) 接收增强服务的方法及其显示装置
JP4388128B1 (ja) 情報提供サーバ、情報提供方法及び情報提供システム
JPWO2007097387A1 (ja) 番組放送システム及び番組コンテンツ配信システム
CN103686374A (zh) 显示控制设备、记录控制设备、以及显示控制方法
US20030237092A1 (en) Web page display apparatus
JP2010098730A (ja) リンク情報の提供装置、表示装置、システム、方法、プログラム、記録媒体及びリンク情報の送受信システム
US8301009B2 (en) Detailed information providing method and apparatus of personal video recorder
JP4174056B2 (ja) 映像再生方法、映像再生端末
JP4534791B2 (ja) Ｃｍ検索方法、ｃｍ検索結果受給方法、ｃｍ検索装置、ｃｍ検索結果受給装置及びｃｍ録画予約システム
US20130014191A1 (en) Information processing system
JP2003219374A (ja) 受信装置、放送受信システム、および放送システム
JP2001344251A (ja) コンテンツ検索装置、コンテンツ検索方法及びコンテンツ検索プログラムを記録した記録媒体
JP4320001B2 (ja) 字幕生成プログラムおよび字幕生成装置
CN115065837A (zh) 视频插播方法、装置、设备及计算机可读存储介质
JP2013058051A (ja) コマーシャル映像の送出方法及びコマーシャル映像送出装置
JP2006115292A (ja) 嗜好場面取得装置及び嗜好場面取得システム
JP2007295053A (ja) 番組情報表示装置
JP2013058877A (ja) コマーシャル映像の送出方法及びコマーシャル映像送出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110126

Termination date: 20180804

CF01 Termination of patent right due to non-payment of annual fee