CN103814569A - 接收装置、接收方法、程序和信息处理系统 - Google Patents
接收装置、接收方法、程序和信息处理系统 Download PDFInfo
- Publication number
- CN103814569A CN103814569A CN201280044760.1A CN201280044760A CN103814569A CN 103814569 A CN103814569 A CN 103814569A CN 201280044760 A CN201280044760 A CN 201280044760A CN 103814569 A CN103814569 A CN 103814569A
- Authority
- CN
- China
- Prior art keywords
- content
- receiving system
- switching
- application
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000010365 information processing Effects 0.000 title claims abstract description 29
- 238000005516 engineering process Methods 0.000 claims abstract description 39
- 239000000284 extract Substances 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 76
- 230000005236 sound signal Effects 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000001960 triggered effect Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 96
- 230000008859 change Effects 0.000 description 41
- 238000004891 communication Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 36
- 230000009471 action Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 230000003213 activating effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/237—Communication with additional data server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4383—Accessing a communication channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
- H04N21/43635—HDMI
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
Abstract
本发明涉及可利用ACR技术提供与AV内容项联动执行的应用程序的接收装置、接收方法、程序和信息处理系统。一种接收装置接收AV内容;从接收到的AV内容的数据中提取特征值;获取利用所提取的特征值识别的AV内容的识别结果;根据所获取的识别结果获取用于控制与AV内容联动执行的应用程序的操作的命令;根据所获取的命令控制应用程序的操作;以及检测所观看的AV内容的切换。当检测到AV内容的切换时,结束与AV内容联动执行的应用程序。本技术可以应用于例如接收数字电视广播节目的电视接收机。
Description
技术领域
本技术涉及接收装置、接收方法、程序和信息处理系统,具体而言涉及可利用ACR技术提供与AV内容联动执行的应用程序的接收装置、接收方法、程序和信息处理系统。
背景技术
利用接收数字电视广播信号的接收装置,预期如下服务将会普及:从与因特网相连的服务器获取与诸如数字电视节目之类的AV内容联动执行的应用程序,然后执行该应用程序。由于此原因,已讨论了用于实现将这种广播与通信相结合的混合服务的技术(例如,专利文献1)。
此外,已讨论了以如下方式提供广播和通信的混合服务的实现:当经由卫星通信网络的CATV网络接收而不是直接接收地面广播时,发送与这种广播的信号同步的控制信号;然而,除非革新现有的CATV网络、卫星广播网络和专用终端的设施,否则当前难以实现该服务。
引文列表
专利文献
专利文献1:JP2006-245653A
发明内容
技术问题
然而,有一种被称为ACR(Automatic Content Recognition,自动内容识别)的技术,用于识别诸如节目之类的AV内容。在ACR技术中,通过把从要识别的AV内容的视频信号和音频信号中提取的特征值与数据库相比较来识别AV内容,其中在该数据库中预先登记了从多种AV内容的视频信号和音频信号中提取的特征值。
如果可以利用ACR技术识别AV内容并且进一步地可以提供与所识别的AV内容联动执行的应用程序,则可以实现广播和通信的这种混合服务。然而,目前,还没有建立利用ACR技术提供与AV内容联动执行的应用程序的技术。
希望利用ACR技术提供与AV内容联动执行的应用程序。
解决问题的方案
根据本技术的第一实施例,提供了一种接收装置,包括:接收单元,被配置为接收AV内容;特征值提取单元,被配置为从接收到的AV内容的数据中提取特征值;识别结果获取单元,被配置为获取利用所提取的特征值识别的AV内容的识别结果;命令获取单元,被配置为根据所获取的识别结果获取用于控制与AV内容联动执行的应用程序的操作的命令;控制单元,被配置为根据所获取的命令控制应用程序的操作;以及检测单元,被配置为检测所观看的AV内容的切换。当检测到AV内容的切换时,控制单元关闭与AV内容联动执行的应用程序。
检测单元检测从第一AV内容到与该第一AV内容不同的第二AV内容的频道的切换。当检测到从第一AV内容到第二AV内容的频道的切换时,控制单元关闭与第一AV内容联动执行的应用程序。
接收装置还包括存储单元,被配置为存储从第一AV内容的识别结果获得的用于识别第一AV内容的第一识别信息。当检测到从第一AV内容到第二AV内容的频道的切换时,特征值提取单元从第二AV内容的数据中提取特征值。识别结果获取单元获取利用所提取的特征值识别的第二AV内容的识别结果。当存储的第一识别信息与从第二AV内容的识别结果获得的用于识别第二AV内容的第二识别结果不同时,控制单元关闭应用程序。
接收单元直接接收从发送装置发送的AV内容。根据对接收装置的用于从第一AV内容到第二AV内容切换频道的操作,检测单元检测频道的切换。
当接收单元以基于HDMI(高清晰度多媒体接口)标准的方案连接到根据接收装置转换从发送装置发送的AV内容的数据的信息处理装置时,接收单元从信息处理装置接收转换后的AV内容。检测单元根据对从信息处理装置接收的AV内容的视频信号的分析结果来检测从第一AV内容到第二AV内容的频道的切换。
检测单元通过基于从信息处理装置接收的AV内容的视频信号分析构成AV内容的多个帧是否在预定区间中连续形成同一画面或者多个帧是否在预定区间中连续形成黑画面,来检测频道的切换。
检测单元根据对从信息处理装置接收的AV内容的音频信号的分析结果来检测从第一AV内容到第二AV内容的频道的切换。
检测单元通过基于从信息处理装置接收的AV内容的音频信号分析音频信号的样本在预定区间中是否处于无信号状态中或者样本在预定区间中是否处于非连续状态中来检测频道的切换。
当接收单元以基于HDMI标准的方案连接到根据接收装置转换从发送装置发送的AV内容的数据的信息处理装置时,接收单元从信息处理装置接收转换后的AV内容。根据对信息处理装置的用于从第一AV内容到第二AV内容切换频道的操作,检测单元检测频道的切换。
当接收单元以基于HDMI标准的方案连接到从自多个信息处理装置输入的多个AV内容中选择期望的AV内容并随后输出期望的AV内容的选择器时,接收单元接收从选择器输出的AV内容。检测单元根据由选择器提供的AV内容的选择结果来检测所观看的AV内容的切换。
识别结果获取单元获取利用ACR(自动内容识别)技术从所提取的特征值识别的AV内容的识别结果。
特征值提取单元从AV内容的视频信号和音频信号的一者或两者中提取特征值。
命令指示应用程序的获取或登记、获取或激活、事件触发、停止和关闭中的任何一种。控制单元根据每个命令控制应用程序的获取或登记或者获取或激活、或者执行中的应用程序的事件触发、中止或关闭。
接收装置可以是独立的装置,或者是构成一个装置的内部块。
根据本技术的第一实施例的接收方法或程序是与根据本技术的第一实施例的接收装置相对应的接收方法或程序。
根据本技术的第一方面的接收装置、接收方法和程序,接收AV内容,从接收到的AV内容的数据中提取特征值,获取利用所提取的特征值识别的AV内容的识别结果,根据所获取的识别结果获取用于控制与AV内容联动执行的应用程序的操作的命令,根据所获取的命令控制应用程序的操作,检测所观看的AV内容的切换,并且当检测到AV内容的切换时,关闭与AV内容联动执行的应用程序。
根据本技术的第二实施例,提供了一种信息处理系统,包括接收装置、第一信息处理装置、第二信息处理装置和第三信息处理装置。接收装置包括:接收单元,被配置为接收AV内容;特征值提取单元,被配置为从接收到的AV内容的数据中提取特征值;识别结果获取单元,被配置为将所提取的特征值发送到第一信息处理装置并从而获取第一信息处理装置利用特征值识别AV内容的识别结果;命令获取单元,被配置为把从第一信息处理装置获取的识别结果发送到第二信息处理装置并从而根据识别结果从第二信息处理装置获取用于控制与AV内容联动执行的应用程序的操作的命令;控制单元,被配置为根据从第二信息处理装置获取的命令控制从第三信息处理装置获取的应用程序的操作;以及检测单元,被配置为检测所观看的AV内容的切换。当检测到AV内容的切换时,控制单元关闭与AV内容联动执行的应用程序。第一信息处理装置包括第一提供单元,该第一提供单元被配置为响应于来自接收装置的询问而提供通过利用特征值识别AV内容而获得的识别结果。第二信息处理装置包括第二提供单元,该第二提供单元被配置为响应于来自接收装置的询问而根据识别结果提供命令。第三信息处理装置包括第三提供单元,该第三提供单元被配置为响应于来自接收装置的询问而提供与命令相应的应用程序。
根据本技术的第二实施例的信息处理系统包括接收装置、第一信息处理装置、第二信息处理装置和第三信息处理装置。接收装置接收AV内容,从接收到的AV内容的数据中提取特征值,将所提取的特征值发送到第一信息处理装置,从而获取第一信息处理装置利用特征值识别AV内容的识别结果,把从第一信息处理装置获取的识别结果发送到第二信息处理装置,从而根据识别结果从第二信息处理装置获取用于控制与AV内容联动执行的应用程序的操作的命令,根据从第二信息处理装置获取的命令控制从第三信息处理装置获取的应用程序的操作,并且检测所观看的AV内容的切换。当检测到AV内容的切换时,控制单元关闭与AV内容联动执行的应用程序。第一信息处理装置响应于来自接收装置的询问而提供通过利用特征值识别AV内容而获得的识别结果。第二信息处理装置响应于来自接收装置的询问而根据识别结果提供命令。第三信息处理装置响应于来自接收装置的询问而提供与命令相应的应用程序。
发明的有利效果
根据本技术的第一和第二方面,可以提供利用ACR技术与AV内容联动执行的应用程序。
附图说明
图1是示出广播系统的配置示例的图。
图2是示出接收装置的配置示例的图。
图3是示出装置的关联操作的序列图。
图4是用于描述ACR技术的概念的图。
图5是示出利用视频信号检测频道切换的示例的图。
图6是示出利用音频信号检测频道切换的图。
图7是示出数据广播应用的操作的示例的图。
图8是示出数据广播应用的另一操作的示例的图。
图9是示出命令中包括的信息项的示例的表格。
图10是示出命令的详细规格的表格。
图11是示出命令的详细规格的表格。
图12是示出命令的描述示例的图。
图13是示出应用的状态转变的图。
图14是示出每个命令与状态转变之间的关系的图。
图15是用于描述根据ACR识别结果的命令响应处理的流程图。
图16是用于描述同步控制处理的流程图。
图17是示出操作场景的示例的图。
图18是示出另一操作场景的示例的图。
图19是示出广播系统的另一配置示例的图。
图20是示出接收装置的另一配置示例的图。
图21是示出应用了本技术的广播系统的具体示例的图。
图22是示出通信系统的配置示例的图。
图23是示出计算机的配置示例的图。
具体实施方式
以下,将参考附图描述本技术的优选实施例。
<第一实施例>
[广播系统的配置示例]
图1示出了作为本技术的第一实施例的广播系统1。广播系统1由广播装置11、接收装置12、ACR服务器13、命令服务器14、应用服务器15、CATV装置17和机顶盒19构成。
接收装置12、ACR服务器13、命令服务器14和应用服务器15经由因特网16相互连接。此外,接收装置12经由HDMI线缆20连接到机顶盒19,并且CATV装置17经由CATV网络18连接到机顶盒19。
广播装置11例如是由广播数字电视节目的广播服务提供商提供的。广播装置11被设计为发送(或广播)数字电视广播信号,例如AV内容的数字电视信号。注意,作为从广播装置11发送的AV内容的示例,将基于数字电视节目来提供描述。
接收装置12接收从广播装置11发送来的数字电视广播信号,然后获取数字电视节目的视频和声音。接收装置12将所获取的视频输出到显示器(稍后描述的图2的显示器32),并将声音输出到扬声器(稍后描述的图2的扬声器31)。
注意,接收装置12可独立存在,或者内置在例如电视接收机、录像机等等中。此外,接收装置12具有感测红外光以接收与对遥控器12R的操作相应的命令的光感测单元(稍后将描述的图2的光感测单元71),并且根据命令执行各种操作,例如频道切换等等。稍后将参考图2来描述接收装置12的详细配置。
此外,接收装置12周期性地经由因特网16访问ACR服务器13以询问数字电视节目的识别结果。在此情况下,从数字电视节目的视频信号和音频信号中提取的特征值(以下称为指纹信息(Finger Print,指纹))被发送到ACR服务器13。
ACR服务器13具有登记了从任意AV内容的视频信号和音频信号提取的特征值的数据库,并且根据来自与因特网16相连的任意接收装置12的询问利用ACR(自动内容识别)技术来识别AV内容。具体而言,ACR服务器13通过针对从接收装置12发送来的指纹信息参考数据库来识别数字电视节目,然后将识别结果经由因特网16发送给接收装置12。
接收装置12根据从ACR服务器13接收的识别结果经由因特网16访问命令服务器14,然后获取用于控制与数字电视节目联动执行的用于数据广播的应用程序的操作的命令。以下,将通过把与诸如数字电视节目之类的AV内容联动执行的应用程序的称为数据广播应用来提供描述。
命令服务器14是例如由诸如广播服务提供商或有线电视服务提供商之类的服务提供商提供的服务器,并且管理用于控制数据广播应用的操作的命令。命令服务器14根据来自接收装置12的询问经由因特网16向接收装置12发送命令。
接收装置12根据从命令服务器14接收的命令控制数据广播应用的操作。此外,接收装置12根据从命令服务器14接收的命令经由因特网16访问应用服务器15以获取这样的数据广播应用。
应用服务器15是例如由诸如广播服务提供商或有线电视服务提供商之类的服务提供商提供的服务器,并且管理数据广播应用。应用服务器15根据来自接收装置12的询问经由因特网16向接收装置12发送数据广播应用。
CATV装置17是由例如有线电视服务提供商提供的。CATV装置17接收从广播装置11发送来的数字电视广播信号并获取数字电视节目的视频和声音。CATV装置17将数字电视广播信号转换成用于发送(广播)有线电视节目的有线电视广播信号,然后将转换后的信号再发送到与CATV网络18相连的机顶盒19。
CATV装置17不限于把从广播装置11获取的数字电视节目作为有线电视节目再发送,而是可发送由有线电视服务提供商直接产生的节目。在以下描述中,作为从CATV装置17发送来的AV内容的示例,将描述有线电视节目。
机顶盒19是用于有线电视的STB(Set Top Box,机顶盒),并且连接到CATV网络18。此外,机顶盒19经由HDMI线缆20连接到具有HDMI(High Definition Multimedia Interface,高清晰度多媒体接口)端子的接收装置12。机顶盒19把经由CATV网络18从CATV装置17接收的有线电视广播信号转换成接收装置12可应对的信号。此外,机顶盒19基于HDMI标准经由HDMI线缆20把从经转换的有线电视广播信号获得的音频信号和视频信号与控制信号等等一起输出到接收装置12。
注意,机顶盒19具有感测红外光以接收与对遥控器19R的操作相应的命令的光感测单元(未示出),并根据这种命令执行各种操作,例如频道切换等等。
接收装置12从机顶盒19接收音频信号、视频信号和其他控制信号,获取有线电视节目的视频和声音,将所获取的视频输出到显示器(图2的显示器32),并将声音输出到扬声器(图2的扬声器31)。
此外,对于有线电视节目,接收装置12可以按与上述数字电视节目的情况相同的方式访问ACR服务器13并询问从有线电视节目的数据提取的指纹信息的识别结果。然后,接收装置12可根据来自ACR服务器13的识别结果从命令服务器14获取命令并控制数据广播应用的操作。此外,接收装置12可根据来自命令服务器14的命令从应用服务器15获取数据广播应用。
图1的广播系统1的配置如上所述。
在以下描述中,将描述接收来自广播装置11的数字电视节目或来自CATV装置17的有线电视节目的示例作为上述接收装置12接收的AV内容的示例。此外,以下,如果不必区分数字电视节目和有线电视节目,则将通过把数字电视节目或有线电视节目简称为节目来提供描述。
此外,在图1的广播系统的示例中,虽然为了描述方便起见说明了被配置为既能够从广播装置11接收数字电视节目又能够从CATV装置17接收有线电视节目的接收装置12的示例,但接收装置可被配置为只接收这些节目之一。
[接收装置的配置示例]
图2示出了图1的接收装置12的配置示例。
接收装置12由调谐器51、多路分离单元52、音频解码器53、选择器54、音频输出单元55、视频解码器56、选择器57、视频输出单元58、HDMI端子59、指纹提取单元60、通信I/F61、命令分析单元62、时钟同步单元63、控制单元64、存储器65、操作单元66、应用引擎67、缓存存储器68、应用存储器69、频道切换检测单元70和光感测单元71构成。
调谐器51经由天线(未示出)接收来自广播装置11的数字电视广播信号。调谐器51对与用户选择的频道相对应的数字电视广播信号解调,并将作为解调的结果获得的传输流(以下称为TS)输出到多路分离单元52。
多路分离单元52把从调谐器51输入的TS分离成音频编码信号和视频编码信号,并将这些信号输出到音频解码器53和视频解码器56。此外,多路分离单元52从TS中包括的TS分组中提取PCR(Program Clock Reference,节目时钟基准),然后将PCR提供给时钟同步单元63。
音频解码器53对输入的音频编码信号解码,并将从结果获得的音频信号输出到选择器54。视频解码器56对输入的视频编码信号解码,并将从结果获得的视频信号输出到选择器57。
HDMI端子59是基于HDMI标准的端子,并经由HDMI线缆20连接到机顶盒19。HDMI端子59基于HDMI标准接收从机顶盒19输出的音频信号和视频信号以及控制信号等等。在各种接收到的信号之中,HDMI端子59将音频信号输出到选择器54并将视频信号输出到选择器57。
选择器54接收来自音频解码器53的音频信号和来自HDMI端子59的音频信号的输入。选择器54选择从音频解码器53和HDMI端子59中的任何一个输入的音频信号,然后根据来自控制单元64的控制将所选择的信号输出到音频输出单元55、指纹提取单元60和频道切换检测单元70。换言之,根据来自控制单元64的控制,选择器54在观看数字电视节目时将输入切换到音频解码器53侧,或者在观看有线电视节目时将输入切换到HDMI端子59侧。
选择器57接收来自视频解码器56的视频信号和来自HDMI端子59的视频信号的输入。选择器57选择从视频解码器56和HDMI端子59中的任何一个输入的视频信号,然后根据来自控制单元64的控制将所选择的信号输出到视频输出单元58、指纹提取单元60和频道切换检测单元70。换言之,根据来自控制单元64的控制,选择器57在观看数字电视节目时将输入切换到视频解码器56侧,或者在观看有线电视节目时将输入切换到HDMI端子59侧。
音频输出单元55把从选择器54输入的音频信号输出到扬声器31。此外,视频输出单元58把从选择器57输入的视频信号输出到显示器32。因此,AV内容的视频被显示在显示器32上,其声音被从扬声器31输出,从而所选频道的节目可被观看。注意,扬声器31和显示器32可被配置为与接收装置12相集成。
指纹提取单元60被提供以来自选择器54的音频信号和来自选择器57的视频信号。指纹提取单元60从音频信号和视频信号的一者或两者中提取特征值,并将特征值作为指纹信息提供给通信I/F61。
通信I/F61经由因特网16把来自指纹提取单元60的指纹信息发送到ACR服务器13。此外,通信I/F61接收从ACR服务器13发送来的节目的识别结果,并将结果提供给控制单元64。
控制单元64通过执行预存储在存储器65中的控制用程序来控制接收装置12的每个单元的操作。存储器65预先存储由控制单元64执行的控制用程序。可基于数字电视广播信号或经由因特网16获取的更新数据来更新控制用程序。另外,存储器65适当地存储从控制单元64输出的各种数据。操作单元66接收来自用户的各种操作并将相应的操作信号通知给控制单元64。
此外,控制单元64根据来自通信I/F61的识别结果控制通信I/F61,从而经由因特网16访问命令服务器14,然后询问命令。通信I/F61接收从命令服务器14发送来的命令,并将该命令提供给命令分析单元62。
命令分析单元62分析来自通信I/F61的命令,并将分析结果提供给控制单元64。
时钟同步单元63例如由PLL(Phase Locked Loop,锁相环)配置而成,并且向接收装置12的诸如音频解码器53、视频解码器56、控制单元64等等之类的各单元提供与来自多路分离单元52的PCR相应的系统时钟。从而,由于接收装置12可获得与广播装置11同步的系统时钟,所以接收装置可以再现音频信号和视频信号。
控制单元64基于来自命令分析单元62的分析结果,控制与节目联动的数据广播应用的获取或登记、或者获取或激活、事件触发、停止或关闭,等等。此外,控制单元64基于来自命令分析单元62的分析结果,以来自时钟同步单元63的系统时钟为基准,控制执行命令的定时。
应用引擎67根据控制单元64控制通信I/F61经由因特网16访问应用服务器15,并请求数据广播应用。通信I/F61经由因特网16接收从应用服务器15发送来的数据广播应用,并使得缓存存储器68保持该应用。
应用引擎67根据控制单元64的控制读取并执行缓存存储器68中保持的数据广播应用。所执行的数据广播应用的视频信号被提供给视频输出单元58。
视频输出单元58把从应用引擎67输入的视频信号与从选择器57输入的视频信号相结合,并将它们输出到显示器32。
应用存储器69包括工作存储器69A和退避存储器69B。应用引擎67把与执行中的数据广播应用有关的数据(具体而言包括所显示的信息的层次)记录在工作存储器69A中。此外,应用引擎67在执行中的数据广播应用被中止时把应用存储器69的工作存储器69A中的数据移动到退避存储器69B。然后,当中止的数据广播应用再继续时,退避存储器69B中的数据被移动到工作存储器69A以恢复中止前的状态。
频道切换检测单元70检测节目频道的切换。具体而言,频道切换检测单元70分析来自选择器54的视频信号和来自选择器57的视频信号中的一者或两者,然后检测节目频道的切换,并将检测结果提供给控制单元64。
此外,频道切换检测单元70根据对遥控器12R或遥控器19R的操作接收来自光感测单元71的命令的输入。频道切换检测单元70基于来自光感测单元71的命令检测节目频道的切换,然后将检测结果提供给控制单元64。
控制单元64基于来自频道切换检测单元70的检测结果控制应用引擎67以使得与节目联动执行的数据广播应用结束。
图2的接收装置12的配置如上所述。
[装置的关联操作]
接下来,将参考图3至图8描述构成图1的广播系统1的装置的关联操作。图3是示出在接收装置12进行的频道选择和频道切换时各装置的关联操作的序列图。
如图3中所示,广播装置11发送数字电视广播信号,并且CATV装置17发送有线电视广播信号。当用户选择期望的频道时,接收装置12经由机顶盒19接收来自广播装置11的数字电视广播信号或来自CATV装置17的有线电视广播信号中的任何一个。接收装置12在显示器32上显示与接收到的广播信号相对应的节目的视频,并通过扬声器31输出相应的声音(S11)。
此外,接收装置12周期性地从节目的视频信号和音频信号中提取特征值(S12),并且特征值作为指纹信息被发送到ACR服务器13(S13)。
ACR服务器13执行ACR识别处理以将来自接收装置12的指纹信息与数据库相比较,从而识别在接收装置12中选择的节目(S14)。具体而言,当ACR服务器13如图4中所示接收来自接收装置12的关于指纹信息的询问时,ACR识别处理部13A将指纹信息与预先准备的FP数据库13B相比较,从而识别在接收装置12中选择的节目。
注意,指纹信息(特征值)例如是AV内容的所有或一些构成元素的特有信息,并且在FP数据库13B中,预先登记多条AV内容的特有信息。在ACR识别处理中,例如,判定特有信息的相似度或一致度。作为判定相似度或一致度的方法,可以使用各种文献等中公开的已知技术。利用ACR技术,可基于视频信号和音频信号的特征值来识别AV内容,而不依赖于AV内容的分辨率、宽高比、比特率、格式之类的信息。
从ACR识别处理,获得用于识别节目的频道号的信息(以下称为频道识别信息)和当节目的开始到结束被标在时间轴上时指示提取指纹信息的时间位置的信息(以下称为时间位置信息)。此外,FP数据库13B与频道识别信息相关联地存储指示用于控制与节目联动执行的数据广播应用的操作的命令的获取来源的信息(以下称为命令获取来源信息)。作为命令获取来源信息,例如,描述命令服务器14的URL(统一资源定位符)。
ACR识别处理部13A从FP数据库13B获取与所识别的频道号相对应的命令获取来源信息。然后,作为ACR识别处理的识别结果,ACR识别处理部13A将频道识别信息、时间位置信息和命令获取来源信息发送到作为询问的来源的接收装置12(S15)。
接收装置12从ACR服务器13获取识别结果,然后分析识别结果(S16)。此外,接收装置12根据对识别结果的分析结果访问命令获取来源信息中描述的URL的命令服务器14以向其发送频道识别信息和时间位置信息,然后询问接收装置12可执行的命令(S17)。
命令服务器14响应于来自接收装置12的询问把与频道识别信息和时间位置信息相应的命令发送到接收装置12(S18)。具体而言,例如,命令服务器14管理对于每个节目可执行的命令,并且确定对于与来自接收装置12的频道识别信息相对应的节目在与时间位置信息相对应的时间带中可执行的命令。例如,命令服务器14基于来自接收装置12的时间位置信息确定从在接收装置12中提取对象指纹信息时到提取下一指纹信息时(例如,几秒钟期间)要执行的一个或多个命令。然后,命令服务器14将所确定的命令经由因特网16发送到接收装置12。
接收装置12从命令服务器14获取命令,然后分析该命令(S19)。此外,接收装置12根据对命令的分析结果访问应用服务器15,然后请求与所选择的节目联动执行的数据广播应用(S20)。
应用服务器15响应于来自接收装置12的应用请求将数据广播应用发送到接收装置12(S21)。然后,接收装置12从应用服务器15获取数据广播应用,然后执行该应用(S22)。结果,重叠在节目上的数据广播应用的视频被显示在显示器32上。
然后,当在接收装置12中所选择的频道被切换到另一频道时(S23),频道切换检测单元70检测频道的切换(S24)。这里,作为用于检测节目的频道切换的方法,例如,可以采用以下所示的检测方法中的任何一种。
作为第一种检测方法,有使用来自遥控器12R的频道切换命令的方法。在此检测方法中,当在接收装置12中选择来自广播装置11的数字电视节目并且光感测单元71根据用户的选择操作从遥控器12R接收到频道切换命令时,频道切换检测单元70可检测到数字电视节目的频道的切换。
在第一种检测方法中,由于根据用户的选择操作检测到了频道的切换,所以可以可靠地检测到频道的切换。注意,频道切换命令不限于光感测单元71感测来自遥控器12R的红外光的情况,而可被设定为根据例如用户对操作单元66的选择操作而被从操作单元66输出到频道切换检测单元70。
作为第二种检测方法,有使用对节目的视频信号的分析结果的方法。在此检测方法中,当接收装置12经由机顶盒19接收到来自CATV装置17的有线电视节目时,频道切换检测单元70分析有线电视节目的视频信号,从而可根据分析结果检测到频道的切换。
如图5的A中所示,频道切换检测单元70判定与有线电视节目的视频信号相对应的多个帧的某个区间是否连续示出同一画面(冻结画面),并且当检测到连续示出同一画面的区间时,频道切换检测单元从而可检测到有线电视节目的频道的切换。具体而言,例如,频道切换检测单元70获得具有与每个前后帧相对应的每个位置处的视频样本值的帧之间的差异,然后将其平均值与阈值θd相比较。然后,当存在平均值等于或低于阈值θd的N个连续帧时,频道切换检测单元70认为连续示出同一画面,从而检测到频道的切换。
此外,如图5的B中所示,频道切换检测单元70分析与有线电视节目的视频信号相对应的多个帧的某个区间是否连续示出黑画面,并且当检测到连续示出黑画面的区间时,频道切换检测单元从而可检测到有线电视节目的频道的切换。具体而言,例如,频道切换检测单元70获得帧的视频样本值的平均值,然后将该平均值与阈值θb相比较。然后,当存在平均值等于或低于阈值θb的N个连续帧时,频道切换检测单元70认为连续示出黑画面,从而检测到频道的切换。
换言之,在频道切换期间,显示器32上显示的有线电视节目在其间插有黑画面的情况下被切换到另一节目还是在其间插有冻结画面的情况下节目被切换到另一节目是基于例如机顶盒19的规格等等来决定的,而不是由接收装置12决定的。从而,当分析有线电视节目的视频信号并且连续示出同一画面或黑画面时,接收装置12被设定为能够检测频道切换并应对这两种画面显现。
作为第三种检测方法,有使用对节目的音频信号的分析结果的方法。在此检测方法中,当接收装置12经由机顶盒19接收到来自CATV装置17的有线电视节目时,分析有线电视节目的音频信号,并且根据分析结果,可以检测到频道的切换。
如图6中所示,频道切换检测单元70分析有线电视节目的音频信号的样本在某个区间中处于无信号状态或者样本在某个区间中处于非连续状态,并且当检测到无信号状态和非连续状态中的区间时,频道切换检测单元可检测到有线电视节目的频道的切换。具体而言,例如,频道切换检测单元70以预定的时间间隔获得声音能量的水平,然后,将该水平与阈值θs相比较。然后,当声音能量水平等于或低于阈值θs的时间持续M秒时,频道切换检测单元70可认为该区间处于无信号状态。此外,例如,频道切换检测单元70获得从音频信号的线性预测获得的预测样本值与实际测量到的实际样本值之间的差异,然后将该差异与阈值θa相比较。然后,当该差异等于或高于阈值θa时,频道切换检测单元70可认为该区间处于非连续状态中。
注意,由于通过利用第二种检测方法和第三种检测方法同时执行检测来基于对视频和声音两者的分析结果检测频道的切换,所以可以进一步增强检测准确度,然而,可以分开执行利用第二种检测方法的检测或利用第三种检测方法的检测。此外,第三种检测方法包括检测无信号状态和非连续状态,并且虽然对这两种状态的检测可进一步增强检测准确度,但可以只检测无信号状态或非连续状态中的任一种状态。
此外,当例如执行如第二种检测方法和第三种检测方法中所示的对于视频信号检测同一画面或黑画面并且对于音频信号检测无信号状态或非连续状态,根据检测状态给出分数,并且分数的总值等于或高于预设值时,可以认为频道正被切换。
作为第四种检测方法,有使用来自遥控器19R的频道切换命令的方法。在此检测方法中,当接收装置12选择来自CATV装置17的有线电视节目,并且光感测单元71根据用户的选择操作从遥控器19R接收到频道切换命令时,频道切换检测单元70可检测到有线电视节目的频道的切换。
具体而言,由于接收装置12不能识别来自遥控器19R的命令,所以当光感测单元71接收到不可识别的命令时,接收装置可以认为有线电视节目的频道已被切换。然而,由于来自遥控器19R的这种命令并不是在每种情况下都是与频道切换相对应的命令,所以可预先在接收装置12中设定在机顶盒19中要使用的命令响应表格,然后可以识别来自遥控器19R的与频道切换相对应的命令。或者,当接收装置12从遥控器19R接收到不可识别的命令时,接收装置可设为首先假定检测到频道切换,从所显示的有线电视节目中提取指纹信息,并将该信息发送到ACR服务器13。从而,因为接收装置12可从ACR服务器13获取识别结果,所以接收装置比较假定检测到频道切换前后的频道识别信息,从而可判定是否正常地切换了频道。换言之,当正常地切换了频道时,接收装置12获悉到来自遥控器19R的不可识别的命令是与频道切换相对应的命令。从获悉到该命令起,当接收装置12接收到来自遥控器19R的下一命令时,接收装置可识别出该命令是与频道切换相对应的命令。
可利用上述检测方法来检测频道的切换,然而,上述检测方法是示例,而节目的频道的切换可被设定为利用能够检测频道的切换的其他方法来检测。
转到图3,当检测到频道的切换时,接收装置12从频道切换后观看的节目的视频信号和音频信号中提取指纹信息(S25),并将该信息发送到ACR服务器13(S26)。然后,ACR服务器13执行将来自接收装置12的指纹信息与FP数据库13B相比较的ACR识别处理,从而识别出接收装置12所选择的节目(S27)。ACR识别处理如以上图4中所述。然后,ACR服务器13将ACR识别处理的识别结果发送到作为询问的来源的接收装置12(S28)。注意,步骤S25至S28的处理对应于上述步骤S12至S15的处理。
然后,接收装置12基于来自ACR服务器13的识别结果把在检测到频道切换前获得的频道识别信息与在检测到频道切换后获得的频道识别信息相比较(S29)。当检测到频道切换前后的频道识别信息相互不同时,频道已被正常地切换,从而接收装置12强制关闭所执行的数据广播应用(S30)。从而,在频道切换后的节目中,在频道切换前重叠在节目上显示的数据广播应用不被显示。这里,当要花时间来执行步骤S25至S29的处理时,或者当步骤S24中对频道切换的检测被认为可靠时,数据广播应用可在步骤S24之前立即被关闭。即使在这种情况下,也在关闭之后通过执行步骤S25至S29的处理来确认频道的切换。
以上是对各装置的关联操作的描述,而在关联操作期间随着显示器32上显示的视频的转变进行的关联操作将如图7所示。注意,ACR服务器13、命令服务器14和应用服务器15为接收装置12执行的处理可以以使用所谓的云计算的服务的形式提供。从而图7把ACR服务器13、命令服务器14和应用服务器15提供的服务分别示为ACR识别服务、命令提供服务和应用提供服务。
如图7中所示,当接收装置12选择频道A(CH-A)时,节目CH-A的视频P1被显示在显示器32上。然后,接收装置12周期性地从所选的节目CH-A的视频信号和音频信号中提取指纹信息(特征值)(S12-1),然后将该信息发送到ACR服务器13(S13-1)。另一方面,ACR服务器13通过执行ACR识别服务识别接收装置12的所选节目CH-A,然后将识别结果提供给接收装置12。
根据来自ACR服务器13的识别结果,接收装置12访问命令服务器14并且询问在接收装置12中可执行的命令。另一方面,命令服务器14通过执行命令提供服务响应于来自接收装置12的询问向接收装置12提供命令。此外,当来自命令服务器14的命令是用于指示数据广播应用的获取或登记的命令(稍后将描述的登记命令)时,接收装置12访问应用服务器15,并且请求数据广播应用(S19-1)。另一方面,应用服务器15通过执行应用提供服务响应于来自接收装置12的请求向接收装置12提供数据广播应用。接收装置12登记从应用服务器15获取的数据广播应用(S19-1)。
此外,当来自命令服务器14的命令是用于指示数据广播应用的获取或激活的命令(稍后将描述的执行命令)时,接收装置12激活所获取的数据广播应用(S19-2)。从而,视频P2被显示在显示器32上,在该视频P2中,指示关于节目CH-A的节目相关信息的数据广播应用CH-A被重叠在节目CH-A上。然后,在接收装置12中连续执行指纹信息的提取和发送(S12-2,…,S13-2,…),并且根据来自ACR服务器13的识别结果从命令服务器14获取命令。然后,接收装置12根据所获取的命令控制数据广播应用CH-A的操作(S19-3)。
这里,当所选的频道A(CH-A)被切换到频道B(CH-B)时,接收装置12利用例如上述第一种检测方法至第四种检测方法之中的检测方法来检测频道的切换(S24)。然后,接收装置12从检测到频道切换后观看的节目的视频信号和音频信号中提取指纹信息(S25),将该信息发送到ACR服务器13(S26),从而获取ACR识别服务的识别结果。
接收装置12比较检测到频道切换前后观看的节目的频道识别信息,并且当节目的频道识别信息相互不同时,频道已被正常地切换,从而接收装置强制关闭执行中的数据广播应用CH-A。在此情况下,只有检测到频道切换后的节目CH-B的视频P3被显示在显示器32上。另一方面,当检测到频道切换前后节目的频道识别信息相同时,例如在误检测等中由于某种原因没有切换频道,从而继续执行数据广播应用CH-A。在此情况下,像检测频道切换前那样没有变化地在显示器32上显示其中数据广播应用CH-A重叠在节目CH-A上的视频P2。
换言之,当频道被正确地切换时,在检测到频道切换前与节目联动执行的数据广播应用被强制关闭,并且只有频道切换后的节目被显示。从而,可以防止在频道被切换之后没有变化地继续显示用于频道切换前选择的节目的数据广播应用。
注意,如果在频道切换时没有检测到频道的切换,则如图8中所示,即使频道A(CH-A)被切换到了频道B(CH-B),却仍按原样执行数据广播应用CH-A。由于此原因,在显示器32上显示视频P4,其中数据广播应用CH-A重叠在节目CH-B上。换言之,直到周期性地执行指纹信息提取并且获取了用于关闭执行中的数据广播应用的命令(稍后将描述的终止命令)为止,数据广播应用CH-A被继续执行,从而重叠显示在节目CH-B上。
在此情况下,即使由于频道的切换而显示了节目CH-B,却仍显示与节目CH-B无关的用于节目CH-A的数据广播应用CH-A,这例如不仅违背节目的制作者等的意图,而且还会使观看者迷惑。因此,本技术被设计成,如图7中所示,在频道切换时检测频道的切换,并且当正常地执行了频道的切换时,强制关闭数据广播应用。
如上所述,利用构成广播系统1的各装置的关联操作,可根据在对观看中的节目执行的ACR识别处理中获得的识别结果向接收装置12提供数据广播应用。此外,当观看中的节目的频道被切换时,接收装置12强制关闭数据广播应用,从而当频道被切换时,节目和数据广播应用可同步。
[命令的细节]
接下来,将参考图9至图12详细描述命令服务器14提供的命令。图9示出了命令中包括的信息项的示例。
“命令ID”是用于识别相应命令的信息。当具有相同内容的命令被发送多次时,每个命令的命令ID相同。
“命令生效时刻”是以指示执行相应命令的时刻的“绝对日期和时间”、“相对时间”或“PTS”中的任何一种来指定的。“绝对日期和时间”与节目的进度无关,并且是当在预先设定的特定日期和时间到来时执行命令时指定的。此外,“相对时间”是当在节目期间从基准时间起经过了特定时间之后执行命令时指定的。作为相对时间,例如,指定相对于节目的开始时刻经过的时间。此外,“PTS”是在利用作为用于执行同步再现的时间信息的PTS(Presentation TimeStamp,呈现时间戳)执行命令时指定的。换言之,作为命令生效时刻,除了以时、分、秒指定时刻的方法以外,还可以采用以TS的STC(System Time Clock,系统时间时钟)值指定时刻的方法。
注意,当命令生效时刻已经经过时,相应命令在接收时被立即执行。
对于“命令对象装置类型”,指定作为利用该命令控制数据广播应用的对象的装置。这里,除了接收装置(接收装置12)的本体以外,当外部装置与接收装置12相连时,该外部装置被指定为命令的对象装置。
“命令动作”指示相应命令是“应用获取(Register,登记)”、“应用激活(Execute,执行)”、“应用关闭(Terminate,终止)”、“事件触发(Inject_event,注入事件)”和“应用停止(Suspend,暂停)”中的任何一者。
登记(Register)命令是用于对接收装置12指示数据广播应用的获取或登记的命令。这里,数据广播应用的登记指的是与所获取的数据广播应用相关联地存储应用的优先级和期满日期。控制单元64根据优先级和期满日期管理数据广播应用。
执行(Execute)命令是用于对接收装置12指示数据广播应用的获取或激活的命令。
终止(Terminate)命令是用于指示接收装置12终止执行中的数据广播应用的命令。
注入事件(Inject_event)命令是用于使得接收装置12在执行中的数据广播应用中触发事件的命令。
暂停(Suspend)命令是用于对接收装置12指示执行中的数据广播应用的中止的命令。
“命令应用分布参数”是用于随机地分布向诸如接收装置12之类的对象装置应用相应命令的定时的参数。由于利用该参数调整了对命令服务器14和应用服务器15进行访问的定时,所以分布了对服务器的访问,从而可以减轻负载。
“应用ID”是与相应命令有关的数据广播应用的识别信息。“应用类型”是指示与相应命令有关的数据广播应用的类型的信息。“服务提供商ID”是提供与相应命令有关的数据广播应用的执行服务的服务提供商(例如广播台之类的)的识别信息。
“应用URL”是当命令动作是“应用获取”或“应用激活”时指示数据广播应用的获取来源的URL的信息。“应用期满日期”是指示数据广播应用的期满日期的信息。此外,“应用保持优先级”是指示关于相应命令要获取和保持的数据广播应用的优先级的信息。当登记数据广播应用时,存储该数据广播应用的应用期满日期和保持优先级,并且根据期满日期和优先级来管理数据广播应用。
“事件ID”是当命令动作是“事件触发”时要在以应用ID指定的数据广播应用中触发的事件的识别信息。此外,在“事件附加数据”中,存储当命令动作是“事件触发”时为了触发事件而要参考的数据。
这里,命令的详细规格在图10和图11中示出。
除了目的地属性和动作属性以外,命令元素主要还包括定时元素、分散元素、应用元素和事件元素。
目的地属性对应于图9的“命令对象装置类型”。对于目的地属性,当接收装置12被设定为命令对象装置时,例如,指定“接收机”,而当外部装置被设定为命令对象装置时,指定“external_1”或“external_2”。
动作属性对应于图9的“命令动作”。对于动作属性,当指示数据广播应用的获取或激活时,例如,指定“执行”,当指示数据广播应用的获取或登记时,指定“登记”,而当指示数据广播应用的停止时,指定“暂停”。此外,对于动作属性,当指示数据广播应用的关闭时,指定“终止”,而当在执行中的数据广播应用中发起事件时,指定“事件”。
定时元素对应于图9的“命令生效时刻”。作为定时元素的属性,有单位属性。例如,当对于单位属性使用“绝对日期和时间”时,指定“utc”,当使用“相对时间”时,指定“smpte”,而当使用“PTS”时,指定“pts”。
分散元素对应于图9的“命令应用分布参数”。作为分散元素的属性,有率属性、范围属性和时段属性,并且指定分割数、最大延迟时间和命令应用分散时段。
应用元素对应于图9的“应用ID”、“应用类型”、“应用URL”、“应用保持优先级”和“应用期满日期”,并且指定id属性、类型属性、url属性、优先级属性和expire_date属性。当动作属性是“执行”或“登记”时,url属性和expire_date属性是必要项目。此外,对于优先级属性,一般指定“0”,并且当要提高优先级时,指定“1”。
事件元素对应于图9的“事件ID”和“事件附加数据”,并且指定id属性和数据属性。当动作属性是“事件”时,事件元素是必要项目。
[命令的描述示例]
图12是示出命令的描述示例的图。
在图12的示例中,在命令元素中,对于目的地属性,指定“接收机”,并且对于动作属性,指定“执行”。换言之,相应命令是以接收装置12为目的地的执行命令。
在命令元素的开始标签和结束标签之间描述定时元素和应用元素。
在定时元素中,对于单位属性指定“pts”,对于其值指定“1286743”.换言之,当“1286743”的时钟经过时,执行命令。
在应用元素中,对于id属性指定“1”,对于类型属性指定“html”,对于url属性指定“xxx.com/yyy”,并且对于expire_date属性指定“2011-01-21”。换言之,该描述意味着从以“xxx.com/yyy”的URL指定的应用服务器15获取以HTML(超文本标记语言)描述的数据广播应用。
注意,命令描述方法是任意的,而不限于图12的示例。
[数据广播应用的状态转变]
图13是示出根据用于登记、执行、事件、inject_event和终止的每个命令接收装置12操作的数据广播应用的状态转变的图。如图所示,数据广播应用的状态被定义为转变到释放状态(Released,释放)、准备状态(Ready,准备)、活动状态(Active,活动)和中止状态(Suspended,暂停)这四种状态中的任何一种。
释放状态指的是数据广播应用未被接收装置12获取的状态。准备状态指的是数据广播应用被登记在接收装置12中但尚未被激活的状态。活动状态指的是数据广播应用被激活并正被执行的状态。中止状态指的是数据广播应用的执行被停止并且指示停止时应用的状态的信息被保持在退避存储器69B中的状态。
当数据广播应用的状态被转变到释放状态时(当应用未被接收装置12获取时),如果接收到登记命令并且根据登记命令获取(登记)了数据广播应用,则状态被转变到准备状态。
当数据广播应用处于准备状态中时,如果接收到执行命令并且根据执行命令激活了数据广播应用,则状态被转变到活动状态。
此外,当数据广播应用的状态被转变到释放状态时(当应用未被接收装置12获取时),如果接收到执行命令并且根据执行命令获取并激活了数据广播应用,则状态被转变到活动状态。
当数据广播应用的状态被转变到活动状态时,如果接收到暂停命令并且根据暂停命令停止执行中的数据广播应用,则状态被转变到暂停状态。
当数据广播应用的状态被转变到暂停状态时,如果接收到执行命令并且停止的数据广播应用根据执行命令再继续,则状态被转变到活动状态。
当数据广播应用的状态被转变到活动状态或暂停状态时,如果接收到终止命令并且根据终止命令关闭了执行中的数据广播应用,则状态被转变到准备状态(图中的“A”)。注意,转变到准备状态不仅在基于终止命令执行转变时发生,而且在执行另一数据广播应用时也发生。
此外,当数据广播应用被转变到准备状态、活动状态或暂停状态并且命令的应用期满日期经过时,应用被转变到准备状态(图中的“B”)。
图14示出了每个命令与状态转变之间的关系。
图14示意性示出了接收装置12把从诸如节目或广告之类的AV内容的数据中提取的指纹信息发送到ACR服务器13并且分别从命令服务器14和从应用服务器15获取各种命令和数据广播应用的状态。注意,在图14中,像图7和图8中那样,假定ACR服务器13、命令服务器14和应用服务器15分别提供ACR识别服务、命令提供服务和应用提供服务。
当在接收装置12中数据广播应用被转变到释放状态时(在接收装置12中未获取的情况下),随着根据登记命令获取、保持并登记应用,数据广播应用被转变到准备状态。
当在接收装置12中数据广播应用处于准备状态时,随着根据执行命令激活应用,数据广播应用被转变到执行状态。
此外,当在除接收装置12以外的装置中数据广播应用处于释放状态时(在另一装置中未获取的情况下),随着根据执行命令获取和激活应用,数据广播应用被转变到执行状态。
当在接收装置12中数据广播应用处于执行状态并且根据Inject_event命令在执行中的数据广播应用中触发事件时,状态被维持在执行状态中。
当在接收装置12中数据广播应用被转变到执行状态时,随着执行中的数据广播应用根据暂停命令而停止,该应用被转变到中止状态。此外,当在接收装置12中数据广播应用被转变到中止状态时,随着停止的数据广播应用根据执行命令再继续,该应用被转变到执行状态。
这里,当在接收装置12中数据广播应用被转变到执行状态时,随着检测到频道的切换,执行中的数据广播应用被强制关闭并转变到准备状态。
此外,当在接收装置12中数据广播应用被转变到执行状态时,随着执行中的数据广播应用根据终止命令被关闭,该应用被转变到准备状态。注意,当数据广播应用被转变到准备状态、执行状态或中止状态并且数据广播应用的应用期满日期经过时,数据广播应用被从缓存存储器68中擦除,登记被取消,然后应用被转变到释放状态。
[根据ACR识别结果的命令响应处理]
接下来,将参考图15和图16描述当接收装置12根据从ACR识别处理获得的识别结果接收命令时的命令响应处理(以下称为根据ACR识别结果的命令响应处理)。
图15是描述根据ACR识别结果的命令响应处理的流程图。根据ACR识别结果的命令响应处理在用户观看节目的同时被反复执行,换言之,接收装置12从广播装置11接收数字电视广播信号,或者经由机顶盒19从CATV装置17接收有线电视广播信号。
指纹提取单元60在步骤S111中判定是否经过了预定的时间,并且在等待预定时间经过之后从节目的视频信号和音频信号中提取指纹信息(步骤S112)。换言之,指纹提取单元60以例如几秒之类的预定间隔周期性地提取指纹信息。
在步骤S113中,指纹提取单元60控制通信I/F61,使得提取的指纹信息经由因特网16被发送到ACR服务器13,以询问所选节目的识别结果。ACR服务器13基于指纹信息执行ACR识别处理,然后将识别结果发送到接收装置12。注意,当在ACR服务器13中未获得节目的识别结果时,不执行识别结果的发送。
在步骤S114中,控制单元64控制通信I/F61判定是否从作为识别结果询问的目的地的ACR服务器13接收到识别结果。
当在步骤S114中判定未接收到识别结果时,处理返回到步骤S111,并且重复该处理及其后的处理。例如,当在接收装置12中选择了广播中止的频道并且提取其指纹信息时,ACR服务器13不能识别节目,从而不发送识别结果(可以发送指示“不适用”的识别结果)。
另一方面,当在步骤S114中判定接收到识别结果时,处理前进到步骤S115。在步骤S115中,控制单元64分析通信I/F61接收到的所选节目的识别结果。这里,作为识别结果,获得所选节目的频道识别信息、时间位置信息和命令获取来源信息。此外,控制单元64将所选节目的频道识别信息存储在存储器65中。
在步骤S116中,控制单元64控制通信I/F61访问与命令获取来源信息指示的URL相对应的命令服务器14,并且发送频道识别信息和时间位置信息以询问可在接收装置12中执行的命令。在命令服务器14中,获取在与频道识别信息相对应的节目中在与时间位置信息相对应的时间带中可执行的命令,并且将其发送到接收装置12。
在步骤S117中,控制单元64控制通信I/F61判定是否从作为命令询问的目的地的命令服务器14接收到命令。
当在步骤S117中判定没有接收到命令时,处理返回到步骤S111,并且重复该处理及其后的处理。当例如没有命令符合基于频道识别信息和时间位置信息决定的条件时,命令服务器14不发送命令(可以发送指示“处理不必要”的命令)。
另一方面,当在步骤S117中判定接收到命令时,处理前进到步骤S118。在步骤S118中,命令分析单元62读取命令中包括的命令ID,并且判定是否已对命令执行了步骤S119的处理及其后的处理。当判定已经执行了步骤S119的处理及其后的处理时,处理返回到步骤S111,并且重复该步骤及其后的处理。另一方面,当判定没有对命令执行步骤S119的处理及其后的处理,处理前进到步骤S119。
在步骤S119中,命令分析单元62读取命令中包括的命令动作,并且判定命令是否是登记、执行、终止、Inject_event或暂停。
在步骤S120中,命令分析单元62判定步骤S119的判定结果是不是登记,并且当判定是登记时,处理前进到步骤S121。
在步骤S121中,控制单元64控制通信I/F61访问与命令的应用URL相对应的应用服务器15,然后获取由应用ID确定的数据广播应用。利用通信I/F61获取的数据广播应用被保持在缓存存储器68中。此外,控制单元64使得应用期满日期和应用保持优先级被与所获取的数据广播应用相关联地存储在存储器65中。从而,控制单元64根据期满日期和保持优先级来管理保持在缓存存储器68中的数据广播应用。
然后,处理返回到步骤S111,并且重复该处理及其后的处理。
当步骤S120的判定结果是在步骤S119中判定不是登记时,处理前进到步骤S122。在步骤S122中,控制单元64判定步骤S119的判定结果是不是执行,并且当判定是执行时,处理前进到步骤S123。
在步骤S123中,应用引擎67根据控制单元64的控制判定由该命令的命令ID所确定的数据广播应用是否被中止(处于暂停状态中)。具体而言,当指示由命令ID确定的数据广播应用中的中止状态的数据被退避在退避存储器69B中时,判定应用被中止。
在步骤S123中,当判定由命令ID确定的数据广播应用未处于中止中时,处理前进到步骤S124。在步骤S124中,当应用未被获取时(不存在于缓存存储器68中时),应用引擎67根据控制单元64的控制获取由命令ID确定的数据广播应用。
在步骤S125中,控制单元64执行同步控制处理。这里,将参考图16的流程图来描述同步控制处理的细节。
在步骤S151中,控制单元64判定是否设定了命令中包括的命令生效时刻。
当在步骤S151中判定设定了命令生效时刻时,处理前进到步骤S152。在步骤S152中,控制单元64判定执行命令的时刻是否到来。
命令生效时刻例如是以绝对日期和时间、相对时间或PTS来指定的。在步骤S152的判定处理中,当指定绝对日期和时间时,判定预先设定的特定日期和时间是否到来。此外,当指定相对时间时,例如,判定从节目开始时刻起是否经过了预先设定的特定时间。另外,当指定PTS时,基于来自时钟同步单元63的时钟来判定执行命令的时刻是否到来。
在步骤S152的判定处理中,重复该判定处理,直到判定执行命令的时刻已到来为止。换言之,等待命令的执行,直到执行命令的时刻到来为止。
然后,当在步骤S152中判定执行命令的时刻已到来时,处理返回到图15的步骤S125,并且执行该处理及其后的处理。
在步骤S126中,如果有当前正执行的数据广播应用,则应用引擎67根据控制单元64的控制关闭该应用。然后,在步骤S127中,应用引擎67根据控制单元64的控制激活由命令ID确定的数据广播应用。
换言之,由于通过执行步骤S125的同步控制处理(图16)在执行命令的时刻过去之后激活数据广播应用,所以可以例如根据节目的进度或者在特定的时间带中激活数据广播应用。
此外,当未设定命令生效时刻时(图16的步骤S151中的“否”),跳过图16的步骤S152,步骤S124的获取处理结束,然后立即执行步骤S126和S127。在此情况下,在获取尚未获取的数据广播应用之后,激活该数据广播应用。
然后,处理返回到步骤S111,并且重复该处理及其后的处理。
此外,在步骤S123中,当判定由命令ID确定的数据广播应用处于中止中时(暂停状态),处理前进到步骤S128。
在步骤S128中,控制单元64执行图16的同步控制处理。换言之,当设定了命令生效时刻时,在执行命令的时刻到来时执行步骤S129的处理,而当未设定命令生效时刻时,立即执行步骤S129的处理。
在步骤S129中,应用引擎67根据控制单元64的控制将退避存储器69B的数据转移到工作存储器69A,从而激活由命令ID确定的数据广播应用。从而,由命令ID确定的中止的数据广播应用从中止状态再继续。然后,处理返回到步骤S111,并且重复该处理及其后的处理。
在步骤S122中,当判定步骤S119的判定结果不是执行时,处理前进到步骤S130。在步骤S130中,控制单元64判定步骤S119的判定结果是不是Inject_event,并且当判定该判定结果是Inject_event时,处理前进到步骤S131。
在步骤S131中,控制单元64执行图16的同步控制处理。换言之,当设定了命令生效时刻时,在执行命令的时刻到来时执行步骤S132的处理,而当未设定命令生效时刻时,立即执行步骤S132的处理。
在步骤S132中,仅当命令的命令ID与操作中的数据广播应用的命令ID一致时,控制单元64才控制应用引擎67在操作中的数据广播应用中触发(执行)与命令的命令ID相对应的事件。然后,处理返回到步骤S111,并且重复该处理及其后的处理。
在步骤S130中,当判定步骤S119的判定结果不是Inject_event时,处理前进到步骤S133。在步骤S133中,控制单元64判定步骤S119的判定结果是不是暂停,并且当判定该判定结果是暂停时,处理前进到步骤S134。
在步骤S134中,控制单元64执行图16的同步控制处理。换言之,当设定了命令生效时刻时,在执行命令的时刻到来时执行步骤S135的处理,而当未设定命令生效时刻时,立即执行步骤S135的处理。
在步骤S135中,应用引擎67根据控制单元64的控制退避指示当前正执行的数据广播应用的状态的数据(换言之,当前写在工作存储器69A中的数据;当显示的信息具有层次结构时,该数据包括指示显示的信息的层次的信息)。然后,处理返回到步骤S111,并且重复该处理及其后的处理。
在步骤S133中,当判定步骤S119的判定结果不是暂停时,步骤S119的判定结果是终止,从而处理前进到步骤S136。
在步骤S136中,控制单元64执行图16的同步控制处理。换言之,当设定了命令生效时刻时,在执行命令的时刻到来时执行步骤S137的处理,而当未设定命令生效时刻时,立即执行步骤S137的处理。
在步骤S137中,当由命令ID确定的数据广播应用正在执行中时,应用引擎67根据控制单元64的控制关闭该应用。在步骤S138中,应用引擎67根据控制单元64的控制从工作存储器69A和退避存储器69B中擦除与由命令ID确定的数据广播应用有关的数据并且从缓存存储器68中擦除数据广播应用。然后,处理返回到步骤S111,并且重复该处理及其后的处理。
此外,在步骤S111中,当判定不是周期性地提取指纹信息的时间时,处理前进到步骤S139。在步骤S139中,频道切换检测单元70执行频道切换的检测,并且判定是否切换了频道。在步骤S139中,当判定没有切换频道时,处理返回到步骤S111,并且重复该处理及其后的处理。
另一方面,在步骤S139中,当判定切换了频道时,处理前进到步骤S140。在步骤S140至S142中,与步骤S112至S114中一样,指纹提取单元60从节目的视频信号和音频信号中提取指纹信息,然后将该信息发送到ACR服务器13。然后,当通信I/F61从ACR服务器13接收到识别结果时,处理前进到步骤S143。作为步骤S143的判定处理的预处理,控制单元64获取从来自通信I/F61的识别结果获得的在检测到频道切换后要观看的节目的频道识别信息,并从存储器65中读取在检测到频道切换前观看的节目的频道识别信息。
然后,控制单元64在步骤S143中比较在检测到频道切换前后节目的频道识别信息以判定这些频道识别信息是否相互一致。
在步骤S143中,当判定这些频道识别信息相互不同时,频道已被正常地切换,从而处理前进到步骤S144。在步骤S144中,如果由命令ID确定的数据广播应用正被执行,则应用引擎67根据控制单元64的控制关闭该应用。在步骤S145中,应用引擎67根据控制单元64的控制的从工作存储器69A和退避存储器69B中擦除与由命令ID确定的数据广播应用有关的数据,并且从缓存存储器68中擦除该数据广播应用。然后,处理返回到步骤S111,并且重复该处理及其后的处理。
注意,在步骤S143中,当判定这些频道识别信息相互一致时,例如在误检测等中由于某种原因频道未被正常切换,从而在跳过步骤S144和S145的处理的同时处理返回到步骤S111,并且重复该处理及其后的处理。
以上,完成了对根据ACR识别结果的命令响应处理的描述。根据如上所述的根据ACR识别结果的命令响应处理,可以与AV内容(例如,节目、广告,等等)联动地激活数据广播应用,并且可触发和结束事件。另外,在维持数据广播应用的执行状态的同时可中止该数据广播应用,并且可执行和关闭另一数据信息应用,然后中止的数据广播应用可从中止状态再继续。
此外,通过执行根据ACR识别结果的命令响应处理,可以利用ACR技术提供与AV内容联动执行的数据广播应用。另外,当切换频道时,执行中的数据广播应用结束,从而可以防止对数据广播应用的意料之外的显示。
在图15的示例中,提供了描述,其中在步骤S124至S127中,在获取了尚未获取的数据广播应用之后(S124),当执行命令的时刻到来时激活所获取的数据广播应用(S125),然而,步骤S124和S125的处理顺序可以颠倒。换言之,在此情况下,在执行命令的时刻到来之前不获取尚未获取的数据广播应用,并且在执行命令的时刻到来时获取并激活尚未获取的数据广播应用。
[操作场景]
通过在接收装置12中执行图15的根据ACR识别结果的命令响应处理,可以实现例如图17和18中所示的数据广播应用的操作。
图17是示出当未设定命令生效时刻时的操作场景的示例的图。
当与数字电视广播信号或有线电视广播信号相对应的频道A(CH-A)的节目被显示在显示器32上时,接收装置12周期性地从所选节目的视频信号等中提取指纹信息,并将该信息发送到ACR服务器13。接收到指纹信息的ACR服务器13执行ACR识别处理,并且其识别结果被发送到接收装置12。
接收装置12根据来自ACR服务器13的识别结果向命令服务器14询问命令,然而,当没有接收装置12可执行的命令时,不从命令服务器14发送响应。
然后,接收装置12继续执行指纹信息的周期性提取并且与之相对应地向ACR服务器13和命令服务器14作出询问。然后,当接收装置12从命令服务器14接收到执行命令时,接收装置访问与应用URL相对应的应用服务器15,并且获取并执行数据广播应用。从而,与用于频道A(CH-A)的数据广播应用相对应的节目相关信息(图中的“视频同步应用”)被重叠显示在显示器32上已显示的频道A(CH-A)的节目上。
这里,当所选的频道A(CH-A)被切换到频道B(CH-B)时,接收装置12利用例如上述的第一至第四检测方法中的任何检测方法来检测频道的切换。然后,接收装置12从频道切换后观看的节目的视频信号和音频信号中提取指纹信息,将该信息发送到ACR服务器13,然后获取节目的识别结果。接收装置12比较检测到频道切换前后显示器32上显示的节目的频道识别信息,并且当这些节目的频道识别信息相互不同时,频道已被正确地切换,从而接收装置强制关闭执行中的数据广播应用。从而,重叠显示在频道A(CH-A)的节目上的节目相关信息被擦除,而只有频道B(CH-B)的节目被显示。
此外,当接收装置12在频道B(CH-B)被选择的同时从命令服务器14接收到执行命令时,接收装置访问与应用URL相对应的应用服务器15,并且获取并执行数据广播应用。从而,与用于频道B(CH-B)的数据广播应用相对应的节目相关信息(图中的“视频同步应用”)被重叠显示在显示器32上已显示的频道B(CH-B)的节目上。
在图17的示例中,执行命令被描述为接收装置12从命令服务器14接收的命令,然而,可以设定接收另外的命令。例如,当在数据广播应用的执行期间接收到Inject_event命令时,在执行中的数据广播应用中发起事件,而当接收到暂停命令时,中止执行中的数据广播应用。此外,例如,当在数据广播应用的执行期间接收到终止命令时,关闭执行中的数据广播应用。
如上所述,在图17的操作场景中,由于在从命令服务器14发送来的命令中未设定命令生效时刻,所以接收装置12立即执行从命令服务器14接收的命令。此外,当在接收装置12中切换频道时,强制关闭执行中的数据广播应用。
图18是示出当设定了命令生效时刻时的操作场景的示例的图。
在图18中,当接收装置12周期性地提取指纹信息并从ACR服务器13接收到执行命令时,接收装置12访问与应用URL相对应的应用服务器15并获取数据广播应用。此外,由于在执行命令中设定了命令生效时刻,所以在获取数据广播应用之后,等待执行命令的执行(图中的“同步等待”),直到执行命令的时刻到来为止。例如,当与频道A(CH-A)的节目的特定场景同步地显示与数据广播应用相对应的节目相关信息时,与该特定场景同步的时刻被描述在命令生效时刻中,从而数据广播应用被激活,等待执行命令的时刻。从而,可以使频道A(CH-A)的节目的特定场景和节目相关信息(图中的“视频同步应用”)同步。
此外,当所选择的频道A(CH-A)被切换到频道B(CH-B)时,接收装置12与上述图17中一样检测频道的切换并强制关闭执行中的数据广播应用。从而,重叠显示在频道A(CH-A)的节目上的节目相关信息被擦除,并且只有频道B(CH-B)的节目被显示。
当指纹信息的提取在此之后继续并且从命令服务器14接收到执行命令时,接收装置12访问与应用URL相对应的应用服务器15并获取数据广播应用。此外,接收装置12等待执行命令的时刻,然后激活数据广播应用。从而,与用于频道B(CH-B)的数据广播应用相对应的节目相关信息(图中的“视频同步应用”)被重叠显示在显示器32上显示的频道B(CH-B)的节目上。
在图18的示例中,执行命令被描述为接收装置12从命令服务器14接收的命令,然而,可以设定接收另外的命令。例如,当在数据广播应用的执行期间接收到Inject_event命令时,等待执行命令的时刻,然后在执行中的数据广播应用中发起事件。此外,当在数据广播应用的执行期间接收到暂停命令时,等待执行命令的时刻,然后中止执行中的数据广播应用。此外,例如,当在数据广播应用的执行期间接收到终止命令时,等待执行命令的时刻,然后关闭执行中的数据广播应用。
如上所述,在图18的操作场景中,由于在从命令服务器14发送来的命令中设定了命令生效时刻,所以接收装置12等待执行命令的时刻,然后执行从命令服务器14接收的命令。从而,接收装置12可在任意定时而不是随着指纹信息提取的分辨能力执行命令。此外,当接收装置12检测到频道的切换时,执行中的数据广播应用被强制关闭,从而接收装置可在频道切换的定时而不是随着指纹信息提取的分辨能力关闭执行中的数据广播应用。
<第二实施例>
[另一广播系统的配置示例]
图19示出了根据第二实施例的广播系统1。在广播系统1中,与图1中不同,在接收装置12和机顶盒19之间连接具有作为AV选择器的功能的AV放大器41。
AV放大器41具有基于HDMI标准的输入和输出单元,除了例如机顶盒19以外,诸如游戏装置42和电子装置43之类的具有HDMI端子的电子装置也连接到AV放大器的输入侧,并且接收装置12经由HDMI线缆20连接到输出侧。AV放大器41从输入自与其输入侧相连的多个电子装置的多个AV内容项中选择期望的AV内容项,并且将该AV内容输出到与其输出侧相连的接收装置12。
接收装置12根据AV放大器41对AV内容的选择结果,检测所观看的AV内容的切换。当检测到所观看的AV内容的切换时,接收装置12关闭与观看的AV内容联动执行的数据广播应用。
注意,由于图19的其他配置与以上在图1中描述的广播系统1的相同,所以将不重复对其的描述。
图19的广播系统1的配置如上所述。
[接收装置的另一配置示例]
图20示出了图19的接收装置12的另一配置示例。到此接收装置12的频道切换检测单元70的输入与图2的不同。换言之,在图20中,只有来自HDMI端子59的通知信号被输入到频道切换检测单元70。
具体而言,当AV放大器41选择的电子装置被切换时,HDMI端子59把从作为切换源的电子装置输入的AV内容的音频信号和视频信号经由HDMI线缆20分别提供到选择器54和选择器57。此外,HDMI端子59向频道切换检测单元70输出用于通知该切换的通知信号。例如,在接收装置12中,当到HDMI端子59的输入被从来自机顶盒19的AV内容切换到来自游戏装置42的AV内容时,来自AV放大器41的时钟信号变得不连续,失去同步,从而必须再次执行同步处理。当例如来自AV放大器41的时钟信号变得不连续时,HDMI端子59向频道切换检测单元70输出用于通知输入AV内容的切换的通知信号。然后,当频道切换检测单元70检测到来自HDMI端子59的通知信号时,频道切换检测单元可以检测到观看的AV内容的切换并向控制单元64提供检测结果。
从而,例如,如果AV放大器41从来自机顶盒19的输入切换到来自游戏装置42的输入,则当在接收装置12中数据广播应用被重叠显示在有线电视节目上时,该数据广播应用被关闭,然后游戏画面可被显示。
图20的接收装置12的配置如上所述。
如上所述,除了上述的第一至第四种检测方法以外,作为第五种检测方法,接收装置12还可以采用利用从AV放大器41输出的AV内容的选择结果来检测观看的AV内容的切换的方法。
[具体操作示例]
此外,根据本技术,由于ACR服务器13在没有与AV内容相对应的元数据的情况下识别AV内容,因此例如如下操作是可能的。
图21是示出应用了本技术的广播系统的具体示例的图。
如图21中所示,与节目有关的元数据(图中的“元数据”)被赋予由内容提供商(Content Provider)提供的AV内容(图中的“内容”),并且直接接收来自广播装置11(图中的“ASP(Authroized ServiceProvider,授权服务提供商)”)的数字电视广播信号的接收装置12(图中的“TV1”)可获取与AV内容一起发送的元数据。从而,通过基于元数据访问由广播服务提供商等管理的应用服务器15,接收装置可获取并执行数据广播应用(图中的“应用”)。
另一方面,当经由CATV网络、卫星通信网络等从广播装置11接收到数字电视广播信号时,被机顶盒19(图中的“STB(机顶盒)”)转换了的信号被另一接收装置12(图中的“TV2”)经由HDMI线缆20接收。在此情况下,来自机顶盒19的输出只是AV内容,其没有利用元数据,从而不能获取与节目有关的信息。从而,接收装置12可通过把从AV内容提取的指纹信息(图中的“指纹”)发送到ACR服务器13来获取识别结果。此外,接收装置12根据来自ACR服务器13的识别结果从命令服务器14获取命令。然后,接收装置12可根据来自命令服务器14的命令从应用服务器15获取并执行数据广播应用。
如上所述,即使当在应用了本技术的广播系统中经由CATV网络、卫星通信网络等转播节目时,也可实现与节目联动执行的数据广播内容的服务。换言之,如例如图1和图19中所示,本技术不仅可以应用到接收装置12直接接收来自广播装置11的数字电视广播信号的情况,而且可应用到由于诸如CATV网络18或卫星通信网络之类的机顶盒19的使用而难以向接收装置12发送本应与AV内容一起发送的元数据的情况。
<第三实施例>
[通信系统的配置示例]
以上,已描述了接收装置12接收与来自广播装置11的数字电视广播信号相对应或与来自CATV装置17的有线电视广播信号相对应的AV内容的示例,然而,可设定经由因特网16基于VOD(Video OnDemand,视频点播)来分发AV内容。
图22示出了本实施例的通信系统81。
在图22中,向与图1的那些相对应的部分赋予相同的标号,并且适当地省略对其的描述。
换言之,与图1不同,取代广播装置11、CATV装置17、CATV网络18和机顶盒19,在图22中提供了与因特网16相连的分发服务器91。分发服务器91根据来自接收装置12的请求经由因特网16向接收装置12分发诸如VOD内容之类的AV内容。
接收装置12从来自分发服务器91的VOD内容的视频信号和音频信号中提取指纹信息并将该指纹信息发送到ACR服务器13。ACR服务器13执行ACR识别处理,并且这里,内容识别信息、时间位置信息和命令获取来源信息被作为识别结果发送。换言之,当获取来自广播装置11的AV内容时,获得频道识别信息作为识别结果,然而,当获取来自分发服务器91的VOD内容时,获得诸如内容ID之类的内容识别信息作为识别结果。
接收装置12访问与命令获取来源信息中描述的URL相对应的命令服务器14以发送内容识别信息和时间位置信息,然后询问在接收装置12中可执行的命令。然后,接收装置12根据来自命令服务器14的命令控制数据广播应用的操作。
如上所述,接收装置12不仅可经由广播网络,而且可经由通信网络接收AV内容。此外,无论广播网络或通信网络中的哪个网络被用于接收AV内容,ACR服务器13都可识别AV内容,从而接收装置12可根据识别结果从命令服务器14获取命令。此外,当检测到频道的切换时,接收装置12向ACR服务器13询问VOD内容的识别结果。另外,当接收装置12比较检测到频道切换前后获得的内容识别信息并且频道被正常地切换了时,接收装置可以关闭在频道切换前重叠显示在VOD内容上的数据广播应用。
注意,虽然以上描述了依据要提供的功能提供了诸如ACR服务器13、命令服务器14和应用服务器15之类的多个服务器的示例,但这些功能(服务)中的全部或一些可由一个或多个服务器来布置和提供。
此外,ACR服务器13可将识别结果直接发送到命令服务器14,而不将该结果发送到接收装置12。例如,当接收装置12将指纹信息发送到ACR服务器13时,ACR服务器13执行ACR识别处理,然后将识别结果发送到命令服务器14。然后,命令服务器14根据来自ACR服务器13的识别结果向接收装置12发送命令。从而,只要由接收装置12向ACR服务器13发送指纹信息,就可以实现从命令服务器14获取命令的操作。另外,通过由命令服务器14把数据广播应用的获取命令直接发送到应用服务器15,而不是发送到接收装置12,例如,可以实现接收装置12向ACR服务器13发送指纹信息并随后从应用服务器15获取数据广播应用的操作。
另外,在本实施例中,接收装置12、机顶盒19和AV放大器41被配置为基于HDMI标准执行通信,然而,通信的标准不限于HDMI标准,并且至少机顶盒19等等之间的用于视频信号、音频信号和控制信号的数据通信可被配置为可能实现。
[应用了本技术的计算机的配置示例]
上述一系列处理可由硬件执行,但也可由软件执行。当该一系列处理由软件执行时,构成这种软件的程序被安装到计算机中。这里,“计算机”这个表述包括包含专用硬件的计算机和能够在安装各种程序时执行各种功能的通用个人计算机等。
图23是示出利用程序执行上述一系列处理的计算机的硬件配置示例的框图。
在计算机100中,中央处理单元(CPU)101、只读存储器(ROM)102和随机访问存储器(RAM)103通过总线104相互连接。
输入/输出接口105也连接到总线104。输入单元106、输出单元107、存储单元108、通信单元109和驱动器110连接到输入/输出接口105。
输入单元106是由键盘、鼠标、麦克风等构成的。输出单元107是由显示器、扬声器等构成的。存储单元108是由硬盘、非易失性存储器等构成的。通信单元109是由网络接口等构成的。驱动器110驱动诸如磁盘、光盘、磁光盘、半导体存储器之类的可移除介质111。
在如上所述配置的计算机100中,CPU101经由输入/输出接口105和总线104把例如存储在存储单元108中的程序加载到RAM103中,并执行该程序。从而,执行上述一系列处理。
计算机100(CPU101)要执行的程序是以记录在作为封装介质等的可移除介质111中的形式提供的。另外,可经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机100中,通过将可移除介质111插入到驱动器110中,可经由输入/输出接口105在存储单元108中安装程序。另外,程序可由通信单元109经由有线或无线传输介质接收并安装在存储单元108中。另外,程序可被预先安装在ROM102或存储单元108中。
应当注意,计算机100执行的程序可以是根据本说明书中描述的序列按时序处理的程序或者并行地或在必要的定时(例如在被调用时)处理的程序。
这里用于描述使得计算机100执行各种处理的程序的处理步骤不一定必须要按流程图中描述的顺序按时间先后处理。其也包括并行或单独执行的处理(例如,并行处理或按对象的处理)。
程序可由一个计算机处理或由多个计算机以分布方式处理。另外,程序可在被传送到远程计算机之后被执行。
另外,在本公开中,系统具有多个配置元素(例如装置或模块(部件))的集合的含义,但没有考虑是否所有配置元素都在相同外壳中。因此,系统可以是收纳在分开的外壳中并通过网络连接的多个装置,或者是在单个外壳内的多个模块。
本公开的实施例不限于上述的实施例,在不脱离本公开的范围的情况下可作出各种变化和修改。
例如,本公开可采用通过由多个装置通过网络分配并连接一个功能来进行处理的云计算的配置。
另外,上述流程图描述的每个步骤可由一个装置执行或通过分配多个装置来执行。
此外,在一个步骤中包括多个处理的情况下,这一个步骤中包括的多个处理可由一个装置执行或通过分配多个装置来执行。
此外,本技术也可如下配置。
(1)一种接收装置,包括:
接收单元,被配置为接收AV内容;
特征值提取单元,被配置为从接收到的AV内容的数据中提取特征值;
识别结果获取单元,被配置为获取利用所提取的特征值识别的所述AV内容的识别结果;
命令获取单元,被配置为根据所获取的识别结果获取用于控制与所述AV内容联动执行的应用程序的操作的命令;
控制单元,被配置为根据所获取的命令控制所述应用程序的操作;以及
检测单元,被配置为检测所观看的所述AV内容的切换,
其中,当检测到所述AV内容的切换时,所述控制单元关闭与所述AV内容联动执行的所述应用程序。
(2)根据(1)所述的接收装置,
其中,所述检测单元检测从第一AV内容到与该第一AV内容不同的第二AV内容的频道的切换,并且
其中,当检测到从所述第一AV内容到所述第二AV内容的频道的切换时,所述控制单元关闭与所述第一AV内容联动执行的应用程序。
(2)根据(2)所述的接收装置,还包括:
存储单元,被配置为存储从所述第一AV内容的识别结果获得的用于识别所述第一AV内容的第一识别信息,
其中,当检测到从所述第一AV内容到所述第二AV内容的频道的切换时,所述特征值提取单元从所述第二AV内容的数据中提取特征值,
其中,所述识别结果获取单元获取利用所提取的特征值识别的所述第二AV内容的识别结果,并且
其中,当存储的第一识别信息与从所述第二AV内容的识别结果获得的用于识别所述第二AV内容的第二识别结果不同时,所述控制单元关闭所述应用程序。
(4)根据(2)或(3)所述的接收装置,
其中,所述接收单元直接接收从发送装置发送的AV内容,并且
其中,根据对所述接收装置的用于从所述第一AV内容到所述第二AV内容切换频道的操作,所述检测单元检测频道的切换。
(5)根据(2)或(3)所述的接收装置,
其中,当所述接收单元以基于HDMI(高清晰度多媒体接口)标准的方案连接到根据所述接收装置转换从发送装置发送的AV内容的数据的信息处理装置时,所述接收单元从所述信息处理装置接收转换后的AV内容,并且
其中,所述检测单元根据对从所述信息处理装置接收的AV内容的视频信号的分析结果来检测从所述第一AV内容到所述第二AV内容的频道的切换。
(6)根据(5)所述的接收装置,
其中,所述检测单元通过基于从所述信息处理装置接收的AV内容的视频信号分析构成所述AV内容的多个帧是否在预定区间中连续形成同一画面或者所述多个帧是否在预定区间中连续形成黑画面,来检测频道的切换。
(7)根据(2)、(3)和(5)中的任何一项所述的接收装置,其中,所述检测单元根据对从所述信息处理装置接收的AV内容的音频信号的分析结果来检测从所述第一AV内容到所述第二AV内容的频道的切换。
(8)根据(7)所述的接收装置,其中,所述检测单元通过基于从所述信息处理装置接收的AV内容的音频信号分析所述音频信号的样本在预定区间中是否处于无信号状态中或者所述样本在预定区间中是否处于非连续状态中来检测频道的切换。
(9)根据(2)或(3)所述的接收装置,
其中,当所述接收单元以基于HDMI标准的方案连接到根据所述接收装置转换从发送装置发送的AV内容的数据的信息处理装置时,所述接收单元从所述信息处理装置接收转换后的AV内容,并且
其中,根据对所述信息处理装置的用于从所述第一AV内容到所述第二AV内容切换频道的操作,所述检测单元检测频道的切换。
(10)根据(1)所述的接收装置,
其中,当所述接收单元以基于HDMI标准的方案连接到从自多个信息处理装置输入的多个AV内容中选择期望的AV内容并随后输出期望的AV内容的选择器时,所述接收单元接收从所述选择器输出的AV内容,并且
其中,所述检测单元根据由所述选择器提供的AV内容的选择结果来检测所观看的AV内容的切换。
(11)根据(1)至(11)中的任何一项所述的接收装置,其中,所述识别结果获取单元获取利用ACR(自动内容识别)技术从所提取的特征值识别的AV内容的识别结果。
(12)根据(1)至(11)中的任何一项所述的接收装置,其中,所述特征值提取单元从所述AV内容的视频信号和音频信号的一者或两者中提取所述特征值。
(13)根据(1)至(12)中的任何一项所述的接收装置,
其中,所述命令指示所述应用程序的获取或登记、获取或激活、事件触发、停止和关闭中的任何一种,并且
其中,所述控制单元根据每个命令控制所述应用程序的获取或登记或者获取或激活、或者执行中的所述应用程序的事件触发、中止或关闭。
(14)一种接收装置的接收方法,由该接收装置执行的该方法包括以下步骤:
接收AV内容;
从接收到的AV内容的数据中提取特征值;
获取利用所提取的特征值识别的所述AV内容的识别结果;
根据所获取的识别结果获取用于控制与所述AV内容联动执行的应用程序的操作的命令;
根据所获取的命令控制所述应用程序的操作;
检测所观看的所述AV内容的切换;以及
当检测到所述AV内容的切换时,关闭与所述AV内容联动执行的所述应用程序。
(15)一种程序,使得计算机执行以下步骤:
接收AV内容;
从接收到的AV内容的数据中提取特征值;
获取利用所提取的特征值识别的所述AV内容的识别结果;
根据所获取的识别结果获取用于控制与所述AV内容联动执行的应用程序的操作的命令;
根据所获取的命令控制所述应用程序的操作;
检测所观看的所述AV内容的切换;以及
当检测到所述AV内容的切换时,关闭与所述AV内容联动执行的所述应用程序。
(16)一种信息处理系统,包括:
接收装置;
第一信息处理装置;
第二信息处理装置;以及
第三信息处理装置,
其中,所述接收装置包括:接收单元,被配置为接收AV内容;特征值提取单元,被配置为从接收到的AV内容的数据中提取特征值;识别结果获取单元,被配置为将所提取的特征值发送到所述第一信息处理装置并从而获取所述第一信息处理装置利用所述特征值识别所述AV内容的识别结果;命令获取单元,被配置为把从所述第一信息处理装置获取的所述识别结果发送到所述第二信息处理装置并从而根据所述识别结果从所述第二信息处理装置获取用于控制与所述AV内容联动执行的应用程序的操作的命令;控制单元,被配置为根据从所述第二信息处理装置获取的所述命令控制从所述第三信息处理装置获取的所述应用程序的操作;以及检测单元,被配置为检测所观看的所述AV内容的切换,
其中,当检测到所述AV内容的切换时,所述控制单元关闭与所述AV内容联动执行的所述应用程序,
其中,所述第一信息处理装置包括第一提供单元,该第一提供单元被配置为响应于来自所述接收装置的询问而提供通过利用所述特征值识别所述AV内容而获得的所述识别结果,
其中,所述第二信息处理装置包括第二提供单元,该第二提供单元被配置为响应于来自所述接收装置的询问而根据所述识别结果提供所述命令,并且
其中,所述第三信息处理装置包括第三提供单元,该第三提供单元被配置为响应于来自所述接收装置的询问而根据所述命令提供所述应用程序。
附图标记列表
1 广播系统
11 广播装置
12 接收装置
12R 遥控器
13 ACR服务器
14 命令服务器
15 应用服务器
17 CATV装置
19 机顶盒
19R 遥控器
51 调谐器
31 扬声器
32 显示器
41 AV放大器
42 游戏装置
59 HDMI端子
60 指纹提取单元
61 通信I/F
62 命令分析单元
64 控制单元
67 应用引擎
70 频道切换检测单元
71 光感测单元
81 通信系统
91 分发服务器
100 计算机
101 CPU
Claims (16)
1.一种接收装置,包括:
接收单元,被配置为接收AV内容;
特征值提取单元,被配置为从接收到的AV内容的数据中提取特征值;
识别结果获取单元,被配置为获取利用所提取的特征值识别的所述AV内容的识别结果;
命令获取单元,被配置为根据所获取的识别结果获取用于控制与所述AV内容联动执行的应用程序的操作的命令;
控制单元,被配置为根据所获取的命令控制所述应用程序的操作;以及
检测单元,被配置为检测观看的所述AV内容的切换,
其中,当检测到所述AV内容的切换时,所述控制单元关闭与所述AV内容联动执行的应用程序。
2.根据权利要求1所述的接收装置,
其中,所述检测单元检测从第一AV内容到与该第一AV内容不同的第二AV内容的频道的切换,并且
其中,当检测到从所述第一AV内容到所述第二AV内容的频道的切换时,所述控制单元关闭与所述第一AV内容联动执行的应用程序。
3.根据权利要求2所述的接收装置,还包括:
存储单元,被配置为存储从所述第一AV内容的识别结果获得的用于识别所述第一AV内容的第一识别信息,
其中,当检测到从所述第一AV内容到所述第二AV内容的频道的切换时,所述特征值提取单元从所述第二AV内容的数据中提取特征值,
其中,所述识别结果获取单元获取利用所提取的特征值识别的所述第二AV内容的识别结果,并且
其中,当存储的第一识别信息与从所述第二AV内容的识别结果获得的用于识别所述第二AV内容的第二识别结果不同时,所述控制单元关闭所述应用程序。
4.根据权利要求2所述的接收装置,
其中,所述接收单元直接接收从发送装置发送的AV内容,并且
其中,根据对所述接收装置的用于从所述第一AV内容到所述第二AV内容切换频道的操作,所述检测单元检测频道的切换。
5.根据权利要求2所述的接收装置,
其中,当所述接收单元以基于HDMI(高清晰度多媒体接口)标准的方案连接到根据所述接收装置转换从发送装置发送的AV内容的数据的信息处理装置时,所述接收单元从所述信息处理装置接收转换后的AV内容,并且
其中,所述检测单元根据对从所述信息处理装置接收的AV内容的视频信号的分析结果来检测从所述第一AV内容到所述第二AV内容的频道的切换。
6.根据权利要求5所述的接收装置,
其中,所述检测单元通过基于从所述信息处理装置接收的AV内容的视频信号分析构成所述AV内容的多个帧是否在预定区间中连续形成同一画面或者所述多个帧是否在预定区间中连续形成黑画面,来检测频道的切换。
7.根据权利要求5所述的接收装置,其中,所述检测单元根据对从所述信息处理装置接收的AV内容的音频信号的分析结果来检测从所述第一AV内容到所述第二AV内容的频道的切换。
8.根据权利要求7所述的接收装置,其中,所述检测单元通过基于从所述信息处理装置接收的AV内容的音频信号分析所述音频信号的样本在预定区间中是否处于无信号状态中或者所述样本在预定区间中是否处于非连续状态中来检测频道的切换。
9.根据权利要求2所述的接收装置,
其中,当所述接收单元以基于HDMI标准的方案连接到根据所述接收装置转换从发送装置发送的AV内容的数据的信息处理装置时,所述接收单元从所述信息处理装置接收转换后的AV内容,并且
其中,根据对所述信息处理装置的用于从所述第一AV内容到所述第二AV内容切换频道的操作,所述检测单元检测频道的切换。
10.根据权利要求1所述的接收装置,
其中,当所述接收单元以基于HDMI标准的方案连接到从自多个信息处理装置输入的多个AV内容中选择期望的AV内容并随后输出期望的AV内容的选择器时,所述接收单元接收从所述选择器输出的AV内容,并且
其中,所述检测单元根据由所述选择器提供的AV内容的选择结果来检测观看的AV内容的切换。
11.根据权利要求1所述的接收装置,其中,所述识别结果获取单元获取利用ACR(自动内容识别)技术从所提取的特征值识别的AV内容的识别结果。
12.根据权利要求1所述的接收装置,其中,所述特征值提取单元从所述AV内容的视频信号和音频信号的一者或两者中提取所述特征值。
13.根据权利要求1所述的接收装置,
其中,所述命令指示所述应用程序的获取或登记、获取或激活、事件触发、停止以及关闭中的任何一个,并且
其中,所述控制单元根据每个命令控制所述应用程序的获取或登记或者获取或激活、或者执行中的所述应用程序的事件触发、中止或关闭。
14.一种接收装置的接收方法,由该接收装置执行的该方法包括以下步骤:
接收AV内容;
从接收到的AV内容的数据中提取特征值;
获取利用所提取的特征值识别的所述AV内容的识别结果;
根据所获取的识别结果获取用于控制与所述AV内容联动执行的应用程序的操作的命令;
根据所获取的命令控制所述应用程序的操作;
检测观看的AV内容的切换;以及
当检测到所述AV内容的切换时,关闭与所述AV内容联动执行的应用程序。
15.一种程序,使得计算机执行以下步骤:
接收AV内容;
从接收到的AV内容的数据中提取特征值;
获取利用所提取的特征值识别的所述AV内容的识别结果;
根据所获取的识别结果获取用于控制与所述AV内容联动执行的应用程序的操作的命令;
根据所获取的命令控制所述应用程序的操作;
检测所观看的所述AV内容的切换;以及
当检测到所述AV内容的切换时,关闭与所述AV内容联动执行的所述应用程序。
16.一种信息处理系统,包括:
接收装置;
第一信息处理装置;
第二信息处理装置;以及
第三信息处理装置,
其中,所述接收装置包括:接收单元,被配置为接收AV内容;特征值提取单元,被配置为从接收到的AV内容的数据中提取特征值;识别结果获取单元,被配置为将所提取的特征值发送到所述第一信息处理装置并从而获取所述第一信息处理装置利用所述特征值识别所述AV内容的识别结果;命令获取单元,被配置为把从所述第一信息处理装置获取的所述识别结果发送到所述第二信息处理装置并从而根据所述识别结果从所述第二信息处理装置获取用于控制与所述AV内容联动执行的应用程序的操作的命令;控制单元,被配置为根据从所述第二信息处理装置获取的所述命令控制从所述第三信息处理装置获取的所述应用程序的操作;以及检测单元,被配置为检测观看的AV内容的切换,
其中,当检测到所述AV内容的切换时,所述控制单元关闭与所述AV内容联动执行的所述应用程序,
其中,所述第一信息处理装置包括第一提供单元,该第一提供单元被配置为响应于来自所述接收装置的询问而提供通过利用所述特征值识别所述AV内容而获得的所述识别结果,
其中,所述第二信息处理装置包括第二提供单元,该第二提供单元被配置为响应于来自所述接收装置的询问而提供与所述识别结果相应的命令,并且
其中,所述第三信息处理装置包括第三提供单元,该第三提供单元被配置为响应于来自所述接收装置的询问而提供与所述命令相应的应用程序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011207842A JP5948773B2 (ja) | 2011-09-22 | 2011-09-22 | 受信装置、受信方法、プログラム、及び情報処理システム |
JP2011-207842 | 2011-09-22 | ||
PCT/JP2012/072354 WO2013042531A1 (ja) | 2011-09-22 | 2012-09-03 | 受信装置、受信方法、プログラム、及び情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103814569A true CN103814569A (zh) | 2014-05-21 |
CN103814569B CN103814569B (zh) | 2017-09-12 |
Family
ID=47914308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280044760.1A Active CN103814569B (zh) | 2011-09-22 | 2012-09-03 | 接收装置、接收方法、接收设备和信息处理系统 |
Country Status (10)
Country | Link |
---|---|
US (3) | US9503778B2 (zh) |
EP (1) | EP2760200A4 (zh) |
JP (1) | JP5948773B2 (zh) |
KR (1) | KR102086870B1 (zh) |
CN (1) | CN103814569B (zh) |
AU (1) | AU2012310795B2 (zh) |
BR (1) | BR112014006092A2 (zh) |
CA (1) | CA2845593C (zh) |
MX (1) | MX336516B (zh) |
WO (1) | WO2013042531A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108604252A (zh) * | 2016-01-05 | 2018-09-28 | 格雷斯诺特公司 | 具有基于信道改变的触发特征的计算系统 |
CN108702545A (zh) * | 2016-02-29 | 2018-10-23 | 格雷斯诺特公司 | 用于检测和响应媒体频道变化的方法和系统 |
CN112333524A (zh) * | 2015-12-16 | 2021-02-05 | 格雷斯诺特公司 | 动态视频覆盖 |
JP2022547385A (ja) * | 2019-07-19 | 2022-11-14 | アイビクィティ デジタル コーポレイション | 対象を定めたラジオ放送音声用フィンガープリント |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9501399B2 (en) * | 2011-02-04 | 2016-11-22 | Kabushiki Kaisha Toshiba | Memory system capable of controlling wireless communication function |
JP5372049B2 (ja) | 2011-02-04 | 2013-12-18 | 株式会社東芝 | メモリシステム |
RU2594000C2 (ru) | 2011-08-05 | 2016-08-10 | Сони Корпорейшн | Приемное устройство, способ приема, носитель записи и система обработки информации |
US9049496B2 (en) * | 2011-09-01 | 2015-06-02 | Gracenote, Inc. | Media source identification |
US9769503B2 (en) * | 2012-11-14 | 2017-09-19 | Saturn Licensing Llc | Information processor, information processing method and program |
US9146990B2 (en) * | 2013-01-07 | 2015-09-29 | Gracenote, Inc. | Search and identification of video content |
JP5838351B2 (ja) * | 2013-03-26 | 2016-01-06 | パナソニックIpマネジメント株式会社 | 映像受信装置及び受信映像の画像認識方法 |
US9955103B2 (en) | 2013-07-26 | 2018-04-24 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving device, appended information display method, and appended information display system |
WO2015015712A1 (ja) | 2013-07-30 | 2015-02-05 | パナソニックIpマネジメント株式会社 | 映像受信装置、付加情報表示方法および付加情報表示システム |
WO2015033501A1 (ja) | 2013-09-04 | 2015-03-12 | パナソニックIpマネジメント株式会社 | 映像受信装置、映像認識方法および付加情報表示システム |
JP6281125B2 (ja) | 2013-09-04 | 2018-02-21 | パナソニックIpマネジメント株式会社 | 映像受信装置、映像認識方法および付加情報表示システム |
KR101966940B1 (ko) * | 2013-11-15 | 2019-08-13 | 삼성전자주식회사 | 디스플레이 장치 및 이의 통합 리모컨 설정 방법 |
JP2015167345A (ja) * | 2014-02-14 | 2015-09-24 | ミハル通信株式会社 | Catv監視装置およびcatv監視方法 |
EP3125125A4 (en) | 2014-03-24 | 2018-07-25 | Square Enix Co., Ltd. | Interactive system, terminal device, server device, control method, program, and recording medium |
EP3125569A4 (en) | 2014-03-26 | 2017-03-29 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving device, video recognition method, and supplementary information display system |
EP3125567B1 (en) | 2014-03-26 | 2019-09-04 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving device, video recognition method, and supplementary information display system |
CN104023251B (zh) * | 2014-06-13 | 2015-08-19 | 腾讯科技(深圳)有限公司 | 基于视频的互动方法和系统 |
WO2016009637A1 (ja) | 2014-07-17 | 2016-01-21 | パナソニックIpマネジメント株式会社 | 認識データ生成装置、画像認識装置および認識データ生成方法 |
WO2016027457A1 (ja) | 2014-08-21 | 2016-02-25 | パナソニックIpマネジメント株式会社 | コンテンツ認識装置およびコンテンツ認識方法 |
KR20160085076A (ko) * | 2015-01-07 | 2016-07-15 | 삼성전자주식회사 | 콘텐츠를 제공하는 방송 서버를 판단하는 방법 및 이를 제공하는 전자 장치 |
US10750236B2 (en) * | 2015-04-23 | 2020-08-18 | The Nielsen Company (Us), Llc | Automatic content recognition with local matching |
US9516377B1 (en) * | 2015-06-12 | 2016-12-06 | Sorenson Media, Inc. | Detecting channel change in automatic content recognition fingerprint matching |
US9918141B2 (en) * | 2015-08-05 | 2018-03-13 | Surewaves Mediatech Private Limited | System and method for monitoring and detecting television ads in real-time using content databases (ADEX reporter) |
US9699504B2 (en) * | 2015-09-28 | 2017-07-04 | Rovi Guides, Inc. | Systems and methods for identifying a source of media content based on a log of content identifiers |
US9854304B2 (en) | 2015-09-28 | 2017-12-26 | Rovi Guides, Inc. | Systems and methods for identifying a source of media content based on a log of fingerprints |
KR20170052364A (ko) * | 2015-11-04 | 2017-05-12 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
KR102560635B1 (ko) * | 2015-12-28 | 2023-07-28 | 삼성전자주식회사 | 컨텐트 인식 장치 및 그 동작 방법 |
US10063918B2 (en) | 2016-02-29 | 2018-08-28 | Gracenote, Inc. | Media channel identification with multi-match detection and disambiguation based on single-match |
US9930406B2 (en) | 2016-02-29 | 2018-03-27 | Gracenote, Inc. | Media channel identification with video multi-match detection and disambiguation based on audio fingerprint |
KR102504174B1 (ko) | 2018-05-11 | 2023-02-27 | 삼성전자주식회사 | 전자 장치 및 그의 제어방법 |
KR102546026B1 (ko) | 2018-05-21 | 2023-06-22 | 삼성전자주식회사 | 전자 장치 및 그의 컨텐츠 인식 정보 획득 |
KR102599951B1 (ko) * | 2018-06-25 | 2023-11-09 | 삼성전자주식회사 | 전자 장치 및 그의 제어방법 |
JP7313972B2 (ja) * | 2018-08-22 | 2023-07-25 | 日本放送協会 | 受信機および端末装置 |
KR20200080387A (ko) | 2018-12-18 | 2020-07-07 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
WO2023176997A1 (ko) * | 2022-03-17 | 2023-09-21 | 엘지전자 주식회사 | 디스플레이 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101218819A (zh) * | 2005-05-26 | 2008-07-09 | 韩国电子通信研究院 | 数字多媒体广播中同步数据服务和视频服务的方法和装置 |
CN101562689A (zh) * | 2008-04-17 | 2009-10-21 | 索尼株式会社 | 音频处理装置、音频处理方法和程序 |
US20100138873A1 (en) * | 2005-10-07 | 2010-06-03 | Sharp Kabushiki Kaisha | Receiving device, server, television receiver, mobile terminal, system, receiving method, information processing program, and storage medium |
JP2010182323A (ja) * | 2000-02-19 | 2010-08-19 | Digimarc Corp | 透かしエンコーダ及びデコーダイネーブルソフトウェア及び装置 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7372976B2 (en) | 1998-04-16 | 2008-05-13 | Digimarc Corporation | Content indexing and searching using content identifiers and associated metadata |
US8332478B2 (en) | 1998-10-01 | 2012-12-11 | Digimarc Corporation | Context sensitive connected content |
US8645838B2 (en) | 1998-10-01 | 2014-02-04 | Digimarc Corporation | Method for enhancing content using persistent content identification |
US20020062382A1 (en) | 1999-05-19 | 2002-05-23 | Rhoads Geoffrey B. | Collateral data combined with other data to select web site |
US20020032734A1 (en) | 2000-07-26 | 2002-03-14 | Rhoads Geoffrey B. | Collateral data combined with user characteristics to select web site |
US7298864B2 (en) | 2000-02-19 | 2007-11-20 | Digimarc Corporation | Digital watermarks as a gateway and control mechanism |
US8091025B2 (en) | 2000-03-24 | 2012-01-03 | Digimarc Corporation | Systems and methods for processing content objects |
US20030187798A1 (en) | 2001-04-16 | 2003-10-02 | Mckinley Tyler J. | Digital watermarking methods, programs and apparatus |
FR2832580B1 (fr) | 2001-11-16 | 2004-01-30 | Thales Sa | Signal de programme de diffusion avec commande, systemes d'inscription et de lecture de commande, chaine de production et de diffusion associes |
JP4370560B2 (ja) * | 2003-07-31 | 2009-11-25 | 日本電気株式会社 | 視聴調査システム、方法、視聴調査用プログラム、視聴調査端末およびサーバー |
JP4691216B2 (ja) | 2005-02-28 | 2011-06-01 | 株式会社日立国際電気 | デジタル放送受信機 |
WO2006126852A1 (en) | 2005-05-26 | 2006-11-30 | Electronics And Telecommunications Research Institute | Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting |
CN101485123B (zh) * | 2006-07-04 | 2014-08-20 | 皇家飞利浦电子股份有限公司 | 内容替换的方法 |
US20080256115A1 (en) * | 2007-04-11 | 2008-10-16 | Oleg Beletski | Systems, apparatuses and methods for identifying transitions of content |
JP2009212743A (ja) | 2008-03-04 | 2009-09-17 | Sony Corp | 電子機器、送信方法及びプログラム |
US9390167B2 (en) * | 2010-07-29 | 2016-07-12 | Soundhound, Inc. | System and methods for continuous audio matching |
JP5152056B2 (ja) * | 2009-03-19 | 2013-02-27 | 富士通モバイルコミュニケーションズ株式会社 | 無線送信装置、無線受信装置および無線通信方法 |
DE102009016853A1 (de) * | 2009-04-08 | 2010-10-14 | Bayer Materialscience Ag | Verfahren zur Herstellung von Diaryl- oder Alkylarylcarbonaten aus Dialkylcarbonaten |
US20110063503A1 (en) * | 2009-07-06 | 2011-03-17 | Brand Steven M | Synchronizing secondary content to a multimedia presentation |
US8695053B2 (en) * | 2009-09-10 | 2014-04-08 | Jeffrey Huang | Apparatus and method for multimedia data reception, processing, routing, storage, and access using a web / cloud-computing synchronization of personal multimedia data |
US20110154200A1 (en) * | 2009-12-23 | 2011-06-23 | Apple Inc. | Enhancing Media Content with Content-Aware Resources |
JP5498179B2 (ja) * | 2010-01-25 | 2014-05-21 | キヤノン株式会社 | デジタル放送受信装置、及びその制御方法 |
JP5668512B2 (ja) * | 2011-02-15 | 2015-02-12 | ソニー株式会社 | 情報処理装置、及び、情報処理方法 |
-
2011
- 2011-09-22 JP JP2011207842A patent/JP5948773B2/ja active Active
-
2012
- 2012-09-03 KR KR1020147006557A patent/KR102086870B1/ko active IP Right Grant
- 2012-09-03 CA CA2845593A patent/CA2845593C/en active Active
- 2012-09-03 EP EP12833101.4A patent/EP2760200A4/en not_active Ceased
- 2012-09-03 CN CN201280044760.1A patent/CN103814569B/zh active Active
- 2012-09-03 US US14/241,759 patent/US9503778B2/en active Active
- 2012-09-03 MX MX2014003104A patent/MX336516B/es unknown
- 2012-09-03 AU AU2012310795A patent/AU2012310795B2/en active Active
- 2012-09-03 BR BR112014006092A patent/BR112014006092A2/pt not_active Application Discontinuation
- 2012-09-03 WO PCT/JP2012/072354 patent/WO2013042531A1/ja active Application Filing
-
2016
- 2016-10-11 US US15/290,814 patent/US9967613B2/en active Active
- 2016-11-18 US US15/356,009 patent/US10440423B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010182323A (ja) * | 2000-02-19 | 2010-08-19 | Digimarc Corp | 透かしエンコーダ及びデコーダイネーブルソフトウェア及び装置 |
CN101218819A (zh) * | 2005-05-26 | 2008-07-09 | 韩国电子通信研究院 | 数字多媒体广播中同步数据服务和视频服务的方法和装置 |
US20100138873A1 (en) * | 2005-10-07 | 2010-06-03 | Sharp Kabushiki Kaisha | Receiving device, server, television receiver, mobile terminal, system, receiving method, information processing program, and storage medium |
CN101562689A (zh) * | 2008-04-17 | 2009-10-21 | 索尼株式会社 | 音频处理装置、音频处理方法和程序 |
Non-Patent Citations (1)
Title |
---|
CHRISTOPHER HOWSON ET AL: "《Second Screen TV Synchronization》", 《2011 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112333524A (zh) * | 2015-12-16 | 2021-02-05 | 格雷斯诺特公司 | 动态视频覆盖 |
CN112333524B (zh) * | 2015-12-16 | 2024-02-02 | 六科股份有限公司 | 动态视频覆盖 |
US11778285B2 (en) | 2016-01-05 | 2023-10-03 | Roku, Inc. | Computing system with channel-change-based trigger feature |
US10841665B2 (en) | 2016-01-05 | 2020-11-17 | The Nielsen Company (US) LLP | Computing system with content-characteristic-based trigger feature |
US11706500B2 (en) | 2016-01-05 | 2023-07-18 | Roku, Inc. | Computing system with content-characteristic-based trigger feature |
CN108604252A (zh) * | 2016-01-05 | 2018-09-28 | 格雷斯诺特公司 | 具有基于信道改变的触发特征的计算系统 |
CN108605150A (zh) * | 2016-01-05 | 2018-09-28 | 格雷斯诺特公司 | 具有基于内容特性的触发特征的计算系统 |
US12081845B2 (en) | 2016-01-05 | 2024-09-03 | Roku, Inc. | Computing system with channel-change-based trigger feature |
CN108702545B (zh) * | 2016-02-29 | 2020-12-25 | 格雷斯诺特公司 | 用于检测和响应媒体频道变化的方法和系统 |
CN108702545A (zh) * | 2016-02-29 | 2018-10-23 | 格雷斯诺特公司 | 用于检测和响应媒体频道变化的方法和系统 |
CN112702648A (zh) * | 2016-02-29 | 2021-04-23 | 格雷斯诺特公司 | 用于检测和响应媒体频道变化的方法和系统 |
CN112702648B (zh) * | 2016-02-29 | 2024-08-30 | 六科股份有限公司 | 用于检测和响应媒体频道变化的方法和系统 |
JP2022547385A (ja) * | 2019-07-19 | 2022-11-14 | アイビクィティ デジタル コーポレイション | 対象を定めたラジオ放送音声用フィンガープリント |
JP7381712B2 (ja) | 2019-07-19 | 2023-11-15 | アイビクィティ デジタル コーポレイション | 対象を定めたラジオ放送音声用フィンガープリント |
Also Published As
Publication number | Publication date |
---|---|
JP2013070268A (ja) | 2013-04-18 |
CA2845593C (en) | 2020-01-28 |
BR112014006092A2 (pt) | 2017-04-04 |
KR20140063686A (ko) | 2014-05-27 |
WO2013042531A1 (ja) | 2013-03-28 |
US20170034573A1 (en) | 2017-02-02 |
US20140230002A1 (en) | 2014-08-14 |
JP5948773B2 (ja) | 2016-07-06 |
EP2760200A1 (en) | 2014-07-30 |
CN103814569B (zh) | 2017-09-12 |
MX2014003104A (es) | 2014-04-25 |
CA2845593A1 (en) | 2013-03-28 |
KR102086870B1 (ko) | 2020-03-09 |
US9503778B2 (en) | 2016-11-22 |
AU2012310795B2 (en) | 2017-06-08 |
AU2012310795A1 (en) | 2014-03-20 |
MX336516B (es) | 2016-01-22 |
US9967613B2 (en) | 2018-05-08 |
US10440423B2 (en) | 2019-10-08 |
US20170070771A1 (en) | 2017-03-09 |
EP2760200A4 (en) | 2015-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103814569A (zh) | 接收装置、接收方法、程序和信息处理系统 | |
US12063411B2 (en) | Reception apparatus, reception method, program, and information processing system | |
US20190082212A1 (en) | Method for receiving enhanced service and display apparatus thereof | |
CN104137560B (zh) | 图像显示设备及其操作方法 | |
CN103718564B (zh) | 接收装置、接收方法以及信息处理系统 | |
US20190014364A1 (en) | Video display device and control method thereof | |
CN103329554B (zh) | 接收装置、接收方法、提供装置、提供方法、程序和广播系统 | |
EP2763427B1 (en) | System and method for providing content-associated information associated with broadcast content | |
CA2862575C (en) | Video display apparatus and operating method thereof | |
EP2773108B1 (en) | Reception device, reception method, program, and information processing system | |
CN103329562A (zh) | 接收装置、接收方法、提供装置、提供方法、程序和广播系统 | |
CN105791953B (zh) | 播放控制方法和装置 | |
KR101004124B1 (ko) | 오디오비주얼 프로그램 동기화 시스템 및 방법 | |
US20140115620A1 (en) | Identifying an End of a Television Program | |
US20100257571A1 (en) | Information delivery system and method, information delivery device, and reception device | |
CN103686265A (zh) | 数字电视接收装置及其播放节目的方法和数字电视系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |