CN105144735A - 影像接收装置、影像识别方法以及附加信息显示系统 - Google Patents

影像接收装置、影像识别方法以及附加信息显示系统 Download PDF

Info

Publication number
CN105144735A
CN105144735A CN201480003481.XA CN201480003481A CN105144735A CN 105144735 A CN105144735 A CN 105144735A CN 201480003481 A CN201480003481 A CN 201480003481A CN 105144735 A CN105144735 A CN 105144735A
Authority
CN
China
Prior art keywords
video
information
image
audiovisual
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480003481.XA
Other languages
English (en)
Inventor
薮博史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105144735A publication Critical patent/CN105144735A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/237—Communication with additional data server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

在缩短时间的同时精度良好地进行与从外部输入的影像信号相关的影像识别处理。为此，构成为经由通信网络(16)来进行数据的收发的影像接收装置(40)具备影像识别部(66)。影像识别部构成为根据由影像提取部(45)提取的部分影像来生成第2内容识别信息，并进行联机匹配处理和本地匹配处理的至少一方，在所述联机匹配处理中，向影像识别装置(20)发送第2内容识别信息来委托影像识别处理，在所述本地匹配处理中，将第2内容识别信息与存储在存储部(47)中的本地数据库所包含的第1内容识别信息进行对照。

Description

影像接收装置、影像识别方法以及附加信息显示系统
技术领域
本公开涉及取得与从外部输入的影像信号相关的附加信息并将其重叠于影像信号的影像接收装置。
背景技术
专利文献1公开一种数据处理系统。在该系统中，客户端装置向作为影像识别装置的服务器装置通过网络发送影像数据，委托影像识别处理。服务器装置基于接收到的影像数据进行影像识别，并将影像识别的结果通过网络发送到客户端装置。
在先技术文献
专利文献
专利文献1：JP特开平10-214258号公报
发明内容
本公开提供一种对于取得与从外部输入的影像信号相关的附加信息并将所取得的附加信息重叠于影像信号而言有效的影像接收装置、影像识别方法、以及附加信息显示系统。
本公开的影像接收装置构成为能够经由通信网络进行数据的收发，具备输入部、影像提取部、存储部、影像识别部、以及控制部。输入部构成为输入从设置在外部的影像发送装置输出的影像信号。影像提取部构成为从该影像信号中提取影像识别处理用的部分影像。存储部构成为存储在与通信网络连接的影像识别装置中基于本地数据库生成用信息而生成的本地数据库。影像识别部构成为根据该部分影像来生成第2内容识别信息，并进行联机匹配处理和本地匹配处理的至少一方，在所述联机匹配处理中，向影像识别装置发送第2内容识别信息来委托影像识别处理，在所述本地匹配处理中，将第2内容识别信息与存储在存储部中的本地数据库所包含的第1内容识别信息进行对照。控制部构成为进行从影像识别装置取得本地数据库的控制，并且进行从与通信网络连接的附加信息分发装置取得基于联机匹配处理的结果或本地匹配处理的结果的附加信息的控制。
本公开的影像识别方法是构成为能够经由通信网络进行数据的收发的影像接收装置中的影像识别方法，具备如下步骤：从由外部输入的影像信号中提取影像识别处理用的部分影像的步骤；取得在与通信网络连接的影像识别装置中基于本地数据库生成用信息而生成的本地数据库并将该本地数据库存储于存储部的步骤；根据部分影像来生成第2内容识别信息的步骤；进行联机匹配处理和本地匹配处理的至少一方的步骤，在所述联机匹配处理中，对影像识别装置发送第2内容识别信息来委托影像识别处理，在所述本地匹配处理中，将第2内容识别信息与存储在存储部中的本地数据库所包含的第1内容识别信息进行对照；和从与通信网络连接的附加信息分发装置取得基于联机匹配处理的结果或本地匹配处理的结果的附加信息的步骤。
本公开的附加信息显示系统具备构成为能够经由通信网络相互进行数据的收发的影像接收装置、影像识别装置、以及附加信息分发装置。影像接收装置具备输入部、影像提取部、存储部、影像识别部、以及控制部。输入部构成为输入从设置在外部的影像发送装置输出的影像信号。影像提取部构成为从该影像信号中提取影像识别用的部分影像。存储部构成为存储在影像识别装置中基于本地数据库生成用信息而生成的本地数据库。影像识别部构成为根据该部分影像来生成第2内容识别信息，并进行联机匹配处理和本地匹配处理的至少一方，在所述联机匹配处理中，向影像识别装置经由通信网络发送第2内容识别信息来委托影像识别处理，在所述本地匹配处理中，将第2内容识别信息与存储在存储部中的本地数据库所包含的第1内容识别信息进行对照。控制部构成为进行从影像识别装置经由通信网络来取得本地数据库的控制，并且构成为进行从附加信息分发装置经由通信网络来取得基于联机匹配处理的结果或本地匹配处理的结果的附加信息的控制。影像识别装置构成为根据所取得的影像信号来生成并存储第1内容识别信息，并从所生成的第1内容识别信息中选择与本地数据库生成用信息相关联的第1内容识别信息来生成本地数据库并将该本地数据库发送到影像接收装置，并且，构成为将经由通信网络而接收到的第2内容识别信息与所存储的第1内容识别信息进行对照来进行联机匹配处理。附加信息分发装置构成为将经由通信网络而接收到的联机匹配处理的结果或本地匹配处理的结果所对应的附加信息经由通信网络发送到影像接收装置。
附图说明
图1是简要表示实施方式1中的附加信息显示系统的构成的一例的图。
图2是简要表示实施方式1中的影像识别装置的动作的一例的示意图。
图3是简要表示实施方式1中的影像识别装置以及影像接收装置的构成的一例的框图。
图4是简要表示实施方式1中的附加信息显示系统的联机匹配处理(onlinematchingprocessing)和本地匹配处理(localmatchingprocessing)的概要的示意图。
图5是简要表示实施方式1中的影像接收装置所进行的附加信息显示处理的动作的流程图。
图6是简要表示实施方式1中的影像接收装置所进行的内容确定处理(contentspecifyingprocessing)的动作的流程图。
图7是简要表示实施方式1中的影像接收装置所进行的本地匹配处理的动作的流程图。
图8是表示实施方式1中的影像接收装置以及影像识别装置所进行的联机匹配处理的动作的流程图。
图9是简要表示实施方式1中的影像接收装置以及影像识别装置所进行的本地数据库更新处理的动作的流程图。
图10是简要表示实施方式1中的影像接收装置所进行的下次视听信息生成处理的动作的流程图。
图11是简要表示实施方式1中的影像接收装置所进行的下次视听时间带选定处理的动作的流程图。
图12是简要表示实施方式1中的影像接收装置所进行的下次视听时间带选定处理的动作的一例的示意图。
图13是表示实施方式1中的影像接收装置的影像识别部所算出的下次视听时间带似然(nextviewingtimezonelikelihoods)的一例的图。
图14是简要表示实施方式1中的影像接收装置所进行的下次视听频道选定处理的动作的流程图。
图15是简要表示实施方式1中的影像接收装置所进行的下次视听频道选定处理的动作的一例的示意图。
图16是表示实施方式1中的影像接收装置的影像识别部所算出的下次视听频道似然的一例的图。
图17是简要表示其他实施方式中的影像接收装置所进行的内容确定处理的动作的流程图。
图18是简要表示其他实施方式中的影像接收装置以及影像识别装置所进行的本地数据库更新处理的动作的一例的流程图。
图19是简要表示其他实施方式中的影像接收装置以及影像识别装置所进行的本地数据库更新处理的动作的另一例的流程图。
图20是简要表示其他实施方式中的影像识别装置以及影像接收装置的构成的一例的框图。
具体实施方式
以下，适当参照附图，对实施方式进行详细说明。但是，有时省略过于详细的说明。例如，有时省略已被熟知的事项的详细说明、对实质上相同的构成的重复说明。这是为了避免以下的说明变得过于冗长，使本领域技术人员容易理解。
另外，附图以及以下的说明是为了本领域技术人员充分理解本公开而提供的，并非意图通过这些来限定权利要求书中记载的主题。
(实施方式1)
以下，利用图1～图16，对实施方式1进行说明。
[1-1.构成]
[1-1-1.附加信息显示系统构成的概要]
图1是简要表示实施方式1中的附加信息显示系统10的构成的一例的图。附加信息显示系统10具备广播电台12、作为影像发送装置的STB(SetTopBox，机顶盒)14、影像识别装置20、附加信息分发装置30、以及影像接收装置40。附加信息显示系统10是如下通信系统：构成为能够利用影像识别装置20所具有的影像识别技术，对影像接收装置40所接收的影像是什么内容的影像进行确定，并从附加信息分发装置30取得与该内容关联的附加信息将其显示于影像接收装置40。
影像接收装置40和影像识别装置20以及附加信息分发装置30经由通信网络16相互连接。
通信网络16由有线、或无线、或者其双方混合存在而构成。通信网络16例如是因特网，但也可以是内部网、商业线路、或者其他通信线路，也可以这些网络混合存在。
影像接收装置40和STB14经由通信接口相互连接。通信接口例如是HDMI(注册商标)(High-DefinitionMultimediaInterfase，高清晰度多媒体接口)，但也可以是视频线缆，或者也可以是Wi-Fi(注册商标)、Bluetooth(注册商标)、无线LAN(LocalAreaNetwork，局域网)等的无线通信。
广播电台12是构成为对广播信号进行发送(广播)的发送装置。广播电台12将包含节目主体和商业广告(CM)的电视节目变为影像信号而重叠于广播信号进行广播。节目主体和CM伴随时间的经过而相互切换。以下，将节目主体、CM记作“内容”。即，广播电台12对伴随时间的经过而切换的内容进行广播。另外，发送装置决不限定于广播电台12，只要是对伴随时间的经过而切换的内容进行发送或广播的装置即可。
STB14是构成为接收广播电台12所广播的广播信号并取出影像信号的接收机(调谐器)。例如在广播电台12对数字的影像信号进行广播的情况下，STB14也可以具备对接收到的影像信号进行解码的功能。STB14从广播电台12所广播的多个频道中，接收基于用户(User)的指示而选台的频道，将该频道的影像信号经由通信接口(例如，HDMI(注册商标))输出到影像接收装置40。另外，影像发送装置决不限定于STB14，也可以为例如同时具有录像功能、广播信号接收功能、和影像信号输出功能的录像装置等。
影像识别装置20是与通信网络16连接的服务器装置，是进行基于影像识别处理的内容确定处理的Web站点。内容确定处理是指，基于从影像接收装置40经由通信网络16发送来的第2内容识别信息进行影像识别处理，并基于该影像识别处理的结果来确定该第2内容识别信息所表示的内容的处理。为了用于这些处理，影像识别装置20取得广播电台12所广播的内容(影像信号)并进行解析，根据该内容生成第1内容识别信息和解析信息存储到存储部23中。该第1内容识别信息例如是构成动态图像的各图像的哈希值(hashvalue)。以下，也将该第1内容识别信息记作“服务器影像识别信息”。即，影像识别装置20执行动作，将接收到的第2内容识别信息与影像识别装置20预先生成并存储在存储部23中的“服务器影像识别信息”进行对照(影像识别处理)，基于该对照的结果对内容进行确定(内容确定处理)，并将与确定出的内容关联的解析信息回送到影像接收装置40。
影像识别装置20由于接收广播电台12所广播的庞大数量的内容，对这些内容进行解析并将其结果存储于存储部23，因此存储于存储部23的信息量也变得庞大。以下，将存储于存储部23的信息(使用于内容确定处理的信息)的集合体记作“联机数据库”。影像识别装置20还进行如下处理：从这些庞大的信息量的联机数据库中选择给定的第1内容识别信息(服务器影像识别信息)以及解析信息来生成“本地数据库”，并发送到影像接收装置40。
影像识别装置20的动作的详情在后面叙述。
影像接收装置40是构成为将基于从外部输入的影像信号的影像显示于显示部54的影像接收设备，例如是电视接收机。影像接收装置40与通信网络16连接，能够经由通信网络16与影像识别装置20以及附加信息分发装置30进行数据的收发。
本实施方式中的影像接收装置40，构成为能够进行以下处理。影像接收装置40利用影像识别装置20来进行与从影像发送装置(例如，STB14)经由通信接口而输入的影像信号相关的内容确定处理(基于影像识别处理的内容确定处理)。如上所述，内容确定处理是指，对该影像信号所表示的内容进行确定的处理。影像接收装置40接收作为内容确定处理的结果而从影像识别装置20发送来的解析信息，基于该解析信息，从附加信息分发装置30取得与该内容关联的附加信息(例如，广告信息)，并将取得的附加信息重叠于该影像信号来显示于显示部54。
具体来说，影像接收装置40通过从输入的影像信号中周期性地切割出一部分来周期性地提取部分影像，将根据该部分影像而生成的第2内容识别信息和内容确定处理(基于影像识别处理的内容确定处理)的请求经由通信网络16发送到影像识别装置20。该第2内容识别信息，例如是构成部分影像的各图像的哈希值。以下，也将影像接收装置40所生成的第2内容识别信息记作“终端影像识别信息”。此外，也将从影像接收装置40向影像识别装置20发送的内容确定处理的请求记作“影像识别请求”。然后，影像接收装置40从影像识别装置20经由通信网络16取得针对该第2内容识别信息的内容确定处理的结果(解析信息)。在本实施方式中，将影像接收装置40利用影像识别装置20进行的内容确定处理(基于影像识别处理的内容确定处理)称作“联机匹配处理”。
此外，影像接收装置40接收从影像识别装置20发送的“本地数据库”并将其存储于存储部47。在该本地数据库中，包含由影像识别装置20生成的第1内容识别信息(服务器影像识别信息)和解析信息。然后，影像接收装置40还进行如下动作：与上述的联机匹配处理分开地将终端影像识别信息与存储于存储部47的本地数据库进行对照来进行内容确定处理，并从存储部47读出基于该结果的解析信息。在本实施方式中，将利用存储于存储部47的本地数据库来进行的内容确定处理称作“本地匹配处理”。
然后，影像接收装置40从附加信息分发装置30经由通信网络16取得与作为联机匹配处理或本地匹配处理的结果而取得的解析信息相关联的附加信息。然后，将基于所取得的附加信息的图像(图1中表示为“附加信息51”)，与在显示部54显示中的影像重叠地进行显示。这些详情在后面叙述。
另外，在本实施方式中，说明将内容识别信息(终端影像识别信息、服务器影像识别信息)设为指纹(fingerprint)的例子。内容识别信息是用于识别影像的信息，指纹是构成部分影像或动态图像的各图像的哈希值。但是，内容识别信息只要是能够使用于影像识别处理的信息(数据)即可，决不限定于指纹(哈希值)。
附加信息分发装置30是与通信网络16连接的服务器装置，是对各种各样的商品的广告信息进行保持和分发的Web站点(广告分发站点)。附加信息分发装置30若经由通信网络16接收了从影像接收装置40发送来的内容确定处理的结果(影像接收装置40作为联机匹配处理的结果而从影像识别装置20取得的解析信息、或者作为本地匹配处理的结果而从存储部47读出的解析信息)，则将与该解析信息关联的附加信息经由通信网络16发送到影像接收装置40。该附加信息例如是与通过内容确定处理而确定的内容相关联的广告信息。
另外，附加信息决不限定于广告信息，例如也可以为观光信息、历史信息、人物简介信息、URL(UniformResourceLocator，统一资源定位器)、公共公报信息、与广播中的节目相关的信息、Twitter(注册商标)等的社交信息等。
接着，利用图2对影像识别装置20的动作的一例进行说明。图2是简要表示实施方式1中的影像识别装置20的动作的一例的示意图。另外，图2是示意性地表示信号或信息的流程的图，并不是示出电路模块的构成的图。
影像识别装置20取得从广播电台12广播的实质上全部的内容81。然后，进行针对所取得的内容的解析，对内容的时间、容量、广播形式、内容、体裁、登场人物、时间表等进行调查，并制作解析信息83。此外，影像识别装置20根据从广播电台12取得的内容81的影像信号来制作作为第2内容识别信息的指纹84。影像识别装置20既可以接收从广播电台广播的广播信号来取得内容，或者，也可以经由专用的影像线路等接收从广播电台12发送的影像信号来取得内容。此外，该解析例如既可以自动地进行，也可以由操作者通过手工操作来进行。作为该解析结果的解析信息83以及指纹84和与该内容81相关的信息一起存储于影像识别装置20的存储部23。因此，存储部23中存储庞大的量的信息。
然后，若存在影像接收装置40的请求，则影像识别装置20进行联机匹配处理。即，影像识别装置20若经由通信网络16接收了伴随从影像接收装置40发送来的指纹82(终端影像识别信息。根据从STB14输出的影像信号91的部分影像而生成的第2内容识别信息)的影像识别请求，则将该指纹82与存储于存储部23的第1内容识别信息即指纹84(服务器影像识别信息)进行对照(影像识别处理)，对与该指纹82对应的内容进行确定。另外，在该对照动作中，例如，也可以将与指纹82的类似度为给定的数值(例如，60％)以上的指纹84作为与指纹82对应的指纹。这样，影像识别装置20进行内容确定处理，该内容确定处理判断从影像接收装置40发送来的指纹82是根据什么内容的部分影像而制作的，从而对其内容进行确定。然后，从存储部23读出与确定出的内容相关的解析结果(解析信息83)，并将读出的解析信息83作为内容确定处理的结果经由通信网络16回送到影像接收装置40。该联机匹配处理的详情在后面叙述。
也将基于这种方法的影像识别处理(基于影像识别处理的内容确定处理)称作“ACR(AutomaticContentRecognition，自动内容识别)”。
另外，影像识别装置20的存储部23只要构成为能够经由例如通信网络16等来与影像识别装置20的主体进行数据的交换即可，也可以设置在与影像识别装置20的主体不同的场所。
[1-1-2.影像识别装置以及影像接收装置的构成]
图3是简要表示实施方式1中的影像识别装置20以及影像接收装置40的构成的一例的框图。
另外，在图3中，示出了与本实施方式所示的动作相关联的主要电路模块，省略了与其他动作相关的功能和电路模块。这是为了容易理解地示出在本实施方式中说明的动作。此外，图3所示的各电路模块既可以分别由独立的电路构成，或者，也可以是由处理器来执行程序的构成，该程序被制作成实现图3所示的电路模块的1个或多个。此外，以下，将第1内容识别信息、第2内容识别信息仅简记为“指纹”。
影像识别装置20是具备HTTP(HypertextTransferProtocol，超文本传输协议)收发部21、检索部22、以及存储部23的服务器装置。影像识别装置20被利用于影像接收装置40的联机匹配处理，构成为将基于影像识别处理的内容确定处理的服务经由通信网络16提供给影像接收装置40。
HTTP收发部21是通信用的接口，例如是适合以太网(注册商标)的标准的通信适配器。HTTP收发部21构成为能够经由通信网络16与影像接收装置40进行数据的收发。
存储部23是由例如HDD(HardDiskDrive，硬盘驱动器)等构成的存储装置。存储部23构成为将从广播电台12广播的内容的指纹、和针对该内容的解析结果的解析信息，与该内容建立对应地进行存储。
存储部23例如针对从广播电台12广播的全部频道(例如，300个频道)，以广播之后稍微的时间延迟(例如，10秒)，按照每个内容(例如，节目主体或CM)，将指纹与解析结果(解析信息)建立对应进行存储。在该解析结果(解析信息)中，例如也可以包含节目的标题、CM的标题、节目的梗概、CM的梗概、登场人物、与影像关联的场所、URL等。此外，在存储部23中，也可以存储事先决定了广播内容的电视剧、电影、CM等的指纹以及解析信息，或者也可以存储事先知道会显示在广播中的节目标题、企业或商品的标识、演出者信息等相关的指纹、解析信息。
检索部22构成为若经由HTTP收发部21接收了伴随从影像接收装置40发送来的指纹(终端影像识别信息)的影像识别请求，则进行基于利用了该指纹的影像识别处理的内容确定处理，并将其结果(解析信息)经由HTTP收发部21回送到影像接收装置40。
具体来说，检索部22经由通信网络16以及HTTP收发部21来接收伴随从影像接收装置40发送来的指纹(终端影像识别信息)的影像识别请求。接着，将接收到的指纹(终端影像识别信息)与存储于存储部23的指纹(服务器影像识别信息)进行对照，对与接收到的指纹对应的指纹进行检索(影像识别处理)。然后，将根据该检索的结果而确定的指纹所对应的内容作为与接收到的指纹对应的内容(内容确定处理)。这样，检索部22对与接收到的指纹对应的内容进行确定。然后，检索部22从存储部23读出与确定出的内容建立了对应的解析结果(解析信息)，并将读出的解析结果(解析信息)作为内容确定处理的结果，经由HTTP收发部21以及通信网络16而回送到影像接收装置40。
影像接收装置40具备控制部41、HTTP收发部42、操作信号接收部43、影像输出部44、显示部54、影像提取部45、附加信息显示控制部46、存储部47、影像输入部48以及影像识别部66。影像接收装置40构成为进行基于利用了影像识别装置20的影像识别处理的内容确定处理(联机匹配处理)，并从影像识别装置20取得作为该内容确定处理的结果的解析信息。此外，影像接收装置40还构成为进行基于利用了存储在存储部47中的本地数据库的影像识别处理的内容确定处理(本地匹配处理)，并从存储部47读出基于该内容确定处理的结果的解析信息。而且，影像接收装置40构成为从附加信息分发装置30取得与该解析信息相关联的附加信息(例如，广告信息)，并在基于接收到的影像信号的影像(内容)上，重叠基于该附加信息(例如，与该影像相关联的广告信息)的图像来显示于显示部54。
HTTP收发部42是通信用的接口，例如是适合以太网(注册商标)的标准的通信适配器。HTTP收发部42构成为能够经由通信网络16与影像识别装置20进行数据的收发。
操作信号接收部43构成为接收受理了用户操作的遥控装置(以下，简记为“遥控器”)等的操作部(未图示)所发出的操作信号(对影像接收装置40的操作信号)。操作信号接收部43也可以构成为接收具有陀螺仪传感器的遥控器基于在该遥控器产生的物理变动而发出的信号。
影像输入部48是接收电路以及译码器，具有构成为接收广播电台所发送的广播信号的接收部49、和输入影像发送装置(例如，STB14)所输出的影像信号的输入部65。在影像输入部48所接收的影像信号中包含伴随时间的经过而切换的内容(节目主体和CM等)。
接收部49构成为经由天线(未图示)等来接收广播电台12所发送的广播信号。
输入部65是构成为输入从设置于外部的影像发送装置输出的影像信号的接口。输入部65例如构成为适合HDMI(注册商标)的标准，能够接收从影像发送装置经由HDMI(注册商标)而发送来的影像信号。该影像发送装置是例如STB14，但也可以是影像记录再生装置等。此外，输入部也可以构成为接收经由视频线缆而发送来的影像信号、通过无线通信而发送来的影像信号。
影像输出部44具有对显示部54进行控制的功能，构成为基于从影像输入部48输入的影像信号来对显示部54进行控制，将基于该影像信号的影像显示于显示部54。影像输出部44在从控制部41输入了附加信息时，在显示部54显示中的影像上重叠基于附加信息的图像。
显示部54是构成为显示基于影像信号的影像的显示器，例如是LCD(LiquidCrystalDisplay，液晶显示器)。但是，本实施方式决不限定于该构成，显示部54也可以是PDP(PlasmaDisplayPanel，等离子显示面板)、OLED(OrganicElectroLuminescenceDisplay，有机电激发光显示器)等。
附加信息显示控制部46构成为进行附加信息的显示控制。具体来说，附加信息显示控制部46判断是否将基于作为联机匹配处理或本地匹配处理的结果而取得的解析信息从附加信息分发装置30取得的附加信息显示于显示部54(是否重叠于影像信号)、或者对于在显示部54显示中的附加信息是继续显示还是隐藏，并将基于该判断的指示输出到控制部41。此外，附加信息显示控制部46判断将基于所取得的附加信息的图像(或字符串)重叠于在显示部54显示中的影像的何处，并将基于该判断的指示输出到控制部41。
影像提取部45构成为从由影像输入部48输入的影像信号中提取部分影像。影像提取部45构成为以预先决定的周期从影像信号中将作为影像信号的一部分的部分影像提取给定时间的量。例如，若预先决定的周期为3秒且给定时间为3秒钟，则影像提取部45反复进行每3秒从影像信号中提取3秒钟的部分影像的动作。即，反复进行每3秒从影像信号中无间隙地连续提取3秒钟的部分影像的动作。此外，例如，若预先决定的周期为15秒且给定时间为3秒钟，则影像提取部45反复进行每15秒从影像信号中提取3秒钟的部分影像的动作。即，反复进行隔开12秒的间隔从影像信号中提取3秒钟的部分影像的动作。另外，从影像信号中提取的部分影像不限定于以秒为单位的提取，例如，也可以以在影像帧速率下预先决定的帧数来提取部分影像。
影像识别部66根据由影像提取部45提取的部分影像来生成指纹(终端影像识别信息)。该指纹例如是构成部分影像的各图像的哈希值(指纹)。影像识别部66利用根据部分影像而生成的指纹，进行在影像接收装置40内进行内容确定处理的本地匹配处理、和利用影像识别装置20来进行内容确定处理的联机匹配处理的至少一方，并取得与该部分影像相关的解析信息。
存储部47是例如由非易失性存储器等构成的存储装置。存储部47存储由影像输入部48接收到的电子节目表(ElectronicProgramGuide：EPG)等的节目元信息、经由HTTP收发部42从附加信息分发装置30取得的附加信息以及附加信息的显示控制信息、由影像识别部66根据部分影像而生成的指纹(终端影像识别信息)、以及本地数据库等，该本地数据库包含从影像识别装置20发送来的指纹(服务器影像识别信息)和解析信息。附加信息的显示控制信息是指，用于对附加信息的显示进行控制的信息，包含例如表示附加信息的显示期间的信息等。此外，存储部47还存储有与影像接收装置40的视听历史记录相关的信息。
控制部41构成为对影像接收装置40所具备的各电路模块进行控制。控制部41例如由存储有程序(应用程序等)的ROM等的非易失性存储器、执行该程序的CPU、以及在CPU执行程序时暂时存储数据或参数等的RAM等的易失性存储器等构成。
在控制部41所进行的控制中例如有如下控制。控制部41对影像提取部45进行控制，使影像提取部45以给定的周期从影像信号中提取部分影像。此外，控制部41根据部分影像生成(算出)指纹(终端影像识别信息)，并对影像识别部66进行控制以进行基于所生成的指纹的联机匹配处理或本地匹配处理。然后，在进行联机匹配处理时，控制部41对各电路模块进行控制，将指纹(终端影像识别信息)与影像识别请求一起经由HTTP收发部42以及通信网络16发送到影像识别装置20，并将针对该指纹的内容确定处理(基于影像识别处理的内容确定处理)委托给影像识别装置20。然后，控制部41对各电路模块进行控制，从影像识别装置20经由通信网络16以及HTTP收发部42取得针对该指纹的内容确定处理的结果(解析信息)并将其存储于存储部47。此外，在进行本地匹配处理时，控制部41对各电路模块进行控制，将指纹(终端影像识别信息)与存储在存储部47中的本地数据库进行对照来进行内容确定处理，并从存储部47读出基于该内容确定处理的结果的解析信息。然后，控制部41对各电路模块进行控制，从附加信息分发装置30经由通信网络16以及HTTP收发部42取得作为联机匹配处理或本地匹配处理的结果而得到的解析信息所对应的附加信息。然后，对各电路模块进行控制，将取得的附加信息存储于存储部47并且输出到影像输出部44，并在显示部54显示中的影像上重叠附加信息来进行显示。此时，若附加信息显示控制部46判断为“将附加信息设为隐藏”，则控制部41对各电路模块进行控制，将显示部54显示中的附加信息设为隐藏。
另外，虽然也可以将附加信息显示系统10构成为在影像接收装置40向影像识别装置20委托联机匹配处理时，影像接收装置40制作表示联机匹配处理的委托的信号(数据)，并将该信号作为影像识别请求发送到影像识别装置20，但也可以例如不进行这种信号(数据)的发送，而是在影像接收装置40与影像识别装置20之间预先进行约定，使得通过影像接收装置40将指纹发送到影像识别装置20就会向影像识别装置20委托联机匹配处理。
接着，对联机匹配处理和本地匹配处理的概要进行说明。图4是简要表示实施方式1中的附加信息显示系统10的联机匹配处理和本地匹配处理的概要的示意图。另外，图4是示意性地表示信号或信息的流程的图，并非表示电路模块的构成的图。
如图4所示，在联机匹配处理中，影像接收装置40和影像识别装置20相互协作，进行基于影像识别处理的内容确定处理(与从STB14等的影像发送装置输入到影像接收装置40的影像信号相关的内容确定处理)。
如上所述，存储在影像识别装置20的存储部23中的联机数据库的数据量庞大。因此，在联机匹配处理中，能够进行高精度的内容确定处理，但从影像接收装置40发送来的指纹(终端影像识别信息)、和作为联机数据库而存储于存储部23的指纹(服务器影像识别信息)的对照需要时间。
例如，只要从前一次内容确定处理的结果等得知当前的视听频道(在STB14中被选择的频道)，则影像识别装置20能够将检索的对象范围集中于该视听频道，因此其对照能够在相对较短的时间内结束。但是，若在影像接收装置40的电源刚刚接通后或刚刚变更频道后等，当前的视听频道不明，则检索的对象范围放大至全部频道，因此在影像识别装置20中，对照需要相对较长的时间。
此外，在联机匹配处理中，还需要经由通信网络16来收发数据的时间。
另一方面，存储在影像接收装置40的存储部47中的本地数据库，是通过影像识别装置20从联机数据库中挑选的指纹(服务器影像识别信息)以及解析信息等而生成的，因此与联机数据库相比较数据量少。即，本地匹配处理是将影像接收装置40所生成的指纹(终端影像识别信息)与数据量比联机数据库少的本地数据库进行对照来进行的内容确定处理。进而，在本地匹配处理中在进行内容确定处理时无需经由通信网络16收发数据。因此，本地匹配处理所需的时间与联机匹配处理所需的时间相比较能够缩短。
影像接收装置40通过有选择地进行这种本地匹配处理和联机匹配处理或者两者都进行，能够缩短时间并且高精度地进行与从STB14等的影像发送装置输入的影像信号相关的内容确定处理(基于影像识别处理的内容确定处理)。
另外，为了高精度地进行本地匹配处理，期望适当地更新本地数据库。关于本地数据库的更新在后面叙述。
[1-2.动作]
利用图5～图16来说明如上那样构成的附加信息显示系统10的动作的一例。
如上所述，影像接收装置40若输入了例如从STB14等的影像发送装置输出的影像信号，则通过利用了影像识别装置20的联机匹配处理、或利用了本地数据库的本地匹配处理来进行针对该影像信号的内容确定处理。然后，从附加信息分发装置30取得与该内容确定处理的结果相关联的附加信息51(例如，广告信息)，并将所取得的附加信息51重叠于影像信号来显示于显示部54。此外，影像接收装置40根据与该附加信息51一起取得的附加信息的显示控制信息来将所取得的附加信息51(例如，广告信息)设为显示或隐藏。
以下，对该附加信息显示处理的概要进行说明。
[1-2-1.附加信息显示处理的动作]
图5是简要表示实施方式1中的影像接收装置40所进行的附加信息显示处理的动作的流程图。
影像接收装置40的影像提取部45从由STB14输出且被输入到输入部65的影像信号中提取部分影像(步骤S40)。该影像信号是由广播电台12广播、由STB14接收、且由使用者选择的频道的影像信号。
接着，影像接收装置40进行以下的内容确定处理(步骤S41)。
影像接收装置40的影像识别部66基于影像提取部45所提取的部分影像，生成指纹(终端影像识别信息)。在由影像接收装置40进行联机匹配处理时，所生成的指纹(终端影像识别信息)根据控制部41的指示经由HTTP收发部42向影像识别装置20发送。影像识别装置20进行基于利用了该指纹的影像识别处理的内容确定处理，并将与确定出的内容相关联的解析信息(内容确定处理的结果)经由通信网络16向影像接收装置40发送。此时，在内容确定处理失败了的情况下，例如，影像识别装置20也可以执行动作，作为解析信息将“NG”或“0”等的特定的信息向影像接收装置40发送。控制部41对各电路模块进行控制，接收从影像识别装置20发送来的解析信息(内容确定处理的结果)并将其存储于存储部47。在由影像接收装置40进行本地匹配处理时，影像识别部66将所生成的指纹(终端影像识别信息)与存储在影像接收装置40的存储部47中的本地数据库进行对照，并从存储部47读出基于该对照的结果的解析信息。这些内容确定处理的详情在后面叙述。
控制部41判断步骤S41的内容确定处理是否成功(步骤S42)，若没有成功(否)，则向各电路模块发出指示以便再次进行步骤S40、S41的动作。若成功(是)则进入下一个步骤。在步骤S42中，例如，若解析信息为特定的信息(例如，“NG”或“0”等)，则能够判断为内容确定处理没有成功。
接着，影像接收装置40基于解析信息取得附加信息(步骤S43)。影像接收装置40的控制部41对各电路模块进行控制，将在步骤S41中通过联机匹配处理从影像识别装置20接收的解析信息、或通过本地匹配处理从存储部47读出的解析信息经由HTTP收发部42以及通信网络16发送到附加信息分发装置30。附加信息分发装置30通过通信网络16将与接收到的解析信息相关联的附加信息发送到影像接收装置40。控制部41对各电路模块进行控制，接收从附加信息分发装置30发送来的附加信息并将其存储于存储部47。
在该解析信息中，例如也可以包含与包含在部分影像中的商品图像的商品相关的URL。在此情况下，控制部41也可以执行动作，指定该URL来访问附加信息分发装置30，从附加信息分发装置30取得与该URL相关联的信息作为与该解析信息相关联的附加信息。该附加信息例如也可以是与该商品相关联的广告信息。此外，附加信息分发装置30也可以将该附加信息的显示控制信息与附加信息一起回送到影像接收装置40。
控制部41对各电路模块进行控制，将接收到的附加信息(例如，广告信息)转送到影像输出部44，并基于来自附加信息显示控制部46的指示，将该附加信息重叠于在显示部54显示中的影像来进行显示(步骤S44)。附加信息显示控制部46基于与附加信息一起取得的附加信息的显示控制信息等，判断附加信息的显示位置、显示尺寸、显示时间等，并向控制部41发出基于该判断的指示。由此，接收到的附加信息(例如，广告信息)例如以附加信息显示控制部46所指示的显示位置、显示尺寸、显示时间来重叠于在显示部54显示中的影像而被显示。
针对1个部分影像结束了上述一系列的附加信息显示处理之后，影像接收装置40提取下一个部分影像并反复进行与上述同样的附加信息显示处理。
另外，控制部41也可以探测影像信号的状态，并基于该探测结果来控制附加信息的显示。例如，当探测到在影像信号上重叠了字幕或OSD(OnScreenDisplay)时，控制部41也可以对各电路模块进行控制，使得在显示字幕或OSD的期间或区域不显示附加信息，在不显示字幕或OSD的期间或区域显示附加信息。
接着，对步骤S41的内容确定处理进行说明。
[1-2-2.内容确定处理的动作]
图6是简要表示实施方式1中的影像接收装置40所进行的内容确定处理的动作的流程图。
首先，影像接收装置40的影像识别部66基于控制部41的指示，根据影像提取部45所提取的部分影像来生成指纹(终端影像识别信息)(步骤S50)。
控制部41所生成的指纹是构成部分影像的各图像的哈希值。但是，本实施方式决不是将内容识别信息限定于哈希值。内容识别信息只要是能够使用于影像识别处理的信息(数据)即可。
接着，控制部41选择进行联机匹配处理和本地匹配处理的哪一个(步骤S56)。
步骤S56中的选择既可以构成为例如基于事先设定的条件由控制部41来进行判断，也可以构成为通过用户设定来选择。
作为用于控制部41进行判断的事先设定条件，例如，可以列举如下条件作为一例。在刚刚对影像接收装置40接通电源之后、以及更新了本地数据库之后，首先进行本地匹配处理，若本地匹配处理成功则继续进行本地匹配处理，在本地匹配处理失败时切换为联机匹配处理。
该动作例只不过是一个实施例，本实施方式决不限定于该动作例。期望基于影像接收装置40的规格、附加信息显示系统10的规格等来适当进行联机匹配处理和本地匹配处理的选择。
若在步骤S56中选择了本地匹配处理，则前进到下一个步骤S51。
控制部41判断本地数据库是否存储在存储部47中(步骤S51)。另外，在附图中，将本地数据库简记为“本地DB”。
在步骤S51中，在判定为本地数据库存储在存储部47中时(是)，控制部41指示影像识别部66进行本地匹配处理，影像识别部66基于该指示进行本地匹配处理(步骤S52)。本地匹配处理的详情在后面叙述。
接着，控制部41判断存储在存储部47中的本地数据库的有效期间(步骤S54)。
在步骤S54中，在判断为本地数据库的有效期间已经过去、本地数据库无法利用于内容确定处理时(否)，控制部41对各电路模块进行控制，以更新本地数据库(步骤S55)。本地数据库的更新处理的详细情况在后面叙述。另外，在步骤S54中，例如，在判断为本地数据库内的内容是过去被广播过的内容时，选择“否”。
另外，本地数据库也可以构成为在对影像接收装置40接通了电源时或切断了电源时、或者接收频道被切换时等被更新。
在步骤S51中，在判断为本地数据库未存储于存储部47时(否)，不进行本地匹配处理，而转移到图5的步骤S42。此时在步骤S42中，判断为内容确定处理没有成功(否)。
另外，在步骤S51中，在判定为本地数据库未存储于存储部47时(否)，也可以执行动作，以便转移到步骤S55来新取得本地数据库。
在步骤S54中，在判断为本地数据库处于有效期间内、本地数据库能够利用于内容确定处理时(是)，不进行本地数据库的更新，而转移到图5的步骤S42。在步骤S42中，进行基于在步骤S52中进行的本地匹配处理的结果的判断。
若在步骤S56中选择了联机匹配处理，则控制部41指示影像识别部66进行联机匹配处理，影像识别部66基于该指示进行联机匹配处理(步骤S53)。在步骤S53中，控制部41对各电路模块进行控制，将在步骤S50中生成的指纹(终端影像识别信息)发送到影像识别装置20来请求内容确定处理(基于影像识别处理的内容确定处理)。此外，对各电路模块进行控制，接收作为联机匹配处理的结果而从影像识别装置20发送来的解析信息并存储于存储部47。联机匹配处理的详细情况在后面叙述。
若步骤S53的联机匹配处理结束，则转移到图5的步骤S42。在步骤S42中，进行基于在步骤S53中进行的联机匹配处理的结果的判断。
接着，对步骤S52的本地匹配处理进行说明。
[1-2-3.本地匹配处理的动作]
图7是简要表示实施方式1中的影像接收装置40所进行的本地匹配处理的动作的流程图。
影像接收装置40的影像识别部66，为了通过本地匹配处理来对与部分影像对应的内容进行确定，将在步骤S50中根据部分影像而生成的指纹(终端影像识别信息)与存储在影像接收装置40的存储部47中的本地数据库所包含的指纹(服务器影像识别信息)进行对照来进行影像识别处理，检索与终端影像识别信息一致的服务器影像识别信息(步骤S61)。影像识别部66一边对控制部41发出指示，使其进行对照所需的控制，一边进行这些动作。另外，在步骤S61中，影像识别部66也可以执行动作，检索与终端影像识别信息的类似度为给定的数值(例如60％)以上的服务器影像识别信息。
在步骤S61中，若能够从本地数据库中搜索出与终端影像识别信息一致的服务器影像识别信息，则影像识别部66从存储部47(本地数据库)读出与该服务器影像识别信息所对应的内容建立了关联的解析信息并输出到控制部41(步骤S62)。
这样，在本地匹配处理中，进行根据部分影像而生成的指纹(终端影像识别信息)的内容确定处理(基于影像识别处理的内容确定处理)。
在步骤S61中，在判断为本地数据库内没有与终端影像识别信息一致的服务器影像识别信息(或者，只有与终端影像识别信息的类似度不足给定的数值的服务器影像识别信息)时，在步骤S62中，将表示内容确定处理没有成功的信息(例如，“NG”或“0”等)作为解析信息输出到控制部41。
然后，转移到图6的步骤S54。
接着，对步骤S53的联机匹配处理进行说明。
[1-2-4.联机匹配处理的动作]
图8是简要表示实施方式1中的影像接收装置40以及影像识别装置20所进行的联机匹配处理的动作的流程图。
影像接收装置40的影像识别部66，为了通过联机匹配处理来对与部分影像对应的内容进行确定，指示控制部41将在步骤S50中根据部分影像而生成的指纹(终端影像识别信息)与影像识别请求一起发送到影像识别装置20(步骤S71)。
基于该指示，控制部41对各电路模块进行控制，将终端影像识别信息和影像识别请求发送到影像识别装置20。
影像识别装置20接收从影像接收装置40经由通信网络16发送来的指纹(终端影像识别信息)和影像识别请求(步骤S72)。
影像识别装置20的检索部22，将在步骤S72中接收到的终端影像识别信息与存储在影像识别装置20的存储部23中的联机数据库(附图中简记为“联机DB”)的指纹(服务器影像识别信息)进行对照来进行影像识别处理，检索与终端影像识别信息一致的服务器影像识别信息(步骤S73)。
另外，在步骤S73中，影像识别装置20也可以执行动作，检索与终端影像识别信息的类似度为给定的数值(例如，60％)以上的服务器影像识别信息。
在步骤S73中，若能够从联机数据库中搜索出与终端影像识别信息一致的服务器影像识别信息，则检索部22对与该服务器影像识别信息对应的内容进行确定(内容确定处理)，从存储部23(联机数据库)读出与该内容建立了关联的解析信息并发送到影像接收装置40(步骤S74)。
这样，在联机匹配处理中，进行根据部分影像而生成的指纹(终端影像识别信息)的内容确定处理(基于影像识别处理的内容确定处理)。
在步骤S73中，在判断为联机数据库内没有与终端影像识别信息一致的服务器影像识别信息(或者，只有与终端影像识别信息的类似度不足给定的数值的服务器影像识别信息)时，在步骤S74中，将表示内容确定处理没有成功的信息(例如，“NG”或“0”等)作为解析信息发送到影像接收装置40。
影像接收装置40的控制部41对各电路模块进行控制，接收该解析信息并将其存储于存储部47(步骤S75)。
然后，转移到图5的步骤S42。
接着，对步骤S55的本地数据库的更新处理进行说明。
[1-2-5.本地数据库更新处理的动作]
在本实施方式中，如下这样对存储在存储部47中的本地数据库进行更新。
影像接收装置40基于存储在影像接收装置40的存储部47中的视听历史记录(存储在影像识别装置20的存储部23中，且由影像接收装置40从影像识别装置20取得的影像接收装置40的视听历史记录)，对在影像接收装置40中下一次被视听的可能性高的时间带以及频道(或内容)进行预测。该频道既可以是在STB14等的影像发送装置中被使用者选择的频道，也可以是由影像接收装置40所具有的调谐器选择的频道。该预测从影像接收装置40被发送到影像识别装置20，影像识别装置20根据联机数据库来生成具有与预测出的时间带以及频道(或内容)建立了关联的指纹(服务器影像识别信息)以及解析信息的本地数据库。该本地数据库从影像识别装置20被发送到影像接收装置40，并被存储于影像接收装置40的存储部47。这样本地数据库被更新。
利用流程图对该动作的详情进行说明。
图9是简要表示实施方式1中的影像接收装置40以及影像识别装置20所进行的本地数据库更新处理的动作的流程图。
影像接收装置40的控制部41对各电路模块进行控制，将当前的视听信息(例如，当前的视听频道、视听开始时刻等)发送到影像识别装置20(步骤S80)。
影像识别装置20接收从影像接收装置40发送来的当前的视听信息，在存储于存储部23的影像接收装置40的视听历史记录中加上接收到的视听信息，来更新影像接收装置40的视听历史记录。即，该视听历史记录是表示在影像接收装置40中此前被视听的频道(或内容)以及进行了视听的日期时间等的、从过去到现在的历史记录的信息。然后，将更新后的视听历史记录的信息从影像识别装置20发送到影像接收装置40(步骤S81)。
另外，影像识别装置20通过基于从影像接收装置40发送来的指纹(终端影像识别信息)而进行的内容确定处理能够掌握影像接收装置40的视听状况，因此也可以构成为基于该内容确定处理的结果，来更新存储在存储部23中的影像接收装置40的视听历史记录。
影像接收装置40的控制部41对各电路模块进行控制，接收从影像识别装置20发送来的视听历史记录的信息并存储于存储部47(步骤S82)。
另外，在本实施方式中，从当前时刻起过去5周以上的视听历史记录被存储在影像识别装置20的存储部23中，从当前时刻起至少过去5周的视听历史记录的信息从影像识别装置20被发送到影像接收装置40并存储于影像接收装置40的存储部47，但视听历史记录的保存对象期间期望根据附加信息显示系统10的规格等来适当设定。
影像接收装置40的影像识别部66，基于存储在存储部47中的视听历史记录的信息和当前的视听信息，生成作为本地数据库生成用信息的下次视听信息(步骤S83)。下次视听信息是指，包含与预料下次被视听的频道以及时间带相关的信息的信息。关于下次视听信息的生成处理在后面叙述。
所生成的下次视听信息从影像接收装置40被发送到影像识别装置20(步骤S84)。即，上述的“预测”是指该下次视听信息。
影像识别装置20接收从影像接收装置40发送来的下次视听信息，基于接收到的下次视听信息中包含的信息来检索联机数据库。若能够从联机数据库中搜索出符合下次视听信息中包含的信息(预测下次被视听的频道以及时间带的信息)的内容，则影像识别装置20生成具有与该内容相关的指纹(服务器影像识别信息)以及解析信息的本地数据库。另外，在该解析信息中也可以包含电子节目表等的节目元信息。然后，影像识别装置20将生成的本地数据库通过通信网络16发送到影像接收装置40(步骤S85)。
影像接收装置40的控制部41对各电路模块进行控制，接收从影像识别装置20发送来的本地数据库并将其存储于存储部47(步骤S86)。这样，存储部47内的本地数据库被更新。
本地数据库的更新处理结束后，转移到图5的步骤S42。
另外，在图6所示的流程图中，示出了在本地匹配处理后，进行本地数据库的更新处理的构成，但本实施方式决不限定于该构成。本地数据库的更新处理，例如也可以在影像接收装置40的电源刚刚接通后进行，还可以在频道被切换时进行。或者，也可以在影像接收装置40中具备备用电源，在影像接收装置40的电源被切断后，使用该备用电源，进行本地数据库的更新处理。为了提高本地匹配处理的精度，期望适当进行本地数据库的更新处理。
接着，对步骤S83的下次视听信息的生成处理进行说明。
[1-2-6.下次视听信息生成处理的动作]
影像接收装置40的影像识别部66，基于此前的视听历史记录和当前的视听信息(使用者正在视听中的频道)，掌握使用者的视听倾向，预测使用者下次进行视听的时间带以及频道。下次视听信息中包含这些预测出的时间带以及频道的信息。
利用流程图来说明该动作的详情。
图10是简要表示实施方式1中的影像接收装置40所进行的下次视听信息生成处理的动作的流程图。
影像识别部66选定“下次视听时间带”(步骤S90)。下次视听时间带是指，预测使用者下次进行内容视听的时间带。该下次视听时间带选定处理的详细情况在后面叙述。
接着，影像识别部66选定“下次视听频道”(步骤S91)。下次视听频道是指，预测使用者下次进行视听的频道。该下次视听频道选定处理的详细情况在后面叙述。
然后，影像接收装置40生成具备在步骤S90中选定的下次视听时间带的信息和在步骤S91中选定的下次视听频道的信息的下次视听信息。
下次视听信息生成处理结束后，转移到图9的步骤S84。
下次视听信息从影像接收装置40被发送到影像识别装置20，由此在影像识别装置20中生成基于该下次视听信息的本地数据库。然后，该生成的本地数据库从影像识别装置20被发送到影像接收装置40，由此影像接收装置40能够取得并更新本地数据库。
接着，对步骤S90的下次视听时间带的选定处理进行说明。
[1-2-7.下次视听时间带选定处理的动作]
影像接收装置40的影像识别部66将1天(24小时)分为多个时间带，在当前时刻所属的时间带(记作“当前时间带”)以后的给定期间(例如，1周)的各时间带中算出“下次视听时间带似然”，将“下次视听时间带似然”最高的时间带选定为”下次视听时间带”。下次视听时间带似然是指，将使用者在该时间带进行视听的可能性数值化之后的值。下次视听时间带似然的计算式被设定为使用者进行视听的可能性越高的时间带则数值越大。在本实施方式中，通过算出下次视听时间带似然，来预测并选定使用者下次进行视听的时间带(下次视听时间带)。
影像识别部66将当前时刻与各时间带的时间差、各时间带中的过去的视听频度以及视听习惯、录像预约(视听预约)的有无等数值化，并基于这些数值来算出下次视听时间带似然。下次视听时间带似然被设定为越是接近当前时刻的时间带则数值越大，越是过去的视听频度高且有视听习惯的时间带则数值越大，越是有录像预约(或视听预约)的时间带则数值越大。
利用流程图来说明这些动作的详情。
图11是简要表示实施方式1中的影像接收装置40所进行的下次视听时间带选定处理的动作的流程图。
首先，影像识别部66将1天(24小时)分为多个时间带，在当前时刻所属的时间带(当前时间带)以后的给定期间(例如，1周)内选择1个时间带，将该时间带设定为下次视听时间带似然的计算对象时间带(步骤S100)。以下，将下次视听时间带似然的计算对象时间带简记为“似然计算对象时间带”。
另外，该给定期间、即下次视听时间带似然的计算对象期间决不限定于1周，也可以为1周以上，还可以不到1周。该给定期间期望根据附加信息显示系统10的规格等来适当设定。
接着，影像识别部66基于当前时刻与似然计算对象时间带的时间差算出“时间间隔”(步骤S101)。该“时间间隔”是指，基于当前时刻与似然计算对象时间带的时间差、和给定的权重系数(α)而算出的数值，被设定为该时间差越小则数值越大。“时间间隔”的具体的计算例在后面叙述。
接着，影像识别部66基于存储在存储部47中的视听历史记录，算出似然计算对象时间带中的“视听频度”(步骤S102)。该“视听频度”是指，基于“第1视听次数”和给定的权重系数(γ)而算出的数值，被设定为“第1视听次数”越多则数值越大。“第1视听次数”是表示在作为用于算出下次视听时间带似然的视听历史记录的检索范围的给定的过去的期间，在与似然计算对象时间带所属的星期几(adayoftheweek)相同的星期几的、与似然计算对象时间带相同的时间带，使用者所进行的视听有几次的数值。
例如，若给定的过去的期间被设定为5周，从而设定为基于从当前时间带起过去5周的视听历史记录来算出下次视听时间带似然，且本周的星期一的20：00至24：00的时间带被设定为似然计算对象时间带，则影像识别部66参照存储在存储部47中的视听历史记录，调查从当前时间带起过去5周的各星期一的20：00至24：00的时间带中的视听的有无来算出“第1视听次数”。若在过去5周的各星期一的20：00至24：00的时间带分别有视听的历史记录，则“第1视听次数”成为“5”。对该“第1视听次数”乘以给定的权重系数(γ)来算出“视听频度”。“视听频度”的具体的计算例在后面叙述。
接着，影像识别部66基于存储在存储部47中的视听历史记录，算出似然计算对象时间带中的“视听习惯度”(步骤S103)。该“视听习惯度”是表示在给定的过去的期间，在与似然计算对象时间带所属的星期几相同的星期几的、与似然计算对象时间带相同的时间带，使用者所进行的视听以何种程度习惯性地进行的数值，被设定为习惯性越高则数值越大。影像识别部66基于存储在存储部47中的视听历史记录和似然计算对象时间带来算出“标准偏差”，基于该“标准偏差”和给定的权重系数(β)来算出“视听习惯度”。“视听习惯度”的具体的计算例在后面叙述。
接着，影像识别部66确认似然计算对象时间带中的录像预约(或视听预约)的有无，并基于给定的权重系数(δ)将该确认的结果数值化(步骤S104)。以下，将该数值记作“第1预约状况”。“第1预约状况”的具体的计算例在后面叙述。
然后，影像识别部66根据在步骤S101中算出的“时间间隔”、在步骤S102中算出的“视听频度”、在步骤S103中算出的“视听习惯度”、以及在步骤S104中算出的“第1预约状况”，来算出在步骤S100中设定的似然计算对象时间带中的“下次视听时间带似然”(步骤S105)。在此算出的“下次视听时间带似然”存储在存储部47中，使得知晓是关于哪个时间带而算出的。“下次视听时间带似然”的具体的计算例在后面叙述。
接着，影像识别部66判断是否在给定期间的全部时间带将下次视听时间带似然计算完成(步骤S106)。
在步骤S106中，在判断为在给定期间内存在未算出下次视听时间带似然的时间带时(否)，影像识别部66返回步骤S100，将未算出下次视听时间带似然的时间带设定为新的似然计算对象时间带，并反复进行上述一系列的动作。
在步骤S106中，在判断为在给定期间内的全部时间带中将下次视听时间带似然计算完成时(是)，影像识别部66将计算完成的下次视听时间带似然相互比较，将下次视听时间带似然最高的时间带选定为“下次视听时间带”(步骤S107)。
下次视听时间带选定处理结束后，转移到图10的步骤S91。
另外，算出“时间间隔”的步骤S101、算出“视听频度”的步骤S102、算出“视听习惯度”的步骤S103、以及算出“第1预约状况”的步骤S104这些各步骤，决不限定于该顺序，可以以任意的顺序来进行。
另外，给定的过去的期间、即用于算出下次视听时间带似然的视听历史记录的检索范围决不限定于5周，也可以为5周以上，还可以不到5周。给定的过去的期间期望根据附加信息显示系统10的规格等来适当设定。
接着，利用附图对下次视听时间带选定处理的具体的动作的一例进行说明。
图12是简要表示实施方式1中的影像接收装置40所进行的下次视听时间带选定处理的动作的一例的示意图。
图12中示出了将24小时分为从第1时间带到第6时间带的每4小时的6个时间带，并将各时间带设定为0：00～4：00(第1时间带)、4：00～8：00(第2时间带)、8：00～12：00(第3时间带)、12：00～16：00(第4时间带)、16：00～20：00(第5时间带)、20：00～24：00(第6时间带)的例子。
此外，在图12所示的例子中，将本周设为第10周，将当前时间带设为第10周的星期日第6时间带(20：00～24：00)。
此外，在图12所示的例子中，将给定的过去的期间、即用于算出下次视听时间带似然的视听历史记录的检索范围设为5周，并设定为基于从当前时间带起过去5周(从第5周的星期日第6时间带到第10周的星期日第5时间带)的视听历史记录来算出下次视听时间带似然。
因此，从当前时刻起至少过去5周的视听历史记录的信息从影像识别装置20被取得并被存储于影像接收装置40的存储部47。
此外，在图12所示的例子中，将作为下次视听时间带似然的计算对象期间的给定期间设为1周，将当前时间带以后的1周(从第10周的星期一第1时间带到第11周的星期日第6时间带)的各时间带设定为下次视听时间带似然的计算对象。
另外，在影像接收装置40中，将该计算对象期间内的全部时间带依次设定为似然计算对象时间带，在各时间带中算出下次视听时间带似然，在此作为一例，说明将时间带A(第10周的星期一第6时间带)、时间带B(第10周的星期二第3时间带)、时间带C(第10周的星期三第5时间带)、时间带D(第10周的星期五第2时间带)这4个时间带设定为似然计算对象时间带，在这些时间带中算出下次视听时间带似然时的例子。
图13是表示实施方式1中的影像接收装置40的影像识别部66所算出的下次视听时间带似然的一例的图。
在图13中，示出针对图12所示的时间带A、时间带B、时间带C、时间带D的各时间带，在步骤S101中算出的“时间间隔”、在步骤S102中算出的“视听频度”、在步骤S103中算出的“视听习惯度”、在步骤S104中算出的“第1预约状况”、以及在步骤S105中算出的“下次视听时间带似然”的各计算值的一例。
影像识别部66通过以下式子来算出在步骤S101中说明了的“时间间隔”。另外，在本实施方式中，示出将权重系数α设为4的例子。
时间间隔＝α×给定期间/(似然计算对象时间带与当前时刻的时间差)
在该计算式中，将给定期间换算为小时。在图12所示的例子中将给定期间设为1周，因此在上述式子中使用的给定期间成为1周×24小时＝168小时。此外，例如，若将当前时刻设为第10周的星期日的20：00，则似然计算对象时间带与当前时刻的时间差，如图13所示，对于时间带A而言为24小时，对于时间带B而言为36小时，对于时间带C而言为68小时，对于时间带D而言为104小时。因此，例如时间带A的“时间间隔”如下。
时间间隔＝4×168/24＝28
若同样地计算其他时间带的“时间间隔”，则图13所示，对于时间带B而言为18.67，对于时间带C而言为9.88，对于时间带D而言为6.46。
另外，也可以取代似然计算对象时间带与当前时刻的时间差，而使用当前时间带的开始时刻与似然计算对象时间带的开始时刻之差。
接着，影像识别部66通过以下的式子来算出在步骤S102中说明了的“视听频度”。另外，在本实施方式中，示出将权重系数γ设为3的例子。
视听频度＝γ×(似然计算对象时间带的第1视听次数)
“第1视听次数”是表示在视听历史记录的检索范围(给定的过去的期间)内，在与似然计算对象时间带所属的星期几相同的星期几的、与似然计算对象时间带相同的时间带，使用者所进行的视听(哪个频道都可以)有几次的数值。例如，在图12所示的例子中，与时间带A相关的“第1视听次数”成为从第5周到第9周的各星期一的第6时间带中的视听次数的总和，与时间带B相关的“第1视听次数”成为从第5周到第9周的各星期二的第3时间带中的视听次数的总和。在图12所示的例子中，“第1视听次数”，对于时间带A而言为5，对于时间带B而言为3，对于时间带C而言为3，对于时间带D而言为5。因此，例如时间带A的“视听频度”如下。
视听频度＝3×5＝15
若同样地计算其他时间带的“视听频度”，则如图13所示，对于时间带B而言为9，对于时间带C而言为9，对于时间带D而言为15。
接着，影像识别部66通过以下的数式1来算出在步骤S103中说明了的“视听习惯度”。另外，在本实施方式中，示出将权重系数β设为3的例子。
【数式1】
F = β ( ( T 1 - Ta ) 2 + ( T 2 - Ta ) 2 + ( T 3 - Ta ) 2 + ( T 4 - Ta ) 2 + ( T 5 - Ta ) 2 Tf ) + 1
数式1中的各数值的单位为“周”。
在数式1中，
F是“视听习惯度”。
Tf是“视听历史记录的检索范围”。例如，在图12所示的例子中，视听历史记录的检索范围为5周，因此Tf＝5。
Ta是视听历史记录的检索范围中的、似然计算对象时间带与同时间带的平均视听间隔。例如，在图12所示的例子中，若将似然计算对象时间带设为时间带A，则由于在第5周至第9周的各星期一的第6时间带中分别进行了视听，因此平均视听间隔Tf成为Tf＝(1+1+1+1)/4＝1。若将似然计算对象时间带设为时间带B，则由于在第5周、第6周、第9周的各星期二的第3时间带中分别进行了视听、在第6周、第7周的各星期二的第3时间带中没有进行视听，因此平均视听间隔Tf成为Tf＝(1+3)/2＝2。
T1是似然计算对象时间带与上次进行了视听的同时间带的时间差。例如，在图12所示的例子中，若将似然计算对象时间带设为时间带A，则由于在第9周的星期一的第6时间带进行了视听，因此T1＝1。
T2是与似然计算对象时间带相关的、上次进行了视听的同时间带与2次前进行了视听的同时间带的时间差。例如，在图12所示的例子中，若将似然计算对象时间带设为时间带A，则由于在第8周和第9周的各星期一的第6时间带进行了视听，因此T2＝1。若将似然计算对象时间带设为时间带B，则由于在第6周和第9周的各星期二的第3时间带进行了视听、在第7周和第8周的各星期二的第3时间带没有进行视听，因此T2＝3。
T3是与似然计算对象时间带相关的、2次前进行了视听的同时间带与3次前进行了视听的同时间带的时间差。例如，在图12所示的例子中，若将似然计算对象时间带设为时间带A，则由于在第7周和第8周的各星期一的第6时间带进行了视听，因此T3＝1。
T4是与似然计算对象时间带相关的、3次前进行了视听的同时间带与4次前进行了视听的同时间带的时间差。例如，在图12所示的例子中，若将似然计算对象时间带设为时间带A，则由于在第6周和第7周的各星期一的第6时间带进行了视听，因此T4＝1。
T5是与似然计算对象时间带相关的、4次前进行了视听的同时间带与5次前进行了视听的同时间带的时间差。例如，在图12所示的例子中，若将似然计算对象时间带设为时间带A，则由于在第5周和第6周的各星期一的第6时间带进行了视听，因此T5＝1。
因此，例如在图12所示的例子中，与时间带A相关的视听习惯度F如下。
【数式2】
F = 3 ( ( 1 - 1 ) 2 + ( 1 - 1 ) 2 + ( 1 - 1 ) 2 + ( 1 - 1 ) 2 + ( 1 - 1 ) 2 5 ) + 1 = 3
与时间带B相关的视听习惯度F，在图12所示的例子中如下。
【数式3】
F = 3 ( ( 1 - 2 ) 2 + ( 3 - 2 ) 2 + ( 1 - 2 ) 2 5 ) + 1 = 3 ( 3 5 ) + 1 = 1.69
若同样地计算其他时间带的“视听习惯度”，则如图13所示，对于时间带C而言为3，对于时间带D而言为3。
接着，影像识别部66通过以下的式子来算出在步骤S104中说明了的“第1预约状况”。另外，在本实施方式中，示出将权重系数δ设为5的例子。
第1预约状况＝δ×似然计算对象时间带中的录像预约(或视听预约)的有无
另外，在该式中，若有预约则代入1，若没有预约则代入0。在图12所示的例子中，由于时间带A、时间带B、时间带C、时间带D中的任意一个时间带都没有预约，因此如图13所示，各时间带的“第1预约状况”分别成为0。
接着，影像识别部66通过以下的式子来算出在步骤S105中说明了的“下次视听时间带似然”。
下次视听时间带似然＝时间间隔+视听频度+视听习惯度+第1预约状况
例如，在图12、图13所示的例子中，时间带A的“下次视听时间带似然”如下。
下次视听时间带似然＝28+15+3+0＝46
若同样地计算其他时间带的“下次视听时间带似然”，则如图13所示，对于时间带B而言为29.36，对于时间带C而言为21.88，对于时间带D而言为24.46。
接着，如在步骤S107中说明过的那样，影像识别部66将下次视听时间带似然最高的时间带选定为“下次视听时间带”。在图12、图13所示的例子中，时间带A的“下次视听时间带似然”的数值最大。因此，影像识别部66将时间带A预测为下次进行视听的可能性最高的时间带，并选定为“下次视听时间带”。
另外，在此列举的各设定值只不过是一个实施例，本实施方式的各设定值决不限定于上述数值。各设定值期望根据附加信息显示系统10的规格等来适当设定。
接着，对步骤S91的下次视听频道选定处理进行说明。
[1-2-8.下次视听频道选定处理的动作]
影像接收装置40的影像识别部66，在步骤S90中所选定的“下次视听时间带”中，对于能够接收的所有频道按照每个频道算出“下次视听频道似然”，并将“下次视听频道似然”最高的频道选定为“下次视听频道”。下次视听频道似然是将使用者对该频道进行视听的可能性数值化之后的值。下次视听频道似然的计算式被设定为使用者进行视听的可能性越高的频道则数值越大。在本实施方式中，通过算出下次视听频道似然，来预测并选定在下次视听时间带中使用者所视听的频道(下次视听频道)。
影像识别部66对各频道的视听次数、录像预约(视听预约)的有无等数值化，基于这些数值来算出下次视听频道似然。对于下次视听频道似然而言，过去的视听次数越多的频道则数值越大，在下次视听时间带有录像预约(或视听预约)的频道则数值越大。
利用流程图来说明这些动作的详情。
图14是简要表示实施方式1中的影像接收装置40所进行的下次视听频道选定处理的动作的流程图。
首先，影像识别部66选择能够接收的频道中的1个频道，将该频道设定为下次视听频道似然的计算对象频道(步骤S110)。以下，将下次视听频道似然的计算对象频道简记为“似然计算对象频道”。
接着，影像识别部66算出在步骤S90中所选定的下次视听时间带中的似然计算对象频道的“占有率”(步骤S111)。“占有率”是基于“视听历史记录的检索范围”、“第2视听次数”、和给定的权重系数(ε)而算出的数值，设定为“第2视听次数”越多则数值越大。该“第2视听次数”是表示在视听历史记录的检索范围(上述给定的过去的期间)内，在与下次视听时间带所属的星期几相同的星期几的、与下次视听时间带相同的时间带，使用者所进行的似然计算对象频道的视听有几次的数值。
例如，设定为：将本周的星期一的20：00至24：00的时间带选定为下次视听时间带，将第5频道设定为似然计算对象频道，将视听历史记录的检索范围(给定的过去的期间)设定为5周，基于从当前时间带起过去5周的视听历史记录来算出下次视听频道似然。在此情况下，影像识别部66参照存储在存储部47中的视听历史记录，调查从当前时间带起过去5周的各星期一的20：00至24：00的时间带中的第5频道的视听有无来算出“第2视听次数”，并基于“第2视听次数”来算出“占有率”。“占有率”的具体的计算例在后面叙述。
接着，影像识别部66确认下次视听时间带中的录像预约(或视听预约)的有无，并将该确认的结果基于给定的权重系数(ζ)而数值化(步骤S112)。将该数值记作“第2预约状况”。“第2预约状况”的具体的计算例在后面叙述。
然后，影像识别部66根据在步骤S111中算出的“占有率”、以及在步骤S112中算出的“第2预约状况”，算出在步骤S110中设定的似然计算对象频道中的“下次视听频道似然”(步骤S113)。在此算出的“下次视听频道似然”被存储于存储部47，使得知晓是对于哪个频道而算出的。“下次视听频道似然”的具体的计算例在后面叙述。
接着，影像识别部66对于能够接收的所有频道，判断是否将下次视听时间带中的下次视听频道似然计算完成(步骤S114)。
在步骤S114中，在判断为有未算出下次视听频道似然的频道时(否)，影像识别部66返回步骤S110，将未算出下次视听频道似然的频道设定为新的似然计算对象频道，反复进行上述一系列的动作。
在步骤S114中，在判断为对于能够接收的所有频道将下次视听频道似然计算完成时(是)，影像识别部66将计算完成的下次视听频道似然相互比较，将下次视听频道似然最高的频道选定为“下次视听频道”(步骤S115)。
下次视听频道选定处理结束后，转移到图9的步骤S84。
接着，利用附图对下次视听频道选定处理的具体的动作的一例进行说明。
图15是简要表示实施方式1中的影像接收装置40所进行的下次视听频道选定处理的动作的一例的示意图。
在图15中，示出了将时间带A(第10周的星期一的20：00～24：00)选定为“下次视听时间带”，对于时间带A的第1频道到第5频道这5个频道进行下次视听频道选定处理的例子。
此外，在图15所示的例子中，设定为：将给定的过去的期间、即用于算出下次视听频道似然的视听历史记录的检索范围设为5周，基于从当前时间带起过去5周的视听历史记录来算出下次视听频道似然。
因此，从当前时刻起至少过去5周的视听历史记录的信息被从影像识别装置20取得并被存储在影像接收装置40的存储部47中。
图16是表示实施方式1中的影像接收装置40的影像识别部66所算出的下次视听频道似然的一例的图。
在图16中，针对图15所示的第1频道、第2频道、第3频道、第4频道、第5频道的各频道，示出在步骤S111中算出的“占有率”、在步骤S112中算出的“第2预约状况”、以及在步骤S113中算出的“下次视听频道似然”的各计算值的一例。
影像识别部66通过以下式子来算出在步骤S111中说明了的“占有率”。另外，在本实施方式中，示出将权重系数ε设为5的例子。
占有率＝ε×(似然计算对象频道的第2视听次数+1)/(视听历史记录的检索范围+1)
“第2视听次数”是表示在视听历史记录的检索范围(在图15所示的例子中为过去5周)内，在与下次视听时间带所属的星期几相同的星期几的、与下次视听时间带相同的时间带，使用者所进行的似然计算对象频道的视听有几次的数值。例如，在图15所示的例子中，与第5频道相关的“第2视听次数”是从第5周到第9周的各星期一的20：00～24：00的第5频道的视听次数的总和，由于在第5周、第8周、第9周的同时间带进行了视听，因此成为3。因此，例如，被选定为“下次视听时间带”的时间带A的第5频道的“占有率”如下。
占有率＝5×(3+1)/(5+1)＝5×4/6＝3.33
若同样地计算其他频道的“占有率”，则如图16所示，对于第1频道而言为0.83，对于第2频道而言为2.50，对于第3频道而言为0.83，对于第4频道而言为0.83。
接着，影像识别部66通过以下式子来算出在步骤S112中说明了的“第2预约状况”。另外，在本实施方式中，示出将权重系数ζ设为3的例子。
第2预约状况＝ζ×下次视听时间带中的录像预约(或视听预约)的有无
另外，在该式中，若有预约则代入1，若没有预约则代入0。在图16所示的例子中，由于从第1频道到第5频道中的任意一个频道都没有预约，因此如图16所示，各频道的“第2预约状况”分别成为0。
接着，影像识别部66通过以下的式子来算出在步骤S113中说明了的“下次视听频道似然”。
下次视听频道似然＝占有率+第2预约状况
例如，在图15、图16所示的例子中，第5频道的“下次视听频道似然”如下。
下次视听频道似然＝3.33+0＝3.33
若同样地计算其他频道的“下次视听频道似然”，则如图16所示，对于第1频道而言为0.83，对于第2频道而言为2.50，对于第3频道而言为0.83，对于第4频道而言为0.83。
接着，如在步骤S115中说明过的那样，影像识别部66将下次视听频道似然最高的频道选定为“下次视听频道”。在图15、图16所示的例子中，第5频道的“下次视听频道似然”的数值最大。因此，影像识别部66将第5频道预测为下次进行视听的可能性最高的频道，并选定为“下次视听频道”。
该下次视听频道的信息从影像接收装置40被发送到影像识别装置20，影像识别装置20基于该下次视听频道的信息来生成本地数据库并将其发送到影像接收装置40。
另外，在此列举的各设定值只不过是一个实施例，本实施方式的各设定值决不限定于上述数值。各设定值期望根据附加信息显示系统10的规格等来适当设定。
[1-3.效果等]
如上，在本实施方式中，影像接收装置40构成为能够经由通信网络16进行数据的收发，具备输入部65、影像提取部45、存储部47、影像识别部66、以及控制部41。输入部65构成为输入从设置在外部的影像发送装置(例如，STB14)输出的影像信号。影像提取部45构成为从该影像信号中提取影像识别处理用的部分影像。存储部47构成为存储在与通信网络16连接的影像识别装置20中基于本地数据库生成用信息而生成的本地数据库。影像识别部66构成为根据影像提取部45所提取的部分影像来生成第2内容识别信息(终端影像识别信息)，进行联机匹配处理和本地匹配处理的至少一方，在所述联机匹配处理中，向影像识别装置20发送第2内容识别信息(终端影像识别信息)并委托影像识别处理，在所述本地匹配处理中，将第2内容识别信息(终端影像识别信息)与存储在存储部47中的本地数据库所包含的第1内容识别信息(服务器影像识别信息)进行对照。控制部41构成为进行从影像识别装置20取得本地数据库的控制，并且进行从与通信网络16连接的附加信息分发装置30取得基于联机匹配处理的结果或本地匹配处理的结果的附加信息(例如，广告信息)的控制。
存储在影像识别装置20的存储部23中的联机数据库的数据量如上所述是庞大的。因此，在联机匹配处理中，能够进行高精度的内容确定处理，但从影像接收装置40发送来的第2内容识别信息(终端影像识别信息)与作为联机数据库而存储在存储部23中的第1内容识别信息(服务器影像识别信息)的对照需要时间。
另一方面，存储在影像接收装置40的存储部47中的本地数据库是影像识别装置20从联机数据库中挑选而生成的，因此与联机数据库相比较数据量少。即，利用本地数据库来进行的本地匹配处理，与联机匹配处理相比较，能够在短时间内结束。
因此，影像接收装置40通过有选择地进行本地匹配处理和联机匹配处理(或两者都进行)，能够在缩短时间的同时高精度地进行与从STB14等的影像发送装置输入的影像信号相关的内容确定处理(基于影像识别处理的内容确定处理)。
而且，影像接收装置40能够从附加信息分发装置30取得基于联机匹配处理或本地匹配处理的结果的附加信息，并将该附加信息重叠于该影像信号。
此外，影像接收装置40也可以具备显示部54，该显示部54构成为显示在影像信号上重叠了附加信息51的影像。
此外，影像接收装置40的影像识别部66也可以构成为基于存储在存储部47中的视听历史记录来生成下次视听信息，控制部41也可以构成为进行将下次视听信息作为本地数据库生成用信息而发送到影像识别装置的控制。
此外，影像接收装置40的影像识别部66也可以构成为基于存储在存储部47中的视听历史记录，预测下次实施视听的时间带以及频道来生成下次视听信息。
由此，在影像识别装置20中，能够使用下次视听信息作为本地数据库生成用信息，因此能够生成与使用者进行视听的概率相对较高的内容相关的本地数据库。因此，影像接收装置40通过使用该本地数据库能够进行高精度的本地匹配处理。
此外，影像接收装置40的控制部41也可以构成为接收由影像识别装置20生成并发送的视听历史记录的信息来存储于存储部47。
(其他实施方式)
如上，作为在本申请中公开的技术的例示，对实施方式1进行了说明。但是，本公开中的技术不限定于此，也可以应用于进行了变更、置换、附加、省略等的实施方式。此外，也可以将在上述实施方式1～3中说明了的各构成要素进行组合，作为新的实施方式。
因此，以下对其他实施方式进行例示。
在实施方式1中，利用图6说明了影像接收装置40执行动作，进行本地匹配处理和联机匹配处理中的任意一方的例子。但是，影像接收装置40也可以构成为，在图5所示的步骤S41的内容确定处理中，取代图6所示的动作，如图17所示，进行本地匹配处理和联机匹配处理这两者。
图17是简要表示其他实施方式中的影像接收装置40所进行的内容确定处理的动作的流程图。另外，在图17所示的流程图中，对与图6所示的步骤实质上相同的动作的步骤赋予与图6所示的标号相同的标号，并省略详细的说明。
在图17所示的动作例中，影像识别部66首先与图6所示的步骤S50同样地，根据影像提取部45所提取的部分影像来生成指纹(终端影像识别信息)(步骤S50)。
接着，控制部41与图6所示的步骤S51同样地判断本地数据库是否存储在存储部47中。另外，在以下的附图中，将本地数据库简记为“本地DB”(步骤S51)。
在步骤S51中，在判断为本地数据库存储在存储部47中时(是)，控制部41与图6所示的步骤S52同样地，指示影像识别部66进行本地匹配处理，影像识别部66基于该指示进行本地匹配处理(步骤S52)。
在步骤S51中，在判断为本地数据库未存储在存储部47中时(否)、或者在步骤S52结束后，控制部41与图6所示的步骤S53同样地，指示影像识别部66进行联机匹配处理，影像识别部66基于该指示进行联机匹配处理(步骤S53)。
接着，控制部41与图6所示的步骤S54同样地，判断存储在存储部47中的本地数据库的有效期间(步骤S54)。
在步骤S54中，在判断为本地数据库的有效期间已经过去、本地数据库无法利用于内容确定处理时(否)，控制部41与图6所示的步骤S55同样地，对各电路模块进行控制以更新本地数据库(步骤S55)。
在步骤S54中，在判断为本地数据库处于有效期间内、本地数据库能够利用于内容确定处理时(是)，控制部41不进行本地数据库的更新。影像识别部66选择本地匹配处理的结果和联机匹配处理的结果的任意一方(步骤S57)，并转移到图5的步骤S42。
在步骤S57中，影像识别部66也可以在本地匹配处理的结果与联机匹配处理的结果一致时选择该一致的结果，在不一致时，选择影像识别处理失败这一结果。或者，影像识别部66也可以执行动作，在本地匹配处理的结果与联机匹配处理的结果不一致时，选择联机匹配处理的结果。
在这样构成的影像接收装置40中，通过进行本地匹配处理和联机匹配处理这两者，能够提高影像识别处理的精度。另外，在图17所示的流程图中，也可以在联机匹配处理之后进行本地匹配处理。
在实施方式1中，在图9中示出了本地数据库更新处理的步骤的一例，但本实施方式的本地数据库更新处理决不限定于图9所示的步骤。
图18是简要表示其他实施方式中的影像接收装置40以及影像识别装置20所进行的本地数据库更新处理的动作的一例的流程图。另外，在图18所示的流程图中，对与图9所示的步骤实质上相同的动作的步骤赋予与图9所示的标号相同的标号，并省略详细的说明。
在图9所示的流程图中，示出了影像接收装置40的视听历史记录由影像识别装置20来管理的例子，但在图18所示的流程图中，影像接收装置40的视听历史记录由影像接收装置40来管理。
影像接收装置40的当前的视听信息被加入到存储在存储部47中的影像接收装置40的视听历史记录中，影像接收装置40的视听历史记录被更新。影像识别部66与图9所示的步骤S83同样地，基于存储在存储部47中的视听历史记录的信息和当前的视听信息，生成下次视听信息。所生成的下次视听信息，与图9所示的步骤S84同样地，从影像接收装置40被发送到影像识别装置20(步骤S87)。
影像识别装置20，与图9所示的步骤S85同样地，基于从影像接收装置40发送来的下次视听信息来生成本地数据库并发送到影像接收装置40(步骤S85)。
影像接收装置40的控制部41与图9所示的步骤S86同样地对各电路模块进行控制，接收从影像识别装置20发送来的本地数据库并将其存储于存储部47(步骤S86)，并且转移到图5的步骤S42。
像这样，存储部47内的本地数据库也可以被更新。在该方法中，由于基于存储在影像接收装置40的存储部47中的视听历史记录来更新本地数据库，因此与图9所示的方法相比较，能够缩短本地数据库的更新所需的时间。
图19是简要表示其他实施方式中的影像接收装置40以及影像识别装置20所进行的本地数据库更新处理的动作的另一例的流程图。另外，在图19所示的流程图中，对与图9所示的步骤实质上相同的动作的步骤赋予与图9所示的标号相同的标号，并省略详细的说明。
在图18所示的流程图中，基于高视听率节目信息，来更新本地数据库。
影像接收装置40的控制部41，将高视听率节目信息发送到影像识别装置20，并指示影像识别装置20基于高视听率节目信息来生成本地数据库(步骤S88)。
高视听率节目信息是指，例如表示成为内容确定处理的对象的机会多的内容的信息。另外，影像接收装置40既可以对过去的内容确定处理的结果进行积累来生成高视听率节目信息，也可以经由通信网络16来取得从外部供给的高视听率节目信息。或者，影像接收装置40也可以指示影像识别装置20经由通信网络16来取得高视听率节目信息并基于该高视听率节目信息来生成本地数据库。
像这样，影像接收装置40的控制部41也可以构成为进行如下控制：指示影像识别装置20将高视听率节目信息作为本地数据库生成用信息来使用。
影像识别装置20基于从影像接收装置40发送来的高视听率节目信息来生成本地数据库并将其发送到影像接收装置40(步骤S89)。另外，步骤S89中的影像识别装置20的动作，除了将下次视听信息置换为高视听率节目信息以外，与图9所示的步骤S85实质上相同。
影像接收装置40的控制部41，与图9所示的步骤S86同样地对各电路模块进行控制，接收从影像识别装置20发送来的本地数据库并将其存储于存储部47(步骤S86)，并且转移到图5的步骤S42。
像这样，存储部47内的本地数据库也可以被更新。
由此，在影像识别装置20中，能够生成与视听率高的内容相关的本地数据库。因此，影像接收装置40通过使用该本地数据库能够进行高精度的本地匹配处理。
在实施方式1中，说明了影像接收装置40具备显示部54的构成，但本实施方式中的影像接收装置决不限定于该构成。影像接收装置也可以不具备显示部。
图20是简要表示其他实施方式中的影像接收装置140的构成的一例的框图。图20所示的影像接收装置140，主要以下这点与实施方式1中图3所示的影像接收装置40不同。影像接收装置140不具备显示部54，影像输出部144构成为向设置在外部的影像显示装置154以有线或无线方式输出影像信号。影像输出部144与实施方式1所示的影像输出部44同样地，基于来自控制部41的指示，在影像信号上重叠附加信息。
作为这种影像接收装置140的一例，可以列举例如具备录像功能、广播信号接收功能、影像信号输入功能、以及影像信号输出功能，且构成为向设置在外部的影像显示装置154发送影像信号的录像装置等。在这种录像装置中，例如有硬盘记录器、DVD记录器、BD记录器等。
另外，在图20中，对与构成图3所示的影像接收装置40的构成要素进行实质上相等的动作的构成要素赋予相同的标号，并省略说明。此外，在图20中示出与本实施方式所示的动作相关联的主要电路模块，省略了与其他动作相关的功能或电路模块(例如，录像功能等)。
在这种构成的影像接收装置140中，也能够得到与实施方式1所示的影像接收装置40同样的效果。
另外，本实施方式所示的各构成要素既可以分别由独立的专用电路来构成，或者，也可以是由处理器来执行被制作成实现它们的1个或多个动作的程序的构成。此外，此时的程序既可以通过来自服务器等的下载来取得，也可以经由给定的记录介质(例如，CD-ROM等的光盘或磁盘、半导体存储器等)来取得。
此外，本实施方式所示的服务器中的各动作，既可以由一个服务器来集中处理，也可以由多个服务器来分散处理。
另外，实施方式1所示的具体的数值只不过是示出了实施方式中的一例，本公开决不限定于这些数值。各数值期望根据影像接收装置的规格等来设定为最适当的值。
工业实用性
本公开能够应用于影像接收装置，该影像接收装置能够取得与从设置在外部的影像发送装置输入的影像信号相关的附加信息，并将所取得的附加信息重叠到影像信号上。具体来说，本公开能够应用于电视接收机、硬盘记录器、DVD记录器、BD记录器等。
标号说明
10附加信息显示系统
12广播电台
14STB
16通信网络
20影像识别装置
21、42HTTP收发部
22检索部
23、47存储部
30附加信息分发装置
40、140影像接收装置
41、141控制部
43操作信号接收部
44、144影像输出部
45影像提取部
46附加信息显示控制部
48影像输入部
49接收部
51附加信息
54显示部
65输入部
66影像识别部
81内容
82、84指纹
83解析信息
91影像信号
154影像显示装置

Claims (13)

1.一种影像接收装置，构成为能够经由通信网络进行数据的收发，
所述影像接收装置具备：
输入部，其构成为输入影像信号；
影像提取部，其构成为从所述影像信号中提取影像识别处理用的部分影像；
存储部，其构成为存储在与所述通信网络连接的影像识别装置中基于本地数据库生成用信息而生成的本地数据库；
影像识别部，其构成为根据所述部分影像来生成第2内容识别信息，并进行联机匹配处理和本地匹配处理的至少一方，在所述联机匹配处理中，对所述影像识别装置发送所述第2内容识别信息来委托影像识别处理，在所述本地匹配处理中，将所述第2内容识别信息与存储在所述存储部中的所述本地数据库所包含的第1内容识别信息进行对照；和
控制部，其构成为进行从所述影像识别装置取得所述本地数据库的控制，并且进行从与所述通信网络连接的附加信息分发装置取得基于所述联机匹配处理的结果或所述本地匹配处理的结果的附加信息的控制。
2.根据权利要求1所述的影像接收装置，其中，
还具备显示部，该显示部构成为显示在所述影像信号上重叠了所述附加信息的影像。
3.根据权利要求1所述的影像接收装置，其中，
所述影像识别部构成为基于存储在所述存储部中的视听历史记录来生成下次视听信息，
所述控制部构成为进行将所述下次视听信息作为所述本地数据库生成用信息来发送到所述影像识别装置的控制。
4.根据权利要求3所述的影像接收装置，其中，
所述影像识别部构成为基于存储在所述存储部中的视听历史记录，预测下次实施视听的时间带以及频道来生成所述下次视听信息。
5.根据权利要求3所述的影像接收装置，其中，
所述控制部构成为接收由所述影像识别装置生成并发送的所述视听历史记录的信息并将该视听历史记录的信息存储于所述存储部。
6.根据权利要求1所述的影像接收装置，其中，
所述控制部构成为进行如下控制：指示所述影像识别装置将高视听率节目信息作为所述本地数据库生成用信息来使用。
7.一种影像识别方法，是构成为能够经由通信网络来进行数据的收发的影像接收装置中的影像识别方法，
所述影像识别方法具备如下步骤：
从由外部输入的影像信号中提取影像识别处理用的部分影像的步骤；
取得在与所述通信网络连接的影像识别装置中基于本地数据库生成用信息而生成的本地数据库并将该本地数据库存储于存储部的步骤；
根据所述部分影像来生成第2内容识别信息的步骤；
进行联机匹配处理和本地匹配处理的至少一方的步骤，在所述联机匹配处理中，对所述影像识别装置发送所述第2内容识别信息来委托影像识别处理，在所述本地匹配处理中，将所述第2内容识别信息与存储在所述存储部中的所述本地数据库所包含的第1内容识别信息进行对照；和
从与所述通信网络连接的附加信息分发装置取得基于所述联机匹配处理的结果或所述本地匹配处理的结果的附加信息的步骤。
8.根据权利要求7所述的影像识别方法，其中，
还具备将在所述影像信号上重叠了所述附加信息的影像显示于显示部的步骤。
9.根据权利要求7所述的影像识别方法，其中，
还具备：
基于存储在所述存储部中的视听历史记录来生成下次视听信息的步骤；和
将所述下次视听信息作为所述本地数据库生成用信息来发送到所述影像识别装置的步骤。
10.根据权利要求9所述的影像识别方法，其中，
基于存储在所述存储部中的视听历史记录，预测下次实施视听的时间带以及频道来生成所述下次视听信息。
11.根据权利要求9所述的影像识别方法，其中，
还具备接收由所述影像识别装置生成并发送的所述视听历史记录的信息并将该视听历史记录的信息存储于所述存储部的步骤。
12.根据权利要求7所述的影像识别方法，其中，
还具备指示所述影像识别装置将高视听率节目信息作为所述本地数据库生成用信息来使用的步骤。
13.一种附加信息显示系统，具备构成为能够经由通信网络相互进行数据的收发的影像接收装置、影像识别装置、以及附加信息分发装置，
所述影像接收装置具备：
输入部，其构成为输入影像信号；
影像提取部，其构成为从所述影像信号中提取影像识别处理用的部分影像；
存储部，其构成为存储在所述影像识别装置中基于本地数据库生成用信息而生成的本地数据库；
影像识别部，其构成为根据所述部分影像来生成第2内容识别信息，并进行联机匹配处理和本地匹配处理的至少一方，在所述联机匹配处理中，向所述影像识别装置经由所述通信网络发送所述第2内容识别信息来委托影像识别处理，在所述本地匹配处理中，将所述第2内容识别信息与存储在所述存储部中的所述本地数据库所包含的第1内容识别信息进行对照；和
控制部，其构成为进行从所述影像识别装置经由所述通信网络来取得所述本地数据库的控制，并且进行从所述附加信息分发装置经由所述通信网络来取得基于所述联机匹配处理的结果或所述本地匹配处理的结果的附加信息的控制，
所述影像识别装置构成为根据所取得的影像信号来生成并存储所述第1内容识别信息，并且从所生成的所述第1内容识别信息中选择与所述本地数据库生成用信息相关联的第1内容识别信息来生成所述本地数据库并将该本地数据库发送到所述影像接收装置，并且构成为将经由所述通信网络而接收到的所述第2内容识别信息与所存储的所述第1内容识别信息进行对照来进行所述联机匹配处理，
所述附加信息分发装置构成为将经由所述通信网络而接收到的所述联机匹配处理的结果或所述本地匹配处理的结果所对应的附加信息经由所述通信网络发送到所述影像接收装置。
CN201480003481.XA 2014-03-26 2014-07-16 影像接收装置、影像识别方法以及附加信息显示系统 Pending CN105144735A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-063498 2014-03-26
JP2014063498 2014-03-26
PCT/JP2014/003762 WO2015145493A1 (ja) 2014-03-26 2014-07-16 映像受信装置、映像認識方法および付加情報表示システム

Publications (1)

Publication Number Publication Date
CN105144735A true CN105144735A (zh) 2015-12-09

Family

ID=54194098

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480003475.4A Active CN105144734B (zh) 2014-03-26 2014-07-16 影像接收装置、影像识别方法以及附加信息显示系统
CN201480003481.XA Pending CN105144735A (zh) 2014-03-26 2014-07-16 影像接收装置、影像识别方法以及附加信息显示系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480003475.4A Active CN105144734B (zh) 2014-03-26 2014-07-16 影像接收装置、影像识别方法以及附加信息显示系统

Country Status (5)

Country Link
US (2) US9906844B2 (zh)
EP (2) EP3125568A4 (zh)
JP (2) JP6340558B2 (zh)
CN (2) CN105144734B (zh)
WO (2) WO2015145493A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102019493B1 (ko) * 2015-02-09 2019-09-06 삼성전자주식회사 디스플레이 장치 및 그 정보 제공 방법
KR20180037826A (ko) 2016-10-05 2018-04-13 삼성전자주식회사 디스플레이 장치, 이의 제어 방법 및 정보 제공 시스템
JP7030316B2 (ja) * 2016-10-14 2022-03-07 学校法人立命館 情報記録装置、時刻特定装置、時刻特定システム、及び時刻特定方法
KR102384215B1 (ko) * 2017-08-01 2022-04-07 삼성전자주식회사 전자 장치 및 그의 제어방법
KR102569660B1 (ko) * 2018-06-15 2023-08-25 삼성전자주식회사 디스플레이장치 및 그 제어방법
TWI715166B (zh) * 2019-08-27 2021-01-01 宏正自動科技股份有限公司 多螢幕控制系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738419A (zh) * 2000-04-14 2006-02-22 日本电信电话株式会社 与广播信息相关的信息取得方法、系统和装置
JP2011034323A (ja) * 2009-07-31 2011-02-17 Nippon Telegr & Teleph Corp <Ntt> 情報端末装置、情報検索方法、および情報検索プログラム
US20130246457A1 (en) * 2008-06-18 2013-09-19 Zeitera, Llc Method for Efficient Database Formation and Search on Media Devices Acting Synchronously with Television Programming
US20130308818A1 (en) * 2012-03-14 2013-11-21 Digimarc Corporation Content recognition and synchronization using local caching

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04245552A (ja) 1991-01-31 1992-09-02 Canon Inc データベース検索方法
JPH09185720A (ja) 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
JP3731952B2 (ja) 1996-10-18 2006-01-05 シャープ株式会社 動画像検索用情報生成装置
JPH10214258A (ja) 1997-01-28 1998-08-11 Victor Co Of Japan Ltd データ処理システム
JP2000287189A (ja) * 1999-03-31 2000-10-13 Toshiba Corp テレビ番組の視聴管理装置
JP3485020B2 (ja) 1999-04-09 2004-01-13 日本電気株式会社 文字認識方法及び装置ならびに記憶媒体
US8205223B2 (en) 2000-04-12 2012-06-19 Lg Electronics Inc. Method and video device for accessing information
WO2001080553A1 (fr) 2000-04-14 2001-10-25 Nippon Telegraph And Telephone Corporation Procede, systeme et appareil permettant d'acquerir des informations concernant des informations diffusees
JP3994682B2 (ja) * 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
JP2002016885A (ja) 2000-06-30 2002-01-18 Pioneer Electronic Corp 映像再生装置及び映像再生方法
US20020126990A1 (en) 2000-10-24 2002-09-12 Gary Rasmussen Creating on content enhancements
JP2002175311A (ja) 2000-12-08 2002-06-21 Nippon Telegr & Teleph Corp <Ntt> 映像情報登録方法、映像情報登録装置、映像情報検索方法及び映像情報検索装置
US6829015B2 (en) 2001-01-19 2004-12-07 Samsung Electronics Co., Ltd. Device and method for realizing transparency in an on screen display
JP2002232372A (ja) 2001-01-31 2002-08-16 Matsushita Electric Ind Co Ltd 放送番組関連情報提供装置
KR20020072453A (ko) 2001-03-10 2002-09-16 삼성전자 주식회사 재생장치 및 부가정보 서비스 서버 시스템
JP2002334010A (ja) 2001-05-11 2002-11-22 Tsubasa System Co Ltd 広域ネットワークシステム
JP2004007323A (ja) * 2001-06-11 2004-01-08 Matsushita Electric Ind Co Ltd テレビジョン放送受信機
US20030084462A1 (en) 2001-10-26 2003-05-01 Junichi Kubota Digital boradcast reception device and method thereof, and printing device and method thereof
US20030149983A1 (en) 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
JP2004104368A (ja) 2002-09-06 2004-04-02 Sony Corp 画像データ処理方法、画像データ処理プログラム及び立体画像表示装置
KR100930351B1 (ko) 2003-02-25 2009-12-08 엘지전자 주식회사 고밀도 광디스크의 그래픽 및 서브타이틀 데이터관리방법
US20040237102A1 (en) 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
US7809154B2 (en) 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
US7738704B2 (en) 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
JP4374902B2 (ja) 2003-05-16 2009-12-02 富士通株式会社 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム
JP4109185B2 (ja) 2003-12-01 2008-07-02 日本電信電話株式会社 映像シーン区間情報抽出方法，映像シーン区間情報抽出装置，映像シーン区間情報抽出プログラムおよびそのプログラムを記録した記録媒体
JP2005167894A (ja) 2003-12-05 2005-06-23 Matsushita Electric Ind Co Ltd コンテンツ切替方法、およびチャンネル切替方法
JP2005347806A (ja) 2004-05-31 2005-12-15 Toshiba Corp 電子機器および該電子機器にて実行される番組情報取得方法
JP2006030244A (ja) 2004-07-12 2006-02-02 Matsushita Electric Ind Co Ltd 情報端末及びプログラム
JP4741500B2 (ja) 2004-09-14 2011-08-03 パナソニック株式会社 機器制御装置、機器、機器制御装置の制御方法、プログラムおよび機器制御システム
US20060200842A1 (en) 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts
JP2006303936A (ja) 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd コンテンツデータ、受信装置、生成装置および送信装置
JP3894940B2 (ja) 2005-08-11 2007-03-22 三菱電機株式会社 映像音声記録装置
WO2007017970A1 (ja) 2005-08-11 2007-02-15 Mitsubishi Denki Kabushiki Kaisha 映像記録装置、シーンチェンジ抽出方法、及び映像音声記録装置
JP4757876B2 (ja) 2005-09-30 2011-08-24 パイオニア株式会社 ダイジェスト作成装置およびそのプログラム
JP2007134948A (ja) 2005-11-10 2007-05-31 Matsushita Electric Ind Co Ltd 駐車車両搭乗者撮像装置
US20070157242A1 (en) * 2005-12-29 2007-07-05 United Video Properties, Inc. Systems and methods for managing content
JP4871668B2 (ja) 2006-08-01 2012-02-08 キヤノン株式会社 画像処理システム、画像処理方法及びプログラム
JP2008040622A (ja) 2006-08-02 2008-02-21 Sharp Corp 広告提供システム、広告提供装置、広告表示装置、広告提供方法およびプログラム
JP2008116792A (ja) 2006-11-07 2008-05-22 Sharp Corp 表示制御装置、映像表示機器及び表示制御方法
JP4746568B2 (ja) 2007-01-16 2011-08-10 ヤフー株式会社 情報提供装置、情報提供方法、及びプログラム
JP4957960B2 (ja) 2007-01-29 2012-06-20 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8281332B2 (en) 2007-05-02 2012-10-02 Google Inc. Animated video overlays
US8229227B2 (en) 2007-06-18 2012-07-24 Zeitera, Llc Methods and apparatus for providing a scalable identification of digital video sequences
US8433611B2 (en) 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
WO2009011030A1 (ja) 2007-07-17 2009-01-22 Pioneer Corporation 情報処理システム、並びに情報処理装置及び情報処理方法
JP5203648B2 (ja) 2007-07-20 2013-06-05 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP2009088777A (ja) 2007-09-28 2009-04-23 Dentsu Inc 広告選択最適化処理装置及びその処理方法
US8060609B2 (en) 2008-01-04 2011-11-15 Sling Media Inc. Systems and methods for determining attributes of media items accessed via a personal media broadcaster
US8621505B2 (en) 2008-03-31 2013-12-31 At&T Intellectual Property I, L.P. Method and system for closed caption processing
JP4623135B2 (ja) 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
US9185349B2 (en) 2008-05-28 2015-11-10 Kyocera Corporation Communication terminal, search server and communication system
WO2009150783A1 (ja) 2008-06-11 2009-12-17 パナソニック株式会社 パターン認識装置、パターン認識方法、画像処理装置及び画像処理方法
US8195689B2 (en) 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
JP4640456B2 (ja) 2008-06-25 2011-03-02 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP2012500585A (ja) 2008-08-18 2012-01-05 アイファロ メディア ゲーエムベーハー 補足情報配信
KR101336736B1 (ko) 2008-08-22 2013-12-04 정태우 영상에 포함된 객체를 식별하는 방법
JPWO2010026745A1 (ja) 2008-09-02 2012-01-26 パナソニック株式会社 コンテンツ表示処理装置及びコンテンツ表示処理方法
ES2559605T3 (es) 2008-09-17 2016-02-15 Panasonic Intellectual Property Management Co., Ltd. Medio de grabación y dispositivo de reproducción
JP2010164901A (ja) 2009-01-19 2010-07-29 Sharp Corp Ｏｓｄ信号処理装置、ａｖ装置、映像表示システム、及びｏｓｄ表示方法
KR101369915B1 (ko) 2009-01-23 2014-03-06 닛본 덴끼 가부시끼가이샤 영상 식별자 추출 장치
US8260055B2 (en) 2009-03-27 2012-09-04 The Nielsen Company (Us), Llc Methods and apparatus for identifying primary media content in a post-production media content presentation
JP5434265B2 (ja) 2009-05-22 2014-03-05 三菱電機株式会社 領域分類装置、画質改善装置、映像表示装置、およびそれらの方法
US8421921B1 (en) 2009-07-31 2013-04-16 Pixelworks, Inc. Post processing displays with on-screen displays
CN102754096A (zh) * 2009-08-05 2012-10-24 艾法罗媒体有限责任公司 补充媒体递送
JP5440051B2 (ja) 2009-09-11 2014-03-12 株式会社Ｊｖｃケンウッド コンテンツ同定方法、コンテンツ同定システム、コンテンツ検索装置及びコンテンツ利用装置
US8582952B2 (en) 2009-09-15 2013-11-12 Apple Inc. Method and apparatus for identifying video transitions
US8327407B2 (en) 2009-10-27 2012-12-04 Sling Media, Inc. Determination of receiving live versus time-shifted media content at a communication device
US8682145B2 (en) 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US20110137976A1 (en) 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
KR20110088334A (ko) 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
CN102196192A (zh) * 2010-03-17 2011-09-21 联想（新加坡）私人有限公司 用于识别媒体并提供额外的媒体内容的系统和方法
US8355910B2 (en) 2010-03-30 2013-01-15 The Nielsen Company (Us), Llc Methods and apparatus for audio watermarking a substantially silent media content presentation
JP5594002B2 (ja) 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
JP5111627B2 (ja) 2010-04-06 2013-01-09 キヤノン株式会社 映像処理装置及び映像処理方法
MX2013000348A (es) 2010-07-12 2013-03-08 Koninkl Philips Electronics Nv Datos auxiliares en radiodifusion de video de tres dimensiones.
JP2012027687A (ja) 2010-07-23 2012-02-09 Casio Comput Co Ltd 画像処理装置及びプログラム
CN103098108B (zh) 2010-11-25 2017-09-08 松下电器（美国）知识产权公司 通信设备
JP2012231383A (ja) 2011-04-27 2012-11-22 Nippon Telegr & Teleph Corp <Ntt> Ｉｐｔｖサービスを利用した情報表示制御装置、表示用情報提供サーバ、情報表示制御方法、情報配信方法、情報表示制御用プログラム、および情報配信用プログラム
KR101778530B1 (ko) 2011-06-14 2017-09-15 삼성전자 주식회사 영상 처리 방법 및 장치
KR101828342B1 (ko) * 2011-08-10 2018-02-12 삼성전자 주식회사 방송수신장치, 방송신호 관련 연관정보 제공방법 및 서버
KR101995425B1 (ko) 2011-08-21 2019-07-02 엘지전자 주식회사 영상 표시 장치, 단말 장치 및 그 동작 방법
US8805827B2 (en) 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
US20130111514A1 (en) * 2011-09-16 2013-05-02 Umami Co. Second screen interactive platform
JP5948773B2 (ja) 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
KR101310943B1 (ko) 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
US20130094590A1 (en) 2011-10-12 2013-04-18 Vixs Systems, Inc. Video decoding device for extracting embedded metadata and methods for use therewith
US9204199B2 (en) 2011-12-06 2015-12-01 Lg Electronics Inc. Image display apparatus and methods for operating the same
JP2013125191A (ja) 2011-12-15 2013-06-24 Canon Inc 映像表示装置、映像表示方法及びプログラム
CN102523500B (zh) * 2011-12-21 2015-01-28 Tcl王牌电器(惠州)有限公司 基于云计算的广告过滤方法、系统及其数字电视装置
US20120092248A1 (en) 2011-12-23 2012-04-19 Sasanka Prabhala method, apparatus, and system for energy efficiency and energy conservation including dynamic user interface based on viewing conditions
CA2862575C (en) 2012-01-05 2018-01-23 Lg Electronics Inc. Video display apparatus and operating method thereof
WO2013112991A2 (en) 2012-01-27 2013-08-01 Xumo Llc System and method of augmenting linear broadcast advertising
US8893167B2 (en) 2012-02-07 2014-11-18 Turner Broadcasting System, Inc. Method and system for automatic content recognition based on customized user preferences
WO2013119082A1 (ko) 2012-02-10 2013-08-15 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
JP5867133B2 (ja) 2012-02-10 2016-02-24 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20130230292A1 (en) * 2012-03-02 2013-09-05 Care Cam Innovations, Llc Apparatus, Method and Computer-Readable Storage Medium for Media Processing and Delivery
US9516365B2 (en) 2012-03-05 2016-12-06 Lg Electronics Inc. Video display apparatus and operating method thereof
US8645994B2 (en) 2012-06-28 2014-02-04 Microsoft Corporation Brand detection in audiovisual media
WO2014006903A1 (ja) 2012-07-06 2014-01-09 パナソニック株式会社 コンテンツ制御方法、コンテンツ制御装置およびプログラム
CN103593356A (zh) * 2012-08-16 2014-02-19 丁瑞彭 基于多媒体信息指纹技术的信息搜索方法、系统和应用
JP5820986B2 (ja) 2013-03-26 2015-11-24 パナソニックＩｐマネジメント株式会社 映像受信装置及び受信映像の画像認識方法
US20150026718A1 (en) 2013-07-19 2015-01-22 United Video Properties, Inc. Systems and methods for displaying a selectable advertisement when video has a background advertisement
US9456237B2 (en) * 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738419A (zh) * 2000-04-14 2006-02-22 日本电信电话株式会社 与广播信息相关的信息取得方法、系统和装置
US20130246457A1 (en) * 2008-06-18 2013-09-19 Zeitera, Llc Method for Efficient Database Formation and Search on Media Devices Acting Synchronously with Television Programming
JP2011034323A (ja) * 2009-07-31 2011-02-17 Nippon Telegr & Teleph Corp <Ntt> 情報端末装置、情報検索方法、および情報検索プログラム
US20130308818A1 (en) * 2012-03-14 2013-11-21 Digimarc Corporation Content recognition and synchronization using local caching

Also Published As

Publication number Publication date
CN105144734A (zh) 2015-12-09
JPWO2015145492A1 (ja) 2017-04-13
US9774924B2 (en) 2017-09-26
JP6340596B2 (ja) 2018-06-13
CN105144734B (zh) 2018-11-06
WO2015145493A1 (ja) 2015-10-01
EP3125569A4 (en) 2017-03-29
JP6340558B2 (ja) 2018-06-13
US20160088364A1 (en) 2016-03-24
US9906844B2 (en) 2018-02-27
JPWO2015145493A1 (ja) 2017-04-13
EP3125569A1 (en) 2017-02-01
EP3125568A4 (en) 2017-03-29
WO2015145492A1 (ja) 2015-10-01
EP3125568A1 (en) 2017-02-01
US20160088365A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
CN105144735A (zh) 影像接收装置、影像识别方法以及附加信息显示系统
US9762951B2 (en) Video reception device, added-information display method, and added-information display system
EP2894576A1 (en) Server device, method for providing service thereof, display device, and display method thereof
CN103609131A (zh) 接收装置、接收方法、发送装置、发送方法和程序
CN101305364A (zh) 用于呈现搜索结果的系统和方法
US10306318B2 (en) Display device and method for recommending contents of the display device
US10018975B2 (en) Home network control system for controlling devices in a home network and the control method thereof
EP3043570B1 (en) Video reception device, video recognition method, and additional information display system
CN102792295B (zh) 操作信息生成设备
CN104429092A (zh) 接收装置、处理信息的方法、程序、发送装置以及应用联动系统
KR20090115050A (ko) 녹화장치, 녹화상황 검출 방법, 방송프로그램 배신 녹화 시스템, 및 프로그램
CN107615769A (zh) 广播接收设备及其信息提供方法
US20100257571A1 (en) Information delivery system and method, information delivery device, and reception device
JP2016072879A (ja) 情報提供システム及び情報提供方法
EP2963629B1 (en) System and method of providing context sensitive help for alarm system installation
US20220124398A1 (en) Systems and methods to reduce acknowledgment requests in broadcast transmission networks
EP3249938B1 (en) Information processing apparatus, information processing method, and program
JP2020167645A (ja) テレビ番組用広告の提供方法
CN113498610B (zh) 接收装置
KR101629676B1 (ko) 외부 서버를 이용한 장치 정보 제공 방법 및 시스템, 이를 위한 장치
US20100299690A1 (en) Information delivery system and method, information delivery device, and display device
KR102287134B1 (ko) 사용자의 라이프스타일 정보 기반 채널형 콘텐츠 서비스 방법
KR101490034B1 (ko) 사용자 설정 콘텐츠 표시를 위한 콘텐츠 표시 제어 장치, 그 제어방법과 이를 위한 기록 매체
EP2869580A1 (en) Method and system for providing a program suggestion to a user of a television

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151209