CN105850149B - 影像接收装置、参数设定方法以及附加信息显示系统 - Google Patents

影像接收装置、参数设定方法以及附加信息显示系统 Download PDF

Info

Publication number
CN105850149B
CN105850149B CN201480071262.5A CN201480071262A CN105850149B CN 105850149 B CN105850149 B CN 105850149B CN 201480071262 A CN201480071262 A CN 201480071262A CN 105850149 B CN105850149 B CN 105850149B
Authority
CN
China
Prior art keywords
image
video
calibration
identification device
video receiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480071262.5A
Other languages
English (en)
Other versions
CN105850149A (zh
Inventor
奥博隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105850149A publication Critical patent/CN105850149A/zh
Application granted granted Critical
Publication of CN105850149B publication Critical patent/CN105850149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H04N7/0887Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital for the transmission of programme or channel identifying signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

实现施加给影像识别处理的负荷的降低或者精度的提高。为此,构成为经由通信网络(16)来进行数据的收发的影像接收装置(40)具备输入部(65)、影像提取部(45)、控制部(41)、以及校准执行部(491)。控制部进行如下控制,即,向影像识别装置(20)委托由影像提取部提取出的部分影像或者根据部分影像而生成的内容识别信息的影像识别处理,从附加信息分发装置获取基于该影像识别处理的结果的附加信息。校准执行部与影像识别装置协作来进行校准处理,设定给定的参数。

Description

影像接收装置、参数设定方法以及附加信息显示系统
技术领域
本公开涉及获取与从外部输入的影像信号有关的附加信息并叠加在影像信号上的影像接收装置。
背景技术
专利文献1公开了数据处理系统。在该系统中,客户端装置通过网络而向作为影像识别装置的服务器装置发送影像数据,来委托影像识别处理。服务器装置基于接收到的影像数据来进行影像识别,通过网络而将影像识别的结果发送至客户端装置。
专利文献2公开了利用计算机系统使监视广播程序的方法自动化的技术。
专利文献3公开了在多媒体系统中使内容流与一个或者多个脚本同步的方法。
在先技术文献
专利文献
专利文献1:JP特开平10-214258号公报
专利文献2:JP特表2007-534008号公报
专利文献3:JP特表2010-532943号公报
发明内容
本公开提供一种对于获取与从外部输入的影像信号有关的附加信息并控制获取到的附加信息向影像信号的叠加而言有效的影像接收装置、参数设定方法以及附加信息显示系统。
本公开的影像接收装置构成为能够经由通信网络来进行数据的收发,具备输入部、影像提取部、控制部以及校准执行部。输入部构成为输入从设置于外部的影像发送装置输出的影像信号。影像提取部构成为从该影像信号之中提取影像识别处理用的部分影像。控制部构成为进行如下控制,即,向与通信网络连接的影像识别装置发送部分影像或者根据部分影像而生成的内容识别信息来委托影像识别处理,从影像识别装置获取该影像识别处理的结果,从与通信网络连接的附加信息分发装置获取基于该影像识别处理的结果的附加信息。校准执行部构成为与影像识别装置协作来进行校准处理,设定给定的参数。
本公开的参数设定方法是构成为能够经由通信网络来进行数据的收发的影像接收装置中的参数设定方法,包括:在从外部输入的影像信号之中提取影像识别处理用的部分影像的步骤;向与通信网络连接的影像识别装置发送部分影像或者根据部分影像而生成的内容识别信息来委托影像识别处理,从影像识别装置获取影像识别处理的结果的步骤;从与通信网络连接的附加信息分发装置获取基于影像识别处理的结果的附加信息的步骤;和与影像识别装置协作来进行校准处理,设定给定的参数的步骤。
本公开的附加信息显示系统具备构成为能够经由通信网络来相互进行数据的收发的影像接收装置、影像识别装置以及附加信息分发装置。影像接收装置具备输入部、影像提取部、控制部以及校准执行部。输入部构成为输入从设置于外部的影像发送装置输出的影像信号。影像提取部构成为从该影像信号之中提取影像识别处理用的部分影像。控制部构成为进行如下控制,即,经由通信网络向影像识别装置发送部分影像或者根据部分影像而生成的内容识别信息来委托影像识别处理,经由通信网络从影像识别装置获取该影像识别处理的结果,经由通信网络从附加信息分发装置获取基于该影像识别处理的结果的附加信息。校准执行部构成为与影像识别装置协作来进行校准处理,设定给定的参数。影像识别装置构成为进行与经由通信网络而接收到的部分影像有关的影像识别处理,经由通信网络向影像接收装置发送该影像识别处理的结果,并且构成为与影像接收装置协作来进行校准处理,设定给定的参数,并发送给影像接收装置。附加信息分发装置构成为将与经由通信网络而接收到的影像识别处理的结果对应的附加信息,经由通信网络发送给影像接收装置。
附图说明
图1是示意性表示实施方式1中的附加信息显示系统的构成的一例的图。
图2是示意性表示实施方式1中的影像识别装置以及影像接收装置的构成的一例的框图。
图3是示意性表示实施方式1中的影像接收装置的校准处理时的动作的一例的流程图。
图4是示意性表示实施方式1中的影像识别装置所具有的校准处理中能够使用的频道的数据的一例的图。
图5是示意性表示实施方式1中的影像接收装置的显示部所显示的消息的一例的图。
图6是示意性表示从广播站广播的广播信号直至被影像接收装置显示为止的路径的一例的图。
图7是示意性表示从广播站广播的广播信号直至被STB接收为止的时间延迟的一例的图。
图8是利用影像来示意性表示实施方式1中的附加信息显示系统所进行的校准处理的一例的图。
图9是示意性表示实施方式1中的附加信息显示系统所进行的参数设定处理的动作的一例的流程图。
图10是示意性表示实施方式2中的影像识别装置以及影像接收装置的构成的一例的框图。
图11A是示意性表示从广播站12发送出的广播信号直至被STB14接收为止的期间内发生劣化的情况下显示影像所产生的变化的一例的图。
图11B是示意性表示对于从广播站12发送出的广播信号的影像信号实施了加工的情况下的显示影像的一例的图。
图12是利用影像来示意性表示实施方式2中的附加信息显示系统所进行的校准处理的一例的图。
图13是示意性表示实施方式2中的附加信息显示系统所进行的参数设定处理的动作的一例的流程图。
图14是将图13所示的流程图分为影像接收装置和影像识别装置各自的动作来表示的流程图。
图15是示意性表示其他实施方式中的影像接收装置的显示部所显示的消息的一例的图。
图16是示意性表示其他实施方式中的影像接收装置的校准处理时的动作的一例的流程图。
图17是示意性表示其他实施方式中的影像接收装置的构成的一例的框图。
具体实施方式
以下,适当参照附图来详细地说明实施方式。不过,有时也会根据需要来省略详细说明。例如,有时将省略已经熟知的事项的详细说明、针对实质上为相同构成的重复说明。其原因在于,为了避免下面的说明变得不必要的冗长,使本领域技术人员易于理解。
另外,附图以及下述说明是为了使本领域技术人员充分地理解本公开而提供的,并非意图通过这些内容来限定请求保护的范围所记载的主题。
(实施方式1)
以下,利用图1~图11来说明实施方式1。
[1-1.构成]
[1-1-1.系统构成的概要]
图1是示意性表示实施方式1中的附加信息显示系统10的构成的一例的图。附加信息显示系统10具备广播站12、作为影像发送装置的STB(Set Top Box;机顶盒)14、影像识别装置20、附加信息分发装置30以及影像接收装置40。附加信息显示系统10是构成为能够利用影像识别装置20所具有的影像识别技术来确定影像接收装置40接收到的影像是哪个内容的影像,从附加信息分发装置30获取与该内容关联的附加信息并显示于影像接收装置40的通信系统。
影像接收装置40与影像识别装置20以及附加信息分发装置30经由通信网络16而相互连接。
通信网络16构成为有线、或者无线、或者这两者混合存在。通信网络16例如为因特网,但可以为内部网、商业线路、或其他的通信线路,也可以为这些网络混合存在。
影像接收装置40和STB14经由通信接口而相互连接。通信接口例如为HDMI(注册商标)(High-Definition Multimedia Interfase;高清晰度多媒体接口),但也可以为视频线缆,或者还可以为Wi-Fi(注册商标)、Bluetooth(注册商标)、无线LAN(Local AreaNetwork;局域网)等的无线通信。
广播站12是构成为对广播信号进行发送(广播)的发送装置。广播站12将包含节目主体和商业消息(CM)的电视节目作为影像信号而叠加于广播信号进行广播。节目主体和CM随着时间的经过而相互切换。以下,将节目主体、CM记为“内容”。即,广播站12广播的是随着时间的经过而切换的内容。另外,发送装置完全不限定于广播站12,只要是对伴随着时间的经过而切换的内容进行发送或者广播的装置即可。
STB14是构成为接收广播站12所广播的广播信号并取出影像信号的接收器(调谐器)。例如在广播站12广播数字的影像信号的情况下,STB14也可以具备对接收到的影像信号进行解码的功能。STB14从广播站12所广播的多个频道之中接收基于用户(User)的指示而选台的频道,并将该频道的影像信号经由通信接口(例如HDMI(注册商标))而输出至影像接收装置40。另外,影像发送装置完全不限定于STB14,例如可以是一并具有录像功能、广播信号接收功能和影像信号输出功能的录像装置等。
影像接收装置40是构成为将基于从外部输入的影像信号的影像显示于显示部54的影像接收设备,例如为电视接收机。影像接收装置40与通信网络16连接,能够经由通信网络16而与影像识别装置20以及附加信息分发装置30进行数据的收发。
本实施方式中的影像接收装置40能够按如下方式构成。影像接收装置40利用影像识别装置20来进行与从影像发送装置(例如STB14)经由通信接口输入的影像信号有关的影像识别处理,确定该影像信号所表示的内容。然后,从附加信息分发装置30获取与该内容关联的附加信息(例如广告信息),将获取到的附加信息叠加于该影像信号而在显示部54中进行显示。
具体而言,影像接收装置40从输入的影像信号之中周期性地截取一部分,由此来周期性地提取部分影像,并将该部分影像和影像识别处理的请求(以下也记为“影像识别请求”)经由通信网络16而发送至影像识别装置20。然后,影像接收装置40经由通信网络16而从影像识别装置20获取针对该部分影像的影像识别处理的结果,经由通信网络16而从附加信息分发装置30获取与获取到的影像识别处理的结果关联的附加信息。然后,将基于获取到的附加信息的图像(在图1中作为“附加信息51”来示出)叠加于显示部54正显示的影像上进行显示。关于它们的详情将后述。
另外,在本实施方式中,虽然说明了将附加信息设为“与内容关联的广告信息”的例子,但附加信息完全不限定于广告信息,例如也可以为旅游信息、历史信息、人物简介信息、URL(Uniform Resource Locator;统一资源定位符)、官方公告信息、与广播中的节目有关的信息、Twitter(注册商标)等的社交信息等。
影像识别装置20是与通信网络16连接的服务器装置,是进行基于影像识别处理的内容确定处理的Web站点。所谓内容确定处理,是指针对接收到的部分影像进行影像识别处理,并基于该影像识别处理的结果来确定该部分影像所表示的内容的处理。因而,影像识别装置20进行针对广播站12所广播的内容的解析、和利用了该解析的结果的影像识别处理。
影像识别装置20获取从广播站12广播的实质上全部内容。并且,进行针对获取到的内容的解析,调查内容的时间、容量、广播形式、内容、类型、出现的人物、时间表等,创建解析信息。此外,影像识别装置20根据从广播站12获取到的内容的影像信号来创建指纹。该指纹是用于识别影像的信息,例如是构成运动图像的各图像的哈希值。影像识别装置20也可以接收从广播站广播的广播信号来获取内容,或者也可以经由专用的影像线路等接收从广播站12发送的影像信号来获取内容。此外,该解析例如可以自动地进行,也可以由作业者以手动作业的方式来进行。作为各内容的解析结果的解析信息和指纹按照各内容的每个影像(例如多帧的影像信号)而存储于影像识别装置20的存储部23。
影像识别装置20若经由通信网络16接收到从影像接收装置40发送来的伴随部分影像的影像识别请求,则将根据该部分影像而生成的指纹与由影像识别装置20预先生成并存储于存储部23的指纹进行核对来进行针对该部分影像的影像识别处理,并确定与该部分影像对应的内容。如此,影像识别装置20执行判断从影像接收装置40发送来的部分影像是何种内容的影像来确定该内容的内容确定处理。然后,从存储部23之中读出与确定出的内容有关的解析结果(解析信息),并将读出的信息作为影像识别处理的结果经由通信网络16返回给影像接收装置40。
将基于这种方法的影像识别处理(基于影像识别处理的内容确定处理)也称呼为“ACR(Automatic Content Recognition;自动内容识别)”。
附加信息分发装置30是与通信网络16连接的服务器装置,是保持各种商品的广告信息来进行分发的Web站点(广告分发站点)。附加信息分发装置30若经由通信网络16接收到从影像接收装置40发送来的影像识别处理的结果(基于影像接收装置40从影像识别装置20获取到的影像识别处理的结果的解析信息),则将与该影像识别处理的结果(解析信息)关联的附加信息经由通信网络16发送至影像接收装置40。该附加信息例如是与由影像识别处理确定出的内容关联的广告信息。
[1-1-2.影像识别装置以及影像接收装置的构成]
图2是示意性表示实施方式1中的影像识别装置20以及影像接收装置40的构成的一例的框图。
另外,在图2中示出与本实施方式所示的动作关联的主要电路模块,与其他动作有关的功能、电路模块进行了省略。这是为了易于理解在本实施方式中所说明的动作而示出的。此外,图2所示的各电路模块可以分别由独立的电路来构成,或者也可以是由处理器来执行被创建为实现图2所示的一个或者多个电路模块的程序的构成。
影像识别装置20是具备HTTP(Hypertext Transfer Protoco1;超文本传输协议)收发部21、搜索部22、存储部23以及校准部24的服务器装置。影像识别装置20构成为经由通信网络16向影像接收装置40提供基于影像识别处理的内容确定处理的服务。
HTTP收发部21是通信用的接口,例如是符合以太网(注册商标)、IEEE802.3(注册商标)等标准的通信适配器。HTTP收发部21构成为能够经由通信网络16而与影像接收装置40进行数据的收发。
存储部23是例如由HDD(Hard Disk Drive;硬盘驱动器)等构成的存储装置。存储部23构成为将从广播站12广播的内容的指纹和针对该内容的解析结果的解析信息与该内容建立对应地进行存储。该指纹例如是构成运动图像的各图像的哈希值等。
存储部23例如针对从广播站12广播的所有频道(例如300个频道),自广播起以少许的时间延迟(例如10秒)而按照每个内容(例如节目主体、CM)来将指纹、用于生成指纹的中间数据、和解析结果(解析信息)建立对应地进行存储。该解析结果(解析信息)中例如可以包含节目的标题、CM的标题、节目的摘要、CM的摘要、出现的人物、与影像关联的场所、URL等。
搜索部22构成为,若经由HTTP收发部21接收到从影像接收装置40发送来的伴随部分影像的影像识别请求,则进行基于利用了该部分影像的影像识别处理的内容确定处理,并将其结果(解析信息)经由HTTP收发部21返回给影像接收装置40。在本实施方式中,将基于利用了部分影像的影像识别处理的内容确定处理的结果也简单记为“影像识别处理的结果”。
具体而言,搜索部22经由通信网络16以及HTTP收发部21来接收从影像接收装置40发送来的伴随部分影像的影像识别请求。然后,生成接收到的部分影像的指纹(例如构成部分影像的各图像的哈希值),将所生成的指纹与存储于存储部23的指纹进行核对,搜索与接收到的部分影像对应的指纹(影像识别处理)。然后,将与根据该搜索的结果而确定出的指纹对应的内容设为与接收到的部分影像对应的内容(内容确定处理)。如此一来,搜索部22确定与接收到的部分影像对应的内容。然后,搜索部22从存储部23之中读出与确定出的内容建立了对应的解析结果(解析信息),并将读出的解析结果作为影像识别处理的结果经由HTTP收发部21以及通信网络16返回给影像接收装置40。
校准部24具有校准用比较搜索部241、校准用数据生成部242、校准频道数据库(以下记为“校准CH数据库”)243、校准用影像提取部244、校准用存储部245以及校准用控制部246。校准部24构成为经由HTTP收发部21而与影像接收装置40所具有的校准执行部491进行通信的同时执行校准处理。另外,所谓本实施方式中的校准处理,是指为了实现影像识别处理的精度提高或者负荷降低而设定参数的处理。该参数是根据影像接收装置40(STB14)中的广播信号的接收状况而变化的设定值。它们的详情将后述。
校准用控制部246针对校准部24的各电路模块来进行与校准处理有关的各种控制。
校准用比较搜索部241构成为在校准处理时进行影像识别处理。该影像识别处理与为了内容确定处理而利用指纹所进行的上述的影像识别处理实质上相同。不过,校准用比较搜索部241所进行的影像识别处理以校准处理为目的。因而,校准用比较搜索部241能够变更在生成指纹时所利用的参数来进行影像识别处理。
校准用数据生成部242构成为生成在执行校准处理时所利用的指纹(校准用的指纹)。所生成的指纹存储于校准用存储部245。此外,在校准用存储部245中,与指纹一起存储了成为该指纹的基础的影像信号的接收时刻(影像识别装置20接收到叠加有该影像信号的广播信号的时刻)。在本实施方式中,指纹和接收时刻相互建立关联地存储于校准用存储部245,由此构成了校准用数据库。
校准CH数据库243是具有与在执行校准处理时能够使用的广播信号(从广播站12广播的广播信号)有关的信息的数据库。该数据库可以存储于为了该数据库而设置的存储部,或者也可以存储于校准用存储部245。情形将后述,校准用控制部246基于从影像接收装置40发送来的信息,从该数据库之中提取在执行校准处理时所使用的频道的候选,并发送至影像接收装置40。
校准用影像提取部244构成为在执行校准处理时从广播信号之中提取校准处理用的影像信号。校准用影像提取部244例如是从广播站12广播的广播信号之中接收被指定为校准用的频道的广播信号的调谐器。另外,校准用影像提取部244完全不限定于调谐器,例如可以构成为经由光纤等所构成的线路等接收从广播站12发送的影像信号,并提取校准用的影像信号。
校准用存储部245是构成为存储校准处理的结果的存储装置。校准用比较搜索部241构成为在进行校准用的影像识别处理时能够从校准用存储部245之中取出用于校准处理的数据(例如指纹)。
影像接收装置40具备控制部41、HTTP收发部42、操作信号接收部43、影像输出部44、显示部54、影像提取部45、存储部47、内容切换检测部66、校准执行部491以及影像输入部48。校准执行部491具有第2控制部46以及第2存储部492。影像接收装置40构成为,进行基于利用了影像识别装置20的影像识别处理的内容确定处理,从影像识别装置20获取作为该影像识别处理的结果的解析信息,从附加信息分发装置30获取与该解析信息关联的附加信息(例如广告信息),在基于接收到的影像信号的影像(内容)上叠加基于该附加信息(例如与该影像关联的广告信息)的图像而显示于显示部54。
HTTP收发部42是通信用的接口,例如是符合以太网(注册商标)、IEEE802.3(注册商标)等标准的通信适配器。HTTP收发部42构成为能够经由通信网络16而与影像识别装置20进行数据的收发。
操作信号接收部43构成为对受理了用户操作的遥控器装置(以下简记为“遥控”)等操作部(未图示)发出的操作信号(针对影像接收装置40的操作信号)进行接收。操作信号接收部43也可以构成为接收具有陀螺仪传感器的遥控基于该遥控所产生的物理变动而发出的信号。
影像输入部48是接收电路以及解码器,具有:接收部49,构成为接收广播站所发送的广播信号;和输入部65,构成为输入影像发送装置(例如STB14)、影像记录再生装置等所输出的影像信号。影像输入部48所接受的影像信号中包含伴随时间的经过而切换的内容(节目主体和CM等)。
接收部49构成为经由天线(未图示)等来接收广播站12所发送的广播信号。接收部49例如接收基于由操作信号接收部43接收到的操作信号的频道的广播信号。
输入部65是构成为输入从设置于外部的影像发送装置输出来的影像信号的接口。输入部65构成为例如符合HDMI(注册商标)标准,能够接受从影像发送装置经由HDMI(注册商标)发送来的影像信号。该影像发送装置例如为STB14,但也可以为影像记录再生装置等。此外,输入部也可以构成为接受经由视频线缆发送来的影像信号、以无线通信的方式发送来的影像信号。另外,在本实施方式中,设从STB14输出的影像信号被输入至输入部65。
影像输出部44构成为,具有控制显示部54的功能,基于从影像输入部48输入的影像信号来控制显示部54,使显示部54显示基于该影像信号的影像。影像输出部44在从控制部41输入了附加信息时,在显示部54正显示的影像上叠加基于附加信息的图像。
显示部54是构成为显示基于影像信号的影像的显示器,例如为LCD(LiquidCrystal Display;液晶显示器)。但是,本实施方式完全不限定于该构成,显示部54也可以为PDP(Plasma Display Panel;等离子显示面板)、OLED(Organic Electro LuminescenceDisplay;有机电致发光显示器)等。
第2控制部46构成为,在进行针对由影像输入部48获取到的影像信号的影像识别处理时,决定进行影像识别处理的周期、影像识别处理的开始定时等。例如,第2控制部46构成为,针对影像提取部45来指示提取部分影像的定时、提取的周期、提取的部分影像的尺寸等,在校准处理时从影像提取部45获取基于该指示而提取出的部分影像。
影像提取部45构成为从影像输入部48输入的影像信号之中提取部分影像。影像提取部45构成为从影像信号之中以预先规定的周期、或者以由第2控制部46指示的定时以及周期,提取给定时间的影像信号的一部分即部分影像。例如,如果预先规定的周期、或者由第2控制部46指示的周期为3秒、且给定时间为3秒钟,则影像提取部45反复执行从影像信号之中每隔3秒提取3秒钟的部分影像的动作。即,反复执行从影像信号之中每隔3秒无间隙地连续提取3秒钟的部分影像的动作。此外,例如,如果预先规定的周期、或者由第2控制部46指示的周期为15秒、且给定时间为3秒钟,则影像提取部45反复执行从影像信号之中每隔15秒提取3秒钟的部分影像的动作。即,反复执行从影像信号之中每隔12秒的间隔提取3秒钟的部分影像的动作。另外,从影像信号之中提取的部分影像并不限定于以秒为单位的提取,例如也可在影像帧速率下以预先规定的帧数、或者由第2控制部46指示的帧数来提取部分影像。
存储部47例如是由非易失性存储器等构成的存储装置。存储部47存储由影像输入部48接收到的电子节目表(Electronic Program Guide:EPG)等节目元信息、经由HTTP收发部42而从附加信息分发装置30获取到的附加信息以及附加信息的显示控制信息等。所谓附加信息的显示控制信息是指用于控制附加信息的显示的信息,例如包含表示附加信息的显示期间的信息等。
控制部41构成为控制影像接收装置40所具备的各电路模块。控制部41例如由存储了程序(应用程序等)的ROM等非易失性存储器、执行该程序的CPU、以及在CPU执行程序时暂时存储数据、参数等的RAM等易失性存储器等来构成。
控制部41所进行的控制例如有如下控制。控制部41控制影像提取部45,使得影像提取部45从影像信号之中以给定的周期提取部分影像。并且控制各电路模块而使得:每当影像提取部45提取部分影像时,将提取出的部分影像与影像识别请求一起经由HTTP收发部42以及通信网络16发送至影像识别装置20,委托影像识别装置20进行针对该部分影像的影像识别处理(基于影像识别处理的内容确定处理)。并且,控制各电路模块而使得:经由通信网络16以及HTTP收发部42而从影像识别装置20获取针对该部分影像的影像识别处理的结果。此时,控制部41也可以基于内容切换检测部66中的检测结果来动作,仅在部分影像中不含内容的切换部位时,将部分影像发送至影像识别装置20,从影像识别装置20获取针对该部分影像的影像识别处理的结果。并且,控制部41控制各电路模块而使得:经由通信网络16以及HTTP收发部42而从附加信息分发装置30获取基于该影像识别处理的结果的附加信息。并且,控制各电路模块而使得:将获取到的附加信息存储于存储部47并且输出至影像输出部44,在显示部54正显示的影像上叠加附加信息来显示。此时,控制部41控制各电路模块而使得:如果基于附加信息的显示控制信息而判断为“使附加信息变为不显示”,则使显示部54正显示的附加信息变为不显示。
这样,控制部41构成为,利用影像识别装置20来进行基于由影像提取部45提取出的部分影像的影像识别处理(基于影像识别处理的内容确定处理)。此外,构成为,基于附加信息的显示控制信息等来判断是否将基于从影像识别装置20获取到的影像识别处理的结果而从附加信息分发装置30获取到的附加信息显示于显示部54(是否叠加于影像信号)、或者使显示部54正显示的附加信息继续显示还是变为不显示,并将基于该判断的指示输出至影像输出部44等,来进行附加信息的显示控制。
另外,控制部41也可以构成为,根据由影像提取部45提取出的部分影像来生成内容识别信息(例如指纹),并将生成的内容识别信息发送至影像识别装置20,委托影像识别装置20基于影像识别处理的内容识别处理。
另外,虽然可以构成附加信息显示系统10而使得:在影像接收装置40委托影像识别装置20影像识别处理时,影像接收装置40创建表示影像识别处理的委托的信号(数据),并将该信号作为影像识别请求而发送至影像识别装置20,但例如也可以在影像接收装置40与影像识别装置20之间预先进行约定而使得:不发送这种信号(数据),通过影像接收装置40向影像识别装置20发送部分影像而向影像识别装置20委托影像识别处理。
内容切换检测部66构成为,基于影像信号、声音信号等来检测内容的切换部位、即从节目主体向CM切换的切换部位、从CM向节目主体切换的切换部位,并将其检测结果输出至控制部41。例如,内容切换检测部66检测声音信号从立体声向单声道切换或者从单声道向立体声切换的点,并将其检测结果输出给控制部41。或者,在从广播站12广播的信号中包含表示内容的切换部位的信号的情况下,基于该信号来检测内容的切换部位并输出给控制部41。
校准执行部491进行用于实现影像识别处理的精度提高或者负荷降低的校准处理。校准执行部491例如在影像接收装置40的初始设定时执行校准处理来设定参数。被设定的参数是在以后的内容确定处理时为了实现影像识别处理的精度提高或者负荷降低而使用的。
另外,校准处理并不限定于影像接收装置40的初始设定时,例如也可以以预先规定的周期来定期地进行,或者也可以是如用户能任意进行的构成。
第2存储部492例如是由非易失性存储器等构成的存储装置,存储校准处理的结果(参数)。存储于第2存储部492的校准处理的结果被第2控制部46使用。此外,校准处理的结果也被存储于影像识别装置20的校准用存储部245。
本实施方式中的附加信息显示系统10如以上那样构成,具有如下所述的特征。
(1)影像接收装置40具备校准执行部491,执行用于实现影像识别处理的精度提高或者负荷降低的校准处理,进行参数的初始设定。
(2)影像识别装置20具备校准部24,进行用于校准处理(参数初始设定)的影像识别处理。
(3)影像接收装置40和影像识别装置20协作进行上述的各处理。
[1-2.动作]
关于如以上那样构成的影像接收装置40以及影像识别装置20,利用图3~图10来说明其动作。
如上所述,影像接收装置40若从例如STB14等影像发送装置输入了影像信号,则利用影像识别装置20来进行针对该影像信号的影像识别处理。然后,从附加信息分发装置30获取与该影像识别处理的结果关联的附加信息51(例如广告信息),将获取到的附加信息51叠加于影像信号而显示于显示部54。
影像接收装置40使获取到的附加信息51(例如广告信息)根据与该附加信息51一起获取到的广告显示控制信息中所含的广告显示期间而变为显示或者不显示。该广告显示控制信息是上述的附加信息的显示控制信息的一种。
并且,影像接收装置40以及影像识别装置20为了实现该影像识别处理的精度提高或者负荷降低而执行校准处理,进行参数的初始设定。以下,说明该校准处理时的动作。
[1-2-1.校准处理的动作]
图3是示意性表示实施方式1中的影像接收装置40的校准处理时的动作的一例的流程图。
首先,影像接收装置40的第2控制部46指示控制部41以将表示校准的开始请求的信息发送至影像识别装置20。接收到该信息的影像识别装置20的校准部24从校准CH数据库243之中提取在影像接收装置40中能够使用于校准处理(STB14能够接收)的频道的候选。影像识别装置20的校准部24将表示提取出的频道的候选的信息(数据)发送至影像接收装置40。影像接收装置40的第2控制部46接收该信息(数据)。即,影像接收装置40从影像识别装置20获取在校准处理中使用的频道的候选(步骤S301)。
在步骤S301中,影像接收装置40从影像识别装置20获取与影像接收装置40能够接收的频道(校准处理中能够使用的频道)有关的信息(数据)。为此,影像接收装置40的第2控制部46指示控制部41以将与设置了影像接收装置40的地域有关的信息(地域信息)同表示校准处理的开始请求的信息一起发送至影像识别装置20。该地域信息例如是影像接收装置40的IP地址、由用户输入的地域名等能够用于确定设置影像接收装置40(STB14)的地域的信息(数据)。
另外,影像识别装置20与影像接收装置40之间所进行的数据的交换,经由HTTP收发部21、42以及通信网络16来进行,但以下省略它们的说明。
另外,设影像接收装置40与STB14设置在实质上相同的场所,从影像接收装置40发送的地域信息也是表示设置了STB14的场所的信息。
在影像识别装置20所具有的校准CH数据库243中包含与校准处理中能够使用的频道、内容有关的多个数据。影像识别装置20的校准用控制部246基于从影像接收装置40发送来的信息(地域信息),来提取在影像接收装置40中的校准处理之中能够使用的频道的候选。然后,将表示提取出的频道的候选的信息(数据)发送至影像接收装置40。
图4是示意性表示实施方式1中的影像识别装置20所具有的校准处理中能够使用的频道的数据的一例的图。
在校准处理中,需要使用STB14能够接收的频道。为此,影像识别装置20具有包含多个如在图4中示出一例的频道的列表的校准CH数据库243,基于从影像接收装置40发送来的信息(能够确定设置了影像接收装置40的地域的地域信息),从该校准CH数据库243之中选择STB14能够接收的频道来作为校准用频道的候选。
另外,校准用频道是由影像识别装置20从广播站12广播的多个频道之中选择为校准处理中能够使用的频道的一个或者多个频道,并非是广播站12作为校准用频道而设置专用的频道来发送广播信号。但是,广播站12也可以设置校准用的专用频道。
在图4中,作为一例而示出在日本中的校准处理之中能够使用的频道的候选。如图4所示,在影像识别装置20的校准CH数据库243中,例如按照东京、大阪、其他这样的每个地域,存储有校准处理中能够使用的频道的数据。并且,基于从影像接收装置40发送来的信息(地域信息),从其中提取频道候选并发送至影像接收装置40。例如,如果影像识别装置20基于从影像接收装置40发送来的地域信息而判断出设置了影像接收装置40(STB14)的地域为东京,则选择在东京能够接收的频道,并将表示该频道的信息(数据)发送至影像接收装置40。
然后,影像接收装置40的校准执行部491若接收到从影像识别装置20发送的信息(数据),则指示控制部41而使得:将其中包含的频道的信息显示于显示部54,并且为了执行校准处理而向显示部54显示催促用户将STB14变更为该频道(校准用频道)的消息。在STB14中被执行频道向校准处理中能够使用的频道(校准用频道)的变更,若进行了表示频道变更已结束的用户操作以及表示选择了哪个频道的用户操作,则影像接收装置40的操作信号接收部43受理该用户操作。然后,影像接收装置40的第2控制部46指示控制部41,以将表示向校准用频道的变更已完成的信号、以及表示选择了哪个频道的信号发送至影像识别装置20(步骤S302)。
图5是示意性表示实施方式1中的影像接收装置40的显示部54所显示的消息的一例的图。
在步骤S302中,如在图5中示出一例那样,为了执行校准处理,在显示部54显示催促用户将STB14的接收频道变更为校准用频道的消息。在图5所示的例子中,在显示部54显示“开始校准。请在所连接的STB中选台频道○○”这样的消息。该“频道○○”为校准用频道。
期望在该消息中也一并显示在频道的变更结束之后催促用户进行表示频道变更已结束的用户操作的消息。
另外,频道变更的用户操作是针对STB14而执行的,表示频道变更已结束的用户操作是针对影像接收装置40而执行的。这是由于影像接收装置40难以掌握针对STB14而执行的用户操作。
另外,在图5中虽然示出一个频道候选显示于显示部54的例子,但也可以构成为显示多个频道候选而由用户选择其中的任意一个。在此情况下,期望也一并显示催促用户进行表示选择了哪个频道的用户操作的消息。该表示选择了哪个频道的用户操作也是针对影像接收装置40而执行的。
另外,也可以构成为,在从影像识别装置20向影像接收装置40发送了多个频道候选的信息时,由影像接收装置40来选择其中的任意一个,仅该选择出的一个频道显示于显示部54,且表示由影像接收装置40选择出的频道的信息从影像接收装置40发送给影像识别装置20。
然后,在STB14中被执行频道向校准处理中能够使用的频道(校准用频道)的变更,若进行了表示频道变更已结束的用户操作,则影像接收装置40的校准执行部491指示控制部41,以将表示向校准用频道的变更已完成的信号(以及表示选择了哪个频道的信号)发送至影像识别装置20。
接下来,影像接收装置40与影像识别装置20协作来开始参数设定处理(步骤S303)。关于步骤S303的详情将后述。
另外,在步骤S302中通过用户操作而选择出的频道是上述的“被指定为校准用的频道”,影像识别装置20的校准用影像提取部244从广播站12广播的广播信号之中接收该频道的广播信号,提取校准处理用的影像信号。
然后,在步骤S303中进行的参数设定处理的结果、即表示通过校准处理而决定出的参数的信息,被从影像识别装置20发送至影像接收装置40。影像接收装置40的第2控制部46接收表示该参数的信息(步骤S304)。
该参数是在影像识别装置20针对从影像接收装置40发送至影像识别装置20的部分影像进行影像识别处理时,为了设定影像识别装置20的存储部23中存储的指纹的核对范围(或者核对开始点)而被使用的。该参数的详情将后述。
然后,该参数被存储并保存于影像接收装置40的第2存储部492(步骤S305)。第2存储部492所存储的参数在以后的影像识别处理中被继续使用。
接下来,说明本实施方式中的校准处理。
图6是示意性表示从广播站12广播的广播信号直至被影像接收装置40显示为止的路径的一例的图。
在图6所示的例子中,在第1路径上,从广播站12广播的广播信号不经由中继设备61而被STB14a接收,基于该广播信号的影像信号从STB14a输入至影像接收装置40a。另一方面,在第2路径上,从广播站12广播的广播信号经由中继设备61而被STB14b接收,基于该广播信号的影像信号从STB14b输入至影像接收装置40b。另外,图6所示的影像输入部48a、48b具有与影像输入部48实质上相同的构成、动作,校准执行部491a、491b具有与校准执行部491实质上相同的构成、动作。
如此,从广播站12广播的广播信号并非同样地被STB14、影像接收装置40接收,既存在不经由中继设备61而被直接接收的情况,也存在中途经由单个或者多个中继设备61而被接收的情况,其路径为多种多样。
并且,从广播站12广播的广播信号被STB14、影像接收装置40接收的定时根据其路径而变化。
图7是示意性表示从广播站12广播的广播信号直至被STB14接收为止的时间延迟的一例的图。
在图7中,横轴示出时间的经过。并且,示意性表示基于广播站12所广播的广播信号的影像、影像接收装置40a所显示的影像、以及影像接收装置40b所显示的影像。
例如,在图6所示的例子中,在从广播站12广播的广播信号不经由中继设备61而被STB14a接收的第1路径上,从广播站12广播的广播信号直至被影像接收装置40a显示为止的时间延迟为ΔT1。另一方面,在从广播站12广播的广播信号经由中继设备61而被STB14b接收的第2路径上,从广播站12广播的广播信号直至被影像接收装置40b显示为止的时间延迟为比ΔT1大的ΔT2。其原因在于,在第2路径上,产生了经由中继设备61的量所对应的时间延迟。
另外,这种时间延迟,存在根据频道而不同的情况,或者即便是同一频道也存在从中心台广播全国广播的时间段和从地方台广播地域广播的时间段中不同的情况。
这样,从广播站12广播的广播信号直至被影像接收装置40显示为止的时间延迟,存在根据从广播站12至STB14的路径而不同的情况。并且,若产生了这种时间延迟的差,则影像识别装置20从影像接收装置40接收部分影像的时刻也会产生差。例如,在从影像接收装置40a发送来的部分影像和从影像接收装置40b发送来的部分影像中,由影像识别装置20接收的定时不同。这样,若纵使是相同的部分影像,由影像识别装置20接收的定时也按照每个影像接收装置40而不同,则在影像识别装置20中,在进行影像识别处理时,必须将该时间延迟的差估计在内来与更宽范围的图像数据(指纹)进行核对,从而影像识别处理的负荷增加。
在本实施方式中,纵使从广播站12广播的广播信号直至被影像接收装置40显示为止的时间延迟产生了按每个影像接收装置40的差,也能够实现施加给影像识别处理的负荷的降低地进行校准。
图8是利用影像来示意性表示实施方式1中的附加信息显示系统10所进行的校准处理的一例的图。
在图8中,横轴示出时间的经过。并且,示意性表示基于广播站12所广播的广播信号的影像、基于影像识别装置20从广播站12接收到的广播信号的影像、影像接收装置40所显示的影像、以及影像识别装置20从影像接收装置40接收的校准用的部分影像。
图9是示意性表示实施方式1中的附加信息显示系统10所进行的参数设定处理的动作的一例的流程图。图9所示的流程图是详细地示出图3所示的步骤S303的参数设定处理的流程图。
以下,边夹杂图8的说明边说明图9所示的流程图。
影像识别装置20的校准用数据生成部242生成校准处理时所利用的指纹来生成校准用数据库(步骤S1001)。
在图8所示的例子中,影像识别装置20以比影像接收装置40短的时间延迟而接收了从广播站12发送的广播信号。校准用数据生成部242根据该广播信号来生成在执行校准处理时所利用的指纹。在步骤S1001中生成的指纹被存储于校准用存储部245。此外,成为指纹的基础的影像信号的接收时刻(影像识别装置20接收到叠加有该影像信号的广播信号的时刻)与指纹建立关联地被存储于校准用存储部245。
如此,指纹和接收时刻相互建立关联地被存储于校准用存储部245,从而构成了校准用数据库。
另外,在图8中,将影像识别装置20从广播站12接收到影像接收装置40作为校准用的影像而向影像识别装置20发送的部分影像的排头的影像的广播信号的时刻,记为时刻Ts1、Ts2、……、Tsn。
影像接收装置40的影像提取部45基于第2控制部46的指示,从STB14向影像接收装置40输入的影像信号之中获取校准用的部分影像(步骤S1002)。
影像接收装置40的校准执行部491指示控制部41,以将在步骤S1002中获取到的校准用的部分影像发送至影像识别装置20(步骤S1003)。
影像识别装置20接收在步骤S1003中从影像接收装置40发送出的校准用的部分影像。然后,其接收时刻Ts1′被保存于校准用存储部245(步骤S1004)。
另外,在图8中,将作为校准用的影像而由影像接收装置40发送出的部分影像在影像识别装置20中的接收时刻(部分影像的排头影像的接收时刻),记为时刻Ts1′、Ts2′、……、Tsn′。
在图8中,时刻Ts1′、Ts2′、……、Tsn′分别是比时刻Ts1、Ts2、……、Tsn晚的时刻,该时间差如上所述那样是基于从广播站12至STB14的广播信号的发送路径而产生的,此外,也是基于影像接收装置40中的各种处理所需的时间、从影像接收装置40向影像识别装置20的数据发送所需的时间等而产生的。
另外,该时间差如上所述是根据影像识别装置20以及STB14(影像接收装置40)的设置场所、广播信号的发送路径等而发生变化的。
影像识别装置20的校准用比较搜索部241,将根据从影像接收装置40发送来的校准用的部分影像而生成的指纹与存储于校准用存储部245的校准用数据库进行核对(步骤S1005)。然后,从该数据库之中选定类似度最高的指纹,来作为与从影像接收装置40发送来的部分影像对应的指纹。此外,与该指纹建立了关联的接收时刻被一并从校准用存储部245之中读出。
这样,与从影像接收装置40发送来的校准用的部分影像对应的影像被确定出,叠加有该影像的广播信号的接收时刻Ts1被决定出。
校准用控制部246计算时刻Ts1与时刻Ts1′的时间差,并将其结果存储于校准用存储部245(步骤S1006)。
为了应对在该时间点校准处理突然结束的情况,校准用控制部246将步骤S1006的运算结果作为参数而临时保存于校准用存储部245(步骤S1007)。这是为了使得能够将步骤S1006的结果作为参数来利用。
从步骤S1002至步骤S1007的各步骤被反复执行N次(N为1以上的整数)(步骤S1008)。
由此,在步骤S1004中测定时刻Ts2′、Ts3′、……、Tsn′,在步骤S1005中决定时刻Ts2、Ts3、……、Tsn。然后,在步骤S1006中分别计算时刻Ts2与时刻Ts2′的时间差、时刻Ts3与时刻Ts3′的时间差、……、时刻Tsn与时刻Tsn′的时间差。即,计算N个时间差。
在从步骤S1002至步骤S1007的各步骤被执行了N次之后,校准用控制部246基于在步骤S1006中计算并存储于校准用存储部245的N个时间差、即时刻Ts1与时刻Ts1′的时间差、时刻Ts2与时刻Ts2′的时间差、……、时刻Tsn与时刻Tsn′的时间差来决定最终参数(步骤S1009)。
如此,在本实施方式中,在步骤S1009中决定的参数表示:从影像接收装置40发送的部分影像被影像识别装置20接收到的时刻(例如时刻Ts1′、Ts2′、……、Tsn′)与该部分影像所对应的广播信号被影像识别装置20接收到的时刻(例如时刻Ts1、Ts2、……、Tsn)之间的时间差。
另外,校准用控制部246也可以在步骤S1009中对步骤S1006所计算出的N个时间差进行相加平均,由此来计算最终参数,但本实施方式完全不限定于该计算方法。例如,校准用控制部246可以将N个时间差的最频值(出现最多的数值)作为最终参数,或者也可以将N个时间差的分布的中央值作为最终参数。或者,也可以通过其他的统计方法来决定最终参数。
在步骤S1009中决定出的参数被存储于校准用存储部245,并且被从影像识别装置20发送至影像接收装置40而被存储于影像接收装置40的第2存储部492。
这样,步骤S303的参数设定处理结束。
存储于第2存储部492的参数,在影像接收装置40向影像识别装置20委托内容确定处理时,与部分影像一起从影像接收装置40发送至影像识别装置20。即,影像接收装置40的控制部41将存储于第2存储部492的参数与部分影像一起发送给影像识别装置20,来委托影像识别装置20影像识别处理。
在影像识别装置20中,在对存储于存储部23的指纹与根据从影像接收装置40发送来的部分影像而生成的指纹进行核对时,使用该参数。即,影像识别装置20的搜索部22基于该参数来设定存储于存储部23的指纹的数据库中的核对范围(或者核对开始点),并基于该设定的核对范围(或者核对开始点)来进行与从影像接收装置40接收到的部分影像有关的影像识别处理。
在不利用该参数而进行影像识别处理的情况下,影像识别装置20必须将上述的时间延迟的差估计在内来设定用于影像识别处理的核对范围,从而该核对范围相对变大。
但是,如果利用该参数来设定用于影像识别处理的核对范围,则与不利用该参数的情况相比,能够缩窄核对范围。因此,能够降低影像识别装置20中的影像识别处理的负荷。此外,由于影像识别处理时的负荷被降低,因此也能够提高影像识别处理的精度。
[1-3.效果等]
如以上,在本实施方式中,影像接收装置40构成为能够经由通信网络16来进行数据的收发,且具备影像输入部48、影像提取部45、控制部41以及校准执行部491。影像输入部48构成为输入从设置于外部的影像发送装置(例如STB14)输出的影像信号。影像提取部45构成为从该影像信号之中提取影像识别处理用的部分影像。控制部41构成为进行如下控制,即,向与通信网络16连接的影像识别装置20发送部分影像或者根据部分影像而生成的内容识别信息来委托影像识别处理,从影像识别装置20获取该影像识别处理的结果,从与通信网络16连接的附加信息分发装置30获取基于该影像识别处理的结果的附加信息。校准执行部491构成为与影像识别装置20协作来进行校准处理,设定给定的参数。
影像识别装置20构成为与影像接收装置40协作来进行校准处理,设定给定的参数,并发送给影像接收装置40。
在该校准中,输入至影像接收装置40的影像输入部48的影像信号是校准用频道的广播信号的影像信号,被影像识别装置20接收的广播信号是该校准用频道的广播信号。
影像接收装置40的校准执行部491也可以构成为从影像识别装置20接收作为校准处理的结果而发送来的参数并进行存储。
此外,校准执行部491也可以构成为将能够用于确定设置了影像接收装置40的地域的地域信息与校准处理的开始请求一起发送至影像识别装置20,并接收从影像识别装置20发送来的表示校准用频道的候选的信息。
此时,影像识别装置20也可以构成为基于从影像接收装置40接收到的地域信息而从校准CH数据库243之中选择校准用频道的候选并发送给影像接收装置40。
此外,也可以是影像接收装置40还具备:显示部54,构成为显示在影像信号上叠加了附加信息而获得的影像,校准执行部491构成为在显示部54上显示校准用频道的候选并且显示催促用户将频道变更为校准用频道的候选中的任意一者的消息。
此外,影像接收装置40也可以具备:操作信号接收部43,构成为受理表示频道变更已结束的用户操作。
该参数可以是表示从影像接收装置40发送的部分影像被影像识别装置20接收的时刻和与部分影像对应的影像信号被影像识别装置获取的时刻之间的时间差的数据。此外,控制部41也可以构成为将该参数与部分影像或者内容识别信息一起发送给影像识别装置20来委托影像识别处理。
此时,影像识别装置20也可以构成为设定表示从影像接收装置40发送来的部分影像被影像识别装置20接收的时刻与该部分影像所对应的影像信号被影像识别装置20获取的时刻之间的时间差的参数并发送至影像接收装置40。
由此,在影像识别装置20中,与不利用该参数而进行影像识别处理的情况相比,能够缩窄进行影像识别处理时的核对范围,因此能够减轻施加给影像识别处理的负荷。
(实施方式2)
实施方式1所设定的参数在进行影像识别处理时被用于指纹的数据库中的核对范围的设定,但通过校准处理而设定的参数完全不限定于此。在本实施方式中,说明通过校准处理来设定其他参数的例子。
以下,利用图10~图14来说明实施方式2。
另外,在实施方式1中,虽然说明了从影像接收装置40向影像识别装置20发送部分影像来进行内容确定处理的构成,但也可以从影像接收装置向影像识别装置发送指纹来进行内容确定处理。在本实施方式中说明如下构成,即,在影像接收装置140中根据部分影像来生成指纹,并将该指纹从影像接收装置140发送给影像识别装置120来委托内容确定处理。
[2-1.构成]
本实施方式所示的附加信息显示系统110在构成要素中具备影像识别装置120以及影像接收装置140。
图10是示意性表示实施方式2中的影像识别装置120以及影像接收装置140的构成的一例的框图。在图10中示出与本实施方式所示的动作关联的主要电路模块,与其他动作有关的功能、电路模块进行了省略。另外,在本实施方式中,对于进行与图2所示的影像识别装置20以及影像接收装置40实质上相同的动作的构成要素,赋予与该构成要素相同的符号,并省略说明。
影像识别装置120具备HTTP收发部21、搜索部22、存储部23以及校准部124。
校准部124具有校准用比较搜索部241、校准用数据生成部242、校准CH数据库243、校准用影像提取部244、校准用存储部245以及校准用控制部256。校准部124构成为在与影像接收装置140所具有的校准执行部493进行通信的同时执行校准处理。
影像识别装置120具有与实施方式1所示的影像识别装置20实质上相同的构成,进行实质上相同的动作。不过,在校准部124中所进行的校准处理(通过校准处理而设定的参数)不同于实施方式1所说明的校准部24。该详情将后述。
影像接收装置140具备控制部141、HTTP收发部42、操作信号接收部43、影像输出部44、显示部54、影像提取部45、存储部47、内容切换检测部66、校准执行部493以及影像输入部48。校准执行部493具有第2控制部146以及第2存储部492。
影像接收装置140具有与实施方式1所示的影像接收装置40实质上相同的构成,进行实质上相同的动作。不过,控制部141根据部分影像生成指纹并将该指纹发送给影像识别装置120来委托内容确定处理这一点、以及在第2控制部146以及校准执行部493中所进行的校准处理(被设定的参数),不同于实施方式1所说明的第2控制部46以及校准执行部491。该详情将后述。
[2-2.动作]
以下,说明实施方式2中的校准处理时的动作。
在实施方式1中,利用图6、图7,说明了在从广播站12发送广播信号起至被STB14接收为止的期间内,根据是否经由中继设备61、或者经由几台中继设备61等,按照每个STB14,直至接收广播信号为止的时间(时间延迟)产生差的情况。并且,为了防止影像识别装置20所进行的影像识别处理的负荷因该时间延迟的差而增大,说明了进行校准处理来设定参数的例子。
但是,因广播信号的发送路径的不同而产生的不仅仅为时间延迟的差。这种发送路径的不同有可能使得被STB14接收的广播信号的影像信号发生变化。利用图11A、图11B来说明该影像信号有可能发生的变化的一例。
图11A是示意性表示从广播站12发送的广播信号直至被STB14接收为止的期间内发生劣化的情况下显示影像所产生的变化的一例的图。
在被STB14接收的广播信号因某些原因而发生了劣化的情况下,例如,如图11A所示,有时显示影像会发生明度、色相的变化,或者画质劣化而使得影像变得不清楚。
图11B是示意性表示对于从广播站12发送出的广播信号的影像信号实施了加工的情况下的显示影像的一例的图。
根据STB14的动作的规格,例如,如图11B所示,STB14对于广播信号的影像信号实施加工,有时影像尺寸会发生变化,或者会叠加原影像所不具有的信息。
若相对于广播站12所广播的原始的影像而影像接收装置140的显示部54所显示的影像发生了变化,则根据其变化的程度,影像识别装置120针对从该影像之中截取出的部分影像而进行的影像识别处理的精度会下降。例如,如图11A、11B中示出一例那样,如果该变化相对较大,则影像识别处理的精度有可能相对大幅地下降。因此,在这种情况下,期望从影像接收装置140向影像识别装置120发送尽量多的部分影像,通过增加影像识别处理的次数来提高影像识别处理的精度。但是,这不仅使得通信数据量(从影像接收装置140向影像识别装置120发送的数据量)增大,而且还有可能使得施加给影像识别处理的负荷、时间等增大。
另一方面,如果影像接收装置140的显示部54所显示的影像与从广播站12发送的原始的影像相比而只有相对少的变化,则即便使从影像接收装置140向影像识别装置120发送的部分影像的发送周期相对变长来使影像识别装置120所进行的影像识别处理的次数相对减少,也能够高精度地进行影像识别处理。
但是,影像接收装置140难以掌握从STB14输出的影像信号与从广播站发送的原始的影像信号相比而发生了何种程度的变化。
如果从影像接收装置140向影像识别装置120时常发送大量的信息(根据部分影像而生成的指纹),则即便影像的变化的程度不详,也能够维持影像识别处理的精度。但是,若影像接收装置140进行这种动作,则从影像接收装置140向影像识别装置120发送的数据量、影像识别装置120中的负荷会增大,因此不优选。
在本实施方式中,通过校准处理来设定用于应对这种状况的参数。
另外,实施方式2中所进行的校准处理的过程与实施方式1中图3所示的流程图实质上相同。不过,图3所示的步骤S303的参数设定处理的动作不同于实施方式1中利用图9所说明的流程图。
以下,说明与实施方式1不同的、本实施方式中的步骤S303的参数设定处理的动作。
[2-2-1.校准处理的动作]
图12是利用影像来示意性表示实施方式2中的附加信息显示系统110所进行的校准处理的一例的图。
图13是示意性表示实施方式2中的附加信息显示系统110所进行的参数设定处理的动作的一例的流程图。
图14是将图13所示的流程图分为影像接收装置140和影像识别装置120各自的动作来表示的流程图。
以下,边夹杂图12、图14的说明边说明图13所示的流程图。
在本实施方式中,如图12中示意性所示那样,通过校准处理来设定决定在影像提取部45中所进行的截取部分影像的周期的参数。
在以下的例子中,预先准备:设定为部分影像的截取周期相对短(即,从影像接收装置140向影像识别装置120的发送数据量相对大)的参数a、设定为部分影像的截取周期相对长(即,发送数据量相对小)的参数c、以及设定在参数a和参数c的中间的参数b这三个参数a、b、c,说明通过校准处理来选择这些参数中的任意一者的动作。另外,本实施方式中的参数完全不限定于这三个参数,可以为四个以上,也可以为两个。
如上所述,如果从STB14向影像接收装置140输入的影像信号与从广播站12广播的原始的影像信号相比而相对仅有少许变化,则影像接收装置140选择参数c,从而能够使从影像接收装置140向影像识别装置120发送的数据的量相对变少。
另一方面,如果该变化相对较大,则影像接收装置140选择参数a或者参数b,从而能够使从影像接收装置140向影像识别装置120发送的数据的量相对变多,由此来提高影像识别装置120中的影像识别处理的精度。
在图13的流程图中示出如何设定该参数的过程。
另外,在图14的流程图中,除了图13所示的流程图之外,还更详细地示出图3所示的步骤S301、S302。首先,说明该步骤。
影像接收装置140的第2控制部146指示控制部141,以将表示校准的开始请求的信息发送至影像识别装置120(步骤S3011)。
接收到该信息的影像识别装置120的校准部124从校准CH数据库243之中提取在影像接收装置140中能够使用于校准处理(STB14能够接收)的频道的候选(步骤S3012)。
影像识别装置120的校准部124将表示提取出的频道的候选的信息发送至影像接收装置140。影像接收装置140的第2控制部146接收该信息(步骤S3013)。
这些步骤S3011、S3012、S3013相当于实施方式1中图3所示的步骤S301。
影像接收装置140的校准执行部493若接收到从影像识别装置120发送的信息,则指示控制部141而使得:将该信息中所含的频道信息显示于显示部54,并且为了执行校准处理而向显示部54显示催促用户将STB14变更为该频道(校准用频道)的消息(步骤S3021)。
在STB14中被进行频道向校准处理中能够使用的频道(校准用频道)的变更,若进行了表示频道变更已结束的用户操作以及表示选择了哪个频道的用户操作,则影像接收装置140的操作信号接收部43受理该用户操作(步骤S3022)。
然后,影像接收装置140的第2控制部146指示控制部141,使得:将表示向校准用频道的变更已完成的信息(数据)、以及表示选择了哪个频道的信息(数据)发送至影像识别装置120(步骤S3023)。
这些步骤S3021、S3022、S3023相当于实施方式1中图3所示的步骤S302。
接下来,影像接收装置140的校准执行部493与影像识别装置120协作来开始参数设定处理。
首先,影像接收装置140的校准执行部493使参数初始化(步骤S1201)。
所谓该参数的初始化,是指选择预先准备的多个参数中的任意一个。在此,虽然设通过参数的初始化来选择例如参数a,但也可以选择参数a以外的参数。然后,表示选择出的参数的信息被从影像接收装置140发送给影像识别装置120。
然后,在步骤S1201中选择出的参数(例如参数a)作为在今后进行的影像识别处理中使用的参数,而由影像接收装置140的校准执行部493、影像识别装置120的校准部124分别设定(步骤S1202)。
接下来,校准执行部493和校准部124进行同步处理(步骤S1203)。
所谓同步处理是指:使得为了校准用而从影像接收装置140向影像识别装置120发送的部分影像的指纹、与影像识别装置120为了校准用而根据接收到的频道的影像所生成的指纹之间的定时相互一致的处理。即,是指为了在进行影像识别处理时能够相互比较根据彼此相同的影像生成的指纹而使两者的定时一致的处理。
另外,设这些指纹是根据彼此相同的校准用频道的影像而生成的。
例如可以事前进行实施方式1所示的校准处理,对从STB14向影像接收装置140输入的影像信号与影像识别装置120从广播站12接收的广播信号的影像信号之间的时间差进行检测,利用该检测结果来进行该同步处理。
然后,影像识别装置120的校准用影像提取部244从被影像识别装置120接收到的校准用频道的广播信号之中,与部分影像的长度一致地获取在影像识别处理中使用的影像信号。例如,如果部分影像的长度为2秒钟,则校准用影像提取部244将2秒钟的连续的影像信号作为一个小组,从接收到的广播信号之中连续地获取2秒钟的影像信号。影像接收装置140的影像提取部45以基于在步骤S1202中设定的参数(例如参数a)的周期,从STB14输入的影像信号之中截取部分影像。如果部分影像的长度例如设定为2秒钟、且基于参数的周期例如为2秒,则影像提取部45将2秒钟的连续的影像信号作为一个部分影像,从输入影像信号之中以2秒周期来截取部分影像(步骤S1204)。
由于影像识别装置120的校准部124和影像接收装置140的校准执行部493已经在步骤S1203中进行了同步处理,因此影像识别装置120的校准用影像提取部244所获取的影像信号(例如,2秒钟的连续的影像信号)和影像接收装置140的影像提取部45所获取的部分影像(例如,2秒钟的连续的影像信号)是定时彼此一致且内容彼此相同的影像信号。
接下来,影像识别装置120的校准用数据生成部242根据校准用影像提取部244获取到的影像信号来生成指纹。影像接收装置140的控制部141根据影像提取部45获取到的部分影像来生成指纹(步骤S1205)。
在步骤S1205中,由影像接收装置140生成的指纹从影像接收装置140发送至影像识别装置120,由影像识别装置120接收(步骤S1215)。
在步骤S1215中影像识别装置120接收到的指纹,在影像识别装置120的校准用比较搜索部241中与在步骤S1205中校准用数据生成部242所生成的指纹进行核对(步骤S1206)。这样,在影像识别装置120中进行校准用的影像识别处理。
在步骤S1206中比较两个指纹时,其一致程度作为误差进行数值化(步骤S1207)。如果两个指纹完全一致,则误差例如为0%,如果两个指纹完全不一致,则误差例如为100%。该动作被进行给定次数,其中的例如最优值作为步骤S1207中的最终误差而被采用。该最优值是指误差的数值最小的值。
例如,如果预先设定的给定时间为12秒钟,一个部分影像的长度为2秒钟,基于在步骤S1202中设定的参数的部分影像的截取周期为2秒,则在该给定时间的期间内被进行6次的影像识别处理。这样被进行多次的影像识别处理,从而计算多个误差。并且,其中的例如最优值成为最终误差。
如此求出的误差作为在步骤S1202中设定的参数的评价结果而与该参数建立关联地存储于校准用存储部245。
在该处理被正常进行时,影像识别装置120也可以将表示该处理被正常进行的信息发送至影像接收装置140。
另外,误差的计算方法完全不限定于上述方法,例如可以通过多次进行的结果的相加平均、最频值、或者分布的中央值、或者其他的统计方法等来决定最终误差。
从步骤S1202至步骤S1207的各步骤被反复执行预先准备的参数的数目(步骤S1208)。
例如,如果除了参数a之外还预先准备了参数b、c这两个参数,则从步骤S1202至步骤S1207的各步骤还要被反复执行两次。在第2轮中,在步骤S1202中设定参数b,如果该参数b例如设定为4秒周期,则在步骤S1204中影像提取部45从输入影像信号之中以4秒周期来截取例如2秒钟的连续的部分影像(即,每隔2秒的间隔来截取2秒钟的部分影像)。然后,在步骤S1207中,如果给定时间例如为12秒钟,则在给定时间的期间内被进行3次的影像识别处理,基于该结果来求出最终误差。
此外,在第3轮中,在步骤S1202中设定参数c,如果该参数c例如设定为6秒周期,则在步骤S1204中影像提取部45从输入影像信号之中以6秒周期来截取例如2秒钟的连续的部分影像(即,每隔4秒的间隔来截取2秒钟的部分影像)。然后,在步骤S1207中,如果给定时间例如为12秒钟,则在给定时间的期间内被进行2次的影像识别处理,基于该结果来求出最终误差。
若从步骤S1202至步骤S1207的各步骤被反复执行了预先准备的参数的数目,则针对预先准备的各个参数的评价结果存储于校准用存储部245。
校准用控制部256比较这些评价结果,并基于该比较结果来决定最终参数(步骤S1209)。
例如,如果在步骤S1207中计算出的误差在各参数下分别小于给定的阈值,则校准用控制部256判断出即便使部分影像的截取周期变长来减少影像识别处理的次数(每给定时间的次数)也能够高精度地进行影像识别处理,从而例如将参数c采用为最终参数。此外,例如,如果在步骤S1207中计算出的误差在各参数下分别为给定的阈值以上,则校准用控制部256判断出若不使部分影像的截取周期变短来增多影像识别处理的次数(每给定时间的次数)便无法确保影像识别处理的精度,从而例如将参数a采用为最终参数。此外,例如,如果在步骤S1207中计算出的误差之中混合存在给定的阈值以上的误差和小于给定的阈值的误差,则校准用控制部256例如将参数b采用为最终参数。
这样,校准用控制部256比较预先准备的多个参数的各个参数下的评价结果来决定最终参数,以使得可精度良好地进行影像识别处理,且能够降低施加给影像识别处理的负荷、通信数据量。
在步骤S1209中决定出的参数被存储于校准用存储部245,并且被从影像识别装置120发送至影像接收装置140而存储于影像接收装置140的第2存储部492。存储于第2存储部492的参数被用在以后的影像识别处理中,影像提取部45以基于该参数的周期来截取部分影像。
[2-3.效果等]
如以上,在本实施方式中,影像识别装置120构成为与影像接收装置140协作来设定与影像提取部45中的部分影像的提取的周期有关的参数并发送至影像接收装置140。影像提取部45构成为从影像信号之中以基于该参数的周期来提取部分影像。
影像接收装置140中的部分影像的截取周期实质上成为从影像接收装置140向影像识别装置120委托影像识别处理的周期、即影像识别装置120执行影像识别处理的周期。
由此,能够根据从STB14向影像接收装置140输入的影像信号相对于广播站12所发送的原始的影像信号而发生了何种程度的变化,根据该变化的程度,来设定影像提取部45截取部分影像的周期、即执行影像识别处理的周期。
因此,在该变化的程度相对较小而能高精度地进行影像识别处理时,能够将截取部分影像的周期变长,从而降低在进行影像识别处理时施加给影像识别装置120的负荷、为了委托影像识别处理而从影像接收装置140向影像识别装置120发送的数据量。此外,在该变化的程度相对较大而可预想影像识别处理的精度下降时,例如在STB14中的广播信号的接收环境不良而接收信号衰减或S/N比劣化的情况、由STB14在影像信号上叠加某些信息来输出的情况等下,能够使截取部分影像的周期变短来使从影像接收装置140向影像识别装置120委托影像识别处理的周期变短,从而精度良好地进行影像识别处理。
(其他实施方式)
如以上,作为本申请中公开的技术例示,说明了实施方式1、2。然而,本公开中的技术并不限定于此,也能够应用于进行了变更、置换、附加、省略等之后的实施方式。此外,也能够组合上述实施方式1、2中所说明的各构成要素来作为新的实施方式。
为此,以下例示其他实施方式。
在实施方式1中,虽然说明了向显示部54显示催促用户将STB14变更为校准用频道的消息,并在通过用户操作而进行了频道变更之后开始参数设定处理的构成,但本公开完全不限定于该构成。例如,也可以在以下所示的动作之后开始参数设定处理。
图15是示意性表示其他实施方式中的影像接收装置142的显示部54所显示的消息的一例的图。
图16是示意性表示其他实施方式中的影像接收装置142的校准处理时的动作的一例的流程图。
以下,边夹杂图15的说明边说明图16所示的流程图。另外,图16所示的流程图中,直至步骤S303的参数设定处理的各步骤不同于图3所示的流程图。
影像接收装置142若从STB14输入了影像信号,则从该影像信号之中截取部分影像并发送给影像识别装置,来委托影像识别处理(步骤S1501)。
接收到部分影像的影像识别装置根据该部分影像来生成指纹,进行影像识别处理(步骤S1502)。
即,影像识别装置将从影像接收装置142接收到的部分影像的指纹与根据以校准用频道接收到的广播信号的影像信号而生成并存储于校准用存储部的指纹进行核对。
另外,在本实施方式中,由于是在未实施校准处理的状态下所进行的影像识别处理,因此将该影像识别处理记为“事前ACR”。
然后,影像识别装置判断从影像接收装置142接收到的部分影像是否为校准用频道的影像(步骤S1503)。由此,影像识别装置判断从STB14向影像接收装置142输入的影像信号是否为在校准处理中能够使用的影像信号。
另外,影像识别装置也可以将事前ACR的结果发送至影像接收装置142,指示影像接收装置142,以在影像接收装置142的显示部54上显示向用户确认事前ACR的结果是否正确的消息。该消息例如为“当前视听中的频道是频道○○?若为是则请按压△△按钮,若为否则请按压××按钮”。
在步骤S1503中判断出被输入至影像接收装置142的影像信号不是以校准用频道接收到的影像信号(否)时,返回到步骤S1501,反复执行一系列的处理。
在步骤S1503中判断出被输入至影像接收装置142的影像信号是以校准用频道接收到的影像信号(时)时,影像识别装置指示影像接收装置142,以显示向用户通知开始校准处理的消息。接收到该指示的影像接收装置142按照该指示而将消息显示于显示部54(步骤S1504)。
在步骤S1504中,例如,如图15所示,在影像接收装置142的显示部54中显示“开始了校准处理。请不要变更频道”这样的消息。
另外,为了使得不妨碍到用户的影像视听,也可以不进行该消息的显示而省略步骤S1504。
然后,开始步骤S303的参数设定处理。
步骤S303以后的各步骤由于与实施方式1、2所示的相同的步骤实质上相同,因此省略说明。
在该实施例中,能够在不向用户指示频道变更的情况下进行校准处理。
在实施方式1、2中,虽然说明了影像接收装置具备显示部54的构成,但本公开中的影像接收装置完全不限定于该构成。影像接收装置也可以不具备显示部。
图17是示意性表示其他实施方式中的影像接收装置240的构成的一例的框图。图17所示的影像接收装置240不具备显示部54,影像输出部144构成为向设置于外部的影像显示装置154以有线或者无线的方式输出影像信号,在这一点上不同于实施方式1中图2所示的影像接收装置40(或者实施方式2中图10所示的影像接收装置140)。
作为这种影像接收装置240的一例,例如能够列举构成为具有录像功能、广播信号接收功能、影像信号输入功能以及影像信号输出功能,并且向设置于外部的影像显示装置154发送影像信号的录像装置等。这种录像装置,例如有硬盘记录器、DVD记录器、BD记录器等。
另外,在实施方式1、2中,虽然说明了STB14接收广播信号并输出影像信号的动作,但例如在影像接收装置接收广播信号并显示基于该广播信号的影像的情况下,也能够进行与实施方式1、2所示的校准处理同样的校准处理。在该情况下,例如影像接收装置的控制部也可以在不显示催促用户变更为校准用频道的消息的情况下来变更校准用频道。
另外,实施方式1、2所说明的流程图只不过为一动作例,也可以调换处理过程等。
另外,在实施方式1、2中,虽然假定广播频道按照每个地域而不同的情况来说明了动作例,但即便是构成为例如在经由通信网络16向影像接收装置分发运动图像的情况、经由通信网络16向影像接收装置下载运动图像文件的情况等下不限定于地域来动作的附加信息显示系统,也能够应用本实施方式所示的构成。
另外,本实施方式所示的各构成要素可以由分别独立的专用电路来构成,或者也可以是由处理器执行被创建为实现他们的一个或者多个动作的程序的构成。此外,此时的程序可以通过从服务器等的下载来获取,也可以经由给定的记录介质(例如,CD-ROM等光盘、磁盘、半导体存储器等)来获取。
此外,本实施方式所示的服务器中的各动作可以由单个的服务器来集中处理,也可以由多个服务器来分散处理。
另外,实施方式1、2所示的具体数值只不过是表示实施方式中的一例,本公开完全不限定于这些数值。各数值期望与影像接收装置的规格等相匹配地设定为最佳值。
产业上的可利用性
本公开能够应用于可以获取与从设置于外部的影像发送装置输入的影像信号有关的附加信息并将获取到的附加信息叠加于影像信号的影像接收装置。具体而言,本公开能够应用于电视接收机、硬盘记录器、DVD记录器、BD记录器等。
符号说明
10,110 附加信息显示系统
12 广播站
14,14a,14b STB
16 通信网络
20,120 影像识别装置
21,42 HTTP收发部
22 搜索部
23,47 存储部
24,124 校准部
30 附加信息分发装置
40,40a,40b,140,142,240 影像接收装置
41,141 控制部
43 操作信号接收部
44,144 影像输出部
45 影像提取部
46,146 第2控制部
48,48a,48b 影像输入部
49 接收部
51 附加信息
54 显示部
61 中继设备
65 输入部
66 内容切换检测部
154 影像显示装置
241 校准用比较搜索部
242 校准用数据生成部
243 校准CH数据库
244 校准用影像提取部
245 校准用存储部
246,256 校准用控制部
491,491a,491b,493 校准执行部
492 第2存储部

Claims (14)

1.一种影像接收装置,构成为能够经由通信网络来进行数据的收发,
所述影像接收装置具备:
输入部,构成为输入影像信号;
影像提取部,构成为从所述影像信号之中提取影像识别处理用的部分影像;
控制部,构成为进行如下控制,即,向与所述通信网络连接的影像识别装置发送所述部分影像或者根据所述部分影像而生成的内容识别信息来委托影像识别处理,从所述影像识别装置获取所述影像识别处理的结果,从与所述通信网络连接的附加信息分发装置获取基于所述影像识别处理的结果的附加信息;
校准执行部,构成为与所述影像识别装置协作来进行校准处理,设定给定的参数;和
显示部,构成为对在所述影像信号上叠加所述附加信息而获得的影像进行显示,
所述校准执行部构成为:将能够用于确定设置了该影像接收装置的地域的地域信息与校准处理的开始请求一起发送至所述影像识别装置,并接收从所述影像识别装置发送来的表示校准用频道的候选的信息,在所述显示部上显示所述校准用频道的候选并且显示催促用户将频道变更为所述校准用频道的候选中的任意一者的消息,
所述参数是表示所述部分影像被所述影像识别装置接收的时刻和与所述部分影像对应的影像信号被所述影像识别装置获取的时刻之间的时间差的数据。
2.根据权利要求1所述的影像接收装置,其中,
所述校准执行部构成为从所述影像识别装置接收作为所述校准处理的结果而发送来的参数并进行存储。
3.根据权利要求1所述的影像接收装置,其中,
所述影像接收装置还具备:操作信号接收部,构成为受理表示频道变更已结束的用户操作。
4.根据权利要求1所述的影像接收装置,其中,
所述控制部构成为将所述参数与所述部分影像或者所述内容识别信息一起发送给所述影像识别装置来委托影像识别处理。
5.根据权利要求1所述的影像接收装置,其中,
所述参数还包括与所述影像提取部中的所述部分影像的提取的周期有关的数据,
所述影像提取部构成为以基于所述参数的周期从所述影像信号之中提取所述部分影像。
6.一种参数设定方法,是构成为能够经由通信网络来进行数据的收发的影像接收装置中的参数设定方法,
所述参数设定方法包括:
在从外部输入的影像信号之中提取影像识别处理用的部分影像的步骤;
向与所述通信网络连接的影像识别装置发送所述部分影像或者根据所述部分影像而生成的内容识别信息来委托影像识别处理,从所述影像识别装置获取所述影像识别处理的结果的步骤;
从与所述通信网络连接的附加信息分发装置获取基于所述影像识别处理的结果的附加信息的步骤;和
与所述影像识别装置协作来进行校准处理,设定给定的参数的步骤,
所述参数设定方法还包括:
将能够用于确定设置了该影像接收装置的地域的地域信息与校准处理的开始请求一起发送至所述影像识别装置的步骤;
接收从所述影像识别装置发送来的表示校准用频道的候选的信息的步骤;
将所述校准用频道的候选显示于显示部的步骤;和
显示催促用户将频道变更为所述校准用频道的候选中的任意一者的消息的步骤,
所述参数是表示所述部分影像被所述影像识别装置接收的时刻和与所述部分影像对应的影像信号被所述影像识别装置获取的时刻之间的时间差的数据。
7.根据权利要求6所述的参数设定方法,其中,
所述参数设定方法还包括:从所述影像识别装置接收作为所述校准处理的结果而发送来的参数并进行存储的步骤。
8.根据权利要求6所述的参数设定方法,其中,
所述参数设定方法还包括:受理表示频道变更已结束的用户操作的步骤,
在受理了所述用户操作之后开始所述校准处理。
9.一种附加信息显示系统,具备构成为能够经由通信网络来相互进行数据的收发的影像接收装置、影像识别装置以及附加信息分发装置,
所述影像接收装置具备:
输入部,构成为输入影像信号;
影像提取部,构成为从所述影像信号之中提取影像识别处理用的部分影像;
控制部,构成为进行如下控制,即,经由所述通信网络向所述影像识别装置发送所述部分影像或者根据所述部分影像而生成的内容识别信息来委托影像识别处理,经由所述通信网络从所述影像识别装置获取所述影像识别处理的结果,经由所述通信网络从所述附加信息分发装置获取基于所述影像识别处理的结果的附加信息;
校准执行部,构成为与所述影像识别装置协作来进行校准处理,设定给定的参数;和
显示部,构成为对在所述影像信号上叠加所述附加信息而获得的影像进行显示,
所述影像识别装置构成为进行与经由所述通信网络而接收到的所述部分影像有关的影像识别处理,经由所述通信网络向所述影像接收装置发送所述影像识别处理的结果,并且构成为与所述影像接收装置协作来进行校准处理,设定给定的参数,并发送给所述影像接收装置,
所述附加信息分发装置构成为将与经由所述通信网络而接收到的所述影像识别处理的结果对应的附加信息,经由所述通信网络发送给所述影像接收装置,
所述影像接收装置的所述校准执行部构成为:将能够用于确定设置了该影像接收装置的地域的地域信息与校准处理的开始请求一起发送至所述影像识别装置,并接收从所述影像识别装置发送来的表示校准用频道的候选的信息,在所述显示部上显示所述校准用频道的候选并且显示催促用户将频道变更为所述校准用频道的候选中的任意一者的消息,
所述参数是表示由所述影像识别装置接收从所述影像接收装置发送来的所述部分影像的时刻和由所述影像识别装置获取与所述部分影像对应的影像信号的时刻之间的时间差的数据。
10.根据权利要求9所述的附加信息显示系统,其中,
所述影像识别装置构成为基于所述地域信息从校准频道数据库之中选择校准用频道的候选并发送给所述影像接收装置。
11.根据权利要求9所述的附加信息显示系统,其中,
所述影像接收装置的所述校准执行部构成为存储接收到的所述参数,在委托影像识别处理时,将所述参数与所述部分影像或者所述内容识别信息一起发送给所述影像识别装置。
12.根据权利要求9所述的附加信息显示系统,其中,
所述参数还包括与所述部分影像的提取的周期有关的数据,
所述影像接收装置的所述校准执行部构成为指示所述影像提取部以基于接收到的所述参数的周期从所述影像信号之中提取所述部分影像。
13.根据权利要求9所述的附加信息显示系统,其中,
在所述校准中,
输入至所述影像接收装置的所述输入部的影像信号是校准用频道的广播信号的影像信号,
被所述影像识别装置接收的广播信号是所述校准用频道的广播信号。
14.根据权利要求9所述的附加信息显示系统,其中,
所述影像识别装置构成为判断从所述影像接收装置发送来的所述部分影像或者所述内容识别信息是否为基于校准用频道的广播信号的部分影像或者内容识别信息,将所述判断的结果发送至所述影像接收装置,并且基于所述判断的结果来开始所述校准处理,
所述影像接收装置构成为将基于接收到的所述判断的结果的消息显示于显示部。
CN201480071262.5A 2014-03-28 2014-10-24 影像接收装置、参数设定方法以及附加信息显示系统 Active CN105850149B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014068198 2014-03-28
JP2014-068198 2014-03-28
PCT/JP2014/005405 WO2015145501A1 (ja) 2014-03-28 2014-10-24 映像受信装置、パラメータ設定方法および付加情報表示システム

Publications (2)

Publication Number Publication Date
CN105850149A CN105850149A (zh) 2016-08-10
CN105850149B true CN105850149B (zh) 2018-12-14

Family

ID=54194103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480071262.5A Active CN105850149B (zh) 2014-03-28 2014-10-24 影像接收装置、参数设定方法以及附加信息显示系统

Country Status (4)

Country Link
US (1) US9955234B2 (zh)
JP (1) JP6379362B2 (zh)
CN (1) CN105850149B (zh)
WO (1) WO2015145501A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9723347B2 (en) * 2015-10-01 2017-08-01 Sorenson Media, Inc Frequency capping for media content
US9848214B2 (en) 2015-10-01 2017-12-19 Sorenson Media, Inc. Sequentially overlaying media content
US10432994B2 (en) 2016-02-17 2019-10-01 The Nielsen Company (Us), Llc Content comparison testing on linear media streams
EP3603079A1 (en) * 2017-03-29 2020-02-05 The Nielsen Company (US), LLC. Targeted content placement using overlays
US11134312B2 (en) * 2017-12-14 2021-09-28 Google Llc Methods, systems, and media for presenting contextual information in connection with media content
CN110852273B (zh) * 2019-11-12 2023-05-16 重庆大学 一种基于强化学习注意力机制的行为识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1179869A (zh) * 1995-03-31 1998-04-22 索尼欧洲公司 按需提供信息的系统
CN1738419A (zh) * 2000-04-14 2006-02-22 日本电信电话株式会社 与广播信息相关的信息取得方法、系统和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10214258A (ja) 1997-01-28 1998-08-11 Victor Co Of Japan Ltd データ処理システム
JP3994682B2 (ja) * 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
JP4344185B2 (ja) 2003-01-28 2009-10-14 シャープ株式会社 クライアント端末装置、情報処理方法、サブクライアント端末装置、コンピュータ実行可能なプログラム、及び記録媒体
WO2005081829A2 (en) 2004-02-26 2005-09-09 Mediaguide, Inc. Method and apparatus for automatic detection and identification of broadcast audio or video programming signal
US8229751B2 (en) 2004-02-26 2012-07-24 Mediaguide, Inc. Method and apparatus for automatic detection and identification of unidentified Broadcast audio or video signals
US20090006337A1 (en) 2005-12-30 2009-01-01 Mediaguide, Inc. Method and apparatus for automatic detection and identification of unidentified video signals
JP5010292B2 (ja) * 2007-01-18 2012-08-29 株式会社東芝 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
US20100225810A1 (en) 2007-07-06 2010-09-09 Ambx Uk Limited Method for synchronizing a content stream and a script for outputting one or more sensory effects in a multimedia system
US8676030B2 (en) * 2008-04-15 2014-03-18 Shlomo Selim Rakib Methods and systems for interacting with viewers of video content
US9635421B2 (en) * 2009-11-11 2017-04-25 Time Warner Cable Enterprises Llc Methods and apparatus for audience data collection and analysis in a content delivery network
JP2012161030A (ja) * 2011-02-02 2012-08-23 Nippon Telegr & Teleph Corp <Ntt> 付随コンテンツ検索装置、システム、方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1179869A (zh) * 1995-03-31 1998-04-22 索尼欧洲公司 按需提供信息的系统
CN1738419A (zh) * 2000-04-14 2006-02-22 日本电信电话株式会社 与广播信息相关的信息取得方法、系统和装置

Also Published As

Publication number Publication date
US20160286283A1 (en) 2016-09-29
CN105850149A (zh) 2016-08-10
JPWO2015145501A1 (ja) 2017-04-13
WO2015145501A1 (ja) 2015-10-01
US9955234B2 (en) 2018-04-24
JP6379362B2 (ja) 2018-08-29

Similar Documents

Publication Publication Date Title
CN105850149B (zh) 影像接收装置、参数设定方法以及附加信息显示系统
US10567742B2 (en) Apparatus and method for presenting media content
US10491711B2 (en) Adaptive streaming of virtual reality data
CN102870420B (zh) 表现媒体内容的方法和设备
US11109093B2 (en) Method and apparatus for providing information associated with media content
US10019058B2 (en) Information processing device and information processing method
WO2015090095A1 (zh) 一种信息推送方法、设备和系统
US20130225290A1 (en) Wearable personal mini cloud game and multimedia device
US20140157294A1 (en) Content providing apparatus, content providing method, image displaying apparatus, and computer-readable recording medium
US20160164970A1 (en) Application Synchronization Method, Application Server and Terminal
CN104718751A (zh) 自适应的立体3d 流
US10979541B2 (en) System and method for setting time and date in a device without access to network time protocol
CN107135407B (zh) 一种钢琴视频教学中的同步方法及系统
US20130179543A1 (en) Method of providing online sporting event services
US8839323B2 (en) Random backoff apparatus and method for receiving augmented content
KR101426579B1 (ko) 이동 통신 시스템에서의 영상 제공 장치 및 그 방법, 그리고, 휴대용 디스플레이 장치 및 그의 영상 디스플레이 방법
EP3125567B1 (en) Video receiving device, video recognition method, and supplementary information display system
CN106060585A (zh) 一种分享电视节目的方法及装置
CN104301776B (zh) 一种信息处理的方法、数字电视设备及可穿戴设备
Li et al. A study of synchronization deviation between vision and haptic in multi-sensorial extended reality
JP2020517003A (ja) メディア視聴データを使用してデバイスマップの精度を改善させるためのシステムおよび方法
Yeregui et al. Edge Rendering Architecture for multiuser XR Experiences and E2E Performance Assessment
KR20240098738A (ko) 서버 장치 및 이의 제어 방법
CN106293903B (zh) 一种用于提供用户交互结果的方法、设备与系统
CN115086691A (zh) 字幕优化方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant