JP2013545386A - 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法 - Google Patents

放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法 Download PDF

Info

Publication number
JP2013545386A
JP2013545386A JP2013536544A JP2013536544A JP2013545386A JP 2013545386 A JP2013545386 A JP 2013545386A JP 2013536544 A JP2013536544 A JP 2013536544A JP 2013536544 A JP2013536544 A JP 2013536544A JP 2013545386 A JP2013545386 A JP 2013545386A
Authority
JP
Japan
Prior art keywords
content
related information
information
broadcast
client terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013536544A
Other languages
English (en)
Other versions
JP5768134B2 (ja
Inventor
リ、ジェヒュン
リ、ジュン−ピョ
Original Assignee
エンサーズ カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エンサーズ カンパニー リミテッド filed Critical エンサーズ カンパニー リミテッド
Publication of JP2013545386A publication Critical patent/JP2013545386A/ja
Application granted granted Critical
Publication of JP5768134B2 publication Critical patent/JP5768134B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4408Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Abstract


【課題】放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法を提供すること。
【解決手段】本発明のコンテンツ関連情報提供システム及びこれを用いた方法は、ディスプレイ部、放送受信手段及びネットワーク接続手段を備えるクライアント端末機側へ、放送チャネルを介して提供される放送コンテンツに関連したコンテンツ関連情報を提供するシステムであって、クライアント端末機側へ提供するコンテンツ関連情報を格納するコンテンツ関連情報管理部と、放送チャネルを介して提供される放送コンテンツに対するフィンガープリント情報を抽出するフィンガープリント抽出部と、クライアント端末機側へ提供するコンテンツ関連情報を決定するコンテンツ関連情報提供決定部と、前記コンテンツ関連情報提供決定部で決定されたコンテンツ関連情報と前記決定されたコンテンツ関連情報に相応する放送コンテンツに対して抽出されたフィンガープリント情報をネットワークを介してクライアント端末機側へ伝送するコンテンツ関連情報発送部とを含み、前記クライアント端末機は、前記コンテンツ関連情報発送部から伝送されたフィンガープリント情報に基づいて、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように制御するコンテンツ関連情報表示部を含むことを特徴とする。
【選択図】図1

Description

本発明は、 放送コンテンツ(content)に関連したコンテンツ関連情報を提供するシステム及び方法 に係り、より詳しくは、放送を視聴しているクライアント端末機側へ、放送コンテンツに関連した多様な関連情報をインターネットなどのネットワークを介して実時間で提供するようにするシステム及び方法に関する。
最近、放送を受信する従来のTVなどの装置にネットワーク接続機能などを含ませてインターネットサービスの提供を受けられるようにする、いわゆるスマートTV(smart TV)などの装置が提案されている。このようなスマートTVなどの装置は、放送を受信することに止まるのではなく、インターネットサービス(Internet service)を提供することができ、アプリケーション(application)をダウンロードして実行させることができるようにすることにより、実際にはTVとコンピュータとが組み合わせられたタイプの装置と看做すことができる。このように放送受信機能とインターネットサービス提供機能を備える装置は、スマートTVだけでなく、DMB受信機能を備える移動通信端末機、インターネットストリミング(Internet streaming)放送サービスを行うコンピュータなども含むが、このように放送とネットワークサービスを同時に行うことが可能な装置を用いて、インタラクティブ(interactive)な方式で放送されるコンテンツに関連した関連情報を提供することが可能な方法が求められている。ところが、このような方法において、ユーザー、すなわちクライアント端末機が視聴している放送がどのようなものであるかを実時間で把握することが難しく、放送途中で、どんな放送コンテンツが再生されるかを実時間で短い時間内に把握することが難しいため、インタラクティブな方式でユーザー側へユーザーの視聴放送に関連した情報を提供することは非常に難しい。かかる問題点に関連し、オーディオ又はビデオ信号に基づいたフィンガープリント(fingerprint)情報を用いると、ユーザーが視聴している放送がどのようなものであるかを容易に判別することができるので、フィンガープリント情報を用いる方法が求められている。
これに関連して、本出願の出願人によって出願された特許文献1(韓国特許公開第10−2011−0010084号(2011年1月31日公開))は、フィンガープリント情報を用いて、コンテンツに関連したサービスを提供する方法について開示している。これを参照すると、クライアント端末機から、クライアント端末機で再生中のコンテンツの少なくとも一つの区間に対する部分フィンガープリント情報を含むコンテンツ関連情報要請信号を受信し、受信した部分フィンガープリント情報に基づいてコンテンツデータベースから該当コンテンツのコンテンツ関連情報を検索し、検索された該当コンテンツのコンテンツ関連情報に基づいて生成するコンテンツ関連サービス情報をクライアント端末機へ伝送する方法及び装置が開示されている。ところが、このような方法は、クライアント端末機から先ずフィンガープリント情報を受信した場合にのみ関連コンテンツ情報を提供することができるという限界点がある。
また、本出願人によって出願された韓国特許出願第10−2011−0038353号は、フィンガープリント情報を用いて実時間でクライアント端末機側へ広告関連情報を提供する方法について開示している。ところが、前記技術は、クライアント端末機が放送視聴中にチャネルを変更する場合が多いが、このような場合、チャネル変更有無を実時間で反映するためには端末機側で放送チャネルを確認する周期を非常に短くしなければならないという欠点があるが、これは結果的にチャネル認識サーバーに大きい負荷を引き起こすという限界点を持っている。
韓国特許公開第10−2011−0010084号明細書
本発明は、上述したような課題を解決するためのもので、放送受信手段とネットワーク接続手段を備えるクライアント端末機に対して、実時間で放送を視聴しながら、放送コンテンツに関連した多様な関連情報を、実際該当放送を視聴しているクライアント端末機側へ提供することができるようにするが、クライアント端末機側で視聴している放送のチャネル情報を確認する周期を長くすることができるので、チャネル情報識別サーバーの負荷を著しく減らすことが可能なシステム及び方法を提供することを目的とする。
また、本発明の他の目的は、放送が提供される途中で、管理者の命令入力信号によって、その時その時の事情によるコンテンツ関連情報を、該当放送を視聴しているクライアント端末機側へ実時間で提供することが可能な方法及びシステムを提供することにある。
また、本発明の別の目的は、放送コンテンツに関連した情報を受信したユーザーが追加動作を行うことを可能にすることにより、製品購買や情報獲得などの2次的な消費者連結活動を拡大することができるので、ユーザーのインタラクティブな参与度を増進させて情報提供効率を増大させるとともに、フィンガープリント情報を用いて、放送コンテンツが再生されるか否かを実時間で正確に把握することができるので、より効率的な情報提供方法及びシステムを提供することにある。
上記目的を達成するために、本発明は、ディスプレイ部、放送受信手段及びネットワーク接続手段を備えるクライアント端末機側へ、放送チャネルを介して提供される放送コンテンツに関連したコンテンツ関連情報を提供するシステムであって、クライアント端末機側へ提供するコンテンツ関連情報を格納するコンテンツ関連情報管理部と、放送チャネルを介して提供される放送コンテンツに対するフィンガープリント情報を抽出するフィンガープリント抽出部と、クライアント端末機側へ提供するコンテンツ関連情報を決定するコンテンツ関連情報提供決定部と、前記コンテンツ関連情報提供決定部で決定されたコンテンツ関連情報と前記決定されたコンテンツ関連情報に相応する放送コンテンツに対して抽出されたフィンガープリント情報をネットワークを介してクライアント端末機側へ伝送するコンテンツ関連情報発送部とを含み、前記クライアント端末機は、前記コンテンツ関連情報発送部から伝送されたフィンガープリント情報に基づいて、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように制御するコンテンツ関連情報表示部を含むことを特徴とする、コンテンツ関連情報提供システムを提供する。
ここで、前記コンテンツ関連情報管理部のコンテンツ関連情報は、予め指定された放送コンテンツに対して対応するように格納され、前記コンテンツ関連情報提供決定部は、放送チャネルを介して提供される放送途中で、前記指定された放送コンテンツが再生される場合、前記指定された放送コンテンツに対応して格納されたコンテンツ関連情報をクライアント端末機側へ提供するコンテンツ関連情報として決定することができる。
また、前記コンテンツ関連情報決定部は、ユーザーの入力信号によってクライアント端末機側へ提供するコンテンツ関連情報を決定することができる。
また、前記コンテンツ関連情報発送部からクライアント端末機側へ伝送されるフィンガープリント情報は、前記コンテンツ関連情報提供決定部で決定したコンテンツ関連情報に相応する放送コンテンツの少なくとも一部に対するフィンガープリント情報であってもよい。
また、前記フィンガープリント情報は、前記コンテンツ関連情報提供決定部で決定したコンテンツ関連情報に相応する放送コンテンツの最前側から所定の時間範囲以内までに対するフィンガープリント情報であってもよい。
また、前記クライアント端末機は、自分が受信する放送コンテンツに対してフィンガープリント情報を抽出するフィンガープリント抽出部をさらに含み、前記コンテンツ関連情報表示部は、前記コンテンツ関連情報発送部から伝送されてくるフィンガープリント情報と前記フィンガープリント抽出部から抽出されたフィンガープリント情報とを比較して一致する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように制御することができる。
また、前記コンテンツ関連情報表示部は、クライアント端末機側のフィンガープリント情報を予め定められた時間範囲の間に格納しておき、前記コンテンツ関連情報発送部から伝送されてくるフィンガープリント情報が前記格納しておいたフィンガープリント情報と一致する部分が存在する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように制御しすることができる。
また、前記クライアント端末機は、放送受信手段を介して自分が受信している放送チャネル識別情報を獲得する放送チャネル確認部をさらに含んでもよい。
また、前記クライアント端末機の放送チャネル確認部は、放送受信手段を介して受信される放送のフィンガープリント情報を抽出し、抽出されたフィンガープリント情報をチャネル情報識別サーバーへ伝送し、前記チャネル情報識別サーバーは、前記クライアント端末機の放送チャネル確認部から受信されるフィンガープリント情報に基づいて、クライアント端末機が現在受信している放送のチャネル情報を確認し、確認されたチャネル情報を前記クライアント端末機へ伝送し、前記クライアント端末機の放送チャネル確認部は、前記チャネル情報識別サーバーから受信した放送のチャネル情報によって、自分が受信している放送チャネル識別情報を獲得することができる。
また、前記コンテンツ関連情報発送部は、前記コンテンツ関連情報提供決定部で決定されたコンテンツ関連情報に相応する放送コンテンツに対する放送チャネル識別情報を前記コンテンツ関連情報及びフィンガープリント情報と共にクライアント端末機側へ伝送し、前記クライアント端末機のコンテンツ関連情報表示部は、前記受信した放送チャネル識別情報と前記放送チャネル確認部によって獲得された放送チャネル識別情報とが一致する場合、前記コンテンツ関連情報発送部から伝送されたフィンガープリント情報に基づいて、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように制御することができる。
また、前記クライアント端末機の放送チャネル確認部は、放送チャネル識別情報を前記コンテンツ関連情報発送部へ伝送し、前記コンテンツ関連情報提供システムの関連情報発送部は、クライアント端末機から受信される放送チャネル識別情報に基づいて、前記コンテンツ関連情報提供部で決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているクライアント端末機を確認し、確認されたクライアント端末機側へ、前記決定されたコンテンツ関連情報とフィンガープリント情報を伝送することができる。
また、前記システムのコンテンツ関連情報発送部は、接続されているクライアント端末機へ、前記決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているか否かを確認するための放送チャネル確認要請信号を伝送し、前記クライアント端末機の放送チャネル確認部は、前記放送チャネル確認要請信号に基づいて放送チャネル識別情報を前記コンテンツ関連情報発送部へ伝送することができる。
また、前記チャネル情報識別サーバーは前記コンテンツ関連情報提供システム内に含まれてもよい。
また、前記コンテンツ関連情報管理部は、前記予め指定された放送コンテンツに対するフィンガープリント情報を指定された放送コンテンツそれぞれに対応してコンテンツ関連情報と共に格納し、前記コンテンツ関連情報提供決定部は、放送チャネルを介して提供される放送コンテンツのフィンガープリント情報と前記コンテンツ関連情報管理部に予め格納しておいた放送コンテンツに対応するフィンガープリント情報とを比較することにより、前記コンテンツ関連情報管理部に格納された放送コンテンツが再生されるかを識別することができる。
また、前記クライアント端末機は、前記表示されるコンテンツ関連情報に基づいたユーザーの入力信号を受信し、受信された入力信号に基づいた追加動作要請信号を前記システム又は外部の別途装置へ伝送するユーザー情報処理部をさらに含んでもよい。
また、前記クライアント端末機の放送チャネル確認部は、フィンガープリント情報をチャネル情報識別サーバーへ伝送しながら時間情報を共に伝送し、前記チャネル情報識別サーバーは、前記コンテンツ関連情報提供システムの絶対時間情報と前記クライアント端末機から伝送される時間情報とを比較し、クライアント端末機とコンテンツ関連情報提供システムの放送画面の時間オフセット情報を獲得してクライアント端末機へ伝送することもできる。
また、前記コンテンツ関連情報発送部は前記クライアント端末機側へコンテンツ関連情報と共に絶対時間情報を伝送し、前記クライアント端末機は前記受信した絶対時間情報と放送画面の時間オフセット情報に基づいてコンテンツ関連情報を表示することができる。
本発明の他の観点によれば、放送チャネルを介して提供される放送コンテンツに関連した情報を提供するシステムから、ディスプレイ部、放送受信手段及びネットワーク接続手段を備えるクライアント端末機側へコンテンツ関連情報を提供する方法において、放送チャネルを介して提供される放送コンテンツに対してフィンガープリント情報を抽出する第1段階と、放送チャネルを介して提供される放送途中で、クライアント端末機側へ提供するコンテンツ関連情報を決定する第2段階と、前記決定されたコンテンツ関連情報と前記決定されたコンテンツ関連情報に相応する放送コンテンツに対して抽出されたフィンガープリント情報をクライアント端末機側へ伝送する第3段階とを含み、前記クライアント端末機は、前記受信したフィンガープリント情報に基づいて、前記受信したコンテンツ関連情報をディスプレイ部を介して表示することを特徴とする、コンテンツ関連情報提供方法を提供することができる。
ここで、前記コンテンツ関連情報は予め指定された放送コンテンツに対して対応するように格納されており、前記第2段階では、放送チャネルを介して提供される放送途中で、前記指定された放送コンテンツが再生される場合、前記指定された放送コンテンツに対応して格納されたコンテンツ関連情報をクライアント端末機側へ提供するコンテンツ関連情報として決定することができる。
また、前記第2段階では、ユーザーの入力信号によってクライアント端末機側へ提供するコンテンツ関連情報を決定することができる。
また、前記第3段階において、クライアント端末機側へ伝送されるフィンガープリント情報は、前記決定したコンテンツ関連情報に相応する放送コンテンツの少なくとも一部に対するフィンガープリント情報であってもよい。
また、前記フィンガープリント情報は、前記決定されたコンテンツ関連情報に相応する放送コンテンツの最前側から所定の時間範囲以内までに対するフィンガープリント情報であってもよい。
また、前記クライアント端末機は、自分が受信する放送コンテンツに対してフィンガープリント情報を抽出するフィンガープリント抽出部を含み、前記クライアント端末機は、前記伝送されてくるフィンガープリント情報と前記フィンガープリント抽出部で抽出されたフィンガープリント情報とを比較して一致する場合、前記伝送されてきたコンテンツ関連情報を表示することができる。
また、前記クライアント端末機は、クライアント端末機側のフィンガープリント情報を予め定められた範囲の間に格納しておき、前記伝送されてくるフィンガープリント情報が前記格納しておいたフィンガープリント情報と一致する部分が存在する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示することができる。
また、前記クライアント端末機は、放送受信手段を介して自分が受信している放送チャネル識別情報を獲得することができる。
また、前記クライアント端末機は、放送受信手段を介して受信される放送のフィンガープリント情報を抽出し、抽出されたフィンガープリント情報をチャネル情報識別サーバーへ伝送し、前記チャネル情報識別サーバーは、前記クライアント端末機の放送チャネル確認部から受信されるフィンガープリント情報に基づいて、クライアント端末機が現在受信している放送のチャネル情報を確認し、確認されたチャネル情報を前記クライアント端末機へ伝送し、前記クライアント端末機は、前記チャネル情報識別サーバーから受信した放送のチャネル情報によって、自分が受信している放送チャネル識別情報を獲得することができる。
また、前記第3段階において、前記決定されたコンテンツ関連情報に相応する放送コンテンツに対する放送チャネル識別情報を前記コンテンツ関連情報及びフィンガープリント情報と共にクライアント端末機側へ伝送し、前記クライアント端末機は、前記受信した放送チャネル識別情報と前記獲得された放送チャネル識別情報とが一致する場合、前記伝送されたフィンガープリント情報と格納しておいたフィンガープリント情報とを比較して一致する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示することができる。
また、前記第3段階の前に、前記クライアント端末機は、放送チャネル識別情報を前記システムへ伝送し、前記第3段階では、前記クライアント端末機から受信される放送チャネル識別情報に基づいて、前記第2段階で決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているクライアント端末機を確認し、確認されたクライアント端末機側へ前記決定されたコンテンツ関連情報とフィンガープリント情報を伝送し、前記クライアント端末機は、前記伝送されたフィンガープリント情報と格納しておいたフィンガープリント情報とを比較して一致する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示することができる。
また、前記第3段階の前に、前記クライアント端末機が放送チャネル識別情報を前記システムへ伝送することは、前記システムが、接続されているクライアント端末機へ、前記第2段階で決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているか否かを確認するための放送チャネル確認要請信号を伝送し、前記クライアント端末機が前記放送チャネル確認要請信号に基づいて放送チャネル識別情報を前記システムへ伝送するように構成してもよい。
また、前記コンテンツ関連情報は、前記予め指定された放送コンテンツに対するフィンガープリント情報を指定された放送コンテンツそれぞれに対応するように共に格納し、前記第2段階では、放送チャネルを介して提供される放送コンテンツのフィンガープリント情報と前記予め格納しておいた放送コンテンツに対応するフィンガープリント情報とを比較することにより、前記格納された放送コンテンツが再生されるかを識別することができる。
また、前記クライアント端末機が、前記表示されるコンテンツ関連情報に基づいたユーザーの入力信号を受信し、受信された入力信号に基づいた追加動作要請信号を前記システム又は外部の別途装置へ伝送する段階をさらに含んでもよい。
本発明によれば、放送受信手段とネットワーク接続手段を備えるクライアント端末機に対して、実時間で放送を視聴しながら、放送コンテンツに関連した多様な関連情報を、実際該当放送を視聴しているクライアント端末機側へ提供することができるようにするが、クライアント端末機側で視聴している放送のチャネル情報を確認する周期を長くすることができるので、チャネル情報識別サーバーの負荷を顕著に減らすことが可能なシステム及び方法を提供することができる。
また、本発明は、放送が提供される途中で、管理者の命令入力信号によって、その時その時の事情に応じるコンテンツ関連情報を、該当放送を視聴しているクライアント端末機側へ実時間で提供することができる。
また、本発明によれば、放送コンテンツに関連した情報を受信したユーザーが追加動作を行うことができるようにすることにより、製品購買や情報獲得などの2次的な消費者連結活動を拡大することができるので、ユーザーのインタラクティブな参与度を増進させて情報提供効率を増大させるとともに、フィンガープリント情報を用いて、放送コンテンツが再生されるか否かを実時間で正確に把握することができるので、より効率的な情報提供方法及びシステムを提供することができる。
本発明に係る放送コンテンツに関連したコンテンツ関連情報を提供するシステムと本発明が実現できる全体的な環境を示す図である。 本発明の好適な一実施例に係るコンテンツ関連情報提供システム100とクライアント端末機200の内部構成を示す図である。 コンテンツ関連情報管理部110に格納される放送コンテンツそれぞれに対するコンテンツ関連情報とフィンガープリント情報の一例を示す図である。 本発明に係るコンテンツ関連情報提供システム100を介してコンテンツ関連情報がクライアント端末機200へ提供される方法の一実施例を示す流れ図である。 本発明に係るコンテンツ関連情報提供システム100を介してコンテンツ関連情報がクライアント端末機200へ提供される方法の他の実施例を示す流れ図である。 本発明に係るコンテンツ関連情報提供システム100を介してコンテンツ関連情報がクライアント端末機200へ提供される方法の別の実施例を示す流れ図である。
以下、添付図面を参照して本発明に係る実施例を詳細に説明する。
図1は本発明に係る放送コンテンツに関連したコンテンツ関連情報を提供するシステムと本発明が実現できる全体的な環境を示す図である。
図1を参照すると、本発明に係る放送コンテンツに関連したコンテンツ関連情報を提供するシステム(以下、「コンテンツ関連情報提供システム」という。)100は、クライアント端末機200とネットワークを介して接続されており、放送事業者300から放送を受信する。ここで、ネットワークとはインターネット網(internet)、公衆電話網(PSTN)又は移動通信網などの概念を含む。コンテンツ関連情報提供システム100は、放送事業者300から放送を受信しながら、放送中に予め指定された放送コンテンツが再生される場合或いはユーザー(管理者)から信号が入力される場合、クライアント端末機200側へ提供するコンテンツ関連情報を決定し、これをネットワークを介して提供する。
放送事業者300は、一般な放送局などの地上波放送事業者、ケーブルTV送出サービス事業者、DMB放送送出サービス事業者、インターネットTVサービス事業者などのように現在の環境で一般に放送(broadcasting)と呼ばれる全ての種類の放送を提供する事業者をいう。図1において、放送事業者300は、説明の便宜のために一つだけ表示したが、複数存在してもよい。
クライアント端末機200は、放送事業者300から提供される放送を受信し、ネットワークを介して、自分が受信している放送コンテンツに関連したコンテンツ関連情報をコンテンツ関連情報提供システム100から受ける。また、クライアント端末機200は、放送を受信すると同時にネットワークを介してコンテンツ関連情報提供システム100に接続されるので、放送を受信することが可能な放送受信手段とネットワーク接続手段を備える。また、クライアント端末機200は、受信される放送を表示することが可能な例えばLCD装置などのディスプレイ部を含む。このようなクライアント端末機200は、例えば、最近広く販売されているスマートTVのようなものでありうるが、スマートTV(smart TV)とは、一般なTVに無線LANモジュールなどのネットワーク接続手段を備えさせてウエブブラウザなどのプログラムが動作できるようにして、ユーザーがウエブサーフィンを行うか或いはいわゆるアプリケーション(application)をダウンロードして実行することを可能とするTVをいう。また、クライアント端末機200は例えばDMB受信機能を備えた移動通信端末機であってもよいが、最近の移動通信端末機は、無線LAN接続機能を備えるので、このような無線LAN接続機能とDMB受信機能をそれぞれネットワーク接続手段と放送受信手段と看做すことができる。また、クライアント端末機200は、物理的に一つの装置ではなく複数の装置から構成されてもよいが、例えば、一般な従来のTVとこのようなTVに連結して前述のようなスマートTVなどの機能を実現するようにするセットトップボックス(set-top box)によって構成されてもよい。このようなセットトップボックスは、スマートTVを別途購買することなく既存の一般TVを用いてスマートTVの機能を実現可能にする補助装置であって、例えばアップル社のアップルTV、Google社のGoogle TVなどの装置が市中に提供されており、これ以外にも最近その他の多様な形態で広く販売されている。また、セットトップボックスは例えばケーブルTVを受信するための従来の公知のセットトップボックスであってもよい。このように、本発明におけるクライアント端末機200は、放送受信手段とネットワーク接続手段を備えるものであればいずれの形態でも本発明にそのまま使用することができる。
次に、このような環境で行われる本発明の全体的な動作を概略的にまとめて説明する。
まず、クライアント端末機200は、放送受信手段を介して放送事業者300から放送を受信する。コンテンツ関連情報提供システム100も放送事業者300から放送を受信する。コンテンツ関連情報提供システム100は、放送を受信する途中で予め指定された放送コンテンツが再生される場合、或いは放送途中で管理者からの命令が受信される場合、予め格納しておいたコンテンツ関連情報を該当放送の提供を受けているクライアント端末機200側へ伝送し、クライアント端末機200は、これを受信してディスプレイ部に表示する。
本発明の具体的な実施例については図2以下を参照して詳細に説明する。
図2は本発明の好適な一実施例に係るコンテンツ関連情報提供システム100とクライアント端末機200の内部構成を示す図である。
図2を参照すると、まず、コンテンツ関連情報提供システム100は、コンテンツ関連情報管理部110、フィンガープリント抽出部120、コンテンツ関連情報提供決定部130、及びコンテンツ関連情報発送部140を含む。図1で説明したように、コンテンツ関連情報提供システム100は、放送事業者300から放送を受信するので放送受信手段を含むが、これは従来の技術によって自明なものなので、放送受信手段及びこれに関連する一般な構成は省略したことに留意すべきである。
コンテンツ関連情報管理部110は、クライアント端末機200側へ提供する放送チャネルを介して提供される放送コンテンツに関連したコンテンツ関連情報を格納し管理する機能を行う。ここで、放送チャネルは少なくとも一つの複数であってもよく、コンテンツ関連情報管理部110は、このような複数の放送チャネルを介して放送事業者300から提供される放送コンテンツに対して対応するようにコンテンツ関連情報を予め格納しておく。ここで、放送コンテンツは予め指定されたものであればよい。例えば、特定ドラマの特定場面であってもよい。また、予め指定された特定の広告画面であってもよい。また、コンテンツ関連情報とは、例えば、該当放送コンテンツが広告の場合、該当広告製品の割引クーポン情報、購買に関連した各種情報、該当製品を見ることが可能なウエブサイト情報、イベント情報などのように該当製品に関連した多様な形態の情報を意味する。また、放送コンテンツが特定ドラマの特定場面の場合、コンテンツ関連情報は該当場面に現れる製品の購買情報のようなものでありうる。コンテンツ関連情報は、該当放送コンテンツと関連があるようにすることが好ましいが、必ずしもなんか関連性があるべきではない。このようなコンテンツ関連情報は、別途の管理サーバー、例えば広告主又は広告サービス提供業社(図示せず)によって入力、編集できるようにしてもよい。コンテンツ関連情報管理部110は、関連情報を管理することができるように、関連情報それぞれに対する説明情報又は関連情報の識別のために固有に与えられる識別子(identifer)などのその他の付随データをさらに含んでもよい。
また、コンテンツ関連情報管理部110は、該当放送コンテンツそれぞれに対してオーディオ、ビデオまたはこれらの組み合わせの少なくとも一つによるフィンガープリント情報を抽出し、抽出されたフィンガープリント情報を前記放送コンテンツそれぞれに対応してコンテンツ関連情報と共に格納するようにすることができる。
フィンガープリント情報はフィンガープリント抽出部120で抽出されるが、フィンガープリント(fingerprint)情報とは、オーディオデータ又はビデオデータなどのデータの特徴を示す特徴データを意味するもので、指紋データ、DNAデータまたは遺伝子データともいう。このようなフィンガープリント情報に関連しては、従来の技術によって様々な方式が提案されており、このようなフィンガープリント情報を活用すると、データの同一性有無を容易に判別することができるので、著作権管理(DRM)分野などで最近幅広く用いられている。例えば、オーディオデータの場合、オーディオデータの特徴を示す各種特徴データ(例えば、周波数や振幅など)を用いてフィンガープリント情報を生成し、ビデオデータの場合、ビデオデータの様々な特徴データ(例えば、フレームのモーションベクトル情報や色相情報など)を用いてフィンガープリント情報を生成することができる。本発明は、このようなフィンガープリント情報を生成する方法自体を目的とするものではなく、従来の技術によるいずれのフィンガープリント生成/抽出方法もそのまま使用することができるので、これについての詳細な説明は省略する。本出願人によって出願された韓国特許出願第10−2007−0044251号(オーディオフィンガープリントデータ生成方法及び装置とこれを用いたオーディオデータ比較方法及び装置)、同第10−2007−0054601号(動画像データの同一性判断及び同一区間検出方法及び装置)、同第10−2007−0060978号(互いに同一性のある動画像データ同士をクラスタリングする方法及びシステム)、同第10−2007−00071633号(動画像データクラスターを用いた動画像データ検索サービス提供方法及び装置)、同第10−2007−0091587号(動画像データクラスターを用いた広告データ設定及び提供方法及び装置)、並びに同第10−2008−0051688号(動画像処理方法及びその装置)によれば、オーディオ又はビデオデータのフィンガープリントデータを生成する方法及びこのようなフィンガープリントデータを用いてクラスタリングする方法について記載されており、このような本出願人のフィンガープリント生成及び抽出方法を本発明に使用することもできる。要するに、本発明は、フィンガープリント情報を抽出する方式がどのようなものであるかを問わず、従来の公知のフィンガープリント生成/抽出技術をそのまま使用することができる。
コンテンツ関連情報管理部110がそれぞれの放送コンテンツに対して格納するフィンガープリント情報は、追って説明するコンテンツ関連情報提供決定部130で、放送中に、コンテンツ関連情報管理部110に格納されている放送コンテンツが再生されているかを判別することに使用される。また、フィンガープリント情報は、後述するようにクライアント端末機200側へ伝送され、クライアント端末機200でコンテンツ関連情報を表示するか否かを決定することに使用される。後述するが、コンテンツ関連情報提供決定部130は、複数の放送チャネルを介して提供される放送を実時間で連続的にモニタリングしながら、該当放送のオーディオ、ビデオまたはこれらの組み合わせの少なくとも一つによるフィンガープリント情報を実時間で例えば一定の時間単位で連続的に抽出し、これをコンテンツ関連情報管理部110に前述したように格納されているフィンガープリント情報と比較することにより、コンテンツ関連情報管理部110に格納された放送コンテンツのいずれか一つが放送されているかを判別することができる。勿論、フィンガープリント情報以外にも他の情報を用いて、放送中に広告が再生されているかを判別することもできるが、前述したようにフィンガープリント情報はオーディオ又はビデオデータの固有特徴を明確に示すので、フィンガープリント情報を用いることが好ましい。
図3はコンテンツ関連情報管理部110に格納される放送コンテンツそれぞれに対するコンテンツ関連情報とフィンガープリント情報の一例を示す図である。
図3を参照すると、放送コンテンツフィールドにはそれぞれの放送コンテンツの簡単な説明が含まれており、コンテンツ識別子フィールドにはそれぞれの放送コンテンツに対して固有に与えられる識別子が含まれていることが分かる。コンテンツ関連情報としてはそれぞれ「5%割引クーポンの提供」、「www.ccc.comへのリンク」、「G動画像再生」などの情報が含まれている。図3では、実際コンテンツ関連情報を示すのではなく、コンテンツ関連情報の内容を説明の便宜のために示したが、実際実現の際には、このような内容のコンテンツ関連情報の提供をクライアント端末機側のユーザーが受けられるようにするデータを含むことが好ましい。例えば、「5%割引クーポンの提供」の場合、このような内容を実際ユーザーが提供を受けられるようにするテキスト、オーディオ、ビデオデータなどの組み合わせによって構成されるウエブページを含むようにして、実際コンテンツ関連情報としてはこのようなウエブページがクライアント端末機側へ提供されるようにすることができ、このような場合、コンテンツ関連情報はこのようなウエブページを含むように構成することができる。例えば、「www.ccc.comへのリンク」の場合には、該当動作を行うようにハイパーリンクを含むウエブページがコンテンツ関連情報として格納できる。勿論、これ以外にも、コンテンツ関連情報は単純なテキストデータであって、該当テキストデータをクライアント端末機側へ提供される形で構成してもよい。後述するが、クライアント端末機200は、コンテンツ関連情報提供システム100によって伝送されるコンテンツ関連情報を受信し、これをディスプレイ部に表示する。よって、コンテンツ関連情報はこのような処理を行うことができるように定義されたデータであることが好ましい。
図3の最後のフィールドにはそれぞれの放送コンテンツに対するフィンガープリント情報が2進数で表現されている。前述したように、このようなフィンガープリント情報を用いて、コンテンツ関連情報提供決定部130はコンテンツ関連情報管理部110に含まれた放送コンテンツが放送されているかを判別することができる。フィンガープリント情報は、例えば該当放送コンテンツが動画像データの場合、該当動画像データの全体フレームに対する情報を含むことができるが、コンテンツ関連情報提供決定部130は、該当放送コンテンツが始まっていることを実時間で判別しなければならないので、該当放送コンテンツの最初フレームから一定の時間範囲区間内のフレームまでに対するフィンガープリント情報を含むように構成してもよい。
次に、再び図2を参照して、コンテンツ関連情報提供システム100のフィンガープリント抽出部120について説明する。フィンガープリント抽出部120は、前述したように、オーディオデータやビデオデータなどのデータの特徴を示す特徴データを意味し、従来の技術によって知られた適切な方法を用いて提供されている出来る限り全ての放送チャネルに対してフィンガープリント情報を実時間で連続的に抽出する。抽出されたフィンガープリント情報は、前述したように、コンテンツ関連情報提供決定部130へ伝達され、関連情報管理部110に格納された放送コンテンツが再生されるかを識別することに使用される。また、コンテンツ関連情報発送部140を介してクライアント端末機へ伝送されてクライアント端末機200で該当関連情報を表示するとき、フィンガープリント情報に基づいて該当コンテンツ関連情報を表示するか否かを決定することに使用されるようにする。
次に、コンテンツ関連情報提供決定部130について説明する。コンテンツ関連情報提供決定部130は、第一、放送チャネルを介して提供される放送途中で、前述したようにコンテンツ関連情報管理部110に格納された放送コンテンツが再生されるかを識別し、第二、ユーザーの入力信号によってクライアント端末機200側へ提供するコンテンツ関連情報を決定する機能を行う。
前記第一の方法は、前述したように、フィンガープリント抽出部120から放送チャネルを介して提供される放送のオーディオ、ビデオまたはこれらの組み合わせの少なくとも一つによるフィンガープリント情報を実時間で連続的に抽出し、抽出されたフィンガープリント情報とコンテンツ関連情報管理部110に予め格納しておいた放送コンテンツそれぞれに対するフィンガープリント情報とを比較することにより、コンテンツ関連情報管理部110に格納された放送コンテンツが再生されるかを識別する方法によって行われる。こでで、コンテンツ関連情報提供決定部130は、該当放送コンテンツが再生される時点から短い時間内に該当コンテンツの再生有無を判別しなければならないが、これは、例えば該当コンテンツが広告の場合、広告が通常20秒、30秒、1分などのように比較的短い時間内に完了し、この間に後述のようにクライアント端末機200側へコンテンツ関連情報を提供し、クライアント端末機200側からコンテンツ関連情報に基づいた追加動作要請がある場合、これを処理しなければならないためである。よって、コンテンツ関連情報提供決定部130は比較的短い区間単位で放送画面のオーディオ又はビデオデータのフィンガープリント情報を抽出することが好ましい。コンテンツ関連情報提供決定部130は、このような方式によって放送される画面に予め指定された放送コンテンツが再生されることを判別すると、これを該当チャネルの情報と共にコンテンツ関連情報発送部140へ知らせる。
一方、前記第二の方法では、ユーザー(管理者)の入力信号によってクライアント端末機側へ提供するコンテンツ関連情報を決定する。このような方法は、管理者が放送コンテンツを視聴しながら特定の時点に必要であると思われる場合、コンテンツ関連情報を提供するようにシステム100に入力信号を伝送する方法によって行われ得る。この場合は、コンテンツ関連情報も共に指定するようにすることができる。例えば、特定ドラマの特定場面が放送される場合、管理者が該当場面に関連すると思われるコンテンツ関連情報を指定して関連情報として提供するように決定することができる。また、野球競技が放送される場合、ホームランに関連したイベントを関連情報として予め指定しておき、打者がホームランを打った場合、指定しておいたイベントを関連情報としてクライアント端末機200側へ提供するように決定することができる。
一方、コンテンツ関連情報発送部140は、前述したようにコンテンツ関連情報提供決定部130で決定されたコンテンツ関連情報と決定されたコンテンツ関連情報に相応する放送コンテンツに対して抽出されたフィンガープリント情報をネットワークを介してクライアント端末機200側へ伝送する機能を行う。
ここで、コンテンツ関連情報発送部140からクライアント端末機200側へ伝送されるフィンガープリント情報は、コンテンツ関連情報提供決定部130でコンテンツ関連情報を提供すると決定されたコンテンツ関連情報に相応する放送コンテンツの少なくとも一部に対するフィンガープリント情報であってもよい。たとえば、決定された関連情報に相応する放送コンテンツの最前部分(時間フレーム0秒)から所定の時間範囲(例えば、時間フレーム1秒)であってもよい。
クライアント端末機200は、後述するように、自分が現在受信している放送チャネルから提供されている放送コンテンツを実時間で連続的に抽出するフィンガープリント抽出部250を含み、フィンガープリント抽出部250で抽出されるフィンガープリント情報とコンテンツ関連情報発送部140から伝送されてくるフィンガープリント情報とを比較して一致する場合、伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように動作することができる。このような過程は、後述するチャネル識別情報を用いてチャネルの一致/不一致を判断する過程と併行して行われ得る。後述するチャネル識別情報を用いることは、クライアント端末機200で現在視聴している放送のチャネルがどのようなものであるかを判断し、チャネルが同一の場合にのみ該当画面にコンテンツ関連情報を表示するようにするためであるが、このようなチャネル識別情報のみを用いる場合、クライアント端末機200でチャネル識別が行われた後でチャネルが転換された場合には、コンテンツ関連情報が該当放送チャネルではなく他の放送チャネルで再生される場合が発生しうる。これを防止するためにはクライアント端末機200側で非常に短い周期で連続的にチャネル識別過程を行わなければならないが、これはクライアント端末機200及び/又は後述するチャネル情報識別サーバーで非常に大きい負荷として作用する。よって、コンテンツ関連情報発送部140からコンテンツ関連情報を伝送しながらフィンガープリント情報の少なくとも一部を伝送するようにし、クライアント端末機200が該当コンテンツ関連情報を再生する前段階で再生されている放送チャネル、すなわち放送コンテンツがどのようなものであるかをフィンガープリント情報を比較して判断するようにすると、クライアント端末機200で自分が視聴しているチャネル情報を確認する周期を非常に長くすることができるため、クライアント端末機200及びチャネル情報識別サーバー400の負荷を顕著に減らすことができるという利点がある。
一方、システムの条件に応じて可能な場合は、後述のチャネル情報識別過程を使用することなく前述したようなフィンガープリント情報のみを用いて、クライアント端末機200で該当コンテンツ関連情報を表示するか否かを決定するようにしてもよい。このような場合は、チャネル識別過程が不要となるので、チャネル情報識別サーバー400が不要であることがあるので、ネットワーク全体の負荷及びシステムの資源を節約することができるという利点がある。
一方、クライアント端末機200とシステム100で提供される放送コンテンツは時間差が存在しうるが、クライアント端末機200側でシステム100に比べて放送コンテンツが遅く再生され、フィンガープリント情報を受信した後で該当フィンガープリント情報の含まれた放送コンテンツが再生されるかを判断することができるならば、特別な問題はない。ところが、クライアント端末機200側で放送コンテンツがシステム100より先に再生されるか或いはほぼ同一の時間に再生されるならば、フィンガープリント情報を受信した後で該当フィンガープリント情報の含まれた放送コンテンツが既に再生されている場合が発生しうるので、これに備えるために、クライアント端末機200のコンテンツ関連情報表示部260は、クライアント端末機200側のフィンガープリント情報を一定の時間範囲(例えば、15秒)で格納しておき、コンテンツ関連情報発送部140から伝送されてくるフィンガープリント情報と前記15秒単位で格納しておいたフィンガープリント情報との一致部分が存在するかを判別し、15秒範囲内にいずれか一つの部分にでも存在する場合、伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように動作させることが好ましい。
また、他の方法として、実際クライアント端末機200で再生される放送がシステム100側に比べて例えば10秒程度常に遅れるように設定しておく方法を使用することもできる。
このようなフィンガープリント情報を用いる過程と併行して、チャネル識別情報を用いて、クライアント端末機200のうち、決定されたコンテンツ関連情報に相応する放送コンテンツが含まれた放送を視聴しているクライアント端末機200側でのみコンテンツ関連情報を表示する方法は、次のような方法を使用することができる。このようなチャネル識別過程は、前述したフィンガープリント情報を用いる過程と併行して使用することができ、例えば、チャネル識別過程を先に行い、前述したフィンガープリント情報を用いる過程を行うようにすることができる。
まず、クライアント端末機200に、放送受信手段220を介して自分が受信している放送チャネル識別情報を獲得する放送チャネル確認部240を備えるようにし、放送チャネル確認部240によって確認される放送チャネル識別情報を用いて、コンテンツ関連情報を表示するか否かを決定することができる。このために、コンテンツ関連情報提供システム100のコンテンツ関連情報発送部140は、コンテンツ関連情報を発送しながら、該当放送コンテンツの放送チャネルを示す放送チャネル識別情報を伝送し、クライアント端末機200のコンテンツ関連情報表示部250は、放送チャネル確認部240で確認される放送チャネル識別情報とコンテンツ関連情報提供システム100からの放送チャネル識別情報とを比較してこれらが一致する場合、該当関連情報をディスプレイ部210を介して表示するようにすることができる。もし一致しなければ、コンテンツ関連情報表示部250は受信される関連情報を無視する。この際、一致すれば、前述したようなフィンガープリント比較過程を行うようにすることができる。
放送チャネル確認部240は、例えば、クライアント端末機200がスマートTVであり且つ地上波デジタル放送SBSを視聴している場合、クライアント端末機200にはこのようなチャネル情報がデジタル放送信号を介して提供されているので、クライアント端末機200の放送チャネル確認部240はこれから放送チャネル識別情報を獲得することができる。放送チャネル確認部240は、チャネルが変更されるたびに或いは周期的に放送チャネル識別情報をアップデートするようにすることが好ましい。
一方、クライアント端末機200で自分が受信している放送チャネルがどのようなものであるかを知らない場合には、フィンガープリント情報を用いて放送チャネル識別情報を獲得することができる。すなわち、クライアント端末機200側に備えられた前述のようなフィンガープリント抽出部250によって、自分が視聴している放送のフィンガープリント情報を実時間で連続的に抽出し、これをチャネル情報識別サーバー400(図4以下参照)へ伝送するようにし、チャネル情報識別サーバーでクライアント端末機200の放送チャネル識別情報を把握し、これをクライアント端末機200へ伝送することにより、放送チャネル識別情報を獲得するようにすることができる。
チャネル情報識別サーバー400は、放送事業者300から提供される全ての放送に対して実時間で前述のような方法でフィンガープリント情報を抽出し、これをクライアント端末機200の放送チャネル確認部240から伝送されてくるフィンガープリント情報と比較して、クライアント端末機200が現在受信している放送のチャネル情報を確認し、これをクライアント端末機200へ伝送する機能を行う。このようなチャネル情報識別サーバー400は全ての放送チャネルに対してフィンガープリント情報を実時間で把握し、全ての放送チャネルに対するチャネル情報を知っていると前提するので、クライアント端末機200の放送チャネル確認部240からフィンガープリント情報が受信される場合、これらを比較することにより、クライアント端末機200がどの放送チャネルを視聴しているかを正確に把握することができる。このようにチャネル情報識別サーバー400でクライアント端末機200が受信している放送のチャネル情報が確認されると、確認された放送のチャネル情報をクライアント端末機200へ伝送し、クライアント端末機200の放送チャネル確認部240は自分が視聴している放送チャネル識別情報を獲得することができる。
一方、チャネル情報識別サーバー400は、コンテンツ関連情報提供システム100とは物理的に分離された別途の装置として具現することができるが、 コンテンツ関連情報提供システム100の内部に含まれるように構成してもよい。
次に、コンテンツ関連情報提供システム100に接続されているクライアント端末機200のうち、システム100で提供するものと決定したコンテンツ関連情報に相応する放送コンテンツを視聴しているクライアント端末機200側でのみコンテンツ関連情報を表示するようにする第2の方法について説明する。
第2の方法は、コンテンツ関連情報提供システム100において、クライアント端末機200から放送チャネル識別情報の伝送をまず受け、これにより決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているクライアント端末機200を確認し、確認されたクライアント端末機200側にのみコンテンツ関連情報を伝送する方式である。このために、クライアント端末機200は、前述したような放送チャネル確認部240によって自分が現在受信して再生している放送チャネルの識別情報を獲得し、これをコンテンツ関連情報提供システム100へ伝送することができる。この場合、放送チャネル確認部240が現在受信している放送チャネルの識別情報を自動的にコンテンツ関連情報提供システム100へ伝送するようにし、或いはコンテンツ関連情報提供システム100から放送チャネル確認要請信号が受信された場合、これに対応して現在受信している放送チャネルの識別情報をコンテンツ関連情報提供システム100へ伝送するようにすることができる。
一方、クライアント端末機200の放送チャネル確認部240は、フィンガープリント情報をチャネル情報識別サーバー400へ伝送しながら時間情報を共に伝送するようにすることができる。これは実際放送画面が送り出される過程でクライアント端末機200とコンテンツ関連情報提供システム100が同一の放送画面を受信する時点が互いに異なる場合を処理するためである。このために、クライアント端末機200の放送チャネル確認部240は、前述したようにフィンガープリント情報をチャネル情報識別サーバー400へ伝送しながら自分の時間情報(これは端末機に一般に内蔵されている時計によって獲得できる)を共に伝送するようにし、チャネル情報識別サーバー400は前述したようにフィンガープリント情報に基づいてクライアント端末機200のチャネル情報を識別しながら時間情報とコンテンツ関連情報提供システム100の時間情報とを比較することにより、クライアント端末機200とコンテンツ関連情報提供システム100間の同一画面に対する時間差、すなわち時間オフセット情報を獲得することができる。この際、チャネル情報識別サーバー400がコンテンツ関連情報提供システム100と別途の装置として存在する場合であれば、これらは互いに同期化されているように設定されていることが好ましい。コンテンツ関連情報提供システム100の内部にチャネル情報識別サーバー400が存在する場合で、チャネル情報識別サーバー400はコンテンツ関連情報提供システム100と同期化されていると看做すことができる。一方、コンテンツ関連情報提供システム100の時間情報を例えばGMT(Greenwich Mean Time)などのように絶対時間情報を使用することが好ましい。チャネル情報識別サーバー400はフィンガープリント情報を比較しながらこれと共に絶対時間情報とクライアント端末機200から伝送されてきた時間情報とを比較することにより、同一の画面に対する時間差、すなわち時間オフセット情報を把握することができる。チャネル情報識別サーバー400は、時間オフセット情報が獲得されると、クライアント端末機200側へ時間オフセット情報を伝送する。時間オフセット情報はチャネル情報と共に伝送できる。
時間オフセット情報が獲得されると、コンテンツ関連情報発送部140は、コンテンツ情報提供決定部130で決定された関連情報に相応する放送コンテンツを再生しているクライアント端末機200側へ、コンテンツ関連情報管理部110に格納されているコンテンツ関連情報と共に絶対時間情報を伝送し、これを受信したクライアント端末機200は時間オフセット情報に基づいて関連情報をクライアント端末機200のディスプレイ部に表示するようにすることができる。
次に、クライアント端末機200について説明する。
クライアント端末機200は、ディスプレイ部210、放送受信手段220、ネットワーク接続手段230、放送チャネル確認部240、フィンガープリント抽出部250、コンテンツ関連情報表示部260、及びユーザー情報処理部270を含む。図1で説明したように、クライアント端末機200は、様々な形態で提供される放送を受信することが可能な機能と、インターネットなどのネットワークに接続することが可能な機能を備えるものであって、例えばスマートTV、DMB受信機能を備える移動通信端末機、IPTVなどのものでありうる。クライアント端末機200の構成のうち、ディスプレイ部210、放送受信手段220およびネットワーク接続手段230は従来の技術によって自明なものなので、詳細な説明は省略する。
放送チャネル確認部240は、放送受信手段220を介して受信される放送チャネル識別情報を獲得する手段であって、これについては詳細に前述したので、詳細説明は省略する。
フィンガープリント抽出部250は、前述したように、クライアント端末機200が現在受信している放送チャネルから提供されている放送コンテンツに対するフィンガープリント情報を実時間で連続的に抽出する機能を行う。フィンガープリント抽出部250から抽出されるフィンガープリント情報は、前述したように、チャネル情報識別サーバー400へ伝送されてチャネル情報を識別することに使用できる。また、システム100から伝送されてくるフィンガープリント情報との比較によって前述したように該当コンテンツ関連情報を表示するか否かを制御するようにすることに使用できる。これについても詳細に説明したので、詳細な説明は省略する。
コンテンツ関連情報表示部260は、前述したような方法によってシステム100のコンテンツ関連情報発送部140から伝送されてくるフィンガープリント情報に基づいて、システムから伝送されるコンテンツ関連情報をディスプレイ部210を介して表示するように制御する機能を行う。
前述したように、コンテンツ関連情報表示部260は、コンテンツ関連情報提供システム100から関連情報、フィンガープリント情報と共に放送チャネル識別情報を受信し、放送チャネル識別情報によって、自分が現在視聴している放送チャネルと同一であるか否かを先ず判別し、同一の場合、フィンガープリント情報を比較して一致する場合にのみ該当コンテンツ関連情報を表示するようにすることができる。
他の方法として、前述したように、コンテンツ関連情報提供システム100から該当放送コンテンツを視聴しているクライアント端末機200のみに対してコンテンツ関連情報が伝送される場合、フィンガープリント情報を比較して一致すれば、コンテンツ関連情報表示部250は該当コンテンツ関連情報を受信しながらディスプレイ部210に表示する。この際、コンテンツ関連情報表示部250は前述したように時間オフセット情報に基づいて表示するようにすることができる。
一方、コンテンツ関連情報表示部250が関連情報をディスプレイ部210を介して表示する方法は、様々な形態を使用することができるが、まず、受信したコンテンツ関連情報をディスプレイ部210を介して現在受信している放送画面にオーバーレイして表示するようにすることができる。例えば、ディスプレイ部210の下端領域に現れる放送画面上にコンテンツ関連情報がオーバーレイして表示されるようにすることができる。この際のコンテンツ関連情報は図3に説明したようなコンテンツ関連情報の内容を実際行うことができるようにするデータであってもよいが、例えば「5%割引クーポンの提供」の場合、このような内容を行うことができるように該当内容をテキストデータで一定の時間表示し、ユーザーに該当クーポンの提供を受けられる方法、例えばハイパーリンクを提供してこれを選択するようにする情報を放送画面とオーバーレイしながら連続的に表示することができる。また、放送画面に表示される関連情報は例えば点滅、ロール方式などの形で提供されてもよい。
コンテンツ関連情報表示部260は、受信したコンテンツ関連情報をディスプレイ部210を介して現在受信している放送画面とオーバーレイしないように部分的に表示するように構成してもよいが、これは例えばコンテンツ関連情報を下端に棒状として提供するようにし、放送画面をコンテンツ関連情報が提供される領域だけ縮小して表示されるようにする方法によって提供できる。
一方、クライアント端末機200のユーザー情報処理部270は、前述したように表示されるコンテンツ関連情報に基づいたユーザーの入力信号を受信し、受信された入力信号に基づいた追加動作要請信号をコンテンツ関連情報提供システム100又は外部の別途装置へ伝送する機能を行う。前述したように、コンテンツ関連情報として一方的にクライアント端末機200側へ情報のみを提供する場合であれば、ユーザー情報処理部270は省略可能であるが、コンテンツ関連情報のうち、ユーザーに特定の動作を行わせる場合がある。例えば、コンテンツ関連情報として「5%割引クーポンの提供」を受けるためには特定のサイトに接続しろとか、特定の電話番号へショートメッセージを送出しろとかなど、ユーザーに追加動作を要求する場合がありうる。ユーザー情報処理部270は、この要求に答えてクライアント端末機200のユーザーが追加動作要請信号を入力する場合、これを受信してコンテンツ関連情報提供システム100又は外部のその他の別途装置(例えば、特定のウエブサイト)へ伝送するようにする機能を行う。このために、クライアント端末機200はユーザーが入力信号を入力するようにする入力手段(例えば、キーボード、マウス、リモコン)を備えることが好ましい。
図4は前述したようなコンテンツ関連情報提供システム100を介してコンテンツ関連情報がクライアント端末機200へ提供される方法の一実施例を示す流れ図である。
まず、クライアント端末機200とコンテンツ関連情報提供システム100は、前述したように、放送事業者300から伝送される放送を受信し、受信される放送コンテンツに対してフィンガープリント情報を実時間で連続的に抽出する(S10、S20)。
放送を受信する途中で、コンテンツ関連情報提供システム100は、クライアント端末機側へ提供するコンテンツ関連情報を決定する(S11)。コンテンツ関連情報を決定することは、前述したように、コンテンツ関連情報提供システム100がコンテンツ関連情報管理部110に予め放送チャネルを介して提供される放送に含まれる放送コンテンツそれぞれに対してコンテンツ関連情報及び対応するフィンガープリント情報を格納しておくようにし、少なくとも1つ以上の複数の放送事業者300から複数の放送チャネルを介して複数の放送を受信しながら、放送中にコンテンツ関連情報管理部110に予め指定されて格納されている放送コンテンツが再生されるかを判断することにより行われ得る。これはフィンガープリント抽出部120で抽出されたフィンガープリント情報と格納しておいたフィンガープリント情報とを比較することにより行われ得るが、格納しておいた放送コンテンツが再生されるかを識別することは、前述したようにコンテンツ関連情報管理部110に放送チャネルを介して提供される放送に含まれた放送コンテンツに対して予め抽出しておいたオーディオ、ビデオまたはこれらの組み合わせの少なくとも一つによるフィンガープリント情報を前記放送コンテンツそれぞれに対応してコンテンツ関連情報と共に格納しておき、コンテンツ情報提供決定部130が放送チャネルを介して提供される放送のオーディオ、ビデオまたはこれらの組み合わせの少なくとも一つによるフィンガープリント情報を抽出し、抽出されたフィンガープリント情報と前記コンテンツ関連情報管理部110に予め格納しておいた放送コンテンツそれぞれに対するフィンガープリント情報とを比較することにより、前記コンテンツ関連情報管理部110に格納された放送コンテンツが再生されるかを識別する方法を使用することができる。このように予め指定しておいた格納された放送コンテンツが再生される場合、該当放送コンテンツに対応して格納されたコンテンツ関連情報をクライアント端末機200側へ提供するコンテンツ関連情報として決定する。一方、前記段階S11は、前述したように、ユーザーの入力信号によって決定されてもよい。
クライアント端末機200側へ提供するコンテンツ関連情報が決定されると、コンテンツ関連情報提供システム100のコンテンツ関連情報発送部140は、接続された全てのクライアント端末機200側へ前記決定されたコンテンツ関連情報、放送チャネル識別情報と共にフィンガープリント情報を伝送する(S12)。
ここで、伝送されるフィンガープリント情報は、前述したように、決定されたコンテンツ関連情報に相応する放送コンテンツの少なくとも一部に対するフィンガープリント情報でありうる。例えば、フィンガープリント情報は、決定されたコンテンツ関連情報に相応する放送コンテンツの最前側から所定の時間範囲以内までに対するフィンガープリント情報でありうる。
コンテンツ関連情報提供システム100は、放送チャネル識別情報を知っている場合、これをそのまま伝送し知っていない場合、クライアント端末機200がチャネル情報識別サーバー400を介してチャネル情報を獲得する過程と同様に、チャネル情報識別サーバー400を介してチャネル識別情報を知ることができる。
一方、クライアント端末機200は、放送を受信しながらフィンガープリント情報を抽出し(S20)、自分が受信する放送のチャネル情報を知ることができない場合、チャネル情報識別サーバー400へ受信する放送のフィンガープリント情報を伝送し(S21)、チャネル情報識別サーバー400は受信されるフィンガープリント情報と自分が持っているフィンガープリント情報とを比較して(S40)、チャネル情報を確認し、これをクライアント端末機200側へ伝送する(S41)。このような過程を予め行っておけば、段階S12の前に、クライアント端末機200は自分が受信している放送のチャネル情報を獲得しておくことができる。勿論、クライアント端末機200が放送チャネル情報を知っていると、段階S21、S40、S41は省略することができる。また、チャネル情報識別サーバー400は全ての可能な放送に対するチャネル情報を全て知っており或いは知ることができることを前提条件とする。
このような状態で、段階S12でコンテンツ関連情報、放送チャネル識別情報と共にフィンガープリント情報がクライアント端末機200へ伝送されてくると、クライアント端末機200は、前記受信した放送チャネル識別情報と放送チャネル確認部240によって獲得された放送チャネル識別情報とを比較して一致するかを判断する(S22)。一致する場合、前記システム100から伝送されてきたフィンガープリント情報とクライアント端末機200のフィンガープリント抽出部250から抽出(S20)しておいたフィンガープリント情報とを比較して一致するかを判断する(S23)。
前述したように、クライアント端末機200側へ伝送されるフィンガープリント情報は、前記決定したコンテンツ関連情報に相応する放送コンテンツの少なくとも一部に対するフィンガープリント情報であり、クライアント端末機200は、クライアント端末機200側のフィンガープリント情報を予め定められた時間範囲の間に格納しておき、前記伝送されてくるフィンガープリント情報が前記格納しておいたフィンガープリント情報と一致する部分が存在する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するようにすることもできる。
このような過程によってフィンガープリント情報が一致する場合、伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示する(S24)。この際、前述したように受信して再生される放送画面とオーバーレイされるか或いはオーバーレイされないようにするなどの方式でコンテンツ関連情報を表示する。
コンテンツ関連情報が表示された場合、関連情報に応じてクライアント端末機から追加動作要請信号が生成できるが、クライアント端末機200に表示されるコンテンツ関連情報に基づいてユーザーから入力信号を受信し(S25)、受信された入力信号に基づいた追加動作要請信号をコンテンツ関連情報提供システム100又は外部の別途装置へ伝送する(S26)。図4では、追加動作要請信号はコンテンツ関連情報提供システム100にのみ伝送されるものと示したが、別途の外部装置へ伝送されてもよいのは勿論である。
一方、前記段階S22は行わず、段階S24のみを行って、フィンガープリント情報のみを比較するようにすることもできる。このような場合、段階S12では放送チャネル識別情報を伝送する必要がなくなる。
図4の内容は図1〜図3で説明したのと同様なので、重複する部分については詳細な説明は省略し、図4では動作上の特徴についてのみ概略的に説明したことに留意すべきである。
図4の実施例によれば、フィンガープリント情報を考慮してコンテンツ関連情報を表示するか否かを最終的に判断することができるので、クライアント端末機200でチャネル変更が行われる場合、これを確認するために、非常に短い周期(例えば10秒毎に)毎にチャネル情報を確認しなければならない過程(S21、S40、S41など)の周期を長くすることができるので、このような動作を行うためのチャネル情報識別サーバー400及びクライアント端末機200の負荷を顕著に減らすことができるという利点がある。
図5は本発明のコンテンツ関連情報提供システム100を介してコンテンツ関連情報がクライアント端末機200へ提供される方法の他の実施例を示す流れ図であって、図4の場合と比較するとき、コンテンツ関連情報提供システム100が接続された全てのクライアント端末機へコンテンツ関連情報を伝送せず、識別された広告を視聴しているクライアント端末機200側にのみコンテンツ関連情報を伝送する場合に関するものである。
段階S10、S11、S20、S21、S40、S41は、図4と同様なので詳細な説明を省略する。段階S11、S41の後、クライアント端末機200は、自分が視聴している放送チャネル情報を獲得しており、この放送チャネル識別情報をコンテンツ関連情報提供システム100へ伝送する(S27)。図5では説明の便宜のために段階S11の後に行われるものと示したが、この段階S27は必ずこのときに行われる必要はない。前述したように、クライアント端末機200は、自分が受信して再生している放送チャネル情報を知っている場合、これを放送チャネル識別情報としてコンテンツ関連情報提供システム100へ伝送することができるが、これは、例えば一定の時間周期毎に周期的に行われるか、或いはクライアント端末機200でチャネルが変更されるたびに行われる方法を使用することができる。
このような過程によって、コンテンツ関連情報提供システム100は、接続されているそれぞれのクライアント端末機200が現在受信、すなわち視聴しているチャネル情報を知ることができる。よって、コンテンツ関連情報提供決定部130で決定されたコンテンツ関連情報に相応する放送コンテンツが再生されているクライアント端末機200を知ることができ、コンテンツ関連情報発送部140は、これに基づいて該当クライアント端末機200側へ前記決定されたコンテンツ関連情報とフィンガープリント情報を伝送する(S12)。この際、図4の段階S12とは放送チャネル識別情報が含まれていないという点で異なる。
次に、コンテンツ関連情報を受信したクライアント端末機200は段階S23〜段階S26を行うが、これは、図4と比較するとき、段階S22、すなわちチャネル識別情報の一致/不一致を判断する過程を省略することを除いては、図4の段階S23〜段階S26と同様なので、詳細説明を省略する。
図6は本発明のコンテンツ関連情報提供システム100を介してコンテンツ関連情報がクライアント端末機200へ提供される方法の別の実施例を示す流れ図である。
図6は、図5と比較するとき、コンテンツ関連情報提供システム100から、段階S11の後、コンテンツ関連情報発送部140がコンテンツ関連情報提供システム100に接続されているクライアント端末機200へ、決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているか否かを確認するための放送チャネル確認要請信号を伝送し(S13)、これに応えてクライアント端末機200が放送チャネル識別情報を伝送する(S27)という点でのみ異なる。すなわち、図6の場合は、図5のようにクライアント端末機200がまず自分の受信して再生している放送のチャネル情報をコンテンツ関連情報提供システム100へ伝送するのではなく、図5の場合とは放送チャネル確認要請信号を受信した場合にのみ放送チャネル識別情報を伝送するという点で異なる。その他の過程は図5の場合と同様なので、詳細な説明は省略する。
以上、本発明の好適な実施例を参照して本発明を説明したが、本発明はこれらの実施例に限定されるものではなく、多様な形態の変形及び修正を加え得る。例えば、クライアント端末機200は、放送受信手段とネットワーク接続手段を有する全種類の端末機であって、前述したようなスマートTV、DMB受信機能を有する移動通信端末機だけでなく、インターネットで提供される放送を受信するコンピュータ、タブレットPC、移動通信端末機も含むことができる。また、放送の概念は、一般な放送形態だけでなく、例えばインターネットで提供されるサッカー中継などの全ての形態の実時間ストリミングサービスやVOD(Video on demand)などの形態も含むことができる。

Claims (31)

  1. ディスプレイ部、放送受信手段及びネットワーク接続手段を備えるクライアント端末機側へ、放送チャネルを介して提供される放送コンテンツに関連したコンテンツ関連情報を提供するシステムであって、
    クライアント端末機側へ提供するコンテンツ関連情報を格納するコンテンツ関連情報管理部と、
    放送チャネルを介して提供される放送コンテンツに対するフィンガープリント情報を抽出するフィンガープリント抽出部と、
    クライアント端末機側へ提供するコンテンツ関連情報を決定するコンテンツ関連情報提供決定部と、
    前記コンテンツ関連情報提供決定部で決定されたコンテンツ関連情報と前記決定されたコンテンツ関連情報に相応する放送コンテンツに対して抽出されたフィンガープリント情報をネットワークを介してクライアント端末機側へ伝送するコンテンツ関連情報発送部とを含み、
    前記クライアント端末機は、前記コンテンツ関連情報発送部から伝送されたフィンガープリント情報に基づいて、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように制御するコンテンツ関連情報表示部を含むことを特徴とする、コンテンツ関連情報提供システム。
  2. 前記コンテンツ関連情報管理部のコンテンツ関連情報は、予め指定された放送コンテンツに対して対応するように格納され、
    前記コンテンツ関連情報提供決定部は、放送チャネルを介して提供される放送途中で、前記指定された放送コンテンツが再生される場合、前記指定された放送コンテンツに対応して格納されたコンテンツ関連情報をクライアント端末機側へ提供するコンテンツ関連情報として決定することを特徴とする、請求項1に記載のコンテンツ関連情報提供システム。
  3. 前記コンテンツ関連情報決定部は、ユーザーの入力信号によってクライアント端末機側へ提供するコンテンツ関連情報を決定することを特徴とする、請求項1に記載のコンテンツ関連情報提供システム。
  4. 前記コンテンツ関連情報発送部からクライアント端末機側へ伝送されるフィンガープリント情報は、前記コンテンツ関連情報提供決定部で決定したコンテンツ関連情報に相応する放送コンテンツの少なくとも一部に対するフィンガープリント情報であることを特徴とする、請求項1に記載のコンテンツ関連情報提供システム。
  5. 前記フィンガープリント情報は、前記コンテンツ関連情報提供決定部で決定したコンテンツ関連情報に相応する放送コンテンツの最前側から所定の時間範囲以内までに対するフィンガープリント情報であることを特徴とする、請求項4に記載のコンテンツ関連情報提供システム。
  6. 前記クライアント端末機は、自分が受信する放送コンテンツに対してフィンガープリント情報を抽出するフィンガープリント抽出部をさらに含み、
    前記コンテンツ関連情報表示部は、前記コンテンツ関連情報発送部から伝送されてくるフィンガープリント情報と前記フィンガープリント抽出部から抽出されたフィンガープリント情報とを比較して一致する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように制御することを特徴とする、請求項1に記載のコンテンツ関連情報提供システム。
  7. 前記コンテンツ関連情報表示部は、クライアント端末機側のフィンガープリント情報を予め定められた時間範囲の間に格納しておき、前記コンテンツ関連情報発送部から伝送されてくるフィンガープリント情報が前記格納しておいたフィンガープリント情報と一致する部分が存在する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように制御することを特徴とする、請求項6に記載のコンテンツ関連情報提供システム。
  8. 前記クライアント端末機は、放送受信手段を介して自分が受信している放送チャネル識別情報を獲得する放送チャネル確認部をさらに含むことを特徴とする、請求項1に記載のコンテンツ関連情報提供システム。
  9. 前記クライアント端末機の放送チャネル確認部は、放送受信手段を介して受信される放送のフィンガープリント情報を抽出し、抽出されたフィンガープリント情報をチャネル情報識別サーバーへ伝送し、
    前記チャネル情報識別サーバーは、前記クライアント端末機の放送チャネル確認部から受信されるフィンガープリント情報に基づいて、クライアント端末機が現在受信している放送のチャネル情報を確認し、確認されたチャネル情報を前記クライアント端末機へ伝送し、
    前記クライアント端末機の放送チャネル確認部は、前記チャネル情報識別サーバーから受信した放送のチャネル情報によって、自分が受信している放送チャネル識別情報を獲得することを特徴とする、請求項8に記載のコンテンツ関連情報提供システム。
  10. 前記コンテンツ関連情報発送部は、前記コンテンツ関連情報提供決定部で決定されたコンテンツ関連情報に相応する放送コンテンツに対する放送チャネル識別情報を前記コンテンツ関連情報及びフィンガープリント情報と共にクライアント端末機側へ伝送し、
    前記クライアント端末機のコンテンツ関連情報表示部は、前記受信した放送チャネル識別情報と前記放送チャネル確認部によって獲得された放送チャネル識別情報とが一致する場合、前記コンテンツ関連情報発送部から伝送されたフィンガープリント情報に基づいて、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示するように制御することを特徴とする、請求項8又は9に記載のコンテンツ関連情報提供システム。
  11. 前記クライアント端末機の放送チャネル確認部は、放送チャネル識別情報を前記コンテンツ関連情報発送部へ伝送し、
    前記コンテンツ関連情報提供システムの関連情報発送部は、クライアント端末機から受信される放送チャネル識別情報に基づいて、前記コンテンツ関連情報提供部で決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているクライアント端末機を確認し、確認されたクライアント端末機側へ、前記決定されたコンテンツ関連情報とフィンガープリント情報をクライアント端末機側へ伝送することを特徴とする、請求項9又は10に記載のコンテンツ関連情報提供システム。
  12. 前記システムのコンテンツ関連情報発送部は、接続されているクライアント端末機へ、前記決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているか否かを確認するための放送チャネル確認要請信号を伝送し、
    前記クライアント端末機の放送チャネル確認部は、前記放送チャネル確認要請信号に基づいて放送チャネル識別情報を前記コンテンツ関連情報発送部へ伝送することを特徴とする、請求項11に記載のコンテンツ関連情報提供システム。
  13. 前記チャネル情報識別サーバーは前記コンテンツ関連情報提供システム内に含まれたことを特徴とする、請求項9に記載のコンテンツ関連情報提供システム。
  14. 前記コンテンツ関連情報管理部は、前記予め指定された放送コンテンツに対するフィンガープリント情報を指定された放送コンテンツそれぞれに対応してコンテンツ関連情報と共に格納し、
    前記コンテンツ関連情報提供決定部は、放送チャネルを介して提供される放送コンテンツのフィンガープリント情報と前記コンテンツ関連情報管理部に予め格納しておいた放送コンテンツに対応するフィンガープリント情報とを比較することにより、前記コンテンツ関連情報管理部に格納された放送コンテンツが再生されるかを識別することを特徴とする、請求項2に記載のコンテンツ関連情報提供システム。
  15. 前記クライアント端末機は、前記表示されるコンテンツ関連情報に基づいたユーザーの入力信号を受信し、受信された入力信号に基づいた追加動作要請信号を前記システム又は外部の別途装置へ伝送するユーザー情報処理部をさらに含むことを特徴とする、請求項1に記載のコンテンツ関連情報提供システム。
  16. 前記クライアント端末機の放送チャネル確認部は、フィンガープリント情報をチャネル情報識別サーバーへ伝送しながら時間情報を共に伝送し、
    前記チャネル情報識別サーバーは、前記コンテンツ関連情報提供システムの絶対時間情報と前記クライアント端末機から伝送される時間情報とを比較し、クライアント端末機とコンテンツ関連情報提供システムの放送画面の時間オフセット情報を獲得してクライアント端末機へ伝送することを特徴とする、請求項9に記載のコンテンツ関連情報提供システム。
  17. 前記コンテンツ関連情報発送部は前記クライアント端末機側へコンテンツ関連情報と共に絶対時間情報を伝送し、
    前記クライアント端末機は前記受信した絶対時間情報と放送画面の時間オフセット情報に基づいてコンテンツ関連情報を表示することを特徴とする、請求項16に記載のコンテンツ関連情報提供システム。
  18. 放送チャネルを介して提供される放送コンテンツに関連した情報を提供するシステムで、ディスプレイ部、放送受信手段及びネットワーク接続手段を備えるクライアント端末機側へコンテンツ関連情報を提供する方法において、
    放送チャネルを介して提供される放送コンテンツに対してフィンガープリント情報を抽出する第1段階と、
    放送チャネルを介して提供される放送途中で、クライアント端末機側へ提供するコンテンツ関連情報を決定する第2段階と、
    前記決定されたコンテンツ関連情報と前記決定されたコンテンツ関連情報に相応する放送コンテンツに対して抽出されたフィンガープリント情報をクライアント端末機側へ伝送する第3段階とを含み、
    前記クライアント端末機は、前記受信したフィンガープリント情報に基づいて、前記受信したコンテンツ関連情報をディスプレイ部を介して表示することを特徴とする、コンテンツ関連情報提供方法。
  19. 前記コンテンツ関連情報は予め指定された放送コンテンツに対して対応するように格納されており、
    前記第2段階では、放送チャネルを介して提供される放送途中で、前記指定された放送コンテンツが再生される場合、前記指定された放送コンテンツに対応して格納されたコンテンツ関連情報を、クライアント端末機側へ提供するコンテンツ関連情報として決定することを特徴とする、請求項18に記載のコンテンツ関連情報提供方法。
  20. 前記第2段階では、ユーザーの入力信号によってクライアント端末機側へ提供するコンテンツ関連情報を決定することを特徴とする、請求項18に記載のコンテンツ関連情報提供方法。
  21. 前記第3段階において、クライアント端末機側へ伝送されるフィンガープリント情報は、前記決定したコンテンツ関連情報に相応する放送コンテンツの少なくとも一部に対するフィンガープリント情報であることを特徴とする、請求項18に記載のコンテンツ関連情報提供方法。
  22. 前記フィンガープリント情報は、前記決定されたコンテンツ関連情報に相応する放送コンテンツの最前側から所定の時間範囲以内までに対するフィンガープリント情報であることを特徴とする、請求項21に記載のコンテンツ関連情報提供方法。
  23. 前記クライアント端末機は、自分が受信する放送コンテンツに対してフィンガープリント情報を抽出するフィンガープリント抽出部を含み、
    前記クライアント端末機は、前記伝送されてくるフィンガープリント情報と前記フィンガープリント抽出部で抽出されたフィンガープリント情報とを比較して一致する場合、前記伝送されてきたコンテンツ関連情報を表示することを特徴とする、請求項18に記載のコンテンツ関連情報提供方法。
  24. 前記クライアント端末機は、クライアント端末機側のフィンガープリント情報を予め定められた範囲の間に格納しておき、前記伝送されてくるフィンガープリント情報が前記格納しておいたフィンガープリント情報と一致する部分が存在する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示することを特徴とする、請求項23に記載のコンテンツ関連情報提供方法。
  25. 前記クライアント端末機は放送受信手段を介して自分が受信している放送チャネル識別情報を獲得することを特徴とする、請求項18に記載のコンテンツ関連情報提供方法。
  26. 前記クライアント端末機は、放送受信手段を介して受信される放送のフィンガープリント情報を抽出し、抽出されたフィンガープリント情報をチャネル情報識別サーバーへ伝送し、
    前記チャネル情報識別サーバーは、前記クライアント端末機の放送チャネル確認部から受信されるフィンガープリント情報に基づいて、クライアント端末機が現在受信している放送のチャネル情報を確認し、確認されたチャネル情報を前記クライアント端末機へ伝送し、
    前記クライアント端末機は、前記チャネル情報識別サーバーから受信した放送のチャネル情報によって、自分が受信している放送チャネル識別情報を獲得することを特徴とする、請求項25に記載のコンテンツ関連情報提供方法。
  27. 前記第3段階において、前記決定されたコンテンツ関連情報に相応する放送コンテンツに対する放送チャネル識別情報を前記コンテンツ関連情報及びフィンガープリント情報と共にクライアント端末機側へ伝送し、
    前記クライアント端末機は、前記受信した放送チャネル識別情報と前記獲得された放送チャネル識別情報とが一致する場合、前記伝送されたフィンガープリント情報と格納しておいたフィンガープリント情報とを比較して一致する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示することを特徴とする、請求項25又は26に記載のコンテンツ関連情報提供方法。
  28. 前記第3段階の前に、前記クライアント端末機は放送チャネル識別情報を前記システムへ伝送し、
    前記第3段階では、前記クライアント端末機から受信される放送チャネル識別情報に基づいて、前記第2段階で決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているクライアント端末機を確認し、確認されたクライアント端末機側へ前記決定されたコンテンツ関連情報とフィンガープリント情報を伝送し、
    前記クライアント端末機は、前記伝送されたフィンガープリント情報と格納しておいたフィンガープリント情報とを比較して一致する場合、前記伝送されてきたコンテンツ関連情報をディスプレイ部を介して表示することを特徴とする、請求項25又は26に記載のコンテンツ関連情報提供方法。
  29. 前記第3段階の前に、前記クライアント端末機が放送チャネル識別情報を前記システムへ伝送することは、
    前記システムが、接続されているクライアント端末機へ、前記第2段階で決定されたコンテンツ関連情報に相応する放送コンテンツを再生しているか否かを確認するための放送チャネル確認要請信号を伝送し、前記クライアント端末機が前記放送チャネル確認要請信号に基づいて放送チャネル識別情報を前記システムへ伝送することにより行われることを特徴とする、請求項28に記載のコンテンツ関連情報提供方法。
  30. 前記コンテンツ関連情報は、前記予め指定された放送コンテンツに対するフィンガープリント情報を指定された放送コンテンツそれぞれに対応するように共に格納し、
    前記第2段階では、放送チャネルを介して提供される放送コンテンツのフィンガープリント情報と前記予め格納しておいた放送コンテンツに対応するフィンガープリント情報とを比較することにより、前記格納された放送コンテンツが再生されるかを識別することを特徴とする、請求項19に記載のコンテンツ関連情報提供方法。
  31. 前記クライアント端末機が、前記表示されるコンテンツ関連情報に基づいたユーザーの入力信号を受信し、受信された入力信号に基づいた追加動作要請信号を前記システム又は外部の別途装置へ伝送する段階をさらに含むことを特徴とする、請求項18に記載のコンテンツ関連情報提供方法。
JP2013536544A 2011-09-26 2011-11-10 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法 Active JP5768134B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020110096955A KR101310943B1 (ko) 2011-09-26 2011-09-26 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
KR10-2011-0096955 2011-09-26
PCT/KR2011/008564 WO2013047948A1 (ko) 2011-09-26 2011-11-10 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
JP2013545386A true JP2013545386A (ja) 2013-12-19
JP5768134B2 JP5768134B2 (ja) 2015-08-26

Family

ID=47995954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013536544A Active JP5768134B2 (ja) 2011-09-26 2011-11-10 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法

Country Status (7)

Country Link
EP (1) EP2763427B1 (ja)
JP (1) JP5768134B2 (ja)
KR (1) KR101310943B1 (ja)
CN (2) CN106204296B (ja)
HK (1) HK1182896A2 (ja)
SG (1) SG190219A1 (ja)
WO (1) WO2013047948A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521899A (ja) * 2014-05-29 2017-08-03 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド インタラクティブ情報を獲得するための方法、端末、サーバ、およびシステム
JP2018521601A (ja) * 2015-04-23 2018-08-02 ソレンソン メディア インコーポレイテッド 自動コンテンツ認識フィンガープリントシーケンス照合
US10117442B2 (en) 2006-06-30 2018-11-06 Global Fresh Foods System and methods for transporting or storing oxidatively-degradable foodstuff
JP2020523871A (ja) * 2017-06-12 2020-08-06 グレースノート インコーポレイテッド 双方向性ビデオコンテンツの表示の検出および表示に対する応答
JP2021509795A (ja) * 2018-01-02 2021-04-01 ソース デジタル, インコーポレイテッドSource Digital, Inc. 補助データとしての座標

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101211098B1 (ko) 2011-04-25 2012-12-11 (주)엔써즈 클라이언트 단말기측으로 네트워크를 통해 방송에 포함된 광고와 연관된 정보를 제공하는 시스템 및 방법
WO2015011877A1 (ja) * 2013-07-26 2015-01-29 パナソニックIpマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
EP3029944B1 (en) * 2013-07-30 2019-03-06 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
WO2015033501A1 (ja) 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
WO2015033500A1 (ja) 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
US10084869B2 (en) * 2013-10-04 2018-09-25 Verto Analytics Oy Metering user behaviour and engagement with user interface in terminal devices
KR102166423B1 (ko) 2014-03-05 2020-10-15 삼성전자주식회사 디스플레이 장치, 서버 장치 및 디스플레이 장치의 이벤트 정보 제공 방법
KR20150106299A (ko) 2014-03-11 2015-09-21 주식회사 사운들리 저 전력 연관 콘텐츠 제공 시스템, 방법, 및 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
EP3125567B1 (en) 2014-03-26 2019-09-04 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
EP3125568A4 (en) 2014-03-26 2017-03-29 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
WO2016009637A1 (ja) 2014-07-17 2016-01-21 パナソニックIpマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
JP6432047B2 (ja) 2014-08-21 2018-12-05 パナソニックIpマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
KR20160044954A (ko) * 2014-10-16 2016-04-26 삼성전자주식회사 정보 제공 방법 및 이를 구현하는 전자 장치
US9848214B2 (en) 2015-10-01 2017-12-19 Sorenson Media, Inc. Sequentially overlaying media content
KR102424839B1 (ko) 2015-10-14 2022-07-25 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
CN108604252B (zh) * 2016-01-05 2022-12-16 六科股份有限公司 具有基于信道改变的触发特征的计算系统
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
KR102498714B1 (ko) 2016-05-10 2023-02-13 삼성전자주식회사 콘텐트 제공을 위한 전자 장치 및 방법
KR102410473B1 (ko) * 2016-08-01 2022-06-17 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
WO2018026162A1 (en) 2016-08-01 2018-02-08 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
US11234060B2 (en) 2017-09-01 2022-01-25 Roku, Inc. Weave streaming content into a linear viewing experience
US11418858B2 (en) 2017-09-01 2022-08-16 Roku, Inc. Interactive content when the secondary content is server stitched
KR102546026B1 (ko) * 2018-05-21 2023-06-22 삼성전자주식회사 전자 장치 및 그의 컨텐츠 인식 정보 획득
KR102599951B1 (ko) 2018-06-25 2023-11-09 삼성전자주식회사 전자 장치 및 그의 제어방법
KR20200059060A (ko) * 2018-11-20 2020-05-28 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
KR20200080387A (ko) 2018-12-18 2020-07-07 삼성전자주식회사 디스플레이 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010022000A2 (en) * 2008-08-18 2010-02-25 Ipharro Media Gmbh Supplemental information delivery
WO2011032168A1 (en) * 2009-09-14 2011-03-17 Tivo Inc. Multifunction multimedia device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003216669A1 (en) * 2002-05-10 2003-11-11 Koninklijke Philips Electronics N.V. Watermark embedding and retrieval
US20050097624A1 (en) * 2003-10-31 2005-05-05 Nokia Corporation System and associated terminal, method and computer program product for providing broadcast content
GB0412654D0 (en) 2004-06-07 2004-07-07 Univ Cambridge Tech Method of detection
US8126763B2 (en) * 2005-01-20 2012-02-28 Koninklijke Philips Electronics N.V. Automatic generation of trailers containing product placements
KR101172404B1 (ko) 2005-10-24 2012-08-08 삼성전자주식회사 금형장치와 금형용 히터 카트리지
KR100789382B1 (ko) 2005-12-09 2007-12-28 한국전자통신연구원 지상파 dmb 비디오, 오디오, 부가 데이터의 제한수신 시스템
ES2340721T3 (es) * 2005-12-29 2010-06-08 United Video Properties, Inc. Sistemas y metodos para el rastreo de episodios en un entorno de medios interactivos.
KR100769548B1 (ko) 2005-12-30 2007-10-23 엠텍비젼 주식회사 컬러 필터 어레이 및 영상 보간 방법
KR100773562B1 (ko) 2006-03-06 2007-11-07 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR101368762B1 (ko) 2006-12-06 2014-02-28 엘아이지에이디피 주식회사 기판 테이블 및 이를 가진 기판 합착장치
KR101370345B1 (ko) * 2007-07-04 2014-03-06 삼성전자 주식회사 신호처리장치와 이를 포함하는 신호처리시스템 및 그제어방법
US20090063277A1 (en) * 2007-08-31 2009-03-05 Dolby Laboratiories Licensing Corp. Associating information with a portion of media content
WO2009100093A1 (en) * 2008-02-05 2009-08-13 Dolby Laboratories Licensing Corporation Associating information with media content
KR20100039950A (ko) * 2008-10-09 2010-04-19 (주)올라웍스 핑거프린트를 이용한 동영상 구간별 복수의 광고 제공 방법및 광고 제공을 위한 광고 제공 시스템
CN102754096A (zh) * 2009-08-05 2012-10-24 艾法罗媒体有限责任公司 补充媒体递送
CN101998100B (zh) * 2009-08-25 2012-04-11 杨沁沁 加载电视频道识别信息的方法及电视机和遥控器
KR101129542B1 (ko) 2009-10-08 2012-03-29 조열 형상 제공 시스템 및 그 장치
KR20110010084A (ko) 2010-11-26 2011-01-31 (주)엔써즈 핑거프린트 정보를 이용한 콘텐츠 관련 서비스 제공 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010022000A2 (en) * 2008-08-18 2010-02-25 Ipharro Media Gmbh Supplemental information delivery
WO2011032168A1 (en) * 2009-09-14 2011-03-17 Tivo Inc. Multifunction multimedia device
WO2011032167A1 (en) * 2009-09-14 2011-03-17 Tivo Inc. Multifunction multimedia device
JP2013504947A (ja) * 2009-09-14 2013-02-07 ティヴォ インク 多機能マルチメディア装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10117442B2 (en) 2006-06-30 2018-11-06 Global Fresh Foods System and methods for transporting or storing oxidatively-degradable foodstuff
JP2017521899A (ja) * 2014-05-29 2017-08-03 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド インタラクティブ情報を獲得するための方法、端末、サーバ、およびシステム
JP2018521601A (ja) * 2015-04-23 2018-08-02 ソレンソン メディア インコーポレイテッド 自動コンテンツ認識フィンガープリントシーケンス照合
US11683560B2 (en) 2015-04-23 2023-06-20 Roku, Inc. Automatic content recognition with local matching
JP2020523871A (ja) * 2017-06-12 2020-08-06 グレースノート インコーポレイテッド 双方向性ビデオコンテンツの表示の検出および表示に対する応答
JP2021509795A (ja) * 2018-01-02 2021-04-01 ソース デジタル, インコーポレイテッドSource Digital, Inc. 補助データとしての座標

Also Published As

Publication number Publication date
CN103229515B (zh) 2016-08-10
JP5768134B2 (ja) 2015-08-26
EP2763427B1 (en) 2018-01-10
KR20130033092A (ko) 2013-04-03
WO2013047948A1 (ko) 2013-04-04
EP2763427A1 (en) 2014-08-06
CN106204296B (zh) 2020-03-13
CN106204296A (zh) 2016-12-07
SG190219A1 (en) 2013-06-28
KR101310943B1 (ko) 2013-09-23
CN103229515A (zh) 2013-07-31
EP2763427A4 (en) 2015-04-01
HK1182896A2 (en) 2013-12-06

Similar Documents

Publication Publication Date Title
JP5768134B2 (ja) 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法
JP5530028B2 (ja) 放送に含まれた広告に関連した情報をクライアント端末機側へネットワークを介して提供するシステム及び方法
US20200221163A9 (en) Method for receiving enhanced service and display apparatus thereof
US10080046B2 (en) Video display device and control method thereof
JP5395813B2 (ja) コンテンツおよびメタデータの消費技法
CN102685567A (zh) 数字电视终端、热门频道的控制方法及服务器
CN104602043A (zh) 内容提供装置和方法
US20130085846A1 (en) System and method for online selling of products appearing on a display
JP5856636B2 (ja) 放送通信連携サービス提供システム
CA2754332A1 (en) System and method for online selling of products appearing on a display

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140319

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140327

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140421

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140428

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140522

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150622

R150 Certificate of patent or registration of utility model

Ref document number: 5768134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250