JP2014531798A - マルチメディア検索を用いて視聴者がテレビで視聴しているものを特定すること - Google Patents

マルチメディア検索を用いて視聴者がテレビで視聴しているものを特定すること Download PDF

Info

Publication number
JP2014531798A
JP2014531798A JP2014528818A JP2014528818A JP2014531798A JP 2014531798 A JP2014531798 A JP 2014531798A JP 2014528818 A JP2014528818 A JP 2014528818A JP 2014528818 A JP2014528818 A JP 2014528818A JP 2014531798 A JP2014531798 A JP 2014531798A
Authority
JP
Japan
Prior art keywords
electronic signal
program
decoded
television
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014528818A
Other languages
English (en)
Inventor
リ、ウェンロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2014531798A publication Critical patent/JP2014531798A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4108Peripherals receiving signals from specially adapted client devices characterised by an identification number or address, e.g. local network address
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42684Client identification by a unique number or address, e.g. serial number, MAC address, socket ID
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6156Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Power Engineering (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

テレビ送信から少なくとも1つのデコードされたフレームを抽出することによって、現在視聴されているテレビ番組を特定することができる。画像検索を要求し、検索結果を受信するために、そのフレームを別のモバイルデバイスに送信することができる。検索結果を用いて、番組を特定し、ユーザーのソーシャルネットワーキングの友人にその番組特定を通知することができる。【選択図】図3

Description

本発明は包括的には、放送テレビ及びストリーミングテレビの両方を含む、テレビに関する。
アナログ信号又はデジタル信号の無線周波数送信を用いてテレビ番組を放送することによってテレビ映像を配信することができる。さらに、テレビ番組はケーブルシステム及び衛星放送システムを介して配信することもできる。最終的には、テレビ映像はストリーミングを用いてインターネットを介して配信することができる。本明細書において用いられるときに、「テレビ送信」という用語は、これらのテレビ映像配信形式の全てを含む。本明細書において用いられるときに、「テレビ映像」とは、コマーシャルの有無にかかわらず、番組コンテンツの配信を意味し、従来のテレビ番組、及びビデオゲームの配信の両方を含む。
ユーザーがどの番組を視聴しているかを判断するシステムが既知である。例えば、IntoNowサービスは、視聴されているテレビ番組からの音声信号を携帯電話上に録音し、それらの信号を解析し、その情報を用いて、視聴者がどの番組を視聴しているかを判断する。音声解析が抱える1つの問題は、周囲雑音からの劣化を受けることである。当然、視聴環境における周囲雑音は共通であり、それゆえ、音声に基づくシステムは著しい制約を受ける。
本発明の一実施形態のハイレベルアーキテクチャーを示す図である。 本発明の一実施形態によるセットトップボックスのブロック図である。 本発明の一実施形態によるモバイルグラバーに関する流れ図である。 本発明の一実施形態によるマルチメディアグラバーに関する流れ図である。 本発明の一実施形態による画像検索を実行するクラウド利用システムに関する流れ図である。 一実施形態によるテーブルを維持するシーケンスに関する流れ図である。
幾つかの実施形態によれば、1人又は複数の視聴者が能動的に選局し、現在視聴しているテレビチャンネルから、ビデオフレーム若しくはビデオクリップ、メタデータ又は音声の時間限定の電子的表現のようなマルチメディアセグメントが捕捉される場合がある。一実施形態では、その後、このマルチメディアセグメントをモバイルデバイスに送信することができる。その後、モバイルデバイスは検索するためにその情報をサーバーに送信することができる。例えば、最終的に、画像検索を用いて、どの番組が視聴されているかを判断することができる。プログラムが特定されると、その後、視聴者に種々の他のサービスを提供することができる。これらのサービスは更なるコンテンツを提供することを含むことができ、更なるコンテンツは、絞り込んだ更なる広告コンテンツ、ソーシャルネットワーキングサービス、及び視聴番組推奨を含む。
図1を参照すると、テレビ画面20をプロセッサ利用デバイス14に結合することができ、そのデバイスは更にテレビ送信12に結合される。この送信は、アナログ信号又はデジタル信号の無線周波数放送、ケーブル配信、衛星放送配信を含む、インターネットを介して、又は放送電波を介して配信することができる。プロセッサ利用システム14はテレビ受信機とは別のスタンドアローンデバイスとすることができるか、又はテレビ受信機内に統合することができる。例えば、そのシステムは、従来のセットトップボックスの構成要素を含むことができ、実施形態によっては、受信されたテレビ送信をデコードする役割を担うこともできる。
一実施形態では、プロセッサ利用システム14は、受信機(一実施形態ではシステム14の一部とすることができる)によって現在選局されているデコードされたテレビ送信から、ビデオフレーム若しくはビデオクリップ(すなわち、一連のフレーム)、メタデータ又は音声の電子的表現を捕捉するマルチメディアグラバー16を含む。プロセッサ利用システム14は有線又は無線インターフェース18も含むことができ、そのインターフェースによって、捕捉されたマルチメディアを外部制御デバイス24に送信できるようになる。この送信は、テレビ受信機及びセットトップボックス内で広く利用可能である、ユニバーサルシリアルバス(USB)接続のような有線接続を介して、又は無線周波数信号を用いる送信媒体及び光信号を用いる送信媒体を含む、任意の利用可能な送信媒体22を介して行うことができる。
他の実施形態では、デコードされていないコンテンツを捕捉し、その後、制御デバイス24でデコードすることができる。別のオプションとして、デコードはサーバー30によって実行することができる。
制御デバイス24は、数例を挙げると、携帯電話、ラップトップコンピューター、タブレットコンピューター、モバイルインターネットデバイス、又はテレビ受信機用のリモートコントロールを含む、モバイルデバイスとすることができる。デバイス24は、デスクトップコンピューター又はエンタテインメントシステムのような、モバイル以外とすることもできる。一実施形態では、デバイス24及びシステム14は、無線ホームネットワークの一部とすることができる。一般的に、デバイス24は、テレビディスプレイ画面とは別に情報を表示できるように、自らの別のディスプレイを有する。デバイス24が自らのディスプレイを含まない実施形態では、ピクチャーインピクチャーディスプレイ等によって、テレビディスプレイ上にディスプレイを重ねて表示することができる。
一実施形態では、制御デバイス24はクラウド28と通信することができる。デバイス24が、例えば、携帯電話である場合、そのデバイスは携帯電話信号26によってクラウドと通信することができ、その信号は最終的にインターネットを介して搬送される。他の場合には、デバイス24は、ネットワーク接続のような有線接続を通してインターネットと通信することができる。更に別の例として、デバイス24は、テレビ送信をトランスポートしたのと同じトランスポート媒体を介して通信することができる。例えば、ケーブルシステムの場合、デバイス24は、ケーブルシステムを通してケーブルヘッドエンド又はサーバー11に信号を与えることができる。当然、実施形態によっては、これは、利用可能な送信帯域幅のうちの幾らかを消費する場合もある。したがって、実施形態によっては、デバイス24はモバイルデバイス以外とすることができ、更にはプロセッサ利用システム14の一部とすることもできる。
図2を参照すると、プロセッサ利用システム14の一実施形態が表されるが、数多くの他のアーキテクチャーも使用することができる。図2に表されるアーキテクチャーは、インテル社から市販されるCE4100プラットフォームに対応する。そのアーキテクチャーは、システムインターコネクト25に結合される中央処理ユニット24を含む。そのシステムインターコネクトはNANDコントローラー26、マルチフォーマットハードウェアデコーダー28、ディスプレイプロセッサ30、グラフィックスプロセッサ32及びビデオディスプレイコントローラー34に結合される。一実施形態では、デコーダー28と、プロセッサ30及び32とは、コントローラー22に結合される場合がある。
システムインターコネクトは、トランスポートプロセッサ36、セキュリティプロセッサ38及びデュアル音声デジタルシグナルプロセッサ(DSP)40に結合される場合がある。デジタルシグナルプロセッサ40は、入力ビデオ送信をデコードする役割を担うことができる。汎用入力/出力(I/O)モジュール42は、例えば、WiFiアダプター18aのような無線アダプターに結合される場合がある。実施形態によっては、このアダプターによって、無線制御デバイス24に信号を送信できるようになる。また、システムインターコネクト25には音声及びビデオ入力/出力デバイスも結合される。このデバイスはデコードされたビデオ出力を与えることができ、実施形態によっては、ビデオフレーム又はビデオクリップを出力するために用いることができる。
幾つかの実施形態では、プロセッサ利用システム14は、特定の判定基準が満たされると、マルチメディアセグメントを出力するようにプログラミングすることができる。1つのそのような判定基準は時間間隔の経過である。そのような場合に、定期的に刻時された間隔でビデオクリップ又はビデオフレームが出力される。別のオプションは、プロセッサ利用システム14が、入力ビデオ送信内の種々の活動を検出し、マルチメディアセグメント捕捉をトリガーすることである。活動又はイベントの例は、数例を挙げると、コマーシャル、コマーシャルの終了、番組変更、選局、場面変更、音声レベル変更又はテレビ起動を含む。
図3は、制御デバイス24の一実施形態に関するシーケンスを示す。このシーケンスはソフトウェア、ハードウェア及び/又はファームウェアにおいて実現することができる。ソフトウェア又はファームウェアに基づく実施形態では、そのシーケンスは、光学、磁気又は半導体記憶デバイスのような非一時的コンピューター可読媒体内に記憶されるコンピューター実行可能命令によって実現することができる。例えば、ソフトウェア又はファームウェアシーケンスは制御デバイス24上の記憶装置50に記憶することができる。
制御デバイス24がモバイルデバイスである実施形態が表されるが、モバイル以外の実施形態も考えられる。例えば、制御デバイス24はシステム14内に統合される場合がある。
最初に、判断部52において示されるように、判断部52におけるチェックが、グラバー16がアクティベートされたか否かを判断する。幾つかの実施形態では、ユーザーが、視聴しているテレビ番組を或る程度秘密にしておくことができるように、グラバー16は必ずしも動作しているとは限らない。例えば、ユーザーが自身の携帯電話上でアプリケーションを起動して、捕捉動作を開始することができ、そのような場合に、判断部52においてグラバーのアクティベートが検出される。
その後、ブロック54において、制御デバイス24からプロセッサ利用システム14に、マルチメディアグラバー16によるマルチメディア捕捉を開始する信号を送信することができる。判断部56において検出されるように、制御デバイス24がグラバー16からマルチメディアセグメントを受信するとき、幾つかの実施形態では、制御デバイス24はマルチメディアセグメントを画像解析のためにクラウド28に送信することができる。当然、他の実施形態では、マルチメディアセグメントを、ネットワークを介して任意のサーバーに送信することができる。また、別の例として、マルチメディアセグメントを、画像、テキスト又は音声解析のためにヘッドエンド11に送信することもできる。
音声を搬送するデジタル信号が取り込まれ、デバイス24に送信される場合には、例えば、制御デバイス24、システム14又はクラウド28において、音声情報を搬送する取り込まれた信号をテキストに変換することができる。その後、そのテキストを検索して、テレビ番組を特定することができる。
同様に、グラバー16からのメタデータを解析して、番組を特定するテキスト検索において使用する情報を特定することができる。幾つかの実施形態では、音声、メタデータ、ビデオフレーム又はビデオクリップを表すデジタル信号のうちの2つ以上をキーワードインターネット又はデータベース検索のための入力として用いることができる。
その後、解析エンジンが、マルチメディア検索を実行して、視聴されている番組を特定する。この検索は、簡単なインターネット又はデータベース検索とすることができるか、又は更に絞り込んだ検索とすることができる。例えば、ブロック58における送信は、ビデオ取込みの現在時刻と、制御デバイス24の場所とを含むことができる。特定の時刻又は特定の場所においてどの番組が放送又は送信されているかについての情報を用いて検索を絞り込むために、この情報を用いることができる。例えば、ウェブサイト上に、種々の時刻において種々の場所で利用可能なテレビ番組を関連付けるデータベースを設けることができ、このデータベースを画像検索して、取り込まれたフレームと一致する画像を見つけて、番組を特定することができる。
幾つかの実施形態では、ユーザーは、デバイス24においてマルチメディアフレーム又はマルチメディアクリップに注釈を追加し、検索を絞り込むことによって番組特定を助けることができる。
番組の特定は、視覚検索ツールを用いることによって行うことができる。画像フレーム又は画像クリップが、検索データベース内の既存のフレーム又はクリップと照合される。場合によっては一連の一致するものを特定することができ、そのような場合に、それらの一致したものを制御デバイス24に返送することができる。判断部60におけるチェックが、検索結果が制御デバイス24によって受信されたと判断するとき、ブロック62において示されるように、その検索結果をユーザーに対して表示することができる。その後、制御デバイス24は、視聴されている正しい番組のような、ユーザーが望んだ情報に一致する検索結果のうちの1つのユーザー選択を受信する。その後、判断部64に示されるように、ユーザー選択が受信されると、その際、ブロック66において示されるように、選択された検索結果をクラウドに転送することができる。これにより、テレビ番組特定を用いて、視聴者又は第三者に他のサービスを提供できるようになる。
次に、図4を参照すると、プロセッサ利用システム14内でシーケンス70を実施することができる。ここでもまた、シーケンス70は、ファームウェア、ハードウェア及び/又はソフトウェアにおいて実現することができる。ソフトウェア又はファームウェアの実施形態では、シーケンス70は、非一時的コンピューター可読媒体によって実施することができる。例えば、マルチメディアグラバー70は、マルチメディアグラバーデバイス16上の記憶装置70に記憶することができる。
最初に、判断部72におけるチェックが、グラバー機構がアクティベートされているか否かを判断する。アクティベートされている場合には、ブロック74において示されるように、グラバー判定基準にアクセスすることができる。グラバー判定基準はプロセッサ利用システム14内にあらかじめ記憶することができるか、又は制御デバイス24から搬送することができる。幾つかの実施形態では、ユーザーが判定基準を選択することができる。再び、定期的な間隔において、フレーム、クリップ、音声セグメント又はマルチメディアセグメントを表すデジタル信号が捕捉されるように、その判定基準は時間に基づくことができる。他の実施形態では、ビデオコンテンツ解析に基づく判定基準を含む、他の判定基準を用いることができる。
判断部76において判断されるように、判定基準が満たされる場合、ブロック78において示されるように、マルチメディアが捕捉され、制御デバイス24に送信される。
図5を参照すると、一実施形態によるクラウド28の動作がシーケンス80によって示される。シーケンス80は、ソフトウェア、ファームウェア及び/又はハードウェアにおいて実現することができる。ソフトウェア又はファームウェアに基づく実施形態では、シーケンス80は、非一時的コンピューター可読命令によって実施することができる。例えば、図1に示されるサーバー30に関連付けられる記憶装置80上にそのコンピューター可読命令を記憶することができる。
クラウドを用いる実施形態が例示されるが、当然ながら、他の実施形態では、同じシーケンスは、任意の適切なネットワークを介して結合される任意のサーバーによって、制御デバイス24自体によって、プロセッサ利用システム14によって、又はヘッドエンド11によって実施される場合がある。
最初に、判断部82におけるチェックが、マルチメディアセグメントが受信されたか否かを判断する。受信された場合には、マルチメディアがビデオフレーム又はビデオクリップの電子的表現である場合、ブロック84において示されるように、視覚検索が実行される。電子的表現の音声クリップの場合、音声表現をテキストに変換して、検索することができる。マルチメディアセグメントがメタデータである場合には、検索可能なコンテンツを得るために、メタデータを構文解析することができる。その後、ブロック86において、検索結果が、例えば、制御デバイス24に返送される。制御デバイス24は、検索結果のうちのいずれが最も関連があるかについてのユーザー入力又はユーザー選択を受信することができる。システムはユーザーからの選択を待ち、判断部88において判断されるように、選択が受信されるとき、視聴されているテレビ番組に基づいてタスクを実行することができる(ブロック90)。例えば、そのタスクは、ソーシャルネットワーキングのためにあらかじめ選択された友人グループに情報を与えることとすることができる。一実施形態において、フェイスブックのユーザーの友人たちに、ユーザーが現時点でどの番組を視聴しているかを指示するメッセージを自動的に送信することができる。その際、その友人たちは、フェイスブック上で視聴者と交流し、例えば、制御デバイス24を用いてテレビ番組についてチャットすることができる。
別の例として、そのタスクは、視聴者についてのデモグラフィック情報を解析し、異なる時刻に異なるユーザーによって視聴されている番組についての情報をヘッドエンドに与えることとすることができる。更に他の代替形態は、特定の番組を視聴している視聴者に対して絞り込んだコンテンツを与えることを含む。例えば、次に放送される類似の番組についての情報を視聴者に与えることができる。視聴者が現在視聴している内容に絞り込んだ広告情報を視聴者に提供することができる。例えば、進行中のテレビ番組が特定の自動車を強調する場合には、自動車製造業者は、番組内で現在表示されている車両についての更なる情報を視聴者に与えるために更なる広告を提供することができる。この情報は、場合によっては、テレビ画面上にオーバーレイとして表示することができるが、例えば、制御デバイス24に関連付けられる別のディスプレイ上に表示することが有利な場合がある。その放送がインタラクティブゲームである場合には、そのゲームの進行についての情報をユーザーのソーシャルネットワーキンググループに送信することができる。同様に、同じようにして広告を使用することができ、デモグラフィックを収集することができる。
幾つかの実施形態では、複数のユーザーが同じテレビ番組を視聴している場合がある。世帯によっては、複数のテレビが利用可能な場合がある。したがって、数多くの異なるユーザーが本明細書において記述されるサービスを同時に使用したい場合がある。このため、プロセッサ利用システム14は、制御デバイス24の特定子、テレビ特定子及び番組情報を追跡し続けるテーブルを維持することができる。これにより、そのような実施形態において、プロセッサ利用システム14が単に種々のテレビに適応し、全てのテレビがプロセッサ利用システム14の下流において信号を受信することによって、ユーザーが部屋を移動しても、本明細書において記述されるサービスを受信し続けることができるようになる。
幾つかの実施形態では、テーブルはプロセッサ利用システム14に記憶することができるか、又はヘッドエンド11にアップロードすることができるか、又は場合によっては、制御デバイス24を通してクラウド28にアップロードすることもできる。
したがって、図6を参照すると、幾つかの実施形態では、シーケンス92を用いて、制御デバイス24、テレビディスプレイ画面20及び選択されたチャネルを関連付けるようにテーブルを維持することができる。その際、複数の異なるユーザーが同じテレビを通して、又は例えば、ホームエンターテイメントネットワーク内で同じプロセッサ利用システム14を通して全て接続される少なくとも2台以上のテレビにおいて、そのシステムを使用することができる。そのシーケンスは、ハードウェア、ソフトウェア及び/又はファームウェアとして実現することができる。ソフトウェア及びファームウェアの実施形態では、そのシーケンスは、磁気、半導体又は光学記憶装置のような非一時的コンピューター可読媒体に記憶されるコンピューター可読命令を用いて実現することができる。一実施形態では、記憶装置50が用いられる。
最初に、ブロック94において示されるように、システム14は、そのシステムにコマンドを与える制御デバイスごとの特定子を受信し、記憶する。その後、ブロック96において示されるように、システム14を通して結合される種々のテレビを特定し、記録することができる。最後に、制御デバイス、チャネル及びテレビ受信機を関連付けるテーブルが設定される(ブロック100)。これにより、同じ制御デバイスに接続される複数のテレビを途切れることなく使用できるようになり、視聴者が部屋を移動しても、本明細書において記述されるサービスを受信し続けることができるようになる。さらに、複数の視聴者が同じテレビを視聴することができ、それぞれが独立して本明細書において記述されるサービスを受信することができる。
本明細書を通して「一実施形態」又は「1つの実施形態」を参照することは、その実施形態に関連して記述される特定の特徴、構造又は特性が本発明に包含される少なくとも1つの実施態様に含まれることを意味する。したがって、「一実施形態」又は「1つの実施形態において」という言い回しが現れても、必ずしも同じ実施形態を参照しているとは限らない。さらに、特定の特徴、構造又は特性は、例示される特定の実施形態以外の他の適切な形態において実施することができ、全てのそのような形態を本明細書の特許請求の範囲に包含することができる。
本発明は限られた数の実施形態に関して記述されてきたが、当業者はそれらの実施形態から数多くの変更形態及び変形形態を理解されよう。添付の特許請求の範囲は、本発明の真の趣旨及び範囲内に入る全てのそのような変更形態及び変形形態を含むことを意図している。
本発明は限られた数の実施形態に関して記述されてきたが、当業者はそれらの実施形態から数多くの変更形態及び変形形態を理解されよう。添付の特許請求の範囲は、本発明の真の趣旨及び範囲内に入る全てのそのような変更形態及び変形形態を含むことを意図している。
本発明の例を下記の各項目として示す。
[項目1]
方法であって、
イベントの発生を検出することと、
イベントを検出するのに応じて、テレビ番組からデコードされた電子信号を自動的に取り込むことと、
前記デコードされた電子信号を用いて検索を実行して、前記テレビ番組の特定を促進することと、
を含む、方法。
[項目2]
ビデオフレーム、ビデオクリップ、音声又はメタデータの電子的表現を含む信号を取り込むことを含む、項目1に記載の方法。
[項目3]
イベントの前記発生を検出することは、時間間隔の経過を検出することを含む、項目1に記載の方法。
[項目4]
前記デコードされた電子信号をモバイルデバイスに自動的に転送することを含む、項目1に記載の方法。
[項目5]
検索結果を前記モバイルデバイスに与えることを含む、項目4に記載の方法。
[項目6]
前記デコードされた電子信号を、遠隔サーバーに送信して、前記検索を実行することを含む、項目4に記載の方法。
[項目7]
複数のモバイルデバイスを追跡することと、前記複数のモバイルデバイスのそれぞれから要求を受信することと、前記複数のモバイルデバイスの各モバイルデバイスに応答を与えることとを含む、項目1に記載の方法。
[項目8]
モバイルデバイスと、テレビと、モバイルデバイスからの要求とを関連付けるテーブルを維持することを含む、項目7に記載の方法。
[項目9]
ソーシャルネットワーキングツールを用いて前記特定を自動的に配信することを含む、項目1に記載の方法。
[項目10]
ユーザーが、1つのモバイルデバイスを用いて、異なる時刻に2つの異なるテレビからのデコードされた信号を受信できるようにすることを含む、項目1に記載の方法。
[項目11]
プログラムであって、
コンピューターがイベントの発生を検出できるようにする手順と、
イベントの検出に応答して、前記コンピューターがテレビ番組からデコードされた電子信号を自動的に取り込むことができるようにする手順と、
前記コンピューターが前記デコードされた電子信号を用いて検索を開始して、前記テレビ番組の特定を促進する、手順と、
を実行させる、少なくとも1つのプログラム。
[項目12]
ビデオフレーム、ビデオクリップ、音声又はメタデータの電子的表現の形で、デコードされた電子信号を取り込む手順を更に実行させる、項目11に記載のプログラム。
[項目13]
時間間隔の経過の検出をイベントとして用いて、前記デコードされた電子信号の取込みをトリガーする手順を更に実行させる、項目11に記載のプログラム。
[項目14]
前記デコードされた電子信号をモバイルデバイスに転送する手順を更に実行させる、項目11に記載のプログラム。
[項目15]
検索結果を前記モバイルデバイスに与える手順を更に実行させる、項目14に記載のプログラム。
[項目16]
前記デコードされた電子信号を、遠隔サーバーに送信して、前記検索を実行する手順を更に実行させる、項目14に記載のプログラム。
[項目17]
複数のモバイルデバイスを追跡する手順と、前記複数のモバイルデバイスのそれぞれから要求を受信する手順と、前記複数のモバイルデバイスの各モバイルデバイスに応答を与え、異なる時刻に2つの異なるテレビを使用できるようにする、手順とを更に実行させる、項目11に記載のプログラム。
[項目18]
デバイスと、テレビと、モバイルデバイスからの要求とを関連付けるテーブルを維持する手順を更に実行させる、項目17に記載のプログラム。
[項目19]
ソーシャルネットワーキングツールを用いて前記特定を配信する手順を更に実行させる、項目11に記載のプログラム。
[項目20]
音声信号の電子的表現である信号を取り込む手順と、前記取り込まれた信号をテキストに変換する手順と、前記テキストをキーワード検索に対する入力として用いるように送信する手順とを更に実行させる、項目11に記載のプログラム。
[項目21]
装置であって、
イベントの発生を検出し、前記イベントに応答して、テレビ番組から電子信号を自動的に取り込み、前記電子信号をキーワード検索に対する入力として用いるように送信するプロセッサと、
前記プロセッサに結合される記憶装置と、
を備える、装置。
[項目22]
前記装置はモバイルデバイスである、項目21に記載の装置。
[項目23]
前記装置は携帯電話である、項目22に記載の装置。
[項目24]
前記装置はリモコン装置である、項目22に記載の装置。
[項目25]
前記装置はテレビ受信機である、項目21に記載の装置。
[項目26]
前記装置は、テレビ受信システムに信号を送り、ビデオフレーム、ビデオクリップ、音声又はメタデータの電子的表現の形で、デコードされた電子信号を取り込む、項目21に記載の装置。
[項目27]
前記プロセッサは時間間隔の経過の形でイベントを検出する、項目21に記載の装置。
[項目28]
前記装置は、テレビシステムから前記電子信号を受信し、該電子信号を、遠隔デバイスに送信して、データベース内で又はインターネットを介してキーワード検索を実行する、項目21に記載の装置。
[項目29]
前記装置は、ソーシャルネットワーキングツールを介して前記テレビ番組の特定を自動的に配信する、項目28に記載の装置。
[項目30]
前記装置は前記電子信号を携帯電話に送信する、項目28に記載の装置。

Claims (30)

  1. 方法であって、
    イベントの発生を検出することと、
    イベントを検出するのに応じて、テレビ番組からデコードされた電子信号を自動的に取り込むことと、
    前記デコードされた電子信号を用いて検索を実行して、前記テレビ番組の特定を促進することと、
    を含む、方法。
  2. ビデオフレーム、ビデオクリップ、音声又はメタデータの電子的表現を含む信号を取り込むことを含む、請求項1に記載の方法。
  3. イベントの前記発生を検出することは、時間間隔の経過を検出することを含む、請求項1に記載の方法。
  4. 前記デコードされた電子信号をモバイルデバイスに自動的に転送することを含む、請求項1に記載の方法。
  5. 検索結果を前記モバイルデバイスに与えることを含む、請求項4に記載の方法。
  6. 前記デコードされた電子信号を、遠隔サーバーに送信して、前記検索を実行することを含む、請求項4に記載の方法。
  7. 複数のモバイルデバイスを追跡することと、前記複数のモバイルデバイスのそれぞれから要求を受信することと、前記複数のモバイルデバイスの各モバイルデバイスに応答を与えることとを含む、請求項1に記載の方法。
  8. モバイルデバイスと、テレビと、モバイルデバイスからの要求とを関連付けるテーブルを維持することを含む、請求項7に記載の方法。
  9. ソーシャルネットワーキングツールを用いて前記特定を自動的に配信することを含む、請求項1に記載の方法。
  10. ユーザーが、1つのモバイルデバイスを用いて、異なる時刻に2つの異なるテレビからのデコードされた信号を受信できるようにすることを含む、請求項1に記載の方法。
  11. プログラムであって、
    コンピューターがイベントの発生を検出できるようにする手順と、
    イベントの検出に応答して、前記コンピューターがテレビ番組からデコードされた電子信号を自動的に取り込むことができるようにする手順と、
    前記コンピューターが前記デコードされた電子信号を用いて検索を開始して、前記テレビ番組の特定を促進する、手順と、
    を実行させる、少なくとも1つのプログラム。
  12. ビデオフレーム、ビデオクリップ、音声又はメタデータの電子的表現の形で、デコードされた電子信号を取り込む手順を更に実行させる、請求項11に記載のプログラム。
  13. 時間間隔の経過の検出をイベントとして用いて、前記デコードされた電子信号の取込みをトリガーする手順を更に実行させる、請求項11に記載のプログラム。
  14. 前記デコードされた電子信号をモバイルデバイスに転送する手順を更に実行させる、請求項11に記載のプログラム。
  15. 検索結果を前記モバイルデバイスに与える手順を更に実行させる、請求項14に記載のプログラム。
  16. 前記デコードされた電子信号を、遠隔サーバーに送信して、前記検索を実行する手順を更に実行させる、請求項14に記載のプログラム。
  17. 複数のモバイルデバイスを追跡する手順と、前記複数のモバイルデバイスのそれぞれから要求を受信する手順と、前記複数のモバイルデバイスの各モバイルデバイスに応答を与え、異なる時刻に2つの異なるテレビを使用できるようにする、手順とを更に実行させる、請求項11に記載のプログラム。
  18. デバイスと、テレビと、モバイルデバイスからの要求とを関連付けるテーブルを維持する手順を更に実行させる、請求項17に記載のプログラム。
  19. ソーシャルネットワーキングツールを用いて前記特定を配信する手順を更に実行させる、請求項11に記載のプログラム。
  20. 音声信号の電子的表現である信号を取り込む手順と、前記取り込まれた信号をテキストに変換する手順と、前記テキストをキーワード検索に対する入力として用いるように送信する手順とを更に実行させる、請求項11に記載のプログラム。
  21. 装置であって、
    イベントの発生を検出し、前記イベントに応答して、テレビ番組から電子信号を自動的に取り込み、前記電子信号をキーワード検索に対する入力として用いるように送信するプロセッサと、
    前記プロセッサに結合される記憶装置と、
    を備える、装置。
  22. 前記装置はモバイルデバイスである、請求項21に記載の装置。
  23. 前記装置は携帯電話である、請求項22に記載の装置。
  24. 前記装置はリモコン装置である、請求項22に記載の装置。
  25. 前記装置はテレビ受信機である、請求項21に記載の装置。
  26. 前記装置は、テレビ受信システムに信号を送り、ビデオフレーム、ビデオクリップ、音声又はメタデータの電子的表現の形で、デコードされた電子信号を取り込む、請求項21に記載の装置。
  27. 前記プロセッサは時間間隔の経過の形でイベントを検出する、請求項21に記載の装置。
  28. 前記装置は、テレビシステムから前記電子信号を受信し、該電子信号を、遠隔デバイスに送信して、データベース内で又はインターネットを介してキーワード検索を実行する、請求項21に記載の装置。
  29. 前記装置は、ソーシャルネットワーキングツールを介して前記テレビ番組の特定を自動的に配信する、請求項28に記載の装置。
  30. 前記装置は前記電子信号を携帯電話に送信する、請求項28に記載の装置。
JP2014528818A 2011-09-12 2011-09-12 マルチメディア検索を用いて視聴者がテレビで視聴しているものを特定すること Pending JP2014531798A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/001545 WO2013037079A1 (en) 2011-09-12 2011-09-12 Using multimedia search to identify what viewers are watching on television.

Publications (1)

Publication Number Publication Date
JP2014531798A true JP2014531798A (ja) 2014-11-27

Family

ID=47882503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014528818A Pending JP2014531798A (ja) 2011-09-12 2011-09-12 マルチメディア検索を用いて視聴者がテレビで視聴しているものを特定すること

Country Status (6)

Country Link
US (1) US20130276013A1 (ja)
EP (1) EP2756666A4 (ja)
JP (1) JP2014531798A (ja)
KR (1) KR101615930B1 (ja)
CN (1) CN103828348A (ja)
WO (1) WO2013037079A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6050449B1 (ja) * 2015-08-31 2016-12-21 デジタル・アドバタイジング・コンソーシアム株式会社 マッチングシステム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362196B2 (en) * 2013-01-05 2019-07-23 Duvon Corporation Secured communication distribution system and method
JP6222774B2 (ja) * 2014-09-24 2017-11-01 克次郎 大岩 動画広告の視聴確認システム及び動画広告の視聴確認方法
CN104869451A (zh) * 2015-05-28 2015-08-26 成都市斯达鑫辉视讯科技有限公司 一种机顶盒遥控器
CN106713973A (zh) * 2015-07-13 2017-05-24 中兴通讯股份有限公司 搜索节目的方法及装置
CN105307004B (zh) * 2015-10-27 2018-05-08 天脉聚源(北京)科技有限公司 一种确定电视频道的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213570A (ja) * 2003-01-08 2004-07-29 Sony Corp 情報提供方法
JP2008258733A (ja) * 2007-04-02 2008-10-23 Sony Corp 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法
JP2010003219A (ja) * 2008-06-23 2010-01-07 Yahoo Japan Corp 関連クエリ導出装置、関連クエリ導出方法及びプログラム
JP2010539608A (ja) * 2007-09-14 2010-12-16 オーディテュード.コム,インク. オンラインでシェアされる放送番組のクリップの番組情報を回復するための技術
WO2013021824A1 (ja) * 2011-08-05 2013-02-14 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7979880B2 (en) * 2000-04-21 2011-07-12 Cox Communications, Inc. Method and system for profiling iTV users and for providing selective content delivery
US7831992B2 (en) * 2002-09-18 2010-11-09 General Instrument Corporation Method and apparatus for forwarding television channel video image snapshots to an auxiliary display device
KR100641927B1 (ko) * 2004-07-23 2006-11-02 엘지전자 주식회사 디지털 방송 수신기의 방송채널 탐색 제어방법
US8434114B2 (en) * 2006-07-31 2013-04-30 Access Co., Ltd. Electronic device, display system, display method, and program
US20080083003A1 (en) * 2006-09-29 2008-04-03 Bryan Biniak System for providing promotional content as part of secondary content associated with a primary broadcast
US20080089551A1 (en) * 2006-10-16 2008-04-17 Ashley Heather Interactive TV data track synchronization system and method
EP1921852A1 (en) * 2006-11-07 2008-05-14 Microsoft Corporation Sharing Television Clips
US20080134264A1 (en) * 2006-11-30 2008-06-05 Motorola, Inc. Method and apparatus for interactivity with broadcast media
US8407744B2 (en) * 2007-06-19 2013-03-26 Verizon Patent And Licensing Inc. Snapshot recognition for TV
CN101127871A (zh) * 2007-09-27 2008-02-20 北京中星微电子有限公司 一种新的交互式观看电视节目的方法和装置
US9106801B2 (en) * 2008-04-25 2015-08-11 Sony Corporation Terminals, servers, and methods that find a media server to replace a sensed broadcast program/movie
JP5525201B2 (ja) * 2009-07-28 2014-06-18 パナソニック株式会社 画像合成装置、画像符号化装置、コンピュータプログラム、記録媒体
CN101998153B (zh) * 2009-08-17 2013-04-03 中国移动通信集团公司 基于广播式移动多媒体业务上报收看频道的方法及装置
JP2011130111A (ja) * 2009-12-16 2011-06-30 Funai Electric Co Ltd テレビジョン受像機
US9264785B2 (en) * 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8913171B2 (en) * 2010-11-17 2014-12-16 Verizon Patent And Licensing Inc. Methods and systems for dynamically presenting enhanced content during a presentation of a media content instance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213570A (ja) * 2003-01-08 2004-07-29 Sony Corp 情報提供方法
JP2008258733A (ja) * 2007-04-02 2008-10-23 Sony Corp 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法
JP2010539608A (ja) * 2007-09-14 2010-12-16 オーディテュード.コム,インク. オンラインでシェアされる放送番組のクリップの番組情報を回復するための技術
JP2010003219A (ja) * 2008-06-23 2010-01-07 Yahoo Japan Corp 関連クエリ導出装置、関連クエリ導出方法及びプログラム
WO2013021824A1 (ja) * 2011-08-05 2013-02-14 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M.CELIK ET AL.: "Video Fingerprinting for Live Events [online]", PROC. SPIE 7254, MEDIA FORENSICS AND SECURITY, vol. 7254, JPN6015017373, 4 February 2009 (2009-02-04), US, pages 725403 - 1, ISSN: 0003064659 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6050449B1 (ja) * 2015-08-31 2016-12-21 デジタル・アドバタイジング・コンソーシアム株式会社 マッチングシステム

Also Published As

Publication number Publication date
US20130276013A1 (en) 2013-10-17
CN103828348A (zh) 2014-05-28
EP2756666A4 (en) 2015-03-11
EP2756666A1 (en) 2014-07-23
WO2013037079A1 (en) 2013-03-21
KR101615930B1 (ko) 2016-04-27
KR20140054362A (ko) 2014-05-08

Similar Documents

Publication Publication Date Title
JP5906515B2 (ja) ジェスチャーを用いてマルチメディアクリップを取り込むこと
US11546659B2 (en) System and method for associating search queries with remote content display
US11363348B2 (en) Managing lifecycles of television gadgets and applications
JP5395813B2 (ja) コンテンツおよびメタデータの消費技法
EP2602760B1 (en) Providing synchronous content and supplemental experiences
US9578366B2 (en) Companion device services based on the generation and display of visual codes on a display device
US20110289532A1 (en) System and method for interactive second screen
US10296645B2 (en) Systems and methods for content selection based on search query correlation with broadcast media
US20130297650A1 (en) Using Multimedia Search to Identify Products
AU2011299221A1 (en) Smart media selection based on viewer user presence
EP2501146A2 (en) Content provision
JP2014531798A (ja) マルチメディア検索を用いて視聴者がテレビで視聴しているものを特定すること
US20160277808A1 (en) System and method for interactive second screen
US20180288122A1 (en) Recognition-Based Content Skipping
US9832413B2 (en) Automated channel detection with one-way control of a channel source
JP2014530390A (ja) マルチメディア探索を用いて製品を識別すること

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160223