JP2008199680A - サーバ、およびプログラム - Google Patents

Abstract

【課題】本発明の課題は、視聴者が放送者に強制されることなく、見たいときに、見たい対象に関連する広告を見ることができる技術を提供することである。
【解決手段】映像を表示する表示部と、上記映像上の位置を指示操作する指示部とを有する、そのような表示装置を制御する制御装置であり、指示操作された映像中の対象物を認識する手段と、認識された対象物に関連付けられる所定の処理を実行する処理手段と、を備えた。
【選択図】図１

Description

本発明は、表示装置の制御に関するものである。

従来のテレビ広告では、放送者が決めた広告が番組と番組の合間に挟まれる形で放送されていた。また、従来のテレビ広告は、視聴者が好むと好まざるとに関わらず、番組に強制的に挿入されるか、まったく挿入されないかのいずれかであった。このため、従来のテレビ広告には、次のような問題があった。

例えば、視聴者は見たくない広告も見なければならなかった。また、視聴者は、見たい広告を見たいときに見ることができなかった。また、番組中に広告が挿入されて番組の雰囲気が壊されることがあった。このような場合に、広告の挿入を回避する余地が与えられなかった。

また、商品を印象に残すことが優先されるため、広告の内容が派手なものに限定される傾向にあった。このため、メーカや商品のイメージにあった広告を提供できない場合も少なくなかった。

このようなテレビ広告の欠点を解消する対策として、例えば、本来の番組画像を表示する際に、その画像に関連する広告を関連付けておき、ユーザの要求に応じてその広告を表示することが考えられた。そのような機構として、ウェブブラウザがある。ウェブブラウザの表示は番組ではない。しかし、ウェブブラウザでは、文書中にボタンベースで選択肢が表示され、視聴者がボタン等のリンクを選択することで関連する文書を呼び出し、アプリケーションを実行するなどの機能が実現されていた。

ただし、ウェブブラウザの関連付けは、ボタンなどの表示部品やビットマップ画像などの作られた画像からの関連付けに限定されていた。また、ウェブブラウザでは、アナログ動画や実写映像中の部分画像のように番組に自然に溶け込んだものから他の情報に関連付けることはできなかった。

同様に視聴者の選択によって映像が変化するものとして、レーザーディスク（登録商標）などのインタラクティブビデオがあった。インタラクティブビデオでは、例えば、番組中にボタンベースで選択肢が表示され、視聴者がボタンを選択することで番組のストーリーが分岐していく。

しかし、インタラクティブビデオでは、視聴者は、ボタンベースでストーリーを選択しなければならなかった。しかも、視聴者は、予め設定されている選択肢の範囲内でしか選択を行えなかった。

また、ＢＳデジタル放送等においてもインタラクティブな番組が提供されている。すなわち、番組中にボタンベースで選択肢が表示され、視聴者がボタンを選択することでストーリーが分岐していく。これらの番組は一部映像ベースで処理されている。しかし、その分岐機能は、静止画や単純な動きの動画に限られ、番組中の自然な実写映像からのストーリーを分岐する配慮がなされていなかった。
米国特許第５，７０８，８４５号明細書 国際公開第９８／４３４３７号パンフレット Dakss,J.et al.、"Hyperlinked Video"、Proceedings of the SPIE、SPIE、米国、１９９９年１１月、Vol.3528、p.２−１０

本発明はこのような従来の技術の問題点に鑑みてなされたものである。すなわち、本発明の課題は、視聴者が放送者に強制されることなく、見たいときに、見たい対象に関連する広告を見ることができる技術を提供することである。

また、本発明の課題は、そのような視聴者の意図を視聴者の操作から認識する技術を提供することである。

本発明は前記課題を解決するために、以下の手段を採用した。すなわち、本発明は、映像を表示する表示部（５）と、上記映像上の位置を指示操作する指示部（７）とを有する、そのような表示装置を制御する制御装置（２）であり、指示操作された映像中の対象物を認識する手段（２）と、認識された対象物に関連付けられる所定の処理を実行する処理手段（２）と、を備えたものである。

好ましくは、上記表示装置は、データを受信する受信部（６）をさらに備えており、 上
記受信部は、上記映像を含む第１のデータと、その第１のデータの映像における対象物に関連付けられる第２のデータとを受信し、上記処理手段（２）は、上記認識された対象物に関連付けられる第２のデータを上記表示装置に出力させてもよい。

好ましくは、上記第２のデータは、上記第１のデータの映像に関連付けられる画像を含むものでもよい。

好ましくは、上記第２のデータは、上記第１のデータに多重化されて配信されるものでもよい。

好ましくは、上記第２のデータは、上記第１のデータの余白に埋め込まれるものでもよい。

好ましくは、上記第１のデータの映像には広告対象となる商品またはサービスに関連する画像が含まれており、上記第２のデータは上記商品またはサービスの広告であってもよい。

好ましくは、上記処理手段は、上記認識された対象物に関連付けられるアプリケーションプログラムを実行してもよい。

好ましくは、上記処理手段は、上記認識された対象物に関連付けられるタスクを実行してもよい。

好ましくは、上記表示装置は、他のタスク実行装置に指令を送信する通信部（８）をさらに備えており、上記処理手段（２）は、上記通信部（８）を介して、上記認識された対象物に関連付けられるタスクの実行を上記タスク実行装置に指令してもよい。

好ましくは、上記タスク実行装置は、電子メールを発信する電子メールサーバであり、上記指令は、上記対象物に関連付けられる電子メールデータの送信要求であり、上記処理手段（２）は、上記通信部を介して、送信された電子メールデータを受信してもよい。

好ましくは、上記表示装置は、情報を集計するサーバに情報を送信する通信部（８）をさらに備えており、上記処理手段は、上記通信部を介して、上記認識された対象物に係る情報を上記サーバに通知し、上記認識結果を集計させてもよい。

好ましくは、上記映像は、複数のフレームからなり、上記受信部（６）は、各フレームの対象物の領域を定義する定義情報をさらに受信し、上記認識する手段（２）は、指示操作された映像上の位置とその指示操作がされた映像のフレームにおける上記定義情報とを照合してもよい。

好ましくは、上記制御装置（２）は、映像中の上記領域部分を強調して表示する手段をさらに備えるものでもよい。

好ましくは、上記受信部（６）は、対象物の特徴を記述する情報をさらに受信し、上記処理手段（２）は、上記映像と対象物の特徴を記述する情報とに基づいて、その映像に対する対象物を生成してもよい。

好ましくは、上記処理手段（２）は、第１のデータに含まれる映像の表示中に上記指示操作があった場合、上記映像の表示終了後に上記指示操作により認識される対象物に関連付けられる第２のデータの出力を上記表示装置に指令してもよい。

好ましくは、上記表示装置は、データを記録する記録部をさらに備えており、上記処理手段（２）は、上記映像の表示中に上記指示操作により対象物が認識されたときに、その対象物に関連付けられる第２のデータの記録を上記記録部に指令し、上記映像の表示終了後に上記記録された第２のデータの出力を上記表示装置に指令してもよい。

好ましくは、上記処理手段（２）は、第１のデータに含まれる映像の表示中に上記指示操作により対象物が認識されたときに、上記表示装置に対してその対象物に関連付けられる第２のデータの出力への切り替えを指令してもよい。

好ましくは、上記処理手段（２）は、上記表示装置に対して上記第２のデータの出力後に上記映像の表示に切り替えを指令してもよい。

好ましくは、上記表示装置は、データを記録する記録部をさらに備えており、上記処理手段（２）は、上記第２のデータ出力後に、上記記録部により記録された上記切り替え時点からの上記映像を表示することを指令してもよい。

好ましくは、上記表示装置は、上記第１のデータを受信する第１の受信部と、第２のデータを受信する第２の受信部とを有してもよい。

また、本発明は、映像を表示する表示部（５）と、上記映像上の位置を指示操作する指示部（７）とを有する、そのような表示装置を制御する制御装置であり、指示操作された映像中の対象物を認識する認識手段を有するサーバに、上記指示操作された映像上の位置を送信し、上記サーバによって認識された上記映像中の対象物に係る情報を上記サーバから受信する通信部（８）と、上記認識された対象物に関連付けられる所定の処理を実行する処理手段（２）と、を備えたたものでもよい。好ましくは、上記表示装置は、データを受信する受信部をさらに備えており、上記受信部（６）は、上記映像を含む第１のデータと、その第１のデータの映像における対象物に関連付けられる第２のデータとを受信し、上記処理手段（２）は、上記認識された対象物に関連付けられる第２のデータを上記表示装置に出力させてもよい。

好ましくは、上記表示装置は、記録媒体に記録された映像を再生する再生部を有し、上記記録媒体は、第１の映像と、その第１の映像に対応する対象物に関連付けられる第２の画像とを記録しており、上記処理手段（２）は、上記認識された対象物に関連付けられる第２の画像を上記記録媒体から再生して上記表示装置に表示させてもよい。

好ましくは、上記表示装置は、情報を集計するサーバに情報を送信する通信部をさらに備えており、上記処理手段（２）は、上記認識された対象物に係る情報を上記サーバに通知し、上記認識結果を集計させてもよい。

好ましくは、上記表示装置は、記録媒体に記録された映像を再生する再生部をさらに備えており、上記通信部（８）は、上記再生される映像が指示操作されたときに、その映像を特定する情報と映像上の指示操作された位置を特定する情報とを上記サーバに送信してもよい。

また、本発明は、映像を含むデータを受信する受信部（６）と、上記映像を表示する表示部（５）と、上記映像上の位置を指示操作する指示部（７）とを有する表示装置と連携するサーバであり、上記指示操作された位置に係る情報を表示装置から受信する通信部（１８）と、指示操作された映像中の対象物を上記表示装置から受信した情報により認識する認識部（１２）と、上記認識された対象物に係る所定の処理を実行する処理部（１２）とを備えたものでもよい。

好ましくは、上記処理部は、上記通信部（１８）を介して、上記認識された対象物に係る情報を上記表示装置に送信してもよい。

好ましくは、上記処理部（１２）は、上記認識された対象物に関連付けられるタスクを実行してもよい。

好ましくは、上記処理部は、上記通信部（１８）を介して、他のタスク実行装置に対して上記認識された対象物に関連付けられるタスクの実行を指令してもよい。

好ましくは、上記通信部（１８）は、情報を集計するサーバに、上記認識された対象物に係る情報を通知し、上記認識結果を集計させるものでもよい。

好ましくは、上記通信部（１８）は、電子メールを発信する電子メールサーバと通信し、上記処理部は、上記通信部を介して、上記認識された対象物に係る電子メールの送信を指令してもよい。

また、本発明は、データ配信システムから映像を含むデータを受信する受信部と、上記映像を表示する表示部と、上記映像上の位置を指示操作する指示部とを有する表示装置と連携し、上記データ配信システムに指令を送るサーバであり、上記映像上の指示操作された位置に係る情報を表示装置から受信する通信部（１８）と、指示操作された映像中の対象物を上記表示装置から受信した情報により認識する認識部（１２）と、上記対象物に関連付けられた指示を参照する参照部（１４）と、上記指示にしたがい上記データ配信システムに対し、配信するデータの切り替えを指令する指令部（１２）とを備えたものでもよい。

また、本発明は、被集計情報を受信する受信部（１８）と、上記被集計情報を分類する、そのような分類情報を保持する分類指定部（１４）と、上記分類情報にしたがい、被集計情報を分類して集計する集計部（１２）と、上記集計部が分類できない被集計情報を記録する情報記録部（１４）と、上記情報記録部に記録された被集計情報を分類するための新
たな分類情報を生成する生成部（１２）とを備え、上記分類指定部（１２）は、上記生成された分類情報を追加して保持し、上記集計部（１２）は、上記生成された分類情報に基づき上記被集計情報を再集計するものでもよい。

好ましくは、上記被集計情報は、アンケートに対する回答であってもよい。

好ましくは、上記アンケートに対する回答は、映像上の位置に係る情報であり、上記分類情報は、上記映像の部分に対応して構成される領域情報を有してもよい。

また、本発明は、被写体の画像を取得する撮影装置（８５）と、上記被写体の複数箇所に装着される信号発生部と、各信号発生部からの信号を検出する検出部（８６）と、上記画像と上記信号とを関連付けて記録する記録部と、上記被写体または被写体の部分の上記画像上での占有領域を規定する情報を上記信号から作成する処理部とを備えた処理装置であってもよい。

また、本発明は、商品を含む映像を受信する受信部と、上記映像を表示する表示部と、上記映像上の位置を指示操作する指示部とを有する表示装置と連携するサーバであり、上記指示操作された位置に係る情報を表示装置から受信する受信部（１８）と、上記指示操作された映像中の対象物を上記表示装置から受信した情報により認識する認識部（１２）と、指示操作に対する対象物を認識できないとき、その位置に係る情報を記録する記録部（１４）と、上記記録された位置に係る情報を集計して報知する報知部とを備え、対象物として想定されていない映像部分に係る商品の広告斡旋を支援するものでもよい。

また、本発明は、映像を含むデータを受信する受信部と、上記映像を表示する表示部と、上記映像上の位置を指示操作する指示部とを有する表示装置と連携するサーバであり、上記指示操作された位置に係る情報を表示装置から受信する受信部（１８）と、上記指示操作された映像中の対象物を上記表示装置から受信した情報により認識する認識部（１２）と、指示操作に対する対象物を認識できないとき、その位置に係る情報を記録する記録部（１４）と、上記記録された位置に係る情報を集計して報知する報知部とを備え、上記映像についての情報調査を支援するものでもよい。

また、本発明は、データ配信システムから映像を含むデータを受信する受信部（６）と、上記映像を表示する表示部（５）と、上記映像上の位置を指示操作する指示部（７）と、を備える表示装置であり、映像における対象物を認識するサーバと通信する通信部（８）を備え、上記表示部に表示された第１のデータの映像が指示操作されたときに、上記通信部は上記指示操作された映像上の位置に係る情報とその映像を特定する情報とを上記サーバに送信し、上記サーバは、指示操作された映像の位置に応じて、配信するデータの切り替えを上記データ配信システムに指令し、上記受信部は、切り替えられた第２のデータを受信し、上記表示部は、第２のデータを表示する表示装置であってもよい。

また、本発明は、コンピュータに、以上のいずれかの機能を実現させるプログラムでもよい。また、本発明は、そのようなプログラムをコンピュータ読み取り可能な記録媒体に記録したものでもよい。

本発明によれば、視聴者は、放送者に強制されることなく、見たいときに、見たい対象に関連する広告を見ることができる。また、本発明によれば、そのような視聴者の意図を視聴者の操作から認識することができる。

以下、図面を参照して、本発明の実施の形態を説明する。
《第１実施形態》オンデマンド広告提供システム以下、図１から図１１の図面に基づいて本発明の第１実施形態を説明をする。図１は、第１実施形態に係るオンデマンド広告提供システムのシステム構成図であり、図２および図３はオンデマンド広告の例を示す図であり、図４は、図１に示した受像機１のハードウェア構成図であり、図５は、本オンデマンド広告提供システムにおいて処理されるオブジェクトの例１を示す図であり、図６は、図５に示したオブジェクトの例１に対するデータ構成（以下オブジェクト分布情報という）の例を示す図であり、図７は、上記オブジェクトをコマーシャル画像にリンクさせるリンク情報のデータ構成を示す図であり、図８は、図４に示したポインティングデバイス７によるユーザの操作（以下ポインティング操作という）を検出する処理を示すフローチャートであり、図９は、図８に示したポイントオブジェクトの判定処理の詳細を示すフローチャートであり、図１０は、オブジェクトの変形例を示す図であり、図１１は、図１０に示したオブジェクトに対するオブジェクト分布情報を示す図である。

＜システム構成＞図１に、本オンデマンド広告提供システムのシステム構成を示す。このシステムは、放送データを放送する放送局（データ配信システムに相当）と、その放送データを受信し表示する受像機１（表示装置に相当）とを有している。

放送局は、衛星放送波、地上波、ケーブルテレビ網、またはデータ通信網を通じて放送データを配信する。

放送データは、視聴者に提供される番組映像、オブジェクト分布情報、コマーシャル画像（図１では、ＣＭ画像１、ＣＭ画像２等と表示）、および不図示の音データを含んでいる。

番組映像とは、動画、静止画等を含む、テレビ番組の映像である。オブジェクト分布情報とは、上記映像の特定の部分をオブジェクトとして定義するための情報をいう。ここで、オブジェクトとは、上記映像のうち、視聴者の操作対象となる部分をいう。

コマーシャル画像は、上記番組映像に関連する商品やサービスを広告する画像である。コマーシャル画像は、オブジェクトによって番組画像と関連付けられている。コマーシャル画像には、映像、すなわち、動画も含まれる。

受像機１は、マウス等のポインティングデバイスを備えている。このポインティングデバイスにより、視聴者は受像機１に表示された映像を指示操作（以下ポイントするともいう）することができる。

そして、視聴者が番組映像をポイントすると、受像機１は、そのポイント位置において定義されたオブジェクトを認識する。オブジェクトには、コマーシャル画像を関連付ける情報が含まれているので、受像機１は、そのコマーシャル画像を表示する。

例えば、視聴者が番組映像中の登場人物の服をマウス等でポイントすると、受像機１は、その服に対応するオブジェクトがポイントされたと判断する。そして、受像機１は、そのオブジェクトに関連するＴシャツのコマーシャルを表示する。

また、例えば、視聴者が番組映像中の登場人物の腕時計をマウス等でポイントすると、受像機１は、その腕時計に対応するオブジェクトがポイントされたと判断する。そして、受像機１は、そのオブジェクトに関連付けられた腕時計のコマーシャルを表示する。

図２および図３にオンデマンド広告の表示例を示す。図２は、例えば、番組の登場人物が
新作のイヤリングを付けている。視聴者がこのイヤリングを図１に示したマウス等でポイントすると、受像機１は、このイヤリングの映像に対応して保持するオブジェクトがポイントされたと判断する。そして、受像機１は、そのイヤリングのコマーシャル画像を表示する。コマーシャル画像の表示が終了すると、受像機１は、再び番組映像を表示する。

図３は、旅行番組の表示例である。この番組では、登場人物の背後に鎌倉の大仏が表示されている。視聴者が図１に示したマウスで鎌倉の大仏をポイントすると、受像機１は、その大仏に対応するオブジェクトがポイントされたと判断する。そして、受像機１は、周辺の地図、参拝料金等を紹介する映像を表示する。

このようなオブジェクトは、番組の映像と並行して送信されるオブジェクト分布情報により定義される。

＜ハードウェア構成＞図４に、受像機１のハードウェア構成図を示す。この受像機１は、プログラムを実行するＣＰＵ２と、ＣＰＵ２で実行されるプログラムや、ＣＰＵ２で処理されるデータを記憶するメモリ３と、プログラムやデータを記録するハードディスク４、放送波を受信する受信部６、メニューやアイコンを操作するためのポインティングデバイス７、ネットワークにアクセスする通信部８等の周辺装置と、これらの周辺装置をＣＰＵ２に接続する各種インターフェースと、受信部６に接続され、映像を表示する映像出力インターフェース５ａおよび表示部５と、音を出力する音出力インターフェース９ａおよびスピーカ９とを備えている。

ＣＰＵ２は、メモリ３に記憶されたプログラムを実行し、受像機１を制御する。

メモリ３は、ＣＰＵ２で実行されるプログラムやＣＰＵ２で処理されるデータを記憶する。

ハードディスク４は、ＣＰＵ２で実行されるプログラムやＣＰＵ２で処理されるデータ等を記録する。ハードディスク４は、入出力インターフェース４ａを介してＣＰＵ２に接続される。

受信部６は、アンテナを介して受信した放送波から番組の映像と音とを復調・復号する。受信部６は、例えば、衛星デジタル放送を復調するＤＩＲＤ（Digital Integrated Receiver/Decoder）等である。

受信部６が復調した番組の映像は、映像出力インターフェース５ａを介して表示部５に表示される。また、受信部６が復調した番組の音は、音出力インターフェース９ａを介してスピーカ９から出力される。

表示部５は、受信部が復調・復号した映像を表示する。また、表示部５は、映像出力インターフェース５ａを介してＣＰＵ２と接続される。そして、表示部５は、メニュー、アイコン、メッセージ等を表示する。

表示部５は、例えば、ＣＲＴ、液晶ディスプレイ、ＰＤＰ（plasma display panel）、ＥＬ（electro luminescence）パネル、ＦＥＤ（field emission display）等である。

音出力インターフェース９ａは、受信部６が復調・復号した音データからアナログの音波形を生成し、スピーカ９に出力する。

ポインティングデバイス７は、表示部５に表示されたメニューやアイコンを操作するため
に使用される。ポインティングデバイス７は、例えば、マウス、トラックボール、ジョイスティック、静電式タッチパッド、スティック形状のポインティングデバイス、光学式ポインティングデバイス、タッチパネル等である。

また、ポインティングデバイス７は、テレビチャンネルの切り替えボタン配列を有するリモートコントローラを赤外線受光部を介して接続したものでもよい。ポインティングデバイス７は、入力インターフェース７ａを介してＣＰＵ２に接続される。

通信部８は、ＣＰＵ２の指令により、ネットワークにアクセスし、ネットワーク上の他のホストと通信する。また、通信部８は、ネットワーク上に配信される放送を受信する。ネットワーク上に配信される放送としては、例えば、インターネット放送が知られている。

このネットワークは、ケーブルテレビ網、電話回線、電話線を利用したＡＤＳＬ（Asymmetric Digital Subscriber Line）、無線ＬＡＮ等である。通信部８は入出力インターフェース８ａを介してＣＰＵ２に接続される。

通信部８は、例えば、ＬＡＮ(Local Area Network)カード、モデム、ダイアルアップルータである。ＬＡＮカードは、受像機１内のスロットに挿入される。モデムは、受像機１に内蔵されるタイプのものでもよいし、外付けされるものでもよい。

＜オブジェクトとコマーシャル画像のデータ構成＞図５にオブジェクトの例１を示す。図５では、一人の登場人物を含む番組映像３０に対応するオブジェクト３１が示されている。このオブジェクト３１は、オブジェクト番号１で識別されるオブジェクトとオブジェクト番号２で識別されるオブジェクトとからなる。オブジェクト番号とは、本オンデマンド広告提供システムにおいてオブジェクトをユニークに識別する番号である。

オブジェクト番号１で識別されるオブジェクトは、登場人物が着用している服に対応するオブジェクトである。また、オブジェクト番号２で識別されるオブジェクトは、登場人物が付けている腕時計に対応するオブジェクトである。本実施形態の受像機１は、このようなオブジェクトを矩形の集合により表現する。例えば、オブジェクト番号１のオブジェクトは、左上点（５０、５０）、右下点（３５０、１００）からなる矩形と、左上点（１００、１００）、右下点（３００、３００）からなる矩形を有している。ここで、本オンデマンド広告提供システムでは、座標は、画面の左上点を原点として定義される。

図６に、このようなオブジェクト分布を記述するデータ構成例を示す。本実施形態では、このようなオブジェクトの分布を記述する情報をオブジェクト分布情報３２という。図６は、図５に示したオブジェクトに対するオブジェクト分布情報３２の例である。受像機１は、図６に示した形式でオブジェクト分布情報３２を受信し、メモリ３に記憶する。

オブジェクト分布情報３２は、番組識別情報３３と、フレーム識別情報３４と、オブジェクト形状情報３５とからなる。番組識別情報３３は、オブジェクトが定義される映像を含む番組を識別する情報である。番組識別情報３３として、例えば、番組の名称を使用する。図６では、番組識別情報３３として、”ＣＨ１、不思議な話第５２話”が設定されている。

フレーム識別情報３４は、その番組を構成するフレーム（動画を構成するコマ）をユニークに識別する番号である。フレーム識別情報３４として、番組開始からの通算フレーム数（通し番号）が使用される。

オブジェクト形状情報３５は、オブジェクト番号と、そのオブジェクト番号のオブジェク
トを構成する矩形を定義する情報からなる。矩形は、矩形の左上点の座標と右下点の座標で定義される。この個々の矩形をオブジェクト要素と呼ぶ。

図６では、オブジェクト番号１のオブジェクトは、左上点（５０、５０）、右下点（３５０、１００）からなる矩形と、左上点（１００、１００）、右下点（３００、３００）からなる矩形によって示されている。また、オブジェクト番号２のオブジェクトは、左上点（３６５、１５０）、右下点（３８５、１５５）からなる矩形等によって示されている（ただし、座標系の原点は、画面の左上点であり、Ｘ軸は右方向に、Ｙ軸は下方向に向く）。

図７に、オブジェクトをコマーシャル画像にリンクさせるリンク情報のデータ構成を示す。リンク情報は、番組識別情報３３と、広告画像管理情報３６とを有している。広告画像管理情報３６は、オブジェクト番号とそのオブジェクト番号のオブジェクトにリンクされるコマーシャル画像の先頭番地とからなる。

コマーシャル画像の先頭番地は、メモリ３においてコマーシャル画像を格納した先頭番地である。受像機１は、コマーシャル画像を受信すると、そのコマーシャル画像をメモリ３に格納する。このコマーシャル画像には、リンクされるオブジェクトのオブジェクト番号と、そのオブジェクトが定義される番組の番組識別情報３３とが付加されている。受像機１は、そのオブジェクト番号と、各コマーシャル画像の先頭番地とを対にしてリンク情報に格納する。

＜コマーシャル画像とオブジェクト分布情報３２の配信＞［テレビ放送］テレビ放送の場合、コマーシャル画像とオブジェクト分布情報３２とは、垂直帰線消去期間を使って、番組映像と並行してデジタルデータで供給される。ここで、テレビ放送とは、例えば、いわゆる地上波テレビ放送、ケーブルテレビ放送等である。

その場合、オブジェクト分布情報３２およびコマーシャル画像は、受像機１のメモリ３に記憶される。このオブジェクト分布情報３２およびコマーシャル画像は、垂直帰線消去期間において、番組映像に先立って送信される。

そして、番組映像表示中に視聴者から要求があったときにメモリ３内の広告画像を表示すればよい。垂直帰線消去期間におけるデジタルデータの送信については、財団法人電波産業会の資料「垂直帰線期間を使用する伝送方式の標準テレビジョン・データ多重放送」ARIB STD-B5に示されている。

［衛星デジタル放送］衛星デジタル放送では、映像データをデジタル化して、デジタルデータとして送信する。この衛星デジタル放送では、1チャンネル分の放送容量のすべてを
使って一つの映像を送信してもよい。

また、衛星デジタル放送では、映像の解像度を下げて１映像あたりに必要な放送容量を少なくして同時に複数の映像を送信してもよい。また、放送容量の空きを使って映像以外のデータを送信してもよい。

衛星デジタル放送の番組においては、このような機能を利用し、番組映像と、オブジェクト分布情報３２およびコマーシャル画像とを同時に並行して供給する。例えば、BSデジタル放送におけるチャンネル内の放送容量の分配方法に関して、財団法人電波産業会は、トランスポートストリームとして定義している。

提供されたオブジェクト分布情報３２およびコマーシャル画像は、受像機１のメモリ３に
記憶される。そして、番組映像表示中に視聴者から要求があったときにメモリ３内のコマーシャル画像を表示すればよい。

＜作用と効果＞図８に受像機１のＣＰＵ２において実行されるポイント操作検出処理を示す。ポイント操作検出処理とは、ポインティングデバイス７による視聴者のオブジェクトに対する指示操作を検出し、対応するコマーシャル画像を表示する処理である。

通常、ＣＰＵ２は、ポインティングデバイス７によって表示部５の画面がポイントされたか否かを監視している（Ｓ１）。表示部５の画面上の位置がポイントされると（Ｓ１でＹＥＳの場合）、ＣＰＵ２は、そのポイントされた位置の座標を読み取る（Ｓ２）。

次に、ＣＰＵ２は、ポイントオブジェクトの判定処理を実行する（Ｓ３）。次に、ＣＰＵ２は、Ｓ３の処理の結果、ポイントされたオブジェクトがあるか否かを判定する（Ｓ４）。ポイントされたオブジェクトがない場合、ＣＰＵ２は、制御をＳ１に戻す。一方、Ｓ４の処理の結果、ポイントされたオブジェクトが存在した場合、ＣＰＵ２は、図７に示したリンク情報を参照し、そのオブジェクトに対応するコマーシャル画像の先頭番地を参照する。そして、ＣＰＵ２は、メモリ３からコマーシャル画像を読み出し、表示部５に表示させる（Ｓ５）。

図９に、ポイントオブジェクトの判定処理（図８のＳ３）の詳細を示す。この処理では、ＣＰＵ２は、図６に示したオブジェクト分布情報３２に含まれるオブジェクト形状情報３５を参照し、ポイントされた画面上の位置にオブジェクトが定義されているか否かを判定する。

この処理では、まず、ＣＰＵ２は、現状の番組映像に対応する次のオブジェクト要素（図５に示した矩形）が存在するか否かを判定する（Ｓ３１）。次のオブジェクト要素がある場合、ＣＰＵ２は、ポイントされた位置の座標（以下ポイント座標という）がそのオブジェクト要素に含まれるか否かを判定する（Ｓ３２）。

ポイント座標がそのオブジェクト要素に含まれる場合、ＣＰＵ２は、ポイント座標が含まれるオブジェクトのオブジェクト番号を参照する（Ｓ３３）。その後、ＣＰＵ２は、処理を終了する。

一方、ポイント座標がそのオブジェクト要素に含まれない場合、ＣＰＵ２は、制御をＳ３１に戻す。

また、Ｓ３１の判定で、番組映像に対応する次のオブジェクト要素がない場合、ＣＰＵ２は、ポイントされたオブジェクトなしと判定する（Ｓ３４）。その後、ＣＰＵ２は、処理を終了する。

以上述べたように、本実施形態のオンデマンド広告提供システムは、番組映像と並行して、オブジェクト分布情報３２およびコマーシャル画像を提供する。受像機１は、図６に示したオブジェクト分布情報３２、図７に示したリンク情報、およびコマーシャル画像をメモリ３に記憶する。

オブジェクト分布情報３２により、受像機１は、表示部５に表示された映像上のポイントされた位置とオブジェクトとを照合することができる。また、リンク情報により、受像機１は、オブジェクトに関連付けられたコマーシャル画像を参照し、表示することができる。

このように、映像の各コマに対してオブジェクト分布情報３２を提供することによって、オブジェクトの形状は、映像に合わせてリアルタイムに変化する。このため、受像機１は、動画に含まれる、動きのある物体をオブジェクトとして認識することができる。

＜変形例＞上記実施形態では、テレビ放送において、オブジェクト分布情報３２およびコマーシャル画像が垂直帰線消去期間において予め送信された。しかし、本発明の実施はこのような構成や手順には限定されない。

例えば、複数チャンネル分の電波領域を使用して、番組映像と、オブジェクト分布情報３２およびコマーシャル画像を同時に並行して供給してもよい。その場合には、受像機１には受信部を複数チャンネル分設ければよい。

上記実施形態では、オブジェクト分布情報３２は、図５または図６に示したように矩形の集合によって定義された。しかし、本発明の実施は、このような構成には限定されない。

図１０にオブジェクト分布情報３２を多角形（頂点列）によって定義する例を示す。図１０では、例えば、オブジェクト番号１のオブジェクトは、（５０、５０）、（５０、１００）、（１００、１００）、（１００、３００）、（３００、３００）、（３００、１００）、（３５０、１００）、（３５０、５０）の頂点列によって多角形で定義されている。

図１１に、このようなオブジェクトに対するオブジェクト分布情報３２の変形例を示す。図１１のオブジェクト分布情報３２も、図６の場合と同様、番組識別情報３３、フレーム識別情報３４およびオブジェクト形状情報３５ａを有している。ただし、図１１の変形例においては、各オブジェクトのオブジェクト形状情報３５ａは、各オブジェクト番号ごとに頂点列の座標で定義される。

上記実施形態では、視聴者のポイント操作を検出し、ポイントされた位置に存在するオブジェクトに対応するコマーシャル画像を表示するオンデマンド広告提供システムについて説明した。しかし、本発明の実施は、このような構成には限定されない。例えば、オンデマンドで提供される広告は、コマーシャル画像でなく、音声広告であってもよい。また、コマーシャル画像は、動画または静止画のいずれであってもよい。

上記実施形態では、受像機１として、図４に示したようなＣＰＵ２およびメモリ３のような制御装置、ハードディスク４等の記録装置、表示部５およびスピーカ９等の出力装置、ポイントティングデバイス７等の操作装置および通信部８を一体として構成した。しかし、本発明の実施はこのような構成には限定されない。

例えば、テレビ受像機を接続可能な受信専用機、すなわち、セットトップボックスやテレビチューナ等をテレビ受像機に接続した構成によっても本発明は実施できる。また、パーソナルコンピュータのような情報処理用の汎用装置にテレビ受信機能を備えたものによっても本発明は実施できる。このような構成の変更は、第２実施形態以下の実施形態でも同様に可能である。

《第２実施形態》オブジェクトの生成によるポイント判定方法図１２および図１３に基づいて本発明の第２実施形態を説明する。図１２は、第２実施形態におけるポイント検出機能の原理を説明する図であり、図１３は、図１２に示した受像機１において実行されるオブジェクト生成処理を示すフローチャートである。

上記第１実施形態では、番組映像と並行して、映像の各コマに対応するオブジェクト分布
情報３２が放送局から配信され、受像機１のメモリ３に記憶された。本実施形態では、放送局は、オブジェクト分布情報３２を直接配信する代わりに、各オブジェクトを特徴付けるオブジェクト特徴情報を配信する。また、受像機１は、番組映像とオブジェクト特徴情報とからオブジェクト分布情報３２を生成する。

これにより、受像機１は、視聴者のポイント操作を検出し、ポイントされた位置に存在するオブジェクトに対応するコマーシャル画像を表示する。本実施形態における他の構成および作用は第１実施形態と同様である。そこで、必要に応じて図１から図１１の図面を参照する。

＜ポイント検出の原理＞図１２に、第２実施形態に係るオンデマンド広告提供システムにおけるポイント検出機能の原理を示す。このシステムは、第１実施形態のシステムと同様、放送データを放送する放送局と、その放送データを受信し表示する受像機１とを有している。

放送局が配信する放送データは、番組映像、オブジェクト特徴情報、コマーシャル画像（図１では、ＣＭ画像１、ＣＭ画像２等と表示）、および不図示の音データを含んでいる。

このうち、オブジェクト特徴情報とは、オブジェクトの特徴を指定して番組映像からオブジェクトを抽出させるための情報である。図１２では、例えば、オブジェクト１のＴシャツに関して、”赤くて、大きい”という特徴が指定されている。また、オブジェクト２の腕時計に関して、”青くて、小さい”という特徴が指定されている。また、このオブジェクト特徴情報には、番組識別情報３３、フレーム識別情報３４が付加されている。

受像機１は、このようなオブジェクト特徴情報を受信すると、その番組映像を分離し、複数の部分映像を生成する。そして、その部分映像が上記オブジェクト特徴情報に合致するものをオブジェクトとして抽出する。

受像機１は、抽出されたオブジェクトの映像から第１実施形態のオブジェクト形状情報３５（図６参照）を生成する。そして、受像機１は、配信された番組識別情報３３、フレーム識別情報３４と生成したオブジェクト形状情報３５からオブジェクト分布情報３２を作成する。

また、受像機１は、第１実施形態の場合と同様リンク情報（図７）を生成する。受像機１は、以上のような情報を作成後、第１実施形態の場合と同様、視聴者のポイント操作を検出する。

＜作用と効果＞図１３に、受像機１のＣＰＵ２（図４参照）において実行されるオブジェクト生成処理を示す。この処理では、ＣＰＵ２は、配信された番組映像とオブジェクト特徴情報からオブジェクト分布情報３２を生成する。

まず、ＣＰＵ２は、番組映像を色彩にしたがい、部分映像に分離する（Ｓ１００）。次にＣＰＵ２は、各部分映像の輪郭抽出処理を実行する（Ｓ１０１）。輪郭抽出処理は、例えば、映像のビットマップデータに対して、微分処理を実行し、濃淡の変化率の高い部分を取り出せばよい。

次に、輪郭が抽出された部分映像を一つ読み出し、その部分映像が受信されたオブジェクト特徴情報と一致するか否かを判定する（Ｓ１０２）。その部分映像の特徴が、いずれかのオブジェクト特徴情報と一致する場合（Ｓ１０３でＹＥＳの場合）、ＣＰＵ２は、その部分映像を当該オブジェクトとして処理する。すなわち、その部分映像の輪郭からオブジ
ェクト形状情報３５を作成し、さらに、オブジェクト分布情報３２を作成する（Ｓ１０４）。

次に、ＣＰＵ２は、まだ抽出された部分映像が残っているか否かを判定する（Ｓ１０５）。残りの部分映像がある場合、ＣＰＵ２は、制御をＳ１０２に戻す。残りの部分映像がない場合、ＣＰＵ２は、処理を終了する。

以上述べたように、本実施形態では、受像機１が番組映像とオブジェクト特徴情報からオブジェクト分布情報３２を生成する。このため、本システムでは、オブジェクト分布情報３２を配信する必要がない。その結果、本システムでは、放送局から配信するデータ量を低減することができる。

＜変形例＞上記実施形態の受像機１は、オブジェクトを生成するときに、映像に含まれる色彩にしたがい、映像を部分映像に分割した。しかし、本発明の実施は、このような手順には、限定されない。

例えば、距離に対する色彩の変化率を求め、色彩の変化率がピークとなる箇所を輪郭としてもよい。また、例えば、オブジェクト特徴情報として、オブジェクトの大まかな位置を指定する情報（存在領域）を放送局から配信し、そのような存在領域内で、部分映像を抽出してもよい。

また、オブジェクト特徴情報として、形状情報を放送局から配信し、受像機１がそのような形状情報と番組映像との形状マッチングを行い、オブジェクトの位置（その形状が存在する位置）を認識することで部分映像を抽出してもよい。

上記第２実施形態では、受像機１は、視聴者のポイント操作を検出し、ポイントされた位置に存在するオブジェクトに対応するコマーシャル画像を表示した。しかし、本発明の実施は、このような構成には限定されない。コマーシャル画像に代えて、音声で広告してもよい。また、コマーシャル画像は、動画または静止画のいずれであってもよい。

《第３実施形態》ポイント処理サーバ（１）
図１４から図１８に基づいて本発明の第３実施形態を説明する。図１４は、第３実施形態におけるオンデマンド広告提供システムのシステム構成図であり、図１５は、図１４に示したポイント処理サーバ１１のハードウェア構成図であり、図１６は、図１４に示したポイント情報４０のデータ構成図であり、図１７は受像機１において実行されるポイント操作検出処理を示すフローチャートであり、図１８は、ポイント処理サーバ１１の処理を示すフローチャートである。

上記第１実施形態では、番組映像と並行して、映像の各コマに対応するオブジェクト分布情報３２が放送局から配信され、受像機１のメモリ３に記憶された。そして、受像機１が視聴者のポイント操作を検出し、オブジェクトがポイントされたか否かを判定した。

本実施形態では、オブジェクトがポイントされたか否かを判定するポイント処理サーバ１１が設けられる。受像機１は、オブジェクトがポイントされたか否かを判定する代わりに、ポイントされた映像上の位置を示す座標データをポイント処理サーバ１１に送信する。ポイント処理サーバ１１は、オブジェクトがポイントされたか否かを判定する。ポイント処理サーバ１１は、その判定結果に基づき、放送局（データ配信システムに相当）に指令し、配信する映像を番組映像からコマーシャル画像に切り替えさせる。

これにより、受像機１には視聴者のポイント操作に応じてコマーシャル画像が表示される
。他の構成および作用は第１実施形態と同様である。そこで、同一の構成要素については、同一の符号を付してその説明を省略する。また、必要に応じて図１から図１１の図面を参照する。

＜システム構成＞図１４は、本実施形態に係るオンデマンド広告提供システムのシステム構成図である。このシステムは、映像を含む放送データを放送する放送局と、その放送データを受信し表示する受像機１と、受像機１において検出された視聴者のポイント操作を受信し、放送された映像に対応するオブジェクトがポイントされたか否かを判定するポイント処理サーバ１１を有している。

放送局は、第１実施形態の場合と同様、衛星放送波、地上波、ケーブルテレビ網、またはデータ通信網を通じて放送データを配信する。この放送データは、通常は、番組映像を含んでいる。また、放送局は、ポイント処理サーバ１１にオブジェクト分布情報３２を含む放送データを配信する。

受像機１は、放送局から番組映像を含む放送データを受信する。この番組映像は、第１実施形態の場合と同様、表示部５（図４）に表示される。視聴者は、表示された番組映像をポインティングデバイス７によりポイントする。受像機１は、このポイント操作がされた位置の座標と、その映像のフレームを特定する情報（以下ポイント情報４０という）を通信部８からポイント処理サーバ１１に送信する。

ポイント処理サーバ１１は、放送局から配信されたオブジェクト分布情報３２と、受像機１から送信されたポイント情報４０とを照合する。そして、ポイント処理サーバ１１は、オブジェクト分布情報３２によって指定されるオブジェクトがポイントされたと判定したとき、放送局に対して放送する映像の切り替えを指示する。

放送局において放送を管理する不図示のホストコンピュータは、ポイント処理サーバ１１からの指示にしたがい、切り替え用映像の放送を指令する。例えば、視聴者が番組映像中の登場人物が身に付けているＴシャツまたは腕時計をポイントすると、その番組映像に対応して設けられているＴシャツまたは腕時計のオブジェクトがポイントされたことをポイント処理サーバ１１が認識する。

その認識結果が放送局に送信され、放送局のホストコンピュータは、放送データを番組映像からＴシャツまたは腕時計のコマーシャル画像（図１４にＣＭ画像１、ＣＭ画像２等と表示）に切り替えさせる。視聴者は、番組映像に対するポイント結果に応じたコマーシャルを視聴する。

＜ポイント処理サーバ１１のハードウェア構成＞図１５に、ポイント処理サーバ１１のハードウェア構成図を示す。ポイント処理サーバ１１は、ＣＰＵ１２、メモリ１３を有している。また、ポイント処理サーバ１１には、ハードディスク１４、表示装置１５、キーボード１６、ポインティングデバイス１７、通信部１８等の周辺装置が各インターフェースを介して接続されている。

ハードディスク１４は、入出力インターフェース１４ａを介してＣＰＵ１２に接続される。また、表示装置１５は、表示インターフェース１５ａを介してＣＰＵ１２に接続される。

また、キーボード１６は、入力インターフェース１６ａを介してＣＰＵ１２に接続される。また、ポインティングデバイス１７は、入力インターフェース１７ａを介してＣＰＵ１２に接続される。また、通信部１８は、入出力インターフェース１８ａを介してＣＰＵ１
２に接続される。これらの構成は、受像機１と同様であるので、その説明を省略する。

＜データ構成＞図１６にポイント情報４０のデータ構成を示す。このポイント情報４０は、表示装置識別情報４１、番組識別情報３３、フレーム識別情報３４およびポイント位置情報４２を有している。受像機１は、このポイント情報４０をポイント処理サーバ１１に送信し、ポイント操作の検出結果を報告する。

これらのうち、表示装置識別情報４１は、放送データの表示装置、例えば、受像機１をユニークに識別するＩＤである。このＩＤは、例えば、放送の受信契約を結んだ視聴者の通し番号と、その視聴者が有する受像機１等の表示装置通し番号とから構成される。また、ポイント位置情報４２は、視聴者がポイントした画面の位置を示す座標である。

図１６に示した番組識別情報３３とフレーム識別情報３４については、第１実施形態（図６）と同様であるので、その説明を省略する。また、図１４に示したオブジェクト分布情報３２についても第１実施形態と同様であるので、その説明を省略する。

＜作用と効果＞図１７に、受像機１のＣＰＵ２において実行されるポイント操作検出処理のフローチャートを示す。第１実施形態の場合と同様に、通常、ＣＰＵ２は、ポインティングデバイス７によって表示部５の画面がポイントされたか否かを監視している（Ｓ１１１）。表示部５の画面上の位置がポイントされると（Ｓ１でＹＥＳの場合）、ＣＰＵ２は、そのポイントされた位置の座標を読み取る（Ｓ１１２）。

次に、ＣＰＵ２は、現在 表示部５に表示中の番組識別情報３３およびフレーム識別情報
３４を参照する（Ｓ１１３）。番組識別情報３３は、放送データとして番組映像とともに放送局から配信される。また、フレーム識別情報３４は、受像機１が番組開始時からフレームを切り替えるごとに表示フレーム数を積算することで生成されている。

次に、ＣＰＵ２は、番組識別情報３３、フレーム識別情報３４、およびポイント座標からポイント情報（図１６）を生成する（Ｓ１１４）。次に、ＣＰＵ２は、ポイント情報をポイント処理サーバ１１に送信する（Ｓ１１５）。その後、ＣＰＵ２は、制御をＳ１１１へ戻す。

図１８に、ポイント処理サーバ１１の処理を示す。通常ポイント処理サーバ１１は、受信データ待ちの状態にある。すなわち、ポイント処理サーバ１１は、受信データがあるか否かを判定する（Ｓ１２０）。

受信データがある場合、次に、ポイント処理サーバ１１は、受信データの種類を判定する。まず、ポイント処理サーバ１１は、受信データがオブジェクト分布情報３２であるか否かを判定する（Ｓ１２１）。

受信データがオブジェクト分布情報３２である場合、ポイント処理サーバ１１は、オブジェクト分布情報３２をハードディスク１４に記録する（Ｓ１２３）。その後、ポイント処理サーバ１１は、制御をＳ１２０に戻す。

受信データがオブジェクト分布情報３２でなかった場合、ポイント処理サーバ１１は、受信データがポイント情報か否かを判定する（Ｓ１２２）。受信データがポイント情報であった場合、ポイントオブジェクトの判定処理を実行する（Ｓ１２４）。この処理は、第１実施形態において図９に示した処理と同様であるので、その説明を省略する。

次に、ポイント処理サーバ１１は、ポイントオブジェクトの判定処理（Ｓ１２４）の結果
にしたがい、ポイントされたオブジェクトがあるか否かを判定する（Ｓ１２５）。

ポイントされたオブジェクトがない場合、ポイント処理サーバ１１は、そのまま制御をＳ１２０に戻す。一方、ポイントされたオブジェクトがある場合、ポイント処理サーバ１１は、そのオブジェクトに対応するコマーシャル画像への切り替えを放送局に指示する（Ｓ１２６）。その後、ポイント処理サーバ１１は、制御をＳ１２０に戻す。

以上述べたように、本実施形態におけるオンデマンド広告提供システムにおいては、オブジェクト分布情報３２がポイント処理サーバ１１に配信され、ポイント処理サーバ１１においてオブジェクトがポイントされたか否かが判定される。このため、オブジェクト分布情報３２による放送データの容量増加を低減できる。

また、受像機１においてポイントオブジェクトの判定処理を実装する必要がなく、受像機１の機能が簡略化され、負荷が低減される。

＜変形例＞上記実施形態のオンデマンド広告提供システムでは、放送局からポイント処理サーバ１１にオブジェクト分布情報３２が送信され、オブジェクトがポイントされたか否かが判定された。

しかし、本発明の実施はこのような手順には限定されない。例えば、ポイント処理サーバ１１が、第２実施形態に示した受像機１のように、オブジェクト生成処理を実行してもよい。これによって、放送局からポイント処理サーバ１１に配信するデータ量を低減できる。

上記第３実施形態では、ポイント処理サーバ１１は、その判定結果に基づき、放送局（データ配信システムに相当）に指令し、配信する映像を番組映像からコマーシャル画像に切り替えさせた。しかし、本発明の実施は、このような構成には限定されない。例えば、放送局は、画像を切り替えずに、音声広告を放送するようにしてもよい。また、コマーシャル画像は、動画または静止画のいずれであってもよい。

《第４実施形態》ポイント処理サーバ（２）
図１９に基づいて本発明の第４実施形態を説明する。図１９は、第４実施形態におけるオンデマンド広告提供システムのシステム構成図である。

上記第３実施形態では、ポイント処理サーバ１１がポイントオブジェクトの判定結果にしたがい、放送局に対して放送する映像の切り替えを指示するオンデマンド広告提供システムを説明した。

本実施形態では、切り替えるコマーシャル画像を予め放送局が受像機１に配信しておき、ポイント処理サーバ１１が受像機１に対して映像切り替えを指示する。受像機１は、ポイント処理サーバ１１からの指示にしたがい、表示部５に表示する映像を切り替える。他の構成要素および作用については、第３実施形態の場合と同様である。そこで、同一の構成要素については同一の符号を付してその説明を省略する。また、必要に応じて図１から図１８の図面を参照する。

図１９は本実施形態におけるオンデマンド広告提供システムのシステム構成図である。このシステムは、第３実施形態と同様に、映像を含む放送データを放送する放送局と、その放送データを受信し表示する受像機１と、受像機１において検出された視聴者のポイント操作を受信し、放送された映像に対応するオブジェクトがポイントされたか否かを判定するポイント処理サーバ１１を有している。

放送局は、第３実施形態の場合と同様、衛星放送波、地上波、ケーブルテレビ網、またはデータ通信網を通じて放送データを配信する。ただし、この放送データは、第３実施形態と異なり、番組映像の他、コマーシャル画像を含んでいる。また、放送局は、第３実施形態の場合と同様、ポイント処理サーバ１１にオブジェクト分布情報３２を含む放送データを配信する。

受像機１は、放送局から番組映像およびコマーシャルの画像（図１９にＣＭ画像１、ＣＭ画像２等と表示）を含む放送データを受信する。この番組映像は、第３実施形態の場合と同様、表示部５（図４）に表示される。視聴者は、表示された番組映像をポインティングデバイス７によりポイントする。受像機１は、このポイント操作がされた位置の座標とその映像のフレームとを特定するポイント情報４０を通信部８からポイント処理サーバ１１に送信する。

ポイント処理サーバ１１は、放送局から配信されたオブジェクト分布情報３２と、受像機１から送信されたポイント情報４０とを照合する。そして、ポイント処理サーバ１１は、オブジェクト分布情報３２によって指定されるオブジェクトがポイントされたと判定したとき、放送局ではなく、受像機１に対して表示する映像の切り替えを指示する。

この指示にしたがい、受像機１は、表示部５に表示する映像を番組映像からコマーシャルの画像に切り替えさせる。視聴者は、番組映像に対するポイント結果に応じたコマーシャルを視聴する。

以上述べたように、本実施形態のオンデマンド広告提供システムでは、オブジェクトがポイントされたか否かをポイント処理サーバ１１が判定する。そして、ポイント処理サーバ１１は、その判定結果にしたがい映像の切り替えを受像機１に指示する。

その結果、本実施形態のオンデマンド広告提供システムでは、受像機１の映像切り替え処理において、放送局の放送内容が影響を受けることがない。

＜変形例＞上記第４実施形態では、視聴者のポイントに操作によって、コマーシャル画像が表示された。しかし、本発明の実施は、このような構成には限定されない。例えば、受像機１は、画像を切り替えずに、音声広告を出力するようにしてもよい。また、コマーシャル画像は、動画または静止画のいずれであってもよい。

《第５実施形態》録画装置によるポイント処理、映像提供図２０から図２５に基づいて、本発明の第５実施形態を説明する。図２０は、第５実施形態に係るオンデマンド広告提供装置の構成図であり、図２１は、図２０に示したオブジェクト分布情報３２ａのデータ構成図であり、図２２は、本実施形態におけるポイント判定・広告提供処理を示すフローチャートであり、図２３から図２５は、本実施形態の変形例に係るオンデマンド広告提供装置の構成図である。

上記第１実施形態から第４実施形態に示したシステムは、放送局から配信された番組映像に含まれるオブジェクトへのポイント操作を検出し、そのオブジェクトに対応するコマーシャル画像を表示した。

本実施形態においては、放送の受信に代えて、ビデオデッキからの再生映像に含まれるオブジェクトへのポイント操作を検出し、そのオブジェクトに対応するコマーシャル画像を表示する装置を説明する。他の構成要素および作用は第１実施形態から第４実施形態の場合と同様である。そこで、同一の構成要素については、同一の符号を付してその説明を省
略する。また、必要に応じて図１から図１９の図面を参照する。

＜装置構成＞図２０に本実施形態におけるオンデマンド広告提供装置の構成図を示す。このオンデマンド広告提供装置は、受像機１と、受像機１に接続されるビデオデッキ２０とを有している。

ビデオデッキ２０は、記録／再生部２１およびポイント処理部２２を有している。記録／再生部２１は、番組映像を含む放送データを媒体（例えば、ビデオテープ）に記録し、またはその媒体に記録された内容を再生する。この放送データは、通常は、番組映像を含んでいる。また、記録／再生部２１は、ポイント処理部２２にオブジェクト分布情報３２ａを含む放送データを転送する。

受像機１は、番組映像を含む再生データをビデオデッキ２０の記録／再生部２１から受信する。この番組映像は、第１実施形態の場合と同様、表示部５（図４）に表示される。視聴者は、表示された番組映像をポインティングデバイス７によりポイントする。受像機１は、このポイント操作がされた位置の座標と、その映像のフレームとを特定するポイント情報４０をビデオデッキ２０のポイント処理部２２に送信する。

ポイント処理部２２は、ＣＰＵで構成される。このポイント処理部２２は、ビデオデッキ２０で再生されたオブジェクト分布情報３２ａと、受像機１から送信されたポイント情報４０とを照合する。そして、ポイント処理部２２は、オブジェクト分布情報３２ａによって指定されるオブジェクトがポイントされたと判定したとき、記録／再生部２１に対して再生する映像の切り替えを指示する。

記録／再生部２１は、ポイント処理部２２からの指示にしたがい、切り替え用のコマーシャル画像（図２０では、ＣＭ画像１、ＣＭ画像２等と表示）を再生する。視聴者は、番組映像に対するポイント結果に応じたコマーシャルを視聴する。

＜データ構成＞図２１に本実施形態におけるオブジェクト分布情報３２ａのデータ構成を示す。図２１のように、このオブジェクト分布情報３２ａは、番組識別情報３３、フレーム識別情報３４、オブジェクト形状情報３５および映像切替指示情報５０を有している。

このうち、フレーム識別情報３４には、切り替え前フレーム番号が記録される。切り替え前フレーム番号とは、受像機１に表示され、視聴者によるポイント操作の対象となる番組映像のフレームを識別する情報である。本実施形態では、このフレーム識別情報３４としてテープの先頭を０とするテープカウンタ値を使用する。

また、映像切替指示情報５０は、視聴者のポイント操作にしたがい表示されるコマーシャル画像を指定する情報である。この映像切替指示情報５０は、ビデオテープのテープ番号および切り替え後のフレームのテープカウンタ値を含んでいる。

テープ番号は、ビデオテープを識別するユニークな番号である。テープカウンタ値は、そのテープ番号のビデオテープにおける切り替え後のテープカウンタ値である。なお、番組識別情報３３およびオブジェクト形状情報３５については、第１実施形態の場合と同様である。

＜作用と効果＞図２２に、本実施形態におけるポイント判定・広告提供処理を示す。まず、視聴者は、受像機１の表示部５に表示された映像、例えば、登場人物の服等をポイントする（Ｓ１３０）。受像機１は、ポイントされた映像上の位置を取得する（Ｓ１３１）。

次に、受像機１は、ポイントされたときのテープカウンタの値を取得する（Ｓ１３２）。次に受像機１は、ビデオデッキ２０にポイントされた座標とそのときのテープカウンタ値を送信する（Ｓ１３３）。

次に、ビデオデッキ２０のポイント処理部２２は、ポイントされた座標およびテープカウンタ値とオブジェクト分布情報３２ａのフレーム識別情報３３およびオブジェクト形状情報３５とを照合する（Ｓ１３４）。

次に、ポイント処理部２２は、オブジェクトがポイントされたか否かを判定する。そして、ポイントされたオブジェクトに映像切替指示情報５０が指定されているときに、映像切替指示を記録／再生部２１に送信する（Ｓ１３５）。

ビデオデッキ２０の記録／再生部２１は、出力する映像を切り替える（Ｓ１３６）。すると、受像機１に表示さえる映像が切り替えられる（Ｓ１３７）。

以上述べたように、本実施形態におけるオンデマンド広告提供装置によれば、大規模な放送設備を使用せず、ローカルな映像供給装置、例えばビデオデッキ２０によりオンデマンド広告を実現できる。

＜変形例＞上記実施形態では、受像機１とビデオデッキ２０によりローカルにオンデマンド広告が実現された。しかし、本発明の実施は、このような構成や手順には限定されない。

図２３に、第５実施形態の変形として、ビデオによる映像と放送とを併用してオンデマンド広告を提供するオンデマンド広告提供システムの例を示す。このシステムは、コマーシャル画像を配信する放送局と、ＤＶＤ（Digital VersatileDisk）から番組映像を再生す
るＤＶＤ再生装置２０ａと、ＤＶＤ再生装置２０ａで再生された映像および放送局から送信されるコマーシャル画像（図２３では、ＣＭ画像と表示されている）を表示する受像機１とからなっている。

放送局は、広告主ごとに専用のチャンネルでコマーシャル画像（図２３では、ＣＭ画像と表示）を配信する。

ＤＶＤには、番組映像が格納される。また、ＤＶＤの空き領域に番組映像の各コマのオブジェクト分布情報３２ａが格納される。このオブジェクト分布情報３２ａは、図２１に示したものと同様、番組識別情報３３、フレーム識別情報３４、オブジェクト形状情報３５および映像切替指示情報５０を有している。このうち、映像切替指示情報５０は、オブジェクトに対応するコマーシャル画像を放送するチャンネル番号を保持する。

受像機１は、ＤＶＤの番組映像表示中に視聴者のポイント操作を検出すると、上記実施形態の場合と同様、ポイント情報４０を作成し、ＤＶＤ再生装置２０ａに送信する。

ＤＶＤ再生装置２０ａのポイント処理部２２は、受像機１から送信されたポイント情報４０と、オブジェクト分布情報３２ａとを照合する。そして、ポイント処理部２２は、ポイントされたオブジェクトに関連するコマーシャル画像を放送中のチャンネル番号を検索する。そして、ポイント処理部２２は、受像機１にそのチャンネルへの映像の切り替えを指示する。

受像機１は、指示されたチャンネルを受信し、受信される映像を表示する。視聴者は、ポイント操作した映像に関連するコマーシャル画像を視聴する。

図２４に、第５実施形態の変形例として、番組映像、コマーシャル画像およびオブジェクト分布情報３２ａを合わせて記録し、オンデマンド広告付きの番組を記録／再生する、そのようなビデオレコーダ２０ｂを有するオンデマンド広告提供装置の構成図を示す。

この装置は、番組映像およびコマーシャル映像を放送局から受信し、記録するビデオレコーダ２０ｂと、ビデオレコーダ２０ｂが録画し、再生した映像を表示する受像機１とから構成される。このビデオレコーダ２０ｂも上記第３実施形態と同様、記録／再生部２１およびポイント処理部２２を有している。

記録／再生部２１は、ＤＶＤに番組映像とコマーシャル画像を記録する。また、記録／再生部２１は、ＤＶＤの空き領域に、番組映像の各コマにおけるオブジェクト分布情報３２ａを格納する。

通常、受像機１は、ビデオレコーダ２０ｂにより再生された番組映像を受信し、表示する。そして、受像機１は、第５実施形態の場合と同様、視聴者の番組映像に対するポイント操作を検出し、ポイント情報４０を生成し、ビデオレコーダ２０ｂに送信する。

ビデオレコーダ２０ｂのポイント処理部２２は、第５実施形態における場合と同様、受像機１から送信されたポイント情報４０と、ＤＶＤの空き領域に格納されたオブジェクト分布情報３２ａとを照合し、オブジェクトがポイントされたか否かを判定する。そして、ポイント処理部２２は、記録／再生部２１にポイントされたオブジェクトに関連する映像の再生を指示する。

図２５に、受像機１に記録装置／再生装置６０を接続してオンデマンド広告提供装置を構成する例を示す。この装置では、放送局から番組映像およびコマーシャル画像が放送される。このとき、コマーシャル画像は、コマーシャル画像専用のチャンネルで放送される。放送された番組映像およびコマーシャル画像は、記録／再生装置６０に記録される。

また、放送局は、各番組の番組映像に含まれるオブジェクトを判定するためのオブジェクト分布情報３２ａをポイント処理サーバ１１に配信する。ポイント処理サーバ１１は、配信されたオブジェクト分布情報３２ａをオブジェクト分布情報記憶手段に格納する。このオブジェクト分布情報記憶手段は、各オブジェクトに関連するコマーシャル画像のフレーム番号を保持する。

受像機１は、通常、記録／再生装置６０が再生した番組映像を表示している。視聴者が受像機１に表示された番組映像をポイントすると、受像機１は、そのポイント操作を検出し、ポイント情報４０を生成する。受像機１は、ポイント情報４０をポイント処理サーバ１１に送信する。

ポイント処理サーバ１１は、受像機１から送信されたポイント情報４０と、オブジェクト分布情報記憶手段に格納されたオブジェクト分布情報３２ａとを照合する。そして、ポイント処理サーバ１１は、オブジェクトがポイントされたと判定したときに、そのオブジェクトに関連するコマーシャル画像のフレーム番号をオブジェクト分布情報記憶手段において検索する。

そして、ポイント処理サーバ１１は、そのフレーム番号の広告の表示を受像機１に指示する。受像機１は、記録／再生装置６０に指令し、指定されたフレーム番号のコマーシャル画像を再生させる。

上記第５実施形態では、オブジェクトがポイントされたとき、コマーシャル画像が表示された。しかし、本発明の実施は、このような構成には限定されない。コマーシャル画像に代えて、音声広告を出力させてもよい。また、コマーシャル画像は、動画または静止画のいずれであってもよい。

《第６実施形態》タイムシフト機能におけるポイント判定図２６から図３０に基づいて、本発明の第６実施形態を説明する。図２６は、第６実施形態に係るタイムシフトによるオンデマンド広告提供装置の構成図であり、図２７は、タイムシフトによるポイント判定・広告提供処理の概念図であり、図２８は、タイムシフトによるポイント判定・広告提供処理を示すフローチャートであり、図２９は、本実施形態の変形におけるポイント判定・広告提供処理の概念図であり、図３０は、本実施形態の変形におけるポイント判定・広告提供処理を示すフローチャートである。

上記第１実施形態から第４実施形態のシステムは、放送局から配信された番組映像に含まれるオブジェクトへのポイント操作を検出し、そのオブジェクトに対応するコマーシャル画像を表示し、あるいは音声広告が出力した。

また、上記第５実施形態の装置においては、放送の受信に代えて、ビデオデッキ２０からの再生映像に含まれるオブジェクトへのポイント操作を検出し、そのオブジェクトに対応するコマーシャル画像を表示した。

本実施形態においては、受像機１とともに映像記録／再生装置を使用することにより映像を表示する時期を映像の放送時期からシフトさせるタイムシフト機能を備えたオンデマンド広告提供装置について説明する。

他の構成要素および作用は第１実施形態から第５実施形態の場合と同様である。そこで、同一の構成要素については、同一の符号を付してその説明を省略する。また、必要に応じて図１から図２５の図面を参照する。

＜装置構成＞図２６にタイムシフトによるオンデマンド広告提供装置の構成図を示す。このオンデマンド広告提供装置は、受像機１と、受像機１に接続される映像記録／再生装置６０とを有している。

映像記録／再生装置６０は、放送局から配信された番組映像およびコマーシャル画像を一時的に記録する。この映像記録／再生装置６０は、例えば、テレビチューナとハードディスクによって構成される。

受像機１は、放送中の番組映像、コマーシャル画像、映像記録／再生装置６０に録画された番組映像、または、映像記録／再生装置６０に録画されたコマーシャル画像を表示する。

受像機１が、映像記録／再生装置６０に録画された番組映像、または、コマーシャル画像を表示しているとき、放送中の映像は、映像録画／再生装置６０に記録される。これにより、タイムシフト機能が実現される。

＜タイムシフトによるポイント判定・広告提供処理の概要＞図２７に、タイムシフトによるポイント判定・広告提供処理の概念を示す。図２７の例では、番組映像に対応して自動車のコマーシャル画像が配信されている。

ただし、本実施形態では、受像機１が視聴者によってポイント操作されたオブジェクトを
検出しても、直ちにコマシャール画像を表示しない。その場合、受像機１は、映像記録／再生装置６０に、そのコマーシャル画像の記録を指令する。これにより、視聴者のポイント操作に関連するコマーシャル画像が記録される。受像機１は、番組の表示を終了すると、記録されたコマーシャル画像を表示する。

＜作用と効果＞図２８に、タイムシフトによるオンデマンド広告提供装置で実行されるタイムシフトによるポイント判定・広告提供処理を示す。

通常、受像機１は、番組映像を表示する（Ｓ１４０）。番組映像表示中に、視聴者が、例えば、画面上の登場人物をポイントすると（Ｓ１４１）、受像機１は、そのポイント操作を検出する。

すると、受像機１は、ポイント位置に対応するオブジェクトを判定し、そのオブジェクトに対応するコマーシャル画像の放送チャンネルを求める。そして、受像機１は、映像記録／再生装置６０に、そのコマーシャル画像の録画を指令する。

これにより、映像記録／再生装置６０は、そのコマーシャル画像の録画を開始する。このとき、受像機１は、引き続き番組映像を表示する（Ｓ１４２）。

そして、受像機１は、番組映像の表示が終了すると、映像記録／再生装置６０に指令し、録画されているコマーシャル画像を再生させる。このとき、映像記録／再生装置６０は、さらに、次の番組映像を録画する（Ｓ１４３）。これにより、タイムシフト機能が実現される。

＜番組終了の検出手順＞本実施形態において、番組の終了は、以下の手順によって検出する。例えばBSデジタル放送では番組と同時に放送から提供される電子番組表データにある番組情報テーブル(EIT[p/f])内の「現在放送中の番組」が書き替えられるタイミングを監視し、番組の終了／継続を判定すればよい。あるいは、番組開始時／終了時に特別なデータが提供されるように放送局との間で標準化しておき、そのデータを監視することによって番組の終了を検出してもよい。

例えば、財団法人電波産業会の仕様では、以下のような規定がされている。
ARIB TR-B15 第四編 BSデジタル放送 ＰＳＩ／ＳＩ運用規定19.3. イベント進行状態に関する基本的な約束事○継続中/終了の判断イベント継続中の判断（及びイベント終了時点
の判断）は、EIT[p/f]のpresentへの配置により行う。すなわち、presentに配置されているイベントが放送中イベントであり、presentに配置されていたイベントがEIT[p/f]から
消滅した段階で、イベント終了とみなす。

○開始の判断イベント開始の判断は、EIT[p/f]のfollowingのstart#timeを元に行う。す
なわち、followingのstart#timeで示される時刻になった段階でイベントが開始されたと
みなす。なお、EITの周期の問題でstart#timeと同時にEITが更新されるとは限らない。EIT[p/f actual]の場合、followingのstart#timeから3周期の間で、必ず更新を行う。3周期を超えて更新されなかった場合は、異常状態である。この3周期の期間内においてのみ、presentにより番組継続中と判断しながら、followingにより番組開始と判断する状態が存
在することとなる。

ここで、各変数用語は、以下を意味する。
※ present=現在放送中の番組；
following=次の番組；
p/f=present/following；
schedule=すべての時刻の番組；
actual=選局中のチャンネル；
other=選局中でないチャンネル；
EIT=event information table=番組情報テーブル；
以上述べたように、本実施形態のオンデマンド広告提供装置によれば、オンデマンド広告を表示した場合でも、番組映像を中断せずに最後まで見ることができる。
＜変形例＞上記第６実施形態では、ポイントされたオブジェクトに対応するコマーシャル画像を記録し、番組終了後に表示するオンデマンド広告提供装置を説明した。しかし、本発明の実施はこのような手順には限定されない。例えば、オブジェクトがポイントされたときに、そのオブジェクトに関連するコマーシャル画像を表示し、その間に放送される番組映像を録画するようにしてもよい。

図２９に、そのようなタイムシフトによるポイント判定・広告提供処理の概要を示す。図２９の例でも、上記第６実施形態の場合と同様、番組映像に対応して自動車のコマーシャル画像が配信されている。

ただし、図２９では、受像機１が視聴者によってポイント操作されたオブジェクトを検出すると、番組映像の表示を中断し、直ちにコマシャール画像を表示する。その場合、受像機１は、映像記録／再生装置６０に、中断された番組映像の記録を指令する。

これにより、コマーシャル画像表示中に放送される番組映像が記録される。受像機１は、コマーシャル画像の表示を終了すると、中断された時点以降の番組映像を表示する。

図３０に、このオンデマンド広告提供装置で実行されるタイムシフトによるポイント判定・広告提供処理を示す。

通常、受像機１は、番組映像を表示する（Ｓ１５０）。番組映像表示中に、視聴者が、例えば、画面上の登場人物をポイントすると（Ｓ１５１）、受像機１は、そのポイント操作を検出する。

すると、受像機１は、ポイント位置に対応するオブジェクトを判定し、そのオブジェクトに対応するコマーシャル画像の放送チャンネルを求める。そして、受像機１は、番組映像の受信を中断し、受信チャンネルを切り替え、そのコマーシャル画像を表示する。このとき、受像機１は、映像記録／再生装置６０に、中断された番組映像の録画を指令する。これにより、映像記録／再生装置６０は、中断された番組映像の録画を開始する（Ｓ１５２）。

そして、受像機１は、コマーシャル画像の表示が終了すると、映像記録／再生装置６０に指令し、録画されている番組映像を再生させる（Ｓ１５３）。このとき、映像記録／再生装置６０は、さらに、次の番組映像を録画する。これにより、タイムシフト機能が実現される。以上述べたように、本実施形態のオンデマンド広告提供装置によれば、オンデマンド広告を表示した場合でも、その間に中断された番組映像を見ることができる。

上記第６実施形態では、受像機１は、ポイント位置に対応するオブジェクトに対応するコマーシャル画像を表示する。しかし、本発明の実施は、このような構成には限定されない。受像機１は、オブジェクトに対するポイント操作を検出したときにオンデマンド広告として音声を再生してもよい。また、コマーシャル画像は、動画または静止画のいずれであってもよい。

《第７実施形態》電子メール連携図３１および図３２に基づいて本発明の第７実施形態を
説明する。図３１は、本実施形態に係るオンデマンド広告提供システムのシステム構成図であり、図３２は、本実施形態におけるポイント情報４０ａのデータ構成を示す図である。上記第１実施形態から第６実施形態においては、オブジェクトへのポイント操作が検出されたときに、放送局から配信されたコマーシャル画像、または、映像記録／再生装置６０で再生されたコマーシャル画像が受像機１に表示され、あるいは音声広告が出力された。

本実施形態では、オブジェクトへのポイント操作が検出されたときに、電子メール送信用サーバに対してコマーシャル等の詳細情報を含む電子メールの送信が指令され、受像機１にコマーシャルが送信されるシステムを説明する。他の構成要素および作用は、第１実施形態から第６実施形態の場合と同様である。そこで、同一の構成要素について同一の符号を付してその説明を省略する。また、必要に応じて図１から図３０の図面を参照する。

図３１に、本実施形態のオンデマンド広告提供システムのシステム構成を示す。このオンデマンド広告提供システムは、映像を含む放送データを放送する放送局と、その放送データを受信し表示する受像機１と、受像機１において検出された視聴者のポイント操作を受信し、放送された映像に対応するオブジェクトがポイントされたか否かを判定するポイント処理サーバ１１と、ポイント処理サーバ１１からの指令によりコマーシャルを含む電子メールを送信する電子メール送信用サーバ６１と、送信された電子メールを受信する電子メール受信用サーバ６２を有している。このシステムは、電子メール送信用サーバ６１と電子メール受信用サーバ６２が追加されている点を除き、第３実施形態のシステムと同様である。

受像機１は、第３実施形態の受像機１と同様、放送局から番組映像を受信し、表示部５（図４）に表示する。受像機１は、視聴者のポイント操作を検出すると、ポイント情報４０ａを生成し、ポイント処理サーバ１１に送信する。

図３２に、このポイント情報４０ａのデータ構成を示す。このポイント情報４０ａは、電子メール送信先アドレス４３が追加されている点を除き、第３実施形態の場合（図１６）と同様である。この電子メール送信アドレス４３には、受像機１が電子メールを受信するアドレスを記述する。

ポイント処理サーバ１１は、第３実施形態の場合と同様、放送局からオブジェクト分布情報３２を受信しておく。ポイント処理サーバ１１は、受像機１からポイント情報４０ａを受信すると、オブジェクト分布情報３２と照合する。

そして、ポイント処理サーバ１１は、オブジェクトがポイントされたと判定したとき、そのオブジェクトに関連する詳細情報等を含む電子メールの送信を電子メールサーバ６１に指令する。

電子メールサーバ６１は、受像機１の電子メールアドレスに宛ててコマーシャル等の詳細情報を含む電子メールを送信する。この電子メールは、受像機１の受信用メールサーバ６２（例えば、インターネットサービスプロバイダの電子メールサーバ）を介して受像機１に受信される。

以上述べたように、本実施形態によれば、受像機１に表示された番組映像に対する視聴者のポイント操作に応じて、電子メールが受像機１に送信される。視聴者は、視聴した番組映像に関連する詳細情報を電子メールで受信することができる。

＜変形例＞上記実施形態では、電子メールは、受像機１に送信された。しかし、本発明の
実施はこのような構成や手順には限定されない。例えば、電子メール送信先アドレスとして、受像機１以外の装置、例えば、視聴者が使用する電子メール端末等を指定してもよい。これにより、視聴者は、受像機１で視聴した番組映像に対する詳細情報を受像機１以外の装置で受信し、表示することができる。

《第８実施形態》アプリケーション連携図３３および図３４に基づいて本発明の第８実施形態を説明する。図３３は、本実施形態に係るパソコン入門ビデオ表示装置の構成図であり、図３４は、本実施形態におけるオブジェクト分布情報３２ｂのデータ構成図である。上記第５実施形態においては、ビデオデッキ２０等からの再生映像に含まれるオブジェクトへのポイント操作を検出し、そのオブジェクトに対応するコマーシャル画像を表示し、あるいは音声広告を出力するオンデマンド広告提供装置について説明した。

本実施形態では、オブジェクトへのポイント操作が検出されたときに、そのオブジェクトに関連するアプリケーションプログラムを実行するパソコン入門ビデオ表示装置を説明する。このパソコン入門ビデオ表示装置の構成は、第５実施形態に係るオンデマンド広告提供装置と同様である。そこで、同一の構成要素について同一の符号を付してその説明を省略する。また、必要に応じて図１から図３２の図面を参照する。

図３３に、本実施形態のパソコン入門ビデオ表示装置の構成を示す。この装置は、受像機１と、受像機１に接続されるビデオ再生装置６０ａとを有している。ビデオ再生装置６０ａは、第５実施形態のビデオデッキ２０と同様、映像記録／再生部２１およびポイント処理部２２を有している。これらの機能は、第５実施形態の場合と同様である。

ビデオ再生装置６０ａの映像記録／再生部２１は、媒体にアクセスし、例えば、パソコン入門の番組映像を再生する。ここで、媒体は、例えば、ＤＶＤ、ＣＤ−ＲＯＭ等である。

受像機１は、再生された映像を表示する。視聴者が映像中の特定の部分をポイントすると、そのポイント情報４０がポイント処理部に送信される。このポイント情報４０は、番組識別情報、フレーム識別情報、およびポイント位置情報を有している。これらの情報は、第３実施形態（図１６）で説明したものと同様である。

ポイント処理部２２は、ＣＰＵで構成される。このポイント処理部２２は、ポイント情報４０を受信すると、映像記録／再生部２１を介して媒体にアクセスし、オブジェクト分布情報３２ｂを読み出す。

図３４に本実施形態におけるオブジェクト分布情報３２ｂのデータ構成を示す。本実施形態においては、オブジェクト分布情報３２ｂは、媒体識別情報３８、番組識別情報３３、フレーム識別情報３４、オブジェクト形状情報３５、および起動プログラム名３９の各情報を有している。

このうち、媒体識別情報３８とは、媒体を識別する媒体ＩＤである。また、番組識別情報３３は、ビデオ番組名、例えば、”パソコン入門”である。また、起動プログラム名３９は、当該オブジェクトがポイントされたときに起動されるプログラムの名称である。なお、フレーム識別情報３４およびオブジェクト形状情報３５については、第１実施形態（図６）と同様であるので、その説明を省略する。

ポイント処理部２２は、このオブジェクト分布情報３２ｂと、受像機１から送信されたポイント情報４０とを照合する。そして、ポイント処理部２２は、オブジェクト分布情報３２ａによって指定されるオブジェクトがポイントされたと判定したとき、記録／再生部２１に対して再生するプログラムの起動を受像機１に指示する。

受像機１は、ポイント処理部２２からの指示にしたがい、アプリケーションプログラムを起動する。視聴者は、パソコン入門ビデオの表示映像に対してポイント操作することにより、実際のアプリケーションプログラムが起動されることを確認する。

図３５に、本実施形態におけるパソコン入門ビデオの表示例を示す。本ビデオ表示装置では、例えば、ワードプロセッサの入門ビデオ表示中に、ワードプロセッサを示す映像に対応するオブジェクトへのポイント操作が検出されると、そのワードプロセッサのアプリケーションプログラムが起動される。また、スプレッドシートの入門ビデオ表示中に、スプレッドシートを示す映像に対応するオブジェクトへのポイント操作が検出されると、そのスプレッドシートのアプリケーションプログラムが起動される。

以上述べたように、本実施形態によれば、受像機１に表示されたビデオ映像に対する視聴者のポイント操作に応じて、関連するアプリケーションプログラムが起動される。視聴者は、例えば、パソコン入門ビデオで学習を進める過程で、実際のアプリケーションプログラムの起動状態を確認できる。

《第９実施形態》タスク連携−テレビショッピングシステム図３６から図４２の図面に基づいて本発明の第９実施形態を説明する。図３６は、本実施形態に係るテレビショッピングシステムのシステム構成図であり、図３７は、このテレビショッピングシステムの処理手順を示す図であり、図３８は、本実施形態におけるオブジェクト分布情報３２ｃのデータ構成図であり、図３９は、本実施形態におけるポイント情報４０ｃのデータ構成図であり、図４０は、図３６に示した視聴契約者情報サーバが保持する視聴契約者情報のデータ構成図であり、図４１は、本実施形態の変形例に係るテレビショッピングシステムのシステム構成図であり、図４２は、この変形例に係るテレビショッピングシステムの処理手順を示す図である。

本実施形態では、表示された映像へのポイント操作に応じて、商品が注文されるシステムについて説明する。本実施形態において、第１実施形態から図８実施形態の構成要素と同様の構成要素については、同一の符号を付してその説明を省略する。また、必要に応じて図１から図３５の図面を参照する。

図３６に、本実施形態に係るテレビショッピングシステムのシステム構成図を示す。このシステムは、放送局から配信される番組映像を受信する受像機１と、受像機１からのポイント情報を判定するポイント処理サーバ１１と、ポイント処理サーバ１１における判定結果にしたがい注文を受けるオンラインショップサーバ７１と、視聴料金および注文代金を決済する視聴者料金決済システムと、視聴契約者に関する情報を管理する視聴契約者情報サーバから構成される。

番組提供者は、放送局から番組の各コマに対応したオブジェクト分布情報３２ｃを作成する。放送局は、番組放送用の周波数帯域の未使用領域を使用してオブジェクト分布情報３２ｃを配信する。

受像機１は、ポインティングデバイス７（図３６では、マウス）を備えており、視聴者のポイント操作を検出する。そして、受像機１は、視聴者のポイント操作を検出し、ポイント情報４０ｃをポイント処理サーバ１１に送信する。

ポイント処理サーバ１１では、注文処理アプリケーションプログラム７０が、注文処理タスクとして起動されている。ポイント処理サーバ１１は、受像機１において検出されたポイント情報４０ｃと、放送局から配信されたオブジェクト分布情報３２ｃとを照合する。
このオブジェクト分布情報３２ｃは、商品を注文するための注文情報、例えば商品名、注文コード、等を含んでいる。

そして、ポイント処理サーバ１１は、オブジェクトがポイントされたと判定すると、注文処理タスクに指令し、通信部８（図８）を介してオンラインショップサーバ７１に注文情報を発する。

また、このとき、ポイント処理サーバ１１は、視聴料金決済システムおよび視聴契約者情報サーバにアクセスし、商品を注文した視聴者の決済口座からの商品代金の引き落しを依頼する。

図３７に、このテレビショッピングシステム処理手順を示す。まず、受像機１は、番組映像を表示する。このとき、視聴者（ユーザ）が、例えば、登場人物の服や腕時計をポイントすると、受像機１は、ポイントされた映像のフレーム、ポイントされた位置の座標等を含むポイント情報４０ｃをポイント処理サーバ１１に送信する。

ポイント処理サーバ１１は、そのポイント情報４０ｃとオブジェクト分布情報３２ｃとを照合し、注文処理タスクを実行する。このため、ポイント処理サーバ１１は、商品注文サーバの機能をも提供する。ただし、注文処理タスクをポイント処理サーバ１１以外の他のサーバに実行させてもよい。

図３８に、本テレビショッピングシステムにおけるオブジェクト分布情報３２ｃのデータ構成を示す。図３８に示すように、このシステムでは、番組識別情報３３、フレーム識別情報３４、オブジェクト形状情報３５、商品識別情報５５および商品価格５６を含んでいる。このうち、番組識別情報３３、フレーム識別情報３４、オブジェクト形状情報３５については、第１実施形態と同様であるので、その説明を省略する。

商品識別情報５５とは、例えば、商品の注文コードである。また、商品価格５６は、その商品の価格である。

図３９に、本テレビショッピングシステムにおけるポイント情報４０ｃの構成を示す。このポイント情報４０ｃは、視聴契約者識別情報５７、番組識別情報３３、フレーム識別情報３４、ポイント位置情報３５を含んでいる。このうち、契約者識別情報５７とは、視聴契約を識別するＩＤである。このＩＤにより、視聴契約者が特定される。

図４０に、図３６の視聴契約者情報サーバが管理する視聴契約者情報のデータ構成を示す。視聴契約者情報は、視聴契約者識別情報、氏名および住所を含んでいる。視聴契約者識別情報は、図４１の場合と同様である。また、氏名および住所は、視聴契約者の氏名および住所である。

以上述べたように、本テレビショッピングシステムでは、ポイント処理サーバ１１において実行される注文処理タスクにより、商品の注文と代金の決済が実行される。

また、本実施形態のテレビショッピングシステムによれば、視聴者が受像機１の画面上の商品をポイントするとその商品の注文画面が表示される。例えば、ドラマの登場人物の服がクリックされると、服の注文画面を表示され、腕時計がクリックされると腕時計の注文画面が表示される。そして、視聴者は、オンラインでその商品を購入することができる。

上記実施形態では、放送を受信する受像機１、ポイント情報を処理するポイント処理サーバ１１およびオンラインショップサーバ７１によりテレビショッピングシステムを構成し
た。しかし、本発明の実施はこのような構成や手順には限定されない。例えば、ポイント処理サーバ１１の機能を受像機１に内蔵してもよい。

図４１に、そのような第９実施形態の変形例におけるテレビショッピングシステムのシステム構成図を示す。このシステムは、放送局から配信される番組、オブジェクト分布情報、またはアプリケーションプログラムを受信する受像機１と、受像機１からの注文を受けるオンラインショップサーバ７１とから構成される。

本システムでも、受像機１は、ポインティングデバイス７（図３７では、マウス）を備えており、視聴者のポイント操作を検出する。そして、受像機１は、図４に示したＣＰＵ２においてポイント処理部２２および注文処理アプリケーションプログラム７０を実行する。ポイント処理部は、受像機１において検出されたポイント情報と、放送局から配信されたオブジェクト分布情報とを照合する。このオブジェクト分布情報は、注文情報(商品名
、注文コード、等)を含んでいる。

そして、ポイント処理部２２は、オブジェクトがポイントされたと判定すると、注文処理アプリケーションプログラム７０に指令を送り、当該オブジェクトに対応する商品を注文させる。注文処理アプリケーションプログラム７０は、この指令にしたがい、通信部８（図４）を介してオンラインショップサーバ７１に注文情報を発する。

図４２に、図４１に示したテレビショッピングシステムの処理手順を示す。この変形例のシステムも上記第９実施形態のシステムと同様オンラインショッピング機能を提供する。ただし、この変形例のシステムでは、注文処理アプリケーションプログラム７０は、受像機１で実行される。

《第１０実施形態》アンケートシステム図４３から図４８に基づいて本発明の第１０実施形態を説明する。図４３は、第１０実施形態におけるアンケートシステムのシステム構成図であり、図４４は、図４３に示した受像機１の画面上のオブジェクトの分布を示す図であり、図４５は、図４３に示したポイント処理サーバ１１の処理を示すフローチャートであり、図４６は、第１０実施形態の変形例に係るアンケートシステムの処理概要を示す図あり、図４７は、第１０実施形態の変形例における集計サーバ８１の処理を示すフローチャートであり、図４８は、選択肢不明の回答の再集計処理を示すフローチャートである。

上記第３実施形態では、オブジェクトがポイントされたか否かを判定するポイント処理サーバ１１が設けられた。そして、ポイント処理サーバ１１は、その判定結果に基づき、放送局に対して配信する映像を番組映像からコマーシャル画像に切り替えさせた。

本実施形態では、受像機１はアンケートの回答を表示し、アンケートの回答に対する視聴者のポイント操作を検出する。そして、受像機１は、検出したポイント操作をポイント処理サーバ１１を介して集計サーバ８１に報告し、集計させる。

他の構成および作用は第３実施形態等と同様である。そこで、同一の構成要素については、同一の符号を付してその説明を省略する。また、必要に応じて図１から図４２の図面を参照する。

＜システム構成＞図４３は、本実施形態に係るオンデマンド広告提供システムのシステム構成図である。このシステムは、放送局からの番組映像を受信する受像機１、使用者のポイント操作によるポイント情報４０を処理するポイント処理サーバ１１およびポイント処理サーバ１１からポイント操作の検出結果を集計する集計サーバ８１からなる。

本実施形態では、放送局は、番組映像として、アンケートとそれに対する回答を配信する。また、放送局は、ポイント処理サーバ１１に対して、アンケートの回答を分類するためのオブジェクト分布情報３２を配信する。

本実施形態では、オブジェクト分布情報３２は、アンケートの選択肢に該当する。例えば、視聴者が画面上の領域に対応する選択肢をポイントすると、そのポイント情報４０がポイント処理サーバ１１に送信される。このポイント情報４０のデータ構成は、図１６の場合と同様である。

一方、ポイント処理サーバ１１は、放送局からオブジェクト分布情報３２を配信されている。このオブジェクト分布情報３２は、各フレームに対応するポイント操作をアンケートへの回答として分類するために使用される。

ポイント処理サーバ１１は、ポイント情報４０とオブジェクト分布情報３２とを照合し、どのオブジェクトがポイントされたか、すなわち、どの選択肢がポイントされたかを判定する。そして、ポイント処理サーバ１１は、その判定結果を集計サーバ８１に報告する。集計サーバ８１は、報告された判定結果を集計する。

＜オブジェクト分布＞図４４に本実施形態におけるオブジェクト分布の例を示す。図４４は、受像機１の画面に表示されるアンケートの回答の選択肢を示している。図４４において、例えば、画面左上の領域１０１は、選択肢１に対するオブジェクトであり、３人分の回答が集計されている。また、画面右上の領域１０２は、選択肢２に対するオブジェクトであり、２人分の回答が集計されている。また、例えば、画面の背景領域１０３は、該当する選択肢のない無効票の領域である。

＜作用と効果＞図４５に、ポイント処理サーバ１１の処理を示す。図４５において、Ｓ１６１からＳ１６４の処理は、第１実施形態における図８のＳ１からＳ４と同様である。

ポイント処理サーバ１１は、ポイントされたオブジェクトを検出すると、その選択肢が回答されたことを集計サーバ８１に送信する（Ｓ１６５）。集計サーバ８１は、その選択肢に対する回答数をカウントアップする。

一方、ポイント処理サーバ１１は、ポイントされたオブジェクトがない場合（Ｓ１６４でＮＯの場合）、無効票を集計サーバ１１に送信する（Ｓ１６５）。

以上述べたように、本実施形態のアンケートシステムでは、受像機１に対する視聴者のポイント操作を検出し、集計することにより、アンケート調査を実施できる。

＜変形例＞上記第１０実施形態においては、画面上でオブジェクトの存在しない背景領域へのポイント操作は無効票として集計された。このような無効票を新たな選択肢に対する有効票として再集計するようにしてもよい。

図４６に、新たに追加された選択肢に対応するオブジェクトの例を示す。図４６において、上部の画面１１０は、選択肢追加前のアンケートの集計状況を示し、画面１１１は、選択肢を追加して無効票を再集計した状況を示す。

画面１１０において、画面の背景領域１０３に対するポイント操作が５点存在し、無効票が５票となっている。一方、画面１１１においては、無効票の密度が濃い領域１１２が新たに選択肢として定義されている。この領域１１２に対する回答が３票集計され、画面１１１では、無効票が２票となっている。

図４７に、集計サーバ８１における集計処理を示す。通常、集計サーバ８１は、ポイント情報の受信待ちの状態にある。すなわち、集計サーバ８１は、ポイント情報が受信された否かを判定する（Ｓ１７１）。

ポイント情報が受信されると、集計処理サーバ８１は、そのポイントが有効か否かを判定する（Ｓ１７２）。ポイントが有効な場合、ポイントされたオブジェクトに対する選択肢に回答数を加算する（Ｓ１７３）。その後、ポイント処理サーバ８１は、制御をＳ１４１へ戻す。

一方、ポイントが有効でない場合、集計サーバ８１は、選択肢不明の回答としえて、そのポイント座標を記録する（Ｓ１７４）。

図４８に、集計サーバ８１において、選択肢不明の回答を再集計する処理を示す。まず、集計サーバ８１は、画面の背景領域の色彩にしたがい、アンケートの回答画面の背景領域を部分映像に分離する（Ｓ１８０）。

次に、集計サーバ８１は、各部分映像の輪郭抽出処理を実行する（Ｓ１８１）。次に、選択肢不明の回答を一つ取り出し、各部分映像との包含関係を判定する（Ｓ１８２）。

そして、集計サーバ８１は、その選択肢不明の回答におけるポイント座標を包含する部分映像があるか否かを判定する（Ｓ１８３）。そのようなポイント座標を包含する部分映像がある場合、集計サーバ８１は、その部分映像を新たな選択肢として、選択肢不明の回答を再集計する（Ｓ１８４）。

次に、集計サーバ８１は、再集計が未処理の回答があるか否かを判定する（Ｓ１８５）。そのような未処理回答がある場合、集計サーバ８１は、制御をＳ１８２に戻す。一方、そのような未処理回答がない場合、集計サーバ８１は、処理を終了する。

このように、本アンケートシステムでは、視聴者がアンケートの回答とならない画面上の領域をポイントした場合でも、そのポイントされた場所が記録される。そして、例えば、ポイントされた場所に意味のある映像があることが判明した場合、その映像に対応するオブジェクトを追加し、再集計することにより、無効な回答を救済することができる。

＜その他の変形例＞上記実施形態では、ポイント処理サーバ１１がポイントされたオブジェクトの有無を判定し、集計サーバ８１がその判定結果を集計することでアンケートシステムが構成された。しかし、本発明の実施は、このような構成や手順には限定されない。

例えば、ポイント処理サーバ１１は、ポイントされたオブジェクトの番号を報告し、集計サーバ８１がその報告の基づき、選択された選択肢を判定してもよい。また、ポイント処理サーバ１１と集計サーバ８１とが同一のホストコンピュータによって構成されてもよい。その場合には、ポイント情報４０の処理とポイント結果の集計処理が同一のホストコンピュータ上で実行される。

また、受像機１がポイントされたオブジェクトの番号、無効票等の報告を集計サーバ８１に直接送信するようにしてもよい。その場合には、ポイント処理サーバ１１の処理が受像機１で実行され、ポイント処理サーバ１１のないアンケートシステムを構成できる。

《第１１実施形態》オンデマンド広告撮影システム図４９および図５０にしたがい、本発明の第１１実施形態を説明する。図４９は、第１１実施形態に係る撮影システムのシステ
ム構成図であり、図５０は、図４９のシステムにおいてカメラ８５に撮影された映像と生成されたオブジェクトを対応付ける手順を示す図である。

本実施形態では、番組等の登場人物の動きからオブジェクト分布情報を自動生成するシステムを説明する。オブジェクト分布情報は、モーションキャプチャセンサからの信号に基づいて生成される。

図４９に、本撮影システムのシステム構成を示す。このシステムは、登場人物の身体に付着され電磁波を発生する複数のマーカと、登場人物を撮影するカメラ８５と、そのマーカからの電磁波を検出する位置特定システム８６とを備える。

一つのマーカは、微小な発信器と、その発信器が発生した高周波を電磁波にして放射するアンテナとから構成される。アンテナは、電磁波の波長の１／２または１／４の長さで構成する。例えば、高周波として１０ＧＨｚの周波数を利用した場合、波長は、約３ｃｍであり、アンテナを１．５ｃｍまたは０．７５ｃｍの長さで構成できる。

本実施形態では、複数のマーカは、発信器の発信周波数により識別される。例えば、右腕のマーカ：１０ＧＨｚ、左腕マーカ：１１ＧＨｚ、右肩マーカ：１２ＧＨｚのように設定すればよい。

位置特定システム８６は、そのようなマーカからの電磁波をリアルタイムで検出し、登場人物のモーションキャプチャデータを生成する。この位置特定システム８６は、４個の電磁波センサ（各々受信アンテナと復調回路を含む）を備えている。

４個の電磁波センサの各々１個は他の３個の電磁波センサがなす平面と異なる平面に置かれている。このため、各電磁波センサを中心にして、一つのマーカがまでの距離を半径とする異なる４個の球面を仮想することができる。この４個の球面の交点がマーカの位置となる。

マーカから電磁波センサまでの距離は、受信された電磁波の強度によって測定される。この強度は、マーカの放射電力を既知として、受信された電磁波のエネルギーの比率を絶対値で求めてもよい。受信される電磁波の強度は距離の２乗に反比例することが知られているから、マーカから各センサまでの位置を求めることができる。

一方、カメラ８５は、モーションキャプチャデータ生成中の登場人物の映像を撮影し、番組映像を生成する。

図５０に、カメラ８５によって撮影された映像とモーションキャプチャデータから生成されたオブジェクトとを対応付ける手順を示す。カメラ８５が撮影した各フレームに対して、同一時刻にセンサから取り込まれた各マーカの位置情報が不図示の記録装置に記録される。

この位置情報は、図５０のように３次元空間上の位置にある。この３次元空間の位置座標（x,y,z）を受像機１の画面（２次元）上の座標(u,v)に変換することにより、オブジェクト分布データが作成される。この座標変換は、コンピュータグラフィックス等において一般的に使用されている。

以上述べたように、本実施形態の撮影システムは、動画の撮影と同期して、各フレームにおけるモーションキャプチャデータを取得する。このモーションキャプチャデータをオブジェクト分布情報の形式（例えば、図６）に変換することにより、本システムは、簡易に
オブジェクト分布データを作成することができる。

＜変形例＞上記第１１実施形態では、複数のマーカは発振器の発信周波数により識別された。しかし、本発明の実施は、そのような手順には限定されない。例えば、各マーカごとに出力可能なタイムスロットを割り当て、時分割多重通信により各マーカと位置特定システム８６とを通信させてマーカを識別してもよい。

上記実施形態においては、マーカから電磁波センサまでの距離は、受信された電磁波の強度によって絶対的な距離を測定した。しかし、本発明の実施は、そのような手順には限定されない。例えば、各マーカの放射電力強度が同一であれば、受信電力により、各マーカから位置測定システム８１までの相対的な距離が分かる。この相対的な距離によってもモーションキャプチャは実施できる。したがって、必ずしも絶対的な距離を求める必要はない。

《第１２実施形態》広告斡旋システム図５１を参照して、本発明の第１２実施形態を説明する。上記第１実施形態から第１１実施形態においては、受像機１に表示された番組映像やアンケートに対する視聴者のポイント操作を検出し、様々な処理を実行するシステムについて説明した。

本実施形態では、受像機１への視聴者のポイント操作を収集することにより、広告の斡旋を支援するシステムについて説明する。本実施形態におけるシステム構成等は、上記第１実施形態から第１１実施形態と同様である。そこで、システムの構成等については、必要に応じて図１から図５０を参照することとし、その説明を省略する。

本実施形態のシステムは、視聴者がポイント操作したとき、画面上に表示されている物を抽出し、表示する。これによって、番組映像中で、視聴者の興味を引き易いものの映像を特定し、その物に関する広告の斡旋を支援する。

例えば、番組映像に対する視聴者のポイント操作をフレームごとに収集する。この収集により、各ポイント操作ごとに図１６に示したポイント情報が生成され、集計される。これにより、ポイント操作の多い、番組、フレーム、ポイント座標が特定される。

そこで、第１０実施形態における図４８（選択肢不明の回答の再集計処理）に示した手順にしたがい、上記ポイント操作の多い位置近傍から映像を抽出する。

この映像は、視聴者の興味を引きやすい物を表している。したがって、この映像が示す物に対する広告効果は非常に大きい。そこで、この映像の表す物に対する広告を斡旋する。

図５１に、広告斡旋システムの処理手順を示す。まず、上記ポイント操作収集の結果、例えば、ある番組で使用された時計についてのポイント操作（図１２では、リクエストという）が多いとする（Ｓ１９０）。

その時計について調査が行われる（Ｓ１９１）。そして、その時計がＡ社のものであると判明する（Ｓ１９２）。そこで、Ａ社に対して、上記ポイント操作回数の増加をＡ社に通知する（Ｓ１９３）。そして、この番組映像を使用した時計の広告作成を提案し、広告作成を斡旋する（Ｓ１９４）。

以上述べたように、本実施形態のシステムによれば、番組映像に対するポイント操作を集計することにより、効果の高い広告を作成することができる。また、そのような広告を行うことにより、広告料、広告斡旋料、情報提供料等の報酬を得ることができる。一方、広
告依頼側は、そのような報酬の支払いにより、効果の高い広告を得ることができる。

《第１３実施形態》映像ベースのデータ検索システム上記第１２実施形態では、ポイント操作回数の多い物（番組映像中の物）に対する広告の斡旋を支援するシステムについて説明した。また、上記第１実施形態等においては、視聴者がポイント操作した番組映像に対応するオブジェクトに関連する広告を表示し、あるいは、音声広告を出力する例を示した。

本実施形態では、視聴者がポイント操作した位置に表示されている物（番組映像中の物）に広告が提供されていないときに、その物を調査し、その物に対する情報を提供するビジネスについて説明する。また、そのようなビジネスを支援するシステムについて説明する。

本システムでは、第１実施形態や第３実施形態のシステムと同様、視聴者のポイント操作を検出する。そして、そのポイント操作された位置にオブジェクトが定義されていなかった場合、そのポイント操作された映像に対して、第１２実施形態の場合と同様、そのポイント操作された位置近傍の映像を抽出する。

本実施形態のビジネスでは、この映像の表す物を調査し、情報を視聴者に提供する。このシステムを映像ベースの情報検索システムという。

図５２に、このシステムによる処理手順を示す。まず、ある番組で表示された時計がポイント操作（図１３では、リクエストという）されたとする（Ｓ２００）。

すると、その時計について調査が行われる（Ｓ２０１）。そして、その時計がＡ社のものであると判明する（Ｓ２０２）。そこで、その時計に関する調査結果を視聴者に通知する。（Ｓ２０３）。

以上述べたように、本実施形態のシステムによれば、番組映像に対するポイント操作を監視し、ポイントされたものを特定して調査することで、視聴者が興味をもった物に対する詳細情報を提供できる。また、第１実施形態や第３実施形態で示したような番組映像に対する広告が提供されていない場合でも、視聴者に番組映像中の物を調査し、情報を提供することができる。

《第１４実施形態》映像強調表示図５３から図５６を参照して本発明の第１４実施形態を説明する。上記第１実施形態から第１３実施形態では、受像機１に表示された番組映像へのポイント操作を、その映像に対応するオブジェクトへのポイント操作として検出し、そのオブジェクトに対して指定された所定の処理、例えば、広告の表示、音声広告の出力、アンケートの集計等を行うシステムや装置について説明した。

本実施形態では、そのようなオブジェクトが定義された部分を強調して表示するシステムについて説明する。本システムの構成や他の作用については、第１実施形態から第１３実施形態と同様である。そこで、これらの構成や作用については、図１から図５２を参照することとし、その説明を省略する。

図５３は、本実施形態において、ポイント可能なオブジェクトを強調表示するときの表示仕様を示す図である。この図では、第１実施形態の変形例に示したオブジェクト分布情報（図１１）のオブジェクト形状情報に基づき、多角形が生成され、番組映像と重ね合わせて表示されている。

図５４は、特定のスポンサの商品に対応するオブジェクトを強調表示する例である。図５４における多角形の表示仕様は、図５３の場合と同様である。図５４では、番組のスポンサ、例えば、衣料メーカのＴシャツ、時計メーカの腕時計等が強調表示されている。

図５５は、図５４のような特定のスポンサの商品に対応するオブジェクトを強調表示するためのオブジェクト分布情報３２ｄのデータ構成を示す図である。このオブジェクト分布情報３２ｄは、番組識別情報３３、スポンサ情報９０、フレーム識別情報３４およびオブジェクト形状情報３５を有している。これらのうち、スポンサ情報９０以外の構成については、第３実施形態等と同様であるので、その説明を省略する。

スポンサ情報９０は、スポンサをユニークに識別する情報である。例えば、スポンサの登記上の会社名等である。このスポンサ情報９０として固有の識別番号を使用してもよい。

図５６に、スポンサの商品を強調表示する場合の受像機１の処理を示す。この処理では、まず、受像機１は、スポンサ指定情報を受信する（Ｓ２１０）。この処理では、受像機１は、強調表示すべきオブジェクトに対応するスポンサを指定される。

次に、受像機１は、画面上に表示すべきオブジェクトがあるか否かを判定する（Ｓ２１１）。 画面上に表示すべきオブジェクトがある場合、そのオブジェクトのスポンサがＳ２
１０の情報で指定されたスポンサと一致するか否かを判定する（Ｓ２１２）。

そのオブジェクトのスポンサが強調表示するスポンサと一致したとき、受像機１は、当該オブジェクトを強調表示する（Ｓ２１３）。その後、受像機１は、Ｓ２１１に制御を戻す。

一方、そのオブジェクトのスポンサが強調表示するスポンサと一致ないとき、受像機１は、当該オブジェクトを強調表示しない（表示は、通常の番組映像の表示のままとなる）。その後、受像機１は、Ｓ２１１に制御を戻す。

また、Ｓ２１１において画面上に表示すべきオブジェクトがない場合、受像機１は、この処理を終了する。

以上述べたように、本実施形態では、オブジェクトの形状が強調されるので、視聴者は、容易にオブジェクトの存在領域を認識することができる。また、特定のスポンサに対応するオブジェクトを強調表示することができる。

＜変形例＞上記実施形態では、オブジェクトの強調表示をするためオブジェクト分布情報３２ｄ（図５５）のオブジェクト形状情報３５を使用した。しかし、本発明の実施はこのような構成には限定されない。例えば、第２実施形態（図１２、図１３）に示したように、スポンサに対応するオブジェクトの特徴情報からオブジェクトの形状を自動認識して強調表示するようにしてもよい。

《第１５実施形態》視聴者の操作による映像変化、マルチストーリビデオ図５７および図５８に基づいて本発明の第１５実施形態を説明する。上記第１実施形態から第１３実施形態では、受像機１に表示された番組映像へのポイント操作を、その映像に対応するオブジェクトへのポイント操作として検出し、そのオブジェクトに対して指定された所定の処理、例えば、広告の表示、音声広告の出力、アンケートの集計等を行うシステムや装置について説明した。

本実施形態では、そのようなポイント操作により、番組のストーリーが変わるマルチスト
ーリービデオ（または番組）を表示するシステムについて説明する。本システムの構成や他の作用については、第１実施形態から第１４実施形態と同様である。そこで、これらの構成や作用については、図１から図５６を参照することとし、その説明を省略する。

図５７は、本実施形態におけるマルチストーリービデオの概要を示す図である。図５７の上部には、ビデオ媒体（テープ、ＤＶＤ等）に記録された番組映像の例を示しており、図５７に下部には、視聴者の操作に応じて表示される番組映像を示している。

例えば、視聴者が受像機１の画面に対してポイント操作をしない場合、番組映像は、Ｓ２２０、Ｓ２２１およびＳ２２２のように表示される。一方、Ｓ２２０の画面において、Ｓ２３１に示すように画面左下部がポイントされると、Ｓ２３２のようなシーンＡが表示される。

また、Ｓ２２０の画面において、Ｓ２４１に示すように画面右下部がポイントされると、Ｓ２４２のようなシーンＢが表示される。

図５８に、本実施形態におけるマルチストーリービデオの表示処理を示す。本実施形態においては、第５実施形態に示した受像機１とビデオデッキ２０または映像記録／再生装置６０によりマルチストーリービデオが表示される。本実施形態では、これらの装置を単に表示装置と呼ぶ。

まず、表示装置は、番組映像を表示する（Ｓ２５０）。これに対し、視聴者は、画面上のオブジェクトをポイントする（Ｓ２５１）。すると、表示装置のポイント処理部（例えば図２０のポイント処理部２２）は、オブジェクト分布情報とポイントされた座標を照合する。そして、ポイント処理部は、オブジェクトがポイントされたことを検出する（Ｓ２５２）。

次に、ポイント処理部は、オブジェクト分布情報からオブジェクトがポイントされたときの映像切り替え指示を取得する（Ｓ２５３）。そして、ポイント処理部は、映像切り替え指示を記録する（Ｓ２５４）。ただし、その時点では映像の切り替えは行わない。シーンが不自然に切り替わることを防止するためである。

次に、表示装置は、番組中のシーンの終わりを検出する（Ｓ２５４）。シーンの終わりが検出されると、表示装置は映像の切り替えの指示を記録するメモリ３（図４参照）の内容をチェックする。このとき、映像切り替えの指示が記憶されていたら、表示装置は表示する映像を切り返る。

上記したシーンの終わりは、以下のいずれかの手順で検出できる。
（１）ビデオの垂直帰線消去期間にシーンごとの終了を示すインデクス情報をメモリ３（図４参照）に記憶しておく。このインデックス情報として、各シーンの終了位置のフレームの通し番号を用いる。表示装置は、再生中のフレームの通し番号をモニタする。そして、表示中のフレーム通し番号がインデクス情報として記憶されているフレームの通し番号値に達したら、表示装置は、シーンの終わりを認定し、映像を切り替える。
（２）シーンの終了のタイミングのフレームの垂直帰線消去期間に特別な信号を入れておく。再生フレームがそのフレームに達し、その信号が検出されたときに、シーンを切り替える。
（３）映像切り替え指示の中で、どのフレームにきたときに映像切り替えを行うかを、フレーム識別情報として指定しておく。一方、映像表示装置は、表示中のフレーム番号をモニタする。そして、表示中のフレーム通し番号が指示されたフレーム番号になったときに、表示装置は、シーンの終わりを認定し、映像を切り替える。この手法では、ポイントし
たオブジェクトごとに、異なるシーンの変り目を設定できる。
（４）動画認識(映像の変化の大きさ)によりシーンの変わり目を判定する方法も多数提案されており、ビデオ頭出し等に使用されている。これらの技術を利用してシーンの終わりを検出してもよい。

以上述べたように、本実施形態のシステムによれば、番組映像に対するポイント操作によって、シーンの変わり目でストーリーの展開が異なるマルチストーリービデオを提供できる。

この場合、従来のマルチストーリービデオのようなボタンによる選択という番組映像から遊離したオブジェクトに対する操作が必要とされない。そのため、視聴者は番組映像に対する自然な操作でストーリーを変化させることができる。

＜変形例＞上記実施形態では、番組映像に対するポイント操作によって、シーンの変わり目でストーリーの展開が異なるマルチストーリービデオを表示するシステムを説明した。しかし、本発明の実施は、そのような手順には限定されない。

例えば、視聴者のポイント操作を通信部８（図４参照）を介して放送局に返信し、放送中の番組のストーリーを変更してもよい。

また、複数の視聴者のポイント操作に基づいてストーリーを変化させてもよい。例えば、図５９に示すように、各視聴者が１台のロボットを遠隔操作し、番組内で戦わせてもよい。

《第１６実施形態》広告の有効性が測定するサービス本発明の第１６実施形態を図６０に基づいて説明する。上記第１実施形態から第１５実施形態では、受像機１に表示された番組映像へのポイント操作を、その映像に対応するオブジェクトへのポイント操作として検出し、そのオブジェクトに対して指定された所定の処理、例えば、広告の表示、音声広告の出力、アンケートの集計等を行うシステムや装置について説明した。

本実施形態では、そのようなポイント操作によるポイント情報を収集することにより広告の有効性を測定するシステムについて説明する。本実施形態のシステムの構成は、第１実施形態から第１５実施形態と同様である。

図６０に、このシステムにおける処理手順を示す。まず、番組の視聴者と商品の購入者層が一致している場合を仮定する（Ｓ２６０）。この場合、ポイント操作、すなわち、広告に対するリクエスト数が増加する（Ｓ２６１）。

ポイント処理サーバ１１（図１４）は、そのような番組、オブジェクト、広告効果等をレポートする（Ｓ２６２）。これにより、番組提供者、広告主は、広告効果の高い番組における広告を増加させ、広告を集中させる（Ｓ２６３）。

一方、番組の視聴者と商品の購入者層が一致していない場合を仮定する（Ｓ２６４）。この場合、ポイント操作、すなわち、広告に対するリクエスト数が減少する（Ｓ２６５）。

ポイント処理サーバ１１（図１９）は、そのような番組とオブジェクトをレポートする（Ｓ２６６）。これにより、番組提供者、広告主は、広告効果の低い広告を廃棄し、その番組に対する広告を他の広告に変更する（Ｓ２６７）。なお、この場合、広告を変更する代わりに、広告効果が出やすいように、番組内容を変更してもよい（Ｓ２６８）。

以上述べたように、本実施形態のシステムによれば、番組における広告の効果を定量的に測定することができる。

《第１７実施形態》流行の判断を支援するシステム本発明の第１７実施形態を図６１に基づいて説明する。上記第１実施形態から第１６実施形態では、受像機１に表示された番組映像へのポイント操作を、その映像に対応するオブジェクトへのポイント操作として検出し、そのオブジェクトに対して指定された所定の処理、例えば、広告の表示、音声広告の出力、アンケートの集計等を行うシステムや装置について説明した。

本実施形態では、そのようなポイント操作によるポイント情報を収集することにより流行の判断を支援するシステムについて説明する。本実施形態のシステムの構成は、第１実施形態から第１６実施形態と同様である。

図６１に、このシステムにおける処理手順を示す。このシステムにおいては、製品化前の商品を番組中で使用する（Ｓ２７０）。今、その商品に対する視聴者の評判が高い場合を仮定する（Ｓ２７１）。

その場合には、その商品への広告等、情報のリクエスト（ポイント操作）が増加する（Ｓ２７２）。ポイント処理サーバ１１（図１４）は、そのような番組とポイント回数の多いオブジェクトに対応する商品をレポートする（Ｓ２７３）。これにより、広告主は、その商品を正式に製品化するとの決定をすることができる（Ｓ２７４）。

一方、その商品に対する視聴者の評判が低い場合を仮定する（Ｓ２７６）。その場合には、その商品への広告等、情報のリクエスト（ポイント操作）が減少する（Ｓ２７７）。ポイント処理サーバ１１（図１９）は、そのような番組とポイント回数の少ないオブジェクトに対応する商品をレポートする（Ｓ２７８）。これにより、広告主は、その商品の製品化を中止するとの決定をすることができる（Ｓ２７９）。

以上述べたように、本システムによれば、テスト販売に代えて商品の売れ行き、流行する商品の予測を支援することができる。

《第１８実施形態》本発明の第１８実施形態を図６２に基づいて説明する。上記第３実施形態では、受像機１に表示された番組映像へのポイント操作による情報をポイント処理サーバ１１に送信し、ポイント処理サーバ１１の指令により、受像機１に表示させる映像を切り替え、音声を出力するシステムについて説明した。

本実施形態では、第３実施形態の受像機１と同様、情報表示装置２０１がそのようなポイント操作を検出し、その検出結果に応じてサーバ２０２が様々な情報を提供するシステムについて説明する。本実施形態の構成および他の作用は、第３実施形態等と同様であり、必要に応じて図１から図６１を参照する。

図６２は、本実施形態に係る情報提供システムのシステム構成図である。本実施形態の情報提供システムは、第３実施形態と同様、番組を放送する放送局と、放送局から放送される受信する表示装置２０１と、インターネットを通じて表示装置２０１に接続され表示装置２０１に情報を提供するサーバ２０２とから構成される。

表示装置２０１は、第３実施形態の受像機１と同様、テレビ放送を受信し、画面に表示する。また、表示装置１は、データ放送を介して、ＵＲＬ（Uniform Resource Locater）、番組映像を構成するフレームの識別情報、放送局の識別情報等を受信する。表示装置２０１は、通常のテレビ受像機、セットトップボックス、またはテレビチューナ等でもよい。
また、テレビ受像機能を備えたパーソナルコンピュータでもよい。

また、表示装置２０１は、第３実施形態等と同様、マウス等のポインティングデバイスを有している。表示装置２０１は、ポインティングデバイスにより、画面へのポイント操作を検出する。

また、表示装置２０１は、インターネットに接続され、インターネット上のサーバ２０２と通信する。このインターネットとの接続は、モデム、ＬＡＮ、無線ＬＡＮ、ケーブルテレビ等のネットワークによる。

例えば、表示装置は、番組映像を表示中に、その画面上へのポイント操作を検出すると、その映像を特定する情報、例えば、その番組を提供する放送局識別情報、そのポイントされた映像のフレーム識別情報、およびポイントされた座標（以下ポイント座標という）を含むポイント情報４０をサーバ２０２に送信する。ただし、放送局識別情報に代えて、受信チャンネルをポイント情報４０に含めてもよい。

サーバ２０２は、不図示のデータベースに、ＥＰＧ（Electronic Program Guide）を有しており、上記ポイント情報４０の受信時刻と放送局識別情報とから表示装置２０１で受信されている番組を特定する。

また、サーバ２０２は、ポイント情報４０のフレーム識別情報およびポイント座標から表示装置２０１においてポイントされた映像の部分を特定する。これは、例えば、第１実施形態等と同様、各フレームに対応するオブジェクト分布情報（図６参照）とポイント情報４０のポイント座標とを照合すればよい。

そして、サーバ２０２は、そのポイントされた映像の番組、フレーム、ポイント座標に応じて、様々な情報を表示装置２０１に提供する。

例えば、テレビショッピングサービス受け付け、ドラマの主人公に関するデータ（プロファイル等）、ドラマのあらすじ、コマーシャル画像、コマーシャル音声等が提供される。このコマーシャル画像を配信することにより、広告主から広告料を徴収する。その場合でも、画面へのポイント操作がない場合には、コマーシャルを挟まない番組を提供する。これにより、視聴者がポイント操作による意思表示を示されなければコマーシャルが表示されない無料放送を実現できる。

サーバ２０２は、ポイント情報４０と照合するオブジェクト分布情報（図６）を複数の放送局ごとに所定期間保有する。これによって、その期間内であれば、録画された番組に対しても上記のような情報を提供できる。

《コンピュータ読み取り可能な記録媒体》上記実施の形態における受像機１、ポイント処理サーバ１１、ビデオデッキ２０、ビデオレコーダ２０ａ、映像記録／再生装置６０または集計サーバ等における処理をコンピュータに実行させるプログラムをコンピュータ読み取り可能な記録媒体に記録することができる。そして、コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、上記実施の形態に示したいずれかの機能を提供させることができる。

ここで、コンピュータ読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータから取り外し可能なものとしては、例えばフロッピー（登録商標）ディスク、光磁気ディスク、CD-ROM
、CD-R/W、DVD、DAT、８mmテープ、メモリカード等がある。

また、コンピュータに固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

《搬送波に具現化されたデータ通信信号》また、上記プログラムをコンピュータのハードディスクやメモリに格納し、通信媒体を通じて他のコンピュータに配布することができる。この場合、プログラムは、搬送波によって具現化されたデータ通信信号として、通信媒体を伝送される。そして、その配布を受けたコンピュータに上記いずれかの機能を提供させることができる。

ここで通信媒体としては、有線通信媒体、例えば、同軸ケーブルおよびツイストペアケーブルを含む金属ケーブル類、光通信ケーブル等、または、無線通信媒体例えば、衛星通信、地上波無線通信等のいずれでもよい。

また、搬送波は、データ通信信号を変調するための電磁波または光である。ただし、搬送波は、直流信号でもよい。この場合、データ通信信号は、搬送波がないベースバンド波形になる。したがって、搬送波に具現化されたデータ通信信号は、変調されたブロードバンド信号と変調されていないベースバンド信号（電圧０の直流信号を搬送波とした場合に相当）のいずれでもよい。

《その他》さらに、本実施の形態は以下の発明を開示する。

（付記１） 映像を表示する表示部と、前記映像上の位置を指示操作する指示部とを有す
る、そのような表示装置を制御する制御装置であり、指示操作された映像中の対象物を認識する手段と、認識された対象物に関連付けられる所定の処理を実行する処理手段と、を備えた制御装置。（１）
（付記２） 前記表示装置は、データを受信する受信部をさらに備えており、前記受信部
は、前記映像を含む第１のデータと、その第１のデータの映像における対象物に関連付けられる第２のデータとを受信し、前記処理手段は、前記認識された対象物に関連付けられる第２のデータを前記表示装置に出力させる付記１記載の制御装置。

（付記３） 前記第２のデータは、前記第１のデータの映像に関連付けられる画像を含む
付記２記載の制御装置。

（付記４） 前記第２のデータは、第１のデータに多重化されて配信される付記２記載の
制御装置。

（付記５） 前記第２のデータは、前記第１のデータの余白に埋め込まれる付記４記載の
制御装置。

（付記６） 前記第１のデータの映像には広告対象となる商品またはサービスに関連する
画像が含まれており、前記第２のデータは前記商品またはサービスの広告である付記２記載の制御装置。

（付記７） 前記処理手段は、前記認識された対象物に関連付けられるアプリケーション
プログラムを実行する付記１記載の制御装置。

（付記８） 前記処理手段は、前記認識された対象物に関連付けられるタスクを実行する
付記１記載の制御装置。

（付記９） 前記表示装置は、他のタスク実行装置に指令を送信する通信部をさらに備え
ており、前記処理手段は、前記通信部を介して、前記認識された対象物に関連付けられるタスクの実行を前記タスク実行装置に指令する付記１記載の制御装置。

（付記１０） 前記タスク実行装置は、電子メールを発信する電子メールサーバであり、
前記指令は、前記対象物に関連付けられる電子メールデータの送信要求であり、前記処理手段は、前記通信部を介して、送信された電子メールデータを受信する付記９記載の制御装置。

（付記１１） 前記表示装置は、情報を集計するサーバに情報を送信する通信部をさらに
備えており、前記処理手段は、前記通信部を介して、前記認識された対象物に係る情報を前記サーバに通知し、前記認識結果を集計させる付記１記載の制御装置。

（付記１２） 前記映像は、複数のフレームからなり、前記受信部は、各フレームの対象
物の領域を定義する定義情報をさらに受信し、前記認識する手段は、指示操作された映像上の位置とその指示操作がされた映像のフレームにおける前記定義情報とを照合する付記２記載の制御装置。

（付記１３） 前記映像中の前記領域部分を強調して表示する手段をさらに備える付記１
２記載の制御装置。

（付記１４） 前記受信部は、対象物の特徴を記述する情報をさらに受信し、前記処理手
段は、前記映像と対象物の特徴を記述する情報とに基づいて、その映像に対する対象物を生成する付記２記載の制御装置。

（付記１５） 前記処理手段は、第１のデータに含まれる映像の表示中に前記指示操作が
あった場合、前記映像の表示終了後に前記指示操作により認識される対象物に関連付けられる第２のデータの出力を前記表示装置に指令する付記１記載の制御装置。

（付記１６） 前記表示装置は、データを記録する記録部をさらに備えており、前記処理
手段は、前記映像の表示中に前記指示操作により対象物が認識されたときに、その対象物に関連付けられる第２のデータの記録を前記記録部に指令し、前記映像の表示終了後に前記記録された第２のデータの出力を前記表示装置に指令する付記１５記載の制御装置。

（付記１７） 前記処理手段は、第１のデータに含まれる映像の表示中に前記指示操作に
より対象物が認識されたときに、前記表示装置に対してその対象物に関連付けられる第２のデータの出力への切り替えを指令する付記１記載の制御装置。

（付記１８） 前記処理手段は、前記表示装置に対して前記第２のデータの出力後に前記
映像の表示に切り替えを指令する付記１７記載の制御装置。

（付記１９） 前記表示装置は、データを記録する記録部をさらに備えており、前記処理
手段は、前記第２のデータ出力後に、前記記録部により記録された前記切り替え時点からの前記映像を表示することを指令する付記１８記載の制御装置。

（付記２０） 前記表示装置は、前記第１のデータを受信する第１の受信部と、第２のデ
ータを受信する第２の受信部とを有する付記１記載の制御装置。

（付記２１） 映像を表示する表示部と、前記映像上の位置を指示操作する指示部とを有
する、そのような表示装置を制御する制御装置であり、指示操作された映像中の対象物を認識する認識手段を有するサーバに、前記指示操作された映像上の位置を送信し、前記サーバによって認識された前記映像中の対象物に係る情報を前記サーバから受信する通信部と、前記認識された対象物に関連付けられる所定の処理を実行する処理手段と、を備えた制御装置。（２）
（付記２２） 前記表示装置は、データを受信する受信部をさらに備えており、前記受信
部は、前記映像を含む第１のデータと、その第１のデータの映像における対象物に関連付けられる第２のデータとを受信し、前記処理手段は、前記認識された対象物に関連付けられる第２のデータを前記表示装置に出力させる付記２１記載の制御装置。

（付記２３） 前記第２のデータは、前記第１のデータの映像に関連付けられる画像を含
む付記２２記載の制御装置。

（付記２４） 前記第２のデータは、第１のデータに多重化されて配信される付記２２記
載の制御装置。

（付記２５） 前記第２のデータは、前記第１のデータの余白に埋め込まれる付記２４記
載の制御装置。

（付記２６） 前記処理手段は、前記認識された対象物に関連付けられるアプリケーショ
ンプログラムを実行する付記２１記載の制御装置。

（付記２７） 前記処理手段は、前記認識された対象物に関連付けられるタスクを実行す
る付記２１記載の制御装置。

（付記２８） 前記処理手段は、前記通信部を介して、前記認識された対象物に関連付け
られるタスクの実行を前記タスク実行装置に指令する付記２１記載の制御装置。

（付記２９） 前記表示装置は、記録媒体に記録された映像を再生する再生部を有し、前
記記録媒体は、第１の映像と、その第１の映像に対応する対象物に関連付けられる第２の画像とを記録しており、前記処理手段は、前記認識された対象物に関連付けられる第２の画像を前記記録媒体から再生して前記表示装置に表示させる付記１記載の制御装置。

（付記３０） 前記表示装置は、情報を集計するサーバに情報を送信する通信部をさらに
備えており、前記処理手段は、前記認識された対象物に係る情報を前記サーバに通知し、前記認識結果を集計させる付記１記載の制御装置。

（付記３１） 前記表示装置は、記録媒体に記録された映像を再生する再生部をさらに備
えており、前記通信部は、前記再生される映像が指示操作されたときに、その映像を特定する情報と映像上の指示操作された位置を特定する情報とを前記サーバに送信する付記２１記載の制御装置。

（付記３２） 映像を含むデータを受信する受信部と、前記映像を表示する表示部と、前
記映像上の位置を指示操作する指示部とを有する表示装置と連携するサーバであり、前記指示操作された位置に係る情報を表示装置から受信する通信部と、指示操作された映像中の対象物を前記表示装置から受信した情報により認識する認識部と、前記認識された対象物に係る所定の処理を実行する処理部とを備えたサーバ。（３）
（付記３３） 前記処理部は、前記通信部を介して、前記認識された対象物に係る情報を
前記表示装置に送信する付記３２記載のサーバ。

（付記３４） 前記処理部は、前記認識された対象物に関連付けられるタスクを実行する
付記３２記載のサーバ。

（付記３５） 前記処理部は、前記通信部を介して、他のタスク実行装置に対して前記認
識された対象物に関連付けられるタスクの実行を指令する付記３２記載のサーバ。

（付記３６） 前記通信部は、情報を集計するサーバに、前記認識された対象物に係る情
報を通知し、前記認識結果を集計させる付記３２記載のサーバ。

（付記３７） 前記通信部は、電子メールを発信する電子メールサーバと通信し、前記処
理部は、前記通信部を介して、前記認識された対象物に係る電子メールの送信を指令する付記３２記載のサーバ。

（付記３８） データ配信システムから映像を含むデータを受信する受信部と、前記映像
を表示する表示部と、前記映像上の位置を指示操作する指示部とを有する表示装置と連携し、前記データ配信システムに指令を送るサーバであり、前記映像上の指示操作された位置に係る情報を表示装置から受信する通信部と、指示操作された映像中の対象物を前記表示装置から受信した情報により認識する認識部と、前記対象物に関連付けられた指示を参照する参照部と、前記指示にしたがい前記データ配信システムに対し、配信するデータの切り替えを指令する指令部とを備えたサーバ。（４）
（付記３９） 被集計情報を受信する受信部と、前記被集計情報を分類する、そのような
分類情報を保持する分類指定部と、前記分類情報にしたがい、被集計情報を分類して集計する集計部と、前記集計部が分類できない被集計情報を記録する情報記録部と、前記情報記録部に記録された被集計情報を分類するための新たな分類情報を生成する生成部とを備え、前記分類指定部は、前記生成された分類情報を追加して保持し、前記集計部は、前記生成された分類情報に基づき前記被集計情報を再集計する集計装置。

（付記４０） 前記被集計情報は、アンケートに対する回答である付記３９記載の集計装
置。

（付記４１） 前記アンケートに対する回答は、映像上の位置に係る情報であり、前記分
類情報は、前記映像の部分に対応して構成される領域情報を有する付記４０記載の集計装置。

（付記４２） 被写体の画像を取得する撮影装置と、前記被写体の複数箇所に装着される
信号発生部と、各信号発生部からの信号を検出する検出部と、前記画像と前記信号とを関連付けて記録する記録部と、前記被写体または被写体の部分の前記画像上での占有領域を規定する情報を前記信号から作成する処理部とを備えた処理装置。

（付記４３） 商品を含む映像を受信する受信部と、前記映像を表示する表示部と、前記
映像上の位置を指示操作する指示部とを有する表示装置と連携するサーバであり、前記指示操作された位置に係る情報を表示装置から受信する受信部と、前記指示操作された映像中の対象物を前記表示装置から受信した情報により認識する認識部と、指示操作に対する対象物を認識できないとき、その位置に係る情報を記録する記録部と、前記記録された位置に係る情報を集計して報知する報知部とを備え、対象物として想定されていない映像部分に係る商品の広告斡旋を支援するサーバ。

（付記４４） 映像を含むデータを受信する受信部と、前記映像を表示する表示部と、前
記映像上の位置を指示操作する指示部とを有する表示装置と連携するサーバであり、前記指示操作された位置に係る情報を表示装置から受信する受信部と、前記指示操作された映
像中の対象物を前記表示装置から受信した情報により認識する認識部と、指示操作に対する対象物を認識できないとき、その位置に係る情報を記録する記録部と、前記記録された位置に係る情報を集計して報知する報知部とを備え、前記映像についての情報調査を支援するサーバ。

（付記４５） データ配信システムから映像を含むデータを受信する受信部と、前記映像
を表示する表示部と、前記映像上の位置を指示操作する指示部と、を備える表示装置であり、映像における対象物を認識するサーバと通信する通信部を備え、前記表示部に表示された第１のデータの映像が指示操作されたときに、前記通信部は前記指示操作された映像上の位置に係る情報とその映像を特定する情報とを前記サーバに送信し、前記サーバは、指示操作された映像の位置に応じて、配信するデータの切り替えを前記データ配信システムに指令し、前記受信部は、切り替えられた第２のデータを受信し、前記表示部は、第２のデータを表示する表示装置。

（付記４６） コンピュータに、映像を表示する表示部と、前記映像上の位置を指示操作
する指示部とを有する、そのような表示装置を制御させるプログラムであり、指示操作された映像中の対象物を認識するステップと、認識された対象物に関連付けられる所定の処理を実行する処理ステップとを実行させるプログラム。（５）
（付記４７） 前記表示装置は、データを受信する受信部をさらに備えており、 前記受信部は、前記映像を含む第１のデータと、その第１のデータの映像における対象物に関連付けられる第２のデータとを受信し、前記処理ステップは、前記認識された対象物に関連付けられる第２のデータを前記表示装置に出力させる付記４６記載のプログラム。

（付記４８） 前記第２のデータは、前記第１のデータの映像に関連付けられる画像を含
む付記４７記載のプログラム。

（付記４９） 前記第２のデータは、第１のデータに多重化されて配信される付記４７記
載のプログラム。

（付記５０） 前記第２のデータは、前記第１のデータの余白に埋め込まれる付記４９記
載のプログラム。

（付記５１） 前記第１のデータの映像には広告対象となる商品またはサービスに関連す
る画像が含まれており、前記第２のデータは前記商品またはサービスの広告である付記４７記載のプログラム。

（付記５２） 前記所定の処理は、前記認識された対象物に関連付けられるアプリケーシ
ョンプログラムの実行である付記４６記載のプログラム。

（付記５３） 前記所定の処理は、前記認識された対象物に関連付けられるタスクの実行
である付記４６記載のプログラム。

（付記５４） 前記表示装置は、他のタスク実行装置に指令を送信する通信部をさらに備
えており、前記処理ステップは、前記通信部を介して、前記認識された対象物に関連付けられるタスクの実行を前記タスク実行装置に指令する付記４６記載のプログラム。

（付記５５） 前記タスク実行装置は、電子メールを発信する電子メールサーバであり、
前記指令は、前記対象物に関連付けられる電子メールデータの送信要求であり、前記処理ステップは、前記通信部を介して、送信された電子メールデータを受信させる付記５４記載のプログラム。

（付記５６） 前記表示装置は、情報を集計するサーバに情報を送信する通信部をさらに
備えており、前記処理ステップは、前記通信部を介して、前記認識された対象物に係る情報を前記サーバに通知し、前記認識結果を集計させる付記４６記載のプログラム。

（付記５７） 前記映像は、複数のフレームからなり、前記受信部は、各フレームの対象
物の領域を定義する定義情報をさらに受信し、前記認識するステップは、指示操作された映像上の位置とその指示操作がされた映像のフレームにおける前記定義情報とを照合する付記４７記載のプログラム。

（付記５８） 前記映像中の前記領域部分を強調して表示するステップをさらに実行させ
る付記５７記載のプログラム。

（付記５９） 前記受信部は、対象物の特徴を記述する情報をさらに受信し、前記処理ス
テップは、前記映像と対象物の特徴を記述する情報とに基づいて、その映像に対する対象物を生成する付記４７記載のプログラム。

（付記６０） 前記処理ステップは、第１のデータに含まれる映像の表示中に前記指示操
作があった場合に、前記映像の表示終了後に前記指示操作により認識される対象物に関連付けられる第２のデータの出力を前記表示装置に指令する付記４６記載のプログラム。

（付記６１） 前記表示装置は、データを記録する記録部をさらに備えており、前記処理
ステップは、前記映像の表示中に前記指示操作により対象物が認識されたときに、その対象物に関連付けられる第２のデータの記録を前記記録部に指令するステップと、前記映像の表示終了後に前記記録された第２のデータの出力を前記表示装置に指令するステップとを有する付記６０記載のプログラム。

（付記６２） 前記処理ステップは、第１のデータに含まれる映像の表示中に前記指示操
作により対象物が認識されたときに、前記表示装置に対してその対象物に関連付けられる第２のデータの出力への切り替えを指令する付記４６記載のプログラム。

（付記６３） 前記処理ステップは、前記表示装置に対して前記第２のデータの出力後に
前記映像の表示に切り替えを指令するステップをさらに有する付記６２記載のプログラム。

（付記６４） 前記表示装置は、データを記録する記録部をさらに備えており、前記処理
ステップは、前記第２のデータ出力後に、前記記録部により記録された前記切り替え時点からの映像を表示することを指令するステップをさらに有する付記６３記載のプログラム。

（付記６５） 前記表示装置は、前記第１のデータを受信する第１の受信部と、第２のデ
ータを受信する第２の受信部とを有する付記４６記載のプログラム。

（付記６６） 通信部を備えるコンピュータに、映像を表示する表示部と、前記映像上の
位置を指示操作する指示部とを有する、そのような表示装置を制御させるプログラムであり、指示操作された映像中の対象物を認識する認識手段を有するサーバに、前記指示操作された映像上の位置を送信するステップと、前記サーバによって認識された前記映像中の対象物に係る情報を前記サーバから受信するステップと、前記認識された対象物に関連付けられる所定の処理を実行する処理ステップと、を実行させるプログラム。（６）
（付記６７） 前記表示装置は、データを受信する受信部をさらに備えており、前記受信
部は、前記映像を含む第１のデータと、その第１のデータの映像における対象物に関連付けられる第２のデータとを受信し、前記処理ステップは、前記認識された対象物に関連付けられる第２のデータを前記表示装置に出力させる付記６６記載のプログラム。

（付記６８） 前記第２のデータは、前記第１のデータの映像に関連付けられる画像を含
む付記６７記載のプログラム。

（付記６９） 前記第２のデータは、前記第１のデータに多重化されて配信される付記６
７記載のプログラム。

（付記７０） 前記第２のデータは、前記第１のデータの余白に埋め込まれる付記６９記
載のプログラム。

（付記７１） 前記所定の処理は、前記認識された対象物に関連付けられるアプリケーシ
ョンプログラムの実行である付記６６記載のプログラム。

（付記７２） 前記所定の処理は、前記認識された対象物に関連付けられるタスクの実行
である付記６６記載のプログラム。

（付記７３） 前記処理ステップは、前記通信部を介して、前記認識された対象物に関連
付けられるタスクの実行を前記タスク実行装置に指令する付記６６記載のプログラム。

（付記７４） 前記表示装置は、記録媒体に記録された映像を再生する再生部を有し、前
記記録媒体は、第１の映像と、その第１の映像に対応する対象物に関連付けられる第２の画像とを記録しており、前記処理ステップは、前記認識された対象物に関連付けられる第２の画像を前記記録媒体から再生して前記表示装置に表示させる付記４６記載のプログラム。

（付記７５） 前記表示装置は、情報を集計するサーバに情報を送信する通信部をさらに
備えており、前記処理ステップは、前記認識された対象物に係る情報を前記サーバに通知し、前記認識結果を集計させる付記４６記載のプログラム。

（付記７６） 前記表示装置は、記録媒体に記録された映像を再生する再生部をさらに備
えており、前記送信するステップは、前記再生される映像が指示操作されたときに、その映像を特定する情報と映像上の指示操作された位置を特定する情報とを前記サーバに送信する付記６６記載のプログラム。

（付記７７） 通信部を備えるコンピュータを、映像を含むデータを受信する受信部と、
前記映像を表示する表示部と、前記映像上の位置を指示操作する指示部とを有する表示装置と連携させるプログラムであり、前記指示操作された位置に係る情報を表示装置から受信するステップと、指示操作された映像中の対象物を前記表示装置から受信した情報により認識するステップと、前記認識された対象物に係る所定の処理を実行する処理ステップとを実行させるプログラム。（７）
（付記７８） 前記処理ステップは、前記認識された対象物に係る情報を前記表示装置に
送信するステップをさらに有する付記７７記載のプログラム。

（付記７９） 前記所定の処理は、前記認識された対象物に関連付けられるタスクの実行
である付記７７記載のプログラム。

（付記８０） 前記処理ステップは、前記通信部を介して、他のタスク実行装置に対して
前記認識された対象物に関連付けられるタスクの実行を指令する付記７７記載のプログラム。

（付記８１） 前記処理ステップは、前記通信部を介して、情報を集計するサーバに、前
記認識された対象物に係る情報を通知し、前記認識結果を集計させる付記７７記載のプログラム。

（付記８２） 前記通信部は、電子メールを発信する電子メールサーバと通信し、前記処
理ステップは、前記通信部を介して、前記認識された対象物に係る電子メールの送信を指令する付記７７記載のプログラム。

（付記８３） 通信部を備えるコンピュータを、データ配信システムから映像を含むデー
タを受信する受信部と、前記映像を表示する表示部と、前記映像上の位置を指示操作する指示部とを有する表示装置と連携させ、前記データ配信システムに指令を送信させるプログラムであり、前記映像上の指示操作された位置に係る情報を表示装置から受信するステップと、指示操作された映像中の対象物を前記表示装置から受信した情報により認識するステップと、前記対象物に関連付けられた指示を参照するステップと、前記指示にしたがい前記データ配信システムに対し、配信するデータの切り替えを指令するステップとを実行させるプログラム。（８）
（付記８４） 通信部を備えるコンピュータに、被集計情報を受信するステップと、前記
被集計情報を分類する、そのような分類情報を参照するステップと、前記分類情報にしたがい、被集計情報を分類して集計するステップと、前記集計部が分類できない被集計情報を記録するステップと、前記情報記録部に記録された被集計情報を分類するための新たな分類情報を生成するステップと、前記生成された分類情報に基づき前記被集計情報を再集計するステップを実行させるプログラム。（９）
（付記８５） 前記被集計情報は、アンケートに対する回答である付記８４記載のプログ
ラム。

（付記８６） 前記アンケートに対する回答は、映像上の位置に係る情報であり、前記分
類情報は、前記映像の部分に対応して構成される領域情報を有する付記８５記載のプログラム。

（付記８７） コンピュータに、被写体の画像を取得するステップと、前記被写体の複数
箇所に装着される信号発生部からの信号を検出するステップと、前記画像と前記信号とを関連付けて記録するステップと、前記被写体または被写体の部分の前記画像上での占有領域を規定する情報を前記信号から作成するステップとを実行させるプログラム。（１０）（付記８８） コンピュータを、商品を含む映像を受信する受信部と、前記映像を表示す
る表示部と、前記映像上の位置を指示操作する指示部とを有する表示装置と連携させるプログラムであり、前記指示操作された位置に係る情報を表示装置から受信するステップと、前記指示操作された映像中の対象物を前記表示装置から受信した情報により認識するステップと、指示操作に対する対象物を認識できないとき、その位置に係る情報を記録するステップと、前記記録された位置に係る情報を集計して報知するステップとを実行させ、対象物として想定されていない映像部分に係る商品の広告斡旋を支援するプログラム。

（付記８９） コンピュータに、映像を含むデータを受信する受信部と、前記映像を表示
する表示部と、前記映像上の位置を指示操作する指示部とを有する表示装置と連携させるプログラムであり、前記指示操作された位置に係る情報を表示装置から受信するステップと、前記指示操作された映像中の対象物を前記表示装置から受信した情報により認識するステップと、指示操作に対する対象物を認識できないとき、その位置に係る情報を記録するステップと、前記記録された位置に係る情報を集計して報知するステップとを実行させ
、前記映像についての情報調査を支援させるプログラム。

（付記９０） コンピュータに、データ配信システムから映像を含むデータを受信する受
信部と、前記映像を表示する表示部と、前記映像上の位置を指示操作する指示部と、映像における対象物を認識するサーバと通信する通信部とを備える表示装置を制御させるプログラムであり、前記表示部に表示された第１のデータの映像が指示操作されたときに、前記通信部を介して前記指示操作された映像上の位置に係る情報とその映像を特定する情報とを前記サーバへ送信させ、前記サーバに対して、指示操作された映像の位置に応じて、配信するデータの切り替えを前記データ配信システムへ指令させるステップと、切り替えられた第２のデータを受信するステップと、その第２のデータを表示するステップとを実行させるプログラム。

本発明の第１実施形態に係るオンデマンド広告提供システムのシステム構成図 オンデマンド広告の例を示す図 オンデマンド広告の例を示す図 受像機１のハードウェア構成図 オブジェクトの例１ オブジェクトの例１に対するオブジェクト分布情報を示す図 リンク情報のデータ構成を示す図 ポインティング操作を検出する処理を示すフローチャート ポイントオブジェクトの判定処理の詳細を示すフローチャート オブジェクトの変形例を示す図 オブジェクトの変形例に対するオブジェクト分布情報 第２実施形態におけるポイント検出機能の原理を説明する図 受像機１において実行されるオブジェクト生成処理を示すフローチャート 第３実施形態におけるオンデマンド広告提供システムのシステム構成図 ポイント処理サーバ１１のハードウェア構成図 ポイント情報４０のデータ構成図 ポイント操作検出処理を示すフローチャート ポイント処理サーバ１１の処理を示すフローチャート 第４実施形態におけるオンデマンド広告提供システムのシステム構成図 第５実施形態におけるオンデマンド広告提供装置の構成図 オブジェクト分布情報３２ａのデータ構成図 ポイント判定・広告提供処理を示すフローチャート 第５実施形態の変形例におけるオンデマンド広告提供装置の構成図 第５実施形態の変形例におけるオンデマンド広告提供装置の構成図 第５実施形態の変形例におけるオンデマンド広告提供装置の構成図 第６実施形態に係るタイムシフトによるオンデマンド広告提供装置の構成図 タイムシフトによるポイント判定・広告提供処理の概念図 タイムシフトによるポイント判定・広告提供処理を示すフローチャート 第６実施形態の変形におけるタイムシフトによるポイント判定・広告提供処理の概念図 第６実施形態の変形におけるタイムシフトによるポイント判定・広告提供処理を示すフローチャート 第７実施形態に係るオンデマンド広告提供システムのシステム構成図 ポイント情報４０ａのデータ構成図 第８実施形態に係るパソコン入門ビデオ表示装置の構成図 オブジェクト分布情報３２ｂのデータ構成図 パソコン入門ビデオの表示例 第９実施形態に係るテレビショッピングシステムのシステム構成図 テレビショッピングシステムの処理手順を示す図 オブジェクト分布情報３２ｃのデータ構成図 ポイント情報４０ｃのデータ構成図 視聴契約者情報のデータ構成図 第９実施形態の変形例に係るテレビショッピングシステムのシステム構成図 テレビショッピングシステムの処理手順を示す図 第１０実施形態におけるアンケートシステムのシステム構成図 画面上のオブジェクトの分布を示す図 ポイント処理サーバ１１の処理を示すフローチャート 第１０実施形態の変形例に係るアンケートシステムの処理概要を示す図 集計サーバ８１の処理を示すフローチャート 択肢不明の回答の再集計処理を示すフローチャート 第１１実施形態に係る撮影システムのシステム構成図 カメラ８５に撮影された画像と生成されたオブジェクトを対応付ける手順を示す図 広告斡旋システムの処理手順を示す図 映像ベースの情報検索システムの手順を示す図 ポイント可能なオブジェクトを強調表示するときの表示仕様を示す図 特定のスポンサの商品に対応するオブジェクトを強調表示する例 オブジェクト分布情報３２ｄのデータ構成を示す図 スポンサの商品を強調表示する処理を示すフローチャート 第１５実施形態におけるマルチストーリービデオの概要を示す図 マルチストーリービデオの表示処理を示すフローチャート 複数の視聴者の操作によって映像が変化する番組の例 広告の有効性を測定するシステムの処理手順 流行の判断を支援するシステムの処理手順を示すフローチャート 第１９実施形態に係る情報提供システムのシステム構成図

符号の説明

１ 受像機
２、１２ ＣＰＵ
３、１３ メモリ
４、１４ ハードディスク
５、１５ 表示部
６ 受信部
７ ポインティングデバイス
８、１８ 通信部
１１ ポイント処理サーバ
２０ ビデオデッキ
２１ 記録／再生部
２２ ポイント処理部
３２、３２ａ、３２ｂ、３２ｃ オブジェクト分布情報
３３ 番組識別情報
３４ フレーム識別情報
３５ オブジェクト形状情報
４０ ポイント情報
６０ 画像記録／再生装置
７１ オンラインショップ用サーバ
８１ 集計用サーバ
８５ カメラ
８６ 位置特定システム
２０１ 表示装置
２０２ サーバ

Claims (7)

1. 映像を含むデータを受信する受信部と、前記映像を表示する表示部と、前記映像上の位置を指示操作する指示部とを有する表示装置と連携するサーバであり、
   前記指示操作された位置に係る情報を表示装置から受信する通信部と、
   指示操作された映像中の対象物を前記表示装置から受信した情報により認識する認識部と、
   前記認識された対象物に係る所定の処理を実行する処理部とを備えたサーバ。
2. 前記処理部は、前記通信部を介して、前記認識された対象物に係る情報を前記表示装置に送信する請求項１記載のサーバ。
3. 前記処理部は、前記認識された対象物に関連付けられるタスクを実行する請求項１記載のサーバ。
4. 前記処理部は、前記通信部を介して、他のタスク実行装置に対して前記認識された対象物に関連付けられるタスクの実行を指令する請求項１記載のサーバ。
5. 前記通信部は、情報を集計するサーバに、前記認識された対象物に係る情報を通知し、前記認識結果を集計させる請求項１記載のサーバ。
6. 前記通信部は、電子メールを発信する電子メールサーバと通信し、
   前記処理部は、前記通信部を介して、前記認識された対象物に係る電子メールの送信を指令する請求項１記載のサーバ。
7. 通信部を備えるコンピュータを、映像を含むデータを受信する受信部と、前記映像を表示する表示部と、前記映像上の位置を指示操作する指示部とを有する表示装置と連携させるプログラムであり、
   前記指示操作された位置に係る情報を表示装置から受信するステップと、
   指示操作された映像中の対象物を前記表示装置から受信した情報により認識するステップと、
   前記認識された対象物に係る所定の処理を実行する処理ステップとを実行させるプログラム。

Images