JP2006209658A - 表示出力装置、表示出力方法およびコンピュータプログラム - Google Patents

Abstract

【課題】記憶媒体に記憶されている動画データを再生した際に表示される商品オブジェクトについて、該商品オブジェクトの実物を販売する販売サイトへとネットワークを介して接続可能とする技術を提供する。
【解決手段】動画データの表示出力装置において、記憶媒体に記憶されているいずれかの情報に基づいて、動画データのタイトルを特定可能な固有の識別情報を取得する手段と、取得された識別情報に基づいて、商品オブジェクトの実物を販売する販売サイトのアドレス情報を含む付帯情報を取得する手段と、取得した付帯情報に含まれるラベル情報を、ラベル情報に対応する商品オブジェクトに合わせて表示出力する手段と、表示出力されたラベル情報に対する選択指定指示を入力する手段と、アドレス情報を付帯情報から読み出し、商品オブジェクトの実物の販売サイトへと接続する手段とを有することを特徴とする。
【選択図】図１

Description

本発明は、動画データの付帯情報を利用する表示出力技術に関するものである。

テレビ放送局から放送されている番組をテレビ受像機で表示する際に、映し出されている製品や場所についての説明文を、当該番組の放送時刻とマトリクス座標情報とから特定してサーバから受信する技術がある（特許文献１、２）。

また、テレビ番組に登場するアイテムにインジケータをスーパーインポーズして表示し、当該インジケータが選択されると電子的な広告情報をテレビ受像機に表示させるシステムが提案されている（特許文献３）。

なお、動画（映画やドラマ）の配信方法としては、放送局からのテレビ放送という方法以外にも、ＤＶＤ等の記憶媒体に記憶して販売する方法も存在する。
特開２００１−２５１６０６号公報 特開２００３−８５３９１号公報 特表２００２−５３４０１７号公報

しかしながら、上述の従来技術は、テレビ放送に関するものであり、リアルタイムでテレビ番組を視聴していなければ実現できないという欠点を有している。

たとえば、ＤＶＤとして販売されている映画やドラマにおいても、俳優が身に付けていた服や装飾品などを視聴者が購入したいと考える場合があるが、上述の従来技術ではこのようなニーズを満たすことができない。

そのため、ＤＶＤ等の記憶媒体に記憶されている動画データを再生したときに、俳優が身に付けていた服や装飾品に対して商品名や値段などを示すラベル情報を表示し、視聴者に商品名や値段を把握しやすくするとともに、即座に、その販売サイトへとアクセス可能な技術を提供することが課題となっている。

また、新規に販売する記憶媒体だけでなく、既に流通している既存の記憶媒体においても同様に対応することも課題となっている。

本発明では、記憶媒体に記憶されている動画データの表示出力装置において、記憶媒体に記憶されているいずれかの情報に基づいて、動画データのタイトルを特定可能な固有の識別情報を取得する識別情報取得手段と、取得された識別情報に基づいて、動画データに含まれる所定の商品オブジェクトに対応付けて表示されるラベル情報と商品オブジェクトの実物を販売する販売サイトのアドレス情報とを含む商品オブジェクト付帯情報を取得する商品オブジェクト付帯情報取得手段と、動画データを表示出力する際に、取得した商品オブジェクト付帯情報に含まれるラベル情報を、ラベル情報に対応する商品オブジェクトに合わせて表示出力する表示出力手段と、表示出力されたラベル情報に対する選択指定指示を入力する入力手段と、選択指定指示されたラベル情報に対応するアドレス情報を付帯情報から読み出し、商品オブジェクトの実物を販売する販売サイトへと接続する接続手段とを有することを特徴とする。

なお、本発明において、「商品オブジェクト付帯情報」とは、商品オブジェクトに付帯する付帯情報のことをいう。

本発明によれば、記憶媒体に記憶されている動画データを再生した際に表示される商品オブジェクトについて、視聴者が表示出力装置により表示される画面上の商品オブジェクトの選択指定指示を行うことで、該商品オブジェクトの実物を販売する販売サイトへとネットワークを介して接続可能とする技術を提供することができる。

以下に、図面を参照して、本発明を実施する上で参考になると思われる好適な実施の形態を例示する。ただし、この実施の形態として記載されている構成要素はあくまで例示であり、本発明の技術的範囲をそれらのみに限定する趣旨のものではない。

（第１実施形態）
本発明に係る表示出力装置の一実施形態としてＤＶＤ再生装置について説明する。当該ＤＶＤ再生装置は、まず、ＤＶＤの識別情報をインターネット上のサーバに送信する。次に、ＤＶＤ再生装置は、識別情報に対応する特定の付帯情報を取得して画面に表示させる。そして、ＤＶＤ再生装置は、画面に表示される商品を販売している販売サイト等へ接続する。

＜システム構成＞
図１は、実施形態に係る表示出力システムの一例を示す図である。この例では、視聴者の利用するＤＶＤ再生装置１０１と、様々なＤＶＤタイトル（映画やテレビドラマの種別）に対応した付帯情報１０５を記憶している付帯情報サーバ１０２と、商品の紹介・販売を行っている商品販売サーバ１０３がインターネット１１０を介して接続されている。ＤＶＤタイトルとは、ＤＶＤに記憶された動画コンテンツ（映画、テレビドラマなど）を指している。また、ＤＶＤとは、書き換え不可能な記憶メディアを指している。なお、本実施形態では、ＤＶＤを一例として説明するが、ブルーレイディスクやＨＤ―ＤＶＤなど、他の記憶メディアであっても本発明を適用できることは言うまでもない。

視聴者の利用するＤＶＤ再生装置１０１は、ＤＶＤ１０４内に記憶されている動画データを表示画面上に表示出力する機能を有するとともに、インターネット１１０を介して各種サーバに接続する。

付帯情報１０５を記憶している付帯情報サーバ１０２は、コンピュータの一種であり、たとえば、映画やテレビドラマを紹介する会社の運営するサイトに設置される。付帯情報サーバ１０２は、様々な会社から販売される様々なＤＶＤタイトルのそれぞれに対し、表示される商品の情報等を含む付帯情報１０５を記憶している。付帯情報１０５は、商品自身の説明であるラベル情報の他、商品に関連するサイトに接続するためのアドレス情報（ＵＲＬ等）などを含んでいる。なお、以下では、実際の商品や役務を実物と称し、画面上に表示された商品や役務を商品オブジェクトと呼ぶことにする。

商品販売サーバ１０３も、コンピュータの一種であり、通常用いられているｗｅｂブラウザを利用して商品購入手続きが可能なように構成された既存のサーバであってもよい。なお、たとえば商品オブジェクトに応じて商品販売サーバ１０３は複数設置することも可能である。

図２は、実施形態に係る表示画面の推移の一例を示す図である。通常の表示画面２０１には、ＤＶＤを再生することによりコンテンツが表示されるとともに、表示画面の右下にはラベル表示のオン／オフを切り替えるためのスイッチ２１０が設けられている。スイッチ２１０が指示具（ポインティングデバイスのポインタなど）２１１によってオンに切り替えられると、ＤＶＤ再生装置１０１は、視聴しているＤＶＤタイトルに関する付帯情報１０５を付帯情報サーバ１０２から取得し、付帯情報１０５から得られる商品オブジェクトのラベル情報をＤＶＤタイトルの再生画面に重ね合わせて表示画面２０２に表示する。

視聴者が指示具ポインタ２１１を操作することで、表示画面２０２上に表示された商品オブジェクトまたはラベル情報が選択指定指示されたことを検出すると、ＤＶＤ再生装置１０１は、選択指定指示された商品オブジェクトまたはラベル情報に対応するアドレス情報を付帯情報１０５から読み出す。続いて、ＤＶＤ再生装置１０１は、読み出したアドレス情報を元に、選択指定指示された商品オブジェクトの実物を販売している商品販売サーバ１０３に接続し、画面を見ながら商品購入手続きを行えるようにする。

＜機能ブロック＞
図３は、実施形態に係るＤＶＤ再生装置、付帯情報サーバおよび商品販売サーバの例示的な機能ブロック図である。ＤＶＤ再生装置１０１は、キーボードやマウス等の入力デバイスにより視聴者からの指示を受け付ける入力部３０１と、インターネット１１０を経由して他のサーバ等に接続するための接続部３０２と、ＤＶＤ等の記憶メディアからファイルサイズやタイムスタンプを読み取り、識別ＩＤを導出するための識別情報取得部３０３と、視聴者が視聴している動画の付帯情報１０５を付帯情報サーバ１０２から取得する付帯情報取得部３０４と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示デバイスに表示出力する表示出力部３０５とを備えている。

付帯情報サーバ１０２は、ＨＤＤ等のデバイスにより付帯情報１０５を記憶している付帯情報記憶装置３１１、インターネット１１０に接続している他の装置と通信を行うための通信装置３１２、および他の端末からの要求に応じて付帯情報記憶装置３１１に記憶されている付帯情報１０５を取得し要求元の端末に送信する等の情報処理制御を行う制御装置３１３を含む。

商品販売サーバ１０３は、ＨＤＤ等のデバイスにより商品販売情報を記憶している商品販売情報記憶装置３２１、インターネット１１０に接続している他の装置と通信を行うための通信装置３２２、および他の端末からの要求に応じて商品の販売処理制御を行う制御装置３２３を含む。

＜システムの動作＞
図４は、実施形態に係るＤＶＤ再生装置１０１、付帯情報サーバ１０２および商品販売サーバ１０３の動作フローの概略を示す図である。付帯情報サーバ１０２にはあらかじめ、様々なＤＶＤタイトルに対する付帯情報１０５がタイトルに固有の識別ＩＤと対応付けられて記憶されている。また、商品販売サーバ１０３は、端末からのｗｅｂブラウザを利用した要求に応じて商品の商品購入手続きが可能なように構成されている。なお、ここでは付帯情報１０５にはＤＶＤ１０４内に記憶されている動画データを再生した際に表示される様々な商品オブジェクトの情報（たとえば、商品名、価格、商品販売サーバ１０３のＵＲＬ等）が含まれている。

ステップＳ４０１において、視聴者がＤＶＤを視聴するために、ＤＶＤ再生装置１０１へＤＶＤ１０４を挿入すると、ＤＶＤ再生装置１０１は、ＤＶＤ１０４に記憶されている情報から、識別ＩＤを取得する。

ステップＳ４０２において、ＤＶＤ再生装置１０１は、あらかじめ記憶されている付帯情報サーバ１０２のアドレス情報を用いて、付帯情報サーバ１０２に対し、Ｓ４０１で導出された識別ＩＤに対応する付帯情報１０５を要求する。

ステップＳ４０３において、付帯情報サーバ１０２は、ＤＶＤ再生装置１０１に対し、ＤＶＤ再生装置１０１から受信した識別ＩＤに対応する付帯情報１０５を読み出して送信する。

ステップＳ４０４において、視聴者がＤＶＤ１０４を再生するようにＤＶＤ再生装置１０１を操作すると、ＤＶＤ再生装置１０１は、ＤＶＤ１０４に記憶されている動画データを表示するとともに、取得した付帯情報１０５に含まれるラベル情報に基づいて、動画データの各時刻における商品ラベルを生成し、動画データ上に重ねて表示を行う。

ステップＳ４０５において、ＤＶＤ再生装置１０１は、再生中に、視聴者の指示具２１１の操作等による商品オブジェクトの選択指定指示を入力部３０１において受け付ける。選択指定指示とは、たとえば画面上の指示具（たとえばマウスカーソル等のポインタ）２１１による画面上に表示されている商品ラベルの選択（たとえばマウスのクリック）を意味する。

ステップＳ４０６において、ＤＶＤ再生装置１０１は、ｗｅｂブラウザを起動するとともに、ステップＳ４０５で選択指定指示された商品オブジェクトに対応する商品販売サーバ１０３のアドレス情報を付帯情報１０５から読み出してｗｅｂブラウザに引渡し、商品販売サーバ１０３へ商品購入のための画面要求を送信する。

ステップＳ４０７において、ＤＶＤ再生装置１０１からの画面要求を受信した商品販売サーバ１０３は、ＤＶＤ再生装置１０１に対し商品購入のための画面情報（ＨＴＭＬファイル、画像情報およびスクリプトなど）を送信する。

ステップＳ４０８において、ＤＶＤ再生装置１０１は、商品販売サーバ１０３から受信した画面情報をｗｅｂブラウザ上に表示する。視聴者は、このようにして表示された購入画面に従い、商品の購入手続きを行うことが可能となる。

以上説明したとおり本実施形態によれば、ＤＶＤ再生装置１０１において、視聴者が視聴しているＤＶＤ１０４に対応した付帯情報１０５をインターネット１１０上の付帯情報サーバ１０２から取得し、視聴者の見ている動画データの再生画面上に重ね合わせて商品ラベルを表示することが可能となる。また、付帯情報１０５に商品販売サーバ１０３のアドレス情報を含むことにより、視聴者は動画データの再生画面上に表示された商品オブジェクトに対する商品ラベルを選択することにより、商品オブジェクトの実物を販売する商品販売サーバ１０３に簡単に接続することができる。

（第２実施形態）
本実施形態においては、特にＤＶＤ再生装置１０１における内部デバイスと処理との関連について詳細に説明する。

＜装置内部構成＞
図５は、実施形態に係るＤＶＤ再生装置１０１の内部構成の一例を示す図である。この例で、ＤＶＤ再生装置１０１は、ＤＶＤ１０４から映像データを読み取るＤＶＤドライブ５０１と、インターネット上の他の端末と通信するための通信装置５０２と、各種プログラムを実行するためのＣＰＵ５０３と、各種データを一時記憶するためのＲＡＭ５０４と、各種プログラムやパラメータ（付帯情報サーバ１０２のアドレス情報等）を記憶しているＲＯＭ５０５と、文字入力するためのキーボード５０６と、画面上の位置指示に使用されるマウス５０７と、ＣＰＵ５０３からの表示命令に応じて描画処理を実行する表示回路５０８を含んでおり、表示回路５０８により出力された映像を表示するためにＬＣＤ等の表示装置５０９を接続している。なお、文字入力や画面上の位置入力を行うためのデバイスとしてはスクリーンキーボード、タッチパネルもしくはリモコン等既存の様々な入力デバイスであってもよい。

なお、ＣＰＵ５０３で実行される主たるプログラムとしては、たとえば、識別情報取得プログラム５１１、付帯情報取得プログラム５１２、表示制御プログラム５１３およびＷｅｂブラウザ５１４などが挙げられる。各プログラムの機能については後述する。

本実施形態に係る各機器およびプログラムは、第１実施形態で説明した機能ブロックの下位概念と呼ぶべきものであるが、両者の対応関係はおおまかに以下のようになっている。キーボード５０６、マウス５０７および入力ＩＦ５１０は入力部２０１に対応している。通信装置５０２は接続部２０２に対応している。ＤＶＤドライブ５０１、ＣＰＵ５０３および識別情報取得プログラム５１１は識別情報取得部２０３に対応している。ＣＰＵ５０３および付帯情報取得プログラム５１２は付帯情報取得部２０４に対応している。表示回路５０８、ＣＰＵ５０３および表示制御プログラム５１３は表示出力部２０５に対応している。

＜付帯情報のデータ構造＞
図６は、実施形態に係る付帯情報１０５のデータ形式の一例を示す図である。この例では、付帯情報１０５をＸＭＬ（ｅＸｔｅｎｓｉｖｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式で記述する際のＤＴＤ（Ｄｏｃｕｍｅｎｔ Ｔｙｐｅ Ｄｅｆｉｎｉｔｉｏｎ）を示している。付帯情報１０５に記述されるべきデータ項目は、ＤＴＤのデータツリー構造に従い、ＤＶＤタイトルごとにＸＭＬ形式でラベル情報が記述されることになる。ＸＭＬ形式は、当業者に非常によく知られているため、当業者であれば特別の勉強をすることなく理解でき、好ましいだろう。もちろん、結果的に付帯情報１０５を好適に記述できるのであれば、ＸＭＬ形式以外の記述形式を採用してもよいことはいうまでもない。

図６において、ＤＶＤのタイトル情報６０１には、ＤＶＤの識別ＩＤとＤＶＤのビデオタイトルに関する情報が含まれている。商品オブジェクトのラベル情報６０２には、商品の表示名、商品のカテゴリー、商品の説明文、アイコン情報、および商品の実物を紹介・販売しているサーバのアドレス情報などが含まれている。動画のフレームの情報６０３には、動画フレームごとの商品オブジェクトまたはラベル情報を表示するための座標位置情報が含まれている。換言すれば、動画フレームの情報６０３には、各ラベル情報について、各再生タイムライン上での時刻（タイトル、チャプターやフレーム番号など）ごとの表示座標に関する情報が含まれていることになる。

ここで、ＤＶＤのタイトル情報６０１は、原則として１つのＤＶＤタイトルに対し唯一のキーとなる情報である。商品オブジェクトのラベル情報６０２は、ラベル情報の付加対象となる商品オブジェクトに対応したキーであり、１つのＤＶＤタイトルに対し商品の種類の数だけ存在する。動画のフレームの情報６０３には、たとえば、時刻（もしくはフレーム番号）に関する情報と、座標位置情報（たとえばＸＹ座標に関する情報）が含まれる。また、座標位置情報は、画面に表示される再生時間に相当する数（たとえばフレーム数）だけ存在する。たとえば、１フレームまたは数フレームにつき１つの座標位置情報が存在することになる。

なお、ある時刻において画面上に複数のラベルが表示されることもある。その際は、ある再生時刻に対応するフレームの情報６０３が複数含まれることになる。

ところで、付帯情報１０５のデータツリー構造には種々のものを採用可能である。たとえば、図６では、ＤＶＤのタイトル情報６０１−ラベル情報６０２−動画フレームの情報６０３というツリー形式を示しているが、ＤＶＤのタイトル情報６０１−動画フレームの情報６０３−ラベル情報６０２というツリー形式でも、もちろん記述可能である。しかしながら、その場合、フレーム（再生時刻）により変化しないラベル情報６０２を画面に表示される再生時刻に相当する数（たとえばフレーム数）だけ記述する必要性が生じ、その結果、付帯情報１０５のファイルサイズの肥大化といった問題が発生する。そのため、図６に示されるツリー構造の方が付帯情報１０５のファイルサイズの点では有利となる。図６のツリー構造であれば、フレーム（再生時刻）により変化しないラベル情報６０２を一度記載するだけで十分となるからである。

＜各プログラムの機能＞
図５において、識別情報取得プログラム５１１は、ＤＶＤドライブ５０１の読み取り動作を制御することで、ＤＶＤ１０４から識別ＩＤに関する情報（たとえば動画データの容量、タイムスタンプ等）を読み出し、所定の演算を実行して識別ＩＤを取得する。なお、識別ＩＤが直接ＤＶＤ１０４に記憶されている場合、その識別ＩＤを読み出せばよい。

この識別ＩＤは、多数のタイトルに対応できる程度に十分な長さ（たとえば３２ｂｉｔ長）とすることが望ましいだろう。なお、取得された識別ＩＤは、付帯情報サーバ１０２におけるＤＶＤのタイトルごとに用意された何れかの識別ＩＤと同一の識別ＩＤとなる。

付帯情報取得プログラム５１２は、識別情報取得プログラム５１１により得られた識別ＩＤを付帯情報サーバ１０２に送信し、付帯情報サーバ１０２に記憶された当該識別ＩＤと同一の識別ＩＤを持つ付帯情報１０５を取得する機能を有する。つまり、ＤＶＤドライブ５０１にセットされたＤＶＤ１０４のタイトル用の付帯情報１０５が取得される。

Ｗｅｂブラウザ５１４は、通常コンピュータで利用されているプラグラムと同様のものであり、インターネット１１０に接続されたｗｅｂサーバ（ｗｅｂ）と接続し、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等により通信が可能なプログラムである。

＜ＤＶＤ再生装置の詳細動作＞
図７は、実施形態に係る付帯情報１０５の取得処理の例示的なフローチャートである。

ステップＳ７０１において、ＤＶＤ再生装置１０１の電源が投入されると、ＣＰＵ５０３は、ＤＶＤ１０４の挿入待機状態に移行する。ＤＶＤ１０４が挿入されると、ＣＰＵ５０３は、識別情報取得プログラム５１１を実行し、ＤＶＤ１０４に記憶されている情報（たとえば動画データの容量、タイムスタンプ等）から識別ＩＤを取得する。

ステップＳ７０２において、ＣＰＵ５０３は、付帯情報取得プログラム５１２を実行し、ＲＯＭ５０５に記憶されている付帯情報サーバ１０２のアドレス情報を読み出し、付帯情報サーバ１０２に識別ＩＤを送信し、対応する付帯情報１０５の取得を試みる。

ステップＳ７０３において、ＣＰＵ５０３は、付帯情報サーバ１０２からの応答を元に、送信した識別ＩＤに対応する付帯情報１０５の取得可否を判断する。取得可能と判断された場合は、ステップＳ７０４に移行する。付帯情報１０５の取得が不可能と判断された場合、ＣＰＵ５０３は、付帯情報１０５を用いない通常モードでＤＶＤ再生を実行すべく、再生開始の待ち受け状態（Ｓ７０５）に移行することになる。

ステップＳ７０４において、ＣＰＵ５０３は、識別ＩＤに対応した付帯情報１０５を付帯情報サーバ１０２から取得し、ＲＡＭ５０４に記憶する。

ステップＳ７０５において、ＣＰＵ５０３は、再生開始の待ち受け状態に移行する。ここで、再生指示を表す指示がキーボードやマウス等から入力されると、後述する再生表示処理に進む。

ところで、ＣＰＵ５０３は、識別ＩＤに対応した付帯情報１０５を取得した場合に限り、表示装置５０９にスイッチ２１０を表示してもよい。すなわち、付帯情報１０５を取得できなかった場合、スイッチ２１０を非表示にしたり、操作不能の状態で表示したりしてもよいのである。このようにすることで、視聴者は、スイッチ２１０の表示の有無により、装置にセットされているＤＶＤがラベル情報を表示可能なＤＶＤタイトルであるか否かを、視覚的に判断し易くなろう。

さらに、ポインタ２１１によるスイッチ２１０の押下等を検出することで、ＣＰＵ５０３は、ラベル情報に関する表示オン／表示オフの切替え（つまり表示画面２０１と表示画面２０２の切替え）を実行する。すなわち、商品の購入に興味がないユーザは、ラベル表示をオフにすることで、動画に集中できる利点がある。また、興味を引く商品が表示画面に登場したときにのみ、スイッチ２１０を操作して、商品の情報を取得したり、実物の販売サイトにアクセスしたりすることも可能である。

ところで、ステップＳ７０３およびステップＳ７０４の通信処理においては、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いることが望ましいだろう。なぜなら、ＨＴＴＰはファイアウォールによるアクセス制限の影響を受けにくいという特徴をもつからである。もちろん、販売サイトに対して好適にアクセスできるのであれば、ＨＴＴＰ以外のプロトコルを用いてもよいことはいうまでもない。

図８は、実施形態に係る再生表示処理の例示的なフローチャートである。この例は、図８のフローにてＤＶＤ再生装置１０１が付帯情報１０５を取得できたときの再生表示処理についてのものである。なお、下記のいずれの時点においても、スイッチ２１０が表示されているものとし、マウス５０７によるポインタ２１１の操作によりオン／オフ切替え（つまり表示画面２０１と表示画面２０２の切替え）が可能であるものとする。

ステップＳ８０１において、視聴者による再生ボタン押下等により再生動作が開始されると、ＣＰＵ５０３は、表示制御プログラム５１３を実行し、ＲＡＭ５０４から付帯情報１０５を読み出し、再生中の動画の時刻を基準としたラベル情報画面を生成する。ラベル情報画面の生成する処理の詳細は後述する。

ステップＳ８０２において、ＣＰＵ５０３は、所定のフレームごとにステップＳ８０１で生成したラベル情報画面を、表示制御回路５０８を用いてＤＶＤからの動画データに合成し、表示装置５０９へ出力する。

ステップＳ８０３において、ＣＰＵ５０３は、動画データの再生中に、視聴者によるマウス５０７のクリックなど、入力ＩＦ５１０を通じて、表示画面上の商品オブジェクトに対する選択指定指示があったかどうかを判定する。商品オブジェクトに対する選択指定指示は、たとえば、当該商品オブジェクトに対応するラベル画像に対する選択指定指示であってもよい。商品オブジェクトへの選択指定指示があった場合は、ステップＳ８０４に進み、そうでなければステップＳ８０６に進む。

ステップＳ８０４において、ＣＰＵ５０３は、選択指定指示された商品オブジェクトに関連するアドレス情報をＲＡＭ５０４に記憶されている付帯情報１０５から読み出す。また、ＣＰＵ５０３は、ｗｅｂブラウザプログラム５１４を実行し、読み出したアドレス情報をｗｅｂブラウザプログラム５１４に渡し、商品販売サーバ１０３へ接続する。

ステップＳ８０５において、ＣＰＵ５０３は、ｗｅｂブラウザプログラム５１４により、商品販売サーバ１０３から受信したＨＴＭＬデータや画像データを表示する。これにより、視聴者は、ステップＳ８０４により表示された購入画面に従い、商品の購入手続きを行うことが可能となる。視聴者によりｗｅｂブラウザプログラム５１４が終了された場合は、ステップＳ８０１（つまり再生状態）に戻る。ステップＳ８０２およびステップＳ８０３の動作は、ＤＶＤ上の動画データの再生が終了するまで繰り返されることになる。

ステップＳ８０６において、ＣＰＵ５０３は、動画データの再生を終了させるべきか否かを判定する。再生を継続すべき場合は、ステップＳ８０１に戻る。再生停止の指示などが入力ＩＦを通じて入力されたときは、再生処理を終了する。

ところで、ステップＳ８０３においては、時間とともに商品オブジェクトやラベル画像の位置が画面上で変化するとともに、動画データのシーンが変わると商品オブジェクトが突然画面上から消えることも想定される。これでは、視聴者が商品オブジェクトを容易に選択指定指示できないおそれもある。

そこで、本実施形態では、ＣＰＵ５０３が、視聴者によるマウス５０７の移動等を検知した場合に、再生を一定期間または任意の期間停止するように制御してもよい。これにより、視聴者の商品選択が容易になるという利点がある。

また、ステップＳ８０３において、商品オブジェクトやラベル画像への選択指定指示がなされたとき、すなわち、販売サイトへと接続するときも、動画データの再生を停止してもよい。これにより、販売サイトを閲覧しているときは、自動的に、動画データの再生を停止することができるようになる。

以上説明したとおり本実施形態によれば、ＤＶＤ再生装置１０１において、視聴者が視聴しているＤＶＤ１０４に対応した付帯情報１０５をインターネット１１０上の付帯情報サーバ１０２から取得し、視聴者の見ている動画データの再生画面上に重ね合わせて商品ラベルを表示することが可能となる。

また、商品販売サーバ１０３のアドレス情報が付帯情報１０５に含まれているので、視聴者は動画データの再生画面上に表示された商品オブジェクトまたはラベル画像を選択指定指示することにより、商品オブジェクトの実物を販売する商品販売サーバ１０３に簡単に接続することができる。

さらに、付帯情報１０５をインターネット１１０上の付帯情報サーバ１０２から配布するようにしたので、膨大な数の付帯情報１０５を一元管理することが容易になるという利点がある。

図９は、実施形態に係るラベル情報画面を生成する処理に関するフローチャートである。また、図１０は、実施形態に係るラベル情報画面の一例を示す図である。ラベル情報画面は、ＤＶＤの再生画像を含まない画面のことを意味する。この例では、表示制御プログラム５１３が、付帯情報１０５に基づいて、各フレームに対応するラベル情報画面を生成するものと仮定している。以下では、ある再生時刻ｔにおける付帯情報１０５からラベル情報画面を生成する方法を説明する。

ステップＳ９０１において、ＣＰＵ５０３は、ＲＡＭ５０４に記憶されている付帯情報１０５から再生時刻ｔについての商品オブジェクトのラベル情報６０２を検索して抽出する。なお、この際に抽出されるラベル情報６０２の数は、再生時刻ｔのフレームにおいて画面上に表示されている商品オブジェクトの数に等しくなる。

ステップＳ９０２において、ＣＰＵ５０３は、抽出されたラベル情報６０２のそれぞれに対応する座標位置情報６０３（たとえばＸＹ座標）を読み出して、ＲＡＭ５０４に一時記憶する。

ステップＳ９０３において、ＣＰＵ５０３は、ラベル情報６０３に含まれている商品の表示名、商品のカテゴリー（衣料品、家具等）、商品の説明文、および商品の実物を紹介・販売しているサーバのアドレス情報（ＵＲＬ等）の情報などを反映したラベル画像を生成する。なおアドレス情報は、ラベル画像に含めずにＲＡＭ５０４等に記憶しておいてもよい。すなわち、視聴者によるラベル画像または商品オブジェクトへの選択指定指示がなされたときに、当該アドレス情報が使用できれば十分だからである。

ステップＳ９０４において、ＣＰＵ５０３は、各ラベル画像を、座標位置情報に従って配置し、ラベル情報画面を生成する。なお、ラベル画像を配置する際には、それぞれ重ならないように微調整することが望ましい。

以上の手順により、再生される動画データとともに表示されるラベル情報画面を好適に生成することができる。

（第３実施形態）
第１実施形態および第２実施形態では、付帯情報１０５をインターネット上の付帯情報サーバ１０２から取得することを想定していた。しかしながら、本発明はこれに限定されることはない。

たとえば、付帯情報１０５を記憶した記憶メディア（たとえばＣＤ−ＲＯＭ）を、ファッション雑誌等の付録として配布してもよい。

図１１は、実施形態に係る付帯情報１０５の取得処理に関する例示的なフローチャートである。ここでは、最初に、付帯情報１０５を記憶した記憶メディアがＤＶＤ再生装置に挿入されるものとする。

ステップＳ１１０１において、ＣＰＵ５０３は、ＤＶＤドライブ５０１に挿入された記憶メディアから付帯情報１０５を読み出し、読み出した付帯情報１０５をＲＡＭ５０４に記憶する。当該記憶メディアには、１以上のＤＶＤタイトルについての付帯情報１０５が記憶されているものとする。その後、任意のタイミングで付帯情報１０５を記憶した記憶メディアが排出され、その後、所望のＤＶＤがＤＶＤドライブ５０１に挿入されたとする。

ステップＳ１１０２において、ＣＰＵ５０３は、ＤＶＤドライブ５０１を制御し、挿入されたＤＶＤから識別ＩＤを取得し、ＲＡＭ５０４に記憶する。この取得方法は、既に説明したとおりである。

ステップＳ１１０３において、ＣＰＵ５０３は、識別ＩＤに対応する付帯情報１０５をＲＡＭ５０４に記憶されている１つ以上の付帯情報１０５のうちから検索抽出する。

ステップＳ１１０４において、ＣＰＵ５０３は、識別ＩＤに対応する付帯情報１０５を検索抽出できたか否かを判定する。抽出できなかった場合は、通常再生モードにて待機する。

一方、抽出できた場合は、ステップＳ１１０５に進み、ＣＰＵ５０３は、付帯情報付きの再生モードに設定して、再生待機する。

以上のように、付帯情報１０５が予め記憶された記憶メディアから当該付帯情報１０５をＤＶＤ再生装置１０１に読み込ませることで、付帯情報サーバ１０２を設置する場合と同様の効果が得られる。

（第４実施形態）
第１実施形態乃至第３実施形態によれば、動画データの再生画面は、表示装置５０９の画面全体を使用して全画面表示を行い、商品注文処理時は、商品注文処理画面を動画データの再生画面に代えて表示する形態を想定していた。

その場合、注文処理中に、動画データの再生画面上に表示された画像を確認することができない課題がある。

そこで、動画データの再生ウインドウと、商品注文処理用のブラウザのウインドウとをそれぞれ別ウィンドウとして表示するようにしてもよい。これにより、商品注文処理中も、商品が表示されている再生画面を確認できるという利点がある。

図１２は、実施形態に係る複数ウインドウの表示例を示す図である。表示装置５０９には、動画データの再生ウインドウ１２０１と、販売サイトを表示するためのブラウザウインドウ１２０２と、ポインタ１２０３とが示されている。ポインタ１２０３がマウス５０７の操作に連動して移動することは言うまでもない。なお、これらのウインドウは、ＣＰＵ５０３が、表示制御回路５０８を制御して、表示装置５０９に表示することになる。

（第５実施形態）
第４の実施形態では、再生ウインドウと、商品注文処理用のブラウザウインドウとを使用する例を説明した。この場合、ブラウザウインドウを使用して販売サイトにアクセスしている最中も、再生ウインドウでは動画データの再生が継続されてしまうと、視聴者は映画やドラマの一部を見損ねてしまうことになりかねない。その一方で、商品オブジェクトやラベル画像をクリックするには、これらが停止していた方がクリックしやすい。そこで、本実施形態では、このような課題を解決することを目的とする。

図１３は、実施形態に係る再生一時停止処理の例示的なフローチャートである。この例では、ＣＰＵ５０３は、再生ウインドウ１２０２内にポインタ１２０３が位置しているかどうかを判定し、位置している場合には、動画データの再生を一時停止するようにする。

ステップＳ１３０１において、ＣＰＵ５０３は、ポインタ１２０３の座標位置を取得し、ＲＡＭ５０４に記憶する。

ステップＳ１３０２において、ＣＰＵ５０３は、取得した座標位置に基づいて、ポインタ１２０３が再生ウインドウ１２０１内に位置しているか否かを判定する。位置していない場合は、再生を継続すべく、本サブルーチンを終了する。一方、ポインタ１２０３が再生ウインドウ１２０１内に位置していれば、ステップＳ１３０３に進む。

ステップＳ１３０３において、ＣＰＵ５０３は、動画データの再生を一時停止する。この間に、商品オブジェクトやラベル画像がポインタ１２０３によって選択指定指示されると、ブラウザウインドウ１２０２が開かれることになる。

ステップＳ１３０４において、ＣＰＵ５０３は、ブラウザウインドウ１２０２が開いているかどうかを判定する。開いていなければ、ステップＳ１３０１に戻る。一方、ブラウザウインドウ１２０２が開いていれば、ステップＳ１３０５に進む。

ステップＳ１３０５において、ＣＰＵ５０３は、ブラウザウインドウ１２０２が閉じられるまで待機する。閉じられたならばステップＳ１３０６に進む。

ステップＳ１３０６において、ＣＰＵ５０３は、再生ウインドウ１２０１における動画再生を再開する。

以上説明したように、本実施形態によれば、ポインタ１２０３が再生ウインドウ内に位置するときは、自動的に動画データの再生を一時停止するようにしたので、視聴者は、簡単な操作で再生を一時停止できる。

また、商品オブジェクトやラベル画像の移動も一時停止されるので、視聴者は、商品オブジェクト等の選択を容易に実行できるようになる。

また、商品の販売サイトの閲覧が終了するまで、動画の再生を一時停止しておくことができるので、販売サイトの閲覧中に動画データの再生が進んでしまうことを自動的に防止できるようになる。

さらに、ブラウザウインドウ１２０２が閉じられたことを契機として、ＣＰＵ５０３は、再生ウインドウ１２０１における動画データの再生を再開するので、再生ボタンの押し下げなどの操作を省略できるという利点もある。

上述したＤＶＤ再生装置は、本実施形態に係るプログラムがインストールされたＰＣであってもよいし、専用のＤＶＤプレーヤであってもよいことはいうまもない。

（第６実施形態）
本実施形態では、所定のフレームについてラベル情報をマニュアルで設定するが、他のフレームについては、俳優が身に付けている服や装飾品などの商品が当該俳優とともに移動する性質を利用して、自動的にラベル情報を設定して付帯情報１０５を生成するオーサリング装置について説明する。

＜オーサリング装置の機能ブロック＞
図１４は、実施形態に係るオーサリング装置の例示的な機能ブロック図である。オーサリング装置１４００は、基本的な機能として、ＤＶＤ等の書き換え不可能な記憶メディアから読み取り部１４４０によって読み取られた動画データを表示出力する機能を備えている。

さらに、認識部１４０１は、動画データに含まれる複数のフレームのうち、操作者を販売サイトへと誘導するためのラベル情報を商品オブジェクトに対してマニュアルで設定される第１のフレームと、ラベル情報を自動で設定される１以上の第２のフレームとにおいて、それぞれ、ラベル情報の付されることになる商品オブジェクトに関連する関連オブジェクトを認識する。ここで、商品オブジェクトとは、映像として表示される俳優が身につけている服や装飾品など、商品の映像のことである。販売サイトでは、当該商品の実物をオンライン販売しているものとする。また、関連オブジェクトとは、商品オブジェクトと連動して移動する可能性のある映像のことで、たとえば、商品を身につけている人物の顔などである。

認識部１４０１は、たとえば、動画データのｎ（ｎは自然数）番目のフレームと、ｎ＋ｋ（ｋは自然数）番目のフレームとにおいて、関連オブジェクトの表示位置を取得する表示位置取得部を備えている。

決定部１４１０は、第１のフレームと第２のフレームとにおいてそれぞれ認識された関連オブジェクトの表示位置と、第１のフレームにおいてマニュアルで設定されたラベル情報の表示位置とに応じて、前記第２のフレームにおける商品オブジェクトに対するラベル情報の表示位置を決定する。

決定部１４１０は、たとえば、動画データのｎ番目のフレームにおいて、商品オブジェクトを指定指示する指定指示部１４１１と、指定指示された商品オブジェクトの表示位置をｎ番目のフレームにおいて取得する商品表示位置取得部１４１２と、ｎ番目のフレームにおける関連オブジェクトの表示位置と、ｎ＋ｋ番目のフレームにおける関連オブジェクトの表示位置とに基づいて、関連オブジェクトの移動量を導出する移動量導出部１４１３と、ｎ番目のフレームにおける商品オブジェクトの表示位置と移動量に基づいて、ｎ＋ｋ番目のフレームにおける商品オブジェクトの表示位置を推定する表示位置推定部１４１４を含んでいる。

また、決定部１４１０は、ｎ番目のフレームにおける商品オブジェクトの表示位置から所定の範囲内にある画素の特徴量を抽出する特徴量抽出部１４１５と、当該特徴量とｎ＋ｋ番目のフレームにおける任意の複数の表示位置に、任意の表示位置から所定の範囲内にある画素の特徴量との差を導出する特徴量差分部を含み、差が相対的に小さくなる表示位置であって、ｎ番目のフレームにおける商品オブジェクトの表示位置から移動量に応じて移動したことになる表示位置からの距離が相対的に小さくなる表示位置を、ｎ＋ｋ番目のフレームにおける商品オブジェクトの表示位置として推定することができる。

また、生成部１４２０は、ラベル情報と、フレームごとのラベル情報の表示位置に関する情報と、ラベル情報に対応する商品オブジェクトの実物を販売する販売サイトのアドレス情報とを含む付帯情報１０５を生成する。生成部１４２０は、ｎ番目のフレームからｎ＋ｍ×ｋ（ｍは自然数）番目のフレームまでについて連続して付帯情報１０５を生成する。例えば、1番目のフレームについてマニュアルで設定し、それをもとに２番目のフレームから1つづつ３０番目のフレームまで連続して付帯情報１０５を生成してもよい。なお、付帯情報１０５の生成スピードを向上させるために、所定フレームおきに付帯情報１０５を生成してもよい。

このように、複数のフレームについて連続して処理を行うことにより、操作者の操作頻度の大幅な低減あるいは付帯情報１０５の生成までの時間の大幅な短縮が可能となるという効果をもたらしている。

また、生成部１４２０は、動画データに含まれるシーンの切れ目を検出するシーン検出部１４１７をさらに有していてもよい。その場合、指定指示部１４１１は、シーン検出部１４１７によりシーンの切れ目が検出されると、切れ目後の最初のフレームにおいて、商品オブジェクトを再指定指示することになる。一般に、シーンの切れ目が検出されるときは、それまで表示されていた人物や商品の映像が消え去ってしまう確率が高い。従って、そのような場合に、マニュアルで商品オブジェクトを再指定指示すれば、その後の商品オブジェクトに関する表示位置の推定精度を向上させることができるであろう。

もちろん、付帯情報１０５には、動画データのタイトルを特定可能な固有の識別子が含まれていることが望ましいことはいうまでもない。

＜装置の動作＞
図１５は、本実施形態に係るオーサリング処理の例示的なフローチャートである。ここでは、あるＤＶＤメディアに記憶されている動画データに対して、付帯情報１０５を生成することを想定する。

ステップＳ１５０１において、認識部１４０１は、ＤＶＤメディア４１０に記憶されている動画データの各フレームのデータを読み込み、たとえば人物の顔等の関連オブジェクトを認識する。さらに、基準表示位置取得部１４０２は、認識された関連オブジェクトの表示位置の座標データを取得する。表示位置は、関連オブジェクトの中心位置としてもよいし、関連オブジェクトを包含しうる矩形の頂点の座標位置としてもよい。

ステップＳ１５０２において、指定指示部１４１１は、商品が表示されているフレーム（このフレームをｎ番目のフレームとする）における商品オブジェクトを選択指定指示する。商品表示位置取得部１４１２は、指定指示された商品オブジェクトを特定するための表示位置を指定指示部１４１１からの指定指示信号に基づいて取得する。なお、商品オブジェクトを選択指定指示した際に、当該商品オブジェクトに関するラベル情報の内容も入力してもよい。商品オブジェクトの選択指定指示とそのラベル情報の入力とを同時に行うことで、操作者は、商品オブジェクトを画面で確認しながら、そのラベル情報を入力できるため便利であろう。

なお、認識部１４０１が、複数の関連オブジェクトを認識した場合、指定指示部１４１１は、操作者からの指示に応じて、1つの関連オブジェクトを選択指定指示する。表示位置取得部１４０２は、選択指定指示された関連オブジェクトの表示位置の座標データを取得する。

ステップＳ１５０３において、決定部１４１０の特徴量抽出部１４１５は、ｎ番目のフレームにおける商品オブジェクトの表示位置から所定の範囲内にある画素の特徴量を抽出する。この特徴量は、商品に関する画像としての特徴量である。画像の類似性を判定する際に使用される特徴量と同義である。

ステップＳ１５０４において、移動量導出部１４１３は、ｎ番目のフレームと、ｎ＋ｋ（ｋ＝１など）番目のフレームとのそれぞれにおける関連オブジェクトの表示位置から、関連オブジェクトの画面上での移動量を導出する。

ステップＳ１５０５において、特徴量抽出部１４１５は、ｎ＋ｋ番目のフレームにおける全座標位置のそれぞれに関して、各座標表示位置から所定の範囲内にある画素の特徴量を抽出する。

ステップＳ１５０６において、特徴量差分部１４０６は、ｎ番目のフレームに関する商品オブジェクトの特徴量と、ｎ＋ｋ番目のフレームに関する複数の特徴量との差を導出する。

ステップＳ１５０７において、表示位置推定部１４１４は、ｎ番目のフレームにおける商品オブジェクトの表示位置と、上述の移動量に基づいて、ｎ＋ｋ番目のフレームにおける商品オブジェクトの表示位置を推定する。表示位置推定部１４１４は、たとえば、特徴量の差が相対的に小さくなるｎ＋ｋ番目のフレームの複数の表示位置を選定し、選定された複数の表示位置のうち、ｎ番目のフレームにおける商品オブジェクトの表示位置から前述の移動量だけ移動したことになる表示位置との距離が相対的に小さくなる表示位置を、ｎ＋ｋ番目のフレームにおける商品オブジェクトの表示位置として推定する。すなわち、商品の画像と類似する複数の画像が見つかった場合には、関連オブジェクトとほぼ同じ移動量だけ商品オブジェクトも移動したとものと仮定して得られる表示位置に最も近い画像を設定する。そして、選定された画象の表示位置を商品オブジェクトの表示位置と推定することになる。

ステップＳ１５０８において、生成部１４２０は、ｎ＋ｋ番目のフレームについて、商品オブジェクトの表示位置の情報と、ラベル情報と、実物を販売する販売サイトのアドレス情報とを含む付帯情報１０５を生成する。付帯情報１０５を１つのファイルにまとめるときは、各フレームごとに生成した付帯情報１０５をファイルに追記してゆく。

ステップＳ１５０９において、生成部１４２０は、全ての対象フレームについて付帯情報１０５の生成処理が終了したか否かを判定する。終了していなければ、ステップＳ１５０４に戻り、次の対象フレームに関してオーサリング処理を実行する。

以上説明したとおり本実施形態によれば、オーサリング装置１４００において、ｎ番目のフレームについてラベル情報をマニュアルで設定するが、ｎ＋ｋ番目のフレームについては、俳優が身に付けている服や装飾品などの商品が当該俳優とともに移動する性質を利用して、自動的にラベル情報を設定して付帯情報１０５を生成することができる。

また、多くの場合、ある人物の身に付けている商品の商品オブジェクトに対する関連オブジェクトとして、その人物の顔を利用できる。そのため、本発明によれば、ある人物が複数の商品を身に付けていた場合には、これら商品の商品オブジェクトを全て認識する必要性は低減される。すなわち、関連オブジェクト（その人物の顔）の表示位置を認識するだけで、各フレームにおける他の商品オブジェクト（当該人物が身に付けている商品）の位置も推定処理により派生的に得られることになり、各フレームにおいてすべての商品オブジェクトの表示位置の認識を行うのに比較して、作業の効率が大幅に改善される。これは、ある人物の身に付けている商品の数が増えれば増えるほど、改善効果が大きくなることを意味する。

このように、本発明によれば、付帯情報１０５の生成に関する労力が大幅に軽減されることになろう。

（第７実施形態）
本実施形態においては、特にオーサリング装置における内部デバイスと処理との関連について詳細に説明する。

＜装置内部構成＞
図１６は、実施形態に係るオーサリング装置の内部構成の一例を示す図である。この例で、オーサリング装置１４００は、ＤＶＤメディア１０４から映像データを読み取るＤＶＤドライブ１６０１と、各種プログラムを実行するためのＣＰＵ１６０３と、パラメータなど各種情報を一時記憶するためのＲＡＭ１６０４と、各種プログラムなどを記憶しているＲＯＭ１６０５と、文字入力するためのキーボード１６０６と、画面上の位置指示に使用されるマウス１６０７と、ＣＰＵ１６０３により実行されるプログラムの実行結果等を表示する表示制御回路１６０８を含んでいる。また、オーサリング装置１４００には、表示制御回路１６０８から出力された映像を表示するためのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置１６０９を接続している。なお、文字入力や画面上の位置入力を行うためのデバイスとしては、スクリーンキーボード、タッチパネルもしくはリモコンなど、既存の様々な入力デバイスを採用可能である。図示は、省略しているが完成した付帯情報１０５のファイルを保存するためのハードディスクドライブをさらに備えていてもよいことはいうまでもない。

なお、ＣＰＵ１６０３で実行される主たるプログラムとしては、たとえば、オブジェクト位置認識プログラム１６１１、表示位置取得プログラム１６１２、画素特徴量抽出プログラム１６１３、移動位置推定プログラム１６１４、付帯情報生成プログラム１６１５、識別情報取得プログラム１６１６などが挙げられる。各プログラムの機能については後述する。なお、これらのプログラムを複数のプログラムモジュールとして実現してもよいし、全体として1つのプログラムとして実現してもよい。また、現時点で、ある画像の中に含まれている人間の顔の画像を精度良く認識する顔認識モジュールが市販されているので、当該顔認識モジュールをオブジェクト位置認識プログラム１６１１として採用してもよい。

本実施形態にかかる各機器およびプログラムは、第１実施形態で説明した機能ブロックの下位概念と呼ぶべきものであるが、両者の対応関係はおおまかに以下のようになっている。

認識部１４０１や基準表示位置取得部１４０２は、ＣＰＵ１６０３およびオブジェクト位置認識プログラム１６１１によって実現できる。決定部１４１０の指定指示部１４１１は、キーボード１６０６、マウス１６０７および入力ＩＦ１６１０等によって実現できる。商品表示位置取得部１４１２は、ＣＰＵ１６０３および表示位置取得プログラム１６１２によって実現できる。特徴量抽出部１４１５は、ＣＰＵ１６０３および画素特徴量抽出プログラムは２３１３に対応している。移動量導出部１４１３、特徴量差分部１４１６および表示位置推定部１４１４は、ＣＰＵ１６０３および移動位置推定プログラム１６１４によって実現できる。生成部１６０８は、ＣＰＵ１６０３および付帯情報生成プログラム１６１５によって実現できる。

＜オーサリング装置の詳細動作＞
図１７は、実施形態に係る付帯情報生成処理の例示的なフローチャートである。本フローチャートは、実施形態に係るオーサリング処理のメインルーチンに相当する。

ステップＳ１７０１において、ＣＰＵ１６３０は、ＤＶＤメディア４１０に記憶されている動画データ内の各フレームにおいて、関連オブジェクトを認識する。その際に、認識された関連オブジェクトの表示位置を導出する。さらに、複数のフレーム間に渡って検出された関連オブジェクトについて、対応付け処理を行なう。たとえば、第１のフレームでは、人物Ａの顔と、人物Ｂの顔とが認識され、第２のフレームでは、人物Ａの顔と、人物Ｂの顔と、さらに人物Ｂの顔とが認識された場合には、第１のフレームで認識された人物Ａの顔と、第２のフレームで認識された人物Ａの顔とは同一の関連オブジェクトであることを指示する処理が、ここでいう対応付け処理である。通常であれば、認識プログラムによって、対応付け処理は実行可能であるが、ときには別人の顔であるにもかかわらず、同一の顔として認識される可能性がある。そこで、このような誤認識についてはマニュアルで対応付けを変更することになる。

ステップＳ１７０２において、ＣＰＵ１６０３は、商品オブジェクトの表示されているｎ番目のフレームにおいて、ラベル情報の付与対象となる商品オブジェクトを指定指示し、指定指示された商品オブジェクトの表示位置の座標データを出力する。これらが、ｎ＋ｋ番目において、商品オブジェクトの表示位置（すなわちラベル情報の表示位置）を推定するための初期条件の一部となる。

ステップＳ１７０３において、ＣＰＵ１６０３は、マニュアルで商品オブジェクトの表示位置を指定指示されたフレーム以外の他のフレームについて、上述の初期条件を元に商品オブジェクトの表示位置を推定し、各フレームにおける表示位置を出力する。

ステップＳ１７０４において、ＣＰＵ１６０３は、キーボード１６０６や入力ＩＦ１６１０を通じて、各商品オブジェクトに対応するラベル情報のデータ（商品名や、販売サイトの情報等）の入力を受け付け、入力されたラベル情報とともに、ラベル情報の推定表示位置の座標データを含む付帯情報１０５を作成し出力する。

図１８は、実施形態に係る各ステップに対応する中間ファイルのデータ形式の一例を示す図である。この例は、ＸＭＬ形式で付帯情報１０５を生成する際の構造を表現したものである。（ａ）は、上述のステップＳ１７０１が終了した時点で出力される中間ファイルである。各シーンごとに、関連オブジェクトの表示時刻のデータ（フレームの番号などでもよい。）と、座標データとが記述されている。（ｂ）は、ステップＳ１７０３が終了した時点で出力される中間ファイルである。各シーンごとに、商品オブジェクトの表示時刻のデータ（フレームの番号などでもよい。）と、座標データとが記述されている。（ｃ）は、ステップＳ１７０４が終了した時点で出力される付帯情報１０５の構造である。なお、付帯情報１０５のファイルは、上述の中間ファイル（ｂ）を１つ以上とタイトルに関する情報を組み合わせることで生成されたものである。

図１９は、実施形態に係る関連オブジェクトの認識サブルーチンに関する例示的なフローチャートである。

ステップＳ１９０１において、ＣＰＵ１６０３は、ＤＶＤドライブ１６０１にセットされたＤＶＤメディア１０４から動画データを読み込み、作業対象のフレームを画像データに展開する。

なお、ここで対象のフレームを画像データに展開する際、シーンの切れ目検出を行ってもよい。シーンの切れ目を検出するために、チャプター情報を利用する方法、フレーム間の差異を利用する方法、圧縮動画のビットレートを用いる方法、関連オブジェクトの座標変化（急変）を用いる方法などが使用可能である。

ステップＳ１９０２において、ＣＰＵ１６０３は、キーボード１６０６またはマウス１６０７からの指示信号に応じて、付帯情報１０５の生成対象となるフレームを指定指示する。たとえば、それぞれ開始フレームと終了フレームとに対応する動画データ上での再生時刻がキーボード１６０６から入力されてもよいし、あるいはタイムラインに沿って複数のフレームを表示装置１６０９に表示させ、マウス１６０７のクリックによって複数の対象フレームが指定指示されてもよい。

ステップＳ１９０３において、ＣＰＵ１６０３は、表示装置１６０９に「関連オブジェクト座標取得開始」ボタンに対するクリックを、入力ＩＦ１６１０を通じて検出すると、オブジェクト位置認識プログラム１６１１を実行する。これにより、ステップＳ１９０２において指定指示されたフレームすべてについて、たとえば人物の顔等、関連オブジェクトの候補となる座標データを１つ以上取得し、ＲＡＭ１６０４に記憶する。

また、関連オブジェクトの座標データを取得する際に、たとえば、座標データの関連性等から、各フレーム間の同一関連オブジェクトに関して上述の対応付け処理を実行してもよい。この場合、ステップＳ１９０２で指定指示されたフレームの少なくとも１つに表示されている１以上の関連オブジェクトに関して、ＣＰＵ１６０３は、各フレームにおける表示位置の座標データをファイル（関連オブジェクト表示位置ファイルと呼ぶ）として出力する。関連オブジェクト表示位置ファイルの出力形式の一例は、図１８（ａ）に示したとおりである。

図２０は、実施形態に係るオーサリング処理のユーザインタフェースの一例を示す図である。このユーザインタフェースは、顔を関連オブジェクトとしたときの認識結果と、対応付けの誤りを修正するための画面を提供している。このユーザインタフェースでは、縦軸に時間軸を示している。横軸には、フレーム画面２００１と、関連オブジェクトとして認識された３つの顔画像２００２ないし２００４とが示されている。

また、ＣＰＵ１６０３は、検出されたシーンの切れ目を横棒２００６により示されている。ＣＰＵ１６０３は、関連オブジェクト表示位置ファイルと、動画データとに基づいて、表示装置１６０９にこれらの情報を表示する。なお、同一の関連オブジェクトと推定される顔画像を、ＣＰＵ１６０３は同一の列に表示している。このとき、多数のフレームを効率よく認識可能なように、ＣＰＵ１６０３が、上下方向・左右方向にスクロールバー２００７を表示することが望ましい。

このような表示とすることにより、各々のフレームで認識された関連オブジェクト一覧を視覚的に認識しやすくなるとともに、各フレーム間の関連オブジェクトの関連性も視覚的に認識可能となる。

なお、本来は同一の顔画像として認識されるべきものが、異なる顔画像と認識されてしまうこともある。たとえば、顔画像２００５は、本来、顔画像２００２と同一であるはずであるが、異なる人物の顔画像と認識されている。この場合、ＣＰＵ１６０３は、マウス１６０７により顔画像２００５がドラックされたことを検出し、さらに顔画像２００５が、顔画像２００２の表示列にドロップされたことを検出すると、顔画像２００５を顔画像２００２の表示列に表示させるとともに、関連オブジェクト表示位置ファイルにおける対応付けのデータを修正し、ＲＡＭ１６０４に記憶する。

また、シーンの切れ目の位置が誤って認識された場合には、シーンの切れ目を示す横棒２００６をマニュアルによりマウスのドラッグ・ドロップを行うことにより、ＣＰＵ１６０３は、シーン分割の指示または変更指示として検出し、シーンの切れ目のデータを修正し、ＲＡＭ１６０４に記憶する。

図２１は、実施形態に係る商品オブジェクトの指定指示処理に関する例示的なフローチャートである。

ステップＳ２１０１において、ＣＰＵ１６０３は、複数のフレームを表示装置１６０９に表示し、表示された何れか1つのフレームに対する選択指定指示の入力を、入力ＩＦ１６１０を通じて受け付ける。これにより、商品オブジェクトが表示されているフレームが１つ選択される。このフレームを、ｎ番目のフレームとする。なお、上述したように、何れかシーンにおける最初のフレーム等をＣＰＵ１６０３が選択してもよい。

ステップＳ２１０２において、ＣＰＵ１６０３は、選択されたフレームにおける関連オブジェクトの座標データを、関連オブジェクト表示位置ファイルから読み出し、動画データのフレーム画像とともに表示装置１６０９に表示する。その際、フレーム画像上に関連オブジェクトになる座標点が複数表示されてもよい。あるいは、図２２に示すように関連オブジェクトの少なくとも一部を囲むよう矩形を表示してもよい。

ステップＳ２１０３において、ＣＰＵ１６０３は、たとえば、ラベル情報の付与対象となる商品オブジェクトと関連する関連オブジェクトの選択指定指示を、入力ＩＦ１６１０を通じて受け付ける。ＣＰＵ１６０３は、さらに、選択指定指示された関連オブジェクトを強調表示してもよい。この強調表示の一例としては、他の関連オブジェクトを囲む矩形の線の色と、選択指定指示された関連オブジェクトを囲む矩形の線の色とを異ならしめて表示することが上げられる。

ステップＳ２１０４において、ＣＰＵ１６０３は、ラベル情報の付与対象となる商品オブジェクトの指定指示を、入力ＩＦ１６１０を通じて受け付ける。あるいは、図２２に示すように商品オブジェクトの内部に収まるような矩形２２０３として受け付けてもよい。すなわち、マウス１６０７をドラックすることで任意の大きさの矩形２２０３を指定指示できる。なお、このときの矩形２２０３のサイズは、商品オブジェクトの推定処理における特徴量の算出（ステップＳ２３０４）対象となる画素領域のサイズとして採用してもよい。

ＣＰＵ１６０３は、さらに、選択指定指示された商品オブジェクトの座標データを座標位置取得プログラム１６１２によって取得し、ＲＡＭ１６０４に記憶しておく。なお、ステップＳ２１０３とステップＳ２１０４は、どちらを先に実行してもよいことはいうまでもない。

ステップＳ２１０５において、ＣＰＵ１６０３は、キーボード１６０７等によって入力される、選択された商品オブジェクトへのラベル情報を受け付け、ＲＡＭ１６０４に記憶する。

図２２は、実施形態に係る関連オブジェクトと商品オブジェクトの指定指示処理に関するユーザインタフェースの一例を示す図である。この例では、フレーム内に存在する２つの関連オブジェクト２２０１と２２０２とから、右の関連オブジェクト２２０２が選択された例を示している。また、この例のように、ＣＰＵ１６０３は、指定指示された商品オブジェクト２２０３と選択された関連オブジェクト２２０２とを線２２０４で繋いで表示することにより、各オブジェクト間の関連を視覚的に認識しやすくしてもよい。

また、ＣＰＵ１６０３は、入力されたラベル情報２２０５を同時に表示してもよい。これにより、本実施形態で生成される付帯情報１０５を利用する再生装置における再生画面のイメージを視覚的に捉えることが可能になるという利点がある。

図２３は、実施形態に係る商品オブジェクトの表示位置の推定処理に関する例示的なフローチャートである。本フローチャートは、上述のステップＳ１７０３に相当する。

ステップＳ２３０１において、ＣＰＵ１６０３は、画素特徴量抽出プログラム１６１３を実行し、ステップＳ２１０４において指定指示された商品オブジェクトの特徴量を抽出する。たとえば、当該商品オブジェクトの特徴量は、１つの画素から求めてもよいが、より推定精度をあげるためには、当該商品オブジェクトの表示位置から所定の範囲内にある複数の画素についてそれぞれ特徴量を求め、求められた特徴量の平均値としてもよい。なお、ここで特徴量とは、画素の関するＲＧＢ値、あるいは色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｂｒｉｇｈｔｎｅｓｓ）として数値化したＨＳＢ値などを示している。

ステップＳ２３０２において、ＣＰＵ１６０３は、ラベル情報がマニュアルで設定されたｎ番目のフレームと、ラベル情報が自動で設定されるｎ＋ｋ番目のフレームとにおける関連オブジェクトの座標データを関連オブジェクト表示位置ファイルから読み出し、読み出した座標データから移動量を算出する。たとえば、座標データがＸＹ座標で表現される場合は、距離のデータとして算出される。なお、移動量を距離の情報だけでなく、方向の情報を加えた移動ベクトルとしてもよいことはいうまでもない。

ステップＳ２３０３において、ＣＰＵ１６０３は、ｎ＋ｋ番目のフレームにおける商品オブジェクトの初期の予測座標を導出する。たとえば、ｎ番目のフレームにおける商品オブジェクトの表示位置から、関連オブジェクトの移動量と同じだけ移動したことになる表示位置を初期予測座標として算出し、ＲＡＭ１６０４に記憶する。

図２４は、実施形態に係る商品オブジェクトの初期予測座標の導出概念を示した図である。この例では、ｎ番目のフレームにおいて関連オブジェクト２４０１と商品オブジェクト２４０２が示されている。また、ｎ＋ｋ番目のフレームでは、移動後の関連オブジェクト２４１１が示されている。初期予測座標２４２２は、商品オブジェクト２４０２の表示位置から、関連オブジェクトの移動量と同一の量だけ移動して得られた表示位置を示している。なお、この例では、実際の商品オブジェクト２４３２は、予測座標２４２２から若干ずれた位置に存在している。

ステップＳ２３０４において、ＣＰＵ１６０３は、画素特徴量抽出プログラム１６１３を実行し、ｎ＋ｋ番目のフレームにおける全ての座標位置について、それぞれ特徴量を抽出し、ＲＡＭ１６０４に記憶する。

ステップＳ２３０５において、ＣＰＵ１６０３は、移動位置推定プログラム１６１４を実行し、ｎ番目のフレームにおける商品オブジェクトの特徴量と、ｎ＋ｋ番目のフレームにおける各画素の特徴量とに関して相関係数を算出する。相関係数は、画像の類似度を比較するために使用される尺度の１つである。ここでは値が大きいほど相関係数は大きくなるものとする。

ステップＳ２３０６において、ＣＰＵ１６０３は、各座標データの相関係数のうち、相対的に大きいものであって、かつ予測座標からの距離が相対的に小さいものを推定表示位置の座標データとして決定する。たとえば、ＣＰＵ１６０３は、各座標位置の相関係数に対して、初期予測座標から各座標位置までの距離を算出し、この距離に反比例する重み関数を乗算し、乗算後の係数が最も大きい座標位置を、推定表示位置の座標データに採用する。ＣＰＵ１６０３は、こうして推定した座標データを推定表示位置として商品オブジェクト表示位置ファイル（図１８（ｂ）の中間ファイルに相当する。）に追記する。この際には、シーン番号や再生時刻（フレーム番号など）の情報も併せてファイルに書き込む。

図２５は、実施形態に係る商品オブジェクトの表示位置の推定処理を示した概念図である。図２５（ａ）は、ｎ＋ｋ番目のフレームにおける初期予測座標２４２２と、そこを中心とした円２５００を示している。図２５（ｂ）は、特徴量に関する相関係数が相対的に高い３つの領域２５０１〜２５０３を示している。図２５（ｃ）は、初期予測座標からの距離に反比例した重みを、各領域２５０１〜２５０３の相関係数に乗じた例を示している。なお、各領域２５０１〜２５０３の相関係数がほぼ等しい場合、初期予測座標からの距離は、領域２５０３が最も近いことから、領域２５０３が最も好適な予測表示位置として選定されることになる。なお、領域２５０１や領域２５０２の相関度合いが領域２５０３よりも大きかった場合、距離２５００が遠い場合でも２５０１、２５０２のいずれかが採用されうることはいうまでもない。

上記では、画面内の全座標について相関係数の導出を行い、最大のものを選択したが、計算の簡略化のために、特徴量の相関係数が所定の閾値を超える座標位置を1つ以上導出し、その中から初期予測座標からの距離が最小のものを選択してもよい。

図２６は、実施形態に係るオーサリング処理のユーザインタフェースの一例を示す図である。このユーザインタフェースは、商品オブジェクトの認識結果と、対応付けの誤りを修正するための画面を提供している。このユーザインタフェースでは、フレーム画面２６０１と、顔オブジェクトを囲む矩形２６０２と、商品オブジェクトの座標を囲む矩形２６０３と、ラベル情報２６０５とが示されている。ＣＰＵ１６０３は、生成した付帯情報１０５または上述の商品オブジェクト情報ファイルと、動画データとに基づいて、表示装置１６０９にこれらの情報を表示する。

このような表示とすることにより、各々のフレームで推定された商品オブジェクトの座標を視覚的に認識しやすくなる。

なお、図２６に示すように、推定された商品オブジェクトの表示位置が、本来の商品オブジェクトの表示位置とは異なることがある。たとえば、矩形２６０３は、本来、商品オブジェクトの座標位置にあるはずであるが、商品オブジェクトの色と良く似た他のオブジェクトを囲んでしまっている。

この場合、ＣＰＵ１６０３は、マウス１６０７により矩形２６０３がドラックされたことを検出し、さらに矩形２６０３が、商品オブジェクトの座標にドロップされたことを検出すると、商品オブジェクトの座標データをドロップ位置に修正する。また、ＣＰＵ１６０３は、修正後の座標データを商品オブジェクトの初期座標２２０３とし、表中のフレームを初期フレームとして、ステップＳ２３０１ないしステップＳ２３０６の処理を自動的に行うことにより、推定座標データをＲＡＭ１６０４に記憶してもよい。このようにすれば、表示位置の推定誤りを簡単な操作で修正できて便利である。

また、上記ではｎ番目のフレームからｎ＋ｋ番目のフレームまで１フレームおきに表示位置を推定したが、ｎ番目のフレームからｎ＋ｍ×ｋ番目のフレームまでｍフレームおきに推定してもよい。たとえば、ＤＶＤビデオは、通常ＭＰＥＧ−２形式で圧縮されているが、ＭＰＥＧ−２の動画圧縮では、動画の各フレームがフレーム情報を持つフレーム（Ｉフレーム）と前後のフレームからの差分情報のみを持つフレーム（Ｂフレーム、Ｐフレーム）からなっている。そこで、Ｉフレームのみ（つまりＢ，Ｐフレームに対応するフレームはスキップする）について処理フレームを間引いて座標推定を行うことにより、ＭＰＥＧ−２動画のフレーム復号処理も簡略化の効果も合わせて処理時間の短縮が可能となる。また、その場合、出力される情報量（ファイルサイズ等）も削減できるという効果がある。

図２７は、実施形態に係る付帯情報１０５の出力処理に関する例示的なフローチャートである。本フローチャートは、上述のステップＳ１７０４に相当する。

ステップＳ２７０１において、ＣＰＵ１６０３は、識別情報取得プログラム１６１６を実行し、ＤＶＤ１０４に記憶されている情報（例えば動画データの容量、タイムスタンプ等）から識別ＩＤを取得するとともに、動画データに対応したタイトル名の情報をキーボード等により入力させＲＡＭ１６０４に記憶する。

ステップＳ２７０２において、ＣＰＵ１６０３は、付帯情報生成プログラム１５１５を実行し、１以上の商品オブジェクト情報ファイルを読み込み、ＲＡＭ１６０４から識別ＩＤ、タイトル名を読み出し、図１８（ｃ）に示されるＤＴＤに整合したＸＭＬ形式の付帯情報１０５として出力する。

以上説明したとおり本実施形態によれば、オーサリング装置１４００において、付帯情報１０５の生成対象となるＤＶＤメディア１０４に記憶された動画データに対し、動画データ内の複数のフレームの１つのフレームにおいて商品オブジェクトおよび商品オブジェクトに関連する関連オブジェクトを指定指示することにより、他のフレームにおける商品オブジェクトの表示位置を自動的に生成可能となり、付帯情報１０５の生成のための労力が大幅に軽減されることになる。

実施形態に係る表示出力システムを示す図である。 実施形態に係る表示画面の推移を示す図である。 実施形態に係る装置の機能ブロック図である。 実施形態に係る装置の動作フローチャートである。 実施形態に係る装置の内部構成を示す図である。 実施形態に係る付帯情報のデータ形式を示す図である。 実施形態に係る付帯情報取得処理のフローチャートである。 実施形態に係る再生表示処理のフローチャートである。 実施形態に係るラベル情報画面生成のフローチャートである。 実施形態に係るラベル情報画面を示す図である。 実施形態に係る付帯情報取得処理の詳細フローチャートである。 実施形態に係るウインドウ表示時の画面表示の図である。 実施形態に係る再生一時停止処理のフローチャートである。 実施形態に係るオーサリング装置の機能ブロック図である。 実施形態に係るオーサリング処理のフローチャートである。 実施形態に係るオーサリング装置の内部構成を示す図である。 実施形態に係る付帯情報生成処理のフローチャートである。 実施形態に係る各ステップに対応する中間ファイルのデータ形式を示す図である。 実施形態に係る関連オブジェクトの認識サブルーチンに関するフローチャートである。 実施形態に係るオーサリング処理のユーザインタフェースを示す図である。 実施形態に係る商品オブジェクトの指定指示処理に関するフローチャートである。 実施形態に係る関連オブジェクトと商品オブジェクトの指定指示処理に関するユーザインタフェースを示す図である。 実施形態に係る商品オブジェクトの表示位置の推定処理に関するフローチャートである。 実施形態に係る商品オブジェクトの初期予測座標の導出概念を示した図である。 実施形態に係る商品オブジェクトの表示位置の推定処理を示した概念図である。 実施形態に係る商品オブジェクトの位置推定誤りの修正処理に関するユーザインタフェースを示す図である。 実施形態に係る付帯情報の出力処理に関するフローチャートである。

Claims (10)

1. 第１の記憶媒体に記憶されている動画データの表示出力装置であって、
   前記第１の記憶媒体に記憶されているいずれかの情報に基づいて、前記動画データのタイトルを特定可能な固有の識別情報を取得する識別情報取得手段と、
   取得された前記識別情報に基づいて、前記動画データに含まれる所定の商品オブジェクトに対応付けて表示されるラベル情報と該商品オブジェクトの実物を販売する販売サイトのアドレス情報とを含む商品オブジェクト付帯情報を取得する商品オブジェクト付帯情報取得手段と、
   前記動画データを表示出力する際に、取得した前記商品オブジェクト付帯情報に含まれる前記ラベル情報を、該ラベル情報に対応する前記商品オブジェクトに合わせて表示出力する表示出力手段と、
   表示出力された前記ラベル情報に対する選択指定指示を入力する入力手段と、
   選択指定指示された前記ラベル情報に対応する前記アドレス情報を前記商品オブジェクト付帯情報から読み出し、前記商品オブジェクトの実物の販売サイトへと接続する接続手段と
   を含むことを特徴とする動画データの表示出力装置。
2. 前記商品オブジェクト付帯情報は、ネットワークを介して前記表示出力装置と接続されたサーバの記憶装置に記憶されており、
   前記商品オブジェクト付帯情報取得手段は、前記ネットワークを経由して前記固有の識別情報を前記サーバに送信することで、該サーバから該固有の識別情報に対応する前記商品オブジェクト付帯情報を受信して取得する
   ことを特徴とする請求項１に記載された動画データの表示出力装置。
3. 前記商品オブジェクト付帯情報は、第２の記憶媒体に記憶されており、
   前記商品オブジェクト付帯情報取得手段は、前記第２の記憶媒体から前記固有の識別情報に対応する前記商品オブジェクト付帯情報を読み出して取得する
   ことを特徴とする請求項１に記載された動画データの表示出力装置。
4. 前記動画データの表示出力時に前記ラベル情報を表示するかまたは表示しないかを切り替えるための切替手段をさらに含む
   ことを特徴とする請求項１乃至３の何れか１項に記載された動画データの表示出力装置。
5. 前記表示出力手段は、前記販売サイトに接続する際に前記動画データの表示出力処理を一時停止させる一時停止手段をさらに含む
   ことを特徴とする請求項１乃至４の何れか１項に記載の動画データの表示出力装置。
6. 前記表示出力手段は、前記販売サイトに接続する際に前記動画データを第１のウインドウ内で表示し、前記販売サイトについては第２のウインドウで表示する
   ことを特徴とする請求項１乃至４の何れか１項に記載の動画データの表示出力装置。
7. 前記ラベル情報を選択するための指示具が前記第１のウインドウ内に位置するか否かを判定する判定手段と、
   前記指示具が前記第１のウインドウ内に位置する場合は、前記動画データの表示出力処理を一時停止させる一時停止手段とをさらに含む
   ことを特徴とする請求項６に記載の動画データの表示出力装置。
8. 前記第１のウインドウ内での動画データの表示出力が一時停止している場合に、前記第２のウインドウが閉じられると、前記動画データの表示出力を再開する再開手段をさらに含む
   ことを特徴とする請求項６に記載の動画データの表示出力装置。
9. 記憶媒体に記憶されている動画データの表示出力方法であって、
   前記記憶媒体に記憶されているいずれかの情報に基づいて、前記動画データのタイトルを特定可能な固有の識別情報を取得する識別情報取得工程と、
   取得された前記識別情報に基づいて、前記動画データに含まれる所定の商品オブジェクトに対応付けて表示されるラベル情報と該商品オブジェクトの実物を販売する販売サイトのアドレス情報とを含む商品オブジェクト付帯情報を取得する商品オブジェクト付帯情報取得工程と、
   前記動画データを表示出力する際に、取得した前記商品オブジェクト付帯情報に含まれる前記ラベル情報を、該ラベル情報に対応する前記オブジェクトに合わせて表示出力する表示出力工程と、
   表示出力された前記ラベル情報に対する選択指定指示を入力する入力工程と、
   選択指定指示された前記ラベル情報に対応する前記アドレス情報を前記商品オブジェクト付帯情報から読み出し、前記商品オブジェクトの実物の販売サイトへと接続する接続工程と
   を有することを特徴とする動画データの表示出力方法。
10. 記憶媒体に記憶されている動画データの表示出力処理を実行するコンピュータプログラムを記憶した記憶装置と制御装置とを含むコンピュータに対し、
    前記制御装置により、前記動画データとともに記憶媒体に記憶されているいずれかの情報に基づいて、該動画データのタイトルを特定可能な固有の識別情報を取得する識別情報取得工程と、
    前記制御装置により、取得された前記識別情報に基づいて、前記動画データに含まれる所定の商品オブジェクトに対応付けて表示されるラベル情報と該商品オブジェクトの実物を販売する販売サイトのアドレス情報とを含む商品オブジェクト付帯情報を取得する商品オブジェクト付帯情報取得工程と、
    前記制御装置により、前記動画データを表示出力する際に、取得した前記商品オブジェクト付帯情報に含まれる前記ラベル情報を、該ラベル情報に対応する前記商品オブジェクトに合わせて表示出力するよう制御する表示出力工程と、
    前記制御装置により、表示出力された前記ラベル情報に対する選択指定指示を入力する入力工程と、
    前記制御装置により、選択指定指示された前記ラベル情報に対応する前記アドレス情報を前記商品オブジェクト付帯情報から読み出し、前記商品オブジェクトの実物の販売サイトへと接続する接続工程と
    を実行させるためのコンピュータプログラム。

Images