JP2006209657A - オーサリング装置、オーサリング方法およびコンピュータプログラム - Google Patents
オーサリング装置、オーサリング方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2006209657A JP2006209657A JP2005023838A JP2005023838A JP2006209657A JP 2006209657 A JP2006209657 A JP 2006209657A JP 2005023838 A JP2005023838 A JP 2005023838A JP 2005023838 A JP2005023838 A JP 2005023838A JP 2006209657 A JP2006209657 A JP 2006209657A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- information
- display position
- product
- product object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000004590 computer program Methods 0.000 title claims 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 25
- 230000008569 process Effects 0.000 description 45
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005034 decoration Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010000060 Abdominal distension Diseases 0.000 description 1
- 208000024330 bloating Diseases 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】動画データを再生した際に表示される商品オブジェクトについて、当該商品オブジェクトの実物を販売する販売サイトへとネットワークを介して操作者を誘導するための付帯情報の生成処理の労力を軽減する。
【解決手段】所定のフレームについてラベル情報をマニュアルで設定するが、他のフレームについては、俳優が身に付けている服や装飾品などの商品が当該俳優とともに移動する性質を利用して、自動的にラベル情報を設定して付帯情報を生成する。
【選択図】図14
【解決手段】所定のフレームについてラベル情報をマニュアルで設定するが、他のフレームについては、俳優が身に付けている服や装飾品などの商品が当該俳優とともに移動する性質を利用して、自動的にラベル情報を設定して付帯情報を生成する。
【選択図】図14
Description
本発明は、動画データの付帯情報を生成する付帯情報生成技術に関するものである。
テレビ放送局から放送されている番組をテレビ受像機で表示する際に、映し出されている製品や場所についての説明文を、当該番組の放送時刻とマトリクス座標情報とから特定してサーバから受信する技術がある(特許文献1、2)。
また、テレビ番組に登場するアイテムにインジケータをスーパーインポーズして表示し、当該インジケータが選択されると電子的な広告情報をテレビ受像機に表示させるシステムが提案されている(特許文献3)。
なお、動画(映画やドラマ)の配信方法としては、放送局からのテレビ放送という方法以外にも、DVD等の記憶媒体に記憶して販売する方法も存在する。
しかしながら、上述の従来技術は、テレビ放送に関するものであり、リアルタイムでテレビ番組を視聴していなければ実現できないという欠点を有している。
たとえば、DVDとして販売されている映画やドラマにおいても、俳優が身に付けていた服や装飾品などを視聴者が購入したいと考える場合があるが、上述の従来技術ではこのようなニーズを満たすことができない。
そのため、本明細書では、DVD等の記憶媒体に記憶されている動画データを再生したときに、俳優が身に付けていた服や装飾品に対して商品名や値段などを示すラベル情報を表示し、視聴者に商品名や値段を把握しやすくするとともに、即座に、その販売サイトへとアクセス可能な表示出力装置を提案している。
特開2001−251606号公報
特開2003−85391号公報
特表2002−534017号公報
本明細書に係る表示出力装置を実現するためには、動画データを再生した際に表示される商品オブジェクトについて、当該商品オブジェクトの実物を販売する販売サイトへとネットワークを介して操作者を誘導するための付帯情報を生成することが必要となる。
しかしながら、全てのフレームに対して手動で付帯情報を生成するのは、現実には無理がある。一般に、動画データは、1秒あたり30フレームもあり、2時間ものの映画では、216000フレームにもなる。よって、この膨大な数の各フレームに対して一フレームづつ付帯情報を設定する作業は、現実には手動では実行できない。
そこで、本発明は、このような課題および他の課題の少なくとも1つを解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。
本発明では、所定のフレームについてラベル情報をマニュアルで設定するが、他のフレームについては、俳優が身に付けている服や装飾品などの商品が当該俳優とともに移動する性質を利用して、自動的にラベル情報を設定して商品オブジェクト付帯情報を生成する。
なお、本発明において、「商品オブジェクト付帯情報」とは、商品オブジェクトに付帯する付帯情報のことをいう。
本発明によれば、動画データを再生した際に表示される商品オブジェクトについて該商品オブジェクトの実物を販売する販売サイトへとネットワークを介して操作者を誘導するための付帯情報の生成を容易化する技術を提供することができる。
以下に、図面を参照して、本発明を実施する上で参考になると思われる好適な実施の形態を例示する。ただし、この実施の形態として記載されている構成要素はあくまで例示であり、本発明の技術的範囲をそれらのみに限定する趣旨のものではない。
(第1実施形態)
本発明に係る表示出力装置の一実施形態としてDVD再生装置について説明する。当該DVD再生装置は、まず、DVDの識別情報をインターネット上のサーバに送信する。次に、DVD再生装置は、識別情報に対応する特定の付帯情報を取得して画面に表示させる。そして、DVD再生装置は、画面に表示される商品を販売している販売サイト等へ接続する。
本発明に係る表示出力装置の一実施形態としてDVD再生装置について説明する。当該DVD再生装置は、まず、DVDの識別情報をインターネット上のサーバに送信する。次に、DVD再生装置は、識別情報に対応する特定の付帯情報を取得して画面に表示させる。そして、DVD再生装置は、画面に表示される商品を販売している販売サイト等へ接続する。
<システム構成>
図1は、実施形態に係る表示出力システムの一例を示す図である。この例では、視聴者の利用するDVD再生装置101と、様々なDVDタイトル(映画やテレビドラマの種別)に対応した付帯情報105を記憶している付帯情報サーバ102と、商品の紹介・販売を行っている商品販売サーバ103がインターネット110を介して接続されている。DVDタイトルとは、DVDに記憶された動画コンテンツ(映画、テレビドラマなど)を指している。また、DVDとは、書き換え不可能な記憶メディアを指している。なお、本実施形態では、DVDを一例として説明するが、ブルーレイディスクやHD―DVDなど、他の記憶メディアであっても本発明を適用できることは言うまでもない。
図1は、実施形態に係る表示出力システムの一例を示す図である。この例では、視聴者の利用するDVD再生装置101と、様々なDVDタイトル(映画やテレビドラマの種別)に対応した付帯情報105を記憶している付帯情報サーバ102と、商品の紹介・販売を行っている商品販売サーバ103がインターネット110を介して接続されている。DVDタイトルとは、DVDに記憶された動画コンテンツ(映画、テレビドラマなど)を指している。また、DVDとは、書き換え不可能な記憶メディアを指している。なお、本実施形態では、DVDを一例として説明するが、ブルーレイディスクやHD―DVDなど、他の記憶メディアであっても本発明を適用できることは言うまでもない。
視聴者の利用するDVD再生装置101は、DVD104内に記憶されている動画データを表示画面上に表示出力する機能を有するとともに、インターネット110を介して各種サーバに接続する。
付帯情報105を記憶している付帯情報サーバ102は、コンピュータの一種であり、たとえば、映画やテレビドラマを紹介する会社の運営するサイトに設置される。付帯情報サーバ102は、様々な会社から販売される様々なDVDタイトルのそれぞれに対し、表示される商品の情報等を含む付帯情報105を記憶している。付帯情報105は、商品自身の説明であるラベル情報の他、商品に関連するサイトに接続するためのアドレス情報(URL等)などを含んでいる。なお、以下では、実際の商品や役務を実物と称し、画面上に表示された商品や役務を商品オブジェクトと呼ぶことにする。
商品販売サーバ103も、コンピュータの一種であり、通常用いられているwebブラウザを利用して商品購入手続きが可能なように構成された既存のサーバであってもよい。なお、たとえば商品オブジェクトに応じて商品販売サーバ103は複数設置することも可能である。
図2は、実施形態に係る表示画面の推移の一例を示す図である。通常の表示画面201には、DVDを再生することによりコンテンツが表示されるとともに、表示画面の右下にはラベル表示のオン/オフを切り替えるためのスイッチ210が設けられている。スイッチ210が指示具(ポインティングデバイスのポインタなど)211によってオンに切り替えられると、DVD再生装置101は、視聴しているDVDタイトルに関する付帯情報105を付帯情報サーバ102から取得し、付帯情報105から得られる商品オブジェクトのラベル情報をDVDタイトルの再生画面に重ね合わせて表示画面202に表示する。
視聴者が指示具211を操作することで、表示画面202上に表示された商品オブジェクトまたはラベル情報が選択指定されたことを検出すると、DVD再生装置101は、選択指定された商品オブジェクトまたはラベル情報に対応するアドレス情報を付帯情報105から読み出す。続いて、DVD再生装置101は、読み出したアドレス情報を元に、選択指定された商品オブジェクトの実物を販売している商品販売サーバ103に接続し、画面を見ながら商品購入手続きを行えるようにする。
<機能ブロック>
図3は、実施形態に係るDVD再生装置、付帯情報サーバおよび商品販売サーバの例示的な機能ブロック図である。DVD再生装置101は、キーボードやマウス等の入力デバイスにより視聴者からの指示を受け付ける入力部301と、インターネット110を経由して他のサーバ等に接続するための接続部302と、DVD等の記憶メディアからファイルサイズやタイムスタンプを読み取り、識別IDを導出するための識別情報取得部303と、視聴者が視聴している動画の付帯情報105を付帯情報サーバ102から取得する付帯情報取得部304と、LCD(Liquid Crystal Display)等の表示デバイスに表示出力する表示出力部305とを備えている。
図3は、実施形態に係るDVD再生装置、付帯情報サーバおよび商品販売サーバの例示的な機能ブロック図である。DVD再生装置101は、キーボードやマウス等の入力デバイスにより視聴者からの指示を受け付ける入力部301と、インターネット110を経由して他のサーバ等に接続するための接続部302と、DVD等の記憶メディアからファイルサイズやタイムスタンプを読み取り、識別IDを導出するための識別情報取得部303と、視聴者が視聴している動画の付帯情報105を付帯情報サーバ102から取得する付帯情報取得部304と、LCD(Liquid Crystal Display)等の表示デバイスに表示出力する表示出力部305とを備えている。
付帯情報サーバ102は、HDD等のデバイスにより付帯情報105を記憶している付帯情報記憶装置311、インターネット110に接続している他の装置と通信を行うための通信装置312、および他の端末からの要求に応じて付帯情報記憶装置311に記憶されている付帯情報105を取得し要求元の端末に送信する等の情報処理制御を行う制御装置313を含む。
商品販売サーバ103は、HDD等のデバイスにより商品販売情報を記憶している商品販売情報記憶装置321、インターネット110に接続している他の装置と通信を行うための通信装置322、および他の端末からの要求に応じて商品の販売処理制御を行う制御装置323を含む。
<システムの動作>
図4は、実施形態に係るDVD再生装置101、付帯情報サーバ102および商品販売サーバ103の動作フローの概略を示す図である。付帯情報サーバ102にはあらかじめ、様々なDVDタイトルに対する付帯情報105がタイトルに固有の識別IDと対応付けられて記憶されている。また、商品販売サーバ103は、端末からのwebブラウザを利用した要求に応じて商品の商品購入手続きが可能なように構成されている。なお、ここでは付帯情報105にはDVD104内に記憶されている動画データを再生した際に表示される様々な商品オブジェクトの情報(たとえば、商品名、価格、商品販売サーバ103のURL等)が含まれている。
図4は、実施形態に係るDVD再生装置101、付帯情報サーバ102および商品販売サーバ103の動作フローの概略を示す図である。付帯情報サーバ102にはあらかじめ、様々なDVDタイトルに対する付帯情報105がタイトルに固有の識別IDと対応付けられて記憶されている。また、商品販売サーバ103は、端末からのwebブラウザを利用した要求に応じて商品の商品購入手続きが可能なように構成されている。なお、ここでは付帯情報105にはDVD104内に記憶されている動画データを再生した際に表示される様々な商品オブジェクトの情報(たとえば、商品名、価格、商品販売サーバ103のURL等)が含まれている。
ステップS401において、視聴者がDVDを視聴するために、DVD再生装置101へDVD104を挿入すると、DVD再生装置101は、DVD104に記憶されている情報から、識別IDを取得する。
ステップS402において、DVD再生装置101は、あらかじめ記憶されている付帯情報サーバ102のアドレス情報を用いて、付帯情報サーバ102に対し、S401で導出された識別IDに対応する付帯情報105を要求する。
ステップS403において、付帯情報サーバ102は、DVD再生装置101に対し、DVD再生装置101から受信した識別IDに対応する付帯情報105を読み出して送信する。
ステップS404において、視聴者がDVD104を再生するようにDVD再生装置101を操作すると、DVD再生装置101は、DVD104に記憶されている動画データを表示するとともに、取得した付帯情報105に含まれるラベル情報に基づいて、動画データの各時刻における商品ラベルを生成し、動画データ上に重ねて表示を行う。
ステップS405において、DVD再生装置101は、再生中に、視聴者の指示具211の操作等による商品オブジェクトの選択指定を入力部301において受け付ける。選択指定とは、たとえば画面上の指示具(たとえばマウスカーソル等のポインタ)211による画面上に表示されている商品ラベルの選択(たとえばマウスのクリック)を意味する。
ステップS406において、DVD再生装置101は、webブラウザを起動するとともに、ステップS405で選択指定された商品オブジェクトに対応する商品販売サーバ103のアドレス情報を付帯情報105から読み出してwebブラウザに引渡し、商品販売サーバ103へ商品購入のための画面要求を送信する。
ステップS407において、DVD再生装置101からの画面要求を受信した商品販売サーバ103は、DVD再生装置101に対し商品購入のための画面情報(HTMLファイル、画像情報およびスクリプトなど)を送信する。
ステップS408において、DVD再生装置101は、商品販売サーバ103から受信した画面情報をwebブラウザ上に表示する。視聴者は、このようにして表示された購入画面に従い、商品の購入手続きを行うことが可能となる。
以上説明したとおり本実施形態によれば、DVD再生装置101において、視聴者が視聴しているDVD104に対応した付帯情報105をインターネット110上の付帯情報サーバ102から取得し、視聴者の見ている動画データの再生画面上に重ね合わせて商品ラベルを表示することが可能となる。また、付帯情報105に商品販売サーバ103のアドレス情報を含むことにより、視聴者は動画データの再生画面上に表示された商品オブジェクトに対する商品ラベルを選択することにより、商品オブジェクトの実物を販売する商品販売サーバ103に簡単に接続することができる。
(第2実施形態)
本実施形態においては、特にDVD再生装置101における内部デバイスと処理との関連について詳細に説明する。
本実施形態においては、特にDVD再生装置101における内部デバイスと処理との関連について詳細に説明する。
<装置内部構成>
図5は、実施形態に係るDVD再生装置101の内部構成の一例を示す図である。この例で、DVD再生装置101は、DVD104から映像データを読み取るDVDドライブ501と、インターネット上の他の端末と通信するための通信装置502と、各種プログラムを実行するためのCPU503と、各種データを一時記憶するためのRAM504と、各種プログラムやパラメータ(付帯情報サーバ102のアドレス情報等)を記憶しているROM505と、文字入力するためのキーボード506と、画面上の位置指示に使用されるマウス507と、CPU503からの表示命令に応じて描画処理を実行する表示回路508を含んでおり、表示回路508により出力された映像を表示するためにLCD等の表示装置509を接続している。なお、文字入力や画面上の位置入力を行うためのデバイスとしてはスクリーンキーボード、タッチパネルもしくはリモコン等既存の様々な入力デバイスであってもよい。
図5は、実施形態に係るDVD再生装置101の内部構成の一例を示す図である。この例で、DVD再生装置101は、DVD104から映像データを読み取るDVDドライブ501と、インターネット上の他の端末と通信するための通信装置502と、各種プログラムを実行するためのCPU503と、各種データを一時記憶するためのRAM504と、各種プログラムやパラメータ(付帯情報サーバ102のアドレス情報等)を記憶しているROM505と、文字入力するためのキーボード506と、画面上の位置指示に使用されるマウス507と、CPU503からの表示命令に応じて描画処理を実行する表示回路508を含んでおり、表示回路508により出力された映像を表示するためにLCD等の表示装置509を接続している。なお、文字入力や画面上の位置入力を行うためのデバイスとしてはスクリーンキーボード、タッチパネルもしくはリモコン等既存の様々な入力デバイスであってもよい。
なお、CPU503で実行される主たるプログラムとしては、たとえば、識別情報取得プログラム511、付帯情報取得プログラム512、表示制御プログラム513およびWebブラウザ514などが挙げられる。各プログラムの機能については後述する。
本実施形態に係る各機器およびプログラムは、第1実施形態で説明した機能ブロックの下位概念と呼ぶべきものであるが、両者の対応関係はおおまかに以下のようになっている。キーボード506、マウス507および入力IF510は入力部201に対応している。通信装置502は接続部202に対応している。DVDドライブ501、CPU503および識別情報取得プログラム511は識別情報取得部203に対応している。CPU503および付帯情報取得プログラム512は付帯情報取得部204に対応している。表示回路508、CPU503および表示制御プログラム513は表示出力部205に対応している。
<付帯情報のデータ構造>
図6は、実施形態に係る付帯情報105のデータ形式の一例を示す図である。この例では、付帯情報105をXML(eXtensive Markup Language)形式で記述する際のDTD(Document Type Definition)を示している。付帯情報105に記述されるべきデータ項目は、DTDのデータツリー構造に従い、DVDタイトルごとにXML形式でラベル情報が記述されることになる。XML形式は、当業者に非常によく知られているため、当業者であれば特別の勉強をすることなく理解でき、好ましいだろう。もちろん、結果的に付帯情報105を好適に記述できるのであれば、XML形式以外の記述形式を採用してもよいことはいうまでもない。
図6は、実施形態に係る付帯情報105のデータ形式の一例を示す図である。この例では、付帯情報105をXML(eXtensive Markup Language)形式で記述する際のDTD(Document Type Definition)を示している。付帯情報105に記述されるべきデータ項目は、DTDのデータツリー構造に従い、DVDタイトルごとにXML形式でラベル情報が記述されることになる。XML形式は、当業者に非常によく知られているため、当業者であれば特別の勉強をすることなく理解でき、好ましいだろう。もちろん、結果的に付帯情報105を好適に記述できるのであれば、XML形式以外の記述形式を採用してもよいことはいうまでもない。
図6において、DVDのタイトル情報601には、DVDの識別IDとDVDのビデオタイトルに関する情報が含まれている。商品オブジェクトのラベル情報602には、商品の表示名、商品のカテゴリー、商品の説明文、アイコン情報、および商品の実物を紹介・販売しているサーバのアドレス情報などが含まれている。動画のフレームの情報603には、動画フレームごとの商品オブジェクトまたはラベル情報を表示するための座標位置情報が含まれている。換言すれば、動画フレームの情報603には、各ラベル情報について、各再生タイムライン上での時刻(タイトル、チャプターやフレーム番号など)ごとの表示座標に関する情報が含まれていることになる。
ここで、DVDのタイトル情報601は、原則として1つのDVDタイトルに対し唯一のキーとなる情報である。商品オブジェクトのラベル情報602は、ラベル情報の付加対象となる商品オブジェクトに対応したキーであり、1つのDVDタイトルに対し商品の種類の数だけ存在する。動画のフレームの情報603には、たとえば、時刻(もしくはフレーム番号)に関する情報と、座標位置情報(たとえばXY座標に関する情報)が含まれる。また、座標位置情報は、画面に表示される再生時間に相当する数(たとえばフレーム数)だけ存在する。たとえば、1フレームまたは数フレームにつき1つの座標位置情報が存在することになる。
なお、ある時刻において画面上に複数のラベルが表示されることもある。その際は、ある再生時刻に対応するフレームの情報603が複数含まれることになる。
ところで、付帯情報105のデータツリー構造には種々のものを採用可能である。たとえば、図6では、DVDのタイトル情報601−ラベル情報602−動画フレームの情報603というツリー形式を示しているが、DVDのタイトル情報601−動画フレームの情報603−ラベル情報602というツリー形式でも、もちろん記述可能である。しかしながら、その場合、フレーム(再生時刻)により変化しないラベル情報602を画面に表示される再生時刻に相当する数(たとえばフレーム数)だけ記述する必要性が生じ、その結果、付帯情報105のファイルサイズの肥大化といった問題が発生する。そのため、図6に示されるツリー構造の方が付帯情報105のファイルサイズの点では有利となる。図6のツリー構造であれば、フレーム(再生時刻)により変化しないラベル情報602を一度記載するだけで十分となるからである。
<各プログラムの機能>
図5において、識別情報取得プログラム511は、DVDドライブ501の読み取り動作を制御することで、DVD104から識別IDに関する情報(たとえば動画データの容量、タイムスタンプ等)を読み出し、所定の演算を実行して識別IDを取得する。なお、識別IDが直接DVD104に記憶されている場合、その識別IDを読み出せばよい。
図5において、識別情報取得プログラム511は、DVDドライブ501の読み取り動作を制御することで、DVD104から識別IDに関する情報(たとえば動画データの容量、タイムスタンプ等)を読み出し、所定の演算を実行して識別IDを取得する。なお、識別IDが直接DVD104に記憶されている場合、その識別IDを読み出せばよい。
この識別IDは、多数のタイトルに対応できる程度に十分な長さ(たとえば32bit長)とすることが望ましいだろう。なお、取得された識別IDは、付帯情報サーバ102におけるDVDのタイトルごとに用意された何れかの識別IDと同一の識別IDとなる。
付帯情報取得プログラム512は、識別情報取得プログラム511により得られた識別IDを付帯情報サーバ102に送信し、付帯情報サーバ102に記憶された当該識別IDと同一の識別IDを持つ付帯情報105を取得する機能を有する。つまり、DVDドライブ501にセットされたDVD104のタイトル用の付帯情報105が取得される。
Webブラウザ514は、通常コンピュータで利用されているプラグラムと同様のものであり、インターネット110に接続されたwebサーバ(web)と接続し、HTTP(HyperText Transfer Protocol)等により通信が可能なプログラムである。
<DVD再生装置の詳細動作>
図7は、実施形態に係る付帯情報105の取得処理の例示的なフローチャートである。
図7は、実施形態に係る付帯情報105の取得処理の例示的なフローチャートである。
ステップS701において、DVD再生装置101の電源が投入されると、CPU503は、DVD104の挿入待機状態に移行する。DVD104が挿入されると、CPU503は、識別情報取得プログラム511を実行し、DVD104に記憶されている情報(たとえば動画データの容量、タイムスタンプ等)から識別IDを取得する。
ステップS702において、CPU503は、付帯情報取得プログラム512を実行し、ROM505に記憶されている付帯情報サーバ102のアドレス情報を読み出し、付帯情報サーバ102に識別IDを送信し、対応する付帯情報105の取得を試みる。
ステップS703において、CPU503は、付帯情報サーバ102からの応答を元に、送信した識別IDに対応する付帯情報105の取得可否を判断する。取得可能と判断された場合は、ステップS704に移行する。付帯情報105の取得が不可能と判断された場合、CPU503は、付帯情報105を用いない通常モードでDVD再生を実行すべく、再生開始の待ち受け状態(S705)に移行することになる。
ステップS704において、CPU503は、識別IDに対応した付帯情報105を付帯情報サーバ102から取得し、RAM504に記憶する。
ステップS705において、CPU503は、再生開始の待ち受け状態に移行する。ここで、再生指示を表す指示がキーボードやマウス等から入力されると、後述する再生表示処理に進む。
ところで、CPU503は、識別IDに対応した付帯情報105を取得した場合に限り、表示装置509にスイッチ210を表示してもよい。すなわち、付帯情報105を取得できなかった場合、スイッチ210を非表示にしたり、操作不能の状態で表示したりしてもよいのである。このようにすることで、視聴者は、スイッチ210の表示の有無により、装置にセットされているDVDがラベル情報を表示可能なDVDタイトルであるか否かを、視覚的に判断し易くなろう。
さらに、ポインタ211によるスイッチ210の押下等を検出することで、CPU503は、ラベル情報に関する表示オン/表示オフの切替え(つまり表示画面201と表示画面202の切替え)を実行する。すなわち、商品の購入に興味がないユーザは、ラベル表示をオフにすることで、動画に集中できる利点がある。また、興味を引く商品が表示画面に登場したときにのみ、スイッチ210を操作して、商品の情報を取得したり、実物の販売サイトにアクセスしたりすることも可能である。
ところで、ステップS703およびステップS704の通信処理においては、HTTP(HyperText Transfer Protocol)を用いることが望ましいだろう。なぜなら、HTTPはファイアウォールによるアクセス制限の影響を受けにくいという特徴をもつからである。もちろん、販売サイトに対して好適にアクセスできるのであれば、HTTP以外のプロトコルを用いてもよいことはいうまでもない。
図8は、実施形態に係る再生表示処理の例示的なフローチャートである。この例は、図8のフローにてDVD再生装置101が付帯情報105を取得できたときの再生表示処理についてのものである。なお、下記のいずれの時点においても、スイッチ210が表示されているものとし、マウス507によるポインタ211の操作によりオン/オフ切替え(つまり表示画面201と表示画面202の切替え)が可能であるものとする。
ステップS801において、視聴者による再生ボタン押下等により再生動作が開始されると、CPU503は、表示制御プログラム513を実行し、RAM504から付帯情報105を読み出し、再生中の動画の時刻を基準としたラベル情報画面を生成する。ラベル情報画面の生成する処理の詳細は後述する。
ステップS802において、CPU503は、所定のフレームごとにステップS801で生成したラベル情報画面を、表示制御回路508を用いてDVDからの動画データに合成し、表示装置509へ出力する。
ステップS803において、CPU503は、動画データの再生中に、視聴者によるマウス507のクリックなど、入力IF510を通じて、表示画面上の商品オブジェクトに対する選択指定があったかどうかを判定する。商品オブジェクトに対する選択指定は、たとえば、当該商品オブジェクトに対応するラベル画像に対する選択指定であってもよい。商品オブジェクトへの選択指定があった場合は、ステップS804に進み、そうでなければステップS806に進む。
ステップS804において、CPU503は、選択指定された商品オブジェクトに関連するアドレス情報をRAM504に記憶されている付帯情報105から読み出す。また、CPU503は、webブラウザプログラム514を実行し、読み出したアドレス情報をwebブラウザプログラム514に渡し、商品販売サーバ103へ接続する。
ステップS805において、CPU503は、webブラウザプログラム514により、商品販売サーバ103から受信したHTMLデータや画像データを表示する。これにより、視聴者は、ステップS804により表示された購入画面に従い、商品の購入手続きを行うことが可能となる。視聴者によりwebブラウザプログラム514が終了された場合は、ステップS801(つまり再生状態)に戻る。ステップS802およびステップS803の動作は、DVD上の動画データの再生が終了するまで繰り返されることになる。
ステップS806において、CPU503は、動画データの再生を終了させるべきか否かを判定する。再生を継続すべき場合は、ステップS801に戻る。再生停止の指示などが入力IFを通じて入力されたときは、再生処理を終了する。
ところで、ステップS803においては、時間とともに商品オブジェクトやラベル画像の位置が画面上で変化するとともに、動画データのシーンが変わると商品オブジェクトが突然画面上から消えることも想定される。これでは、視聴者が商品オブジェクトを容易に選択指定できないおそれもある。
そこで、本実施形態では、CPU503が、視聴者によるマウス507の移動等を検知した場合に、再生を一定期間または任意の期間停止するように制御してもよい。これにより、視聴者の商品選択が容易になるという利点がある。
また、ステップS803において、商品オブジェクトやラベル画像への選択指定がなされたとき、すなわち、販売サイトへと接続するときも、動画データの再生を停止してもよい。これにより、販売サイトを閲覧しているときは、自動的に、動画データの再生を停止することができるようになる。
以上説明したとおり本実施形態によれば、DVD再生装置101において、視聴者が視聴しているDVD104に対応した付帯情報105をインターネット110上の付帯情報サーバ102から取得し、視聴者の見ている動画データの再生画面上に重ね合わせて商品ラベルを表示することが可能となる。
また、商品販売サーバ103のアドレス情報が付帯情報105に含まれているので、視聴者は動画データの再生画面上に表示された商品オブジェクトまたはラベル画像を選択指定することにより、商品オブジェクトの実物を販売する商品販売サーバ103に簡単に接続することができる。
さらに、付帯情報105をインターネット110上の付帯情報サーバ102から配布するようにしたので、膨大な数の付帯情報105を一元管理することが容易になるという利点がある。
図9は、実施形態に係るラベル情報画面を生成する処理に関するフローチャートである。また、図10は、実施形態に係るラベル情報画面の一例を示す図である。ラベル情報画面は、DVDの再生画像を含まない画面のことを意味する。この例では、表示制御プログラム513が、付帯情報105に基づいて、各フレームに対応するラベル情報画面を生成するものと仮定している。以下では、ある再生時刻tにおける付帯情報105からラベル情報画面を生成する方法を説明する。
ステップS901において、CPU503は、RAM504に記憶されている付帯情報105から再生時刻tについての商品オブジェクトのラベル情報602を検索して抽出する。なお、この際に抽出されるラベル情報602の数は、再生時刻tのフレームにおいて画面上に表示されている商品オブジェクトの数に等しくなる。
ステップS902において、CPU503は、抽出されたラベル情報602のそれぞれに対応する座標位置情報603(たとえばXY座標)を読み出して、RAM504に一時記憶する。
ステップS903において、CPU503は、ラベル情報603に含まれている商品の表示名、商品のカテゴリー(衣料品、家具等)、商品の説明文、および商品の実物を紹介・販売しているサーバのアドレス情報(URL等)の情報などを反映したラベル画像を生成する。なおアドレス情報は、ラベル画像に含めずにRAM504等に記憶しておいてもよい。すなわち、視聴者によるラベル画像または商品オブジェクトへの選択指定がなされたときに、当該アドレス情報が使用できれば十分だからである。
ステップS904において、CPU503は、各ラベル画像を、座標位置情報に従って配置し、ラベル情報画面を生成する。なお、ラベル画像を配置する際には、それぞれ重ならないように微調整することが望ましい。
以上の手順により、再生される動画データとともに表示されるラベル情報画面を好適に生成することができる。
(第3実施形態)
第1実施形態および第2実施形態では、付帯情報105をインターネット上の付帯情報サーバ102から取得することを想定していた。しかしながら、本発明はこれに限定されることはない。
第1実施形態および第2実施形態では、付帯情報105をインターネット上の付帯情報サーバ102から取得することを想定していた。しかしながら、本発明はこれに限定されることはない。
たとえば、付帯情報105を記憶した記憶メディア(たとえばCD−ROM)を、ファッション雑誌等の付録として配布してもよい。
図11は、実施形態に係る付帯情報105の取得処理に関する例示的なフローチャートである。ここでは、最初に、付帯情報105を記憶した記憶メディアがDVD再生装置に挿入されるものとする。
ステップS1101において、CPU503は、DVDドライブ501に挿入された記憶メディアから付帯情報105を読み出し、読み出した付帯情報105をRAM504に記憶する。当該記憶メディアには、1以上のDVDタイトルについての付帯情報105が記憶されているものとする。その後、任意のタイミングで付帯情報105を記憶した記憶メディアが排出され、その後、所望のDVDがDVDドライブ501に挿入されたとする。
ステップS1102において、CPU503は、DVDドライブ501を制御し、挿入されたDVDから識別IDを取得し、RAM504に記憶する。この取得方法は、既に説明したとおりである。
ステップS1103において、CPU503は、識別IDに対応する付帯情報105をRAM504に記憶されている1つ以上の付帯情報105のうちから検索抽出する。
ステップS1104において、CPU503は、識別IDに対応する付帯情報105を検索抽出できたか否かを判定する。抽出できなかった場合は、通常再生モードにて待機する。
一方、抽出できた場合は、ステップS1105に進み、CPU503は、付帯情報付きの再生モードに設定して、再生待機する。
以上のように、付帯情報105が予め記憶された記憶メディアから当該付帯情報105をDVD再生装置101に読み込ませることで、付帯情報サーバ102を設置する場合と同様の効果が得られる。
(第4実施形態)
第1実施形態乃至第3実施形態によれば、動画データの再生画面は、表示装置509の画面全体を使用して全画面表示を行い、商品注文処理時は、商品注文処理画面を動画データの再生画面に代えて表示する形態を想定していた。
第1実施形態乃至第3実施形態によれば、動画データの再生画面は、表示装置509の画面全体を使用して全画面表示を行い、商品注文処理時は、商品注文処理画面を動画データの再生画面に代えて表示する形態を想定していた。
その場合、注文処理中に、動画データの再生画面上に表示された画像を確認することができない課題がある。
そこで、動画データの再生ウインドウと、商品注文処理用のブラウザのウインドウとをそれぞれ別ウィンドウとして表示するようにしてもよい。これにより、商品注文処理中も、商品が表示されている再生画面を確認できるという利点がある。
図12は、実施形態に係る複数ウインドウの表示例を示す図である。表示装置509には、動画データの再生ウインドウ1201と、販売サイトを表示するためのブラウザウインドウ1202と、ポインタ1203とが示されている。ポインタ1203がマウス507の操作に連動して移動することは言うまでもない。なお、これらのウインドウは、CPU503が、表示制御回路508を制御して、表示装置509に表示することになる。
(第5実施形態)
第4の実施形態では、再生ウインドウと、商品注文処理用のブラウザウインドウとを使用する例を説明した。この場合、ブラウザウインドウを使用して販売サイトにアクセスしている最中も、再生ウインドウでは動画データの再生が継続されてしまうと、視聴者は映画やドラマの一部を見損ねてしまうことになりかねない。その一方で、商品オブジェクトやラベル画像をクリックするには、これらが停止していた方がクリックしやすい。そこで、本実施形態では、このような課題を解決することを目的とする。
第4の実施形態では、再生ウインドウと、商品注文処理用のブラウザウインドウとを使用する例を説明した。この場合、ブラウザウインドウを使用して販売サイトにアクセスしている最中も、再生ウインドウでは動画データの再生が継続されてしまうと、視聴者は映画やドラマの一部を見損ねてしまうことになりかねない。その一方で、商品オブジェクトやラベル画像をクリックするには、これらが停止していた方がクリックしやすい。そこで、本実施形態では、このような課題を解決することを目的とする。
図13は、実施形態に係る再生一時停止処理の例示的なフローチャートである。この例では、CPU503は、再生ウインドウ1202内にポインタ1203が位置しているかどうかを判定し、位置している場合には、動画データの再生を一時停止するようにする。
ステップS1301において、CPU503は、ポインタ1203の座標位置を取得し、RAM504に記憶する。
ステップS1302において、CPU503は、取得した座標位置に基づいて、ポインタ1203が再生ウインドウ1201内に位置しているか否かを判定する。位置していない場合は、再生を継続すべく、本サブルーチンを終了する。一方、ポインタ1203が再生ウインドウ1201内に位置していれば、ステップS1303に進む。
ステップS1303において、CPU503は、動画データの再生を一時停止する。この間に、商品オブジェクトやラベル画像がポインタ1203によって選択指定されると、ブラウザウインドウ1202が開かれることになる。
ステップS1304において、CPU503は、ブラウザウインドウ1202が開いているかどうかを判定する。開いていなければ、ステップS1301に戻る。一方、ブラウザウインドウ1202が開いていれば、ステップS1305に進む。
ステップS1305において、CPU503は、ブラウザウインドウ1202が閉じられるまで待機する。閉じられたならばステップS1306に進む。
ステップS1306において、CPU503は、再生ウインドウ1201における動画再生を再開する。
以上説明したように、本実施形態によれば、ポインタ1203が再生ウインドウ内に位置するときは、自動的に動画データの再生を一時停止するようにしたので、視聴者は、簡単な操作で再生を一時停止できる。
また、商品オブジェクトやラベル画像の移動も一時停止されるので、視聴者は、商品オブジェクト等の選択を容易に実行できるようになる。
また、商品の販売サイトの閲覧が終了するまで、動画の再生を一時停止しておくことができるので、販売サイトの閲覧中に動画データの再生が進んでしまうことを自動的に防止できるようになる。
さらに、ブラウザウインドウ1202が閉じられたことを契機として、CPU503は、再生ウインドウ1201における動画データの再生を再開するので、再生ボタンの押し下げなどの操作を省略できるという利点もある。
上述したDVD再生装置は、本実施形態に係るプログラムがインストールされたPCであってもよいし、専用のDVDプレーヤであってもよいことはいうまもない。
(第6実施形態)
本実施形態では、所定のフレームについてラベル情報をマニュアルで設定するが、他のフレームについては、俳優が身に付けている服や装飾品などの商品が当該俳優とともに移動する性質を利用して、自動的にラベル情報を設定して付帯情報105を生成するオーサリング装置について説明する。
本実施形態では、所定のフレームについてラベル情報をマニュアルで設定するが、他のフレームについては、俳優が身に付けている服や装飾品などの商品が当該俳優とともに移動する性質を利用して、自動的にラベル情報を設定して付帯情報105を生成するオーサリング装置について説明する。
<オーサリング装置の機能ブロック>
図14は、実施形態に係るオーサリング装置の例示的な機能ブロック図である。オーサリング装置1400は、基本的な機能として、DVD等の書き換え不可能な記憶メディアから読み取り部1440によって読み取られた動画データを表示出力する機能を備えている。
図14は、実施形態に係るオーサリング装置の例示的な機能ブロック図である。オーサリング装置1400は、基本的な機能として、DVD等の書き換え不可能な記憶メディアから読み取り部1440によって読み取られた動画データを表示出力する機能を備えている。
さらに、認識部1401は、動画データに含まれる複数のフレームのうち、操作者を販売サイトへと誘導するためのラベル情報を商品オブジェクトに対してマニュアルで設定される第1のフレームと、ラベル情報を自動で設定される1以上の第2のフレームとにおいて、それぞれ、ラベル情報の付されることになる商品オブジェクトに関連する関連オブジェクトを認識する。ここで、商品オブジェクトとは、映像として表示される俳優が身につけている服や装飾品など、商品の映像のことである。販売サイトでは、当該商品の実物をオンライン販売しているものとする。また、関連オブジェクトとは、商品オブジェクトと連動して移動する可能性のある映像のことで、たとえば、商品を身につけている人物の顔などである。
認識部1401は、たとえば、動画データのn(nは自然数)番目のフレームと、n+k(kは自然数)番目のフレームとにおいて、関連オブジェクトの表示位置を取得する表示位置取得部を備えている。
決定部1410は、第1のフレームと第2のフレームとにおいてそれぞれ認識された関連オブジェクトの表示位置と、第1のフレームにおいてマニュアルで設定されたラベル情報の表示位置とに応じて、前記第2のフレームにおける商品オブジェクトに対するラベル情報の表示位置を決定する。
決定部1410は、たとえば、動画データのn番目のフレームにおいて、商品オブジェクトを指定する指定部1411と、指定された商品オブジェクトの表示位置をn番目のフレームにおいて取得する商品表示位置取得部1412と、n番目のフレームにおける関連オブジェクトの表示位置と、n+k番目のフレームにおける関連オブジェクトの表示位置とに基づいて、関連オブジェクトの移動量を導出する移動量導出部1413と、n番目のフレームにおける商品オブジェクトの表示位置と移動量に基づいて、n+k番目のフレームにおける商品オブジェクトの表示位置を推定する表示位置推定部1414を含んでいる。
また、決定部1410は、n番目のフレームにおける商品オブジェクトの表示位置から所定の範囲内にある画素の特徴量を抽出する特徴量抽出部1415と、当該特徴量とn+k番目のフレームにおける任意の複数の表示位置に、任意の表示位置から所定の範囲内にある画素の特徴量との差を導出する特徴量差分部を含み、差が相対的に小さくなる表示位置であって、n番目のフレームにおける商品オブジェクトの表示位置から移動量に応じて移動したことになる表示位置からの距離が相対的に小さくなる表示位置を、n+k番目のフレームにおける商品オブジェクトの表示位置として推定することができる。
また、生成部1420は、ラベル情報と、フレームごとのラベル情報の表示位置に関する情報と、ラベル情報に対応する商品オブジェクトの実物を販売する販売サイトのアドレス情報とを含む付帯情報105を生成する。生成部1420は、n番目のフレームからn+m×k(mは自然数)番目のフレームまでについて連続して付帯情報105を生成する。例えば、1番目のフレームについてマニュアルで設定し、それをもとに2番目のフレームから1つづつ30番目のフレームまで連続して付帯情報105を生成してもよい。なお、付帯情報105の生成スピードを向上させるために、所定フレームおきに付帯情報105を生成してもよい。
このように、複数のフレームについて連続して処理を行うことにより、操作者の操作頻度の大幅な低減あるいは付帯情報105の生成までの時間の大幅な短縮が可能となるという効果をもたらしている。
また、生成部1420は、動画データに含まれるシーンの切れ目を検出するシーン検出部1417をさらに有していてもよい。その場合、指定部1411は、シーン検出部1417によりシーンの切れ目が検出されると、切れ目後の最初のフレームにおいて、商品オブジェクトを再指定することになる。一般に、シーンの切れ目が検出されるときは、それまで表示されていた人物や商品の映像が消え去ってしまう確率が高い。従って、そのような場合に、マニュアルで商品オブジェクトを再指定すれば、その後の商品オブジェクトに関する表示位置の推定精度を向上させることができるであろう。
もちろん、付帯情報105には、動画データのタイトルを特定可能な固有の識別子が含まれていることが望ましいことはいうまでもない。
<装置の動作>
図15は、本実施形態に係るオーサリング処理の例示的なフローチャートである。ここでは、あるDVDメディアに記憶されている動画データに対して、付帯情報105を生成することを想定する。
図15は、本実施形態に係るオーサリング処理の例示的なフローチャートである。ここでは、あるDVDメディアに記憶されている動画データに対して、付帯情報105を生成することを想定する。
ステップS1501において、認識部1401は、DVDメディア410に記憶されている動画データの各フレームのデータを読み込み、たとえば人物の顔等の関連オブジェクトを認識する。さらに、基準表示位置取得部1402は、認識された関連オブジェクトの表示位置の座標データを取得する。表示位置は、関連オブジェクトの中心位置としてもよいし、関連オブジェクトを包含しうる矩形の頂点の座標位置としてもよい。
ステップS1502において、指定部1411は、商品が表示されているフレーム(このフレームをn番目のフレームとする)における商品オブジェクトを選択指定する。商品表示位置取得部1412は、指定された商品オブジェクトを特定するための表示位置を指定部1411からの指定信号に基づいて取得する。なお、商品オブジェクトを選択指定した際に、当該商品オブジェクトに関するラベル情報の内容も入力してもよい。商品オブジェクトの選択指定とそのラベル情報の入力とを同時に行うことで、操作者は、商品オブジェクトを画面で確認しながら、そのラベル情報を入力できるため便利であろう。
なお、認識部1401が、複数の関連オブジェクトを認識した場合、指定部1411は、操作者からの指示に応じて、1つの関連オブジェクトを選択指定する。表示位置取得部1402は、選択指定された関連オブジェクトの表示位置の座標データを取得する。
ステップS1503において、決定部1410の特徴量抽出部1415は、n番目のフレームにおける商品オブジェクトの表示位置から所定の範囲内にある画素の特徴量を抽出する。この特徴量は、商品に関する画像としての特徴量である。画像の類似性を判定する際に使用される特徴量と同義である。
ステップS1504において、移動量導出部1413は、n番目のフレームと、n+k(k=1など)番目のフレームとのそれぞれにおける関連オブジェクトの表示位置から、関連オブジェクトの画面上での移動量を導出する。
ステップS1505において、特徴量抽出部1415は、n+k番目のフレームにおける全座標位置のそれぞれに関して、各座標表示位置から所定の範囲内にある画素の特徴量を抽出する。
ステップS1506において、特徴量差分部1406は、n番目のフレームに関する商品オブジェクトの特徴量と、n+k番目のフレームに関する複数の特徴量との差を導出する。
ステップS1507において、表示位置推定部1414は、n番目のフレームにおける商品オブジェクトの表示位置と、上述の移動量に基づいて、n+k番目のフレームにおける商品オブジェクトの表示位置を推定する。表示位置推定部1414は、たとえば、特徴量の差が相対的に小さくなるn+k番目のフレームの複数の表示位置を選定し、選定された複数の表示位置のうち、n番目のフレームにおける商品オブジェクトの表示位置から前述の移動量だけ移動したことになる表示位置との距離が相対的に小さくなる表示位置を、n+k番目のフレームにおける商品オブジェクトの表示位置として推定する。すなわち、商品の画像と類似する複数の画像が見つかった場合には、関連オブジェクトとほぼ同じ移動量だけ商品オブジェクトも移動したとものと仮定して得られる表示位置に最も近い画像を設定する。そして、選定された画象の表示位置を商品オブジェクトの表示位置と推定することになる。
ステップS1508において、生成部1420は、n+k番目のフレームについて、商品オブジェクトの表示位置の情報と、ラベル情報と、実物を販売する販売サイトのアドレス情報とを含む付帯情報105を生成する。付帯情報105を1つのファイルにまとめるときは、各フレームごとに生成した付帯情報105をファイルに追記してゆく。
ステップS1509において、生成部1420は、全ての対象フレームについて付帯情報105の生成処理が終了したか否かを判定する。終了していなければ、ステップS1504に戻り、次の対象フレームに関してオーサリング処理を実行する。
以上説明したとおり本実施形態によれば、オーサリング装置1400において、n番目のフレームについてラベル情報をマニュアルで設定するが、n+k番目のフレームについては、俳優が身に付けている服や装飾品などの商品が当該俳優とともに移動する性質を利用して、自動的にラベル情報を設定して付帯情報105を生成することができる。
また、多くの場合、ある人物の身に付けている商品の商品オブジェクトに対する関連オブジェクトとして、その人物の顔を利用できる。そのため、本発明によれば、ある人物が複数の商品を身に付けていた場合には、これら商品の商品オブジェクトを全て認識する必要性は低減される。すなわち、関連オブジェクト(その人物の顔)の表示位置を認識するだけで、各フレームにおける他の商品オブジェクト(当該人物が身に付けている商品)の位置も推定処理により派生的に得られることになり、各フレームにおいてすべての商品オブジェクトの表示位置の認識を行うのに比較して、作業の効率が大幅に改善される。これは、ある人物の身に付けている商品の数が増えれば増えるほど、改善効果が大きくなることを意味する。
このように、本発明によれば、付帯情報105の生成に関する労力が大幅に軽減されることになろう。
(第7実施形態)
本実施形態においては、特にオーサリング装置における内部デバイスと処理との関連について詳細に説明する。
本実施形態においては、特にオーサリング装置における内部デバイスと処理との関連について詳細に説明する。
<装置内部構成>
図16は、実施形態に係るオーサリング装置の内部構成の一例を示す図である。この例で、オーサリング装置1400は、DVDメディア104から映像データを読み取るDVDドライブ1601と、各種プログラムを実行するためのCPU1603と、パラメータなど各種情報を一時記憶するためのRAM1604と、各種プログラムなどを記憶しているROM1605と、文字入力するためのキーボード1606と、画面上の位置指示に使用されるマウス1607と、CPU1603により実行されるプログラムの実行結果等を表示する表示制御回路1608を含んでいる。また、オーサリング装置1400には、表示制御回路1608から出力された映像を表示するためのLCD(Liquid Crystal Display)等の表示装置1609を接続している。なお、文字入力や画面上の位置入力を行うためのデバイスとしては、スクリーンキーボード、タッチパネルもしくはリモコンなど、既存の様々な入力デバイスを採用可能である。図示は、省略しているが完成した付帯情報105のファイルを保存するためのハードディスクドライブをさらに備えていてもよいことはいうまでもない。
図16は、実施形態に係るオーサリング装置の内部構成の一例を示す図である。この例で、オーサリング装置1400は、DVDメディア104から映像データを読み取るDVDドライブ1601と、各種プログラムを実行するためのCPU1603と、パラメータなど各種情報を一時記憶するためのRAM1604と、各種プログラムなどを記憶しているROM1605と、文字入力するためのキーボード1606と、画面上の位置指示に使用されるマウス1607と、CPU1603により実行されるプログラムの実行結果等を表示する表示制御回路1608を含んでいる。また、オーサリング装置1400には、表示制御回路1608から出力された映像を表示するためのLCD(Liquid Crystal Display)等の表示装置1609を接続している。なお、文字入力や画面上の位置入力を行うためのデバイスとしては、スクリーンキーボード、タッチパネルもしくはリモコンなど、既存の様々な入力デバイスを採用可能である。図示は、省略しているが完成した付帯情報105のファイルを保存するためのハードディスクドライブをさらに備えていてもよいことはいうまでもない。
なお、CPU1603で実行される主たるプログラムとしては、たとえば、オブジェクト位置認識プログラム1611、表示位置取得プログラム1612、画素特徴量抽出プログラム1613、移動位置推定プログラム1614、付帯情報生成プログラム1615、識別情報取得プログラム1616などが挙げられる。各プログラムの機能については後述する。なお、これらのプログラムを複数のプログラムモジュールとして実現してもよいし、全体として1つのプログラムとして実現してもよい。また、現時点で、ある画像の中に含まれている人間の顔の画像を精度良く認識する顔認識モジュールが市販されているので、当該顔認識モジュールをオブジェクト位置認識プログラム1611として採用してもよい。
本実施形態にかかる各機器およびプログラムは、第1実施形態で説明した機能ブロックの下位概念と呼ぶべきものであるが、両者の対応関係はおおまかに以下のようになっている。
認識部1401や基準表示位置取得部1402は、CPU1603およびオブジェクト位置認識プログラム1611によって実現できる。決定部1410の指定部1411は、キーボード1606、マウス1607および入力IF1610等によって実現できる。商品表示位置取得部1412は、CPU1603および表示位置取得プログラム1612によって実現できる。特徴量抽出部1415は、CPU1603および画素特徴量抽出プログラムは2313に対応している。移動量導出部1413、特徴量差分部1416および表示位置推定部1414は、CPU1603および移動位置推定プログラム1614によって実現できる。生成部1608は、CPU1603および付帯情報生成プログラム1615によって実現できる。
<オーサリング装置の詳細動作>
図17は、実施形態に係る付帯情報生成処理の例示的なフローチャートである。本フローチャートは、実施形態に係るオーサリング処理のメインルーチンに相当する。
図17は、実施形態に係る付帯情報生成処理の例示的なフローチャートである。本フローチャートは、実施形態に係るオーサリング処理のメインルーチンに相当する。
ステップS1701において、CPU1630は、DVDメディア410に記憶されている動画データ内の各フレームにおいて、関連オブジェクトを認識する。その際に、認識された関連オブジェクトの表示位置を導出する。さらに、複数のフレーム間に渡って検出された関連オブジェクトについて、対応付け処理を行なう。たとえば、第1のフレームでは、人物Aの顔と、人物Bの顔とが認識され、第2のフレームでは、人物Aの顔と、人物Bの顔と、さらに人物Bの顔とが認識された場合には、第1のフレームで認識された人物Aの顔と、第2のフレームで認識された人物Aの顔とは同一の関連オブジェクトであることを指示する処理が、ここでいう対応付け処理である。通常であれば、認識プログラムによって、対応付け処理は実行可能であるが、ときには別人の顔であるにもかかわらず、同一の顔として認識される可能性がある。そこで、このような誤認識についてはマニュアルで対応付けを変更することになる。
ステップS1702において、CPU1603は、商品オブジェクトの表示されているn番目のフレームにおいて、ラベル情報の付与対象となる商品オブジェクトを指定し、指定された商品オブジェクトの表示位置の座標データを出力する。これらが、n+k番目において、商品オブジェクトの表示位置(すなわちラベル情報の表示位置)を推定するための初期条件の一部となる。
ステップS1703において、CPU1603は、マニュアルで商品オブジェクトの表示位置を指定されたフレーム以外の他のフレームについて、上述の初期条件を元に商品オブジェクトの表示位置を推定し、各フレームにおける表示位置を出力する。
ステップS1704において、CPU1603は、キーボード1606や入力IF1610を通じて、各商品オブジェクトに対応するラベル情報のデータ(商品名や、販売サイトの情報等)の入力を受け付け、入力されたラベル情報とともに、ラベル情報の推定表示位置の座標データを含む付帯情報105を作成し出力する。
図18は、実施形態に係る各ステップに対応する中間ファイルのデータ形式の一例を示す図である。この例は、XML形式で付帯情報105を生成する際の構造を表現したものである。(a)は、上述のステップS1701が終了した時点で出力される中間ファイルである。各シーンごとに、関連オブジェクトの表示時刻のデータ(フレームの番号などでもよい。)と、座標データとが記述されている。(b)は、ステップS1703が終了した時点で出力される中間ファイルである。各シーンごとに、商品オブジェクトの表示時刻のデータ(フレームの番号などでもよい。)と、座標データとが記述されている。(c)は、ステップS1704が終了した時点で出力される付帯情報105の構造である。なお、付帯情報105のファイルは、上述の中間ファイル(b)を1つ以上とタイトルに関する情報を組み合わせることで生成されたものである。
図19は、実施形態に係る関連オブジェクトの認識サブルーチンに関する例示的なフローチャートである。
ステップS1901において、CPU1603は、DVDドライブ1601にセットされたDVDメディア104から動画データを読み込み、作業対象のフレームを画像データに展開する。
なお、ここで対象のフレームを画像データに展開する際、シーンの切れ目検出を行ってもよい。シーンの切れ目を検出するために、チャプター情報を利用する方法、フレーム間の差異を利用する方法、圧縮動画のビットレートを用いる方法、関連オブジェクトの座標変化(急変)を用いる方法などが使用可能である。
ステップS1902において、CPU1603は、キーボード1606またはマウス1607からの指示信号に応じて、付帯情報105の生成対象となるフレームを指定する。たとえば、それぞれ開始フレームと終了フレームとに対応する動画データ上での再生時刻がキーボード1606から入力されてもよいし、あるいはタイムラインに沿って複数のフレームを表示装置1609に表示させ、マウス1607のクリックによって複数の対象フレームが指定されてもよい。
ステップS1903において、CPU1603は、表示装置1609に「関連オブジェクト座標取得開始」ボタンに対するクリックを、入力IF1610を通じて検出すると、オブジェクト位置認識プログラム1611を実行する。これにより、ステップS1902において指定されたフレームすべてについて、たとえば人物の顔等、関連オブジェクトの候補となる座標データを1つ以上取得し、RAM1604に記憶する。
また、関連オブジェクトの座標データを取得する際に、たとえば、座標データの関連性等から、各フレーム間の同一関連オブジェクトに関して上述の対応付け処理を実行してもよい。この場合、ステップS1902で指定されたフレームの少なくとも1つに表示されている1以上の関連オブジェクトに関して、CPU1603は、各フレームにおける表示位置の座標データをファイル(関連オブジェクト表示位置ファイルと呼ぶ)として出力する。関連オブジェクト表示位置ファイルの出力形式の一例は、図18(a)に示したとおりである。
図20は、実施形態に係るオーサリング処理のユーザインタフェースの一例を示す図である。このユーザインタフェースは、顔を関連オブジェクトとしたときの認識結果と、対応付けの誤りを修正するための画面を提供している。このユーザインタフェースでは、縦軸に時間軸を示している。横軸には、フレーム画面2001と、関連オブジェクトとして認識された3つの顔画像2002ないし2004とが示されている。
また、CPU1603は、検出されたシーンの切れ目を横棒2006により示されている。CPU1603は、関連オブジェクト表示位置ファイルと、動画データとに基づいて、表示装置1609にこれらの情報を表示する。なお、同一の関連オブジェクトと推定される顔画像を、CPU1603は同一の列に表示している。このとき、多数のフレームを効率よく認識可能なように、CPU1603が、上下方向・左右方向にスクロールバー2007を表示することが望ましい。
このような表示とすることにより、各々のフレームで認識された関連オブジェクト一覧を視覚的に認識しやすくなるとともに、各フレーム間の関連オブジェクトの関連性も視覚的に認識可能となる。
なお、本来は同一の顔画像として認識されるべきものが、異なる顔画像と認識されてしまうこともある。たとえば、顔画像2005は、本来、顔画像2002と同一であるはずであるが、異なる人物の顔画像と認識されている。この場合、CPU1603は、マウス1607により顔画像2005がドラックされたことを検出し、さらに顔画像2005が、顔画像2002の表示列にドロップされたことを検出すると、顔画像2005を顔画像2002の表示列に表示させるとともに、関連オブジェクト表示位置ファイルにおける対応付けのデータを修正し、RAM1604に記憶する。
また、シーンの切れ目の位置が誤って認識された場合には、シーンの切れ目を示す横棒2006をマニュアルによりマウスのドラッグ・ドロップを行うことにより、CPU1603は、シーン分割の指示または変更指示として検出し、シーンの切れ目のデータを修正し、RAM1604に記憶する。
図21は、実施形態に係る商品オブジェクトの指定処理に関する例示的なフローチャートである。
ステップS2101において、CPU1603は、複数のフレームを表示装置1609に表示し、表示された何れか1つのフレームに対する選択指定の入力を、入力IF1610を通じて受け付ける。これにより、商品オブジェクトが表示されているフレームが1つ選択される。このフレームを、n番目のフレームとする。なお、上述したように、何れかシーンにおける最初のフレーム等をCPU1603が選択してもよい。
ステップS2102において、CPU1603は、選択されたフレームにおける関連オブジェクトの座標データを、関連オブジェクト表示位置ファイルから読み出し、動画データのフレーム画像とともに表示装置1609に表示する。その際、フレーム画像上に関連オブジェクトになる座標点が複数表示されてもよい。あるいは、図22に示すように関連オブジェクトの少なくとも一部を囲むよう矩形を表示してもよい。
ステップS2103において、CPU1603は、たとえば、ラベル情報の付与対象となる商品オブジェクトと関連する関連オブジェクトの選択指定を、入力IF1610を通じて受け付ける。CPU1603は、さらに、選択指定された関連オブジェクトを強調表示してもよい。この強調表示の一例としては、他の関連オブジェクトを囲む矩形の線の色と、選択指定された関連オブジェクトを囲む矩形の線の色とを異ならしめて表示することが上げられる。
ステップS2104において、CPU1603は、ラベル情報の付与対象となる商品オブジェクトの指定を、入力IF1610を通じて受け付ける。あるいは、図22に示すように商品オブジェクトの内部に収まるような矩形2203として受け付けてもよい。すなわち、マウス1607をドラックすることで任意の大きさの矩形2203を指定できる。なお、このときの矩形2203のサイズは、商品オブジェクトの推定処理における特徴量の算出(ステップS2304)対象となる画素領域のサイズとして採用してもよい。
CPU1603は、さらに、選択指定された商品オブジェクトの座標データを座標位置取得プログラム1612によって取得し、RAM1604に記憶しておく。なお、ステップS2103とステップS2104は、どちらを先に実行してもよいことはいうまでもない。
ステップS2105において、CPU1603は、キーボード1607等によって入力される、選択された商品オブジェクトへのラベル情報を受け付け、RAM1604に記憶する。
図22は、実施形態に係る関連オブジェクトと商品オブジェクトの指定処理に関するユーザインタフェースの一例を示す図である。この例では、フレーム内に存在する2つの関連オブジェクト2201と2202とから、右の関連オブジェクト2202が選択された例を示している。また、この例のように、CPU1603は、指定された商品オブジェクト2203と選択された関連オブジェクト2202とを線2204で繋いで表示することにより、各オブジェクト間の関連を視覚的に認識しやすくしてもよい。
また、CPU1603は、入力されたラベル情報2205を同時に表示してもよい。これにより、本実施形態で生成される付帯情報105を利用する再生装置における再生画面のイメージを視覚的に捉えることが可能になるという利点がある。
図23は、実施形態に係る商品オブジェクトの表示位置の推定処理に関する例示的なフローチャートである。本フローチャートは、上述のステップS1703に相当する。
ステップS2301において、CPU1603は、画素特徴量抽出プログラム1613を実行し、ステップS2104において指定された商品オブジェクトの特徴量を抽出する。たとえば、当該商品オブジェクトの特徴量は、1つの画素から求めてもよいが、より推定精度をあげるためには、当該商品オブジェクトの表示位置から所定の範囲内にある複数の画素についてそれぞれ特徴量を求め、求められた特徴量の平均値としてもよい。なお、ここで特徴量とは、画素の関するRGB値、あるいは色相(Hue)、彩度(Saturation)、明度(Brightness)として数値化したHSB値などを示している。
ステップS2302において、CPU1603は、ラベル情報がマニュアルで設定されたn番目のフレームと、ラベル情報が自動で設定されるn+k番目のフレームとにおける関連オブジェクトの座標データを関連オブジェクト表示位置ファイルから読み出し、読み出した座標データから移動量を算出する。たとえば、座標データがXY座標で表現される場合は、距離のデータとして算出される。なお、移動量を距離の情報だけでなく、方向の情報を加えた移動ベクトルとしてもよいことはいうまでもない。
ステップS2303において、CPU1603は、n+k番目のフレームにおける商品オブジェクトの初期の予測座標を導出する。たとえば、n番目のフレームにおける商品オブジェクトの表示位置から、関連オブジェクトの移動量と同じだけ移動したことになる表示位置を初期予測座標として算出し、RAM1604に記憶する。
図24は、実施形態に係る商品オブジェクトの初期予測座標の導出概念を示した図である。この例では、n番目のフレームにおいて関連オブジェクト2401と商品オブジェクト2402が示されている。また、n+k番目のフレームでは、移動後の関連オブジェクト2411が示されている。初期予測座標2422は、商品オブジェクト2402の表示位置から、関連オブジェクトの移動量と同一の量だけ移動して得られた表示位置を示している。なお、この例では、実際の商品オブジェクト2432は、予測座標2422から若干ずれた位置に存在している。
ステップS2304において、CPU1603は、画素特徴量抽出プログラム1613を実行し、n+k番目のフレームにおける全ての座標位置について、それぞれ特徴量を抽出し、RAM1604に記憶する。
ステップS2305において、CPU1603は、移動位置推定プログラム1614を実行し、n番目のフレームにおける商品オブジェクトの特徴量と、n+k番目のフレームにおける各画素の特徴量とに関して相関係数を算出する。相関係数は、画像の類似度を比較するために使用される尺度の1つである。ここでは値が大きいほど相関係数は大きくなるものとする。
ステップS2306において、CPU1603は、各座標データの相関係数のうち、相対的に大きいものであって、かつ予測座標からの距離が相対的に小さいものを推定表示位置の座標データとして決定する。たとえば、CPU1603は、各座標位置の相関係数に対して、初期予測座標から各座標位置までの距離を算出し、この距離に反比例する重み関数を乗算し、乗算後の係数が最も大きい座標位置を、推定表示位置の座標データに採用する。CPU1603は、こうして推定した座標データを推定表示位置として商品オブジェクト表示位置ファイル(図18(b)の中間ファイルに相当する。)に追記する。この際には、シーン番号や再生時刻(フレーム番号など)の情報も併せてファイルに書き込む。
図25は、実施形態に係る商品オブジェクトの表示位置の推定処理を示した概念図である。図25(a)は、n+k番目のフレームにおける初期予測座標2422と、そこを中心とした円2500を示している。図25(b)は、特徴量に関する相関係数が相対的に高い3つの領域2501〜2503を示している。図25(c)は、初期予測座標からの距離に反比例した重みを、各領域2501〜2503の相関係数に乗じた例を示している。なお、各領域2501〜2503の相関係数がほぼ等しい場合、初期予測座標からの距離は、領域2503が最も近いことから、領域2503が最も好適な予測表示位置として選定されることになる。なお、領域2501や領域2502の相関度合いが領域2503よりも大きかった場合、距離2500が遠い場合でも2501、2502のいずれかが採用されうることはいうまでもない。
上記では、画面内の全座標について相関係数の導出を行い、最大のものを選択したが、計算の簡略化のために、特徴量の相関係数が所定の閾値を超える座標位置を1つ以上導出し、その中から初期予測座標からの距離が最小のものを選択してもよい。
図26は、実施形態に係るオーサリング処理のユーザインタフェースの一例を示す図である。このユーザインタフェースは、商品オブジェクトの認識結果と、対応付けの誤りを修正するための画面を提供している。このユーザインタフェースでは、フレーム画面2601と、顔オブジェクトを囲む矩形2602と、商品オブジェクトの座標を囲む矩形2603と、ラベル情報2605とが示されている。CPU1603は、生成した付帯情報105または上述の商品オブジェクト情報ファイルと、動画データとに基づいて、表示装置1609にこれらの情報を表示する。
このような表示とすることにより、各々のフレームで推定された商品オブジェクトの座標を視覚的に認識しやすくなる。
なお、図26に示すように、推定された商品オブジェクトの表示位置が、本来の商品オブジェクトの表示位置とは異なることがある。たとえば、矩形2603は、本来、商品オブジェクトの座標位置にあるはずであるが、商品オブジェクトの色と良く似た他のオブジェクトを囲んでしまっている。
この場合、CPU1603は、マウス1607により矩形2603がドラックされたことを検出し、さらに矩形2603が、商品オブジェクトの座標にドロップされたことを検出すると、商品オブジェクトの座標データをドロップ位置に修正する。また、CPU1603は、修正後の座標データを商品オブジェクトの初期座標2203とし、表中のフレームを初期フレームとして、ステップS2301ないしステップS2306の処理を自動的に行うことにより、推定座標データをRAM1604に記憶してもよい。このようにすれば、表示位置の推定誤りを簡単な操作で修正できて便利である。
また、上記ではn番目のフレームからn+k番目のフレームまで1フレームおきに表示位置を推定したが、n番目のフレームからn+m×k番目のフレームまでmフレームおきに推定してもよい。たとえば、DVDビデオは、通常MPEG−2形式で圧縮されているが、MPEG−2の動画圧縮では、動画の各フレームがフレーム情報を持つフレーム(Iフレーム)と前後のフレームからの差分情報のみを持つフレーム(Bフレーム、Pフレーム)からなっている。そこで、Iフレームのみ(つまりB,Pフレームに対応するフレームはスキップする)について処理フレームを間引いて座標推定を行うことにより、MPEG−2動画のフレーム復号処理も簡略化の効果も合わせて処理時間の短縮が可能となる。また、その場合、出力される情報量(ファイルサイズ等)も削減できるという効果がある。
図27は、実施形態に係る付帯情報105の出力処理に関する例示的なフローチャートである。本フローチャートは、上述のステップS1704に相当する。
ステップS2701において、CPU1603は、識別情報取得プログラム1616を実行し、DVD104に記憶されている情報(例えば動画データの容量、タイムスタンプ等)から識別IDを取得するとともに、動画データに対応したタイトル名の情報をキーボード等により入力させRAM1604に記憶する。
ステップS2702において、CPU1603は、付帯情報生成プログラム1515を実行し、1以上の商品オブジェクト情報ファイルを読み込み、RAM1604から識別ID、タイトル名を読み出し、図18(c)に示されるDTDに整合したXML形式の付帯情報105として出力する。
以上説明したとおり本実施形態によれば、オーサリング装置1400において、付帯情報105の生成対象となるDVDメディア104に記憶された動画データに対し、動画データ内の複数のフレームの1つのフレームにおいて商品オブジェクトおよび商品オブジェクトに関連する関連オブジェクトを指定することにより、他のフレームにおける商品オブジェクトの表示位置を自動的に生成可能となり、付帯情報105の生成のための労力が大幅に軽減されることになる。
Claims (8)
- 動画データを再生した際に表示される商品オブジェクトについて該商品オブジェクトの実物を販売する販売サイトへとネットワークを介して操作者を誘導するための商品オブジェクト付帯情報を生成するオーサリング装置であって、
前記動画データに含まれる複数のフレームのうち、前記操作者を前記販売サイトへと誘導するための付帯情報の一つであるラベル情報を前記商品オブジェクトに対してマニュアルで設定される第1のフレームと、該ラベル情報を自動で設定される1以上の第2のフレームとにおいて、それぞれ、該ラベル情報の付されることになる前記商品オブジェクトに関連する関連オブジェクトを認識する認識手段と、
前記第1のフレームと前記第2のフレームとにおいてそれぞれ認識された前記関連オブジェクトの表示位置と、前記第1のフレームにおいてマニュアルで設定された前記ラベル情報の表示位置とに応じて、前記第2のフレームにおける前記商品オブジェクトに対する前記ラベル情報の表示位置を決定する決定手段と、
前記ラベル情報と、前記フレームごとの該ラベル情報の表示位置に関する情報と、該ラベル情報に対応する前記商品オブジェクトの実物を販売する販売サイトのアドレス情報とを含む商品オブジェクト付帯情報を生成する生成手段と
を含むオーサリング装置。 - 前記認識手段は、
前記動画データのn(nは自然数)番目のフレームと、n+k(kは自然数)番目のフレームとにおいて、前記関連オブジェクトの表示位置を取得する第1の表示位置取得手段を含み、
前記決定手段は、
前記動画データのn番目のフレームにおいて、前記商品オブジェクトを指定する指定手段と、
指定された前記商品オブジェクトの表示位置を前記n番目のフレームにおいて取得する第2の表示位置取得手段と、
前記n番目のフレームにおける前記関連オブジェクトの表示位置と、前記n+k番目のフレームにおける該関連オブジェクトの表示位置とに基づいて、該関連オブジェクトの移動ベクトルを導出する移動ベクトル導出手段と、
前記n番目のフレームにおける前記商品オブジェクトの表示位置と、前記n番目のフレームにおける前記関連オブジェクトの表示位置から前記n+k番目のフレームにおける前記関連オブジェクトの表示位置までの前記関連オブジェクトの移動ベクトルの移動量とに基づいて、前記n+k番目のフレームにおける前記商品オブジェクトの表示位置を推定する表示位置推定手段とを含む
ことを特徴とする請求項1に記載のオーサリング装置。 - 前記表示位置推定手段は、
前記n番目のフレームにおける前記商品オブジェクトの表示位置から所定の範囲内にある画素の特徴量と、前記n+k番目のフレームにおける任意の複数の表示位置における該任意の表示位置から所定の範囲内にある画素の特徴量との差を導出する特徴量差分導出手段をさらに含み、
前記差が相対的に小さくなる表示位置であって、前記n番目のフレームにおける前記商品オブジェクトの表示位置から前記移動量に応じて移動したことになる表示位置までの距離が相対的に小さくなる表示位置を、前記n+k番目のフレームにおける前記商品オブジェクトの表示位置として推定する
ことを特徴とする請求項2に記載のオーサリング装置。 - 前記生成手段は、
前記n番目のフレームからn+m×k(mは自然数)番目のフレームまでについて連続して前記商品オブジェクト付帯情報を生成することを特徴とする請求項1に記載のオーサリング装置。 - 前記動画のシーンの切れ目を検出する検出手段をさらに有し、前記指定手段は、前記切れ目が検出されると、切れ目後の最初のフレームにおいて、前記商品オブジェクトを再指定することを特徴とする請求項2に記載のオーサリング装置。
- 前記付帯情報は、前記動画データのタイトルを特定可能な固有の識別子も含むことを特徴とする請求項1または4に記載のオーサリング装置。
- 動画データを再生した際に表示される商品オブジェクトについて該商品オブジェクトの実物を販売する販売サイトへとネットワークを介して操作者を誘導するための商品オブジェクト付帯情報を生成する商品オブジェクト付帯情報のオーサリング方法であって、
前記動画データに含まれる複数のフレームのうち、前記操作者を前記販売サイトへと誘導するための商品オブジェクト付帯情報の一つであるラベル情報を前記商品オブジェクトに対してマニュアルで設定される第1のフレームと、該ラベル情報を自動で設定される1以上の第2のフレームとにおいて、それぞれ、該ラベル情報の付されることになる前記商品オブジェクトに関連する関連オブジェクトを認識する認識工程と、
前記第1のフレームと前記第2のフレームとにおいてそれぞれ認識された前記関連オブジェクトの表示位置と、前記第1のフレームにおいてマニュアルで設定された前記ラベル情報の表示位置とに応じて、前記第2のフレームにおける前記商品オブジェクトに対する前記ラベル情報の表示位置を決定する決定工程と、
前記ラベル情報と、前記フレームごとの該ラベル情報の表示位置に関する情報と、該ラベル情報に対応する前記商品オブジェクトの実物を販売する販売サイトのアドレス情報とを含む商品オブジェクト付帯情報を生成する生成工程と
を含む、付帯情報のオーサリング方法。 - 記憶装置を少なくとも含むコンピュータにおいて、動画データを再生した際に表示される商品オブジェクトについて該商品オブジェクトの実物を販売する販売サイトへとネットワークを介して操作者を誘導するための商品オブジェクト付帯情報を生成するコンピュータプログラムであって、
前記コンピュータに、
前記動画データに含まれる複数のフレームのうち、前記操作者を前記販売サイトへと誘導するための商品オブジェクト付帯情報の一つであるラベル情報を前記商品オブジェクトに対してマニュアルで設定される第1のフレームと、該ラベル情報を自動で設定される1以上の第2のフレームとにおいて、それぞれのフレームデータを前記記憶装置から読み出し、読み出したフレームデータから、該ラベル情報の付されることになる前記商品オブジェクトに関連する関連オブジェクトを前記制御装置により認識する認識工程と、
前記第1のフレームと前記第2のフレームとにおいてそれぞれ認識された前記関連オブジェクトの表示位置と、前記第1のフレームにおいてマニュアルで設定された前記ラベル情報の表示位置とに応じて、前記第2のフレームにおける前記商品オブジェクトに対する前記ラベル情報の表示位置を前記制御装置により決定する決定工程と、
前記ラベル情報と、前記フレームごとの該ラベル情報の表示位置に関する情報と、該ラベル情報に対応する前記商品オブジェクトの実物を販売する販売サイトのアドレス情報とを含む商品オブジェクト付帯情報を前記制御装置により生成して前記記憶装置に記憶する生成工程と
を実行されるコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005023838A JP2006209657A (ja) | 2005-01-31 | 2005-01-31 | オーサリング装置、オーサリング方法およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005023838A JP2006209657A (ja) | 2005-01-31 | 2005-01-31 | オーサリング装置、オーサリング方法およびコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006209657A true JP2006209657A (ja) | 2006-08-10 |
Family
ID=36966414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005023838A Withdrawn JP2006209657A (ja) | 2005-01-31 | 2005-01-31 | オーサリング装置、オーサリング方法およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006209657A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013089146A1 (ja) * | 2011-12-16 | 2013-06-20 | 日本電気株式会社 | 情報処理システム、情報処理方法、通信端末およびその制御方法と制御プログラム |
JP2021516501A (ja) * | 2018-10-18 | 2021-07-01 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 映像に基づく情報取得方法及び装置 |
JP2022108949A (ja) * | 2021-01-14 | 2022-07-27 | 株式会社Planter | 情報提供システム及びプログラム |
WO2024062882A1 (ja) * | 2022-09-20 | 2024-03-28 | 株式会社Ollo | プログラム、情報処理方法、及び情報処理装置 |
-
2005
- 2005-01-31 JP JP2005023838A patent/JP2006209657A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013089146A1 (ja) * | 2011-12-16 | 2013-06-20 | 日本電気株式会社 | 情報処理システム、情報処理方法、通信端末およびその制御方法と制御プログラム |
US10115127B2 (en) | 2011-12-16 | 2018-10-30 | Nec Corporation | Information processing system, information processing method, communications terminals and control method and control program thereof |
JP2021516501A (ja) * | 2018-10-18 | 2021-07-01 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 映像に基づく情報取得方法及び装置 |
JP7231638B2 (ja) | 2018-10-18 | 2023-03-01 | バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド | 映像に基づく情報取得方法及び装置 |
JP2022108949A (ja) * | 2021-01-14 | 2022-07-27 | 株式会社Planter | 情報提供システム及びプログラム |
WO2024062882A1 (ja) * | 2022-09-20 | 2024-03-28 | 株式会社Ollo | プログラム、情報処理方法、及び情報処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006209658A (ja) | 表示出力装置、表示出力方法およびコンピュータプログラム | |
US20230336820A1 (en) | User control for displaying tags associated with items in a video playback | |
US20200219540A1 (en) | User control for displaying tags associated with items in a video playback | |
CN106462874B (zh) | 用于呈现与视频内容有关的商业信息的方法、系统和介质 | |
US9544660B2 (en) | Apparatus, systems and methods for accessing and synchronizing presentation of media content and supplemental media rich content in response to selection of a presented object | |
US7933809B2 (en) | Method, medium, and system for automatically embedding information concerning items appearing in video using RFID tags | |
US9277157B2 (en) | Interactive marketing system | |
CN102483742B (zh) | 用于管理因特网媒体内容的系统和方法 | |
EP3044725B1 (en) | Generating alerts based upon detector outputs | |
KR102114701B1 (ko) | 미디어 데이터에 있는 아이템을 인식하고 이와 관련된 정보를 전달하기 위한 시스템 및 방법 | |
US8875212B2 (en) | Systems and methods for remote control of interactive video | |
US20220155913A1 (en) | Accessing item information for an item selected from a displayed image | |
US20080109841A1 (en) | Product information display and product linking | |
US20080109851A1 (en) | Method and system for providing interactive video | |
US20080052750A1 (en) | Direct-point on-demand information exchanges | |
US7913157B1 (en) | Method and system for the authoring and playback of independent, synchronized media through the use of a relative virtual time code | |
US20120240152A1 (en) | Method and apparatus for displaying information in response to motion picture programming | |
US20080184132A1 (en) | Media content tagging | |
CN103154923A (zh) | 对电视显示器的远程控制 | |
Dakss et al. | Hyperlinked video | |
JP2006209657A (ja) | オーサリング装置、オーサリング方法およびコンピュータプログラム | |
KR101181732B1 (ko) | 동영상 핑거프린트 정보에 기반한 동영상 마크업 데이터 생성 방법 및 이를 이용한 정보 제공 방법 및 시스템 | |
KR20130015436A (ko) | 동영상 파일의 재생 및 동영상 정보 서비스 제공시스템 | |
KR20100118896A (ko) | 콘텐츠 내 객체 정보 및 객체 기반의 응용 콘텐츠를 제공하는 방법 및 장치 | |
KR20130088662A (ko) | 디지털 미디어 콘텐트를 통한 부가 정보 제공 장치, 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080401 |