しかしながら、このようなシステムにおいては、広告主等のコンテンツの提供者側におけるリンク先の指定作業に関して、動画コンテンツの一部として動画中に存在するオブジェクトに、リンク先を関連付ける作業を行うに当っては、基本的に、コンピュータプログラムの知識、或いはシステムエンジニア知識といった専門性が必要とされており、簡単な或いは迅速な操作にて、リンク先を指定或いは変更できるように構成されていない。或いは、千差万別の動画コンテンツの内容や動きに応じてリンク先を指定するシステム或いはデータを構築すること自体が、総じて複雑高度な大掛かりなものとなってしまいかねない。
更に、リンク先を指定可能なコンテンツ自体に任意性が失われてしまいかねない。即ち、予めリンク先指定可能に構築された専用のコンテンツであって初めて、後に視聴者がリンク先を選択できるようなってしまいかねない。
特に、本願発明者らによる研究によれば、広告主、広告代理店、放送局等のコンテンツの提供者側で指定したいリンク先は、頻繁に変更、追加、削除されることが日常茶飯事である。よって、この種のシステムにおいては、リンク先を簡単な或いは迅速な操作で臨機応変に指定や変更できることが望ましいものと思料される。
本発明は、例えば、上述の技術的問題点に鑑みてなされたものであり、広告主、広告代理店、放送局等のコンテンツ提供者側にて、動画コンテンツ中に存在する任意のオブジェクトに対応して、所望のリンク先を簡単に指定することを可能ならしめる、リンク先指定用インタフェース装置を提供することを一の課題とする。本発明は、例えば、そのような装置により作成されたリンク先指定用のデータを用いて、動画コンテンツを再生中の視聴者側にて、所望のリンク先へ飛ばすことが可能な視聴者用インタフェース装置を提供することを他の課題とする。本発明は、コンピュータを、そのようなインタフェース装置として夫々機能させることが可能なコンピュータプログラムを提供することを更に他の課題とする。
本発明のリンク先指定用インタフェース装置は上記課題を解決するために、動画コンテンツが静止画再生又は動画再生されている画面内で、所望の範囲を指定可能な範囲指定手段と、前記範囲指定手段により指定された範囲を示す範囲マークを、前記画面内で、前記動画コンテンツ上に重ねて表示させる範囲マーク設定手段と、前記動画コンテンツが動画再生されている画面内で、前記動画コンテンツの再生時間の経過に伴って、前記範囲マークを所望の方向に移動させることが可能な移動操作手段と、前記範囲マークに対応するものとして、所望のリンク先を識別するリンク先識別情報を入力可能なリンク先入力手段と、(i)前記リンク先入力手段により入力されたリンク先識別情報及び(ii)前記再生時間内の各時刻に対応付けて、前記範囲マークの位置を示す位置情報を保持する保持手段とを備える。
本発明のリンク先指定用インタフェース装置によれば、当該装置のユーザw側(即ち、コンテンツ提供者側の者)で、任意の動画コンテンツに対し、所望のリンク先を指定する作業を容易に行える。特に、リンク先を簡単に指定、変更、追加等できることが強く望まれる環境下でも、結果的に任意のオブジェクトに対応して、所望のリンク先を簡単に指定、設定、変更、追加等することが可能となる。
本発明の第1のコンピュータプログラムは上記課題を解決するために、 コンピュータを、上述した本発明に係るリンク指定用インタフェース装置として機能させる。
本発明の第1のコンピュータプログラムによれば、例えば、当該コンピュータプログラムを格納する記録媒体等から、コンピュータシステムに読み込んで実行させれば、或いは、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本発明に係るリンク指定用インタフェース装置を比較的簡単に実現できる。
本発明の視聴者用インタフェース装置は上記課題を解決するために、上述した本発明に係るリンク先指定用インタフェース装置(但し、その各種態様を含む)により生成された前記位置情報及び前記リンク先識別情報に基づいて、再生手段による前記動画コンテンツの再生中に、選択的に前記リンク先のコンテンツの再生を、前記動画コンテンツの再生に代えて又は加えて行わせるための視聴者用インタフェース装置であって、前記動画コンテンツが静止画再生又は動画再生されている画面内で、所望の表示位置又はエリアを選択可能な位置選択手段と、前記位置指定手段により選択された表示位置又はエリアの少なくとも一部が、前記位置情報により示される前記範囲マークの位置から定まる前記範囲マークにより示される範囲に、含まれるか否かを判定する判定手段と、前記判定手段により、前記少なくとも一部が含まれると判定された場合に、前記リンク先識別情報により示される前記リンク先のコンテンツを、前記動画コンテンツに代えて又は加えて静止画再生又は動画再生するように、前記再生手段を制御するリンク先制御手段とを備える。
本発明の視聴者用インタフェース装置によれば、本発明のリンク先指定インタフェース装置により作成されたリンク先指定用データである、位置情報及びリンク先識別情報を用いて、動画コンテンツを再生中の視聴者側にて、所望のリンク先へ飛ばすことが可能となる。
本発明の第2のコンピュータプログラムは上記課題を解決するために、 コンピュータを、上述した本発明に係る視聴者用インタフェース装置として機能させる。
本発明の第2のコンピュータプログラムによれば、例えば、当該コンピュータプログラムを格納する記録媒体等から、コンピュータシステムに読み込んで実行させれば、或いは、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本発明に係る視聴者用インタフェース装置を比較的簡単に実現できる。
本発明のこのような作用及び他の利得は、これ以降に説明する実施形態により明らかにされる。
発明の実施の形態
<リンク先指定用インタフェース装置>
<1>
本実施形態のリンク先指定用インタフェース装置は、動画コンテンツが静止画再生又は動画再生されている画面内で、所望の範囲を指定可能な範囲指定手段と、前記範囲指定手段により指定された範囲を示す範囲マークを、前記画面内で、前記動画コンテンツ上に重ねて表示させる範囲マーク設定手段と、前記動画コンテンツが動画再生されている画面内で、前記動画コンテンツの再生時間の経過に伴って、前記範囲マークを所望の方向に移動させることが可能な移動操作手段と、前記範囲マークに対応するものとして、所望のリンク先を識別するリンク先識別情報を入力可能なリンク先入力手段と、(i)前記リンク先入力手段により入力されたリンク先識別情報及び(ii)前記再生時間内の各時刻に対応付けて、前記範囲マークの位置を示す位置情報を保持する保持手段とを備える。
本実施形態のリンク先指定用インタフェース装置によれば、例えば、広告主のスタッフ、広告代理店のスタッフ、放送局スタッフ等のコンテンツ提供者側の者である当該装置の“ユーザ”の側にて、次のように動作する。ここでの「コンテンツ提供者」は、典型的には、リンク先となるコンテンツの提供を目論む、或いは視聴者のリンク先への誘導を目論む者であり、動画コンテンツ自体を提供する提供者と同一であってもよいし、同一でなくてもよい。本発明或いは実施形態に係る「オブジェクト」とは、動画コンテンツ内に含まれる形で表示される、例えば、飲料品・食品、飲料品・食品の容器、衣服、装飾品、乗り物、家具、電化製品等の可視有体物を意味し、広義には、次に説明する通りリンク先を指定可能となるように動画コンテンツ中で他の部位から区別され得る部位であれば、仮に形状や輪郭が明確でなくても、本発明或いは実施形態に係る「オブジェクト」に該当する。狭義には、「オブジェクト」とは、リンク先と関連する、動画コンテンツの一部として表示された物品である。当該リンク先指定用インタフェース装置は、このようなユーザ或いはコンテンツ提供者にとっての所謂GUI(グラフィカルユーザインタフェース)として機能する。
先ず、例えば、パソコン、タッチパネル、モバイル、ケータイ端末装置、スマートフォン、ケータイ電話、高機能テレビなどが有する表示手段(即ち、本発明或いは実施形態に係る「画面」を有する表示デバイス、表示ディスプレイ等)の画面に、リンクを貼る対象である動画コンテンツが静止画再生又は動画再生される。動画コンテンツは、映画、ドラマ、アニメ、ドキュメンタリ、バラエティ、テレビショッピング、スポーツ番組など任意である。即ち、リンクを貼るために制作されたコンテンツである必要はなく、一般のコンテンツでよい。但し、リンクを貼るために又は貼りやすいように若しくは貼れるように構成された動画コンテンツであってもよい。
この状態で、画面内で、範囲指定手段を介して、当該装置のユーザによって、所望の範囲が指定される。これと相前後して又は同時に若しくは並行して、範囲マーク設定手段によって、この指定された範囲を示す範囲マークが、画面内で動画コンテンツ上に重ねて表示される。範囲マークとしては、例えば、赤ラインの四角形或いは多角形の輪郭マークでもよいし、丸い輪郭マークであってもよい。或いは網掛けや蛍光ペンによるマークであってもよく、画面上で当該範囲マークを視認できる限りにおいて任意である。範囲マークは、後述の如くリンク先へ飛ばすか否かの判定基準を供する「範囲」を画するという意味では、輪郭を縁取っているものが好ましい。しかし、リンク先へ飛ばすか否かの判定基準を供する「一定サイズや一定形状の範囲をその周囲に伴う」との規約下で、単純に、該範囲の中心等を示す点状のマークや所定種類のアイコンであっても構わない。
本発明或いは実施形態に係る「範囲指定手段」としては、例えば、マウス、タブレット、ジョグダイヤル、トラックボール、キーボード、タッチパネル等の、画面内でアイコン操作、描画操作、表示操作等を行うことが可能な、既存の各種操作装置を採用可能である。本発明或いは実施形態に係る「範囲マーク設定手段」は、例えば、CPU、マイコン、メモリ等の、表示しようとする画像に対応する画像信号、画像制御信号、タイミング信号、同期信号等の各種信号を、自らとは別体の又は自ら内蔵する表示手段(即ち、本発明或いは実施形態に係る「画面」を有する表示手段)に提供することで、該表示手段の表示制御を行うことが可能な既存の各種表示制御装置の一部または全部から構成される。
以上のように、画面内における範囲マークの初期設定が行われる。範囲マークの形状・大きさ、対応させようとするオブジェクトとの位置関係などを、正確或いは確実に初期設定するという観点からは、動画コンテンツは、本段階では、静止画再生若しくはストップモーション又はスロー再生されていることが、好ましい。しかし、動画再生される動画コンテンツの動きや特にその中におけるオブジェクトの動きが乏しい又は殆ど若しくは全く無い場合、当該装置のユーザにおける操作技量が高く迅速に操作可能である場合などには、スロー再生、通常再生、ハイスピード再生などの動画再生中に、このような初期設定が行われてもよい。
続いて、以上の如き初期設定が行われた範囲マークが動画コンテンツ上に重ねられたまま、動画コンテンツが動画再生される。動画再生は、倍速再生等の高速再生でも、スロー再生等の低速再生でもよく、通常再生でも可変再生でも、コマ送りでもよい。
この状態で、画面内で、移動操作手段によって、動画コンテンツの再生時間の経過に伴って、範囲マークが、所望の方向に移動される。典型的には、画面の二次元面内を縦横無尽に連続的に又は断続的に、任意のスピードにて移動される。移動中に一回又は複数回の停止が含まれていても構わない。
本発明或いは実施形態に係る「移動操作手段」としては、例えば、マウス、タブレット、ジョグダイヤル、トラックボール、キーボード、タッチパネル等の、画面内でアイコン操作を行うことが可能な既存の各種操作装置を採用可能であり、典型的には、画面内でアイコンを移動させる要領で、画面内で範囲マークを移動させる。
上述した範囲指定手段による指定動作及び範囲マーク設定手段による設定動作に相前後して又は同時に若しくは並行して、所望のリンク先を識別するリンク先識別情報が、上述の範囲マークに対応するものとして、リンク先入力手段を介して入力される。本発明或いは実施形態に係る「リンク先入力手段」は、リンク先識別情報(例えば、リンク先のアドレス情報)を、入力するための例えば、キーボード、タブレット、タッチパネル、マウス等の入力手段である。「リンク先」としては、視聴者が動画コンテンツを見る環境において、他の動画コンテンツの提供源、他の静止画コンテンツの提供源、インターネットサイト、動画配信サイト、音楽配信サイトなど、視聴中の動画コンテンツに代えて又は加えて(具体的には、切り替え表示やウインドウ表示により)画面内に何らかの表示を可能な画像の提供源であれば、任意である。いずれに場合にも、そのような提供源は、リンク先識別情報により識別されるものである。
その後、例えば、メモリ、記憶装置、コントローラ等を備えてなる保持手段に、上述の如く移動される範囲マークの位置を示す位置情報が保持される。ここでの保存は、通信手段を介して当該装置のユーザが操作する場所から離れて行われてもよい。即ち、保持手段の少なくとも一部は、遠隔地に置かれていてもよい。
この際特に、位置情報は、リンク先識別情報及び再生時間内の各時刻に対応付けて、保持される。ここでの「各時刻」とは、動画コンテンツをなす画像フレームに対して一対一又は多対一の一定周期で、規則的に若しくは連続的にという場合と、動画コンテンツをなす画像フレームに対して不定周期、不規則に若しくは断続的にという場合との両者を含む。特に、範囲マークが移動されない期間中には、位置情報を保持する頻度を下げ、移動されない期間に対して一つの位置情報を保持する場合も含む。或いは、範囲マークが移動される期間中には、位置情報を保持する頻度を上げ、移動される毎に一つの位置情報を(即ち、移動されない期間中は不変である位置情報を一つ)保持する場合も含む。
このように「範囲マークの位置(即ち、位置情報)」について言えば、装置上は、対応するオブジェクトに対応付けられることなく、再生時刻に対応付けられている。
しかも、前述の如く「リンク先(リンク先識別情報)」について言えば、装置上は、対応するオブジェクトに対応付けられることなく、範囲マークに対応付けてられている。
ここで一般には、動画データ内の任意のオブジェクトに対してリンクを貼る場合、動画コンテンツの内容自体や動画コンテンツ内におけるオブジェクトの内容自体・位置自体に紐付けようとすると、画像解析や画像認識といった非常に高度なデータ処理が必要になってしまう。そのため必要なプログラムは、複雑高度化し、処理時間処理量、データ量は、顕著に増大してしまう。
しかるに本実施形態によれば、当該装置のユーザが自らの目で動画コンテンツ及び範囲マークを見ながら、移動操作手段を介して簡単な手動操作等を実行すればよく、それにより得られる位置情報は、再生時間軸に紐付けられた形で、保持手段に保持されればよい。これと相前後して或いは同時に若しくは並行して、範囲マークに対しては、リンク先が紐付けられる。従って、当該装置のユーザ側では、リンクを貼ることを簡単にして実践可能となる。特に、リンク先を、動画コンテンツの内容自体やオブジェクトの内容自体・位置自体に直接紐付ける必要性がなく、しかも、範囲の指定や範囲マークの移動という簡単な処理で、或いは視覚的にも実に分かりやすい形態にて実行可能である。
以上の結果、本実施形態によれば、当該装置のユーザによるリンク先の指定に関して、コンピュータプログラムの知識、或いはシステムエンジニア知識といった専門性が必要とされないで済む。範囲マークの設定、移動操作等の採用によって、動画コンテンツの内容や動きの複雑さや速さとは装置上無関係に、リンク先を指定すること或いはリンク先指定用のデータを構築することが簡単で済む。
逆に、リンク先を指定する対象である動画コンテンツ自体について言えば、特に制限はなく、それを見ながら、当該装置のユーザが、画面内で範囲マークの設定及びその移動操作を実施可能である限りにおいて任意である。予めリンク先指定可能に構築された専用の動画コンテンツである必要はない。
このように本実施形態によれば、当該装置のユーザ側(即ち、コンテンツ提供者側)で、任意の動画コンテンツに対し、所望のリンク先を指定する作業を容易に行える。特に、当該装置のユーザが指定したいリンク先は、商品サイクルの高速化によって、頻繁に変更、追加、削除されることが日常茶飯事である。リンク先を簡単に指定、変更、追加等できることが強く望まれる環境下でも、結果的に任意のオブジェクトに対応して、所望のリンク先を簡単に指定、設定、変更、追加等することが可能となる。更に、当該リンク先指定用インタフェース装置を実現するために必要なプログラムは、簡易なもので済み、処理時間処理量やデータ量を顕著に低減することも可能となる。
<2>
本実施形態のリンク先指定用インタフェース装置の一態様では、前記保持手段は、前記位置情報として、前記動画コンテンツの画像全域に対する前記範囲マークの相対位置を示す位置情報を保持する。
この態様によれば、「範囲マークの位置(位置情報)」を、装置上は、範囲マークが表示手段に実際に表示される画面に対する位置或いは該画面内における位置とするのではなく、各時点で画面に表示される動画コンテンツの画像全域(即ち、画面に見えない画像部分を含めての画像全域)に対する相対位置としている。
このため、保持手段では、「画面内における位置」、より具体的には「表示手段で実際に表示される、表示画面内における位置」とは無関係に、対応するオブジェクトとは装置上では紐付けられない範囲マークの位置或いは座標を示す位置情報を保持する。したがって、当該装置のユーザ側で、リンク先を指定する操作を行う際に用いられる表示手段の仕様、規格、属性、縦横比率設定、倍率設定、切り出し表示の有無などによらずに、リンク先を正確或いは確実に指定できる。
更に、後に視聴者側で、動画コンテンツ内でオブジェクトを選択する操作を、画面上における位置又はエリアを選択することで行う際に用いられる表示手段(或いは再生手段)の仕様、規格、属性、縦横比率設定、倍率設定、切り出し表示の有無などによらずに、オブジェクト選択を正確或いは確実に行える。
特に、本願発明者らによる研究によれば、同一コンテンツでも、ワイドやノーマルの大型或いは小型のテレビ、パソコン、モバイル、スマートフォン、ケータイ電話等に備えられた、各種の縦横比率や、可変とされる横倍率と縦倍率や、切り出し部分が相異なる表示手段(或いは再生手段)で、このようなリンク先を関連付ける仕組みを実現させることは、重要である。
ここで、「動画コンテンツの画像全域」が、当該装置のユーザ又は視聴者が使用する表示手段(或いは再生手段)の「画面」に過不足なく表示されれば問題はないが、前述の如く多種多様な表示手段或いは再生手段の登場により、そのように表示されることはむしろ稀である。具体的には、例えば、「動画コンテンツの画像全域>画面のサイズ」という場合(動画コンテンツの一部のみが画面内に表示される場合)もあるし、逆に「動画コンテンツの画像全域<画面のサイズ」という場合(動画コンテンツが画面内の一部にのみ表示される場合)もあるし、動画コンテンツが縦方向や横方向に拡大されて、縦長画像や横長画像や拡大画像の一部又や全部が画面内に表示される場合もある。
しかるに本態様によれば、当該装置のユーザで用いられ得る各種の画面を有する表示手段(或いは再生手段)に対応可能なように所望のリンク先を指定する作業を容易に行える。しかも、このように簡単にリンク先を指定しても、範囲マークの設定及び移動操作が適切に行われている限りにおいて、視聴者側で用いられ得る「画面」を有する表示手段(或いは再生手段)の種類によらずに、動画コンテンツに表示されたオブジェクトとそのオブジェクトに対応している筈のリンク先とがずれることがない。
なお、範囲マークの位置(位置情報)は、このように動画コンテンツの画像全域に対する相対位置であることが好ましいが、そうでなくてもよい。例えば、再生手段が有する表示デバイス、表示ディスプレイ等の画面の全域に対する相対位置であってもよい。この場合、表示装置或いは再生装置の仕様、規格等の別に位置情報が生成保持され、後に視聴者用インタフェース装置において、該仕様、規格等の別に位置情報が用いられてもよい。或いは、表示装置或いは再生装置の仕様、規格等を示すパラメータが位置情報に紐付けられる形で生成保持され、後に視聴者用インタフェース装置において、選択された表示位置又はエリアに関して該パラメータに応じた位置調整が行われるようにしてもよい。
<3>
この態様では、前記保持手段は、前記位置情報として、前記画像全域に係る、画角、四隅のうち少なくとも一つの隅、外輪又は前記画像全域内に固定された基準位置に対する、前記範囲マークの相対位置を示す位置情報を、保持してもよい。
このように構成すれば、保持手段には、位置情報として、範囲マークの画像全域に対する相対位置を示す位置情報が保持され、典型的には、動画コンテンツの画像全域の四隅を、座標上の(0,0)、(1,0)、(1,1)、(0,1)にとった場合のxy座標が、位置情報として保持される。
したがって、当該位置情報を利用すれば、後に視聴者側で、動画上でオブジェクトを選択する操作を行う際に用いられる表示手段(或いは再生手段)の仕様、規格等によらずに、オブジェクト選択を正確或いは確実に行える。
<4>
本実施形態のリンク先指定用インタフェース装置の他の態様では、前記保持手段は、前記範囲マークの移動が行われている期間中には、前記位置情報を各時刻について保持し、前記範囲マークの移動が行われない期間中には、前記位置情報を各時刻について保持しない。
この態様によれば、保持手段は、範囲マークが移動された場合、例えば、移動された期間中における複数のフレームに対して、複数の位置情報を夫々保持する。他方で、範囲マークが移動されない場合、移動されない期間中における複数m個(但しmは自然数)のフレームに対して一の又は該複数mより少いn個(但しnは自然数)の位置情報を保持する。
したがって、背景技術で行われるように、動画コンテンツのフレーム毎にリンク指定用の各種データを構築するのに比べて遥かに少量のデータを用いて、視聴者側で、動画コンテンツ上でリンク先を選択できる仕組みを構築できるので、実践上大変有利である。
なお、保持手段は、再生時間の各時刻の全てについて、即ち、フレーム毎に位置情報を保持してもよい。この場合、動画コンテンツと同じ再生時間に動画コンテンツと別の動画(即ち、時間の経過に伴って、背景画面内にて、動く、静止したり動いたりする、または消えたり出現したりする範囲マークの動画像を再生可能な動画データ)が、保持手段に記録されているのと類似となる。
<5>
本実施形態のリンク先指定用インタフェース装置の他の態様では、前記リンク先入力手段は、前記動画コンテンツ内の複数のオブジェクトに各々対応するものとして複数のリンク先識別情報を入力可能に構成されており、前記保持手段は、前記複数のリンク先識別情報に対応付けて、前記位置情報として複数の位置情報を保持する。
この態様によれば、後に視聴者側で一つの動画コンテンツ内で複数のリンク先を選択可能な環境を、当該装置のユーザ側で、簡単にして構築できる。
<6>
本実施形態のリンク先指定用インタフェース装置の他の態様では、前記リンク先入力手段は、複数種類の入力操作の別により、複数のリンク先に係る複数のリンク先識別情報を入力可能に、又はこれに代えて若しくは加えて、複数種類の入力操作の別により、前記リンク先に係る複数の表示形態の別を選別可能としつつ前記リンク先識別情報を入力可能に、構成されている。
この態様によれば、リンク先入力手段を介して、例えば、タッチ操作、タップ操作、長押操作、スワイプ操作、ドラッグ操作、スライド操作、回転操作、ズーム操作、ピンチ操作、ストレッチ操作、及びフリック操作等のうち一つを含む複数種類の入力操作の別により、リンク先に係る複数の表示形態の別が選別可能とされつつリンク先識別情報が入力される。或いは、これに代えて若しくは加えて複数のリンク先の別を選別可能とされるリンク先識別情報が入力される。
したがって、後に視聴者側で一つのオブジェクトについて異なる種類の入力操作が行われることで、リンク先のコンテンツが異なる表示形態で表示されたり、異なるリンク先のコンテンツが表示されたりが可能である環境を、当該装置のユーザ側で簡単にして構築できる。
<7>
本実施形態のリンク先指定用インタフェース装置の他の態様では、前記範囲指定手段は、前記所望の範囲を、所定種類の指定操作に応じて、前記画面内で伸縮自在であり且つ所定形状を有する枠により指定可能に構成されており、前記移動操作手段は、前記範囲マークとして前記枠を示す枠マークを、前記画面内で移動可能に構成されている。
この態様によれば、範囲指定手段を介して所定種類の指定操作が行われると、範囲マーク設定手段によって、例えば、矩形、多角形、円形、楕円形などの範囲マークが、伸縮自在に表示される。よって、当該装置のユーザ側では、画面内で動画コンテンツ及びこれに重ねられた枠マークを視覚的に確認しながら、適切な大きさの範囲を簡単にして指定できる。その後、該適切な大きさの範囲を示す枠マークを、移動操作手段を介して移動させればよいので、当該移動操作を視覚的に確認しながら確実に実施できる。
<8>
この態様では、前記範囲指定手段は、前記画面内に表示された矩形の四隅を伸縮させることで前記所望の範囲を指定可能に構成されており、前記移動操作手段は、前記範囲マークとして前記矩形の枠を示す枠マークを、前記画面内で移動可能に構成されていてもよい。
このように構成すれば、範囲指定手段を介して所定種類の指定操作が行われると、範囲マーク設定手段によって、矩形の枠マークが、その四隅を伸縮自在に表示される。ここで「矩形の四隅を伸縮させる」とは、画像全域に対して相対的に伸縮されるとの意味であり、四隅の四つの座標が全て変更される場合に限らず、例えば、二つの隅が画像全域に対して固定されたまま他の二つの隅が画像全域に対して移動されたり、一つの隅が画像全域に対して固定されたまま他の三つの隅が画像全域に対して移動される場合も含む趣旨である。よって、当該装置のユーザ側では、画面内で動画コンテンツ及びこれに重ねられた、サイズ設定が完了した枠マークを、視覚的に確認しながら、適切な大きさの範囲を極めて簡単にして指定できる。
特に、矩形の枠マークであれば、その位置及び大きさを、例えば、左上隅の座標及び右下隅の座標という、二つの座標で示すことができ、これらの二つの座標を変更する操作が矩形を伸縮自在に表示する操作となる。即ち、簡単な操作で枠マークを伸縮自在とできる。この際の座標軸は、既に述べたように、表示手段(或いは再生手段)の画面とは無関係に、動画コンテンツの画像全域の四隅を基準にとられる。
<9>
本実施形態のリンク先指定用インタフェース装置の他の態様では、前記画面は、タッチパネルの画面であり、前記移動操作手段は、前記タッチパネルへの操作者による接触を、前記範囲マークの移動開始のトリガーとし、前記接触の終了を、前記範囲マークの移動終了のトリガーとする。
この態様よれば、範囲マークの移動開始から移動終了時までに、当該装置のユーザ(即ち、ここに言う「タッチパネル」の操作者」)が行う操作が、より一層簡易化され、全体としても、より簡単かつ迅速に、範囲マークの移動操作を実行可能となる。
なお、タッチパネルへの操作者による接触を、指定範囲を介しての範囲の指定操作を開始する際のトリガーとしてもよい。その場合更に操作者が、そのタッチパネルへの接触を解くことなく、範囲マークの移動終了までの操作が、一連の接触操作として行われるように構成してもよい。
<リンク先指定用インタフェース装置用のコンピュータプログラム>
<10>
本実施形態の第1のコンピュータプログラムは、 コンピュータを、上述の実施形態に係るリンク指定用インタフェース装置(但し、その各種態様を含む)として機能させる。
本実施形態のコンピュータプログラムによれば、当該コンピュータプログラムを格納するROM、CD−ROM、DVD−ROM、ハードディスク等の記録媒体或いはUSB(Universal Serial Bus)メモリ等コンピュータシステムに着脱可能な固体型記憶装置から、当該コンピュータプログラムをコンピュータシステムに読み込んで実行させれば、或いは、当該コンピュータプログラムを、例えば、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本実施形態に係るリンク指定用インタフェース装置(但し、その各種態様を含む)を比較的簡単に実現できる。
<視聴者用インタフェース装置>
<11>
本実施形態の第1の視聴者用インタフェース装置は、上述した本実施形態に係るリンク先指定用インタフェース装置(但し、その各種態様を含む)により生成された前記位置情報及び前記リンク先識別情報に基づいて、再生手段による前記動画コンテンツの再生中に、選択的に前記リンク先のコンテンツの再生を、前記動画コンテンツの再生に代えて又は加えて行わせるための視聴者用インタフェース装置であって、前記動画コンテンツが静止画再生又は動画再生されている画面内で、所望の表示位置又はエリアを選択可能な位置選択手段と、前記位置指定手段により選択された表示位置又はエリアの少なくとも一部が、前記位置情報により示される前記範囲マークの位置から定まる前記範囲マークにより示される範囲に、含まれるか否かを判定する判定手段と、前記判定手段により、前記少なくとも一部が含まれると判定された場合に、前記リンク先識別情報により示される前記リンク先のコンテンツを、前記動画コンテンツに代えて又は加えて静止画再生又は動画再生するように、前記再生手段を制御するリンク先制御手段とを備える。
本実施形態の第1の視聴者用インタフェース装置によれば、視聴者(即ち、当該装置のユーザ)の側で、本発明或いは実施形態に係る「画面」を有する再生手段によって、動画コンテンツが静止画再生又は動画再生されている画面内で、位置選択手段を介して、所望の表示位置又はエリアが選択される。なお、本発明或いは実施形態に係る「再生手段」とは、表示画面を有すると共に、動画コンテンツを再生して画面に表示可能に構成された既存の表示機能付き各種装置である。再生手段は、パソコン、タブレット、スマートフォン、モバイル、ケータイ電話等に内蔵されていてもよく特に限定されない。表示機能の他、音声出力機能を有していてもよい。
この位置選択については、より具体的には、視聴者が有する「位置選択手段」を構成する、タブレット、マウス、タッチパネル、リモコン、キーボード等によるクリック操作、アイコン操作等によって、視聴者が認識するところの動画コンテンツ内のオブジェクトの一部や近傍である、表示位置や表示エリアが選択される。
加えて、或るオブジェクトに対応するものとしてリンク先が存在していることを示す特殊マークや特殊表示が、画面内でオブジェクトに重ねられる形で若しくは隣接して、又は、画面内の所定位置に、別途表示されていてもよいし、されなくてもよい。
このように画面内で表示位置や表示エリアが位置選択手段を介して選択されると、コントローラ、CPU、メモリ等を備えてなる判定手段によって、該選択された表示位置又はエリアの少なくとも一部が、予め設定されていた範囲マークにより示される範囲に含まれるか否かが判定される。
範囲マークにより示される範囲は、予め保持手段により保持された位置情報により示される、範囲マークの位置及び形状から定まる。
範囲マークの位置は、動画コンテンツの画像全域に対する相対位置であることが好ましいが、そうでなくてもよい。例えば、再生手段が有する表示デバイス、表示ディスプレイ等の画面の全域に対する相対位置であってもよい。この場合、予めリンク先指定用インタフェース装置において、表示装置或いは再生装置の仕様、規格等の別に位置情報が生成保持され、当該視聴者用インタフェース装置において、該仕様、規格等の別に位置情報が用いられてもよい。或いは、予めリンク先指定用インタフェース装置において、表示装置或いは再生装置の仕様、規格等を示すパラメータが位置情報に紐付けられる形で生成保持され、当該視聴者用インタフェース装置において、選択された表示位置又はエリアに関して該パラメータに応じた位置調整が行われるようにしてもよい。
判定手段による判定の結果、前記少なくとも一部が含まれると判定された場合には、コントローラ、CPU、メモリ等を備えてなるリンク先制御手段による制御下で、例えば、表示デバイス、表示ディスプレイ、音声出力デバイス等を含んでなる再生手段によって、リンク先のコンテンツが、動画コンテンツに代えて又は加えて静止画再生又は動画再生される。ここでの、リンク先は、上述の位置情報に対応する(即ち、範囲マークに対応する)リンク先識別情報により識別される或いは示されるものである。
したがって、視聴者が、自らの目視により認識するオブジェクトの付近等を画面上で選択すると、範囲マークに対応するリンク先のコンテンツを再生すること、言い換えれば、リンク先に飛ぶことが可能となる。この際、範囲マークは、リンク先識別情報及び位置情報を介して所望のリンク先に対応付けられている。このため、コンテンツ提供者側でオブジェクトに対応するものと意図したところのリンク先へ、即ち所望のリンク先へと飛ぶことが可能となる。
以上の結果、本実施形態の第1のリンク先指定インタフェース装置によれば、本実施形態のリンク先指定インタフェース装置により作成されたリンク先指定用データである、位置情報及びリンク先識別情報を用いて、動画コンテンツを再生中の視聴者側にて、所望のリンク先へ飛ばすことが可能となる。
<12>
本実施形態の第2の視聴者用インタフェース装置は、(i)動画コンテンツの画面内における所望の範囲の、前記動画コンテンツの画像全域に対する相対位置を、前記動画コンテンツの再生時間内の各時刻に対応付けて示す位置情報、及び(ii)前記所望の範囲に対応するものとして所望のリンク先を識別するリンク先識別情報に基づいて、再生手段による前記動画コンテンツの再生中に、選択的に前記リンク先のコンテンツの再生を、前記動画コンテンツの再生に代えて又は加えて行わせるための視聴者用インタフェース装置であって、前記動画コンテンツが静止画再生又は動画再生されている画面内で、所望の表示位置又はエリアを選択可能な位置選択手段と、前記位置選択手段により選択された表示位置又はエリアの少なくとも一部が、前記位置情報により示される前記相対位置から定まる前記所望の範囲に、含まれるか否かを判定する判定手段と、前記判定手段により、前記少なくとも一部が含まれると判定された場合に、前記リンク先識別情報により示される前記リンク先のコンテンツを、前記動画コンテンツに代えて又は加えて静止画再生又は動画再生するように、前記再生手段を制御するリンク先制御手段とを備える。
本実施形態の第2の視聴者用インタフェース装置によれば、上述した本実施形態の第1の視聴者用インタフェース装置の場合と概ね同様に動作する。
本実施形態の第2の視聴者用インタフェース装置では特に、例えば前述の「範囲マーク」が採用される場合であれば該範囲マークにより示される、「所望の範囲」は、予め保持手段により保持された位置情報から定まる。ここで位置情報が示す位置は、動画コンテンツの画像全域に対する“相対位置”である。
即ち、「所望の範囲の位置(位置情報)」を、装置上は、表示手段に実際に表示される画面に対する位置或いは該画面内における位置とするのではなく、各時点で画面に表示される動画コンテンツの画像全域(即ち、画面に見えない画像部分を含めての画像全域)に対する相対位置としている。
したがって、視聴者側で、動画コンテンツ内でオブジェクトを選択する操作を、画面上における位置又はエリアを選択することで行う際に用いられる再生手段(即ち、本発明或いは実施形態に係る「画面」を有する再生手段)の仕様、規格、属性、縦横比率設定、倍率設定、切り出し表示の有無などによらずに、オブジェクトの選択を正確或いは確実に行える。
特に、本願発明者らによる研究によれば、同一コンテンツでも、ワイドやノーマルの大型或いは小型のテレビ、パソコン、モバイル、スマートフォン、ケータイ電話等に備えられた、各種の縦横比率や、可変とされる横倍率と縦倍率や、切り出し部分が相異なる再生手段或いは表示手段で、このようなリンク先を関連付ける仕組みを実現させることは、背景技術によれば、複雑で困難なものになる。或いは、背景技術によれば、このような多種の再生手段或いは表示手段に対応させるためには、その種類別に、リンク先を関連付けするという煩雑な作業を行う必要性が生じてしまう。
しかるに本実施形態によれば、例えば「所望の範囲」を示す範囲マークの設定及び移動操作等である、所望の範囲の設定及び移動操作等が適切に行われている限りにおいて、視聴者側で用いられる再生手段の種類によらずに、動画コンテンツに表示されたオブジェクトとそのオブジェクトに対応している筈のリンク先とがずれることがない。再生手段の仕様、規格、種類等も、日進月歩であることに鑑みれば、各種再生手段に簡単に或いはそのまま対応可能であることは、実践上非常に有利となる。
以上の結果、本実施形態の第2の視聴者用インタフェース装置によれば、リンク先指定用データである、位置情報及びリンク先識別情報を用いて、視聴者側にて、動画コンテンツを再生中に所望のリンク先へ飛ばすことが可能となる。
<13>
本実施形態の第2の視聴者用インタフェース装置の一の態様では、前記位置情報は、前記所望の範囲を示す範囲マークの前記画像全域に対する相対位置を示し、前記リンク先識別情報は、前記範囲マークに対応するものとして前記所望のリンク先を識別し、前記判定手段は、前記少なくとも一部が、前記位置情報により示される前記相対位置から定まる前記範囲マークにより示される範囲に、含まれるか否かを判定する。
この態様によれば、上述の第1の視聴者用インタフェース装置の場合と同様に「所望の範囲」を示す「範囲マーク」を採用することで、コンテンツ提供者等側におけるリンク先を指定する段階と視聴者側におけるリンク先を選択する段階とにおける、各処理の効率化及び操作性の向上を図りつつ且つデータ量の肥大化を防ぎつつ、位置情報及びリンク先識別情報を用いて、視聴者側にて動画コンテンツを再生中に所望のリンク先へ飛ばすことが可能となる。
<14>
本実施形態の第2の視聴者用インタフェース装置の他の態様では、前記位置情報は、前記画像全域に係る、画角、四隅のうち少なくとも一つの隅、外輪又は前記画像全域内に固定された基準位置に対する、前記所望の範囲の相対位置を示す。
この態様によれば、位置情報は、例えば「所望の範囲」を示す範囲マークの画像全域に対する相対位置を示し、典型的には、動画コンテンツの画像全域の四隅を、座標上の(0,0)、(1,0)、(1,1)、(0,1)にとった場合のxy座標を示す。
したがって、動画コンテンツ内でオブジェクトを選択する操作を、位置又はエリアを選択することで行う際に用いられる再生手段の仕様、規格等によらずに、オブジェクト選択を正確或いは確実に行える。選択したオブジェクトとは別のオブジェクトに関連するリンク先のコンテンツが表示されるなどの不具合は、確実にして未然防止される。
<15>
本実施形態の第2の視聴者用インタフェース装置の他の態様では、前記リンク先識別情報は、複数種類の入力操作の別により、複数のリンク先に係る複数のリンク先識別情報を識別可能とされ、又はこれに代えて若しくは加えて、複数種類の入力操作の別により、前記リンク先に係る複数の表示形態の別を識別可能とされており、前記判定手段は、前記少なくとも一部が含まれるか否かを判定すると共に、前記複数種類の入力操作の別を判定し、前記リンク先制御手段は、前記判定手段により判定された前記複数種類の入力操作の別に応じて、前記リンク先識別情報により示される前記リンク先のコンテンツを、前記動画コンテンツに代えて若しくは加えて、静止画再生又は動画再生するように、前記再生手段を制御する。
この態様によれば、例えば、タッチ操作、タップ操作、長押操作、スワイプ操作、スライド操作、ドラッグ装置、回転操作、ズーム操作、ピンチ操作、ストレッチ操作、及びフリック操作等のうち一つを含む複数種類の入力操作の別に応じて、リンク先のコンテンツが、動画コンテンツに代えて若しくは加えて、静止画再生又は動画再生される。この際、同一の位置又はエリアが選択された場合にも、複数種類の入力操作の別に応じて、リンク先が相異なるように再生制御されたりする。或いは、同一の位置又はエリアが選択された場合にも、複数種類の入力操作の別に応じて、同一のリンク先が、相異なる表示形態となるように再生制御されたりする。
このように、視聴者側で同一のオブジェクトについて異なる種類の入力操作が行われることで、異なるリンク先のコンテンツが表示されたり、リンク先のコンテンツが異なる表示形態で表示されたりが可能となる。
<16>
本実施形態の第1又は第2の視聴者用インタフェース装置の他の態様では、前記判定手段は、前記位置情報が対応付けられた前記再生時間内の各時刻について、前記少なくとも一部が含まれるか否かを判定する。
この態様によれば、判定手段によって、画面内で選択された表示位置又は表示エリアの少なくとも一部が、範囲マークにより示される範囲に含まれるか否かが、位置情報が対応付けられた前記再生時間内の各時刻について判定される。
ここでの「各時刻」とは、動画コンテンツをなす画像フレームに対して一対一又は多対一の一定周期で、規則的に若しくは連続的にという場合と、動画コンテンツをなす画像フレームに対して不定周期、不規則に若しくは断続的にという場合との両者を含む趣旨である。特に、位置情報から(具体的には、各位置における値の変化、生成頻度、生成時刻など、位置情報の元となる電気的な信号の時間的或いは空間的な挙動から)判明する範囲マークの範囲が移動されない期間中には、判定頻度を下げ、移動されない期間に対して一回の判定動作を実施する場合も含む趣旨である。或いは、位置情報から判明する範囲マークにより示される範囲が移動される期間中には、判定頻度を上げ、移動される毎に一回の判定動作を(即ち、移動されない期間中は判定結果が同じである判定動作を一回だけ)実施する場合も含む趣旨である。
いずれの場合にも、表示位置又は表示エリアの選択に応じて、動画コンテンツからリンク先のコンテンツへ一度飛んでしまえば、その後については、該動画コンテンツについて判定手段による判定を実施する必要はない。
<17>
本実施形態の第1又は第2の視聴者用インタフェース装置の他の態様では、前記リンク先制御手段は、前記少なくとも一部が含まれると判定された場合に、前記動画コンテンツを前記リンク先のコンテンツに切り替えて再生するように前記再生手段を制御し、前記リンク先のコンテンツを再生し終えると、前記動画コンテンツを切り替えた時点から再生するように再生手段を制御する。
この態様によれば、或る動画コンテンツからリンク先へ一旦飛んだ後、飛んだ先の再生が完了すると、再び、リンク先へ飛ぶ前の動画コンテンツが、飛んだ所から再生される。よって、例えば、映画、ドラマ等の一連の意味を成す動画コンテンツを再生している場合、視聴者は、間にリンク先のコンテンツの視聴を介在させるだけで、その動画コンテンツを過不足なく視聴できるので、便利である。
なお、リンク先のコンテンツを、視聴中の動画コンテンツ内にウインドウ表示するなどの場合には、リンク先のコンテンツを再生しつつ動画コンテンツも再生し続けるといった構成を採ることも可能である。
<視聴者用インタフェース装置用のコンピュータプログラム>
<18>
本実施形態の第2のコンピュータプログラムは、コンピュータを、上述の実施形態に係る第1又は第2の視聴者用インタフェース装置(但し、その各種態様を含む)として機能させる。
本実施形態の第2のコンピュータプログラムによれば、当該コンピュータプログラムを格納するROM、CD−ROM、DVD−ROM、ハードディスク等の記録媒体或いはUSB(Universal Serial Bus)メモリ等コンピュータシステムに着脱可能な固体型記憶装置から、当該コンピュータプログラムをコンピュータシステムに読み込んで実行させれば、或いは、当該コンピュータプログラムを、例えば、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本実施形態に係る第1又は第2の視聴者用インタフェース装置(但し、その各種態様を含む)を比較的簡単に実現できる。
<記録媒体>
本実施形態の記録媒体は、上述した本実施形態の第1又は第2のコンピュータプログラムが記録される。
本実施形態の記録媒体によれば、コンピュータシステムに装着又は接続することによって、或いはコンピュータシステムに備わる又は接続された然るべき読取装置に挿入することによって、記録している本実施形態の第1又は第2のコンピュータプログラムを、コンピュータシステムに読み込ませて実行させることができ、上述した本実施形態のリンク先指定用インタフェース装置、並びに、第1及び第2の視聴者用インタフェースを比較的簡単に実現できる。
本実施形態のこのような作用及び他の利得は、これ以降に説明する実施例により明らかにされる。
先ず、図1のブロック図を参照して、実施例に係るリンク先指定用インタフェース装置の基本構成について説明する。本装置は、広告主のスタッフ、広告代理店のスタッフ、放送局のスタッフ等の動画コンテンツの提供側の者である、当該装置のユーザにより、グラフィカルユーザインタフェースとして使用される。
図1において、リンク先指定用インタフェース装置100は、リンク指定機能付き動画再生装置101と入力装置110とディスプレイ120とを備えて構成されている。
入力装置110は、例えば、タッチパネル、マウス等を有する。ディスプレイ120は、例えば、パソコン、スマートフォン、タブレット等のディスプレイを有し、入力装置110若しくはリンク指定機能付き動画再生装置101と別体として構成されてもよいし又は一体的に構成されてもよい。
リンク指定機能付き動画再生装置101は、映像データを格納する記憶装置102、記憶装置102から映像データを再生するための映像再生部103、入力装置110を介して位置に係るデータ等を入力するための位置入力部105、リンクエリア情報1、2…を格納する記憶装置106、及び、映像データをディスプレイ120に表示させるための制御を行う映像表示部107aとリンクエリア情報に基づき範囲マークをディスプレイ120に表示させるための制御を行う領域情報表示部107bとを含んでなる表示制御部107を備えて構成されている。
本実施例では、本発明或いは実施形態に係る「範囲指定手段」の一例が入力装置110及び位置入力部105を含んで構成されている。本発明或いは実施形態に係る「範囲マーク設定手段」の一例が、領域情報表示部107bを含んで構成されている。本発明或いは実施形態に係る「移動操作手段」の一例が、入力装置110、位置入力部105及び領域情報表示部107bを含んで構成されている。本発明或いは実施形態に係る「リンク先指定手段」の一例が入力装置110を含んで構成されている。本発明或いは実施形態に係る「保持手段」の一例が記憶装置106を含んで構成されている。
次に、図2のブロック図を参照して、実施例に係る視聴者用インタフェース装置の基本構成について説明する。本装置は、動画コンテンツを視聴する視聴者である当該装置のユーザにより、グラフィカルユーザインタフェースとして使用される。
図2において、視聴者用インタフェース装置200は、リンク選択機能付き動画再生装置201と入力装置210とディスプレイ220とを備えて構成されている。
入力装置210は、例えば、タッチパネル、マウス等を有する。ディスプレイ220は、例えば、パソコン、スマートフォン、タブレット等のディスプレイを有し、入力装置210若しくはリンク選択機能付き動画再生装置201と別体として構成されてもよいし又は一体的に構成されてもよい。
リンク選択機能付き動画再生装置201は、通信部202、コンテンツ取得部203、映像データ及び映像対応情報205(リンクエリア情報1、2、3、…を含む)を格納する記憶装置204、領域情報解析部207、遷移情報取得部208、遷移情報抽出部211aと領域特定部211bとを含む遷移情報特定部211、映像再生部212、入力ジェスチャ判定部213、映像表示部216aを含みディスプレイ220の表示制御を行う表示制御部216、及び、位置入力部218を備えて構成される。
本実施例では、本発明或いは実施形態に係る「位置選択手段」の一例が入力装置210及び位置入力部218を含んで構成されている。本発明或いは実施形態に係る「判定手段」の一例が、領域情報解析部207、遷移情報特定部211及び入力ジェスチャ判定部213を含んで構成されている。本発明或いは実施形態に係る「リンク先制御手段」の一例が、表示制御部216を含んで構成されている。
次に、図3の概念図を参照して、実施例に係るリンク先指定用インタフェース装置100(図1参照)により生成され、視聴者用インタフェース装置200(図2参照)での利用に供される、リンク先指定用データの具体的な構成について説明する。
図3において、本実施例に係る「リンク指定用データ」の一例としてのリンクエリア情報は、時間情報、時点情報、座標情報、ジェスチャ情報、及び遷移情報を含んで構成されている。これらのうち「座標情報」は、本発明或いは実施形態に係る「位置情報」の一例を構成しており、「遷移情報」は、本発明或いは実施形態に係る「リンク席識別情報」の一例を構成している。また、本実施例では、本発明或いは実施形態に係る「範囲マーク」は、矩形(長方形)の枠マークとされている。
「リンクエリア情報」は、後に詳述する如くリンク先指定用インタフェース装置(図1参照)で、設定され移動操作される矩形の枠マークの生成・移動に応じて、生成される情報である。リンクエリア情報は、記憶装置106に保持され、その後、後に詳述する如くインターネット等を介して、視聴者用インタフェース装置(図2参照)へ送られて、記憶装置204に保持され、その後におけるリンク先選択に供される情報である。
「時間情報」は、単位を秒として、当該リンクエリア情報に対応する枠マークが設定されてからの経過時間(言い換えれば、枠マークが設定・移動操作された際の対象であった動画コンテンツの再生時間軸上における時間)を示す情報である。時間情報は、枠マークが移動操作されたか否かに応じて、可変長さの時間を示す情報とされており、例えば、枠マークの移動操作がされない又は小さい時間帯については、10秒間の時間情報(図3中、最下段の“50S−60S”)の値とされている。他方、枠マークの移動操作がされた又は大きい時間帯については、2秒間の時間情報(図3中、上から4段目の“30S−32S”)の値とされている。
「時点情報」は、単位を秒として、各時間情報に対して頻度が変わる形式で(言い換えれば、枠マークに対して移動操作がされた頻度に応じて)、座標情報が生成されるタイミング、即ち、動画コンテンツの再生時間軸上における、座標情報の生成時刻を示す情報である。
「座標情報」は、動画コンテンツの画像全域における枠マークの相対位置を示す情報である。しかも、本例では、枠マークが矩形或いは長方形であるので、該枠マークの四角のうちの左上の角の座標と右下の角の座標のみにより、枠マークの位置とサイズを含めた外輪形状とは、動画コンテンツの画像全域に対して相対的に一義的に定められる。
より具体的には、動画コンテンツの画像全域における、左上のXY座標を(0.0,0.0)とし、右下のXY座標を(1.0,1.0)とし、左下のXY座標を(0.0,1.0)とし、右上のXY座標を(1.0,0.0)としている。
例えば、枠マークが画像全域に設定された場合には、座標情報を、その左上座標(0.0,0.0)及び右下座標(1.0,1.0)の二つの座標情報とすればよい。このような座標情報を用いることで、視聴者用インタフェース装置(図2参照)で、動画コンテンツのどの表示位置又はエリアを選択してもリンク先の選択が行われるように制御可能となる。
例えば、枠マークが画像全域のうちの右下四分の一に設定された場合には、座標情報を左上座標(0.5,0.5)及び右下座標(1.0,1.0)とすればよい。このような座標情報を用いることで、視聴者用インタフェース装置(図2参照)で、動画コンテンツの右下四分の一内の表示位置又はエリアを選択するとリンク先の選択が行われる(それ以外の四分の三内の表示位置又はエリアを選択してもリンク先の選択が行われない)ように制御可能となる。
例えば、枠マークが画像全域のうちの右半分に設定された場合には、座標情報を左上座標(0.5,0.0)及び右下座標(1.0,1.0)とすればよい。このような座標情報を用いることで、視聴者用インタフェース装置(図2参照)で、動画コンテンツの右半分内の表示位置又はエリアを選択するとリンク先の選択が行われる(それ以外である左半分内の表示位置又はエリアを選択してもリンク先の選択が行われない)ように制御可能となる。
「ジェスチャ」は、枠マークの設定操作や移動操作が行われる際における、タップ、スワイプ、ドラッグ等の複数種類の入力操作の別に応じて、生成保持される情報である。
例えば、ここでのジェスチャが「タップ」であれば、予め定めた規約に従って、視聴者用インタフェース装置200(図2参照)では、対応する座標情報で示される表示位置又はエリア内(即ち、枠マークに対応するエリア内)で「タップ」が行われた場合に、再生中の動画コンテンツから、別の映像へ遷移するように制御可能となる。
例えば、ここでのジェスチャが「スワイプ」であれば、予め定めた規約に従って、視聴者用インタフェース装置200(図2参照)では、対応する座標情報で示される表示位置又はエリア内(即ち、枠マークに対応するエリア内)で「スワイプ」が行われた場合に、再生中の動画コンテンツに対してウインドウ表示等の要領で、別画像(静止画又は動画)を表示するように制御可能となる。
例えば、ここでのジェスチャが「ドラッグ」であれば、予め定めた規約に従って、視聴者用インタフェース装置200(図2参照)で、対応する座標情報で示される表示位置又はエリア内(即ち、枠マークに対応するエリア内)で「ドラッグ」が行われた場合に、再生中の動画コンテンツに対してウインドウ表示等の要領で又は全画像の切り替えとして、Webページに飛ぶように制御可能となる。
以上のように構成されているため、視聴者用インタフェース装置200(図2)では、当該リンクエリア情報を用いることで、例えば動画コンテンツの10秒から15秒の間には、動画コンテンツのどこかでタップ操作が行われると、別の映像へ遷移する処理を実行可能となる。例えば、動画コンテンツの15秒から20秒の間には、動画コンテンツの右下四分の一でスワイプ操作が行われると、予め用意された特定画像を表示する処理を実行可能となる。例えば、動画コンテンツの20秒から25秒の間には、動画コンテンツの右半分でドラッグ操作が行われると、予め設定されたWebページを表示する処理を実行可能となる。例えば、動画コンテンツの30秒から32秒の間には、枠マークに対応して選択操作を実行可能なエリアの大きさが変わらないまま左上から右下へ移動する該エリア内でタップ操作が行われると、別の映像へ遷移する処理を実行可能となる。例えば、動画コンテンツの40秒から42.5秒の間には、枠マークに対応して選択操作を実行可能なエリアの大きさが左上四分の一から画像全体に広がる該エリア内でスワイプ操作が行われると、予め用意された特定画像を表示する処理を実行可能となる。例えば、動画コンテンツの50秒から60秒の間には、枠マークに対応して選択操作を実行可能なエリアが55秒の時点で瞬時に、左上から右下へ変えられた該エリア内でドラッグ操作が行われると、予め設定されたWebページを表示する処理を実行可能となる。
このように「リンクエリア情報」は、遷移情報及び時点情報に対応する座標情報に紐付けられており、動画コンテンツ内に存在し得るオブジェクト(特に、その表示位置やエリア)に対しては、システム上、何ら紐付けられていない。動画コンテンツ中のオブジェクトの存在を適宜に認識しつつリンク先指定操作を行うリンク先指定用インタフェース装置100(図1参照)のユーザによる該一連の操作によって、結果的に、「リンクエリア情報」は、オブジェクト(特にその表示位置やエリア)に関連付けられるものである。
オブジェクトの有無や位置を示す情報は、いずれにしてもリンクエリア情報に何ら含まれるものでないため、リンクエリア情報(特に、そのデータ生成作業、データ量、データ構造など)は、オブジェクトの種類、動きの速さや複雑さ、煩雑さ、不明瞭さ等によることなく、図3で示した通りに総じてシンプルで済む。これは、実戦上大変有利である。
しかも、図3に示した例では、座標情報に変更が加えられた場合にのみ(即ち、枠マークに対して移動操作が実施された場合にのみ)、座標情報が保持又は生成保持される。即ち、リンクエリア情報が、時点情報の他に、時間情報を持つことにより、時間情報がない時間帯については、時点情報、座標情報等を持たないで済んでいる。このため、同じ値の座標情報等を、冗長的に保持又は生成保持しないで済むので、データ量が肥大しないようにでき、各処理における負担も軽減される。
次に、図4のブロック図を参照して、図1に例示したリンク先指定用インタフェース装置を含むサーバ装置及び図2に例示した視聴者用インタフェース装置を含むクライアント装置を含むシステムの全体構成について、説明する。
図4において、インターネット1000には、リンク先指定用インタフェース装置100(図1参照)を含んでなるサーバ装置500、サーバ装置500へリンク先のコンテンツを提供するリンク先コンテンツサーバ装置600、サーバ装置500へ動画コンテンツを提供する動画コンテンツサーバ装置700、及び、視聴者用インタフェース装置200を夫々含んでなる複数のクライアント装置1200が収容されている。
サーバ装置500は、例えば、パソコン、ワークステーション、モバイル等から構成されており、光ディスク100dが装着可能である。光ディスク100dに格納されており、後に詳述する如きコンテンツ提供者側でのリンク先指定に係る各処理(図5から図8参照)をコンピュータに実行させるためのコンピュータプログラムを読み込んで実行させれば、サーバ装置500内に、リンク先指定用インタフェース装置100(図1参照)を比較的容易に実現できる。或いは、このようなコンピュータプログラムは、インターネット100を介してサーバ装置500にダウンロードされてもよい。
クライアント装置1200は、例えば、パソコン、高機能テレビ、モバイル、スマートフォン等から構成されており、光ディスク200dが装着可能である。光ディスク200dに格納されており、後に詳述する視聴者側でのリンク先選択に係る各処理(図9参照)をコンピュータに実行させるためのコンピュータプログラムを読み込んで実行させれば、クライアント装置1200内に、視聴者用インタフェース装置200(図2参照)を比較的容易に実現できる。或いは、このようなコンピュータプログラムは、インターネット1000を介してクライアント装置1200にダウンロードされてもよい。
次に、図1から図4と共に、図5及び図6のフローチャートを参照して、図1に示した基本構成を有するリンク先指定用インタフェース装置100の動作を、その詳細な構成と共に説明する。この際、図10〜図18に示したリンク先指定用インタフェース装置100の動作に係る概念図のうち、下記で説明する各動作或いは各ステップに夫々関連する図面が適宜参照される。
図5において先ず、どの動画コンテンツについてリンク先指定を行うかの選択、即ち、記憶装置102に記憶された映像データの選択操作が、入力装置110を介して行われる(ステップS11)。
次に、枠マークを設定する都度に必要となるリンクエリア情報(図3参照)の初期設定、即ち、領域情報の新規追加に係る操作が、入力装置110を介して行われる(ステップS12)。即ち、当初は空状態であるリンクエリア情報が新規に生成され、記憶装置106に保持される。
次に、新規追加されたリンクエリア情報に対し、ジェスチャ及び遷移情報(図3参照)の設定が、入力装置110を介して行われる(ステップS13)。即ち、記憶装置106において、新規に格納された空状態のリンクエリア情報のうち、次に設定される枠マークに対するジェスチャ及び遷移情報の各欄が埋められる。
次に、映像再生部103において、リンクエリア情報を生成する映像時刻まで、選択された映像データを、早送り、時刻指定送り等により進める作業行われる(ステップS14)。
次に、映像再生部103及び映像表示部107aにより、このように進められた映像がディスプレイ120に表示され、好ましくは静止画再生される。この状態において、入力装置110及び位置入力部105により、枠マークに係る左上座標と右下座標とが設定される。この際、領域情報表示部107bにより、設定作業中及び設定完了時における枠マークが、ディスプレイ120の画面内で映像に重ねられた形式で表示される。最終的には、この時点で表示されている映像の映像時刻における、設定が完了した大きさ及び位置を有する枠マークが、ディスプレイ120の画面内に、映像に重ねられた形式で表示される(ステップS15)。
ここで図10に示すように例えば、本発明或いは実施形態に係る「動画コンテンツ」の一例である映像は、本発明或いは実施形態に係る「再生時間」の一例である映像時間t(即ち、映像時間軸上における映像時刻t)に対して、複数のフレーム映像から構成される。x座標及びy座標は、全てのフレーム映像に対して共通に定義される。一般手には、ディスプレイ120の仕様、規格等に応じて、ディスプレイ120の画面内には、各フレーム映像の縁寄り部分が食み出される形で表示されなかったり、積極的にフレーム映像の一部のみが切り出された形で表示されたり、縦横倍率が変更されて表示されたりする。しかるに本実施例では特に、フレーム映像の映像全域(即ち、画像全域)に対する相対位置としてx座標及びy座標が定義される。
より具体的には、図11に示すように例えば、フレーム映像の映像全域の左上隅が、座標(0,0)とされ、フレーム映像の映像全域の右下隅が、座標(1,1)とされる。したがって、座標は、ディスプレイ120の有する画面における、縦横のピクセル数や縦横の縮尺比に依存しない。更に、後に視聴者側におけるディスプレイ220(図2参照)との関係についても、ディスプレイ220の有する画面における、縦横のピクセル数や縦横の縮尺比に依存しない。
図12に示すように例えば、ステップS15では、映像時間t1において先ず、ディスプレイ120の画面内に、“顔”を含む映像が静止画再生で表示されている。この時点で、ディスプレイ120の画面を見ながら入力装置110を操作するユーザによって、その画面内に表示された“顔”が、リンクを貼る対象の一つの「オブジェクト」であるものと想定される。
その結果、ユーザによる、ディスプレイ120を見ながらの入力装置110の入力操作によって、灰色部分で図示されたリンクエリアを囲む矩形の枠マークが、“顔”を囲むように設定される。
この際、枠マークは、映像の画像全域に対する相対座標で表され、その左上の座標a1(a1x,a1y)と右下座標b1(b1x,b1y)とにより、映像時間t1に対して一義的に設定される。
本実施例に係る「リンクエリア」とは、後に視聴者用インタフェース装置で、実際にタップ、スワイプ、ドラッグ等のアクションが起こされると遷移が行われる映像内の部分領域である。リンクエリアは、後に視聴者用インタフェース装置で、視認可能に表示される必要がなく、本実施例でも表示されない。本実施例に係る「枠マーク」とは、リンク先指定用インタフェース装置で、後にタップ、スワイプ、ドラッグ等のアクションが起こされると遷移が行われる領域を、ディスプレイ120上で示す枠のマークである。簡単には、図12で示した如く、矩形のリンクエリアの全域を囲む矩形の枠状のマークであってよい。このような枠マークは、例えば、映像の内容によらずに視認可能なように、細い赤い線や細い蛍光色の線からなり、映像に重ねられて表示される枠として、ディスプレイ120の画面内に表示される。
例えば、本実施例では特に、入力装置110を介して、例えばタッチパネルにおけるズーム動作を利用して、枠マークは、画面内で伸縮自在とされ、画面内で縦横移動可能に構成されている。
このように構成すれば、ユーザは、画面内で映像及びこれに重ねられた伸縮自在の枠マークを視覚的に確認しながら、適切な大きさの枠マークを簡単に指定できる。その後、該適切な大きさの範囲を示す枠マークを、入力装置110を介して移動操作すればよいので、便利である。
他方、図13に示すように例えば、枠マークを、楕円形(即ち、図中の灰色の領域)を囲む枠状のマークとし、リンクエリアを、楕円形(即ち、図中の灰色の領域)としてもよい。この場合にも、枠マーク及びリンクエリアを、矩形に内接する楕円形であるとの規約を予め設けておけば、図中点線で示した矩形の左上座標及び右下座標により、当該枠マーク或いはリンクエリアは、映像時間t1に対して一義的に設定され得る。
なお、図13において、枠マークを図中点線で示された矩形マークとしておき(即ち、ディスプレイ120上では矩形の枠マークが表示されつつ)、枠マークと所定関係を持ちながらも異なる形状の、即ち楕円形状のリンクエリアが設定されてもよい。このように予め規約を設け、それがリンク先指定用インタフェース装置のユーザに知らされる限りにおいて、枠マーク及びリンクエリアの形状は、相互に同一でも異なってもよく、それぞれの形状自体も任意であり、矩形、円形に限らず多角形等であってもかまわない。
このように、枠マーク或いはリンクエリア(図12及び図13中の灰色の領域)を示す座標情報に対して、ステップS13で設定されたジェスチャ、遷移情報が定義される。即ち、リンクエリア情報(図3参照)のうちの映像時間t1に対する部分が生成され埋められる。
再び図5において、映像の動画再生が開始され、それをディスプレイ120で見ているユーザによる手動操作が行われる入力装置110を介して、枠マークの移動操作が行われる。映像の動画再生が開始されると共に、枠マークの移動操作及びこれに応じたリンクエリア情報を構成する座標情報、時間情報、時点情報の記録が開始される(ステップS16)。
例えば、入力装置110が、マウスであれば、左ボタンを押す操作に応じて、このような動画再生及び情報記録が開始されればよい。或いは、入力装置110が、タッチパネルであれば、ディスプレイ120の画面を触わる操作に応じて、このような動画再生及び情報記録が開始されればよい。
更に、ユーザによりディスプレイ12上で枠マークの移動操作が行われるのに応じて、位置入力部105からの座標情報或いはその元となる位置信号が更新されたか否かが判定される(ステップS17)。例えば、入力装置110が、マウス又はタッチパネルであれば、ドラッグされたか否かがモニタリングされる。
ここで更新されたものと判定された場合には(ステップS17:YES)、位置入力部105から入力される座標情報或いはその元になる位置信号の変化に応じて、領域情報表示部107aによる表示制御下で、枠マークがディスプレイ120上で移動される。典型的には、動画再生されている映像の中で移動するオブジェクト(例えば、図12に示した顔)を見てのユーザによる入力装置110の手動操作によって、オブジェクトの動きに追従するように、枠マークが移動される。
これと並行して、位置入力部105からの移動情報から、枠マークの表示エリアを示す座標情報が生成され、各映像時間tにおける時間情報及び時点情報に対応付けられて、記憶装置106に格納される(ステップS18)。
このように本実施例では、入力装置110を介して枠マークの移動操作が行われた(例えば、マウス又はタッチパネルでドラッグされた)場合にのみ、情報記録が行われることになり、データ量が肥大化することが未然防止される。
ステップS18で座標情報が格納された後、又は、位置入力部105からの座標情報が更新されていないと判定された場合には(ステップS17:NO)、図6の処理へ移行する。
ここで、ステップS17及びS18における処理のうち、リンクエリアが移動されない場合について、図14及び図15を参照して説明する。
図14に示すように例えば、リンクエリアが移動されない場合(即ち、ステップS17:NOの場合)、映像中のリンクエリアの設定を開始したい映像時間t3 が、入力装置110を介して指定される。この指定は、例えば、時間を指定するための、入力装置110の一例であるスマホデバイスの標準IF(インタフェース)を利用して行われる。例えば、映像時間t3が指定された際、映像は一時停止した状態とされる。その状態で、タッチパネル、マウス等の入力装置110を介して、枠マークの左上位置a3と右下位置b3がディスプレイ120の画面上で指定される。この操作は、リンクエリア指定モードとして行われる。左上位置a3が指定されると、それを示す座標として(a3x,a3y)が生成され、左上位置b3が指定されると、それを示す座標として(b3x,b3y)が生成され、エリアリンク情報の一部をなす座標情報として記憶装置106に格納される。
続いて、リンクエリア録画モードとし、例えば入力装置110を構成するタッチパネルがタップされた後、そのまま接触が維持されている間、或いは、入力装置110を構成するマウスがクリックされている間、映像の再生が継続される。これと並行して、リンクエリア情報(即ち、座標情報、時間情報、時点情報等)が生成されて行く。
図15に示すように例えば、図14で示した映像時間t3の後である映像時間t4において、入力装置110を構成するタッチパネルから指が離される(タッチが解放される)又はマウスのクリックが解放される。すると、表示制御部107による制御下で、映像が停止される。この時の枠マークは、左上位置a4及び右下位置b4の位置まで移動されている。これらの動作によって、リンクエリアを設定したい映像時間t3〜t4の間におけるリンクエリアを、非常に効果的に且つ実用的に指定できる。
なお、元の映像の速度を変更した上で、映像を再生する(例えば、早送り再生やスロー再生を行う)間に、このような映像の再生の開始、継続及び終了に係る操作は、同様に実行可能であり、そうすることで映像時間t3〜t4に、より簡単にリンクエリアを指定できる。
ここで、ステップS17及びS18における処理のうち、リンクエリアが移動される場合について、図16から図18を参照して説明する。
図16に示すように例えば、リンクエリアを移動させる場合には、映像として自動車が画面左から右に向かい走り抜ける例がここでは想定される。この際、自動車の位置は、映像時間t5で位置C5であり、映像時間t6で位置C6であり、映像時間t7で位置C7である。映像は、映像時間t5〜t8の間に連続して多数の時系列のフレーム映像として存在するが、本例では説明の便宜上、3つの時点(即ち、3フレーム)のみに存在する映像コンテンツを例にとり、リンクエリアを移動させる場合について説明する。
図17に示すように例えば、図14の場合と同様に、映像中のリンクエリアの設定を開始したい映像時間が、入力装置110を介して指定される。例えば、映像時間t5が指定された際、映像は一時停止した状態とされ、入力装置110を介して、枠マークの左上位置c5aと右下位置c5bがディスプレイ120の画面上で指定される。この操作は、リンクエリア指定モードとして行われる。
続いて、リンクエリア録画モードとし、例えば入力装置110を構成するタッチパネルがタップされる或いはマウスがクリックされることで、映像時間t5でリンクエリア情報の記録が開始される。更に、例えば入力装置110を構成するタッチパネルがタップされ続ける或いはマウスがクリックされ続けることで、映像時間t5からt6までの間、リンクエリア情報(即ち、座標情報、時間情報、時点情報等)が生成されていく。
図18に示すように例えば、ディスプレイ120の画面内における映像中の自動車の位置は、映像時間t5からt6 になるのに応じて、位置c5から位置C6に移動される。映像時間t5からt6の間、入力装置110のユーザによる手動操作によって、例えば、タッチパネルがタップされ続けたままスライドされる又はマウスがクリックされたまま移動されるなどの、ユーザの視覚を利用しての手動操作によって、ディスプレイ120の画面内における自動車の動きに、枠マークが追従される。この枠マークの移動に伴って、各再生時間における枠マークから定まる座標情報が、時間情報及び時点情報と共に、リンクエリア情報(図3参照)の一部として生成されて行く。
このように本実施例によれば、映像中のオブジェクトの解析を全く行う必要なく、ユーザである人間による視覚を利用したオペレーションによって、簡易且つ実用的にリンクエリアを連続的に指定できる。
続いて図6において、図5のステップS17又はS18の処理の後に、映像再生部103により、現在再生中の映像の再生位置が終端であるか否かが判定され(ステップS19)、終端でないと判定された場合には(ステップS19:NO)、更に位置入力部105からの座標情報又はその元になる位置信号の入力が停止されたか否かが判定される(ステップS20)。ここでの判定は、例えば、入力装置110がマウスであれば、左ボタンが離された否かがモニタリングされればよい。入力装置110がタッチパネルであれば、タッチパネルからユーザの手が離された否かがモニタリングされればよい。
ここで停止されていないと判定されれば(ステップS20:NO)、既に図5に示したステップS17へ戻り、それ以降の処理が繰り返して実行される。
他方、ステップS19で、映像の再生位置が終端であると判定された場合(ステップS19:YES)又は、ステップS20で停止されたと判定されれば(ステップS20:YES)、ここまでに生成されてきた座標情報が、時間情報、時点情報と共に、リンクエリア情報(図3参照)として、記憶装置106に保存される(ステップS21)。
次に、更なるリンクエリア情報を記憶装置106に追加して生成保持するか否かが判定され(ステップS22)、追加する場合には(ステップS22:YES)、既に図5に示したステップS12へ戻り、それ以降の処理が繰り返して実行される。
他方、リンクエリア情報を追加して生成保持しない場合には(ステップS22:NO)、各項目が適式に埋められたリンクエリア情報(図3参照)が記憶装置106に保存され、リンク先指定に係る一連の処理が完了される。
以上により、リンク先指定用インタエース装置(図1参照)において、リンクエリア情報(図3参照)を生成保持する動作が完了される。
以上説明したように本実施例のリンク先指定用インタフェース装置100によれば、入力装置110及び位置入力部105等の働きによって、映像時間の経過に伴って、枠マークが、ユーザの手動操作に応じた所望の方向に移動される。これと相前後して又は並行して、記録装置106に、座標情報、時点情報等を含むリンクエリア情報が保持される。この際、本発明或いは実施形態に係る「リンク先(リンク先識別情報)」の一例を構成する遷移情報について言えば、システム上は、対応するオブジェクトに対応付けられることなく、枠マーク或いはその座標位置を含みリンクエリア情報に対応付けてられている。よって、オブジェクト解析といった画像解析や画像認識といった高度なデータ処理を必要としない。
このように本実施例によれば、リンク先指定用インタフェース装置100のユーザ(即ち、コンテンツ提供者側の者)で、任意の映像コンテンツに対し、所望のリンク先を指定する作業を容易に行える。
本実施例では特に、リンクエリア情報を構成する座標情報は、映像コンテンツの画像全域に対する枠マークの相対位置或いはリンクエリアの相対位置を示す座標情報である。したがって、リンク先指定用インタフェース装置100のユーザ側で、リンク先を指定する操作を行う際に用いられるディスプレイ120の仕様、規格等によらずに、リンク先を正確或いは確実に指定できる。
本実施例では特に、枠マークを、ディスプレイ120の画面上で所望の位置で所望のサイズに変更可能な矩形を有する枠マークとしてあるので(図12参照)、実用上大変便利である。
本実施例では特に、枠マークは、映像全域に対する相対位置として、映像全域に対する、枠マークの相対位置を二隅の座標(即ち、その左上座標及び右下座標)で示される。これは、視覚及び入力装置110を扱うユーザの立場からすれば、視覚的に分かりやすく操作しやすいという実践的な利益をもたらす。
本実施例では特に、枠マークの移動が行われている期間中に座標情報が記録され、枠マークが移動されていない期間には、同一値の座標情報が冗長的に記録されないようにもできるので、本来の機能の低下を招くことなく、取り扱うデータの肥大化を効率的に避けることが可能である。
本実施例では特に、入力装置110におけるタップ、スワイプ、ドラッグ等の複数種類の入力操作の別により、複数のリンク先に係る複数の遷移情報を入力可能に構成されている。このため、後に視聴者側インタフェース装置200で、一つのオブジェクトについて異なる種類の入力操作が行われることで、異なるリンク先のコンテンツが表示される環境を、簡単にして構築できる。
次に、図7及び図8のフローチャートを参照して、図4を参照して説明したリンク先指定用インタフェース装置100の動作の他の例について、説明する。尚、同図において、図5及び図6と重複するステップには同一のステップ番号を付してそれらの説明については適宜省略する。この際、図19〜図23に示したリンク先指定用インタフェース装置100の動作に係る概念図のうち、下記で説明する各動作或いは各ステップに夫々関連する図面が適宜参照される。
図7において、図5と同じくステップS11からステップS18の処理が行われ、図8において、図6と同じくステップS19からS20の処理が行われる。
図8において、ステップS20の処理が完了すると(ステップS20:YES)、編集を継続するか否か、即ち、現在までリンクエリア情報が生成されていた対象であった映像コンテンツに対して、更なるリンクエリア情報を生成保持するか否かが、入力装置110を介して入力されるその旨のコマンドに基づいて、判定される(ステップS201)。例えば、同一の映像コンテンツに対して、リンクエリアが映像時間軸上において非連続で二つ以上存在する場合には、ここでの編集が継続される。或いは、映像コンテンツに複数のオブジェクトが存在しており、それらに夫々対応する複数のリンク先が指定される場合には、ここでの編集が継続される。
ここで編集を継続するものと判定された場合には(ステップS201:YES)、更なるリンク先指定の対象となる映像を再開する位置まで映像が進められる(より具体的には、映像の再生時間軸上では、再生位置が進められるか又は戻される)。その後、図7のステップS15に戻り、それ以降の処理が繰り返し実行される。即ち、編集の継続として、ユーザによる入力装置110の操作によって、遷移先やジェスチャの変更、枠マークのサイズ変更や初期位置の変更等が行われ、係る変更後の枠マークの移動操作が、新たなオブジェクトに対応して実行されることで、編集が継続される。
ステップS201で編集を継続しないものと判定された場合には(ステップS201:NO)、図6と同じくステップS21からステップS23の処理が行われ、リンク先指定に係る一連の処理が完了される。
ここで、ステップS201及びS202を含む処理のうち、リンクエリアが非連続で二つの時間で指定される場合について、図19から図23を参照して説明する。
図19に示すように例えば、映像として自動車が画面左から右に向かい走り抜ける例がここでは想定される。この際、自動車の位置は、映像時間t8で位置C8であり(図20参照)、映像時間t9で位置C9であり(図21参照)、映像時間t11で位置C11であり(図22参照)、映像時間t12で位置C12である(図23参照)。映像は、映像時間t8〜t9の間、映像時間t9〜t10の間、映像時間t10〜t11の間、映像時間t11〜t12の間に夫々、連続して多数の時系列のフレーム映像として存在するが、本例では説明の便宜上、5つの時点(即ち、5フレーム)のみに存在する映像コンテンツを例にとり、リンクエリアを移動させる場合について説明する。
図20に示すように例えば、図14の場合と同様に、映像中のリンクエリアの設定を開始したい映像時間が、入力装置110を介して指定される。例えば、映像時間t8が指定された際、映像は一時停止した状態とされ、入力装置110を介して、枠マークの左上位置c8axと右下位置c8byがディスプレイ120の画面上で指定される。この操作は、リンクエリア指定モードとして行われる。
続いて、リンクエリア録画モードとし、例えば入力装置110を構成するタッチパネルがタップされる或いはマウスがクリックされることで、映像時間t8でリンクエリア情報の記録が開始される。更に、例えば入力装置110を構成するタッチパネルがタップされ続ける或いはマウスがクリックされ続けることで、映像時間t8からt9までの間、リンクエリア情報(即ち、座標情報、時間情報、時点情報等)が生成されていく。
図21に示すように例えば、ディスプレイ120の画面内における映像中の自動車の位置は、映像時間t8からt9 になるのに応じて、位置C8から位置C9に移動される。映像時間t8からt9の間、入力装置110のユーザによる手動操作によって、例えば、タッチパネルがタップされ続けたままスライドされる又はマウスがクリックされたまま移動されるなどの、ユーザの視覚を利用しての手動操作によって、ディスプレイ120の画面内における自動車の動きに、枠マークが追従される。この枠マークの移動に伴って、各再生時間における枠マークから定まる座標情報が、時間情報及び時点情報と共に、リンクエリア情報(図3参照)の一部として生成されて行く。
更に、例えば、ユーザによる、タッチパネルへの接触が解放される又はマウスのクリックが解放されるなどの入力装置110を介しての操作によって、表示制御部107の制御下で、ディスプレイ120に表示された映像は一時停止状態とされる。この際、枠マークはそのまま表示されていてもよいし、一旦消されてもよいし、表示態様が変更されてもよい。
続いて図22に示すように例えば、映像は映像時間t9で、一時停止状態となっている。この状態から、入力装置110によって再生すべき映像として、映像時間T11が指定されると、映像再生部103の制御下で、自動車が位置C11に不連続に或いは瞬時に移動した後の映像が再生される。続いて再び、リンクエリア録画モードに変更される。このリンクエリア録画モードとし、例えば入力装置110を構成するタッチパネルがタップされる或いはマウスがクリックされることで、映像時間t11でリンクエリア情報の記録が開始される。更に、例えば入力装置110を構成するタッチパネルがタップされ続ける或いはマウスがクリックされ続けることで、映像時間t11からt12までの間、リンクエリア情報(即ち、座標情報、時間情報、時点情報等)が生成されていく。
続いて図23に示すように例えば、ディスプレイ120の画面内における映像中の自動車の位置は、映像時間t11からt12 になるのに応じて、位置C11から位置C12に移動される。映像時間t11からt12の間、入力装置110のユーザによる手動操作によって、例えば、タッチパネルがタップされ続けたままスライドされる又はマウスがクリックされたまま移動されるなどの、ユーザの視覚を利用しての手動操作によって、ディスプレイ120の画面内における自動車の動きに、枠マークが追従される。この枠マークの移動に伴って、各再生時間における枠マークから定まる座標情報が、時間情報及び時点情報と共に、リンクエリア情報(図3参照)の一部として生成されて行く。
以上図20〜図23に示した通り、本実施例によれば、映像時間t8〜t9の間と映像時間t11〜t12の間とでは、映像時間軸上で、相互に非連続的にリンクエリアが設定される。その際、再生時間t9〜t11の間は、リンクエリアが設定されない時間とすることができる。しかも、本実施例によれば、再生時間t9からt11の間には、座標情報は生成されない。即ち、所望のリンク先指定を行うために、不必要なデータの発生を防止すること或いはリンクエリア情報に不必要なデータが取り込まれないようにすることで、全体としてデータ量の肥大化を未然防止できる。
以上により、図7及び図8のフローチャートで示したリンク先指定用インタエース装置(図1参照)における、リンクエリア情報(図3参照)を生成保持する動作が完了される。本実施例では特に、同一の映像コンテンツに対して、リンクエリアが映像時間軸上において非連続で二つ以上存在する場合に、効率的に、リンクエリア情報(図3参照)の生成保持を行うことができ、実践上大変便利である。
次に図24から図28を参照して、本実施例に係るリンク先指定用ユーザインタフェース装置で適宜に実行される、リンクエリア或いは枠マークのサイズを、映像再生中におけるリンクエリア情報を生成している作業途中で変更する場合について、説明を加える。
図24に示すように例えば、図14の場合と同様に、映像中のリンクエリアの設定を開始したい映像時間が、入力装置110を介して指定される。例えば、映像時間t13が指定された際、映像は一時停止した状態とされ、入力装置110を介して、枠マークの左上位置c13aと右下位置c13bがディスプレイ120の画面上で指定される。この操作は、リンクエリア指定モードとして行われる。
続いて、リンクエリア録画モードとし、例えば入力装置110を構成するタッチパネルがタップされる或いはマウスがクリックされることで、映像時間t13でリンクエリア情報の記録が開始される。更に、例えば入力装置110を構成するタッチパネルがタップされ続ける或いはマウスがクリックされ続けることで、映像時間t13からt14までの間、リンクエリア情報(即ち、座標情報、時間情報、時点情報等)が生成されていく。
その後、図25に示すように例えば、 ディスプレイ120の画面内における映像中の自動車の位置は、映像時間t13からt14になるのに応じて、位置c13から位置c14に移動される。その際に、映像時間t13で、例えば、入力装置110を構成するタッチパネルがタップ或いはマウスがクリックされ、更に、接触(クリック)が維持されつつ、タップ位置或いはクリック位置が、映像中の自動車に合わせてスライド或いは移動させる。これらの操作によって、映像時間t14で座標c14aと座標c14bとが記録される。その後、映像時間t14で、タッチパネルへの接触が解放或いはマウスのクリックが解放されると、映像は一時停止状態とされる。即ち、一時的に静止画再生とされる。
続いて図26に示すように例えば、映像時間t14において、静止画再生されている映像に対して、図24と同様の操作により、枠マークの左上位置及び右下位置が変更される。即ち、リンクエリアの面積及び形状が変更される。図25から図26で示した例では、枠マーク或いはリンクエリアの左上座標が固定されたまま、右下座標が右下へ移動され、それらのサイズが大きくなるように変更が加えられている。
その後図27に示すように例えば、映像時間t14において、動画再生が再開され、即ち、リンクエリア録画モードが再開される。例えば入力装置110を構成するタッチパネルがタップされる或いはマウスがクリックされることで、映像時間t14でリンクエリア情報の記録が再開される。
更に図28に示すように、例えば入力装置110を構成するタッチパネルがタップされ続ける或いはマウスがクリックされ続けることで、映像時間t14からt15までの間、リンクエリア情報(即ち、座標情報、時間情報、時点情報等)が生成されていく。この際、図26でサイズ及び形状が変更された枠マークによって、リンクエリア情報の生成が行われる。
以上図24〜図28で説明した通り、本実施例によれば、映像時間t13〜t15の途中である映像時間t14にて、リンクエリアのサイズが変更される。即ち、一般的によくあるように映像中に存在するオブジェクトのサイズが、映像途中で変更される場合にも、リンクエリアのサイズを適宜に行うことが可能となる。しかも、入力装置110における簡単な操作を介して実行できるので、実践上、大変便利である。
更に図29に示すように例えば、以上説明した本実施例では、同一の映像コンテンツ内に同時に或いは並行して複数のオブジェクトが出現しており、それらの夫々に対して別個にリンクを貼る仕組みを構築することも、リンク先指定用ユーザインタフェース装置100によって実行可能である。即ち、ユーザによる入力装置110を介してのリンクエリア録画モードの操作が、複数のオブジェクトに対応する形で複数の機会に行われればよい。
より具体的には、図5或いは図7で示したステップS15の処理が複数行われ、映像時間t16で、一のリンクエリアを指定する座標d16a及び座標d16bと、他のリンクエリアを指定する座標d16c及び座標d16dとが、指定され、二つの枠マーク(即ち二つのリンクエリア)が設定さればよい。
この場合における枠マークの設定(即ち、ステップS15の処理等)は、複数のリンクエリア情報の生成に対して同一の静止画再生されている映像コンテンツに対して行われてもよいし、複数のリンクエリア情報の生成に対して相異なる静止画再生されている映像コンテンツに対して行われてもよい。図29の例では、二つのリンクエリアが指定される場合を示しているが、映像コンテンツの内容に応じて、三つ以上のリンクエリアを指定することも同様の操作によって可能である。
このように本実施例によれば、後に視聴者用インタフェース装置200で一つの映像コンテンツ内で複数のリンク先を選択可能な環境を、リンク指定用インタフェース装置100にて、簡単にして構築できるので便利である。
次に、図1から図4と共に、図9のフローチャートを参照して、図2に示した基本構成を有する視聴者用インタフェース装置200の動作を、その詳細な構成と共に説明する。
図9において、先ず通信部202を介して、コンテンツ取得部203によって、映像データの取得が行われ、記憶装置204に、映像データと共にリンクエリア情報(図3参照)が格納される(ステップS101)。ここでの取得は、例えば、図4に示した如きインターネット経由で行われる。
本実施例に係る映像対応情報205とは、複数のリンクエリア情報1、2、…を含み、先にリンク先指定装置100で生成保持されたものである。映像対応情報が取得されると、領域情報解析部207では、映像対応情報を構成する各リンクエリア情報のうち座標情報(図3参照)の解析が行われる。即ち、リンク先指定インタフェース装置100で先に指定された各リンクエリアが特定される。
これと並行して或いは相前後して遷移情報取得部208では、各リンクエリア情報のうち遷移情報(図3参照)の取得が行われる。即ち、リンク先指定インタフェース装置100で先に指定された各リンクエリアのリンク先(具体的には、他の映像、Webページ、特定画像の別など)が特定される。
これらによって、コンテンツ提供者側で如何にリンク先を貼ったかが、ここでの情報取得および情報解析により明確化される。ステップS101のうち映像対応情報に係る処理は、視聴者用インタフェース装置200にて、視聴者に意識されないまま映像データの取得に伴って自動的に実行されてよい。
次に、映像データ及びリンクエリア情報の取得と相前後して又は並行して、映像再生が開始される(ステップS102)。具体的には、時系列データとして映像データが、映像再生部212によって再生され、映像表示部216aの制御下で、ディスプレイ220において再生される。
この映像再生の間、表示中の映像のうち、ステップS101で解析され特定されたリンクエリア領域で規定される映像部分に対して、入力装置210における所定操作が行われたか否かがモニタリングされる(ステップS103)。
より具体的には、映像時間の各々の時刻において、入力装置210から位置入力部218を介して操作の有無、操作位置等を示す操作信号の挙動(即ち、時間的及び空間的な変化)に基づいて、入力ジェスチャ特定部301で、タップ、スワイプ、ドラッグ等のうち何れの所定種類の操作が行われたのか(或いは何らの操作も行われなかったのか)が特定される。これと並行して又は相前後して、操作信号の挙動に基づいて、再生時間特定部302により、何れのタイミングでこのような所定操作が行われたのか特定される。これと並行して又は相前後して、操作信号の挙動に基づいて、領域探索部303により、何れの映像部分に対して、このような所定操作が行われたのか特定される。遷移情報抽出部211aは、有効な所定操作が行われた場合に、該有効な所定操作こ係る遷移情報を抽出し、それに対応した遷移動作が行われるように、遷移情報取得部208へと渡す。
ステップS103のモニタリングは、何らのジェスチャも行われないと判定されると(ステップS103:NO)、映像の再生終了でない限り(ステップS107:NO)、繰り返し継続される。
ステップS103のモニタリングにて、入力装置210で視聴者により行われたジェスチャ或いは操作が、“映像”である、即ち、予め設定された規則に従って“指定の映像を再生”である場合に対応していると判定されると、ステップS104へ進み、表示制御部216の制御下で、ディスプレイ220で再生される映像が、当該映像指定の映像に切り替えられる(ステップS104)。更に、ステップS101へ戻って、それ以降の処理が同様に繰り替えされる。この際、当該映像指定の映像(即ち、今まで再生されていた映像とは別の映像)は、リンクエリア情報に含まれる遷移情報で示されており、遷移情報取得部208で既に(ステップS102にて)取得されているので、迅速或いは瞬時の映像切り替えが可能である。
ステップS103のモニタリングにて、入力装置210で視聴者により行われたジェスチャ或いは操作が、“Web”である、即ち、予め設定された規則に従って、“Webページの表示”である場合に対応していると判定されると、ステップS105へ進み、表示制御部216の制御下で、ディスプレイ220で再生される映像が、当該Webページの表示に切り替えられる(ステップS105)。その後、ステップS107へ進む。この際、当該Webページの表示は、リンクエリア情報に含まれる遷移情報で示されており、遷移情報取得部208で既に(ステップS102にて)取得されているので、迅速或いは瞬時のWebページの表示が可能である。
ステップS103のモニタリングにて、入力装置210で視聴者により行われたジェスチャ或いは操作が、“画像”である、即ち、予め設定された規則に従って、特定画像である“画像の表示”である場合に対応していると判定されると、ステップS106へ進み、表示制御部216の制御下で、ディスプレイ220で再生される映像が、当該画像の表示に切り替えられる(ステップS106)。その後、ステップS107へ進む。この際、当該画像の表示は、リンクエリア情報に含まれる遷移情報で示されており、遷移情報取得部208で既に(ステップS102にて)取得されているので、迅速或いは瞬時の画像の表示が可能である。
何れの場合にも、ステップS107で、映像の再生終了であると判定されると、本実施例に係る一連の処理が終了される。
なお、本実施例において、表示制御部216による制御下で、(i)ステップS104を経ての別の映像の再生、(ii)S105を経てのWebページの再生、及び(iii)ステップS106を経ての画像の表示が終了した際に、ステップS102で当初から再生開始されていた映像コンテンツが、切り替え時点から再開される形で、再生されるように構成してもよい。このように構成すると、例えば、映画、ドラマ等の一連の意味を成す動画コンテンツを再生している場合、視聴者は、間にリンク先のコンテンツの視聴を介在させるだけで、その動画コンテンツを過不足なく視聴できるので、便利である。
或いは、(i)ステップS104を経ての別の映像の再生、(ii)S105を経てのWebページの再生、及び(iii)ステップS106を経ての画像の表示の少なくとも一つを、ステップS102で当初から再生開始されていた映像コンテンツ内にウインドウ表示する構成(当初から再生開始されていた映像コンテンツを再生続けさせる構成)を採ってもよい。
以上のように本実施例によれば、先にリンク先指定用インタフェース装置100(図1参照)で生成したリンクエリア情報を用いて、視聴者用インタフェース装置200(図2参照)にて、映像コンテンツを再生中に所望のリンク先へ飛ばすことが可能である。
特に本実施例では、視聴者側で、映像コンテンツ内でオブジェクトを選択する操作を、例えば視聴者が個人利用する多種多様なディスプレイ220の仕様、規格等或いは表示の拡大縮小や表示の切り出しによらずに、正確或いは確実に行える。この点について図30から図32を参照して説明を加える。
即ち図30に示すように、リンクエリア情報を指定後、再生する段階で、仮に記録時の画角Xzに対しA倍、Yzに対しB倍の変更が加えられても映像の一番左上点を座標(0、0)、右下を座標(1、1)と扱うには変わりがない。
従って図31に示すように、再生時にリンクエリアを決定する二つの座標aa3,b3 は、それぞれx軸y軸それぞれの最大を1とした場合の割合情報をもとに算出される。よって、再生時に映像がx軸y軸がそれぞれ等倍で「拡大」「縮小」されても、x軸y軸それぞれが異なる倍率となることで横長、もしくは縦長の映像に縮尺が変更されても、記録時にリンクエリアとして設定したいエリアを再生時に保つことができる。
更に、ディスプレイ220の仕様によっては(特に小型のディスプレイの場合などには)、映像の中央寄りの部分のみが切り出し表示されたり、縮小表示されたりする。この際、例えばリンク指定操作を行うコンテンツ提供者側のディスプレイ110における映像が標準映像(図29参照)であっても、図32に示した視聴者側のディスプレイ220における縮小或いは切り出し映像上で、複数のリンクエリアの各々について、視聴者が選択しようとするオブジェクトに対応するものとして意図されたリンク先が、正確に表示される。
このように本実施例によれば、視聴者用インタフェース装置200で用いられるディスプレイ220の種類によらずに、映像コンテンツを再生中に所望のリンク先へ飛ばすことができるので実用上大変便利である。
視聴者側においては、その性質上、陳腐化したリンク先ではなく、最新状況までも加味した多種多様なリンク先が提供されることが根本的に望ましく、しかも、映像コンテンツについても、制約が少なく、なるべく数多くの汎用性の高い映像コンテンツ(特に、リンクを意識せずとも楽しめる通常の番組、映画、ドラマ等)を視聴しながら、時として臨機応変にリンク先へ飛べることが望ましい。しかも、視聴者側では、多種多様のディスプレイが利用されるのが現実である。
以上詳細に説明した本実施例によれば、コンテンツ提供者側ではリンク先の指定を簡単或いは安価に行うことができ、視聴者側では映像コンテンツ上で(最新のリンク先まで含み得る)所望のリンク先へ高い自由度をもって飛ぶ環境が実現可能となる。
本発明は、上述した実施形態或いは実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うリンク先指定用インタフェース装置、視聴者用インタフェース装置、及びコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。
本発明のリンク先指定用インタフェース装置は上記課題を解決するために、動画コンテンツが静止画再生又は動画再生されている画面内で、所望の範囲を指定可能な範囲指定手段と、前記範囲指定手段により指定された範囲を示す範囲マークを、前記画面内で、前記動画コンテンツ上に重ねて表示させる範囲マーク設定手段と、前記動画コンテンツが動画再生されている画面内で、前記動画コンテンツの再生時間の経過に伴って、前記範囲マークを所望の方向に移動させることが可能な移動操作手段と、前記範囲マークに対応するものとして、所望のリンク先を識別するリンク先識別情報を入力可能なリンク先入力手段と、(i)前記リンク先入力手段により入力されたリンク先識別情報及び(ii)前記再生時間内の各時刻に対応付けて、前記範囲マークの位置を示す位置情報を保持する保持手段とを備え、前記リンク先入力手段は、複数種類の入力操作の別により、複数のリンク先に係る複数のリンク先識別情報を入力可能に、又はこれに代えて若しくは加えて、複数種類の入力操作の別により、前記リンク先に係る複数の表示形態の別を選別可能としつつ前記リンク先識別情報を入力可能に、構成されている。
本発明のリンク先指定用インタフェース装置によれば、当該装置のユーザw側(即ち、コンテンツ提供者側の者)で、任意の動画コンテンツに対し、所望のリンク先を指定する作業を容易に行える。特に、リンク先を簡単に指定、変更、追加等できることが強く望まれる環境下でも、結果的に任意のオブジェクトに対応して、所望のリンク先を簡単に指定、設定、変更、追加等することが可能となる。しかも、後に視聴者側で一つのオブジェクトについて異なる種類の入力操作が行われることで、リンク先のコンテンツが異なる表示形態で表示されたり、異なるリンク先のコンテンツが表示されたりが可能である環境を、当該装置のユーザ側で簡単にして構築できる。