JP2019205182A - 注目対象物に関する情報提供システムおよび情報提供方法 - Google Patents
注目対象物に関する情報提供システムおよび情報提供方法 Download PDFInfo
- Publication number
- JP2019205182A JP2019205182A JP2019126852A JP2019126852A JP2019205182A JP 2019205182 A JP2019205182 A JP 2019205182A JP 2019126852 A JP2019126852 A JP 2019126852A JP 2019126852 A JP2019126852 A JP 2019126852A JP 2019205182 A JP2019205182 A JP 2019205182A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional image
- unit
- accompanying information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】3次元画像をより有用な情報伝達媒体として使えるようにする。【解決手段】1以上の対象物に対してそれぞれ付随情報を関連付けて成る3次元画像を再生してHMD200に表示させる画像再生部11と、3次元画像内で視聴者が注目した1以上の対象物を検出する注目対象物検出部12と、注目対象物を注目度合が高い順にランキングするランキング部13と、注目対象物の付随情報をランキングに従ってユーザ端末400に提供する付随情報送信部14とを備え、HMD200に3次元画像を表示しているときに検出された注目対象物に対応する付随情報を、3次元画像の再生の終了後または停止後に、HMD200とは異なるユーザ端末400を通じて視聴者に提供することにより、3次元画像の視聴中に注目した対象物に関する詳細な付随情報を、HMD200を外した後に視聴者に提供することができるようにする。【選択図】図2
Description
本発明は、注目対象物に関する情報提供システムおよび情報提供方法に関し、特に、3次元画像内に表示された対象物のうちユーザが注目した対象物に関する付随情報を提供するシステムに用いて好適なものである。
近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実(VR:バーチャルリアリティ)技術の活用が広がりを見せつつある。VRは、コンピュータグラフィックスなどを利用して作成した3次元画像をユーザに提示するものと、現実の世界を撮影して取得した動画をVR用に加工することによって作成した3次元画像をユーザに提示するものとに大別される。後者の一例として、視聴者の視線の動きに合わせて360度全方位を見られるようにした360度動画と呼ばれるものも提供されている。
VRの応用例は様々であるが、ユーザがゴーグルのようなHMD(ヘッドマウントディスプレー)を装着して、コンピュータによりHMDに対して描き出された3次元空間を自由に歩き回ることにより、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。VRは、時間や空間という現実の制約を超えた世界をユーザに提示することも可能である。
ただ、単純に3次元画像をHMDに表示するだけでは、ユーザにすぐに飽きられてしまう。すなわち、3次元画像そのままでは、有用なコンテンツあるいは情報伝達媒体になり得ない。これに対し、3次元画像において視聴者が注目するオブジェクトを検出し、その注目オブジェクトの属性情報を表示するようにした技術が知られている(例えば、特許文献1,2参照)。
特許文献1には、視聴者に配信される3次元画像内において、経時的に変化する画像を見ている視聴者の注目部分を検出することにより、注目部分に対応した有用情報を視聴者に提供することが開示されている。具体的には、時空間ボリュームに対象物の付随情報を付加してなる時空間マーカを設定しておき、注目部分の検出結果に基づき、視聴者が注目する対象物の時空間マーカを特定し、当該時空間マーカ中の付随情報を視聴者に提供することが記載されている。また、特許文献1には、視線データを統合、集計して所定の統計処理を行い、当該集計した全視聴者における各時空間マーカの商品情報の注目度に関するデータを得て、当該データを事業者側コンピュータに提供することも記載されている。
特許文献2には、3次元空間で表されるグラフィック内に配置されるオブジェクトの属性情報を記憶しておき、入力手段から入力された検索情報に視点および注視点の移動情報が含まれているとき、検索情報に基づいてオブジェクトの重要度を決定し、決定されたオブジェクトの重要度に基づいて、属性情報を表示するオブジェクトを決定することが記載されている。
しかしながら、上記特許文献1,2に記載された技術は何れも、3次元画像内でユーザが注目している対象物に対応した付随情報を、その3次元画像の視聴中に3次元画像内に表示するものである。そのため、VR空間の中で表示可能な付随情報の情報量や情報の種類には限界がある。しかも、その付随情報が表示されるのは、経時的に変化する3次元画像の中で対象物が表示されているわずかな時間に限定される。そのため、有用な情報を視聴者に対して充分に提供することができないという問題があった。
本発明は、このような問題を解決するために成されたものであり、3次元画像をより有用な情報伝達媒体として使えるようにすることを目的とする。
上記した課題を解決するために、本発明では、経時的に変化する画像内に含まれている1以上の対象物に対してそれぞれ付随情報を関連付けて成る3次元画像を再生してディスプレイに表示させ、当該3次元画像内で視聴者が注目している1以上の対象物を検出して、それらを注目度合が高い順にランキングする。そして、3次元画像の再生が終了または停止したとき、1以上の注目対象物に対応する付随情報を、ランキングに従って、3次元画像を表示していたディスプレイとは異なる媒体を通じて視聴者に提供するようにしている。
上記のように構成した本発明によれば、HMD等のディスプレイに3次元画像を表示しているときに検出された注目対象物に対応する付随情報が、3次元画像の再生の終了後または停止後に、上記のディスプレイとは異なる媒体を通じて視聴者に提供される。このため、情報の量や情報の種類、情報の提供時間などの制約を受けずに、より有用な付随情報を視聴者に提供することができる。そして、視聴者は、3次元画像の視聴中に注目した対象物に関して提供される上述のような有用な付随情報を、当該3次元画像の視聴後にじっくりと確認することができる。しかも、1以上の注目対象物に関する付随情報が、注目度合の高い順にランキングした状態で提供されるので、視聴者は興味の高い対象物から優先して付随情報を確認していくことが容易にできる。以上により、本発明によれば、3次元画像をより有用な情報伝達媒体として活用することができるようになる。
以下、本発明の一実施形態を図面に基づいて説明する。図1は、本実施形態による注目対象物に関する情報提供システム(以下、単に情報提供システムという)の全体構成例を示す図である。図1に示すように、本実施形態の情報提供システムは、再生装置100、HMD200、サーバ装置300およびユーザ端末400を備えて構成されている。
なお、再生装置100、HMD200およびサーバ装置300は、図示の通りそれぞれが別体を成す構成でもよいし、再生装置100とHMD200とが1つのコンピュータとして提供される構成であってもよい。また、再生装置100、HMD200およびサーバ装置300の全てが1つのコンピュータとして提供される構成であってもよい。
再生装置100は、3次元画像を再生するとともに、3次元画像内の対象物に関連付けられている付随情報を視聴者に提供するものであり、情報提供装置としても機能する。3次元画像は、VRの3次元空間を作るための視差画像であり、再生装置100により再生された3次元画像は、視聴者が装着したHMD200に表示される。HMD200は、特許請求の範囲に記載したディスプレイの一例である。
サーバ装置300は、再生装置100から送信された付随情報を受信し、あらかじめ指定された視聴者のユーザ端末400に当該付随情報を送信する。ユーザ端末400は、視聴者が使用する端末であり、例えばスマートフォンまたはタブレット端末などの携帯端末を用いることが可能である。
本実施形態では、HMD200を装着して3次元画像を観ている視聴者が、画像内のどの対象物に注目しているかを再生装置100にて検出するともに、注目対象物を注目度合の高い順にランキングする。そして、3次元画像の再生が終了または停止した後に、注目対象物に関する付随情報を、ランキングに従って、再生装置100からサーバ装置300を介してユーザ端末400に提供する。
すなわち、本実施形態では、ユーザ端末400のアドレス(例えば、電子メールのアドレス、ショートメッセージのアドレス、コミュニケーションアプリやSNSアプリのアドレスなど)を、ユーザID等に関連付けてあらかじめサーバ装置300に登録しておく。再生装置100は、注目対象物に関する付随情報をユーザID等と共にサーバ装置300に提供する。サーバ装置300は、再生装置100から送られてきたユーザIDに関連付けてあらかじめ登録されているユーザ端末400のアドレスに従って、付随情報をユーザ端末400に提供する。
図2は、本実施形態による情報提供システムの機能構成例を示すブロック図である。図2に示すように、本実施形態の再生装置100は、その機能構成として、画像再生部11、注目対象物検出部12、ランキング部13および付随情報送信部14を備えている。また、本実施形態の再生装置100は、記憶媒体として、画像記憶部15を備えている。
上記各機能ブロック11〜14は、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック11〜14は、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
また、サーバ装置300は、その機能構成として、付随情報受信部31、アドレス特定部32および付随情報送信部33を備えている。また、サーバ装置300は、記憶媒体として、アドレス記憶部34を備えている。上記各機能ブロック31〜33も、ハードウェア、DSP、ソフトウェアの何れによっても構成することが可能である。
また、ユーザ端末400は、その機能構成として、付随情報受信部41および付随情報提供部42を備えている。これらの各機能ブロック41〜42も、ハードウェア、DSP、ソフトウェアの何れによっても構成することが可能である。なお、ソフトウェアによって構成する場合、それは、情報提供を受けるための専用のアプリケーションであってもよい。あるいは、汎用的なアプリケーション(コミュニケーションアプリ、ショートメッセージアプリ、ウェブブラウザ、SNSアプリなど)を用いることも可能である。
再生装置100の画像記憶部15は、上述した3次元画像を記憶するものである。この3次元画像は、経時的に内容が変化する画像であり、この3次元画像内には1以上の対象物が含まれている。そして、ぞれぞれの対象物に対して付随情報が関連付けられている。対象物とは、付随情報を付与する対象となるオブジェクトのことであり、画像内に存在するものであれば、何れも対象物として設定することが可能である。言い換えると、付随情報を付与したオブジェクトが、対象物となる。
付随情報は、対象物に関連する情報であり、その内容は任意である。例えば、付随情報は、対象物を詳細に説明するための情報であり、テキスト情報、音声情報、画像情報、動画情報の何れか1つまたは複数の組み合わせとすることが可能である。あるいは、対象物が特定の商品である場合に、その商品を購入可能な販売サイトのURL(Uniform Resource Locator)、紹介サイトのURL、広告情報などを付随情報として関連付けることも可能である。
画像内のオブジェクトに対する付随情報の関連付けは、例えば、3次元画像の作成者が手動で行う。具体的には、付随情報が付加されていないオリジナルの3次元画像を再生しながら、画像内の所望のオブジェクトを指定して、そのオブジェクトに対して識別情報を付与する。さらに、その識別情報に所望の付随情報を関連付けて画像記憶部15に記憶させる。ここで、付随情報は、3次元画像内のオブジェクトの識別情報に関連付けられていればよく、3次元画像とは別に記憶してよい。オブジェクトに対して付随情報をどのように関連付けて記憶するかについては、ここに説明したものは一例であり、本発明はこれに限定されない。
なお、3次元画像は経時的に内容が変化する画像(動画)であるから、同じオブジェクトが複数のフレームにわたって表示され続けるのが通常である。この場合、同じオブジェクトが存在している複数のフレームに対して、そのオブジェクトの識別情報がフレーム毎に付与された状態で3次元画像が画像記憶部15に記憶される。各フレームにおける同じオブジェクトの特定は、画像認識およびオブジェクト追跡に関する公知の画像処理技術を用いて行うことが可能である。
画像再生部11は、画像記憶部15に記憶されている3次元画像を再生してHMD200に表示させる。画像再生部11は、再生ボタンの押下に応じて3次元画像の再生を開始し、全てを再生し終えた時点で自動的に再生を終了する。また、画像再生部11は、再生の開始後、停止ボタンが押下された場合には、その時点で3次元画像の再生を停止する。
本実施形態では、画像再生部11は、VRの3次元空間を作るための視差画像から成る3次元画像を再生する。この3次元画像が表示されるHMD200には、ジャイロセンサや加速度センサが搭載されており、視聴者の頭の動きを検出することが可能となっている。そして、画像再生部11は、HMD200のセンサにより検出された視聴者の頭の動きに応じて、HMD200の表示上に実現される3次元空間が動的に変わるように、3次元画像の再生を制御する。
すなわち、画像再生部11は、視聴者が正面を向けば正面の3次元空間が広がるような3次元画像を再生し、視聴者が右を向けば右側の3次元空間が広がるような3次元画像を再生し、視聴者が左を向けば左側の3次元空間が広がるような3次元画像を再生する。
注目対象物検出部12は、画像再生部11により3次元画像が再生されている間、HMD200に表示された3次元画像内で視聴者が注目している1以上の対象物を検出する。上述の通り、HMD200には、視聴者が向いている方向の3次元画像が常に表示されているので、HMD200に表示されている対象物が注目対象物であると定義することができる。
ただし、本実施形態では、図3に示すように、表示画面の中の中央部に設定した所定領域(以下、画面中央領域51という)に表示されている対象物を注目対象物として検出する。このようにすれば、表示画面の周辺部に偶然に表示されている対象物が注目対象物として検出されることを防ぐことができる。また、本実施形態では、画面中央領域51に所定時間以上継続して表示され続けている対象物を注目対象物として検出する。このようにすれば、視聴者が頭の向きを変えている途中で偶然に画面中央領域51に表示された対象物が注目対象物として検出されることを防ぐことができる。
ランキング部13は、画像再生部11による3次元画像の再生が終了または停止したとき、注目対象物検出部12により検出された1以上の注目対象物について、視聴者による注目度合をそれぞれ特定し、注目度合が高い順にランキングする。注目度合は、一例として、対象物に注目している時間の長さで評価する。注目している時間が長いほど、注目度合は高いということである。時間の長さは、注目対象物が画面中央領域51に表示されていたフレームの数と等価である。各々のフレームには、対象物(オブジェクト)毎に識別情報が付与されているので、どの識別情報の対象物が何フレーム連続して画面中央領域51に表示され続けていたかを検出することが可能である。
付随情報送信部14は、画像再生部11による3次元画像の再生が終了または停止したとき、注目対象物検出部12により検出された1以上の注目対象物に対応する付随情報を、ランキング部13により特定されたランキングに従って、ユーザID等と共にサーバ装置300に送信する。すなわち、付随情報送信部14は、注目対象物の識別情報に対応する付随情報を画像記憶部15から読み出し、サーバ装置300に送信する。
サーバ装置300の付随情報受信部31は、再生装置100から送られてきたユーザIDおよび注目対象物の付随情報を受信する。アドレス特定部32は、付随情報受信部31にて受信したユーザIDをキーとしてアドレス記憶部34を参照することにより、当該ユーザIDに関連付けてアドレス記憶部34にあらかじめ記憶されているユーザ端末400のアドレスを特定する。
付随情報送信部33は、アドレス特定部32により特定されたアドレスに従って、付随情報受信部31にて受信した付随情報をユーザ端末400に送信する。ユーザ端末400の付随情報受信部41は、再生装置100から送られてきた注目対象物の付随情報を受信する。付随情報提供部42は、付随情報受信部41にて受信した随情報を、ランキングに従って視聴者に提供する。
このように、本実施形態では、画像再生部11により再生された3次元画像のHMD200に対する表示が終了または停止したとき、その再生中に検出された1以上の注目対象物に対応する付随情報を、注目度合のランキングに従って、再生装置100からサーバ装置300、サーバ装置300からユーザ端末400へと順次送信し、3次元画像を表示していたHMD200とは異なる媒体を通じて視聴者に提供する。本実施形態において、HMD200と異なる媒体とは、ユーザ端末400のことである。
なお、再生装置100の付随情報送信部14と、サーバ装置300の付随情報受信部31、アドレス特定部32および付随情報送信部33と、ユーザ端末400の付随情報受信部41および付随情報提供部42とにより、本発明の付随情報提供部が構成される。
ここで、ランキングに従って付随情報を提供する形態として、種々の実施形態を適用することが可能である。例えば、図4に示すように、1以上の付随情報をランキングの昇順に一覧表示する態様とすることが可能である。図4の例では、注目対象物を表す名称61と、概略情報62と、詳細情報にアクセスするためのリンク63とが表示されている。この例では、リンク63をクリックすることにより、詳細な付随情報(テキスト情報、音声情報、画像情報、動画情報など)の提供を受けることが可能となっている。
なお、付随情報が、テキスト情報や画像情報など画面表示可能な情報で構成されている場合、1以上の付随情報をそのままランキングの昇順に一覧表示するようにしてもよい。
図5〜図7は、上記のように構成した本実施形態による情報提供システムの動作例を示す図である。このうち、図5は再生装置100の動作例、図6はサーバ装置300の動作例、図7はユーザ端末400の動作例をそれぞれ示している。
図5に示す再生装置100のフローチャートは、3次元画像の再生ボタンが押下されたときに開始する。まず、画像再生部11は、画像記憶部15に記憶されている3次元画像を再生してHMD200に表示させる(ステップS1)。ここで、画像再生部11は、HMD200のセンサにより検出された視聴者の頭の動きに応じて、HMD200の表示上に実現される3次元空間が動的に変わるように、3次元画像の再生を制御する。
この3次元画像の再生状態において、注目対象物検出部12は、画像内で識別情報を付与された対象物が画面中央領域51に所定時間以上継続して表示され続けているか否か、すなわち、視聴者が対象物を所定時間以上見ているか否かを判定する(ステップS2)。そのような対象物が存在しない場合、処理はステップS1に戻る。一方、上記のような対象物があると判定された場合、注目対象物検出部12は、その対象物を注目対象物として検出する(ステップS3)。
次いで、ランキング部13は、注目対象物検出部12により検出された注目対象物が画面中央領域51に表示され続けている時間の長さ、つまり視聴者が対象物に注目している時間の長さを視聴者による注目度合として測定し、記憶する(ステップS4)。すなわち、ランキング部13は、注目対象物の識別情報と、視聴者が対象物を注目していた時間の長さ(注目度合)とを互いに関連付けて記憶する。
その後、画像再生部11は、3次元画像の再生が終了または停止したか否かを判定し(ステップS5)、終了または停止していなければ、ステップS1に戻って処理を継続する。以上のようなステップS1〜S5のループ処理により、経時的に変化する3次元画像内から1以上の注目対象物が検出され、それぞれの識別情報が注目時間(注目度合)と共に記憶される。
そして、3次元画像の再生が終了または停止した場合、ランキング部13は、再生中に記憶された1以上の注目対象物と注目時間とに基づいて、当該1以上の注目対象物を注目度合が高い順にランキングする(ステップS6)。次いで、付随情報送信部14は、3次元画像の再生中に注目対象物検出部12により検出された1以上の注目対象物に対応する付随情報を、注目対象物の識別情報をキーとして画像記憶部15から読み出し、ランキング部13により特定されたランキングに従って、サーバ装置300に送信する(ステップS7)。これにより、図5に示す再生装置100の処理を終了する。
図6に示すサーバ装置300のフローチャートは、サーバ装置300の電源がオンとなっている間は常時繰り返し実行されている。まず、付随情報受信部31は、再生装置100から注目対象物の付随情報を受信したか否かを判定する(ステップS11)。受信していない場合は、ステップS11の判定を繰り返す。
再生装置100から送信された注目対象物の付随情報を付随情報受信部31が受信した場合、アドレス特定部32は、付随情報と共に受信されたユーザIDをキーとしてアドレス記憶部34を参照することにより、当該ユーザIDに対応するユーザ端末400のアドレスを特定する(ステップS12)。
そして、付随情報送信部33は、アドレス特定部32により特定されたアドレスに従って、付随情報受信部31にて受信した付随情報をユーザ端末400に送信する(ステップS13)。その後、処理はステップS11に戻り、以上の処理を継続する。
図7に示すユーザ端末400のフローチャートは、例えば、専用のアプリケーションが起動されたときに開始する。まず、付随情報受信部41は、サーバ装置300から注目対象物の付随情報を受信したか否かを判定する(ステップS21)。受信していない場合は、ステップS21の判定を繰り返す。
サーバ装置300から送信された注目対象物の付随情報を付随情報受信部41が受信した場合、付随情報提供部42は、例えば図4に示すように、受信した1以上の付随情報をランキングの昇順に一覧表示する(ステップS22)。そして、付随情報提供部42は、一覧表示中の何れかのリンク63がクリックされたか否かを判定する(ステップS23)。
何れかのリンク63がクリックされた場合、付随情報提供部42は、付随情報受信部41にて受信した付随情報を視聴者に提供する(ステップS24)。すなわち、付随情報がテキスト情報、画像情報、動画情報などであれば、ユーザ端末400のディスプレイにそれらを表示する。付随情報が音声情報であれば、それをユーザ端末400のスピーカから出力する。これにより、図7に示すフローチャートの処理を終了する。
以上詳しく説明したように、本実施形態では、経時的に変化する画像内に含まれている1以上の対象物に対してそれぞれ付随情報を関連付けて成る3次元画像を再生してHMD200に表示させ、当該3次元画像内で視聴者が注目している1以上の対象物を検出して、それらを注目度合が高い順にランキングする。そして、3次元画像の再生が終了または停止したとき、1以上の注目対象物に対応する付随情報を、ランキングに従って、HMD200とは異なるユーザ端末400を通じて視聴者に提供するようにしている。
このように構成した本実施形態によれば、HMD200に3次元画像を表示しているときに検出された注目対象物に対応する付随情報が、3次元画像の再生の終了後または停止後に、ユーザ端末400を通じて視聴者に提供される。このため、情報の量や情報の種類、情報の提供時間などの制約を受けずに、より有用な付随情報を視聴者に提供することができる。
そして、視聴者は、HMD200に映し出される3次元画像による仮想空間の中で注目した対象物に関して提供される上述のような有用な付随情報を、HMD200を外した後に自分のユーザ端末400にてじっくりと確認することができる。しかも、1以上の注目対象物に関する付随情報が、注目度合の高い順にランキングした状態で提供されるので、視聴者は興味の高い対象物から優先して付随情報を確認していくことが容易にできる。
以上により、本実施形態によれば、VRの3次元画像をより有用な情報伝達媒体として活用することができるようになる。
なお、上記実施形態では、注目対象物の付随情報のみを視聴者に提供する例について説明したが、本発明はこれに限定されない。例えば、注目対象物が表示されていたときの3次元画像の再現シーン画像を、付随情報と共に視聴者に提供するようにしてもよい。図8は、この場合における再生装置100の機能構成例を示すブロック図である。
図8に示す例では、付随情報送信部14および画像記憶部15に代えて、付随情報送信部14’および画像記憶部15’を備えている。それ以外の画像再生部11、注目対象物検出部12およびランキング部13は、図2に示したものと同一の機能を有するものである。
画像記憶部15’は、HMD200上でVRの3次元空間を作り出すための3次元視差画像に加え、当該3次元視差画像に対応する非視差画像を記憶する。非視差画像とは、ユーザ端末400のディスプレイに対して通常の形態で表示可能な3次元画像または2次元画像である。
付随情報送信部14’は、注目対象物の付随情報と共に、注目対象物がHMD200に表示されていたときの3次元画像の再現シーン画像をサーバ装置300に送信する。ここで言う再現シーン画像とは、注目対象物がHMD200に表示されていたときの3次元視差画像に対応する非視差画像のことである。
注目対象物がHMD200に表示されていたときの3次元視差画像は、例えば、フレーム番号等のフレーム識別子と、視聴者の頭の動きに応じた画像の表示方向を示す情報とにより特定することが可能である。そして、再現シーン画像として用いる非視差画像は、3次元視差画像のフレーム識別子に対応する非視差画像のフレーム識別子と、画像の表示方向を示す情報とによって特定することが可能である。
再生装置100からサーバ装置300に送信された付随情報および再現シーン画像は、ユーザ端末400に送信されて、視聴者に提供される。このように、付随情報に加えて再現シーン画像を視聴者に提供することにより、視聴者は、どの対象物に対する付随情報なのかを、HMD200の3次元空間内で観たシーンを思い出しながら確認することができ、便利である。
また、上記実施形態では、付随情報を再生装置100からサーバ装置300を介してユーザ端末400に提供する例について説明したが、本発明は、これに限定されない。例えば、付随情報を再生装置100からユーザ端末400に直接提供するようにしてもよい。図9は、この場合における情報提供システムの構成例を示す図である。
図9に示す例では、情報提供システムは、再生装置100’と、再生装置100’で再生された3次元画像が表示されるHMD200と、視聴者が使用するユーザ端末400’とを備えて構成されている。再生装置100’とユーザ端末400’との間は、例えば、無線LANまたはBluetooth(登録商標)などの無線ネットワーク、あるいは、USB(Universal Serial Bus)などの有線ネットワークにより接続される。
再生装置100’の付随情報送信部(図示せず)は、再生装置100’にあらかじめ登録しておいたユーザ端末400’のアドレスに従って、付随情報をユーザ端末400’に送信する。ユーザ端末400’では、再生装置100’から受信した付随情報を、ランキングに従って、ユーザ端末400のディスプレイまたはスピーカを用いて視聴者に提供する。
なお、図9のように構成した場合、再生装置100’がユーザ端末400’に付随情報を送信する機能と、ユーザ端末400’が付随情報を受信して視聴者に提供する機能とにより、本発明の付随情報提供部が構成される。
また、上記実施形態では、ユーザ端末400を媒体として付随情報を視聴者に提供する例について説明したが、本発明はこれに限定されない。例えば、図10に示すように、HMD200とは別に再生装置100”に接続された第2のディスプレイ201を媒体として付随情報を視聴者に提供するようにしてもよい。第2のディスプレイ201は、非視差画像を通常の形態で表示可能なものである。このように構成した場合、再生装置100”が第2のディスプレイ201に付随情報を表示させる機能により、本発明の付随情報提供部が構成される。
また、上記実施形態では、画面中央領域51に表示されている対象物を注目対象物として検出する例について説明したが、本発明はこれに限定されない。例えば、HMD200に視線検出センサを設置して視聴者の実際の視線を検出し、その視線の方向に表示されている対象物を注目対象物として検出するようにしてもよい。視線検出センサに代えて、視聴者の目を撮影するカメラを設け、目の撮影画像を画像処理することによって、視聴者の視線を検出するようにしてもよい。なお、視聴者の視線を検出する手段はこの例に限らず、他の公知の手段を用いることも可能である。
また、視聴者の視線を検出する機能を備えたHMD300を再生装置110に接続した場合にはその視線検出機能を優先して用い、視線検出機能を持たないHMD300を再生装置110に接続した場合に、画面中央領域51に表示されている対象物を注目対象物として検出するようにしてもよい。HMD300が視線検出機能を有するか否かは、ユーザが再生装置110を操作することによって指定するようにしてもよいし、再生装置110がHMD300の識別情報を検出することによって自動的に判別するようにしてもよい。
また、上記実施形態では、付随情報をHMD200以外の媒体にのみ表示させる例について説明したが、本発明はこれに限定されない。例えば、3次元画像の再生中にも付随情報を3次元画像上に表示させるとともに、再生の終了後または停止後にも付随情報をユーザ端末400,400’または第2のディスプレイ201に提供するようにしてもよい。この場合、3次元画像の再生中に表示させる付随情報の内容と、再生の終了後または停止後に提供する付随情報の内容とを異ならせてもよい。例えば、3次元画像の再生中には簡易な付随情報を表示させる一方、再生の終了後または停止後は詳細な付随情報を視聴者に提供するといった態様が可能である。
また、上記実施形態では、ランキング部13を再生装置100,100’,100”が備える例について説明したが、サーバ装置300またはユーザ端末400が備えるようにしてもよい。この場合、再生装置100,100’,100”は、1以上の注目対象物の付随情報と、それぞれの注目対象物に対する注目時間とをサーバ装置300またはユーザ端末400に送信する。
また、上記実施形態では、再生装置100,100’,100”が再生する3次元画像として視差画像を用いる例について説明したが、非視差画像であってもよい。
また、上記実施形態では、ユーザ端末400,400’の一例として、スマートフォンまたはタブレット端末などの携帯端末を挙げて説明したが、本発明はこれに限定されない。例えば、ユーザ端末400,400’は、必ずしも携帯端末でなくてもよく、視聴者が使用する端末で、再生装置100’またはサーバ装置300に接続可能な端末であれば用いることが可能である。
また、上記実施形態では、再生装置100,100’,100”が情報提供装置でもある例について説明したが、3次元画像の再生装置と付随情報の情報提供装置とを分けて構成するようにしてもよい。例えば、図2の画像再生部11と画像記憶部15とを再生装置が備え、注目対象物検出部12、ランキング部13および付随情報送信部14を情報提供装置が備えるようにしてもよい。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
11 画像再生部
12 注目対象物検出部
13 ランキング部
14,14’ 付随情報送信部
15,15’ 画像記憶部
31 付随情報受信部
32 アドレス特定部
33 付随情報送信部
41 付随情報受信部
42 付随情報提供部
100,100’,100” 再生装置
200 HMD
300 サーバ装置
400,400’ ユーザ端末
12 注目対象物検出部
13 ランキング部
14,14’ 付随情報送信部
15,15’ 画像記憶部
31 付随情報受信部
32 アドレス特定部
33 付随情報送信部
41 付随情報受信部
42 付随情報提供部
100,100’,100” 再生装置
200 HMD
300 サーバ装置
400,400’ ユーザ端末
Claims (6)
- 経時的に変化する画像内に含まれている1以上の対象物に対してそれぞれ付随情報を関連付けて成る3次元画像を再生してディスプレイに表示させる画像再生部と、
上記画像再生部により表示された3次元画像内で視聴者が注目している1以上の対象物を検出する注目対象物検出部と、
上記画像再生部による上記3次元画像の再生が終了または停止したとき、上記注目対象物検出部により検出された1以上の注目対象物を、上記視聴者による注目度合が高い順にランキングするランキング部と、
上記画像再生部による上記3次元画像の再生が終了または停止したとき、上記注目対象物検出部により検出された1以上の注目対象物に対応する付随情報を、上記ランキング部により特定されたランキングに従って、上記3次元画像を表示していたディスプレイとは異なる媒体を通じて上記視聴者に提供する付随情報提供部とを備え、
上記付随情報提供部は、上記注目対象物が表示されていたときのフレームのフレーム識別子と、上記注目対象物が表示されていたときの上記視聴者の頭部の動きに応じた画像の表示方向を示す情報とに基づいて上記注目対象物が表示されていたときの3次元画像を特定し、特定した3次元画像に対応する再現シーン画像と共に、上記付随情報を提供する
ことを特徴とする注目対象物に関する情報提供システム。 - 上記3次元画像は、仮想現実の3次元空間を作るための視差画像であり、
上記再現シーン画像は、上記注目対象物が表示されていたときの3次元画像に対応した非視差画像であることを特徴とする請求項1に記載の注目対象物に関する情報提供システム。 - 上記3次元画像を再生する再生装置と、上記3次元画像が表示される上記ディスプレイと、サーバ装置と、上記視聴者が使用するユーザ端末とを備え、
上記付随情報提供部は、上記付随情報を上記再生装置から上記サーバ装置を介して上記ユーザ端末に提供することを特徴とする請求項1または2に記載の注目対象物に関する情報提供システム。 - 上記3次元画像を再生する再生装置と、上記3次元画像が表示される上記ディスプレイと、上記視聴者が使用するユーザ端末とを備え、
上記付随情報提供部は、上記付随情報を上記再生装置から上記ユーザ端末に提供することを特徴とする請求項1または2に記載の注目対象物に関する情報提供システム。 - 上記3次元画像を再生する再生装置と、上記3次元画像が表示される上記ディスプレイと、上記再生装置に接続された第2のディスプレイとを備え、
上記付随情報提供部は、上記付随情報を上記第2のディスプレイに表示させることを特徴とする請求項1または2に記載の注目対象物に関する情報提供システム。 - 情報提供装置において、3次元画像内に表示された対象物のうち視聴者が注目した対象物に関する付随情報を提供するための方法であって、
上記情報提供装置の画像再生部が、経時的に変化する画像内に含まれている1以上の対象物に対してそれぞれ付随情報を関連付けて成る3次元画像を再生してディスプレイに表示させる第1のステップと、
上記情報提供装置の注目対象物検出部が、上記画像再生部により表示された3次元画像内で視聴者が注目している1以上の対象物を検出する第2のステップと、
上記情報提供装置のランキング部が、上記画像再生部による上記3次元画像の再生が終了または停止したとき、上記注目対象物検出部により検出された1以上の注目対象物を、上記視聴者による注目度合が高い順にランキングする第3のステップと、
上記情報提供装置の付随情報送信部が、上記画像再生部による上記3次元画像の再生が終了または停止したとき、上記注目対象物検出部により検出された1以上の注目対象物に対応する付随情報を、上記ランキング部により特定されたランキングに従って、上記3次元画像を表示していたディスプレイとは異なる媒体に向けて送信する第4のステップとを有し、
前記第4のステップにおいて、上記付随情報送信部は、上記注目対象物が表示されていたときのフレームのフレーム識別子と、上記注目対象物が表示されていたときの上記視聴者の頭部の動きに応じた画像の表示方向を示す情報とに基づいて上記注目対象物が表示されていたときの3次元画像を特定し、特定した3次元画像に対応する再現シーン画像と共に、上記付随情報を提供する
ことを特徴とする注目対象物に関する情報提供方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019126852A JP2019205182A (ja) | 2019-07-08 | 2019-07-08 | 注目対象物に関する情報提供システムおよび情報提供方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019126852A JP2019205182A (ja) | 2019-07-08 | 2019-07-08 | 注目対象物に関する情報提供システムおよび情報提供方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016167511A Division JP6694637B2 (ja) | 2016-08-30 | 2016-08-30 | 注目対象物に関する情報提供システムおよび情報提供方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019205182A true JP2019205182A (ja) | 2019-11-28 |
Family
ID=68727419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019126852A Withdrawn JP2019205182A (ja) | 2019-07-08 | 2019-07-08 | 注目対象物に関する情報提供システムおよび情報提供方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019205182A (ja) |
-
2019
- 2019-07-08 JP JP2019126852A patent/JP2019205182A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109416931A (zh) | 用于视线跟踪的装置和方法 | |
WO2019105274A1 (zh) | 媒体内容的展示方法、装置、计算设备及存储介质 | |
US11438646B2 (en) | Video play method and apparatus, and device | |
JP6475279B2 (ja) | コンテンツ再生装置および方法、並びにコンテンツ提供装置および方法 | |
CN112995759A (zh) | 互动业务处理方法、系统、装置、设备及存储介质 | |
JPWO2014207902A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2018042963A1 (ja) | 注目対象物に関する情報提供システムおよび情報提供方法 | |
JP6435373B1 (ja) | 広告情報処理システム、広告表示領域評価方法および広告情報処理用プログラム | |
JP2019213196A (ja) | 三次元360°映像データの伝送方法とそのためのディスプレイ装置及び映像保存装置 | |
WO2016167160A1 (ja) | データ生成装置および再生装置 | |
JP2019205182A (ja) | 注目対象物に関する情報提供システムおよび情報提供方法 | |
CN107948759B (zh) | 一种业务对象的交互方法和装置 | |
WO2016123909A1 (zh) | 播放媒体内容的方法、服务器和显示装置 | |
JP2022086438A (ja) | 動画配信システム、動画配信方法 | |
JP2021033354A (ja) | 通信装置およびその制御方法 | |
JP4946433B2 (ja) | 情報配信装置及びプログラム | |
JP6804968B2 (ja) | 情報配信装置、情報配信方法および情報配信プログラム | |
JP6623905B2 (ja) | サーバ装置、情報処理方法およびプログラム | |
KR102542507B1 (ko) | 컨텐츠 부가 정보 제공 방법 및 이를 위한 장치 | |
KR20150045001A (ko) | 스마트 tv 기반의 감성광고 방법 및 감성광고 기능을 구비한 스마트 tv | |
KR20140076674A (ko) | 동영상에 객체 증강을 이용한 광고 시스템 및 방법 | |
JP6131631B2 (ja) | コンテンツ提供装置、コンテンツ提供方法及びコンテンツ提供システム | |
JP2014110469A (ja) | 電子機器、画像処理方法、及びプログラム | |
CN107491172B (zh) | 体感数据获取方法、装置及电子设备 | |
TWI511024B (zh) | 透過資料觸發之物件操作方法及系統,及其電腦程式產品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190708 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20200402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200402 |