JP2018007180A - 映像表示装置、映像表示方法及び映像表示プログラム - Google Patents

映像表示装置、映像表示方法及び映像表示プログラム Download PDF

Info

Publication number
JP2018007180A
JP2018007180A JP2016135311A JP2016135311A JP2018007180A JP 2018007180 A JP2018007180 A JP 2018007180A JP 2016135311 A JP2016135311 A JP 2016135311A JP 2016135311 A JP2016135311 A JP 2016135311A JP 2018007180 A JP2018007180 A JP 2018007180A
Authority
JP
Japan
Prior art keywords
video
unit
line
overhead view
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016135311A
Other languages
English (en)
Other versions
JP6534972B2 (ja
Inventor
愛 磯貝
Ai Isogai
愛 磯貝
越智 大介
Daisuke Ochi
大介 越智
豊 國田
Yutaka Kunida
豊 國田
明 小島
Akira Kojima
明 小島
稲見 昌彦
Masahiko Inami
昌彦 稲見
リーウェイ チャン
Liwei Chang
リーウェイ チャン
スーエン ファン
Su-En Hwang
スーエン ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Keio University
Original Assignee
Nippon Telegraph and Telephone Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Keio University filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016135311A priority Critical patent/JP6534972B2/ja
Publication of JP2018007180A publication Critical patent/JP2018007180A/ja
Application granted granted Critical
Publication of JP6534972B2 publication Critical patent/JP6534972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】現実と同様な体験をすることができる人工現実感の技術を使用して映像の表示を行う際に、空間全体を見渡す俯瞰図を表示することができる映像表示装置を提供する。【解決手段】ユーザの視野を覆う表示部と、ユーザの視線方向を計測する視線計測部と、視線方向の映像空間の映像を表示部に出力する映像出力部と、視線方向が所定の方向に向いた場合に、視線方向は変えずに視点高さを高くした視点からの俯瞰図を表示部に出力する俯瞰図出力部とを備えた。【選択図】図1

Description

本発明は、映像表示装置、映像表示方法及び映像表示プログラムに関する。
バーチャルリアリティ(人工現実感)技術では、利用者の視聴方向の変化に応じて、全天球映像の中から視聴領域の映像を切替えて表示することにより、実世界と同じような感覚を実現することができる。バーチャルリアリティやテレイグジスタンス(遠隔臨場感)の技術分野においては、頭部搭載型ディスプレイ(HMD:Head Mounted Display)が用いられることが多い。この頭部搭載型ディスプレイにより、観察者にCG(コンピュータグラフィックス)で作られた空間や遠隔の空間に没入したかのような感覚で映像を提示する技術が確立されている。
このような技術においては、観察者の頭部の動きをセンサで検知し、その動きに応じて提示する映像を適切に変化させることが特徴となっている(例えば、特許文献1参照)。このような映像提示方法は、実際の世界において頭部を動かしたときの視覚の変化と同一であるため、観察者にとって自然で直感的であると言える。
特公昭62−029196号公報
しかしながら、従来の技術は、現実の世界と同様な体験となるため、現実世界と同様な制約を持ち、必ずしも利便性や視点移動の自由度が高いとは言えない。このようなシステムにおいて、観察者が頭部を回転させた場合、観察者を中心として見回すことができるが、空間全体の中から一部分を切り出した映像しか表示されないため、空間全体を一度に把握することができない。特に、訪れたことのない遠隔空間の場合、地理空間に関する事前知識がなく、表示されている映像は、観察者の視野内の映像である。このため、空間全体を把握することができず、観察者がどの位置・どの方向に視線を移動させればよいか分からないという問題がある。
本発明は、このような事情に鑑みてなされたもので、現実と同様な体験をすることができる人工現実感の技術を使用して映像の表示を行う際に、空間全体を見渡す俯瞰図を表示することができる映像表示装置、映像表示方法及び映像表示プログラムを提供することを目的とする。
本発明の一態様は、ユーザの視野を覆う表示部と、前記ユーザの視線方向を計測する視線計測部と、前記視線方向の映像空間の映像を前記表示部に出力する映像出力部と、前記視線方向が所定の方向に向いた場合に、前記視線方向は変えずに視点高さを高くした視点からの俯瞰図を前記表示部に出力する俯瞰図出力部とを備えた映像表示装置である。
本発明の一態様は、前記映像表示装置であって、前記俯瞰図出力部は、前記視線方向に基づく俯角が所定値以上である場合に、前記俯瞰図を前記表示部に出力する。
本発明の一態様は、前記映像表示装置であって、前記視線方向に基づき、前記表示部に表示すべき映像を生成する映像生成部を備え、前記映像出力部及び前記俯瞰図出力部は、前記映像生成部が生成した映像を前記表示部に対して出力する。
本発明の一態様は、前記映像表示装置であって、前記映像生成部は、前記ユーザが存在する位置とは異なる複数の映像空間の俯瞰図を生成し、前記俯瞰図出力部は、前記複数の映像空間の俯瞰図を前記表示部に表示し、前記ユーザによって前記複数の映像空間の俯瞰図の中から選択された映像空間の俯瞰図の映像空間に移動する映像空間移動部をさらに備える。
本発明の一態様は、前記映像表示装置であって、前記俯瞰図出力部は、前記俯瞰図に対して、前記映像の再生操作を行うための情報を重畳して前記表示部に出力し、前記ユーザの操作によって、前記表示部に表示する映像の再生操作を行う。
本発明の一態様は、ユーザの視野を覆う表示部を備える映像表示装置が行う映像表示方法であって、前記ユーザの視線方向を計測する視線計測ステップと、前記視線方向の映像空間の映像を前記表示部に出力する映像出力ステップと、前記視線方向が所定の方向に向いた場合に、前記視線方向は変えずに視点高さを高くした視点からの俯瞰図を前記表示部に出力する俯瞰図出力ステップとを有する映像表示方法である。
本発明の一態様は、コンピュータを、前記映像表示装置として機能させるための映像表示プログラムである。
本発明によれば、現実と同様な体験をすることができる人工現実感の技術を使用して映像の表示を行う際に、空間全体を見渡す俯瞰図を表示することができるという効果が得られる。
本発明の第1実施形態による映像表示装置の構成を示すブロック図である。 図1に示す装置の詳細な構成を示すブロック図である。 俯瞰図を表示する際の観察者Hの位置関係を示す説明図である。 俯瞰図を表示する際の観察者Hの位置関係の他の例を示す説明図である。 図2に示す装置の動作を示すフローチャートである。 リトルプラネットの例を示す図である。 第2実施形態による映像表示装置の構成を示すブロックである。 図7に示す装置構成の詳細な構成を示すブロック図である。 第3実施形態による映像表示装置の構成を示すブロック図である。 異なる複数の映像空間を俯瞰図に表示した例を示す説明図である。 第4実施形態による映像表示装置の構成を示すブロック図である。 俯瞰図に4つの操作ボタンを重畳させた例を示す説明図である。 第7実施形態による映像表示装置の構成を示すブロック図である。
<第1実施形態>
以下、図面を参照して、本発明の第1実施形態による映像表示装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号Hは、人工現実感を体験する観察者である。符号1は、観察者Hの頭部に装着された頭部搭載型ディスプレイ(以下、HMDという)である。観察者の視野は、HMD1によって覆われている。観察者は実空間でHMD1を装着し、映像空間を観察する。符号2は、HMD1の姿勢に合わせた映像を生成し、HMD1に対して映像を配信し、その映像をHMD1に表示させる映像配信部である。
次に、図2を参照して、図1に示す装置構成の詳細を説明する。図2は、図1に示す装置の詳細な構成を示すブロック図である。この図において、HMD1は、通信部11、映像表示部12、姿勢計測部13を備える。通信部11は、映像配信部2との間で情報通信を行う。図2において、通信部11は、無線通信の例を示したが、必ずしも無線通信である必要はなく、有線による通信であってもよい。映像表示部12は、例えばレンズやプリズムなどの光学的結像手段と、液晶や有機ELなどによるパネルによる映像表示手段により構成される。映像提示手段は、観察者の両眼に同一の映像を提示する形態もよいし、観察者の両眼に異なる映像(視差映像)を提示し、立体感を提示する形態でもよい。
姿勢計測部13は、HMD1の姿勢を計測する。姿勢計測部13は、例えば、ジャイロセンサや加速度センサなどを内蔵させることにより実現することができる。姿勢計測部13が計測するものは、HMD1を観察者Hの頭部に装着した場合に、観測者の頭部の位置(HMD1の位置)と観察者の顔が向く方向(HMD1が向いてる方向)である。すなわち、ここでは、顔の方向が観察者の視線方向と見なすものである。
映像配信部2は、通信部21、姿勢特定部22、映像生成部23、映像記憶部24を備える。通信部21は、HMD1との間で情報通信を行う。姿勢特定部22は、姿勢計測部13が計測した観察者Hの頭部の位置と方向に基づいて、映像空間内における観察者Hの頭部の姿勢を特定する。映像生成部23は、観察者の映像空間中における視点の位置(頭部の位置と顔の向いている方向)に応じた映像を生成する。映像記憶部24は、コンピュータグラフィックスによる映像データまたは実写による映像データのいずれかが記憶されており、映像空間を作るための映像データとして用いられる。
観察者Hに対して提示する映像がコンピュータグラフィクスにより生成する場合は、例えばポリゴンモデルと呼ばれる幾何的なモデルをコンピュータ内の映像空間に配置し、観察者の視点における透視投影映像をレイトレーシングと呼ばれる技術により生成する。また、実写を撮影して用いる場合は、例えばロボットアームに搭載したカメラを観察者の動きに合わせて動かし、映像を撮影する。
実写を元に生成する場合は、例えば複数の視点位置で十分な数の映像を撮影して映像記憶部24に記憶しておき、観察者の動きに合わせて提示する映像を切り替える。視点の距離が離れている場合は、モーフィング(コンピュータグラフィックスの手法の一つである)と呼ばれる技術により撮影された視点の間の視点の映像を補完して生成することができる。
次に、図3を参照して、俯瞰図を表示する際の観察者Hの位置関係について説明する。図3は、俯瞰図を表示する際の観察者Hの位置関係を示す説明図である。観察者Hが頭部に装着しているHMD1の映像表示部12には、姿勢計測部13が計測した頭部の動きに合わせた映像が、映像配信部2から配信されて表示される。
ただし、俯角θ(目の高さの水平面に対する見下ろす角度)が所定値(例えば、70度)以上であったか否かを判定する。この結果、所定値以上の場合は、視線の方向(顔の正面方向)を観察者Hの頭部の後ろ方向に延長した所定の位置に仮想カメラ100があるものとして、この仮想カメラ100の映像による俯瞰図を映像生成部23によって生成し、映像表示部12に表示する。
ここで、仮想カメラ100は、観察者Hの目の位置より高い位置に配置されているものと見なして、俯瞰図を生成する。例えば、映像空間全体を見渡せる高さになるように配置してもよい。また、俯瞰図に表示されている被写体を観察者Hが識別できる程度の高さに配置してもよい。また、仮想カメラ100の俯角は、HMD1の俯角θ(頭部の俯角)と同一である。
このように、俯角θが所定値以上であった場合には、仮想カメラ100の映像を表示することにより視野を広げることができるため、映像空間における観察者Hの周辺の映像を表示することができるため、観察者Hは、周辺状況を把握することができるようになる。
図4は、俯瞰図を表示する際の観察者Hの位置関係の他の例を示す説明図である。この例は、俯角θが90度である場合の例を示している。図4のように、俯角θが90度の場合は、観察者Hの真上に仮想カメラ100があるものとして、周辺映像を生成することができる。この場合も仮想カメラ100の映像を表示することにより視野を広げることができるため、映像空間における観察者Hの周辺の映像を表示することができる。
次に、図5を参照して、図2に示す装置の動作を説明する。図5は、図2に示す装置の動作を示すフローチャートである。まず、姿勢計測部13は、観察者Hの頭部の姿勢データを計測する(ステップS1)。そして、姿勢計測部13は通信部11を介して、映像配信部2に対して、姿勢データを送信する。
次に、通信部21は、通信部11が送信した姿勢データを受信し、姿勢特定部22へ受け渡す。これを受けて、姿勢特定部22は、受信した姿勢データから映像空間における観察者Hの視点位置を特定する(ステップS2)。続いて、姿勢特定部22は、姿勢データから視線方向(顔の正面方向)を特定する(ステップS3)。
次に、姿勢特定部22は、特定した視線方向の俯角θが所定値以上か否かを判定する(ステップS4)。この判定の結果、俯角θが所定値以上であれば、観察者Hが俯瞰図の表示を要求しているものと見なして、姿勢特定部22は、映像生成部23に対して、視線方向の情報を含む俯瞰図生成指示を出す。これを受けて、映像生成部23は、視線方向の俯瞰図映像を生成する(ステップS5)。
一方、俯角θが所定値以上でなければ、観察者Hは通常の映像の表示を要求しているものと見なして、姿勢特定部22は、映像生成部に対して、視線方向の情報を含む通常映像生成指示を出す。これを受けて、映像生成部23は、視線方向の視野に相当する領域を切り出した映像を生成する(ステップS6)。
次に、映像生成部23は、ステップS5またはステップS6のいずれかで生成した映像を通信部21を介して送信する。これを受けて、通信部11は、送信された映像を受信し、映像表示部12へ受け渡す。映像表示部12は、生成された映像を表示する(ステップS7)。このような処理を繰り返すことにより、観察者Hの視線方向(顔の正面方向)に応じた映像を表示することができる。特に、俯角θが所定値以上となる方向に視線方向を向けると、映像空間全体を見渡すことができる俯瞰図映像が表示される。
次に、図5に示すステップS5、S6(映像を生成するステップ)について詳しく説明する。映像生成部23において生成される映像は、観察者の視点から見た空間全体の中から一部分を切り出した映像と、観察者の位置から視線方向に俯瞰した空間全体を表す映像の2パターンある。空間全体の中から一部分を切り出した映像は、観察者の位置で撮影された映像をもとに、観察者の視点から見た映像を生成してもよい。また、観察者とは異なる位置で撮影された映像から、観察者の視点から映像に変換処理を施して生成してもよい。
また、観察者の位置の視線方向に俯瞰した映像は、観察者の位置で撮影された映像をもとに、極座標変換を行い、極から見下ろしたようなリトルプラネットを生成してもよい。リトルプラネットの例を図6に示す。図6は、リトルプラネットの例を示す図である。また、観察者の位置とは異なる位置で撮影された全天球映像から、観察者の視線方向の映像を生成してもよい。なお、観察者の視線方向から俯瞰した映像は、前述の表現方法に限定するものでなく、被写体の距離関係は実空間と一致している必要もない。
本実施形態では、観察者の頭部の動きに応じて、空間全体の中から一部分を切り出した映像と、空間全体を表す映像を切替えて表示することで、空間全体を一度に把握することができる。また、観察者の視聴方向から俯瞰した映像を提示することにより、空間全体から切り出した一部分の映像との関係を直観的に理解することができる。さらに、視聴者の位置も考慮した俯瞰映像を提示することで、観察者は実空間と同じ距離を移動しなくても、映像上の空間を移動することができる。
なお、図1に示す構成では、HMD1と映像配信部2との間で情報通信する例を示したが、必ずしも映像配信部2がHMD1の外部に備えられている必要はなく、映像配信部2の機能をHMD1が備えていてもよい。HMD1と映像配信部2との間の情報通信をなくすことにより、頭部の動きに合わせた映像表示のリアルタイム性を高めることができる。
<第2実施形態>
次に、本発明の第2実施形態による映像表示装置を説明する。図7は、第2実施形態による映像表示装置の構成を示すブロックである。図1に示す映像表示装置と異なる点は、姿勢センサ3を新たに設け、HMD1から姿勢計測部13を省いた点である。すなわち、HMD10は、映像を受信して表示するのみの機能を備え、観察者Hの姿勢(特に、頭部の姿勢)を外部の姿勢センサ3によって計測し、映像配信部2へ送信するようにしたものである。姿勢センサ3は、外部から光や電磁波を照射し、その反射や吸収を計測することで実現する。
図8は、図7に示す装置構成の詳細な構成を示すブロック図である。この図において、図2に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が従来の装置と異なる点は、HMD10に通信部11と映像表示部12のみを備え、外部に姿勢センサ3が設けられている点である。映像配信部2は、図2に示す構成を同様である。姿勢計測部31は、観察者Hに対して外部から光や電磁波を照射し、その反射や吸収を計測することにより、観察者Hの頭部の姿勢を計測する。計測した頭部の姿勢データは、通信部32を介して、映像配信部2へ送信する。その後の動作は、前述した動作と同様である。
<第3実施形態>
次に、本発明の第3の実施形態による映像表示装置を説明する。図9は、第3実施形態による映像表示装置の構成を示すブロック図である。図2に示す映像表示装置と異なる点は、HMD15内に視線計測部14を設けた点である。視線計測部14は、映像表示部12内のどこを見ているかを計測するものである。視線計測部14は、顔の正面の方向を計測するのではなく、映像表示部12に表示されている映像のどの部分を注目しているかを計測するものである。第3実施形態では、異なる複数の映像空間を俯瞰図の中に表示し、その映像空間の間を移動するものである。
図10は、異なる複数の映像空間を俯瞰図に表示した例を示す説明図である。図10に示す俯瞰図において、A1〜A16の16個の映像空間が存在しており、これらの映像空間は、連続性を有していない。すなわち、映像空間A10と映像空間A11は、全く異なる映像空間である。俯瞰図を表示している間に所定の操作を行うと、映像記憶部24に記憶されている複数の映像空間が映像表示部12に表示される。
ここで、観察者Hは、視線を動かして移動したい映像空間へ視線を移動し、所定時間視線の動きを止めることによって移動したい映像空間を選択する。この動作を視線計測部14は計測し、映像配信部2へ送信する。これを受けて、映像配信部2は、視線で選択した映像空間に移動し、その映像空間の映像を映像表示部12へ表示する。
このように、非連続の映像空間の間を視線を動かすことによって移動することができるため、映像記憶部24内に記憶されている異なる複数の映像空間の間を自由に移動することが可能となる。
なお、複数空間の俯瞰図映像は、任意の位置で撮影された全天球映像をもとに、極座標変換を行い、極から見下ろしたようなリトルプラネットを用いることによって生成するようにしてもよい。また、複数の位置で撮影された全天球映像から、任意の位置のリトルプラットを生成してもよい。また、複数の映像空間の俯瞰図映像は、前述の表現方法に限定するものではなく、俯瞰図映像中の被写体の距離関係は実空間と一致している必要もない。また、複数空間の俯瞰図映像は、実空間での位置・方向関係に応じて表示するが、実空間の距離と一致している必要はない。観察者の位置は、姿勢計測部13によって計測される。
<第4実施形態>
次に、本発明の第4の実施形態による映像表示装置を説明する。図11は、第4実施形態による映像表示装置の構成を示すブロック図である。図1に示す装置と異なる点は、観察者Hの手と足に手センサ33、足センサ34を装着した点である。手センサ33と足センサ34は、観察者Hの手足の動きを検出し、その結果を映像配信部2へ送信する。
本実施形態においては、観察者の位置から視線方向に俯瞰した空間全体を表す俯瞰図映像に、映像を操作するための操作ボタンを重畳し、俯瞰図映像に重畳されたボタンの位置に、観測者の手足を移動させることによって、映像を操作するものである。図12は、俯瞰図に4つの操作ボタンを重畳させた例を示す説明図である。
観察者Hは、操作ボタン35〜38が表示された時点で、操作ボタンの位置に手や足を移動することにより、映像の操作を行うことができる。ここでいう映像の操作とは、映像の巻き戻し、早送り、再生開始、再生停止等を行うことである。これらの操作は、巻き戻しボタン35、早送りボタン36、再生開始ボタン37、再生停止ボタン38に対して手足を移動させることで操作を行う。
なお、重畳するボタンは、丸や四角など幾何形状によって表現することもできるし、キャラクターやアイコンのような画像でも表現してもよい。
また、手センサ33、足センサ34に代えて、観察者Hの手足の位置を、距離計測ジャイロセンサや加速度センサなどにより実現してもよいし、外部から光や電磁波を照射し、その反射や吸収を計測することで実現してもよい。また、観察者Hを撮影したカメラ映像から手足の位置を計測するようにしてもよい。
<第5実施形態>
次に、本発明の第5の実施形態による映像表示装置を説明する。本実施形態では、観察者Hの手足の動作で俯瞰図映像を削除し、観察者の位置での全天球映像を表示する。これにより、観察者の位置から見た空間全体を見ることができる。
観察者Hの手足の動作は、距離計測ジャイロセンサや加速度センサなどにより実現してもよいし、外部から光や電磁波を照射し、その反射や吸収を計測することで実現してもよい。また、観察者Hを撮影したカメラ映像から観察者Hの手足の動作を認識するようにしてもよい。
このようにすることにより、通常の映像表示で自身の足下を見ることもできるようになる。
<第6実施形態>
次に、本発明の第6の実施形態による映像表示装置を説明する。本実施形態では、映像空間全体の中から一部分を切り出した映像に表示されている被写体を観察者の手足で選択し、観察者から見た俯瞰映像にその被写体を重畳する。そして、俯瞰映像に提示された被写体の位置に、観測者の手足を移動させることによって、実世界の被写体を制御することができる。
観察者Hの手足の位置は、距離計測ジャイロセンサや加速度センサなどにより実現してもよいし、外部から光や電磁波を照射し、その反射や吸収を計測することで実現してもよい。また、観察者Hを撮影したカメラ映像から観察者Hの手足の位置を計測するようにしてもよい。
<第7実施形態>
次に、本発明の第7の実施形態による映像表示装置を説明する。本実施形態では、観察者以外の第三者の手足の動作によって、俯瞰映像を回転させたり、位置を指定したりすることで、観察者が見ている映像を切替えるものである。図13は、第7実施形態による映像表示装置の構成を示すブロック図である。図1に示す装置構成と異なる点は、観察者ではない第三者の手足の動きを第三者センサによって計測し、その計測結果に応じて映像を操作するようにした点である。図13において、第三者センサ4は、第三者H3の手足の動きを、外部から光や電磁波を照射し、その反射や吸収を計測することで実現してもよいし、第三者を撮影したカメラ映像から第三者H3の手足の動作を認識するようにしてもよい。
このように第三者の動きを計測することにより、第三者H3が観察者H1に映像を見て欲しい場所などに誘導することができる。
なお、第三者にもHMDが装着されている場合は、距離計測ジャイロセンサや加速度センサなどHMDに内蔵させることにより実現することもできる。
<第8実施形態>
次に、本発明の第8の実施形態による映像表示装置を説明する。本実施形態においては、観察者の位置から視線方向に俯瞰した空間全体を表す俯瞰図映像に、イベントが発生している領域の情報(気づきやすいマーク表示など)を重畳し、俯瞰図映像を提示する。ここでのイベントとは、被写体の動きが激しい、音が発生しているなど、観察者Hの注目を引き付ける事象を意味する。イベントは、映像解析によって検出してもよいし、方向別集音装置の情報から推定してもよいし、検出方法は限定されるものではない。
以上説明したように、観察者が下方向を見るという動作に応じて、映像空間全体を表す俯瞰図映像を表示することにより、映像空間全体を一度に把握することができる。また、観察者が視聴している映像と空間全体を表す映像の方向を一致させることにより、それらの関係性を直観的に把握することができる。この構成により、観察者が空間全体を表す映像を見たとき、空間全体の中からどこを見ればよいか直観的に把握することができる。
また、映像空間全体を表す映像上に情報を重畳したり、俯瞰図映像上で手足を動かしたりすることで、観察者が見ている限られた視野のなかで映像および実物体を制御することができる。
前述した実施形態における映像表示装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
現実と同様な体験をすることができる人工現実感の技術を使用して映像の表示を行う際に、空間全体を見渡す俯瞰図を表示することが不可欠な用途にも適用できる。
H・・・観察者、1、10、15・・・HMD(頭部搭載型ディスプレイ)、11・・・通信部、12・・・映像表示部、13・・・姿勢計測部、14・・・視線計測部、2・・・映像配信部、21・・・通信部、22・・・姿勢特定部、23・・・映像生成部、24・・・映像記憶部、3・・・姿勢センサ、31・・・姿勢計測部、32・・・通信部、33・・・手センサ、34・・・足センサ、35、36、37、38・・・操作ボタン、4・・・第三者センサ、100・・・仮想カメラ

Claims (7)

  1. ユーザの視野を覆う表示部と、
    前記ユーザの視線方向を計測する視線計測部と、
    前記視線方向の映像空間の映像を前記表示部に出力する映像出力部と、
    前記視線方向が所定の方向に向いた場合に、前記視線方向は変えずに視点高さを高くした視点からの俯瞰図を前記表示部に出力する俯瞰図出力部と
    を備えた映像表示装置。
  2. 前記俯瞰図出力部は、
    前記視線方向に基づく俯角が所定値以上である場合に、前記俯瞰図を前記表示部に出力する請求項1に記載の映像表示装置。
  3. 前記視線方向に基づき、前記表示部に表示すべき映像を生成する映像生成部を備え、
    前記映像出力部及び前記俯瞰図出力部は、前記映像生成部が生成した映像を前記表示部に対して出力する請求項1または2に記載の映像表示装置。
  4. 前記映像生成部は、
    前記ユーザが存在する位置とは異なる複数の映像空間の俯瞰図を生成し、
    前記俯瞰図出力部は、前記複数の映像空間の俯瞰図を前記表示部に表示し、
    前記ユーザによって前記複数の映像空間の俯瞰図の中から選択された映像空間の俯瞰図の映像空間に移動する映像空間移動部を
    さらに備える請求項3に記載の映像表示装置。
  5. 前記俯瞰図出力部は、
    前記俯瞰図に対して、前記映像の再生操作を行うための情報を重畳して前記表示部に出力し、
    前記ユーザの操作によって、前記表示部に表示する映像の再生操作を行う請求項1から4のいずれか一項に記載の映像表示装置。
  6. ユーザの視野を覆う表示部を備える映像表示装置が行う映像表示方法であって、
    前記ユーザの視線方向を計測する視線計測ステップと、
    前記視線方向の映像空間の映像を前記表示部に出力する映像出力ステップと、
    前記視線方向が所定の方向に向いた場合に、前記視線方向は変えずに視点高さを高くした視点からの俯瞰図を前記表示部に出力する俯瞰図出力ステップと
    を有する映像表示方法。
  7. コンピュータを、請求項1から5のいずれか一項に記載の映像表示装置として機能させるための映像表示プログラム。
JP2016135311A 2016-07-07 2016-07-07 映像表示装置、映像表示方法及び映像表示プログラム Active JP6534972B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016135311A JP6534972B2 (ja) 2016-07-07 2016-07-07 映像表示装置、映像表示方法及び映像表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016135311A JP6534972B2 (ja) 2016-07-07 2016-07-07 映像表示装置、映像表示方法及び映像表示プログラム

Publications (2)

Publication Number Publication Date
JP2018007180A true JP2018007180A (ja) 2018-01-11
JP6534972B2 JP6534972B2 (ja) 2019-06-26

Family

ID=60949752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016135311A Active JP6534972B2 (ja) 2016-07-07 2016-07-07 映像表示装置、映像表示方法及び映像表示プログラム

Country Status (1)

Country Link
JP (1) JP6534972B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021034744A (ja) * 2019-08-13 2021-03-01 日本放送協会 映像提示装置およびプログラム
WO2022149497A1 (ja) * 2021-01-05 2022-07-14 ソニーグループ株式会社 情報処理装置、情報処理方法およびコンピュータプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110940029A (zh) * 2019-10-28 2020-03-31 珠海格力电器股份有限公司 一种厨房空调投影装置及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH117543A (ja) * 1997-06-13 1999-01-12 Namco Ltd 情報記憶媒体及び画像生成装置
JP2006079174A (ja) * 2004-09-07 2006-03-23 Canon Inc 仮想現実感提示装置および情報処理方法
JP2014072575A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
JP2014115457A (ja) * 2012-12-10 2014-06-26 Sony Corp 情報処理装置および記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH117543A (ja) * 1997-06-13 1999-01-12 Namco Ltd 情報記憶媒体及び画像生成装置
JP2006079174A (ja) * 2004-09-07 2006-03-23 Canon Inc 仮想現実感提示装置および情報処理方法
JP2014072575A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
JP2014115457A (ja) * 2012-12-10 2014-06-26 Sony Corp 情報処理装置および記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021034744A (ja) * 2019-08-13 2021-03-01 日本放送協会 映像提示装置およびプログラム
JP7403256B2 (ja) 2019-08-13 2023-12-22 日本放送協会 映像提示装置およびプログラム
WO2022149497A1 (ja) * 2021-01-05 2022-07-14 ソニーグループ株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US12001018B2 (en) 2021-01-05 2024-06-04 Sony Group Corporation Device, method and program for improving cooperation between tele-existence and head-mounted display

Also Published As

Publication number Publication date
JP6534972B2 (ja) 2019-06-26

Similar Documents

Publication Publication Date Title
US10304247B2 (en) Third party holographic portal
RU2683262C2 (ru) Устройство обработки информации, способ обработки информации и программа
US20240037880A1 (en) Artificial Reality System with Varifocal Display of Artificial Reality Content
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
CN113168007A (zh) 用于增强现实的系统和方法
JP2021530817A (ja) 画像ディスプレイデバイスの位置特定マップを決定および/または評価するための方法および装置
JP6558839B2 (ja) 媒介現実
KR20200035344A (ko) 모바일 디바이스용 위치추정
US10600253B2 (en) Information processing apparatus, information processing method, and program
JP2016522463A5 (ja)
JP2017516250A (ja) 世界固定表示品質のフィードバック
KR20150090183A (ko) 3-d 플레놉틱 비디오 이미지들을 생성하는 시스템 및 방법
EP3759576B1 (en) A high-speed staggered binocular eye tracking systems
JP2019020908A (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
US10831267B1 (en) Systems and methods for virtually tagging objects viewed by friends and influencers
JP2019509540A (ja) マルチメディア情報を処理する方法及び装置
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
CN111602391B (zh) 用于根据物理环境定制合成现实体验的方法和设备
CN112272817B (zh) 用于在沉浸式现实中提供音频内容的方法和装置
JP6411244B2 (ja) 映像提示方法及び映像提示装置
KR101770188B1 (ko) 혼합 현실 체험 공간 제공 방법 및 시스템
GB2558283A (en) Image processing
US11314082B2 (en) Motion signal generation
KR20200069004A (ko) 다시점 360도 vr 컨텐츠 제공 시스템
WO2017163649A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190530

R150 Certificate of patent or registration of utility model

Ref document number: 6534972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250