JP2015004948A - 頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラム - Google Patents

Abstract

【課題】現実の視覚情報空間の情報量が拡大したかのような印象を装着者に与えることが可能な頭部装着型映像表示システムを提供する。【解決手段】頭部装着型映像表示装置を頭部に装着させた装着者に対して映像を表示する頭部装着型映像表示方法において、２以上の代替映像を取得し、装着者と略同一の視点で現実空間をライブ映像として撮像してこれを装着者の眼前に表示し、上記取得した何れか１以上の代替映像を上記表示しているライブ映像の透明度を制御することにより当該ライブ映像と重ね合わせて再生することを特徴とする。【選択図】図１

Description

本発明は、頭部装着型映像表示装置を頭部に装着させた装着者に対して映像を表示する頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラムに関するものである。

従来より盛んに研究されているバーチャルリアリティ（ＶＲ）技術は、種々の映像やコンピュータグラフィックス（ＣＧ）を用いて仮想世界や遠隔地の空間を創出し、人間の動作に応じてコンピュータにより映像を変化させるものである。これにより視聴者は、あたかもその場にいるような臨場感を抱かせることができる。しかし、ある程度の臨場感は得られても、それを現実に目の前でおきているものとして感じさせることはできなかった。このようなＶＲ技術の問題点を解決するために、ＳＲ（Substitutional Reality System）システムという新しい技術が開発された。

ＳＲシステムとは、仮想の代替世界と現実と差し替え、被験者に仮想と現実を区別無く体験させることを念頭に置いた技術である。このＳＲ技術を実現するためには、現実において起きている事象を真実であると確信したり、或いは現実の中につじつまの合わない事象が発生した場合にそれに疑いを持ったりする、いわゆるメタ認知と呼ばれるヒトの高次認知機能をうまく操作する必要がある。従来において、このメタ認知の操作に伴う様々な技術的限界のため、ＳＲシステムは未だ実用化に至っていないのが現状であった。即ち、このＳＲシステムの実用化を検討する上では、例えば、過去の映像や異なる場所の映像等、現実的に目の前で起きていない仮想的な代替事象を、いかに現実に目の前で起きている事象として視聴者に認識させるかが大きな課題となっている。

実際にこのような代替現実状態を実現する上で従来において試行された技術として、「拡張現実」、「テレプレゼンス技術」、「Google glass(登録商標)」がある。

「拡張現実」とは、ユーザの視点から見える実際のライブ映像上に、ＣＧ（Computer Graphics）技術による視覚映像を重ね合わせ、例えばヘッドマウントディスプレイ等の表示装置を介して映し出す技術である。この「拡張現実」とは、本来現実には存在しない情報を新しく付加することが可能な技術である。この「拡張現実」に関して検討された従来技術として、例えば特許文献１〜３の開示技術が提案されている。しかし、この「拡張現実」は、重ね合わせる視覚画像がモノレイヤーであるため、これに重ね合わされたＣＧの背面に表示されている現実画像の情報が削られることになるという問題点がある。

「テレプレゼンス技術」とは、遠隔地に設けられたカメラによって撮像される映像を、視聴者の頭部に装着されたヘッドマウントディスプレイを介してリアルタイムに映し出す。これとともに、この「テレプレゼンス技術」では、その視聴者の頭部の動きに連動してカメラの撮像方向を遠隔操作する。これにより、遠隔地のメンバーとその場で対面しているかのような臨場感を提供することも可能となる。しかしながら、この「テレプレゼンス技術」では、遠隔地に置かれたカメラによる撮像情報を視聴者に与えることを目的としたものであり、現実空間に新たな情報を付加することを目的とした技術ではない。

また最近において、「Google glass(登録商標)」と呼ばれる、メガネ型の拡張現実ウェアラブルコンピュータが提案されている。Google glass(登録商標)は、メガネを通じて視聴者に視認される現実空間に様々な情報を埋め込むというコンセプトであり、ハンズフリーに情報を表示し、自然言語音声コマンドでインターネットを使用することができるようになっている。しかしながら、このGoogle glass(登録商標)は、情報の表示領域が狭いため、複数の情報を表示する際には排他的にならざるをえず、これらを互いに重ね合わせた場合、下に隠れた情報を視聴者に視認させることができないという問題点があった。また、表示映像を現実と思わせる効果は考慮されておらず、持ち運び可能な小型モニターという用途を超えていない。

特開平１０−５１７１１号公報 特開２０００−８２１０７号公報 特開２００６−４８６７２号公報

このように、従来の「拡張現実」、「テレプレゼンス技術」、「Google glass(登録商標)」では、現実的に目の前で起きていない仮想の代替事象を、現実に目の前で起きている事象として視聴者に認識させるまでには至らない。即ち、仮想の代替事象を描写した映像そのもののＣＧや映像シーンの不自然さ等により、その仮想の代替事象を現実の事象として認識させる上で様々なメタ認知的な阻害要因が存在する。例えば「拡張現実」では、ライブ映像に重ね合わされたＣＧの不自然さにより、視聴者は、そのＣＧ部分が人工的なものであると判断してしまう。また、「テレプレゼンス」では、そもそも遠隔地の映像が画面上に映し出されるため、視聴者がその映像を視認しても現実のものと解することはない。

仮想の代替事象を描写した代替映像を映し出す上で、ＣＧ映像がいかに精巧であっても、殆どの場合、視聴者は、明らかに現実とは異なる代替事象を描写した映像を視聴しているという認識は拭い去ることはできないという問題点があった。

また、上述した従来技術では、複数の代替映像のうち所望の１以上の代替映像を順次切り換えて、ライブ映像とともに同時に表示させても、現実の視覚情報空間の情報量を拡大することが困難であるという問題点もあった。従来の方法では、情報を付加するには、既存の現実情報から付加分を削らなければならず、付加後の情報量は拡大されていない。

また近年においてyoutube(登録商標)を始めとした動画共有サイトが普及しているが、これに蓄積されている様々な映像データ間で、特に時間情報や位置情報は互いに関連性を持たないのが殆どである。即ち、動画共有サイトにアップされている映像データは、個別に存在し、個別にユーザの利用に供されるのみであり、映像同士の繋がりは殆ど存在しない。また、Google (登録商標)のような情報検索サイトにより検索される情報は、現実の時空間と連関性を持った情報ではなく、あくまで抽象的な意味空間の情報に過ぎない。これらの映像データや検索情報を、時間という次元と空間という次元に関連性をもった情報として機能させることで、いわゆる擬似的なタイムマシンを作り出したいというニーズもあり、また、意味情報が時間の変化に応じて変化することを許容するイベントドリブンな動的なデータベースを作りたいというニーズも存在していた。

そこで、本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、現実的に目の前で起きていない事象を、現実に目の前で起きている事象として視聴者に認識させることが可能で、しかも現実の視覚情報空間の情報量を拡大可能な頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラムを提供することにある。

本発明者は、上述した課題を解決するために、２つ以上の装着者と同一視点からのパノラマ代替映像をあらかじめ取得し、ライブ映像としてこれを装着者の眼前に表示し、ライブ映像の透明度を制御することにより当該ライブ映像と代替映像を重ね合わせて再生することが可能な頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラムを発明した。

本発明に係る頭部装着型映像表示システムは、頭部装着型映像表示装置を頭部に装着させた装着者に対して映像を表示する頭部装着型映像表示システムにおいて、代替映像を取得する代替映像取得部と、装着者と同一の視点で現実空間をライブ映像として撮像する撮像手段と、上記撮像手段により撮像されたライブ映像を上記装着者の眼前に表示する表示手段とを有する頭部装着型映像表示装置と、上記代替映像取得部により取得された何れか１以上の代替映像を上記表示されているライブ映像の不透明度を制御することにより当該ライブ映像と重ね合わせて再生する制御を行う再生制御部とを備えることを特徴とする。

本発明に係る頭部装着型映像表示方法は、頭部装着型映像表示装置を頭部に装着させた装着者に対して映像を表示する頭部装着型映像表示方法において、２以上の代替映像を取得し、装着者と略同一の視点で現実空間をライブ映像として撮像してこれを装着者の眼前に表示し、上記取得した何れか１以上の代替映像を上記表示しているライブ映像の不透明度を制御することにより当該ライブ映像と重ね合わせて再生することを特徴とする。ライブ映像、代替映像をそれぞれ単独で表示する事ももちろん可能である。

本発明に係る頭部装着型映像表示プログラムは、頭部装着型映像表示装置を頭部に装着させた装着者に対して映像を表示する頭部装着型映像表示プログラムにおいて、２以上の代替映像を取得する代替映像取得ステップと、装着者と略同一の視点で現実空間をライブ映像として撮像してこれを装着者の眼前に表示する撮像表示ステップと、上記代替映像取得ステップにおいて取得した何れか１以上の代替映像を、上記撮像表示ステップにおいて表示しているライブ映像の不透明度を制御することにより当該ライブ映像と重ね合わせて再生する再生制御ステップと、をコンピュータに実行させることを特徴とする。

このとき、一以上の時点において、代替映像を各時点につき２箇所以上に亘り、その位置情報と関連させて取得し、上記時点よりも後の時点において、装着者の位置情報取得部を介して取得された位置情報を取得し、当該位置情報と関連する上記代替映像を読み出してこれを再生する制御を行うようにしてもよい。

上述した構成からなる本発明によれば、代替現実技術（現在と過去の映像を切り目無く、現実の延長として体験する技術）を利用することにより、いわば視覚情報空間を拡張することができる。特に本発明によれば、現実と過去という２枚で構成するのではなく、多種に亘る代替映像を複数レイヤに亘り形成しておくことにより、更にその複数レイヤへのアクセシビリティを不透明度というパラメータ操作によってユーザである装着者自身が自らの意思に基づいて操作することができる。

このような視覚情報空間の拡張により、装着者が主体的に情報空間を操作し、代替映像を表示させて必要な情報にアクセスすることが可能となる。従来システムによれば、デバイスの持つ単一レイヤ上のスクリーンを通じてしか情報にアクセスすることができなかったため、新しい情報を付加するには、それを上書きしてオリジナルの情報を削除しなければならず、アクセシビリティが低かった。これに対して本発明によれば、ライブ映像として表示されている現実空間に、代替映像を介してオリジナルの情報を殆ど失うこと無く様々な情報を埋め込むことが可能となり、まるで現実の視覚情報空間の情報量が拡大したかのような印象を装着者に与えることが可能となる。

また、ｍ×ｎの座標系における歴史情報を構築することも可能となる。例えば数十年に亘り同じ場所でパノラマビデオカメラ３１の撮像をし続けることができれば、ｍ×ｎの座標系の地点限定のいわゆるタイムマシンとして機能させることができる。また、意味情報が時間の変化に応じて変化することを許容するイベントドリブンな動的なデータベースを作ることも可能となる。

本発明を適用した頭部装着型映像表示システムの全体構成図である。 パノラマビデオカメラの構成について説明するための図である。 頭部装着型映像表示装置の外観形状を示す図である。 頭部装着型映像表示装置のブロック構成図である。 制御装置のブロック構成を示す図である。 本発明を適用した頭部装着型映像表示システムの処理動作について説明するためのフローチャートである。 表示パネルを介してライブ映像の表示に加え、代替映像を表示する場合について説明するための図である。 表示パネルを介してライブ映像の表示に加え、代替映像を表示する場合について説明するための他の図である。 代替映像として過去に撮像した過去映像を適用する例について説明するための図である。 タイムスリップ体験システムとして応用する場合の座標系について説明するための図である。 複数の時点において代替映像を取得する例について説明するための図である。 各年代において、それぞれ座標系における座標点全てについて水平方向全方位に亘り映像を取得した状態を示す模式図である。 実際にタイムスリップをユーザに体験させる例について説明するための図である。

以下、本発明を適用した頭部装着型映像表示システムの実施の形態について図面を参照しながら詳細に説明する。

図１は、本発明を適用した頭部装着型映像表示システム１の全体構成図を示している。この頭部装着型映像表示システム１は、制御装置２を中心とし、これに接続された録画モジュール３と、頭部装着型映像表示装置４とを備え、更に制御装置２を介して通信網５に接続されている。

制御装置２は、この頭部装着型映像表示システム１の全体を制御する、いわゆる中央制御機器としての役割を担う。この制御装置２は、例えばパーソナルコンピュータ（ＰＣ）として具現化されるが、これに限定されるものではなく、サーバや専用の機器に具現化される場合もあれば、携帯情報端末、或いはタブレット型端末等に具現化されるものであってもよい。

録画モジュール３は、現実の事象とは別に、過去の事象に基づく代替映像を予め録画するために使用されるものであり、パノラマビデオカメラ３１とマイク３２とを備えている。

パノラマビデオカメラ３１は、例えば図２に示すように、基台３１１と、この基台３１１上に設けられたカメラアレイ３１２とを有している。基台３１１は、必要に応じて高さ調整が可能とされ、所望の映像を録画する上でふさわしい高さに随時設定される。カメラアレイ３１２は、本体３２０と、この本体３２０の内部に実装された複数の撮像装置３２１とを備えている。本体３２０には形成された開口にはそれぞれ撮像装置３２１が実装されており、当該開口を介して事物を撮像可能とされている。これら複数の撮像装置３２１は、互いに異なる方向を撮像可能とするため、その画角及び撮像方向がそれぞれ設定されている。また、各撮像装置３２１は、例えば図２に示すように本体３２０における全ての方向（水平方向に３６０°、鉛直方向に３６０°）を洩れなく撮像可能なように実装されていてもよい。しかも、この撮像装置３２１によれば、全ての方向について同時に撮像を行うことが可能となる。このため、部屋の中に居る人を撮像する際において、人が移動した場合には、その移動した人をカメラ本体内に構築される仮想的な一つの視点を中心とした全周囲で撮像した映像が生成されることとなる。

撮像装置３２１は、このようにして撮像した映像をそれぞれＣＣＤ（Charge Coupled Device ）等の固体撮像素子を利用し、レンズを介して入射される被写体像を撮像面上に結像させ、光電変換により映像信号を生成し、これをインターフェース３３０を介して制御装置２へと送信する。

マイク３２は、周辺の音声を集音し、音声信号に変換する。このマイク３２は、変換したこの音声信号をインターフェース３３０を介して制御装置２へと送信する。マイク３２は、ライブ映像再生時に頭部を中心とした音像を再現するために、頭部装着型映像表示装置４に装着されることもある。

頭部装着型映像表示装置４は、図３の斜視図に示すような、いわゆる視聴者に頭部に装着可能ないわゆるヘッドマウントディスプレイとして構成される。この頭部装着型映像表示装置４は、メガネ型又はゴーグル型の表示装置であり、頭部装着部４１と、映像表示部４２と、ヘッドホン４３と、撮像部４４と、動きセンサ５９と、マイク６０を備えている。頭部装着型映像表示装置４をゴーグル型で構成する場合には、外部の視覚刺激を完全に遮断するためのシールドをもたせることが望ましい。

頭部装着部４１は、右フレーム４１ａと左フレーム４１ｂが互いに内側方向に近接する方向へ付勢されており、装着者は、この右フレーム４１ａと左フレーム４１ｂを押し広げて頭部への装着、又は取り外しを自在に行うことが可能となる。これら右フレーム４１ａ、左フレーム４１ｂの終端にヘッドホン４３が取り付けられている。頭部装着部４１は、装着後に後頭部に伸びるループを締めることで全体を頭部に固定可能とされている。

映像表示部４２は、装着者の網膜に映像を直接投影して映像を視認させることを目的としたものである。この映像表示部４２には、頭部装着型映像表示装置４による映像表示や音声出力等を制御するためのユニットが内部に実装されることとなる。またこの映像表示部４２の下端には、装着者の鼻に載せることで安定した装着を実現するための鼻当て部４２ａが設けられていてもよい。

ヘッドホン４３は、装着者の耳に装着可能とされている。このヘッドホン４３は、装着者の耳を完全に被包するような形状、サイズで構成される場合に限定されるものではなく、小型のイヤホン式で構成されていてもよい。また、このヘッドホン４３の構成は必須ではなく、必要に応じて省略するようにしてもよいが、使用時にはノイズキャンセリング機能を持つものが望ましい。

撮像部４４は、映像表示部４２の略中央部近傍に設けられている。これにより、撮像部４４は、装着者と略同一の視点で現実空間をライブ映像として撮像することが可能となる。動きセンサ５９は、撮像部４４のように映像表示部４２と一体として固定される。またマイク６０は、ヘッドホン４３の近傍に設けられているが、これに限定されるものではなく、いかなる箇所に設けられていてもよい。

図４は、この制御装置２並びに頭部装着型映像表示装置４のブロック構成を示している。頭部装着型映像表示装置４は、動きセンサ５９、マイク６０、映像表示部４２、ヘッドホン４３、撮像部４４を有し、この映像表示部４２は、更にアイトラッカー６１と表示パネル６２とを有している。制御装置２は、周辺インターフェース（Ｉ／Ｆ）５７と制御アプリケーション２０とを備えている。電源スイッチ５８、操作部６５はこの周辺Ｉ／Ｆ５７に接続されている。動きセンサ５９、マイク６０、アイトラッカー６１、表示パネル６２、ヘッドホン４３、撮像部４４はそれぞれ周辺Ｉ／Ｆ５７に接続されている。

表示パネル６２は、撮像部４４により撮像された映像、又は制御アプリケーション２０から送信されてくる映像を表示する。この表示パネル６２は、映像信号が入力された場合に、当該映像信号に基づいて画像を生成するための要素となる各信号（Ｒ，Ｇ，Ｂの３原色の信号）を発生する。また、発生した各ＲＧＢ信号に基づく光を出射して合波し、その光を２次元に走査する。２次元に走査された光は、その中心線が装着者の瞳孔に収束するように変換され、装着者の眼の網膜に投影される。

ヘッドホン４３は、制御装置２から送信されてくる音声信号が入力される。ヘッドホン４３は、この入力されてくる音声信号に基づいた音声を出力する。

周辺Ｉ／Ｆ５７は、動きセンサ５９やマイク６０、操作部６５等から取得した情報を制御アプリケーション２０へ伝達するための各種情報の送受信を中継する役割を担うインターフェースである。

電源スイッチ５８は、例えば外部に露出した押圧可能なボタン型のスイッチで構成され、装着者がこれを押圧することで、頭部装着型映像表示装置４による処理動作を開始し、或いは当該処理動作を終了させる。電源スイッチ５８の押圧が行われた場合には、周辺Ｉ／Ｆ５７を介して頭部装着型映像表示装置４のＯＮ／ＯＦＦが切り換えられる。

動きセンサ５９は、装着者の頭部の動きを検出する。この動きセンサ５９は、ジャイロセンサ、加速度センサ、地磁気センサ等が用いられ、装着者の頭部の角度や傾きを検出する。この動きセンサ５９は、頭部の位置そのものを検出するものであってもよい。また動きセンサ５９は、体験環境に設置した図示しないカメラによるモーションキャプチャーシステムに置換するようにしてもよい。この動きセンサ５９により取得された装着者の頭部の動きに関するデータは、周辺Ｉ／Ｆ５７を介して制御アプリケーション２０へと送信される。

マイク６０は、周囲の音声を集音し、これを音声信号に変換する。マイク６０は、この変換した音声信号を周辺Ｉ／Ｆ５７を介してヘッドホン４３へと送信する。この送信される過程で、音声信号に何らかの処理が施されるようにしてもよい。

アイトラッカー６１は、装着者が表示パネル６２において何れの方向を視認しているかを検出するため、装着者の視線方向を計測する。このアイトラッカー６１は、例えば装着者の目の画像を撮像し、その画像を解析して瞳の方向を検出することで視線方向を特定するようにしてもよい。アイトラッカー６１は、この特定した視線方向に関するデータを周辺Ｉ／Ｆ５７を介して制御アプリケーション２０へと送信する。

操作部６５は、装着者が自らの意思に基づく入力を行うためのいわゆるユーザインターフェースである。この操作部６５は、ボタン、キーボード、マウス、あるいはタッチスクリーン等で構成され、装着者がこれを介して入力を行う。この操作部６５において何らかの入力が行われた場合、その情報は、周辺Ｉ／Ｆ５７を介して制御アプリケーション２０へと送信される。

制御アプリケーション２０は、頭部装着型映像表示システム１全体を制御するためのアプリケーションソフトウェアである。

図５は、制御装置２における制御アプリケーション２０のブロック構成を示している。制御装置２は、再生制御部２８にそれぞれ接続された映像蓄積部２２と、ライブ映像取得部２３と、映像切出し方向更新部２５と、視線映像制御部２７と、映像出力部２９と、音声データ取得部３５と、音声出力部３７とを備えている。映像蓄積部２２には代替映像取得部２１が接続され、映像切出し方向更新部２５には頭部方向特定部２４が接続され、視線映像制御部２７には視線方向特定部２６がそれぞれ接続されている。

制御装置２は、ＰＣ等で構成されることから、これらの構成に加えて各構成要素を制御するためのいわゆる中央演算ユニットとしてのＣＰＵ（Central Processing Unit）、制御装置２全体のハードウェア資源を制御するためのプログラムが格納されているＲＯＭ（Read Only Memory）、データの蓄積や展開等に使用する作業領域として用いられるＲＡＭ（Random Access Memory）、表示パネル６２においてコンテンツを表示するための画像処理を行うための画像処理部等を別途有している。

代替映像取得部２１は、パノラマビデオカメラ３１により撮像された映像を代替映像として取得する。また、この代替映像取得部２１は、通信網５を介して取得した各種情報やデータに基づいて加工した代替映像を取得する。さらには、この代替映像取得部２１は、フラッシュメモリや記録媒体を介して入力されてくる情報も代替映像として取得するようにしてもよいし、制御装置２における図示しないユーザインターフェースを介して入力された情報に基づくものであってもよい。代替映像取得部２１は、取得した代替映像を映像蓄積部２２へ出力する。

映像蓄積部２２は、代替映像取得部２１から出力されてくる代替映像を蓄積する。なお、この映像蓄積部２２は、この代替映像取得部２１からの代替映像のみならず、当初から予め各種コンテンツや情報を蓄積しておき、これを代替映像として記憶するようにしてもよい。この映像蓄積部２２は、蓄積した代替映像を、再生制御部２８による制御の下で読み出し、これを当該再生制御部２８へと出力する。

ライブ映像取得部２３は、撮像部４４により撮像された映像信号を取得する。このライブ映像取得部２３は、取得した映像信号を再生制御部２８へと出力する。

頭部方向特定部２４は、頭部装着型映像表示装置４における動きセンサ５９により検出された装着者の頭部の動きに関するデータを取得する。この頭部方向特定部２４は、取得した装着者の頭部の動きに関するデータから、実際に装着者の頭部の方向を特定する。頭部方向特定部２４は、特定した装着者の頭部の方向を映像切出し方向更新部２５へと通知する。

映像切出し方向更新部２５は、頭部方向特定部２４によって特定された装着者の頭部の方向に基づいて、頭部装着型映像表示装置４における表示パネル６２に表示すべき映像の切出し方向を更新する。

視線方向特定部２６は、頭部装着型映像表示装置４におけるアイトラッカー６１より、装着者の視線方向に関するデータを取得する。この視線方向特定部２６は、装着者の視線が映像空間内のどの方向にあるのかを画像情報解析を通じて特定する。視線方向特定部２６は、特定した装着者の視線方向を視線映像制御部２７へと通知する。

視線映像制御部２７は、頭部装着型映像表示装置４における表示パネル６２に表示すべき映像について、視線方向特定部２６から通知される装着者の視線方向に関する情報に基づいて制御を行う。ここでいう映像の制御の例としては、ライブ映像取得部２３により取得されたライブ映像と、映像蓄積部２２において蓄積された代替映像との切替表示や、これらを互いに重ね合わせて表示する重畳表示等が先ず考えられる。またこの視線映像制御部２７は、この装着者の視線方向に関する情報から、再生すべき情報に関するあらゆる制御や処理動作を実行するようにしてもよい。

音声データ取得部３５は、外部から音声を取得し、これを蓄積する。外部からの音声の取得方法としては、例えば公衆通信網から有線、無線を介して取得するようにしてもよいし、記録媒体に記録された音声データを読み出してこれを記録するようにしてもよい。ちなみに、この音声データ取得部３５は、一度取得した音声データを蓄積し、これを音声出力部３７による制御の下で読み出す場合に限定されるものではなく、外部から取得した音声データをそのままリアルタイムに音声出力部３７へ出力するようにしてもよい。

再生制御部２８は、映像蓄積部２２に蓄積されている代替映像や、ライブ映像取得部２３において取得されているライブ映像を再生する。再生制御部２８は、自らの再生動作において、映像切出し方向更新部２５や視線映像制御部２７による情報を用いて映像再生の制御を行う。

映像出力部２９は、再生制御部２８により再生されている映像をこれに接続されている周辺Ｉ／Ｆ５７を介して頭部装着型映像表示装置４へ出力する。

音声出力部３７は、音声データ取得部３５により取得された音声データ、或いは外部から取得した音声データをそのままリアルタイムに周辺Ｉ／Ｆ５７を介して頭部装着型映像表示装置４へ出力する。

通信網５は、有線又は無線による通信ネットワークであればいかなるものであってもよく、例えばインターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（value added network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等である。

なお、本発明は、上述した頭部装着型映像表示システム１として具現化される場合に限定されるものではなく、ブレインマシンインターフェイス技術を用いて脳に直接情報を与えることでもよく、またこれを実現するためのプログラムとして具現化されるものであってもよい。

次に、本発明を適用した頭部装着型映像表示システム１について、制御装置２による処理動作を図６に示すフローチャートを用いて詳細に説明する。

ステップＳ１１において、制御装置２は、ライブ映像表示を行う。このライブ映像表示では、撮像部４４により撮像を行う。撮像部４４は、映像表示部４２の略中央部近傍に設けられていることから、当該撮像部４４に撮像されるライブ映像は、映像表示部４２の方向や位置に応じたものとなる。実際には、この映像表示部４２は装着者に装着されるため、装着者の頭の向きや位置に応じたライブ映像がこの撮像部４４を介して撮像される。撮像部４４を介して撮像された被写体像は、撮像素子、レンズを介して撮像面上に結像され、光電変換により映像信号が生成される。この生成されたライブ映像に基づく映像信号は、制御装置２へと送信される。

制御装置２は、このような映像信号を、ライブ映像取得部２３で受信し、これを再生制御部２８へ出力する。再生制御部２８に出力された映像信号は、当該再生制御部２８により、ライブ映像として再生されるための処理が施される。このライブ映像は、映像出力部２９を介して再び頭部装着型映像表示装置４へ出力される。

撮像されたライブ映像は、制御装置２を介して表示パネル６２へ送信される。

表示パネル６２へ送られたライブ映像は、その映像信号に基づいて画像を生成するための要素となる各ＲＧＢ信号に基づく光として出射され２次元的に走査される。これにより装着者の眼の網膜には撮像部４４により撮像されたライブ映像が投影される。

上述したように、この撮像部４４による撮影範囲は、装着者の頭部の動きに応じたものなっている。このため、装着者は、自らの頭部の動きに応じたライブ映像を表示パネル６２を介して視認することが可能となるため、あたかも表示パネル６２を介して装着者と略同一の視点で現実空間を視認しているのと同様の感覚を覚えさせることが可能となる。

このようなステップＳ１１におけるライブ映像表示を連続して実行していく過程で、制御装置２は、代替映像の表示機会を常に、或いは間隔をおいて検出する。この代替映像の表示機会の検出の意味するところは、装着者が代替映像の表示に関して何らかの意思を示した場合、或いは、装着者の意思に関わらずに代替映像を表示する何らかの機会を捉えた場合を示すものである。

この装着者の意思に基づく代替映像の表示機会の検出は、例えば動きセンサ５９により検出された装着者の頭部の動きに基づくものであってもよいし、アイトラッカー６１を介して検出された装着者の視線の動きに基づくものであってもよい。更には、代替映像の表示機会の検出は、操作部６５を介して装着者からの何らかの意思表示が行われた場合であってもよいし、マイク６０を介した音声入力を介して検出されるものであってもよく、さらには脳波、振動、運動、位置情報等、装着者から取得したあらゆる情報に基づくものであってもよい。或いは装着者を含めて周囲の環境、例えば、何らかの匂いや熱、触感に基づいて代替映像の表示機会を検出してもよい。

なお、上述した操作部６５を介した入力や、マイク６０を介した音声入力があった場合には、その入力タイミングと同時に代替映像を表示する場合に加え、表示タイミングと入力タイミングとの間で時間的なタイムラグを意図的に発生させるようにしてもよい。これにより、装着者に対して代替映像の表示を自分の感覚に基づいて行っているものと認識させることができ、当該代替映像の再生表示をより違和感無く実現できる。

また装着者の意思に基づかない代替映像の表示機会の検出としては、例えば間隔をおいて代替映像の表示に強制移行するものであってもよいし、或いは通信網５から受信した情報に基づいて代替映像の表示機会を検出するようにしてもよい。また、制御装置２内に組み込まれた所定のプログラムやアルゴリズムに基づいて発生させたイベントを、代替映像の表示機会と捉えるようにしてもよい。

ステップＳ１２において、実際にこのような代替映像の表示機会を検出し続ける。その結果、代替映像の表示機会を検出できた場合には、ステップＳ１３へ移行する。これに対して、代替映像の表示機会を検出できない場合には、ステップＳ１１へ戻り、ライブ映像の表示を続ける。

ステップＳ１３では、表示パネル６２を介したライブ映像の表示に加え、代替映像を表示するモードに移行する。このステップＳ１３では、表示パネル６２上で表示されている図７（ａ）に示すようなライブ映像に対して、同じく図７（ａ）に示す代替映像を組み合わせて表示する。この代替映像は、ライブ映像に示されている建物や道路等の地理的な表示を指し示すものである。代替映像を組み合わせ表示する際には、例えば図７（ｂ）に示すように、ライブ映像に代替映像を重ね合わせて表示するようにしてもよい。かかる場合には、再生制御部２８は、ライブ映像の透明度を制御する。具体的には、ライブ映像の不透明度（不透過度）を下降させ、代替映像をこれに重畳させるようにしてもよい。当初ライブ映像の不透明度を１００％としておくことで、ライブ映像のみ表示される状態となっており、それ以外の代替映像の不透明度は０％となっている。これに対して、代替映像を重ね合わせて表示する場合には、ライブ映像の不透明度を例えば５０％とし、代替映像の不透明度も５０％とすることで、現実空間の情報を殆ど失う事なく重ね合わせて表示することができる。これにより、不透明度が低下したライブ映像に代替映像が重畳されて、当該代替映像がユーザにより視認可能となる。このとき、代替映像のみ表示するモードに移行してもよく、係る場合にはライブ映像の不透明度を０％とし、代替映像の不透明度を１００％に設定する。

また、ライブ映像に代替映像を組み合わせて表示する際には、互いに重ね合わせて表示する場合に限定されるものではなく、例えば図８に示すように互いに別画面で並列させて表示させるようにしてもよい。この図８（ａ）の例では、装着者に対して表示する表示パネル６２における画面を２つに区切り、片側にライブ映像を表示し、他方にライブ映像を表示させるものである。ちなみに、この代替映像は、ライブ映像に表示されている建物に関する情報を表示している場合を例に挙げている。

また、かかる表示例以外には、アイトラッカー６１や動きセンサ５９により検出された情報に基づいて画面を切り替えるようにしてもよい。例えば図８（ｂ）に示すように、アイトラッカー６１や動きセンサ５９を介して装着者が正面を向いているものと判別した合には、ライブ映像を表示する。そして、アイトラッカー６１や動きセンサ５９を介して装着者が側面を向いているものと判別した場合には、代替映像を表示するようにしてもよい。

ちなみに、制御装置２側において複数に亘り取得されている代替映像のうちいずれの代替映像を再生すべきかは、ステップＳ１２において検出された代替映像の表示機会の種別に基づいて選択するようにしてもよい。代替映像の表示機会の種別とは、上述した、動きセンサ５９により検出された装着者の頭部の動き、アイトラッカー６１を介して検出された装着者の視線の動き、操作部６５を介して装着者からの何らかの意思表示、マイク６０を介した音声入力等の種別を意味する。例えば、アイトラッカー６１を介して装着者の視線が右方向を視認した場合には、代替映像としてメールに関するコンテンツを、マイク６０を介した入力で「ニュース」という音声の場合には代替映像としてニュースを再生するようにしてもよい。

このようなステップＳ１３を終了後、再び通常のライブ映像のみの表示に戻るか、或いはライブ映像と代替映像とを組み合わせて表示することを継続して行う。このライブ映像に戻る場合には、上述した代替映像の表示機会として検出する各種イベントを検出したことを期に行うようにしてもよい。

なお本発明では、代替映像取得部２１において、２以上の代替映像を取得することを前提とする。つまり、この代替映像取得部２１では、予め２層以上に亘る、いわゆるマルチレイヤに亘る代替映像を取得し、これを映像蓄積部２２へと記録しておく。そして、再生制御部２８による制御の下で、このマルチレイヤの代替映像の中から、１以上の代替映像を選択し、これをライブ映像と並列させて、或いは重ね合わせて再生する。

また、代替映像とライブ映像を組み合わせて表示する際に、これらを互いに重ね合わせて表示する場合には、少なくとも一方の映像に対して背景を除去したり、人物を抽出したりする等の加工を施すようにしてもよい。これにより、現実に存在するものと認識されていた人物や自分自身の身体等の対象物を過去映像に対しても表示することができ、代替映像の現実感をより向上させることが可能となる。

また、例えば、代替映像とライブ映像の画質が、同一又は近似するものとして設定してもよい。これにより、装着者は、ライブ映像と代替映像を重ね合わせて再生しても、違和感を覚えなくなる。これらの効果は、代替映像とライブ映像を重ね合わせる場合のみならず、これらを互いに切り換えて表示する場合や、互いに並列させて表示する場合も同様の効果を得ることが可能となる。

また、代替映像とライブ映像との重ね合わせの映像を生成する上で、その代替映像の不透明度と、ライブ映像の不透明度は、再生制御部２８においてそれぞれ調整する。例えば、ライブ映像の透明度のみを制御するようにしてもよいし、ライブ映像のみならず代替映像の不透明度も制御するようにしてもよい。これにより、ライブ映像による映像表示を薄く残しつつ、代替映像を表示させることも可能となる。このときライブ映像に対して代替映像がフェードイン又はフェードアウトするような構成を採用するようにしてもよい。これにより、ライブ画像には存在しない人物、建物、情報等が出現又は消滅しても、装着者は違和感を覚えることが無くなる。

なお、代替映像とライブ映像の不透明度は、表示パネル６２の画素毎に設定することが可能である。代替映像とライブ映像を常時重ね合わせる場合においても、実際に重ね合わせが起きているのは、空間全体の一部だけに留めることも可能となる。また、画素単位で代替映像とライブ映像の不透明度を自由に設定することにより、代替映像とライブ映像が互いに混合する環境空間の範囲や、その形状を自由に変化させることが可能である。更にその画素毎の不透明度の変化を時系列的に変化させたり、動きセンサ５９やアイトラッカー６１等、装着者のアクションのあらゆるアクションに基づいて動的に変化させるようにしてもよい。

また、本発明では、代替映像を表示する際において、匂い、熱、振動、触覚、音声の少なくとも１つを装着者に対して及ぼすための手段を別途設けるようにしてもよい。例えば、代替映像として、天災に関する緊急速報を流す場合において、装着者に注意喚起するために振動や音声でそれを通知するようにしてもよい。

更に、本発明では、一の代替映像をライブ映像と重ね合わせて、或いは並行して再生する場合に限定されるものではない。映像蓄積部２２には２以上の代替映像が蓄積されていることから、２以上の代替映像をライブ映像と重ね合わせて、或いは並行して再生するようにしてもよい。

かかる場合には、例えば図７（ｂ）に示すような、ライブ映像と、地理的な表示を指し示す代替映像を重ね合わせて表示する場合に加え、更にその地域における天気予報等を始めとした他のコンテンツからなる代替映像を表示するようにしてもよい。このとき、ライブ映像と、地理的な表示を示す第１の代替映像と、天気予報からなる第２の代替映像を重ね合わせて表示する場合には、これら３つの映像の不透明度を調整することで、いずれの映像も装着者が視認可能となる。また、これら３つの映像のうち、何れか１以上を、図８に示すように重ね合わせて表示するのではなく、別画面で並行して表示するようにしてもよい。

ちなみに２以上の代替映像を同時に表示する場合には、ライブ映像の表示は必須とならない。かかる場合においてライブ映像の不透明度は０％とすることで、２以上の代替映像が重ねて表示されることとなる。

なお、透明度の調整については、動きセンサ５９により検出した頭部の動き、又はアイトラッカー６１により検出した視線の動き、さらには操作部６５、マイク６０を介した音声入力等、あらゆる手段を用いて実行してもよい。

このように、本発明では、代替映像を２つ以上に予めマルチレイヤ化しておき、このうち所望の１以上の代替映像を選んでライブ映像と組み合わせて表示させることが可能となる。また、本発明によれば、この表示すべき代替映像のうち、所望のものを順次切り換えることもできる。

所望の代替映像の選択や切替は、装着者の視線又は頭部の動きに基づいて実行するようにしてもよい。かかる場合には、動きセンサ５９により検出した頭部の動き、又はアイトラッカー６１により検出した視線の動きに基づいて、切替を行うようにしてもよい。またこれに限定されるものではなく、操作部６５を介して装着者からの何らかの意思表示が行われた場合であってもよいし、マイク６０を介した音声入力を介して検出されるものであってもよく、さらには脳波、振動、位置情報等、装着者から取得したあらゆる情報に基づくものであってもよい。或いは装着者を含めて周囲の環境、例えば、何らかの匂いや熱、触感に基づいて代替映像の表示機会を検出してもよい。

また装着者からのアクション以外の他の要因に基づいて２以上の代替映像間の表示を切り換えるようにしてもよい。この切り換えについては、例えば制御装置２において記録されているプログラムに沿って行うようにしてもよいし、通信網５から取得した情報に基づいて切り換えるようにしてもよい。

また、上述した実施の形態においては、２以上の代替映像を代替映像取得部２１が事前に取得してこれを映像蓄積部２２に蓄積し、必要に応じてこの映像蓄積部２２から代替映像を読み出す場合を例にとり説明をしたが、これに限定されるものでない。例えば、ライブ映像の表示時において、代替映像が新たに必要となった場合、その新たに必要となる代替映像を、その都度通信網５から取得し、これを頭部装着型映像表示装置４へ出力するようにしてもよい。

本発明によれば、代替現実技術（現在と過去の映像を切り目無く、現実の延長として体験する技術）を利用することにより、いわば視覚情報空間を拡張することができる。特に本発明によれば、現実と過去という２枚で構成するのではなく、多種に亘る代替映像を複数レイヤに亘り形成しておくことにより、更にその複数レイヤへのアクセシビリティを透明度というパラメータ操作によってユーザである装着者自身が自らの意思に基づいて操作することができる。

このような視覚情報空間の拡張により、装着者が主体的に情報空間を操作し、代替映像を表示させて必要な情報にアクセスすることが可能となる。従来システムによれば、デバイスの持つスクリーンを通じてしか情報にアクセスすることができなかったため、アクセシビリティが低かった。これに対して本発明によれば、ライブ映像として表示されている現実空間に、代替映像を介して様々な情報を埋め込むことが可能となり、視覚情報を階層的に構築し、与えることが出来るため、まるで現実の視覚情報空間の情報量が拡大したかのような印象を装着者に与えることが可能となる。

以下の実施例１〜１０において、代替映像の例について説明をする。但し、この代替映像は以下の実施例に限定されるものではなく、他のいかなるコンテンツ、データを代替映像化するようにしてもよい。

また本発明では、以下の実施例１〜１０のうち、２以上をマルチレイヤ化して映像蓄積部２２に蓄積しておくことで、装着者は多種に亘る代替映像コンテンツを視聴することが可能となる。

更に本発明によれば、音声データ取得部３５において取得した音声データを一緒に再生するようにしてもよい。かかる場合には、制御装置２は、再生すべき代替映像に連動させてこの音声データを再生するようにしてもよい。例えば、再生すべき映像が地図情報であるのであれば、これに連動したアナウンスを音声データとして連動させて再生するようにしてもよい。また再生すべき映像がゲームに関するコンテンツ映像であれば、当該コンテンツに連動させた効果音や音楽を音声データとして連動させて再生するようにしてもよい。

代替映像の例としては、先ず通信網５から取得したあらゆる情報を用いることができる。上述の例では、制御装置２は、装着者の位置情報を取得して、その位置情報に対応する、建物や道路等の地理的な表示（地図情報）を通信網５から取得する。そして、ライブ映像に表示されている事象に合わせてその地図情報を表示する。例えば図７（ｂ）に示すように代替映像を重畳させて表示する際には、ライブ映像に表示されている対象と位置合わせをするために、アイトラッカー６１や動きセンサ５９を介して装着者の視線方向や頭部の向き等を検出し、これらに基づいて微調整を行うようにしてもよい。

この代替映像としては、過去に撮像した過去映像を適用するようにしてもよい。この過去映像の撮影は、録画モジュール３を用いて行う。具体的には、この録画モジュール３におけるパノラマビデオカメラ３１により、全方位に向けて時系列的に撮像を行う。図９（ａ）の平面図は、位置Ｐに配置されたパノラマビデオカメラ３１により、全方位に向けて映像を撮影している状態を示している。パノラマビデオカメラ３１における撮像装置３２１により、水平方向に向けて３６０°に亘り洩れなく撮像を行う。この撮像は、垂直方向に向けても同時に撮像されるが、以下の例では、この水平方向への撮像を例にとり説明をする。

このようにして、過去映像の撮像が行われると、複数の撮像装置３２１により各方向に対して時系列的に順次画像が撮像される。そして撮像された画像は、制御装置２へと送られることとなる。このため、過去映像の撮像が終了した段階で、制御装置２における映像蓄積部２２には、位置Ｐを中心にして水平方向全方位に亘って撮像された動画像が蓄積されている状態となる。このとき、マイク３２により音声を同時に収録しておいてもよい。

次にこの過去映像を代替映像として撮像する場合には、図９（ｂ）に示すように、かつて過去映像の撮影を行った、同じ位置Ｐに頭部装着型映像表示装置４を装着した装着者が存在するものとする。過去映像を表示パネル６２上に表示させる際には、制御装置２は、映像蓄積部２２において蓄積されている過去映像を読み出し、これを頭部装着型映像表示装置４へと送信する。頭部装着型映像表示装置４は、かかる過去映像を受信し、上述の同様のプロセスで表示パネル６２上にこれを表示する。

このとき、頭部装着型映像表示装置４における動きセンサ５９により検出した頭部の動きや、アイトラッカー６１により検出した視線方向を、表示パネル６２上の表示に反映させるようにしてもよい。制御装置２には、アイトラッカー６１や動きセンサ５９を介して検出された、装着者の頭部の向きや視線方向に関する情報を送られてくる。動きセンサ５９による頭部方向に関する情報は、頭部方向特定部２４により、実際の装着者の頭部方向が特定され、またアイトラッカー６１による視線方向に関する情報は、視線方向特定部２６により装着者の視線方向が実際に特定されることとなる。

次に頭部方向特定部２４や視線方向特定部２６を介して、実際に装着者が捉らえようとする視角を特定する。仮に装着者が正面を向いている場合を特定した場合には、図９（ｂ）の実線で示す範囲の視角に反映される映像を切り出せばよい。しかしながら、頭部方向特定部２４や視線方向特定部２６により、装着者が点線で示される領域を視覚として捉えている場合には、映像切出し方向更新部２５により、切り出すべき映像の範囲を矢印方向へとシフトさせる。再生制御部２８は、このようにシフトさせた範囲の映像を映像蓄積部２２に記録されている映像から切り出し、これを代替映像として頭部装着型映像表示装置４へ送信する。このとき、過去映像は時系列的に録画されているものであるから、この切り出すタイミングもかかる時系列に沿って切り出すことが望ましい。頭部装着型映像表示装置４における表示パネル６２に、このようにシフトした範囲で切り出した映像を表示することで、装着者に対して、あたかも自らの頭部の向きや視線方向に応じた視角で映像を視認している現実感覚を持たせることが可能となる。過去映像を撮像したパノラマビデオカメラ３１の位置Ｐと、頭部装着型映像表示装置４を装着した装着者の頭部の位置Ｐが同一であることから、そのような感覚を植え付けることが可能となる。

このような過去映像としての代替映像も、ライブ映像と組み合わせて表示させることが可能となる。装着者は、当初ライブ映像を視認しているが、気づかぬ間にこの過去映像に切り換えられる。しかし、装着者は、当初からライブ映像を視認していることから、過去映像に切り換えられていても、自分自身はライブ映像を視認している意識のままでいる。つまり、当初にあえてライブ映像を装着者に視認させることで、過去映像への切り替えに気づかせ難くさせている。このとき、代替映像の表示に切り替わった後に、マイク３２により録音した音声もヘッドホン４３を介して流すことで、より装着者に対し、ライブ映像をあたかも視認している感覚を与えることができる。

なお、過去映像を代替映像として表示する際には、上述した実施の形態に限定されるものではない。例えば、過去映像を撮像したパノラマビデオカメラ３１の位置Ｐと、頭部装着型映像表示装置４を装着した装着者の頭部の位置Ｐが同一である場合に限定されず、互いに異なる位置であってもよい。また、頭部方向や視線方向の双方を識別して過去映像の切り出しを行う場合に限定されず、頭部方向、視線方向の何れか一方を識別して過去映像の切り出しを行うようにしてもよい。

なお、この過去映像を代替映像として表示する際には、以下に説明するような各種工夫を盛り込むようにしてもよい。

例えば、過去映像とライブ映像の画質が、同一又は近似するものとして設定してもよい。かかる場合には、制御装置２は、ライブ映像、過去映像のそれぞれを撮像した撮像素子の特性データから求められた調整値を介して画質調整を行う。或いはこの制御装置２は、予め画質標準を定めておき、これにライブ映像、過去映像の画質が近似するように自動的に画質調整を行うようにしてもよい。これにより、装着者は、ライブ映像から過去映像への切り替わりにつき違和感を覚えなくなり、過去映像をあたかもライブ映像を視認しているような感覚を味合わせることが可能となる。これらの効果は、過去映像とライブ映像を切り換えて表示する場合のみならず、互いに並列させて表示する場合、或いは互いに重ね合わせて表示する場合も同様の効果を得ることが可能となる。

特に代替映像を過去映像とする場合において、過去映像に表示される対象物とライブ映像に表示される対象物を混在させるようにしてもよい。これにより、過去映像と現在映像との区別をより難しくすることが可能となる。

実施例２において説明したように代替映像を過去映像とする場合、以下に説明するような、時間のみならず、空間の次元も入れることで、あたかも過去の世界にタイムスリップしたかのような感覚をユーザに与えるようにしてもよい。

このようなタイムスリップ体験システムとして本発明を応用する場合には、図１０に示すような座標系を考える。この座標系は横軸の座標が仮に１〜５からなり、縦軸の座標が仮にａ〜ｅからなる５×５の座標系とされている。この座標系が存在する位置は、地球上のいかなる箇所であってもよく、例えば有名なストリートや建築構造物の付近であってもよい。

この座標系における座標点の数は、複数であればいかなるものであってもよい。座標系について、座標点の間隔も数ｃｍ〜数ｋｍ等、いかなる長さで構成されていてもよい。このような各座標点において、代替映像として過去映像を撮影する。過去映像の撮影は、上述した録画モジュール３を用いて行う。即ち、録画モジュール３におけるパノラマビデオカメラ３１により、全方位に向けて撮像を行う。

パノラマビデオカメラ３１における中心位置Ｐを各座標点に載置し、全方位に向けて映像を撮影する。パノラマビデオカメラ３１における撮像装置３２１により、水平方向に向けて３６０°に亘り洩れなく撮像を行う。この撮像は、上述と同様に垂直方向に向けても撮像するようにしてもよい。撮像された画像は、順次制御装置２へと送られることとなる。

このようにして、過去映像の撮像が行われると、他の座標点にパノラマビデオカメラ３１における中心位置Ｐを移し、同様に全方位に向けて映像を撮影する。撮像した画像は、順次制御装置２へと送られることとなる。このような撮像を、５×５の座標系における座標点全てについて行う。その結果、全ての各座標点について、３６０°に亘り洩れなく撮像されたパノラマ画像が、制御装置２へ送られることとなる。５×５の座標系における座標点全てについて、過去映像の撮像が終了した段階で、制御装置２における映像蓄積部２２には、位置Ｐを中心にして水平方向全方位に亘って撮像された動画像が５×５の座標系における座標点全てについて蓄積されている状態となる。このとき、マイク３２により音声を同時に収録しておいてもよい。

上述した映像の撮像が、タイムスリップする過去の映像の撮像に相当する。このような画像を撮像することで、その撮影した当時の５×５の座標系における座標点全てについて、映像が座標点毎に水平方向全方位に亘り記録されている。５×５の座標系以外に、更にこれを拡張し、ｍ×ｎ（ｍ、ｎは、ともに正の整数）であれば、ｍ、ｎがいかなる大数で構成されていてもよい。

このような過去映像は、図１１に示す時間軸に応じて、順次取得するようにしてもよい。例えばｙ１年において、上述した座標系における座標点全てについて水平方向全方位に亘り映像を取得する。次にｙ１年から所定年数経過したｙ２年においても同様に、上述した座標系における座標点全てについて水平方向全方位に亘り映像を取得する。ｙ２年から同様に所定年数経過したｙ３年も同様に撮像を行う。その結果、図１２に示すように各年代（ｙ１年〜ｙ３年）において、それぞれ座標系における座標点全てについて水平方向全方位に亘り映像を取得されている状態となる。実際には、制御装置２における映像蓄積部２２において、これら各年代における各座標点について取得された映像が、当該各座標点と関連付けて記録されている。即ち、空間軸のみならず、時間軸の両方において映像が蓄積された状態となる。

次に、本実施例において、実際にタイムスリップをユーザに体験させる例について説明をする。このタイムスリップ体験を行う時点は、過去に映像が取得された時点（ｙ１年〜ｙ３年）よりも時間が経過したｙ４年（換言すれば現在）である。つまり現在であるｙ４年から、これよりも過去であるｙ１年〜ｙ３年の何れかの年代にタイムスリップすることをユーザに体験させるものである。

かかる場合には、ｙ４年において同様の座標軸で処理を行う。図１３は、ｙ４年における５×５の座標系である。この５×５の座標系は、上述した各年代（ｙ１年〜ｙ３年）において画像を撮像した５×５の座標系に対応している。

ユーザは、上述した頭部装着型映像表示装置４を被り、この５×５の座標系の領域を自由に動き、また自由に様々な方向へ向いたりする。仮に、ユーザが座標２−ａに位置し、その視角が図１３に示すような範囲にあるときに、過去映像を表示パネル６２上に表示させる。このとき、ユーザは、ｙ１年〜ｙ３年の何れの年代にタイムスリップするかを予め選択する。このとき、ユーザは自ら何れの年代にタイムスリップするかを自身が入力して決めるようにしてもよい。仮にｙ１年にタイムスリップする場合には、制御装置２は、映像蓄積部２２において蓄積されている過去映像のうち、ｙ１年でしかも座標が２−ａの過去映像を読み出し、これを頭部装着型映像表示装置４へと送信する。

このとき、ユーザの視角についても動きセンサ５９やアイトラッカー６１により検出し、それに対応した映像を切り出す。かかる場合には、実施例２と同様に、頭部方向特定部２４や視線方向特定部２６を介して、実際に装着者が捉らえようとする視角を特定する。仮に装着者が実線で示される方向に視角が有る場合には、当該範囲の視角に反映される映像を切り出せばよい。頭部装着型映像表示装置４は、切り出した過去映像を受信し、上述の同様のプロセスで表示パネル６２上にこれを表示する。

このとき、頭部装着型映像表示装置４における動きセンサ５９により検出した頭部の動きや、アイトラッカー６１により検出した視線方向を、表示パネル６２上の表示に反映させるようにしてもよい。例えばユーザが、この座標２−ａにおいて、実線で示される視角から点線で示される視角まで動いたものと仮定する。この視角の動きは、アイトラッカー６１や動きセンサ５９等を介して検出される。そして、当該視角に応じた範囲の映像を切り出し、上述の同様のプロセスで表示パネル６２上にこれを表示する。画像の切り出し方法やその詳細な制御は、実施例２の説明を引用することで、以下での説明を省略する。

次にユーザが座標２−ａから座標３−ｂに移動したものとする。この移動における位置情報の取得については、例えば、頭部装着型映像表示装置４に設けられたＧＰＳ（Global Positioning System）を利用するようにしてもよい。そして制御装置２がユーザが座標３−ｂに移動したことをＧＰＳ等を通じて識別した場合、制御装置２は、映像蓄積部２２において蓄積されている過去映像のうち、ｙ１年でしかも座標が３−ｂの過去映像を読み出し、これを頭部装着型映像表示装置４へと送信する。このとき、アイトラッカー６１や動きセンサ５９等を介して検出されるユーザの視角の変化に応じて切り出す映像の範囲を変更するようにしてもよい。

次にユーザが座標３−ｂから座標３−ｃに移動したものとする。係る場合も同様に、制御装置２は、映像蓄積部２２において蓄積されている過去映像のうち、ｙ１年でしかも座標が３−ｃの過去映像を読み出し、これを頭部装着型映像表示装置４へと送信する。このとき、アイトラッカー６１や動きセンサ５９等を介して検出されるユーザの視角の変化に応じて切り出す映像の範囲を変更するようにしてもよい。座標３−ｃから座標４−ｄへ移動した場合においても同様の処理を行う。その後も上述の処理を繰り返し実行していく。

この過程においてユーザは、座標２−ａから座標４−ｄまで移動し、好みの方向に視角を変化させているが、常にそのユーザの移動や視角の変化に追随させて、過去映像が読み出され、これが表示パネル６２上に表示される。このため、ユーザは、あたかも過去にタイムスリップしたかのような間隔を味わうことが可能となる。

ユーザは、ｙ１年における映像を堪能した後、他の年代にも自由に移行してその時代の映像を堪能することもできる。また各年代に擬似的にタイムスリップすることに加え、その年代における空間を自由に歩き回って楽しむことができ、より臨場感のある時間旅行を味わうことが可能となる。即ち、時間軸のみならず空間軸も自由に移動できる本実施例において、ユーザは、目の前に起きている現実のイベントとして体験を行うことができる。

このような過去映像としての代替映像も、ライブ映像と組み合わせて表示させることが可能となる。装着者は、当初ライブ映像を視認しているが、気づかぬ間にこの過去映像に切り換えられる。しかし、装着者は、当初からライブ映像を視認していることから、過去映像に切り換えられていても、自分自身はライブ映像を視認している意識のままでいる。つまり、当初にあえてライブ映像を装着者に視認させることで、過去映像への切り替えに気づかせ難くさせている。このとき、代替映像の表示に切り替わった後に、マイク３２により録音した音声もヘッドホン４３を介して流すことで、より装着者に対し、ライブ映像をあたかも視認している感覚を与えることができる。

本実施例では、ｍ×ｎの座標系における歴史情報を構築することも可能となる。例えば数十年に亘り同じ場所でパノラマビデオカメラ３１の撮像をし続けることができれば、ｍ×ｎの座標系の地点限定のいわゆるタイムマシンとして機能させることができる。これを、ｍ×ｎの座標系の地点のみならず、世界中の至る箇所でこれを行うことで、時間と空間を移動することができる、真の意味でのタイムマシンが実現可能となる。そして、図１２に示すように、過去から現在に至るまでの時空間を基準点として、意味情報があたかも七夕の短冊のようにぶら下がる構造を作ることができる。そして、その意味情報が時間の変化に応じて変化することを許容するイベントドリブンな動的なデータベースを作ることが可能となる。また、本実施例の今後の発展としては、人類の歴史そのものを記録、検索、追体験する技術であり、これまでにない全く新しいサービスイノベーションであるといえる。

なお、上述した実施例では、位置情報として座標系を用いる場合を例にとり説明をしたが、これに限定されるものではなく、極座標で体系化されていてもよいし、また座標とは異なるあらゆる位置情報で体系化されるものであってもよい。そして、その位置情報に関連させて過去映像をそれぞれ取得しておき、これを事後的に読み出してタイムスリップ追体験が実現できるものであればいかなるシステムで構成されていてもよい。

また、本実施例では、座標系全ての座標点について代替映像を取得する必要はなく、代替映像を２箇所以上に亘り、その位置情報と関連させて取得するものであればよい。

代替映像としては、例えばゲームに関するコンテンツ映像を当てはめるようにしてもよい。近年は、ヘッドマウントディスプレイを利用したゲームが制作されているが、これらを代替映像に当てはめ、プレイヤーとしての装着者からのアクション（動きセンサ５９、アイトラッカー６１、操作部６５等による入力に基づく）をそのゲームに反映させる。代替映像は、複数に亘りレイヤ化されていることから、ゲームコンテンツに関する映像も複数に亘りレイヤ化しておき、場面に応じてこれらを順次読み出して表示する。このときレイヤ化されているゲームコンテンツ映像を互いに重ね合わせ、或いはこれらを互いにフェードアウト、フェードインさせることで装着者に対して、違和感の無い代替画像間の移り変わりを表現することが可能となる。

代替映像として、例えば映画等を始めとした映像コンテンツを再生するようにしてもよい。係る場合には、第１の代替映像として通常の映画コンテンツを再生し、第２の代替映像として、その映画コンテンツに関する付随情報を再生するようにしてもよい。この付随情報としては、例えば映画コンテンツに関する視聴者からのコメントを通信網から取得して流すようにしてもよいし、キャストや今までのあらすじ、人物関係等を表示するようにしてもよい。また、第３の代替映像には、映画と関係の無いニュースや天気予報等を再生するようにしてもよい。

代替映像として、投資情報（株、為替、債権、先物取引）をリアルタイムに再生するようにしてもよい。かかる場合には、第１の代替映像において、ある銘柄の５分足のチャートを、また第２の代替映像では、その銘柄の日足のチャートを表示するようにしてもよい。また第１の代替映像には、日足、月足のチャートを並べて表示し、第２の代替映像には、為替のチャートを載せてもよいし、或いはリアルタイムに取得したニュース、さらには気配値を表示するようにしてもよい。何れの場合においても、通信網５からリアルタイムに投資情報を取得して、これを複数レイヤに亘る代替情報とする。装着者は、この複数レイヤからなる代替情報のうち、自らが確認したい投資情報を指定することで、これらが読み出されて表示パネル６２上に表示されることとなる。

携帯情報端末（携帯電話、スマートフォン）や、タブレット型端末、ＰＣ等に適用される各種アプリケーションを代替映像として再生するようにしてもよい。かかる場合には、これらのアプリケーションを通信網５から取得して映像蓄積部２２に蓄積しておく。必要に応じてアプリケーションが映像蓄積部２２から読み出され、代替映像として再生されることとなる。

装着者が実際にライブ映像や代替映像を視聴している地点と異なる地点で撮像された映像、代替映像としてこれを再生するようにしてもよい。かかる場合には、異なる場所に設置した録画モジュール３により、事前に又はリアルタイムに映像を撮像し、これを制御装置２へと送信する。制御装置２における代替映像取得部２１は、この送信されてくる映像を代替映像として取得し、事前に撮像した映像であれば、これを映像蓄積部２２に一度蓄積し、リアルタイムの映像を送る場合にはそのまま、映像出力部２９を介して頭部装着型映像表示装置４へと送信する。ライブ映像の背景を取り除き、上記代替映像と重ねて表示する事で、離れた場所に自分自身がいるかのような感覚を作り出す事が可能である。

ライブ映像として劇場で観劇をする場合、或いは競技場等でスポーツ観戦をする場合に、これに関する付随情報を代替映像として再生するようにしてもよい。例えば頭部装着型映像表示装置４の位置情報等を取得した上で、その位置が競技場であればその時間帯において行われる競技の情報を、またその位置が劇場であればその時間帯において公演予定の劇に関する情報を通信網５から取得する。そして、この通信網５から取得した情報を代替映像として再生する。もしくは、複数のパノラマカメラからとった映像を複数の代替映像としてもよく、それらを使用者の意図に応じて切り替える事もできる。

電子メールの画面を代替映像として表示するようにしてもよい。制御装置２は、通信網５を介して受信したメール又はこれに関する情報を代替映像として、これを再生する。

代替映像としては、テレビジョン放送を適用するようにしてもよい。これにより、装着者は、ライブ映像と組み合わせて代替映像からテレビジョン放送を視聴することも可能となる。

１ 頭部装着型映像表示システム
２ 制御装置
３ 録画モジュール
４ 頭部装着型映像表示装置
５ 通信網
２０ 制御アプリケーション
２１ 代替映像取得部
２２ 映像蓄積部
２３ ライブ映像取得部
２４ 頭部方向特定部
２５ 方向更新部
２６ 視線方向特定部
２７ 視線映像制御部
２８ 再生制御部
２９ 映像出力部
３１ パノラマビデオカメラ
３２ マイク
３７ 音声出力部
４１ 頭部装着部
４２ 映像表示部
４３ ヘッドホン
４４ 撮像部
５７ 周辺インターフェース
５８ 電源スイッチ
５９ センサ
６０ マイク
６１ アイトラッカー
６２ 表示パネル
６５ 操作部
３１１ 基台
３１２ カメラアレイ
３２０ 球体
３２１ 撮像装置
３３０ インターフェース

Claims (17)

1. 頭部装着型映像表示装置を頭部に装着させた装着者に対して映像を表示する頭部装着型映像表示システムにおいて、
   ２以上の代替映像を取得する代替映像取得部と、
   装着者と略同一の視点で現実空間をライブ映像として撮像する撮像手段と、上記撮像手段により撮像されたライブ映像を上記装着者の眼前に表示する表示手段とを有する頭部装着型映像表示装置と、
   上記代替映像取得部により取得された何れか１以上の代替映像を上記表示されているライブ映像の不透明度を制御することにより当該ライブ映像と重ね合わせて再生する制御を行う再生制御部と
   を備えることを特徴とする頭部装着型映像表示システム。
2. 上記代替映像の表示機会を検出する上記表示機会検出部を更に備え、
   上記再生制御部は、上記表示機会検出部により上記表示機会が検出された場合に、当該ライブ映像と重ね合わせて再生する制御を行うこと
   を特徴とする請求項１記載の頭部装着型映像表示システム。
3. 上記表示手段は、上記検出された上記表示機会の種別に応じて、再生すべき代替映像を選択すること
   を特徴とする請求項２記載の頭部装着型映像表示システム。
4. 上記代替映像取得部は、上記装着者の頭部を略中心とした全方位について事前に時系列的に撮像した映像、もしくはリアルタイムに作成されたコンピューターグラフィックスなどの仮想的映像を一の代替映像として取得し、
   上記再生制御部は、当該一の代替映像を再生する場合には、上記装着者の視線又は頭部の動きに基づいて当該一の代替映像から表示すべき映像を上記時系列に沿って切り出すこと
   を特徴とする請求項１記載の頭部装着型映像表示システム。
5. 上記代替映像取得部は、公衆通信網に随時アクセスすることにより取得した情報、又は予め蓄積した情報を一の代替映像に加工すること
   を特徴とする請求項１記載の頭部装着型映像表示システム。
6. 上記再生制御部は、上記装着者の視線又は頭部の動きに基づいて、ライブ映像の再生と代替映像の再生とを切り換えること
   を特徴とする請求項１〜５のうち何れか１項記載の頭部装着型映像表示システム。
7. 上記再生制御部は、２以上の代替映像を同時に再生する場合には、上記装着者の視線又は頭部の動きに基づいて、上記２以上の代替映像間の表示を切り換えること
   を特徴とする請求項６記載の頭部装着型映像表示システム。
8. 上記不透明度を調整する機会を検出するための不透明度調整機会検出部を更に備え、
   上記再生制御部は、上記不透明度調整機会検出部により上記不透明度を調整する機会が検出された場合には、上記代替映像を重ね合わせる上記ライブ映像の不透明度を調整すること
   を特徴とする請求項１〜５のうち何れか１項記載の頭部装着型映像表示システム。
9. 上記再生制御部は、２以上の代替映像を上記表示手段の同一画面上で同時に重ね合わせて再生すること
   を特徴とする請求項１記載の頭部装着型映像表示システム。
10. 上記代替映像取得部は、一以上の時点において、代替映像を各時点につき２箇所以上に亘り、その位置情報と関連させて取得し、
    上記再生制御部は、上記時点よりも後の時点において、上記頭部装着型映像表示装置に設けられた位置情報取得部を介して取得された位置情報を取得し、当該位置情報と関連する上記代替映像を読み出してこれを再生する制御を行うこと
    を特徴とする請求項１〜９のうち何れか１項記載の頭部装着型映像表示システム。
11. 上記再生制御部は、上記代替映像取得部により２以上の時点おいて代替映像が取得されていた場合には、再生すべき代替映像の時点を選択可能とされていること
    を特徴とする請求項１０記載の頭部装着型映像表示システム。
12. 音声データを取得する音声データ取得部を更に備え、
    上記再生制御部は、上記音声データ取得部により取得された音声データを上記再生すべき代替映像に連動させて再生すること
    を特徴とする請求項１〜１０のうち何れか１項記載の頭部装着型映像表示装置。
13. 請求項１〜１２の何れか１項の記載の頭部装着型映像表示システムに使用されることを特徴とする頭部装着型映像表示装置。
14. 頭部装着型映像表示装置を頭部に装着させた装着者に対して映像を表示する頭部装着型映像表示方法において、
    ２以上の代替映像を取得し、
    装着者と略同一の視点で現実空間をライブ映像として撮像してこれを装着者の眼前に表示し、
    上記取得した何れか１以上の代替映像を上記表示しているライブ映像の不透明度を制御することにより当該ライブ映像と重ね合わせて再生すること
    を特徴とする頭部装着型映像表示方法。
15. 一以上の時点において、代替映像を各時点につき２箇所以上に亘り、その位置情報と関連させて取得し、
    上記時点よりも後の時点において、装着者の位置情報取得部を介して取得された位置情報を取得し、当該位置情報と関連する上記代替映像を読み出してこれを再生する制御を行うこと
    を特徴とする請求項１４記載の頭部装着型映像表示方法。
16. 頭部装着型映像表示装置を頭部に装着させた装着者に対して映像を表示する頭部装着型映像表示プログラムにおいて、
    ２以上の代替映像を取得する代替映像取得ステップと、
    装着者と略同一の視点で現実空間をライブ映像として撮像してこれを装着者の眼前に表示する撮像表示ステップと、
    上記代替映像取得ステップにおいて取得した何れか１以上の代替映像を、上記撮像表示ステップにおいて表示しているライブ映像の不透明度を制御することにより当該ライブ映像と重ね合わせて再生する再生制御ステップと、をコンピュータに実行させること
    を特徴とする頭部装着型映像表示プログラム。
17. 上記代替映像取得ステップでは、一以上の時点において、代替映像を各時点につき２箇所以上に亘り、その位置情報と関連させて取得し、
    上記再生制御ステップでは、上記時点よりも後の時点において、上記頭部装着型映像表示装置に設けられた位置情報取得部を介して取得された位置情報を取得し、当該位置情報と関連する上記代替映像を読み出してこれを再生する制御を行うこと
    を特徴とする請求項１６記載の頭部装着型映像表示プログラム。

Images