JP5813030B2 - 複合現実提示システム、仮想現実提示システム - Google Patents

Description

本発明は、複合現実、または仮想現実を提示するシステムにおいて表示装置の画面の焼き付きを防ぐ為のシステムに関する。

近年、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想現実空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。

画像表示装置は、ユーザの頭部に装着された光学シースルー型ディスプレイに、ユーザの視点の位置及び姿勢に応じて生成した仮想空間の画像を表示する光学シースルー方式によっても実現される。

一方、ディスプレイの画像を表示する際に焼き付きを防ぐ為の手法も開示されている（特許文献１）。具体的には、映像を表示画面に表示する表示装置に対して映像データを出力するＡＶ機器の映像データが静止画状態にあることを、当該ＡＶ機器と相互にデータ通信が可能な制御装置が把握する。そして、制御装置が映像データが静止画状態にあると把握した場合には、制御装置は、映像データの再生を停止する、電源切替プログラムを実行することによりＡＶ機器の電源部をＯＮ状態からＯＦＦ状態に切り替えるなどの動作を行うことにより焼きつきを防止する。

また、ヘッドマウントディスプレイの不使用時の無駄な電力消費を効果的に防止するために、センサを用いて、ユーザがヘッドマウントディスプレイを装着しているか否かを検知して、ユーザがヘッドマウントディスプレイを装着していなければ、ディスプレイの電源をオフにするという方法が開示されている。

特願２００７‐２８１６５４号公報 特願２００２‐２５１６６７号公報

しかしながら、特許文献１に開示されている方法では、映像が静止状態であることを把握して、電源を制御するため、ユーザがＨＭＤを装着し、複合現実感を体験している最中に、映像データを停止したり、ディスプレイの電源をオフに切り換えてしまう場合もある。そして、その場合には、ユーザが突然、複合現実映像を体験することが出来なくなり没入感を損ねるという課題がある。

また、特許文献２に開示されている方法では、ハードウェアの構成を追加する必要がありコストがかかるために、簡易的には行えないという課題がある。

本発明は、以上の課題に鑑みてなされたものであり、ユーザが体験している複合現実を損ねることなく、簡易的に低コストの焼き付き防止機能の提供を目的とする。

本発明の複合現実提示システムは、例えば、以下の構成を有する。即ち、表示装置と、該表示装置を制御する制御装置と、該制御装置を介して前記表示装置と接続し、当該表示装置に表示される合成画像を生成する情報処理装置とを含む複合現実提示システムであって、前記表示装置は、現実空間を撮像する撮像手段と、前記撮像された現実空間の画像を、前記情報処理装置に出力する第１の出力手段と、前記情報処理装置から、前記撮像された現実空間の画像と仮想空間データとが合成された合成画像を取得し、前記取得した合成画像を表示する表示手段とを備え、前記情報処理装置は、プロセッサとメモリとを有し、該プロセッサが該メモリに記憶されたプログラムを実行することにより実現される、前記表示手段の表示を制御する第１の表示制御手段と、前記表示装置から、前記撮像手段により撮像された現実空間の画像を取得し、前記現実空間の画像と前記仮想空間データとを合成し、前記表示装置へ出力する第２の出力手段と、ユーザによる操作を受け付ける受け付け手段とを備え、前記制御装置は、前記表示手段の表示を制御する第２の表示制御手段を備え、前記第１の表示制御手段は、前記第２の表示制御手段に対して、前記表示手段による表示の開始を指示する表示開始信号を送信してから、第１の時間が経過したときに、前記表示手段に確認画像を表示させ、前記確認画像に対して前記受け付け手段が前記ユーザによる操作を受け付けないまま、第２の時間が経過した場合に、前記表示手段による表示の中断を指示する表示中断信号を前記第２の表示制御手段に送信し、前記第２の表示制御手段は、前記表示中断信号を受信した場合、及び、前記表示開始信号を受信してから第３の時間が経過した場合に、前記表示手段による表示を中断させることを特徴とする。

本発明によれば、ユーザが体験している複合現実を損ねることなく、簡易的に低コストの焼き付きを防止することが可能となる。

本発明の第１の実施形態に係るシステムの機能構成例を示すブロック図である。 本発明の実施形態に係るシステムに適用可能な情報処理装置のハードウェア構成例を示すブロック図である。 本発明の第１の実施形態に係る情報処理装置の処理のフローチャートである。 本発明の第１の実施形態に係る装置制御部の処理のフローチャートである。 本発明の第２の実施形態に係るシステムの機能構成例を示すブロック図である。 本発明の第２の実施形態に係る情報処理装置の処理のフローチャートである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

（第一の実施形態）
図１は、本実施形態に係る仮想現実提示システムの機能構成例を示すブロック図である。図１に示す如く、本実施形態に係る仮想現実提示システムは、情報処理装置１０００と、表示装置１１００と、外部の表示装置１４１０と、外部の表示装置１４２０と、制御装置１５００と、画像分配部１６１０と、画像分配部１６２０と、入力部１３００で構成されている。また、情報処理装置１０００は、表示制御部１０１０、データ記憶部１０２０、位置姿勢計測部１０３０、通信部１０４０、仮想空間生成部１０５０、画像生成部１０６０で構成される。ここで、情報処理装置１０００と制御装置１５００とはデータ通信が可能なように接続されている。従って、情報処理装置１０００と制御装置１５００との間の接続は、有線、無線の何れであっても構わない。また、表示装置１１００と制御装置１５００とはデータ通信が可能なように接続されている。従って、表示装置１１００と装置制御部１５１０との間の接続は、有線、無線の何れであっても構わない。また、本実施形態では外部の表示装置として、外部表示装置１４１０と外部表示装置１４２０を記載しているがどちらか１つだけある構成でも構わない。

先ず、本実施形態の情報処理装置１０００について説明する。

情報処理装置１０００は、表示制御部１０１０、位置姿勢取得部１０３０、データ記憶部１０２０、仮想空間生成部１０５０、通信部１０４０、画像生成部１０６０、入力部１３００を備える。

表示制御部１０１０では、通信部１０４０を通じて、表示部１１１０に制御信号を送信し、表示装置１１００の表示部１１００の表示を制御する処理を行う。表示制御部１０１０による表示装置１１００の表示部１１１０への処理は、具体的には、表示部１１１０の表示のＯＮ／ＯＦＦ、スクリーンセイバー等の処理があるが、これに限られるものではない。また、本実施形態では、表示部１１１０の表示のＯＮ／ＯＦＦを行うが、表示装置１１００自体の電源のＯＮ／ＯＦＦを制御してもよい。詳細に関しては、図３のフローチャートにつき後述する。

位置姿勢取得部１０３０は、磁気センサ１１２０の計測結果を用いて、仮想空間の視点の位置及び姿勢（位置姿勢）を計測する。そして、計測結果をデータ記憶部１０２０に出力する。

データ記憶部１０２０は、上記の通り、様々な情報を格納するためのものであり、ＲＡＭやハードディスクドライブ装置などにより構成されている。なお、データ記憶部１０２０には、上記説明においてデータ記憶部１０２０に格納するものとして説明した情報のほかに、本実施形態において既知の情報として説明するものについても格納されているものとする。

仮想空間生成部１０５０は、データ記憶部１０２０に格納されている仮想空間のデータに基づいて、仮想空間データを生成する。仮想空間データには、仮想空間を構成する各仮想物体に係るデータや、仮想空間中を照射する光源に係るデータなどが含まれる。

通信部１０４０は、データ記憶部に保存されているパネルＯＮ信号及びパネルＯＦＦ信号を装置制御部１５１０に送る。

画像生成部１０６０は、仮想空間生成部１０５０で生成された仮想空間の視点から見える仮想空間の画像（仮想空間画像）を生成する。その後に、画像生成部１０６０はこの生成した仮想空間画像を画像分配部１６１０及び画像分配部１６２０を通して表示装置１１００の表示部１１１０に対して出力する。また、外部の表示装置１４１０及び表示装置１４２０に同時に表示しても良い。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成するための技術については周知の技術であるので、これについての詳細な説明は省略する。

入力部１３００は、ユーザの操作を入力することができる装置であり、情報処理装置１０００を開始・終了・操作するなどの際に利用する。例えば、後述の、確認画面に対して、再開の処理を行うための入力にも用いられる。ここで、入力部１３００は、前記の目的が達成されるのであれば、いかなる入力装置であっても良く、例えばマウスであっても良いし、キーボードなどのボタン型装置であっても良いし、例えばユーザのジェスチャを認識することによって入力する装置であっても良い。

次に、本実施形態の制御装置１５００について説明する。

制御装置１５００は、上記のように、表示装置１１００と情報処理装置１０００とデータ通信を行うように接続された制御装置である。制御装置１５００は、不図示の通信部と装置制御部１５１０を備えている。

装置制御部１５１０は、不図示の通信部を通じて、通信部１０４０から表示部１１１０のＯＮ／ＯＦＦ信号を受信し、不図示の通信図を通じて、表示装置１１００に送信し、表示部１１１０の表示の制御（表示のＯＮ／ＯＦＦやスクリーンセイバー等）を行う。また、装置制御部１５１０は、表示装置１１００の電源を備えており、ユーザにより装置制御部１５１０が備える表示装置１１００の電源がＯＮされたことにより、表示装置の電源がＯＮされ、表示部１１１０の電源もＯＮされる。ユーザにより電源がＯＦＦされると、表示装置１１００の電源がＯＦＦされるため、表示部１１１０の表示もＯＦＦされる。また、不図示の通信部を通じて、画像分配部１６１０および１６２０から仮想空間画像を受信し、不図示の通信部を通じて、後述の表示部１１１０に送信する。また、後述のように、通信部１０４０を通じて、表示制御部１０１０からの制御信号がなくても、所定の条件を満たした場合に、表示部１１１０の表示の制御を行う。また、本実施形態では、制御装置１５００を表示装置１１００の外部に備えているが、制御装置１５００の機能を表示装置１１００が備えていてもかまわない。即ち、表示装置１１００と制御装置１５００とが一体として形成されていてもかまわない。

次に、本実施形態の表示装置１１００について説明する。

表示装置１１００は、表示部１１１０、磁気センサ１１２０、不図示の通信部を備えている。液晶画面や有機ＥＬなどで構成されている表示装置で、例えば、ユーザの頭部に装着して、ユーザに画像を観察させる頭部装着型表示装置（ヘッドマウントディスプレイ、ＨＭＤ）や、ユーザが手にとり、双眼鏡のように覗き込むことによって画像を観察するハンドヘルド型表示装置（ＨＤＤ）、タブレット・スマートフォン等の表示端末であっても良い。本実施形態では、表示装置１１００として、ステレオ型のＨＭＤを用いて説明を行う。表示装置１１００は、情報処理装置１０００から送出された画像を表示する。表示装置１１００の表示部１１１０は、それぞれ右目用と左目用とが設けられており、夫々は、表示部１１００を頭部に装着したユーザの右目、左目の眼前に位置するように、に取り付けられている。

表示部１１１０は、液晶画面などで構成されている。不図示の通信部、装置制御部１５１０を通じて、情報処理装置１０００から出力され画像分配部１６１０及び画像分配部１６２０で分配された画像を左目と右目に表示する。

磁気センサ１１２０は、後述の磁場発生装置１２００が発生させた磁場の変化を計測し、表示装置１１００の位置姿勢を計測する。計測結果を情報処理情報処理装置１０００のデータ記憶部１０２０に入力する。

磁界発生装置１２００は、表示装置１１００の位置姿勢を計測するための磁場を発生させる。発生した磁場のデータを情報処理装置１０００のデータ記憶部１０２０に入力する。発生した磁場の変化は、上記の磁気センサで計測される。

外部表示装置１４１０、１４２０は、画像分配部１６１０、１６２０を通して、画像生成部１０６０で生成された画像を表示する。表示装置１１００の表示部１１１０のそれぞれの画面と同じ画像が表示される。外部の表示装置１４１０、１４２０は、情報処理装置１００の処理内容を表示する表示装置として機能する。また、表示装置を装着しているユーザ以外の第三者がユーザがどんな画像をみているかを観察するために設けられている。また、ユーザが表示装置１１００を装着する前に、外部表示装置により画像を確認することにも用いられる。また、後述のように、表示装置１１１０の表示がＯＦＦになった状態でも、ユーザに対して表示された確認画像に対する応答にも用いることができる。

図３は、情報処理装置１０００が、装置制御部１５１０に表示パネルＯＮ／ＯＦＦの信号を送ると共に仮想空間画像を生成し、画像分配部１６１０及び画像分配部１６２０に対して出力するために行う処理のフローチャートである。

先ず、ステップＳ３０００において、表示制御部１０１０はパネルＯＮ信号をデータ記憶部１０２０及び通信部１０４０を通して装置制御部１５１０に送り、ステップＳ３０１０に処理を移す。また、ＯＮ信号を送信する前に表示装置をユーザが利用しているか否かを判断するために、カメラの構成がステレオの時だけパネルＯＮ信号を送信してもよい。

ステップＳ３０１０において、位置姿勢計測部１０３０は表示装置１１００の世界座標系での位置姿勢を計測する。そして、位置姿勢計測部１０１０は視点の位置姿勢計測結果をデータ記憶部１０２０に保存する。そしてステップＳ３０２０に処理を移す。

ステップＳ３０２０では、仮想空間生成部１０５０は、データ記憶部１０２０に保存されている視点の位置姿勢計測結果を仮想空間の視点の位置姿勢として設定する。そして、ステップＳ３０３０に処理を移す。

ステップＳ３０３０では、仮想空間生成部１０５０は、ステップ３０２０で設定された視点の位置姿勢と仮想物体から仮想空間を生成する。そして、ステップＳ３０４０に処理を移す。

ステップＳ３０４０では、画像生成部１０６０は、データ記憶部１０２０から仮想空間を読み出し、視点の位置姿勢から見える画像を生成し、画像分配部１６１０及び画像分配部１６２０に出力する。画像分配部１６１０は１４１０及び装置制御部１５１０に対して画像の出力を行う。装置制御部１５１０は表示装置１１００の表示部１１１０に対して出力する。そして、ステップ３０５０に処理を移す。

ステップＳ３０５０において、ステップＳ３０００のＯＮ信号送信後、３０分（第１の時間）経過していない場合は処理をステップＳ３０１０に戻す。経過した場合は、ステップＳ３０８０に処理を移す。

ステップＳ３０６０では、表示制御部１０１０は、表示部１１１０に、確認画像の表示を行い、ステップＳ３０９０に処理を移す。本実施形態における確認画像とは、ユーザに複合現実感提示システムの使用の継続を確認するための画像のことをいう。つまり、表示部１１００に画像が表示され、ある一定時間ユーザが仮想現実を体験した後に、引き続き使用するかを確認するための画像である。確認画像を表示し、後述の第２の時間以内にユーザからの操作があるかに応じて、表示部１１１０の表示を制御することにより、ユーザが表示装置１１００を外し放置している状態で、表示部１１１０の表示がなされたままによる焼き付けを防止することができる。また、本実施形態では、確認画像には、ユーザが複合現実感提示システムの使用を継続する意思表示として、再開ボタンを配置しておく。もちろん確認画像に、使用を継続する、使用を終了するなどのボタンを配置してもよい。

ステップ３０７０、３０８０において、ユーザが、５分以内（第２の時間）が経過する前に、入力部１３００によって、確認画像に表示される再開ボタンを押下した場合は、処理をステップＳ３０００に移す。一方、押下しなかった場合は、表示制御部１０１０は、パネルＯＦＦ信号をデータ記憶部１０２０及び通信部１０４０を通して装置制御部１５１０に送りステップＳ３０９０に処理を移す。

確認画像を表示し、第２の時間以内にユーザからの応答がない場合に、以下のステップＳ３０９０で表示部１１１０の表示を自動的にＯＦＦすることにより、ユーザが表示装置１１００を外している状態で、表示部１１１０の表示がなされたままによる焼き付けを防止することができる。つまり、第２の時間は、ユーザからの応答を待機するための時間である。

ステップＳ３０９０では、表示制御部１０１０は、ＯＦＦ信号をデータ記憶部１０２０及び通信部１０４０を通して装置制御部１５１０に送り、装置制御部１５１０から表示部１１００にＯＦＦ信号が送られ、表示部の表示がＯＦＦになり（第１の表示制御）、処理を終了する。表示部１１００の表示がＯＦＦになった後も、外部の表示装置１４１０、１４２０に確認画像を表示しておき、ユーザからの確認画像に対する操作を受け付けることができる。ユーザから再開の指示があれば（ステップＳ３０７０に相当）、ステップＳ３０００に処理が戻る。

以上のように、表示装置１１００の表示部１１１０の制御を、情報処理装置１０００によって行うことが可能になる。

図４は、装置制御部１５１０が、表示装置１１００に対してＯＮ／ＯＦＦの信号を送る処理のフローチャートである。

先ず、ステップＳ４０００において、ユーザの操作に応じて制御装置１５００の装置制御部１５１０からの信号により、表示装置１１００の電源をＯＮにする。表示装置１１００の電源がＯＮされたことに伴って、表示部１１１０の表示もＯＮされる。そして、ステップＳ４０１０に処理を移す。

ステップＳ４０１０では、表示制御部１０１０から、通信部１０４０を通じて表示部１１１０に対して、ステップＳ３０００により送信されるＯＮ信号が送信されているかを確認する。ＯＮ信号が送信されている場合には、ステップＳ４０５０に処理を移す。信号がない場合は、ステップＳ４０２０に処理を移す。

ステップＳ４０２０では、ステップＳ４０００の処理がされてから、５分（第４の時間）経過したか確認を行う。５分経過していれば処理をステップＳ４０４０に処理を移す。５分経過していなければ処理をステップＳ４０１０に処理を戻す。この処理は、５分間、たとえ表示制御部１０１０からのＯＮ信号が受信できなくても、表示部１１１０の表示をＯＮにする。この処理により、外部表示装置１４１０、１４２０が接続されていないなどの環境で、ユーザが画像を確認できない場合でも、ユーザがある一定期間（第４の時間）表示装置を装着して、情報処理装置１０００の操作を行うことができる。

ステップＳ４０３０では、ステップＳ４０２０で表示制御部１０１０からのＯＮ信号の受信を確認してから、４０分（第３の時間）経過したか確認を行う。４０分経過していればステップＳ４０５０に処理を移す。４０分経過していなければ、再びステップＳ４０３０に処理を移す。この処理により、情報処理装置１０００の電源が抜かれたりしたなどの理由で、表示制御部１０１０からのＯＮ信号が来ない場合でも、装置制御部１５１０により、以下のステップ４０４０において、自動的に表示をＯＦＦにする（第２の表示制御）ことができる。つまり、図３で説明した通常の表示制御部１０１０による表示部１１１０への制御ができない場合に機能するものであるため、第３の時間は、第１の時間と第２の時間を加算した時間よりも長い時間であることが望ましい。

ステップＳ４０４０では、制御装置１５００の装置制御部１５１０が、表示装置１１００の表示部１１１０の表示をＯＦＦにする。表示部１１１０の表示がＯＦＦにされた後も、表示制御部１０１０からＯＮ信号が送信されてきた場合は、ステップＳ４０１０から処理が再開し、表示部１１１０の表示がＯＮされる。

図４において、ステップＳ４０３０からステップＳ４０５０の間の処理は、表示制御部１０１０からのＯＮ信号がある状態であるので、並行して、図３のステップＳ３０００からの処理が行われる。例えば、ステップＳ４０３０の処理後、第３の時間のカウントがされていても、ステップＳ３０７０でユーザによる応答がなされた場合には、上記の第３の時間をカウントがリセットされる。即ち、第３の時間のカウントの始点が、ステップＳ４０３０の時点から、ステップＳ３０７０の時点に変更される。

また上記説明したフローチャートのいずれの段階においても、ユーザは、装置制御部１５１０や入力部１３００を通じて仮想現実感システムを終了することができる。

なお、本実施形態では、第１の時間として３０分、第２の時間として５分、第３の時間として４０分、第４の時間として５分を設定したが、あくまで例示の値であり、本実施形態で示した値に限られるものではない。即ち、使用するシーンやユーザによってふさわしい値にすればよい。また、入力部１３００を通じて、ユーザがカスタマイズできるようにしてもよい。また、固定の値とせず、使用回数、使用時間などのパラメータに応じて、可変の値としてもよい。

以上のように、本実施形態によれば、表示装置１１００の表示部１１１０の表示の制御を確実かつ低コストの焼き付き防止機能を提供する事が可能となる。

（第２の実施形態）
第１の実施形態では、表示装置１１００は、ユーザに仮想現実空間を提示する装置であった。本実施形態では、現実空間を撮像して、撮像した現実空間の画像と仮想空間の画像を合成してユーザに複合現実空間を提示するビデオシースルータイプのＨＭＤを表示装置として、本発明を適用した例について説明する（複合現実提示システム）。図５は、ビデオシースルータイプのＨＭＤ５１００を利用した場合を示した図である。図１と同じ部分については同じ番号をつけており、その説明を省略する。

第２の実施形態の表示装置５１００は、上記のように、第１の実施形態の表示装置１１００の構成に対して、更に撮像部５１１０を備えている。

撮像部５１１０は、撮像機能を有しており、現実空間の動画像を撮像するものである。そして撮像部５１１０は、不図示の通信部を通じて、撮像した動画像を構成する各フレームの画像（現実空間画像）を順次、装置制御部５０２０に対して出力する（第１の出力）。そして、装置制御部５０２０は、不図示の通信部を通じて、画像入力部５０４０に送出する。撮像部５１１０は、それぞれ右目用と左目用とが設けられており、それぞれ、表示装置５１００を頭部に装着した使用者の右目から見える現実空間の動画像、左目から見える現実空間の動画像を撮像する。

次に、情報処理装置５０００について説明する。

画像入力部５０４０は、装置制御部５２００から送出された右目用の現実空間画像、左目用の現実空間画像を取得する。そして取得したそれぞれの現実空間画像をデータ記憶部１０２０に格納する。また、第１の実施形態で、通信部１０４０により行われた、装置制御部１５１０への様々な信号の通信は、本実施形態では、画像入力部５０４０によって行われる。すなわち、装置制御部５２００から現実空間画像を取得する手段を通じて、信号を送信する。もちろん、第１の実施形態と同様に、専用の通信部を設けて、信号を送信してもよい。

画像生成部５０６０は、仮想空間生成部１０５０にて生成された仮想空間のデータに基づいて、仮想空間を構築する。仮想空間のデータには、仮想空間を構成する各仮想物体に係るデータや、仮想空間中を照射する光源に係るデータが含まれる。そして、視点から見える仮想空間の画像（仮想空間画像）を生成する。その後に、データ記憶部１０２０に格納されている現実空間画像を描画する。そして描画したこの現実空間画像上に、仮想空間画像を重畳描画することで、係るメモリ上に現実空間画像と仮想空間画像との合成画像を生成する。そしてこの生成した合成画像を右目と左目に分けて画像分配部１６１０及び画像分配部１６２０に対して出力（第２の出力）する。この時、仮想空間生成部１０５０では奥行等の情報から現実空間のデータを生成してもよい。

図６は、情報処理装置５０００が、装置制御部５２００に表示パネルＯＮ／ＯＦＦの信号を送ると共に複合現実感画像を生成し、画像分配部１６１０及び画像分配部１６２０に対して出力するために行う処理のフローチャートである。図１、図２と同じ部分については同じ番号を付けており、その説明を省略する。

ステップＳ５０００において、装置制御部５２００は、撮像部５１１０から送出された現実空間画像（撮像結果）を取得し画像入力部５０４０に送信し、データ記憶部１０２０に保存する。そして処理をステップＳ３０１０に処理を移す。

ステップＳ５０４０において、画像生成部５０６０は、視点から見える仮想空間と現実空間画像を重畳した空間を生成する。 そして、ステップＳ３０５０に処理を移す。ステップＳ３０５０以降の処理は、第１の実施形態と同様であるので、説明を省略する。
また、第１の実施形態で、図４を用いて説明したように、第２の実施形態でも、装置制御部５２００が、表示装置５１００の表示部１１１０に対してＯＮ／ＯＦＦの信号を送る処理を行う。これについても、第１の実施形態ですでに説明したものと同様であるので、説明を省略する。

以上のように、本実施形態によれば、確実かつ低コストの焼き付き防止機能を提供する事が可能となる。

図２は、本発明の情報処理装置におけるハードウェア構成例を示すブロック図である。

ＣＰＵ２００１は、ＲＡＭ２００２やＲＯＭ２００３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、上記各実施形態で情報表示装置が行うものとして説明した上述の各処理を実行する。

ＲＡＭ２００２は、外部記憶装置２００７や記憶媒体ドライブ２００８からロードされたプログラムやデータを一時的に記憶するための領域を有する。更にＲＡＭ２００２は、Ｉ／Ｆ（インターフェース）２００９を介して外部から受信したデータを一時的に記憶するためのエリアを有する。外部とは磁界発生装置１１２０、制御装置１５００、５２００などを指す。更に、ＲＡＭ２００２は、ＣＰＵ２００１が各処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ２００２は、各種エリアを適宜提供することができる。例えば、ＲＡＭ２００２は、図１に示したデータ記憶部１０２０としても機能する。

ＲＯＭ２００３には、コンピュータの設定データやブートプログラムなどが格納されている。

キーボード２００４、マウス２００５は、操作入力装置の一例としてのものであり、コンピュータのユーザが操作することで、各種の指示をＣＰＵ２００１に対して入力することができる。

表示部２００６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２００１による処理結果を画像や文字などで表示することができる。外部の表示装置１４１０、１４２０に行わせてもよいし、それ以外の表示装置を別に用いてもよい。例えば、表示部２００６には、表示装置１１００、５１００の位置姿勢計測のために表示すべきメッセージなどを表示することができる。

外部記憶装置２００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置２００７には、ＯＳ（オペレーティングシステム）や、情報提示装置が行うものとして説明した上述の各処理をＣＰＵ２００１に実行させるためのプログラムやデータが格納されている。係るプログラムには、位置姿勢取得部１０３０、画像生成部１０６０、画像生成部５０６０などのそれぞれに対応するプログラムが含まれている。また、係るデータには、仮想空間のデータや、上述の説明において、既知の情報として説明したものが含まれている。外部記憶装置２００７に保存されているプログラムやデータは、ＣＰＵ２００１による制御に従って適宜ＲＡＭ２００２にロードされる。ＣＰＵ２００１はこのロードされたプログラムやデータを用いて処理を実行することで、情報提示装置が行うものとして上述した各処理を実行することになる。なお、外部記憶装置２００７は、図１、図５に示したデータ記憶部１０４０として用いても良い。

記憶媒体ドライブ２００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されたプログラムやデータを読み出したり、係る記憶媒体にプログラムやデータを書き込んだりする。なお、外部記憶装置２００７に保存されているものとして説明したプログラムやデータの一部若しくは全部をこの記憶媒体に記録しておいても良い。記憶媒体ドライブ２００８が記憶媒体から読み出したプログラムやデータは、外部記憶装置２００７やＲＡＭ２００２に対して出力される。

Ｉ／Ｆ２００９は、制御装置１５００、５２００を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、また、合成画像を表示装置１１００、５１００に対して出力するためのイーサネット（登録商標）ポートなどによって構成される。Ｉ／Ｆ２００９を介して受信したデータは、ＲＡＭ２００２や外部記憶装置２００７に入力される。なお、図５に示した画像入力部５０４０の機能の一部は、Ｉ／Ｆ２００９によって実現される。また、位置姿勢の取得にセンサシステムを用いる場合、このＩ／Ｆ２００９には、センサシステムを接続することになる。

２０１０は、上述の各部を繋ぐバスである。

（その他の実施形態）
第１および第２の実施形態では、表示装置として左右の表示装置を持ったステレオ表示型のＨＭＤで説明を行ったが、本発明はこれに限定されない。例えば、表示装置が１つの単眼型ＨＭＤであっても良い。また、ＨＭＤではなく、位置姿勢の計測機能が付いた表示装置であっても良いし、位置姿勢の計測装置と表示装置が分離していても良い。さらに、撮像装置の付いた表示装置であっても良いし、撮像装置と表示装置が分離していても良い。

第１、第２の実施形態では、位置姿勢を計測するセンサーとして磁気センサーを用いたが、画像処理により現実空間の特徴を抽出することにより、位置姿勢を計測しても良い。また、赤外光を用いて位置姿勢を計測しても良いし、超音波を用いて位置姿勢を計測しても良いし、機械的に位置姿勢を計測しても良い。

図１、図５に示した、映像提示装置を構成する各部は全て、上記実施形態ではハードウェアで構成されているとして説明した。しかし、その一部をソフトウェアで構成しても良い。その場合、残りの部分をハードウェアとして実装しているコンピュータに、このソフトウェアを実行させることで、このコンピュータは、上記実施形態で説明した情報表示装置の動作を行うことになる。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

Claims (8)

1. 表示装置と、該表示装置を制御する制御装置と、該制御装置を介して前記表示装置と接続し、当該表示装置に表示される合成画像を生成する情報処理装置とを含む複合現実提示システムであって、
   前記表示装置は、
   現実空間を撮像する撮像手段と、
   前記撮像された現実空間の画像を、前記情報処理装置に出力する第１の出力手段と、
   前記情報処理装置から、前記撮像された現実空間の画像と仮想空間データとが合成された合成画像を取得し、前記取得した合成画像を表示する表示手段とを備え、
   前記情報処理装置は、プロセッサとメモリとを有し、該プロセッサが該メモリに記憶されたプログラムを実行することにより実現される、
   前記表示手段の表示を制御する第１の表示制御手段と、
   前記表示装置から、前記撮像手段により撮像された現実空間の画像を取得し、前記現実空間の画像と前記仮想空間データとを合成し、前記表示装置へ出力する第２の出力手段と、
   ユーザによる操作を受け付ける受け付け手段とを備え、
   前記制御装置は、
   前記表示手段の表示を制御する第２の表示制御手段を備え、
   前記第１の表示制御手段は、前記第２の表示制御手段に対して、前記表示手段による表示の開始を指示する表示開始信号を送信してから、第１の時間が経過したときに、前記表示手段に確認画像を表示させ、前記確認画像に対して前記受け付け手段が前記ユーザによる操作を受け付けないまま、第２の時間が経過した場合に、前記表示手段による表示の中断を指示する表示中断信号を前記第２の表示制御手段に送信し、
   前記第２の表示制御手段は、前記表示中断信号を受信した場合、及び、前記表示開始信号を受信してから第３の時間が経過した場合に、前記表示手段による表示を中断させることを特徴とする複合現実提示システム。
2. 前記表示装置と前記制御装置は、一体で形成されていることを特徴とする請求項１に記載の複合現実提示システム。
3. 前記確認画面が表示され、前記ユーザが第２の時間が経過する前に操作をした場合には、前記第２の表示制御手段による前記第３の時間が経過するか否かの計測の始点を、前記情報処理装置から前記表示装置へ前記仮想空間データを出力した時点から、前記ユーザが第２の時間が経過する前に操作をした時点に変更することを特徴とする請求項１または２に記載の複合現実提示システム。
4. 前記第１の表示制御手段と前記第２の表示制御手段のうち、少なくともいずれか一方は、前記表示手段による表示をＯＦＦにする制御を行うことを特徴とする請求項１乃至３のいずれか１項に記載の複合現実感提示システム。
5. 前記表示装置は、頭部装着型表示装置またはハンドヘルド型表示装置であることを特徴とする請求項１乃至４のいずれか１項に記載の複合現実提示システム。
6. 前記情報処理装置は、
   更に、ユーザの頭部の位置及び姿勢を取得する位置姿勢取得手段を備えることを特徴とする請求項５に記載の複合現実提示システム。
7. 前記位置姿勢取得手段は、前記現実空間の画像から、特徴を抽出することにより、位置及び姿勢を取得することを特徴とする請求項６に記載の複合現実提示システム。
8. 表示装置と、該表示装置を制御する制御装置と、該制御装置を介して前記表示装置と接続し、当該表示装置に表示される画像を生成する情報処理装置とを含む仮想現実提示システムであって、
   前記表示装置は、
   前記情報処理装置から、画像を取得する取得手段と、
   前記取得した画像を表示する表示手段とを備え、
   前記情報処理装置は、プロセッサとメモリとを有し、該プロセッサが該メモリに記憶されたプログラムを実行することにより実現される、
   前記表示手段の表示を制御する第１の表示制御手段と、
   前記表示装置で表示するための画像を、前記表示装置へ出力する出力手段と、
   ユーザによる操作を受け付ける受け付け手段とを備え、
   前記制御装置は、
   前記表示手段の表示を制御する第２の表示制御手段を備え、
   前記第１の表示制御手段は、前記第２の表示制御手段に対して、前記表示手段による表示の開始を指示する表示開始信号を送信してから、第１の時間が経過したときに、前記表示手段に確認画像を表示させ、前記確認画像に対して前記受け付け手段が前記ユーザによる操作を受け付けないまま、第２の時間が経過した場合に、前記表示手段による表示の中断を指示する表示中断信号を前記第２の表示制御手段に送信し、
   前記第２の表示制御手段は、前記表示中断信号を受信した場合、及び、前記表示開始信号を受信してから第３の時間が経過した場合に、前記表示手段による表示を中断させることを特徴とする仮想現実提示システム。

Images