JP2008103916A - 頭部装着型画像表示装置およびシステム - Google Patents

Abstract

【課題】 表示系歪み補正データ破損時に破損検出し、ある程度の画像を提供すること。
【解決手段】 表示系歪み補正データを左右別々に複数の記憶媒体に分割して保存し、検出用のコードを補正データの末尾に付加する。
【選択図】 図１

Description

本発明は、頭部装着型の画像表示装置およびシステムに関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ装着者が観察できる技術が知られている。

図５は、ビデオシースルーＨＭＤ５０１を装着したときの外観図である。

図６は、ビデオシースルーＨＭＤ１００の簡単なブロック図である。ＨＭＤに表示する画像を撮像する撮像ユニット１４０Ｒ、１４０Ｌ、撮像された画像にＣＧを重畳表示するなどの画像処理を行う画像処理ユニット２００、撮像画像とＣＧの合成画像を表示する表示ユニット１１０Ｒ、１１０Ｌ、及び表示ユニット１１０Ｒ、１１０Ｌを制御するＭＰＵ１２０で構成される。

画像処理ユニット２００は、ＰＣやＷＳなどで構成される。

表示ユニット１１０Ｒ、１１０Ｌは，ｐ−ＳｉＴＦＴやＬＣＯＳなどの表示素子１１１Ｒ、１１１Ｌ、表示データを補正する補正部１１２Ｒ、１１２Ｌ、外部から入力される表示画像信号を受信する表示画像入力部１１４Ｒ，１１４Ｌなどから構成される。

以上の構成により、ビデオシースルーＨＭＤを装着することで、現実世界と仮想世界とがリアルタイムにシームレスに融合した複合現実世界を体験できる。
従来例としては、例えば、歪みの補正データを複数データ持ち、このデータを１つの記憶媒体に保存するものがある（特許文献１参照）。
特開２００１−２５０１１４号公報

従来の画像撮像表示装置およびシステムでは、表示するための歪み補正データが破損した場合、該破損が不明のため破損したままの補正データを使用し、画像補正を行う欠点があった。

また補正データを１つの記憶媒体に保存することで、破損した場合、全く画像が保証されなかった。

本発明の目的を達成するために、例えば本発明の頭部装着型表示装置は以下の構成を備える。

即ち、外界を撮影する左眼用及び右眼用の撮像手段と、前記撮像手段で撮像された画像を外部へ出力する撮像画像出力手段と、画像を入力する表示画像入力手段と、前記表示画像入力手段で入力された画像を両眼に表示する左眼用及び右眼用表示手段とを備えた画像表示装置であって、表示のための左眼用及び右眼用表示画像を歪み補正するための補正手段と、表示系の歪み補正するための表示系歪み補正データを格納する記憶媒体を左眼用及び右眼用に別々に複数個保持し、表示系歪み補正データチェック用の演算手段を設け、前記演算手段において、異常時は警告を発する手段を備え、異常時は代替処理を行う処理手段を備えることを特徴とする。

本発明によれば、表示系歪み補正データを複数の記憶媒体に分割して保持している。

表示系歪み補正データ破損検出時、簡単な構成で該補正データの破損していない歪み補正データを使用し、表示系歪み補正データ破損時の影響を回避することで、可視化能力に高いストレスの少ない画像表示が可能となる。

また、現在使用していない補正データでも、予め破損したことを知ることが可能となる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

図１は、本実施例に係る頭部装着型の装置（以下ビデオシースルーＨＭＤまたは 単にＨＭＤと呼ぶ）における画像表示システム部のシステム構成を示すブロック図である。

ビデオシースルーＨＭＤ１００の画像表示部は、左右の表示ユニット１１０Ｒ、１１０Ｌ、ＭＰＵ１２０から構成される。

表示ユニット１１０Ｒ、１１０Ｌは、画像処理ユニット２００からのデジタル画像信号を受信する表示入力部１１４Ｒ、１１４Ｌ、表示するために、画像を歪み補正する表示補正部１１２Ｒ、１１２Ｌ、補正するための表示系歪み補正データ（以下、補正データ）が格納されている記録媒体部１１３Ｒ、１１３Ｌ、表示素子１１１Ｒ、１１１Ｌなどから構成される。

補正データが格納されている記録媒体部１１３Ｒ、１１３Ｌは、左右別々に複数個で構成される。

表示画像入力インターフェースケーブル１３０Ｒ、１３０Ｌによって、ビデオシースルーＨＭＤ１００に入力される画像は、表示画像入力部１１４Ｒ、１１４Ｌに送られる。

表示画像入力部１１４Ｒ、１１４Ｌに送られた画像は、補正部１１２Ｒ、１１２Ｌに送られ、表示のための歪み補正処理が施される。

歪み補正処理された画像は、表示素子１１１Ｒ、１１１Ｌに送られて表示される。

ビデオシースルーＨＭＤ１００の設定等を外部から行うため、ビデオシースルーＨＭＤ１００は外部コントローラ２１０と接続される。

次にビデオシースルーＨＭＤ１００の記憶媒体部１１３Ｒ、１１３Ｌへの補正データ格納方法について説明する。

図２は、記憶媒体が３０１、３０２、３０３、３０４と４個の時に、補正データ種類を４００、４１０、４２０、４３０と４種類格納した時の図である。

補正データ４００は４０１、４０２、４０３、４０４に４つに分割されて（以下、分割補正データ）、それぞれ記憶媒体３０１、３０２、３０３、３０４に格納される。

チェックサム値は、１つの分割補正データの４バイト単位での総足し算とＭＰＵ１２０で保持している固定値（０以外）の足し算結果の、２の補数とする。

分割補正データ４０１の最後４バイトには、分割補正データ４０１の前記方法によるチェックサム値４バイトを付加する。

複数の記憶媒体において、補正データの分割方法は、４バイト単位であれば、分割されるサイズは同じサイズでなくても可能とする。

次に記憶媒体部１１３Ｒ、１１３Ｌの中に格納されている補正データのチェック方法について説明する。

図３は、ＭＰＵ１２０が記録媒体部１１３Ｒ、１１３Ｌに格納されている補正データのチェックを行う処理手順である。

ビデオシースルーＨＭＤ１００起動時、もしくは補正データ変更時にＭＰＵ１２０は、Ｓ１００で記録媒体部１１３Ｒ、１１３Ｌに格納されていて、今から使用する補正データのチェックを行う。

図２の補正データ４００を使用する場合、分割補正データ４０１、４０２、４０３、４０４に対して全てチェックを行う。

チェック方法は、以下の手順で行う。

分割補正データ４０１を４バイト単位に足し算を行い、かつＭＰＵ１２０で保持している固定値を足し算する。

上記演算処理の判定によると、分割補正データ４０１が破損していない場合は、必ず０となる。

また、何らかの要因で記憶媒体３０１の中身、もしくは分割補正データ４０１が全て０になった場合、上記方法によると演算結果は０とならないため、分割補正データ４０１が異常であると判定可能となる。

Ｓ１０１では、該当補正データのチェックを分割補正データに対して全て実施し、一つでも異常の場合は、異常と判定する。

図２の補正データ４００を使用する場合、分割補正データ４０１、４０２、４０３、４０４に対して全て異常判定を行う。

全て正常の場合、Ｓ１０２で、該当補正データを使用するための処理を実施する。

１つでも異常の場合、Ｓ１０３で、異常検出時の処理を実施する。

異常検出時、外部コントローラ２１０によって予め設定された種類により、Ｓ１０３で以下の実施例２、３のどちらかの処理を行う。

分割された右または左の補正データが１つ以上破損した場合、もう片方の同じエリアの補正データを使用し、同時にユーザーに警告で知らせる。

図２で補正データ４００を使用する場合で、右側の分割補正データ４０１が破損していた場合、右側の分割補正データ４０１の代わりに左側の分割補正データ４０１を使用する。

つまり、右側の分割補正データ４０１破損時、右側補正部１１２Ｒが使用する補正データは、左側４０１、右側４０２、右側４０３、右側４０４となる。

この方法では、補正データ破損時、全く画像が補正されないことを防ぎ、ある程度、補正された画像をユーザーに提供することが可能となる。

異常検出時、警告を表示ユニット１１０Ｒ、１１０Ｌ上に表示させユーザーに現在使用している補正データが破損している旨を知らせる。

警告情報は、左右どちらの、どの補正データが破損しているかの情報から構成される。

また、警告を表示ユニット１１０Ｒ、１１０Ｌだけではなく、外部コントローラ２１０、画像処理ユニット２００でユーザーに知らせてもよい。

二つめの方法として、分割された右または左の補正データが１つ以上破損した場合、何も画像を表示させずに、同時にユーザーに警告で知らせる。

この方法では、警告を表示すると共に、破損時はユーザーに全く使用できなくすることが可能となる。

次にシステム起動後の記憶媒体部１１３Ｒ、１１３Ｌ中に格納されている補正データのチェック方法について説明する。

図４はビデオシースルー１００起動時の補正データチェック方法である。

Ｓ２００は、前記で説明したビデオシースルーＨＭＤ１００起動時、使用する補正データチェック処理である。

Ｓ２００で該補正データのチェックを行い、ビデオシースルーＨＭＤ１００起動後、Ｓ２０１で現在使用していない他の補正データのチェックを行う。

チェック方法については、前記手段と同様である。

Ｓ２０２で異常検出時、Ｓ２０３で異常時処理を実施する。

Ｓ２０３では、警告を表示ユニット１１０Ｒ、１１０Ｌ上に表示させユーザーに現在使用している補正データ以外の補正データが破損している旨を知らせる。

警告情報は、左右どちらの、どの補正データが破損しているかの情報から構成される。

また、警告を表示ユニット１１０Ｒ、１１０Ｌだけではなく、外部コントローラ２１０、画像処理ユニット２００でユーザーに知らせてもよい。

本発明の実施例１に係る頭部装着型の画像表示装置（ビデオシースルーＨＭＤ）における画像表示システム部の構成図 本発明の実施例１に係る補正データを複数記憶媒体への格納方法を説明する構成図 本発明の実施例１に係る該当補正データチェックの処理について説明するフローチャート図 本発明の実施例４に係る全ての補正データチェックの処理について説明するフローチャート図 ビデオシースルーＨＭＤを装着したときの外観図 ビデオシースルーＨＭＤを説明するための簡単なブロック図

符号の説明

１００ ビデオシースルーＨＭＤ
１１０Ｒ、１１０Ｌ 表示ユニット
１１１Ｒ、１１１Ｌ 表示素子
１１２Ｒ、１１２Ｌ 補正部
１１３Ｒ、１１３Ｌ 記憶媒体部
１１４Ｒ、１１４Ｌ 表示画像入力部
１２０ ＭＰＵ
１３０Ｒ、１３０Ｌ 表示画像入力インターフェース
１４０Ｒ、１４０Ｌ 撮像ユニット
２００ 画像処理ユニット
２１０ 外部コントローラ
３０１、３０２、３０３、３０４ 記録媒体
４００、４１０、４２０、４３０ 補正データ
４０１、４０２、４０３、４０４ 補正データ４００の分割補正データ
４１１、４１２、４１３、４１４ 補正データ４１０の分割補正データ
４２１、４２２、４２３、４２４ 補正データ４２０の分割補正データ
４３１、４３２、４３３、４３４ 補正データ４３０の分割補正データ
５０１ ビデオシースルーＨＭＤの装着図

Claims (4)

1. 外界を撮影する左眼用および右眼用の撮像手段と、
   前記撮像手段で撮影された画像を外部へ出力する撮像画像出力手段と、
   画像を入力する表示画像入力手段と、
   前記表示画像入力手段で入力された画像を両眼に表示する左眼用および右眼用表示手段と、
   前記前記左眼用および右眼用の表示手段に係る情報を演算する演算手段を備えた画像表示装置において、
   前記左眼用および右眼用の演算手段のための情報を分割して複数記憶媒体に保存することを特徴とする、頭部装着型画像表示装置。
2. 前記左眼用および右眼用の演算手段のために複数記憶媒体に分割した情報の整合性をチェックすることを特徴とする、請求項１に記載の頭部装着型画像表示装置。
3. 前記左眼用および右眼用の演算手段のために複数記憶媒体に分割した情報の整合性をチェックし、異常時、代替処理を実施することを特徴とする、請求項２に記載の頭部装着型画像表示装置。
4. 前記左眼用および右眼用の演算手段のために複数記憶媒体に分割した情報の整合性をチェックし、異常時、ユーザーに警告で知らせることを特徴とする、請求項３に記載の頭部装着型画像表示装置。

Images