JP2013120988A - 頭部装着型表示装置 - Google Patents

Abstract

【課題】 被写体から微弱な光しか検出できないときでも、外界を視認できる頭部装着型表示装置を提供する。
【解決手段】 暗視カメラ２Ｌ、２Ｒと、表示ユニット１０とを備える頭部装着型表示装置１００であって、撮像素子２３の複数の光電変換素子から、行方向と列方向とに配列された複数個の画素からなる標準画像データを出力させる機能と、撮像素子２３の複数の光電変換素子から、行方向及び／又は列方向で隣接する数個の画素を１個のブロック画素としてビニング画像を出力させて、ビニング画像を表示素子１１Ｌ及び１１Ｒの解像度に整合させるスケーリング処理を実行するカメラ制御／画像処理部３５を備える。
【選択図】図１

Description

本発明は、頭部装着型表示装置に関し、例えば、ヘリコプタや航空機のパイロット、訓練用シミュレータの使用者に、画像を提供する頭部装着型表示装置に関する。

身体に纏う形態の情報機器用の表示装置としては、頭部に装着する形態が主流である（例えば、特許文献１参照）。また、航空機用や、警備や防犯・防衛等の目的をもつ特殊な用途では、表示装置に暗視機能をもたせることがある。これにより、装着者は夜間等の低照度の環境下でも外界を視認できる。

図６は、頭部装着型表示装置の外観構成例を示す図であり、図７は、頭部装着型表示装置の概略構成を示すブロック図である。
頭部装着型表示装置１００は、ヘルメット１と、ヘルメット１の左側に配置され、かつ、左眼用映像を撮影する左眼用暗視カメラ２Ｌと、ヘルメット１の右側に配置され、かつ、右眼用映像を撮影する右眼用暗視カメラ２Ｒと、表示ユニット１０と、左眼用暗視カメラ２Ｌから左眼用映像信号及び右眼用暗視カメラ２Ｒから右眼用映像信号が入力され、かつ、表示ユニット１０に左眼用画像信号及び右眼用画像信号を出力する信号処理部１０３とを備える。

左眼用暗視カメラ２Ｌ及び右眼用暗視カメラ２Ｒは、観察対象の立体視を可能とするため、一定のカメラ間距離を隔てるようにヘルメット１の左側と右側とにそれぞれ配置されるとともに、各撮影方向（光軸）はカメラ間距離方向と垂直正面方向となるようにされている。

表示ユニット１０は、左眼用表示素子１１Ｌ及び光学系１２Ｌと、右眼用表示素子１１Ｒ及び光学系１２Ｒと、装着者Ｐの左眼ＥＬ及び右眼ＥＲの前方に配置されるバイザ（又はコンバイナ）１３とを有する。そして、左眼用表示素子１１Ｌから出射される左眼用画像表示光は、光学系１２Ｌを通過して、バイザ１３の反射面で反射されることにより、装着者Ｐの左眼ＥＬに導かれるとともに、右眼用表示素子１１Ｒから出射される右眼用画像表示光は、光学系１２Ｒを通過して、バイザ１３の反射面で反射されることにより、装着者Ｐの右眼ＥＲに導かれる。よって、装着者Ｐは、観察対象を立体的に視認できるとともに、バイザ１３を透過する光により前方実在物も視認できるようになっている。

左眼用表示素子１１Ｌ及び右眼用表示素子１１Ｒは、ＬＣＤ及びバックライトや、有機ＥＬ等で構成されており、Ｍ行Ｎ列（例えば、２０４８行２５６０列）の電光変換素子（発光素子）を有する。
信号処理部１０３は、左眼用ＣＰＵ１３１Ｌと右眼用ＣＰＵ１３１Ｒとを備え、さらに左眼用表示電子回路３２Ｌと右眼用表示電子回路３２Ｒと左眼用インタフェース（Ｉ／Ｆ）３４Ｌ、３５Ｌと右眼用インタフェース（Ｉ／Ｆ）３４Ｒ、３５Ｒとを有する。

ところで、暗視カメラ２Ｌ、２Ｒは、撮像素子が極めて微弱な光まで感度を有するものや、ＩＩと撮像素子を組み合わせ微光を強力に増強するもの（例えば、特許文献２参照）等がある。以下、撮像素子のみによる構成例を示す。

暗視カメラ２Ｌは、レンズと、撮像素子（ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等）とから主に構成される。

撮像素子は、Ｍ行Ｎ列（例えば、２０４８行２５６０列）に配列された光電変換素子を有する。

このような暗視カメラ２Ｌにおいて、被写体からの微弱な光（光学像）が、レンズを介して撮像素子上に結像し、撮像素子によって光電変換される。

そして、信号処理部１０３は、撮像素子の信号から画像信号を作成することにより、左眼用表示素子１１Ｌに画像信号を出力している（図７参照）。

ところで、暗視カメラ２Ｌに入射される光学像がある一定の明るさ以上の光を含んでいる場合（例えば、夜間に燈台の光が直接入射した場合等）には、その強い光を出している部分が光飽和した飽和画像が映し出される画像信号となってしまい、その結果、装着者Ｐにとって光飽和した部分の観察が不可能になるという問題がある。また、この光飽和は、強い光を出している部分のみならず、その周囲のかなり広い範囲の部分まで影響を与え、その周囲のかなり広い範囲の部分でも同様な飽和画像が映し出されてしまう。このような現象は、ハレーションといい、ハレーションを起こした部分の画像信号の輝度値情報は、完全に破壊されてしまうことになる。

そこで、信号処理部１０３は、撮像素子の信号の輝度値Ｔ_ｍｎに基づいて、撮像素子のゲイン（輝度倍率）や露光時間を調整する制御信号を出力している。具体的には、撮像素子のゲインや露光時間を制御したりしている。
これにより、例えば、入射される光学像が第一設定閾値Ｔ_１以上の輝度値Ｔ_ｍｎを含んでいる場合には、ゲインを下げたり露光時間を短くしたりすることにより、ハレーションを回避している。また、入射される光学像における最大輝度値Ｔ_ｍｎが第二設定閾値Ｔ_２以下である場合には、ゲインを上げたり露光時間を長くしたりすることにより、被写体からの微弱な光を検出している。

特開２００６−１８９６４３号公報 特開２００２−１１２１０９号公報

しかしながら、被写体から微弱な光しか検出することができないときに、撮像素子のゲインを上げるには限界があり、さらに露光時間を長くすると、画像の更新レートに影響する。
そこで、本発明は、被写体から微弱な光しか検出することができないときでも、外界の視認性を向上させる頭部装着型表示装置を提供することを目的とする。

上記課題を解決するためになされた本発明の頭部装着型表示装置は、２次元的に配列された複数の光電変換素子を有する撮像素子を備える暗視カメラと、２次元的に配列された複数の電光変換素子を有し、画像表示光を出射する表示素子を備え、当該画像表示光を装着者の眼に導く表示ユニットとを備え、前記撮像素子の複数の光電変換素子から得られた映像信号に基づいて、前記表示素子に画像信号を出力するとともに、前記暗視カメラのゲインと露光時間とを調整する制御信号を出力する機能を有する表示装置であって、前記撮像素子から、行方向と列方向とに配列された複数個の画素からなる標準画像データ、又は、行方向及び／又は列方向で隣接する数個の画素を１個のブロック画素として動作させることにより、行方向と列方向とに配列された複数個のブロック画素からなるビニング画像データを出力させる機能実現手段と、当該ビニング画像データを表示素子の解像度に整合させるスケーリング処理を実行する機能実現手段とを有するようにしている。

本発明の表示装置によれば、通常は、行方向と列方向とに配列された複数個の画素からなる標準画像データを出力させる。標準画像データは、ビニング画像データに比べて画素数が多くなるので解像度が高くなる。しかしながら、被写体から微弱な光しか検出することができないときには、ゲインや露光時間の上限により輝度値を上げるには限界がある。よって、被写体から微弱な光しか検出することができないときに、被写体を視認できないことがある。
そこで、ゲイン等の調整で被写体を視認できないときは、処理部等からの制御信号により、撮像素子にビニング制御信号を出力する。これにより、行方向や列方向で隣接する数個の画素を１個のブロック画素として動作することにより、行方向と列方向とに配列された複数個のブロック画素からなるビニング画像データを出力させる。ビニング画像データは、標準画像データに比べて画素数が少ないので解像度が低くなるが、得られる輝度値を高くすることができる。よって、被写体から微弱な光しか検出することができないときにも、被写体の輝度を向上させることができる。そして、ビニング画像データにより低下した解像度を表示素子に整合させるスケーリング処理を処理部にて実施するようにしている。

以上のように、本発明の頭部装着型表示装置によれば、ゲインを上げたり露光時間を長くしたりしても外界を視認できないような低照度下では、ビニング画像データを出力させることで、外界の視認性を向上させる。

（他の課題を解決するための手段および効果）
また、上記の発明において、前記撮像素子の複数の光電変換素子から得られた映像信号における輝度値の最大輝度値、最小輝度値、平均輝度値、又は、これらの輝度値の分布に基づいて、前記標準画像データかビニング画像データのいずれを映像信号として出力させる機能実現手段を有するようにしてもよい。
そして、上記の発明において、前記標準画像データと前記ビニング画像データとを切り替える際には、前記画像表示光の輝度値がビニング処理により急激に変化しないように徐々に変化させるようにしてもよい。

さらに、上記の発明において、前記暗視カメラは、左眼用暗視カメラと右眼用暗視カメラとを備え、前記表示ユニットは、左眼用表示素子と右眼用表示素子とを備えるようにしてもよい。

本発明の一実施形態である頭部装着型表示装置の外観構成例を示す図。 頭部装着型表示装置の概略構成を示すブロック図。 左眼用暗視カメラとＣＰＵとの概略構成を示す図。 標準画像データとビニング画像データとについて説明するための図。 画像取得方法の一例について説明するためのフローチャート。 従来の頭部装着型表示装置の外観構成例を示す図。 頭部装着型表示装置の概略構成を示すブロック図。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれる。

図１は、本発明の一実施形態である頭部装着型表示装置の外観構成例を示す図であり、図２は、頭部装着型表示装置の概略構成を示すブロック図である。なお、頭部装着型表示装置１００と同様のものについては、同じ符号を付している。
頭部装着型表示装置１００は、ヘルメット１と、ヘルメット１の左側に配置され、かつ、左眼用映像を撮影する左眼用暗視カメラ２Ｌと、ヘルメット１の右側に配置され、かつ、右眼用映像を撮影する右眼用暗視カメラ２Ｒと、表示ユニット１０と、左眼用暗視カメラ２Ｌから左眼用映像信号及び右眼用暗視カメラ２Ｒから右眼用映像信号が入力され、かつ、表示ユニット１０に左眼用画像信号及び右眼用画像信号を出力する信号処理部３とを備える。

信号処理部３は、左眼用ＣＰＵ３１Ｌと右眼用ＣＰＵ３１Ｒとを備え、さらに左眼用表示電子回路３２Ｌと右眼用表示電子回路３２Ｒと左眼用インタフェース（Ｉ／Ｆ）３４Ｌ、３５Ｌと右眼用インタフェース（Ｉ／Ｆ）３４Ｒ、３５Ｒとを有する。
ここで、図３は、左眼用暗視カメラと左眼用ＣＰＵとの概略構成を示す図である。また、図４は、標準画像とビニング画像について説明するための図である。

左眼用ＣＰＵ３１Ｌが実行する制御・演算内容を機能ごとに分けて説明すると、撮像素子２３から映像信号を取得するカメラ制御／画像処理部３５と、画像バッファ３７と、左眼用表示素子１１Ｌに画像信号を出力する歪補正処理部３６とを有する。

カメラ制御／画像処理部３５は、撮像素子２３のＭ×Ｎ個の光電変換素子の輝度値Ｔ_ｍｎに基づいて、撮像素子２３のゲインや露光時間を調整する制御信号を出力する制御を行う。
例えば、まず、２０４８行２５６０列の光電変換素子から得られた輝度値Ｔ_ｍｎにおける最大輝度値Ｔ_ｍａｘを算出する。そして、最大輝度値Ｔ_ｍａｘが第一設定閾値Ｔ_１以上であるときには、つまり現在のゲインではハレーションを起こしている確率が高いので、ゲインを下げたり露光時間を短くしたりする制御信号を出力する。一方、最大輝度値Ｔ_ｍａｘが第二設定閾値Ｔ_２以下であるときには、つまり現在のゲインでは黒つぶれを起こしている確率が高いので、ゲインを上げたり露光時間を長くしたりする制御信号を出力する。
なお、「第一設定閾値」とは、予め記憶されており、左眼用表示素子１１Ｌに表示した画像において、ハレーションを起こしそうな輝度値のことをいう。また、「第二設定閾値」とは、予め記憶されており、左眼用表示素子１１Ｌに表示した画像において、黒つぶれを起こしそうな輝度値のことをいう。

標準画像出力時は、撮像素子２３の２０４８行２５６０列の光電変換素子から、２０４８行２５６０列の画素からなる標準画像データを出力させて、画像バッファ３７に記憶させる制御を行う（図４（ａ）参照）。
ビニング処理時は、撮像素子２３の２０４８行２５６０列の光電変換素子から、２行２列の画素を１個のブロック画素とみなすことにより、１０２４行１２８０列の画素からなる画像を出力させて、画像バッファ３７に記憶させたり（図４（ｂ）参照）、撮像素子２３の２０４８行２５６０列の光電変換素子から、３行３列の画素を１個のブロック画素とみなすことにより、６８２行８５３列の画素からなる画像を出力させて、画像バッファ３７に記憶させたり、撮像素子２３の２０４８行２５６０列の光電変換素子から、４行４列の画素を１個のブロック画素とみなすことにより、５１２行６４０列の画素からなる画像を出力させて、画像バッファ３７に記憶させたりする制御を行う（図４（ｃ）参照）。さらに、ビニング処理時には、ビニング画像データに対しスケーリング処理（アップスケール）を行うことにより、ビニング画像データを左眼用表示素子１１Ｌの解像度に整合させる。

歪補正処理部３６は、バイザ１３や光学系１２Ｌを左眼用画像表示光が通過するときに受ける歪曲に対し、その歪曲方向とは反対の方向に画像データに歪曲を加え、左眼用表示素子１１Ｌに出力する制御を行う。

ここで、図５は、画像取得方法の一例について説明するためのフローチャートである。
まず、カメラ制御／画像処理部３５において、ステップＳ１０１の処理で、撮像素子２３の２０４８行２５６０列の光電変換素子から輝度値Ｔ_ｍｎを得る。

次に、ステップＳ１０２の処理において、２０４８行２５６０列の光電変換素子から得られた輝度値Ｔ_ｍｎにおける最大輝度値Ｔ_ｍａｘを算出する。
次に、ステップＳ１０３の処理において、最大輝度値Ｔ_ｍａｘが第一設定閾値Ｔ_１以上であるか否かを判定する。

最大輝度値Ｔ_ｍａｘが第一設定閾値Ｔ_１以上であると判定したときには、ステップＳ１０３Ｂの処理において、ゲイン又は露光時間調整可能かを判定し、可能と判定した場合には、ステップＳ１０４の処理において、ゲインを下げたり露光時間を短くしたりする制御信号を出力して、ステップＳ１０１の処理に戻る。

また、ステップＳ１０３の処理において、最大輝度値Ｔ_ｍａｘが第一設定閾値Ｔ_１以上でないと判定したときには、次にステップＳ１０３Ａの処理において、最大輝度値Ｔ_ｍａｘが第二設定閾値Ｔ_２以下であるか否かを判定し、第二設定閾値Ｔ_２以下でないと判定したときには、ステップＳ１０１の処理に戻る。一方、最大輝度値Ｔ_ｍａｘが第二設定閾値Ｔ_２以下であると判定したときには、ステップＳ１０５の処理において、ゲインを上げたり露光時間を長くしたりする制御信号を出力する。

そして、ステップＳ１０６の処理において、撮像素子２３の２０４８行２５６０列の光電変換素子から輝度値Ｔ_ｍｎを得る。
次に、ステップＳ１０７の処理において、カメラ制御／画像処理部３５は、２０４８行２５６０列の光電変換素子から得られた輝度値Ｔ_ｍｎにおける最大輝度値Ｔ_ｍａｘを算出する。
次に、ステップＳ１０８の処理において、最大輝度値Ｔ_ｍａｘが第二設定閾値Ｔ_２以下であるか否かを判定する。最大輝度値Ｔ_ｍａｘが第二設定閾値Ｔ_２以下でないと判定したときには、ステップＳ１０１の処理に戻る。

一方、最大輝度値Ｔ_ｍａｘが第二設定閾値Ｔ_２以下であると判定したときには、ステップＳ１０９の処理において、カメラ制御／画像処理部３５にゲインアップや露光時間増大可能か否かを判定させる。カメラ制御／画像処理部３５がゲインアップや露光時間増大可能と判定したときには、ステップＳ１０５の処理に戻る。
一方、カメラ制御／画像処理部３５がゲインアップや露光時間増大不可能と判定したときには、ステップＳ１１０の処理において、カメラ制御／画像処理部３５にビニングアップ可能か否かを判定させる。つまり、現在、最大ビニング状態（本実施例では、５１２行６４０列とする）のビニング画像データを出力させているか否かを判定させる。

５１２行６４０列の画素からなるビニング画像データを出力させていないと判定したときには、ステップＳ１１１の処理において、ビニングを一段階上げる制御信号を出力して、ステップＳ１０６の処理に戻る。すなわち、２０４８行２５６０列の画素からなる標準画像データを出力させているときには、１０２４行１２８０列の画素からなるビニング画像データを出力させるように変更し、１０２４行１２８０列の画素からなるビニング画像データを出力させているときには、６８２行８５３列の画素からなるビニング画像データを出力させるように変更し、６８２行８５３列の画素からなるビニング画像データを出力させているときには、５１２行６４０列の画素からなるビニング画像データを出力させるように変更する。
一方、５１２行６４０列の画素からなるビニング画像データを出力させていると判定したときには、これ以上、ビニングアップできないため何も処理せずに、ステップＳ１０１の処理に戻る。
上記実施例では、ビニングなしの状態から開始したケースで記載したが、ビニングアップの状態の場合には、ステップＳ１０３Ｂの処理において、ゲイン又は露光時間調整不可と判定した場合には、ステップＳ１０３Ｃの処理にてビニングダウン可能かを判定し、可能と判定した場合には、ビニングダウンの制御信号を出力し、ステップＳ１０１の処理に戻る。

以上のように、頭部装着型表示装置１００によれば、ゲインを上げたり露光時間を長くしたりしても外界を視認できないような低照度下では、ビニング画像データを出力させることで、外界の視認性を向上させる。

（他の実施形態）
（１）上述した頭部装着型表示装置１００では、最大輝度値Ｔ_ｍａｘに基づいて、標準画像データかビニング画像データのいずれを映像信号として出力させるかを決定する構成としたが、最小輝度値や平均輝度値、又は輝度値の分布等に基づいて、標準画像データかビニング画像データのいずれを映像信号として出力させるかを決定する構成としてもよい。

（２）上述した頭部装着型表示装置１００では、標準画像データとビニング画像データとを切り替える際には、画像表示光の輝度値を瞬時に変化させる構成としたが、標準画像データとビニング画像データとを切り替える際には、画像表示光の輝度値を徐々に変化させる構成としてもよい。このとき、標準画像データからビニング画像データに切り替えて、変更後輝度値が変更前輝度値に比べて大きく増加した場合、その差に応じて変更前輝度値から変更後輝度値に徐々に変化させるように制御してもよい。また、ビニング画像データから標準画像データに切り替えて、変更後輝度値が変更前輝度値に比べて大きく低下した場合、その差に応じて変更前輝度値から変更後輝度値に徐々に変化させるように制御してもよい。

本発明は、例えば、ヘリコプタや航空機のパイロット、訓練用シミュレータの使用者に、画像を提供する頭部装着型表示装置等に利用することができる。

１ ヘルメット
２Ｌ 左眼用暗視カメラ
２Ｒ 右眼用暗視カメラ
３ 信号処理部
１０ 表示ユニット
１１Ｌ 左眼用表示素子
１３ バイザ（又はコンバイナ）
２３ 撮像素子（ＣＣＤ、ＣＭＯＳ等）
１００ 頭部装着型表示装置
ＥＬ 左眼
ＥＲ 右眼
Ｐ 装着者

Claims (4)

1. ２次元的に配列された複数の光電変換素子を有する撮像素子を備える暗視カメラと、
   ２次元的に配列された複数の電光変換素子を有し、画像表示光を出射する表示素子を備え、当該画像表示光を装着者の眼に導く表示ユニットとを備え、
   前記撮像素子の複数の光電変換素子から得られた映像信号に基づいて、前記表示素子に画像信号を出力するとともに、前記暗視カメラのゲインと露光時間とを調整する制御信号を出力する機能を有する表示装置であって、
   前記撮像素子から、行方向と列方向とに配列された複数個の画素からなる標準画像データ、又は、行方向及び／又は列方向で隣接する数個の画素を１個のブロック画素として動作させることにより、行方向と列方向とに配列された複数個のブロック画素からなるビニング画像データを出力させる機能実現手段と、当該ビニング画像データを表示素子の解像度に整合させるスケーリング処理を実行する機能実現手段とを有することを特徴とする頭部装着型表示装置。
2. 前記撮像素子の複数の光電変換素子から得られた映像信号における輝度値の最大輝度値、最小輝度値、平均輝度値、又は、これらの輝度値の分布に基づいて、前記標準画像データかビニング画像データのいずれを映像信号として出力させる機能実現手段を有することを特徴とする請求項１に記載の頭部装着型表示装置。
3. 前記標準画像データと前記ビニング画像データとを切り替える際には、前記画像表示光の輝度値がビニング処理により急激に変化しないように徐々に変化させることを特徴とする請求項１又は請求項２に記載の頭部装着型表示装置。
4. 前記暗視カメラは、左眼用暗視カメラと右眼用暗視カメラとを備え、
   前記表示ユニットは、左眼用表示素子と右眼用表示素子とを備えることを特徴とする請求項１〜請求項３のいずれか１項に記載の頭部装着型表示装置。

Images