JP2018072702A - 網膜描画表示装置および網膜描画表示方法 - Google Patents

Abstract

【課題】 描画表示位置を修正することができる網膜描画表示装置および網膜描画表示方法を提供する。【解決手段】 網膜描画表示装置は、ユーザの視野の中心領域に向かって光を照射する照射装置と、前記中心領域に照射される光の光軸と異なる光軸を有し、前記照射装置からの光であって前記中心領域の対象物からの反射光を撮像する撮像装置と、前記撮像装置が取得した画像を基とする情報を、前記ユーザの瞳孔を介して網膜に光を照射することで描画する描画装置と、前記撮像装置が取得した画像において、前記反射光の位置を検出する検出部と、前記検出部が検出した位置に応じて、前記描画装置によって描画される情報の位置を修正する修正部と、を備える。【選択図】 図１

Description

本件は、網膜描画表示装置および網膜描画表示方法に関する。

網膜表面に光を照射することで、画像を描画表示する網膜描画表示装置が開示されている（例えば、特許文献１参照）。

特開２００６−１８９５７３号公報

網膜描画表示装置の横にカメラを設置し、カメラが取得する画像を加工して描画表示を行うことが考えられる。この場合、眼球とカメラの位置との間にズレがあることから、被写体との距離が変わるとカメラが取得する画像では被写体が中央からずれてしまう。

１つの側面では、本発明は、描画表示位置を修正することができる網膜描画表示装置および網膜描画表示方法を提供することを目的とする。

１つの態様では、網膜描画表示装置は、ユーザの視野の中心領域に向かって光を照射する照射装置と、前記中心領域に照射される光の光軸と異なる光軸を有し、前記照射装置からの光であって前記中心領域の対象物からの反射光を撮像する撮像装置と、前記撮像装置が取得した画像を基とする情報を、前記ユーザの瞳孔を介して網膜に光を照射することで描画する描画装置と、前記撮像装置が取得した画像において、前記反射光の位置を検出する検出部と、前記検出部が検出した位置に応じて、前記描画装置によって描画される情報の位置を修正する修正部と、を備える。

描画表示位置を修正することができる。

実施例１に係る網膜描画表示装置の全体構成を例示する図である。 網膜描画表示装置がメガネに取り付けられた場合の概略図である。 （ａ）〜（ｃ）はカメラの光軸とユーザの視線との差について説明するための図である。 ユーザが認識する景色の中心部分と、カメラが取得する画像との関係を例示する図である。 （ａ）は位置検出処理の一例を表すフローチャートであり、（ｂ）は表示データ生成処理の一例を表すフローチャートである。 ＡＲ画像生成回路、位置検出回路、表示データ生成回路、および画像表示回路のハードウェア構成の一例を説明するためのブロック図である。

以下、図面を参照しつつ、実施例について説明する。

図１は、実施例１に係る網膜描画表示装置１００の全体構成を例示する図である。図１で例示するように、網膜描画表示装置１００は、カメラ１０、表示用光源２０、スキャナミラー３０、マーカ用光源４０、ハーフミラー５０、制御部６０などを備える。制御部６０は、ＡＲ画像生成回路６１、位置検出回路６２、表示データ生成回路６３、および画像表示回路６４を備える。網膜描画表示装置１００は、例えば、メガネに取り付けられている。

図２は、網膜描画表示装置１００がメガネ７０に取り付けられた場合の概略図である。図２で例示するように、ハーフミラー５０は、メガネ７０を掛けたユーザの視線途中に位置するように配置されている。例えば、ハーフミラー５０は、ユーザが視野の中心を見た場合の視線途中に位置するように配置されている。また、ハーフミラー５０は、ユーザの眼球に対しては光を透過するように配置されている。それにより、ユーザは、ハーフミラー５０を介して景色を見ることができる。

表示用光源２０およびスキャナミラー３０は、カメラ１０が設けられたテンプル７１に設けられている。マーカ用光源４０は、例えば、メガネ７０のブリッジ７２に設けられている。ハーフミラー５０は、マーカ用光源４０からの光を、メガネ７０を掛けたユーザの視野の中心領域に向かって反射させるように配置されている。ハーフミラー５０はユーザの視線途中に位置するため、マーカ用光源４０からの光がハーフミラー５０によって反射されることで得られる反射光は、ユーザが視野の中心領域を見る場合の視線方向に略一致する方向に光軸を有する。

カメラ１０は、メガネ７０の一方のテンプル７１に設けられている。図２では、カメラ１０は、一例として、左耳に掛けられるテンプル７１に設けられている。カメラ１０は、マーカ用光源４０からの光がハーフミラー５０によって反射されることで得られる反射光の光軸と異なる光軸を有している。例えば、カメラ１０は、マーカ用光源４０からの光がハーフミラー５０によって反射されることで得られる反射光の光軸と離間して平行をなす光軸を有していてもよい。または、カメラ１０は、マーカ用光源４０からの光がハーフミラー５０によって反射されることで得られる反射光の光軸に対して傾斜する光軸を有していてもよい。例えば、カメラ１０は、ユーザが視野の中心領域を見る場合の視線方向から微小角度だけ傾斜するような光軸を有していてもよい。

カメラ１０は、可視領域および可視領域以外の領域の両方に感度を持つカメラである。例えば、カメラ１０は、赤外線フィルタを取り外したＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ、赤外線フィルタを取り外したＣＣＤ（Charge Coupled Device）カラーカメラなどである。カメラ１０によって取得された画像のうち、可視画像は、ＡＲ画像生成回路６１に入力される。ＡＲ画像生成回路６１は、可視画像を加工して、ユーザに認識させる拡張現実情報をＡＲ画像として生成する。例えば、ＡＲ画像生成回路６１は、可視画像に含まれる対象物の識別情報をＡＲ画像として生成する。より具体的には、ＡＲ画像生成回路６１は、可視画像に含まれる人物を認識し、当該人物に係る識別情報をＡＲ画像として生成する。ＡＲ画像生成回路６１によって生成されたＡＲ画像は、表示データ生成回路６３に入力される。

表示データ生成回路６３は、ＡＲ画像を表示データとして生成する。具体的には、表示データ生成回路６３は、網膜の各位置と、当該位置に入射される光の色情報（例えば、ＲＧＢ）を表示データとして生成する。すなわち、表示データには、網膜の位置情報と、当該位置情報に関連付けられた光の色情報とが含まれている。表示データ生成回路６３によって生成された表示データは、画像表示回路６４に入力される。

表示用光源２０は、例えば、赤色、青色および黄色の３原色の発光素子を備えている。表示用光源２０は、画像表示回路６４からの指示に従って、各発光素子のオンオフおよび光強度の強弱を組み合わせることで、所望の色の光を出射する。スキャナミラー３０は、表示用光源２０から出射される光を偏向して網膜に入射するミラーであり、例えば角度が可変であるＭＥＭＳミラーなどである。スキャナミラー３０によって反射される光は、ハーフミラー５０によって反射され、ユーザの瞳孔を介して網膜へと照射される。

画像表示回路６４は、表示データ生成回路６３が生成した表示データに対応する色の光が出射されるように、表示用光源２０を駆動する。表示データに対応して表示用光源２０から出射された光を、以下、描画光と称する。また、画像表示回路６４は、描画光が、表示データの位置情報が示す網膜上の位置に入射されるように、スキャナミラー３０を駆動する。画像表示回路６４の動作により、表示データ生成回路６３が生成した表示データが網膜に描画表示される。それにより、ユーザによって認識されるべき景色に対して表示データが重畳されたうえで、ユーザに認識されるようになる。

ここで、カメラ１０の光軸とユーザの視線との差について説明する。図２で例示したように、カメラ１０の光軸は、メガネ７０を掛けたユーザが視野の中心領域を見る場合の視線と略平行をなしている。しかしながら、カメラ１０は、ユーザの目の近くに設けられるものの、ユーザの目から離れた箇所に設けられることになる。

このような構成において、図３（ａ）で例示するように、カメラ１０から被写体（ユーザの視線先の対象物）までの距離が長い場合には、カメラ１０が取得する画像の中心と、ユーザが認識する景色の中心との間の差は小さくなる。図３（ａ）の例ではユーザの視線とカメラ１０の光軸とが略一致するため、カメラ１０が取得する画像Ｉの中心に被写体が位置するようになる。

図３（ｂ）で例示するように、被写体がユーザに近づくと、カメラ１０から被写体までの距離が短くなる。この場合、カメラ１０の光軸から被写体の位置がずれるようになる。その結果、カメラ１０が取得する画像Ｉにおいて、被写体が中心からずれて位置するようになる。カメラ１０がメガネ７０の左目側のテンプル７１に設けられている場合には、画像Ｉにおいて被写体が右側にずれて位置するようになる。このように、ユーザが認識する被写体の位置と、カメラ１０が取得する画像における被写体の位置との間に、差が生じるようになる。その結果、ＡＲ画像の表示位置が、ユーザが認識している対象物の位置からずれることになる。

そこで、図３（ｃ）で例示するように、カメラ１０の光軸が被写体を向くような制御を行うことが好ましい。本実施形態においては、カメラ１０の光軸を制御する代わりに、マーカ用光源４０を用いてユーザと被写体との距離を算出し、当該距離に応じて、網膜に描画される情報の位置を修正する。以下、詳細について説明する。

本実施例においては、マーカ用光源４０は、所定の周期で、可視領域以外の波長を有する光を照射する。すなわち、マーカ用光源４０は、所定の周期で点滅を行う。例えば、マーカ用光源４０は、所定の周期で近赤外線、中赤外線、遠赤外線などの赤外線を照射する。一例として、本実施例においては、マーカ用光源４０は、近赤外線を照射する。

カメラ１０は、可視画像をＡＲ画像生成回路６１に入力するとともに、近赤外画像を位置検出回路６２に入力する。近赤外画像においては、照射された近赤外線が被写体で反射することでマーカとして現れる。カメラ１０の光軸が、ユーザがメガネ７０を掛けて視野の中心領域を見た場合の視線に略一致しているため、被写体がカメラ１０から十分に離れていると、近赤外画像においてマーカが略中心に現れる。被写体とカメラ１０との距離が短くなると、近赤外画像におけるマーカの位置が中心からずれるようになる。このズレ量を検出することで、被写体の位置を認識することができる。

当該ズレ量は、マーカ用光源４０からの光がハーフミラー５０で反射することで得られる反射光の光軸方向、カメラ１０と眼球との距離、カメラ１０の光軸方向などのパラメータによって決まる量である。そこで、位置検出回路６２は、近赤外画像におけるマーカの位置に応じて、当該パラメータに基づいて、被写体の位置（被写体とカメラ１０との距離）を算出する。得られた位置情報は、表示データ生成回路６３に入力される。表示データ生成回路６３は、位置検出回路６２から入力された位置情報に応じて、表示データを修正する。例えば、ＡＲ画像が、当該ＡＲ画像が対象とする対象物と重畳するように、または対象物付近に位置するように、表示データを修正する。

図４は、ユーザが認識する景色の中心部分と、カメラ１０が取得する画像との関係を例示する図である。図４の上段は、ユーザが視野の中心領域を見ている場合においてユーザが認識する景色の中心部分の経時変化を表している。図４の下段は、カメラ１０が取得する画像の経時変化を表している。図４においては、便宜上、ユーザが認識する景色の中心部分の範囲と、カメラ１０が取得する画像の範囲とを一致させてある。

図４で例示するように、カメラ１０と被写体との距離が長い場合には、カメラ１０が取得する画像の中心と、ユーザが認識する景色の中心との差は小さくなる。したがって、カメラ１０が取得する画像の中心に被写体が位置するようになる。なお、図４の例では、人物認識情報がＡＲ画像として表示されている。一例として、人物が男性であることを示す「Ｈｅ」が表示されている。

マーカ用光源４０が近赤外線を照射すると、近赤外線が被写体に向けて照射される。この時点では、カメラ１０と被写体との距離が長いため、カメラ１０が取得する画像においてマーカＭが中心付近に現れる。したがって、表示データ生成回路６３は、表示データの修正を行わない。

次に、被写体がカメラ１０に対して近づいてくると、カメラ１０の光軸が被写体からずれるようになる。この場合においてマーカ用光源４０が近赤外線を照射すると、カメラ１０が取得する画像においてマーカＭの位置が中心からずれるようになる。位置検出回路６２は、近赤外画像におけるマーカＭの位置を用いて被写体の位置を算出する。表示データ生成回路６３は、算出された位置に基づいて、ＡＲ画像がユーザの視線方向の対象物に係る情報として表示されるように、表示データを修正する。

図５（ａ）は、位置検出処理の一例を表すフローチャートである。図５（ａ）で例示するように、マーカ用光源４０が点灯すると（ステップＳ１）、カメラ１０は、近赤外画像を位置検出回路６２に入力する（ステップＳ２）。ステップＳ２で入力される近赤外画像を第１近赤外画像と称する。次に、マーカ用光源４０が消灯すると（ステップＳ３）、カメラ１０は、近赤外画像を位置検出回路６２に入力する（ステップＳ４）。ステップＳ４で入力される近赤外画像を第２近赤外画像と称する。

次に、位置検出回路６２は、第１近赤外画像と第２近赤外画像との差分画像を生成する（ステップＳ５）。次に、位置検出回路６２は、ステップＳ５で取得した差分画像を用いて、被写体の位置情報を生成する（ステップS６）。その後、ステップＳ１から繰り返し実行される。

図５（ｂ）は、表示データ生成処理の一例を表すフローチャートである。図５（ｂ）で例示するように、カメラ１０は、可視画像をＡＲ画像生成回路６１に入力する（ステップＳ１１）。次に、ＡＲ画像生成回路６１は、人物認識を行う（ステップＳ１２）。次に、ＡＲ画像生成回路６１は、人物認識の結果をＡＲ画像として生成する（ステップＳ１３）。次に、表示データ生成回路６３は、位置検出回路６２が算出した位置情報に応じてＡＲ画像の位置を修正して表示データを生成する（ステップＳ１４）。次に、画像表示回路６４は、表示データに従って表示用光源２０およびスキャナミラー３０を制御する（ステップＳ１５）。それにより、ユーザは表示画像を認識する。

本実施例においては、カメラ１０が、マーカ用光源４０からの光のハーフミラー５０における反射光の光軸と異なる光軸を有している。したがって、マーカ用光源４０からの光照射によって現れるマーカの位置をカメラ１０で取得することで、被写体の位置を検出することができる。被写体の位置を検出することができれば、当該位置に応じて、ユーザの網膜に描画される情報の描画表示位置を修正することができる。それにより、ユーザの視線方向の対象物に係る情報を適切な位置に描画することができる。

なお、ステレオカメラ、ＴＯＦ（Time-of-Flight）型距離画像カメラを使用して、周辺情報の三次元モデルを構築し、ＡＲ情報を付加する被写体との距離差を考慮した表示を行うことが考えられる。ただし、この場合、網膜描画表示装置が大型化し、消費電力も大きく、携帯性が大きく失われる。これに対して、本実施例においては、三次元モデルを構築しなくてもよいため、より簡易な構成で同様の効果を得ることができる。

本実施例においてはマーカ用光源４０を点滅させて差分画像を取得したが、マーカ用光源４０の出力強度が十分に大きい場合には、マーカ用光源４０を点滅させなくてもよい。例えば、点灯時の近赤外画像からマーカの位置を算出することもできる。

マーカ用光源４０として、赤外線の他、特定の波長の可視光線、紫外線などを用いることもできる。特定の波長の可視光線を用いる場合には、マーカ用光源４０は、可視領域以外の領域の光を照射しなくてもよい。

なお、本実施例において、ハーフミラー５０は、マーカ用光源４０からの光を、メガネ７０を掛けたユーザの視野の中心領域に反射させるように配置されている。この場合の中心領域は、特に限定されるものではないが、例えば、ユーザの視野に対して重畳されるＡＲ画像の範囲と定義することもできる。また、ハーフミラー５０は、マーカ用光源４０からの光を、当該視野の中心位置に反射させるように配置されていることが好ましい。

（他の例）
ＡＲ画像生成回路６１、位置検出回路６２、表示データ生成回路６３、および画像表示回路６４は、回路以外のハードウェア構成を有していてもよい。例えば、ＡＲ画像生成回路６１、位置検出回路６２、表示データ生成回路６３、および画像表示回路６４は、プログラムの実行によって実現される同等の機能によって代替してもよい。

図６は、ＡＲ画像生成回路６１、位置検出回路６２、表示データ生成回路６３、および画像表示回路６４のハードウェア構成の一例を説明するためのブロック図である。図６で例示するように、ＡＲ画像生成回路６１、位置検出回路６２、表示データ生成回路６３、および画像表示回路６４の代わりに、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、インタフェース１０４などが備わっていてもよい。これらの各機器は、バスなどによって接続されている。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。ＣＰＵ１０１が記憶装置１０３に記憶されているプログラムを実行することによって、ＡＲ画像生成回路６１、位置検出回路６２、表示データ生成回路６３、および画像表示回路６４と同等の機能が実現されてもよい。

本実施例において、マーカ用光源４０およびハーフミラー５０が、ユーザの視野の中心領域に向かって光を照射する照射装置の一例として機能する。カメラ１０が、前記中心領域に照射される光の光軸と異なる光軸を有し、前記照射装置からの光であって前記中心領域の対象物からの反射光を撮像する撮像装置の一例として機能する。表示用光源２０およびスキャナミラー３０が、前記撮像装置が取得した画像を基とする情報を、前記ユーザの瞳孔を介して網膜に光を照射することで描画する描画装置の一例として機能する。位置検出回路６２が、前記撮像装置が取得した画像において、前記照射装置から照射された光の反射光の位置を検出する検出部の一例として機能する。表示データ生成回路６３が、前記検出部が検出した位置に応じて、前記描画装置によって描画される情報の位置を修正する修正部の一例として機能する。

以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ カメラ
２０ 表示用光源
３０ スキャナミラー
４０ マーカ用光源
５０ ハーフミラー
６０ 制御部
６１ ＡＲ画像生成回路
６２ 位置検出回路
６３ 表示データ生成回路
６４ 画像表示回路
１００ 網膜描画表示装置

Claims (5)

1. ユーザの視野の中心領域に向かって光を照射する照射装置と、
   前記中心領域に照射される光の光軸と異なる光軸を有し、前記照射装置からの光であって前記中心領域の対象物からの反射光を撮像する撮像装置と、
   前記撮像装置が取得した画像を基とする情報を、前記ユーザの瞳孔を介して網膜に光を照射することで描画する描画装置と、
   前記撮像装置が取得した画像において、前記反射光の位置を検出する検出部と、
   前記検出部が検出した位置に応じて、前記描画装置によって描画される情報の位置を修正する修正部と、を備えることを特徴とする網膜描画表示装置。
2. 前記照射装置が照射する光は、赤外線であることを特徴とする請求項１記載の網膜描画表示装置。
3. 前記検出部は、前記照射装置が点滅した場合に、点灯時の画像と消灯時の画像との差から、前記反射光の位置を検出することを特徴とする請求項１または２に記載の網膜描画表示装置。
4. 前記ユーザが視野の中心を見た場合の視線方向に位置し、前記照射装置からの光を前記中心領域に対して反射し、前記ユーザの眼球に対して光を透過するハーフミラーを備えることを特徴とする請求項１〜３のいずれか一項に記載の網膜描画表示装置。
5. ユーザの視野の中心領域に向かって照射装置によって光を照射し、
   前記中心領域に照射される光の光軸と異なる光軸を有する撮像装置で、前記照射装置からの光であって前記中心領域の対象物からの反射光を撮像し、
   前記撮像装置が取得した画像において、前記反射光の位置を検出し、
   当該位置に応じて、前記撮像装置が取得した画像を基とする情報を前記ユーザの瞳孔を介して網膜に描画する描画装置によって描画される情報の位置を修正する、ことを特徴とする網膜描画表示方法。

Images