JP2012159559A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2012159559A
JP2012159559A JP2011017568A JP2011017568A JP2012159559A JP 2012159559 A JP2012159559 A JP 2012159559A JP 2011017568 A JP2011017568 A JP 2011017568A JP 2011017568 A JP2011017568 A JP 2011017568A JP 2012159559 A JP2012159559 A JP 2012159559A
Authority
JP
Japan
Prior art keywords
image
optical axis
pupil
signal
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011017568A
Other languages
English (en)
Inventor
Eitetsu Yamada
英哲 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2011017568A priority Critical patent/JP2012159559A/ja
Publication of JP2012159559A publication Critical patent/JP2012159559A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】撮影領域と光軸との相対位置がずれてしまった場合でも、瞳孔にレーザ光を正確に出射することができる画像表示装置を提供することを目的とする。
【解決手段】画像表示装置は、変調光を出射する光源と、光源から出射された変調光を2次元に走査するスキャナと、光源及びスキャナを制御する制御手段と、スキャナによって走査された変調光を眼に投影する接眼光学系と、少なくとも瞳孔周辺の画像を撮影可能に設けられた撮像手段と、撮像手段によって撮影された瞳孔周辺の画像から瞳孔位置を特定する瞳孔位置特定手段と、瞳孔周辺の画像に基づいて、変調光の光軸の位置である光軸位置を特定する光軸位置特定手段と、瞳孔位置特定手段により特定された瞳孔位置と光軸位置特定手段により特定された光軸位置との相対位置を基に、変調光の光軸位置を瞳孔位置に合うように接眼光学系を移動させる補正手段と、を備える。
【選択図】図6

Description

本発明は、画像光を網膜上に走査することで、画像を表示する画像表示装置に関し、さらに詳しくは、瞳孔位置特定手段を備える画像表示装置に関する。
レーザ光を網膜上に走査することで、画像を表示する画像表示装置の一例として、網膜走査ディスプレイ(以下、RSDと呼ぶ)が知られている。RSDは、画像信号に応じた強度のレーザ光を出射し、そのレーザ光を2次元走査して、網膜上に投影表示する装置である。
RSDから出射されるレーザ光と瞳孔との間では、瞳孔の径と比較してレーザ光のビーム径が小さいため、しばしば位置ずれが起こる。位置ずれが起こった結果、ユーザは画像が見えなくなってしまう。位置ずれを解消する方法として、瞳孔位置特定手段を用いる方法が知られている。
瞳孔位置特定手段を備えたRSDの例として、例えば特許文献1に記載の装置が知られている。特許文献1に開示されている画像表示装置は、光学検知器と、位置決め機構とを備える。光学検出器は、光源から出射された赤外光を瞳孔に投影し、瞳孔から反射した赤外光をCCDカメラで受け、CCDカメラの検出結果を基に瞳孔位置を検出する。位置決め機構は、光学検知器の検出結果を基に変調光が瞳孔に出射するように変調光が出射する光軸の向きを補正する。
特表2003−513333号公報
特許文献1に記載の画像表示装置では、光源とCCDカメラとは、位置決め機構を備える共通の支持体に支えられている。このため、位置決め機構によって位置が補正されれば、光源から出射される光軸と、CCDカメラによって撮影される撮影領域と、は同じ向きに同じ距離だけ動く。ゆえに、撮影領域の中の光軸の位置は常に一定である。特許文献1の画像表示装置は、瞳孔位置を特定するだけで、位置決め機構によって光軸の向きを補正することができる。
しかしながら、様々な原因により、光軸と撮影領域との相対位置は、ずれることがある。例えば、特許文献1に記載の画像表示装置にレーザ光の光軸位置をユーザが手動で変更できるレーザ光位置調整手段が備えられているとする。そして、ユーザが自身の眼の中でレーザ光が入射する光軸位置を適切な位置に調整したいと考え、CCDカメラを動かさず光軸のみを動かしたとする。また例えば、特許文献1に記載の画像表示装置にCCDカメラの撮影領域をユーザが手動で変更できるカメラ位置調整手段が備えられているとする。そして、ユーザがCCDカメラを使って瞳孔周辺ではなく、前景を撮影しようと考え、CCDカメラの撮影領域のみを動かして光軸を動かさなかったとする。CCDカメラと光源とが同じ向きに同じ距離だけ動かなければ、撮影領域と光軸との相対位置がずれてしまう。このように、撮影領域と光軸との相対位置がずれてしまった場合、瞳孔位置を特定しただけでは、光軸が撮影領域のどの位置にあるかが分からない。ゆえに、レーザ光の出射位置の補正を正確に行うことができない。その結果、ユーザの瞳孔に正確にレーザ光を出射することができないという問題点があった。
本発明は、上記の問題点に鑑みてなされたものであり、撮影領域と光軸との相対位置がずれてしまった場合でも、瞳孔にレーザ光を正確に出射することができる画像表示装置を提供することを目的とする。
上記目的を達成するために、請求項1の画像表示装置は、変調光を出射する光源と、前記光源から出射された変調光を走査するスキャナと、前記光源及び前記スキャナを制御する制御手段と、前記スキャナによって走査された変調光を眼に投影する接眼光学系と、少なくとも瞳孔周辺の画像を撮影可能に設けられた撮像手段と、前記撮像手段によって撮影された瞳孔周辺の画像から瞳孔位置を特定する瞳孔位置特定手段と、前記瞳孔周辺の画像に基づいて、変調光の光軸の位置である光軸位置を特定する光軸位置特定手段と、前記瞳孔位置特定手段により特定された瞳孔位置と前記光軸位置特定手段により特定された光軸位置との相対位置を基に、変調光の光軸位置を瞳孔位置に合うように前記接眼光学系を移動させる補正手段と、を備えることを特徴とするものである。
請求項2の画像表示装置は、請求項1に記載の発明において、前記制御手段は、瞳孔に変調光が出射されている有効領域期間に前記撮影手段により撮影された第1画像と、瞳孔に変調光が出射されていない無効領域期間に前記撮影手段により撮影された第2画像と、輝度の差分を取得する差分取得手段を備え、前記光軸位置特定手段は、前記差分を基に前記光軸位置を特定することを特徴とするものである。
請求項3の画像表示装置は、請求項2に記載の発明において、前記制御手段は、前記光源及び前記スキャナの同期を取るための同期信号を生成する同期信号生成手段を備え、前記撮像手段は、前記同期信号を基に露光開始タイミング、及び露光期間を設定する露光期間設定手段を備えることを特徴とするものである。
請求項4の画像表示装置は、請求項3に記載の発明において、前記第1画像の露光期間と前記第2画像の露光期間とは、同じ期間であることを特徴とするものである。
請求項5の画像表示装置は、請求項3に記載の発明において、前記制御手段は、前記第1画像の露光期間と前記第2画像の露光期間とが同じ期間か否かを判断する露光期間判断手段と、前記露光期間判断手段が同じ期間でないと判断した場合、前記第2画像の各画素の輝度を(第1画像の露光期間/第2画像の露光期間)倍する輝度調整手段と、を備えることを特徴とするものである。
請求項6の画像表示装置は、請求項1〜5のいずれかに記載の発明において、前記制御手段は、瞳孔周辺の輝度が撮影可能な閾値の輝度未満であるか否かを判断する輝度判断手段と、前記輝度判断手段が前記瞳孔周辺の輝度が前記閾値の輝度未満であると判断した場合、前記変調光の輝度が前記閾値の輝度以上となるよう前記変調光の輝度を増加させる輝度増加手段と、を備えることを特徴とするものである。
請求項7の画像表示装置は、請求項1〜6のいずれかに記載の発明において、前記光軸位置の中心から前記瞳孔位置の中心までの最短距離が、前記光軸の半径と、前記瞳孔の半径と、を足した所定距離以上か否かを判断する距離判断手段を備え、前記距離判断手段が前記最短距離は前記所定距離以上であると判断した場合、前記補正手段は、前記光軸位置の中心を前記瞳孔位置の中心に合うように補正することを特徴とするものである。
請求項8の画像表示装置は、請求項1〜7のいずれかに記載の発明において、補正を開始するタイミングを指示するためのタイミング信号を前記補正手段に送信する操作手段を備えることを特徴とするものである。
請求項1に記載の画像表示装置によれば、瞳孔位置特定手段によって特定された瞳孔位置と光軸位置特定手段によって特定された光軸位置とを基に、光軸位置を瞳孔位置に合うように補正する補正手段を備える。即ち、瞳孔位置と光軸位置とが特定されているために、瞳孔位置と光軸位置との相対位置がずれている場合においても、変調光が瞳孔に正しく出射するように光軸位置を補正することができる。
請求項2に記載の画像表示装置によれば、瞳孔に変調光が出射されている有効領域期間に撮影された第1画像と、瞳孔に変調光が出射されていない無効領域期間に撮影された第2画像と、の差分を取得することで、光軸位置を特定する。これにより、新たに赤外光源等の光源を用意することなく、既存の光源を用いて、光軸位置を特定することができる。また、瞳孔に入射する変調光は、眼への影響を考慮して、一般的に光の光度が低い。しかしながら、請求項2に記載の画像表示装置は、第1画像と第2画像との差分を取得することで光軸位置を特定するので、眼に入れても影響のない光度の低い変調光であっても比較的感度よく検出することができる。
請求項3に記載の画像表示装置によれば、撮像手段は、同期信号を基に露光開始タイミング、及び露光期間を設定する。これにより、既存の同期信号を用いて、確実に有効領域期間中に第1画像を、無効領域期間中に第2画像を撮影することができる。その結果、容易に光軸位置を特定することができる。
請求項4に記載の画像表示装置によれば、第1画像の露光期間と第2画像の露光期間とは、同じ期間である。これにより、第1画像と第2画像との差分はノイズが少なくなる。その結果、第1画像の露光期間と第2画像の露光期間とが異なる場合と比較して、正確に光軸位置を特定することができる。
請求項5に記載の画像表示装置によれば、第1画像の露光期間と第2画像の露光期間とが同じ期間でない場合、第2画像を(第1画像の露光期間/第2画像の露光期間)倍する。これにより、両露光期間が異なる場合でも、第1画像と第2画像との差分はノイズが少なくなる。その結果、第2画像を所定倍しない場合と比較して、より正確に光軸位置を特定することができる。
請求項6に記載の画像表示装置によれば、瞳孔周辺の輝度が閾値の輝度未満である場合、瞳孔周辺の輝度が閾値の輝度以上となるよう変調光の輝度を増加させる。これにより、瞳孔周辺の輝度が撮影手段にて撮影するに際し極端に小さい場合、閾値以上に輝度を増加させることで撮影手段にて鮮明な画像を撮影することができる。
請求項7に記載の画像表示装置によれば、瞳孔位置の中心から光軸位置の中心までの最短距離が、光軸の半径と瞳孔の半径とを足した所定距離以上である場合、補正手段は光軸位置の中心を瞳孔位置の中心に合うように補正する。これにより、光軸位置の中心と瞳孔位置の中心との位置ずれが所定距離未満である場合、補正する必要がなくなり、消費電力の低減を図ることができる。
請求項8に記載の画像表示装置によれば、補正を開始するタイミング信号を補正手段に送信する操作手段を備える。これにより、ユーザが操作手段を操作することで、ユーザの任意のタイミングで光軸位置の補正を行うことができる。
RSD1の外観図。 RSD1の電気的構成及び光学的構成を示す図。 表示制御回路14と周辺機器との電気的接続を示すブロック図。 画像光LBの表示タイミング、及びカメラ40の撮影タイミングを示す図。(A)は、縦軸に輝度、横軸に画素数を表す図。(B)は、縦軸に輝度、横軸にライン数を表す図。(C)は、縦軸に領域信号15Sの電圧、横軸にライン数を表す図。(D)は、縦軸にカメラ撮影信号43Sの電圧、横軸にライン数を表す図。 駆動信号供給回路15、領域信号判断回路17、及び画像処理部18の詳細な電気的構成を示すブロック図。 表示制御回路14の基本処理のフローチャート。 光軸位置が瞳孔位置に合うように誘導する処理を示すフローチャート。 第1画像421を示す図。 第2画像422を示す図。 第1画像421の各画素の輝度から、第2画像422の第1画像421の各画素に対応する各画素の輝度を差し引いて生成された輝度差分情報423を示す図。 光軸位置と瞳孔位置との座標位置関係424を概念的に示す図。 光軸位置が瞳孔位置に合致した状態での補正後画像425を示す図。 画像処理のフローチャート。 変形例1における表示制御回路14の基本処理のフローチャート。 かさ上げされる前の画像光LBを示す図。(A)縦軸に輝度、横軸にライン数を表し、かさ上げされる前の補正対象フレームFHを示す図。(B)縦軸に輝度、横軸に画素数を表し、かさ上げされる補正対象ラインLHを示す図。 かさ上げされた後の画像光LBを示す図。(A)縦軸に輝度、横軸にライン数を表し、かさ上げされた後の補正対象フレームFHを示す図。(B)縦軸に輝度、横軸に画素数を表し、かさ上げされた後の補正対象ラインLHを示す図。 ユーザが画像光LBを見えない場合にユーザが押す補正ボタン8に関するフローチャート。 有効領域ERと、無効領域NRと、が異なる期間である場合の撮影タイミングを示す図。(A)縦軸に領域信号15Sの電圧、横軸にライン数を表す図。(B)縦軸にカメラ撮影信号43Sの電圧、横軸にライン数を表し、露光期間EER1、ENR1を示す図。 変形例2における画像処理のフローチャート。 有効領域ER時に露光期間EER1撮影された第1画像421Aを示す図。 無効領域NR時に露光期間ENR1撮影された第2画像422Aを示す図。 輝度調整された第2画像422Bを示す図。
〔RSD1の全体構成〕
図1を用いて、本発明の一実施形態であるRSD1の全体構成について説明する。図1は、RSD1の外観図である。
RSD1は、画像光をユーザPEの眼EYの網膜上に投射し走査することで、画像を表示する画像表示装置である。図1に示すように、本実施形態に係るRSD1は、画像光制御装置2と、頭部装着具4と、複合ケーブル3と、を備える。
画像光制御装置2は、図示しない外部装置と電気的に接続される。画像光制御装置2は、複合ケーブル3と光学的に接続される。画像光制御装置2は、図示しない外部装置から、コンテンツデータを受け取り、そのコンテンツデータを基に強度変調した画像光を生成し、画像光を複合ケーブル3に出射する装置である。画像光制御装置2は、電源ボタン13と、図示しない操作入力部と、外部入出力端子11と、を備える。
外部入出力端子11は、図示しない外部装置と電気的に接続される。外部入出力端子11には、外部装置から画像信号を形成するためのコンテンツデータが送られる。外部装置は、例えばパーソナルコンピュータである。なお、コンテンツデータとは、文字を表示させるためのデータ、画像を表示させるためのデータ及び動画を表示させるためのデータのうちの少なくとも1つのデータで構成される画像情報であり、例えば、パーソナルコンピュータ等で使用される文書ファイル、画像ファイル、又は動画ファイル等である。外部入出力端子11は、例えば画像光制御装置2を覆う筐体から露出して形成される。
電源ボタン13は、ユーザPEにより押下されることで、RSD1が起動又は終了される。電源ボタン13は、例えば画像光制御装置2を覆う筐体から露出して形成される。
操作入力部は、ユーザPEにより操作可能に構成され、その操作によりRSD1の光軸位置の補正が指示される。操作入力部は、例えば画像光制御装置2を覆う筐体から露出して形成される操作ボタン等の操作手段である。
複合ケーブル3は、頭部装着具4と光学的に接続される。複合ケーブル3は、画像光制御装置2から出射された画像光を伝送し、頭部装着具4に出射するケーブルである。
頭部装着具4は、ユーザPEの頭部に装着された状態において、複合ケーブル3によって伝送された画像光をユーザPEの眼EYに投射する装置である。頭部装着具4は、画像光偏向装置5と、フレーム7と、を備える。
画像光偏向装置5は、複合ケーブル3より伝送された画像光を2次元方向に走査して画像光LBを形成し、ユーザPEの眼EYに入射させ、ユーザPEの眼EYの網膜上で画像光LBを2次元方向に走査する装置である。これにより、ユーザPEに画像情報に応じた画像を視認させることができる。画像光偏向装置5は、ハーフミラー6を備える。
ハーフミラー6は、ユーザPEに頭部装着具4を装着した状態において、ユーザPEの眼EYと対向するよう設けられる。外光LAは、ハーフミラー6を透過してユーザPEの眼EYに入射される。画像光偏向装置5から出射される画像光LBは、ハーフミラー6で反射してユーザPEの眼EYに入射する。これにより、ユーザPEは、外光LAによる外景と画像光LBによる画像を重ねて視認することができる。RSD1は、外光LAを透過しつつ、画像光LBをユーザPEの眼EYに投射するシースルー型のヘッドマウントディスプレイである。
フレーム7には、画像光偏向装置5が装着される。フレーム7は、頭部装着具4をユーザPEの頭部に装着した状態において、ユーザPEの眼EYとハーフミラー6とが対向するよう形成される。フレーム7は、例えば眼鏡のフレーム形状を有す。
〔RSD1の電気的構成及び光学的構成〕
図2を用いて、RSD1の電気的構成及び光学的構成について説明する。。図2に示すように、画像光制御装置2は、外部入出力端子11と、コンテンツ記憶部12と、電源ボタン13と、表示制御回路14と、駆動信号供給回路15と、光源16と、を備える。
コンテンツ記憶部12は、コンテンツデータが記憶可能な記憶領域を有する。コンテンツ記憶部12は、例えば、ハードディスクの如き磁気的記憶媒体、CD−Rの如き光学的記録媒体、又はフラッシュメモリ等である。
表示制御回路14は、外部入出力端子11と、コンテンツ記憶部12と、電源ボタン13と、駆動信号供給回路15と、図示しない電源回路と、に電気的に接続される。表示制御回路14は、外部入出力端子11を介して接続された図示しない外部装置から供給されるコンテンツデータを画像信号Sに変換し、駆動信号供給回路15に供給する。また、表示制御回路14は、コンテンツ記憶部12に予め記憶されたコンテンツデータを読み出し、このコンテンツデータを画像信号Sに変換して、駆動信号供給回路15に供給する。表示制御回路14は、電源ボタン13が押下されることにより、図示しない電源回路からの電力を各回路に供給したり、その供給を停止したりする。
駆動信号供給回路15は、光源16と電気的に接続される。駆動信号供給回路15は、表示制御回路14から送られた画像信号Sに基づいて、表示画像を形成するための要素となる、赤色、緑色、及び青色のそれぞれの画像信号(以下、RGB信号とする)を生成し、このRGB信号を光源16に送信する。
光源16は、図示しないR(赤色)レーザ光源、G(緑色)レーザ光源、及びB(青色)レーザ光源、を備える。Rレーザ光源、Gレーザ光源、及びBレーザ光源は、画像信号Sに基づいて生成された各色の画像信号に応じてそれぞれ強度変調されたレーザ光を出射する。各レーザ光源は、例えば、半導体レーザ、又は高調波発生機構付き固体レーザ、である。各レーザ光源から出射されたレーザ光は、図示しないダイクロイックミラー等の光学系により合波され、図示しないコリメートレンズ等の光学系により平行光化され、図示しない集光レンズ等の光学系により集光されて、複合ケーブル3へ出射される。
複合ケーブル3は、画像光偏向装置5と光学的に接続される。複合ケーブル3は、光源16から出射された画像光を画像光偏向装置5に伝送する。
画像光偏向装置5は、複合ケーブル3を介して入射する画像光を走査して、ユーザの眼EYに投射する。画像光偏向装置5は、画像光走査部20Aと、画像光走査部移動回路20Bと、接眼レンズ30Aと、接眼レンズ移動回路30Bと、カメラ40と、カメラ駆動部41と、ハーフミラー6と、を備える。
画像光走査部20Aは、複合ケーブル3と光学的に接続される。画像光走査部20Aは、複合ケーブル3により伝送される画像光を2次元方向に走査して画像光LBとして出射する。画像光走査部20Aは、コリメートレンズ21と、水平走査部22と、リレーレンズ23と、垂直走査部24と、出射レンズ25と、を備える。画像光走査部移動回路20Bは、表示制御回路14と電気的に接続される。画像光走査部移動回路20Bは、表示制御回路14から送られてくる移動制御信号20Cを受信し、その移動制御信号20Cに従って画像光走査部20Aを移動させるための駆動信号を生成し、その駆動信号を画像光走査部20Aに備えられた図示しない移動機構に送信する。図示しない移動機構は、その駆動信号に従って画像光走査部20Aを移動させる。移動制御信号20Cは、画像光走査部20Aの移動方向及び移動量を情報として含む。画像光走査部20Aに備えられた図示しない移動機構とは、例えばサーボモータである。
複合ケーブル3により伝送された画像光は、コリメートレンズ21によって平行光化され、水平走査部22に出射される。
水平走査部22は、偏向素子22Aと、水平走査駆動回路22Bと、を備える。水平走査駆動回路22Bは、駆動信号供給回路15と電気的に接続される。水平走査駆動回路22Bは、駆動信号供給回路15から送られた水平同期信号22Cを基に、偏向素子22Aを駆動する。その結果、偏向素子22Aの反射面は揺動される。コリメートレンズ21から出射された画像光は、水平走査駆動回路22Bによって揺動された偏向素子22Aの反射面に入射し、リレーレンズ23に向けて水平方向に走査される。
水平走査部22の偏向素子22Aによって水平方向に走査された画像光は、リレーレンズ23に入射し、垂直走査部24に集光される。
垂直走査部24は、偏向素子24Aと、垂直走査駆動回路24Bと、を備える。垂直走査駆動回路24Bは、駆動信号供給回路15と電気的に接続される。垂直走査駆動回路24Bは、駆動信号供給回路15から送られた垂直同期信号24Cを基に、偏向素子24Aを駆動する。その結果、偏向素子24Aの反射面は揺動される。リレーレンズ23から出射された画像光は、垂直走査駆動回路24Bによって揺動された偏向素子24Aの反射面に入射し、出射レンズ25に向けて水平方向と略直交する垂直方向に走査される。
垂直走査部24の偏向素子24Aによって垂直方向に走査された画像光は、出射レンズ25に入射し、画像光LBとして、接眼レンズ30Aに出射される。
出射レンズ25によって出射された画像光LBは、接眼レンズ30Aに入射し、ハーフミラー6に出射される。接眼レンズ移動回路30Bは、表示制御回路14と電気的に接続される。接眼レンズ移動回路30Bは、表示制御回路14から送られてくる移動制御信号30Cを受信し、その移動制御信号30Cに従って接眼レンズ30Aを移動させるための駆動信号を生成し、その駆動信号を接眼レンズ30Aに備えられた図示しない移動機構に送信する。接眼レンズ30Aに備えられた図示しない移動機構は、その駆動信号に従って接眼レンズ30Aを移動させる。なお、移動制御信号30Cは、接眼レンズ30Aの移動方向及び移動量を情報として含む。接眼レンズ30Aに備えられた図示しない移動機構は、例えばサーボモータである。
接眼レンズ30Aによって出射された画像光LBは、ハーフミラー6に反射されて、ユーザの眼EYの網膜上に投射される。これにより、ユーザは、画像光LBを視認することができる。
カメラ40は、画像光偏向装置5のユーザの眼EYを撮影可能な位置に配置される。カメラ40は、画像光LBがユーザの眼EYに照射された状態の画像(以下、第1画像421と呼ぶ)と、画像光LBがユーザの眼EYに照射されていない状態の画像(以下、第2画像422と呼ぶ)と、を撮影する。カメラ40は、カメラ駆動部41と電気的に接続される。カメラ40によって撮影された画像情報(以下、撮像信号42と呼ぶ)は、カメラ駆動部41に送られる。
カメラ駆動部41は、領域信号判断回路17と電気的に接続される。カメラ駆動部41は、領域信号判断回路17から送られる領域信号15Sを基に、カメラ40の撮像タイミングを制御するカメラ撮像信号43Sを送信する。カメラ駆動部41は、画像処理部18と電気的に接続される。カメラ撮像信号43Sを受信したカメラ40は、第1画像421、第2画像422等の画像情報を含む撮像信号42をカメラ駆動部41に送信する。撮像信号42を受信したカメラ駆動部41は、画像処理部18に撮像信号42を送信する。
領域信号判断回路17は、駆動信号供給回路15から送られる領域信号15Sを基に、カメラ40の撮像タイミングを決定し、カメラ40の撮像タイミングを制御する信号を送信する。
画像処理部18は、第1画像421及び第2画像422を基に、ユーザの瞳孔位置と、ユーザの瞳孔に照射された画像光LBの光軸位置と、を特定する。そして、画像処理部18は、前記瞳孔位置と前記光軸位置とを比較し、前記瞳孔位置と前記光軸位置との距離を算出する。画像処理部18は、表示制御回路14と電気的に接続される。画像処理部18は、前記算出された距離を示す距離情報40Cを表示制御回路14に送信する。
表示制御回路14は、画像処理部18から送られてきた距離情報40Cを基に、前記瞳孔位置と前記光軸位置とが合うように前記光軸位置を補正する移動制御信号20Cを画像光走査部移動回路20Bに、前記瞳孔位置と前記光軸位置とが合うように前記光軸位置を補正する移動制御信号30Cを接眼レンズ移動回路30Bにそれぞれ送信する。そして、画像光走査部移動回路20B及び接眼レンズ移動回路30Bは、前記瞳孔位置と前記光軸位置とを合わせるために、移動制御信号20C及び移動制御信号30Cに従って、画像光走査部20A及び接眼レンズ30Aを移動させる。
〔表示制御回路14の電気的構成〕
次に、表示制御回路14の電気的構成について、図3を参照しながら説明する。図3は、表示制御回路14と周辺機器との電気的接続を示すブロック図である。
表示制御回路14は、CPU100と、ROM101と、RAM102と、通信インターフェース103と、周辺機器用インターフェース104と、駆動信号供給回路用インターフェース105と、駆動信号供給回路用VRAM106と、を備えており、システムバス107を介して相互に接続される。
ROM101は、後述するフローチャートに従った処理を実現するためのプログラムを記憶する。そのプログラムは、CPU100によりRAM102を用いて実行される。
RAM102は、ROM101に記憶されるプログラムをCPU100が実行する際に参照する各種変数などを記憶しておく一時記憶領域として機能する。
通信インターフェース103は、表示制御回路14に接続された外部装置との信号の送受信を行うものである。通信インターフェース103は、外部入出力端子11と電気的に接続される。通信インターフェース103は、外部入出力端子11を介してコンテンツデータを受け取る。通信インターフェース103がコンテンツデータを受け取ると、CPU100は、そのコンテンツデータを、システムバス107を介して駆動信号供給回路用VRAM106の所定アドレスに書き込む。
周辺機器用インターフェース104は、表示制御回路14に接続されたRSD1内部の周辺機器の動作制御及び信号の送受信を行うものである。周辺機器用インターフェース104は、コンテンツ記憶部12と、電源ボタン13と、画像光走査部移動回路20Bと、接眼レンズ移動回路30Bと、画像処理部18と、のそれぞれと電気的に接続される。
周辺機器用インターフェース104は、CPU100からの命令により、コンテンツ記憶部12からコンテンツデータを読み出す。CPU100は、コンテンツ記憶部12から読み出したコンテンツデータを、システムバス107を介して駆動信号供給回路用VRAM106の所定アドレスに書き込む。
周辺機器用インターフェース104は、電源ボタン13から送信される操作信号を受信する。周辺機器用インターフェース104が操作信号を受信すると、CPU100は、外部入出力端子11、及びコンテンツ記憶部12にそれぞれ対応する駆動信号供給回路用VRAM106の所定アドレスに、またカメラ駆動部41に対応するRAM102の所定アドレスに、電源ボタン13の操作があった旨を示すフラグをセットする。
周辺機器用インターフェース104は、画像処理部18から送信される距離情報40Cを受信する。周辺機器用インターフェース104が距離情報40Cを受信すると、CPU100は、距離情報40CをRAM102の所定アドレスに書き込む。
距離情報40CがRAM102上の所定アドレスに書き込まれると、CPU100は、ROM101に記憶されたプログラムに従って、RAM102に記憶された距離情報40Cを読み出し、その距離情報40Cを基に画像光走査部移動回路20Bに対する移動制御信号20Cと、接眼レンズ移動回路30Bに対する移動制御信号30Cとを生成して出力するように、周辺機器用インターフェース104に命令する。
駆動信号供給回路用インターフェース105は、システムバス107と、駆動信号供給回路15と電気的に接続される。駆動信号供給回路用インターフェース105は、駆動信号供給回路用VRAM106と電気的に接続される。駆動信号供給回路用インターフェース105は、駆動信号供給回路用VRAM106内のデータを参照して、画像信号Sを生成し、画像信号Sを駆動信号供給回路15に送信する。なお、画像信号Sの基となる駆動信号供給回路用VRAM106のデータは、システムバス107を介してCPU100によって書き込まれる。
〔画像光LBの表示タイミング、及びカメラ40の撮影タイミング〕
図4を用いて、画像光LBについて詳しく説明する。図4は、画像光LBの表示タイミング、及びカメラ40の撮影タイミングを示す図である。図4(A)は、縦軸に輝度、横軸に画素数を表す図である。図4(B)は、縦軸に輝度、横軸にライン数を表す図である。図4(C)は、縦軸に領域信号15Sの電圧、横軸にライン数を表す図である。図4(D)は、縦軸にカメラ撮影信号43Sの電圧、横軸にライン数を表す図である。図4(B)〜(D)のライン数は、すべて縦に同一のライン数を示している。図4(A)のL1は、図4(B)の有効領域期間ERの複数ラインのうちの1ラインを表している。光源16は、画像信号Sに従って、画像光LBを出射する。光源16から出射された画像光LBは、水平走査部22にて水平方向に走査されながら、垂直走査部24にて垂直方向に走査される。
垂直走査部24は、画像光LBを1秒間に60回、垂直方向に走査する。図4(B)に示すように、垂直走査部24が画像光LBを1回垂直方向に走査すると、1フレーム(フレームF1)描画される。水平走査部22は、F1の間に600回、水平方向に走査する。水平走査部22が画像光LBを1回水平方向に走査すると、1ライン(L1)描画される。図4(A)に示すように、光源16は、L1の間に800回、画像信号Sに従って輝度を切り換える。光源16が画像光LBを1回切り換えると、1画素描画される。
図4(B)を用いて、画像光LBのF1の描画をより詳細に説明する。垂直方向の走査が、最初のラインである1ライン目から開始される。水平走査部22が600ライン水平方向に走査するうち、1〜100ラインにおいて光源16が消灯される。水平走査部22が600ライン水平方向に走査するうち、101〜500ラインにおいて光源16が点灯される。101〜500ライン水平方向に走査するためにかかる期間を、有効領域期間ERと称する。水平走査部22が600ライン水平方向に走査するうち、501〜600ラインにおいては光源16が消灯される。1〜100ライン、及び501〜600ライン水平方向に走査するためにかかる期間を、無効領域期間NRと称する。水平走査部22は、600ラインから1ラインに戻るために、光源16を消灯しながら回帰動作を行う。回帰動作を行う期間を、回帰領域期間RRと称する。そして、水平走査部22が600ライン水平方向に走査するうち、1〜100ラインにおいて再び光源16が消灯される。
図4(A)を用いて、画像光LBのL1の描画をより詳細に説明する。水平方向の走査が最初の画素である1画素目から開始される。光源16が800画素切り換わるうち、1〜100画素において光源16が消灯される。光源16が800画素切り換わるうち、101〜700画素においては光源16が点灯される。光源16が800画素切り換わるうち、701〜800画素においては光源16が消灯される。光源16が800画素から1画素に戻るために、光源16が消灯しながら回帰動作を行う。この1〜800画素の間を1ライン(ラインL1)とする。そして、ラインL2に入り、光源16が800画素切り換わるうち、1〜100画素について再び光源16が消灯される。
図4(C)に示すように、カメラ駆動部41は、領域信号判断回路17から送られる領域信号15Sの低レベル電圧を受信し、有効領域期間ERであることを認識する。そして、図4(D)に示すように、カメラ駆動部41は、低レベル電圧を受信した後、カメラ撮影信号43Sの高レベル電圧をカメラ40に露光期間EERだけ送信する。カメラ撮影信号43Sの高レベル電圧が維持される期間は、カメラ40の露光期間を示す。カメラ駆動部41は、領域信号判断回路17から送られる領域信号15Sの高レベル電圧を受信し、無効領域期間NRであることを認識する。そして、カメラ駆動部41は、領域信号15Sの高レベル電圧を受信した後、カメラ撮影信号43Sの高レベル電圧をカメラ40に露光期間ENRだけ送信する。なお、露光期間EERは、露光期間ENRと同じ期間である。
図5を用いて、カメラ制御に関連した電気的構成について制御の流れに沿って詳しく説明する。図5は、駆動信号供給回路15、領域信号判断回路17、及び画像処理部18の詳細な電気的構成を示す。
表示制御回路14は、駆動信号供給回路15に画像信号Sを送信する。駆動信号供給回路15は、光源16にRGB信号を、水平走査駆動回路22Bに水平同期信号22Cを、垂直走査駆動回路24Bに垂直同期信号24Cを、送信する。駆動信号供給回路15は、領域信号判断回路17に領域信号15Sを送信する。駆動信号供給回路15は、画像信号処理部15Bと、ラインカウンタ15Cと、領域信号生成回路15Dと、を備える。
画像信号処理部15Bは、表示制御回路14から送信された画像信号Sを基に、水平同期信号22C、及び垂直同期信号24Cを生成し、ラインカウンタ15Cに水平同期信号22C、及び垂直同期信号24Cを送信する。
ラインカウンタ15Cは、画像信号処理部15Bから送信された水平同期信号22C、及び垂直同期信号24Cを受信する。ラインカウンタ15Cは、水平同期信号22Cが送信されるたびに、カウントを1つ増やす。ラインカウンタ15Cは、垂直同期信号24Cが送信されると、カウントを0にリセットする。水平同期信号22Cは1ライン走査するごとに、画像信号処理部15Bからラインカウンタ15Cへ1回送信される。ゆえに、ラインカウンタ15Cはライン数をカウントする。また、垂直同期信号24Cは、1フレームが描画されると、画像信号処理部15Bからラインカウンタ15Cへ1回送信される。ゆえに、ラインカウンタ15Cがカウントしたライン数は、1フレームに走査されたライン数を表す。ラインカウンタ15Cは、領域信号生成回路15Dと電気的に接続される。
ラインカウンタ15Cの動作について例を挙げて具体的に説明する。ラインカウンタ15Cに垂直同期信号24Cが送信される。ラインカウンタ15Cのカウント数が0になり、リセットされる。ラインカウンタ15Cは、領域信号生成回路15Dに無効領域期間NR又は回帰領域期間RRであることを示す信号を送信する。ラインカウンタ15Cは、水平同期信号22Cが送信されると、カウント数を1つ増やし、カウント数が1となる。そして、ラインカウンタ15Cは、水平同期信号22Cが送信されるごとに、カウント数を増やす。ラインカウンタ15Cは、水平同期信号22Cが計100回送信されると、カウント数が100となる。カウント数が101となると、領域信号生成回路15Dに有効領域期間ERであることを示す信号を送信する。そして、ラインカウンタ15Cは、水平同期信号22Cが送信されるごとに、カウント数を増やす。ラインカウンタ15Cは、水平同期信号22Cが計500回送信されると、カウント数が500となる。ラインカウンタ15Cは、カウント数が501となると、領域信号生成回路15Dに無効領域期間NR又は回帰領域期間RRであることを示す信号を送信する。ラインカウンタ15Cは、水平同期信号22Cが送信されるごとに、カウント数を増やす。ラインカウンタ15Cは、水平同期信号22Cが計600回送信されると、カウント数が600となる。回帰領域期間RRを経て、ラインカウンタ15Cに垂直同期信号24Cが送信される。再びラインカウンタ15Cのカウント数が0になり、リセットされる。上記工程を繰り返す。なお、ラインカウンタ15Cは、垂直同期信号24Cを60回受信すると、領域信号生成回路15Dに補正フラグMを送信する。
領域信号生成回路15Dは、画像信号処理部15Bと電気的に接続される。領域信号生成回路15Dは、画像信号処理部15Bに領域信号15Sを送信する。画像信号処理部15Bは、領域信号15Sを基に、所定のタイミングにて、光源16にRGB信号を送信する。
領域信号生成回路15Dは、ラインカウンタ15Cから補正フラグMを受信すると、領域信号判断回路17へ領域信号15Sを送信する。また、領域信号生成回路15Dは、ラインカウンタ15Cから補正フラグMを受信すると、表示制御回路14へ補正フラグMを送信する。領域信号生成回路15Dは、高レベルカウンタ17Aと、低レベルカウンタ17Bと、に電気的に接続される。領域信号生成回路15Dは、無効領域期間NR又は回帰領域期間RRであることを示す信号をラインカウンタ15Cから受信する。すると、領域信号生成回路15Dは、高レベルカウンタ17Aに領域信号15Sを送信する。領域信号生成回路15Dは、有効領域期間ERであることを示す信号をラインカウンタ15Cから受信するまで、高レベルカウンタ17Aに領域信号15Sを送信し続ける。その後、領域信号生成回路15Dは、有効領域期間ERであることを示す信号をラインカウンタ15Cから受信する。すると、領域信号生成回路15Dは、低レベルカウンタ17Bに領域信号15Sを送信する。領域信号生成回路15Dは、無効領域期間NR又は回帰領域期間RRであることを示す信号をラインカウンタ15Cから受信するまで、低レベルカウンタ17Bに領域信号15Sを送信し続ける。その後、領域信号生成回路15Dは、有効領域期間ERであることを示す信号をラインカウンタ15Cから再び受信する。
領域信号判断回路17は、高レベルカウンタ17Aと、低レベルカウンタ17Bと、レベル比較回路17Cと、を備える。
高レベルカウンタ17Aは、領域信号15Sが送信される期間をカウントする。高レベルカウンタ17Aは、レベル比較回路17Cと電気的に接続される。高レベルカウンタ17Aは、カウントした期間をレベル比較回路17Cに送信する。低レベルカウンタ17Bは、領域信号15Sが送信される期間をカウントする。低レベルカウンタ17Bは、レベル比較回路17Cと電気的に接続される。低レベルカウンタ17Bは、カウントした期間をレベル比較回路17Cに送信する。
レベル比較回路17Cは、送信された領域信号15Sについて、高レベル期間と低レベル期間とを比較する。レベル比較回路17Cは、カメラ駆動部41と電気的に接続される。レベル比較回路17Cは、低レベル期間より高レベル期間が大きい場合、領域信号15Sをカメラ駆動部41に送信する。レベル比較回路17Cは、低レベル期間より高レベル期間が小さい場合、領域信号15Sをカメラ駆動部41に送信しない。
カメラ駆動部41は、レベル比較回路17Cから領域信号15Sを受信する。カメラ駆動部41は、領域信号15Sを受信した後、カメラ40にカメラ撮影信号43Sを送信し、第1画像421及び第2画像422を撮影する。カメラ駆動部41は、撮影した第1画像421及び第2画像422を撮像信号42として、画像処理部18に送信する。
表示制御回路14に距離情報40Cを送信するまでの画像処理部18の内部処理について、詳細に説明する。画像処理部18は、画像RAM200と、画像システムバス210と、画像CPU220と、画像ROM230と、を備える。
画像RAM200は、変数保管領域201と、第1画像用RAM202と、第2画像用RAM203と、を備える。変数保管領域201は、画像ROM230内のプログラムを実行するのに必要な各種変数を保管する。第1画像用RAM202は、カメラ駆動部41から送信された第1画像を保存するためのRAMである。第2画像用RAM203は、カメラ駆動部41から送信された第2画像422を保存するためのRAMである。画像RAM200は、画像システムバス210と電気的に接続される。
画像システムバス210は、画像RAM200と、画像CPU220と、画像ROM230と、表示制御回路14と、にそれぞれ電気的に接続される。
画像CPU220は、画像RAM200を用いて、画像ROM230のプログラムを実行する。
〔画像処理〕
画像ROM230は、第1画像421及び第2画像422から距離情報40Cを生成するために必要な画像処理プログラム231を記憶する。画像処理プログラム231は、すべて画像CPU220により実行される。画像処理プログラム231については、図8〜図12、及び図13を用いて説明する。図8は、第1画像421を示す図である。図9は、第2画像422を示す図である。図10は、第1画像421の各画素の輝度から、第2画像422の第1画像421の各画素に対応する各画素の輝度を差し引いて生成された輝度差分情報423を示す図である。図11は、光軸位置と瞳孔位置との座標位置関係424を説明する図である。図12は、光軸位置が瞳孔位置に合致した状態での画像425を示す図である。図13は、画像処理プログラム231に従う画像処理を示すフローチャートである。なお、本明細書及び図面において、フローチャートで示す記号Sは、ステップを表し、例えば、ステップ61は、S61と図示される。
図13の画像処理プログラムに従って、画像処理が開始される。ステップ61では、光軸位置を示す差分を第1画像421及び第2画像422から抽出する。具体的には、第1画像用RAM202と、第2画像用RAM203とに、図8に示す第1画像421と、図9に示す第2画像422とが保存される。そして、第1画像421の各画素の輝度から、第2画像422の第1画像421の各画素に対応する各画素の輝度を差し引く。すると、図10に示すように、第1画像421と、第2画像422との相違部分が、輝度差分情報423の輝度差として表れる。第1画像421と第2画像422との相違は、画像光LBの有無のみである。ゆえに、輝度差分情報423の輝度差は画像光LBの光軸位置426であると特定される。図10に示す各画素の輝度を差し引いて生成された輝度差分情報423が、差分情報用RAM204に保存される。差分情報用RAM204は、差分情報を保存するためのRAMである。
ステップ62では、輝度差分情報423から光軸位置を特定する。具体的には、輝度差分情報423の最も輝度の大きい画素位置を光軸位置として特定する。ただし、光軸位置の誤検出を避けるため、必要に応じて例えば特開2001−273484号公報記載の既知のノイズ除去処理、又は2値化処理を行ってもよい。特定した光軸位置が、変数保管領域201に保存される。上記処理により、例えば、図11に示すように、光軸中心画素位置は、(X1、Y1)=(60、70)と決定される。光軸画素範囲AAは、光軸中心画素位置から半径KR=5画素の範囲である。
ステップ63では、第2画像422から瞳孔位置を特定する。具体的には、例えば特開2004−351152号公報に記載されるように、眼の輝度差を基に瞳孔エッジ検出を行い、瞳孔の輪郭を決定することにより、瞳孔位置を特定する。特定した瞳孔位置が、変数保管領域201に保存される。上記処理により、例えば、図11に示すように、瞳孔中心画素位置は、(X2、Y2)=(100、100)と決定される。瞳孔画素範囲RAは、瞳孔中心画素位置から半径DR=30画素の範囲である。
ステップ64では、瞳孔位置と光軸位置との離間距離を算出し、ベクトルV、及び相対距離CDを算出する。具体的には、変数保管領域201に保存された瞳孔位置から変数保管領域201に保存された光軸位置を引くとベクトルVが求まる。ベクトルVを基に、相対距離CDを算出する。例えば、図11に示すように、瞳孔中心画素位置から光軸中心画素位置を引くと、ベクトルV=(X2−X1、Y2−Y1)=(40、30)となる。そしてV=(40、30)から相対距離CD=√(40+30)=50が算出される。相対距離CD、及びベクトルVは、変数保管領域20に保存される。
ステップ65では、変数保管領域201に保存された瞳孔位置と光軸位置とを比較する。変数保管領域201に保存された相対距離CD、及びベクトルVを基に、光軸位置が瞳孔位置から外れているか否かを判断する。具体的には、相対距離CDが、ユーザが画像光LBを視認することが困難な離間距離を示す閾値Lより大きい場合(CD>L)、位置ずれを示すフラグGを1にセットし、変数保管領域201に位置ずれを示す位置ずれフラグGを保存する。相対距離CDが閾値Lより小さい場合(CD<=L)、位置ずれフラグGを0にリセットし、変数保管領域201に位置ずれフラグGを保存する。例えば、図11に示すように、閾値L=KR+DRとした場合、閾値L=5+30=35である。CD=50であるから、CD>Lとなり、位置ずれを示すフラグGをセットし、変数保管領域201に位置ずれを示す位置ずれフラグGを保存する。距離情報40Cは、相対距離CD、ベクトルV、及び位置ずれフラグGを含む情報である。そして、距離情報40Cは、変数保管領域201に保存される。変数保管領域201に保存された距離情報40Cは、表示制御回路14に送信される。図12の補正後画像425は、光軸位置が瞳孔位置に一致するように補正された様子を示す図である。その後、表示制御回路14は、図12の補正後画像425に示すように、光軸位置を瞳孔位置に移動させる。その結果、ユーザは、画像光LBを視認することができる。
〔表示制御回路14の基本処理動作〕
RSD1における表示制御回路14での処理について、図6を用いて説明する。図6は、表示制御回路14の基本処理のフローチャートである。基本処理は、電池、又は商用電源などの外部電源と、画像光制御装置2の電源回路と、が電気的に接続されており、画像光制御装置2の表示制御回路14のCPU100と、電源制御部とに電力が供給された状態で行われる。基本処理は、ユーザにより電源ボタン13が押下されると、CPU100がROM101にあらかじめ記憶されたプログラムを実行することにより遂行される。以下に示す処理は、全てCPU100により処理される。
電源ボタン13がユーザにより押下されると、ステップ11で、起動処理が行われる。具体的には、RAM102に電源ボタン13が押下されたというフラグが書き込まれ、続いて光源16、水平走査部22、垂直走査部24、画像光走査部移動回路20B、接眼レンズ移動回路30B、及びカメラ駆動部41の動作準備が行われる。
ステップ12では、ステップ11により起動処理が行われた後に、電源ボタン13がもう一度押下されたかどうかを判断する処理が行われる。ユーザにより電源ボタン13がもう一度押下された場合、判断がYESとなり、ステップ13に進む。ユーザにより電源ボタン13がもう一度押下されていない場合、判断がNOとなり、ステップ14に進む。
ステップ13では、画像光制御装置2の終了処理が行われる。
ステップ14では、有効領域期間ERに、光源16の点灯が行われる。具体的には、駆動信号供給回路15の画像信号処理部15Bは、領域信号生成回路15Dから送信される領域信号15Sが低レベル電圧である場合、光源16にRGB信号を送信する。RGB信号を受信した光源16は、RGB信号を受信したタイミングで、画像光LBを出射する。
ステップ15では、領域信号生成回路15Dから送信された補正フラグMについて判断する。具体的には、領域信号生成回路15Dから送信された補正フラグMは、表示制御回路14のRAM102に保存される。補正フラグMがリセットされている場合、ステップ16へ進む。また、補正フラグMがセットされている場合、ステップ17へ進む。
ステップ16では、無効領域期間NR、及び回帰領域期間RRに、光源16の消灯が行われる。具体的には、ステップ15にて、補正フラグMがリセットされていることを確認した後、駆動信号供給回路15の画像信号処理部15Bは、領域信号生成回路15Dから送信される領域信号15Sが高レベル電圧である場合、光源16に各色の輝度を0にするRGB信号を送信する。各色の輝度を0にするRGB信号を受信した光源16は、そのRGB信号を受信したタイミングでは、画像光LBを出射しない。
ステップ17では、ステップ14から光源16の点灯が行われている状態にて、第1画像421の撮影が行われる。具体的には、カメラ駆動部41は、レベル比較回路17Cから領域信号15Sの低レベル電圧が送信された後、カメラ撮影信号43Sの高レベル電圧をカメラ40に露光期間EERだけ送信する。露光期間EERとは、領域信号15Sの低レベル電圧が送信されている期間内の一定期間を指し、例えば200ラインから400ラインの間である。カメラ撮影信号43Sの高レベル電圧が送信されたカメラ40は、カメラ撮影信号43Sの高レベル電圧が送信され続けている間、カメラ40を露光し続ける。その後、カメラ駆動部41は、カメラ撮影信号43Sの低レベル電圧をカメラ40に所定期間SRだけ送信する。所定期間SRとは、領域信号15Sの低レベル電圧が送信されている期間内の一定期間を指し、例えば1ラインから200ラインの間、400ラインから600ラインの間である。カメラ撮影信号43Sの低レベル電圧が送信されたカメラ40は、露光を終了し、有効領域期間ERに撮影されたデータをカメラ駆動部41に送信する。前記データを送信されたカメラ駆動部41は、前記データを演算処理し第1画像421を生成し、第1画像421を撮像信号42として、画像処理部18に送信する。
ステップ18では、ステップ16と同様に、無効領域期間NR、及び回帰領域期間RRに、光源16の消灯が行われる。
ステップ19では、ステップ14から光源16の消灯が行われている状態にて、第2画像422の撮影が行われる。具体的には、カメラ駆動部41は、レベル比較回路17Cから領域信号15Sの高レベル電圧が送信された後、カメラ撮影信号43Sの高レベル電圧をカメラ40に露光期間ENRだけ送信する。露光期間ENRとは、領域信号15Sの高レベル電圧が送信されている期間内の一定期間を指し、例えば回帰動作の間である。カメラ撮影信号43Sの高レベル電圧が送信されたカメラ40は、カメラ撮影信号43Sの高レベル電圧が送信され続けている間、カメラ40を露光し続ける。その後、カメラ駆動部41は、カメラ撮影信号43Sの低レベル電圧をカメラ40に送信する。カメラ撮影信号43Sの低レベル電圧が送信されたカメラ40は、露光を終了し、無効領域期間NRに撮影されたデータをカメラ駆動部41に送信する。前記データを送信されたカメラ駆動部41は、前記データを演算処理し第2画像422を生成し、第2画像422を撮像信号42として、画像処理部18に送信する。
ステップ20では、第1画像421、及び第2画像422を基に、光軸位置と瞳孔位置との相対距離CD、及びベクトルVを算出する画像処理が行われる。ステップ20では、画像CPU220が画像ROM230にあらかじめ記憶されたプログラムを実行するようにCPU100が画像CPU220に指令する。具体的には、CPU100の指令により、図12に示す前述した画像処理プログラム231が行われる。
ステップ21では、位置ずれフラグGを判断する。表示制御回路14は、画像処理部18から送信された位置ずれフラグGを距離情報40Cとして受信する。距離情報40Cを受信した表示制御回路14は、RAM102に距離情報40Cを保存する。そして、位置ずれフラグGがセットされているかリセットされているかを判断する。位置ずれフラグGがリセットされている場合、ステップ12へ進む。位置ずれフラグGがセットされている場合、ステップ22へ進む。
ステップ22では、距離情報40Cに基づいて、光軸位置が瞳孔位置に合うように補正を開始する。補正の詳細は、後述する。補正開始後、ステップ12に戻る。
〔光軸位置の誘導処理〕
図7を用いて、ステップ22について、詳細に説明する。図7は、光軸位置が瞳孔位置に合うように誘導する処理を示すフローチャートである。その誘導する処理は、CPU100がROM101にあらかじめ記憶されたプログラムを実行することにより遂行される。以下に示す処理は、基本処理同様に、全てCPU100により処理される。
誘導を開始する。まず、ステップ31は、距離情報40Cの相対距離CD、及びベクトルVから、カメラ40の画像の画素を現実の距離に換算する。例えば、1画素は、現実の距離に換算すると0.1mmだとする。ベクトルV=(40、30)であるならば、光軸位置は瞳孔位置と比較して、左向きに4.0ずれていることになる。
ステップ32では、ステップ31で求めた現実の距離から、画像光走査部20Aに備えられた図示しない移動機構の移動量を計算する。例えば、1.0が、移動量に換算すると10ポイントだとする。左向きに4.0mmずれているならば、移動量は40ポイントとなる。
ステップ33では、左右方向に光軸位置を補正する。具体的には、画像光走査部移動回路20Bに移動制御信号20Cとして移動量40ポイントを送信する。そして、画像光走査部移動回路20Bは、図示しない移動機構に対して、移動量40ポイントを送信する。移動量を受信した図示しない移動機構は、画像光走査部20Aを40ポイント分移動させる。その結果、光軸位置は、右向きに4.0mm移動し、左右方向の瞳孔位置と光軸位置とが合致する。
距離情報40Cの相対距離CD、及びベクトルVから、カメラ40の画像の画素を現実の距離に換算する。例えば、1画素は、現実の距離に換算すると0.1mmだとする。ベクトルV=(40、30)であるならば、光軸位置は瞳孔位置と比較して、上向きに3.0mmずれていることになる。
ステップ35では、上下方向に光軸位置を補正する。具体的には、接眼レンズ移動回路30Bに移動制御信号30Cとして移動量30ポイントを送信する。そして、接眼レンズ移動回路30Bは、図示しない移動機構に対して、移動量30ポイントを送信する。移動量を受信した図示しない移動機構は、画像光走査部20Aを30ポイント分移動させる。その結果、光軸位置は、下向きに3.0mm移動し、上下方向の瞳孔位置と光軸位置とが合致する。これにより、ユーザは、画像光LBを視認することができる。これにより、誘導完了となる。
〔変形例1〕
本実施形態に係るRSD1の輝度のかさ上げに関する変形例1について、図14を参照しながら説明する。図14は、変形例1において図6の基本処理に対応する処理を示すフローチャートである。なお、以下の変形例1において、前述の説明と同様の構成については同じ符号を付して説明を省略する。
図14のフローチャートは、図6のフローチャートのステップ14に代えて、ステップ41〜ステップ45を実行する点において異なる。ゆえに、ステップ41〜ステップ45について説明する。
ステップ41では、入力信号をフレームバッファに記憶する。具体的には、画像信号処理部15BからRGB信号を光源16に出射する前に、画像信号処理部15Bは、表示制御回路14へ1フレーム分のRGB信号を送信する。そして、RGB信号が送信された表示制御回路14は、RAM102にRGB信号を記憶する。
ステップ42では、1フレームの輝度を合計する。具体的には、表示制御回路14は、ROM101に記憶されたプログラムに従って、RAM102に記憶された1フレーム分のRGB信号の各画素を合計する。RGB信号の各画素の合計値をRAM102に記憶する。例えば、図15に示すように、1ラインが800画素あり、1ラインのうち600画素が点灯しているとする。また、例えば、ほ補正対象となる1フレーム(補正対象フレームLH)が600ラインあり、1フレームのうち400ラインが点灯しているとする。このため、1フレーム分のRGB信号の合計値Fは、F=600(画素)×400(点灯ライン)=240000画素分の輝度の合計値となる。そして、仮に1画素が平均10ポイントの輝度であったとする。すると、合計値Fは2400000ポイントとなる。
ステップ43では、1フレーム分のRGB信号の各画素の合計値Fが所定値KM以上であるかを確認する。所定値とは、第1画像421を撮影し、その第1画像から第2画像422を引くことで輝度の差分を抽出し、ノイズにより光軸位置を誤検出することなく十分正確に特定できる値を指す。合計値Fが所定値KM以上である場合、ステップ44に進む。また、合計値Fが所定値KM未満である場合、ステップ45に進む。例えば、RGB信号の合計値Fが2400000ポイントであり、所定値KMが7200000ポイントであったとする。この場合、合計値Fが所定値KM未満であるため、ステップ45に進む。
ステップ44では、画像信号処理部15Bから受け取ったRGB信号をかさ上げしないで、有効領域期間ERを表示する。具体的には、RGB信号を、RAM102に記憶する。さらに、表示制御回路14から画像信号処理部15BへRGB信号を送信する。画像信号処理部15Bは、RGB信号を光源16に送信する。図16は、10ポイントずつかさ上げされたRGB信号を示す図である。
ステップ45では、画像信号処理部15Bから受信したRGB信号をかさ上げしてFHを表示する。具体的には、合計値Fが所定値KMを超えるようかさ上げしRAM102に記憶する。さらに、表示制御回路14から画像信号処理部15Bへかさ上げしたRGB信号を送信する。画像信号処理部15Bは、かさ上げしたRGB信号を光源16に送信する。具体的なかさ上げ方法について図16を用いて説明する。例えば、RGB信号の合計値Fが2400000ポイントであり、所定値KMが7200000ポイントであったとする。合計値Fが所定値KM以上となるためには、合計値Fが7200000−2400000=4800000ポイントかさ上げされる必要がある。1フレーム(800画素×600ライン)に対して、4800000ポイントであることから、1画素に対するポイント数を換算する。4800000:(800×600)=X:1を解くと、X=4800000÷(800×600)=10ポイントとなる。ゆえに、1フレームの各画素を10ポイントずつ上げる。図16に示されるように、RGB信号は10ポイントずつ上げられる。そして、各画素を10ポイントかさ上げしたRGB信号を、RAM102に記憶する。これにより、第1画像421の光軸位置と背景との輝度のコントラストがはっきりし、輝度差分情報423から光軸位置の特定を行うことが容易となる。
〔変形例2〕
本実施形態に係るRSD1の光軸位置の補正タイミングに関する変形例2について、図14を参照しながら説明する。図14は、変形例2において補正するタイミングを定める処理を含む基本処理のフローチャートである。なお、以下の変形例2において、前述の説明と同様の構成については同じ符号を付して説明を省略する。
本実施形態では、1秒に1回補正するタイミングを設けたが、変形例2では、ユーザが任意の時点に補正を行えるようRSD1の操作入力部に補正ボタン8が備えられる。ユーザにより補正ボタン8が押されたタイミングにて、補正が行われる。図17のフローチャートは、図6のフローチャートのステップ21に代えて、ステップ51の処理を実行する点において異なる。ゆえに、ステップ51について説明する。
ステップ51では、補正ボタン8が押されているかどうかを判断する。具体的には、ユーザにより補正ボタン8が押されている場合、フラグが1にセットされ、RAM102に記憶される。ユーザにより補正ボタン8が押されていない場合、フラグが0にリセットされ、RAM102に記憶される。そして、ステップ20の終了後、RAM102からフラグを読み出し、フラグがセットされているか否かを判断する。フラグがセットされている場合、ステップ22に進む。フラグがリセットされている場合、ステップ12に進む。
〔変形例3〕
本実施形態に係るRSD1の露光期間に関する変形例3について、図18〜図22を参照しながら説明する。図18は、RSD1の有効領域期間ERと無効領域NR期間とが異なる様子を示す図である。図20は、有効領域ER時に露光期間EER1撮影された第1画像421Aを示す図である。図21は、無効領域NR時に露光期間ENR1撮影された第2画像422Aを示す図である。図22は、輝度調整された第2画像422Bを示す図である。なお、以下の変形例3において、前述の説明と同様の構成については同じ符号を付して説明を省略する。
図19のフローチャートは、図13のフローチャートのステップ61の前に、ステップ71〜ステップ73の処理を実行する点において異なる。ゆえに、ステップ71〜ステップ73について説明する。
ステップ71では、各露光期間の算出を行う。例えば、図18に示すように、有効領域期間ER中の露光期間EER1が200ラインから400ラインの間の期間であり、回帰領域RR期間中の露光期間ENR1が600ラインから700ラインの間の期間であったとする。即ち、露光期間EER1=200ライン、露光期間ENR1=100ラインである。このため、図21に示される第2画像421Aは、図20に示される第1画像422Aと比較して、全体的に輝度が小さい画像となる。撮像信号42としてカメラ撮影信号43Sをカメラ駆動部41から画像処理部18に送信し、露光期間EER1と露光期間ENR1とを画像RAM200に記憶する。
ステップ72では、第1画像の露光期間EER1と、第2画像の露光期間ENR1と、を比較する。具体的には、画像ROM230に記憶されたプログラムに従って、画像RAM200に記憶した露光期間EER1と露光期間ENR1とが同じ期間か否かを判断する。露光期間EER1と露光期間ENR1とが同じ期間である場合、ステップ61に進む。露光期間EER1と露光期間ENR1とが異なる期間である場合、ステップ73に進む。
ステップ73では、第2画像の各画素の輝度をER/NR倍する。図22に示されるER/NR倍した第2画像を、第2画像用RAM203に上書き記憶する。そして、ステップ61に進む。これにより、第1画像から第2画像の差分を取った際に、正確に光軸位置を特定することができる。
なお、駆動信号供給回路15、領域信号判断回路17の電気的回路の機能は、プログラムを実行するCPUによって、実現してもよい。なお、本実施形態においては、画像光走査部移動回路20Bにより画像光走査部20Aを、接眼レンズ移動回路30Bにより接眼レンズ30Aを移動させることにより、ユーザの瞳孔位置に光軸位置を合わしたが、ハーフミラー6を移動させることによりユーザの瞳孔位置に光軸位置を合わせるようにしてもよい。さらに、本実施形態においては、瞳孔位置に光軸位置を合わすよう指示されると、自動的に瞳孔位置に光軸位置が合うように補正されたが、RSDがユーザが手動で光軸位置を調整できる光軸位置調整手段と、ユーザに光軸位置の移動方向を知らせる報知手段と、を備え、ユーザが報知手段からの音声を基に、光軸位置調整手段を用いてユーザの瞳孔位置に光軸位置を合わせるようにしてもよい。
最後に、上述した各実施の形態の説明は本発明の一例であり、本発明は上述の実施の形態に限定されることはない。このため、上述した各実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
本実施形態における画像光LB、光源16、及びRSD1は、順に本発明における変調光、光源、画像表示装置の一例である。本実施形態における水平走査部22、及び垂直走査部24は、本発明におけるスキャナの一例である。本実施形態における表示制御回路14、及び駆動信号供給回路15は、本発明における制御手段の一例である。本実施形態における表示制御回路14、及び駆動信号供給回路15は、本発明における制御手段の一例である。本実施形態における出射レンズ25、接眼レンズ30A、及びハーフミラー6は、本発明における接眼光学系の一例である。本実施形態におけるカメラ40、及びカメラ駆動部41は、本発明における撮像手段の一例である。本実施形態におけるS63は、本発明における瞳孔位置特定手段の一例である。本実施形態におけるS62は、本発明における光軸位置特定手段の一例である。本実施形態における画像光走査部20A、画像光走査部移動回路20B、接眼レンズ30A、及び接眼レンズ移動回路30Bは、本発明における補正手段の一例である。本実施形態における有効領域期間ER、第1画像421、無効領域期間NR、第2画像422、及び輝度差分情報423、は、順に本発明における有効領域期間、第1画像、無効領域期間、第2画像、及び差分の一例である。本実施形態におけるS61は、本発明における差分取得手段の一例である。本実施形態における画像信号処理部15Bは、本発明における同期信号生成回路の一例である。本実施形態におけるカメラ駆動部41は、本発明における露光期間設定手段の一例である。本実施形態における露光期間EER、及び露光期間ENRは、順に本発明における第1画像の露光期間、及び第2画像の露光期間の一例である。本実施形態における露光期間は、本発明における露光期間の一例である。本実施形態におけるS72は、本発明における露光期間判断手段の一例である。本実施形態におけるS73は、本発明における輝度調整手段の一例である。本実施形態におけるS43、及びS45は、順に本発明における輝度判断手段、及び輝度増加手段の一例である。本実施形態における光軸中心画素位置、瞳孔中心画素位置、相対距離CD、半径KR、半径DR、及びS65は、順に本発明における光軸位置の中心、瞳孔位置の中心、最短距離、光軸の半径、瞳孔の半径、及び距離判断手段の一例である。本実施形態における補正ボタン8、及びS51は、本発明における操作手段の一例である。
1 RSD1
2 画像光制御装置2
3 複合ケーブル3
4 頭部装着具4
5 画像光偏向装置5
6 ハーフミラー6
7 フレーム7
8 補正ボタン8
11 外部入出力端子11
12 コンテンツ記憶部12
13 電源ボタン13
14 表示制御回路14
15 駆動信号供給回路15
16 光源16
17 領域信号判断回路17
15S 領域信号15S
15C ラインカウンタ15C
15D 領域信号生成回路15D
17A 高レベルカウンタ17A
17B 低レベルカウンタ17B
17C レベル比較回路17C
18 画像処理部18
20A 画像光走査部20A
21 コリメートレンズ21
22 水平走査部22
22A 偏向素子22A
22B 水平走査駆動回路22B
22C 水平同期信号22C
23 リレーレンズ23
24 垂直走査部24
24A 偏向素子24A
24B 垂直走査駆動回路24B
24C 垂直同期信号24C
25 出射レンズ25
20B 画像光走査部移動回路20B
20C 移動制御信号20C
30A 接眼レンズ30A
30B 接眼レンズ移動回路30B
30C 移動制御信号30C
40 カメラ40
40C 距離情報40C
41 カメラ駆動部41
42 撮像信号42
100 CPU100
101 ROM101
102 RAM102
103 通信インターフェース103
104 周辺機器用インターフェース104
105 駆動信号供給回路用インターフェース105
106 駆動信号供給回路用VRAM106
107 システムバス107
200 画像RAM200
201 変数保管領域201
202 第1画像用RAM202
203 第2画像用RAM203
204 差分情報用RAM204
210 画像システムバス210
220 画像CPU220
230 画像ROM230
PE ユーザPE
EY 眼EY
LA 外光LA
LB 画像光LB

Claims (8)

  1. 変調光を出射する光源と、
    前記光源から出射された変調光を走査するスキャナと、
    前記光源及び前記スキャナを制御する制御手段と、
    前記スキャナによって走査された変調光を眼に投影する接眼光学系と、
    少なくとも瞳孔周辺の画像を撮影可能に設けられた撮像手段と、
    前記撮像手段によって撮影された瞳孔周辺の画像から瞳孔位置を特定する瞳孔位置特定手段と、
    前記瞳孔周辺の画像に基づいて、変調光の光軸の位置である光軸位置を特定する光軸位置特定手段と、
    前記瞳孔位置特定手段により特定された瞳孔位置と前記光軸位置特定手段により特定された光軸位置との相対位置を基に、変調光の光軸位置を瞳孔位置に合うように前記接眼光学系を移動させる補正手段と、
    を備えることを特徴とする画像表示装置。
  2. 前記制御手段は、
    瞳孔に変調光が出射されている有効領域期間に前記撮影手段により撮影された第1画像と、
    瞳孔に変調光が出射されていない無効領域期間に前記撮影手段により撮影された第2画像と、
    輝度の差分を取得する差分取得手段を備え、
    前記光軸位置特定手段は、前記差分を基に前記光軸位置を特定することを特徴とする請求項1に記載の画像表示装置。
  3. 前記制御手段は、
    前記光源及び前記スキャナの同期を取るための同期信号を生成する同期信号生成手段を備え、
    前記撮像手段は、
    前記同期信号を基に露光開始タイミング、及び露光期間を設定する露光期間設定手段を備えることを特徴とする請求項2に記載の画像表示装置。
  4. 前記第1画像の露光期間と前記第2画像の露光期間とは、同じ期間であることを特徴とする請求項3に記載の画像表示装置。
  5. 前記制御手段は、
    前記第1画像の露光期間と前記第2画像の露光期間とが同じ期間か否かを判断する露光期間判断手段と、
    前記露光期間判断手段が同じ期間でないと判断した場合、前記第2画像の各画素の輝度を
    (第1画像の露光期間/第2画像の露光期間)倍する輝度調整手段と、を備えることを特徴とする請求項3に記載の画像表示装置。
  6. 前記制御手段は、
    瞳孔周辺の輝度が撮影可能な閾値の輝度未満であるか否かを判断する輝度判断手段と、
    前記輝度判断手段が前記瞳孔周辺の輝度が前記閾値の輝度未満であると判断した場合、前記変調光の輝度が前記閾値の輝度以上となるよう前記変調光の輝度を増加させる輝度増加手段と、
    を備えることを特徴とする請求項1〜5のいずれかに記載の画像表示装置。
  7. 前記光軸位置の中心から前記瞳孔位置の中心までの最短距離が、
    前記光軸の半径と、前記瞳孔の半径と、を足した所定距離以上か否かを判断する距離判断手段を備え、
    前記距離判断手段が前記最短距離は前記所定距離以上であると判断した場合、前記補正手段は、前記光軸位置の中心を前記瞳孔位置の中心に合うように補正することを特徴とする請求項1〜6のいずれかに記載の画像表示装置。
  8. 補正を開始するタイミングを指示するためのタイミング信号を前記補正手段に送信する操作手段を備えることを特徴とする請求項1〜7のいずれかに記載の画像表示装置。
JP2011017568A 2011-01-31 2011-01-31 画像表示装置 Pending JP2012159559A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011017568A JP2012159559A (ja) 2011-01-31 2011-01-31 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011017568A JP2012159559A (ja) 2011-01-31 2011-01-31 画像表示装置

Publications (1)

Publication Number Publication Date
JP2012159559A true JP2012159559A (ja) 2012-08-23

Family

ID=46840159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011017568A Pending JP2012159559A (ja) 2011-01-31 2011-01-31 画像表示装置

Country Status (1)

Country Link
JP (1) JP2012159559A (ja)

Similar Documents

Publication Publication Date Title
US10944945B2 (en) Projection device and projection method, projection module, electronic device, and program
US7675013B2 (en) Image displaying apparatus with control over the output ratio of a plurality of light sources
JP5316346B2 (ja) 網膜走査型画像表示装置
US9723281B2 (en) Projection apparatus for increasing pixel usage of an adjusted projection area, and projection method and program medium for the same
US20180192018A1 (en) Projection device and projection method, projection module, electronic device, and program
US10548465B2 (en) Medical imaging apparatus and medical observation system
US20170085763A1 (en) Image pickup system and light source apparatus
JP2006350256A (ja) 走査型画像表示装置
WO2019026929A1 (ja) 医療用観察装置
EP3318916B1 (en) Optical scanning head-mounted display and retinal scanning head-mounted display
JP2007248824A (ja) 画像投射装置および画像投射システム
JP2008225079A (ja) 画像表示システム及びボード
US11033173B2 (en) Medical light source device and medical observation system
JP2012118291A (ja) 画像表示装置
JP2006350257A (ja) 走査型表示装置
JP5267256B2 (ja) ヘッドマウントディスプレイ
JP2012159559A (ja) 画像表示装置
CN108028038B (zh) 显示装置
US20080316373A1 (en) Projection type image display device
JP2011070093A (ja) ヘッドマウントディスプレイ
EP3301499A1 (en) Optical scanning head-mounted display and retinal scanning head-mounted display
US20210297575A1 (en) Medical control device and medical observation system
US10893186B2 (en) Medical imaging apparatus and medical observation system
JP2018159835A (ja) 投影装置
JP6257475B2 (ja) 走査型内視鏡装置