JP2010250789A - カメラ付き表示装置 - Google Patents

Abstract

【課題】被写体（人物）を画面裏側に設けた非可視光照明装置とカメラで安全にかつ精細に撮影する。当該カメラ画像を処理して被写体を検出し、インタラクティブ表示に利用する。特に、非装着手段によって、視点、視線を広い範囲で精度よく検出する。
【解決手段】自発光体を画素に用いた薄型画面、又は、反射型プロジェクタスクリーンを用いた薄型画面と、画面を介して被写体に向け非可視光を放出する照明装置と、被写体反射光を画面を介して捉えるための画面に接近して設けられたカメラと、カメラ画像を処理して被写体を検出する手段からなる。自発光体にはＥＬ素子、ＬＥＤ、プラズマ放電素子を用いる。当該照明装置は、照明領域を直視した際に、網膜中心窩とその周辺を分散して照明する。被写体に向け近赤外光の幾何学的パターンを投影できる。当該照明による角膜反射像、瞳孔像等を処理して視点、視線を検出する。複数のカメラを輻輳させ広い範囲で検出する。
【選択図】図１

Description

本発明は、表示画面の前の被写体（人物など）を画面裏側に設けた非可視光照明装置とカメラで撮影し、当該カメラ画像を処理して被写体を検出、又は、認識し、当該結果を出力するカメラ付き表示装置に関する。

バーチャルリアリティ（ＶＲ）システムでは、３次元空間モデルを２次元画面にリアルタイムで透視投影変換して運動視表示、両眼立体視表示を実現するが、この際、利用者の視点位置検出が必要である。インテリジェントなヒューマンインタフェースを実現するためには、利用者の視線の動き、顔の表情などをリアルタイムで検出できると便利である。テレビ会議などで、画面上の注視点、又は、注視対象を通信相手に送ることができれば、コラボレーション機能を高めることができる。香り表示、触覚表示などを組み合わせた五感情報表示装置では、鼻の位置、耳の位置、頬の位置などの検出結果に基づいて感覚（刺激）情報を表示する必要がある。

以上のように人の動きに伴って表示内容を変化させるインタラクティブ表示装置では、人体各部位の動き、又は、視点・視線の動きを検出する手段が不可欠である。従来、当該動き検出には、３次元磁気センサ、超音波センサ、赤外線センサなどを用いる方法が知られているが、できれば非装着な手段で検出できることが望ましい。このためには、表示画面の前に居る人をカメラで捉え画像処理する方法が有効である。

従来、画面の脇に設けた複数のカメラで人の特徴点を撮影し、ステレオ画像計測などによって各部位の位置、視点・視線などを検出する方法が実用化さているが、以下のような問題があった。

（１）大画面表示装置の周囲にカメラを配置した場合、利用者を正面で捉えることが難しく、斜め方向、又は、横方向から撮影することになるため、前記インタラクティブ表示に重要な身体部位、例えば、眼の周り、頬、鼻、耳などの特徴点を明るく、精細に撮影し、精度良く検出することは難しい。

（２）視線検出では、虹彩、瞳孔、角膜反射像などの特徴点を拡大して精細に撮影する必要がある。従来、近赤外照明装置、カメラなどを画面の脇に設置して視線検出装置を構成する例はあるが、画面が大きくなると眼を斜め方向から撮影することになるため、当該特徴点を精度よく撮影することが難しい。既存視線検出装置の仕様は、画面サイズ２０インチ、視距離１ｍ以内で、視線検出範囲は眼球回転角で高々左右各２０度程度である。

（３）画面の脇に照明装置とカメラを設置して眼球特徴点を撮影する装置では、当該装置が大きいと目障りである。小さくせざるを得ないが、小さい照明装置を用いると、単位面積当たりの発光強度を高くする必要があり、長時間使用では眼への悪影響が問題になる。

（４）検出装置が表示装置から分離していると、使用の際に両者の座標系を調整するために、利用者に画面の中に表示された複数の点を注視してもらうなどの面倒なキャリブレーション作業が不可欠であった。

前記問題を解決するためには、カメラを画面の周囲ではなく画面の裏側に多数設置できることが望ましい。画面の裏側からカメラで人物を捉えることができれば、特徴点を安定に撮影できる可能性がある。また、表示装置から放出される可視光との干渉を避けるためには、非可視光照明を用いて撮影することが望ましい。

従来、近赤外光が通過する画面を用い、画面裏側から表側に向けて近赤外照明光を放出し、画面裏側に設けたカメラで被写体反射光を捉えるカメラ付き表示装置として以下の例が知られている。

特開平１１−２４８３９、特開２００６−００４３３０には、リアプロジェクション式のディスプレイで、スクリーンの裏面側に赤外線カメラを設け、被写体の動きに応じて画像をコントロールする構成が開示されている。

特開２００７−２９８５４７には、液晶表示パネルの裏面に赤外線カメラを設置し、表示パネル前の被写体を撮影できるシステムが開示されている。

液晶パネルを用いるため、パネルの裏側には、拡散材を用いたバックライトが必要であり、バックライトとカメラは時分割で駆動される。

特表２００７−５１４２４１、特表２００７−５１４２４２には、液晶やフラットパネルタイプのディスプレイにおいて、裏面側に赤外線カメラを設けて、当該ディスプレイ前の被写体を撮影することができる内容が開示されている。

しかし、これら文献を含め、画面の中から利用者に近赤外光を照射して撮影する従来方式には解決すべき以下の問題がある。

（５）利用者は画面内の近赤外光照明を直視する場合が多いが、非可視光であるため、利用者には照明の強さが分からない。また、光量を調整する不随意の瞳孔反射も起きにくい。網膜中心窩付近は視細胞がむき出し状態であるため、強い照明を当てると網膜が日焼け状態になり、障害の危険がある。

大画面表示装置では、画面と利用者の距離が離れるため強い照明が必要であり、特に、眼球特徴点は小さく撮影し難いため、強い照明の必要性は高い。従って、眼への影響を考慮した照明装置を用いるべきであるが、あまり検討されていない。

（６）視点や視線検出では、虹彩、瞳孔、角膜反射像などの特徴点を正面から形状が歪まないように、明るく精細に、また、特徴が明確に反映されるように撮影することが必要であるが、当該特徴点は小さく、瞼や睫などで隠れ易いため難しい。

（７）上記文献の表示装置は、リアプロジェクタを用いる、又は、バックライトを必要とする液晶素子を用いるものであり表示部は厚い。つまり、画面の裏側に設けるカメラは、画面に密着して設置することはできず、画面から少し距離を置いて設置する必要がある。このため、画面を介して被写体を撮影する際に、画面の構造物が撮影画像に写り込み易くノイズの原因になる。ノイズが多ければ被写体の特徴点抽出処理は困難である。

リアプロジェクタを用いる表示装置では半透明スクリーンが用いられる、また、液晶パネルではバックライト部に拡散板等が用いられるため、被写体反射光はこれらの画面を通過する際に散乱などの影響を受け易すい。当該反射光を捉えた画像はノイズを含み易く、スクリーンから離れた場所で観賞する利用者の特徴を精細に撮影することは難しい。特に、視点や視線を検出できるように眼球特徴点を精細に撮影することはできない。従来、大画面表示装置の裏側に設けたカメラで、利用者の頭部の動きや大きな視線移動を許容して眼球特徴点を安定に撮影する技術、及び、視線検出技術は存在しない。

また、スクリーン後方の離れた場所に照明装置を設ける場合、照明光がスクリーンを通過する際、屈折率の違いからスクリーン裏面で光の反射が起こり、照明装置としてのエネルギー効率が悪い。

以上のように、従来の画面裏側に照明装置とカメラを設置する表示装置は、眼への照明光の影響を考慮しつつ、被写体特徴点、特に、眼球特徴点を精細に、かつ、特徴が反映されるように撮影する構成とはなっていない問題があった。

特開平１１−２４８３９ 特開２００６−００４３３０ 特開２００７−２９８５４７ 特表２００７−５１４２４１ 特表２００７−５１４２４２

本発明は、表示画面の前の被写体（利用者など）を画面裏側に設けた非可視光照明装置とカメラで安全にかつ精細に撮影し、当該カメラ画像を処理して被写体を精度よく検出、又は、認識し、当該結果を出力する、又は、当該結果を利用してインタラクティブ表示できるようにすることである。具体的技術課題を以下に示す。

（１）表示画面の内部、又は、画面淵から被写体（利用者）を非可視光で照明し当該被写体を撮影する際、眼への生理的影響を少なくし、長時間安全に使用できるようにする。

（２）前記画面の映像品質に影響を与えずに、前記照明による被写体反射光が画面をできるだけ多く通過できるようにし、人物特徴点、特に眼球に関する特徴点を広い範囲で安定に（ロバストに）明るく精細に撮影できるようにする。これにより特徴点抽出を容易にする。

（３）前記特徴点を利用し、運動視表示などに必要な視点（眼の位置）、表示対象同定などに必要な視線を広い範囲で精度よく検出する。簡単なキャリブレーションで、利用者の大きな眼球回転を許容して視線を検出できるようにする。

（４）自発光体を画素に用いた大画面表示装置に、人物特徴、視点、視線などを検出できる機能を組み込めるようにする。また、照明装置のエネルギー効率を上げる。

＜手段１＞
本発明のカメラ付き表示装置は、図１〜図１９に対応づけて説明すると、
可視光自発光体を画素（ＰＸ、ＰＸＣ）に用いた薄型画面（１０）、又は、反射型プロジェクタスクリーン（４０）を用いた薄型画面（１０）と、当該画面の内側、又は、裏側、又は、画面淵から被写体に向け非可視光（２１）を放出する照明装置（ＬｇＩｎ）と、当該照明による被写体反射光（２５〜２８、２９、３５〜３８の一部、又は、全て）を前記画面を介して捉えるためのカメラ（Ｃａｍ）と、当該カメラ画像を処理することで被写体（人物）を検出する手段（３）を備え、カメラレンズ（Ｌｅｎｓ）は、当該画面構造物が撮像素子（ＣＣＤ）に結像しないように前記画面に接近して設けられるカメラ付き表示装置において、
、前記照明装置（ＬｇＩｎ）は、当該照明領域を直視した際に、網膜上において中心窩とその周辺を分散して照明するように構成されることを特徴とする。

手段１において、近赤外光が画面の広い範囲を通過する薄型画面を用い、カメラレンズを画面に接近させることにより、即ち、レンズ焦点距離より十分内側に画面を設けることで、発光素子、駆動回路などの画面構造物のカメラ画像への写り込みをなくし、被写体を広い範囲で明るく撮影できる。

可視光自発光体としては、エレクトロルミネッセンス素子（例えば、図４〜図１０のＥＬ）、ＬＥＤ（例えば、図１１、図１２のＬＥＤ）、プラズマ放電素子（図１８のＰＬＭ）などが適用できる。また、反射型プロジェクタスクリーン（図１５）の反射材（４５、３３、３４）も発光体として機能する。

前記照明装置（ＬｇＩｎ）の特徴について詳細に説明する。
本発明では、通常視野内に近赤外照明装置を設けるため、観察者が当該照明装置を直視することがある。この場合、照明光は網膜中心窩に当たる。中心窩は視細胞が剥き出しであるため、強い光が当たると生理的に悪影響を与える。また、中心窩は光をよく吸収するため、この部分のみに照明を当てても再帰性反射光は弱く瞳孔を明るく撮影できない。

これを確認するため、図１７に示すように、カメラレンズ光軸付近に点光源（６０）を設け、観察者が当該点光源を視角（６１）１度以下で臨む距離条件で、眼付近を撮影する実験を行った。その結果、観察者が点光源を直視した場合（図１７のＡ）の瞳孔像（Ｉｍｇ１のＰｕ）は暗く、虹彩（Ｉｒｉｓ）とのコントラストは低かった。一方、視線（Ｇａｚｅ）を数度から数１０度外した場合（図１７のＢ）の瞳孔像（Ｉｍｇ２のＰｕ）は極めて明るく、虹彩とのコントラストは高く、Ｉｍｇ２から瞳孔（Ｐｕ）を抽出する画像処理は容易であった。このように照明光が中心窩（Ｆｖ）にしか当たらない発光面の小さな照明装置を用いると、視線方向によって瞳孔像のコントラストにばらつきが生じる。

本発明手段１では、図１７（Ｃ）に示すように、観察者が照明装置を直視する際、中心窩（Ｆｖ）とその周辺を分散して照明する装置（ＬｇＩｎ）を用いるため、網膜単位面積当たりの光強度を下げられることに加えて（同図の１８−１と１９−１を比較）、中心窩以外の網膜は近赤外光をよく反射するため、瞳孔を明るく撮影できる（Ｉｍｇ３のＰｕ）。

照明装置（ＬｇＩｎ）としては、中心窩が長時間許容できる光強度範囲で、視角１度以上、より望ましくは視角３度以上の網膜範囲が照明できるものがよい。画面内に照明装置を組み込むことができるため、発光面積の大きな照明装置が利用できる。被写体特徴点の撮影に必要な光量を確保しつつ、眼に負担の少ない撮影装置を実現できる。

更に、照明の強度分布は平坦である方が望ましい。眼への影響は、主に網膜上の局所的な熱エネルギーによって起きるため、照明装置は、被写体を検出する場合だけ短時間駆動する、又は、時分割駆動することができる。また、被写体までの距離計測に基づいて照明強度を変化させてもよい。これらによって、安全な撮影系になる。

手段１において、前記照明装置（ＬｇＩｎ）は、波長８００ｎｍ以上の近赤外光、又は、３５０ｎｍ以下の紫外光を放出するエレクトロルミネッセンス素子（例えば、図１（Ｂ）、図５のＥＬ−ＩＲ）、又は、小さな複数の発光体を密集させた構成体、又は、発光体と散乱材の組み合わせ（図１（Ｇ）、図１１、図１２のＬＥＤ−ＩＲ、ＳＣ）等が利用できる。

前記照明装置から幾何学パターン光が照射されると（例えば、図１、図２のＬｇＩｎ１、ＬｇＩｎ４）、後述のように、角膜反射像を効率よく撮影でき、瞳孔と角膜反射像を用いて視線を精度よく検出できる。

幾何学パターン光を照射する場合、網膜に投影される当該照明の領域は広く、照明を直視した場合、網膜中心窩とその周辺に広がることが多い（図２（Ｂ）の１７、（Ｇ）の１８）。そこで、瞳孔の撮影に必要な照明光量は、照明領域全体で分担する発想に基づき、照明領域の光強度を抑えることができる。

従来、利用者（被写体）が照明装置を頻繁に直視する環境で、当該被写体に非可視光を長時間照射し、視点や視線を検出する装置の例はない。本発明では、視点や視線検出手段を標準的なインタフェースツールとして表示装置に組み込む場合を想定しているため、上記発想が重要である。利用者が、画面内の照明光放出領域を直視した場合でも眼への負担が少ないため長時間使用できる。

＜手段２＞
本発明のカメラ付き表示装置は、例えば、図１〜図１０、図１３、図１９に対応づけて説明すると、
可視光自発光体を画素（ＰＸ、ＰＸＣ）に用いた薄型画面（１０）と、当該画面の内側、又は、裏側、又は、画面淵から被写体に向け非可視光（２１）を放出する照明装置（ＬｇＩｎ）と、当該照明による被写体反射光（２５〜２８、３５〜３８の一部、又は、全て）を前記画面を介して捉えるためのカメラ（Ｃａｍ）と、当該カメラ画像を処理することで被写体（人物）を検出する手段（３）を備え、カメラレンズ（Ｌｅｎｓ）は、当該画面構造物が撮像素子（ＣＣＤ）に結像しないように前記画面に接近して設けられるカメラ付き表示装置において、
前記可視光自発光体にはエレクトロルミネッセンス発光体（ＥＬ）が用いられ、当該発光体と駆動電極（Ａ、Ｋ）には前記被写体反射光を通過せしめる材料が用いられ、前記画素（ＰＸ、ＰＸＣ）、又は、画素間の裏側又は後方には、可視光を反射又は遮断し前記被写体反射光を通過せしめる部材が設けられることを特徴とする。

表示部にＥＬ素子を用いることで、画面は極めて薄型に構成できる。カメラレンズ取り付け部は、１ｍｍ前後から数ｍｍの厚さで構成でき、図１、図１３に示すように、カメラは画面に極めて接近して設置できる。従って、被写体（Ｐ）に焦点を合わせて撮影する際、表示画面（１０）の構造物は焦点から大きく外れるため、ノイズの少ない被写体画像を撮影でき、特徴点を効率よく抽出できる。

前記のように、近赤外照明光が画素内、及び、画素間を通過するように構成できるため、画面（１０）からリング状パターンなど様々な幾何学的パターン光を精度よく放出できる。当該幾何学パターン照明を用いると、後述のように角膜反射像、又は、瞳孔の抽出が容易である。

前記駆動電極は、陽極（Ａ）、陰極（Ｋ）ともに近赤外光を通過せしめる部材を用いることができる。前記可視光を反射又は遮断（吸収）し前記近赤外被写体反射光を通過せしめる部材は、図４、図５に示すように、表示部裏側全体に設けてもよい（Ｒｅｆ−ＢＧＲ）。コールドミラーなどの材料が適用できる。この場合、被写体反射光（２５〜２８）は、可視光発光部とその間、つまり、表示部全体を効率よく通過する。明るい近赤外画像が得られる。

また、図６（Ａ）に示すように、可視光発光部の裏側に選択的な波長の可視光を反射し、当該波長以外を通過せしめる部材（光学フィルタ；Ｒｅｆ−Ｂ、Ｒｅｆ−Ｇ、Ｒｅｆ−Ｒ）を設けてもよい。この場合、近赤外の被写体反射光（３５〜３７）は、前記ＥＬ素子内（ＥＬ−Ｂ、ＥＬ−Ｇ、ＥＬ−Ｒ）を通過する。また、可視光と非可視光の被写体反射光（３８）は、前記ＥＬ素子間（ＰＡ）を通過する。カメラ（Ｃａｍ２）は、３５〜３８を捉えて明るい近赤外画像（Ｍｏｎｏ−Ｉｍｇ）を得ることができる。また、被写体反射光（３８）を波長分離することによって、可視画像（Ｃｏｌｏｒ−Ｉｍｇ）を得ることもできる。当該可視画像は、表示用画像として利用できる。

また、図１３に示すように、前記可視光を反射又は遮断し前記被写体反射光を通過せしめる部材（Ｒｅｆ−ＢＧＲ）は、画面の後方としてカメラ内（Ｃａｍ１）に設けてもよい。

＜手段３＞
本発明のカメラ付き表示装置は、図１８、図１９に対応づけて説明すると、
可視光自発光体を画素（ＰＸ、ＰＸＣ）に用いた薄型画面（１０）と、当該画面の内側、又は、裏側、又は、画面淵から被写体に向け非可視光（２１）を放出する照明装置（ＬｇＩｎ）と、当該照明による被写体反射光（２８）を前記画面を介して捉えるためのカメラ（Ｃａｍ１）と、当該カメラ画像を処理することで被写体（人物）を検出する手段（３）を備え、カメラレンズ（Ｌｅｎｓ）は、当該画面構造物が撮像素子（ＣＣＤ）に結像しないように前記画面に接近して設けられるカメラ付き表示装置において、
前記薄型画面（１０）は、管状又は帯状の可視光自発光体（ＰＬＭ、ＥＬ）を用いた表示基材（７１〜７３）を所定の間隔で並べて構成され、被写体反射光は少なくても当該表示基材間（６２）を通過することを特徴とする。

前記可視光自発光体（ＰＬＭ）を用いた表示基材（７１）は、図１８（Ｂ）に示すように、細い管内にプラズマ発光材を設け、管外に当該発光体に電圧を印加するための透明電極（Ａ（ＩＴＯ）、Ｋ（ＩＴＯ））を縦横に設けることで構成できる。

図１８（Ｄ）に示すように、管断面を扁平円などの丸み形状にすると、管を並べた際の間隔は、画面表側から裏側に向けて中間の一部が狭く裏側が広がるように構成できるため、画面に入射する被写体反射光（２８）は方向自由度が大きい。従って、画面裏側にカメラ（Ｃａｍ１）を接近して設けると、被写体を広い範囲で精度よく撮影できる。

複数の管を所定の間隔に並べる手段としては、光学歪みの少ない２枚の薄い透明板で当該管列を表側及び裏側から挟む、又は、管の間隔を光学歪みの少ない透明材で充填するなどが可能である。

前記可視光自発光体（ＰＬＭ）を用いた表示基材（７２）は、図１８（Ｅ）に示すように、３色の自発光体（ＰＬＭ（Ｂ）、ＰＬＭ（Ｇ）、ＰＬＭ（Ｒ））を一体化して構成してもよい。当該表示基材（７２）の間（６２）が被写体反射光（２８）の通路になる。なお、ＰＬＭを非可視光で透明に構成すると、被写体反射光（２５〜２８）は、６２に加えてＰＬＭ、又は、７２を通過できる。より明るいカメラ画像が得られる。

前記可視光自発光体（ＥＬ）を用いた表示基材（７３）は、図１９（Ｅ）に示すように、帯状の薄い透明体（６５、６６）にエレクトロルミネッセンス発光体（ＥＬ）を列状に設け、当該各発光体に電圧を印加するための透明電極と駆動回路を設け、信号入力のためのリード線（６７）を外部に取り出して構成してもよい。当該リード線に信号を入力すると、表示基材は帯状パターンを表示する。また、ＥＬの代わりに、ＬＥＤを用いて帯状の表示基材を構成することもできる。

当該表示基材（７３）を、図１９（Ｂ）に示すように、所定間隔で列状に並べ、リード線（６７）に駆動回路（６４）を接続し、画素（ＰＸＣ）を縦横に駆動すれば表示画面になる。当該表示基材の間（６２）が被写体反射光（２８）の通路になる。なお、ＥＬとして非可視光で透明なものを使用すれば、被写体反射光（２５〜２８）は、６２に加えて、ＥＬ内、又は、表示基材内（７３）を通過する。より明るいカメラ画像が得られる。

手段３は、管状又は帯状の可視光自発光体（ＰＬＭ、ＥＬ）を用いた表示基材（７１〜７３）を並べて画面にするので、極めて大きな画面を薄く構成でき、画面通過型の撮影法に適している。また、表示基材間には、穴（ＨＬ）、又は、隙間を設け、被写体反射光や気体を通過せしめるように構成できる。当該利用方法は後述する。

＜手段４＞
本発明のカメラ付き表示装置は、例えば、図１１〜図１３、図１５、図１８、図１９に対応づけて説明すると、
可視光自発光体を画素（ＰＸ、ＰＸＣ）に用いた薄型画面（１０）、又は、反射型プロジェクタスクリーン（４０）を用いた薄型画面（１０）と、当該画面の内側、又は、裏側、又は、画面淵から被写体に向け非可視光（２１）を放出する照明装置（ＬｇＩｎ）と、当該照明による被写体反射光（２５〜２８、２９）を前記画面を介して捉えるためのカメラ（Ｃａｍ）と、当該カメラ画像を処理することで被写体（人物）を検出する手段（３）を備え、カメラレンズ（Ｌｅｎｓ）は、当該画面構造物が撮像素子（ＣＣＤ）に結像しないように前記画面に接近して設けられるカメラ付き表示装置において、
前記画素間、又は、可視光発光部間には非可視光の被写体反射光（図１１（Ｅ）、図１８（Ｄ）、図１９（Ｄ）の２８、図１５（Ｂ）（Ｄ）（Ｅ）の２９）が通過する部分が複数設けられ、当該光通過部は、画面表側から裏側に向けて一部が狭く裏側が広くなるように構成され（図１１（Ｅ）の１０−１、図１２（Ｄ）のＨＬ、図１３（Ｄ）（Ｅ）、図１５（Ｂ）（Ｄ）（Ｅ）、図１８（Ｄ）、図１９（Ｄ）の６２）、画面裏側に設けられたカメラ（Ｃａｍ１）は、当該複数の光通過部を通過する被写体反射光を捉えることを特徴とする。

手段４において、前記光通過部は、図１１（Ｅ）、図１９（Ａ）に示すように、透明な薄型基板（ＢＳ）を用いる、又は、図１２（Ｄ）に示すように、基板に穴（ＨＬ）をあける、又は、図１８、図１９に示すように、丸みのある表示基材（７１、７３）を用いるなどで実現できる。

画面（１０）を薄くし、更に、光通過部を前記画面表側から裏側に向けて広げることによって、各光通過部の光通過率は２０倍以下の差にできる。被写体反射光は画面の広い範囲を通過して撮影に寄与するため、画面は明るく精細である。図１３（Ａ）に示すように、画面（１０）は、撮影レンズの最短焦点距離（Ｆｃ−Ｌｉｍ）より十分に内側にあるため、画面構造物（発光部を構成する部品など）には焦点が合わず、当該構造物は撮像に影響しない。従って、カメラ画像にノイズが少ない。また、波長分離しているため、外部光源の影響を受け難く安定している。従って、特徴点抽出処理は容易で、被写体検出精度は高い。

＜手段５＞
本発明のカメラ付き表示装置は、例えば、図１〜図３、図８、図９、図１１〜１３図、図１５、図１６、図１８、図１９に対応づけて説明すると、手段１から手段４の何れかにおいて、前記照明装置（ＬｇＩｎ）は、幾何学パターンを放出することを特徴とする。

手段５において、図９（Ｂ）のＰＸＣ２、図１２のＰＸＣ２に示すように、画面の面方向に、可視光及び非可視光を発光し各々の波長光を別々に駆動制御できる表示兼照明素子を列状に設けることによって、映像表示中に当該画面内から近赤外幾何学パターンの形状、及び、照明強度を適応的に変化させて放出できる。前記表示兼照明素子の発光体には、ＥＬ素子、発光ダイオード（ＬＥＤ）などが利用できる。

前記例では、画素内に近赤外発光体が入っているため、映像と同程度の精度で様々な幾何学的パターンの照明光を放出できる。画面は、通常ある程度離れて観察されるため、個々の画素は像として知覚され、分離しているようには見えない。同様に、非可視光の照明領域も網膜上で分離することは少なく固まりとなる。従って、光強度は視細胞に障害を与えない程度に平坦であり眼への負担は少ない。

手段５において、非可視光の幾何学的パターン照明は角膜反射像や人物形状の検出に用いることができる。カメラレンズを囲むように大きな同心円状の面発光照明装置（ＬｇＩｎ）を用いることで、照明に必要な光強度を確保し、網膜への負担を軽減し、角膜反射像を安定に抽出できる。

前記幾何学パターンを放出する意義を、視点検出を例に説明する。図１（Ｂ）に示すように、眼球に向けてリング状パターンを投影すれば、図２（Ｃ）のように、リング状の角膜反射像（角膜の中にできる虚像；Ｐｒ）が瞳孔（Ｐｕ）の近く、又は、瞳孔を囲むように生じる。撮影画像（Ｉｍｇ）の中で当該リング状パターン像は容易に見つけることができる。当該像の大きさは、利用者が画面に近づけば大きく、離れれば小さくなる。従って、撮影された当該リングの位置と大きさ（リングの直径など）から、角膜反射像の３次元位置を検出できる。

リング以外の幾何学パターンでも同様の効果があるのは当然である。矩形、多角形、格子などが利用できる。図２（Ｅ）（Ｆ）に示すように、画面を囲むように画面の淵に照明装置を設けると大きな角膜反射像が得られる。瞼によって当該角膜反射像が一部隠れても全体が隠れることは少ない。予め形状が既知なパターンであれば、部分的撮影であっても当該パターンの中心、又は、重心を特徴点として検出できる。このように、従来の照明装置を画面外側に設置する場合に比べて、角膜反射像を安定に抽出できる。

角膜反射像は眼球の光学焦点の近くに生じるため、当該像の位置を視点として近似できる。特に、利用者が画面を見ている場合の角膜反射像の位置は、視点として近似しても誤差は少ない。

手段５において、図１６（Ｂ）に示すように、画面（１０）を介して非可視のスリットパターン光を被写体（Ｐ）に向けて放出し、被写体反射光（２５〜２８）をスリット膜（ＳＬ２）を介してカメラ（Ｃａｍ１）で捉えることにより、モアレ像を撮影できる。当該像を処理することで、被写体の３次元形状を検出できる。当該手段は、近赤外光を通過せしめるＥＬ素子を表示画面（１０（ＥＬ））に用いた場合、精細なスリットパターンを放出できるため適している。

＜手段６＞
本発明のカメラ付き表示装置は、図１（Ｃ）、図５、図６（Ｂ）、図８〜図１０、図１８、図１９に対応づけて説明すると、手段１から手段４の何れかにおいて、
前記画面（１０）の内部、又は、裏側には、近赤外ＥＬ発光体を用いた照明装置（ＬｇＩｎ（ＥＬ−ＩＲ））が設けられることを特徴とする。

前記近赤外ＥＬ発光体を用いた照明装置は、面発光が可能なため、網膜上において中心窩とその周辺を平坦に分散して照明できる。

例えば、図１（Ｃ）に示すように、カメラレンズを囲むように大きな同心円状の面発光照明装置（ＬｇＩｎ）を用いることで、照明に必要な光強度を確保しつつ、網膜への負担を軽減できる。また、当該照明装置を間欠駆動し、照明時と非照明時のカメラ画像を高速に差分処理することにより、弱い照明光でも角膜反射像、瞳孔などの特徴点を安定に抽出できる。

前記近赤外ＥＬ発光体を列状に並べ個別に制御することにより、任意の幾何学的パターンを発生できる。例えば、図８（Ｂ）において、眼の中にリング状の角膜反射像を作る際、画面の注視対象付近から当該パターンを発生するように制御できる。瞳孔の周りにリング状角膜反射像ができるため、視線検出精度の向上に有効である。また、人物と画面との距離に応じて、照明リング（ＬｇＩｎ１）の大きさを変化させることができる。仮に、リング状角膜反射像が小さいと、高解像度撮像手段が必要になるが、本発明では、リング状角膜反射像の大きさを適切に制御できるため、角膜反射像を効率よく撮影、抽出できる。

また、図８（Ｂ）において、カメラレンズ（Ｃａｍ１（Ｌｅｎｓ））光軸付近から照明光を放出して瞳孔像を撮影する際、照明に非可視光ＥＬ素子（ＥＬ−ＩＲ）を用いると、小さな多数の発光体からなる面発光にできるため、眼への負担が少ない。また、発光部は極めて薄いため、被写体反射光は当該発光体間（１０−１）を効率よく通過する。瞳孔は明るく精細に撮影できる。視点、視線の検出に有効である。

図８（Ａ）、図９（Ａ）に示すように、映像表示部と近赤外光照明装置を同じＥＬ素子で一体的に構成できる。近赤外光はＥＬ素子から放出され、屈折率の近い透明媒体を介して表示画面の表側から放出される。同じ製造プロセスが利用できるため、効率よく安価に製造できる。

＜手段７＞
本発明のカメラ付き表示装置は、例えば、図１、図２、図８、図１０、図１２、図１７、図１８、図１９に対応づけて説明すると、手段１から手段６の何れかにおいて、
前記照明装置（ＬｇＩｎ）の光は、前記画面（１０）を介して視角にして１度以上の網膜範囲を照明し、前記カメラ（Ｃａｍ）は画面を介して角膜反射像（Ｐｒ）、又は、虹彩（Ｉｒｉｓ）、又は、瞳孔（Ｐｕ）を撮影し、当該カメラ画像の処理によって視点、又は、視線（Ｇａｚｅ）が検出されることを特徴とする。

手段７において、視点とは、３次元空間モデルを透視投影変換して運動視画像を生成する際の眼の位置などを意味する。また、視線とは、見ている方向を意味するが、当該方向が画面と交差する注視点を含むものとする。また、瞳孔像（Ｐｕ）は、網膜反射による再帰性反射光の像（瞳孔は明るく撮影される）、又は、虹彩反射による像（瞳孔は暗く撮影される）である。

手段１〜手段６で述べたように、本発明は、画面の中、又は、画面淵に眼の負担が少ない大きく平坦な光強度の発光面（パターン発光面を含む）を有する照明装置を設置できる。また、表示画面と照明装置を一体化して極めて薄型に製造できるため、被写体反射光は表示画面を効率良く通過する。

この特徴を利用し、利用者の正面から視角にして１度以上の大きな幾何学的パターンを照射することによって、角膜反射像を安定に撮影できる。例えば、図１（Ｃ）、図８（Ｂ）において、ＬｇＩｎ１はリング状のパターンで視角１度以上の網膜範囲を照明できる。また、より望ましくは視角３度以上の網膜範囲を照明できる。角膜反射像の３次元位置を画像処理手段により検出することにより、前記視点として利用できる。

次に、瞳孔像の撮影では、図８、図１０、図１２に示すように、画面裏側にカメラ（Ｃａｍ１）を設置し、照明装置（ＬｇＩｎ２）を用いて、当該カメラ光軸付近の視角にして１度以上、より望ましくは３度以上の範囲から照明光を放出できるため、網膜からの再帰性反射光を捉えて瞳孔を明るく撮影できる。このため瞳孔像の抽出は容易である。なお、照明装置がカメラレンズの内側にあった方がカメラは再帰性反射光を捉え易いが、カメラレンズの外側でもレンズの近くであれば、再帰性反射光を捉えるのに支障はない。

以上は、瞳孔を明るく撮影する場合であるが、カメラ光軸から少し離れた場所から照明光を放出すると（例えば、図８（Ｂ）、図１２（Ｂ）のＬｇＩｎ２）、虹彩を明るく、瞳孔を暗く撮影できる。

また、図８（Ｂ）に示すように、照明装置ＬｇＩｎ１によるカメラ画像と照明装置ＬｇＩｎ２によるカメラ画像を時分割で撮影し差分処理することで、コントラストの高い瞳孔画像が得られる。

本発明では、画面裏側のカメラを用いるため、カメラ画像中の瞳孔は円形に近い。瞳孔中心位置を求める処理は、瞳孔を円としてモデル化できるため、容易で精度が高い。ステレオ画像計測などにより、当該瞳孔中心の３次元位置を検出することにより、前記視点として利用できる。

ここで、視点検出に関して従来法との違いを説明する。
従来の画面の外側にカメラを設ける瞳孔撮影では、背景技術で述べたように、照明装置、カメラは目障りなので小型なものを用いる必要があり、従って、単位面積当たりの照明は強くせざるを得ない。当該照明を直視すると眼への生理的悪影響が懸念される。また、照明装置が小型であると、角膜反射像は小さな輝点になるが、視野範囲の広いカメラ画像の中から形状特徴の少ない当該輝点を見つける処理は複雑になる。瞳孔の撮影においては、カメラの設置位置が利用者の視線方向から大きくずれるため、瞳孔像は楕円になりやすく、瞳孔中心位置を求める処理は複雑で精度は低下する。

次に、視線検出処理について説明する。視線は、眼球位置と眼球回転角から求めることができる。眼球位置は、正確には図２（Ｄ）の眼球（Ｅｙｅ）の回転中心（Ｃｅｎ）であるが、視線がカメラ設置位置近傍を向いている状況では、近似的に、瞳孔（Ｐｕ）、又は、角膜反射像（Ｐｒ）などの位置で置き換える、又は、当該特徴点の位置からＣｅｎの位置を推計できる。この理由は後述する。

また、眼球回転角は以下にように求めることができる。図２（Ａ）において、カメラ（Ｃａｍ１−２）の近傍に照明装置（ＬｇＩｎ１−２）を設けると、図２（Ｃ）のカメラ画像（Ｉｍｇ）において、当該カメラ近傍を見ている人の角膜反射像（Ｐｒ）は、瞳孔（Ｐｕ）の近くに生じる。視線が当該カメラ近傍からずれるとＰｕとＰｒとの間の距離（ｄｅｌ）は大きくなる。ここで、眼球回転角（θ）が小さい場合、θとｄｅｌの関係は（１）式〜（４）式に示すように線形で近似できる。従って、カメラ画像の中のｄｅｌを計測することでθが求まる。θは０〜２０度の範囲で精度良く求まる。また、ある程度の誤差を許容すれば、眼球が更に大きく回転しても検出できる。

以上のようにして、眼球位置（Ｃｅｎ）が推定でき、眼球回転角（θ）が検出できるので、視線（Ｇａｚｅ）が検出でき、当該視線が画面（１０）と交差する点を注視点として求めることができる。

本発明では、表示画面の中にカメラ、照明装置を組み込み、これらの位置関係を製造時に予め設定しておくことができる。

＜手段８＞
本発明のカメラ付き表示装置は、例えば、図３（Ａ）〜（Ｅ）に対応づけて説明すると、手段１から手段７の何れかにおいて、
画面の裏側に設けられた複数の前記カメラは、各々の視野方向が所定観察領域に向けられ（各々のカメラが輻輳して設けられ）、当該カメラ画像の処理によって視点、又は、視線（Ｇａｚｅ）が検出されることを特徴とする。

手段８において、図３（Ａ）〜（Ｅ）に示すように、各々のカメラは輻輳するように設置されているため、人が画面を見る際、視線は何れかのカメラの方を向き易い、カメラを直視しないまでも、その視線のずれは少ない。また、視覚対象をカメラ近傍に表示すれば、視線はカメラの近くに向けられる。

そこで、複数のカメラ画像の中で、視点近傍のカメラ画像を選択的に処理することによって視点が検出できる。また、視線方向近傍のカメラ画像を選択的に処理することによって視線が検出できる。当該処理により、従来の視線検出装置より、遥かに大きな眼球回転を許容して視線を精度良く検出できる。

前記視線方向近傍のカメラ画像を選択する方法として、各カメラ画像から虹彩、又は、瞳孔の真円率を計測し、真円に近い画像を選ぶ方法が適用できる。また、瞳孔中心（図２（Ｃ）のＰｕＣ）と角膜反射像の中心（ＰｒＣ）の距離（ｄｅｌ）が小さい、又は、ＰｕＣとＰｒＣが所定の位置関係を満たすカメラ画像を選んでもよい。

前記所定の観察領域（５６）を囲むように画面を構成するため、湾曲画面にする（図３（Ａ）（Ｂ））、複数の平面状画面をつなぎあわせる（図３（Ｃ））、画面の裏側でカメラを輻輳する（図３（Ｄ））などが可能である。大きな眼球運動がある場合、即ち、横目状態の場合でも高い視線検出精度を実現できる。

手段８において、時系列の検出の中で、直前の検出結果を最新の検出結果に反映することもできる。つまり、直前の検出結果に基づいて対象者の視点、又は、視線近傍のカメラ画像を処理できる。このようなフィードバック処理によって、高精度な検出が可能である。

手段１から手段８の何れかにおいて、図１３、図１５（Ｂ）に示すように、画面裏側に大きなフレネルレンズをリレーレンズ（ＲＬｅｎｓ）として画面に接するように設け、カメラレンズ系の一部にしてもよい。光通過部が大きくなるため、明るく精細なカメラ画像が得られる。Ｃａｍ１には、自動焦点機能カメラを用いることができる。

手段１から手段８の何れかにおいて、前記被写体検出結果に基づいて以下のような感覚情報表示ができる。図３（Ａ）において、ａ）両眼の位置を検出し、これらを視点として３次元オブジェクトを透視投影変換した映像をリアルタイム表示することで、運動視表示・両眼立体視表示を実現できる。ｂ）映像中の香り関連オブジェクトを見ている人の鼻の位置を検出して、画面に設けた小さな穴より香りを当該鼻付近に向けて放出し嗅覚表示できる。ｃ）頬を検出して温風、冷風などの気流を放出し皮膚触覚表示できる。ｄ）手の動きを検出し、情報入力手段に利用できる。ｅ）注視点の動きを検出し、当該情報を画面に重畳表示できる。ｆ）注視点の動きから人の意図を推定し、関連情報を表示できる。

図１６に示すように、人物検出、視線検出情報に基づいて、表示装置を見やすい方向に回転できる。人物までの位置を検出して、表示対象（テロップ等）の大きさを見やすく調整できる。音量を調整できる。

また、人物が画面前に居ない、又は、画面を見ていないことを検出して画面を非表示状態に制御できる。節電が可能である。

＜手段１の効果＞
本発明は、画面の内側、又は、裏側、又は、画面淵に非可視光照明装置（ＬｇＩｎ）を設け、当該照明による被写体反射光を画面裏側に接近して設けたカメラで捉えるため、視点、視線検出のための特徴点を明るく精細に撮影できる効果がある。また、この際、利用者は、当該照明領域を直視しやすいが、照明装置は、網膜上において中心窩とその周辺を分散して照明するように、つまり、中心窩に局所的な強い照明が当たらないように構成されるため、眼への生理的影響は少なく、長時間安全に使用できる効果がある。視点、視線検出を表示装置とのインタフェースに利用する際、重要な特徴である。

＜手段２の効果＞
本発明は、画面表示部にエレクトロルミネッセンス発光体（ＥＬ）を用い、画面を極めて薄く構成するため、前記照明による被写体反射光を効率よく通過せしめる効果がある。また、当該画面は、精細な幾何学パターンの形状を崩さずに、通過せしめる効果がある。当該画面の裏側に接近するようにカメラを設けるため、画面構造物が撮像素子（ＣＣＤ）に結像せず、広い範囲で明るく精細な被写体画像が得られる。簡単な画像処理で、被写体特徴点、特に、眼球特徴点を安定に抽出できる。

＜手段３の効果＞
本発明は、画面表示部に管状又は帯状の自発光体表示基材を所定の間隔で並べたものを用い、画面を極めて薄くする構成するため、前記非可視光照明による被写体反射光を効率よく通過せしめる効果がある。また、画面の裏側に接近するようにカメラを設けるため、画面構造物は撮像素子（ＣＣＤ）に結像せず、広い範囲で明るく精細な被写体画像が得られる。前記構成は、大画面表示装置に適しており、没入型インタラクティブ表示装置を実現できる。

＜手段４の効果＞
本発明は、画面の光通過部を、画面表側から裏側に向けて一部が狭く裏側が広くなるように構成するため、前記照明による被写体反射光を効率よく通過せしめる効果がある。また、当該画面の裏側に接近するようにカメラを設けるため、画面構造物が撮像素子（ＣＣＤ）に結像せず、広い範囲で明るく精細な被写体画像が得られる。
きる。

＜手段５の効果＞
本発明は、画面内から被写体に向け幾何学パターンを照射し、当該被写体反射光を画面裏側に接近して設けたカメラで捉えるため、視点、視線検出のための特徴点、特に、角膜反射像を明るく精細に安定に撮影できる効果がある。また、モアレ法により人物形状を検出できる。

＜手段６の効果＞
本発明は、画面内部、又は、裏側に近赤外ＥＬ発光体を用いた照明装置（ＬｇＩｎ（ＥＬ−ＩＲ））を設けるため、面発光、又は、線発光による様々な幾何学的パターンを被写体に照射できる。当該照明を用いることによって、被写体の特徴を効率よく抽出できる効果がある。特に、図８に示すように、画面裏側に接近して設けたカメラレンズの光軸付近に照明装置（ＬｇＩｎ２）を配置して再帰性反射光を捉える撮影法では、ＥＬ照明装置が極めて薄いため撮影系の妨げにならず、精細な瞳孔像が撮影できる。

ＥＬ照明装置は、網膜上において中心窩とその周辺を平坦に分散して照明する特性に優れているため、眼への生理的影響は少なく、長時間安全に使用できる効果がある。

また、表示部と照明装置は一体化しやすく、照明光は屈折率の近い透明媒体の中を通過して画面表側から放出されるため、照明のエネルギー効率が良い。少ない電力で照明できる効果がある。

＜手段７の効果＞
利用者から見て視角１度以上の照明範囲を持つ照明装置を用い、中心窩に局所的な強い照明が当たらないように構成されるため、眼への生理的影響は少なく、長時間安全に使用できる。また、画面裏側に接近するようにカメラを設置し、当該カメラ近傍に照明装置を設置するため、特徴的形状を有する比較的大きな角膜反射像、虹彩、瞳孔を明るく精度よく安定に撮影できる効果がある。当該特徴点の３次元位置を実時間で検出することによって、運動視表示などの視点位置として利用できる。

また、前記カメラは、利用者を正面付近から撮影できるため、カメラ画像中の角膜反射像と瞳孔の相対的位置は眼球回転角に比例しやすい。従って、簡単な処理で、眼球回転角を求め、前記視点位置と合わせて用いることで視線を検出できる。更に、表示対象近くのカメラ画像を処理する、又は、カメラ設置位置近くに対象を表示することによって、検出精度を向上させることができる。

表示装置の外側にカメラを設置する従来の視線検出装置に比べて、検出処理が簡単で精度が高い特徴がある。また、表示装置、照明装置、カメラを一体化できるため、使用時のキャリブレーションは不要、又は、極めて容易である。

＜手段８の効果＞
画面裏側に接近するように複数のカメラを輻輳して設置し、視点近傍、又は、視線方向近傍にあるカメラ画像を選択的に処理するため、瞳孔は円形に撮影でき、瞳孔付近に発生する角膜反射像を撮影できる。従って、視点、視線を利用者の自由な動きと大きな眼球回転を許容して、精度良く検出できる効果がある。

従来技術では、近赤外照明の眼への負担やカメラの設置場所の制約から、１ｍ以上離れたところからの視線検出は難しいかったが、本発明では、数ｍの視距離を許容して非装着な手段による視線検出が可能である。離れて観察することが多い大型表示装置では効果が大きい。

以上のように、本発明は、照明の眼への生理的影響が少なく、長時間安全に使用でき、被写体特徴点、特に、眼球特徴点を効率良く抽出できる。従って、被写体の位置、視点、視線などを精度良く検出できる。また、眼の位置を手掛かりとして、鼻、耳、頬などを容易に検出できる。更に、被写体の３次元構造の検出、人物の認識にも有効である。

前記検出結果を利用して、非装着な手段による運動視表示、両眼立体視表示、適切な嗅覚表示、触覚表示などの感覚情報表示が可能である。臨場感の高い表示装置を実現できる。視線検出では、従来難しかった非装着な手段による２０インチを超える大画面上の注視点検出が可能である。カメラ台数を増やせば、画面サイズに制約はない。壁全体が表示装置のような場合でも視線、注視点を精度良く検出できる。このように、本発明は、特に大画面表示装置に有効である。

本発明の実施態様ついて具体的に説明する。

図１は、本発明のカメラ付き表示装置の構成と利用例である。同図（Ａ）は、装置の断面図、（Ｂ）は、正面図である。１０は、ＥＬ素子を用いた薄型の映像表示画面で、ＢＳ１、ＢＳ２は透明板、ＥＬはＥＬ素子の発光体、Ｒｅｆ−ＢＧＲは、可視波長光を反射、又は、遮断し、近赤外波長以上の非可視光を通過させる膜である。当該膜は、画面全面に設けてもカメラが設けられる部分のみに設けてもよい。ＰＸはＥＬ素子を用いた画素、ＰＸＣはＰＸを複数用いたカラー画素を示す。

ＢＳ２の裏側には、近赤外以上の波長光を捉えるカメラＣａｍ１−ｘ（ｘ＝１〜６）と同心円状（ドーナッツ状）の照明装置ＬｇＩｎ１−ｘのユニット（同図（Ｃ））が６箇所に設けられている。更に、多く設けることもできる。前記映像表示用ＥＬは、図１０、図１１で後述するように、他の発光素子、例えば、ＬＥＤに置き換えてもよい。本発明では、画面１０は薄型で、１ｍｍ〜１０ｍｍ程度の厚さで構成できる。

前記ＥＬ素子を用いた表示画面１０は、近赤外波長以上の非可視照明光が画素内、画素間を効率よく通過するため、様々な幾何学的パターン光を放出できる。照明装置ＬｇＩｎ１−ｘは、波長８００ｎｍ以上の近赤外光、又は、赤外光を発するＥＬ素子、又は、ＬＥＤで構成できる。図１（Ｂ）、（Ｃ）のＥＬ−ＩＲは、近赤外発光ＥＬ素子である。当該照明装置による非可視光２１は、画面１０の裏側から表側に向けて画面を通過し、被写体である人物Ｐ−ｘ（ｘ＝1、2）を照射する。

Ｐ−ｘで反射した光（２５〜２８、ｏｒ、３５〜３５）は、画面１０を通過し、カメラＣａｍ１−ｘの撮像素子に結像する。本発明では非可視反射光を人物検出に利用するため、画面に映像を表示中であっても、カメラを独立に任意のタイミングで駆動制御できる。

前記照明装置の特徴について述べる。本発明では、画面の内側から照明するため、人は照明装置を直視することがある。網膜中心窩付近は、視細胞が露出しているため、高いエネルギー密度の光を照射すると網膜は日焼け状態になり障害の危険がある。近赤外光、又は、赤外光は眼に反応しないため、縮瞳が起き難く危険である。

しかし、図１（Ａ）（Ｂ）（Ｃ）に示したＥＬ素子を用いた照明装置ＬｇＩｎ１−ｘ（ＥＬ−ＩＲ）は、点光源ではなく、面光源なので光強度は平坦であり、従って、網膜に悪影響を与えることは少ない。視細胞に負担を与えない光強度を予め求めておき、当該光強度分布になるように平坦化すればよい。詳細は後に図２で説明する。

また、眼への影響は、主に網膜上の局所的な熱エネルギーによって起きるため、照明装置は、被写体を検出する場合だけ短時間駆動する、又は、時分割駆動することができる。また、被写体までの距離計測に基づいて照明強度を変化させることもできる。

図１（Ｇ）のＬｇＩｎは、近赤外発光ダイオード（ＬＥＤ−ＩＲ）を多数同心円状に並べた面照明装置で、図１（Ｃ）の代替えとして利用できる。ＬＥＤ−ＩＲの前には、同心円状の光散乱板材ＳＣが設けられる。ＳＣによって、光強度分布は平坦化され、安全な照明装置になる。ＳＣには多重散乱材を用いてもよい。

撮影系の特徴について述べる。カメラが設置される部分の画面厚は、１ｍｍ以下〜数ｍｍ程度の薄さで製造できる。被写体反射光は、画素内、又は、画素間を通過するが、画面には、発光素子、駆動回路、光を前方に放出するための反射膜などの画面構造物が存在するため、画面表側から入射する被写体反射光（２５〜２８、ｏｒ、３５〜３５）は当該構造物によって部分的に遮られることがある。そこで、本発明では、カメラレンズを画面の裏側に接近させている。Ｆｃ−Ｌｉｍは、カメラレンズの最短焦点距離であるが、この距離の１／３以下に入るように画面１０を設ける。これによって、画面構造物は撮像素子に結像せず、被写体像のみを撮影できる。Ｆｃは、被写体までの距離である。

本発明では、表示画面の広い範囲を被写体反射光が通過し、カメラ設置場所の制約が少ないため、径の大きなカメラレンズ、大きな撮像素子を用いることができる。従って、被写体像を明るく撮影できる。例えば、レンズ径は、数ｃｍから１０ｃｍを超える大きさが可能である。また、１インチを超える撮像素子を用いてもよい。更に、非可視光照明装置を用いるため、外部照明によらずに常に安定して明るい画像が撮影できる。画面を見ている人物に正面から照明を当て反射光を捉えるため、人物検出に必要な特徴点を確実に撮影できる特徴がある。

特徴点検出処理の特徴について述べる。図１（Ｂ）のＬｇＩｎ１−ｘ（ＥＬ−ＩＲ）は、リング状パターンの面発光照明装置である。当該照明装置を用いることによって、眼の中にはリング状の角膜反射像が生成する。図１（Ｄ）（Ｅ）のＩｍｇは、カメラＣａｍ１−１、Ｃａｍ−３の画像であるが、角膜反射像Ｐｒ１、Ｐｒ３は各々リング状である。画像処理では当該幾何学的特徴を利用することにより、Ｐｒ１、Ｐｒ３は背景から分離され容易に抽出される。

当該角膜反射像は、利用者がカメラに近づけば大きく、離れれば小さく撮影される。従って、カメラ画像において、当該角膜反射像の２次元位置と大きさ（リングの直径など）から、角膜反射像の３次元位置を検出できる。角膜反射像は眼球の光学焦点近くに生じるため、当該像の位置を視点として近似できる。特に、利用者が画面を見ている場合は、当該近似の誤差は少ない。

画面前の人物の動きに応じて、６個の照明装置を高速に切り替えて所定のカメラで当該角膜反射像を撮影してもよい。また、当該照明装置を間欠駆動し、照明時と非照明時のカメラ画像を高速に差分処理することにより、コントラストが高い角膜反射像が得られる。従って、弱い照明光を使用しても当該像を安定に抽出できる。

前記ＬｇＩｎ１−ｘ（ＥＬ−ＩＲ）は、瞳孔を精細に撮影し、効率よく抽出するためにも有効であり、当該瞳孔の３次元位置を前記視点として利用してもよい。図８で詳細に述べる。

次に、眼の特徴点を抽出し、人物Ｐが注視する対象を推定する方法について述べる。図１（Ｄ）のＩｍｇは、カメラＣａｍ１−１の画像である。人物Ｐ−２の視線Ｇａｚｅは当該カメラの方向にあるので、虹彩Ｉｒｉｓ、又は、瞳孔Ｐｕ１はＩｍｇの中央付近に撮影され、同心円状照明装置ＬｇＩｎ１−１の角膜反射像Ｐｒ１は瞳孔付近に重なって撮影される。Ｐｕ１とＰｒ１の画像上での中心は、ほぼ同じである。一方、図１（Ｅ）のＩｍｇは、カメラＣａｍ１−３でＰ−２を撮影した画像である。ここで、Ｃａｍ１−３の撮影範囲は、Ｐ−２を捉えるほど広いとする。当該画像では、瞳孔Ｐｕ２と照明装置ＬｇＩｎ１−３の角膜反射像Ｐｒ３の位置はずれている。

そこで、カメラＣａｍ１−ｘを順次切り替えて撮影し、瞳孔中心と照明装置の角膜反射像のズレが最も少ない方向を見ているとして概略の視線Ｇａｚｅを求めることができる。この例では、カメラＣａｍ１−１の方向を見ている。また、複数のカメラ画像の特徴点情報を統計処理して、複数のカメラ間の視線方向を高い精度で推定することも可能である。

また、眼球位置をステレオ画像計測によって求め、虹彩Ｉｒｉｓ、又は、瞳孔Ｐｕの中心と角膜反射像Ｐｒの中心を特徴点として、両者の相対的な動きから眼球回転角を求め、視線を検出することもできる。詳細は後に図２で説明する。

制御系の特徴と応用について述べる。１はカメラＣａｍ１−ｘを駆動制御する装置、２は照明装置ＬｇＩｎ１−ｘを駆動制御する装置、３は情報処理装置で、照明のタイミング制御、カメラ画像の処理、映像の制御などを行う。前記のように、カメラ画像は明るく精細なので、特徴点は極めて効率よく抽出できる。ノイズ除去の後、被写体画像を予め蓄積されたパターン（テンプレート）と照合することにより、画面前の人物Ｐの顔、眼、頬、耳、手などを検出できる。当該検出結果に基づき、映像制御装置４によって映像を制御できる。

図１（Ａ）（Ｂ）では、人物Ｐの視点位置検出を用いた運動視表示の方法を示している。複数のカメラＣａｍ１−ｘで、Ｐの虹彩、瞳孔などを撮影し、当該特徴点の対応付けを行い、三角測量法で当該特徴点の３次元位置を検出できる。当該特徴点をＰの視点として、３次元オブジェクトをリアルタイムで透視投影変換し、当該映像を画面に表示すれば、Ｐの位置変換に伴ってオブジェクトの見え方が変わる運動視表示が実現できる。ｔｒｅｅは３次元空間のバーチャルオブジェクト（木）である。人物が遠方に居る場合（Ｐ−１）、当該オブジェクト像は、ｔｒｅｅ１のように小さく表示され、人物が画面に近づくに従って（Ｐ−２）、ｔｒｅｅ２のように大きく表示できる。図１（Ａ）の例では、利用者は画面の奥にｔｒｅｅを知覚する。このようにして立体感のある映像表現が可能である。

また、人物の接近を検出して、香りを表示することが可能である。６−ｘ（ｘ＝１〜４）は、空気砲式香り発生装置である。図１（Ｆ）に示すように、画面１０の発光素子（又は、画素）ＰＸの間に小さな空気穴ＨＬを複数設け、当該複数の穴を囲むように空気砲の砲筒６−４を画面の裏側に密着して設ける。空気砲を動作すると、当該複数の穴から気流が放出されるが、穴が密集しているので気流は各々干渉し、あたかも１つの砲筒から放出されたかのような渦輪７を形成する。当該渦輪に香りを混入し、人物の鼻先まで数ｍ飛行させることができる。

図１（Ａ）では、人物Ｐ−２が画面に近づいたことを検出して、当該人物に最も近い香り発生装置６−２から、鼻先に香りの渦輪７を放出する様子を示している。人物の位置検出に基づく香り表示なので、少ない香料で適切に表示でき、極めて効率が良い。香りの切り替えにも有利である。また、頬を検出して冷気や暖かい空気を放出することもできる。映像に連動させることにより、高い臨場感を演出できる。

前記のように注視対象が推定できれば、当該対象に興味があるなどの仮説に基づき、様々なメニュー選択を自動表示できる。また、表示画面を見ていないと推定されれば、電源を切る、節電モードにするなどの制御が可能である。

図１（Ａ）において、ＥＬ素子を用いた表示画面が近赤外光を効率良く通過させる特性を利用し、前記リング状照明装置ＬｇＩｎ１−ｘの代わりに、人物Ｐに向けてスリットパターン光を放出する照明装置（図には示してない）を用いてもよい。この場合、カメラの結像光学系にもスリットを設けることにより、被写体のモアレ縞を撮影できる。縞の間隔は奥行き距離に対応するため、被写体の３次元構造を検出できる。図１６（Ｂ）で詳細に述べる。

図２は、図１で示した表示装置の視線検出方法を説明する図である。図２（Ａ）は表示装置の断面図で、画面１０の裏側には、２台の照明装置ＬｇＩｎ１−ｘとカメラＣａｍ１−ｘ（ｘ＝１、２）からなるステレオ画像計測装置が設けられている。Ｒｅｆ−ＢＧＲは各カメラの前に設けられた可視光を反射し、近赤外光を通過する光学フィルタである。ｘ、ｙ、ｚは計測座標系であり、当該ステレオ画像計測装置によって、瞳孔、虹彩、角膜反射像などの特徴点の空間位置が検出できるものとする。

視線Ｇａｚｅは、眼球位置Ｖ１と眼球回転角θから求めることができる。眼球位置Ｖ１は、正確には図２（Ｄ）の眼球Ｅｙｅの回転中心Ｃｅｎであるが、視線がカメラの近傍を向いている状況では、近似的に、瞳孔Ｐｕ、又は、照明装置ＬｇＩｎによって作られる角膜反射像Ｐｒなどの位置で置き換える、又は、当該特徴点の位置からＣｅｎの位置を推計できる。この理由を以下に述べる。

図２（Ａ）のように、カメラＣａｍ１−２の近傍の画面上に視覚対象Ｔｒｅｅを表示し、利用者が当該対象を注視する場合、Ｃｅｎは、瞳孔Ｐｕ、又は、角膜反射像Ｐｒの奥に位置する。θが小さいほど、つまり、視線Ｇａｚｅがカメラの方向に近いほど、カメラとＰｕ、Ｐｒ、Ｃｅｎは直線的になる。従って、当該特徴点（Ｐｕ、又は、Ｐｒ）から眼球中心Ｃｅｎまでの距離を予め求めておくことにより、Ｐｕ、Ｐｒの位置からＣｅｎの３次元位置が推計できる。なお、当該距離は、眼球の半径ｒに近いため、予め計測しておくことができる。具体的には、Ｃｅｎのｘ、ｙ軸座標値は、Ｐｕなどのｘ、ｙ軸座標値を用い、Ｃｅｎのｚ軸座標値は、Ｐｕのｚ軸座標値にｒを加えた値を用いることができる。

Ｃｅｎの位置を推計する他の方法として、顔の特徴点を用いてもよい。Ｃｅｎは、顔（頭部骨格）の中にあって、固定点と考えられる。顔の３つ以上の特徴点の位置が画像計測などにより求まれば、頭部の３次元モデルを設定できるため、Ｃｅｎを推計できる。ここで、顔の特徴点とは、目尻、目元、鼻頭など皮膚の動きの少ない点が望ましい。当該特徴点の位置は、図２（Ａ）のように複数カメラによるステレオ画像計測、モアレ画像計測などで求めることができるが、顔上の３つの特徴点間の距離を予め計測しておくことにより、１台のカメラ画像の処理によっても検出できる。

当該顔上の３つの特徴点として、光学マーク付き眼鏡フレーム４８を用いることができる。眼鏡フレームの少なくても３箇所に光学マーク４９を設け、顔を当該光学マークからなる三角形でモデル化し、当該マーク間の距離を予め計測しておくと、１台のカメラの撮像面に映る三角形の形（歪）から三角形の重心と法線ベクトル、つまり、顔の傾きを求めることができる。Ｃｅｎの位置は、当該重心から所定の固定位置にあるため、予めＣｅｎを求めておくことができる。

また、人物までの距離を超音波センサなどで計測し、１台のカメラの撮像面に映る眼の２次元位置からＣｅｎの３次元位置を推計することもできる。また、距離の検出に関して、照明光と被写体反射光の位相差を検出し、当該位相差から反射光の時間遅れを計測することで、特徴点の奥行き方向の距離を検出してもよい。

以上のようにして、眼球位置Ｖ１が推計できるので、次に眼球回転角θを求め方について述べる。図２（Ａ）の破線４１は、カメラＣａｍ１−２の視野範囲、図２（Ｃ）のＩｍｇは、撮影画像である。眼球Ｅｙｅが、Ｃａｍ１−２の方向を向いていれば、瞳孔Ｐｕと角膜反射像Ｐｒは重なるが、同図では、Ｔｒｅｅの方向を向いており、視線が少しずれているので、Ｐｕの中心ＰｕＣとＰｒの中心ＰｒＣは、距離ｄｅｌだけ離れている。

図２（Ｄ）は、眼球の光学モデルで、２つの球が中心をずらして重なった構造である。大きな方が眼球で半径をｒとする。小さな方が角膜の曲率半径を持つ球で、Ｃｅｎからａｒのところに中心がある。ａは係数である。ｒ、ａは、予め計測して決めることができる、又は、視線検出を行う前のキャリブレーションで推定できる。

破線の円は、眼球ＥｙｅがＣａｍ１−２の方を向いた状態、実線の円は眼球が当該状態から左にθだけ回転した状態である。丸印は瞳孔Ｐｕの中心、四角印は角膜反射像Ｐｒの中心である。ｋｔは、両者のズレを示し（１）式で近似できる。ｋｔは、カメラで撮影される際、概ね、眼球までの距離（ベクトルＶ１の絶対値）に反比例し、カメラの倍率Ａｍｐに比例する。従って、カメラ画像上でのｄｅｌは（２）式で近似できる。

ここで、Ａｍｐはカメラ装置から出力され、Ｖ１の絶対値は、前記ステレオ画像計測装置などから出力される。従って、ｄｅｌはθの関数である。ゆえに、θは、（３）式に示すようにｄｅｌの関数ｇであり、図２（Ｃ）のＩｍｇからｄｅｌを求めれば、θが求まる。眼球中心Ｃｅｎにおいて、眼球の単位方位ベクトルをＵ（θ）とすると、Ｇａｚｅは（４）式で示される。ｂは、Ｃｅｎからの距離を示す。Ｇａｚｅが画面１０と交差する点が注視点となる。

本発明では、画面の内部、又は、裏側にカメラを設置し、当該カメラ付近に視覚対象を表示できるため、上記のような近似によって、視線を簡単に求めることができる。なお、前記アルゴリズムでは、眼球の横方向の回転のみを説明したが、縦方向の回転についても検出できるのは当然である。

ここで、眼球回転角θの検出方法は、前記瞳孔像Ｐｕと角膜反射像Ｐｒの相対位置検出の他、虹彩（黒目）と角膜反射像の相対位置検出、眼の周りの顔皮膚（例えば、目元、目尻）に対するＰｕ（又は、Ｐｒ）の相対位置検出、顔に設けたマーク（図２の４９）とＰｕ（又は、Ｐｒ）の相対位置検出によってもよい。また、瞳孔像Ｐｕの中心、角膜反射像Ｐｒの中心の代わりに、それぞれ瞳孔像の重心、角膜反射像の重心を利用してもよい。

例えば、カメラ画像Ｉｍｇにおいて、瞳孔Ｐｕの位置は、正面を見ていれば目元１５と目尻１６の真中となり、左側を見ていれば図２（Ｃ）のように１６の方にずれる。従って、瞳孔Ｐｕの位置を１５と１６の間の比として求めればθを推定できる。角膜反射像Ｐｒの位置を用いても同様にθを推定できる。
図２（Ａ）では、単眼の視線を求めているが、両眼の視線を求めれば、その交差点付近の３次元注視対象を検出できる。

次に、視線検出精度について簡単に述べる。例えば、４００万画素の撮像素子を用いると、横方向２０００画素以上となるため、１台のカメラで、５０ｃｍ程度の範囲を撮影する場合を想定すると、１画素当たり位置分解能は、０．２５ｍｍになる。ピクセル内、ピクセル間の輝度レベル処理を組み合わせると、更に、この１／２程度になる。この程度の分解能が得られると、瞳孔と角膜反射像を用いた視線検出アルゴリズムを適用したときの視線検出精度は、１度程度が可能である。

また、１０００万画素の撮像素子を用いれば、横幅１００ｃｍ程度の視野範囲で１度程度の視線検出精度が得られる。このカメラを画面の中に、横一列に所定間隔ごとに並べれば、極めて広い範囲で視線が検出できる。

本発明では、表示画面の中にカメラ、照明装置を組み込むため、これら座標系の関係を装置製造時に設定しておくことができる。従って、従来、視線検出で不可欠であった座標系のキャリブレーションは不要、又は、極めて容易である。

以上のアルゴリズムは、利用者の眼球が正面を向いている場合、又は、正面から２０度以内で回転する場合に有効である。しかし、眼球が更に大きく回転する場合、つまり、横目で見る場合には、精度が低下することがある。この問題に対しては、図３に示す実施例のように利用者を囲むような画面を用いることで解決できる。

次に、照明装置と網膜上の光強度の関係について述べる。図２（Ａ）において、１７はリング状面発光照明装置ＬｇＩｎ１の網膜上での照明範囲、Ｆｖは網膜中心窩を示している。図２（Ｂ）はＦｖ付近の拡大図である。１７−１は光強度分布で、横軸がリング横断方向、縦軸が光強度である。Ｆｖは視野角で１度程度の範囲であり、視細胞がむき出し状態で密集しており、眼球光学系は主に当該範囲にピントを合わせる。本発明では、Ｆｖ付近に強い照明光が当たるのを避けるため、ＬｇＩｎ１の発光面を大きく、発光強度を平坦にしているのが特徴である。ＬｇＩｎ１を臨む視野角は数度から数十度であり、リング状の発光面全体からの光量で被写体特徴点の撮影に必要な光量を確保する。Ｆｖへの近赤外光刺激が弱いため長時間、安全に使用できる。

図２（Ｇ）は、照明装置ＬｇＩｎ１に小さな複数の発光体を密集させた構成体を用いた場合の網膜上での照明範囲１８と、光強度分布１８−１を示す。発光体は離散的であっても密集している場合、標準的な視距離で観賞する利用者の網膜上の光強度は、視細胞に障害を与えない程度に平坦にできる。この場合も面発光と見なすことができる。

一方、従来の画面脇に設けられた視線検出装置では、大きな照明装置を用いることが難しい。小型照明や点光源照明（ランプやＬＥＤなど）を用い、当該照明を直視する状況では、網膜上での照明範囲は図２（Ｈ）の１９、光強度分布は１９−１になる。Ｆｖへの近赤外光刺激が強いため、眼への悪影響が問題になる。前記（Ｂ）（Ｇ）との差は明らかである。

図２（Ｅ）は、画面１０の内側、又は、周囲に矩形の面発光からなる照明装置ＬｇＩｎ４を設けた表示装置の正面図である。図２（Ｆ）のＩｍｇは、画面裏側のカメラで撮影した画像である。照明装置が大きいため、大きな角膜反射像Ｐｒが得られる。同図のように、瞼によって当該角膜反射像が一部隠れても全体が隠れることは少ない。予め形状が既知なパターン照明であれば、当該パターンの中心、又は、重心を特徴点として検出するのは容易である。照明領域が映像表示部の周囲なので、当該照明装置を直視する頻度は少ない。また、直視しても面発光であって単位面積あたりの光強度は低いため、眼への悪影響は少ない。

図３は、人物を囲むように画面を設け、複数のカメラを人物がいる所定領域に向けるように（輻輳するように）したカメラ付き表示装置である。図３（Ａ）は、湾曲型画面１０を用いた例、図３（Ｂ）は、当該例の上面図である。

画面１０は、発光ダイオード、ＥＬ素子などを用いて構成できるのは既に説明したとおりである。５６は、１０の曲率中心付近の所定観察領域で、利用者Ｐは当該領域に居るものとする。１０の裏側には、図１（Ｃ）、又は、（Ｇ）に示したものと同様な照明付きカメラＣａｍ１−ｘ（ｘ＝１〜４）が設けられている。カメラの前には、可視光を反射、又は、遮断し、近赤外を通過させる部材Ｒｅｆ−ＢＧＲが設けられている。画面の左右の端には、近赤外照明装置ＬｇＩｎ３−ｘ（ｘ＝１、２）が設けられている。また、空気砲式香り発生装置６−ｘ（ｘ＝１〜２）が設けられている。Ｃａｍ１−ｘと６−ｘは、５６に向けられている。

利用者Ｐは、両眼立体視用眼鏡４８を装着することによって、表示対象Ｏｂｊ−Ｐｘ（ｘ＝１〜３）を立体的に知覚できる。同図は、コンサートを視聴している様子である。１００度以上の視野範囲を実現できる。また、前記カメラで利用者が領域５６に居ることを検出し、６−ｘから出る複数の香りの渦輪７を５６内で衝突させることによって、香り空間を作ることができる。視覚、聴覚、嗅覚表示によって、高臨場感が得られる。

次に、前記のような画面とカメラを用いることで、大きな眼球回転を許容して精度の高い視線検出が可能な理由を述べる。図３（Ｂ）において、２１は近赤外照明光、２５〜２８は被写体反射光である。当該反射光は各カメラＣａｍ１−ｘで撮影される。ここで、利用者Ｐが画面正面を向き、横目（視線Ｇａｚｅ）でＯｂｊ−Ｐ３を見ている場合を考える。

Ｐの正面にあるＣａｍ１−２、又は、Ｃａｍ１−３の画像では、眼球は大きく回転しているため、図２を参照すると、瞳孔像は楕円にひずみ、瞳孔中心と角膜反射像の中心のズレｄｅｌは大きくなることが分かる。この画像を用いる場合、楕円の中心を求める処理は複雑であり、また、眼球回転角θが大きすぎると、θとｄｅｌの関係は線形ではなくなる。従って、高い視線検出精度を得ることは難しい。

しかし、Ｃａｍ１−４は、眼球を正面から捉えるため、瞳孔像は円に近く、ｄｅｌも小さいため、比較的安価なカメラを用い、簡単なアルゴリズムで視線Ｇａｚｅを精度よく検出できる。このように、本実施例では、眼球を正面付近で捉えたカメラ画像を選択的に処理することで、高い視線検出精度を実現できる。具体的には、４００万画素程度の撮像素子を備えたカメラを用いれば、５６は標準的な観察点から１ｍ四方の範囲で、眼球回転角が左右４０度程度で、１〜２度程度の視線検出精度が得られる。

複数のカメラ画像の中から、Ｃａｍ１−４の画像を選択的に処理する方法としては、各カメラ画像においてｄｅlを計算し、ｄｅlが最も小さい画像を選択する。又は、次系列の視線検出において、直前の視線検出方向にあるカメラ画像を優先的に処理してもよい。

以上の効果をカメラが平行に設置された図３（Ｆ）と比較する。同図でも、眼球を正面で捉えるカメラはＣａｍ１−４であるが、視野範囲を広角にしないと眼球を捉えることはできない。しかし、カメラを広角視野にすると高解像度のレンズ系と撮像素子が必要になり、安価に実現することが難しい。

図３（Ｃ）は、３つの平面画面をつなぎ合わせて所定領域５６を囲むように画面１０を構成し、３台のカメラＣａｍ１−ｘ（ｘ＝１〜３）の視野を５６に向けた本発明表示装置の例である。

図３（Ｄ）は、平面画面１０を用いるが、３台のカメラＣａｍ１−ｘの視野を５６に向けた本発明の表示装置の例である。

図３（Ｅ）は、横方向、縦方向に湾曲した画面１０に近赤外照明装置付きカメラＣａｍ１−ｘを５台設け、画面の淵に大きな円形の照明装置ＬｇＩｎ３を設けた本発明の表示装置の例である。影をなくして被写体を明るく精細に撮影できる。

図４は、図１の表示装置において、画面１０に白色有機ＥＬ素子と色フィルタを用いた構成である。同図（Ａ）は、画面の断面図である。ガラスなどの透明板ＢＳ１の上には、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）をスイッチング素子に用いた駆動回路ＤＶが形成される。ＩＳは絶縁膜である。その上には、色フィルタＦｉｌ−Ｂ、Ｆｉｌ−Ｇ、Ｆｉｌ−Ｒが形成され、その上に陽極Ａが形成され、Ａの上に白色発光層ＥＬ−Ｗが形成され、その上に陰極Ｋが形成される。

白色に限らず本発明の発光層には、低分子積層型、単層の高分子分散型などが適用できる。発光現象としては、１重項励起状態からの蛍光、３重項励起状態からのりん光を用いることができる。低分子系発光層としては、アルミニウム錯体、アントラセン類、インジウム錯体などが適用できる。また、希土類金属錯体を用いてもよい。高分子系発光層としては、パイ共役系、ポリフェニレンビニレン類、ポリフルオレイン類、色素含有ポリマー系などが適用できる。

また、図４（Ａ）には示していないが、発光層（ＥＬ−Ｗ）に低分子系を用いる場合、Ａと発光層との間に正孔注入層、正孔輸送層を設け、発光層とＫの間に電子輸送層、電子注入層を設けることができる。発光素子は、Ａ、正孔注入層、正孔輸送層、発光層、電子注入層、Ｋの順序で積み上げることが望ましい。

ＡとＫは、ＩＴＯ（Ｉｎｄｉｕｍ Ｔｉｎ Ｏｘｓｉｄｅ）膜などを用いることにより透明電極にできる。Ｋの上には、可視波長光を反射、又は、遮断し、近赤外光を通過させる膜Ｒｅｆ−ＢＧＲが設けられ、その上にＢＳ２が設けられる。ＢＳ２は外部から湿気などが入らないようにする透明な封止膜、又は、保護膜である。高分子膜と酸化物膜のペアを数層繰り返して成膜することで封止効果を高めることができる。酸化物膜としては、二酸化ケイ素（ＳｉＯ２）などが利用できる。

ＰＸは、可視光発光素子で、１色の画素（サブピクセル）を示す。ＰＡは画素を分離する隔壁で透明にできる。画面１０の厚さは、全体で１ｍｍ以下から厚くても数ｍｍである。

同図では、Ｒｅｆ−ＢＧＲはＫの直ぐ上に設けているが、発光層の裏側であれば、場所を問わない。つまり、ＢＳ２を多層で構成する際、その一部としてもよい。また、カメラレンズ系の中、又は、ＣＣＤの前に設けてもよい。

ＰＷは電源である。ＡとＫの間に電圧を加えると、ＥＬ−Ｗは白色に発光する。駆動回路ＤＶによって、ＰＸに加える電圧を個別に制御できる。前記白色光は前記色フィルタによって３色の光になる。１１、１２、１３は、各々青色、緑色、赤色の光である。３色でカラー画素を構成する。また、同図には示していないが、青緑色のフィルタを追加し、４色（４つのＰＸ）でカラー画素を構成してもよい。

図４の駆動回路はアクティブマトリックス方式であるが、陽極と陰極を縦、横に交差させ、その交点を順次選択して光らせるパッシブマトリックス方式の駆動回路を用いてもよい。特に、大画面を構成する場合には、画面領域を分割して各々をパッシブ駆動する方式が望ましい。

ＬｇＩｎは、表示画面１０の内側に設けた照明装置で、近赤外光（非可視光）２１を画面の裏側から表側に向けて放出し人物を照明する。ＥＬ素子、又は、ＬＥＤ素子で構成できる。ＬｇＯｕｔは、表示画面１０の外側に設けられた照明装置で、可視から近赤外までの光２０を放出し人物を照明する。部屋の天井、壁等に設けた白熱灯（電球）等で、必要に応じて用いる。

２５〜２８は、被写体反射光で、２５、２６、２７は、各々、青色、緑色、赤色の素子内を通過する光を示す。２８は、隔壁ＰＡを通過する光を示す。これらの光は、Ｒｅｆ−ＢＧＲによって可視波長域が遮断され、近赤外光のみが、カメラレンズＣａｍ１（Ｌｅｎｓ）を通過し、ＣＣＤに結像する。従って、被写体像に寄与する光は、ＬｇＩｎ、又は、ＬｇＯｕｔから出る光の内、近赤外成分の光である。

画面１０は、全面において近赤外光を通過させることができるが、画素構成物によって部分的に光が通過しない領域があってもよい。同図のように、カメラレンズＣａｍ１（Ｌｅｎｓ）をＢＳ２に接近させることにより、当該構成物は、撮像素子ＣＣＤには結像しない。被写体反射光のみが結像する。

図４（Ａ）の構造は、駆動回路ＤＶが設けられた側、つまり、陽極側から光が放出されるボトムエミッション型であるが、駆動回路が形成された部分は発光しないため、実際に光るスペース（発光面積率）が２０％〜４０％程度に少ない場合がある。この問題を解決するためには、後に、図６（Ｂ）で説明するように、ＤＶとは逆の方向、つまり、陰極側から光を放出させるトップエミッション型のＥＬ素子を用いてもよい。

図４（Ｂ）において、ＥＬ−Ｗ１、ＥＬ−Ｗ２は、白色りん光有機ＥＬ素子の発光スペクトル例である。横軸は波長、縦軸は光強度の相対値を示す。材料によって差はあるが、波長４００ｎｍ〜７００ｎｍ程度の発光体を使用できる。Ｒｅｆ−ＢＧＲは、可視光を反射、又は、遮断し、人の可視限界波長（ＨＶ−Ｌｉｍ）を超える光を通過させる膜の特性例である。縦軸は光通過率の相対値を示す。ＨＶ−Ｌｉｍは個人差があるが、例えば、８３０ｎｍ以上にできる。９００ｎｍを超える波長では、殆どの人が光を知覚しない。余裕を見て、９００ｎｍ以上としてもよい。ＬｇＩｎは、近赤外発光ダイオード（ＬＥＤ−ＩＲ）を用いた照明装置の発光波長特性、ＬｇＯｕｔは、外部照明装置の発光波長特性である。縦軸は光強度の相対値を示す。

図４（Ｃ）において、Ｆｉｌ−Ｂ、Ｆｉｌ−Ｇ、Ｆｉｌ−Ｒは、各々、色フィルタの波長通過特性を示している。縦軸は光通過率の相対値を示す。同図において、Ｆｉｌ−Ｂは、４５０ｎｍ程度を中心にして、３７０ｎｍから５２０ｎｍ程度の波長光と、８００ｎｍ以上の波長光を通過させ、それ以外を遮断する。Ｆｉｌ−Ｇは、５５０ｎｍ程度を中心にして、４７０ｎｍから６５０ｎｍ程度の波長光と、８００ｎｍ以上の波長光を通過させ、それ以外を遮断する。Ｆｉｌ−Ｒは、５９０ｎｍ程度以上の波長光を通過させ、それ以下を遮断する。

白色光は当該フィルタによって、青色、緑色、赤色の光になる。図４（Ａ）のＥＬ素子からの光１１、１２、１３の波長域は、図４（Ｂ）（Ｃ）において、各々のフィルタを通過する光（ＡＫ−Ｂ、ＡＫ−Ｇ、ＡＫ−Ｒ）に対応する。カメラＣａｍ１は、Ｒｅｆ−ＢＧＲによって、８４０ｎｍ以上の波長光に感度を持つ。

図４（Ｄ）は、図４（Ｂ）の波長ＨＶ−Ｌｉｍの前後を拡大したものである。白色ＥＬ素子は、可視域のみに発光することが望ましいが、素子によっては、ＥＬ−Ｗ２のように、近赤外波長域にある程度スペクトルを持つものもある。また、白色りん光有機ＥＬ素子では、発光色が電流密度により変化し、８００ｎｍ前後の近赤外波長域の強度が相対的に高くなる場合がある。

このような場合であっても、本発明では、Ｒｅｆ−ＢＧＲを設けているため、当該波長域の光の多くは遮断され、カメラの感度領域に漏れる光Ｌｅａｋは極めて少ない。従って、被写体像に影響しない。以上のように、本発明では、ＥＬ材料を選択することにより、映像を表示する可視光を前方のみに放出し、被写体検出のための非可視反射光をカメラで捉えるように構成できる。

図５は、青色、緑色、赤色を発光する有機ＥＬ素子を用いたカメラ付き表示装置である。同図（Ａ）は、装置の断面図である。図４と異なる点を説明する。ＥＬ−Ｂ、ＥＬ−Ｇ、ＥＬ−Ｒは、各々、図５（Ｂ）の発光波長特性を持つＥＬ素子である。例えば、ＥＬ−Ｂは、４６５ｎｍ程度にピークを持ち、ＥＬ−Ｇは、５２５ｎｍ程度にピークを持ち、ＥＬ−Ｒは６３５ｎｍ程度にピークを持つ。縦軸は、発光強度の相対値を示す。ＥＬ素子自体が３原色の光を発するので、色フィルタは必要ない。

ＬｇＩｎは、画面１０の裏側に重ねるようにして設けられた照明装置で、近赤外発光層ＥＬ−ＩＲを持つ有機ＥＬ素子で構成される。ＥＬ−ＩＲは、図５（Ｂ）のように、発光波長範囲が広い材料もあるが、可視光を反射、又は、遮断し、８４０ｎｍ以上の非可視光を通過させる部材（フィルタ）ＲｅＦ−ＢＧＲをＬｇＩｎの前に用いているため、人に知覚されない。

青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）、近赤外（ＩＲ）の発光層には、低分子系、高分子系、希土類系などのＥＬ素材が適用できる。図５（Ｂ）のＥＬ−Ｒは、低分子系ＥＬ素材の発光スペクトル例で、非可視波長域まで広がっている。しかし、Ｒｅｆ−ＢＧＲをＥＬ−Ｒの裏側に設けているため、図５（Ｃ）に示すように、カメラ側に漏れる光Ｌｅａｋは少ない。撮像素子の被写体像に影響を与えることはない。

発光層に希土類を用いると、必要な波長スペクトルだけの光を出せるためカラー特性が良い。また、近赤外波長以上の非可視光をのみ放出する素材を選択すれば、照明装置の前の可視光遮断部材を省略できる。

図６は、青色、緑色、赤色を発光する有機ＥＬ素子の各々の裏面に当該波長光を反射、又は、遮断する部材Ｒｅｆ−ｘ（ｘ＝Ｂ、Ｇ、Ｒ）を設けたカメラ付き表示装置である。図７（Ａ）〜（Ｄ）は、図６で使用するＥＬ素子の発光特性と、Ｒｅｆ−ｘの特性である。Ｃａｍ２の破線はカメラの受光波長範囲を示す。

図６（Ａ）の画面１０は、ボトムエミッション型のＥＬ素子を用いているが、図５（Ａ）と異なる点を説明する。Ｒｅｆ−Ｂは、青色発光体ＥＬ−Ｂの上に設けられ、青色の光を選択的に反射、又は、遮断し、青色以上の波長光を通過させる部材（膜）である。図７（Ｂ）に光学特性を示す。縦軸は光通過率の相対値を示す。図６（Ａ）の１１は青色の光、１１−１はＲｅｆ−Ｂで反射する青色の光、３５はＥＬ−Ｂの内部を通過する青色以外の波長を持つ被写体反射光である。

Ｒｅｆ−Ｇは、緑色発光体ＥＬ−Ｇの上に設けられ、緑色の光を選択的に反射、又は、遮断し、緑色以上の波長光を通過させる部材（膜）である。図７（Ｃ）に光学特性を示す。縦軸は光通過率の相対値を示す。図６（Ａ）の１２は緑色の光、３６はＥＬ−Ｇの内部を通過する緑色以外の波長を持つ被写体反射光である。

Ｒｅｆ−Ｒは、赤色発光体ＥＬ−Ｒの上に設けられ、赤色の光を選択的に反射、又は、遮断し、赤色以上、又は、以下の波長光を通過させる部材（膜）である。図７（Ｄ）に光学特性を示す。図６（Ａ）の１３は赤色の光、３７はＥＬ−Ｒの内部を通過する赤色以外の波長を持つ被写体反射光である。

ここで、Ｒｅｆ−Ｂ、Ｒｅｆ−Ｇ、Ｒｅｆ−Ｒには、コールドミラー製法が利用でき、可視光を９７％程度反射し、非可視光を９７％程度通過させる特性を実現できる。

ＬｇＩｎは、図４と同様な近赤外発光ダイオードＬＥＤ−ＩＲを用いた照明装置であるが、図７（Ａ）のように、波長スペクトルが可視域にもあるため、ＬｇＩｎのＬＥＤ−ＩＲの前には、可視光を遮断し、近赤外以上の非可視光を通過させる部材Ｒｅｆ−ＢＧＲを設けている。図６（Ａ）の２１はＬｇＩｎの非可視照明光である。

以上のように、図６（Ａ）において、３色の発光体ＥＬ−ｘ（ｘ＝Ｂ、Ｇ、Ｒ）の光は前方に放出され、後方には放出されない。被写体反射光は、各画素内（ＰＸ）、及び、画素間を通過する。画素内（ＥＬ素子内）を通過する光３５〜３７は当該素子の発光波長以外の光である。画素間の隔壁ＰＡなどを通過する光３８は、可視光、及び、非可視光の広い波長範囲を持つ。

図６（Ａ）のＣａｍ２は、単色、又は、カラー画像を撮影できるカメラである。被写体反射光は、画面１０のほとんど全面を広い波長範囲で通過するため、明るい単色被写体画像（Ｍｏｎｏ−Ｉｍｇ）を撮影できる。また、ＰＡなどを通過する可視波長域の被写体反射光は、波長毎に複数のＣＣＤを用い３色を分離すれば、カラー被写体画像（Ｃｏｌｏｒ−Ｉｍｇ）を撮影できる。

図６（Ｂ）の画面１０は、トップエミッション型の有機ＥＬ素子を用いた実施例である。図６（Ａ）と比較すると、透明基板ＢＳ１からＢＳ２までの縦構造を上下逆にし、Ｒｅｆ−ｘを駆動回路ＤＶの上に設けている。３色の発光体ＥＬ−ｘの上には、各々Ｒｅｆ−ｘを設けることができる。トップエミッション型の有機ＥＬ素子は、発光面が大きいため、明るい映像表示画面が構成できる。また、ＢＳ１にガラス基板を用いれば、その上に照明装置ＬｇＩｎとして近赤外有機ＥＬ素子（ＥＬ−ＩＲ）を形成しやすい。

前記Ｒｅｆ−ｘの代わりに、可視光、及び、非可視光を反射する部材、つまり、単なる反射材Ｒｅｆを設けてもよい。Ｒｅｆはアルミ膜などで構成できる。Ｒｅｆを用いる利点は、Ｒｅｆ−ｘに比べて製造し易いこと、反射特性のよい素材が適用できること、発光体から裏側（カメラ側）への光の漏れがないことなどである。しかし、被写体反射光は、素子間のみを通過し、素子内を通過しなくなるため、被写体像はやや暗くなる。

図６（Ｂ）では、ＥＬ−Ｂ、ＥＬ−Ｇの上に、各々、Ｒｅｆ−Ｂ、Ｒｅｆ−Ｇを設け、ＥＬ−Ｒの上に、Ｒｅｆを設けた場合を示している。ＥＬ−Ｒは、近赤外波長域にもスペクトルを持つ場合があるが、Ｒｅｆを用いることにより、カメラ側への光を完全に遮光できる。１３−１は、ＥＬ−Ｒから出て上に向かいＲｅｆで反射し、前方に放出される光を示す。

当該構成では、画面１０において、被写体反射光が通過する部分と、Ｒｅｆによって通過しない部分が存在するが、カメラレンズを画面裏側に接近させることによって、図１で説明したように被写体像への影響は小さい。

図８は、有機ＥＬ素子を用いた表示画面の裏側に近赤外有機ＥＬ素子アレイを照明装置として設けたカメラ付き表示装置である。図８（Ａ）は、装置の断面図、図８（Ｂ）は、正面図である。表示画面１０は、図４と同様な構成である。照明装置ＬｇＩｎと特徴点撮影法について詳細に説明する。

図８（Ｂ）において、ＥＬ−ＩＲは、表示画面１０の裏側に設けられたアレイ状の近赤外有機ＥＬ発光体である。ＥＬ−ＩＲの発光を制御することで、様々なパターン照明光を放出できる。ＯＮは発光状態、ＯＦＦは休止状態を示す。

ＬｇＩｎ１は、カメラレンズＣａｍ１（Ｌｅｎｓ）を同心円状に囲む照明装置である。同心円の大きさや形状は変えることができる。人物の各部位の特徴を撮影する、虹彩を瞳孔に対して明るく撮影する、幾何学的形状の角膜反射像を撮影する際に有効である。利用者の距離に応じて発光面の大きさ、例えば、円の大きさなどを制御できる。眼に負担が少なく、眼の特徴点を効率よく撮影できる照明条件を選択できる。

ＬｇＩｎ２は、カメラレンズ光軸付近から円形の光を放出する照明装置である。光線は、瞳孔から眼球に入り網膜で反射し再び瞳孔から出て光源の方向に向かう。眼球にはこのような再帰性反射の性質がある。従って、ＬｇＩｎ２を用いて眼の周りを撮影した画像では、瞳孔は輝いているように明るく撮影される。瞳孔像の抽出は容易である。ここで、当該瞳孔像の撮影では、口径の大きなレンズを用い、レンズの光軸近傍に小さな発光体を密集して設けることができる。

ＬｇＩｎ１とＬｇＩｎ２の２種類の照明装置を用い、交互に切り替えて撮影すると、瞳孔が暗い画像と明るい画像が撮影される。そこで、２枚の画像を差分処理すると、瞳孔の輝度は極めて高くなり容易に抽出できる。再帰性反射マークを人物に貼って撮影する場合も同様に当該マークを極めて効率よく抽出できる。また、差分処理は、角膜反射像の抽出にも有効である。コントラストが大きくなるため、２値化処理などで背景から簡単に分離できる。このように、前記差分処理を用いると特徴点抽出処理は容易になるため、ＬｇＩｎ１とＬｇＩｎ２の光強度は弱くでき、眼への影響は少ない。

前記ＥＬ−ＩＲは小さな面発光体であるが密集して設ける。画面は標準視距離から観察すると、個々の発光体は網膜上で分離せず、大きな面発光、又は、線発光となる。図２（Ｇ）で説明したように、網膜上の光強度は視細胞に障害を与えない程度に平坦にできるため、眼への影響は少ない。

前記再帰性反射光の撮影において、レンズ光軸付近にＬｇＩｎ２を設けると、被写体反射光は部分的にしか通過できない。１０−１は、被写体反射光通過部である。このため撮影系への影響が懸念されるが、本発明では、照明装置が極めて薄型で、発光素子間に光通過量の歪みの少ない光通過部を設けることができる、つまり、被写体反射光は画面の広い範囲を通過してカメラレンズに捉えられる、カメラを表示画面１０に近づけて設置できる、口径の大きなレンズを用いるなどにより、被写体反射光を十分に捉えることができるため、特徴点は精細に撮影できる。

図８（Ａ）のＬｇＩｎ１、ＬｇＩｎ２は、図８（Ｂ）のＬｇＩｎ１、ＬｇＩｎ２を構成する近赤外ＥＬ素子１個の構造を示している。従って、図８（Ａ）においても、実際は当該素子が列状に並んでいる。ＬｇＩｎ１において、Ａ１（ＩＴＯ）は透明な陽極、ＤＶ１はＴＦＴなどによる駆動回路、ＥＬ−ＩＲは近赤外有機ＥＬ発光体、Ｋ１（Ｍｅｔ）は金属膜による陰極、ＢＳＮは不透明な板である。電源ＰＷ１によって、Ａ１とＫ１の間に電圧を印加すると、近赤外光（非可視光）２１が前方に放出される。ＥＬ−ＩＲとしては、ポルフィリン類とフラーレン類の混合物から形成される二分子固体フィルム、又は、フタロシアニン系化合物などが利用できる。ＬｇＩｎ２も同様な構造である。

図８（Ａ）から分かるように、ＬｇＩｎ１、ＬｇＩｎ２は、映像表示部の裏側に密着して設けられるため、ＥＬ−ＩＲから出た光は、屈折率の近い透明媒体を介して表示画面の表側から放出されるためエネルギーのロスが少ない。照明装置として効率がよい。また、映像表示部と照明装置は、同じ製造プロセスが利用できる。

以上のように、瞳孔が安定に精度よく抽出できるため、当該瞳孔の空間位置をステレオ画像計測などの手法で求めれば、運動視表示などにおける視点として利用できる。

図９は、有機ＥＬ素子を用いた表示画面の内側に近赤外有機ＥＬ素子アレイを照明装置として設けたカメラ付き表示装置である。

図９（Ａ）は、近赤外照明装置ＬｇＩｎを、図８（Ａ）の場合と同様に、表示用可視ＥＬ素子列の上に重ねた構造である。画面１０の中に、可視発光部ＥＬ−Ｗと近赤外発光部ＥＬ−ＩＲが一緒に作られる。ＥＬ−ＩＲの陰極Ｋは、ＥＬ−Ｗの陰極Ｋを兼ねている。ＥＬ−ＩＲの上にＲｅｆ−ＢＧＲを設け、その上に封止用の透明板ＢＳ２を設けている。電源ＰＷ２によって、陽極Ａ−ＩＲと陰極Ｋの間に電圧を印加すると、近赤外光（非可視光）２１が前方に放出される。

図９（Ｂ）は、近赤外ＥＬ素子を、表示用可視ＥＬ素子の間に、つまり、横に並べるように設けた実施例である。同図において、ＢＳ１、ＢＳ２は透明基板、Ｂ、Ｇ、Ｒ、ＩＲは各々、青色、緑色、赤色、近赤外の有機ＥＬ発光体、Ａは陽極、Ｋは陰極、Ｒｅｆ−ＢＧＲは可視光を反射、又は、遮断し、非可視光を通過させる部材である。当該部材は単なる反射板Ｒｅｆでも良い。

ＰＸＣは、３色のサブピクセル（ＰＸ）からなるカラーピクセルである。ＰＸＣ２は、ＰＸＣと近赤外発光体ＩＲを一体にした表示兼照明素子である。複数のＩＲを集めて、近赤外照明装置ＬｇＩｎとしている。３５、３６、３７は、各々、Ｂ、Ｇ、Ｒを通過する非可視被写体反射光、３８はＰＸＣの間を通過する可視及び非可視の被写体反射光である。単色被写体画像Ｍｏｎｏ−Ｉｍｇ、又は、カラー被写体画像Ｃｏｌｏｒ−Ｉｍｇを撮影できる。

ＰＸＣ２をアレイ状に設け制御することにより、幾何学的パターンの照明光を放出できる。角膜反射像の抽出に有効である。また、表示画面１０は、表示素子と照明用素子が面方向に設けられるため、極めて薄型に製造できる。特徴点の精細な撮影に有効である。

図１０は、有機ＥＬ素子を用いた表示画面の裏側に回転可能なカメラを設けた表示装置である。表示画面１０の構成は、図４、又は、図８と同様である。図８と異なる点は、有機ＥＬ素子で構成された非可視光照明装置ＬｇＩｎ１、ＬｇＩｎ２をカメラ側に設け、カメラを回転可能にしている。

図１０（Ａ）において、ＬｇＩｎ１は、カメラレンズＣａｍ１（Ｌｅｎｓ）の回りに同心円状に設けられる。ＬｇＩｎ２は、カメラレンズ光軸付近に設けられる。Ｒｅｆは、ＬｇＩｎ２の光を前方にのみ放出するための反射板である。２１−１、２１−２は、各々、ＬｇＩｎ１とＬｇＩｎ２からの照明光を示す。５０は、照明光が透明基板ＢＳ２で反射しないように、屈折率を調整する光学連結機構である。液体、又は、ジェル状物質が適用できる。

図１０（Ｂ）は、（Ａ）において、カメラＣａｍ１が回転した様子を示す。このように、カメラは、表示画面１０の前の人物を追跡しながら撮影できる。

図１０（Ｃ）は、図１０（Ａ）のカメラ系において、照明装置ＬｇＩｎの前に指向性レンズ５９を設け、利用者が居る所定場所を効率よく照明できるようにした構成例である。

図１０（Ｄ）は、図８（Ｂ）のような小さなＥＬ−ＩＲをアレイ状に並べて照明装置とした例である。ＥＬ−ＩＲの前に小さな指向性レンズ５９をアレイ状に設けている。

図１１は、ＬＥＤを画素とする光通過型の表示画面１０の裏側に近赤外ＬＥＤを照明装置として設けたカメラ付き表示装置である。図１１（Ａ）は断面図、（Ｂ）は正面図である。

図１１（Ａ）において、ＢＳは厚さ１ｍｍ〜３ｍｍ程度の透明な薄い板で、当該板の中に３色の発光ダイオードを用いてカラーピクセルＰＸＣを構成する表示素子を並べて実装する。図１１（Ｃ）は、当該表示素子の拡大図で、ＬＥＤ−Ｂ、ＬＥＤ−Ｇ、ＬＥＤ−Ｒは、各々、青色、緑色、赤色の発光ダイオードである。Ｒｅｆは凹面鏡を成す反射板で、ＬＥＤの裏側に設けられ、ＬＥＤの光を前方に反射する。ＳＣは光散乱材で、ＰＸＣの前面全体が光るように作用する。１４の破線は光放出分布で、利用者が居る正面方向が強くなるように設計できる。ＰＸＣの大きさは、１ｍｍ〜数ｍｍで製造でき、ＢＳには１ｍｍ〜数ｍｍ間隔で実装できる。図１１（Ｂ）には、２ｍｍ径のＰＸＣを２ｍｍ〜４ｍｍ間隔で実装する場合を示している。被写体反射光２８は、ＰＸＣの間１０−１を通過する。

図１１（Ｂ）に示すように、カメラレンズＣａｍ１（Ｌｅｎｓ）は、複数の光通過部を囲むように、かつ、画面１０に接近して設ける。画面構成物であるＰＸＣはカメラの撮像素子ＣＣＤには結像しない。被写体像は特徴点抽出処理が可能な程度に明るく、かつ、精細に撮影される。

照明装置ＬｇＩｎは、画面１０の裏側にカメラレンズを同心円状に囲むように設けられる。光散乱材ＳＣを混入した同心円状の板材に近赤外発光ダイオードＬＥＤ−ＩＲを複数実装する。２１は、ＬｇＩｎから放出される近赤外照明光である。当該光は、当該同心円状の板材から光強度が平坦になるように放出する。網膜上の視細胞に局所的な強い光が照射されないようにする。ＬｇＩｎの面において、最も明るい部分と暗い部分の差が１０倍以下であることが望ましい。

図１１（Ａ）において、ＬｇＩｎの前（１０とＬｇＩｎの間）には、可視光を遮断し、非可視光のみを通過させる膜（フィルタＲｅｆ−ＢＧＲ）を設けてもよい。ＬｇＩｎの照明光は、被写体で反射し、ＰＸＣの間を通過しレンズを通過しＣＣＤに結像する。カメラレンズの前のＲｅｆ−ＢＧＲは、ＰＸＣの横から漏れた光が後ろに回り込んでノイズとならないように、可視光を遮断し、非可視光のみを通過させるためのフィルタである。なお、ＰＸＣから出る光が前方のみで、後ろに回りこまないように構成できれば、Ｒｅｆ−ＢＧＲは省略できる。

図１１（Ｄ）は、図１１（Ａ）の画面１０の外側まで示したものである。カメラＣａｍ１、及び、近赤外照明装置ＬｇＩｎを実装する部分を局所的に薄くし、その周りを厚さ１０ｍｍ程度の筐体１０Ａで覆い、当該筐体の中に駆動制御回路を実装している。この構造によって、表示装置の力学的な強度を上げ、明るく精細なカメラ画像を得ることができる。特に、大画面表示装置において有効である。

図１１（Ｅ）は、図１１（Ａ）において、ＰＸＣ代わりに、画素の表側が広く、裏側が狭い構造の発光体ＰＸＣ３を用いた実施例である。当該発光体を並べると、光通過部は、画面表側から裏側に向けて広くなるため、被写体反射光２８は、広い範囲からカメラに均一に入射する。従って、明るく精細な画像が得られる。

図１２は、可視光発光ダイオードと近赤外発光ダイオードを一体にした素子を画素に用いた表示画面１０に複数の穴を開け、当該穴を介してカメラ視野を得るカメラ付き表示装置である。図１２（Ａ）は断面図、（Ｂ）は正面図である。（Ｂ）の一点鎖線での断面部が（Ａ）に対応する。

図１２（Ａ）（Ｂ）において、ＢＳＮは、不透明な薄い板で、３色の発光ダイオード（ＬＥＤ−ＢＧＲ）を用いたカラーピクセルＰＸＣ１と、３色の発光ダイオードに近赤外発光ダイオード（ＬＥＤ−ＩＲ）を加えたＰＸＣ２が実装されている。図１２（Ｃ）は、ＰＸＣ２の拡大図である。ＬＥＤの裏側には、凹面鏡反射板Ｒｅｆが設けられている。ＳＣは光散乱材である。５９は指向性レンズで、利用者が居る前方に指向性のある光が放出されるように作用する。１４は光強度分布である。なお、図１２（Ａ）では、５９は省略している。２１は、ＬＥＤ−ＩＲから放出される近赤外照明光である。

図１２（Ｂ）において、画面１０のＰＸＣ１、又は、ＰＸＣ２の間には、複数の穴ＨＬが設けられている。当該複数の穴を囲むように、１０の裏側にカメラレンズＣａｍ１（Ｌｅｎｓ）が設けられている。当該穴を通過する被写体反射光２８をＲｅｆ−ＢＧＲを介してＣＣＤに結像させることによって被写体像が得られる。ＰＸＣ２は、１ｍｍ〜３ｍｍ程度の大きさで、カメラレンズの光軸付近とカメラレンズの周囲に各々多数設けられている。つまり、２種類の照明装置ＬｇＩｎ１、ＬｇＩｎ２が設けられている。以上のように、照明装置付き表示画面１０は薄型で、精細な幾何学的パターンの照明光を放出できる。図８と同様な方法により、角膜反射像、瞳孔像の撮影に用いることができる。

図１２（Ｄ）は、図１２（Ｂ）の二点鎖線での断面を示し、かつ、ＰＸＣ１、又は、ＰＸＣ２の代替に、画素の表側が広く、裏側が狭い構造の発光体ＰＸＣ３を用いた実施例である。当該発光体を用いると、同図のように、穴ＨＬ、つまり、光通過部は、画面表側から裏側に向けて広くなるため、被写体反射光２８は、広い範囲からカメラレンズに均一に入射する。従って、明るく精細な画像が得られる。５９は指向性レンズである。

図１３は、ＥＬ素子やＬＥＤを用いた薄型表示画面に照明装置とカメラを組み込んだ表示装置の効果を説明する図である。同図（Ａ）は装置の断面図、（Ｂ）は正面図である。

１０は、ＥＬ素子、又は、ＬＥＤを画素ＰＸとする薄型表示画面である。ＰＸＣは、カラーを構成する可視光発光素子で、透明な薄い基板ＢＳの上に設けられる。Ｒｌｅｎｓは、大きな口径のリレーレンズで、フレネルレンズなどが適用できる。当該レンズと光学的に接続するようにカメラレンズＣａｍ１（Ｌｅｎｓ）が設けられ、焦点位置に撮像素子ＣＣＤが設けられている。ＲｌｅｎｓとＬｅｎｓの間に可視光を反射、又は、遮断する部材Ｒｅｆ−ＢＧＲを設けている。なお、リレーレンズは省略してもよい。ＬｇＩｎは、画面裏側に設けた照明装置、２１は非可視照明光である。画面のカメラ設置部、又は、照明装置設置部は、１ｍｍ〜３ｍｍ程度の厚さで構成できる。２５〜２８は、非可視被写体反射光である。

本発明では、被写体反射光が通過する薄い画面を用い、当該画面をカメラのレンズの焦点距離より十分に内側に設ける。Ｆｃ−Ｌｍは、カメラレンズの最短焦点距離、当該距離の１／３以下の範囲に画面１０を設ける。このようにレンズと画面を近づけることによって、画面に構造物があっても当該構造物はＣＣＤに結像しない。従って、被写体のみを撮影できる。

ＯＰは、画面１０において被写体反射光が通過する面積割合、つまり、開口率である。ＯＰは、５％以上、７０％以下が望ましい。５％以下ではカメラ画像は暗く精細ではない、７０％以上では画素領域が少なくなるため表示映像の品質が悪くなる。映像品質が劣化しない範囲で、被写体反射光が通過する領域を増やすことが重要である。

カメラで画面前の人物（被写体）を撮影する際、カメラ視野角は広い方が望ましい。図１３（Ａ）の画面１０は、光通過部（白い領域）と画面構造物（ドッツ領域）が交互に並んだ状態を示している。ＥＬ素子、ＬＥＤなどの発光素子が透明基板ＢＳに並んだ状態をモデル化している。同図において、Ｌｍは、２５〜２８の中で、カメラレンズ光軸付近の光通過部の面積、Ｌｓはカメラレンズ周辺の光通過部の面積である。Ｌｍ、Ｌｓは、左右の実線の間を示す。図１３（Ｃ）にＬｓ部を拡大して示す。仮に、画面が薄ければ、ＬｍとＬｓは同程度であるが、画面が厚くなるとＬｓはＬｍに対して小さくなることが分かる。

つまり、必要なカメラ視野角Ｖｉｅｗと、カメラ画像の明るさを条件にすると、画面の薄さを決めることができる。そこで、本発明では、Ｒａｔｅ（Ｌｓ／Ｌｍ）を定義し、０．０５以上になるように画面の厚さを決める。Ｒａｔｅが０．０５以下では、カメラ画像の中心部と周辺部で明るさが大きく異なり、特徴点抽出処理が困難になる。当該比は、通過部の面積の比の代わりに、被写体反射光の通過光量比でもよい。このように、カメラ視野の中心部と周辺部の明るさの差は、画面を薄型にする程小さくできる。表示画面にＥＬ素子が望ましいのは、画面を薄く構成でき、被写体反射光が画面の広い範囲を通過してＣＣＤに結像するためである。精細なカメラ画像が得られる。

図１３（Ｄ）は、画面を薄くし光通過部を増やす構成例である。発光素子部（ＰＸ、ｏｒ、ＰＸＣ）の表側を大きく、裏側を小さくすることによって、又は、図１２（Ｄ）に示したような穴ＨＬを用いることによって、画面表側から裏側に向けて光通過部を広げることができる。各光通過部の被写体反射光の光量が２０倍以上の差を生じることなくカメラレンズに入射するように構成される。同図の場合、Ｌｓは光通過方向によって変化しない。つまり、Ｒａｔｅ（Ｌｓ／Ｌｍ）は理想的には１．０になる。図１３（Ｅ）は、光通過部の構造をレンズ中央部からレンズ周辺部にかけて変化させた例である。効果は図１３（Ｄ）と同様で、被写体を均一な明るさで撮影できる。

図１４は、ＬＥＤを画素とする薄型表示画面１０にカメラＣａｍ１を回転可能に設け、当該カメラの回りに多数の近赤外ＬＥＤからなるリング状照明装置を設けたカメラ付き表示装置である。図１４（Ａ）は断面図、（Ｂ）は正面図である。（Ｂ）の２箇所の二点鎖線断面が（Ａ）に対応する。

図１４（Ａ）において、不透明な薄い基板ＢＳＮに３色発光ダイオードを用いたカラーピクセルＰＸＣが並べて実装され、ＰＸＣの間に穴ＨＬが設けられ、当該穴にカメラレンズが挿入されている。５１は、画面１０の先端部に支点があるカメラレンズ回転機構である。穴は、先端部が細く、後ろになるほど大きくなっている。これにより、レンズＬｅｎｓは回転可能に実装できる。

レンズの回りの画面内には、ＰＸＣの間に近赤外発光ダイオードＬＥＤ−ＩＲが複数実装されている。図１４（Ｂ）には、８個のＬＥＤ−ＩＲが実装されているが、実際には、数１０個から数１００個実装することができる。これらは同時に駆動され、リング状の一つの近赤外照明装置ＬｇＩｎになる。なお、ＰＸＣ、ＬＥＤ−ＩＲの構造は、図１１、図１２で説明したものと同様である。

１、２、３、４は、図１で説明したものと同じである。ただし、カメラは回転可能であるため、１と３によって、人物の特徴点を検出し、その動きを追跡するようにカメラを回転制御できる。また、レンズの焦点距離を調整し、像を拡大、縮小する制御もできる。

図１４（Ｃ）は、図１１で示した同心円状の照明装置ＬｇＩｎを画面１０の裏側に設けた実施例である。２１は照明光を示す。ＢＳＫは光散乱材が混入された透明な薄板で、画面１０を構成する。照明光はＢＳＫの中でも散乱するため、より光強度は平坦化される。また、同図では、カメラＣａｍ１が５１を支点に回転した様子を示している。

このように、本実施例では、小さな穴にカメラレンズを入れて撮影するため、通常では画像が暗くなり、特徴点抽出が難しい場合があるが、カメラの回りの広い範囲に近赤外の面発光照明装置ＬｇＩｎを多く設け被写体を照明するため、被写体は明るく撮影され特徴点は容易に抽出できる。また、ＬｇＩｎの光強度分布は平坦で眼に負担を掛けない。長時間使用しても安全である。

図１５（Ａ）は、プロジェクタスクリーン４０（画面１０）を用いた本発明のカメラ付き映像表示装置である。４０の裏側にカメラＣａｍ１と近赤外照明装置ＬｇＩｎを設けている。Ｐｒｏｊは、映像プロジェクタである。Ｐｒｏｊの前に設けられているＲｅｆ−ＩＲは、可視光を通過し、近赤外光を遮断するフィルタである。Ｐは利用者、４８は、両眼立体視用の偏光眼鏡、又は、時分割眼鏡である。４９は、近赤外光を再帰的に反射する光学マークで、眼鏡フレームに設けられている。同図では、片眼に３個、両眼で６個が設けられている。

図１５（Ｂ）は、スクリーン４０の断面である。偏光眼鏡を掛けて両眼立体視を実現する場合には、シルバースクリーンなどが利用できる。スクリーンの一部に、小さな穴４６を多数設けている。当該穴は、画面表面から裏側に向けて穴の面積が広がる構造である。穴の開口率ＯＰは、５％以上、７０％以下が望ましい。スクリーンは薄く、図１３に示したＲａｔｅ（Ｌｓ／Ｌｍ）は大きくできる。従って、明るく精細な画像が撮影できる。

当該穴の裏側に可視光を反射、又は、遮断し、近赤外の非可視光を通過させる部材（フィルタ）Ｒｅｆ−ＢＧＲを設け、その裏側にリレーレンズＲＬｅｎｓ、及び、カメラＣａｍ１を設け、当該カメラレンズの周りにリング状の近赤外照明装置ＬｇＩｎを設けている。近赤外照明光は２１のように放出され、被写体反射光２９がカメラに捉えられる。照明は、小さな複数の穴から放出されるが、標準視距離において面発光となるため、網膜への影響は少ない。

Ｐｒｏｊによって４０に映像を投影すると、可視光３０は、前記小さな穴の間４５で３１に示すように散乱反射する。つまり、４５は発光部として作用する。また、穴に入った可視光は、Ｒｅｆ−ＢＧＲで反射するため、穴の中でも散乱する。この反射光の集合は利用者にとって映像として知覚される。

図１５（Ｃ）に、プロジェクタの可視光特性（青Ｂ、緑Ｇ、赤Ｒ）、照明装置ＬｇＩｎの光特性を示す。共に、横軸は波長、縦軸は光強度である。Ｒｅｆ−ＢＧＲは前記フィルタの光通過特性である。縦軸は透過率を示す。ＨＶ−Ｌｉｍは、人の可視限界波長である。映像を表示する可視光と利用者を検出する近赤外光は波長分離できる。

図１５（Ａ）において、スクリーン４０の裏側には９箇所にカメラが設けられている。これらのカメラで前記眼鏡に設けた光学マーク４９の空間位置を検出できる。少なくとも３個のマークが検出できれば、顔の向きが検出できる。また、３個のマーク間の距離を予め計測しておけば、１台のカメラで当該眼鏡の空間位置と方向を検出できる。複数のカメラを用いれば、精度が向上するのは当然である。また、利用者の正面から撮影するので、特徴点が隠れて検出できないと言ったトラブルは少ない。

このように、マークの位置が検出できれば、視点を推定し透視投影変換手法で、運動視映像を生成し表示できる。また、カメラ画像から眼球特徴点を抽出し、眼球回転角を検出し、前記眼球位置と組み合わせることにより、利用者の注視点を検出できる。

６は、香り発生装置である。本発明では、利用者Ｐの位置が分かるため、Ｐの近くの香り発生装置６−ｘ（ｘ＝１〜３）の何れかから香りを表示できる。運動視映像、及び、香り提示によって高い臨場感が得られる。

図１５（Ｄ）は、スクリーンの他の構成例である。４０−２は表示画面で、透明な薄い板ＢＳ３に光散乱部３３と非散乱部３９を設け、当該板の裏側にＲｅｆ−ＢＧＲを設けている。光散乱部３３は、プロジェクタの光を映像にして表示する作用がある。非散乱部３９は、近赤外被写体反射光２９を通過させる作用がある。光通過部は、同図から分かるように、画面表側から裏側に向けて広がるように構成できる。３９はカメラレンズの前に多く設けられる。

図１５（Ｅ）は、スクリーンの他の構成例である。４０−３は表示画面で、透明な薄い板ＢＳ３に再帰性反射材３４を設け、板の裏側にＲｅｆ−ＢＧＲを設けている。プロジェクタの光３０は、３４で反射し３１に示すようにプロジェクタの方向に向かう。従って、プロジェクタの近くで観察すると明るい映像を知覚できる。光通過部は、画面表側から裏側に向けて広がるように構成され。近赤外被写体反射光２９は、３４の間を通過し、Ｒｅｆ−ＢＧＲを通過し、カメラに捉えられる。

プロジェクタを用いた本発明は、スクリーンは特殊なものにする必要があるが、プロジェクタＰｒｏｊは既存のものが利用できるので、安価に実現できる。

図１６は、人物検出結果に基づいて表示画面を制御するカメラ付き表示装置である。図１６（Ａ）は、図１、又は、図２に示した表示装置の下部に回転機構ＭＴを設け、画面１０の裏側に設けたカメラＣａｍ１−１、Ｃａｍ１−２によって、人物Ｐの向きを検出し、当該向きと常に垂直になるように画面１０を回転制御するシステムである。同図では、Ｐの向きは破線で示す画面１０−Ｔとは角度Ｄｒずれているので、表示装置も同様な角度だけ回転させる。常に、見やすい画面方向になるため快適な表示装置になる。

図１６（Ｂ）は、モアレ画像を用いて人物の３次元形状を検出するカメラ付き表示装置である。Ｐｒｏｊは、ＥＬ素子を用いた画面１０の裏側からスリットパターン光を放出するプロジェクタ、ＳＬ１はスリット、２１はスリット光である。Ｃａｍ１はスリットＳＬ２が結像系に設けられたカメラである。５７は撮影範囲、２５〜２８は近赤外被写体反射光である。モアレ像は奥行き情報を含むため、人物の３次元位置、向きなどが検出できる。画面に映像を表示し、観察者に所定の方向を向くように指示し、又は、所定オブジェクトを注視させることによって顔の向きを制御し、その顔の３次元形状を検出すれば、認証などに利用できる。

図１６（Ｃ）は、画面前の人物の位置を検出して、常に見やすいサイズの文字情報などを表示するシステムである。１０は映像表示画面で、裏側に照明装置付きカメラＣａｍ１−ｘ（ｘ＝１、２）を設けている。電子広告などへの応用において、画面１０から遠くの人物Ｐ１には、大きな文字サイズでメッセージ（ＡＢＣ）を表示し、近くの人物Ｐ２には、文字サイズを小さくして、多くの情報を表示できる。Ｄｉｓｔ１、Ｄｉｓｔ２は、ステレオ画像計測などによって得られる人物Ｐまでの距離である。

その他の応用について述べる。本発明では、カメラ画像を処理することで、画面前の人の在、不在を検出できるため、人が居ない場合には、画面を表示しないなどの制御ができる。また、人が居る場合でも当該人物の視線を検出することによって、画面を注視していないと判定されるときは、同様に画面を節電モードに切り替えることができる。

一般に、大画面の映像表示装置ほど消費電力は大きいが、注視領域は限定的である。つまり、画面全体の中で非注視領域は増えるため、この領域の電力を抑制できる。例えば、利用者を取り囲むように大きな表示画面を複数設置する没入型ＶＲ環境では、利用者が一つの画面に集中しているとき、他の画面の輝度を低下させ、又は表示を休止させることにより、大幅な省エネが実現できる。

図１７（Ｃ）は、前記照明装置（ＬｇＩｎ）において、利用者が当該照明領域を直視した際に、網膜中心窩とその周辺を分散して照明するように構成される実施例と、図１７（Ａ）、（Ｂ）は、その作用を説明する実験例である。

図１７（Ａ）は、カメラレンズ（Ｌｅｎｓ）の光軸付近に点光源６０を設けて、当該点光源に視線Ｇａｚｅを合わせる人物の瞳孔Ｐｕを撮影する実験である。６１は６０を臨む視角で１度以下であり、網膜中心窩Ｆｖの一部に対応する。１９−１はＦｖ付近の照明強度を示す。横軸が網膜面、縦軸が照明強度であり、鋭いピークを持つ。Ｉｍｇ１は、カメラ画像である。Ｐｕは瞳孔、Ｉｒｉｓは虹彩であるが、ＰｕはＩｒｉｓよるやや明るい程度で、両者のコントラストは大きくない。これは、近赤外光がＦｖに吸収され、反射量が少ないためと考えられる。

図１７（Ｂ）は、１７（Ａ）と同様な環境で、視線Ｇａｚｅを６０から外した場合である。Ｉｍｇ２は、眼球を回転し照明光が中心窩から外れるようにたときのカメラ画像である。Ｐｕは明るく輝いて撮影され（同図で黒い部分がカメラ画像では明るい）、Ｉｒｉｓとの輝度差は大きく、瞳孔の抽出処理は容易であった。これは、網膜からの反射量が大きいためである。視線を１度以上ずらすと効果がある。

図１７（Ｃ）は、カメラＣａｍの前に点光源を集合し面状に発光するようにした照明装置ＬｇＩｎを設けた本発明の実施例である。ＣａｍとＬｇＩｎは、ＥＬ素子を用いた画面１０の裏側に設けられる。Ｃａｍは、点光源の間を通過する被写体反射光を捉える。利用者が当該照明装置の中心付近を見た場合、照明光は中心窩だけではなく周辺に広がる。１８−１は、Ｆｖ付近の照明強度分布である。図１７（Ａ）に比べて、全体の光エネルギーは同じでも網膜上に広がりを持つ。Ｉｍｇ３は、このときのカメラ画像である。ＰｕとＩｒｉｓの輝度差は大きく、瞳孔像の抽出は容易である。このように、網膜中心窩が許容できる光強度でＬｇＩｎを臨む視角（６１）が１度以上の広い範囲から照明することによって、網膜への負担を軽減し、瞳孔像を安定に抽出できる。

図１８は、管状プラズマ発光体ＰＬＭからなる表示基材７１を所定の間隔で並べて構成した画面１０を用いた本発明の実施例である。図１８（Ａ）は、カメラ付き表示装置の上面図、（Ｂ）は、正面図である。図１と比較して画面１０の構成以外は同様である。異なる点のみ説明する。５は、６の香り発生装置、又は、気流発生装置を制御する気体制御装置である。

画面１０の構成を説明する。図１８（Ａ）（Ｂ）では、ＰＬＭ１本で表示基材７１を構成している。ＰＬＭは、細い管内にプラズマ発光材を設け、管外に当該発光体に電圧を印加するための透明電極（Ａ（ＩＴＯ）、Ｋ（ＩＴＯ））を縦横に設けることで構成される。同図のＰＬＭ１本は、縦方向において電圧が印加された部分が所定の色で発光し、画素ＰＸとなる。ＰＬＭ（Ｂ）、ＰＬＭ（Ｇ）、ＰＬＭ（Ｒ）はそれぞれ青、緑、赤に発光する管状プラズマ発光体である。これら３本を組にすると、カラー画素ＰＸＣを構成できる。

ＰＬＭは、太さ１ｍｍ程度、長さ数ｍで製造できるため、これを並べることで大画面を構成できる。複数のＰＬＭは、図には示していない薄い透明板で両側から挟み接着することにより、所定間隔で保持される。ここで、当該透明板には、前記透明電極Ａ、Ｋを印刷技術で設けることができる。また画面裏側には、可視光を反射、又は、遮断し、近赤外光を通過させる部材Ｒｅｆ−ＢＧＲが設けられる。

６２は、ＰＬＭの間隔である。近赤外光照明装置ＬｇＩｎ１の光２１は、被写体Ｐに照射され、被写体反射光２８は、６２を通過してカメラＣａｍ１に捉えられる。ＬｇＩｎ１には、図１８（Ｃ）に示す形状の近赤外ＥＬ発光体ＥＬ−ＩＲを用いることができる。

カメラレンズ（Ｌｅｎｓ）を画面１０に接近して設けることで、画面構造物であるＰＬＭは、画像に写り込むことはなく、被写体を撮影できる。また、ＰＬＭを近赤外で透明に構成することも可能であり、この場合は、更に明るい被写体画像が得られる。

ＰＬＭは、断面を図１８（Ｄ）のように扁平円にすることができる。これにより、可視発光面は大きくなり明るい映像を表示できる。また、ＰＬＭの間隔６２は、画面表側から裏側に向けて中央部が狭く裏側が広くなるため、被写体反射光２８は、広い角度で６２を通過できる。従って、カメラＣａｍ１は、広範囲を明るく撮影できる。更に、近赤外で透明なＰＬＭを用いる場合、被写体反射光２５〜２７はＰＬＭの平たい面を直進しやすいため、明るいカメラ画像が得られる。

ＰＬＭを所定間隔で保持する他の方法として、当該間隔に透明樹脂を充填してもよい。また、図１８（Ｅ）に示すように、カラー画素ＰＸＣを構成する３本のＰＬＭをまとめて表示基材７２とし、７２を単位として所定の間隔で並べ、当該間隔６２を被写体反射光通過部にしてもよい。７２を並べて両側から透明板で挟む、透明樹脂を充填するなどが可能である。

また、ＰＬＭを所定間隔で保持する前記部材に穴を設け、被写体反射光や気体が通過できるようにしてもよい。図１８（Ｂ）の６８で示す領域には、気体を通過させるための小さな穴ＨＬが多数設けられている。この領域の画面裏側には、香り発生装置、又は、気流発生装置６を設けることができる。画面前の人物を検出して、当該人物に向けて香り７などを提示できる。

図１９は、ＥＬ素子列からなる帯状の表示基材７３を所定の間隔で並べて構成した画面１０を用いた本発明の実施例である。図１９（Ａ）は、カメラ付き表示装置の上面図、（Ｂ）は、正面図である。図１、図１８と比較して画面１０の構成以外は同様である。

画面１０の構成を説明する。図１９（Ｅ）は、表示基材７３の構成例である。帯状の薄い透明体６５、６６、例えばガラス板の中にカラー画素ＰＸＣを構成する３色のＥＬ発光体（ＥＬ（Ｂ）、ＥＬ（Ｇ）、ＥＬ（Ｒ））を一組にして縦方向に並べるように設け、当該各発光体に電圧を印加するための透明電極と駆動回路を設け、信号入力のためのリード線６７を外部に設けている。この構造には、図４〜図６などの技術が適用できる。７３は、幅１ｍｍ〜数ｍｍ、厚さ１ｍｍ以下、長さ数ｍで製造できるため、これを並べることで大画面を構成できる。７３一つずつの面積は小さいため、製造の歩留まりは高い。

図１９（Ａ）において、複数の７３は、薄い透明板ＢＳ１、ＢＳ２で両側から挟まれ接着され、所定間隔６２で保持される。６４は、各画素を縦横方向に駆動する回路、又は、そのための電極である。６４で各画素ＰＸＣの発光を制御することで、１０は表示画面になる。画面裏側には、可視光を反射、又は、遮断し、近赤外光を通過させる部材Ｒｅｆ−ＢＧＲが設けられる。同図では、ＢＳ２に設けている。ＬｇＩｎ１の照明光２１による被写体反射光２８は、６２を通過してカメラＣａｍ１に捉えられる。

図１９（Ｄ）に示すように、７３の断面を扁平円にすると、７３同士の間隔６２は、画面表側から裏側に向けて中央部が狭く裏側が広くなるため、被写体反射光２８は、広い角度で６２を通過できる。従って、カメラＣａｍ１は、広範囲を明るく撮影できる。更に、近赤外で透明な表示基材を用いる場合、被写体反射光２５〜２７は表示基材７３の平たい面６３を直進しやすいため、明るいカメラ画像が得られる。

図１９（Ｂ）に示すように、ＢＳ１、ＢＳ２に穴ＨＬを設け、被写体反射光や気体を通過させることもできる。

本発明は、上記各実施形態に限定されるものではなく、実施段階において、その要旨を逸脱しない範囲で種々に変更することが可能である。また、上記実施形態は、種々の段階の発明が含まれており、適宜な組み合わせにより実施してもよい。更に、上記各実施例の構成要素は、その目的を踏まえて適宜省略する、又は、周知慣用技術で補うことができる。

（１）バーチャルリアリティ、シミュレータ分野；本発明は、没入型ＶＲ表示装置に利用できる。３次元空間モデルを２次元大画面にリアルタイムで透視投影変換して運動視表示を実現する際に、当該画面内側に設けたカメラで視点位置を高精度に検出できる。非装着な手段で検出できるため、自然な運動視を実現できる（図１、図３）。光学マークを視点に代用する従来方法にも利用できる。航空管制や車の操縦シミュレータに利用すると、注視点の動きから、訓練の効果が評価できる。

（２）電子広告分野（デジタルサイネージ）；通行人に情報を表示する電子広告装置に利用できる。画面内の設けたカメラで視線を検出することにより、表示対象（コンテンツ）への関心レベルを計測できるため、当該レベルに応じてコンテンツの内容を変化させることができる。インテリジェントで便利な表示装置、利用者の注意を誘導する表示装置となる。また、広告効果を計測し、より適切な販売促進戦略に利用できる。通行人が居ない場合、表示を休止するなど省エネモードで運用できる。

（３）五感情報表示装置、五感表示メディアルームの分野；部屋の壁に本発明のカメラ付き映像表示装置を設けることができる。利用者が注視している画面の表示対象や、利用者が当該対象に近づく様子が分かる。そこで、利用者の接近を検出して注視対象の近傍から香り、又は、皮膚を触覚刺激する風などを表示できる。高臨場感表示が可能である。また、画面に冷風、温風が放出できるエアコンを内蔵し、人の検出結果を利用して当該エアコンを制御できる。五感を刺激する快適な空間が生成できる。

（４）家庭用情報通信端末分野；薄型大画面テレビが普及している。当該テレビとして本発明を適用し、表示装置の下に回転機構を設け、利用者の位置に合わせて画面を回転できる（図１６（Ａ））。迫力のある映像を常に正面から見られる。また、画面を見ていないときには、表示装置の電源を切る、節電モードにするなどの制御ができる。利用者までの位置を検出して、表示対象の大きさを見やすく調整する、音声の大きさを適切に調整できる。このように、従来リモコンで操作していた機能を自動化できる。

（５）視線入力装置分野；パソコン表示装置において、視線を検出し、注視点にカーソルを表示できる。また、視線によるメニュー選択インタフェースが実現できる。

（６）監視用映像表示システム分野；監視用表示装置、又は、計器類表示装置として利用できる。監視対象（計器類）が予定した動きと異なる場合、当該計器類を監視者に注視させる必要があるが、本発明では、監視者がどこを見ているか検出できるため、実際に計器類を注視したか否によって、表示モードを変えることができる。製造プラント、原子炉などの運行監視、航空機の管制、飛行機の操縦、医師の手術支援などに利用できる。

（７）通信を利用した協調作業分野；通信装置の表示装置に適用すると、利用者Ａの注視点検出情報を相手側Ｂに送信することによって、ＢはＡの操作意図を推定できる。そこで、当該意図に合致したメニューに切り替えるなどにより、円滑な協調作業を支援できる。

（８）ヘッドマウントディスプレイ（ＨＭＤ）分野；ＨＭＤに適用すると、画面の裏側のカメラで利用者の眼付近を撮影し、当該画像を処理して画面の注視点を検出し、表示映像を制御できる。画面の内側に注視点検出用のカメラを設けるので、検出精度が高く、また、画面の視野範囲を広くできる。ＨＭＤでは、狭いスペースに大きな表示画面を設けることが課題であるため、本発明は有効である。

（１０）携帯端末のディスプレイ分野；本発明では、カメラを画面の内側に設けるため、小さな筐体でありながら、大きな表示画面にできる。

（１１）遠隔医療分野；通信回線を利用して、医師が遠隔の患者を診察する際、患者の視線の動きを医師側でモニタすることによって、診察の手掛かりとして利用できる。特に、精神疾患では、医師が課した視覚課題に対して患者の眼球の動きに特徴が現れることがあるため、当該記録は有効である。また、医師の画像診断では、画像のどこを見て診断したのかを記録として残しておくことは、医療過誤の防止などに有効である。

本発明の実施例で、カメラ付き表示装置の構成と利用を示す。 図１において、視点、視線検出方法、及び、網膜上に照射される光強度を説明する図である。 本発明の他の実施例で、人物を囲むように表示画面を設け、画面裏側に複数のカメラを人物がいる所定観察領域に向けた構成である。 本発明の他の実施例で、ＥＬ素子を用いた表示画面の裏側に近赤外ＬＥＤを照明装置として設けたカメラ付き表示装置と部品の光学特性である。 本発明の他の実施例で、ＥＬ素子を用いた表示画面の裏側に近赤外ＥＬ素子を照明装置として設けた構成である。 本発明の他の実施例で、ＥＬ素子を用いた表示画面の裏側に近赤外ＬＥＤ、又は、ＥＬ素子を照明装置として設けた構成である。 図６の部品の光学特性である。 本発明の他の実施例で、ＥＬ素子を用いた表示画面の裏側に近赤外ＥＬ素子アレイを照明装置として設けた構成である。 本発明の他の実施例で、ＥＬ素子を用いた表示画面の裏側、又は、内部に近赤外ＥＬ素子を照明装置として設けた構成である。 本発明の他の実施例で、ＥＬ素子を用いた表示画面の裏側に近赤外ＥＬ素子を照明装置として設けた構成である。 本発明の他の実施例で、ＬＥＤを用いた表示画面の裏側に近赤外ＬＥＤを照明装置として設けた構成である。 本発明の他の実施例で、表示画面の面方向にＬＥＤを用いた表示兼照明素子ＰＸＣ２を列状に設けた構成である。 本発明の他の実施例で、薄型画面の裏側に照明装置を設けたカメラ付き表示装置と、被写体反射光通過部の構成である。 本発明の他の実施例で、ＥＬ素子を用いた表示画面の裏側に回転可能なカメラを設けた構成である。 本発明の他の実施例で、プロジェクタスクリーンの裏側にカメラと近赤外照明装置を設けた構成である。 本発明の他の実施例で、人物検出結果に基づいて表示画面を制御する構成である。 本発明の他の実施例で、網膜中心窩とその周辺に広く照明光が当たるようにする効果を説明している。 本発明の他の実施例で、管状プラズマ発光体からなる表示基材を所定間隔で並べた画面を用いる構成である。 本発明の他の実施例で、ＥＬ素子列からなる帯状の表示基材を所定間隔で並べた画面を用いる構成である。

１・・・・・・カメラ駆動制御装置
２・・・・・・照明駆動制御装置
３・・・・・・情報処理装置
４・・・・・・映像制御装置
５・・・・・・気体制御装置
６・・・・・・香り発生装置、又は、気流発生装置
７・・・・・・香り
１０・・・・・映像表示画面
１０−１・・・被写体反射光通過部
１１・・・・・青色の光
１１−１・・・Ｒｅｆで反射する青色の光
１２・・・・・緑色の光
１３・・・・・赤色の光
１３−１・・・Ｒｅｆで反射する赤色の光
１４・・・・・光放出強度分布
１５・・・・・目元
１６・・・・・目尻
１７、１８・・網膜上の照明範囲（面光源、又は、集合光源の場合）
１９・・・・・網膜上の照明範囲（点光源の場合）
２０・・・・・外部照明光（可視光、又は、非可視光）
２１・・・・・画面内部、又は、裏側からの照明光（非可視光）
２５・・・・・青色発光素子内を通過する非可視被写体反射光
２６・・・・・緑色発光素子内を通過する非可視被写体反射光
２７・・・・・赤色発光素子内を通過する非可視被写体反射光
２８・・・・・隔壁、又は、発光素子間を通過する非可視の被写体反射光
２９・・・・・被写体反射光
３０・・・・・プロジェクタから放出される可視光
３１・・・・・スクリーンで反射する可視光
３３・・・・・光散乱部
３４・・・・・再帰性反射材
３５・・・・・青色発光素子内を通過する青色以外の被写体反射光
３６・・・・・緑色発光素子内を通過する緑色以外の被写体反射光
３７・・・・・赤色発光素子内を通過する赤色以外の被写体反射光
３８・・・・・隔壁、又は、発光素子間を通過する可視、及び、非可視の被写体反射光
３９・・・・・近赤外光通過部
４０・・・・・スクリーン
４１・・・・・撮影範囲
４５・・・・・発光部
４６・・・・・スクリーンに設けた小さな穴
４８・・・・・眼鏡フレーム（両眼立体視用偏光眼鏡、又は、液晶シャッタ時分割眼鏡）
４９・・・・・光学マーク（再帰性反射マーク）
５０・・・・・光学連結機構
５１・・・・・画面先端部にカメラレンズの回転支点を設けた機構
５６・・・・・所定観察領域
５７・・・・・３次元位置検出領域
５９・・・・・レンズ
６０・・・・・点光源
６１・・・・・光源を臨む視角
６２・・・・・表示基材間の光通過部
６３・・・・・光通過部
６４・・・・・駆動電極、駆動回路
６５、６６・・帯状透明体
６７・・・・・リード線
６８・・・・・画面に小さな穴を設けた領域
７１・・・・・ＰＬＭ１本からなる表示基材
７２・・・・・ＰＬＭ複数本からなる表示基材
７３・・・・・ＥＬ素子列からなる表示基材
Ａ・・・・・・陽極
ＡＫ−Ｂ・・・Ｆｉｌ−Ｂを通過する青色の光
ＡＫ−Ｇ・・・Ｆｉｌ−Ｇを通過する緑色の光
ＡＫ−Ｒ・・・Ｆｉｌ−Ｒを通過する赤色の光
ＢＳ、ＢＳ１、ＢＳ２、ＢＳ３・・透明な板、又は、膜（ガラス、樹脂など）
ＢＳＮ・・・・不透明な板
ＢＳＫ・・・・光散乱材入りの板
Ｃａｍ１・・・カメラ（単色撮影）
Ｃａｍ２・・・カメラ（カラー撮像）
ＣＣＤ・・・・撮像素子
Ｃｅｎ・・・・眼球中心
Ｃｏｌｏｒ−Ｉｍｇ・・カラー画像
Ｄｅｌ・・・・瞳孔中心と角膜反射像の中心の距離
Ｄｉｓｔ・・・画面と人物の距離
Ｄｒ・・・・・人物の向き
ＤＶ・・・・・駆動回路（ＴＦＴ）
ＥＬ・・・・・エレクトロリミネッセンス、又は、ＥＬ発光体
ＥＬ−ＩＲ・・近赤外ＥＬ発光体、又は、当該光学特性
ＥＬ−Ｂ・・・青色ＥＬ発光体、又は、当該光学特性
ＥＬ−Ｇ・・・緑色ＥＬ発光体、又は、当該光学特性
ＥＬ−Ｒ・・・赤色ＥＬ発光体、又は、当該光学特性
ＥＬ−Ｗ・・・白色ＥＬ発光体、又は、当該光学特性
Ｅｙｅ・・・・眼球
Ｆｉｌ−Ｂ・・青色光、及び、近赤外光を通過させるフィルタ
Ｆｉｌ−Ｇ・・緑色光、及び、近赤外光を通過させるフィルタ
Ｆｉｌ−Ｒ・・赤色光、及び、近赤外光を通過させるフィルタ
Ｆｃ・・・・・被写体撮影距離範囲
Ｆｃ−Ｌｉｍ・カメラレンズの最短焦点距離
Ｆｖ・・・・・網膜中心窩
Ｇａｚｅ・・・視線
ＨＬ・・・・・画面に設けた穴
ＨＶ−Ｌｉｍ・可視限界波長
Ｉｍｇ・・・・カメラ画像
Ｉｒｉｓ・・・虹彩
ＩＳ・・・・・絶縁体
ｋｔ・・・・・瞳孔中心と角膜反射像中心の距離
Ｋ・・・・・・陰極
Ｌｅａｋ・・・光の漏れ
ＬＥＤ−Ｂ・・青色発光ダイオード
ＬＥＤ−Ｇ・・緑色発光ダイオード
ＬＥＤ−Ｒ・・赤色発光ダイオード
ＬＥＤ−ＢＧＲ・・青、緑、赤色の複合発光ダイオード
ＬＥＤ−ＢＧＲ、ＩＲ・・青、緑、赤色、近赤外の複合発光ダイオード
ＬＥＤ−ＩＲ・近赤外発光ダイオード
Ｌｅｎｓ・・・カメラレンズ
Ｌｍ・・・・・カメラレンズ光軸付近の光通過部
Ｌｓ・・・・・カメラレンズ周辺の光通過部
ＬｇＩｎ・・・表示画面の内側（裏側）に設けられた照明装置、又は、その光学特性
ＬｇＯｕｔ・・表示画面の外側に設けられた照明装置、又は、その光学特性
Ｍｏｎｏ−Ｉｍｇ・・単色画像
ＭＴ・・・・・回転機構
ＯＰ・・・・・画面の開口率（光通過率）
Ｐ・・・・・・人物
ＰＡ・・・・・隔壁
ＰＬＭ・・・・プラズマ発光体
Ｐｒｏｊ・・・プロジェクタ
Ｐｒ・・・・・角膜反射像
ＰｒＣ・・・・角膜反射像の中心
Ｐｕ・・・・・瞳孔
ＰｕＣ・・・・瞳孔の中心
ＰＷ・・・・・電源
ＰＸ・・・・・可視光発光素子、又は、Ｂ、Ｇ、Ｒの各画素（サブピクセル）
ＰＸＣ、ＰＸＣ１・・カラーを構成する可視光発光素子（カラーピクセル）
ＰＸＣ２・・・可視光及び近赤外光を発光する表示兼照明素子
ＰＸＣ３・・・カメラの広視野を実現するためのカラーピクセル構造
ｒ・・・・・・眼球半径
Ｒｅｆ・・・・光反射部材（膜）
Ｒｅｆ−Ｂ・・青色光を選択的に反射、又は、遮断する部材（膜）
Ｒｅｆ−Ｇ・・緑色光を選択的に反射、又は、遮断する部材（膜）
Ｒｅｆ−Ｒ・・赤色光を選択的に反射、又は、遮断する部材（膜）
Ｒｅｆ−ＢＧＲ・・可視光を反射、又は、遮断する部材（膜）
Ｒｅｆ−ＩＲ・・・近赤外光を遮断する部材（膜）
ＲＬｅｎｓ・・リレーレンズ
ＳＣ・・・・・光散乱材
ＳＬ１、ＳＬ２・・スリット
ｔｒｅｅ・・・木のオブジェクト
Ｖｉｅｗ・・・カメラの視野範囲

Claims (8)

1. 可視光自発光体を画素に用いた薄型画面（１０）、又は、反射型プロジェクタスクリーンを用いた薄型画面（１０）と、当該画面の内側、又は、裏側、又は、画面淵から被写体に向け非可視光を放出する照明装置（ＬｇＩｎ）と、当該照明による被写体反射光を前記画面を介して捉えるためのカメラ（Ｃａｍ）と、当該カメラ画像を処理することで被写体（人物）を検出する手段（３）を備え、カメラレンズ（Ｌｅｎｓ）は、当該画面構造物が撮像素子に結像しないように前記画面に接近して設けられるカメラ付き表示装置において、
   、前記照明装置（ＬｇＩｎ）は、当該照明領域を直視した際に、網膜上において中心窩とその周辺を分散して照明するように構成されることを特徴とするカメラ付き表示装置。
2. 可視光自発光体を画素に用いた薄型画面（１０）と、当該画面の内側、又は、裏側、又は、画面淵から被写体に向け非可視光を放出する照明装置（ＬｇＩｎ）と、当該照明による被写体反射光を前記画面を介して捉えるためのカメラ（Ｃａｍ）と、当該カメラ画像を処理することで被写体（人物）を検出する手段（３）を備え、カメラレンズ（Ｌｅｎｓ）は、当該画面構造物が撮像素子に結像しないように前記画面に接近して設けられるカメラ付き表示装置において、
   前記可視光自発光体にはエレクトロルミネッセンス発光体（ＥＬ）が用いられ、当該発光体と駆動電極には前記被写体反射光を通過せしめる材料が用いられ、前記画素、又は、画素間の裏側又は後方には、可視光を反射又は遮断し前記被写体反射光を通過せしめる部材が設けられることを特徴とするカメラ付き表示装置。
3. 可視光自発光体を画素に用いた薄型画面（１０）と、当該画面の内側、又は、裏側、又は、画面淵から被写体に向け非可視光を放出する照明装置（ＬｇＩｎ）と、当該照明による被写体反射光を前記画面を介して捉えるためのカメラ（Ｃａｍ）と、当該カメラ画像を処理することで被写体（人物）を検出する手段（３）を備え、カメラレンズ（Ｌｅｎｓ）は、当該画面構造物が撮像素子に結像しないように前記画面に接近して設けられるカメラ付き表示装置において、
   前記薄型画面（１０）は、管状又は帯状の可視光自発光体を用いた表示基材（７１〜７３）を所定の間隔で並べて構成され、被写体反射光は少なくても当該表示基材間を通過することを特徴とするカメラ付き表示装置。
4. 可視光自発光体を画素に用いた薄型画面（１０）、又は、反射型プロジェクタスクリーンを用いた薄型画面（１０）と、当該画面の内側、又は、裏側、又は、画面淵から被写体に向け非可視光を放出する照明装置（ＬｇＩｎ）と、当該照明による被写体反射光を前記画面を介して捉えるためのカメラ（Ｃａｍ）と、当該カメラ画像を処理することで被写体（人物）を検出する手段（３）を備え、カメラレンズ（Ｌｅｎｓ）は、当該画面構造物が撮像素子に結像しないように前記画面に接近して設けられるカメラ付き表示装置において、
   前記画素間、又は、可視光発光部間には非可視光の被写体反射光が通過する部分が複数設けられ、当該光通過部は、画面表側から裏側に向けて一部が狭く裏側が広くなるように構成され、画面裏側に設けられたカメラは、当該複数の光通過部を通過する被写体反射光を捉えることを特徴とするカメラ付き表示装置。
5. 請求項１から請求項４の何れかにおいて、
   前記照明装置（ＬｇＩｎ）は、幾何学パターンを放出することを特徴とするカメラ付き表示装置。
6. 請求項１から請求項４の何れかにおいて、
   前記画面（１０）の内部、又は、裏側には、近赤外ＥＬ発光体を用いた照明装置（ＬｇＩｎ（ＥＬ−ＩＲ））が設けられることを特徴とするカメラ付き表示装置。
7. 請求項１から請求項６の何れかにおいて、
   前記照明装置（ＬｇＩｎ）の光は、前記画面（１０）を介して視角にして１度以上の網膜範囲を照明し、前記カメラは画面を介して角膜反射像（Ｐｒ）、又は、虹彩（Ｉｒｉｓ）、又は、瞳孔（Ｐｕ）を撮影し、当該カメラ画像の処理によって視点、又は、視線（Ｇａｚｅ）が検出されることを特徴とするカメラ付き表示装置。
8. 請求項１から請求項７の何れかにおいて、
   画面の裏側に設けられた複数の前記カメラは、各々の視野方向が所定観察領域に向けられ（各々のカメラが輻輳して設けられ）、当該カメラ画像の処理によって視点、又は、視線（Ｇａｚｅ）が検出されることを特徴とするカメラ付き表示装置。
   
   

Images