JP2011038916A - 検出装置、表示装置、および物体の近接距離測定方法 - Google Patents

Abstract

【課題】被検出物との距離を、コスト増を抑制しつつ精度よく光学的に検出する。
【解決手段】光学異方性を有する光センサアレイ３と、光センサアレイの検出駆動部６と、高さ検出部７とを有する。検出駆動部６は、光センサアレイ３を駆動して被検出物を撮像し受光異方性に基づいて異なる複数の検出画像Ｐ１,Ｐ２を発生する。高さ検出部７は、複数の検出画像を用いて光センサアレイ３のセンサ受光面から被検出物までの距離（高さ）を検出する。このとき高さ検出部７は、複数の検出画像に含まれる被検出物の影または反射に対応した画像部分に受光異方性の違いにより生じた位置ずれの大きさに基づいて高さを検出する。
【選択図】図１

Description

本発明は、手やスタイラスペン等の被検出物が近接したときに、被検出物を撮像する光センサの受光面から当該被検出物までの距離（高さ）を検出する検出装置と、当該高さ検出の機能をもつ表示装置とに関する。また、本発明は光センサアレイの受光異方性を利用した物体の近接距離測定方法に関する。

人やスタイラスペン等の被検出物の接触または近接を検出する検出装置が知られている。また、表示装置に光センサを配置して、表示面に被検出物が接触または近接したことを検出する接触センサ機能を有する表示装置が知られている。
接触検出の方式としては、光学式、静電容量式、抵抗膜式などがある。このうち光学式と静電容量式は、接触のみならず近接も検出できる。

ところで、表示装置の表示画面を直接触ることにより、機器を操作するボタン等の代わりとする新しいユーザインターフェイス（ＵＩ）が開発されている。特に、携帯電話のようなモバイル機器において、表示画面を利用したＵＩの開発が活発化している。
モバイル機器のように比較的小さな表示画面では、指で操作する際、操作性の観点からある程度の大きさのアイコンが必要となる。ただし、操作性を重視しアイコンを大きくすると、一覧できる情報量が少なくなってしまう。

このような不都合に対処するために、非接触段階（近接段階）で指等を検出し、指等の動きに応じて表示パネルに表示された映像などの表示状態に変化を持たせるという、今までにない情報表示手法も提案されている（特許文献１参照）。
特許文献１に記載の表示装置の接触および近接検出の方式は静電容量式であり、指などの近接距離に応じて表示状態に変化を持たせることができるように構成されている。この目的から大まかな近接距離しか検出できない。つまり、この表示装置の近接検出では、静電容量の変化を周波数の変化に変換し、この周波数の変化を電圧に変換する。電圧が大きいときは静電容量の変化をもたらす指が近く、電圧が小さいと指が遠くにあると判定する。

特開２００８−１１７３７１号公報

静電容量式の容量変化が小さいとノイズレベルに埋もれてしまう。特に表示装置に接触または近接の検出機能を内蔵した場合、表示のために電位変化する配線が検出電極の近くに配置され、その配線の電位変化が誘導ノイズとなって検出電極に重畳しやすい。また、表示装置内蔵タイプでなくとも、静電容量式による被検出物との距離検出は、検出信号が静電容量変化に基づくものであるため、一般に精度よい検出ができない。
小さい静電容量変化でも検出可能とするため、上記特許文献１では発振器を利用した静電容量型検出器を準備する必要がある。このため、上記特許文献１に記載の表示装置（あるいは検出装置）はコストが高くなるという不利益をともなう。

本発明は、被検出物との距離を、コスト増を抑制しつつ精度よく光学的に検出（あるいは測定）できる検出装置および表示装置を提供するものである。また、本発明は、低コストで高精度な検出を可能とする物体の近接距離測定方法を提供するものである。

本発明に関わる検出装置は、光学異方性を有する光センサアレイと、光センサアレイの検出駆動部と、高さ検出部とを有する。
前記検出駆動部は、前記光センサアレイを駆動して被検出物を撮像し、前記受光異方性に基づいて異なる複数の検出画像を発生する。
前記高さ検出部は、前記複数の検出画像を入力し、入力した複数の検出画像を用いて、前記光センサアレイのセンサ受光面から前記被検出物までの距離（高さ）を検出する。より詳細に、前記高さ検出部は、前記複数の検出画像に含まれる前記被検出物の影または反射に対応した画像部分に前記受光異方性の違いにより生じた位置ずれの大きさに基づいて前記高さを検出する。

光センサアレイ自身が受光異方性を有してもよいし、たとえば、受光異方性付与部により光センサアレイに受光異方性を付与してもよい。前者の場合、例えば、光センサアレイの受光面に対し片側からの光を一部遮り、他方側からの光を余り遮らない庇のようなものを半導体プロセスで一体形成してもよい。
一方、後者の場合の検出装置は、カラーフィルタなどの波長選択のための波長選択フィルタ部、遮光フィルタ、あるいは、レンズアレイなどを受光異方性付与部として有するとよい。

特に波長選択フィルタなどを受光異方性付与部として有する場合、前記検出駆動部が、異なる波長範囲の光による複数回の撮像によって前記複数の検出画像を発生させるようにするとよい。
この場合の前記光センサアレイは、前記受光異方性付与部の透過光を受光する際に異なる向きから入射される光の受光量に波長依存性が生じることで前記受光異方性が付与される複数の光センサを２次元配置したものである。前記検出駆動部は、互いに異なる波長範囲をそれぞれが有する複数の光を時分割で前記被検出物に照射する。また、前記検出駆動部は、被検出物で反射して戻される反射光が前記受光異方性付与部を透過した後に前記複数の光センサで受光するときの各受光時間を前記複数の光の照射に同期して時分割で制御する。この時分割制御によって複数回の撮像が行われ、これにより複数の検出画像が発生され、その画像のずれに基づいて高さが検出される。

本発明に関わる表示装置は、上記した検出装置と同様に、光センサアレイ、検出駆動部および高さ検出部を有する。このほかに表示装置は、光変調部および表示面を有する。光変調部は、入力する映像信号に応じて入射光を変調し、発生した表示画像を前記表示面から表示させる。

本発明に関わる物体の近接距離測定方法は、以下のステップを含む。
（１）受光異方性を有する光センサアレイを駆動して被検出物を撮像し、前記受光異方性に基づいて異なる複数の検出画像を発生するステップ。
（２）前記複数の検出画像に含まれる前記被検出物の影または反射に対応した画像部分に前記受光異方性の違いにより生じた位置ずれの大きさに基づいて、前記光センサアレイのセンサ受光面から前記被検出物までの距離（高さ）を測定するステップ。

本発明に関わる他の、物体の近接距離測定方法は、以下のステップを含む。
（１）受光異方性を有する光センサアレイ内の複数の光センサから、異なる受光異方性に対応する光センサの組み合わせで複数回、被検出物を撮像するステップ。
（２）前記複数回の撮像によって得られる複数の検出画像に含まれる前記被検出物の影または反射に対応した画像部分に前記受光異方性の違いにより生じた位置ずれの大きさに基づいて、光センサアレイのセンサ受光面から前記被検出物までの距離（高さ）を測定するステップ。

本発明では、通常の光学式接触センサと同様に光センサアレイを有するが、これが受光異方性を有するため高さ検出が可能である。よって低コストであり、また、画像間のずれを用いるため静電容量式に比べ高精度である。
以上より、本発明によれば、光学的に被検出物との距離を、コスト増を抑制しつつ精度よく検出（あるいは測定）できる検出装置および表示装置を提供することができる。また、本発明によれば、低コストで高精度な検出を可能とする物体の近接距離測定方法を提供することができる。

第１の実施の形態に関わる検出装置の要部を示す図である。 検出装置の受光面内における領域区分の説明図である。 図２の各領域で異方性付与の方位が異なる光センサの組み合わせ例を示す説明図である。 高さ検出の第１の手法を示す図である。 高さ検出の第１の手法の改善点を説明するための図である。 高さ検出の第２の手法を示す図である。 第２〜第５の実施の形態に関わる表示装置の全体構成を表すブロック図である。 Ｉ／Ｏディスプレイパネルの構成例を示す図である。 画素ユニットに含まれる表示画素部とセンサ部との等価回路図である。 ３原色表示のための３つの画素とセンサ読み出しＨドライバとの接続関係を示す図である。 第２の実施の形態に関わる表示装置の画素ユニットの平面図と断面図である。 第２の実施の形態に関わる表示装置の表示領域とセンサ領域の配置平面図である。 図１１に示す構成の表示面に指先を近接させた場合の光の経路を示す斜視図である。 バックライトの点滅周期を示すタイミングチャートである。 第２の実施の形態において、発光と、撮像およびデータ書き込みの各スキャンを示すタイミングチャートである。 第２の実施の形態において撮像データの解析結果を示す図である。 指高さと検出画像のピーク間距離との関係を示すグラフである。 第２の実施の形態の変形例に関わる図である。 第３の実施の形態に関わる表示装置の画素ユニットの平面図と断面図である。 第３の実施の形態に関わる表示装置の表示領域とセンサ領域の配置平面図である。 図１９に示す構成の表示面に指先を近接させた場合の光の経路を示す斜視図である。 ＲＢフィルタとＲＧＢフィルタの透過スペクトルを示すグラフである。 ＲＧＢ光の波長範囲を示すグラフである。 第３の実施の形態において撮像データの解析結果を示す図である。 第３の実施の形態の変形例に関わる図である。 第４の実施の形態に関わる表示装置のレンズとセンサ配置の関係を示す図である。 第５の実施の形態に関わる表示装置の断面図と平面図である。 第６の実施の形態に関わるテレビの斜視図である。 第６の実施の形態に関わるデジタルカメラの斜視図である。 第６の実施の形態に関わるノート型パーソナルコンピュータの斜視図である。 第６の実施の形態に関わるビデオカメラの斜視図である。 第６の実施の形態に関わる携帯電話機の開閉図、平面図、側面図、上面図および下面図である。

本発明の実施形態を、表示装置としては主に液晶表示装置を例として図面を参照して説明する。
以下、次の順で説明を行う。
１．第１の実施の形態：発明を実施する形態の概要（検出装置の例）。
２．第２の実施の形態：色ごとの光を時分割で照射して撮像を時分割で行うフィールドシーケンシャル方式の液晶表示装置への本発明の適用。
３．第３の実施の形態：本発明が適用された、遮光フィルタを用いた空間分割方式の液晶表示装置。
４．第４の実施の形態：有機ＥＬ表示装置への本発明の適用。
５．第５の実施の形態：レンズアレイを用いて受光異方性を持たせる表示装置例。
６．第５の実施の形態：電子機器への本発明の適用例。

＜１．第１の実施の形態＞
［検出装置の構成］
図１（Ａ）および図１（Ｂ）に、本発明の実施の形態に関わる検出装置の要部を示す。
図１（Ａ）に図解される検出装置１は、基板２、光センサアレイ３、受光異方性付与部４、保護層５を少なくとも有する。保護層５の最表面が、被検出物（指やスタイラスペン等）が接近する検出面５Ａである。

ここで光センサアレイ３は、図１（Ｂ）に示すように、光センサＰＳをマトリクス状に配置したものである。光センサＰＳは半導体プロセスを用いて基板に形成されるフォトディテクタとその制御のためのセンサ回路を含む。光センサＰＳの等価回路の詳細は後述の実施の形態で述べる。

基板２は半導体基板でもよく、その場合は、基板２に直接、光センサＰＳを構成するフォトディテクタやセンサ回路が半導体プロセスを用いて形成される。また、基板２は絶縁物からなる基板でもよい。その場合にＴＦＴ（薄膜トランジスタ）の形成プロセスを用いて絶縁基板上に薄膜半導体層が形成され、フォトディテクタやセンサ回路が薄膜半導体層に形成される。さらに半導体基板に絶縁層を形成し、その上に薄膜半導体層を形成する形態も採用できる。

いずれの場合でも光センサのアレイに対して、多層配線構造によって行（水平）方向や列（垂直）方向に光センサの相互接続配線が形成される。
図示例の検出装置は、相互接続配線として、水平方向に光センサＰＳを接続し垂直方向に分離するＮ本の走査線ＳＣＮと、垂直方向に光センサＰＳを相互接続し水平方向に分離するＭ本のセンサ線ＳＬを有する。

このように形成された光センサアレイ３は、それ自体に受光異方性を有する場合と、図示例のように受光異方性付与部４を光センサアレイ３の受光面側に配置することで光センサアレイ３に受光異方性を付与する場合がある。
ここで“受光異方性”とは、異なる向きで光センサＰＳに入る光（被検出物側からの光）に対して受光感度があたかも違うようにした受光時の性質をいう。つまり、ある角度で入射した光についてはセンサ出力が高く、他の角度で入射した光についてはセンサ出力が低くなる性質を受光異方性と呼ぶ。

光センサアレイ３自身が受光異方性をもつ場合として、受光異方性を光センサＰＳのフォトディテクタの半導体物性で持たせてもよい。また、これができない場合は、光センサＰＳの受光面側に半導体プロセス等で片側遮光のための庇状の部位を形成し、ある角度の光に対しては遮光性が強く、他の角度の光については遮光性を弱めることで光センサアレイ３自身に受光異方性をもたせてもよい。その場合、図１（Ａ）の受光異方性付与部４は不要となる。

受光異方性付与部４としては、上記庇状の部位と同様な作用を光センサアレイ３に与える遮光フィルタ、あるいは、異なる角度の光に対して波長選択性を持たせるカラーフィルタを用いるとよい。遮光フィルタやカラーフィルタの詳細な形態や作用は後述する表示装置の実施の形態で述べる。
また、本実施の形態で後述するように、被検出物からの光の向きを主に２方向に分けるレンズをアレイ状に配置したレンズアレイを、受光異方性付与部４として用いることができる。このようなレンズとしては、半円筒状のシリンドリカルレンズがある。

図１（Ｂ）に示すように、Ｎ本の走査線ＳＣＮに垂直駆動回路（Ｖ.ＤＲＶ）６Ｖが接続され、Ｍ本のセンサ線ＳＬに水平駆動回路（Ｈ.ＤＲＶ）６Ｈが接続されている。また、センサ読み出しＨドライバ６ＳＲＨに高さ検出部（Ｈ.ＤＥＴ）７が接続されている。

センサ読み出しＶドライバ６ＳＲＶとセンサ読み出しＨドライバ６ＳＲＨで検出駆動部６を構成する。検出駆動部６は、光センサアレイ３を駆動して被検出物を撮像し、受光異方性に基づいて異なる複数の検出画像を発生する回路である。検出駆動部６にＣＰＵなどの制御回路を概念的に含んでもよい。
複数の検出画像は、それぞれ光センサＰＳからのセンサ出力の集合であり、アナログ画像でもデジタル画像でもよい。複数の検出画像の各々は、Ｍ本のセンサ線ＳＬからパラレルに排出されるセンサ出力をセンサ読み出しＨドライバ６ＳＲＨ内で必要に応じてデジタル信号に変換して蓄積することで発生した、高さ検出部７に与えられる画像データである。

高さ検出部７は、不図示のＣＰＵ等の制御回路を概念的に含んでもよい。高さ検出部７は、内蔵の、または、外部の制御回路の制御を受けて、複数の検出画像から、光センサアレイ３のセンサ受光面から被検出物までの距離（高さ）を検出する回路である。
高さ検出部７自身がＣＰＵの場合もあり、その場合、高さ検出部７の上記機能はＣＰＵが実行するプログラムの手順として実現される。また、高さ検出部７は必要に応じて処理のための画像メモリを含むように構成してもよい。

検出装置１は、検出のための光を外光とする影検出型の検出装置でもよいし、検出装置１で自発光する光を被検出物で反射させる反射検出型の検出装置でもよい。

影検出型の場合、検出面５Ａから外光を取り込み、その外光の強度分布を光センサアレイ３でセンシングする。検出面５Ａに接触または近接する被検出物がある場合、光センサアレイ３に入射される外光の強度分布に被検出物に対応した暗い画像部分が含まれる。高さ検出部７は、異なる受光異方性で取り込んだ複数の検出画像から、この物体の影に相当する暗い画像部分の位置ずれの大きさを求め、その位置ずれの大きさから高さを検出する。

反射検出型の場合、図１（Ａ）の構成にさらに、光照射部を追加する必要がある。
光照射部は、例えば基板２の光センサアレイ３と反対側の裏面側に配置される。光照射部の光源は任意であるが、低消費電力化や小型化のためには、例えば、少なくとも１つのＬＥＤ光源とＬＥＤ光を面状光に変換する導光板とを含んで構成される。導光板の裏面には光センサアレイ３への照度を上げるために反射シートが設けられる。

反射検出では、このようにして発生した光照射部からの面状光が、ガラス等の透明材料からなる基板２を透過して、さらに光センサアレイ３、受光異方性付与部４および保護層５を透過して検出面５Ａから外部に出射される。出射した光（検出光）は被検出物で反射され、その反射光が検出面５Ａから検出装置１の内部に戻される。
反射光は受光異方性付与部４を通るときに受光異方性付与のための受光角度依存性を持ち光センサアレイ３に入射される。

光センサアレイ３内の各光センサＰＳは、受光異方性に基づく複数、最低でも２つの異なる検出画像を発生する。光センサアレイ３が複数の異なる検出画像を発生する原理は、受光異方性付与部４の構成に依存する。

詳細は後述するが、受光異方性付与部４が一方向の一方側から斜めに入射される光と他方側から斜めに入射される光に異方性を持たせる遮光フィルタの場合がある。この場合、この異なる２つの光を選択的に光センサアレイ３に導くように、光センサＰＳごとに対応する遮光フィルタのパターンが決められている。
一例を挙げると、水平、垂直方向で１つ置きの第１光センサに対しては、例えば水平方向で右からの光が透過され、左からの光がほぼ遮光される。反対に、水平、垂直方向で残る１つ置きの第２光センサに対しては水平方向で左からの光が透過され、右からの光がほぼ遮光される。
この例では光センサアレイ３で離散的な第１光センサ群から第１の検出画像が得られ、他の離散的な第２光センサ群から第２の検出画像が得られる。

反射光の斜めの光成分は被検出物が近いと、その入射角度が小さい（垂直に近い）。一方、この斜めの光成分は被検出物が検出面５Ａから遠ざかるにしたがって入射角度が大きくなる。このため、同じ被写体である被検出物を撮像することにより得られた上記第１および第２の検出画像は、その被写体（被検出物）に対応する画像部分のずれが、被写体が遠いほど大きくずれる性質がある。
このことを利用して高さ検出部７は、被検出物の画像部分のずれの大きさから高さ（センサ受光面から被検出物までの距離）を正確に検出することができる。

遮光フィルタに代表されるように、異方性を空間的にもたせる方式を、以下、空間分割方式と呼ぶ。

受光異方性付与部４がカラーフィルタの場合も、高さ検出原理自体は、上記の場合と同様である。ただし、カラーフィルタの場合、異方性の与え方が上記遮光フィルタの場合と異なる。
受光異方性付与部４としてのカラーフィルタは、詳細は後述するが、その光センサＰＳに対応する部分に、遮光部と、異方性を与えたい方向の両側に異なる光透過特性のカラーフィルタ部とを有する。
この場合、検出装置１は反射検出型に限られ、しかも、その光出射部が異なる色の少なくとも２色の光を独立に発光する構成が必要である。この複数（例えば２つ）の光を１つの光センサＰＳで受光する場合は、光の発光を時分割で行い、さらに光センサＰＳの受光時間の制御も、光の発光に同期した時分割で行う。これにより異なる色の光による撮像が複数回（例えば２回）実行されることになり、各撮像から異なる検出画像が得られる。

この場合のカラーフィルタに代表されるように、異方性を時間的に制御してもたせる方式を、以下、時分割方式と呼ぶ。

一方、複数の色に対応して受光感度の中心波長が異なる複数種類の光センサＰＳを近接配置し、その複数種類の光センサＰＳを１組として、この組をマトリクス状に配置して光センサアレイ３を形成することもできる。この場合、１回の撮像でも、光センサＰＳの種類（受光感度特性の違い）ごとに検出画像を出力させることで、被検出物に対応する画像部分の位置が高さに応じてずれる複数の画像を得ることができる。
ただし、カラーフィルタのフィルタ部分との対応関係で、ある色の光成分に対しては被検出物が近いほど、その色を受光する光センサの受光量が多くなる。そのため、他の色の光成分に対しては被検出物が遠いほど、その色を受光する光センサの受光量が多くなるように、複数の種類の光センサ配置を決める必要がある。

この場合は、複数種類の光センサＰＳで異方性を持たせる意味では空間分割方式の一つである。つまり、カラーフィルタを受光異方性付与部４として用いる場合は、時分割方式のほかに空間分割方式の採用も可能である。
以下、この方式を、遮光フィルタによる空間分割方式と区別する意味で、カラーフィルタと光センサ特性との組み合わせによる空間分割方式と呼ぶ。

図２に、受光異方性付与部４（遮光フィルタまたはカラーフィルタ）における異方性方位の観点から分けた、検出装置１（検出パネル）の検出面５Ａの領域区分を示す。図２は、検出パネルの検出面内全体を９つの面内領域に分けて示すものである。また、図２では、３×３の矩形領域上側と左側に、検出面５Ａから離れる向きをｚ方向としたときに、被検出物のｚ方向の検出可能領域を示している（三角形の中は検出可能領域）。

図３は、上記３×３の各矩形領域での高さ検出に用いる具体的なセンサの組み合わせ例を示すものである。この例では、例えば図３（Ｂ）に示すように、遮光フィルタ（遮光部）と光センサＰＳとの相対的な位置関係から異方性付与方向を４方に持つもの４つを１ユニットとする。そして、このユニットが検出装置（検出パネル）の面内の行方向および列方向に繰り返し配置されているとする。この遮光部と光センサＰＳとの相対的な位置関係が異なるものを符号“４Ｄ，４Ｌ，４Ｒ，４Ｕ”で示す。それぞれは光センサＰＳの遮光部で３方が囲まれているが、その遮光部で囲まれていない残りの１方の向きに受光異方性が付与されている。以下、異方性の付与方位を表す名称として、下異方性付与部４Ｄ、左異方性付与部４Ｌ、右異方性付与部４Ｒ、上異方性付与部４Ｕを用いる。
なお、ここでは遮光部と光センサＰＳの関係で受光異方性が付与されている例を示すが、カラーフィルタの場合、遮光部と同様に３方で特定の色成分が遮断または減衰されることで残りの１方に受光異方性を付与することができる。

図３で符号“１Ｃ”により示す中央の四角領域は、どの方向からの光でも十分な光量が得られるため、４つの遮光部と光センサＰＳの組み合わせのうち任意の２つ以上を、どのように組み合わせてもよい。

これに対し、図３で符号“１Ｒ”と“１Ｌ”で示す右側と左側の領域は、例えば丸印で囲む下方と上方に異方性が付与された、下異方性付与部４Ｄと上異方性付与部４Ｕを用いて、それぞれ得られる２つの画像から高さｘ方向の位置検出を行うとよい。これらの左右の領域は、左右からの入射光量は均等でないが、上下からの入射光量はほぼ均等なため、上下の異方性を利用することが望ましいからである。

また、図３で符号“１Ｕ”と“１Ｄ”で示す上側と下側の領域は、例えば丸印で囲む右方と左方に異方性が付与された、左異方性付与部４Ｌと右異方性付与部４Ｒを用いて、それぞれ得られる２つの画像から高さｚ方向の位置検出を行うとよい。これらの上下の領域は、上下からの入射光量は均等でないが、左右からの入射光量はほぼ均等なため、左右の異方性を利用することが望ましいからである。

これに対し、図３に示す４つのコーナー部分の領域は、それぞれの位置によって用いるとよい異方性付与部の組み合わせが異なる。
符号“１ＣＮ＿１”により示す左上のコーナー部分の領域では、上方と左方からの入射光量が限定的になるため、下異方性付与部４Ｄと右異方性付与部４Ｒを用いるとよい。同様な理由から、符号“１ＣＮ＿２”により示す右上のコーナー部分の領域では下異方性付与部４Ｄと右異方性付与部４Ｒを用いる。また、符号“１ＣＮ＿３”により示す左下のコーナー部分の領域では右異方性付与部４Ｒと上異方性付与部４Ｕを用いる。さらに、符号“１ＣＮ＿４”により示す右下のコーナー部分の領域では左異方性付与部４Ｌと上異方性付与部４Ｕを用いる。

このように、検出面５Ａの位置に応じて適切な異方性付与部の組み合わせを選択することによって、それぞれから得られる２つの画像から高さｚ方向の位置検出を行うことができる。つまり、図３の丸印で囲むような異方性付与部の選択を行うと、それぞれから得られる２つの画像にはｘ方向またはｙ方向に画像の位置ずれが生じる。図１の高さ検出部７は、この位置ずれの大きさに基づいて被検出物の高さ（ｚ方向）の位置検出を行う。

なお、図３に示す“遮光部”をカラーフィルタによる特定色の遮光または透過で代替させる場合、時分割と空間分割を組み合わせた画像取得が可能である。
カラーフィルタの場合、右異方性付与部４Ｒ、左異方性付与部４Ｌ、下異方性付与部４Ｄ、上異方性付与部４Ｕの任意の２つ（図３の領域に応じて適切な丸印の２つ）に異なる波長範囲を選択する、つまり色選択性をもたせた２つのカラーフィルタ部が配置される。

［高さ検出手法］
つぎに、高さ検出部７が２つの検出画像で行う高さ検出の手法を、２例説明する。なお、以下の説明では、右異方性付与部４Ｒと左異方性付与部４Ｌとの組み合わせを一例とするが、上述したように検出場所に応じて、下異方性付与部４Ｄと上異方性付与部４Ｕとの組み合わせでもよい。また、コーナー部等、場所によっては上下の一方と、左右の一方とで異方性付与部を任意に組み合わせることもできる。
第１の手法では、図１（Ｂ）の検出駆動部６から出力される２つの検出画像を用い、その各々に含まれる被検出物に対応する画像部分のセンサ出力分布のピーク位置に基づいて高さ検出を行う。

図４（Ａ２）および図４（Ｂ２）は、第１の手法の説明図である。
図４（Ａ２）および図４（Ｂ２）において、その横軸が異方性付与方向（例えばｘ方向）の位置を示し、また、被検出物に対応する画像部分を発生したセンサ出力（受光量）が、横軸から縦方向に離れるほど大きいことを表している。つまり、この縦軸は検出画像のラインプロファイルを表している。図４（Ａ１）と図４（Ｂ１）は、それぞれ図４（Ａ２）と図４（Ｂ２）の検出画像のラインプロファイルが得られるときの被検出物ＳＤの基準面（例えば検出面５Ａまたは受光面）からの距離の相違を模式的に示している。

図４（Ｂ１）および図４（Ｂ２）に示すように、右異方性付与部４Ｒ（図２参照）を透過した光を受光した右異方性センサからは、第１検出画像のラインプロファイル（以下、第１検出画像Ｐ１）が得られ、そのピークのｘ方向アドレスは相対的に小さい。これに対し、左異方性付与部４Ｌ（図２参照）を透過した光を受光した左異方性センサからは、第２検出画像ラインプロファイル（以下、第２検出画像Ｐ２）が得られ、そのピークのｘ方向アドレスは相対的に大きい。この第１および第２検出画像のピーク間のｘ座標の差分は、被検出物ＳＤの基準面からの位置の大きさに応じて変化する。

被検出物ＳＤが比較的小さい場合、各出力分布のピークは一意に決まるため、第１検出画像Ｐ１のピーク座標ｘ１と第２検出画像Ｐ２のピーク座標ｘ２とが確定できる。高さ検出部７は、このピーク座標の差（ｘ２−ｘ１）を算出し、その大きさから被検出物ＳＤの高さを求める。

図５に被検出物ＳＤの大きさによる検出画像プロファイルの相違を示す。
図５（Ａ）のように被検出物ＳＤが小さい場合に対して、図５（Ｂ）に被検出物ＳＤが大きい場合を示す。
図４を用いて説明した上記第１の手法は、指先のように小さな対象物の場合はうまくいくが、大きな対象物の際は、ピーク検出法では正確にセンサ受光面から対象物までの距離（高さ）を求めることができない。なぜなら、大きな対象物（被検出物ＳＤ）の場合、第１検出画像Ｐ１と第２検出画像Ｐ２の各ラインプロファイルはピーク付近がフラットになる場合があり、その場合のピーク検出の精度によっては検出ピークに大きな幅が生じるからである。そのため、その検出ピーク幅のどのポイントを差分演算の対象にするかによって位置ずれ量も誤差を含むことになり、結果として、高さ検出の精度が悪いことがある。

図６（Ａ）と図６（Ｂ）に、第２の手法を示す。
第２の手法は第１の手法の欠点を持たない手法であり、図６（Ａ）に被検出物が小さい場合のセンサ出力分布例を、図６（Ｂ）に被検出物が大きい場合のセンサ出力分布例を、それぞれ示す。
第２の手法では、第１検出画像Ｐ１と第２検出画像Ｐ２に共通なある閾値ＴＨを用いて、各検出画像データを２値化し、２値化情報に基づいて高さ検出を行う。この２値化情報を図６には２つの丸印で示す。第１検出画像Ｐ１を変換して得られた第１識別画像ＰＩ１と、第２検出画像Ｐ２を変換して得られた第２識別画像ＰＩ２とは、それぞれ被検出物に対応した検出画像部分に相当する。よって、図６（Ａ）に比べ図６（Ｂ）で識別画像の大きさが大きくなっている。この識別画像の大きさ（径）は閾値ＴＨのとりかたに依存するが、この大きさ自体は高さ検出に影響しない。

高さ検出では、高さ検出部７が得られた第１識別画像ＰＩ１と第２識別画像ＰＩ２のそれぞれに対し、そのｘ方向の重心位置を求める。重心位置の求め方は、例えばｘ方向の両端のアドレスを平均する方法が採用できる。

このようにして求めた２つの重心位置は、検出面５Ａに対する被検出物の位置が同じである限り、その大きさによらず一定となる。具体的に図６（Ａ）で求めた第１識別画像ＰＩ１の重心位置と図６（Ｂ）で求めた第２識別画像ＰＩ２の重心位置はｘ軸上で一致する。また、閾値ＴＨが変化しても重心位置は変化しない（対称分布の場合）。一方、指が傾いて近接している場合など非対象分布となる場合もあるが、同じ閾値ＴＨなら重心位置に大きな差はない。

なお、第２の手法では、被検出物が遠くにある場合などでは分布のピークが低下し、これが閾値ＴＨを下回ることもある。その場合、閾値ＴＨを変更しなければならない不都合を第２の手法はかかえている。
よって、例えば分布ピークが小さい場合や小さい被検出物の検出では第１の手法を用い、分布ピークが大きい場合や大きい被検出物の検出では第２の手法を用いることとして、両手法を切り替えるか併用することもできる。

以上の高さ検出を可能とする本実施の形態に関わる検出装置１は、光学式検出であり、かつ画像処理演算による高さ検出であるため、センサ出力にノイズが重畳されていても差分演算時にキャンセルされる。このため高い精度で高さ検出が可能である。また、受光異方性付与部４が必要となる場合があるものの、発振器等を用いてセンサ出力変換を行うための大掛かりな回路が不要であるためコスト的にも有利である。

第２の手法では、２値化情報をそのまま用いて、被検出物の大きさを検出することもできる。なお、被検出物の大きさを面状に検出したい場合は、図２に示す第１異方性付与方向での大きさ検出と、第２異方性付与方向での大きさ検出が必要となる。

＜２．第２の実施の形態＞
第２の実施の形態に関わる表示装置は、ユーザとのインタラクティブな情報の入出力が可能な表示パネル（Ｉ／Ｏディスプレイパネル）として実現してもよい。あるいは、Ｉ／Ｏディスプレイパネルとその外部のＩＣをモジュール実装した表示モジュール、さらには、アプリケーションプログラムの実行部まで備えた、例えばテレビジョン受像機、モニタ装置などとして、当該実施の形態に関わる表示装置を実現してもよい。
以下、アプリケーションプログラムの実行部まで備えた表示装置を例として、第２の実施の形態の詳細を説明する。

［表示装置の全体構成］
図７は、表示装置の全体構成を表すブロック図である。
図７に図解する表示装置１０は、Ｉ／Ｏディスプレイパネル１０Ｐと、バックライト２０と、表示ドライブ回路１１００と、受光ドライブ回路１２００と、画像処理部１３００と、アプリケーションプログラム実行部１４００とを有する。

Ｉ／Ｏディスプレイパネル１０Ｐは、複数の画素が全面に渡ってマトリクス状に配置された液晶パネル（ＬＣＤ（Liquid Crystal Display））からなり、線順次動作をしながら表示データに基づく所定の図形や文字などの画像を表示する機能（表示機能）を有する。また、Ｉ／Ｏディスプレイパネル１０Ｐは、後述するように、Ｉ／Ｏディスプレイパネル１０Ｐの表示面１１に接触または近接する物体を撮像する機能（撮像機能）を有する。

バックライト２０は、例えば３原色の各色を発光する複数の発光ダイオード（ＬＥＤ）が配置されてなるＩ／Ｏディスプレイパネル１０Ｐの光源である。バックライト２０は、後述するように、表示ドライブ回路１１００の制御によって、Ｉ／Ｏディスプレイパネル１０Ｐの動作タイミングに同期した所定のタイミングで高速に各色のＬＥＤをオンまたはオフする動作を行う。

表示ドライブ回路１１００は、Ｉ／Ｏディスプレイパネル１０Ｐにおいて表示データに基づく画像が表示されるように、Ｉ／Ｏディスプレイパネル１０Ｐの駆動を行う（線順次動作の駆動を行う）回路である。

受光ドライブ回路１２００は、Ｉ／Ｏディスプレイパネル１０Ｐにおいて受光データが得られるように、指先などの被検出物を撮像し、撮像画像を複数の検出画像として出力する回路である。
上記表示ドライブ回路１１００が線順次で画素駆動を行って液晶層（光変調層）を駆動するのに対し、受光ドライブ回路１２００は光センサアレイを線順次で駆動する回路である。なお、光センサからの受光データは、例えばフレーム単位でフレームメモリ（ＦＭ）に蓄積され、撮像画像（複数の検出画像）として画像処理部１３００へ出力される。

画像処理部１３００は、受光ドライブ回路１２００から出力される撮像画像（検出画像）に基づいて所定の画像処理（演算処理）を行う。これにより、画像処理部１３００は、Ｉ／Ｏディスプレイパネル１０Ｐに接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）を検出し、取得する。なお、この検知する処理の特にｚ方向の距離（高さ）検出処理については、第１の実施の形態で図４〜図６を用いて既に説明したため、ここでの説明は省略する。

アプリケーションプログラム実行部１４００は、画像処理部１３００による検知結果に基づいて所定のアプリケーションソフトウエアに応じた処理を実行する回路である。

アプリケーションソフトウエアに応じた処理には、表示ボタンを高さ検出結果に応じて大きくし、あるいは小さくする処理、ボタンそのものを変更する処理などが例示できる。
また、本発明の適用により高精度な高さ検出ができる。このため、高さ範囲を数段階に区分して、どの区分に指先などの被検出物が存在するかに応じて、アプリケーションソフトウエアに、単なるボタン切り替えなどの２値情報以上の情報量をもつ多値情報を入力することもできる。よって、動作の程度、例えばゲームなどのアクションの程度などを指先の高さで制御するアプリケーションソフトウエアの操作への適用も可能である。
なお、簡単な例では、指先などの被検出物の位置座標（高さを含む）を表示データに含むようにし、Ｉ／Ｏディスプレイパネル１０Ｐ上に表示させる処理も例示できる。

ボタン表示や位置データなどを含み、アプリケーションプログラム実行部１４００で発生する表示データは、表示ドライブ回路１１００へ供給される。

［表示パネル全体構成］
図８は、Ｉ／Ｏディスプレイパネル１０Ｐの構成例を示す図である。
図８に図解するＩ／Ｏディスプレイパネル１０Ｐは、表示領域ＤＲおよびセンサ領域ＳＲを含む表示部１０Ｐ１と、表示Ｈドライバ（ＤＨ.ＤＲＶ）２２００と、表示Ｖドライバ（ＤＶ.ＤＲＶ）２３００を有する。また、Ｉ／Ｏディスプレイパネル１０Ｐは、センサ読み出しＨドライバ（ＳＲＨ.ＤＲＶ）６ＳＲＨと、センサ読み出しＶドライバ（ＳＶ.ＤＲＶ）６ＳＲＶとを有する。

表示領域ＤＲおよびセンサ領域ＳＲは、バックライト２０からの光を変調して表示光を出射するとともに、その表示面１１に接触または近接する物体を撮像する領域である。このために表示領域ＤＲおよびセンサ領域ＳＲには、光変調層を含む液晶素子と受光素子（光センサＰＳ）とがそれぞれマトリクス状に配置されている。

表示Ｈドライバ２２００および表示Ｖドライバ２３００は、表示ドライブ回路１１００（図７）から供給される表示駆動用の表示信号および制御クロック（ＣＬＫ）に基づいて、表示部１０Ｐ１内の各画素の液晶素子を線順次駆動する回路である。

センサ読み出しＶドライバ６ＳＲＶおよびセンサ読み出しＨドライバ６ＳＲＨは、センサエリア２１００内の各画素の受光素子（光センサＰＳ）を線順次駆動し、センサ出力信号を取得する回路である。

第２の実施の形態に関わる表示装置１０における検出駆動部は、撮像を制御するセンサ読み出しＶドライバ６ＳＲＶおよびセンサ読み出しＨドライバ６ＳＲＨのほかに、図７の表示ドライブ回路１１００を含む。これにより検出駆動部は、バックライト２０を撮像に同期して制御する機能を有する。

［画素ユニットの回路構成］
画素ユニットとは、３色または４色等の色配列の基本をなす画素の組であり、画素ユニットを規則的に配列することにより表示領域ＤＲおよびセンサ領域ＳＲが形成されている。

図９は、画素ユニットに含まれる表示画素部とセンサ部との等価回路図である。センサ部は、通常、画素ユニットの境界で表示画素部間に設けられた遮光領域を利用して配置される。よって、以下、表示画素部の配置領域を“表示領域ＤＲ”と呼び、センサ部を“遮光領域”または“センサ領域”と呼ぶ。遮光領域とセンサ領域は同一符号“ＳＲ”で表記する。表示領域ＤＲとセンサ領域（遮光領域）ＳＲは、図８の表示部１０Ｐ１に繰り返し、規則的に配置される。

表示領域ＤＲには、水平方向に延在する表示走査線ＤＳＣＮと垂直方向に延在する表示信号線ＤＳＬとの交点付近に、薄膜トランジスタ（ＴＦＴ）などからなるアクセストランジスタＡＴが配置されている。アクセストランジスタＡＴがＦＥＴからなる場合、そのゲートが表示走査線ＤＳＣＮに接続され、そのドレインが表示信号線ＤＳＬに接続されている。アクセストランジスタＡＴのソースは画素ごとの画素電極ＰＥに接続されている。画素電極ＰＥが隣接する液晶層（光変調層）３７を駆動する電極であり、通常、透明電極材料から形成されている。

表示信号線ＤＳＬと直交する方向（水平方向）に延在する共通電位線に、液晶層を挟んで画素電極ＰＥと対向する対向電極ＦＥが設けられている。対向電極ＦＥは通常、画素間に共通に設けられ、透明電極材料から形成されている。

このような構成の表示領域ＤＲの各画素は、表示走査線ＤＳＣＮを介して供給される表示走査信号に基づいてアクセストランジスタＡＴがオンまたはオフする。アクセストランジスタＡＴがオンすると、このときに表示信号線ＤＳＬに供給されている表示信号に応じた画素電圧が画素電極ＰＥに画素電圧が印加され、これにより表示状態が設定される。

表示領域ＤＲに隣接するセンサ領域（遮光領域）ＳＲには、例えばフォトダイオードなどからなる光センサＰＳが配置され、逆バイアスのため、そのカソード側に電源電圧ＶＤＤが供給されるようになっている。光センサＰＳのアノード側に、リセットスイッチＲＳＴＳＷとキャパシタＣが接続されている。
光センサＰＳのアノードは、キャパシタＣの大きさで蓄積容量が決まり、その蓄積電荷がリセットスイッチＲＳＴＳＷによって接地電位に放電（リセット）されるようになっている。リセットスイッチＲＳＴＳＷをオンからオフの状態にしてから、つぎにオンするまでの時間が電荷蓄積時間、つまり撮像時間に相当する。

また、光センサＰＳのアノードと、垂直方向に延在するセンサ線ＳＬとの間に、バッファアンプＢＡＭＰおよび読み出しスイッチＲＳＷが直列接続されている。
蓄積電荷は読み出しスイッチＲＳＷがオンとなるタイミングで、バッファアンプＢＡＭＰを介してセンサ線ＳＬに供給され、図９に示す画素ユニットの基本構成３１００の外部へ出力される。また、リセットスイッチＲＳＴＳＷのオンとオフの動作は、リセット線ＲＳＴＬにより供給されるリセット信号により制御され、読み出しスイッチＲＳＷのオンとオフの動作は、リード制御線ＲＣＬにより供給されるリード制御信号により制御される。リセット線ＲＳＴＬとリード制御線ＲＣＬによりセンサ走査信号線ＳＳＣＮを構成する。

図１０に、３原色表示のための３つの画素とセンサ読み出しＨドライバ６ＳＲＨとの接続関係を示す。
図１０では、赤（Ｒ）表示時の画素（Ｒ画素）を含む画素ユニットの基本構成１０ＰＲと、緑（Ｇ）表示時の画素（Ｇ画素）を含む画素ユニットの基本構成１０ＰＧと、青（Ｂ）表示時の画素（Ｂ画素）を含む画素ユニット１０ＰＢとが表示部１０Ｐ１内に並んで示されている。なお、画素の色は他の実施の形態ではカラーフィルタの色配列で規定されるが、本実施の形態では、フィールドシーケンシャル方式であるためＬＥＤ光源の色で規定される。よって、図１０に示す３つの画素ユニットの基本構成１０ＰＲ,１０ＰＧ,１０ＰＢは、時系列に表示色が変化する同一画素ユニットを示すものである。

各画素ユニットの基本構成における光センサＰＳに接続されたキャパシタ（不図示）や寄生容量に蓄積された電荷は、バッファアンプＢＡＭＰで増幅される。増幅後の電荷は、読み出しスイッチＲＳＷがオンになるタイミングで、センサ線ＳＬを介してセンサ読み出しＨドライバ６ＳＲＨへ供給される。
なお、センサ線ＳＬに定電流源ＩＧが接続され、センサ読み出しＨドライバ６ＳＲＨで感度良く受光量に対応した信号が検出されるようになっている。

［画素ユニットの平面および断面の構造］
図１１（Ａ）に画素ユニットの平面（受光異方性付与部４（図１（Ａ）参照）の領域区分）を示す。また、図１１（Ｂ）に、画素ユニットの断面を図１１（Ａ）と対応して示す。

図１１（Ｂ）に図解する（液晶）表示装置１０は、表示面１１（図の最上層側の面）と反対側の背面（図の最下層側の面）側にバックライト２０が配置されている。
（液晶）表示装置１０は、２枚のガラス基板が貼り合わされ、その間や外面側に種々の機能層を有して、バックライト２０と表示面１１との間に配置された表示部１０Ｐ１が配置されている。ここでいう表示部１０Ｐ１は、図７のＩ／Ｏディスプレイパネル１０Ｐの有効表示領域に対応する。

バックライト２０は、詳細は図示しないが、導光板、ＬＥＤ等の光源、光源駆動部、反射シート、プリズムシートなどを一体に組み立てた画像ディスプレイ専用の照明装置である。

表示部１０Ｐ１は、上記２枚のガラス基板として、バックライト２０側のＴＦＴ基板３０と、表示面１１側の対向基板３１とを有する。
ＴＦＴ基板３０の表示面１１側の主面には、絶縁膜３２Ａ、配線層３２Ｂ、平坦化膜３２Ｃからなる受光層３２が形成されている。また、ＴＦＴ基板３０の他方の主面（裏面）には、第１偏光板４０が貼られている。

受光層３２内の絶縁膜３２Ａ内に光センサＰＳのフォトダイオードＰＤが形成されている。フォトダイオードＰＤの上面（表示面１１側の面）がセンサ受光面である。
フォトダイオードＰＤの上方を開口部とする配線層３２Ｂには、図９のセンサ線ＳＬ、リセット線ＲＳＴＬ、リード制御線ＲＣＬおよび電源線等となる多数の配線が形成されている。
平坦化膜３２Ｃは、配線による段差を平坦化するように配線を覆って形成されている。

受光層３２上（表示面１１側）に、対向電極ＦＥ（共通電極ともいう）、絶縁膜３３Ａ、画素電極ＰＥを含む表示電極層３３が形成されている。
対向電極ＦＥおよび画素電極ＰＥは透明電極材料からなり、対向電極ＦＥは画素間共通の大きさで配置され、画素電極ＰＥは画素ごとに分離されている。特に画素電極ＰＥは垂直方向に長いスリットを多数有する。
画素電極ＰＥの表面および下地の絶縁膜３３Ａを覆って、第１配向膜３４が形成されている。

対向基板３１の一方の面（裏面側）に、受光異方性付与部としてのカラーフィルタ３５と、その平坦化膜３５Ａと、第２配向膜３６とが形成されている。

ＴＦＴ基板３０は、スペーサ（不図示）を介して内部空間を形成するように対向基板３１と貼り合わされている。このとき、受光層３２や表示電極層３３および第１配向膜３４を形成したＴＦＴ基板３０の面と、カラーフィルタ３５や第２配向膜３６を形成した対向基板３１の面とが、対向するように両基板が貼り合わされる。
スペーサが形成されていない箇所から、２枚の基板間の内部空間に液晶が注入されている。その後、液晶の注入箇所が閉じられると、液晶がＴＦＴ基板３０、対向基板３１およびスペーサ内に液晶が封入され、これにより液晶層３７が形成されている。液晶層３７は、第１配向膜３４と第２配向膜３６に接しているため、それら配向膜のラビングの向きで液晶分子の配向方向が決められる。

このように形成された液晶層３７に対し、画素ごとの画素電極ＰＥと、画素間で共通な対向電極ＦＥとが、層厚方向に隣接配置される。この２種類の電極は、液晶層３７に電圧を印加するための電極である。液晶層３７を挟んで２つの電極が配置される場合（縦方向の駆動モード）と、ＴＦＴ基板３０側に２つの電極が２層配置される場合（横方向の駆動モード）とがある。図１１（Ｂ）は後者の横方向の駆動モードの場合を示す。
この場合、画素電極ＰＥと対向電極ＦＥは絶縁分離されているが、下層側の対向電極ＦＥは、上層側で液晶層３７に接する画素電極ＰＥのパターンの間から液晶に電気的な作用を与える。このため、横方向の駆動モードでは電界の向きが横方向となる。これに対し、２つの電極が液晶層３７を、その厚さ方向から挟んで配置される場合は、電界の向きが縦方向（厚さ方向）となる。

いずれの駆動モード仕様で電極が配置されている場合でも、２つの電極によって液晶層３７に対し電圧をマトリクスに駆動可能である。このため、液晶層３７は、その透過を光学的に変調する機能層（光変調層）として機能する。液晶層３７は、この印加電圧の大きさに応じて階調表示を行う。

他の光学機能層として、バックライト２０とＴＦＴ基板３０との間に配置されている第１偏光板４０と対をなす第２偏光板５０が、対向基板３１の表示面１１側の面に貼られている。
第２偏光板５０の表示面１１側は不図示の保護層に覆われ、その最表面が、外部から画像を視認する表示面１１となっている。

第２の実施の形態では、フィールドシーケンシャル方式を採用していることと関連して、カラーフィルタ３５の表示領域ＤＲ部分には色選択性をもたない。なぜなら、色の選択はバックライト２０がＲ,Ｇ,Ｂの各色のＬＥＤを順次点滅させることで行われるからである。

一方、カラーフィルタ３５のセンサ領域（遮光領域）ＳＲには、いわゆるブラックマトリクスとしても機能する遮光部６０が配置され、その水平方向両側に２つのカラーフィルタ部６１Ｒと６１Ｂが配置されている。カラーフィルタ部６１Ｒは主に赤(Ｒ)の色成分を透過し、その他の色成分をカットする赤色透過フィルタである。カラーフィルタ部６１Ｂは主に青(Ｂ)の色成分を透過し、その他の色成分をカットする青色透過フィルタである。

このようなカラーフィルタ３５の構成により、遮光部６０の作用によって光センサＰＳに正面からくる光は、フォトダイオードＰＤに入射しない。一方、指等からの反射光はバックライト２０がＲ発光時には赤(Ｒ)の反射光のみが存在するため、フォトダイオードＰＤの右側のみから光Ｌｒが入射する。バックライト２０がＢ発光時には青(Ｂ)の反射光のみが存在するため、フォトダイオードＰＤの左側のみから光Ｌｂが入射する。

図１２に、表示領域ＤＲとセンサ領域（遮光領域）ＳＲの、表示部１０Ｐ１における配置平面図を示す。図１３は、図１２に示す領域構成の表示面に指先を近接させた場合の光の経路を示す斜視図である。
図１２に示すように、表示部１０Ｐ１の列方向（垂直方向）に延びるラインとしてセンサ領域（遮光領域）ＳＲが形成され、その間に表示領域ＤＲが配置される。図１２で太い破線で示す四角の領域が画素ユニットであり、画素の所定数個に対応する。ＲＧＢ３色表示の場合の画素ユニットは３画素とブラックマトリクスに対応した面積を有するが、フィールドシーケンシャル方式では色表示の色数と画素ユニットの画素数は必ずしも対応していなくてもよい。

表示部１０Ｐ１の表示面に指先を近接させると、右方向から斜めに入射される赤成分の光Ｌｒがカラーフィルタ部６１Ｒを透過してＰＤ受光面に届くが、同じ向きのその他の色成分はカラーフィルタ部６１Ｒで吸収される。同様に、左方向から斜めに入射される青成分の光Ｌｂがカラーフィルタ部６１Ｂを透過してＰＤ受光面に届くが、同じ向きのその他の色成分はカラーフィルタ部６１Ｂで吸収される。
この赤成分の光Ｌｒを受光したときにフォトダイオードＰＤから出力されるセンサ出力の集合から、例えば第１検出画像Ｐ１（図４〜図６参照）が構成される。また、青成分の光Ｌｂを受光したときにフォトダイオードＰＤから出力されるセンサ出力の集合から、例えば第２検出画像Ｐ２（図４〜図６参照）が構成される。

［表示装置の動作（物体の近接距離測定手法を含む）］
つぎに、第１検出画像Ｐ１および第２検出画像Ｐ２を取得する手順、ならびに、高さ検出の手順を含む表示装置１０の動作について、詳細に説明する。

まず、この表示装置１０の基本動作、すなわち画像の表示動作および物体の撮像動作について説明する。ここでは図７の構成を前提とするため、検出後の高さ情報がアプリケーションソフトウエアで用いられる仕方の例まで含めて説明する。

図７の表示装置１０では、アプリケーションプログラム実行部１４００から供給される表示データに基づいて、表示ドライブ回路１２００において表示用の駆動信号が生成される。この駆動信号により、Ｉ／Ｏディスプレイパネル１０Ｐに対して線順次表示駆動がなされ、画像が表示される。
また、このときバックライト２０も表示ドライブ回路１１００によって駆動され、Ｉ／Ｏディスプレイパネル１０Ｐと同期した点灯と消灯の動作がなされる。

ここで、図１４を参照して、バックライト２０のオンまたはオフの動作とＩ／Ｏディスプレイパネル１０Ｐの表示状態との関係について説明する。

まず、例えば１／６０秒のフレーム周期で画像表示がなされている場合、各１／３フレーム期間の前半期間（１／３６０秒間）にバックライト２０が消灯し（オフ状態となり）、表示が行われない。一方、各検出装置１／３フレーム期間の後半期間には、バックライト２０が点灯し（オン状態となり）、各画素に表示信号が供給され、そのフレーム期間の画像が表示されるようになっている。
このような１／３フレーム期間（１／１２０秒間）がＲ,Ｇ,Ｂの各色で３回繰り返すことで１フレームの画像表示がなされる。

このように、各１／３フレーム期間の前半期間は、Ｉ／Ｏディスプレイパネル１０Ｐから表示光が出射されない無光期間である一方、各１／３フレーム期間の後半期間は、Ｉ／Ｏディスプレイパネル１０Ｐから表示光が出射される有光期間となっている。

ここで、Ｉ／Ｏディスプレイパネル１０Ｐに接触または近接する物体（例えば、指先など）がある場合、受光ドライブ回路１２００による線順次受光駆動により、このＩ／Ｏディスプレイパネル１０Ｐにおける各画素の受光素子においてその物体が撮像される。撮像の結果、各受光素子からの受光信号が受光ドライブ回路１２００へ供給される。受光ドライブ回路１２００では、１フレーム分の画素の受光信号が蓄積され、撮像画像として画像処理部１３００へ出力される。

そして画像処理部１３００では、この撮像画像に基づいて、以下説明する所定の画像処理（演算処理）を行い、Ｉ／Ｏディスプレイパネル１０Ｐに接触または近接する物体に関する情報（位置座標データ、物体の形状や大きさに関するデータなど）が検出される。

図１５（Ａ）から図１５（Ｂ３）に、さらに詳細なタイミングチャートを示す。
図１５（Ａ）に、書き込み動作期間とスキャン動作を模式的に示す。図１５（Ｂ１）にＲ発光期間を、図１５（Ｂ２）にＧ発光期間を、図１５（Ｂ３）にＢ発光期間を、それぞれ示す。
図１５（Ｂ１）〜図１５（Ｂ３）は、図１４と同様に、非発光期間（バックライトオフ）と発光期間（バックライトオン）が短い周期（１／３６０秒）で繰り返されることを表している。

１フレーム期間における最初のバックライトオフの期間Ｔ１はＲ書き込み期間であり、表示走査線ＤＳＣＮ（図９）を表示Ｖドライバ２３００（図８）が制御することで、Ｒ表示信号がアクセストランジスタＡＴを介して画素電極ＰＥに設定される。次の期間Ｔ２でバックライトがオンすることによりＲ発光表示が行われる。
この動作は、期間Ｔ３とＴ４、期間Ｔ５とＴ６の組み合わせで、Ｇ発光表示とＢ発光表示でも、同様に繰り返される。

本実施の形態では、光センサによる撮像の動作が、バックライトオンに対応する期間Ｔ２，Ｔ４，Ｔ６のうち、Ｒ発光時とＢ発光時に対応する期間Ｔ２とＴ６で行われる。この各期間Ｔ２またはＴ４においては、図９のリセット線ＲＳＴＬを線順次でスキャンするリセットスキャンと、リード制御線ＲＣＬを線順次でスキャンするリードスキャンが遅延して行われる。各スキャンの１画面分の時間は期間Ｔ２またはＴ６の半分の時間だけ行われ、リセットスキャンの一画面分のスキャンが終わると同時にリードスキャンが開始される。このリセットスキャンとリードスキャンのディレイ時間が電荷蓄積時間（撮像時間）である。電荷の蓄積（撮像）と排出（リード）の動作が一定のディレイ時間をもちながら１画面分実行されると、複数のセンサ線ＳＬからは、センサ出力が時系列で図１０のセンサ読み出しＨドライバ６ＳＲＨに読み出される。

センサ読み出しＨドライバ６ＳＲＨが行う第１検出画像Ｐ１と第２検出画像Ｐ２の認識と、その位置ずれから高さを求める具体的な手法は、第１の実施の形態で図４と図６を用いて説明したため、ここでは割愛する。

図１６に撮像データの解析結果を示す。図１６（Ａ１）と図１６（Ｂ１）がＲ発光時撮像データの立体表示と平面表示を示す図である。図１６（Ａ２）と図１６（Ｂ２）がＲ発光時撮像データの立体表示と平面表示を示す図である。
指の位置は撮像データの中央に位置し、各撮像データのピーク位置は指のある位置からそれぞれ左右にずれていることが分かる。Ｒ発光時のピーク位置座標を（ｘ１,ｙ１）、Ｂ発光時のピーク位置座標を（ｘ２,ｙ１）とする。

図１７に、横軸に指高さ（被検出物−受光面距離）、縦軸にｘ方向のピーク間距離｜ｘ１−ｘ２｜をとったグラフを示す。
ピーク間距離｜ｘ１−ｘ２｜は指高さｄに対して単調増加している。このことから、ある指高さで検知使用とした際、ピーク間距離の閾値を切ることにより、ある高さに被検出物が来ているかどうか判定することができる。

例えば、指高さｄ＝１０[mm]で検知したいとき、
ピーク間距離｜ｘ１−ｘ２｜＞１６の場合に「指あり」、
ピーク間距離｜ｘ１−ｘ２｜≦１６の場合に「指なし」
とすれば、非接触で被検出物の有無を判定することができる。

また、指高さｄ自身を正確に求めることができるため、その高さ情報を様々なアプリケーションソフトウエアの操作に応用することができる。

以上の指高さｄの検出、それを用いた被検出物の有無判定、位置判定は、図７の画像処理部１３００で行う。アプリケーションソフトウエアの操作への応用はアプリケーションプログラム実行部１４００が、画像処理部１３００からの検知結果に基づいて行い、必要に応じて応用結果を表示データにフィードバックさせる。

本実施の形態では、センサ受光面から被検出物までの距離（高さ）を正確に検出することができる。
また、光センサＰＳ（図１１（Ｂ）の受光層３２）および受光異方性付与部４（図１１（Ｂ）のカラーフィルタ３５）は、表示装置１０と同一のプロセスで作成できる。このため、本実施の形態の表示装置１０は、静電容量タイプなどで必要であった外付け部材が不要となり、コストを削減することができる。
さらに、時分割方式を採用することにより、非常に分解能が高い撮像データを得ることができ、受光面から被検出物までの距離を高精度で演算することができる。

第２の実施の形態では、以下の変形が可能である。
図１１〜図１２に示す例では、センサ受光面の真上を遮光する構造としたが、例えば図１８（Ｂ）〜図１８（Ｃ）のように、センサ受光面よりも遮光部６０が小さくなっても、光センサＰＳの受光異方性が保たれれば採用することができる。逆に、遮光部６０をセンサ受光面よりも大きくしても、光センサＰＳの受光異方性が保たれれば採用することができる。

また、センサ受光面を遮光する遮光部は必ずしも対向基板３１側に作成する必要はない。ＴＦＴ基板３０側に遮光部に作成してもよい。ただし、センサ受光面と遮光部との間には斜め光を受光するためのセパレーションが必要となる。

検出光は、可視光、非可視光（紫外線、赤外線）を問わない。ただし、表示画像に依存しないシステムという意味では、検出光に非可視光を採用することが望ましい。検出光が非可視光の場合、少なくとも撮像期間は点灯する非可視光を発光するＬＥＤをバックライト２０に追加するか、当該ＬＥＤを含む別のバックライトを設ける必要がある。
さらに、液晶モードは、ＴＮ、ＶＡ、ＩＰＳ、ＦＦＳ、ＥＣＢなど問わない。

＜３．第３の実施の形態＞
本実施の形態は、空間分割方式を採用した（液晶）表示装置に関し、図１９〜図２１に例示される。
ここで図１９は第２の実施の形態に関わる図１１に対応し、図２０は図１２に、図２１は図１３に、それぞれ対応する。以下、図１９〜図２１が、図１１〜図１３と異なる点を説明し、同一符号を付した構成の説明を省略する。また、図７〜図１０、ならびに、第１の実施の形態で述べた検出手法の基本は本実施の形態でも適用される。

図１９は、水平方向に隣接する２つの画素ユニットの断面図と平面図である。
第３の実施の形態では、第２の実施の形態と同様、ＴＦＴ基板３０に受光層３２と表示電極層３３を同一プロセスで形成し、また、対向基板３１にカラーフィルタ１５を形成する。受光層３２にはフォトダイオードＰＤがアレイ状に配置され、これにより光センサアレイ３（図１参照）が形成される。

空間分割方式では２種類の光センサＰＳを有する。
この光センサの種類とは、カラーフィルタ１５の光透過特性が異なるとの意味である。つまり、カラーフィルタ１５の光透過特性が異なることでフォトダイオードＰＤに受光異方性をもたせることから、この意味で光センサアレイを空間的に分離している。

具体的に、水平方向に隣接する２つの光センサにおいて、各フォトダイオードＰＤの受光面の真上は双方とも遮光部６０により遮光する。ただし、一方の光センサＰＳのセンサ領域を、遮光部６０の右側を赤外光成分ＩＲ等の特定の波長成分に対する開口部とし、逆に、他方の光センサＰＳのセンサ領域を、遮光部６０の左側が特定の波長成分に対する開口部とするカラーフィルタ１５の構造としている。
この右側開口のセンサ領域を右異方性センサ領域ＳＲＲと呼び、左側開口のセンサ領域を左異方性センサ領域ＳＲＬと呼ぶ。

そして、図２０に示すように、右異方性センサ領域ＳＲＲと左異方性センサ領域ＳＲＬをそれぞれ含む画素ユニット（太い破線の四角領域）を、表示面から視て市松状にマトリクス配置している。
配置方法については市松状に限定せずに、ストライプ状配置としてもよい。

第２の実施の形態では、検出光に可視光を使用した場合、表示画像が黒表示の場合に被検出物からの反射光がないため、検知できないという不都合がある。
そこで第３の実施の形態では、検出光に赤外線（波長λ＝８５０［nm］）の赤外光ＩＲを用いることにより、表示画像に依存しないシステムを採用した。ただし、可視光でも同様のシステムを組むことは可能である。

検出光を赤外光ＩＲとした場合、右異方性センサ領域ＳＲＲおよび左異方性センサ領域ＳＲＬの開口部と表現した部分を、ＩＲ選択透過特性を持たせたＩＲ透過部６２とする必要がある。
ＩＲ透過部６２を形成する手法は種々あるが、ここでは図１９に示すように、赤(Ｒ)のカラーフィルタ部に赤(Ｒ)の透過フィルタ層を重ねた２層重ね構造により、これを実現している。

図２２（Ａ）に、ＲとＢの２層重ね構造を有するフィルタ（ＲＢフィルタ）の透過スペクトルを示す。
図２３（Ａ）〜図２３（Ｃ）の各色の波長範囲を参照すると、図２２（Ａ）のＲＢフィルタは、可視光を遮断する一方、赤外線（波長λ＝８５０［nm］）を良好に透過することが分かる。これにより表示画像に依存しないシステムを組むことができる。

ＩＲ透過部６２をＲとＧとＢの３層重ね構造のフィルタ（ＲＧＢフィルタ）とすることもできる。
図２２（Ｂ）にその透過スペクトルを示す。
このスペクトルから可視光遮断効果がＲＢフィルタより高いことがわかり、その分、検出精度を向上させることが可能となる。

図２４に、右異方性センサ領域ＳＲＲの透過ＩＲ光を受光する右異方性センサの撮像データと、左異方性センサ領域ＳＲＬの透過ＩＲ光を受光する左異方性センサの撮像データを示す。
指の位置は撮像データの中央に位置し、各撮像データのピーク位置は指のある位置からそれぞれ左右にずれていることが分かる。右異方性センサから出力される撮像データのピーク位置座標を（Ｘ１,Ｙ１）、左異方性センサから出力される撮像データのピーク位置を（Ｘ２,Ｙ１）とする。
そのピーク位置のｘ座標差分｜Ｘ１−Ｘ２｜を計算することにより、図１６と同様のグラフを得ることができる。
第１および第２の実施の形態と同様な指高さで検知使用とした際、ピーク間距離の閾値を基準として、ある高さに被検出物が存在するか否かを判定することができる。また、第２の実施の形態と同様に、高さ情報を含む位置情報をアプリケーションソフトの操作へ応用することができる。

なお、第３の実施の形態では、時分割のＬＥＤ点滅とそれに同期したスキャン動作の制御は行わないで、１フィールドで表示スキャンと撮像スキャンを並行して行うとよい。そのため、バックライト２０は例えば白色ＬＥＤとＩＲ光のＬＥＤを光源とするように変更し、あるいは、白色光源とＩＲ光源を２つのバックライトで分離して用いるとよい。
また、図１９に示すように画素ユニットはＲＧＢの３色混合の場合は３画素分とセンサ領域との合計の面積とし、４色混合の場合はさらに１画素分大きい面積とする。

第３の実施の形態では、第２の実施の形態と同様に、被検出物の高さを正確に検出することができ、また、静電容量タイプなどで必要であった外付け部材が不要となり、コストを削減することができるという利益を得られる。
さらに空間分割方式を採用することにより、特殊な３色ＬＥＤバックライトを使う必要がないため、低コストで実現可能であり、１画面の表示クロック周波数も時分割より低くてすむ。

第３の実施の形態では、以下の変形が可能である。
図１９〜図２１に示す例では、センサ受光面の真上を遮光する構造としたが、例えば図２５（Ｂ）〜図２５（Ｄ）のように、センサ受光面をより完全に覆うようにしてもよいし、一部または全部を覆わないようにしてもよい。ただし、これらの変形例では、光センサＰＳの受光異方性が保たれることを条件とする。

また、第２の実施の形態と同様に、センサ受光面を遮光する遮光部は必ずしも対向基板３１側に作成する必要はない。さらに、液晶モードは、ＴＮ、ＶＡ、ＩＰＳ、ＦＦＳ、ＥＣＢなど問わない。
特に空間分割型の場合で可視光で検出することを前提とするならば、反射型液晶表示装置に本発明を応用して被検出物の影を撮像するものでもよい。その場合、ＩＲ光源などの特別な光源を含むバックライト２０が不要となる。

＜４．第４の実施の形態＞
［レンズアレイによる受光異方性］
つぎに、レンズアレイによる受光異方性の付与について図面を参照して説明する。この第４の実施の形態は、空間分割方式の一種であり第３の実施の形態のカラーフィルタ１５にＩＲ透過部６２を設ける代わりに採用できる構成を示すものである。

図２６の例では、例えば第２偏光板５０の上にシリンドリカルレンズのアレイを形成する。シリンドリカルレンズは半円筒状の断面を有することから、右から斜めに入射する光を効率よく左側配置の右センサに集光できる。同様に、左から斜めに入射する光を効率よく右側配置の左センサに集光できる。

第４の実施の形態では、フォトダイオードＰＤを対で近接配置し、左右の斜めの光を受光できるようにすることで受光異方性をもたせる。よって、本実施の形態では、受光異方性付与部４としてのレンズアレイと、光センサアレイ３としての対でフォトダイオードＰＤをもつ光センサアレイとの協働によって受光異方性が発生している。

例えば右センサ（ＰＤ）で得た画像を第１検出画像Ｐ１とし、左センサ（ＰＤ）で得た画像を第２検出画像Ｐ２として、そのピークや重心の差分から高さ検出が可能となる。

なお、表示装置１０ではコストの面や表示装置１０の薄型化の面で遮光フィルタやカラーフィルタで受光異方性付与部４を実現することが望ましい。とくにカラーフィルタは、画素の色配列のために本発明が非適用の表示装置１０にも有するものであり、本発明の適用時に、その既存のカラーフィルタに受光異方性付与のための改良を加えるだけでよい。そのため、表示装置１０への本発明の適用に際し、コスト抑制の面からカラーフィルタで受光異方性付与部４を実現するが最も望ましい。

＜５．第５の実施の形態＞
本発明が適用可能な表示装置は、液晶表示以外の表示方法、例えば有機ＥＬ、無機ＥＬ、電子ペーパーなどの方式は問わない。

図２７に、一例として有機ＥＬに適用した際のレイアウト図を示す。
有機ＥＬ表示装置７０は、基板７１の積層構造内に、Ｒ,Ｇ,Ｂの光をそれぞれ自発光する有機ＥＬ膜を備える。
この有機ＥＬ膜に赤外光成分ＩＲを発光する、または、多く含む発光特性の有機積層膜７２ＩＲを形成しておき、これをＩＲ光源とする。
本実施の形態では第３の実施の形態と同様なカラーフィルタ１５によりフォトダイオードＰＤに受光異方性を持たせることが可能である。

なお、ここでは赤外光ＩＲを用いる空間分割方式で記載したが、ＩＲ光源がなくてもよいし、また、時分割方式でも実現可能である。

＜６．第６の実施の形態＞
以上説明した本実施形態に係る表示装置は、図２８〜図３２に示す様々な電子機器、例えば、デジタルカメラ、ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置、ビデオカメラなど、電子機器に入力された映像信号、若しくは、電子機器内で生成した映像信号を、画像若しくは映像として表示するあらゆる分野の電子機器の表示装置に適用することが可能である。以下に、本実施形態が適用される電子機器の一例について説明する。

図２８は、本発明が適用されるテレビを示す斜視図である。
本適用例に係るテレビは、フロントパネル１２０やフィルターガラス１３０等から構成される映像表示画面部１１０を含む。映像表示画面部１１０として第２〜第５の本実施形態に係る表示装置を用いることができる。

図２９は、本発明が適用されるデジタルカメラを示す斜視図であり、（Ａ）は表側から見た斜視図、（Ｂ）は裏側から見た斜視図である。
本適用例に係るデジタルカメラは、フラッシュ用の発光部１１１、表示部１１２、メニュースイッチ１１３、シャッターボタン１１４等を含む。表示部１１２として第２〜第５の実施形態に係る表示装置を用いることができる。

図３０は、本発明が適用されるノート型パーソナルコンピュータを示す斜視図である。
本適用例に係るノート型パーソナルコンピュータは、本体１２１に、文字等を入力するとき操作されるキーボード１２２、画像を表示する表示部１２３等を含む。表示部１２３として第２〜第５の実施形態に係る表示装置を用いることができる。

図３１は、本発明が適用されるビデオカメラを示す斜視図である。
本適用例に係るビデオカメラは、本体部１３１、前方を向いた側面に被写体撮影用のレンズ１３２、撮影時のスタート／ストップスイッチ１３３、表示部１３４等を含む。表示部１３４として本実施形態に係る表示装置を用いることができる。

図３２は、本発明が適用される携帯端末装置、例えば携帯電話機を示す図であり、（Ａ）は開いた状態での正面図、（Ｂ）はその側面図、（Ｃ）は閉じた状態での正面図、（Ｄ）は左側面図、（Ｅ）は右側面図、（Ｆ）は上面図、（Ｇ）は下面図である。
本適用例に係る携帯電話機は、上側筐体１４１、下側筐体１４２、連結部（ここではヒンジ部）１４３、ディスプレイ１４４、サブディスプレイ１４５、ピクチャーライト１４６、カメラ１４７等を含む。ディスプレイ１４４やサブディスプレイ１４５として第２〜第５の本実施形態に係る表示装置を用いることができる。

１…検出装置、１Ｒ等…検出面内領域、３…光センサアレイ、４…受光異方性付与部、６…検出駆動部、１０…表示装置、１０Ｐ…Ｉ／Ｏディスプレイパネル、１１…表示面、１５…カラーフィルタ、２０…バックライト、３７…液晶層、６０…遮光部、６１Ｒ,６１Ｂ…カラーフィルタ部、６２…ＩＲ透過部、ＰＳ…光センサ、ＰＤ…フォトダイオード、ＳＤ…被検出物、Ｐ１…第１検出画像、Ｐ２…第２検出画像

Claims (16)

1. 受光異方性を有する光センサアレイと、
   前記光センサアレイを駆動して被検出物を撮像し、前記受光異方性に基づいて異なる複数の検出画像を発生する検出駆動部と、
   前記複数の検出画像を入力し、入力した複数の検出画像に含まれる前記被検出物の影または反射に対応した画像部分に前記受光異方性の違いにより生じた位置ずれの大きさに基づいて、前記光センサアレイのセンサ受光面から前記被検出物までの距離（高さ）を検出する高さ検出部と、
   を有する検出装置。
2. 前記光センサアレイの前記被検出物が接近する側に、前記光センサアレイの隣接する複数の光センサの組内で異なる受光異方性を付与する受光異方性付与部を有する
   請求項１に記載の検出装置。
3. 前記光センサアレイは、前記受光異方性付与部の透過光を受光する際に異なる向きから入射される光の受光量に波長依存性が生じることで前記受光異方性が付与される複数の光センサを２次元配置したものであり、
   前記検出駆動部は、互いに異なる波長範囲をそれぞれが有する複数の光を時分割で前記被検出物に照射し、当該被検出物で反射して戻される反射光が前記受光異方性付与部を透過した後に前記複数の光センサで受光するときの各受光時間を前記複数の光の照射に同期して時分割で制御することで異なる波長範囲の光による複数回の撮像を行い、当該複数回の撮像によって前記複数の検出画像を発生させる
   請求項２に記載の検出装置。
4. 前記受光異方性付与部は、１つの前記光センサの受光面に対向する部分が、遮光部と、当該遮光部の一方向の両側で異なる波長範囲を透過する１対の波長選択フィルタ部とを有し、前記一方向の一方側から斜めに入る光と他方側から斜めに入る光に波長選択性を持たせることで前記光センサに受光異方性を付与する
   請求項３に記載の検出装置。
5. 前記受光異方性付与部は、前記隣接する複数の光センサに対し各センサ受光面の一部または全部を前記被検出物が接近する側で遮光するパターンを光センサごとに有し、当該パターンの配置と形状の少なくとも一方が前記複数の光センサに対し異なる遮光フィルタであり、
   前記光センサアレイは、前記遮光フィルタの前記パターンが及ぼす遮光の程度の違いによって前記受光異方性が異なる複数の光センサ配列が規定され、
   前記検出駆動部は、前記光センサアレイを駆動して、前記複数の光センサ配列から互いに異なる前記複数の検出画像を発生する
   請求項２に記載の検出装置。
6. 光照射部をさらに有し、
   前記受光異方性付与部は、前記光センサアレイの光入射側に配置されたレンズアレイであり、
   前記光照射部が異なる向きの成分をもつ光を照射したときに、前記被検出物で反射された反射光を入射角に応じて主として受光する光センサが前記組内で異なるように前記レンズアレイの１つのレンズに対して前記複数の光センサが配置されることによって、前記受光異方性が異なる複数の光センサ配列が前記光センサアレイに規定され、
   前記検出駆動部は、前記光センサアレイを駆動して、前記複数の光センサ配列から互いに異なる前記複数の検出画像を発生する
   請求項２に記載の検出装置。
7. 前記高さ検出部は、前記複数の検出画像の各々において前記被検出物に対応した前記画像部分を識別し、当該識別した画像部分の受光量のピーク位置を前記複数の検出画像の各々で求め、当該複数の検出画像における前記受光量のピーク位置の差から演算により前記高さを求める
   請求項１に記載の検出装置。
8. 前記高さ検出部は、前記複数の検出画像の各々に対し検出画像に含まれる各センサ出力を閾値との大小関係で２値化し、得られた２値化情報から前記被検出物に対応した画像部分を識別し、当該画像部分の各重心位置を算出し、求めた重心位置の差から演算により前記高さを求める
   請求項１に記載の検出装置。
9. 入力する映像信号に応じて入射光を変調し、発生した表示画像を出力する光変調部と、
   前記光変調部からの前記表示画像を表示する表示面と、
   受光異方性を有する光センサアレイと、
   前記光センサアレイを駆動して前記表示面に接触または近接する被検出物を撮像し、前記受光異方性に基づいて異なる複数の検出画像を発生する検出駆動部と、
   前記複数の検出画像を入力し、入力した複数の検出画像に含まれる前記被検出物の影または反射に対応した画像部分に前記受光異方性の違いにより生じた位置ずれの大きさに基づいて、前記光センサアレイのセンサ受光面から前記被検出物までの距離（高さ）を検出する高さ検出部と、
   を有する表示装置。
10. 前記検出駆動部は、前記光変調部が前記表示画像を出力していない期間に、前記被検出物の撮像による前記複数の検出画像の発生を行う
    請求項９に記載の表示装置。
11. 前記検出駆動部は、前記光変調部が変調する可視光と異なる非可視光を前記被検出物に照射することで前記被検出物の撮像による前記複数の検出画像の発生を行う
    請求項９に記載の表示装置。
12. 前記光センサアレイと前記表示面との間に前記光変調部が配置され、
    前記光変調部と前記表示面との間に、前記光変調部の前記光センサに対向する部分ごとに透過光の波長範囲を制限するカラーフィルタが配置され、
    光センサの受光面と対向して前記カラーフィルタの遮光部が配置され、当該遮光部に隣接するカラーフィルタ部分の透過光の波長範囲が、各光センサに対しセンサ配置面内の少なくとも一方の方向で異なることによって前記光センサアレイに前記受光異方性をもたせている
    請求項９に記載の表示装置。
13. 前記検出駆動部は、互いに異なる波長範囲をそれぞれが有する複数の光を時分割で前記被検出物に照射し、当該被検出物に反射して戻される反射光が前記カラーフィルタを透過した後に前記複数の光センサで受光するときの各受光時間を前記複数の光の照射に同期して時分割で制御することで異なる波長範囲の光による複数回の撮像を行い、当該複数回の撮像によって前記複数の検出画像を発生させる
    請求項１１に記載の表示装置。
14. 受光異方性を有する光センサアレイを駆動して被検出物を撮像し、前記受光異方性に基づいて異なる複数の検出画像を発生するステップと、
    前記複数の検出画像を入力し、入力した複数の検出画像に含まれる前記被検出物の影または反射に対応した画像部分に前記受光異方性の違いにより生じた位置ずれの大きさに基づいて、前記光センサアレイのセンサ受光面から前記被検出物までの距離（高さ）を測定するステップと、
    を含む物体の近接距離測定方法。
15. 受光異方性を有する光センサアレイ内の複数の光センサから、異なる受光異方性に対応する光センサの組み合わせで複数回、被検出物を撮像するステップと、
    前記複数回の撮像によって得られる複数の検出画像を入力し、入力した複数の検出画像に含まれる前記被検出物の影または反射に対応した画像部分に前記受光異方性の違いにより生じた位置ずれの大きさに基づいて、光センサアレイのセンサ受光面から前記被検出物までの距離（高さ）を測定するステップと、
    を含む物体の近接距離測定方法。
16. 前記光センサアレイ内の複数の光センサの各々は、異なる向きから入射される光の受光量に波長依存性を付与することで前記受光異方性をもたせた光センサであり、
    前記被検出物を撮像するステップでは、前記被検出物に対し、互いに異なる波長範囲をそれぞれが有する複数の光を時分割で照射し、対応する波長範囲の光が前記被検出物に照射されたときに、反射して戻される反射光を対応する受光感度ピークの光センサが受光可能に、前記複数の光センサの受光時間を前記複数の光の照射に同期して時分割で制御する
    請求項１５に記載の物体の近接距離測定方法。

Images