JP2010055507A - 入出力装置 - Google Patents

Abstract

【課題】薄型でありながら、空間的なユーザインターフェイスを実現することが可能な入出力装置を提供する。
【解決手段】入出力装置１は、ディスプレイ部１１の表示面側に、複数のマイクロレンズ１２ａを有するマイクロレンズアレイ１２が設けられた入出力パネル１０を備える。ディスプレイ部１１は、各マイクロレンズ１２ａに対応する単位領域Ｕ１ごとに、画像データＤ０に基づいて画像を表示する表示領域１１Ａと、指１００の撮像データＤ１を取得する撮像領域１１Ｂ１，１１Ｂ２とを有する。表示領域１１Ａにより表示された画像はマイクロレンズアレイ１２により空間上の平面Ｓ１に結像する。一方、指１００の撮像データＤ１は、画像処理部４０による所定の画像処理が施されたのち、位置検知部５０へ供給される。マイクロレンズアレイ１２の観察者の側に、位置センサを設けることなく、指１００の位置が検知される。
【選択図】図１

Description

本発明は、例えばタッチパネルなどに用いられ、画像の表示および物体のセンシングが可能な入出力装置に関する。

従来、３次元空間上に画像を表示すると共に、表示された画像に応じて入力操作を行う（以下、これを空間的なユーザインターフェイスという）ことが可能な入出力装置が提案されている（例えば、特許文献１）。特許文献１では、ディスプレイの表示面側に、マイクロレンズアレイをその焦点距離の分だけ離隔して配置することにより、いわゆるインテグラル方式による３次元表示が実現される。このような手法では、ディスプレイを構成する複数の画素のうち、一つのマイクロレンズに割り当てられる画素数が、３次元画像の奥行き方向の分解能に相当し、マイクロレンズ数が３次元画像の２次元平面における画素数に相当する。

特開２００７−８６９３１号公報 特開２００５−１４１１０２号公報

すなわち、上記特許文献１の手法において、空間上に表示される３次元画像の２次元平面における解像度は、マイクロレンズアレイにおけるマイクロレンズ数（レンズピッチ）によって決まる。このため、レンズピッチによる制約を受け、結果として低解像度となってしまう。

そこで、ディスプレイの表示面側において、ディスプレイの表示面と空間上の一平面とが、光学的に共役の位置関係となるように、マイクロレンズアレイを配置することにより、空間上の一平面に２次元画像を表示して、擬似的な立体表示を行う入出力装置が提案されている（例えば、特許文献２）。このような構成では、空間上の一平面に表示される画像の解像度を、ディスプレイにおける表示画素のピッチとマイクロレンズの結像倍率とによって調整することができるため、高解像度の画像を表示し易くなる。

しかしながら、上記特許文献２の構成では、指などの位置を検知する各種位置センサを、空間上の画像表示面よりも更に外側（観察者の側）に配置しているため、装置全体の厚みが増してしまうという問題があった。

本発明はかかる問題点に鑑みてなされたもので、その目的は、薄型でありながら、空間的なユーザインターフェイスを実現することが可能な入出力装置を提供することにある。

本発明の入出力装置は、複数のマイクロレンズを有するマイクロレンズアレイ部と、マイクロレンズアレイ部の一方の側に、各マイクロレンズに対応する単位領域のそれぞれに配置されると共に、画像信号に基づいて画像を表示する表示素子と、表示素子と同一面内に配置されると共に、物体からの光に基づいて撮像データを取得する撮像素子と、撮像素子により取得された撮像データに基づき、物体の位置を検知する位置検知部とを備えたものである。

本発明の入出力装置では、各マイクロレンズに対応する単位領域ごとに配置された表示素子により、画像信号に基づいて画像が表示されると、表示された画像は、マイクロレンズアレイ部により空間上の一平面に結像する。一方、物体からの光が、マイクロレンズアレイ部により集光されたのち、表示素子と同一面内に配置された撮像素子において受光されることにより、物体の撮像データが取得される。この撮像データに基づいて、位置検知部では物体の位置が検知される。

本発明の入出力装置によれば、マイクロレンズアレイ部の一方の側に、画像信号に基づいて画像を表示する表示素子を、各マイクロレンズに対応する単位領域ごとに配置したので、表示素子の表示面に表示された画像を、あたかも空間上の一平面に表示されているかのように、観察者に認識させることができる。一方、マイクロレンズアレイ部により集光した光に基づいて物体の撮像データを取得する撮像素子を、上記表示素子と同一面内に配置し、この撮像素子により取得された撮像データに基づいて物体の位置を検知するようにしたので、例えばマイクロレンズアレイの他方の側（観察者側）に別途位置センサを設けた場合に比べて、装置全体の厚みを小さくすることができる。よって、薄型でありながら、空間的なユーザインターフェイスを実現可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る入出力装置１の機能ブロック構成を表したものである。入出力装置１は、例えばタッチパネルとして用いられ、図形や文字などの画像を表示すると共に、指などの位置（動きを含む）を検知することが可能となっている。入出力装置１は、入出力パネル１０、表示信号ドライバ２１、表示側スキャナ２２、撮像信号レシーバ３１、撮像側スキャナ３２、画像処理部４０、位置検知部５０および制御部６０を備えている。

入出力パネル１０は、複数の画素が２次元配置されてなり、表示側、すなわち観察者の側に後述のマイクロレンズアレイ１２が設置されたものである。入出力パネル１０では、表示画素および撮像画素が混在して配置され、これにより画像を表示する画像表示機能と、物体の撮像を行う撮像機能との両者を実現するようになっている。この入出力パネル１０の詳細な構成については後述する。

表示信号ドライバ２１および表示側スキャナ２２は、制御部６０からの制御に応じて、表示信号（画像データＤ０）に基づいて各表示画素の表示駆動を行うものである。表示信号ドライバ２１は、表示駆動対象の各表示画素を駆動するものであり、表示側スキャナ２２は、表示駆動対象の表示画素を選択するものである。

撮像信号レシーバ３１および撮像側スキャナ３２は、制御部６０からの制御に応じて、物体側からの光を撮像画素上で受光し、物体の撮像データＤ１を取得するように、各撮像画素を駆動するものである。撮像信号レシーバ３１は、撮像駆動対象の撮像画素を駆動するものであり、撮像側スキャナ３２は、撮像駆動対象の撮像画素を選択するものである。

画像処理部４０は、制御部６０からの制御に応じて、撮像信号レシーバ３１から供給される撮像データＤ１に対して所定の画像処理を施すものである。この画像処理部４０の詳細な画像処理動作については後述する。

位置検知部５０は、制御部６０からの制御に応じて、画像処理部４０から入力される画像処理データＤ２に基づき、指の位置（ｘ，ｙ，ｚ）を検知するものである。位置検知部５０により検知された指の位置についての情報は、位置データＤoutとして出力されるようになっている。

制御部６０は、表示信号ドライバ２１、表示側スキャナ２２、撮像側スキャナ３２、撮像信号レシーバ３１、画像処理部４０および位置検知部５０の動作を制御するものである。具体的には、表示信号ドライバ２１および表示側スキャナ２２による表示駆動動作、撮像信号レシーバ３１および撮像側スキャナ３２による撮像駆動動作、画像処理部４０による画像処理動作、ならびに位置検知部６０による位置検知動作を、それぞれ適宜制御するものである。なお、上記画像処理部４０、位置検知部５０および制御部６０は、例えばマイクロコンピュータなどにより構成されている。

続いて、図２および図３を参照して、入出力パネル１０の詳細構成について説明する。図２は、入出力パネル１０の断面構成を模式的に表すものである。図３は、ディスプレイ部１１の平面構成を模式的に表すものである。

入出力パネル１０は、ディスプレイ部１１の表示側に、マイクロレンズアレイ１２を設置したものである。マイクロレンズアレイ１２は、複数のマイクロレンズ１２ａがマトリクス状に配列したものである。このマイクロレンズアレイ１２は、空間上の平面Ｓ１に、後述の表示領域１１Ａによって表示される２次元画像を結像すると共に、指１００を撮像するための撮像レンズとして機能するものである。このようなマイクロレンズアレイ１２により、空間上の平面Ｓ１と、表示領域１１Ａの表示面とは、光学的に共役となっている。

ディスプレイ部１１は、駆動基板１１１上に、表示画素Ｐａよりなる表示領域１１Ａと、撮像画素Ｐｂよりなる撮像領域１１Ｂ１，１１Ｂ２とが配置されたものである。駆動基板１１１は、表示画素Ｐａおよび撮像画素Ｐｂをそれぞれ駆動するものであり、例えばＴＦＴ（Thin Film Transistor；薄膜トランジスタ）などにより構成されている。この駆動基板１１１の下方には、表示領域１１Ａへ向けて光を照射するためのバックライト１１０が設けられている。バックライト１１０は、例えば、ＣＣＦＬ（Cold Cathode Fluorescent Lamp；冷陰極管）やＬＥＤ（Light Emitting Diode；発光ダイオード）などにより構成されている。なお、表示領域１１Ａ（表示画素Ｐａ）とバックライト１１０とが、本発明の表示素子に対応し、撮像領域１１Ｂ１，１１Ｂ２（撮像画素Ｐｂ）が、本発明の撮像素子に対応している。

表示領域１１Ａおよび撮像領域１１Ｂ１，１１Ｂ２は、互いに同一の面内（マイクロレンズ１２ａの焦点面内）に、マイクロレンズアレイ１２のマイクロレンズ１２ａに対応した単位領域Ｕ１ごとに、それぞれ配置されている。本実施の形態では、図３に示したように、表示領域１１Ａは単位領域Ｕ１の中央部に設けられ、撮像領域１１Ｂ１，１１Ｂ２は、単位領域Ｕ１のＸ方向に沿った端部に互いに離隔して設けられている。表示領域１１Ａは、例えば３×３＝９つの表示画素Ｐａから構成され、撮像領域１１Ｂ１，１１Ｂ２はそれぞれ一つの撮像画素Ｐｂから構成されている。また、各単位領域Ｕ１同士の間で、撮像領域１１Ｂ１，１１Ｂ２はそれぞれ、互いに同一の位置に配置されている。

表示画素Ｐａは、画像データＤ０に基づき、画像を表示する表示素子である。この表示画素Ｐａは、例えば液晶表示素子（ＬＣＤ：Liquid Crystal Display）によって構成されている。液晶表示素子は、例えば、一対の基板間に液晶層を封止した液晶セルと、この液晶セルの光入射側および光出射側に貼り合わせられた一対の偏光板と、液晶セルからの出射光のうち特定の波長領域の光を選択的に透過させるカラーフィルタとを含んで構成されている（いずれも図示せず）。このような構成において、液晶セルの一対の基板間へ電圧を印加することにより、バックライト１１０から発せられた光を変調して透過させるようになっている。

撮像画素Ｐｂは、マイクロレンズアレイ１２の各マイクロレンズにより集光された光に基づき、撮像データＤ１を取得するものである。この撮像画素Ｐｂは、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などにより構成されている。

続いて、上記入出力装置１の作用、効果について説明する。

（画像表示動作）
まず、入出力装置１の画像表示動作（出力動作）について図１および図４を参照して説明する。図４は、空間上の一平面における画像表示動作を説明するための模式図である。

入出力装置１では、制御部６０の制御に応じて、画像データＤ０が表示信号ドライバ２１に供給されると、表示画素Ｐａがそれぞれ駆動され、表示領域１１Ａにおける表示面Ｓ０に画像Ｉ₀が表示される。そして、表示面Ｓ０に表示された画像Ｉ₀は、マイクロレンズ１２ａによって、単位領域Ｕ１ごとにマイクロレンズアレイ１２から高さＨの平面Ｓ１に結像する。但し、マイクロレンズアレイ１２によって、表示面Ｓ０と平面Ｓ１とは共役の関係にあるので、画像Ｉ₀は画像Ｉ₁の反転画像として表示面Ｓ０に表示されるようにする。これにより、観察者には、あたかも高さＨの位置に画像Ｉ₁が表示されているかのように認識される。このとき、平面Ｓ１の高さＨは、マイクロレンズ１２ａの結像倍率によって決定される。また、平面Ｓ１における画像Ｉ₁の解像度は、表示領域１１Ａにおける表示画素Ｐａの個数（ピッチ）と、マイクロレンズ１２ａの結像倍率によって決定される。例えば、表示画素Ｐａのピッチが０．１ｍｍ程度で、マイクロレンズ１２ａの結像倍率が１：２である場合には、画像Ｉ₁において、０．２ｍｍ程度の高精細な画素ピッチが実現される。

（センシング動作）
次いで、入出力装置１のセンシング動作（入力動作）について図１および図５〜図８を参照して説明する。図５は、画像処理部４０における視差画像生成動作を説明するための模式図である。図６は、実際の指の撮像画像と、この撮像画像から生成した視差画像である。図７は、位置検知動作を説明するための図である。図８は、スタイラスの撮像画像である。

入出力装置１では、入出力パネル１０の上方に指１００が配置されると、上述した画像Ｉ₁による光（以下、画像光という）により、指１００が照明される。この指１００を照明する光は、入出力パネル１０におけるマイクロレンズアレイ１２によって集光され、撮像領域１１Ｂ１，１１Ｂ２（撮像画素Ｐｂ）において受光される。これにより、指１００の撮像データが取得され、撮像信号レシーバ３１へと出力される。撮像信号レシーバ３１へ出力された撮像データは、撮像データＤ１として画像処理部４０へ供給される。

ここで、各単位領域Ｕ１における撮像領域１１Ｂ１，１１Ｂ２では、受光光線の進行方向が互いに異なっており、この進行方向についての情報が保持された状態で受光される。また、各単位領域Ｕ１同士の間で互いに同一の位置に配置された撮像領域１１Ｂ１，１１Ｂ２における撮像画素データは、同一の進行方向についての情報を含んでいる。

画像処理部４０では、入力された撮像データＤ１に基づいて、視差画像生成処理が施され、指１００についての２つの視差画像データＤ１１，Ｄ１２が生成される。具体的には、まず、撮像データＤ１において、撮像領域１１Ｂ１における撮像画素データ（図５（Ａ）中における黒色部分の画素データ）が、単位領域Ｕ１ごとにそれぞれ抽出されたのち、これらの抽出された撮像画素データ同士が合成される（図５（Ｂ））。同様にして、撮像領域１１Ｂ２における撮像画素データ（図５（Ａ）中における斜線部分の画素データ）が、単位領域Ｕ１ごとにそれぞれ抽出されたのち、これらの抽出された撮像画素データ同士が合成される（図５（Ｃ））。これにより、２つの視差画像データＤ１１，Ｄ１２が生成される。

上記のようにして生成された視差画像データＤ１１，Ｄ１２は、必要に応じて他の画像処理、例えば欠陥補正処理やノイズ低減処理などが施されることにより、画像処理データＤ２として、位置検知部５０へ出力される。

位置検知部５０では、入力された画像処理データＤ２に基づいて、指１００の位置（ｘ，ｙ，ｚ）が検知される。例えば、指１００の位置（ｘ、ｙ）については、１枚の指１００の視差画像データ（視差画像データＤ１１または視差画像データＤ１２）に対してエッジ検出処理を施すことにより検出される。他方、指１００の位置のｚ成分については、例えば次のような手法により特定される。すなわち、視差画像データＤ１１，Ｄ１２の相関に基づいて、２視差の画像内の生体画像の位相差が算出され、その位相差に基づいて指１００のｚ成分が特定される。ここで、図７（Ａ）〜（Ｃ）に、マイクロレンズアレイ１２から指１００までの距離をそれぞれ、０ｍｍ、５ｍｍ、１０ｍｍとした場合の左右の視差画像を示す。このように、左右の視差画像間の指１００の位相差（Δδ₁，Δδ₂，Δδ₃）が、例えばエッジ検出処理によって検出される。このとき、指１００の高さが小さくなると、すなわち指１００がカバーガラス１１に近づくにつれて、指１００の２枚の視差画像間における位相差が小さくなる（Δδ₃＞Δδ₂＞Δδ₁）。よって、左右の視差画像の相関に基づいて指１００の位相差を検出することにより、指１００のｚ成分が特定される。また、これにより、画像Ｉ₀の表示される平面Ｓ１と指１００との空間的な位置関係、例えば、ｚ＝Ｈの状態、すなわち指１００が平面Ｓ１に擬似的に接触した状態を検知可能となる。よって、空間的なユーザインターフェイスを実現することができる。

また、水平面内（ＸＹ平面内）における指１００の動きについては、次のようにして検出される。例えば、経時的に指１００の複数の視差画像データを生成し、これら複数の視差画像データのそれぞれに対してエッジ検出処理を施し、指１００の移動量を算出することにより、指１００の動きが検出される。

このようにして位置検知部５０において検知された指１００の位置（ｘ、ｙ、ｚ）についての情報は、位置データＤout２として出力される。指１００の位置に応じて予め実行するファンクション動作を設定しておくことにより、出力された位置データＤoutに応じて、ファンクションが実行される。なお、位置データＤoutを、上述した画像データＤ０として表示信号ドライバ２１へ入力するようにしてもよい。

以上のように本実施の形態では、各マイクロレンズに対応する単位領域Ｕ１ごとに表示画素Ｐａからなる表示領域１１Ａを配置したので、この表示領域１１Ａにより画像データＤ０に基づいて表示される画像Ｉ₀を、マイクロレンズアレイ１２により空間上の平面Ｓ１に画像Ｉ₁として結像させることができる。これにより、観察者に対し、あたかも空間上の平面Ｓ１に画像が表示されているかのように認識させることができる。一方、この画像Ｉ₁による画像光により照明された指１００からの光をマイクロレンズアレイ１２により集光し、表示領域１１Ａと同一面内に配置された撮像領域１１Ｂ１，１１Ｂ２において受光するようにしたので、指１００の撮像データＤ１を取得することができる。この撮像データＤ１に基づいて、画像処理部４０により、指１００の視差画像データＤ１１，Ｄ１２を生成し、これら視差画像データＤ１１，Ｄ１２に基づいて、位置検知部５０により指１００の位置（ｘ、ｙ、ｚ）を検知するようにしたので、例えばマイクロレンズアレイ１２の上側（観察者側）に別途位置センサを設ける必要がない。よって、薄型でありながら、空間的なユーザインターフェイスを実現することが可能となる。

なお、上記実施の形態では、指１００の位置を検知する場合を例に挙げて説明したが、位置検知対象は指に限定されず、生体の他の部位や、スタイラスなどの生体以外の物体であってもよい。図８にスタイラスの撮像データを取得して、この撮像データに基づいて生成した２つの視差画像を示す。この場合にも、上述した手法により、２つの視差画像同士の位相差Δδsを検出することにより、スタイラスの位置（ｘ，ｙ，ｚ）を検知することができる。よって、指に限らずスタイラスを用いた入力操作も可能である。

（適用例）
図９（Ａ），（Ｂ）は、上記実施の形態の適用例に係る携帯電話機２の概略構成を表すものである。携帯電話機２は、折り畳み式の筐体（第１筐体２３および第２筐体２４）を備えており、第１筐体２３には、上記実施の形態の入出力装置１が設けられている。一方、第２筐体２４には、入力操作を行うための操作部２５が設けられている。

本適用例では、図９（Ａ）に示したように、入出力装置１が搭載されていることにより、この入出力装置１を、例えばユーザの指１００の位置に応じて入力が行われるタッチパネルとして機能させることができる。具体的には、指１００の位置のｚ成分を検知することにより、クリック動作による入力が可能となる。更に、経時的に指１００の接触する頻度を測定することにより、ダブルクリック動作による入力も可能である。また、指１００の動き、すなわち位置（ｘ，ｙ）の経時的な変化を検知することにより、マウスポインタとして機能させることも可能である。

また、ログインやパスワード代用、決済処理などを実行させるためのファンクション入力を行うこともできる。すなわち、入出力装置１では、指の判別を行うことが可能であるため、例えば検知する指の順番に応じて、上記のような特定の処理を実行するように予め登録しておくことにより、ファンクション入力が可能となる。例えば、右手の人指し指、右手の中指の順に検知された場合に、「アドレス帳を開く」というような処理を実行するように登録することができる。

また、図９（Ｂ）に示したように、指１００に限らず、スタイラス１０１を用いた入力も可能である。

なお、入出力装置１が適用される機器としては、上記携帯電話機に限られず、例えばノート型ＰＣ（Personal Computer：パーソナルコンピュータ）などの各種モバイル機器へ適用可能である。

続いて、上記実施の形態の変形例について説明する。以下では、上記実施の形態の入出力装置１および携帯電話機２と同様の構成要素については、同一の符号を付し、適宜説明を省略する。

（変形例１）
図１０は、上記実施の形態の変形例１に係る入出力装置のディスプレイ部２６の平面構成を表す模式図である。本変形例では、表示画素Ｐａ（表示領域）の構成以外は、上記実施の形態の入出力パネル１０と同様の構成となっている。すなわち、表示画素Ｐａが駆動基板１１１のほぼ全面に渡って配置され、各単位領域Ｕ１のＸ方向に沿った端部に撮像領域１１Ｂ１，１１Ｂ２が配置されている。このような構成により、複数の表示画素Ｐａの全域で画像表示がなされるようになっている。

本変形例のように、ディスプレイ部２６における表示画素Ｐａの配置、個数などは特に限定されるものではなく、表示画素Ｐａは駆動基板１１１のほぼ全面に渡って配置されていてもよい。このように構成した場合であっても、マイクロレンズ１２ａの結像倍率を適宜調整することにより、空間上の一平面に画像表示を行うことができる。

（変形例２）
図１１は、上記実施の形態の変形例２に係る入出力装置３の全体構成を表す機能ブロック図である。本変形例では、入出力パネル１０におけるマイクロレンズアレイ（図示せず）の焦点距離が印加電圧に応じて可変となっており、このようなマイクロレンズアレイに電圧を印加するためのＭＬＡ駆動制御部７０を備えている。その他の構成は、上記実施の形態の入出力装置１と同様となっている。

本変形例のマイクロレンズアレイは、複数のマイクロレンズをマトリクス状に配列したものである。各マイクロレンズは、例えば液晶マイクロレンズや液体マイクロレンズから構成されている。ＭＬＡ駆動制御部７０は、制御部６０の制御に応じて、各マイクロレンズに対して電圧を印加して駆動するためのものであり、これにより各マイクロレンズの焦点距離を変更できるようになっている。

このような構成において、マイクロレンズアレイにおいてマイクロレンズごとに焦点距離を変化させることにより、空間上に表示される画像の高さＨをその画像面内で変化させることができる。すなわち、空間上の表示画像に、高さ（奥行き）方向の分布を形成することができ、これにより、観察者に対して、より３次元に近い表示として認識させることができる。なお、上記のような高さ変化は、マイクロレンズごとに形成してもよく、マイクロレンズアレイ内の領域ごとに形成してもよい。

（変形例３）
図１２は、上記実施の形態の変形例３に係る携帯電話機４の概略構成を表すものである。携帯電話機４は、第１筐体２３において、入出力装置１の両側に、光源２７を配置したものである。光源２７は、例えばＬＥＤなどよりなり、指１００の撮像データＤ１を取得する際に、指１００を照明する照明用の光源として機能するものである。本変形例のように、指１００の照明用の光源を、上記バックライト１１０とは別に設けるようにしてもよい。このようにした場合であっても、光源２７は入出力装置１の上面（マイクロレンズアレイ）と同一面内に配置されれば足りるため、入出力装置１および携帯電話機４自体の厚みが増すことはない。よって、上記実施の形態と同等の効果を得ることができる。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、画像処理部４０において、撮像データＤ１に基づいて２つの視差画像データを生成するようにしたが、生成する視差画像データは２つに限定されず、３つ以上であってもよい。また、撮像データＤ１から抽出する画素データは、単位領域Ｕ１において、いずれの画素における画素データであってもよい。但し、左方向および右方向からの基線長を、できるだけ長く取れるような領域にそれぞれ配置された画素の画素データを抽出することが望ましい。上述したように、各視差画像同士の位相差に基づいて、指１００の位置を検出するためである。

また、上記実施の携帯では、単位領域Ｕ１に２つの撮像領域１１Ｂ１，１１Ｂ２を配置し、これら撮像領域１１Ｂ１，１１Ｂ２がそれぞれ一つの撮像画素Ｐｂよりなる場合を例に挙げて説明したが、撮像領域の配置や個数はこれに限定されない。また、一つの撮像領域が複数の撮像画素Ｐｂから構成されていてもよい。但し、各撮像領域（撮像画素）が、複数の単位領域Ｕ１同士の間で互いに同一の位置に配置されるようにする。同様に、表示領域の配置や個数、および表示領域を構成する表示画素Ｐａの数などは、特に限定されない。

また、上記実施の形態等では、ディスプレイ部（表示部）として、センシングに寄与する撮像画素と表示に寄与する表示画素とが、単位領域の一部にのみ、あるいは全面に配置されたものを例に挙げて説明したが、ディスプレイ部の構成はこれに限定されない。例えば、実際にはセンシングに寄与しない撮像画素や表示に寄与しない表示画素、すなわちダミーの画素が存在していてもよい。また、このようなダミーの画素領域では、撮像画素、表示画素およびマイクロレンズのうち、いずれか１つまたは２つのみが形成された構成であってもよい。

さらに、上記実施の形態等では、表示素子の一例として液晶表示素子を挙げて説明したが、他の表示素子、例えば有機または無機のＥＬ(Electro Luminescence)素子などの自発光素子を用いてもよい。但し、上記自発光素子を用いる場合には、バックライトは特に設けなくともよい。

本発明の一実施の形態に係る入出力装置の全体構成を表す機能ブロック図である。 図１に示した入出力装置の要部構成を表す断面模式図である。 図１のディスプレイ部の２次元構成を表す模式図である。 図１に示した入出力装置の画像表示動作を説明するための模式図である。 図１に示した画像処理部の視差画像生成動作を説明するための模式図である。 （Ａ）は実際の撮像画像、（Ｂ），（Ｃ）は視差画像である。 図１に示した位置検知部の位置検知動作を説明するための模式図である。 スタイラスについての視差画像である。 図１に示した入出力装置の適用例に係る携帯電話機の概略構成を表す斜視図である。 変形例１に係る入出力装置のディスプレイ部の２次元構成を表す模式図である。 変形例２に係る入出力装置の全体構成を表す機能ブロック図である。 変形例３に係る携帯電話機の概略構成を表す斜視図である。

符号の説明

１，３…入出力装置、２，４…携帯電話機、１０…入出力パネル，１１，２６…ディスプレイ部、１１Ａ…表示領域、１１Ｂ１，１１Ｂ２…撮像領域、１２…マイクロレンズアレイ、１３，２５…撮像素子、４０…画像処理部、５０…位置検知部、６０…制御部、１１０…バックライト、１１１…駆動基板、１００…指、Ｕ１…単位領域、Ｐａ…表示画素、Ｐｂ…撮像画素、Ｉ₀，Ｉ₁…画像、Ｄ０…画像データ、Ｄ１…撮像データ、Ｄ２…画像処理データ、Ｄout…位置データ。

Claims (8)

1. 複数のマイクロレンズを有するマイクロレンズアレイ部と、
   前記マイクロレンズアレイ部の一方の側に、各マイクロレンズに対応する単位領域のそれぞれに配置されると共に、画像データに基づいて画像を表示する表示素子と、
   前記表示素子と同一面内に配置されると共に、物体からの光に基づいて撮像データを取得する撮像素子と、
   前記撮像素子により取得された撮像データに基づき、前記物体の位置を検知する位置検知部と
   を備えた入出力装置。
2. 前記撮像素子が、前記単位領域内の少なくとも２つの位置に配置されると共に各単位領域同士の間で互いに同一の位置に配置され、
   各撮像素子からそれぞれ取得される撮像データに対して画像処理を施す画像処理部を備え、
   前記画像処理部は、複数の撮像データのうち、各単位領域同士の間で、互いに同一の位置の撮像素子から取得された撮像データ同士を合成することにより、複数の視差画像データを生成する
   請求項１に記載の入出力装置。
3. 前記位置検知部は、
   前記複数の視差画像データ同士の位相差に基づいて前記物体の位置を検知する
   請求項２に記載の入出力装置。
4. 前記撮像素子は、各単位領域内の互いに離隔した位置に配置されている
   請求項２に記載の入出力装置。
5. 前記マイクロレンズの焦点距離は、印加電圧に応じて可変であり、
   前記マイクロレンズへ電圧を印加するマイクロレンズ駆動部を備えた
   請求項１に記載の入出力装置。
6. 前記マイクロレンズは、液晶マイクロレンズまたは液体マイクロレンズである
   請求項５に記載の入出力装置。
7. 前記位置検知部により検知された位置に応じて入力が行われるタッチパネルとして機能する
   請求項１に記載の入出力装置。
8. 前記マイクロレンズアレイ部により、前記表示素子の表示面と前記マイクロレンズアレイ部の他方の側の一平面とが、光学的に共役となっている
   請求項１に記載の入出力装置。
   

Images