JP2007226439A - 表示装置及び電子機器 - Google Patents

Abstract

【課題】発熱量が少なく、静音化及び小型化が可能であって、且つ高解像度の画像の取り込みを可能とし得る表示装置、及びそれに接続される電子機器を提供する
【解決手段】表示装置は、表示パネル２、結像光学系を有する撮像部４、第１の検出光２０を出射する第１の検出光源部７ａ、第２の検出光２１を出射する第２の検出光源部７ｂ及び透明板１４を備える。透明板１４は、表示領域３を覆い、それとの間に空間２３を形成する。第１の検出光源部７ａは、第１の検出光２０が透明板１４の内部で全反射するようにそれを出射する。第２の検出光源部７ｂは、第２の検出光２１を透明板１４の観察者側へ出射する。撮像部４は、全反射の条件の崩れによって透明板１４から出射した第１の検出光と、透明板１４に再度入射してそれを通過した第２の検出光とを受光し、透明板１４の観察者側における状態を撮像する。
【選択図】図１

Description

本発明は、表示装置、特には画像入力機能を供えた表示装置、それに接続される電子機器に関する。

近年、表示装置の分野においては、表示機能に加え、入力機能をも兼ね備えた表示装置が普及してきている。このような表示装置の一例としては、タッチパネル付の表示装置が挙げられる（例えば、特許文献１参照。）。特許文献１に開示の表示装置は、プロジェクタが照射した光を表示領域へと導き、導かれた光のうち表示領域上に置かれたユーザの指で反射された光をＣＣＤカメラで受光することによってタッチ位置の検出を行なっている。

また、タッチパネル付の表示装置の他に、画像そのものを取り込むことができるように構成された液晶表示装置も開示されている（例えば、特許文献２参照）。特許文献２に開示された液晶表示装置は、アクティブマトリクス基板上にマトリクス状に配置された複数個のフォトダイオードを備えており、これにより、表示画面上の物体の画像を取り込んでいる。
特開２００１−３５０５８６号公報（第１図） 特開２００４−１５９２７３号公報（第２図−第３図）

しかしながら、特許文献１に開示の表示装置においては、プロジェクタを使用する必要があるため、電源ファンによる騒音が大きいという問題、発熱量が大きいという問題、装置全体を小型化できないという問題がある。

また、特許文献２に開示の液晶表示装置は、画像の取り込みを可能とする構成を備えているが、結像光学系を備えていないため、特許文献２に開示の液晶表示装置において、鮮明な取り込み画像を得ることは不可能である。特許文献２の液晶表示装置には、高解像度の取り込みを行なうことが不可能であるという問題がある。

本発明の目的は、上記問題を解消し、発熱量が少なく、静音化及び小型化が可能であって、且つ高解像度の画像の取り込みを可能とし得る表示装置、及びそれに接続される電子機器を提供することにある。

上記目的を達成するために本発明における表示装置は、光透過性を有する表示パネルと、結像光学系を有する撮像部と、第１の検出光を出射する第１の検出光源部と、第２の検出光を出射する第２の検出光源部と、透明板とを備え、前記透明板は、前記表示パネルの観察者側に前記表示パネルの表示領域を覆うように配置され、且つ、前記表示領域との間に空間を形成し、前記第１の検出光源部は、前記第１の検出光が前記透明板の側面から前記透明板の内部に入射するように配置され、且つ、前記透明板の内部に入射した前記第１の検出光が前記透明板の内部で全反射するように前記第１の検出光を出射し、前記第２の検出光源部は、前記表示領域の周辺の領域に、前記第２の検出光が、前記空間から、前記透明板を介して、前記透明板の観察者側へ出射されるように配置され、前記撮像部は、前記全反射の条件の崩れによって前記透明板から出射し、そして前記表示パネルを通過した前記第１の検出光と、前記透明板の観察者側で反射されて前記透明板に再度入射し、そして前記透明板及び前記表示パネルを通過した前記第２の検出光とを、前記結像光学系を介して受光して、前記透明板の観察者側における状態を撮像することを特徴とする。

また、上記目的を達成するために本発明における第１の電子機器は、上記本発明における表示装置に接続される電子機器であって、画像処理部と、情報処理部とを備え、前記表示装置において、前記第１の検出光源部による前記第１の検出光の出射と、前記第２の検出光源部による前記第２の検出光の出射とが、交互に行われているときに、前記画像処理部は、前記第１の検出光源部が第１の検出光を出射したときに前記撮像部が撮像した第１の画像から、前記透明板上に位置する物体の位置を検出し、前記情報処理部は、前記画像処理部によって検出された物体の位置を、前記表示装置の表示画面上の入力位置として特定することを特徴とする
更に、上記目的を達成するために本発明における第２の電子機器は、上記本発明における表示装置に接続される電子機器であって、画像処理部と、情報処理部とを備え、前記表示装置において、前記第１の検出光源部による前記第１の検出光の出射と、前記第２の検出光源部による前記第２の検出光の出射とが、同時に行われているときに、前記画像処理部は、前記撮像部が撮像した画像から、前記透明板上に位置する物体の画像を抽出し、更に、前記透明板上に位置する物体の位置を検出し、前記情報処理部は、抽出された前記物体の画像の中から、予め設定された特定画像に一致しない画像を特定し、更に、前記一致しない画像についてその輝度が設定された閾値以上であるかどうかを判定し、輝度が設定された閾値以上である画像が存在する場合に、その画像の物体の位置を前記表示装置の表示画面上の入力位置として特定することを特徴とする。

以上のように本発明における表示装置によれば、表示パネルを用いて画像を表示できるため、発熱量の減少化、静音化及び小型化を達成できる。更に、本発明における表示装置においては、撮像部が結像光学系を備えるため、従来の入力機能を備えた表示装置に比べて、高解像度の画像の取り込みを達成できる。

本発明における表示装置は、光透過性を有する表示パネルと、結像光学系を有する撮像部と、第１の検出光を出射する第１の検出光源部と、第２の検出光を出射する第２の検出光源部と、透明板とを備え、前記透明板は、前記表示パネルの観察者側に前記表示パネルの表示領域を覆うように配置され、且つ、前記表示領域との間に空間を形成し、前記第１の検出光源部は、前記第１の検出光が前記透明板の側面から前記透明板の内部に入射するように配置され、且つ、前記透明板の内部に入射した前記第１の検出光が前記透明板の内部で全反射するように前記第１の検出光を出射し、前記第２の検出光源部は、前記表示領域の周辺の領域に、前記第２の検出光が、前記空間から、前記透明板を介して、前記透明板の観察者側へ出射されるように配置され、前記撮像部は、前記全反射の条件の崩れによって前記透明板から出射し、そして前記表示パネルを通過した前記第１の検出光と、前記透明板の観察者側で反射されて前記透明板に再度入射し、そして前記透明板及び前記表示パネルを通過した前記第２の検出光とを、前記結像光学系を介して受光して、前記透明板の観察者側における状態を撮像することを特徴とする。

上記特徴により、本発明における表示装置によれば、発熱量の減少化、静音化及び小型化を図ることができ、更に、高解像度の画像の取り込みが可能となる。また、本発明における表示装置では、人の指のように透明板に密着する物体が透明板上に存在すると、全反射条件の崩れによって透明板から撮像部へと第１の検出光が出射される。よって、透明板に密着した物体は、確実に撮像部によって撮像される。一方、透明板上に存在している物体が、透明板と密着しないものである場合は、全反射条件が崩れないため、第１の検出光は出射されない。しかし、この場合は、物体で反射された第２の検出光が撮像部に入射するため、この物体も撮像部によって撮像される。このように、本発明における表示装置によれば、透明板上に存在している物体を、それと透明板との密着状態に関わらず、確実に撮像することができる。

また、上記本発明における表示装置においては、前記第１の検出光源部及び前記第２の検出光源部が、それぞれ、前記第１の検出光又は前記第２の検出光として７００ｎｍ以上の波長の光を出射し、前記撮像部が、７００ｎｍ以上の波長の光のみを受光するのが良い。この場合は、可視光によるノイズを除去することができる。

更に、上記本発明における表示装置においては、前記透明板を形成する材料の屈折率をｎ、前記透明板に入射する前記第１の検出光の入射角度をθｉとしたときに、前記透明板に入射する前記第１の検出光の入射角度θｉが、下記式（１）及び（２）から求められる値以下に設定されているのが好ましい。このようにすることにより、確実に、第１の検出光を透明板の内部で全反射させることができる。

（数３）
θｉ＝ｓｉｎ^-1（ｎ・ｓｉｎθ） ・・・・・（１）

（数４）
θ＝９０°−ｓｉｎ^-1（１／ｎ） ・・・・・（２）

また、上記本発明における表示装置においては、前記表示パネルとして、液晶表示パネル及びＥＬ表示パネルのうちのいずれかを用いることができる。

上記本発明における表示装置は、前記第１の検出光源部及び前記第２の検出光源部それぞれに出射を指示する制御部を更に備え、前記制御部が、前記第１の検出光源部及び前記第２の検出光源部に対して、交互に出射を行わせる態様（第１の態様）とすることができる。上記第１の態様によれば、撮像部が撮像画像を出力したタイミングによって、第１の検出光から得られた撮像画像と、第２の検出光から得られた撮像画像とを区別できる。このため、上記第１の態様においては、撮像画像とその出力タイミングとから、本発明における表示装置、又はそれに接続された電子機器は、透明板上に存在する物体が透明板に密着しているものであるかどうかを判定できる。例えば、透明板上にある物体が、人の指であるのか、又は物であるのかを判定できる。

また、上記第１の態様においては、前記制御部が、前記第１の検出光源部及び前記第２の検出光源部に対して、（１／３０）秒以下の間隔で、交互に出射を行わせるとするのが好ましい。このようにした場合は、動きの滑らかな動画を得ることが可能となる。

また、上記本発明における表示装置は、前記第１の検出光源部及び前記第２の検出光源部それぞれに出射を指示する制御部を更に備え、前記制御部が、前記第１の検出光源部及び前記第２の検出光源部に対して、同時に出射を行わせる態様（第２の態様）とすることができる。上記第２の態様によれば、透明板上にある物体は一度に確実に全て撮像される。よって、本発明における表示装置、又はそれに接続された装置が、物体やその位置を特定する識別処理を行う場合において、処理速度の向上を図ることができる。また、上記第２の態様では、透明板に密着している物体は、第１の検出光と第２の検出光との両方によって撮像されるため、撮像された画像において、この物体の輝度は透明板に密着していない物体よりも高くなる。よって、上記第２の態様では、撮像された物体の輝度に基づいて、本発明における表示装置、又はそれに接続された装置は、透明板上に存在する物体が透明板に密着しているものであるかどうかを判定することができる。

上記第２の態様においては、前記第１の検出光の波長と、前記第２の検出光の波長とが、異なる値に設定され、前記撮像部が、複数の受光素子を有する固体撮像素子を備え、前記受光素子が、受光した光の波長に応じて感度が変化する特性を備えているのが好ましい。この場合は、受光素子の出力値に基づいて、第１の検出光から得られた撮像画像と、第２の検出光から得られた撮像画像とを区別できる。よって、透明板上に存在する物体が透明板に密着しているものであるかどうかの判定を簡単に行なうことができる。

また、上記第２の態様においては、前記第１の検出光の波長と、前記第２の検出光の波長とが、異なる値に設定され、前記撮像部が、複数の受光素子を有する固体撮像素子と、前記複数の受光素子それぞれ毎に配置された複数の光学フィルタとを備え、前記複数の光学フィルタのうち、一部の光学フィルタは前記第１の検出光を通過させ、残りの光学フィルタは前記第２の検出光を通過させるのが好ましい。この場合は、受光素子の出力データを、対応する光学フィルタ毎に区別することによって、第１の検出光から得られた撮像画像と、第２の検出光から得られた撮像画像とを区別できる。よって、透明板上に存在する物体が透明板に密着しているものであるかどうかの判定を簡単に行なうことができる。

また、本発明における第１の電子機器は、上記本発明における表示装置に接続される電子機器であって、画像処理部と、情報処理部とを備え、前記表示装置において、前記第１の検出光源部による前記第１の検出光の出射と、前記第２の検出光源部による前記第２の検出光の出射とが、交互に行われているときに、前記画像処理部は、前記第１の検出光源部が第１の検出光を出射したときに前記撮像部が撮像した第１の画像から、前記透明板上に位置する物体の位置を検出し、前記情報処理部は、前記画像処理部によって検出された物体の位置を、前記表示装置の表示画面上の入力位置として特定することを特徴とする
上記本発明における第１の電子機器においては、前記画像処理部が、前記第１の検出光源部が第１の検出光を出射したときに前記撮像部が撮像した第１の画像と、前記第２の検出光源部が第２の検出光を出射したときに前記撮像部が撮像した第２の画像とのそれぞれから、前記透明板上に位置する物体の画像を抽出し、更に、前記透明板上に位置する物体の位置を検出し、前記情報処理部が、前記第１の画像及び前記第２の画像の両方から抽出される物体の画像を特定し、特定された前記物体の位置を、前記表示装置の表示画面上の入力位置として特定する態様とするのが好ましい。この態様によれば、入力位置の誤認識の発生を抑制することができる。

更に、本発明における第２の電子機器は、上記本発明における表示装置に接続される電子機器であって、画像処理部と、情報処理部とを備え、前記表示装置において、前記第１の検出光源部による前記第１の検出光の出射と、前記第２の検出光源部による前記第２の検出光の出射とが、同時に行われているときに、前記画像処理部は、前記撮像部が撮像した画像から、前記透明板上に位置する物体の画像を抽出し、更に、前記透明板上に位置する物体の位置を検出し、前記情報処理部は、抽出された前記物体の画像の中から、予め設定された特定画像に一致しない画像を特定し、更に、前記一致しない画像についてその輝度が設定された閾値以上であるかどうかを判定し、輝度が設定された閾値以上である画像が存在する場合に、その画像の物体の位置を前記表示装置の表示画面上の入力位置として特定することを特徴とする。

（実施の形態１）
以下、本発明の実施の形態１における表示装置及び電子機器について、図１〜図１０を参照しながら説明する。最初に、本実施の形態１における表示装置の全体構成について図１及び図２を用いて説明する。図１は、本発明の実施の形態１における表示装置の全体の概略構成を示す断面図である。図２は、図１に示す表示装置の主要部分の位置関係を示す分解斜視図である。なお、図１においては、断面に現れていない第１の検出光源部７ａ及び第２の検出光源部７ｂの図示は省略している。

図１及び図２に示すように、本実施の形態１における表示装置は、光透過性を有する表示パネル２と、結像光学系を有する撮像部４と、第１の検出光源部７ａと、第２の検出光源部７ｂと、透明板１４とを備えている。第１の検出光源部７ａは、第１の検出光２０を出射し、第２の検出光源部７ｂは、第２の検出光２１を出射する。透明板１４は、表示パネル２の観察者側に、表示パネル２の表示領域を覆うように配置され、表示領域３との間に空間２３を形成している。

第１の検出光源部７ａは、第１の検出光２０が透明板１４の側面１４ａから透明板１４の内部に入射するように配置されている。更に、第１の検出光源部７ａは、透明板１４の内部に入射した第１の検出光２０が透明板１４の内部で全反射を繰り返すように、第１の検出光２０を出射する。また、図５を用いて後述するように、透明板１４の観察者側の主面に物体（図示せず）が密着すると、全反射条件が崩れ、第１の検出光２０は透明板１４から表示パネル２に向けて出射され、表示パネル２を通過する。

また、第２の検出光源部７ｂは、空間２３内の表示領域３の周辺の領域に、出射方向を透明板１４に向けて配置されており、第２の検出光２１を、空間２３から透明板１４を介して透明板１４の観察者側へと出射する。このとき、図７を用いて後述するように、透明板１４の観察者側の主面に物体（図示せず）が存在すると、第２の検出光２１は、この物体で反射されて再度透明板１４に入射し、そして透明板１４及び表示パネル２を通過する。

撮像部４は、撮像方向を表示パネル２に向けた状態で、表示パネル２の裏面における、表示領域３と表示装置の厚み方向（図１中の矢印Ａで示す方向）において重ならない位置に配置されている。また、撮像部４は、全反射の条件の崩れによって透明板１４から出射した第１の検出光と、透明板１４上の物体（図示せず）で反射されて透明板１４に再度入射した第２の検出光とを、結像光学系（後述の図４参照）を介して受光する（図５及び図７参照）。

このような構成により、本実施の形態１における表示装置によれば、発熱量の減少化、静音化及び小型化を達成できる。更に、撮像部４は、結像光学系を介して、透明板１４の観察者側の状態を撮像するため、従来の入力機能を備えた表示装置に比べて、高解像度の画像の取り込みを達成できる。

本実施の形態１において、透明板１４は、例えば、アクリル板やガラス板といった、透明の樹脂材料によって形成された板材であれば良い。透明板１４の透過率は１００％である必要はなく、１００％に満たなくても良い。

また、本実施の形態１では、表示パネル２は液晶表示パネルであり、表示装置は液晶表示装置である。また、表示パネル２が液晶表示パネルであるため、表示パネル２の裏面には、バックライト装置５が配置されている。

表示パネル２は、アクティブマトリクス基板２ｃと、液晶層２ｂと、フィルタ基板（対向基板）２ａとを備えている。液晶層２ｂは、アクティブマトリクス基板２ｃとフィルタ基板２ａとによって挟み込まれている。液晶層２ｂを封止するためのシールについては、図示を省略している。また、フィルタ基板２ａ及びアクティブマトリクス基板２ｃそれぞれにおける液晶層２ｂ側の反対側の面には、図示していないが、偏光板が設けられている。

アクティブマトリクス基板２ｃには、マトリクス状に配置された複数のアクティブ素子（図示せず）が形成されている。アクティブ素子は画素を構成しており、画素が設けられた領域と厚み方向において重なる領域が、表示領域３となっている。また、アクティブマトリクス基板２ｃには、図示していないが、ゲート駆動回路やソース駆動回路といった駆動回路が設けられている。フィルタ基板２ａには、各画素に対応する複数のカラーフィルタ（図示せず）や、対向電極（図示せず）が形成されている。

なお、表示パネル２は、光透過性を備えたものであれば良い。その他、例えば、ＥＬ表示パネルを表示パネル２として用いることもできる。表示パネル２がＥＬ表示パネルである場合は、ＥＬ表示パネルが自発光であるため、バックライト装置を配置する必要はない。更に、この場合は、表示パネル２は、例えば、透明基板上に、透明電極（アノード）となるＩＴＯ（Indium Tin Oxide）膜、正孔輸送層、電子輸送層、背面電極（カソード）等を順に積層して構成される。

バックライト装置５は、直下型のバックライト装置であり、複数の蛍光ランプ６と、光学層１３とを備えている。複数の蛍光ランプ６は、バスタブ型の筐体８に、互いに平行な状態で配置されている（図２参照）。また、筐体８の内面には反射シートが貼付されている。光学層１３は、拡散板９、拡散シート１０、プリズムシート１１、反射／偏光シート１２を順に積層して形成されている。

また、本実施の形態１では、撮像部４の光学的撮像距離（結像光学系の焦点距離）を稼ぐため、表示パネル２とバックライト装置５とは、従来の液晶表示装置に比べて距離を置いて配置される。具体的には、表示パネル２とバックライト装置５とは、フレーム２２によって、一定の距離Ｌを置いて保持されており、これらの間には空洞が存在している。また、撮像部４もフレーム２２に保持されている。

例えば、表示パネル２の大きさが３０インチ程度であるならば、表示パネル２とバックライト装置５との距離Ｌは１５ｃｍ程度に設定される。表示パネル２とバックライト装置５との間には、表示装置の強度を高めるため、透明の樹脂材料を充填する等しても良い。

更に、表示パネル２とバックライト装置５との距離が大きいため、図１及び図２に示すように、バックライト装置５は、その発光領域の面積が表示領域３の面積よりも大きくなるように構成するのが好ましい。これは、表示パネル２とバックライト装置５との距離が大きいと、バックライト装置５が照射できる領域が減少する傾向にあるからである。

ここで、本実施の形態１で用いられる撮像部４の構成について図３を用いて具体的に説明する。また、以下の説明においては図１及び図２も適宜参酌する。図３は、図１及び図２に示した表示装置に備えられた撮像部の概略構成を示す断面図である。図３に示すように、本実施の形態１においては、撮像部４は、結像光学系を構成するレンズ素子３０と、レンズ素子３０によって結像された像を受光する固体撮像素子３２と、設定波長以上の波長の光のみを透過させる光学フィルタ３１とを備えている。固体撮像素子３２は、ＣＣＤ固体撮像素子や、ＭＯＳ型固体撮像素子といった固体撮像素子である。光学フィルタ３１の機能については後述する。

レンズ素子３０と固体撮像素子３２とは、いわゆるシフト光学系を構成している。具体的には、固体撮像素子３２及びレンズ素子３０は、固体撮像素子３２の受光面の中心を通る法線３２ａとレンズ素子３０の光軸３０ａとが平行となり、且つ、光軸３０ａが法線３２ａからシフトした状態でフレーム３３に保持されている。更に、図１及び図２に示したように、撮像部４は、固体撮像素子３２の受光面が表示領域３に対して平行となり、且つ、固体撮像素子３２の法線３２ａがレンズ素子３０の光軸３０ａよりも表示領域３の外側に位置するように配置される。

このように、本実施の形態１では、シフト光学系が採用されているため、固体撮像素子３２の受光面には、台形歪みの少ない像が結像される。よって、本実施の形態１によれば、撮像部４が出力した撮像データに対して、台形歪みを改善するための補正を行うことなく、画質の優れた画像を得ることができる。

なお、撮像部４の構成は、図３に示す例に限定されるものではなく、固体撮像素子３２の受光面の中心を通る法線３２ａとレンズ素子３０の光軸３０ａとが一致するものであっても良い。但し、法線３２ａと光軸３０ａとを一致させた場合は、これらを表示領域３に向けて傾斜させた状態で、撮像部４を配置する必要がある。

また、本発明でいう「結像光学系」とは、透明板１４の観察者側の主面近傍と撮像部の受光面とに焦点を有し、透明板１４の観察者側の主面近傍の像を受光面に結像させるレンズ系をいう。図３の例では、結像光学系は、レンズ素子３０のみによって構成されているが、複数のレンズ素子を備えたレンズ群で構成されていても良い。但し、シフト光学系を構成する場合は、結像光学系は、斜め光が蹴られずにレンズ系を透過するように設計されている必要がある。この場合、結像光学系は、シフト光学系が構成されない場合に比べて、大口径のレンズ系によって構成する必要がある。

また、図１及び図２に示すように、本実施の形態１においては、撮像部４は複数個設けておくのが好ましい。この場合、複数個の撮像部４は、それぞれが異なる領域を撮像するように配置される。このような構成とすると、単一の撮像部しか設けられない場合に比べて、撮像部４それぞれの撮像領域を狭くすることができ、撮像部４が求める光学的撮像距離を短くすることができる。よって、単一の撮像部しか設けられない場合に比べて、表示パネル２とバックライト装置５との間の距離Ｌを短くでき、表示装置の薄型化を図ることができる。

次に、第１の検出光源部７ａ及び第２の検出光源部７ｂの構成について、図４を用いて具体的に説明する。また、以下の説明においては、図１及び図２を適宜参酌する。図４は、図１及び図２に示した第１の検出光源部及び第２の検出光源部の概略構成を示す図であり、図４（ａ）は出射方向に沿って切断した断面図、図４（ｂ）は正面図である。

図４（ａ）及び（ｂ）に示すように、第１の検出光源部７ａは、複数個の光源１５ａを備えている。複数個の光源１５ａは、それぞれの出射方向が一致するように並列に配列されている。本実施の形態１では、第２の検出光源部７ｂは、第１の検出光源部７ａと同様に構成されている。よって、第２の検出光源部７ｂも、複数個の光源１５ｂを備え、複数個の光源１５ｂも、それぞれの出射方向が一致するように並列に配列されている。図４（ａ）及び（ｂ）において、１８は、第１の検出光源部７ａ及び第２の検出光源部７ｂのフレームである。１９は、光源１５ａ及び光源１５ｂをフレーム１８に固定する樹脂製の固定部材である。

また、本実施の形態１においては、第１の検出光源部７ａの光源１５ａと第２の検出光源部７ｂの光源１５ｂは、共に、同一波長の光を出射する発光ダイオードである。よって、第１の検出光源部７ａが出射する第１の検出光２０（図１参照）の波長と、第２の検出光源部７ｂが出射する第２の検出光２１（図１参照）の波長とは、同一の長さとなる。

本実施の形態１において、第１の検出光２０及び第２の検出光２１の波長は、特に限定されるものではない。但し、第１の検出光２０及び第２の検出光２１の波長は、可視領域以外の領域、例えば赤外領域に設定されているのが好ましい。具体的には、第１の検出光２０及び第２の検出光２１の波長は、７００ｎｍ以上、好ましくは８００ｎｍ以上、特に好ましくは８５０ｎｍ以上に設定するのが良い。このような範囲に設定すると、表示パネル２が液晶表示パネルである場合に、液晶表示パネルを構成するカラーフィルタや偏光板に対する第１の検出光２０及び第２の検出光２１の透過率を高めることができるからである。更に、一般に、波長が１０００ｎｍを超える光を受光できる固体撮像素子は、高価であることから、上限は、１０００ｎｍ以下とするのが好ましい。

但し、検出光の波長が赤外領域に設定されている場合に、透明板１４上の物体によって反射された可視光線が撮像部４に入射すると、この可視光線はノイズ成分となる。また、ここでいう可視光線としては、表示パネル２が液晶表示パネルの場合は、バックライト装置５から出射され、表示パネル２で反射された照明光や、表示装置の外部からの光が挙げられる。このため、本実施の形態１においては、図３に示した光学フィルタ３１として、波長が７００ｎｍ以上、好ましくは８００ｎｍ以上、特に好ましくは８５０ｎｍ以上の光のみを透過させるハイパスフィルタを用いるのが良い。

また、図４に示すように、第１の検出光源部７ａ及び第２の検出光源部７ｂは、第１の検出光２０及び第２の検出光２１の発散度を制限するため、板状の遮光部材１６及び１７を備えている。遮光部材１７は、第１の光源１５ａ及び第２の光源１５ｂの表示領域３側に配置され、遮光部材１６は、第１の光源１５ａ及び第２の光源１５ｂの表示領域３側の反対側、つまり観察者側に配置されている。

第１の検出光源部７ａにおいて第１の検出光２０の発散度を制限するのは、第１の検出光２０の出射角を制御して、透明板１４内で第１の検出光２０を確実に全反射させるためである。また、第２の検出光源部７ｂにおいて第２の検出光２１の発散度を制限するのは、透明板１４から遠く離れた位置にある物体までもが撮像されてしまうことや、第２の検出光２１がフレーム２２（図１参照）の内壁で反射されて撮像部４に入射してしまうこと等を抑制するためである。

遮光部材１６及び１７の例としては、第１の検出光２０及び第２の検出光２１を透過させない部材、例えば、第１の検出光２０及び第２の検出光２１を反射させる反射部材や、第１の検出光２０及び第２の検出光２１を吸収する吸収部材が挙げられる。このうち、第１の光源１５ａ及び第２の光源１５ｂの発散度を制限するという観点からは、少なくとも光源側の面が光吸収性の高い黒色となっている吸収部材が好ましい。

また、図１及び図２に示すように、本実施の形態１では、第１の検出光源部７ａ及び第２の検出光源部７ｂは、４つずつ配置されている。第１の検出光源部７ａ及び第２の検出光源部７ｂは、それぞれ、観察者側からこれらを見たときに、表示領域３のいずれかの辺に沿って、表示領域３を囲むように配置されている（図２参照）。但し、第１の検出光源部７ａ及び第２の検出光源部７ｂの個数は特に限定されるものではない。例えば、第１の検出光源部７ａの数が２つであって、対向する２辺にのみ第１の検出光源部７ａが配置された態様であっても良い。第２の光源部７ｂについても同様の態様とすることができる。

また、本実施の形態１において、第１の検出光源部７ａ及び第２の検出光源部７ｂの構成は、図１及び図４に示した例に限定されるものではない。例えば、遮光部材１６及び１７の代わりに、第１の光源１５ａまたは第２の光源１５の前に、出射光を収束させるレンズ素子を配置した態様であっても良い。

更に、遮光部材１７のみ、又は遮光部材１６のみが配置された態様であっても良い。遮光部材１７のみが配置された態様においては、第１の光源１５ａ及び第２の光源１５ｂを遮光部材１７に向けて傾斜させることで、発散度を制限できる。また、遮光部材１６のみが配置された態様においては、第１の光源１５ａ及び第２の光源１５ｂを遮光部材１６に向けて傾斜させることで、発散度を制限できる。

次に、第１の検出光２０の全反射及び全反射条件の崩れについて、図５及び図６を用いて説明する。図５は、第１の検出光源部が第１の検出光を出射した状態を示す部分断面図である。図６は、透明板に入射した第１の検出光の屈折角を示す説明図である。

図５に示すように、遮光部材１６及び１７により、第１の光源１５ａから第１の検出光２０の発散度が制限され、これにより、表示パネル２の厚み方向における第１の検出光２０の出射角はγに設定されている。このとき、第１の検出光２０は、第１の透明板１４の内部で全反射しているとすると、出射角γは次のようにして求められる。

図６に示すように、透明板１４の内部に入射した第１の検出光２０が全反射するための臨界角をαとすると、全反射条件は下記式（３）によって表すことができる。なお、下記式（３）において、ｎは、透明板１４の屈折率である。透明板１４の周囲は、空気であるとする。

（数５）
α＝ｓｉｎ^-1（１／ｎ） ・・・・・（３）

また、図６に示すように、第１の検出光２０が透明板１４へ入射する際の入射角をθｉ、屈折角をθとすると、下記式（４）が成立する。なお、透明板１４の周囲に加え、第１の光源１５ａの周囲も空気であるとする。

（数６）
１・ｓｉｎθｉ＝ｎ・ｓｉｎθ ・・・・・（４）
上記式（４）より、入射角θｉは下記式（１）によって表すことができる。

（数７）
θｉ＝ｓｉｎ^-1（ｎ・ｓｉｎθ） ・・・・・（１）

また、上記式（３）に示す全反射条件を満たすためには、屈折角θ＝９０°−αとなる必要がある。よって、全反射条件を満たすための屈折角θは、上記式（３）より、下記式（２）によって表すことができる。

（数８）
θ＝９０°−ｓｉｎ^-1（１／ｎ） ・・・・・（２）

よって、透明板１４の内部に入射した第１の検出光２０を全反射させるためには、上記式（１）及び（２）の両方が満たされるように、第１の検出光２０の入射角度θｉを設定すれば良い。また、入射角度θｉ＝出射角γ／２であるから、全反射条件を満たす出射角γは、下記式（５）によって表すことができる。遮光部材１６及び１７は、出射角γ＝２θｉとなるように形成すれば良い。

（数９）
γ＝２ｓｉｎ^-1（ｎ・ｓｉｎθ） ・・・・・（５）

例えば、透明板１４として、屈折率ｎが１．４の材料で形成された透明板を用いる場合は、上記式（２）より、θ＝４４．４°となる。よって、上記式（１）より、全反射を生じさせるための入射角θｉは７８．５°となるから、出射角γは１５７°となる。つまり、透明板１４の屈折率ｎが１．４である場合は、出射角γが１５７°以下となるように、遮光部材１６及び１７を形成すれば良い。

但し、透明板１４が、屈折率１．４２以上の高屈折材料で形成されている場合、例えば、透明板１４が屈折率１．４９のアクリル樹脂で形成されている場合は、遮光部材１６及び１７によって第１の検出光２０の出射角γを制限しなくても良い。

この場合、上記式（２）及び（３）より、θ＝約４７．８°となるから、全反射を生じさせるためには、θが４７．８°以下となるように、検出光を入射させる必要がある。一方、入射角θｉが理論上最大となる９０°であった場合の屈折角θは、上記式（４）より、４２．２度となる。よって、透明板１４が屈折率１．４９のアクリル樹脂で形成されている場合は、第１の検出光２０の出射角γがどのような値であったとしても、全反射が生じるため、第１の検出光２０の発散度を制限する必要はない。

また、上記式（３）に示す全反射条件が満たされているときに、図５に示すように、透明板１４の観察者側の主面に、人の指１等が密着すると、上記式（３）が成立できずに全反射条件は崩れる。このとき、第１の検出光２０ａが透明板１４から表示パネル２側へと出射される。この第１の検出光２０ａは、表示パネル２を通過し、結像光学系（図３参照）を介して撮像部４に受光される。

具体的には、例えば、図５に示した人の指１のように表面に水分や油分が付着した物体が、アクリル樹脂等で形成された透明板１４に接触すると、物体と透明板１４とは光学的に密着する。そして、それまで透明板１４と空気との界面であったところが、透明板１４と物体との界面になる。全反射条件は透明物体同士の界面の屈折率差により決まり、透明な透明板１４と不透明な物体との界面においては、全反射が起きないから、第１の検出光２０ａは物体に入射し、そこで反射される。その結果、反射された第１の検出光２０ａは、透明板１４に再度入射し、更にそれを通過して、透明板１４の表示パネル２側へと出射される。

このように、本実施の形態１においては、撮像部４は、全反射条件の崩れによって出射された第１の検出光２０ａにより、透明板１４の観察者側の主面に密着している物体（指１）を被写体として撮像する。また、このとき、透明板１４に密着していない物体が撮像されることはない。

このため、本実施の形態１においては、図１０を用いて後述するように、撮像部４が第１の検出光２０ａを受光して得た撮像画像を用いて、透明板１４に密着した指１等の座標の検出を行うことができ、表示装置にタッチパネル機能を付加できる。更に、透明板１４上のどの位置にある指１であっても、透明板に密着している限り、確実に撮像されるので、センシング精度に優れたタッチパネルとなる。

ところで、表面に水分や油分が付着していない物体等、透明板１４との密着性の低い物体が、透明板１４に接触した場合は、図５に示すように全反射条件は崩れないので、透明板１４から第１の検出光２０ａが出射されることはない。よって、第１の検出光源部７ａしか備えられていないとすると、このような物体の撮像が困難となる。このため、上述したように、第２の検出光源部７ｂが備えられており、全反射条件の崩れが生じない物体に対しては第２の検出光２１を反射させて、撮像が行われる（図７参照）。

図７は、第２の検出光源部が第２の検出光を出射した状態を示す部分断面図である。図７は、商品２５に取り付けられたタグ２４の撮像を行う例を示している。タグ２４は、樹脂材料で形成されており、その表面には、バーコード、ＱＲコード、価格等の商品情報が印刷されている。

この樹脂材料で形成されたタグ２４の表面は、肉眼で見ると平滑であるが、実際には、図７に示すように複数の小さな凹凸が存在している。更に、通常の状態では、タグ２４の表面には水分や油分は付着していない。よって、タグ２４が透明板１４に接触しても、タグ２４と透明板１４との間には、複数の細かな空気層が介在してしまうため、第１の検出光２０（図５参照）の全反射条件は殆ど崩れず、第１の検出光２０ａ（図５参照）の出射も殆ど無い。

一方、第２の検出光源部７ｂから出射された第２の検出光２１は、物体と透明板１４との密着の有無に関わらず、透明板１４上の物体で反射される。よって、図７の例では、第２の検出光２１ａはタグ２４で反射され、反射された第２の検出光２１ａは表示パネル２を通過し、撮像部４（図１参照）に受光される。この結果、タグ２４は被写体として撮像される。

このように、本実施の形態１においては、撮像部４は、透明板１４に密着して全反射条件の崩れを発生させる物体については、第１の検出光２０ａによって撮像を行い、透明版１４に密着しない物体については、第２の検出光２１ａによって撮像を行う。本実施の形態１における表示装置によれば、透明板１４上に存在している物体を、それと透明板１４との密着状態に関わらず、確実に撮像することができる。

ここで、本実施の形態１における電子機器について図８及び図９を用いて説明する。図８は、本発明の実施の形態１における表示装置及び電子機器を示すブロック図である。図８に示すように、本実施の形態１における表示装置１１０は、本実施の形態１における電子機器１００に接続されている。表示装置１１０は、図１〜図５及び図７に示した構成に加え、制御装置１０９を備えている。制御装置１０９は、主に、画像入力制御部１０７と、表示制御部１０８とを備えている。

画像入力制御部１０７は、電子機器１００からの制御信号による指示に応じて、第１の検出光源部７ａ及び第２の検出光源部７ｂそれぞれに検出光を出射させ、また、撮像部４に撮像の指示や撮像データの出力を求める。また、画像入力制御部１０７は、複数個の撮像部４それぞれが出力した撮像データを、撮像部４毎に、メモリ１０６に一旦記憶し、その後、各撮像データを電子機器１００に出力する。その他、画像入力制御部１０７は、電子機器１００の制御信号による指示に応じて、撮像部４の固体撮像素子３２（図３参照）に対して、感度設定や解像度設定等を行うこともできる。

表示制御部１０８は、電子機器１００が出力した映像信号に基づいて制御信号を生成し、これを表示パネル２の駆動回路（図示せず）に入力する。これにより、アクティブマトリクス基板（図１参照）に形成された複数の画素が駆動され、映像信号に応じた画像が表示領域３に表示される。

電子機器１００は、例えば、パーソナルコンピュータ、ゲーム機器、テレビ受信機、ＤＶＤプレイヤー、家庭電化製品、及び産業用機器といった表示装置に映像信号を出力する各種電子機器である。電子機器１００は、情報処理部１０４と、画像処理部１０５とを主に備えている。画像処理部１０５は、画像合成部１０１と、ノイズ除去部１０２と、画像識別部１０３とを備えている。

表示装置１１０の画像入力制御部１０７が出力した各撮像データは、画像合成部１０１に入力される。入力された各撮像データは、画像合成部１０１によって合成されて、１フレームを構成する一つの画像データとされる。この画像データは、ノイズ除去部１０２へと送られる。

また、ノイズ除去部１０２は、画像合成部１０１が出力した画像データから、オフセット成分を減算する。更に、ノイズ除去部１０２は、オフセット成分の除去後の画像データから、表示成分の除去を行う。その後、ノイズ除去部１０２は、得られた画像データを画像識別部１０３へと出力する。

ここで、オフセット成分とは、バックライト装置５（図１参照）から照射された後、表示装置１１０の構成部材の表面や構成部材間の界面等で反射され、撮像部４の固体撮像素子３２（図３参照）に入射した光量成分をいう。また、表示成分とは、表示パネル２を介して外部から撮像部４に入射した光量成分をいう。表示成分は、表示領域３（図１参照）に表示される画像によって変動する。

表示成分は、設定された基準データから算出され、算出された値を用いて上記の処理が行われる。オフセット成分は予め設定され、電子機器１００が備えるメモリ（図示せず）に格納されている。表示成分を算出するための基準データも同様に予め設定され、電子機器１００が備えるメモリ（図示せず）に格納されている。

オフセット成分の設定は、例えば、次の手順によって行うことができる。先ず、表示領域３への外部からの光の入射が遮断された状態とする。例えば、液晶表示装置を暗室に配置することによって、または、赤外光（検出光）を透過させるが可視光を透過させないシートや暗幕によって表示領域３を覆うことによって行う。更に、表示領域３上に被写体となる物体が存在しない状態とする。

次に、バックライト装置５の光源の点灯、第１の検出光源部７ａによる第１の検出光２０（図１参照）の照射、及び第２の検出光源部７ｂによる第２の検出光２１（図１参照）の照射を行い、このときに撮像部４が出力する撮像データを取得する。このとき取得された撮像データ、即ち上記状態で撮像部４の固体撮像素子３２（図３参照）に入射した光量成分が、オフセット成分となる。オフセット成分の設定は、液晶表示装置の工場出荷段階で行うこともできるし、使用を開始した後にユーザが随時行うこともできる。

また、表示成分を算出するための基準データの設定は、例えば次の手順によって行なうことができる。先ず、表示装置１１０の設置環境下において、表示領域３上に被写体となる物体が存在しない状態とする。次に、外光成分が表示パネル２を介して撮像部４に入射したときに、撮像部４が出力する撮像データの最大値および最小値、即ち、表示パネル２が白表示状態時及び黒表示状態にある時の撮像データを取得する。次に、取得された撮像データから、表示装置１１０の設置環境下における、外光成分の入射による表示成分の出力幅を算出する。このとき算出された出力幅のデータが、表示成分を算出するためのデータ（基準データ）となる。上述した設定作業は、表示装置１１０の使用環境が同じであれば、設置時に一度行えばそれで良い。

また、表示成分は、表示装置１１０を使用している状況下で、映像信号から得られる表示画像の階調レベルと、予め算出された出力幅（基準データ）とから算出される。上述した表示成分の除去は、具体的には、次の手順によって行われる。先ず、ノイズ除去部１０２は、情報処理部１０５から出力された映像信号から、表示画像の階調レベルを抽出し、抽出した階調レベルと基準データとから表示成分を算出する。次に、ノイズ除去部１０２は、このとき撮像部４が出力した撮像データ（画像合成部１０１によって合成された画像データ）から表示成分を減算する。また、上述のように、表示成分は、表示領域３に表示される画像によって変動することから、表示状態の変化に応じて随時表示成分を算出する必要がある。

また、画像識別部１０３は、画像合成及びノイズ除去が行われた画像データに基づいて、被写体の識別、被写体の画像データの抽出、及び被写体の座標の検出を行い、これらを特定する情報（識別情報）を情報処理部１０４に出力する。

情報処理部１０４は、画像識別部１０３が出力した識別情報を用いて、電子機器１００の用途に応じた各種情報処理を行う。具体的には、情報処理としては、例えば、電子機器１００がパーソナルコンピュータであるならば、指（図５参照）が接触している位置にカーソルを移動させる処理や、特定の位置に指が接触している場合に画面を切り替える処理等が挙げられる。

また、情報処理部１０４は、第１の検出光源部７ａ及び第２の検出光源部７ｂに検出光を出射させるため、更に、撮像部４に撮像及び撮像データの出力を行わせるため、画像入力制御部１０７に出力する制御信号を生成する。更に、情報処理部１０４は、識別情報を用いた情報処理の結果が反映された映像信号を生成し、これを表示制御部１０８に出力する。

本実施の形態１において、表示装置１１０の制御装置１０９、は、例えば、ＣＰＵを内蔵したＩＣチップによって提供できる。ＩＣチップは、例えば、ＦＰＣを介して表示パネル２に接続された基板上に搭載できる。また、電子機器１０５の画像処理部１００と情報処理部１０４も、ＣＰＵを内蔵したＩＣチップによって提供できる。

また、本実施の形態１においては、表示装置１１０が画像処理部１０５を備えた態様とすることもできる。図９は、本発明の実施の形態１における表示装置及び電子機器の他の例を示すブロック図である。

図９に示すように、本例では、画像処理部１０５は、表示装置１１０の制御装置１０９に備えられている。但し、本例は、この点以外においては、図８の例と同様であり、同様の処理が行われる。本例とした場合は、表示装置１１０が接続される電子機器１００の処理負担の軽減化や、表示装置１１０の汎用化を促進できる。

次に、図８に示した電子機器が表示装置からの撮像データに対して行う処理について、図１０を用いて説明する。図１０は、図８に示した電子機器が撮像データに対して行う処理の流れを示すフロー図である。なお、以下の説明においては、適宜、図１〜図５、図７及び図８を参酌する。

図１０に示すように、最初に、情報処理部１０４は、画像入力制御部１０７に、第２の検出光源部７ｂによる第２の検出光２１の出射と、撮像部４による撮像とを指示する制御信号を出力する（ステップＳ１）。これにより、画像入力部１０７から第２の検出光源部７ｂに制御信号が出力され、第２の検出光源部７ｂは、設定された時間の間、第２の検出光２１を出射する。また、撮像部４は、透明板１４上にある物体で反射された第２の検出光２１ａを受光して、撮像を行う。

次に、情報処理部１０４は、画像入力制御部１０７に、撮像部４による撮像データの出力を指示する制御信号を出力する（ステップＳ２）。これにより、撮像部４は、撮像データを画像入力制御部１０７に出力する。また、撮像データは、撮像部４毎に、一旦、メモリ１０６に記憶され、その後、撮像部４毎に記憶された撮像データは、画像合成部１０１に出力される。

次に、画像合成部１０１は、撮像部４毎の撮像データを一つの画像データに合成し、更に、ノイズ除去部１０２は、この画像データに対して、オフセット成分及び表示成分の除去を行う（ステップＳ３）。

次いで、画像識別部１０３は、ステップＳ３で得られた画像データに特定画像に一致する部分が含まれているかどうかを判定する（ステップＳ４）。特定画像としては、例えば、バーコードやＱＲコードといった記号、数字、文字といったタグ２４に印刷された商品情報の画像が挙げられる。特定画像は、電子機器１００の使用者や製造者が予め設定し、電子機器１００のメモリ（図８において図示せず）に記憶されている。

ステップＳ４の判定の結果、ステップＳ３で得られた画像データに特定画像に一致する部分が含まれている場合は、画像識別部１０３は、この特定画像に一致する部分の座標（位置）を検出する（ステップＳ５）。検出される座標としては、例えば、特定画像に一致する部分の中心の座標が挙げられる。

更に、画像識別部１０３は、ステップＳ５において、画像データに一致する部分が含まれていた特定画像と検出された座標とを特定する情報を、情報処理部１０４に出力する。一方、ステップＳ４の判定の結果、ステップＳ３で得られた画像データに特定画像に一致する部分が含まれていない場合は、画像識別部１０３は、含まれていない旨を情報処理部１０４に通知する。

画像識別部１０３による情報処理部１０４への特定画像に関する情報の出力又は通知が終了すると、情報処理部１０４は、画像入力制御部１０７に、第１の検出光源部７ａによる第１の検出光２０の出射と、撮像部４による撮像とを指示する制御信号を出力する（ステップＳ６）。これにより、画像入力部１０７から第１の検出光源部７ｂに制御信号が出力され、第１の検出光源部７ａは、設定された時間の間、第１の検出光２０を出射する。また、撮像部４は、透明板１４上の物体による全反射条件の崩れによって出射された第１の検出光２０ａを受光して、撮像を行う。

次に、情報処理部１０４は、ステップＳ２と同様に、画像入力制御部１０７に、撮像部４による撮像データの出力を指示する制御信号を出力する（ステップＳ７）。更に、ステップＳ３と同様に、画像合成部１０１による撮像データの合成、ノイズ除去部１０２によるオフセット成分及び表示成分の除去が行われる（ステップＳ８）。

次いで、画像識別部１０３は、座標入力が行われたかどうか、即ち、電子機器のユーザが指１によって表示画面（透明板１４上の表示領域３に対応する領域）をタッチしたかどうかを判定する（ステップＳ９）。具体的には、画像識別部１０３は、ステップＳ８でノイズ除去部１０２が出力した画像データと、以前に行われたステップＳ８で出力された画像データとを対比して、設定時間の間に、画像中に輝度変化が存在するかどうかを判定する。このように、画像データ中の輝度変化に基づいて判定するのは、誤ってタッチされた場合を排除するためである。

ステップＳ９の判定の結果、座標入力が行われている場合は、画像識別部１０３は、入力位置の座標を検出する（ステップＳ１０）。具体的には、画像データ中に含まれている物体の画像の中心の座標を検出する。また、画像識別部１０３は、ステップＳ１０において、検出した座標を特定する情報を情報処理部１０４に出力する。一方、ステップＳ９の判定の結果、座標入力が行われていない場合は、画像識別部１０３は、座標入力が行われていない旨を情報処理部１０４に通知する。

画像識別部１０３による情報処理部１０４への座標入力に関する情報の出力及び通知が終了すると、情報処理部１０４は、ステップＳ５及びＳ１０で出力された情報を用いて、電子機器１００の用途に応じた各種情報処理を行い（ステップＳ１１）、処理を終了する。具体的には、情報処理としては、例えば、ステップＳ５で出力された特定画像がＱＲコードであるならば、対応した情報を表示する映像信号を生成し、これを表示制御部１０８に出力する処理が挙げられる。また、ステップＳ１０で出力された座標をユーザの入力位置として特定し、この入力位置に基づいて、画面上のカーソルを移動させる処理や、画面を切り替える処理等も挙げられる。

このように、本実施の形態１においては、撮像部４が撮像画像を出力したタイミングによって、第１の検出光２０ａから得られた撮像画像と、第２の検出光２１ａから得られた撮像画像とを区別できる。このため、電子機器１００は、簡単に、透明板１４上に存在する物体が透明板１４に密着しているものであるかどうか、即ち、人の指１であるのか、又は物であるのかを判定できる。

本実施の形態１において、ステップＳ１〜Ｓ１１の処理は、連続して、又は一定時間の経過毎に、繰り返して行われても良いし、情報処理部１０４で行われる処理に応じて、必要な場合にのみ行われても良い。

また、上述の図１０の例では、特定画像及び座標入力を検出する場合について説明しているが、本実施の形態１によれば、透明板１４上の物体の様子を動画として撮像することもできる。但し、通常、滑らかな動画を得るためには、１秒間に１５フレーム以上の画像の取得が求められることから、このような場合は、第１の検出光源部７ａ及び第２の検出光源部７ｂに対して、（１／３０）秒以下の間隔で、交互に出射を行わせるのが好ましい。つまり、ステップＳ１からステップＳ６までの間隔、及びステップＳ６から次の処理のステップＳ１までの間隔は、（１／３０）秒以下に設定するのが好ましい。

（実施の形態２）
次に、本発明の実施の形態２における表示装置及び電子機器について説明する。本実施の形態２における表示装置は、図１〜図５、図７及び図８に示した実施の形態１における表示装置と同様の構成を備えている。また、本実施の形態２における電子機器は、図８に示した実施の形態１における電子機器と同様の構成を備えている。但し、本実施の形態２は、電子機器の画像識別部で行われる処理の点で、実施の形態１と異なっている。

以下に、本実施の形態２における電子機器で行われる処理について図１１を用いて説明する。図１１は、本発明の実施の形態２における電子機器が撮像データに対して行う処理の流れを示すフロー図である。なお、以下の説明においては、適宜、図１〜図５、図７及び図８を参酌する。

図１１に示すように、最初に、情報処理部１０４は、画像入力制御部１０７に、第２の検出光源部７ｂによる第２の検出光２１の出射と撮像部４による撮像とを指示する制御信号を出力する（ステップＳ２１）。次に、情報処理部１０４は、画像入力制御部１０７に、撮像部４による撮像データの出力を指示する制御信号を出力する（ステップＳ２２）。次に、画像合成部１０１は、撮像部４毎の撮像データを一つの画像データに合成し、ノイズ除去部１０２は、この画像データに対して、オフセット成分及び表示成分の除去を行う（ステップＳ２３）。ステップＳ２１〜Ｓ２３は、図１０に示したステップＳ１〜Ｓ３と同様のステップである。

次に、画像識別部１０３は、実施の形態１と異なり、ステップＳ３で得られた画像データに物体の画像が含まれているか、即ち、何らかの物体が撮像されているかどうかを判定する（ステップＳ２４）。具体的には、図１０に示したステップＳ９と同様に、画像識別部１０３は、ステップＳ２３でノイズ除去部１０２が出力した画像データと、以前に行われたステップＳ２３で出力された画像データとを対比して、設定時間の間に、画像中に輝度変化が存在するかどうかを判定する。

ステップＳ２４の判定の結果、画像データに物体の画像が含まれている場合は、画像識別部１０３は、撮像された物体の画像データを抽出し、更に、物体の画像の座標を検出する（ステップＳ２５）。検出される座標としては、例えば、物体の画像の中心の座標が挙げられる。一方、ステップＳ２４の判定の結果、画像データに物体の画像が含まれていない場合は、画像識別部１０３は、その旨を情報処理部１０４に通知し、これにより情報処理部１０４はステップＳ３４を実行する。

次に、ステップＳ２５が実行された場合は、画像識別部１０３は、抽出された物体の画像データの中から、特定画像に一致する画像を特定する（ステップＳ２６）。そして、画像識別部１０３は、ステップＳ２６において、特定画像に一致する画像とこの画像について検出された座標とを特定する情報を、情報処理部１０４に出力する。但し、特定画像に一致する画像が存在していない場合は、画像識別部１０３は、その旨を情報処理部１０４に通知する。また、ここでいう「特定画像」も実施の形態１で述べた特定画像と同様のものである。

画像識別部１０３による情報処理部１０４への特定画像に関する情報の出力又は通知が終了すると、情報処理部１０４は、画像入力制御部１０７に、第１の検出光源部７ａによる第１の検出光２０の出射と、撮像部４による撮像とを指示する制御信号を出力する（ステップＳ２７）。更に、情報処理部１０４は、画像入力制御部１０７に、撮像部４による撮像データの出力を指示する制御信号を出力する（ステップＳ２８）。次いで、画像合成部１０１による撮像データの合成、ノイズ除去部１０２によるオフセット成分及び表示成分の除去が行われる（ステップＳ２８）。ステップＳ２７〜Ｓ２９は、図１０に示したステップＳ６〜Ｓ８と同様のステップである。

次いで、画像識別部１０３は、座標入力が行われたかどうかを判定する（ステップＳ３０）。ステップＳ３０は、図１０に示したステップＳ９と同様のステップである。ステップＳ３０の判定の結果、座標入力が行われている場合は、画像識別部１０３は、入力位置の座標を検出する（ステップＳ３１）。ステップＳ３１は、図１０に示したステップＳ１０と同様のステップである。一方、ステップＳ３０の判定の結果、座標入力が行われていない場合は、画像識別部１０３は、座標入力が行われていない旨を情報処理部１０４に通知する。

次に、ステップＳ３１が実行された場合は、情報処理部１０４は、実施の形態１と異なり、ステップＳ２５で検出された座標の中に、ステップＳ３１で検出された座標と一致する座標が存在しているかどうかを判定する（ステップＳ３２）。

ステップＳ３２の判定の結果、ステップＳ２５で検出された座標の中に、ステップＳ３１で検出された座標と一致する座標が存在している場合は、情報処理部１０４は、ステップＳ３１で検出された座標を入力位置に設定する（ステップＳ３３）。一方、ステップＳ３２の判定の結果、ステップＳ２５で検出された座標の中に、ステップＳ３１で検出された座標と一致する座標が存在しない場合は、情報処理部１０４は、座標入力が行われていないと判断する。

その後、情報処理部１０４は、ステップＳ２６で出力された情報を用いて、電子機器１００の用途に応じた各種情報処理を行い（ステップＳ３４）、処理を終了する。ステップＳ３４は、図１０に示したステップＳ１１と同様のステップである。本実施の形態２においても、実施の形態１と同様に、ステップＳ２１〜Ｓ３４の処理は、連続して、又は一定時間の経過毎に、繰り返して行われても良いし、情報処理部１０４で行われる処理に応じて、必要な場合にのみ行われても良い。

このように、本実施の形態２においては、ステップＳ３１で検出された座標は、ステップＳ２５で検出された座標と一致して初めて、入力位置であると認定される。よって、例えば、透明板１４上に水分や油分による汚れがあり、それによって第１の検出光２０ａが出射された場合と、指１等の接触によって第１の検出光２０ａが出射された場合とが区別される。このため、本実施の形態２によれば、実施の形態１に比べて、入力位置の誤認識の発生を抑制することができる。

（実施の形態３）
次に、本発明の実施の形態３における表示装置及び電子機器について説明する。本実施の形態３における表示装置は、図１〜図５、図７及び図８に示した実施の形態１における表示装置と同様の構成を備えている。また、本実施の形態３における電子機器は、図８に示した実施の形態１における電子機器と同様の構成を備えている。但し、本実施の形態３は、第１の検出光源部及び第２の検出光源部による検出光の出射タイミングの点、及び電子機器で行われる処理の点で、実施の形態１と異なっている。

以下に、本実施の形態３における電子機器で行われる処理について図１２を用いて説明する。図１２は、本発明の実施の形態３における電子機器が撮像データに対して行う処理の流れを示すフロー図である。なお、以下の説明においては、適宜、図１〜図５、図７及び図８を参酌する。

図１２に示すように、最初に、情報処理部１０４は、実施の形態１及び２と異なり、画像入力制御部１０７に、第１の検出光源部７ａと第２の検出光源部７ｂとの両方による検出光の出射と撮像部４による撮像とを指示する制御信号を出力する（ステップＳ４１）。これにより、本実施の形態３においては、第１の検出光源部７ａ及び第２の検出光源部７ｂの両方が、設定された時間の間、検出光を出射する。また、撮像部４は、透明板１４から出射された第１の検出光２０ａと、透明板１４上にある物体で反射された第２の検出光２１ａとの両方を受光して撮像を行う。

次に、情報処理部１０４は、画像入力制御部１０７に、撮像部４による撮像データの出力を指示する制御信号を出力する（ステップＳ４２）。次に、画像合成部１０１は、撮像部４毎の撮像データを一つの画像データに合成し、ノイズ除去部１０２は、この画像データに対して、オフセット成分及び表示成分の除去を行う（ステップＳ４３）。ステップＳ４２〜Ｓ４３は、図１０に示したステップＳ２〜Ｓ３と同様のステップである。

次に、画像識別部１０３は、ステップＳ４３で得られた画像データに物体の画像が含まれているか、即ち、何らかの物体が撮像されているかどうかを判定する（ステップＳ４４）。ステップＳ４４は、図１１に示したステップＳ２４と同様のステップである。

ステップＳ４４の判定の結果、画像データに物体の画像が含まれている場合は、画像識別部１０３は、撮像された物体の画像データを抽出し、更に、物体の画像の座標を検出する（ステップＳ４５）。一方、ステップＳ４４の判定の結果、画像データに物体の画像が含まれていない場合は、画像識別部１０３は、その旨を情報処理部１０４に通知し、これにより情報処理部１０４はステップＳ５０を実行する。ステップＳ４５は、図１１に示したステップＳ２５と同様のステップである。

次に、ステップＳ４５が実行された場合は、画像識別部１０３は、抽出された物体の画像データの中から、特定画像に一致する画像を特定する（ステップＳ４６）。そして、画像識別部１０３は、ステップＳ４６において、特定画像に一致する画像とこの画像について検出された座標とを特定する情報を、情報処理部１０４に出力する。但し、特定画像に一致する画像が存在していない場合は、画像識別部１０３は、その旨を情報処理部１０４に通知する。ステップＳ４６は、図１１に示したステップＳ２６と同様のステップである。

次いで、実施の形態１及び２と異なり、情報処理部１０４は、ステップＳ４６で特定されなかった物体の画像について、輝度を検出する（ステップＳ４７）。更に、情報処理部１０４は、ステップＳ４７で検出された輝度が設定閾値以上である物体の画像が存在するかどうかを判定する（ステップＳ４８）。

ステップＳ４８の判定の結果、輝度が設定閾値以上である物体の画像が存在する場合は、情報処理部１０４は、ステップＳ４５で検出された、この物体の画像の座標を、入力位置に設定する（ステップＳ４９）。一方、ステップＳ４８の判定の結果、輝度が設定閾値以上である物体の画像が存在しない場合は、情報処理部１０４は、座標入力が行われていないと判断する。

このように輝度が設定閾値以上である物体の画像の座標を入力位置とするのは、次の理由による。即ち、本実施の形態３では、第１の検出光源部７ａと第２の検出光源部７ｂとの両方から検出光が出射される。第２の検出光２１は、透明板１４に密着している物体によっても反射され、この反射光も撮像部４に受光される。よって、透明板１４に密着している物体については、第１の検出光２０ａと第２の検出光２１ａとの両方によって撮像が行われ、この物体の画像の輝度は、密着していない物体の画像の輝度よりも高くなるからである。なお、設定閾値は、予め行う実験によって設定することができる。

その後、情報処理部１０４は、ステップＳ４６で出力された情報を用いて、電子機器１００の用途に応じた各種情報処理を行い（ステップＳ５０）、処理を終了する。ステップＳ５０は、図１０に示したステップＳ１１と同様のステップである。本実施の形態３においても、実施の形態１と同様に、ステップＳ４１〜Ｓ５０の処理は、連続して、又は一定時間の経過毎に、繰り返して行われても良いし、情報処理部１０４で行われる処理に応じて、必要な場合にのみ行われても良い。

このように本実施の形態３においては、実施の形態１及び２と異なり、透明板上にある物体は一度に全て撮像される。よって、本実施の形態３によれば、電子機器が、物体やその位置を特定する識別処理を行う場合において、処理速度の向上を図ることができる。

また、本実施の形態３は、例えば、以下の態様とすることができる。一の態様では、第１の光源１５ａ及び第２の光源１５ｂ（図４参照）として、出射光の波長がそれぞれ異なるものが用いられる。更に、固体撮像素子３２として、受光素子の感度が受光した光の波長に応じて変化する特性を備えたものが用いられる。この態様では、受光素子の出力値は第１の検出光２０を受光したときと、第２の検出光２１を受光したときとで異なる。よって、この態様とした場合も、図１２の例と同様に、透明板１４に密着している物体の画像の輝度は、密着していない物体の輝度と異なるため、図１２の例と同様に、精度良く入力位置を検出できる。

また、他の態様では、第１の光源１５ａ及び第２の光源１５ｂの出射光の波長がそれぞれ異なる点では同じであるが、撮像部４の固体撮像素子３２（図４参照）として、複数の受光素子それぞれ毎に光学フィルタが配置されたものが用いられる。そして、複数の光学フィルタのうち、一部の光学フィルタとしては第１の検出光２０ａのみを通過させるものが用いられる。更に、残りの光学フィルタとしては第２の検出光２１ａのみを通過させるものが用いられる。

例えば、第１の検出光２０の波長が８００ｎｍに設定され、第２の検出光２１の波長が８５０ｎｍに設定されているのであれば、８１０ｎｍ以下の光のみを透過させるローパスフィルタと、８４０ｎｍ以上の光のみを通過させるハイパスフィルタとが用いられる。

この態様とした場合は、固体撮像素子３２の各受光素子が出力した信号を対応する光学フィルタの種類ごとに選別することにより、撮像された物体が透明板１４に密着しているかどうかを判定できる。

以上のように、本発明の表示装置は、入力機能を備えており、パーソナルコンピュータ、テレビ、ゲーム機器等の電子機器の表示装置として有用である。よって、本発明における表示装置及びそれに接続される電子機器は産業上の利用可能性を有している。

図１は、本発明の実施の形態１における表示装置の全体の概略構成を示す断面図である。 図２は、図１に示す表示装置の主要部分の位置関係を示す分解斜視図である。 図３は、図１及び図２に示した表示装置に備えられた撮像部の概略構成を示す断面図である。 図４は、図１及び図２に示した第１の検出光源部及び第２の検出光源部の概略構成を示す図であり、図４（ａ）は出射方向に沿って切断した断面図、図４（ｂ）は正面図である。 図５は、第１の検出光源部が第１の検出光を出射した状態を示す部分断面図である。 図６は、透明板に入射した第１の検出光の屈折角を示す説明図である。 図７は、第２の検出光源部が第２の検出光を出射した状態を示す部分断面図である。 図８は、本発明の実施の形態１における表示装置及び電子機器を示すブロック図である。 図９は、本発明の実施の形態１における表示装置及び電子機器の他の例を示すブロック図である。 図１０は、図８に示した電子機器が撮像データに対して行う処理の流れを示すフロー図である。 図１１は、本発明の実施の形態２における電子機器が撮像データに対して行う処理の流れを示すフロー図である。 図１２は、本発明の実施の形態３における電子機器が撮像データに対して行う処理の流れを示すフロー図である。

符号の説明

１ 指（被写体）
２ 表示パネル
２ａ フィルタ基板
２ｂ 液晶層
２ｃ アクティブマトリクス基板
３ 表示領域
４ 撮像部
５ バックライト装置
６ 蛍光ランプ
７ａ 第１の検出光源部
７ｂ 第２の検出光源部
８ 筐体
９ 拡散板
１０ 拡散シート
１１ プリズムシート
１２ 反射／偏光シート
１３ 光学層
１４ 透明板
１４ａ 透明板の側面
１５ａ第１の検出光源部の光源
１５ｂ 第２の検出光源部の光源
１６、１７ 制限部材（遮蔽部材）
１８ 検出光源部のフレーム
１９ 固定部材
２０ 第１の検出光
２０ａ 全反射条件の崩れによって透明板から出射した第１の検出光
２１ 第２の検出光
２１ａ 被写体で反射された第２の検出光
２２ 表示装置のフレーム
２３ 表示領域と透明板との間の空間
２４ 商品タグ
２５ 商品
３０、３５ レンズ素子（結像光学系）
３０ａ、３５ａ 光軸
３１ 光学フィルタ
３２ 固体撮像素子
３２ａ 固体撮像素子の受光面の中心を通る法線
３３、３６ 撮像部のフレーム
１００ 電子機器
１０１ 画像合成部
１０２ ノイズ除去部
１０３ 画像識別部
１０４ 情報処理部
１０５ 画像処理部
１０６ メモリ
１０７ 画像入力制御部
１０８ 表示制御部
１０９ 制御装置
１１０ 表示装置

Claims (12)

1. 光透過性を有する表示パネルと、結像光学系を有する撮像部と、第１の検出光を出射する第１の検出光源部と、第２の検出光を出射する第２の検出光源部と、透明板とを備え、
   前記透明板は、前記表示パネルの観察者側に前記表示パネルの表示領域を覆うように配置され、且つ、前記表示領域との間に空間を形成し、
   前記第１の検出光源部は、前記第１の検出光が前記透明板の側面から前記透明板の内部に入射するように配置され、且つ、前記透明板の内部に入射した前記第１の検出光が前記透明板の内部で全反射するように前記第１の検出光を出射し、
   前記第２の検出光源部は、前記表示領域の周辺の領域に、前記第２の検出光が、前記空間から、前記透明板を介して、前記透明板の観察者側へ出射されるように配置され、
   前記撮像部は、前記全反射の条件の崩れによって前記透明板から出射し、そして前記表示パネルを通過した前記第１の検出光と、前記透明板の観察者側で反射されて前記透明板に再度入射し、そして前記透明板及び前記表示パネルを通過した前記第２の検出光とを、前記結像光学系を介して受光して、前記透明板の観察者側における状態を撮像することを特徴とする表示装置。
2. 前記第１の検出光源部及び前記第２の検出光源部が、それぞれ、前記第１の検出光又は前記第２の検出光として７００ｎｍ以上の波長の光を出射し、
   前記撮像部が、７００ｎｍ以上の波長の光のみを受光する請求項１に記載の表示装置。
3. 前記透明板を形成する材料の屈折率をｎ、前記透明板に入射する前記第１の検出光の入射角度をθｉとしたときに、
   前記透明板に入射する前記第１の検出光の入射角度θｉが、下記式（１）及び（２）から求められる値以下に設定されている請求項１または２に記載の表示装置。
   （数１）
   θｉ＝ｓｉｎ^-1（ｎ・ｓｉｎθ） ・・・・・（１）
   （数２）
   θ＝９０°−ｓｉｎ^-1（１／ｎ） ・・・・・（２）
4. 前記表示パネルが、液晶表示パネル又はＥＬ表示パネルである請求項１〜３のいずれかに記載の表示装置。
5. 前記第１の検出光源部及び前記第２の検出光源部それぞれに出射を指示する制御部を更に備え、
   前記制御部が、前記第１の検出光源部及び前記第２の検出光源部に対して、交互に出射を行わせる請求項１〜４のいずれかに記載の表示装置。
6. 前記制御部が、前記第１の検出光源部及び前記第２の検出光源部に対して、（１／３０）秒以下の間隔で、交互に出射を行わせる請求項５に記載の表示装置。
7. 前記第１の検出光源部及び前記第２の検出光源部それぞれに出射を指示する制御部を更に備え、
   前記制御部が、前記第１の検出光源部及び前記第２の検出光源部に対して、同時に出射を行わせる請求項１〜４のいずれかに記載の表示装置。
8. 前記第１の検出光の波長と、前記第２の検出光の波長とが、異なる値に設定され、
   前記撮像部が、複数の受光素子を有する固体撮像素子を備え、
   前記受光素子が、受光した光の波長に応じて感度が変化する特性を備えている請求項７に記載の表示装置。
9. 前記第１の検出光の波長と、前記第２の検出光の波長とが、異なる値に設定され、
   前記撮像部が、複数の受光素子を有する固体撮像素子と、前記複数の受光素子それぞれ毎に配置された複数の光学フィルタとを備え、
   前記複数の光学フィルタのうち、一部の光学フィルタは前記第１の検出光を通過させ、残りの光学フィルタは前記第２の検出光を通過させる請求項７に記載の表示装置。
10. 上記請求項１〜６のいずれかに記載の表示装置に接続される電子機器であって、
    画像処理部と、情報処理部とを備え、
    前記表示装置において、前記第１の検出光源部による前記第１の検出光の出射と、前記第２の検出光源部による前記第２の検出光の出射とが、交互に行われているときに、
    前記画像処理部は、前記第１の検出光源部が第１の検出光を出射したときに前記撮像部が撮像した第１の画像から、前記透明板上に位置する物体の位置を検出し、
    前記情報処理部は、前記画像処理部によって検出された物体の位置を、前記表示装置の表示画面上の入力位置として特定することを特徴とする電子機器。
11. 前記画像処理部が、前記第１の検出光源部が第１の検出光を出射したときに前記撮像部が撮像した第１の画像と、前記第２の検出光源部が第２の検出光を出射したときに前記撮像部が撮像した第２の画像とのそれぞれから、前記透明板上に位置する物体の画像を抽出し、更に、前記透明板上に位置する物体の位置を検出し、
    前記情報処理部が、前記第１の画像及び前記第２の画像の両方から抽出される物体の画像を特定し、特定された前記物体の位置を、前記表示装置の表示画面上の入力位置として特定する請求項１０に記載の電子機器。
12. 上記請求項１〜４、または７に記載の表示装置に接続される電子機器であって、
    画像処理部と、情報処理部とを備え、
    前記表示装置において、前記第１の検出光源部による前記第１の検出光の出射と、前記第２の検出光源部による前記第２の検出光の出射とが、同時に行われているときに、
    前記画像処理部は、前記撮像部が撮像した画像から、前記透明板上に位置する物体の画像を抽出し、更に、前記透明板上に位置する物体の位置を検出し、
    前記情報処理部は、抽出された前記物体の画像の中から、予め設定された特定画像に一致しない画像を特定し、更に、前記一致しない画像についてその輝度が設定された閾値以上であるかどうかを判定し、輝度が設定された閾値以上である画像が存在する場合に、その画像の物体の位置を前記表示装置の表示画面上の入力位置として特定することを特徴とする電子機器。

Images