JP2010092192A - Display imaging apparatus and electronic device - Google Patents
Display imaging apparatus and electronic device Download PDFInfo
- Publication number
- JP2010092192A JP2010092192A JP2008260241A JP2008260241A JP2010092192A JP 2010092192 A JP2010092192 A JP 2010092192A JP 2008260241 A JP2008260241 A JP 2008260241A JP 2008260241 A JP2008260241 A JP 2008260241A JP 2010092192 A JP2010092192 A JP 2010092192A
- Authority
- JP
- Japan
- Prior art keywords
- light
- signal
- display
- difference
- difference signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、パネルに接触または近接する物体の位置などの情報を取得する表示撮像装置、およびそのような表示撮像装置を備えた電子機器に関する。 The present invention relates to a display imaging device that acquires information such as the position of an object that is in contact with or close to a panel, and an electronic apparatus including such a display imaging device.
従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。 2. Description of the Related Art Conventionally, a technique for detecting the position of an object that touches or approaches a display surface of a display device is known. Among them, a representative and widely used technique is a display device provided with a touch panel.
このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。 There are various types of touch panels, but a type that detects a capacitance is one of the most popular touch panels. This type of device detects changes in the surface charge of the panel by touching the touch panel with a finger, and detects the position of the object. Therefore, the user can operate intuitively by using such a touch panel.
また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。
Further, for example, in
上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示撮像パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。
If the display device described in
しかしながら、上記のように物体で反射された反射光を利用する場合、外光や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。 However, when the reflected light reflected by the object is used as described above, external light, variation in characteristics of the light receiving element, or the like may be a problem. Specifically, since the brightness of received light changes according to the brightness of outside light, it may be difficult to detect the position of an object based on the captured image. In addition, variation in characteristics of the light receiving element becomes fixed noise, and it may be difficult to detect the position of the object based on the captured image.
そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。これにより、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。 Therefore, in the above-mentioned Patent Document 2, by taking the difference between the image obtained in the light emitting state (image obtained using the reflected light from the irradiation light) and the image obtained in the unlit state, The effects of light and fixed noise are removed. Accordingly, it is considered that the position of the object can be detected without being affected by external light or fixed noise.
ところが、実際の使用状況下では、上記の発光状態で得られた画像と消灯状態で得られた画像との間には、時間差が存在する。したがって、例えば表示撮像パネル上で物体が高速に移動している場合などには、この時間差のため、発光状態で得られた画像と消灯状態で得られた画像との間で位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの画像の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう場合があった。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。 However, under actual use conditions, there is a time difference between the image obtained in the light emission state and the image obtained in the light off state. Therefore, for example, when an object is moving at high speed on the display imaging panel, this time difference causes a positional shift between the image obtained in the light emitting state and the image obtained in the unlit state. become. When such a positional shift occurs, a false signal is generated at another position in addition to the original signal corresponding to the position of the object when the difference between these two images is taken. Therefore, the presence of such a false signal may make it difficult to detect a stable object. Note that this false signal has a larger area generated when the movement of the object is faster, and the stronger the external light, the stronger the false signal.
このように従来の技術では、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのは困難であり、改善の余地があった。 As described above, in the conventional technique, it is difficult to stably detect an object that is in contact with or close to the panel regardless of the use state at that time, and there is room for improvement.
本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体を安定して検出することが可能な表示撮像装置および物体の検出方法を提供することにある。 The present invention has been made in view of such problems, and an object of the present invention is to provide a display and imaging apparatus and an object detection method capable of stably detecting an object regardless of usage conditions.
本発明の表示撮像装置は、発光素子および受光素子を有する入出力パネルと、この入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部とを備えたものである。ここで、この検出部は、互いに異なる輝度からなる３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、上記物体情報を検出するようになっている。 The display imaging apparatus of the present invention is based on an input / output panel having a light emitting element and a light receiving element, and a light reception signal obtained by receiving light reflected by the light emitted from the input / output panel by the light receiving element. And a detection unit that detects object information including at least one of the position, shape, and size of the external proximity object. Here, the detection unit uses the plurality of types of difference signals corresponding to the differences between the three or more types of received light signals respectively obtained by the reflected light of the three or more levels of irradiation light having different luminances from each other. Information is to be detected.
本発明の電気機器は、上記表示撮像装置を備えたものである。 An electric apparatus according to the present invention includes the display imaging device.
本発明の表示撮像装置および電子機器では、入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報が検出される。この際、３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、上記物体情報が検出される。これにより、これら複数種類の差分信号に対応する複数種類の差分画像において、反射光のみに基づく差分信号以外に、反射光と外光との差分に対応する差分信号が含まれるのか否かの判定が可能となる。したがって、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定が回避される。 In the display and imaging apparatus and the electronic apparatus of the present invention, the position, shape, or size of the external proximity object is based on the light reception signal obtained by the light receiving element receiving the reflected light emitted from the input / output panel. Object information including at least one of the above is detected. At this time, the object information is detected by using a plurality of types of difference signals corresponding to differences between three or more types of received light signals respectively obtained by reflected light from three or more levels of irradiated light. As a result, whether or not a plurality of types of difference images corresponding to the plurality of types of difference signals includes a difference signal corresponding to the difference between the reflected light and the outside light in addition to the difference signal based only on the reflected light. Is possible. Therefore, for example, even when an external proximity object is moving on the input / output panel, erroneous determination due to a false signal is avoided.
本発明の表示撮像装置および電子機器によれば、３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、上記物体情報を検出するようにしたので、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定を回避することができる。よって、使用状況によらず、物体を安定して検出することが可能となる。 According to the display and imaging apparatus and the electronic apparatus of the present invention, the object is obtained by using a plurality of types of difference signals corresponding to differences between three or more types of received light signals respectively obtained by reflected light of irradiation light of three or more stages. Since information is detected, erroneous determination due to a false signal can be avoided even when, for example, an external proximity object is moving on the input / output panel. Therefore, it is possible to stably detect the object regardless of the use situation.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明の一実施の形態に係る表示撮像装置（表示撮像装置１）の概略構成を表すものである。また、図２は、本実施の形態に係る表示撮像装置１の詳細構成を表すものである。本実施の形態に係る表示撮像装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３（判定部）および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。
FIG. 1 shows a schematic configuration of a display imaging apparatus (display imaging apparatus 1) according to an embodiment of the present invention. FIG. 2 shows a detailed configuration of the
入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライト（後述するバックライト１１０）から出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子（後述する受光センサ１１５）である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号（検出信号）を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。
As shown in FIG. 2, the input /
入出力パネル１１は、図２に示したように、複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷと、これらの発光セルＣＷに内包された複数の受光セルＣＲとを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子を含む。なお、この入出力パネル１１の詳細構成については、後述する（図３）。
As shown in FIG. 2, the input /
図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。
The display
表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。
As shown in FIG. 2, the display
発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。
The light emission side scanner 41 has a function of selecting the light emitting cell CW to be driven in accordance with the light emission timing control signal output from the display signal
表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。
The
受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の表示撮像装置１においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。
The light receiving
図１に示す受光信号処理部１３は、入出力パネル１１の後段に接続され、受光要素１１ｂからの受光信号を取り込んで増幅等の所定の処理を行うものである。この受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。
The light receiving
受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。
The light
受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を１画面ごと（１フィールドの表示ごと）の受光信号に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。この受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。
The light reception
この際、本実施の形態の受光信号処理部１３では、入出力パネル１１から照射される互いに異なる輝度からなる３段階の照射光（後述する表示光Ｌout）による反射光（後述する反射光Ｌｒ）によりそれぞれ得られる３種類の受光信号（後述する受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ））に基づいて、これら３種類の受光信号間の差分に対応する２種類の差分信号（後述する差分信号Ｖ（ＨＬ），Ｖ（ＭＬ））をそれぞれ生成するようになっている。また、これら２種類の差分信号にそれぞれ対応する２種類の差分画像において、反射光Ｌｒのみに基づく差分信号（検出差分信号）以外に、反射光Ｌｒと外光との差分に対応する差分信号（外光差分信号）が含まれるのか否かを画素１６ごとに判定するようになっている。そして、このような判定結果に対応する撮像画像が、画像処理部１４へ出力される。なお、このような受光信号処理部１３における判定処理の詳細については、後述する。
At this time, in the received light
画像処理部１４（図１）は、受光信号処理部１３の後段に接続され、受光信号処理部１３から撮像画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標、および外部近接物体の領域（サイズや形状）を示す物体情報を得る回路である。具体的には、画像処理部１４におけるラベリング処理部（図示せず）は、ラベリング処理を行うことにより、撮像画像全体についてのラベル情報（撮像画像内における連結領域ごとの識別番号を示す情報）、連結領域ごとの位置情報および面積情報をそれぞれ取得するようになっている。
The image processing unit 14 (FIG. 1) is connected to the subsequent stage of the light reception
また、画像処理部１４における位置検出部４７（検出部；図２）は、ラベリング処理部より得られた上記ラベル情報、位置情報および面積情報に基づいて信号処理を行い、検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置を特定することが可能となる。
The position detection unit 47 (detection unit; FIG. 2) in the
ここで、本実施の形態の位置検出部４７では、前述した３段階の輝度の表示光Ｌoutによる反射光Ｌｒによりそれぞれ得られる３種類の受光信号間の差分に対応する２種類の差分信号を利用して、物体情報を検出するようになっている。具体的には、前述した受光信号処理部１３による判定処理により、上記外光差分信号が含まれないと判定された場合には、物体情報の検出動作を実行する一方、そのような外光差分信号が含まれると判定された場合には、物体情報の検出動作を実行しないようになっている。なお、位置検出部４７による物体情報の検出動作の詳細については、後述する。
Here, in the
電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から点情報を入力するようになっている。制御部２１は、点情報を用いて表示画像を変化させるものである。
The electronic device body 20 (FIG. 1) outputs display data to the display
制御部２１（図１）は、点情報を用いて表示画像を変化させるものであり、例えばＣＰＵ（Central Processing Unit）などにより構成されている。制御部２１は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。
The control unit 21 (FIG. 1) changes the display image using point information, and is configured by, for example, a CPU (Central Processing Unit). As shown in FIG. 2, the
次に、図３を参照して、入出力パネル１１の詳細構成について説明する。図３は、入出力パネル１１の概略構成例を断面図で表したものである。
Next, the detailed configuration of the input /
この入出力パネル１１は、例えば赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを有するバックライト１１０と、一対の偏光板１１１Ａ，１１１Ｂと、一対の透明基板１１２Ａ（ＴＦＴ基板），１１２Ｂ（対向基板）と、これら透明基板１１２Ａ，１１２Ｂの間に設けられた液晶層１１４とを含んで構成されている。また、透明基板１１２上には、受光センサ１１５が配置されている。
The input /
ここで、本実施の形態の入出力パネル１１では、バックライト１１の発光輝度が、低輝度状態、中輝度状態および高輝度状態（各輝度状態の輝度を、それぞれ、ＢＬ（Ｌ），ＢＬ（Ｍ），ＢＬ（Ｈ）とする）の３段階に変化するようになっている。これにより、入出力パネル１１からの表示光Ｌoutにおいても、表示輝度が３段階に変化するようになっている。なお、そのような３段階の輝度の表示光Ｌoutは、各フレーム期間内で、高輝度表示光、低輝度表示光および中輝度表示光の順に、周期的に照射されるようになっている（すなわち、例えば６０Ｈｚ×３倍の速度で、バックライト１１の発光輝度が切り換えられるようになっている）。また、本実施形態では、バックライト１１の発光輝度を変化させる手法として、パルス幅変調（ＰＷＭ；Pulse Width Modulation）方式を用いている。
Here, in the input /
次に、本実施の形態の表示撮像装置１の作用および効果について説明する。
Next, the operation and effect of the
最初に、図１〜図４を参照して、表示撮像装置１の基本動作（物体検出の基本動作）について説明する。図４は、表示撮像装置１による画像処理全体の流れを表すものである。
First, a basic operation (basic operation of object detection) of the
電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。
Display data output from the electronic device
入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、例えば図３に示したように、表示要素１１ａに指等の外部近接物体８が接触または近接すると、表示要素１１ａに表示された画像による光（表示光Ｌout）が外部近接物体８で反射されて、この反射光（検出光）Ｌｒが受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される。そして受光信号処理部１３は、この受光信号を入力して増幅等を行い、受光信号を処理する（図４のステップＳ１０）。このようにして、受光信号処理部１３において、そのような処理後の画像である撮像画像が得られる。
The input /
次に、画像処理部１４は、受光信号処理部１３から撮像画像を入力し、この撮像画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。
Next, the
そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。
Then, the
この後、画像処理部１４は、ラベリング処理部（図示せず）において、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部は、「１」に設定された領域を外部近接物体の領域として検出し、上記ラベル情報、位置情報および面積情報をそれぞれ取得する。そしてこのようなデータは、点情報として制御部２１に出力される。
Thereafter, the
次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、表示撮像装置１における基本動作（物体検出の基本動作）が終了となる。
Next, the
次に、図１〜図４に加えて図５〜図９を参照して、本発明の特徴的部分の動作について、比較例と比較しつつ詳細に説明する。ここで、図５は、比較例に係る従来の表示撮像装置における偽信号の発生現象についてタイミング図で表したものであり、（Ａ）は外部近接物体（ここでは、指）８の入出力パネル１１上での位置を、（Ｂ）は受光光量を、（Ｃ）は差分信号出力を、それぞれ表している。また、図６は、本実施の形態の物体の検出動作の際の外光および検出光の判定処理（受光信号処理部１３による判定処理）の一例を流れ図で表したものである。また、図７〜図９は、図６に示した判定処理の際の受光信号例を波形図で表したものであり、（Ａ）は外部近接物体（ここでは、指）８の入出力パネル１１上での位置を、（Ｂ）は各受光信号Ｖ（Ｈ），Ｖ（Ｍ），Ｖ（Ｌ）を、（Ｃ）は差分信号Ｖ（ＨＬ）（＝Ｖ（Ｈ）−Ｖ（Ｌ））を、（Ｄ）は差分信号Ｖ（ＭＬ）（＝Ｖ（Ｍ）−Ｖ（Ｌ））を、（Ｅ）は出力信号（受光信号処理部１３から出力される撮像画像の受光信号）を、それぞれ表している。 Next, referring to FIG. 5 to FIG. 9 in addition to FIG. 1 to FIG. Here, FIG. 5 is a timing diagram showing the generation phenomenon of the false signal in the conventional display imaging apparatus according to the comparative example. FIG. 5A is an input / output panel of an external proximity object (here, a finger) 8. 11, (B) represents the amount of received light, and (C) represents the difference signal output. FIG. 6 is a flowchart showing an example of the external light and detection light determination processing (determination processing by the light reception signal processing unit 13) in the object detection operation of the present embodiment. 7 to 9 are waveform diagrams showing examples of received light signals in the determination processing shown in FIG. 6, and FIG. 7A is an input / output panel of an external proximity object (here, a finger) 8. 11, (B) shows the respective received light signals V (H), V (M), V (L), and (C) shows the difference signal V (HL) (= V (H) −V (L )), (D) is the difference signal V (ML) (= V (M) −V (L)), and (E) is the output signal (the received light signal of the captured image output from the received light signal processing unit 13). Respectively.
まず、図５に示した比較例では、５中の符号Ｐ１００で示したように、発光状態で得られた画像（照射光による反射光を利用して得られた受光信号；図中の「ＯＮ」）と、消灯状態で得られた画像（図中の「ＯＦＦ」）との差分を取ることにより、外光ＬＯや固定ノイズによる影響が除去されるようにしている。これにより、外光ＬＯや固定ノイズの影響を受けずに、物体の位置などを検出することが可能となる。 First, in the comparative example shown in FIG. 5, as indicated by reference numeral P <b> 100 in 5, an image obtained in a light emitting state (a light reception signal obtained using reflected light from irradiated light; “ON” in the figure) )) And the image obtained in the extinguished state (“OFF” in the figure), the influence of the external light LO and fixed noise is removed. Thereby, the position of the object can be detected without being affected by the external light LO and fixed noise.
しかしながら、例えば図中の符号Ｐ１０１，Ｐ１０２で示したように、入出力パネル１１上で外部近接物体（ここでは、指）８が高速に移動している場合などには、時間差のため、「ＯＮ」のときの受光信号と、「ＯＦＦ」のときの受光信号との間で、位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの受光信号の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう（図中の符号Ｐ１０１，Ｐ１０２参照）。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう。また、このような外光ＬＯの誤検出は、誤動作の原因ともなることから、この方式では、モバイル用途では使用できない可能性が高い。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
However, for example, when the external proximity object (in this case, a finger) 8 is moving at high speed on the input /
これに対し、本実施の形態では、例えば図６に示したような判定処理が受光信号処理部１３において行われることにより、３段階の表示光Ｌoutによる反射光Ｌｒによりそれぞれ得られる３種類の受光信号間の差分に対応する２種類の差分信号を利用して、物体情報が検出される。なお、３種類の受光信号とは、図７〜図９中にそれぞれ示した、低輝度受光信号Ｖ（Ｌ）、中輝度受光信号Ｖ（Ｍ）および高輝度受光信号Ｖ（Ｈ）である。また、２種類の差分信号とは、高輝度受光信号Ｖ（Ｈ）と低輝度受光信号Ｖ（Ｌ）との差分信号である差分信号Ｖ（ＨＬ）（＝Ｖ（Ｈ）−Ｖ（Ｌ））、および中輝度受光信号Ｖ（Ｍ）と低輝度受光信号Ｖ（Ｌ）との差分信号である差分信号Ｖ（ＭＬ）（＝Ｖ（Ｍ）−Ｖ（Ｌ））である。
On the other hand, in the present embodiment, for example, by performing the determination process as shown in FIG. 6 in the light reception
具体的には、受光信号処理部１３は、まず、３種類の受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ）に基づいて、２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）をそれぞれ生成する。次に、これら２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）にそれぞれ対応する２種類の差分画像（差分信号Ｖ（ＨＬ）に対応する第１の差分画像、および差分信号Ｖ（ＭＬ）に対応する第２の差分画像）において、反射光Ｌｒのみに基づく検出差分信号以外に、反射光Ｌｒと外光との差分に対応する外光差分信号が含まれるのか否かを、画素１６ごとに判定する。そして、画素１６の差分信号が所定の信号閾値（後述する閾値電圧Ｖth1，Ｖth2）よりも大きい場合には、その画素１６の差分信号は上記外光差分信号であると判定する一方、画素１６の差分信号が上記信号閾値以下である場合には、その画素１６の差分信号は上記検出差分信号であると判定する。
Specifically, the light reception
より具体的には、受光信号処理部１３は、まず、バックライト１１の発光輝度を３段階に変化させたときの撮像画像をそれぞれ取得する（図６のステップＳ２０）。すなわち、入出力パネル１１からの表示光Ｌoutが、高輝度表示光、低輝度表示光および中輝度表示光の順に周期的に照射されるようにし、各表示光による反射光Ｌｒにより得られる受光信号Ｖ（Ｈ），Ｖ（Ｌ），Ｖ（Ｍ）をそれぞれ取得する。そして、受光信号処理部１３は、これら３種類の受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ）に基づいて、上記した２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）をそれぞれ生成する。
More specifically, the light reception
次に、受光信号処理部１３は、差分信号Ｖ（ＨＬ）に対応する差分画像（第１の差分画像）において、反射光Ｌｒのみに基づく検出差分信号以外に、反射光Ｌｒと外光との差分に対応する外光差分信号が含まれるのか否かを、画素１６ごとに判定する。具体的には、画素１６ごとに、差分信号Ｖ（ＨＬ）が所定の閾値電圧Ｖth1（信号閾値）よりも大きいか否かを判定する（ステップＳ２１）。ここで、例えば図７（Ｃ）中の符号Ｐ１で示したように、差分信号Ｖ（ＨＬ）における最大値Ｖ（ＨＬ）maxが閾値電圧Ｖth1よりも大きい場合には（ステップＳ２１：Ｙ）、その画素１６の差分信号Ｖ（ＨＬ）は外光差分信号であると判定する。したがって、受光信号処理部１３は、外光差分信号が含まれると判定されたため、例えば図７（Ｅ）に示したように出力信号を「０」として出力し、位置検出部４７は、物体情報の検出動作を実行しない（ステップＳ２４）。
Next, in the difference image (first difference image) corresponding to the difference signal V (HL), the received light
一方、例えば図８（Ｃ）や図９（Ｃ）に示したように、各画素１６における差分信号Ｖ（ＨＬ）が閾値電圧Ｖth1以下である場合には（ステップＳ２１：Ｎ）、次に、受光信号処理部１３は、この差分信号Ｖ（ＨＬ）に対応する差分画像に基づいて、差分信号Ｖ（ＭＬ）に対応する差分画像（第２の差分画像）おける判定処理の際に用いる閾値電圧Ｖth2（信号閾値）を算出する（ステップＳ２２）。具体的には、以下の（１）式を用いて、閾値電圧Ｖth2を算出する。なお、例えばＢＬ（Ｈ）＝１００％の輝度、ＢＬ（Ｍ）＝５０％の輝度、ＢＬ（Ｌ）＝０％の輝度の場合には、この（１）式は、以下の（２）式のように表される。
Ｖth2＝Ｖ（ＨＬ）max−（１／２）×Ｖ（Ｈ）×｛１−（ＢＬ（Ｍ）／ＢＬ（Ｈ））｝
……（１）
Ｖth2＝Ｖ（ＨＬ）max−（１／４）×Ｖ（Ｈ） ……（２）
On the other hand, for example, as shown in FIGS. 8C and 9C, when the difference signal V (HL) in each
Vth2 = V (HL) max- (1/2) * V (H) * {1- (BL (M) / BL (H))}
...... (1)
Vth2 = V (HL) max- (1/4) * V (H) (2)
このステップＳ２２の後、受光信号処理部１３は、次に、差分信号Ｖ（ＭＬ）に対応する差分画像において、反射光Ｌｒのみに基づく検出差分信号以外に、反射光Ｌｒと外光との差分に対応する外光差分信号が含まれるのか否かを、画素１６ごとに判定する。具体的には、差分信号Ｖ（ＭＬ）が、ステップＳ２２で算出した閾値電圧Ｖth2（信号閾値）よりも大きいか否かを画素１６ごとに、判定する（ステップＳ２３）。ここで、例えば図８（Ｄ）中の符号Ｐ２で示したように、差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2よりも大きい場合には（ステップＳ２３：Ｙ）、その画素１６の差分信号Ｖ（ＭＬ）は外光差分信号であると判定する。したがって、受光信号処理部１３は、外光差分信号が含まれると判定されたため、例えば図８（Ｅ）に示したように出力信号を「０」として出力し、位置検出部４７は、物体情報の検出動作を実行しない（ステップＳ２４）。
After this step S22, the received light
一方、例えば図９（Ｄ）に示したように、差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2以下である場合には（ステップＳ２３：Ｎ）、その画素１６の差分信号Ｖ（ＭＬ）は反射光Ｌｒによる差分信号（検出さ分信号）であると判定する。したがって、受光信号処理部１３は、例えば図９（Ｅ）に示したように、差分信号Ｖ（ＭＬ）を出力信号として出力し、位置検出部４７は、物体情報の検出動作を実行する（ステップＳ２４）。
On the other hand, for example, as shown in FIG. 9D, when the difference signal V (ML) is equal to or lower than the threshold voltage Vth2 (step S23: N), the difference signal V (ML) of the
このようにして、本実施の形態では、３段階の表示光Ｌoutによる反射光Ｌｒによりそれぞれ得られる３種類の受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ）間の差分に対応する２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）を利用して、物体情報が検出される。これにより、これら２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）に対応する２種類の差分画像において、反射光Ｌｒのみに基づく差分信号以外に、反射光Ｌｒと外光ＬＯとの差分に対応する差分信号が含まれるのか否かの判定が可能となる。したがって、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定が回避される。
In this way, in this embodiment, it corresponds to the difference between the three types of received light signals V (L), V (M), and V (H) obtained by the reflected light Lr by the three-stage display light Lout. Object information is detected using two types of difference signals V (HL) and V (ML). As a result, in the two types of difference images corresponding to these two types of difference signals V (HL) and V (ML), the difference between the reflected light Lr and the external light LO is determined in addition to the difference signal based only on the reflected light Lr. It is possible to determine whether or not a corresponding difference signal is included. Therefore, for example, even when the
以上のように本実施の形態では、３段階の表示光Ｌoutによる反射光Ｌｒによりそれぞれ得られる３種類の受光信号Ｖ（Ｌ），Ｖ（Ｍ），Ｖ（Ｈ）間の差分に対応する２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）を利用して、物体情報を検出するようにしたので、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定を回避することができる（強外光下での誤動作を防ぐことができる。）。よって、使用状況によらず、物体を安定して検出することが可能となる。
As described above, in the present embodiment, 2 corresponding to the difference between the three types of received light signals V (L), V (M), and V (H) obtained by the reflected light Lr by the three-stage display light Lout. Since the object information is detected using the types of difference signals V (HL) and V (ML), for example, even when the
具体的には、受光信号処理部１３によって、２種類の差分信号Ｖ（ＨＬ），Ｖ（ＭＬ）に対応する２種類の差分画像において、反射光Ｌｒのみに基づく差分信号以外に反射光Ｌｒと外光ＬＯとの差分に対応する差分信号が含まれるのか否かの判定を行うと共に、位置検出部４７において、外光差分信号が含まれないと判定された場合には物体情報の検出動作を実行する一方、外光差分信号が含まれると判定された場合には物体情報の検出動作を実行しないようにしたので、上記のような効果を得ることが可能となる。
Specifically, in the two types of difference images corresponding to the two types of difference signals V (HL) and V (ML) by the received light
また、３段階の輝度の表示光Ｌoutとして、各フレーム期間内で、高輝度表示光、低輝度表示光および中輝度表示光の順に周期的に照射されるようにし、低輝度表示光を中間のタイミングで照射するようにしたので、高輝度表示光と中輝度表示光との間のレベル変動を少なくすることができる。 Further, as the display light Lout having three levels of brightness, the high brightness display light, the low brightness display light, and the medium brightness display light are periodically irradiated in order in each frame period, and the low brightness display light is intermediately transmitted. Since the irradiation is performed at the timing, the level fluctuation between the high luminance display light and the medium luminance display light can be reduced.
なお、本実施の形態では、外光ＬＯの強度が強い場合について説明したが、外光ＬＯの強度が弱い場合には、例えば図１０〜図１２に示したようにして判定処理がなされることになる。具体的には、図１０は、外光ＬＯの強度が高輝度受光信号Ｖ（Ｈ）の強度に等しい場合の判定処理を、図１１は、外光ＬＯの強度が中輝度受光信号Ｖ（Ｍ）の強度に等しい場合の判定処理を、図１２は、外光ＬＯの強度が低輝度受光信号Ｖ（Ｌ）の強度に等しい場合の判定処理を、それぞれ表している。ここでは、図１０に示した例では、図中の符号Ｐ３で示したように、差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2よりも大きいため、物体情報の検出動作が実行されないようになっている。一方、図１１および図１２に示した例では、差分信号Ｖ（ＨＬ）が閾値電圧Ｖth1よりも小さく、かつ差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2よりも小さいため、物体情報の検出動作が実行されるようになっている。
In the present embodiment, the case where the intensity of the external light LO is high has been described. However, when the intensity of the external light LO is low, for example, the determination process is performed as illustrated in FIGS. become. Specifically, FIG. 10 shows a determination process when the intensity of the external light LO is equal to the intensity of the high-intensity light reception signal V (H), and FIG. 11 shows the determination process when the intensity of the external light LO is the medium-intensity light reception signal V (
また、本実施の形態で説明した判定処理を行うことにより、偽信号による誤判定を回避することが可能となる一方、外光ＬＯでの使用環境が大きく制限されてしまうことになる。したがって、差分信号Ｖ（ＭＬ）に対応する差分画像における判定処理において、差分信号Ｖ（ＭＬ）が閾値電圧Ｖth2よりも大きいと判定された画素１６だけを、選択的に物体情報の検出動作から除去するようにするのが好ましい。具体的には、例えば図１３に示したように、符号Ｐ４１で示した画素１６の部分を除去することにより（図中の符号Ｐ４２参照）、図１３（Ｅ）に示したような出力信号が得られる。なお、符号Ｐ４２で示した画素１６の部分も同様に除去するようにしてもよい。このように構成した場合、強外光下でも指の検出を行うことができ、外光ＬＯでの使用環境の制限を緩和することが可能となる。
Further, by performing the determination process described in the present embodiment, it is possible to avoid erroneous determination due to a false signal, while the usage environment in the external light LO is greatly limited. Accordingly, in the determination process for the difference image corresponding to the difference signal V (ML), only the
（モジュールおよび適用例）
次に、図１４〜図１８を参照して、上記実施の形態で説明した表示撮像装置の適用例について説明する。上記実施の形態の表示撮像装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなど、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。
(Modules and application examples)
Next, application examples of the display imaging apparatus described in the above embodiment will be described with reference to FIGS. The display imaging device of the above embodiment is a video signal input from the outside or a video signal generated inside, such as a television device, a digital camera, a notebook personal computer, a mobile terminal device such as a mobile phone, or a video camera. The present invention can be applied to electronic devices in various fields that display images or videos.
（適用例１）
図１４は、上記実施の形態の表示撮像装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 1)
FIG. 14 illustrates an appearance of a television device to which the display imaging device of the above embodiment is applied. This television apparatus has, for example, a video display screen unit 510 including a front panel 511 and a filter glass 512, and the video display screen unit 510 is configured by the display imaging device according to the above embodiment. .
（適用例２）
図１５は、上記実施の形態の表示撮像装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 2)
FIG. 15 illustrates an appearance of a digital camera to which the display imaging device of the above embodiment is applied. The digital camera includes, for example, a flash light emitting unit 521, a display unit 522, a menu switch 523, and a
（適用例３）
図１６は、上記実施の形態の表示撮像装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 3)
FIG. 16 illustrates an appearance of a notebook personal computer to which the display imaging device of the above embodiment is applied. The notebook personal computer has, for example, a
（適用例４）
図１７は、上記実施の形態の表示撮像装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有しており、その表示部５４４は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 4)
FIG. 17 shows the appearance of a video camera to which the display imaging device of the above embodiment is applied. The video camera includes, for example, a main body 541, a subject photographing lens 542 provided on the front side surface of the main body 541, a start /
（適用例５）
図１８は、上記実施の形態の表示撮像装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 5)
FIG. 18 illustrates an appearance of a mobile phone to which the display imaging device of the above embodiment is applied. For example, the mobile phone is obtained by connecting an
以上、実施の形態および変形例、ならびにそれらの適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。 Although the present invention has been described with the embodiment and the modification examples and application examples thereof, the present invention is not limited to these embodiments and the like, and various modifications are possible.
例えば、上記実施の形態等では、バックライト１１の発光輝度を変化させる手法として、パルス幅変調（ＰＷＭ）方式を用いる場合について説明したが、そのようなバックライト１１の発光輝度を変化させる手法として、例えばパルス振幅変調（ＰＡＭ；Pulse Amplitude Modulation）方式を用いるようにしてもよい。
For example, in the above-described embodiment and the like, the case where the pulse width modulation (PWM) method is used as a method for changing the light emission luminance of the
また、上記実施の形態等では、バックライト１１の発光輝度を３段階に変化させる場合について説明したが、例えば、発光輝度を４段階以上変化させてもよい。
In the above-described embodiment and the like, the case where the light emission luminance of the
また、図２に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。 In the example shown in FIG. 2, one light receiving cell is provided corresponding to one light emitting cell, but one light receiving cell may be provided corresponding to a plurality of light emitting cells.
また、バックライト１１から照射される光として、例えば、可視光の他に赤外光を含むようにしてもよい。具体的には、例えばバックライト１１が、可視光を発するＬＥＤの他に、非可視光である赤外光を発する赤外ＬＥＤを含むようにしてもよい。この場合、受光センサ１１５としても、可視光を受光する受光センサの他に、非可視光である赤外光を受光する受光センサを含むようにすればよい。このような赤外光を受光する受光センサには、例えば、可視光をカットすると共に赤外光のみを透過するＩＲフィルタを配置すればよい。なお、この場合の赤外ＬＥＤは、例えば図１９に示したような発光スペクトル特性となっている。また、ＩＲフィルタは、例えば図２０（Ａ），図２０（Ｂ）に示したような分光透過特性となっている。ここで、このようなＩＲフィルタは、カラーフィルタのＲＢもしくはＲＧＢを積層することにより実現することが可能である。なお、ＲＢ積層よりもＲＧＢ積層のほうが、可視光をカットする性能が高くなる。このような構成の表示撮像装置では、黒表示した際にも赤外線を出射することにより、外部近接物体８からの反射光Ｌｒを得ることができ、検出することが可能となる。
Moreover, you may make it include infrared light other than visible light as light irradiated from the
また、上記実施の形態等で説明した表示撮像装置では、入出力パネルとして、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の表示撮像装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。この場合、３段階以上の照射光は、有機ＥＬ素子の発光輝度を３段階以上に変化させることにより得るようにすればよい。
In the display and imaging device described in the above embodiments and the like, a configuration using a liquid crystal display panel as an input / output panel has been described. However, the display imaging apparatus of the present invention can also be configured using an organic electroluminescence (EL) panel or the like as the input / output panel. The organic EL element has a property of emitting light when a forward bias voltage is applied and receiving light to generate a current when a reverse bias voltage is applied. For this reason, the organic EL element has the
具体的には、例えば図２１（Ａ）（概略断面構成例）、図２１（Ｂ）（概略平面構成例）および図２２（詳細断面構成例）に示した入出力パネル６１のように、トップエミッション構造であるのものが挙げられる。ここでは、ＴＦＴ基板６１０と対向基板６１５との間に、受光センサ６１６、平坦化層６１１、発光層６１２、保護膜６１３、封止樹脂層６１４、カラーフィルタ６１４Ｒ，６１４Ｇ，６１４Ｂ、ＩＲ透過フィルタ６１４ＩＲおよびブラックマトリクス層ＢＭが設けられている。また、この入出力パネル６１は、発光層６１２を含む表示領域３１と、受光センサ６１６を含む受光領域３２とを有している。発光層６１２としては、例えば、赤色光ＬＲを発するＲ（赤色）発光層６１２Ｒと、緑色光ＬＧを発するＧ（緑色）発光層６１２Ｇと、青色光ＬＢを発するＢ（青色）発光層６１２Ｂと、赤外光ＬＩＲを発するＩＲ（赤外）発光層６１２ＩＲとから構成することができる。Ｒ発光層６１２Ｒ上には、赤色光ＬＲを選択的に透過する赤色カラーフィルタ６１４Ｒが配置され、Ｇ発光層６１２Ｇ上には、緑色光ＬＧを選択的に透過する緑色カラーフィルタ６１４Ｇが配置され、Ｂ発光層６１２Ｂ上には、青色光ＬＢを選択的に透過する青色カラーフィルタ６１４Ｂが配置されている。また、ＩＲ発光層６１２ＩＲ上と、ＩＲセンサ６１６ＩＲとして機能する受光センサ６１６上とには、赤外光ＬＩＲを選択的に透過する（可視光をカットする）ＩＲ透過フィルタ（可視光カットフィルタ）６１４ＩＲが配置されている。ここでは、このＩＲ透過フィルタ６１４ＩＲは、赤色カラーフィルタ６１４Ｒと青色カラーフィルタ６１４Ｂとから構成されている。また、ＢＭセンサ６１６ＢＭとして機能する受光センサ６１６上には、ブラックマトリクス層ＢＭが配置されている。なお、発光層６１２Ｒ，６１２Ｇ，６１２Ｂ，６１２ＩＲ、ＩＲセンサ６１６ＩＲおよびＢＭセンサ６１６ＢＭ等の配置位置については、特に限定されない（間引いて配置してもよいし、１つだけ配置するようにしてもよい）。また、ＴＦＴ基板６１０は、透明基板６１０−１と、ゲート電極６１０−２と、ゲート絶縁膜６１０−３と、ｐ−Ｓｉ（ポリシリコン）層６１０−４と、絶縁層６１０−５と、配線層６１０−６とを含んで構成されている。また、各発光層６１２は、アノード電極６１２−１と、有機層６１２−２と、カソード電極６１２−３と、ウィンドウ層６１２−４とを含んで構成されている。また、対向基板６１５は、透明基板６１５−１を含んで構成されている。このような構成の入出力パネル６１では、ＩＲ発光層６１２ＩＲ上にＩＲ透過フィルタ６１４ＩＲが配置されているため、外光ＬＯによる駆動配線などの反射が抑えられ、視認性を向上させることが可能である。
Specifically, for example, as shown in FIG. 21A (schematic cross-section configuration example), FIG. 21B (schematic plan configuration example), and input /
また、本発明の表示撮像装置は、上記実施の形態等で説明した表示撮像装置１だけでなく、例えば図２３に示したような表示撮像装置２にも適用することが可能である。この表示撮像装置２は、上記実施の形態等に係る表示撮像装置１と比較して、画像処理部１４が電子機器本体２０に設けられた点が異なっている。すなわち、この表示撮像装置２は、表示信号処理部１２、入出力パネル１１および受光信号処理部１３がディスプレイ１０に設けられ、制御部２１および画像処理部１４が電子機器本体２０に設けられたものである。このような表示撮像装置２であっても、上記実施の形態に係る表示撮像装置１と同様の効果を奏することができる。
Moreover, the display imaging apparatus of the present invention can be applied not only to the
また、これまでは、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。
In addition, the case where the
さらに、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。 Furthermore, the series of processing described in the above embodiments and the like can be performed by hardware or software. When a series of processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like. Such a program may be recorded in advance on a recording medium built in the computer.
１，２…表示撮像装置、１０…ディスプレイ、１１，６１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１１０，…バックライト、１１１Ａ，１１１Ｂ…偏光板、１１２Ａ…透明基板（ＴＦＴ基板）、１１２Ｂ…透明基板（対向基板）、１１４…液晶層、１１５…受光センサ、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１６…画素、２０…電子機器本体、２１…制御部、３１…表示領域、３２…受光領域、５１０…映像表示画面部、５１１…フロントパネル、５１２…フィルターガラス、５２１…発光部、５２２…表示部、５２３…メニュースイッチ、５２４…シャッターボタン、５３１…本体、５３２…キーボード、５３３…表示部、５４１…本体部、５４２…レンズ、５４３…スタート／ストップスイッチ、５４４…表示部、７１０…上部筐体、７２０…下部筐体、７３０…連結部、７４０…ディスプレイ、７５０…サブディスプレイ、７６０…ピクチャーライト、７７０…カメラ、６１０…ＴＦＴ基板、６１１…平坦化層、６１２，６１２Ｒ，６１２Ｇ，６１２Ｂ，６１２ＩＲ…発光層、６１３…保護層、６１４…封止樹脂層、６１４Ｒ，６１４Ｇ，６１４Ｂ…カラーフィルタ、６１４ＩＲ…ＩＲ透過フィルタ（可視光カットフィルタ）、６１５…対向基板、６１６…受光センサ、８…外部近接物体（指）、Ｌout…表示光、Ｌｒ…反射光（検出光）、ＬＯ…外光、ＬＲ，ＬＧ，ＬＢ…各色光、ＬＩＲ…赤外光、Ｖ（Ｈ），Ｖ（Ｍ），Ｖ（Ｌ）…受光信号（電圧）、Ｖ（ＨＬ），Ｖ（ＭＬ）…差分信号（電圧）、Ｖ（ＨＬ）max…最大値、Ｖth1，Ｖth2…閾値電圧、ＢＬ（Ｈ），ＢＬ（Ｍ），ＢＬ（Ｌ）…バックライト輝度、ＢＭ…ブラックマトリクス層。
DESCRIPTION OF
Claims (11)
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を備え、
前記検出部は、互いに異なる輝度からなる３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、前記物体情報を検出する
表示撮像装置。 An input / output panel having a light emitting element and a light receiving element;
Object information including at least one of the position, shape, or size of an external proximity object is obtained based on a light reception signal obtained by receiving light reflected by the light received from the input / output panel by the light receiving element. A detection unit for detecting, and
The detection unit detects the object information by using a plurality of types of difference signals corresponding to differences between three or more types of received light signals obtained by reflected light of three or more levels of irradiation light having different luminances. Display imaging device.
前記検出部は、
前記判定部によって前記外光差分信号が含まれないと判定された場合には、前記物体情報の検出動作を実行すると共に、
前記判定部によって前記外光差分信号が含まれると判定された場合には、前記物体情報の検出動作を実行しない
請求項１に記載の表示撮像装置。 Whether or not a plurality of types of difference images respectively corresponding to the plurality of types of difference signals includes an outside light difference signal corresponding to a difference between reflected light and outside light, in addition to the detection difference signal based only on the reflected light. A determination unit for determining each pixel,
The detector is
When the determination unit determines that the external light difference signal is not included, the object information detection operation is performed,
The display imaging apparatus according to claim 1, wherein when the determination unit determines that the external light difference signal is included, the object information detection operation is not executed.
請求項２に記載の表示撮像装置。 Whether the outside light difference signal is included by generating a predetermined signal threshold based on the plurality of types of difference images and comparing the difference signal of each pixel with the magnitude of the signal threshold. The display imaging device according to claim 2, wherein a determination is made as to whether or not.
画素の差分信号が前記信号閾値よりも大きい場合には、その画素の差分信号は前記外光差分信号であると判定し、
画素の差分信号が前記信号閾値以下である場合には、その画素の差分信号は前記検出差分信号であると判定する
請求項３に記載の表示撮像装置。 The determination unit
When the difference signal of the pixel is larger than the signal threshold, it is determined that the difference signal of the pixel is the outside light difference signal,
The display imaging apparatus according to claim 3, wherein when the difference signal of a pixel is equal to or less than the signal threshold, the difference signal of the pixel is determined to be the detection difference signal.
請求項２ないし請求項４のいずれか１項に記載の表示撮像装置。 The irradiation light is composed of three-stage irradiation light composed of low-intensity irradiation light, medium-intensity irradiation light, and high-intensity irradiation light, and the high-intensity irradiation light, the low-intensity irradiation light, and the medium-intensity irradiation light. The display imaging device according to claim 2, wherein the display imaging device is periodically irradiated in order.
請求項５に記載の表示撮像装置。 The determination unit includes a first difference image corresponding to a difference signal between a high-intensity light reception signal obtained by reflected light from the high-intensity irradiation light and a low-intensity light reception signal obtained by reflection from the low-intensity irradiation light; Whether or not the outside light difference signal is included by using a second difference image corresponding to a difference signal between the medium luminance light reception signal obtained by the reflected light by the medium luminance irradiation light and the low luminance light reception signal. The display imaging device according to claim 5.
前記第１の差分画像において、前記外光差分信号が含まれるのか否かを画素ごとに判定すると共に、
前記第１の差分画像に基づいて所定の信号閾値を生成し、
この信号閾値を利用して、前記第２の差分画像において前記外光差分信号が含まれるのか否かを画素ごとに判定する
請求項６に記載の表示撮像装置。 The determination unit
In the first difference image, it is determined for each pixel whether or not the outside light difference signal is included, and
Generating a predetermined signal threshold based on the first difference image;
The display imaging apparatus according to claim 6, wherein the signal threshold value is used to determine, for each pixel, whether or not the outside light difference signal is included in the second difference image.
前記受光素子が、可視光を受光する受光素子と、非可視光である赤外光を受光する受光素子とを含む
請求項１に記載の表示撮像装置。 The light-emitting element includes a light-emitting element that emits visible light and a light-emitting element that emits infrared light that is invisible light,
The display imaging apparatus according to claim 1, wherein the light receiving element includes a light receiving element that receives visible light and a light receiving element that receives infrared light that is invisible light.
前記３段階以上の照射光は、前記光源の発光輝度を３段階以上に変化させることにより得られるものである
請求項１に記載の表示撮像装置。 The light emitting element is configured using a light source and a liquid crystal element,
The display imaging apparatus according to claim 1, wherein the three or more levels of irradiation light are obtained by changing the light emission luminance of the light source to three or more levels.
前記３段階以上の照射光は、前記有機ＥＬ素子の発光輝度を３段階以上に変化させることにより得られるものである
請求項１に記載の表示撮像装置。 The light emitting element is configured using an organic EL element,
The display imaging apparatus according to claim 1, wherein the irradiation light of three or more stages is obtained by changing the light emission luminance of the organic EL element to three or more stages.
前記表示撮像装置は、
表示素子および受光素子を有する入出力パネルと、
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を有し、
前記検出部は、互いに異なる輝度からなる３段階以上の照射光による反射光によりそれぞれ得られる３種類以上の受光信号間の差分に対応する複数種類の差分信号を利用して、前記物体情報を検出する
電子機器。 A display imaging device having an image display function and an imaging function;
The display imaging device includes:
An input / output panel having a display element and a light receiving element;
Object information including at least one of the position, shape, or size of an external proximity object based on a light reception signal obtained by receiving reflected light by the light receiving element irradiated from the input / output panel. A detection unit for detecting, and
The detection unit detects the object information by using a plurality of types of difference signals corresponding to differences between three or more types of received light signals obtained by reflected light of three or more levels of irradiation light having different luminances. Electronic equipment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008260241A JP2010092192A (en) | 2008-10-07 | 2008-10-07 | Display imaging apparatus and electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008260241A JP2010092192A (en) | 2008-10-07 | 2008-10-07 | Display imaging apparatus and electronic device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010092192A true JP2010092192A (en) | 2010-04-22 |
Family
ID=42254854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008260241A Pending JP2010092192A (en) | 2008-10-07 | 2008-10-07 | Display imaging apparatus and electronic device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010092192A (en) |
-
2008
- 2008-10-07 JP JP2008260241A patent/JP2010092192A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5111327B2 (en) | Display imaging apparatus and electronic apparatus | |
| US9916635B2 (en) | Transparent display device and control method thereof | |
| JP4623110B2 (en) | Display device and position detection method | |
| JP4626658B2 (en) | Display device, imaging device, and position detection device | |
| TWI498786B (en) | Touch sensor and method for driving the same and display device | |
| CN110047449B (en) | Display device and electronic apparatus | |
| US9176625B2 (en) | Information input device, information input method, information input-output device, storage medium, and electronic unit | |
| US20100053107A1 (en) | Information input device, information input method, information input/output device, and information input program | |
| US20060214892A1 (en) | Display device and display method | |
| JP5424475B2 (en) | Information input device, information input method, information input / output device, information input program, and electronic device | |
| JP4270248B2 (en) | Display imaging apparatus, information input apparatus, object detection program, and object detection method | |
| US9201532B2 (en) | Information input device, information input program, and electronic instrument | |
| JP5481127B2 (en) | SENSOR ELEMENT AND ITS DRIVING METHOD, SENSOR DEVICE, DISPLAY DEVICE WITH INPUT FUNCTION, AND ELECTRONIC DEVICE | |
| WO2010047256A1 (en) | Imaging device, display image device, and electronic device | |
| JP2009128835A (en) | Liquid crystal display device | |
| US20080246722A1 (en) | Display apparatus | |
| JP2011086179A (en) | Device and method for inputting information, information input/output device, information input program, and electronic apparatus | |
| TWI437472B (en) | Sensor device, method of driving sensor element, display device with input function and electronic unit | |
| JP2010049479A (en) | Display and imaging apparatus and electronic device | |
| KR20150079324A (en) | Double-sided emitting transparent display apparatus and controlling method thereof | |
| JP2010152573A (en) | Display apparatus and display method | |
| JP2010019915A (en) | Display device, driving method therefor, and electronic apparatus | |
| JP2021501901A (en) | Display structure, display panel and display device | |
| TWI729030B (en) | Display device and control program | |
| JP2010092192A (en) | Display imaging apparatus and electronic device |