JP2010097420A - Display and imaging device and electronic equipment - Google Patents
Display and imaging device and electronic equipment Download PDFInfo
- Publication number
- JP2010097420A JP2010097420A JP2008267784A JP2008267784A JP2010097420A JP 2010097420 A JP2010097420 A JP 2010097420A JP 2008267784 A JP2008267784 A JP 2008267784A JP 2008267784 A JP2008267784 A JP 2008267784A JP 2010097420 A JP2010097420 A JP 2010097420A
- Authority
- JP
- Japan
- Prior art keywords
- light
- display
- reception signal
- light receiving
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 claims description 65
- 239000004973 liquid crystal related substance Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 54
- 210000004027 cell Anatomy 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000002372 labelling Methods 0.000 description 9
- 238000000295 emission spectrum Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 238000005401 electroluminescence Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 239000011358 absorbing material Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000002858 crystal cell Anatomy 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Images
Landscapes
- Liquid Crystal (AREA)
- Electroluminescent Light Sources (AREA)
- Position Input By Displaying (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
Description
本発明は、パネルに接触または近接する物体の位置などの情報を取得する表示撮像装置、およびそのような表示撮像装置を備えた電子機器に関する。 The present invention relates to a display imaging device that acquires information such as the position of an object that is in contact with or close to a panel, and an electronic apparatus including such a display imaging device.
従来より、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。 2. Description of the Related Art Conventionally, a technique for detecting the position of an object that touches or approaches a display surface of a display device is known. Among them, a representative and widely used technique is a display device provided with a touch panel.
このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。 There are various types of touch panels, but a type that detects a capacitance is one of the most popular touch panels. This type of device detects changes in the surface charge of the panel by touching the touch panel with a finger, and detects the position of the object. Therefore, the user can operate intuitively by using such a touch panel.
また、本出願人は例えば特許文献１および特許文献２において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部（表示撮像パネル）を備えた表示装置を提案している。
Further, for example, in
上記特許文献１に記載されている表示装置を利用すれば、例えば表示撮像パネル上に指などの物体を接触または近接させた場合、この物体で反射された表示撮像パネルからの照射光による反射光を利用することで、撮像した画像に基づいて物体の位置などを検出することも可能である。したがって、この表示装置を利用することで、表示撮像パネル上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。
If the display device described in
しかしながら、上記のように物体で反射された反射光を利用する場合、外光や、受光素子の特性ばらつきなどが問題となることがあった。具体的には、受光する光の輝度が外光の明るさに応じて変化することから、撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。また、受光素子の特性ばらつきなどが固定ノイズとなり、やはり撮像した画像に基づいて物体の位置などを検出するのが困難となってしまうことがあった。 However, when the reflected light reflected by the object is used as described above, external light, variation in characteristics of the light receiving element, or the like may be a problem. Specifically, since the brightness of received light changes according to the brightness of outside light, it may be difficult to detect the position of an object based on the captured image. In addition, variation in characteristics of the light receiving element becomes fixed noise, and it may be difficult to detect the position of the object based on the captured image.
そこで、上記特許文献２では、発光状態で得られた画像（照射光による反射光を利用して得られた画像）と、消灯状態で得られた画像との差分を取ることにより、上記した外光や固定ノイズによる影響が除去されるようにしている。これにより、外光や固定ノイズの影響を受けずに、物体の位置などを検出することが可能となると考えられる。
Therefore, in the above-mentioned
ところが、実際の使用状況下では、上記の発光状態で得られた画像と消灯状態で得られた画像との間には、時間差が存在する。したがって、例えば表示撮像パネル上で物体が高速に移動している場合などには、この時間差のため、発光状態で得られた画像と消灯状態で得られた画像との間で位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの画像の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう場合があった。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。 However, under actual use conditions, there is a time difference between the image obtained in the light emission state and the image obtained in the light off state. Therefore, for example, when an object is moving at high speed on the display imaging panel, this time difference causes a positional shift between the image obtained in the light emitting state and the image obtained in the unlit state. become. When such a positional shift occurs, a false signal is generated at another position in addition to the original signal corresponding to the position of the object when the difference between these two images is taken. Therefore, the presence of such a false signal may make it difficult to detect a stable object. Note that this false signal has a larger area generated when the movement of the object is faster, and the stronger the external light, the stronger the false signal.
このように従来の技術では、そのときの使用状況によらずにパネルに接触または近接する物体を安定して検出するのは困難であり、改善の余地があった。 As described above, in the conventional technique, it is difficult to stably detect an object that is in contact with or close to the panel regardless of the use state at that time, and there is room for improvement.
本発明はかかる問題点に鑑みてなされたもので、その目的は、使用状況によらず、物体を安定して検出することが可能な表示撮像装置および物体の検出方法を提供することにある。 The present invention has been made in view of such problems, and an object of the present invention is to provide a display and imaging apparatus and an object detection method capable of stably detecting an object regardless of usage conditions.
本発明の表示撮像装置は、発光素子および受光素子を有する入出力パネルと、この入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部とを備えたものである。ここで、上記受光素子は、互いに波長領域の異なる光を受光可能な複数種類の受光素子により構成されている。また、上記検出部は、各々が複数種類の受光素子に対応した互いに異なる波長領域の光となるように互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、上記物体情報を検出するようになっている。 The display imaging apparatus of the present invention is based on an input / output panel having a light emitting element and a light receiving element, and a light reception signal obtained by receiving light reflected by the light emitted from the input / output panel by the light receiving element. And a detection unit that detects object information including at least one of the position, shape, and size of the external proximity object. Here, the light receiving element is composed of a plurality of types of light receiving elements capable of receiving light having different wavelength regions. Further, the detection unit is configured to detect the object based on a light reception signal using a plurality of types of irradiation light irradiated at different timings so that each of the light beams has different wavelength ranges corresponding to the plurality of types of light receiving elements. Information is to be detected.
本発明の電気機器は、上記表示撮像装置を備えたものである。 An electric apparatus according to the present invention includes the display imaging device.
本発明の表示撮像装置および電子機器では、入出力パネルから照射される照射光による反射光が受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報が検出される。この際、各々が複数種類の受光素子に対応した互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、上記物体情報が検出される。これにより、得られた受光信号に対して、反射光による受光信号であるのかまたは外光による受光信号であるのかの判定が可能となるため、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定が回避される。 In the display and imaging apparatus and the electronic apparatus of the present invention, the position, shape, or size of the external proximity object is based on the light reception signal obtained by the light receiving element receiving the reflected light emitted from the input / output panel. Object information including at least one of the above is detected. At this time, the object information is detected based on light reception signals using a plurality of types of irradiation light irradiated at different timings so that each of them has different wavelength regions corresponding to a plurality of types of light receiving elements. Is done. As a result, it is possible to determine whether the obtained light reception signal is a light reception signal by reflected light or a light reception signal by external light. For example, an external proximity object is moving on the input / output panel. Even in such a case, erroneous determination due to a false signal is avoided.
本発明の表示撮像装置および電子機器によれば、各々が複数種類の受光素子に対応した互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、上記物体情報を検出するようにしたので、例えば外部近接物体が入出力パネル上で動いているような場合であっても、偽信号による誤判定を回避することができる。よって、使用状況によらず、物体を安定して検出することが可能となる。 According to the display and imaging apparatus and the electronic apparatus of the present invention, light reception using a plurality of types of irradiation light irradiated at different timings so that each of them has different wavelength regions corresponding to a plurality of types of light receiving elements. Since the object information is detected based on the signal, erroneous determination due to a false signal can be avoided even when the external proximity object is moving on the input / output panel, for example. Therefore, it is possible to stably detect the object regardless of the use situation.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（ＲＧＢのＬＥＤを用いた場合の基本構成例）
２．第２の実施の形態（表示領域にカラーフィルタを配置した場合の例）
３．第３の実施の形態（赤外ＬＥＤおよびＩＲフィルタを用いた場合の例）
４．第４の実施の形態（青色，黄色，赤外ＬＥＤを用いた場合の例）
５．第５の実施の形態（白色，赤外ＬＥＤを用いた場合の例）
６．第６の実施の形態（ＩＲ吸収フィルタを用いた場合の例）
７．適用例（電子機器への適用例）
８．変形例
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The description will be given in the following order.
1. First embodiment (basic configuration example when RGB LEDs are used)
2. Second embodiment (example in which color filters are arranged in the display area)
3. Third embodiment (example using infrared LED and IR filter)
4). Fourth embodiment (example of using blue, yellow and infrared LEDs)
5). Fifth embodiment (example using white and infrared LEDs)
6). Sixth embodiment (example using IR absorption filter)
7). Application example (application example to electronic equipment)
8). Modified example
＜１．第１の実施の形態＞
［表示撮像装置全体の概略構成例］
図１は、本発明の第１の実施の形態に係る表示撮像装置（表示撮像装置１）の概略構成を表すものである。また、図２は、本実施の形態に係る表示撮像装置１の詳細構成を表すものである。本実施の形態に係る表示撮像装置１は、図１に示すように、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、受光信号処理部１３および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。
<1. First Embodiment>
[Schematic configuration example of entire display imaging device]
FIG. 1 shows a schematic configuration of a display imaging device (display imaging device 1) according to a first embodiment of the present invention. FIG. 2 shows a detailed configuration of the
入出力パネル１１は、図２に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素１１ａおよび受光要素１１ｂを備えている。表示要素１１ａは、光源となるバックライト（後述するバックライト１１０）から出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素１１ｂは、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子（後述する受光センサ１１５）である。受光要素１１ｂは、バックライトの出射光が入出力パネル１１の外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号（検出信号）を出力するものである。受光要素１１ｂは、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。
As shown in FIG. 2, the input /
入出力パネル１１は、図２に示したように、複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷと、これらの発光セルＣＷに内包された複数の受光セルＣＲとを備えている。発光セルＣＷは、表示要素１１ａとしての液晶セルからなり、受光セルＣＲは、受光要素１１ｂとしての受光素子を含む。なお、この入出力パネル１１の詳細構成については、後述する（図３および図４）。
As shown in FIG. 2, the input /
図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。
The display
表示信号処理部１２は、図２に示すように、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、表示信号生成部４４から出力される表示信号を１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。
As shown in FIG. 2, the display
発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。
The light
表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１の各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１に表示される。
The
受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１の各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の表示撮像装置１においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。
The light receiving
図１に示す受光信号処理部１３は、入出力パネル１１の後段に接続され、受光要素１１ｂからの受光信号を取り込んで増幅等を行うものである。この受光信号処理部１３は、図２に示すように、受光信号レシーバ４５および受光信号保持部４６を備えている。
The light reception
受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。
The light
受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を１画面ごと（１フィールドの表示ごと）の受光信号に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。受光信号保持部４６において格納された受光信号のデータは、画像処理部１４（図１）内の位置検出部４７へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。
The light reception
画像処理部１４（図１）は、検出信号処理部１３の後段に接続され、検出信号処理部１３から検出画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標、および外部近接物体の領域（サイズや形状）を示す情報を得る回路である。具体的には、画像処理部１４におけるラベリング処理部（図示せず）は、ラベリング処理を行うことにより、検出画像全体についてのラベル情報（検出画像内における連結領域ごとの識別番号を示す情報）、連結領域ごとの位置情報および面積情報をそれぞれ取得するようになっている。
The image processing unit 14 (FIG. 1) is connected to the subsequent stage of the detection
また、画像処理部１４における位置検出部４７（図２）は、ラベリング処理部より得られた上記ラベル情報、位置情報および面積情報に基づいて信号処理を行い、検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置を特定することが可能となる。
The position detection unit 47 (FIG. 2) in the
電子機器本体２０（図１）は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から点情報を入力するようになっている。制御部２１は、点情報を用いて表示画像を変化させるものである。
The electronic device body 20 (FIG. 1) outputs display data to the display
制御部２１（図１）は、点情報を用いて表示画像を変化させるものであり、例えばＣＰＵ（Central Processing Unit）などにより構成されている。制御部２１は、図２に示すように、表示信号生成部４４を備えている。表示信号生成部４４は、図示しないＣＰＵ（Central Processing Unit）などにより生成され、供給された画像データに基づいて、例えば、１画面ごと（１フィールドの表示ごと）に表示するための表示信号を生成し、それを表示信号保持制御部４０に出力するようになっている。
The control unit 21 (FIG. 1) changes the display image using point information, and is configured by, for example, a CPU (Central Processing Unit). As shown in FIG. 2, the
［入出力パネルの詳細構成例］
次に、図３および図４を参照して、本実施の形態の入出力パネル１１の詳細構成について説明する。図３は、入出力パネル１１の概略構成例を平面図で表したものであり、図４は、入出力パネル１１の概略構成例を断面図で表したものである。
[Detailed configuration example of I / O panel]
Next, with reference to FIG. 3 and FIG. 4, the detailed structure of the input /
この入出力パネル１１では、例えば図３に示したように、表示領域３１上には、ＲＧＢのカラーフィルタが配置されず、受光領域３２上にのみ、ＲＧＢのカラーフィルタがそれぞれ配置されるようになっている。これにより、受光領域３２は、赤色光を受光可能な赤色受光領域３２Ｒと、緑色光を受光可能な緑色受光領域３２Ｇと、青色光を受光可能な青色受光領域３２Ｂとにより構成されている。
In the input /
また、例えば図４に示したように、入出力パネル１１は、バックライト１１０と、一対の偏光板１１１Ａ，１１１Ｂと、一対の透明基板１１１Ａ，１１１Ｂと、平坦化膜１１３Ａ，１１１３Ｂと、液晶層１１４とを含んで構成されている。バックライト１１０は、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを含んでいる。また、液晶層１１４は、平坦化膜１１３Ａ，１１１３Ｂの間に設けられている。また、透明基板１１２Ａと平坦化膜１１３Ａとの間には、受光センサ１１５が配置され、透明基板１１２Ｂと平坦化膜１１３Ｂとの間には、カラーフィルタ１１６およびブラックマトリクスＢＭが配置されている。このカラーフィルタ１１６は、赤色用のカラーフィルタ１１６Ｒと、緑色用のカラーフィルタ１１６Ｇと、青色用のカラーフィルタ１１６Ｂとにより構成されている。これにより、受光センサ１１５は、互いに波長領域の異なる光を受光可能な複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂを含んで構成されている。具体的には、受光センサ１１５Ｒは、赤色光を受光可能であり、受光センサ１１５Ｇは、緑色光を受光可能であり、受光センサ１１５Ｂは、青色光を受光可能である。なお、受光センサ１１５Ｄは、ダミーセンサである。このような構成により、詳細は後述するが、入出力パネル１１においてフィールドシーケンシャル駆動が行われることにより、複数種類の照射光が照射されるようになっている。
For example, as shown in FIG. 4, the input /
なお、バックライト１１０における赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤはそれぞれ、例えば図５（Ａ）〜図５（Ｃ）に示したような、発光スペクトルとなっている。
Each of the red LED, green LED, and blue LED in the
また、カラーフィルタ１１６Ｒ，１１６Ｇ，１１６Ｂはそれぞれ、例えば図６に示したような、分光透過特性となっている。
Further, the
［表示撮像装置の動作説明］
次に、図１〜図６に加えて図７〜図１２を参照して、本実施の形態の表示撮像装置１の作用および効果について説明する。
[Description of operation of display imaging device]
Next, with reference to FIGS. 7 to 12 in addition to FIGS. 1 to 6, operations and effects of the
まず、図７および図８を参照して、表示撮像装置１の基本動作（物体検出の基本動作）について説明する。図７は、表示撮像装置１における物体検出の基本動作について説明するための概略断面図である。また、図８は、表示撮像装置１による画像処理全体の流れを表すものである。
First, a basic operation (basic operation of object detection) of the
電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。
Display data output from the electronic device
入出力パネル１１は、バックライトからの出射光を用いて画像を表示要素１１ａに表示する一方、受光要素１１ｂを駆動している。そして、例えば図７に示したように、表示要素１１ａに指等の外部近接物体８が接触または近接すると、表示要素１１ａに表示された画像による光（表示光Ｌout）が外部近接物体８で反射されて、この反射光（検出光）Ｌｒが受光要素１１ｂで検出される。この検出によって、受光要素１１ｂからは受光信号が出力される。そして受光信号処理部１３は、この受光信号を入力して増幅等の処理を行い、受光信号を処理する（図８のステップＳ１０）。このようにして、受光信号処理部１３において、撮像画像が得られる。
The input /
次に、画像処理部１４は、受光信号処理部１３から撮像画像を入力し、この撮像画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、撮像画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより外部近接物体で反射された光を受光した部分が「１」に設定され、他の部分が「０」に設定される。
Next, the
そして、画像処理部１４は、２値化された撮像画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。
Then, the
この後、画像処理部１４は、ラベリング処理部（図示せず）において、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部は、「１」に設定された領域を外部近接物体の領域として検出し、上記ラベル情報、位置情報および面積情報をそれぞれ取得する。そしてこのようなデータは、点情報として制御部２１に出力される。
Thereafter, the
次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、表示撮像装置１における基本動作（物体検出の基本動作）が終了となる。
Next, the
次に、図９〜図１２を参照して、本発明の特徴的部分の動作について、比較例と比較しつつ詳細に説明する。ここで、図９は、比較例に係る従来の表示撮像装置における偽信号の発生現象についてタイミング図で表したものである。また、図１０は、本実施の形態に係る物体の検出動作の一例をタイミング図で表したものである。また、図１１は、本実施の形態に係る物体の検出動作の際の受光信号の一覧を表したものである。また、図１２は、本実施の形態に係る物体の検出動作の際の外光および検出光の判定処理を流れ図で表したものである。 Next, the operation of the characteristic part of the present invention will be described in detail with reference to FIGS. Here, FIG. 9 is a timing diagram illustrating the generation phenomenon of the false signal in the conventional display imaging apparatus according to the comparative example. FIG. 10 is a timing diagram illustrating an example of the object detection operation according to the present embodiment. FIG. 11 shows a list of received light signals in the object detection operation according to the present embodiment. FIG. 12 is a flowchart showing the determination process of external light and detection light in the object detection operation according to the present embodiment.
まず、図９に示した比較例では、図中の符号Ｐ１００で示したように、発光状態で得られた画像（照射光による反射光を利用して得られた受光信号；図中の「ＯＮ」）と、消灯状態で得られた画像（図中の「ＯＦＦ」）との差分を取ることにより、外光ＬＯや固定ノイズによる影響が除去されるようにしている。これにより、外光ＬＯや固定ノイズの影響を受けずに、物体の位置などを検出することが可能となる。 First, in the comparative example shown in FIG. 9, as indicated by the symbol P <b> 100 in the figure, an image obtained in a light emitting state (a light reception signal obtained using reflected light from irradiated light; “ON” in the figure) )) And the image obtained in the extinguished state (“OFF” in the figure), the influence of the external light LO and fixed noise is removed. Thereby, the position of the object can be detected without being affected by the external light LO and fixed noise.
しかしながら、例えば図中の符号Ｐ１０１，Ｐ１０２で示したように、入出力パネル１１上で外部近接物体（ここでは、指）８が高速に移動している場合などには、時間差のため、「ＯＮ」のときの受光信号と、「ＯＦＦ」のときの受光信号との間で、位置ずれが生じることになる。そしてこのような位置ずれが生じると、これら２つの受光信号の差分を取ったときに、物体の位置に対応する本来の信号の他に、別の位置に偽信号が生じてしまう（図中の符号Ｐ１０１，Ｐ１０２参照）。よって、このような偽信号の存在により、安定した物体の検出が困難となってしまう。なお、この偽信号は、物体の動きが速いときに発生する面積が大きくなり、また外光が強いほど、偽信号も強くなる傾向がある。
However, for example, when the external proximity object (in this case, a finger) 8 is moving at high speed on the input /
これに対し、本実施の形態では、例えば図１０に示したようにして、入出力パネル１１においてフィールドシーケンシャル駆動が行われることにより、複数種類の照射光が照射されるようになっている。具体的には、図中の発光期間（点灯期間）ΔＴＲ，ΔＴＧ，ΔＴＢで示したように、各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応した互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて複数種類の照射光が照射される。なお、表示のためには、バックライト１１０が発光していないタイミングに、表示の書き込みが行われる。そして、複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂではそれぞれ、同じタイミングで受光動作が行われる（図中の各撮像期間）。なお、図中のΔＴは、駆動動作の１周期期間を示している。
In contrast, in the present embodiment, for example, as shown in FIG. 10, field sequential driving is performed in the input /
これにより、例えば図１１に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂにおいて図中に示したような受光信号が得られることとなる。ここで、図１１（Ａ），（Ｂ）に示した表において、一番左側の「外光」の欄は、外光ＬＯの有無や色の種類を示している。また、「表示」の欄は、入出力パネル１１における表示光の色の種類を示している。また、「ＬＥＤ」の欄は、バックライト１１０に含まれるＬＥＤの種類を示している。また、「Ｒ sensor」，「Ｇ sensor」，「Ｂ sensor」の欄は、各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂにおいて受光信号が得られるか否かを示している。また、「判定」の欄は、判定結果を示しており、「なし」は検出動作を行わないと判定する場合を、「あり」は検出動作を行うと判定する場合を示している。これらの欄により示される内容については、以下同様である。なお、本実施の形態では、照射光として可視光を用いると共に、可視光のみを受光しているため、黒表示時には、以下説明する判定処理が実行されないようになっている。
Accordingly, for example, as shown in FIG. 11, the presence / absence and type of the external light LO, and the irradiation of each color when (A) the
そして、位置検出部４７は、例えば図１２に示したような、外光ＬＯおよび検出光（反射光）Ｌｒの判定処理（ステップＳ２０〜Ｓ２５）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。具体的には、複数種類の照射光を利用した受光信号に基づいて、その受光信号が、反射光Ｌｒによる受光信号であるのか、または外光ＬＯによる受光信号であるのか、を判定することにより、物体情報を検出する。より具体的には、時分割でＲＧＢの各ＬＥＤ１１０Ｒ，１１０Ｇ，１１０Ｂを点灯させて各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂで受光することにより得られた受光信号（ステップＳ２０）において、以下の判定処理を行う。すなわち、各ＬＥＤ１１０Ｒ，１１０Ｇ，１１０Ｂの点灯時に、その色に対応する受光センサ１１５において受光信号が得られると共に他の色に対応する受光センサ１１５において受光信号が得られなかった場合（ステップＳ２１〜Ｓ２３：Ｙ）、検出動作を行う。これは、その受光信号が反射光Ｌｒによる受光信号であると判定し、検出動作を行うというものである（ステップＳ２５）。一方、それ以外の場合（ステップＳ２１〜Ｓ２３：Ｎ）、その受光信号が外光ＬＯによる受光信号であると判定し、検出動作を行わない（ステップＳ２４）。言い換えると、各波長領域の光の点灯時に、対応する波長領域の光のみからなる受光信号が得られた場合には、その受光信号が反射光Ｌｒによる受光信号であると判定し、検出動作を行う。一方、各波長領域の光の点灯時に、対応する波長領域以外の光を含む受光信号が得られた場合には、その受光信号が外光ＬＯによる受光信号であると判定し、検出動作を行わない。これは、検出用の照射光を照射しているときに、外光ＬＯの場合には、検出対象の受光センサおよび他の受光センサの両方から受光信号が得られる一方、反射光Ｌｒの場合には、検出対象の受光センサのみから受光信号が得られるためである。
And the
このようにして、本実施の形態では、各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応する互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、物体情報が検出される。これにより、得られた受光信号に対して、反射光Ｌｒによる受光信号であるのかまたは外光ＬＯによる受光信号であるのかの判定が可能となるため、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定が回避される。
In this way, in the present embodiment, a plurality of types of irradiation light irradiated at different timings are used so that each of them has different wavelength regions corresponding to a plurality of types of
以上のように本実施の形態では、以下の効果が得られる。すなわち、本実施の形態では、各々が複数種類の受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂに対応する互いに異なる波長領域の光となるように、互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、物体情報を検出している。これにより、例えば外部近接物体８が入出力パネル１１上で動いているような場合であっても、偽信号による誤判定を回避することができる（強外光下での誤動作を防ぐことができる。）。よって、使用状況によらず、物体を安定して検出することが可能となる。
As described above, in the present embodiment, the following effects can be obtained. In other words, in the present embodiment, light reception using a plurality of types of irradiation light irradiated at different timings so that each of them has different wavelength regions corresponding to a plurality of types of
また、受光センサ１１５のダイナミックレンジを強外光（例えば太陽）で飽和しないように設計する必要がなく、外部近接物体８からの反射光Ｌｒで受光センサ１１５が飽和しない限り、検出することが可能である。
Further, it is not necessary to design the dynamic range of the
＜２．第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。なお、上記第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
<2. Second Embodiment>
Next, a second embodiment of the present invention will be described. In addition, the same code | symbol is attached | subjected to the same component as the said 1st Embodiment, and description is abbreviate | omitted suitably.
［入出力パネルの概略構成例］
図１３は、本実施の形態に係る入出力パネルの概略構成例を平面図で表したものであり、図１４は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。
[Schematic configuration example of input / output panel]
FIG. 13 is a plan view illustrating a schematic configuration example of the input / output panel according to the present embodiment, and FIG. 14 is a cross-sectional view illustrating a schematic configuration example of the input / output panel according to the present embodiment. Is.
本実施の形態の入出力パネルでは、例えば図１３（Ａ），図１３（Ｂ）および図１４に示したように、第１の実施の形態とは異なり、入出力パネルにおいて、表示領域３１において、各画素に対応してカラーフィルタ１１６Ｒ，１１６Ｇ，１１６Ｂが設けられている。これにより、表示領域３１は、赤色光を照射可能な赤色表示領域３１Ｒと、緑色光を照射可能な緑色表示領域３１Ｇと、青色光を照射可能な青色表示領域３１Ｂとにより構成されている。
In the input / output panel of the present embodiment, for example, as shown in FIGS. 13A, 13B, and 14, unlike the first embodiment, in the input / output panel, in the
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図１５（Ａ）〜図１５（Ｄ）に示したようにして、物体の検出動作が行われる。なお、ここでは、表示輝度を稼ぐため、表示のみを行う期間が設けられている。
[Description of operation of display imaging device]
Thereby, in the display imaging device of the present embodiment, the object detection operation is performed as shown in FIGS. 15A to 15D, for example, as in the first embodiment. Here, in order to increase display luminance, a period for performing only display is provided.
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。 As described above, also in the present embodiment, the same effect can be obtained by the same operation as in the first embodiment. That is, an erroneous determination due to a false signal can be avoided, and an object can be stably detected regardless of the usage situation.
また、第１の実施の形態で説明したフィールドシーケンシャル駆動とは異なるため、表示の書き込みを高速で行う必要がなくなり、液晶の応答の追従性の問題を回避することができる。また、発光期間を長くすることができるため、表示の輝度を上げるためにＬＥＤのパワーを挙げる必要もなくなる。 Further, since it is different from the field sequential driving described in the first embodiment, it is not necessary to perform display writing at a high speed, and the problem of followability of liquid crystal response can be avoided. Further, since the light emission period can be lengthened, it is not necessary to increase the power of the LED in order to increase the display brightness.
なお、例えば図１６（Ａ）〜図１６（Ｄ）に示したように、表示期間を変更することにより、応答速度が速くない液晶モードを用いることが可能となる。また、例えば図１７（Ａ）〜図１７（Ｄ）に示したように、表示輝度を上げるため、各色ＬＥＤが全て発光している期間を、最大限にとるようにしてもよい。 Note that, for example, as shown in FIGS. 16A to 16D, it is possible to use a liquid crystal mode in which the response speed is not fast by changing the display period. Further, for example, as shown in FIGS. 17A to 17D, in order to increase the display luminance, it is possible to maximize the period during which all the color LEDs emit light.
＜３．第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。なお、上記第１，第２の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
<3. Third Embodiment>
Next, a third embodiment of the present invention will be described. In addition, the same code | symbol is attached | subjected to the same component as the said 1st, 2nd embodiment, and description is abbreviate | omitted suitably.
［入出力パネルの概略構成例］
図１８は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、バックライト１１０−１に、非可視光である赤外光を発する赤外ＬＥＤ１１０ＩＲを含んでいると共に、非可視光である赤外光を受光する受光センサ１１５ＩＲを含んでいる。また、この受光センサ１１５ＩＲ上には、可視光をカットすると共に赤外光のみを透過するＩＲフィルタ１１６ＩＲが配置されている。
[Schematic configuration example of input / output panel]
FIG. 18 is a cross-sectional view illustrating a schematic configuration example of the input / output panel according to the present embodiment. In the input / output panel of this embodiment, the backlight 110-1 includes an infrared LED 110IR that emits infrared light that is invisible light, and a light receiving sensor 115IR that receives infrared light that is invisible light. Is included. An IR filter 116IR that cuts visible light and transmits only infrared light is disposed on the light receiving sensor 115IR.
赤外ＬＥＤ１１０ＩＲは、例えば図１９に示したような発光スペクトル特性となっている。また、ＩＲフィルタ１１６ＩＲは、例えば図２０（Ａ），図２０（Ｂ）に示したような分光透過特性となっている。ここで、ＩＲフィルタ１１６ＩＲは、カラーフィルタのＲＢもしくはＲＧＢを積層することにより実現することが可能である。ここでは、ＲＢ積層よりもＲＧＢ積層のほうが可視光をカットする性能が高く、本実施例ではＲＧＢフィルタを用いている。 The infrared LED 110IR has an emission spectrum characteristic as shown in FIG. 19, for example. Further, the IR filter 116IR has spectral transmission characteristics as shown in FIGS. 20A and 20B, for example. Here, the IR filter 116IR can be realized by stacking RB or RGB of color filters. Here, the RGB layer has a higher performance of cutting visible light than the RB layer, and an RGB filter is used in this embodiment.
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図２１（Ａ）〜図２１（Ｅ）に示したようにして、物体の検出動作が行われる。そして、第１の実施の形態と同様に、例えば図２２に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂ，１１５ＩＲにおいて、図中に示したような受光信号が得られることとなる。
[Description of operation of display imaging device]
Thereby, in the display imaging apparatus of the present embodiment, the object detection operation is performed as shown in FIGS. 21A to 21E, for example, as in the first embodiment. Then, as in the first embodiment, as shown in FIG. 22, for example, (A) when there is no
これにより、位置検出部４７は、第１の実施の形態と同様に、例えば図２３に示したような判定処理（ステップＳ３０〜Ｓ３４）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。
As a result, the
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。 As described above, also in the present embodiment, the same effect can be obtained by the same operation as in the first embodiment. That is, an erroneous determination due to a false signal can be avoided, and an object can be stably detected regardless of the usage situation.
また、黒表示した際にも、赤外線を出射することにより、外部近接物体８からの反射光Ｌｒを得ることができ、検出することが可能となる。
In addition, even when black is displayed, the reflected light Lr from the
なお、図２３に示したステップＳ３２において、受光センサ１１５Ｒ，１１５Ｇ，１１５Ｂのうちの１つだけで判定するようにしてもよい。
In step S32 shown in FIG. 23, the determination may be made by only one of the
＜４．第４の実施の形態＞
次に、本発明の第４の実施の形態について説明する。なお、上記第１〜第３の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
<4. Fourth Embodiment>
Next, a fourth embodiment of the present invention will be described. In addition, the same code | symbol is attached | subjected to the same component as the said 1st-3rd embodiment, and description is abbreviate | omitted suitably.
［入出力パネルの概略構成例］
図２４は、本実施の形態に係る入出力パネルの概略構成例を平面図で表したものであり、図２５は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、本実施の形態では、バックライト１１０−２に、ＬＥＤ１１０Ｒ，１１０Ｇ，１１０Ｂ，１１０ＩＲの代わりに、青色および黄色のＬＥＤ１１０Ｂ，１１０Ｙと、赤外ＬＥＤ１１０ＩＲとが含まれている。また、受光センサ１１５として、受光センサ１１５Ｂ，１１５ＩＲ，１１５Ｄが設けられている。
[Schematic configuration example of input / output panel]
FIG. 24 is a plan view illustrating a schematic configuration example of the input / output panel according to the present embodiment. FIG. 25 is a cross-sectional view illustrating a schematic configuration example of the input / output panel according to the present embodiment. Is. In the input / output panel of this embodiment, in this embodiment, the backlight 110-2 includes blue and
なお、青色ＬＥＤ１１０Ｂおよび黄色ＬＥＤ１１０Ｙはそれぞれ、例えば図２６（Ａ），図２６（Ｂ）に示したような発光スペクトル特性となっている。
The
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図２７（Ａ）〜図２７（Ｄ）に示したようにして、物体の検出動作が行われる。なお、ここでは、黄色のＬＥＤ１１０Ｙの発光時は、撮像しておらず、ＬＥＤ１１０Ｂ，１１０ＩＲの発光時のみ撮像している。そして、第１の実施の形態と同様に、例えば図２８に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、図中に示したような受光信号が得られる。すなわち、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｂ，１１５ＩＲにおいて、図中に示したような受光信号が得られることとなる。
[Description of operation of display imaging device]
Thereby, in the display imaging device of the present embodiment, the object detection operation is performed as shown in FIGS. 27A to 27D, for example, as in the first embodiment. Note that here, no image is taken when the
これにより、位置検出部４７は、第１の実施の形態と同様に、例えば図２９に示したような判定処理（ステップＳ４０〜Ｓ４４）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。
Accordingly, the
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。 As described above, also in the present embodiment, the same effect can be obtained by the same operation as in the first embodiment. That is, an erroneous determination due to a false signal can be avoided, and an object can be stably detected regardless of the usage situation.
なお、例えば図３０（Ａ）〜図３０（Ｄ）に示したように、表示のタイミングを変更するようにしてもよい。 For example, as shown in FIGS. 30A to 30D, the display timing may be changed.
＜５．第５の実施の形態＞
次に、本発明の第５の実施の形態について説明する。なお、上記第１〜第４の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
<5. Fifth embodiment>
Next, a fifth embodiment of the present invention will be described. In addition, the same code | symbol is attached | subjected to the same component as the said 1st-4th embodiment, and description is abbreviate | omitted suitably.
［入出力パネルの概略構成例］
図３１は、本実施の形態に係る入出力パネルの概略構成例を平面図で表したものであり、図３２は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、白色ＬＥＤによる白色表示領域３２Ｗが設けられると共に、白色光を受光可能な受光センサ１１５Ｗが設けられている。
[Schematic configuration example of input / output panel]
FIG. 31 is a plan view illustrating a schematic configuration example of the input / output panel according to the present embodiment, and FIG. 32 is a cross-sectional view illustrating a schematic configuration example of the input / output panel according to the present embodiment. Is. In the input / output panel according to the present embodiment, a
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、第１の実施の形態と同様に、例えば図３３（Ａ）〜図３３（Ｃ）に示したようにして、物体の検出動作が行われる。
[Description of operation of display imaging device]
Thereby, in the display imaging apparatus of the present embodiment, the object detection operation is performed as shown in FIGS. 33A to 33C, for example, as in the first embodiment.
なお、表示のタイミングを変更することにより、例えば図３３（Ｄ）〜図３３（Ｆ）に示したように、白色ＬＥＤの消灯時に書き込むようにし、残像感の少ない表示を得ることができる。また、例えば図３４（Ａ）〜図３３（Ｃ）に示したようにしてもよい。また、例えば図３５（Ａ）〜図３３（Ｃ）および図３５（Ｄ）〜図３５（Ｆ）に示したように、撮像期間を短くして、表示輝度を上げるため、白色ＬＥＤが発光している期間を最大限にとるようにしてもよい。 Note that by changing the display timing, for example, as shown in FIGS. 33D to 33F, writing is performed when the white LED is turned off, and a display with less afterimage can be obtained. Further, for example, it may be as shown in FIGS. 34 (A) to 33 (C). For example, as shown in FIGS. 35 (A) to 33 (C) and FIGS. 35 (D) to 35 (F), the white LED emits light in order to shorten the imaging period and increase the display luminance. The maximum period may be taken.
そして、第１の実施の形態と同様に、例えば図３６に示したように、（Ａ）外部近接物体８が存在しない場合および（Ｂ）外部近接物体８が存在する場合のそれぞれについて、外光ＬＯの有無や種類、各色の照射光に応じて、各受光センサ１１５Ｗ，１１５ＩＲにおいて、図中に示したような受光信号が得られることとなる。
Then, as in the first embodiment, as shown in FIG. 36, for example, (A) when there is no
これにより、位置検出部４７は、第１の実施の形態と同様に、例えば図３７に示したような判定処理（ステップＳ５０〜Ｓ５４）を行うことにより、複数種類の照射光を利用した受光信号に基づいて、物体情報を検出する。
Accordingly, the
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。 As described above, also in the present embodiment, the same effect can be obtained by the same operation as in the first embodiment. That is, an erroneous determination due to a false signal can be avoided, and an object can be stably detected regardless of the usage situation.
＜６．第６の実施の形態＞
次に、本発明の第６の実施の形態について説明する。なお、上記第１〜第５の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
<6. Sixth Embodiment>
Next, a sixth embodiment of the present invention will be described. In addition, the same code | symbol is attached | subjected to the same component as the said 1st-5th embodiment, and description is abbreviate | omitted suitably.
［入出力パネルの概略構成例］
図３８は、本実施の形態に係る入出力パネルの概略構成例を断面図で表したものである。本実施の形態の入出力パネルでは、受光センサ１１５Ｗ上に、ＩＲ吸収材料からなるＩＲ吸収フィルタ１１７ＩＲが配置されている。
[Schematic configuration example of input / output panel]
FIG. 38 is a cross-sectional view illustrating a schematic configuration example of the input / output panel according to the present embodiment. In the input / output panel of the present embodiment, an IR absorption filter 117IR made of an IR absorbing material is disposed on the
なお、このＩＲ吸収フィルタ１１７ＩＲは、例えば図３９に示したような分光透過スペクトルとなっている。 The IR absorption filter 117IR has a spectral transmission spectrum as shown in FIG. 39, for example.
［表示撮像装置の動作説明］
これにより、本実施の形態の表示撮像装置では、ＬＥＤ１１０ＩＲの発光時に、受光センサ１１５Ｗに、赤外光が入射することが回避される。
[Description of operation of display imaging device]
Thereby, in the display imaging apparatus of this Embodiment, it is avoided that infrared light injects into the
以上のように本実施の形態においても、第１の実施の形態と同様の作用により、同様の効果を得ることができる。すなわち、偽信号による誤判定を回避することができ、使用状況によらず、物体を安定して検出することが可能となる。 As described above, also in the present embodiment, the same effect can be obtained by the same operation as in the first embodiment. That is, an erroneous determination due to a false signal can be avoided, and an object can be stably detected regardless of the usage situation.
また、ＬＥＤ１１０ＩＲの発光時に、受光センサ１１５Ｗに、赤外光が入射することが回避されるため、上記第５の実施の形態における以下の問題を回避することができる。すなわち、受光センサ１１５Ｗの閾値を高く設定する必要がなくなり、受光センサ１１５Ｗのみで検出する外光環境範囲を小さくし、ＬＥＤ１１０ＩＲのパワーを高くする必要がなくなる。
Further, since the infrared light is prevented from entering the
＜７．適用例＞
（モジュールおよび適用例）
次に、図４０〜図４４を参照して、上記実施の形態で説明した表示撮像装置の適用例について説明する。上記実施の形態の表示撮像装置は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなどのあらゆる分野の電子機器に適用することが可能である。言い換えると、上記実施の形態の表示撮像装置は、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。
<7. Application example>
(Modules and application examples)
Next, application examples of the display imaging device described in the above embodiment will be described with reference to FIGS. The display imaging device of the above embodiment can be applied to electronic devices in various fields such as a television device, a digital camera, a notebook personal computer, a mobile terminal device such as a mobile phone, or a video camera. In other words, the display imaging device of the above embodiment can be applied to electronic devices in all fields that display an externally input video signal or an internally generated video signal as an image or video.
（適用例１）
図４０は、上記実施の形態の表示撮像装置が適用されるテレビジョン装置の外観を表したものである。このテレビジョン装置は、例えば、フロントパネル５１１およびフィルターガラス５１２を含む映像表示画面部５１０を有しており、この映像表示画面部５１０は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 1)
FIG. 40 illustrates an appearance of a television device to which the display imaging device of the above embodiment is applied. This television apparatus has, for example, a video display screen unit 510 including a front panel 511 and a filter glass 512, and the video display screen unit 510 is configured by the display imaging device according to the above embodiment. .
（適用例２）
図４１は、上記実施の形態の表示撮像装置が適用されるデジタルカメラの外観を表したものである。このデジタルカメラは、例えば、フラッシュ用の発光部５２１、表示部５２２、メニュースイッチ５２３およびシャッターボタン５２４を有しており、その表示部５２２は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 2)
FIG. 41 shows the appearance of a digital camera to which the display imaging device of the above embodiment is applied. The digital camera includes, for example, a flash light emitting unit 521, a display unit 522, a menu switch 523, and a
（適用例３）
図４２は、上記実施の形態の表示撮像装置が適用されるノート型パーソナルコンピュータの外観を表したものである。このノート型パーソナルコンピュータは、例えば、本体５３１，文字等の入力操作のためのキーボード５３２および画像を表示する表示部５３３を有しており、その表示部５３３は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 3)
FIG. 42 illustrates the appearance of a notebook personal computer to which the display imaging apparatus of the above embodiment is applied. The notebook personal computer has, for example, a
（適用例４）
図４３は、上記実施の形態の表示撮像装置が適用されるビデオカメラの外観を表したものである。このビデオカメラは、例えば、本体部５４１，この本体部５４１の前方側面に設けられた被写体撮影用のレンズ５４２，撮影時のスタート／ストップスイッチ５４３および表示部５４４を有しており、その表示部５４４は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 4)
FIG. 43 shows the appearance of a video camera to which the display imaging device of the above embodiment is applied. The video camera includes, for example, a main body 541, a subject photographing lens 542 provided on the front side surface of the main body 541, a start /
（適用例５）
図４４は、上記実施の形態の表示撮像装置が適用される携帯電話機の外観を表したものである。この携帯電話機は、例えば、上側筐体７１０と下側筐体７２０とを連結部（ヒンジ部）７３０で連結したものであり、ディスプレイ７４０，サブディスプレイ７５０，ピクチャーライト７６０およびカメラ７７０を有している。そのディスプレイ７４０またはサブディスプレイ７５０は、上記実施の形態に係る表示撮像装置により構成されている。
(Application example 5)
FIG. 44 shows an appearance of a mobile phone to which the display imaging apparatus of the above embodiment is applied. For example, the mobile phone is obtained by connecting an
＜８．変形例＞
以上、第１〜第６の実施の形態および適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
<8. Modification>
The present invention has been described with reference to the first to sixth embodiments and application examples. However, the present invention is not limited to these embodiments and the like, and various modifications can be made.
例えば、図２に示した例では、１つの発光セルに対応して１つの受光セルを設けるようにしたが、複数の発光セルに対応して１つの受光セルを設けるようにしてもよい。 For example, in the example shown in FIG. 2, one light receiving cell is provided corresponding to one light emitting cell, but one light receiving cell may be provided corresponding to a plurality of light emitting cells.
また、上記実施の形態等で説明した表示撮像装置では、入出力パネルとして、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の表示撮像装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素１１ａと受光要素１１ｂとを有することになる。
In the display and imaging device described in the above embodiments and the like, a configuration using a liquid crystal display panel as an input / output panel has been described. However, the display imaging apparatus of the present invention can also be configured using an organic electroluminescence (EL) panel or the like as the input / output panel. The organic EL element has a property of emitting light when a forward bias voltage is applied and receiving light to generate a current when a reverse bias voltage is applied. For this reason, the organic EL element has the
具体的には、例えば図４５（断面構成例）および図４６（平面構成例）に示した入出力パネル６１のように、トップエミッション構造であると共に、カラーフィルタ１１６が配置されたものが挙げられる。ここでは、ＩＲ発光層６１３ＩＲ上にもＩＲフィルタ１１６ＩＲが配置され、外光ＬＯによる駆動配線などの反射が抑えられるようになっている。なお、発光層６１３Ｒ，６１３Ｇ，６１３Ｂ，６１３ＩＲ、受光センサ１１５Ｗ，１１５ＩＲ，１１５Ｄ等の配置位置については、特に限定されない。
Specifically, for example, an input /
また、本発明の表示撮像装置は、上記実施の形態等で説明した表示撮像装置１だけでなく、例えば図４７に示したような表示撮像装置２にも適用することが可能である。この表示撮像装置２は、上記実施の形態等に係る表示撮像装置１と比較して、画像処理部１４が電子機器本体２０に設けられた点が異なっている。すなわち、この表示撮像装置２は、表示信号処理部１２、入出力パネル１１および受光信号処理部１３がディスプレイ１０に設けられ、制御部２１および画像処理部１４が電子機器本体２０に設けられたものである。このような表示撮像装置２であっても、上記実施の形態に係る表示撮像装置１と同様の効果を奏することができる。
Further, the display imaging apparatus of the present invention can be applied not only to the
また、これまでは、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。
In addition, the case where the
さらに、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。 Furthermore, the series of processing described in the above embodiments and the like can be performed by hardware or software. When a series of processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like. Such a program may be recorded in advance on a recording medium built in the computer.
１，２…表示撮像装置、１０…ディスプレイ、１１，６１…入出力パネル、１１ａ…表示要素、１１ｂ…受光要素、１１０，１１０−１，１１０−２…バックライト、１１０Ｒ，１１０Ｇ，１１０Ｂ，１１０ＩＲ，１１０Ｙ…ＬＥＤ、１１５…受光センサ、１１６…カラーフィルタ、１１６ＩＲ…ＩＲフィルタ、１１７ＩＲ…ＩＲ吸収フィルタ、１２…表示信号処理部、１３…受光信号処理部、１４…画像処理部、１６…画素、２０…電子機器本体、２１…制御部、３１…表示領域、３２…受光領域、５１０…映像表示画面部、５１１…フロントパネル、５１２…フィルターガラス、５２１…発光部、５２２…表示部、５２３…メニュースイッチ、５２４…シャッターボタン、５３１…本体、５３２…キーボード、５３３…表示部、５４１…本体部、５４２…レンズ、５４３…スタート／ストップスイッチ、５４４…表示部、７１０…上部筐体、７２０…下部筐体、７３０…連結部、７４０…ディスプレイ、７５０…サブディスプレイ、７６０…ピクチャーライト、７７０…カメラ、６１３Ｒ，６１３Ｇ，６１３Ｂ，６１３ＩＲ…発光層、８…外部近接物体（指）、ＢＭ…ブラックマトリクス、Ｌout…表示光、Ｌｒ…反射光（検出光）、ＬＯ…外光、ＬＲ，ＬＧ，ＬＢ…各色光、ΔＴ…動作周期、ΔＴＲ，ΔＴＧ，ΔＴＢ，ΔＴＩＲ，ΔＴＷ…発光期間（点灯期間）。
DESCRIPTION OF
Claims (10)
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を備え、
前記受光素子は、互いに波長領域の異なる光を受光可能な複数種類の受光素子により構成され、
前記検出部は、各々が前記複数種類の受光素子に対応した互いに異なる波長領域の光となるように互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、前記物体情報を検出する
表示撮像装置。 An input / output panel having a light emitting element and a light receiving element;
Object information including at least one of the position, shape, or size of an external proximity object is obtained based on a light reception signal obtained by receiving light reflected by the light received from the input / output panel by the light receiving element. A detection unit for detecting, and
The light receiving element is composed of a plurality of types of light receiving elements capable of receiving light having different wavelength regions,
The detection unit is configured to receive the object information based on a light reception signal using a plurality of types of irradiation light irradiated at different timings so that each of the light has different wavelength regions corresponding to the plurality of types of light receiving elements. Display imaging device that detects.
請求項１に記載の表示撮像装置。 The display imaging apparatus according to claim 1, wherein each of the plurality of types of light receiving elements receives reflected light from the irradiation light at the same timing.
請求項１に記載の表示撮像装置。 The detection unit determines whether the light reception signal is a light reception signal based on the reflected light or a light reception signal based on external light based on a light reception signal using the plurality of types of irradiation light. The display imaging device according to claim 1, wherein the object information is detected.
各波長領域の照射光の照射時に、対応する波長領域の光のみからなる受光信号が得られた場合には、その受光信号が前記反射光による受光信号であると判定し、
各波長領域の照射光の照射時に、対応する波長領域以外の光を含む受光信号が得られた場合には、その受光信号が外光による受光信号であると判定する
請求項３に記載の表示撮像装置。 The detector is
When a light reception signal consisting only of light in the corresponding wavelength region is obtained at the time of irradiation of irradiation light in each wavelength region, it is determined that the light reception signal is a light reception signal by the reflected light,
The display according to claim 3, wherein when a light reception signal including light outside the corresponding wavelength region is obtained at the time of irradiation of irradiation light in each wavelength region, the light reception signal is determined to be a light reception signal due to external light. Imaging device.
前記受光素子が、可視光を受光する受光素子と、非可視光である赤外光を受光する受光素子とを含む
請求項１ないし請求項４のいずれか１項に記載の表示撮像装置。 The light-emitting element includes a light-emitting element that emits visible light and a light-emitting element that emits infrared light that is invisible light,
The display imaging device according to any one of claims 1 to 4, wherein the light receiving element includes a light receiving element that receives visible light and a light receiving element that receives infrared light that is invisible light.
請求項１に記載の表示撮像装置。 The display imaging apparatus according to claim 1, wherein the input / output panel is provided with a color filter corresponding to each light emitting element.
請求項１に記載の表示撮像装置。 The display imaging apparatus according to claim 1, wherein the input / output panel is configured to irradiate the plurality of types of irradiation light by performing field sequential driving on the light emitting element.
請求項１に記載の表示撮像装置。 The display imaging apparatus according to claim 1, wherein the light emitting element is configured using a liquid crystal element.
請求項１に記載の表示撮像装置。 The display imaging apparatus according to claim 1, wherein the light emitting element is configured using an organic EL element.
前記表示撮像装置は、
表示素子および受光素子を有する入出力パネルと、
前記入出力パネルから照射される照射光による反射光が前記受光素子によって受光されることにより得られる受光信号に基づいて、外部近接物体の位置、形状または大きさの少なくとも１つを含む物体情報を検出する検出部と
を有し、
前記受光素子は、互いに波長領域の異なる光を受光可能な複数種類の受光素子により構成され、
前記検出部は、各々が前記複数種類の受光素子に対応した互いに異なる波長領域の光となるように互いに異なるタイミングにおいて照射された複数種類の照射光を利用した受光信号に基づいて、前記物体情報を検出する
電子機器。 A display imaging device having an image display function and an imaging function;
The display imaging device includes:
An input / output panel having a display element and a light receiving element;
Object information including at least one of the position, shape, or size of an external proximity object based on a light reception signal obtained by receiving reflected light by the light receiving element irradiated from the input / output panel. A detection unit for detecting, and
The light receiving element is composed of a plurality of types of light receiving elements capable of receiving light having different wavelength regions from each other,
The detection unit is configured to receive the object information based on a light reception signal using a plurality of types of irradiation light irradiated at different timings so that each of the light has different wavelength regions corresponding to the plurality of types of light receiving elements. Detect electronic equipment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008267784A JP5111327B2 (en) | 2008-10-16 | 2008-10-16 | Display imaging apparatus and electronic apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008267784A JP5111327B2 (en) | 2008-10-16 | 2008-10-16 | Display imaging apparatus and electronic apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010097420A true JP2010097420A (en) | 2010-04-30 |
| JP5111327B2 JP5111327B2 (en) | 2013-01-09 |
Family
ID=42259054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008267784A Active JP5111327B2 (en) | 2008-10-16 | 2008-10-16 | Display imaging apparatus and electronic apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5111327B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012022673A (en) * | 2010-06-16 | 2012-02-02 | Semiconductor Energy Lab Co Ltd | Input output device and driving method of input output device |
| JP2012022674A (en) * | 2010-06-16 | 2012-02-02 | Semiconductor Energy Lab Co Ltd | Input/output device and driving method of input/output device |
| JP2012038311A (en) * | 2010-08-05 | 2012-02-23 | Samsung Electronics Co Ltd | Display device |
| JP2012113291A (en) * | 2010-11-05 | 2012-06-14 | Semiconductor Energy Lab Co Ltd | Display device with imaging function, and driving method for the same |
| JP2012146292A (en) * | 2010-12-22 | 2012-08-02 | Semiconductor Energy Lab Co Ltd | Method for driving semiconductor device |
| US8965451B2 (en) | 2012-03-22 | 2015-02-24 | Kabushiki Kaisha Toshiba | Information processing terminal device |
| JP2015508932A (en) * | 2012-03-01 | 2015-03-23 | マイクロソフト コーポレーション | Sensor-in-pixel display with near-infrared filter |
| JP2016027654A (en) * | 2015-08-05 | 2016-02-18 | セイコーエプソン株式会社 | Light-emitting element, light-emitting device, and electronic apparatus |
| JP2018533749A (en) * | 2016-09-14 | 2018-11-15 | 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． | Array substrate and method of manufacturing the same, display panel, display device, electronic apparatus |
| CN112209943A (en) * | 2019-07-09 | 2021-01-12 | 日本化药株式会社 | Material for photoelectric conversion element, organic thin film, photoelectric conversion element, imaging element, photosensor, and compound |
| US11094269B2 (en) | 2019-01-31 | 2021-08-17 | Japan Display Inc. | Display device and display system |
| US11289032B2 (en) | 2019-07-10 | 2022-03-29 | Japan Display Inc. | Display device |
| WO2022180481A1 (en) * | 2021-02-26 | 2022-09-01 | 株式会社半導体エネルギー研究所 | Display apparatus and electronic equipment |
| US11587522B2 (en) | 2019-01-17 | 2023-02-21 | Japan Display Inc. | Display device |
| US11735132B2 (en) | 2019-06-17 | 2023-08-22 | Japan Display Inc. | Display device writes a same image to a predetermined number of lines |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004318819A (en) * | 2003-03-31 | 2004-11-11 | Toshiba Matsushita Display Technology Co Ltd | Display device and information terminal device |
| JP2005275644A (en) * | 2004-03-24 | 2005-10-06 | Sharp Corp | Liquid crystal display |
| JP2006065305A (en) * | 2004-07-16 | 2006-03-09 | Semiconductor Energy Lab Co Ltd | Display device mounted with read function and electronic equipment using the same |
| JP2007310628A (en) * | 2006-05-18 | 2007-11-29 | Hitachi Displays Ltd | Image display |
| JP2008083950A (en) * | 2006-09-27 | 2008-04-10 | Sony Corp | Display apparatus, input apparatus, input method and light receiving circuit |
| JP2008096399A (en) * | 2006-10-16 | 2008-04-24 | Casio Comput Co Ltd | Photosensor, object detecting method, and display panel |
| JP2008197148A (en) * | 2007-02-08 | 2008-08-28 | Casio Comput Co Ltd | Photoelectric conversion device and display panel provided with the same |
-
2008
- 2008-10-16 JP JP2008267784A patent/JP5111327B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004318819A (en) * | 2003-03-31 | 2004-11-11 | Toshiba Matsushita Display Technology Co Ltd | Display device and information terminal device |
| JP2005275644A (en) * | 2004-03-24 | 2005-10-06 | Sharp Corp | Liquid crystal display |
| JP2006065305A (en) * | 2004-07-16 | 2006-03-09 | Semiconductor Energy Lab Co Ltd | Display device mounted with read function and electronic equipment using the same |
| JP2007310628A (en) * | 2006-05-18 | 2007-11-29 | Hitachi Displays Ltd | Image display |
| JP2008083950A (en) * | 2006-09-27 | 2008-04-10 | Sony Corp | Display apparatus, input apparatus, input method and light receiving circuit |
| JP2008096399A (en) * | 2006-10-16 | 2008-04-24 | Casio Comput Co Ltd | Photosensor, object detecting method, and display panel |
| JP2008197148A (en) * | 2007-02-08 | 2008-08-28 | Casio Comput Co Ltd | Photoelectric conversion device and display panel provided with the same |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9459719B2 (en) | 2010-06-16 | 2016-10-04 | Semiconductor Energy Laboratory Co., Ltd. | Input-output device and method for driving the same |
| JP2012022674A (en) * | 2010-06-16 | 2012-02-02 | Semiconductor Energy Lab Co Ltd | Input/output device and driving method of input/output device |
| JP2012022673A (en) * | 2010-06-16 | 2012-02-02 | Semiconductor Energy Lab Co Ltd | Input output device and driving method of input output device |
| US9489088B2 (en) | 2010-06-16 | 2016-11-08 | Semiconductor Energy Laboratory Co., Ltd. | Input-output device and method for driving input-output device |
| JP2012038311A (en) * | 2010-08-05 | 2012-02-23 | Samsung Electronics Co Ltd | Display device |
| JP2012113291A (en) * | 2010-11-05 | 2012-06-14 | Semiconductor Energy Lab Co Ltd | Display device with imaging function, and driving method for the same |
| US9370074B2 (en) | 2010-11-05 | 2016-06-14 | Semiconductor Energy Laboratory Co., Ltd. | Display device with imaging function and method for driving the same |
| JP2012146292A (en) * | 2010-12-22 | 2012-08-02 | Semiconductor Energy Lab Co Ltd | Method for driving semiconductor device |
| JP2015508932A (en) * | 2012-03-01 | 2015-03-23 | マイクロソフト コーポレーション | Sensor-in-pixel display with near-infrared filter |
| US8965451B2 (en) | 2012-03-22 | 2015-02-24 | Kabushiki Kaisha Toshiba | Information processing terminal device |
| JP2016027654A (en) * | 2015-08-05 | 2016-02-18 | セイコーエプソン株式会社 | Light-emitting element, light-emitting device, and electronic apparatus |
| JP2018533749A (en) * | 2016-09-14 | 2018-11-15 | 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． | Array substrate and method of manufacturing the same, display panel, display device, electronic apparatus |
| US11587522B2 (en) | 2019-01-17 | 2023-02-21 | Japan Display Inc. | Display device |
| US11094269B2 (en) | 2019-01-31 | 2021-08-17 | Japan Display Inc. | Display device and display system |
| US11443702B2 (en) | 2019-01-31 | 2022-09-13 | Japan Display Inc. | Display device and display system |
| US11735132B2 (en) | 2019-06-17 | 2023-08-22 | Japan Display Inc. | Display device writes a same image to a predetermined number of lines |
| CN112209943A (en) * | 2019-07-09 | 2021-01-12 | 日本化药株式会社 | Material for photoelectric conversion element, organic thin film, photoelectric conversion element, imaging element, photosensor, and compound |
| JP2021015963A (en) * | 2019-07-09 | 2021-02-12 | 日本化薬株式会社 | Photoelectric conversion element material and uses thereof |
| US11289032B2 (en) | 2019-07-10 | 2022-03-29 | Japan Display Inc. | Display device |
| WO2022180481A1 (en) * | 2021-02-26 | 2022-09-01 | 株式会社半導体エネルギー研究所 | Display apparatus and electronic equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5111327B2 (en) | 2013-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5111327B2 (en) | Display imaging apparatus and electronic apparatus | |
| JP4623110B2 (en) | Display device and position detection method | |
| US9916635B2 (en) | Transparent display device and control method thereof | |
| JP4645822B2 (en) | Image display device and object detection method | |
| CN102592514B (en) | There is the organic LED display device of light sensing function | |
| JP4626658B2 (en) | Display device, imaging device, and position detection device | |
| JP5619521B2 (en) | Touch sensor | |
| US8847907B2 (en) | Display device and display direction switching system | |
| US20060214892A1 (en) | Display device and display method | |
| US20100053107A1 (en) | Information input device, information input method, information input/output device, and information input program | |
| TWI395170B (en) | Liquid-crystal display apparatus | |
| JP4893683B2 (en) | Image display device | |
| WO2010047256A1 (en) | Imaging device, display image device, and electronic device | |
| US20110084934A1 (en) | Information input device, information input method, information input/output device, computer readable non-transitory recording medium and electronic unit | |
| US9201532B2 (en) | Information input device, information input program, and electronic instrument | |
| JP4270248B2 (en) | Display imaging apparatus, information input apparatus, object detection program, and object detection method | |
| WO2015041901A1 (en) | Infrared light director for gesture or scene sensing fsc display | |
| JP2011038916A (en) | Detector, display apparatus, and method for measuring proximal distance of object | |
| JP2009116700A (en) | Display system and method for detecting pointed position | |
| JP2011086179A (en) | Device and method for inputting information, information input/output device, information input program, and electronic apparatus | |
| TWI437472B (en) | Sensor device, method of driving sensor element, display device with input function and electronic unit | |
| JP2009205423A (en) | Display imaging device and object detection method | |
| JP2010049479A (en) | Display and imaging apparatus and electronic device | |
| JP2005293374A (en) | Image display device and method for driving image display device | |
| TWM610904U (en) | Dual-mode display with light sensing function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110922 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120330 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121009 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5111327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |