JP2007065508A - Display device and display method - Google Patents

Display device and display method Download PDF

Info

Publication number
JP2007065508A
JP2007065508A JP2005254057A JP2005254057A JP2007065508A JP 2007065508 A JP2007065508 A JP 2007065508A JP 2005254057 A JP2005254057 A JP 2005254057A JP 2005254057 A JP2005254057 A JP 2005254057A JP 2007065508 A JP2007065508 A JP 2007065508A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
period
display
light
plurality
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005254057A
Other languages
Japanese (ja)
Other versions
JP4810936B2 (en )
Inventor
Hirotoshi Fujisawa
Tsutomu Harada
Masafumi Matsui
Mitsuru Tateuchi
Kazunori Yamaguchi
勉 原田
和範 山口
満 建内
雅史 松井
裕利 藤澤
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To readily remove noise, when light emission and light reception are carried out, at the same time. <P>SOLUTION: A back light is made to illuminate in the former half of one frame period of a display image and stopped from illuminating in the latter half. A plurality of pixel electrodes are driven, in such a way that the one frame period of the display image is divided into four, that are first, second, third, and fourth periods; scanning for applying a display voltage to pixel electrodes of a nearly half of prepared lines is carried out in the first period and stopped in the second period; scanning for applying the display voltage to the pixel electrodes of the remaining lines is performed in the third period and stopped in the fourth period; light reception signals of a plurality of light-receiving elements are read out in the second period and fourth period; differences between the light reception signals read out in both the periods are detected by light-receiving elements at the same positions; and the state of contact with or proximity to a display surface is detected, based upon the detected difference signals. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、例えば、液晶表示ディスプレイに適用して好適な表示装置及び表示方法に関し、特に、発光と並行して受光も可能な表示技術に関する。 The present invention may, for example, relates to a suitable display device and a display method applied to a liquid crystal display, in particular, to also display technologies received in parallel with the emission.

従来、テレビジョン受像機などの表示装置の表示画面上に、その画面に触れることで操作が可能なタッチパネルを構成させる場合、表示装置とは別体のタッチパネルを表示画面上に重ねる構成としてあった。 Conventionally, on the display screen of the display device such as a television receiver, when to configure the touch panel can be operated by touching the screen, the display device had a structure in which overlap on the display screen of the touch panel of the separate .

別体のタッチパネルを使用する構成としては、例えば、画面の上に、透明で薄い入力検出装置を貼り付けたものがある。 The configuration using a separate touch panel, for example, on the screen, there is pasted a thin input detection device is transparent. これは導電性フィルムを用いたタッチセンサで、圧力を検出する感圧式のものや、人体との接触で変化する静電容量式のものなどがある。 This is a touch sensor using a conductive film, objects or pressure sensitive for detecting pressure, there is such as capacitance type which changes on contact with the human body. また、電磁誘導式といわれるもので、特殊なペンを用いて位置を入力するものもある。 Further, those referred to as an electromagnetic induction type, is also used to input position using a special pen. これらは表示パネルの表面に特殊な位置検出用のパネルをもう一枚重ねた構造となる。 These become another ply structure the panel for detecting a special position on the surface of the display panel.

これら検出用のパネルを、表示パネルと重ね合わせて使用するものは、タッチの検出原理は簡単であるが、表示パネルの上に何らかの部材を重ねるために、必然的に表示品質の低下が起こる。 The panels for these detection, those used by overlapping the display panel, but the detection principle of the touch is simple, in order to superimpose some members on the display panel, inevitably appear lower quality occurs. また検出方法が主に容量変化を検出する方式であるため、2箇所以上の入力を同時に検出することは困難である。 Since the detection method is a method of detecting the main capacitance change, it is difficult to detect inputs of two or more positions simultaneously.

表面にパネルを追加しないタッチパネルの方式には、光学式のものがある。 The method of the touch panel do not add the panel to the surface, there is an optical type. パネルの上下左右に発光素子(発光ダイオードなど)と、フォトトランジスタを組み合わせて配置し、指などが遮光することにより、位置を検出するものである。 And vertical and horizontal to the light emitting element of the panel (such as a light emitting diode), arranged in a combination of photo-transistors, by a finger shields, and detects a position. このような光学式では表示品質の低下は起こらないが、表示装置の周囲に設置する装置が大掛かりとなり、携帯機器には不向きである。 In such optical not occur deterioration in display quality only large an apparatus to be installed around the display device, it is not suitable for portable devices.

これらの従来のタッチパネルの不都合を解決するために、近年、別体のタッチパネルを設けることなく、表示装置の画面がそのままタッチパネルとして機能するようにしたものが提案されている。 To solve these disadvantages of the conventional touch panel, in recent years, without providing a touch panel separate, the screen of the display device has been proposed which is adapted to directly function as a touch panel. 特許文献1には、このような発光と受光を並行して行う表示装置についての開示がある。 Patent Document 1, there is disclosed a display device which performs in parallel light and such emission.

このような発光と受光を並行して行う表示装置の例としては、例えば表示面に配置された画像表示用の発光素子での表示(発光)を、間欠的に行い、その発光が休止した期間に、発光素子に隣接して配置した受光素子に受光に応じた電荷を蓄積させて、表示(発光)が休止した期間に、受光素子で受光を行うことが提案されている。 Period such as the example of the display device in which light and concurrently performs receiving, for example, the display of the light emitting element for arrangement image displayed on the display surface (light emission), intermittently performed, the emission was suspended , the electric charges corresponding to the light receiving in the light receiving elements disposed adjacent to the light emitting element is accumulated, during a period in which the display (light emission) has suspended, it has been proposed to carry out the light-receiving element.

図6は、従来から提案されている受光素子内蔵の表示装置を使用して、表示と受光とを同時に行う駆動例を示したものである。 6, using the display device of the light-receiving element built proposed conventionally shows a driving example in which the display and receiving at the same time. この例では、表示装置としてはバックライトを使用した液晶画像表示装置とした例である。 In this example, an example in which a liquid crystal image display device using a backlight as a display device. 駆動状態としては、図6に示すように、表示させる映像の1フレーム期間を、前半と後半に1分割し、前半の期間にバックライトをオンさせ、後半の期間はバックライトをオフさせる。 The drive state, as shown in FIG. 6, one frame period of the video to be displayed, and 1 divide the first and second halves, the turns on the backlight during the first half, second half of the period to turn off the backlight. そして、1番目のラインの表示画素から最下段のラインの表示画素まで、実線の矢印で示すように、各フレームの期間をかけて、画素に表示用の印加電圧を、そのフレームの画素電圧に更新させる駆動処理を行う。 Then, the display pixels of the first line until the display pixels of the lowermost line, as shown by solid arrows, over a period of each frame, the applied voltage for displaying the pixels, the pixel voltage of the frame performs drive processing to update.

受光信号の読出しについては、各フレーム期間の前半で、時間t だけ受光素子に蓄積した受光信号を、全てのラインの画素から読出し、さらに、各フレーム期間の後半で、時間t だけ受光素子に蓄積した受光信号を、全てのラインの画素から読出す。 The reading of the light receiving signals, in the first half of each frame period, the light reception signals accumulated in the light receiving element by a time t 1, read from the pixels of all the lines, further, in the second half of each frame period, a time period t 2 light receiving elements a light reception signal accumulated in reads from the pixels of all the lines. そして、同じフレーム期間内の時間t に蓄積された受光信号と、時間t に蓄積された受光信号との差分をとる。 Then, taking a light receiving signal stored in the time t 1 in the same frame period, the difference between the light receiving signal stored in the time t 2. そして、その差分の信号に基づいて、表示面への接触を検出するようにしている。 Then, based on the signal of the difference, and to detect the contact with the display surface. バックライトオン時の受光信号とオフ時の受光信号との差分をとるのは、外光の影響を除去した受光信号成分を得るためである。 Take the difference between the light reception signal at the time of receiving signals and off when the backlight turned on, in order to obtain a light reception signal component obtained by removing the influence of external light.
特開2004−127272号公報(図5) JP 2004-127272 JP (FIG. 5)

この種の発光と受光を同時に行う表示装置を構成させた場合、受光素子が検出する受光信号には、種々のノイズが加わり易い問題があった。 If is a display device that performs light emission and light reception of this type at the same time, the received light signal receiving element has detected, there is likely a problem joined by various noises. ノイズが加わる要因としては、例えば、暗い室内で受光を検出する状態と、明るい日中の屋外で受光を検出する状態とでの受光条件の違いに起因するノイズや、表示装置そのものの構成から生じるノイズなど、種々のものがある。 Factors that noise is added, for example, a state of detecting the light in a dark room, noise and caused by the difference of light reception conditions in the state for detecting the light in outdoor bright day in results from the configuration of the display device itself noise like, there are a variety of things.

受光条件の違いに起因するノイズについては、図6に示したように、バックライトオン時の受光信号とオフ時の受光信号との差分をとることで、除去可能である。 Noise caused by the difference in light conditions, as shown in FIG. 6, by taking the difference between the light reception signal at the time of receiving signals and off when the backlight turned on, can be removed.

表示装置の構成から生じるノイズとしては、受光素子に隣接して配置された表示用電極に印加される電圧が、受光素子での受光に影響を与えるノイズがある。 The noise generated from the configuration of the display device, the voltage applied to the display electrodes disposed adjacent to the light receiving element, there is noise affecting the light reception by the light receiving element. 具体的には、表示画素と受光素子とが隣接して配置されているために、表示画素に、画素駆動状態に対応した電圧を供給するデータ供給線と、受光信号の読出し線とが隣接して配置されることになる。 More specifically, in order to display pixels and the light receiving element is disposed adjacent to the display pixel, a data supply line for supplying a voltage corresponding to the pixel driving state, and the read line of the light receiving signal adjacent It will be placed Te. このため、画素に表示電圧を供給すると、受光信号読出し線に信号が飛び込み、受光信号に対するノイズとなってしまう問題があった。 Therefore, by supplying a display voltage to the pixel, signal light reception signal read line jump, there is a problem that a noise with respect to the light receiving signal. このようなことが発生すると、受光信号のS/Nの低下を招く問題があり、良好な接触検出ができなくなる問題があった。 When this happens, there is a problem of lowering the S / N of the received light signal, a problem that can not be good contact detection.

本発明はかかる点に鑑みてなされたものであり、発光と受光を並行して同時に行う場合における、ノイズの除去を簡単に行うことを目的とする。 The present invention has been made in view of the foregoing, in the case of simultaneously in parallel emission and light reception, and an object thereof is to remove the noise easily.

本発明は、マトリクス状に配置されて、表示用の電圧信号が印加される複数の画素電極と、複数の画素電極に隣接してマトリクス状に配置されて、表示面に入射した光の受光を行う複数の受光素子とを用意して、画像の表示と受光とを並行して行う場合において、画素電極及び受光素子が配置された表示面の背面からの照明として、表示画像の1フレーム期間の前半で発光を行い、後半で発光を停止させ、複数の画素電極の駆動として、表示画像の1フレーム期間を4分割して設定した第1,第2,第3,第4期間の内の第1期間で、用意されたラインの約半分のライン内の画素電極に、表示用電圧を印加させる走査を行ない、第2期間で、走査を停止し、第3期間で、用意されたラインの残りのライン内の画素電極に、表示用電圧を印加さ The present invention is disposed in a matrix, a plurality of pixel electrodes voltage signal for display is applied, are arranged in a matrix adjacent to the plurality of pixel electrodes, the reception of light incident on the display surface are prepared a plurality of light receiving elements for, in the case of performing parallel display of images and the light receiving, as illumination from the back of the display surface where the pixel electrodes and the light receiving elements are arranged, one frame period of the display image performs light emission in the first half, emission was stopped in the second half, as the driving of the plurality of pixel electrodes, the first set by 4 dividing one frame period of the display image, second, third, of the fourth period in one period, the pixel electrodes in about half of provided line line performs scanning for applying the display voltage in the second period, to stop the scanning, in the third period, the remaining-prepared line the pixel electrodes in the line, the display voltage application of る走査を行ない、第4期間で、走査を停止させ、第2期間と第4期間に複数の受光素子の受光信号を読み出し、両期間に読み出された受光信号を、同じ位置の受光素子毎に差分を検出し、その検出した差分信号に基づいて、表示面に接触又は近接した状態を検出するようにしたものである。 That performs scanning, in the fourth period, the scan is stopped, the second period and the fourth period reads received light signals of a plurality of light receiving elements, the light reception signals read out in both periods, each light receiving element of the same position detecting a difference, based on the detected difference signals, in which to detect the state of contact or proximity to the display surface.

このようにしたことで、表示画像に対応した電圧が画素電極に印加される期間と、受光信号が読み出される期間とが異なる期間となり、受光信号が読み出される信号線に、表示画素駆動電圧が飛び込むことがあっても、読み出される受光信号には影響がなくなり、ノイズの少ない接触又は近接の検出が可能になる。 By this arrangement is adopted, the period in which voltage corresponding to the display image is applied to the pixel electrode becomes and the period in which the received light signal is read is different period, to a signal line receiving a signal is read out, jump the display pixel drive voltage even if, there is no effect on the light reception signals read out, it is possible to detect the noise less contact or proximity.

本発明によると、画素への表示電圧の印加と、受光信号の読出しとが異なる期間に設定されるので、受光信号にノイズが加わることがなく、ノイズの少ない接触又は近接の検出が可能になる。 According to the present invention, the application of the display voltage to the pixel, since the reading of light reception signals are set to different time periods, without the noise in the light receiving signal is applied, it is possible to detect the noise less contact or proximity .

以下、本発明の一実施の形態を、図1〜図5を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to FIGS.

本例においては、液晶表示ディスプレイとして構成された表示装置に適用したものであり、その液晶表示ディスプレイを構成する各発光素子に隣接して受光素子を配置して、発光(表示)と受光(読み取り)とを並行して行えるように構成したものである。 In the present embodiment, which is applied to a display device configured as a liquid crystal display, by arranging the light receiving elements adjacent to the respective light emitting elements constituting the liquid crystal display, light emitting (display) and light reception (reading ) and those configured to allow in parallel. ここでは、発光と受光を並行して行える本例のディスプレイを、画像の入力(受光)と出力(表示)が同時に行えるディスプレイであるので、I/Oディスプレイと称する。 Here, the display of this example performed in parallel emission and light reception, the input image (light) and the output (display) is a display that allows simultaneously, referred to as the I / O display. また、後述するように本例のI/Oディスプレイは、画面を触れた状態である接触だけでなく、画面に近接した物体についても検出が可能であり、以下の説明で接触の検出と述べた場合には、特に説明がある場合を除いて、近接の検出をも含むようにしてある。 Further, I / O display of the present embodiment as described later, not only contact a state of touching the screen, but may be also detected object in proximity to the screen, said contact detection in the following description case, in particular except where described, are to include also the detection of proximity.

図1は、本例の表示装置の構成例を示すブロック図である。 Figure 1 is a block diagram showing a configuration example of a display device of the present embodiment. アプリケーションプログラム実行部11は、そのアプリケーション実行部11が実行中のアプリケーションに応じた画像を表示させる処理を行うと共に、ディスプレイパネルの接触を検出して、接触した表示箇所に応じた処理などを行うようにしてある。 The application program execution unit 11 performs processing for the application executing unit 11 displays an image corresponding to the running application, by detecting the contact of the display panel, so that processes such as performed in accordance with the contact display portion are to. アプリケーションプログラム実行部11からの画像の表示の指示は、表示ドライブ回路12に送られ、I/Oディスプレイパネル20で画像を表示させるための駆動が行われる。 Display instructions image from the application program execution unit 11 is sent to the display drive circuit 12, the driving for displaying the image in the I / O display panel 20 is performed.

I/Oディスプレイパネル20は、液晶表示ディスプレイとして構成され、ガラス基板などの透明な基板上に透明電極などが配置されて、表示エリア(センサエリア)21に、複数の画素(表示素子)が縦横に所定個ずつ配置された、いわゆるマトリクス状に画素が配置されたディスプレイであり、背面にバックライト15が配置してある。 I / O display panel 20 is configured as a liquid crystal display, a transparent electrode on a transparent substrate such as a glass substrate is disposed, in a display area (sensor area) 21, a plurality of pixels (display elements) Aspect the arranged by a predetermined one, a display in which pixels are arranged in a so-called matrix, the backlight 15 in the back is arranged. 本例のバックライト15は、例えば複数の発光ダイオードが配列されたものを使用してあり、比較的高速でバックライトの点灯のオン・オフ制御ができるようにしてある。 The backlight 15 of the present embodiment, for example, Yes using what is a plurality of light emitting diodes are arranged, are also available that on-off control of the lighting of the backlight at a relatively high speed. バックライト15での点灯のオン・オフ制御は、表示ドライブ回路12での表示駆動に連動して行われる。 On-off control of the lighting of the backlight 15 is performed in conjunction with the display driving of the display drive circuit 12. 表示ドライブ回路12による液晶表示ディスプレイの駆動としては、ディスプレイを構成する画素電極に、駆動用の電圧信号を印加することで行われるが、表示データの1フレーム周期で、それぞれの画素電極に印加する電圧の極性を変化させる、いわゆる交流駆動を行うようにしてある。 The driving of the liquid crystal display by the display drive circuit 12, the pixel electrodes of the display, carried out by applying a voltage signal for driving, one frame period of the display data is applied to each pixel electrode changing the polarity of the voltage, it is to perform the so-called AC driving.

I/Oディスプレイパネル20は、表示素子とは別に複数の受光素子が配置してある。 I / O display panel 20, the display device are separately disposed plurality of light receiving elements. 即ち、例えば、表示エリア(センサエリア)21の各表示画素に隣接して、受光素子がマトリクス状に配置してあり、この受光素子への受光光量に対応して蓄積した信号電荷を、受光ドライブ回路13からの駆動で読み出す構成としてある。 That is, for example, adjacent to each of the display pixels of the display area (sensor area) 21, the light receiving element Yes arranged in a matrix, a signal charge accumulated in correspondence to the amount of received light to the light receiving element, the light reception drive it is constituted to read in the drive from the circuit 13.

受光ドライブ回路13で読み出されて判定された受光信号(後述する差分画像信号)は、画像処理部14に送られて、接触状態などが画像として判定され、必要により接触中心の座標位置などが判定され、判定結果(座標データ、認識結果など)がアプリケーションプログラム実行部11に送られる。 The light reception drive circuit 13 read and the determined received signal (differential image signal to be described later) is sent to the image processing unit 14, such as the contact state is determined as an image, and the coordinate position of the contact center as required is determined, the determination result (coordinate data, a recognition result) is sent to the application program execution unit 11. アプリケーション実行部11では、実行中のアプリケーションに応じた処理を行う。 The application execution unit 11, performs processing according to the running application. 例えば、表示画像中に、接触を検出した箇所や範囲などを表示させる処理を行う。 For example, in the display image, it performs processing for displaying a location and range detected contact.

次に、図2を参照して、本例のI/Oディスプレイパネル20のドライバの配置例を説明する。 Next, with reference to FIG. 2, illustrating the arrangement of a driver of the I / O display panel 20 of the present embodiment. 中央に透明な表示エリア(センサエリア)21が配置されたI/Oディスプレイパネル20は、図2に示すように、表示エリア21の4つの端面に、表示用水平ドライバ22、表示用垂直ドライバ23、センサ用水平ドライバ24、センサ用垂直ドライバ25が配置してある。 Transparent display area at the center (the sensor area) 21 has been I / O display panel 20 disposed as shown in FIG. 2, the four end faces of the display area 21, the display horizontal driver 22, a display vertical driver 23 , horizontal driver sensor 24, the sensor vertical driver 25 are arranged. 表示用水平ドライバ22と表示用垂直ドライバ23には、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア21にマトリクス状に配置された表示画素の駆動が行われる。 To the display vertical driver 23 and the display horizontal driver 22, as data for display, the display signal and control clock is supplied, the driving of the display pixels arranged in the display area 21 in a matrix takes place. センサ用水平ドライバ24とセンサ用垂直ドライバ25には、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号を、受光信号線を介して受光ドライブ回路13に供給する。 A horizontal driver 24 and the sensor vertical driver 25 for the sensor, is clocked for reading, and supplies a light reception signal read in synchronism with the clock, the light reception drive circuit 13 through the light receiving signal line .

図3は、表示エリア21に配置された画素の1つの構成を示した図である。 Figure 3 is a diagram showing one configuration of pixels arranged in the display area 21. 1つの画素31が備える表示のための構成としては、ここでは水平方向にゲート電極31hが配置してあり、垂直方向にドレイン電極31iが配置してあり、両電極の交点にスイッチチング素子31aが配置してあり、そのスイッチチング素子31aと画素電極31bが接続してある。 The configuration for displaying one pixel 31 is provided, here Yes disposed gate electrode 31h in the horizontal direction, a drain electrode 31i vertically Yes in is disposed, switching quenching element 31a at the intersection of both electrodes Yes disposed, the switch quenching element 31a and the pixel electrode 31b is is connected. スイッチチング素子31aは、ゲート電極31hを介して得られる信号によりオン・オフが制御され、ドレイン電極31iを介して供給される信号により、画素電極31bでの表示状態が設定される。 Switching quenching element 31a is turned on and off is controlled by a signal obtained through the gate electrode 31h, the signal supplied through the drain electrode 31i, the display state at the pixel electrode 31b is set.

そして、画素電極31bに隣接した位置に、受光センサ(受光素子)31cが配置してあり、電源電圧V DDが供給される。 Then, at a position adjacent to the pixel electrode 31b, the light receiving sensor (light receiving element) 31c is Yes arranged, the power supply voltage V DD is supplied. この受光センサ(受光素子)31cには、リセットスイッチ31dとコンデンサ31eが接続してあり、リセットスイッチ31dでリセットされた後、コンデンサ31eで受光量に対応した電荷を蓄積するようにしてある。 The light receiving sensor (light receiving element) 31c, Yes to connect the reset switch 31d and a capacitor 31e, after being reset by the reset switch 31d, it is to be accumulated charge corresponding to the amount of light received by the capacitor 31e. その蓄積された電荷に比例した電圧が、読み出しスイッチ31gがオンとなるタイミングで、バッファアンプ31fを介して、信号出力用電極31jに供給され、外部に出力される。 Voltage proportional to the accumulated charge is, at the timing when the read switch 31g is turned on, via a buffer amplifier 31f, is supplied to a signal output electrode 31j, it is outputted to the outside. リセットスイッチ31dのオン・オフは、リセット電極31kに得られる信号により制御され、読み出しスイッチ31gのオン・オフは、読出し制御電極31kに得られる信号により制御される。 On-off of the reset switch 31d is controlled by a signal obtained reset electrode 31k, on-off of the reading switch 31g is controlled by a signal obtained read control electrode 31k.

ここまでが表示と受光のための画素31の構成であるが、1つの画素に、受光センサ31cと画素電極31bとを隣接して設けてあるため、画素駆動電圧が印加される信号線であるドレイン電極31iと、受光信号読出し線である信号出力用電極31jとは、比較的隣接した位置に配置されることになり、ドレイン電極31iでの電圧変化が、信号出力用電極31jで読み出される信号に影響を及ぼすことになる。 So far it is the configuration of the pixel 31 for receiving the display, one pixel, because that is disposed adjacent a light-receiving sensor 31c and the pixel electrode 31b, is a signal line for the pixel drive voltage is applied a drain electrode 31i, and is light reception signal read line signal output electrode 31j, will be located in a relatively adjacent position, the signal voltage changes at the drain electrode 31i is read in the signal output electrode 31j It will affect things. 本例の場合には、その影響が出力に現れないような駆動処理を行うようにしてある。 In the case of this example, it is to perform the driving processing as the effect does not appear in the output.

図4及び図5は、本例の場合における、画像の表示(発光)と受光とが、各フレーム期間に行われる状態を示した図である。 4 and 5, in the case of this example, display of an image (the light emission) and light reception is a diagram showing a state that takes place each frame period. 図4は、表示と受光を合わせて示してあり、図5は表示の走査(a)と受光の走査(b)とを分けて示してある。 4, is shown together receiving the display, Fig. 5 is shown separately scanning of the display (a) and the scanning of the light-receiving (b). 図4及び図5の横軸は時間であり、縦軸は表示や受光を行う走査ライン(水平ライン)の位置を示してあり、表示信号の書き換えや受光信号の読出しは、ここでは1画面の最上段のライン(1番目のライン)から順に走査ラインを下に変化させて、最後に最下段のラインの走査を行う構成としてある。 A horizontal axis represents time in FIG. 4 and FIG. 5, the vertical axis is shown the position of the scan line to be displayed and receiving (horizontal lines), reading of rewriting and the light receiving signal of the display signal, wherein the one screen the scan line from the uppermost line (first line) sequentially changing down, finally there a structure to perform scanning of the lowermost line. 図4及び図5では、nフレーム目の処理と、そのnフレームの次のフレームであるn+1nフレーム目の処理を示してあり、同様の処理が継続して行われる。 4 and 5, and n th frame processing, are listed in the next frame n + 1n th frame processing of the n frames, the same processing is continued.

ここでは、1フレーム期間は、例えば1/60秒としてあり、図4に示すように、その1フレーム期間を前半と後半に2等分して分けてあり、前半をバックライトを点灯させる期間としてあり、後半をバックライトを消灯させる期間としてある。 Here, one frame period, for example, there as 1/60 second, as shown in FIG. 4, Yes divided by bisecting the one frame period the first and second halves to as the period for the first half of the backlight is lit a Yes, there is a period of time to turn off the backlight of the second half. そして、受光信号の読出しについては、点灯期間と消灯期間のそれぞれで行うようにしてある。 And, for the reading of light reception signals, it is to perform in each lighting period and extinction period.

さらに、バックライトオンの期間と、バックライトオフの期間とを、それぞれ2等分して、結局、1フレーム期間を第1期間、第2期間、第3期間、第4期間に4分割してある。 Furthermore, the duration of the backlight on, and a period of the backlight off, each divided into two equal parts, after all, one frame period the first period, the second period, the third period, divided into four in the fourth period is there. 例えば図5(a)に示すように、nフレーム目では、表示のための画素電極の駆動ラインG1は、バックライトオンの期間の前半(第1期間)に、画面の上半分の走査を行って、そのラインの画素の表示状態(画素に印加する電圧の駆動状態)を、そのフレーム期間の画像に書き換えさせ、バックライトオンの期間の後半(第2期間)では、走査ラインを変化させずに休止期間S1としてある。 For example, as shown in FIG. 5 (a), the n-th frame, the driving line G1 in the pixel electrode for display, in the first half of the period of the backlight on (first period), subjected to scanning the upper half of the screen Te, the display state of the pixel of the line (driving state of the voltage applied to the pixel), is rewritten to the image of the frame period, the second half of the period of the backlight oN (second time period), without changing the scan line there as a rest period S1 to. バックライトオフの期間の前半(第3期間)には、画面の下半分の走査を行って、そのラインの表示状態(画素に印加する電圧の駆動状態)を、そのフレーム期間の画像に書き換えさせ、バックライトオフの期間の後半(第4期間)では、走査ラインを変化させずに休止期間S2としてある。 The first half of the period of the backlight off (third period), by performing the scanning of the lower half of the screen, the display state of the line (driving state of the voltage applied to the pixel), is rewritten to the image of the frame period in the second half of the period of the backlight off (fourth period), there as pause period S2, without changing the scan line.

受光処理については、例えば図5(b)に示すように、nフレーム目では、バックライトオンの期間の前半(第1期間)に、全てのラインの受光信号を順にリセットさせる処理RS1を行い、バックライトオンの期間の後半(第2期間)に、全てのラインの受光信号を順に読み出す処理RD1を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。 For light treatment, for example, as shown in FIG. 5 (b), the n th frame, the first half of the period of the backlight on (first period), the processing RS1 for sequentially resetting the light reception signals of all the lines, in the second half of the period of the backlight turned on (the second period), the processing RD1 for reading light reception signals of all the lines in order to read the received signal a period of time accumulated in the respective sensor. 同様に、バックライトオフの期間の前半(第3期間)に、全てのラインの受光信号を順にリセットさせる処理RS2を行い、バックライトオフの期間の後半(第4期間)に、全てのラインの受光信号を順に読み出す処理RD2を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。 Similarly, in the first half of the period of the backlight off (third period), the processing RS2 for sequentially resetting the light reception signals of all the lines, in the second half of the period of the backlight off (fourth period), all the line It performs processing RD2 for reading a light reception signal in order to read the received signal a period of time accumulated in the respective sensor.

このようにして、1フレーム当り、バックライトがオンでいわゆる自発光時の受光信号読出しと、バックライトがオフで消灯時の受光信号読出しの2回の読出しが行われる。 Thus, one frame per the backlight and the light receiving signal readout called self-luminous time on, the backlight is twice the reading of light reception signals read out at the time of off off takes place. その1フレームの2回の読出し信号は、受光ドライブ回路13内で、フレームメモリ13aに入力されて、各画素位置の信号ごとに差分が検出され、その差分の信号が、ノイズ除去された差分受光信号として、画像処理部14に送られる。 Two read signals of one frame, in the light reception drive circuit within 13, is input to the frame memory 13a, the difference is detected for each signal at each pixel position, the signal of the difference is the difference received from which noise is removed as the signal is sent to the image processing unit 14.

この図4及び図5に示すようなタイミングで表示画素の駆動を行うと同時に、受光信号の読出しを行うことで、各ラインの画素電極に表示電圧が印加されるタイミングと、受光信号を読み出すタイミングとが異なる期間となる。 The 4 and simultaneously to drive the display pixels at the timing shown in FIG. 5, by performing the reading of light reception signals, the timing at which display voltage to the pixel electrode of each line is applied, timing of reading the received signal theft becomes a different period. このように異なるのは、バッライトオン時とバックライトオフ時のいずれでも同じであり、バッライトオン時の受光信号読出し時と、バックライトオフ時の受光信号読出し時のいずれでも、表示駆動電圧の変化によるノイズが、受光信号に加わるのを効果的に防止できる。 Differs from this, the same either when backed write-on and backlight-off, and when receiving the signal read during back light on, either at the time of light reception signals read out when the backlight off, the display driving voltage noise due to the change can be effectively prevented from acting on the light receiving signal. 従って、両受光信号の差分信号にも、表示駆動信号の影響によるノイズが加わることがなく、差分信号に基づいて、表示装置の表示面の接触又は近接の検出が、良好に行える。 Therefore, also the difference signal of the two receiving signals, without added noise due to the effect of the display drive signals, based on the difference signal, the detection of contact or proximity to the display surface of the display device, enabling better.

なお、上述した実施の形態では、1フレーム期間をほぼ均等に4等分して、第1期間、第2期間、第3期間、第4期間を設定して、それぞれの期間で上述した処理を行うようにしたが、それぞれの期間やライン数の設定は、均等でなくてもよい。 In the embodiment described above, almost evenly divided into four equal parts the one frame period, the first period, the second period, the third period, set the fourth period, the above-described processing in each period was to perform, each period and the number of lines setting may not be uniform. ノイズを防ぐという観点からは、少なくとも表示画素の駆動期間と、受光信号の読出し期間とを別期間として、受光信号の読出し期間には、表示駆動を休止させれば、対応が可能であり、そのような対応が行われていれば、図4、図5に示した各期間の設定を変更することは可能である。 From the viewpoint of preventing noise, a drive period of at least the display pixel, apart period and readout period of the received light signal, the reading period of the light receiving signal, if the pause display driving, but may be associated, the if the corresponding is performed as FIG. 4, it is possible to change the settings of each period shown in FIG.

なお、図3に示した受光センサ31cとしては、種々の構成のセンサが使用可能である。 As the light-receiving sensor 31c shown in FIG. 3, the sensor of various configurations can be used. 即ち、例えばPNダイオード、PINダイオード、TFTトランジスタなどの種々の素子構成が適用可能であり、受光信号を電圧として出力する種々のシステムにおいて有効である。 Thus, for example a PN diode, a PIN diode, the various elements constituting such TFT transistors applicable and effective in a variety of systems to output a light reception signal as a voltage.

また、上述した実施の形態では、表示パネルとして、液晶ディスプレイを例として説明したが、受光素子を組み込むことが可能なディスプレイであれば、その他の構成のディスプレイにも本発明は適用可能である。 Further, in the embodiment described above, as the display panel has been described a liquid crystal display as an example, if a display that can be incorporated a light-receiving element, the present invention on the display of the other configuration is applicable.

本発明の一実施の形態による表示装置の構成例を示すブロック図である。 It is a block diagram showing a configuration example of a display device according to an embodiment of the present invention. 本発明の一実施の形態による表示パネルの例を示す構成図である。 An example of a display panel according to an embodiment of the present invention is a configuration diagram showing. 本発明の一実施の形態による画素構成例を示す接続図である。 It is a connection diagram showing a pixel configuration example according to an embodiment of the present invention. 本発明の一実施の形態による表示と受光のタイミング例を示すタイミング図である。 It is a timing diagram showing a timing example of display and light reception according to an embodiment of the present invention. 図4のタイミング図を表示(a)と受光(b)で分解して詳細に示したタイミング図である。 It is a timing diagram showing in detail by decomposing view the timing diagram of FIGS. 4 (a) and the light-receiving (b). 従来の駆動例を示す説明図である。 It is an explanatory diagram showing a conventional driving example.

符号の説明 DESCRIPTION OF SYMBOLS

11…アプリケーションプログラム実行部、12…表示ドライブ回路、13…受光ドライブ回路、13a…フレームメモリ、14…画像処理部、15…バックライト、20…I/Oディスプレイパネル、21…表示エリア(センサエリア)、22…表示用水平ドライバ、23…表示用垂直ドライバ、24…センサ用水平ドライバ、25…センサ用垂直ドライバ、31,32,33…画素、31a…スイッチチング素子、31b…画素電極、31c…センサ素子、31d…リセットスイッチ、31e…コンデンサ、31f…バッファアンプ、31g…読み出しスイッチ 11 ... application program execution unit, 12 ... display drive circuit, 13 ... light reception drive circuit, 13a ... frame memory, 14 ... image processing unit, 15 ... backlight, 20 ... I / O display panel, 21 ... display area (sensor area ), 22 ... display horizontal driver 23 ... display vertical driver, 24 ... horizontal driver sensor, vertical driver 25 ... sensor, 31, 32, 33 ... pixels, 31a ... switch quenching element, 31b ... pixel electrode, 31c ... sensor element, 31d ... reset switch, 31e ... capacitor, 31f ... buffer amplifier, 31 g ... read switch

Claims (3)

  1. 画像の表示と受光とを並行して行う表示装置において、 In the display device which performs in parallel with the light receiving and displaying an image,
    マトリクス状に配置されて、表示用の電圧信号が印加される複数の画素電極と、 Are arranged in a matrix, a plurality of pixel electrodes voltage signal for display is applied,
    前記複数の画素電極に隣接してマトリクス状に配置されて、表示面に入射した光の受光を行う複数の受光素子と、 Wherein the plurality of are arranged in a matrix adjacent to the pixel electrodes, a plurality of light receiving elements for receiving the light incident on the display surface,
    前記画素電極及び受光素子が配置された表示面を背面から照明し、表示画像の1フレーム期間の前半で発光を行い、後半で発光を停止させるバックライトと、 A backlight which the pixel electrode and the light receiving element illuminates the placed display surface from the back, performs light emission in the first half of one frame period of the display image, to stop the emission in the second half,
    前記複数の画素電極をライン単位で駆動し、表示画像の1フレーム期間を4分割して設定した第1,第2,第3,第4期間の内の第1期間で、用意されたラインの約半分のライン内の画素電極に、表示用電圧を印加させる走査を行ない、第2期間で、前記走査を停止し、第3期間で、用意されたラインの残りのライン内の画素電極に、表示用電圧を印加させる走査を行ない、第4期間で、前記走査を停止させる画素駆動部と、 Driving the plurality of pixel electrodes in a line unit, the first set by 4 dividing one frame period of the display image, second, third, in the first period of the fourth period, has been prepared in line the pixel electrodes in about half line performs scanning for applying the display voltage in the second period, the scan stops, in the third period, the pixel electrode in the remaining lines of provided line, It performs scanning for applying the display voltage, the fourth period, and the pixel driver to stop the scanning,
    前記第2期間と前記第4期間に前記複数の受光素子の受光信号を読み出し、両期間に読み出された受光信号を、同じ位置の受光素子毎に差分を検出し、その検出した差分信号に基づいて、表示面に接触又は近接した状態を検出する検出部とを備えたことを特徴とする 表示装置。 Reads the light reception signal of the plurality of light receiving elements in the fourth period and the second period, the light reception signals read out in both periods, and detects a difference for each light receiving element of the same position, in the detected differential signal based on the display device characterized by comprising a detector for detecting a state of contact with or proximity to the display surface.
  2. 請求項1記載の表示装置において、 The display apparatus according to claim 1,
    前記第2期間に読み出す受光信号は、前記第1期間に蓄積を開始させ、前記第4期間に読み出す受光信号は、前記第3期間に蓄積を開始させることを特徴とする 表示装置。 The light receiving signal for reading the second period, the to start the accumulation in the first period, the light receiving signal to be read to the fourth period is a display device, characterized in that to start accumulation to the third period.
  3. マトリクス状に配置されて、表示用の電圧信号が印加される複数の画素電極と、 Are arranged in a matrix, a plurality of pixel electrodes voltage signal for display is applied,
    前記複数の画素電極に隣接してマトリクス状に配置されて、表示面に入射した光の受光を行う複数の受光素子とを用意して、画像の表示と受光とを並行して行う表示方法において、 Wherein the plurality of are arranged in a matrix adjacent to the pixel electrode, are prepared and a plurality of light receiving elements for receiving the light incident on the display surface, the display method performed in parallel display of the image and the light-receiving ,
    前記画素電極及び受光素子が配置された表示面の背面からの照明として、表示画像の1フレーム期間の前半で発光を行い、後半で発光を停止させ、 Examples illumination from the back of the display surface where the pixel electrodes and the light receiving elements are arranged, subjected to light emission in the first half of one frame period of the display image, to stop the emission in the second half,
    前記複数の画素電極の駆動として、表示画像の1フレーム期間を4分割して設定した第1,第2,第3,第4期間の内の第1期間で、用意されたラインの約半分のライン内の画素電極に、表示用電圧を印加させる走査を行ない、第2期間で、前記走査を停止し、第3期間で、用意されたラインの残りのライン内の画素電極に、表示用電圧を印加させる走査を行ない、第4期間で、前記走査を停止させ、 As driving of the plurality of pixel electrodes, the first, second, third, in the first period of the fourth time period, about half of provided lines divided into four and set a frame period of the display image the pixel electrodes in the line, performs a scan for applying the display voltage in the second period, the scan stops, in the third period, the pixel electrode in the remaining lines of provided line, display voltages It performs scanning for applying the, in the fourth period, to stop the scanning,
    前記第2期間と前記第4期間に前記複数の受光素子の受光信号を読み出し、両期間に読み出された受光信号を、同じ位置の受光素子毎に差分を検出し、その検出した差分信号に基づいて、表示面に接触又は近接した状態を検出することを特徴とする 表示方法。 Reads the light reception signal of the plurality of light receiving elements in the fourth period and the second period, the light reception signals read out in both periods, and detects a difference for each light receiving element of the same position, in the detected differential signal display method characterized in that based in, for detecting the state of contact or proximity to the display surface.
JP2005254057A 2005-09-01 2005-09-01 How to display apparatus and a display Active JP4810936B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005254057A JP4810936B2 (en) 2005-09-01 2005-09-01 How to display apparatus and a display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005254057A JP4810936B2 (en) 2005-09-01 2005-09-01 How to display apparatus and a display

Publications (2)

Publication Number Publication Date
JP2007065508A true true JP2007065508A (en) 2007-03-15
JP4810936B2 JP4810936B2 (en) 2011-11-09

Family

ID=37927757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005254057A Active JP4810936B2 (en) 2005-09-01 2005-09-01 How to display apparatus and a display

Country Status (1)

Country Link
JP (1) JP4810936B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008286914A (en) * 2007-05-16 2008-11-27 Seiko Epson Corp Electrooptical device and electronic equipment
JP2009187342A (en) * 2008-02-07 2009-08-20 Seiko Epson Corp Touch panel, electrooptical device, and electronic device
WO2009119417A1 (en) * 2008-03-24 2009-10-01 ソニー株式会社 Imaging apparatus, displaying/imaging apparatus, electronic apparatus and method for detecting object
WO2011040091A1 (en) * 2009-09-30 2011-04-07 シャープ株式会社 Display device
WO2011040093A1 (en) * 2009-09-30 2011-04-07 シャープ株式会社 Display device
WO2011145677A1 (en) * 2010-05-20 2011-11-24 シャープ株式会社 Display device equipped with touch sensor
WO2012137800A1 (en) * 2011-04-08 2012-10-11 シャープ株式会社 Display device, method for driving same, and electronic apparatus
WO2013018736A1 (en) * 2011-07-29 2013-02-07 シャープ株式会社 Display device
WO2013036672A1 (en) 2011-09-07 2013-03-14 Synaptics Incorporated Capacitive sensing during non-display update times
US8994684B2 (en) 2010-01-27 2015-03-31 Samsung Display Co., Ltd. Method of detecting a touch image and display apparatus for performing the same
US9335854B2 (en) 2009-09-30 2016-05-10 Sharp Kabushiki Kaisha Display device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233569A (en) * 2003-01-29 2004-08-19 New Japan Radio Co Ltd Led driving circuit
JP2006127212A (en) * 2004-10-29 2006-05-18 Sony Corp Input/output device and method, recording medium and program
JP2007047991A (en) * 2005-08-09 2007-02-22 Sony Corp Display device and display method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004233569A (en) * 2003-01-29 2004-08-19 New Japan Radio Co Ltd Led driving circuit
JP2006127212A (en) * 2004-10-29 2006-05-18 Sony Corp Input/output device and method, recording medium and program
JP2007047991A (en) * 2005-08-09 2007-02-22 Sony Corp Display device and display method

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008286914A (en) * 2007-05-16 2008-11-27 Seiko Epson Corp Electrooptical device and electronic equipment
JP2009187342A (en) * 2008-02-07 2009-08-20 Seiko Epson Corp Touch panel, electrooptical device, and electronic device
WO2009119417A1 (en) * 2008-03-24 2009-10-01 ソニー株式会社 Imaging apparatus, displaying/imaging apparatus, electronic apparatus and method for detecting object
JP5291090B2 (en) * 2008-03-24 2013-09-18 株式会社ジャパンディスプレイウェスト Imaging device, a display image pickup device, and electronic apparatus
US9405406B2 (en) 2008-03-24 2016-08-02 Japan Display Inc. Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object
US9063613B2 (en) 2008-03-24 2015-06-23 Japan Display Inc. Image pickup device, display-and-image-pickup device, electronic apparatus and method of detecting an object
US8525953B2 (en) 2009-09-30 2013-09-03 Sharp Kabushiki Kaisha Display device
CN102597922A (en) * 2009-09-30 2012-07-18 夏普株式会社 Display device
US9335854B2 (en) 2009-09-30 2016-05-10 Sharp Kabushiki Kaisha Display device
WO2011040091A1 (en) * 2009-09-30 2011-04-07 シャープ株式会社 Display device
WO2011040093A1 (en) * 2009-09-30 2011-04-07 シャープ株式会社 Display device
JP5269203B2 (en) * 2009-09-30 2013-08-21 シャープ株式会社 Display device
JP5349607B2 (en) * 2009-09-30 2013-11-20 シャープ株式会社 Display device
US8994684B2 (en) 2010-01-27 2015-03-31 Samsung Display Co., Ltd. Method of detecting a touch image and display apparatus for performing the same
WO2011145677A1 (en) * 2010-05-20 2011-11-24 シャープ株式会社 Display device equipped with touch sensor
JPWO2011145677A1 (en) * 2010-05-20 2013-07-22 シャープ株式会社 The display device with the touch sensor
US9069412B2 (en) 2010-05-20 2015-06-30 Sharp Kabushiki Kaisha Touch-sensor-equipped display device comrpising photodetecting elements
JP5296273B2 (en) * 2011-04-08 2013-09-25 シャープ株式会社 Electronic equipment and its timing control method
US8866783B2 (en) 2011-04-08 2014-10-21 Sharp Kabushiki Kaisha Display device, method for driving same, and electronic apparatus
WO2012137800A1 (en) * 2011-04-08 2012-10-11 シャープ株式会社 Display device, method for driving same, and electronic apparatus
KR101348023B1 (en) 2011-04-08 2014-01-03 샤프 가부시키가이샤 Display device, method for driving same, and electronic apparatus
JPWO2013018736A1 (en) * 2011-07-29 2015-03-05 シャープ株式会社 Display device
WO2013018736A1 (en) * 2011-07-29 2013-02-07 シャープ株式会社 Display device
EP2754017A4 (en) * 2011-09-07 2015-07-01 Synaptics Inc Capacitive sensing during non-display update times
US9324301B2 (en) 2011-09-07 2016-04-26 Synaptics Incorporated Capacitive sensing during non-display update times
US9330632B2 (en) 2011-09-07 2016-05-03 Synaptics Incorporated Capacitive sensing during non-display update times
CN105022540A (en) * 2011-09-07 2015-11-04 辛纳普蒂克斯公司 Capacitive sensing during non-display update times
WO2013036672A1 (en) 2011-09-07 2013-03-14 Synaptics Incorporated Capacitive sensing during non-display update times
US9576558B2 (en) 2011-09-07 2017-02-21 Synaptics Incorporated Capacitive sensing during non-display update times
CN103907085B (en) * 2011-09-07 2017-02-22 辛纳普蒂克斯公司 Non-display capacitive sensing time during the update
US9946423B2 (en) 2011-09-07 2018-04-17 Synaptics Incorporated Capacitive sensing during non-display update times

Also Published As

Publication number Publication date Type
JP4810936B2 (en) 2011-11-09 grant

Similar Documents

Publication Publication Date Title
US20120299970A1 (en) Application of voltage to data lines during vcom toggling
US20090303170A1 (en) Liquid crystal display and driving method thereof
US20050151065A1 (en) Photosensor and display device including photosensor
US20010009411A1 (en) Liquid crystal display device for preventing an afterimage
WO2009081810A1 (en) Display device having optical sensor
US20060201931A1 (en) Touch sensible display device, and driving apparatus and method thereof
US20130113735A1 (en) Display device with touch sensor, potential control method, and program
JP2000275604A (en) Liquid crystal display device
US20070132710A1 (en) Display
US20070091056A1 (en) Liquid crystal display device and driving method of the same
US20100026636A1 (en) Liquid crystal display device
US20060119755A1 (en) Liquid crystal display device
JP2002169499A (en) Driving method of display panel and driving controller of display panel
JP2009229961A (en) Liquid crystal display control device and electronic device
JP2004318819A (en) Display device and information terminal device
US20060208992A1 (en) Active matrix type liquid crystal display device
US20100289784A1 (en) Display device having optical sensors
JP2009294903A (en) Display device
US20080001902A1 (en) Liquid crystal display
US20080122874A1 (en) Display apparatus and method of driving the same
US20030189564A1 (en) Method and apparatus for preventing residual image in liquid crystal display
JP2008015755A (en) Display device with built-in sensor
JP2007334347A (en) Display device and method for driving the same
JP2007025796A (en) Display device and display method
US20110074712A1 (en) Liquid crystal display panel, liquid crystal display apparatus and method of driving the liquid crystal display apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110726

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250