JP2005328352A - Input-sensor incorporated display device and driving method thereof - Google Patents

Input-sensor incorporated display device and driving method thereof Download PDF

Info

Publication number
JP2005328352A
JP2005328352A JP2004144951A JP2004144951A JP2005328352A JP 2005328352 A JP2005328352 A JP 2005328352A JP 2004144951 A JP2004144951 A JP 2004144951A JP 2004144951 A JP2004144951 A JP 2004144951A JP 2005328352 A JP2005328352 A JP 2005328352A
Authority
JP
Japan
Prior art keywords
input
transistor
sensor
turned
signal line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004144951A
Other languages
Japanese (ja)
Other versions
JP4177287B2 (en
Inventor
Hiroyoshi Hayashi
宏宜 林
Taku Nakamura
卓 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display Central Inc
Original Assignee
Toshiba Matsushita Display Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Matsushita Display Technology Co Ltd filed Critical Toshiba Matsushita Display Technology Co Ltd
Priority to JP2004144951A priority Critical patent/JP4177287B2/en
Priority to US11/080,577 priority patent/US7612818B2/en
Priority to EP05006369A priority patent/EP1621980A2/en
Priority to TW094109178A priority patent/TWI283366B/en
Priority to KR1020050025468A priority patent/KR100678552B1/en
Publication of JP2005328352A publication Critical patent/JP2005328352A/en
Application granted granted Critical
Publication of JP4177287B2 publication Critical patent/JP4177287B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Facsimile Heads (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent a detection result from being influenced by variation in characteristics among amplifiers which extracts optical sensor outputs. <P>SOLUTION: In the input-sensor incorporated display device having sensor circuits and pixel circuits arranged two-dimensionally, the sensor circuits apply 5 V to signal lines Sib(n)R and 0 V to 2nd and 3rd signal lines Sib(n)G and Sib(n)B in the precharge period of a capacitor Cp to obtain a state in which a transistor nt1 is turned ON and an input/output transistor nt3 is turned ON. In a subsequent variation cancel period, a state in which the nt1 is turned ON and the nt3 is turned OFF is obtained and the terminal voltage across the capacitor Cp is set to Vth of the nt3. A state in which the nt1 is turned OFF and the nt3 is turned OFF is obtained in an imaging period. In a reading period, 5 V is applied to the 1st signal line, 0 V is applied to the 2nd signal line, and 0.5 V is applied to the 3rd signal line to turn the nt1 OFF and the nt3 ON, thereby detecting potential variation of the 1st signal line. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、液晶、発光素子などを用いた平板型のディスプレイ装置に係わり、特にインプットセンサを内蔵したインプットセンサ内蔵ディスプレイ装置の駆動方法に関する。   The present invention relates to a flat panel display device using a liquid crystal, a light emitting element, and the like, and more particularly to a driving method of a display device incorporating an input sensor.

液晶表示装置は、信号線、走査線及び画素TFTが列設されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。最近の集積回路技術の進歩発展により、駆動回路の一部をアレイ基板上に形成するプロセス技術が実用化されている。これにより、液晶表示装置全体を軽薄短小化することができ、携帯電話やノート型コンピュータなどの各種の携帯機器の表示装置として幅広く利用されている。   The liquid crystal display device includes an array substrate on which signal lines, scanning lines, and pixel TFTs are arranged, and a drive circuit that drives the signal lines and the scanning lines. With the recent progress and development of integrated circuit technology, a process technology for forming a part of a drive circuit on an array substrate has been put into practical use. As a result, the entire liquid crystal display device can be made light and thin, and it is widely used as a display device for various portable devices such as mobile phones and notebook computers.

ところで、アレイ基板上に、画像取込みを行う密着型エリアセンサ(光電変換素子)を配置した画像取込み機能を備えた表示装置が提案されている(例えば、特許文献1,2を参照)。   By the way, a display device having an image capturing function in which a contact area sensor (photoelectric conversion element) for capturing an image is arranged on an array substrate has been proposed (for example, see Patent Documents 1 and 2).

この種の画像取込み機能を備えた従来の表示装置は、光電変換素子に接続されたキャパシタの電荷量を光電変換素子での受光量に応じて変化させるようにし、キャパシタの両端電圧を検出することで、画像取込みを行っている。   A conventional display device having this type of image capturing function detects the voltage across the capacitor by changing the charge amount of the capacitor connected to the photoelectric conversion element according to the amount of light received by the photoelectric conversion element. The image is captured.

最近では、画素TFTや駆動回路を同一のガラス基板上に多結晶シリコン(ポリシリコン)プロセスで形成する技術が進んでおり、上述した光電変換素子もポリシリコンプロセスで形成することにより、各画素内に容易に形成可能である。
特開2001-292276号公報 特開2001-339640号公報
Recently, a technology for forming a pixel TFT and a driving circuit on the same glass substrate by a polycrystalline silicon (polysilicon) process has progressed, and the photoelectric conversion element described above is also formed by a polysilicon process. Can be easily formed.
Japanese Patent Laid-Open No. 2001-292276 JP 2001-339640 A

表示装置の画素内に表示素子と光電変換素子(光センサ)を内蔵すると、表示素子を駆動するための表示データ処理装置、光電変換素子から読み出したデータを処理するための読出しデータ処理装置が必要である。さらに、表示素子で表示された画像が示す内容と、読み出したデータの内容(タイミング、座標位置等)とが関連する場合、相互の関連付けを処理する関連データ処理装置が必要である。しかも読出しデータの内容は、ユーザの操作に基づいて変化するので、関連データ処理装置は、融通性をもつことが重要である。   When a display element and a photoelectric conversion element (photosensor) are built in a pixel of a display device, a display data processing device for driving the display device and a read data processing device for processing data read from the photoelectric conversion device are required. It is. Furthermore, when the content indicated by the image displayed on the display element is related to the content (timing, coordinate position, etc.) of the read data, a related data processing device for processing the correlation is necessary. Moreover, since the content of the read data changes based on the user's operation, it is important that the related data processing apparatus has flexibility.

ここで上記の光センサは、低温ポリシリコン薄膜トランジスタ(Poly-Si-TFT)が利用される。この光センサの出力を取り出す場合、光応答する電流が少ないために通常は増幅器を介して取り出される。しかし、表示装置の場合、ガラス基板上にTFT増幅器を構成するために、半導体ウエハに形成する場合に比べて、増幅器間の特性(あるいは検出能力)のばらつきが大きい。このように増幅器間の特性のばらつきが大きいと、検出結果の信頼性が低く、検出結果の誤認識を生じ、製品の信頼性を落すことになる。   Here, a low-temperature polysilicon thin film transistor (Poly-Si-TFT) is used for the above-described optical sensor. When the output of this optical sensor is taken out, it is usually taken out through an amplifier because the current that responds to light is small. However, in the case of a display device, since the TFT amplifier is formed on the glass substrate, the variation in characteristics (or detection capability) between the amplifiers is larger than when the TFT amplifier is formed on a semiconductor wafer. Thus, if the variation in the characteristics between the amplifiers is large, the reliability of the detection result is low, the detection result is erroneously recognized, and the reliability of the product is lowered.

そこで本発明は上記の点に鑑みてなされたものであり、特に光センサ出力を取り出す増幅器間の特性のばらつきにより、検出結果が不安定となることを無くすことができ、安定した読み出しを得るもので、しかも、この機能を、もともと表示信号を入力するための信号線を有効に活用して構成要素を増加させることなく実現するインプットセンサ内蔵ディスプレイ装置の駆動方法を提供することにある。   Therefore, the present invention has been made in view of the above points, and in particular, the detection result can be prevented from becoming unstable due to variations in characteristics between amplifiers for taking out optical sensor outputs, and stable reading can be obtained. In addition, it is an object of the present invention to provide a driving method of a display device with a built-in input sensor that realizes this function without effectively increasing the number of components by effectively using a signal line for inputting a display signal.

この発明の一面は、上記目的を達成するために、画素内にセンサの信号を増幅するアンプ(増幅器又は増幅素子)と、前記アンプの入力に接続されたセンサと、前記アンプの入力電圧を該アンプの動作閾値に設定する手段と、前記アンプが信号を出力する前に該アンプの入力電圧を所定値だけシフトする手段を備えることを基本構成とする。   In order to achieve the above object, according to one aspect of the present invention, an amplifier (amplifier or amplification element) that amplifies a sensor signal in a pixel, a sensor connected to an input of the amplifier, and an input voltage of the amplifier The basic configuration includes means for setting the operation threshold of the amplifier and means for shifting the input voltage of the amplifier by a predetermined value before the amplifier outputs a signal.

またこの発明の他の一面は、容量とフォトダイオードとが並列回路を形成したセンサ部と、前記センサ部の一方の電極がゲートに接続された増幅トランジスタと、この増幅トランジスタの一方の電極と前記センサ部の一方の電極間に直列接続されたばらつきキャンセル用トランジスタと、前記増幅トランジスタの一方の電極に一方の電極が接続された入出力トランジスタと、前記入出力トランジスタの他方の電極に接続された第1の信号線と、前記増幅用トランジスタの他方の電極に接続された第2の信号線と、センサ部の他方の電極に接続された第3の信号線と、前記ばらつきキャンセル用トランジスタの制御用ゲートに接続された第1のゲート線と、前記入出力トランジスタの制御用ゲートに接続された第2のゲート線と、前記容量のプリチャージ期間に、前記第1の信号線に第1の所定電位を与え、前記第2、第3の信号線に0電位を与えるとともに、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオン、前記第2のゲート線を介して前記入出力トランジスタがオンした状態を得る手段と、前記プリチャージ期間に続くばらつきキャンセル期間に、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオン、前記第2のゲート線を介して前記入出力トランジスタがオフした状態を得る手段と、撮像期間に、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオフ、前記第2のゲート線を介して前記入出力トランジスタがオフした状態を得る手段と、読み出し期間に、前記第1の信号線に前記第1の所定電位を与え、前記第2の信号線に0電位、前記第3の信号線に前記センサ部の予め設定された最大変化範囲のほぼ1/2の電位を与えるとともに、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオフ、前記第2のゲート線を介して前記入出力トランジスタがオンした状態を得る手段とを有する。   According to another aspect of the present invention, there is provided a sensor unit in which a capacitor and a photodiode form a parallel circuit, an amplification transistor in which one electrode of the sensor unit is connected to a gate, one electrode of the amplification transistor, and the electrode A variation canceling transistor connected in series between one electrode of the sensor unit, an input / output transistor having one electrode connected to one electrode of the amplification transistor, and a second electrode connected to the other electrode of the input / output transistor Control of the first signal line, the second signal line connected to the other electrode of the amplifying transistor, the third signal line connected to the other electrode of the sensor section, and the variation canceling transistor A first gate line connected to the control gate, a second gate line connected to the control gate of the input / output transistor, and the capacitor In the charging period, a first predetermined potential is applied to the first signal line, a 0 potential is applied to the second and third signal lines, and the variation cancel transistor is turned on via the first gate line. Means for obtaining a state in which the input / output transistor is turned on via the second gate line, and the variation canceling transistor is turned on via the first gate line during the variation canceling period following the precharge period. Means for obtaining a state in which the input / output transistor is turned off via the second gate line, and the variation canceling transistor is turned off via the first gate line during the imaging period. Means for obtaining a state in which the input / output transistor is turned off, and applying the first predetermined potential to the first signal line in a reading period; 2 potential is applied to the second signal line, and the third signal line is applied with a potential approximately half of the preset maximum change range of the sensor unit, and the variation canceling transistor is provided via the first gate line. And means for obtaining a state in which the input / output transistor is turned on via the second gate line.

上記の手段により、ばらつきキャンセル期間では、容量の初期電位が増幅トランジスタの閾値Vthに等しく初期設定される。したがって、光検出により容量の両端電位が変化したか否かは、容量の電位が閾値Vthを略維持しているか、それより低下しているかで判定できることになる。この判定に基づく検出は、読み出し期間に行われ、増幅トランジスタがオフ状態を維持するか、又はオンするかにより、前記第1の信号線の所定電位が変化するか、否かで行われる。   By the above means, the initial potential of the capacitor is initially set equal to the threshold value Vth of the amplification transistor in the variation canceling period. Accordingly, whether or not the potential across the capacitor has changed due to light detection can be determined by whether the potential of the capacitor substantially maintains the threshold value Vth or lowers than that. The detection based on this determination is performed during the reading period, and is performed depending on whether or not the predetermined potential of the first signal line changes depending on whether the amplification transistor maintains an off state or turns on.

以下図面を参照して本発明の実施の形態を説明する。まず、図1を参照して、本発明の一実施の形態に係るインプットセンサ内蔵ディスプレイ装置の全体的な概略構成を説明する。   Embodiments of the present invention will be described below with reference to the drawings. First, an overall schematic configuration of a display device with a built-in input sensor according to an embodiment of the present invention will be described with reference to FIG.

100は、表示及びセンサ部であり、例えば液晶が用いられた表示及びセンサ部である。この表示及びセンサ部100は、マトリックス状に2次元配列された表示素子と、マトリックス状に2次元配列されたセンシング素子とを内蔵している。この構造については、さらに後で詳しく説明する。   Reference numeral 100 denotes a display and sensor unit. For example, the display and sensor unit uses liquid crystal. The display and sensor unit 100 includes display elements that are two-dimensionally arranged in a matrix and sensing elements that are two-dimensionally arranged in a matrix. This structure will be described in detail later.

200は、インプットセンサ内蔵ディスプレイ装置の各部を制御するためのシステム制御部、または、外部に独立して用意された、システム制御部(コンピュータ装置)であり、本発明に関連する部分を示している。このシステム制御部200は、メインボード上に構築される。システム制御部200には、マイクロコンピュータ201、このマイクロコンピュータ201と、アプリケーションプログラムに基づいて各種の制御動作を実現するための各種制御部202がある。基本のプログラムはROM203に格納されており、また各種のアプリケーションプログラムがRAM204に格納される。タイマー205は、この装置の基準時間情報を生成している。206は、外部制御インターフェース及びデータインターフェースであり、制御データ(コマンドの入出力)、画像データの入出力を行う。また外部の機器、セットトップボックス、チューナ、モデム、パーソナルコンピュータ等との接続を可能としている。   Reference numeral 200 denotes a system control unit for controlling each part of the display device with a built-in input sensor, or a system control unit (computer device) prepared independently outside, and shows a part related to the present invention. . The system control unit 200 is built on the main board. The system control unit 200 includes a microcomputer 201, the microcomputer 201, and various control units 202 for realizing various control operations based on application programs. Basic programs are stored in the ROM 203, and various application programs are stored in the RAM 204. The timer 205 generates reference time information for this apparatus. Reference numeral 206 denotes an external control interface and a data interface, which input / output control data (command input / output) and image data. It can also be connected to external devices, set-top boxes, tuners, modems, personal computers, and the like.

300は、表示及び撮像データ処理部であり、システム制御部200からの指令に応じて、先の表示及びセンサ部100の表示状態、撮像状態、表示及び撮像のタイミング、領域設定などを実現する。表示及び撮像データ処理部300は、書込み読出し専用処理部312を有し、メモリ(SRAM)311に対して撮像した画像データ、表示するための画像データなどを一時的に保存することができる。さらにまた、スイッチ及びLED処理部313を有し、ここでは外部からのスイッチ入力(例えば感度調整、輝度調整などの操作信号)を処理することもできるし、さらにシステムの状態を外部に知らせるために、発光素子(LED)を駆動することもできる。書込み読出し専用処理部312は、読出し信号処理部、書込み信号処理部を含む。読出し信号処理部は、表示及びセンサ部100からの検知信号をアプリケーションに基づいて種々の状態に変換処理することができる。書込み信号処理部は表示するための信号を表示及びセンサ部100に送り出すための処理を行う。   Reference numeral 300 denotes a display and imaging data processing unit, which realizes the previous display and display state of the sensor unit 100, the imaging state, the display and imaging timing, the region setting, and the like in response to a command from the system control unit 200. The display and imaging data processing unit 300 includes a write / read only processing unit 312, and can temporarily store captured image data, image data for display, and the like in a memory (SRAM) 311. Furthermore, it has a switch and LED processing unit 313, which can process an external switch input (for example, an operation signal for sensitivity adjustment, brightness adjustment, etc.), and further inform the system status to the outside. A light emitting element (LED) can also be driven. The write / read only processor 312 includes a read signal processor and a write signal processor. The read signal processing unit can convert the detection signal from the display and sensor unit 100 into various states based on the application. The write signal processing unit performs processing for displaying a signal for display and sending it to the sensor unit 100.

書込み読出し専用処理部312は、中継ボード400を介して先の表示及びセンサ部100に接続されている。中継ボード400には、電源回路、画像データを表示用に変換するデジタルアナログ変換器等が搭載されている。   The write / read only processing unit 312 is connected to the previous display and sensor unit 100 via the relay board 400. The relay board 400 is equipped with a power supply circuit, a digital-analog converter that converts image data for display, and the like.

表示及びセンサ部100に与えられる信号の種類を大別すると、表示用制御信号,表示用のRGB画像データ、撮像用制御信号がある。また表示及びセンサ部100から読み出される信号として、撮像データがある。   The types of signals given to the display and sensor unit 100 are roughly classified into display control signals, display RGB image data, and imaging control signals. Moreover, there is imaging data as a signal read from the display and sensor unit 100.

図2には、先の表示及び撮像データ処理部300内の特に書込み読出し専用処理部312の基本的な機能ブロックを示している。302はデジタルインターフェースであり、システム制御部200のインターフェース206、スイッチ及びLED処理部313に接続されている。このインターフェース302に取り込まれたデータは、データ分離及びデータ転送部303で、データの種類が認識される。外部から送られてきたコマンドは、コマンドレジ304に格納される。   FIG. 2 shows basic functional blocks of the display and imaging data processing unit 300, particularly the write / read only processing unit 312. A digital interface 302 is connected to the interface 206 of the system control unit 200, the switch, and the LED processing unit 313. The data taken into the interface 302 is recognized by the data separation and data transfer unit 303. Commands sent from the outside are stored in the command register 304.

撮像条件・撮像形態ルックアップテーブル305は、複数の撮像条件(プリチャージ電圧、撮像時間など)の情報を格納しており、これらの情報は、システム制御部200からインターフェースを介して書込みすることができ、またシステム制御部200側から読取ることもできる。また、書込み読出しタイミング制御部及びデータ入出力部306で発生しているタイミング信号を監視して、書込み読出しタイミング制御部及びデータ入出力部306から出力される前記タイミング信号の位相などをコントロールすることも可能である。   The imaging condition / imaging form lookup table 305 stores information on a plurality of imaging conditions (precharge voltage, imaging time, etc.), and these information can be written from the system control unit 200 via an interface. It can also be read from the system control unit 200 side. In addition, the timing signal generated in the write / read timing control unit and the data input / output unit 306 is monitored, and the phase of the timing signal output from the write / read timing control unit and the data input / output unit 306 is controlled. Is also possible.

書込み読出しタイミング制御部及びデータ入出力部306は、前記撮像条件・撮像形態ルックアップテーブル305からの制御データに基づいて、撮像用の制御信号、また、表示用制御信号も出力する。さらにコマンドレジスタ304からのコマンドに応答して、撮像データをデータ分離及びデータ転送部303を介して外部に出力することもできる。また撮像データをSRAM311に格納するために、SRAM制御部307に転送することもできる。さらにまた、表示用の画像データを受け取り、表示及びセンサ部100に送ることもできる。SRAM311に格納されているデータが表示用の画像データとして用いられるときは、この画像データは、SRAM制御部307を介して書込み読出しタイミング制御部及びデータ入出力部306に送られる。外部からの画像データが表示用の画像データとして用いられるときは、この画像データは、データ分離及びデータ転送部303を介して書込み読出しタイミング制御部及びデータ入出力部306に送られる。   The writing / reading timing control unit and data input / output unit 306 also outputs an imaging control signal and a display control signal based on the control data from the imaging condition / imaging form lookup table 305. Further, in response to a command from the command register 304, the imaging data can be output to the outside via the data separation and data transfer unit 303. Further, in order to store the imaging data in the SRAM 311, it can be transferred to the SRAM control unit 307. Furthermore, the image data for display can be received and sent to the display and sensor unit 100. When the data stored in the SRAM 311 is used as display image data, the image data is sent to the write / read timing control unit and the data input / output unit 306 via the SRAM control unit 307. When image data from the outside is used as image data for display, this image data is sent to the write / read timing control unit and data input / output unit 306 via the data separation and data transfer unit 303.

SRAM制御部307は、書込み読出しタイミング制御部306を介して取り込んだ撮像データをSRAM311に格納する制御を行う。またSRAM311に格納されている画像データを、書込み読出しタイミング制御部306を介して表示及びセンサ部100に送り出すなどの制御を行う。さらにまた、コマンドに従って、SRAM311に格納されている画像データの編集処理、画像切替え処理等も行うことができる。また、SRAM311からの画像データをデータ分離及びデータ転送部303、インターフェース302を介して外部に送りだすこともできる。   The SRAM control unit 307 performs control to store the imaging data captured via the write / read timing control unit 306 in the SRAM 311. In addition, the image data stored in the SRAM 311 is controlled to be displayed and sent to the sensor unit 100 via the write / read timing control unit 306. Furthermore, editing processing of image data stored in the SRAM 311, image switching processing, and the like can be performed in accordance with commands. Further, the image data from the SRAM 311 can be sent to the outside via the data separation and data transfer unit 303 and the interface 302.

また、SRAM制御部307は、インターフェース302、データ分離及びデータ転送部303を介して外部から送られて来た画像データ、さらには制御データなどをSRAM311に格納することができる。また、撮像データを用いてユーザーが表示面上を指示している座標の計算及びタップしたか否かの判定を行うことができる。   In addition, the SRAM control unit 307 can store image data, control data, and the like sent from the outside via the interface 302 and the data separation and data transfer unit 303 in the SRAM 311. Further, it is possible to calculate the coordinates at which the user points on the display surface using the imaging data and determine whether or not the user has tapped.

コマンドレジスタ304は、コマンドを格納している。コマンドに応じて以下のような処理を実行する。リセット処理を行うことができる。モード指定1では、通常表示モードと、入力可能モードと、を切替えることができる。入力可能モードは、表示及びセンサ部100からの撮像データを読取り、処理する状態にセットすることである。通常表示のみの場合は、表示及びセンサ部100から撮像データを出力しないことで、消費電力の節約を得る。   The command register 304 stores commands. The following processing is executed according to the command. A reset process can be performed. In mode designation 1, it is possible to switch between the normal display mode and the input enable mode. The input enable mode is to read and process image data from the display and sensor unit 100 and set it to a state for processing. In the case of only normal display, power consumption can be saved by not outputting imaging data from the display and sensor unit 100.

モード指定2では、本撮像状態、キャリブレーション撮像状態に切替えることができる。キャリブレーション撮像状態では、表示及びセンサ部100において、表示素子部を閉じる(オフする)ことで、撮像に専念し、撮像ムラを低減するためのデータを取得することができる。   In mode designation 2, it is possible to switch between the main imaging state and the calibration imaging state. In the calibration imaging state, by closing (turning off) the display element unit in the display and sensor unit 100, it is possible to concentrate on imaging and acquire data for reducing imaging unevenness.

基準信号に対する映像信号の位相信号を、書込み読出しタイミング制御部及びデータ入出力部306に渡し、表示及びセンサ部100に最適なタイミングで、信号処理を実行させる。また、SRAM311に2つの画面分の画像データが保存されているような場合に、いずれを表示するかを瞬時に切替える。転送モード(ハンドシェイク(HS)/バースト)切替えを行う、つまり撮像条件・撮像形態ルックアップテーブル305及びSRAM制御部307などがデータ分離及びデータ転送部303及びインターフェース302に所定単位のデータを転送する場合、その転送方法、転送速度などを設定する。サンプリングタイミング指示を行う、つまり表示及びセンサ部100から出力する撮像データを、表示及びセンサ部100がサンプリングするタイミングを指示する。システム制御部200側からの書込み許可命令を行う、つまり撮像条件・撮像形態ルックアップテーブル305及びSRAM制御部307に対してインターフェース302を介してデータ書込みを許可する。   The phase signal of the video signal with respect to the reference signal is passed to the writing / reading timing control unit and data input / output unit 306 to cause the display and sensor unit 100 to execute signal processing at an optimal timing. Further, when image data for two screens is stored in the SRAM 311, the display is instantaneously switched. The transfer mode (handshake (HS) / burst) is switched, that is, the imaging condition / imaging form lookup table 305 and the SRAM control unit 307 transfer data of a predetermined unit to the data separation and data transfer unit 303 and the interface 302. If so, set the transfer method, transfer speed, etc. A sampling timing is instructed, that is, the display and sensor unit 100 is instructed to sample the imaging data output from the display and sensor unit 100. A write permission command is issued from the system control unit 200 side, that is, data writing is permitted to the imaging condition / imaging form lookup table 305 and the SRAM control unit 307 via the interface 302.

インターフェース302は、システム制御部200側からのコマンドを受けて、コマンドレジスタ304への書込み処理を行う。また、撮像条件・撮像形態を設定するためのデータをシステム制御部200側から受け取り、撮像条件・撮像形態ルックアップテーブル305に送り込む。また、SRAM311に書き込むための画像データを、システム制御部200側から受け取り、SRAM制御部307に送る。またSRAM制御部307から、座標、タップ情報などの計算結果を受け取り、システム制御部200側に送り出す。   The interface 302 receives a command from the system control unit 200 side and performs a writing process to the command register 304. Also, data for setting the imaging condition / imaging form is received from the system control unit 200 side and sent to the imaging condition / imaging form lookup table 305. In addition, image data to be written to the SRAM 311 is received from the system control unit 200 side and sent to the SRAM control unit 307. Also, calculation results such as coordinates and tap information are received from the SRAM control unit 307 and sent to the system control unit 200 side.

転送モードとしては、ハンドシェイク(HS)(〜1.5Kbps)があり、この速度で、コマンドレジスタ304への書込み、撮像条件・撮像形態ルックアップテーブル305へのデータ書込みが行われる。また、転送モードとしては、バースト転送(〜160Mbps)があり、撮像条件・撮像形態ルックアップテーブル305からのデータ読出し、SRAM311へのデータの書込み読出しが行われる。これらの転送モードが選択的に利用される。   As the transfer mode, there is a handshake (HS) (up to 1.5 Kbps), and writing to the command register 304 and writing of data to the imaging condition / imaging form lookup table 305 are performed at this speed. The transfer mode includes burst transfer (up to 160 Mbps), in which data reading from the imaging condition / imaging form lookup table 305 and data reading / writing to the SRAM 311 are performed. These transfer modes are selectively used.

上記の表示及び撮像データ処理部300は、システム制御部200の各種制御部202に格納されている各種アプリケーション、及びこれに基づいて発生するシステム制御部200からの命令、を受け取る。したがって、アプリケーションに応じて、本発明の装置は、種々の使い方、利用形態をが可能となる。表示及び撮像データ処理部300、システム制御部200及び表示及びセンサ部100は、一体に構成されていてもよい。また、表示及び撮像データ処理部300と表示及びセンサ部100とが一体で、システム制御部200が別途独立したものでもよい。   The display and imaging data processing unit 300 receives various applications stored in the various control units 202 of the system control unit 200 and commands from the system control unit 200 generated based on the various applications. Therefore, according to the application, the apparatus of the present invention can be used in various ways and usage forms. The display and imaging data processing unit 300, the system control unit 200, and the display and sensor unit 100 may be configured integrally. Alternatively, the display and imaging data processing unit 300 and the display and sensor unit 100 may be integrated, and the system control unit 200 may be independent.

そのためにこの発明では、表示及び撮像データ処理部300の特に、デジタルインターフェース302は、各種のタイプが用意されていてもよい。つまり、外部との接続のためにUSBが用いられてよいし、無線モデムユニットなども用意されてもよい。さらには、携帯電話のデータ入力出力部に接続可能であってもよい。さらにまた、映像信号用としてRGB端子、YIQ端子など設けられてもよい。   Therefore, in the present invention, various types of the digital interface 302 in the display and imaging data processing unit 300 may be prepared. That is, a USB may be used for connection to the outside, and a wireless modem unit or the like may be prepared. Further, it may be connectable to a data input / output unit of a mobile phone. Furthermore, an RGB terminal, a YIQ terminal, and the like may be provided for video signals.

図3には、表示及びセンサ部100の機能をブロック化して示している。130は画素及びセンサアレイ部であり、マトリックス状に配置された表示素子群と、マトリックス状に配置された光センサ群とを有する。この画素及びセンサアレイ部130の画素回路及びセンサ回路については後述する。   FIG. 3 shows the functions of the display and sensor unit 100 in blocks. Reference numeral 130 denotes a pixel and sensor array unit, which includes display element groups arranged in a matrix and photosensor groups arranged in a matrix. The pixel circuit and sensor circuit of the pixel and sensor array unit 130 will be described later.

画素及びセンサアレイ部130の側部(図面左側)には、表示用ゲート線駆動回路112、読み出し用ゲート線駆動回路122が形成されている。表示用ゲート線駆動回路112は、マトリックス状に配列された表示素子群を行毎或は複数行単位で駆動する回路である。   A display gate line driving circuit 112 and a reading gate line driving circuit 122 are formed on the side (left side in the drawing) of the pixel and sensor array unit 130. The display gate line driving circuit 112 is a circuit that drives a display element group arranged in a matrix for each row or a plurality of rows.

ここで、読み出し用ゲート線駆動回路122は、マトリックス状に配列された光センサ群を行毎あるいは複数行単位で駆動する回路である。   Here, the read gate line driving circuit 122 is a circuit that drives the photosensor groups arranged in a matrix in units of rows or in units of a plurality of rows.

画素及びセンサアレイ部130の下側部には、信号線駆動回路及びプリチャージ回路114が形成されている。この信号線駆動回路及びプリチャージ回路114は、マトリックス状に配列された表示素子群の列方向の各表示素子に画像データを書き込む回路である。また信号線駆動回路及びプリチャージ回路114は、マトリックス状に配列された光センサ群の列方向の各センサに所定電位をプリチャージする回路である。   A signal line driving circuit and a precharge circuit 114 are formed on the lower side of the pixel and sensor array unit 130. The signal line driving circuit and precharge circuit 114 is a circuit for writing image data to each display element in the column direction of a display element group arranged in a matrix. The signal line drive circuit and precharge circuit 114 is a circuit that precharges a predetermined potential to each sensor in the column direction of the photosensor group arranged in a matrix.

画素及びセンサアレイ部130の上部には、A/D変換回路123、データ出力回路124が形成されている。A/D変換回路123は、光センサ群の信号線から読み出された信号をアナログデジタル変換し、データ出力回路124に転送する回路である。データ出力回路124は、取り込んだデータをシリアルデータに変換したうえで、撮像データ125として出力する。   An A / D conversion circuit 123 and a data output circuit 124 are formed above the pixel and sensor array unit 130. The A / D conversion circuit 123 is a circuit that performs analog-digital conversion on a signal read from the signal line of the optical sensor group and transfers the signal to the data output circuit 124. The data output circuit 124 converts the captured data into serial data, and then outputs it as imaging data 125.

ここで、読出し用ゲート線駆動回路122には、撮像用制御信号121が、先の表示及び撮像データ処理部300から中継ボード400を介して与えられている。また表示用ゲート線駆動回路112には、表示用制御信号111が、先の表示及び撮像データ処理部300から中継ボード400を介して与えられている。さらに、信号線駆動回路及びプリチャージ回路114には、R,G,Bの画像データが先の表示及び撮像データ処理部300から中継ボード400を介して与えられている。R,G,Bの画像データは中継ボード上のデジタル-アナログ変換回路(DAC)で液晶セルの階調表示に適したアナログ電圧に変換され、信号線駆動回路を経由して所定の信号線に書き込まれ、さらに表示用ゲート線駆動回路121により指定される行の画素に書き込まれる。また、プリチャージ電圧制御信号115が与えられてもよい。なお、液晶セルの階調表示は、フレームレートコントロール方式であってもよい。   Here, the readout gate line driving circuit 122 is provided with the imaging control signal 121 from the previous display and imaging data processing unit 300 via the relay board 400. The display gate line driving circuit 112 is provided with a display control signal 111 from the previous display and imaging data processing unit 300 via the relay board 400. Further, R, G, B image data is given to the signal line driver circuit and precharge circuit 114 from the previous display and imaging data processing unit 300 via the relay board 400. The R, G, B image data is converted into an analog voltage suitable for gradation display of a liquid crystal cell by a digital-analog conversion circuit (DAC) on the relay board, and is converted to a predetermined signal line via a signal line driving circuit. The data is written and further written to the pixels in the row designated by the display gate line driving circuit 121. Further, a precharge voltage control signal 115 may be provided. The gradation display of the liquid crystal cell may be a frame rate control method.

画素及びセンサ(リードライト画素と称しても良い)部は、表示用の画素回路1311と読み取り用のセンサ回路1312で構成される。   The pixel and sensor (also referred to as read / write pixel) portion includes a display pixel circuit 1311 and a reading sensor circuit 1312.

図4は、上記のリードライト画素の基本的な回路構成例を示す。Csは、補助容量Csk及び液晶LCの一方の電極に所定の周期で所定の電位を与える電圧ラインである。Gate(m)は、画素回路1311の薄膜トランジスタ(TFT)(以下駆動トランジスタ)13aをオンオフ制御するためのゲートラインである。   FIG. 4 shows a basic circuit configuration example of the read / write pixel. Cs is a voltage line that applies a predetermined potential to the one electrode of the auxiliary capacitor Csk and the liquid crystal LC at a predetermined cycle. Gate (m) is a gate line for controlling on / off of a thin film transistor (TFT) (hereinafter referred to as a drive transistor) 13a of the pixel circuit 1311.

ここでは画素回路1311として色表示が可能な回路として示している。即ち画素回路132R,132G,132Bを示している。Sig(n)R, Sig(n)G, Sig(n)Bは、信号線であり、それぞれの水平位置に形成されている。信号線Sig(n)R, Sig(n)G, Sig(n)Bは、信号線駆動回路・プリチャージ回路114と、A/D変換回路123間に接続されている。表示のがめの画像データR,G,Bは、図3で示したように信号線駆動回路・プリチャージ回路114を介して対応する信号線に供給される。そして、画像データR,G,Bを表示すべき位置のゲート線Gate(m)がオンされることにより、対応する補助容量Cskに対応する画像データR,G,Bが書き込まれ、液晶LCが駆動される。   Here, the pixel circuit 1311 is shown as a circuit capable of color display. That is, the pixel circuits 132R, 132G, and 132B are shown. Sig (n) R, Sig (n) G, and Sig (n) B are signal lines and are formed at respective horizontal positions. The signal lines Sig (n) R, Sig (n) G, and Sig (n) B are connected between the signal line driving circuit / precharge circuit 114 and the A / D conversion circuit 123. The image data R, G, and B for display are supplied to the corresponding signal line via the signal line drive circuit / precharge circuit 114 as shown in FIG. Then, when the gate line Gate (m) at the position where the image data R, G, B is to be displayed is turned on, the image data R, G, B corresponding to the corresponding auxiliary capacitance Csk is written, and the liquid crystal LC is Driven.

またCRT(m)は、センサ回路1312を構成する薄膜トランジスタnt1(本発明ではこのトランジスタはばらつきキャンセル用トランジスタとして機能する)をオンオフ制御するためのゲート線である。またOPT(m)は、センサ回路1312を構成する薄膜トランジスタnt3(本発明ではこのトランジスタは、入出力トランジスタとして機能する)をオンオフ制御するためのゲート線である。   CRT (m) is a gate line for on / off control of the thin film transistor nt1 constituting the sensor circuit 1312 (in the present invention, this transistor functions as a variation canceling transistor). OPT (m) is a gate line for on / off control of the thin film transistor nt3 constituting the sensor circuit 1312 (in the present invention, this transistor functions as an input / output transistor).

電圧ラインCS、ゲート線Gate(m)は、表示用ゲート線駆動回路112に接続されており、ゲート線CRT(m)は、読出し用ゲート線駆動回路122に接続されている。   The voltage line CS and the gate line Gate (m) are connected to the display gate line driving circuit 112, and the gate line CRT (m) is connected to the reading gate line driving circuit 122.

ここで、133は、センサ回路1312を形成するセンサ部であり、容量CpとフォトダイオードPDとが並列回路を形成してなる。このセンサ部133の一方の電極は、薄膜トランジスタnt2(この発明ではこのトランジスタは増幅トランジスタとして機能する)のゲートに接続されている。そしてセンサ部133の他方の電極は、例えば信号線Sig(n)Bに接続されている。   Here, reference numeral 133 denotes a sensor unit that forms the sensor circuit 1312, and the capacitor Cp and the photodiode PD form a parallel circuit. One electrode of the sensor unit 133 is connected to the gate of the thin film transistor nt2 (in the present invention, this transistor functions as an amplification transistor). The other electrode of the sensor unit 133 is connected to, for example, the signal line Sig (n) B.

そして、増幅トランジスタnt2の一方の電極とセンサ部133の一方の電極間に前記ばらつきキャンセル用トランジスタnt1が直列接続されている。また、増幅トランジスタnt2の一方の電極には,入出力トランジスタnt3の一方の電極が接続されている。ここで、入出力トランジスタnt3の他方の電極が第1の信号線Sig(n)Rに接続されている。また、増幅用トランジスタnt2の他方の電極は、第2の信号線Sig(n)Gに接続されている。またセンサ部133の他方の電極は、第3の信号線Sig(n)Bに接続されている。フォトダイオードPDに照射される光量が多い場合は、センサ容量Cpの放電量が多い、逆にフォトダイオードPDの照射される光量が少ない場合は、センサ容量Cpの放電量が少ないことになる。フォトダイオードPDと図示しないバックライトとの間には、遮光処理が成されている。   The variation canceling transistor nt1 is connected in series between one electrode of the amplification transistor nt2 and one electrode of the sensor unit 133. In addition, one electrode of the input / output transistor nt3 is connected to one electrode of the amplification transistor nt2. Here, the other electrode of the input / output transistor nt3 is connected to the first signal line Sig (n) R. The other electrode of the amplifying transistor nt2 is connected to the second signal line Sig (n) G. The other electrode of the sensor unit 133 is connected to the third signal line Sig (n) B. When the amount of light irradiated to the photodiode PD is large, the discharge amount of the sensor capacitor Cp is large. Conversely, when the amount of light irradiated to the photodiode PD is small, the discharge amount of the sensor capacitor Cp is small. A light shielding process is performed between the photodiode PD and a backlight (not shown).

信号線Sig(n)R、Sig(n)G、Sig(n)Bには、信号線駆動回路・プリチャージ回路114が接続されているが、さらにこの信号線駆動回路・プリチャージ回路114は、電圧設定回路1140を含み或は関連して有し、信号線Sig(n)R、Sig(n)G、Sig(n)Bの電位を切替制御することができる。さらにまた、シーケンサ1141からのシーケンス制御信号に応じて、電位切替タイミングを得ることができる。シーケンサ1141からのシーケンス信号は、先の表示及び撮像データ処理部300からの制御信号に基づいて得られる。   A signal line driving circuit / precharge circuit 114 is connected to the signal lines Sig (n) R, Sig (n) G, and Sig (n) B. The voltage setting circuit 1140 is included in or related to, and the potential of the signal lines Sig (n) R, Sig (n) G, and Sig (n) B can be switched. Furthermore, the potential switching timing can be obtained in accordance with the sequence control signal from the sequencer 1141. The sequence signal from the sequencer 1141 is obtained based on the control signal from the previous display and imaging data processing unit 300.

図5は、上記の画素回路1311、センサ回路1312の動作を示すタイミングチャートである。   FIG. 5 is a timing chart showing operations of the pixel circuit 1311 and the sensor circuit 1312 described above.

上記の画素回路132R,132G,132Bに対する画像データの書込み、及びセンサ回路1312からの撮像信号の読み出しは、1フレーム期間のうち特定の水平期間に行われる。画素回路(または表示素子回路と称しても良い)1311では、1水平期間(1H)内を、第1のブランク期間、コモン反転タイミング期間、書込み期間、第2のブランキング期間に分けている。またこの4つの期間に対応させて、センサ回路1312では、出力期間、コモン反転タイミング期間、ブランク期間、プリチャージとばらつきキャンセル期間に分けている。1垂直期間(1フレーム期間)内の上記特定期間を除く他の期間では、画素回路1311は表示期間にあり、センサ回路1312は撮像期間にある。   The writing of the image data to the pixel circuits 132R, 132G, and 132B and the reading of the imaging signal from the sensor circuit 1312 are performed in a specific horizontal period in one frame period. In a pixel circuit (or a display element circuit) 1311, one horizontal period (1H) is divided into a first blank period, a common inversion timing period, an address period, and a second blanking period. In correspondence with these four periods, the sensor circuit 1312 is divided into an output period, a common inversion timing period, a blank period, a precharge and a variation cancel period. In other periods excluding the specific period within one vertical period (one frame period), the pixel circuit 1311 is in the display period, and the sensor circuit 1312 is in the imaging period.

さらに上記の特にセンサ回路1312の動作を詳細に説明する。容量Cpのプリチャージ期間では、第1の信号線Sig(n)Rに第1の所定電位(例えば5V)が与えられ、第2、第3の信号線Sig(n)G、Sig(n)Bに0電位が与えられる。また同時あるいは続いて、第1のゲート線CRT(m)を介してばらつきキャンセルトランジスタnt1がオン、第2のゲート線OPT介して入出力トランジスタnt3がオンした状態にする。次に、プリチャージ期間に続くばらつきキャンセル期間では、第1のゲート線CRT(m)を介してばらつきキャンセルトランジスタnt1がオン、第2のゲート線OPT(m)を介して入出力トランジスタnt3がオフした状態にする。するとこのばらつきキャンセル期間では、容量Cpの初期電位が増幅トランジスタの閾値Vthに等しく初期設定される。つまり、容量Cpのチャージ直後の電位が高いと、トランジスタnt2がオンして放電し、丁度トランジスタnt2の閾値Vthで止まる。ばらつきキャンセル期間では、容量の初期電位が増幅トランジスタの閾値Vthに等しく初期設定される。   Further, the operation of the sensor circuit 1312 will be described in detail. In the precharge period of the capacitor Cp, a first predetermined potential (for example, 5 V) is applied to the first signal line Sig (n) R, and the second and third signal lines Sig (n) G, Sig (n) A zero potential is applied to B. At the same time or subsequently, the variation cancel transistor nt1 is turned on via the first gate line CRT (m) and the input / output transistor nt3 is turned on via the second gate line OPT. Next, in the variation cancel period following the precharge period, the variation cancel transistor nt1 is turned on through the first gate line CRT (m), and the input / output transistor nt3 is turned off through the second gate line OPT (m). To the state. Then, in this variation canceling period, the initial potential of the capacitor Cp is initially set equal to the threshold value Vth of the amplification transistor. That is, when the potential immediately after the charging of the capacitor Cp is high, the transistor nt2 is turned on and discharged, and just stops at the threshold value Vth of the transistor nt2. In the variation cancel period, the initial potential of the capacitor is initially set equal to the threshold value Vth of the amplification transistor.

この状態で次の撮像期間では、第1のゲート線CRT(m)を介してばらつきキャンセルトランジスタnt1がオフ、第2のゲート線OPT(m)を介して入出力トランジスタnt3がオフした状態にする。この状態(撮像期間=[(1フレーム期間)ー(1水平期間(特定の水平期間))])で、例えばタッチした指の反射光により、フォトダイオードPDに光が照射される場合は、センサ容量Cpの放電が進む。逆にフォトダイオードPDに光が照射されない場合は、センサ容量Cpの放電が進まない。   In this state, in the next imaging period, the variation cancellation transistor nt1 is turned off via the first gate line CRT (m), and the input / output transistor nt3 is turned off via the second gate line OPT (m). . In this state (imaging period = [(1 frame period) − (1 horizontal period (specific horizontal period))]), for example, when the photodiode PD is irradiated with light reflected by the touched finger, the sensor Discharge of the capacitor Cp proceeds. Conversely, when the photodiode PD is not irradiated with light, the discharge of the sensor capacitor Cp does not proceed.

そして、読み出し期間では、第1の信号線Sig(n)Rに第1の所定電位(5V)をサンプリングし、第2の信号線Sig(n)Gに0電位、第3の信号線Sig(n)Bにセンサ部133の予め設定された最大変化範囲のほぼ1/2の電位(例えば0.5V。TFT特性や寄生容量により調整してもよい。センサ部133の最大変化範囲よりは小さい。)を与える。さらに第1のゲート線CRT(m)を介してばらつきキャンセルトランジスタnt1がオフ、第2のゲート線OPT(m)を介して入出力トランジスタnt3がオンした状態にする。ここで「サンプリング」とは信号線を5V電源線に接続して信号線電位を5Vにした後さらに5V電源線とは電気的に分離することをいう。   In the reading period, the first predetermined potential (5 V) is sampled on the first signal line Sig (n) R, the zero potential is applied to the second signal line Sig (n) G, and the third signal line Sig ( n) The potential of B is approximately ½ of the preset maximum change range of the sensor unit 133 (for example, 0.5 V. It may be adjusted by TFT characteristics or parasitic capacitance. It is smaller than the maximum change range of the sensor unit 133. .)give. Further, the variation cancel transistor nt1 is turned off via the first gate line CRT (m), and the input / output transistor nt3 is turned on via the second gate line OPT (m). Here, “sampling” means that the signal line is connected to the 5V power supply line to set the signal line potential to 5V and then further electrically separated from the 5V power supply line.

今、撮像期間で、容量Cpの電位(5V)が1V低下しているものとする。すると、読み出し期間では、増幅トランジスタnt2のゲート電位は、(Vth−0.5V)である。これは、第3の信号線Sig(n)Bに0.5Vが与えられていることから、Vthを境にして(−1)+0.5=−0.5Vとなる。もし、容量Cpの放電が進んでいなかったとすると、増幅トランジスタnt2のゲート電位は、(Vth+0.5V)となる。   Now, it is assumed that the potential (5 V) of the capacitor Cp is decreased by 1 V during the imaging period. Then, in the reading period, the gate potential of the amplification transistor nt2 is (Vth−0.5V). This is because 0.5 V is applied to the third signal line Sig (n) B, and therefore, (−1) + 0.5 = −0.5 V with respect to Vth. If the discharge of the capacitor Cp has not progressed, the gate potential of the amplification transistor nt2 becomes (Vth + 0.5V).

よって、第3の信号線Sig(n)Bに上記の0.5Vが与えられ、第1の信号線Sig(n)Rに第1の所定電位(5V)が与えられ(サンプリングされ)、第2の信号線Sig(n)Gに0電位が与えられたとき、容量Cpの放電が進んでいないと、トランジスタnt2がオンし、容量Cpの放電が進んでいるとトランジスタnt2がオフ状態を維持することになる。この結果、容量Cpの放電があったか否かで信号線Sig(n)Rの電圧変化が確実に得られる。つまり、トランジスタnt2の特性のばらつきに影響を受けず、センサ回路の出力を確実に取り出すことが可能である。   Therefore, the above-mentioned 0.5V is applied to the third signal line Sig (n) B, the first predetermined potential (5V) is applied (sampled) to the first signal line Sig (n) R, and the first When a potential of 0 is applied to the second signal line Sig (n) G, the transistor nt2 is turned on if the discharge of the capacitor Cp is not progressing, and the transistor nt2 is kept off if the discharge of the capacitor Cp is proceeding. Will do. As a result, the voltage change of the signal line Sig (n) R is surely obtained depending on whether or not the capacitor Cp is discharged. That is, it is possible to reliably extract the output of the sensor circuit without being affected by variations in the characteristics of the transistor nt2.

上記したように、ばらつきキャンセル期間では、容量の初期電位が増幅トランジスタの閾値Vthに等しく初期設定される。したがって、光検出により容量の両端電位が変化したか否かは、容量の電位が閾値Vthを略維持しているか、それより低下しているかで判定できることになる。この判定に基づく検出は、読み出し期間に行われ、増幅トランジスタがオフ状態を維持するか、又はオンするかにより、第1の信号線の所定電位が変化するか、否かで行われる。   As described above, in the variation cancel period, the initial potential of the capacitor is initially set equal to the threshold value Vth of the amplification transistor. Accordingly, whether or not the potential across the capacitor has changed due to light detection can be determined by whether the potential of the capacitor substantially maintains the threshold value Vth or lowers than that. Detection based on this determination is performed during the reading period, and is performed depending on whether or not the predetermined potential of the first signal line changes depending on whether the amplification transistor is kept off or turned on.

図6には、上記の動作を得るために、特にセンサ回路1312を駆動するために用意されたシーケンサ1141による処理手順を示すフローチャートである。シーケンサ1141は、図3に示す信号線駆動回路・プリチャージ回路114内に組み込まれていてもよいし、図2に示すタイミングコントローラ306に設けられていてもよい。図6において、ステップSA1−SA3は、先に説明したプリチャージ及びばらつきキャンセル期間である。次のステップSA4は、撮像期間である。さらに次のステップSA5、SA6、SA7は、先の読み出し期間である。第1の信号線の所定電位が変化するか、否かで入力があったか否かの判定が行われる。   FIG. 6 is a flowchart showing a processing procedure by the sequencer 1141 prepared especially for driving the sensor circuit 1312 in order to obtain the above operation. The sequencer 1141 may be incorporated in the signal line driver circuit / precharge circuit 114 shown in FIG. 3, or may be provided in the timing controller 306 shown in FIG. In FIG. 6, steps SA1 to SA3 are the precharge and variation cancellation period described above. The next step SA4 is an imaging period. Further, the next steps SA5, SA6, and SA7 are the previous reading period. It is determined whether or not there is an input depending on whether or not the predetermined potential of the first signal line changes.

図7は、上記の動作をフレーム単位(Nフレーム目とN+1フレーム目)で示した説明図である。   FIG. 7 is an explanatory diagram showing the above operation in units of frames (the Nth frame and the (N + 1) th frame).

ここで本発明では、撮像信号の読出しが短時間で得られるように工夫されてもよい。そのために本発明では、撮像信号を読み出す場合、複数行分のセンサ回路の電荷を同時または連続して読み出すのである。   Here, in the present invention, the image signal may be read out in a short time. Therefore, in the present invention, when reading the imaging signal, the charges of the sensor circuits for a plurality of rows are read simultaneously or successively.

例えば本発明では、例えば10行分のセンサ回路(センサ回路群)の単位で撮像信号の読み出しが行われる。以下、センサ回路の動作について説明する。   For example, in the present invention, the imaging signal is read out in units of sensor circuits (sensor circuit group) for 10 rows, for example. Hereinafter, the operation of the sensor circuit will be described.

図8には、上記の動作をフレーム単位(Nフレーム目とN+1フレーム目)で示した説明図である。図7に示した内容とほぼ同じであるが、この例では、読み出し単位が10行単位である。したがって、1つのフレーム内のセンサ回路群の情報を読み出すのに、1行ずつ読み出す時間TPFに比べて、十分の一の時間(1/10)TPFでよい。このためにセンサ回路から得られた検出信号を処理するための時間的な余裕が得られることになる。この時間的余裕をもつことは重要なことである。なぜならば、センサ回路群を介して入力した情報に対しては、種々な論理的判断を行うために必要な時間が必要であるからである。また映像信号の書込みに関しても、例えばテンキーやスイッチが画像のようなシンボル画像は、1画素のみで実現されることはない。そこで、このようなシンボル画像は、複数の画素単位で書込み処理を行っても問題がないことに着目し、複数行分の画素に対して、映像信号を書き込むのである。これにより書込み処理にも時間的余裕ができることになる。映像信号が書き込まれる場合は、映像書込み期間(図9(B)に示す)に時分割で、例えば10行分の映像信号R,G,GをSig(n)R,Sig(n)B,Sig(n)Gに書込み回路(信号線駆動回路・プリチャージ回路114)からそれぞれ出力するのである。なお信号線駆動回路・プリチャージ回路114は、上記の動作を実現するために、信号線の電位を適切な電位に切替設定する機能を備える。   FIG. 8 is an explanatory diagram showing the above operation in units of frames (the Nth frame and the (N + 1) th frame). Although the contents are almost the same as those shown in FIG. 7, in this example, the reading unit is a unit of 10 rows. Therefore, to read the information of the sensor circuit group in one frame, a time (1/10) TPF which is one tenth of the time TPF for reading out one row at a time may be sufficient. For this reason, a time margin for processing the detection signal obtained from the sensor circuit is obtained. Having this time margin is important. This is because the information input via the sensor circuit group requires time necessary for making various logical judgments. As for the writing of the video signal, for example, a symbol image such as a numeric keypad or switch image is not realized by only one pixel. Therefore, paying attention to the fact that such a symbol image does not cause a problem even if writing processing is performed in units of a plurality of pixels, video signals are written to pixels of a plurality of rows. As a result, a time margin is also provided for the writing process. When a video signal is written, for example, video signals R, G, and G for 10 rows are time-divided during a video writing period (shown in FIG. 9B), and Sig (n) R, Sig (n) B, The data is output from the writing circuit (signal line driving circuit / precharge circuit 114) to Sig (n) G. The signal line driver circuit / precharge circuit 114 has a function of switching and setting the potential of the signal line to an appropriate potential in order to realize the above operation.

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。なお、上記実施形態は光センサについて記載したが、光センサ以外のセンサ(圧電素子、容量センサなど)の信号を増幅して出力する回路にも適用して同様の効果を奏する。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment. Although the above embodiment has been described with respect to the optical sensor, the same effect can be obtained by applying the present invention to a circuit that amplifies and outputs a signal from a sensor other than the optical sensor (such as a piezoelectric element or a capacitive sensor).

本発明の一実施の形態を示すブロック構成図。The block block diagram which shows one embodiment of this invention. 図1の表示及び撮像データ処理部の構成を詳しく示すブロック図。The block diagram which shows the structure of the display and imaging data processing part of FIG. 1 in detail. 本発明に係る表示及びセンサ部100の全体的なブロック構成図。1 is an overall block configuration diagram of a display and sensor unit 100 according to the present invention. 図3の画素回路及びセンサ回路の具体例を説明するために示した説明図。FIG. 4 is an explanatory diagram illustrating a specific example of a pixel circuit and a sensor circuit in FIG. 3. 図3の画素回路及びセンサ回路の動作タイミングを示す説明図。FIG. 4 is an explanatory diagram illustrating operation timings of the pixel circuit and the sensor circuit in FIG. 3. 図3の画素回路及びセンサ回路を制御するための制御部のフローチャート。The flowchart of the control part for controlling the pixel circuit and sensor circuit of FIG. 本発明に係る装置の表示及び撮像タイミングをフレーム単位で説明するために示した説明図。Explanatory drawing shown in order to demonstrate the display and imaging timing of the apparatus which concerns on this invention per frame. 本発明に係る装置の表示及び撮像タイミングの他の例をフレーム単位で説明するために示した説明図。Explanatory drawing shown in order to demonstrate the other example of the display of the apparatus which concerns on this invention, and an imaging timing per frame.

符号の説明Explanation of symbols

100…表示及びセンサ部、200…システム制御部、300…表示及び撮像データ処理部、400…中継ボード、1311…画素回路(表示素子回路)、1312…センサ回路。   DESCRIPTION OF SYMBOLS 100 ... Display and sensor part, 200 ... System control part, 300 ... Display and imaging data process part, 400 ... Relay board, 1311 ... Pixel circuit (display element circuit), 1312 ... Sensor circuit.

Claims (9)

画素内にセンサの信号を増幅するアンプと、前記アンプの入力に接続されたセンサと、前記アンプの入力電圧を該アンプの動作閾値に設定する手段と、前記アンプが信号を出力する前に該アンプの入力電圧を所定値だけシフトする手段を備えることを特徴とするインプットセンサ内蔵表示装置。   An amplifier for amplifying the signal of the sensor in the pixel; a sensor connected to the input of the amplifier; means for setting an input voltage of the amplifier to an operating threshold value of the amplifier; and before the amplifier outputs a signal, A display device with a built-in input sensor, comprising means for shifting the input voltage of the amplifier by a predetermined value. 前記所定値は、センサの信号変化幅より小さく設定されていることを特徴とする請求項1記載のインプットセンサ内蔵ディスプレイ装置。   2. The input sensor built-in display device according to claim 1, wherein the predetermined value is set smaller than a signal change width of the sensor. センサ回路と画素回路とが2次元配列されたインプットセンサ内蔵ディスプレイ装置において、前記センサ回路は、
容量とフォトダイオードとが並列回路を形成したセンサ部と、
前記センサ部の一方の電極がゲートに接続された増幅トランジスタと、
この増幅トランジスタの一方の電極と前記センサ部の前記一方の電極間に直列接続されたばらつきキャンセル用トランジスタと、
前記増幅トランジスタの一方の電極に一方の電極が接続された入出力トランジスタと、
前記入出力トランジスタの他方の電極に接続された第1の信号線と、
前記増幅用トランジスタの他方の電極に接続された第2の信号線と、
センサ部の他方の電極に接続された第3の信号線と、
前記ばらつきキャンセル用トランジスタの制御用ゲートに接続された第1のゲート線と、
前記入出力トランジスタの制御用ゲートに接続された第2のゲート線と、
前記容量のプリチャージ期間に、前記第1の信号線に第1の所定電位を与え、前記第2、第3の信号線に0電位を与えるとともに、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオン、前記第2のゲート線を介して前記入出力トランジスタがオンした状態を得る手段と、
前記プリチャージ期間に続くばらつきキャンセル期間に、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオン、前記第2のゲート線を介して前記入出力トランジスタがオフした状態を得る手段と、
撮像期間に、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオフ、前記第2のゲート線を介して前記入出力トランジスタがオフした状態を得る手段と、
読み出し期間に、前記第1の信号線に前記第1の所定電位を与え、前記第2の信号線に0電位、前記第3の信号線に前記センサ部の予め設定された最大変化範囲のほぼ1/2の電位を与えるとともに、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオフ、前記第2のゲート線を介して前記入出力トランジスタがオンした状態を得る手段と、
を具備したことを特徴とするインプットセンサ内蔵ディスプレイ装置。
In the display device with a built-in input sensor in which a sensor circuit and a pixel circuit are two-dimensionally arranged, the sensor circuit includes:
A sensor unit in which a capacitor and a photodiode form a parallel circuit;
An amplification transistor in which one electrode of the sensor unit is connected to a gate;
A variation canceling transistor connected in series between one electrode of the amplification transistor and the one electrode of the sensor unit;
An input / output transistor having one electrode connected to one electrode of the amplification transistor;
A first signal line connected to the other electrode of the input / output transistor;
A second signal line connected to the other electrode of the amplifying transistor;
A third signal line connected to the other electrode of the sensor unit;
A first gate line connected to a control gate of the variation canceling transistor;
A second gate line connected to the control gate of the input / output transistor;
In the precharge period of the capacitor, a first predetermined potential is applied to the first signal line, a zero potential is applied to the second and third signal lines, and the variation is applied via the first gate line. Means for obtaining a state in which a cancel transistor is turned on and the input / output transistor is turned on via the second gate line;
Means for obtaining a state in which the variation canceling transistor is turned on via the first gate line and the input / output transistor is turned off via the second gate line during the variation canceling period following the precharge period;
Means for obtaining a state in which the variation canceling transistor is turned off via the first gate line and the input / output transistor is turned off via the second gate line during the imaging period;
During the readout period, the first predetermined potential is applied to the first signal line, the second signal line is set to 0 potential, and the third signal line is set to approximately the preset maximum change range of the sensor unit. Means for applying a potential of 1/2 and obtaining a state in which the variation canceling transistor is turned off via the first gate line and the input / output transistor is turned on via the second gate line;
A display device with a built-in input sensor.
前記読み出し期間に、前記第1の信号線の電位変化を読み取る手段が設けられていることを特徴とする請求項3記載のインプットセンサ内蔵ディスプレイ装置。   4. The display device with a built-in input sensor according to claim 3, wherein means for reading a potential change of the first signal line is provided during the readout period. 前記第1、第2、及び第3の信号線は、対応する赤(R)用画素回路、緑(G)用画素回路及び青(B)用画素回路に接続された表示信号入力用の信号線であることを特徴とする請求項3記載のインプットセンサ内蔵ディスプレイ装置。   The first, second, and third signal lines are display signal input signals connected to the corresponding red (R) pixel circuit, green (G) pixel circuit, and blue (B) pixel circuit. The display device with a built-in input sensor according to claim 3, wherein the display device is a line. 前記読み出し期間と前記プリチャージ期間の間の期間に、前記第1、第2、第3の信号線に対してそれぞれ映像信号を供給する信号線駆動回路が設けられていることを特徴とする請求項4記載のインプットセンサ内蔵ディスプレイ装置。   A signal line driver circuit for supplying a video signal to each of the first, second, and third signal lines is provided in a period between the readout period and the precharge period. Item 5. The display device with a built-in input sensor according to Item 4. センサ回路と画素回路とが2次元配列されたインプットセンサ内蔵ディスプレイ装置の駆動方法において、前記センサ回路は、容量とフォトダイオードとが並列回路を形成したセンサ部と、前記センサ部の一方の電極がゲートに接続された増幅トランジスタと、この増幅トランジスタの一方の電極と前記センサ部の前記一方の電極間に直列接続されたばらつきキャンセル用トランジスタと、前記増幅トランジスタの一方の電極に一方の電極が接続された入出力トランジスタと、前記入出力トランジスタの他方の電極に接続された第1の信号線と、前記増幅用トランジスタの他方の電極に接続された第2の信号線と、センサ部の他方の電極に接続された第3の信号線と、前記ばらつきキャンセル用トランジスタの制御用ゲートに接続された第1のゲート線と、前記入出力トランジスタの制御用ゲートに接続された第2のゲート線とを有し、
前記容量のプリチャージ期間に、前記第1の信号線に第1の所定電位を与え、前記第2、第3の信号線に0電位を与えるとともに、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオン、前記第2のゲート線を介して前記入出力トランジスタがオンした状態にし、
前記プリチャージ期間に続くばらつきキャンセル期間に、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオン、前記第2のゲート線を介して前記入出力トランジスタがオフした状態にし、
撮像期間に、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオフ、前記第2のゲート線を介して前記入出力トランジスタがオフした状態にし、
読み出し期間に、前記第1の信号線に前記第1の所定電位を与え、前記第2の信号線に0電位、前記第3の信号線に前記センサ部の予め設定された最大変化範囲のほぼ1/2の電位を与えるとともに、前記第1のゲート線を介して前記ばらつきキャンセルトランジスタがオフ、前記第2のゲート線を介して前記入出力トランジスタがオンした状態を得る、
ことを特徴とするインプットセンサ内蔵ディスプレイ装置の駆動方法。
In the driving method of a display device with a built-in input sensor in which a sensor circuit and a pixel circuit are two-dimensionally arranged, the sensor circuit includes a sensor unit in which a capacitor and a photodiode form a parallel circuit, and one electrode of the sensor unit includes An amplification transistor connected to the gate, a variation canceling transistor connected in series between one electrode of the amplification transistor and the one electrode of the sensor unit, and one electrode connected to one electrode of the amplification transistor An input / output transistor, a first signal line connected to the other electrode of the input / output transistor, a second signal line connected to the other electrode of the amplifying transistor, and the other of the sensor section A first signal line connected to a third signal line connected to the electrode and a control gate of the variation canceling transistor; A gate line and a second gate line connected to the control gate of the input transistor,
In the precharge period of the capacitor, a first predetermined potential is applied to the first signal line, a zero potential is applied to the second and third signal lines, and the variation is applied via the first gate line. A cancel transistor is turned on, and the input / output transistor is turned on via the second gate line;
In a variation cancel period following the precharge period, the variation cancel transistor is turned on via the first gate line, and the input / output transistor is turned off via the second gate line,
In the imaging period, the variation cancellation transistor is turned off through the first gate line, and the input / output transistor is turned off through the second gate line,
During the readout period, the first predetermined potential is applied to the first signal line, the second signal line is set to 0 potential, and the third signal line is set to approximately the preset maximum change range of the sensor unit. A half potential is applied, and the variation canceling transistor is turned off via the first gate line, and the input / output transistor is turned on via the second gate line.
A drive method for a display device with a built-in input sensor.
前記読み出し期間に、前記第1の信号線の電位変化を読み取り、センサ回路の出力として判定することを特徴とする請求項7記載のインプットセンサ内蔵ディスプレイ装置の駆動方法。   8. The method for driving a display device with a built-in input sensor according to claim 7, wherein a change in potential of the first signal line is read and determined as an output of a sensor circuit during the readout period. 前記読み出し期間と前記プリチャージ期間の間の期間に、前記第1、第2、第3の信号線に、それぞれ映像信号を供給することを特徴とする請求項7記載のインプットセンサ内蔵ディスプレイ装置の駆動方法。   8. The display device with a built-in input sensor according to claim 7, wherein video signals are respectively supplied to the first, second, and third signal lines in a period between the readout period and the precharge period. Driving method.
JP2004144951A 2004-03-29 2004-05-14 Display device with built-in input sensor and driving method thereof Expired - Lifetime JP4177287B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004144951A JP4177287B2 (en) 2004-05-14 2004-05-14 Display device with built-in input sensor and driving method thereof
US11/080,577 US7612818B2 (en) 2004-03-29 2005-03-16 Input sensor containing display device and method for driving the same
EP05006369A EP1621980A2 (en) 2004-03-29 2005-03-23 Input sensor containing display device and method for driving the same
TW094109178A TWI283366B (en) 2004-03-29 2005-03-24 Input sensor containing display device and method for driving the same
KR1020050025468A KR100678552B1 (en) 2004-03-29 2005-03-28 Input sensor containing display device and method for driving the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004144951A JP4177287B2 (en) 2004-05-14 2004-05-14 Display device with built-in input sensor and driving method thereof

Publications (2)

Publication Number Publication Date
JP2005328352A true JP2005328352A (en) 2005-11-24
JP4177287B2 JP4177287B2 (en) 2008-11-05

Family

ID=35474329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004144951A Expired - Lifetime JP4177287B2 (en) 2004-03-29 2004-05-14 Display device with built-in input sensor and driving method thereof

Country Status (1)

Country Link
JP (1) JP4177287B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171748A (en) * 2004-12-10 2006-06-29 Samsung Electronics Co Ltd Display panel with internal sensing element, and display device
WO2010007890A1 (en) * 2008-07-16 2010-01-21 シャープ株式会社 Display device
US7667177B2 (en) 2007-07-19 2010-02-23 Tpo Displays Corp. Reading circuit, display panel and electronic system utilizing the same
CN104023183A (en) * 2013-02-28 2014-09-03 全视科技有限公司 High dynamic range pixel having a plurality of amplifier transistors
US8896577B2 (en) 2011-05-03 2014-11-25 Samsung Electronics Co., Ltd. Optical touch screen apparatuses and methods of driving the optical touch screen apparatuses

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006171748A (en) * 2004-12-10 2006-06-29 Samsung Electronics Co Ltd Display panel with internal sensing element, and display device
US7667177B2 (en) 2007-07-19 2010-02-23 Tpo Displays Corp. Reading circuit, display panel and electronic system utilizing the same
WO2010007890A1 (en) * 2008-07-16 2010-01-21 シャープ株式会社 Display device
US8427464B2 (en) 2008-07-16 2013-04-23 Sharp Kabushiki Kaisha Display device
US8896577B2 (en) 2011-05-03 2014-11-25 Samsung Electronics Co., Ltd. Optical touch screen apparatuses and methods of driving the optical touch screen apparatuses
US9690428B2 (en) 2011-05-03 2017-06-27 Samsung Electronics Co., Ltd. Optical touch screen apparatuses and methods of driving the optical touch screen apparatuses
CN104023183A (en) * 2013-02-28 2014-09-03 全视科技有限公司 High dynamic range pixel having a plurality of amplifier transistors
CN104023183B (en) * 2013-02-28 2017-05-17 豪威科技股份有限公司 High dynamic range pixel having a plurality of amplifier transistors

Also Published As

Publication number Publication date
JP4177287B2 (en) 2008-11-05

Similar Documents

Publication Publication Date Title
US7612818B2 (en) Input sensor containing display device and method for driving the same
US7868867B2 (en) Display device and driving device thereof
KR100611704B1 (en) Display and sensor apparatus
US7973777B2 (en) Display device and driving apparatus including a photo sensing circuit and a pressure sensing circuit and method thereof
US20070052874A1 (en) Display apparatus including sensor in pixel
Brown et al. A 2.6 inch VGA LCD with optical input function using a 1-Transistor Active-Pixel Sensor
JP2002032048A5 (en)
US9646551B2 (en) Display control system, processor, controller, and display control method
US8497843B2 (en) Controller driver, display device, and control method therefor
JP2005284661A (en) Display device with built-in input sensor, and its driving method
US20210064838A1 (en) Object identifying method and related circuits
JP2007163877A (en) Array substrate and display apparatus
JP4177287B2 (en) Display device with built-in input sensor and driving method thereof
US20120105404A1 (en) Display device with light sensors
JP2005327106A (en) Display device with built-in input sensor and driving method for the device
JP5116851B2 (en) Display device
US7133011B2 (en) Data driving circuit of liquid crystal display device
JP2008209645A (en) Liquid crystal display device and its driving method
JP4613562B2 (en) Active matrix liquid crystal display device
KR101085448B1 (en) Apparatus for cognition of pattern, and method for driving thereof
JP4434618B2 (en) Display device
JP4634732B2 (en) Display device
JP2008020769A (en) Display device
KR101017571B1 (en) LCD panel with Charge Coupled Device
JP2007304451A (en) Display process device and its driving method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080819

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080821

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4177287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250