CN101689083B - 成像设备、显示与成像设备、检测对象的电子设备和方法 - Google Patents

成像设备、显示与成像设备、检测对象的电子设备和方法 Download PDF

Info

Publication number
CN101689083B
CN101689083B CN2009800004743A CN200980000474A CN101689083B CN 101689083 B CN101689083 B CN 101689083B CN 2009800004743 A CN2009800004743 A CN 2009800004743A CN 200980000474 A CN200980000474 A CN 200980000474A CN 101689083 B CN101689083 B CN 101689083B
Authority
CN
China
Prior art keywords
image pickup
light
pixel
photoelectric transformer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009800004743A
Other languages
English (en)
Other versions
CN101689083A (zh
Inventor
原田勉
仲岛义晴
千田满
山口和范
建内满
津崎亮一
前川敏一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display West Inc
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101689083A publication Critical patent/CN101689083A/zh
Application granted granted Critical
Publication of CN101689083B publication Critical patent/CN101689083B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G09G2360/142—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element the light being detected by light detection means within each pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

提供了一种成像设备，其不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。当将来自背光(15)的照明光通过I/O显示面板20发射到邻近对象时，根据照明光的反射光(Lon)和环境光(外部光)(LO)的总光量在每一图像拾取像素(33)中存储充电电荷。当不发射上述照明光时，根据环境光(LO)的光量对每一图像拾取像素(33)进行放电。由于在从每一图像拾取像素(33)获得的图像拾取信号中减去根据环境光(LO)的分量，因此可获得邻近对象的信息而不受环境光(LO)的影响。此外，在从图像信号创建图像时，光接收驱动电路13需要比常规情况中更少数目的帧存储器13A。

Description

成像设备、显示与成像设备、检测对象的电子设备和方法
技术领域
本发明涉及获得诸如接触或接近面板的对象的位置之类的信息的图像拾取器件以及显示与图像拾取器件、包括这种显示与图像拾取器件的电子设备和检测对象以获得这种信息的方法。
背景技术
迄今为止，检测接触或接近显示器的表面的对象的位置等的技术已经是已知的。在它们当中，作为典型的和广泛使用的技术，列举包括触摸板的显示器。
存在各种类型的触摸板，但是作为通常使用的类型，列举检测电容的类型的触摸板。当手指接触触摸板时，触摸板捕捉面板的表面电荷的改变以检测对象的位置等。因此，当使用这种触摸板时，允许用户直观地操作触摸板。
此外，在专利文档1和专利文档2中，本发明的申请人提出了具有显示图像的显示功能和拾取对象的图像的图像拾取功能(检测功能)的显示器。
[专利文档1]日本未审查专利申请公开No.2004-127272
[专利文档2]日本未审查专利申请公开No.2006-276223
发明内容
当例如，在诸如手指之类的对象接触或靠近显示与图像拾取面板的情况下，使用上述专利文档1中描述的显示器时，基于通过使用反射光拾取的图像可检测对象的位置等，其中该反射光是由对象从来自显示与图像拾取面板的照明光反射的。因此，当使用该显示器时，可以以简单的配置检测对象的位置等，而不用在显示与图像拾取面板上分开地布置诸如触摸板之类的组件。
但是，在如上所述地使用由对象反射的反射光的情况下，在某些情况下，外部光(环境光)或光接收元件的特性的变化引起问题。更具体地说，所接收的光的辉度(luminance)取决于外部光的亮度(brightness)，所以在某些情况下，难以基于拾取图像检测对象的位置等。此外，光接收元件的特征的变化引起静态噪音(stationary noise)，由此在某些情况下，难以基于拾取图像检测对象的位置等。
因此，在上述专利文档2中，检测在发光态中获得的图像(通过使用来源于照明光的反射光获得的图像)和在熄灭(light off)态中获得的图像之间的差别，以除去由上述外部光或静态噪音的影响。
更具体地说，例如，如图55(A)的截面图中所示，在入射外部光(环境光)L0强的情况下，如图55(B)所示，在其中背光105打开的状态下，光接收输出电压Von101在显示区101中、除了由手指f接触的点之外的点上具有与环境光L0的亮度对应的电压值Va，并在显示区101中由手指f接触的点上，光接收输出电压Von101减小到与此时在接触该点的对象(手指F)的表面上反射来自背光105的照明光Lon的反射率对应的电压值Vb。另一方面，如在光接收输出电压Von101的情况下，在其中背光105闭合的状态下的光接收输出电压Voff101在除了由手指f接触的点之外的点上具有与环境光L0的亮度对应的电压值Va，但是由手指f接触的点处于其中阻挡环境光L0的状态，所以光接收输出电压Voff101具有非常低的电平电压值Vc。
此外，如图56(A)的截面图中所示，在入射环境光L0弱(非常小)的状态下，如图56(B)所示，因为环境光L0不存在，因此在其中背光105打开的状态下，光接收输出电压Von201在显示区101中除了由手指f接触的点之外的点上具有非常低的电平电压值Vc，并在显示区101中由手指f接触的点上，光接收输出电压Von201增加到与此时在接触该点的对象(手指f)的表面上反射来自背光105的照明光Lon的反射率对应的电压值Vb。另一方面，在其中背光105闭合的状态下的光接收输出电压Voff2在由手指f接触的点和任意其他点上保持不变(在非常低的电平电压值Vc)。
如上所述，在显示区101中未由手指f接触的点上，光接收输出电压在存在环境光L0的情况和不存在环境光L0的情况之间非常不同。另一方面，在显示区101中由手指f接触的点上，无论存在或不存在环境光L0，当背光105打开时的电压Vb和当背光105关闭时的电压Vc实质上处于相同状态。因此，认为当检测到在当背光105打开时的电压和当背光105关闭时的电压之间的差别时，允许存在诸如在电压Vb和Vc之间的差别之类的特定或更大差别的点被确定为对象接触或靠近的点，并且，例如，类似于图57中图解的差别图像C，可不受没有外部光或静态噪音的影响地检测对象的位置等。
但是，在使用这种差别图像C检测对象的方法中，例如，如图57所示，需要用于两个图像，也就是，当背光关闭时的图像(图像A)和当背光打开时的图像(图像B)的帧存储器等，由此引起组件成本的增加。
如上所述，在现有技术中，难以在不考虑在那时的使用条件的情况下稳定地检测触摸或接近面板的对象，同时又减少制造成本，并且存在改进的余地。
做出本发明以解决上述问题，并且本发明的目的是提供图像拾取器件、显示与图像拾取器件和检测对象的方法(能够不考虑使用条件稳定地检测对象，同时减少制造成本)和包括这种显示与图像拾取器件的电子设备。
本发明的图像拾取器件包括：图像拾取面板，包括多个图像拾取像素，并具有用于邻近对象的照明光源；图像拾取驱动装置，用于通过关于每一图像拾取像素执行图像拾取驱动，而从每一图像拾取像素获得图像拾取信号；和图像处理装置，用于利用基于从每一图像拾取像素获得的图像拾取信号的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息。此外，上述图像拾取驱动装置执行图像拾取驱动，以便当从照明光源发射照明光时，根据作为来源于照明光的反射光和环境光的总和的总光量而在每一图像拾取像素中累积充电电荷，并且当未从照明光源发射照明光时，根据环境光的光量从每一图像拾取像素释放放电电荷，由此从每一图像拾取像素获得图像拾取信号。另外，“邻近对象”不仅指几乎邻近的对象而且指处于接触状态的对象。
本发明的显示与图像拾取器件包括：显示与图像拾取面板，包括多个显示像素和多个图像拾取像素；显示驱动装置，用于通过关于每一显示像素执行显示驱动而显示图像；图像拾取驱动装置，用于通过关于每一图像拾取像素执行图像拾取驱动而从每一图像拾取像素获得图像拾取信号；和图像处理装置，用于利用基于从每一图像拾取像素获得的图像拾取信号的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息。此外，上述图像拾取驱动装置执行图像拾取驱动，以便当从显示与图像拾取面板向邻近对象发射照明光时，根据作为来源于照明光的反射光和环境光的总和的总光量来在每一图像拾取像素中累积充电电荷，并且当未从显示与图像拾取面板发射照明光时，根据环境光的光量从每一图像拾取像素释放放电电荷，由此从每一图像拾取像素获得图像拾取信号。另外，“照明光”不仅指从显示与图像拾取面板施加的显示光，而且指从显示与图像拾取面板上的另一光源(例如，红外光源等)施加的光。
本发明的电子设备包括具有图像显示功能和图像拾取功能的上述显示与图像拾取器件。
本发明的检测对象的方法包括以下步骤：关于多个图像拾取像素中的每一个执行图像拾取驱动，以便当从包括多个图像拾取像素的图像拾取面板向邻近对象发射照明光时，根据作为来源于照明光的反射光和环境光的总和的总光量而在每一图像拾取像素中累积充电电荷，和当不发射照明光时，根据环境光的光量从每一图像拾取像素释放放电电荷，由此从每一图像拾取像素获得图像拾取信号；和利用基于从每一图像拾取像素获得的图像拾取信号的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息。
在本发明的检测对象的图像拾取器件、显示与图像拾取器件、电子设备和方法中，当从图像拾取面板或显示与图像拾取面板向邻近对象发射照明光时，根据作为来源于照明光的反射光和环境光的总和的总光量在每一图像拾取像素中累积充电电荷。此外，当不发射上述照明光时，根据环境光的光量从每一图像拾取像素释放放电电荷。由此，从每一图像拾取像素获得图像拾取信号。然后，利用基于从每一图像拾取像素获得的图像拾取信号的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息。由此，在来自每一图像拾取像素的图像拾取信号中减去环境光的分量，因此可获得关于邻近对象的对象信息而不受这种环境光的影响。此外，基于累积充电电荷的操作和释放放电电荷的操作从每一图像拾取像素获得图像拾取信号，因此需要比在现有技术中更少数量的用于从图像拾取信号产生拾取图像的必要帧存储器等。
根据本发明的检测对象的图像拾取器件、显示与图像拾取器件、电子设备或方法，当从图像拾取面板或显示与图像拾取面板向邻近对象发射照明光时，根据作为来源于照明光的反射光和环境光的总和的总光量在每一图像拾取像素中累积充电电荷，并且当不发射上述照明光时，根据环境光的光量从每一图像拾取像素释放放电电荷，由此从每一图像拾取像素获得图像拾取信号，这样可获得关于邻近对象的对象信息而不受环境光的影响，并且需要比在现有技术中更少数量的用于从图像拾取信号产生拾取图像的必要帧存储器等。因此，可不考虑使用条件、稳定地获得对象，同时减少制造成本。
附图说明
图1是图解根据本发明实施例的显示与图像拾取器件的配置的框图。
图2是图解图1所示的I/O显示面板的配置实例的框图。
图3是图解在图2所示的显示区(传感器区域)中的像素布置实例的平面图。
图4是图解在图3所示的像素布置中在光接收部件和信号线之间的连接关系的实例的示意平面图。
图5是图解根据本发明实施例的光接收部件的配置实例的电路图。
图6是图解在图3所示的像素布置中在光接收部件和信号线之间的连接关系的细节的示意性图。
图7是图解根据本实施例的显示与图像拾取器件中的图像拾取操作的实例的定时波形图。
图8是用于描述图7中图解的图像拾取操作的细节的定时波形图。
图9是用于描述在图7和图8中图解的图像拾取操作期间的充电操作和放电操作的电路图。
图10是用于描述在图8中图解的SW控制信号和背光状态的细节的定时波形图。
图11是用于描述根据对比实例的图像拾取操作的绘图。
图12是用于描述图11所示的图像拾取操作的示意性图。
图13是用于描述根据对比实例的图像拾取操作的另一绘图。
图14是用于描述根据对比实例的图像拾取操作的另一绘图。
图15是图解根据本发明的修改实例1的光接收部件的配置实例的电路图。
图16是图解根据修改实例1的显示区(传感器区域)中在光接收部件和信号线之间的连接关系的细节的示意性图。
图17是描述根据修改实例1的、在图像拾取操作期间的充电操作和放电操作的电路图。
图18是描述根据修改实例1的、在图像拾取操作期间的SW控制信号和背光状态的定时波形图。
图19是图解根据本发明的修改实例1的另一光接收部件的配置实例的电路图。
图20是图解根据本发明的修改实例2的光接收部件的配置实例的电路图。
图21是描述根据修改实例2的图像拾取操作的定时波形图。
图22是描述根据修改实例2的在图像拾取操作期间的充电操作和放电操作的电路图。
图23是描述根据修改实例2的、在图像拾取操作期间的SW控制信号和背光状态的定时波形图。
图24是图解根据本发明的修改实例3中的、显示区(传感器区域)中的光接收部件的配置实例的电路图。
图25是描述光电变换器中的开启操作区域(on-operation)和关闭操作(off-operation)区域的图。
图26是描述根据修改实例3的、光电变换器中的开启操作区域和关闭操作区域的图。
图27是描述根据修改实例3的图像拾取操作的定时波形图。
图28是用于特别地描述根据修改实例3的、光电变换器中的开启操作和关闭操作的定时波形图。
图29是描述根据修改实例3的、在图像拾取操作期间的充电操作和放电操作的电路图。
图30是图解根据本发明的修改实例4中的、在显示区(传感器区域)中的光接收部件的配置实例的电路图。
图31是描述根据修改实例4的、光电变换器中的开启操作区域和关闭操作区域的图。
图32是用于描述根据修改实例4的光电变换器中的开启操作区域和关闭操作区域的图。
图33是描述根据修改实例4的图像拾取操作的定时波形图。
图34是用于特别地描述根据修改实例4的、光电变换器中的开启操作和关闭操作的定时波形图。
图35是描述根据修改实例4的、在图像拾取操作期间的充电操作和放电操作的电路图。
图36是图解在本发明的修改实例5中的、显示区(传感器区域)中的光接收部件的配置实例的电路图。
图37是描述根据修改实例5的、光电变换器中的开启操作区域和关闭操作区域的图。
图38是描述根据修改实例5的、光电变换器中的开启操作区域和关闭操作区域的图。
图39是描述根据修改实例5的、光电变换器中的开启操作区域和关闭操作区域的图。
图40是描述根据修改实例5的、光电变换器中的开启操作区域和关闭操作区域的图。
图41是描述根据修改实例5的图像拾取操作的定时波形图。
图42是用于特别地描述根据修改实例5的、光电变换器中的开启操作和关闭操作的定时波形图。
图43是描述根据修改实例5的、在图像拾取操作期间的充电操作和放电操作的电路图。
图44是图解在本发明的修改实例6中的、显示区(传感器区域)中的光接收部件的配置实例的电路图。
图45是图解在图44中图解的显示区(传感器区域)中的像素布置实例的平面图。
图46是描述使用在本发明中的图像拾取结果(指尖提取处理的结果)的应用的实例的图。
图47是描述使用在本发明中的图像拾取结果(指尖提取处理的结果)的应用的实例的图。
图48是描述使用在本发明中的图像拾取结果(指尖提取处理的结果)的应用的实例的图。
图49是描述使用在本发明中的图像拾取结果(指尖提取处理的结果)的应用的实例的图。
图50是图解本发明的显示与图像拾取器件的应用实例1的外观的透视图。
图51(A)是图解从应用实例2的前侧看的外观的透视图，并且图51(B)是图解从应用实例2的后侧看的外观的透视图。
图52是图解应用实例3的外观的透视图。
图53是图解应用实例4的外观的透视图。
图54(A)和图54(B)分别是其中在应用实例5被打开的状态下的前视图和侧视图，并且图54(C)、图54(D)、54(E)、54(F)和54(G)分别是其中在应用实例5被闭合的状态下的前视图、左视图、右视图、顶视图和底视图。
图55是图解在现有技术中通过显示与图像拾取器件的图像拾取操作(差别图像指尖提取处理)的实例的绘图。
图56是图解在现有技术中通过显示与图像拾取器件的图像拾取操作(差别图像指尖提取处理)的另一实例的绘图。
图57是用于描述在现有技术中通过显示与图像拾取器件的图像拾取操作(差别图像指尖提取处理)的照片。
具体实施方式
以下将参考附图详细描述实施本发明的最佳方式(在下文中简单地称为实施例)。
图1图解根据本发明实施例的显示与图像拾取器件的整体配置。显示与图像拾取器件包括I/O显示面板20、背光15、显示驱动电路12、光接收驱动电路13、图像处理部件14和应用程序执行部件11。
如将在之后描述的那样，I/O显示面板20由其中在其整个表面上以矩阵形式布置多个像素的液晶面板(LCD(液晶显示器))配置而成，并具有基于显示数据显示诸如预定符号或字符之类的图像、同时执行行顺序(line-sequential)操作的功能(显示功能)，和拾取接触I/O显示面板20或在I/O显示面板20邻近的对象(邻近对象)的图像的功能(图像拾取功能)。此外，背光15是用于I/O显示面板20的显示和检测的光源，例如，通过布置多个发光二极管来形成，并且如将在之后描述的那样，背光15以与I/O显示面板20的操作定时同步的预定定时高速执行开-关操作。
显示驱动电路12是驱动I/O显示面板20(驱动行顺序显示操作)从而基于显示数据在I/O显示面板20上显示图像(以执行显示操作)的电路。
光接收驱动电路13是驱动I/O显示面板20(驱动行顺序图像拾取操作)从而从I/O显示面板20的每一个像素获得光接收信号(图像拾取信号)(以拾取对象的图像)的电路。另外，在帧存储器13A中逐帧地累积来自每一像素的光接收信号以作为拾取图像输出到图像处理部件14。
图像处理部件14基于从光接收驱动电路13输出的拾取图像执行预定图像处理(算术处理)，并且检测和获得关于接触或接近I/O显示面板20的对象的对象信息(位置坐标数据、关于对象的形状或尺寸的数据，等)。将在之后详细描述检测对象信息的处理。
应用程序执行部件11基于通过图像处理部件14的检测结果，根据预定应用软件执行处理，并且，例如，作为应用程序执行部件11，列举了其中所检测的对象的位置坐标被包括在显示数据中，并被显示在I/O显示面板20上等的部件。另外，在应用程序执行部件11中产生的显示数据被提供给显示驱动电路12。
接下来，以下将参考图2描述I/O显示面板20的特定配置实例。I/O显示面板20包括显示区(传感器区域)21、显示H驱动器22、显示V驱动器23、传感器读出H驱动器25和传感器V驱动器24。
显示区(传感器区域)21是这样的区域：在其中调制来自背光15的光以发射照明光(包括来自例如，红外光源等(未图示)的用于检测的显示光和照明光，在下文中应适用相同的含义)，并拾取接触该区域或在该区域邻近的对象的图像，并且在显示区21中，以矩阵形式布置将在之后描述的作为发光元件的液晶元件(显示元件)和光接收元件(图像拾取元件)。
与显示V驱动器23一起，显示H驱动器22响应于用于显示驱动的显示信号和从显示驱动电路12提供的控制时钟，行顺序地驱动显示区21中每一个像素的液晶元件。
传感器读出H驱动器25与传感器V驱动器24一起，行顺序地驱动在显示区21中的每一个像素的光接收元件以获得光接收信号。此外，虽然将在之后详细描述，传感器读出H驱动器25和传感器V驱动器24执行图像拾取驱动，以便当从I/O显示面板20向邻近对象发射照明光时，根据作为来源于照明光的反射光和环境光的总和的总光量在每一个像素中累积充电电荷，而当不从I/O显示面板20发射照明光时，根据环境光的光量从每一个像素释放放电电荷，由此获得每一个像素的图像拾取信号(光接收信号)。
接下来，以下将参考图3到图6，描述显示区21中的每一个像素的特定配置实例。
例如，首先，如图3所示，像素31包括显示像素(显示部件)31RGB、图像拾取像素(光接收部件)33和其中形成用于图像拾取像素33的配线(wiring)的配线部件32。此外，显示像素31RGB包括红色(R)显示像素31R、绿色(G)显示像素31G和蓝色(B)显示像素31B。以矩阵形式在显示区21(传感器区域)上布置显示像素31RGB、图像拾取像素33和配线部件32。此外，以规制的间隔彼此分开地布置图像拾取像素33和用于关于图像拾取像素33执行图像拾取驱动的配线部件32。这种布置允许包括图像拾取像素32和配线部件33的传感器区域在显示像素31RGB当中极不显著，并允许在显示像素31RGB中的孔径比的减少(最小化)。此外，当在不有助于显示像素31RGB的孔径的区域(例如，其中由黑色矩阵阻挡光的区域，反射区域等)中布置配线部件32时，允许布置光接收电路，而不使显示质量的退化。另外，如将在之后详细描述的那样，例如，如图4所示，复位信号线Reset_1到Reset_n和读信号线Read_1到Read_n沿着水平线方向连接到每一图像拾取像素(光接收部件)33。
此外，例如，如图5所示，每一光接收部件33包括作为产生与所接收的光的光量对应的电荷的光接收元件的光电变换器PD1、作为电容器的电容器C1、四个开关元件SW11到SW14和三个晶体管Tr1到Tr3。光电变换器PD1产生针对电容器C1的、充电电荷和用于放电电荷两者，并且配置有(例如)光电二极管、光敏晶体管等。在这里，光电变换器PD1配置有PIN光电二极管，其包括阳极(在p型半导体区域中形成)、阴极(在n型半导体区域中形成)和栅极(例如，在本征半导体(intrinsic semiconductor)区域中形成)，并且这对根据将在之后描述的修改实例的光电变换器也适用。另外，晶体管Tr1到Tr3每个配置有薄膜晶体管(TFT)等。在光接收部件33中，开关元件SW1的一端连接到电源VDD，并且开关元件SW1的另一端连接到开关元件SW13的一端以及光电变换器PD1的阴极和栅极。此外，开关元件SW12的一端连接到地VSS，并且开关元件SW12的另一端连接到开关元件SW14的一端和光电变换器PD1的阳极。另外，开关元件SW13的另一端和开关元件SW14的另一端通过连接点P1连接到电容器C1的一端、晶体管Tr1的漏极和晶体管Tr2的栅极。电容器C1的另一端连接到地VSS。此外，晶体管Tr1的栅极连接到复位信号线Reset，并且晶体管Tr1的源极连接到复位电源Vrst。另外，晶体管Tr2的源极连接到电源VDD，并且晶体管Tr2的漏极连接到晶体管Tr3的漏极。此外，晶体管Tr3的栅极连接到读信号线Read，并且晶体管Tr3的源极连接到读出线41。此外，允许在电容器C1中累积(充电)充电电荷的充电电路配置有用作用于充电的开关元件的开关元件SW11和SW14。另外，允许从电容器C1释放(放电)放电电荷的放电电路配置有用作用于放电的开关元件的开关元件SW12和SW13。通过这种配置，如将在之后详细描述的那样，在上述充电电路和上述放电电路中的开关元件SW11到SW14被驱动以拾取图像，以便通过用于充电的开关元件SW11和SW14在电容器C1中累积在光电变换器PD1中产生的充电电荷，并且通过用于放电的开关元件SW12和SW13从电容器C1释放在光电变换器PD1中产生的放电电荷，由此从每一光接收部件(图像拾取像素)33获得图像拾取信号。另外，上述复位电源Vrst的电压(允许释放在每一光接收部件33中的电容器C1中累积的全部电荷的复位电压)可设置为在电源电压VDD和地电压VSS之间的任意电压。
另外，例如，如图6所示，图5中描述的每一光接收部件(图像拾取像素)33中的电路部分、显示像素31RGB、复位信号线Reset、读信号线Read、读出线41、电源线VDD、地线VSS和复位电压线Vrst、向其提供用于控制开关元件SW11和SW14的开关的SW控制信号的SW控制线Sa、和向其提供控制开关元件SW12和SW13的开关的SW控制信号的SW控制线Sb被布置在显示区(传感器区域)21中。
接下来，以下将详细描述本实施例的显示与图像拾取器件的操作。
首先，以下将简要地描述由显示与图像拾取器件显示图像的操作和拾取对象的图像的操作。
在显示与图像拾取器件中，基于从应用程序执行部件11提供的显示数据在显示驱动电路12中产生用于显示的驱动信号，并且响应于驱动信号在I/O显示面板20上执行行顺序显示驱动以显示图像。此外，此时，还由显示驱动电路12驱动背光15以与I/O显示面板20同步地执行发光开/关操作。
这里，在存在接触或靠近I/O显示面板20的对象(例如，指尖等)的情况下，通过光接收驱动电路13的行顺序光接收驱动，在I/O显示面板20中的每一图像拾取像素33中拾取对象的图像，并且将来自每一图像拾取像素32的图像拾取信号提供给光接收驱动电路13。在光接收驱动电路13中，累积用于一个帧的、来自图像拾取像素33的图像拾取信号，并将其作为拾取图像输出到图像处理部件14。
然后，在图像处理部件14中，基于拾取图像执行将在之后描述的预定图像处理(算术处理)，从而获得关于接触I/O显示面板20或在I/O显示面板20邻近的对象的对象信息(位置坐标数据、关于对象的形状或尺寸的数据等)。
接下来，在下面将参考图7到图14描述本实施例的图像拾取操作的细节，和由图像处理部件14提取接触或靠近I/O显示面板20的对象(诸如指尖之类的邻近对象)的处理(指尖提取处理)。这里，图7以定时波形图图解本实施例的图像拾取操作的实例，并且(A)到(D)分别指示复位信号电压V(Reset_1)、V(Reset_2)、V(Reset_3)和V(Reset_n)，而(E)到(H)分别指示读信号电压V(Read_1)、V(Read_2)、V(Read_3)和V(Read_n)，(I)指示用于开关元件SW11和SW14的控制信号(SW控制信号Sa)，而(J)指示用于开关元件SW12和SW13的控制信号(SW控制信号Sb)。此外，图8以定时波形图图解图7中图解的图像拾取操作的细节(在一个光接收元件31中的图像拾取操作)，(A)指示复位信号电压V(Reset)，(B)指示读信号电压V(Read)，(C)和(D)分别指示SW控制信号Sa和Sb，(E)指示在连接点P1的电位(累积电位)VP1，而(F)指示读出线41的电位(读出电压)V41。另外，图11到图14是用于描述根据对比实例的、在现有技术中的图像拾取操作的绘图和示意性图。
首先，例如，如图7所示，复位信号电压V(Reset_1)、V(Reset_2)、V(Reset_3)和V(Reset_n)和读信号电压V(Read_1)、V(Read_2)、V(Read_3)和V(Read_n)由行顺序操作被带入H(高)状态。在每个水平线上的光接收部件33中，如将在之后详细描述的那样，从读信号电压V(Read)被带入H状态时到读信号电压V(Read)被带入H状态时的时间段是曝光时间段。此外，背光15与这种复位信号电压V(Reset)和这种读信号电压V(Read)的行顺序操作同步地，在打开状态和关闭状态之间交替地改变，并且与在背光15的开/关状态之间的切换操作顺序同步地，SW控制信号Sa和Sb被带入H(高)状态，并且开关SW11到SW14被带入导通状态。另外，SW控制信号Sa和SW控制信号Sb被交替地带入H状态。更具体地说，当背光15处于打开状态时，SW控制信号Sa被带入H状态，并且SW控制信号Sb被带入L(低)状态，而当背光15处于关闭状态时，SW控制信号Sa被带入L状态，并且SW控制信号Sb被带入H状态。
此时，在一个光接收元件31中的图像拾取操作是，例如，如图8所示。也就是，首先，当在定时t10处复位信号电压V(Reset)被带入H状态时，晶体管Tr1被带入到导通状态，由此在连接点P1的电位VP1(累积电位)被复位到任意设置的复位电压Vrst(在该情况下，Vrst＝VSS)。
接下来，在从定时t11到定时t12的时间段中，背光15被带入打开状态，并且SW控制信号Sa和SW控制信号Sb分别被带入H状态和L状态，由此在显示驱动期间，与水平时间段(背光15的打开切换时间段和关闭切换时间段)同步地执行在电容器C1中累积充电电荷的操作(充电操作)。例如，更具体地说，如图9(A)所示，用于充电的开关元件SW11和SW14被带入导通状态，并且用于放电的开关元件SW12和SW13被带入断开状态。由此，根据作为由来自背光15的照明光的、邻近对象反射的反射光Lon和外部光(环境光)L0的总和的总光量，沿着在图中所示的充电电流I11的路径在电容器C1中累积充电电荷，从而引起累积电位VP1的上升。
接下来，在从定时t12到定时t13的时间段中，背光15被带入关闭状态，并且SW控制信号Sa和SW控制信号Sb分别被带入L状态和H状态，由此在显示驱动期间，与水平时间段(背光15的开/关切换操作)同步地执行从电容器C1释放放电电荷的操作(放电操作)。例如，更具体地说，如图9(B)所示，用于充电的开关元件SW11和SW14被带入断开状态，并且用于放电的开关元件SW12和SW13被带入导通状态。由此，根据外部光(环境光)L0的光量，通过在图中所示的放电电流I12的路径从电容器C1释放放电电荷，以引起累积电位VP1的减少。
然后，执行在这种累积充电电荷的操作和这种释放放电电荷的操作之间的多次切换直到定时t14(在曝光时间段期间)为止，然后，读出在切换期间在电容器C1中累积的电荷作为图像拾取信号。更具体地说，当在定时t14读信号电压V(Read)被带入H状态时，晶体管Tr3被带入导通状态，并且在从定时t15到定时t16的时间段中，从读出线41读出累积电位VP1的电压。因此，当在累积充电电荷的操作和释放放电电荷的操作之间的多次切换之后读出图像拾取信号时，曝光时间段变长，因此如图8(E)中所示出的那样，图像拾取信号的信号分量(累积电位VP1)增大。此外，在这里获得的图像拾取信号是模拟值，所以在光接收驱动电路13中关于图像拾取信号执行A/D(模拟/数字)转换。另外，之后，在定时t16复位信号电压V(Reset)被带入H状态，由此重复从定时t10到定时t16的相同操作。
另外，更具体地说，例如，如图10所示，设置其中SW控制信号Sa处于H状态的时间段和其中SW控制信号Sb处于H状态的时间段以便不彼此重叠(设置非重叠时间段)，由此防止光接收部件33中漏电流的产生。
接下来，在图像处理部件14中，执行确定在光接收驱动电路13中产生的一个帧的拾取图像的质心(centroid)的算术处理以确定接触(邻近)中心。然后，从图像处理部件14向应用程序执行部件11输出邻近对象的检测结果，由此完成通过图像处理部件14的指尖提取处理。
因此，在本实施例的指尖提取处理中，当通过I/O显示面板20从背光15向邻近对象发射照明光时，根据作为来源于照明光的反射光Lon和环境光(外部光)L0的总和的总光量在每一图像拾取像素33中累积充电电荷。此外，当不发射上述照明光时，根据环境光的光量L0从每一图像拾取像素33释放放电电荷。因此，从每一图像拾取像素33获得图像拾取信号。然后，在图像处理部件14中，利用基于从每一图像拾取像素33获得的图像拾取信号的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息。由此，在从每一图像拾取像素33获得的图像拾取信号中减去根据环境光L0的分量，因此可获得关于邻近对象的对象信息而不受这种环境光L0的影响。
此外，基于累积充电电荷的操作和释放放电电荷的操作从每一图像拾取像素33获得图像拾取信号，因此在光接收驱动电路13中，需要比在现有技术中更少数目的用于从图像拾取信号产生拾取图像的必要帧存储器13A(例如，如图58所示，需要用于两个图像，也就是，当背光关闭时的图像(图像A)和当背光打开时的图像(图像B)的帧存储器)。
另外，在指尖提取处理中，可一次性获得关于位于I/O显示面板20的显示区21上的多个接触或邻近对象的信息，诸如对象的位置、形状、尺寸等。
此外，在图11和图12图解的对比实例中(例如，在图57和图58中图解的现有技术中的指尖提取处理)，如由图11的箭头指示的那样，在其中邻近对象在I/O显示面板20的显示区21上移动的情况下，存在以下问题。也就是说，在实际使用条件下，例如，如图12所示，在当背光处于关闭状态时获得的图像A101和当背光处于打开状态时获得的图像B101之间存在时间差。因此，例如，如图11所示，在邻近对象在显示面板20上以高速移动等的情况下，该时间差引起在图像A101中的光接收输出信号Voff(A101)和图像B101中的光接收输出信号Von(B101)之间的、与邻近对象对应的部分的位置中的差别。然后，如图11和12所示，由于这种位置，因此在这两个图像A101和B101之间的差别图像C101(＝B101-A101)和光接收检测信号V(C101)(＝Von(B101-Voff(A101))中，除与邻近对象的位置对应的原始信号之外，还在另一位置产生伪信号(spurious signal)F101。因此，在根据对比实例的指尖提取处理中，在某些情况下，由于这种伪信号F101的存在难以稳定地检测邻近对象。另外，当邻近对象快速移动时，产生伪信号的区域趋向于增加，并且外部光越强，伪信号趋向于越强。
另一方面，在本实施例中，如上所述，在例如，至少邻近对象在I/O显示面板20上移动等的情况下，关于每一图像拾取像素33执行图像拾取驱动，以便累积充电电荷，并释放放电电荷，由此从每一图像拾取像素33获得图像拾取信号，并且通过利用基于这种图像拾取信号的拾取图像获得关于邻近对象的对象信息。因此，例如，当在背光15的开/关状态之间的切换的时间段被设置为极短时，即使在这种切换时间段期间邻近对象在I/O显示面板20的显示区21上移动，邻近对象的移动距离极短，因此最小化(或防止)了伪信号的产生。
此外，在图13和图14图解的对比实例中(例如，图57和图58中图解的现有技术的指尖提取处理中)，可能存在以下问题。也就是说，在实际I/O显示面板20中的每个图像拾取像素中，限制光的累积容量(capacity)。例如，这里，如图13(A)和(B)所示，当外部光L0的光量大，并且大于累积容量的电荷流动时，在邻近对象是手指f等的情况下，如由附图中光接收输出信号Von301和Voff301指示的那样，光接收输出信号Von301和Voff301在手指f的阴影部分等中不超过累积容量，因此允许邻近对象的检测。另一方面，如图14(A)和(B)所示，在邻近对象是非常薄的对象(诸如笔ob1)情况下、在邻近对象具有距I/O显示面板20的距离的情况下等，如由光接收输出信号Von401和Voff401以及附图标记P401指示的那样，在某些情况下，在笔ob1等的阴影部分中，光接收输出信号Von401和Voff401超过累积容量并到达高电平。在这种情况下，在光接收输出信号Von401和Voff401之间的差别信号超过图像拾取像素的累积容量，由此不允许通过使用差别结果来检测邻近对象。
另一方面，在本实施例中，不管曝光时间如何，总是除去外部光L0的分量，所以在任意外部光条件下，允许防止有限的累积容量仅被外部光L0的分量填满(取决于在背光15的开/关状态之间的切换时间段，确定通过一个充电操作和一个放电操作累积的容量)。
如上所述，在本实施例中，当从I/O显示面板20向邻近对象发射来自背光15的照明光时，根据作为来源于照明光的反射光Lon和环境光(外部光)L0的总和的总光量在每一图像拾取像素33中累积充电电荷，而当不发射上述照明光时，根据环境光L0的光量从每一图像拾取像素33释放放电电荷，由此从每一图像拾取像素33获得图像拾取信号，所以，在从每一图像拾取像素33获得的图像拾取信号中，减去根据环境光L0的分量，因此可获得关于邻近对象的对象信息而不受这种环境光L0的影响。此外，基于累积充电电荷的操作和释放放电电荷的操作从每一图像拾取像素33获得图像拾取信号，所以在光接收驱动电路13中，需要比在现有技术中更少数目的、用于从图像拾取信号产生拾取图像的必要帧存储器13A(不需要用于差别检测的帧存储器)。因此，不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。
更具体地说，在每一图像拾取像素(每一光接收部件)33中，光电变换器PD1产生充电电荷和放电电荷两者，并且通过用于充电的开关元件SW11和SW14在电容器C1中累积在光电变换器PD1中产生的充电电荷，并且通过用于放电的开关元件SW12和SW13从电容器C1释放在光电变换器PD1中产生的放电电荷，所以可获得上述效果。
此外，累积充电电荷的操作(充电操作)和释放放电电荷的操作(放电操作)中的每一个操作都与在显示驱动期间的水平时间段同步，这样允许减少耦合噪音。
另外，基于在累积充电电荷的操作和释放放电电荷的操作之间的多次切换之后获得的图像拾取信号获得对象信息，所以允许曝光时间段更长，并且通过增加图像拾取信号的信号分量(累积电位VP1)允许改进检测灵敏度，并且可自由地设置曝光时间，所以允许信噪比的增加。
此外，例如，当在背光15的开/关状态之间的切换的时间段被设置为极短时，即使在邻近对象在I/O显示面板20的显示区21上移动的情况下，使(或防止)伪信号的产生最小化，由此允许检测灵敏度进一步改进。另外，与在背光15的开/关状态之间的切换的快速时间段同步地执行差别处理，所以可容易地检测移动对象。
另外，在每一图像拾取像素33中的电容器C1中，仅累积根据反射光Lon的电荷，所以在关于图像拾取信号的A/D转换时，不需要设置外部光L0等的不必要的范围(可有效地利用A/D转换器的位长度(字长))，并且允许使用效率的改进(允许信噪比的改进)。
另外，可通过本实施例的图像拾取驱动除去温度变化造成的暗电流分量。
此外，在读出图像拾取信号时，在现有技术中，通过高速读出图像拾取信号更精确地跟随移动对象，但是另一方面，在本实施例中，读出速度及用于移动对象的跟随能力可以彼此完全独立。因此，可自由地设置曝光时间，这样使对于光接收灵敏度的需要比现有技术中更加缓和，并且允许将读出速度设置得更慢。
另外，在本实施例的光接收部件33中，当背光15被带入关闭状态时，并且仅执行累积充电电荷的操作，允许执行使用外部光L0的阴影检测。
以下将描述本发明的某些修改实例。另外，由与上述实施例相同的数字表示相同的组件，并且不将进行另外的描述。
[修改实例1]
图15图解根据修改实例1的光接收部件(光接收部件33A)的电路配置。该光接收部件(图像拾取像素)33A与上述实施例中描述的光接收部件33的不同之处在于光接收部件33A包括两个光电变换器PD21和PD22以及两个开关元件SW21和SW22的事实。更具体地说，光电变换器PD21的阴极和栅极连接到电源VDD，而光电变换器PD21的阳极连接到开关元件SW21的一端。此外，光电变换器PD22的阳极连接到地VSS，而光电变换器PD22的阴极和栅极连接到开关元件SW22的一端。另外，开关元件SW21的另一端和开关元件SW22的另一端连接到连接点P1。此外，如在上述实施例的情况下那样，例如，如图16所示，布置光接收部件33A，以便图像拾取像素33A和用于驱动图像拾取像素33A以拾取图像的配线部件32在显示区(传感器区域)21A中彼此分开。另外，任意其他电路配置与光接收部件33的相同，并且将不另外描述。
此外，在光接收部件33A中，光电变换器PD21用作用于产生充电电荷的光电变换器，并且光电变换器PD22用作用于产生放电电荷的光电变换器。另外，开关元件SW21用作用于充电的开关元件，而开关元件SW22用作用于放电的开关元件。由此，执行图像拾取驱动以便，例如，如图17(A)所示，通过用于充电的开关元件SW21在电容器C1中累积在光电变换器PD21中产生的充电电荷(根据作为反射光Lon和外部光L0的总和的总光量)，并且，例如，如图17(B)所示，通过用于放电的开关元件SW22从电容器C1释放在光电变换器PD22中产生的放电电荷(根据外部光L0的光量)。
因此，也在修改实例中，通过与上述实施例相同的图像拾取操作执行相同的指尖提取处理。由此，也在修改实例中，不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。
此外，光电变换器PD21的阴极和光电变换器PD22的阳极之一恒定地连接到电源VDD或地VSS，这样允许减少在开关元件SW21和SW22的开/关操作期间存在的耦合噪音。
另外，在光接收部件33A中仅需要两个开关元件(在上述实施例的光接收部件33中，需要四个开关元件SW11到SW14)，这样减小SW控制信号Sa和Sb的信号线中的配线容量以允许功耗的降低。
此外，在修改实例的光接收部件33A中，与上述实施例的光接收部件33不同，不存在用于漏电流的产生的路径，所以，例如，如图18所示，其中SW控制信号Sa处于H状态的时间段和其中SW控制信号Sb处于H状态的时间段可能彼此重叠(不设置非重叠时间段)。
另外，在修改实例中，例如，与光接收部件(图像拾取像素)33B相同，优选地布置用于在开关元件SW21和SW22的断开状态期间除去在寄生电容中累积的电荷的开关元件SW23和SW24。更具体地说，在光电变换器PD21的阳极和开关元件SW21的一端与地VSS之间布置开关元件SW23。此外，在光电变换器PD22的阴极和开关元件SW22的一端与电源VDD之间布置开关元件SW24。
[修改实例2]
图20图解根据修改实例2的光接收部件(光接收部件33C)的电路配置。光接收部件(图像拾取像素)33C包括两个光电变换器PD31和PD32以及四个开关元件SW31到SW34。更具体地说，开关元件SW31的一端和开关元件SW33的一端连接到电源VDD，而开关元件SW31的另一端连接到光电变换器PD31的阴极和栅极，并且开关元件SW33的另一端连接到电容器C1的一端和开关元件SW34的一端。此外，光电变换器PD31的阳极连接到电容器C1的另一端、光电变换器PD32的阴极和栅极以及连接点P1。另外，光电变换器PD32的阳极连接到开关元件SW32的一端。此外，开关元件SW32的另一端和开关元件SW34的另一端连接到地VSS。另外，任意其他电路配置与光接收部件33和33A中的相同，并且将不另外描述。
在光接收部件33C中，例如，如图21所示，通过用于开关元件SW31到SW34的SW控制信号S1到S4、读信号电压V(Read)和复位信号电压V(Reset)，在附图中的定时t20到t26上执行图像拾取操作。更具体地说，执行图像拾取驱动以便，例如，如图22(A)所示，通过用于充电的开关元件SW31和SW34在电容器C1中累积在光电变换器PD31中产生的充电电荷(根据作为反射光Lon和外部光L0的总和的总光量)，并且，例如，如图22(B)所示，通过用于放电的开关元件SW32和SW33从电容器C1释放在光电变换器PD32中产生的放电电荷(根据外部光L0的光量)。此外，此时，在累积充电电荷的时间段和释放放电电荷的时间段之间，电容器C1的一端被交替地切换以通过开关元件SW33连接到电源VDD和通过开关元件SW34连接到地VSS。
因此，也在修改实例中，通过与上述实施例的情况相同的图像拾取操作执行相同的指尖提取处理。由此，也在修改实例中，不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。
此外，在累积充电电荷的时间段和释放放电电荷的时间段之间，电容器C1的一端被交替地切换以通过开关元件SW33连接到电源VDD和通过开关元件SW34连接到地VSS，所以允许施加到光电变换器PD31和PD32的两端的电压实质上等于(VDD-VSS)，而不用任意地输入复位电压，并且允许减少复位信号线。
此外，也在修改实例的光接收部件33C中，为防止如在上述实施例的光接收部件33的情况下漏电流的产生，例如，如图23所示，优选地防止其中SW控制信号Sa处于H状态的时间段和其中SW控制信号Sb处于H状态的时间段彼此重叠(优选地设置非重叠时间段)。
[修改实例3]
图24图解根据修改实例3的光接收部件(光接收部件33D)的电路配置。光接收部件(图像拾取像素)33D包括两个光电变换器PD41(第一光电变换器)和PD42(第二光电变换器)。更具体地说，在光电变换器PD41中，阴极连接到电源VDD，并且阳极连接到光电变换器PD42的阴极和连接点P1，而栅极连接到信号线φ1。此外，在光电变换器PD42中，阳极连接到地VSS，而栅极连接到信号线φ2。也就是说，在光接收部件33D中，与上述光接收部件33、33A、33B和33C不同，虽然不布置开关元件，但是分别通过信号线φ1和φ2控制光电变换器PD41和PD42的栅极电位。另外，任意其他电路配置与光接收部件33等的相同，并且将不另外描述。
在修改实例(和将在之后描述的修改实例4和5)中，通过在打开操作区域和关闭操作区域之间切换光电变换器(代替上述通过使用开关元件切换电流路径的操作)来执行切换电流路径的操作。更具体地说，通过分开地改变在光电变换器PD41的阴极和栅极之间的电位关系和在光电变换器PD42的阳极和栅极之间的电位关系，将光电变换器PD41和PD42分开地设置为打开状态或关闭状态。
这里，例如，如图25(A)所示，在光电变换器PD41和PD42的阳极电位是Vp的情况下，光电变换器PD41和PD42的阴极电位是Vn，光电变换器PD41和PD42的栅极电位是Vg，并且从阴极流到阳极的光电流是Inp，光电变换器PD41和PD42中的I-V特性例如，如图25(B)所示。也就是说，当栅极电位(栅极电压)Vg改变时，Vp＜Vg＜Vn的电压区域是其中光电变换器PD41和PD42处于打开状态的打开操作区域α。另一方面，Vn＜Vg的电压区域是其中光电变换器PD41和PD42处于关闭状态的关闭操作区域β1，而Vg＜Vp的电压区域是其中光电变换器PD41和PD42处于关闭状态的关闭操作区域β2。因此，允许通过分开地改变在光电变换器PD41的阴极和栅极之间的电位关系以及在光电变换器PD42的阳极和栅极之间的电位关系来改变这些光电变换器PD41和PD42中的光电转换效率。因此，在修改实例(和将在之后描述的修改实例4和5)中，通过主动地使用这种光电转换效率的改变来将光电变换器PD41和PD42分开地设置为打开状态或关闭状态。
更具体地说，在修改实例中，首先，如图24所示，光电变换器PD41中的阴极电位被固定到电源VDD，而光电变换器PD42中的阳极电位被固定到地VSS。此外，如图24和图26(A)到图26(C)所示，分别通过信号线φ1和φ2改变这些光电变换器PD41和PD42中的栅极电压Vg。更具体地说，通过信号线φ1的电位V(φ1)，在Vg11和Vg12之间交替地改变光电变换器PD41的栅极电压Vg(参考图26(C)中的箭头P41；Vg12＜Vg11)。此外，通过信号线φ2的电位V(φ2)，在Vg21和Vg22之间交替地改变光电变换器PD42的栅极电压Vg(参考图26(C)中的箭头P42；Vg22＜Vg21)。由此，例如，如由图26(C)中的操作点P41on和P41off指示的那样，可通过信号线φ1的电位V(φ1)任意地设置光电变换器PD41的开/关状态。此外，例如，如由图26(C)中的操作点P42on和P42off指示的那样，可通过信号线φ2的电位V(φ2)任意地设置光电变换器PD42的开/关状态。
在修改实例的光接收部件33D中，例如，如图27(A)到图27(F)和图28(A)到图28(C)所示，通过复位信号电压V(Reset)、读信号电压V(Read)、信号线φ1和φ2的电位V(φ1)和V(φ2)、复位电源Vrst等在图中的定时执行图像拾取操作。在这里，β10和β20分别指示在光电变换器PD41和PD42中从打开操作区域到关闭操作区域的过渡区(transition region)。
更具体地说，例如，如图29(A)所示，通过将光电变换器PD41和PD42分别带入打开状态和关闭状态，在图中通过电流路径I41在电容器C1中累积在光电变换器PD41中产生的充电电荷(根据作为反射光Lon和外部光L0的总和的总光量)。此外，例如，如图29(B)所示，通过将光电变换器PD41和PD42分别带入关闭状态和打开状态，在图中通过电流路径I42从电容器C1释放在光电变换器PD42中产生的放电电荷(根据外部光L0的光量)。另外，当光电变换器PD41和PD42处于关闭状态时流动的电流不为0，因此确切地说，通过在处于打开状态的光电变换器和处于关闭状态的光电变换器之间的电流差别执行充电或放电。
因此，也在修改实例中，通过上述图像拾取操作，不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。
此外，也在修改实例中，为防止漏电流的产生，如图27所示，优选地防止其中信号线φ1的电位V(φ1)处于H状态的时间段和其中信号线φ2的点位V(φ2)处于H状态的时间段彼此重叠(优选地设置非重叠时间段)。另外，在PIN二极管导通或断开的情况下，通过电流(through current)几乎不流动，因此可以不布置非重叠时间段，但是布置非重叠时间段不引起问题。
[修改实例4]
图30图解根据修改实例4的光接收部件(光接收部件33E)的电路配置。光接收部件(图像拾取像素)33E包括两个光电变换器PD51(第一光电变换器)和PD52(第二光电变换器)。更具体地说，在光电变换器PD51中，阴极连接到信号线φ1，阳极连接到光电变换器PD52的阴极和连接点P1，而栅极连接到电源VDD。此外，在光电变换器PD52中，阳极连接到信号线φ2，而栅极连接到地VSS。也就是说，在光接收部件33E中，与上述修改实例3的光接收部件33D不同，虽然光电变换器PD51和PD52的栅极电位由电源VDD或地VSS固定，但是光电变换器PD51的阴极电位和光电变换器PD52的阳极电位由信号线φ1和φ2控制。另外，任意其他电路配置与光接收部件33D的相同，将不另外描述。
在修改实例中，首先，如图30所示，光电变换器PD51中的栅极电位被固定到电源VDD，而光电变换器PD52中的栅极电位被固定到地VSS。此外，如图30和图31(A)到图31(C)所示，光电变换器PD51中的阴极电压Vn由信号线φ1改变。更具体地说，光电变换器PD51的阴极电压Vn由信号线φ1的电位V(φ1)在Vn1和Vn2之间交替地改变(参考图31(C)中的箭头P51；Vn2＜Vn1)。由此，例如，如图31(C)所示，在Vn＝Vn1的情况和在Vn＝Vn2的情况之间，打开操作区域α和关闭操作区域β1的电压范围彼此不同(参考打开操作区域α1和α2以及关闭操作区域β11和β21)。因此，当主动地使用光电转换效率的这种改变时，如在附图的操作点P51on和P51off所示，可通过信号线φ1的电位V(φ1)任意地设置光电变换器PD51的开/关状态。此外，如图30和图32(A)到图32(C)所示，光电变换器PD52中的阳极电压Vp由信号线φ2改变。更具体地说，光电变换器PD52的阳极电压Vp由信号线φ2的电位V(φ2)在Vp1和VP2之间交替地改变(参考图32(C)中的箭头P52；Vp2＜Vp1)。由此，例如，如图32(C)所示，在Vp＝Vp1的情况和Vp＝Vp2的情况之间，打开操作区域α和关闭操作区域β2的电压范围彼此不同(参考打开操作区域α1和α2以及关闭操作区域β12和β22)。因此，当主动地使用这种光电转换效率的改变时，如由图中的操作点P52on和P52off所示，可通过信号线φ2的电位V(φ2)任意地设置光电变换器PD52的开/关状态。
在修改实例的光接收部件33E中，例如，如图33(A)到图33(F)和图34(A)到图34(C)所示，通过复位信号电压V(Reset)、读信号电压V(Read)、信号线φ1和φ2的电位V(φ1)和V(φ2)、复位电源Vrst等在图中的定时执行图像拾取操作。在这里，β120和β210分别指示在光电变换器PD51和PD52中从打开操作区域到关闭操作区域的过渡区。
更具体地说，例如，如图35(A)所示，通过将光电变换器PD51和PD52分别带入打开状态和关闭状态，在图中通过电流路径I51在电容器C1中累积在光电变换器PD51中产生的充电电荷(根据作为反射光Lon和外部光L0的总和的总光量)。此外，例如，如图35(B)所示，通过将光电变换器PD51和PD52分别带入关闭状态和打开状态，在图中通过电流路径I52从电容器C1释放在光电变换器PD52中产生的放电电荷(根据外部光L0的光量)。另外，当光电变换器PD51和PD52处于关闭状态时流动的电流不是0，这样确切地说，通过在处于打开状态的光电变换器和处于关闭状态的光电变换器之间的电流差执行充电或放电。
因此，也在修改实例中，通过上述图像拾取操作，不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。
[修改实例5]
图36图解根据修改实例5的光接收部件(光接收部件33F)的电路配置。光接收部件(图像拾取像素)33F包括两个光电变换器PD61(第一光电变换器)和PD62(第二光电变换器)、五个晶体管Tr1、Tr2和Tr3以及Tr61(N沟道晶体管)和Tr62(P沟道晶体管)和四个电容器C61A、C61B、C62A和C62B。更具体地说，在光电变换器PD61中，阴极连接到信号线φ1和晶体管Tr61的源极，阳极连接到光电变换器PD62的阴极和连接点P1，而栅极连接到晶体管Tr61的漏极、电容器C61A的一端和电容器C61B的一端。此外，晶体管Tr61的栅极连接到电容器C61A的另一端和复位线Reset1(与如上所述的复位线Reset对应)。另一方面，在光电变换器PD62中，阳极连接到信号线φ2和晶体管Tr62的源极，并且栅极连接到晶体管Tr62的漏极和电容器C62A的一端以及电容器C62B的一端。此外，晶体管Tr62的栅极连接到电容器C61A的另一端和复位线Reset2的反相信号。另外，电容器C61B的另一端和电容器C62B的另一端连接到电源VDD。也就是说，在光接收部件33F中，与上述修改实例4的光接收部件33E不同，光电变换器PD61和PD62的栅极电位不固定，并且光电变换器PD61和PD62从预充电时间段之后到读出时间段(累积充电电荷的时间段和释放放电电荷的时间段)处于高阻抗状态。另外，任意其他电路配置与光接收部件33E的相同，并且将不另外描述。
在修改实例中，首先，如在图37(A)和图37(B)中示意地图解的那样，光电变换器PD61中的阴极电位Vn由信号线φ1改变。然后，通过允许配置有晶体管Tr61的开关元件SW61导通或断开，以通过在信号线φ1和栅电极之间的连接或断开而改变光电变换器PD61中的栅极电压Vg1。更具体地说，如图37和图38(A)和图38(B)所示，光电变换器PD61中的阴极电位Vn由信号线φ1的电位V(φ1)在Vn1和Vn2之间交替地改变(参考图38(A)中的箭头P611；Vn2＜Vn1)。此时，在通过将开关元件SW61带入导通状态而将光电变换器PD61的栅极电压Vg1复位到Vn1之后，开关元件SW61被带入断开状态。那么，然后，在阴极电位Vn是Vn＝Vn2的情况下，如在图38(B)中的C-V特性所示，光电变换器PD61的栅极电压Vg由于在栅极和阴极之间的耦合电容而减少，并且在耦合电容增加的操作点(Vg＝Vg12)停止。也就是说，光电变换器PD61中的栅极电压Vg1在Vg11和Vg12之间交替地改变(参考图38(A)中的箭头P612；Vg12＜Vg11)。因此，例如，如图38(A)所示，在Vn＝Vn1的情况和Vn＝Vn2的情况之间，打开操作区域α和关闭操作区域β1的电压范围彼此不同(参考打开操作区域α1和α2以及关闭操作区域β11和β21)。因此，当主动地使用这种光电转换效率的改变时，如在图38(A)和图38(B)中的操作点P61on和P61off图示的那样，可通过信号线φ1的电位V(φ1)和开关元件SW 61的操作任意地设置光电变换器PD61的开/关状态。
另一方面，也在修改实例中，如在图39(A)和图39(B)中示意地图解的那样，光电变换器PD62中的阳极电位Vp由信号线φ2改变。然后，通过允许配置有晶体管Tr62的开关元件SW62导通或断开，以通过在信号线φ2和栅电极之间的连接或断开而改变光电变换器PD62中的栅极电压Vg2。更具体地说，如图39和图40(A)和图40(B)所示，光电变换器PD62中的阳极电位Vp由信号线φ2的电位V(φ2)在Vp1和Vp2之间交替地改变(参考图40(A)中的箭头P621；Vp2＜Vp1)。此时，在通过将开关元件SW62带入导通状态而将光电变换器PD62的栅极电压Vg2复位到Vp2之后，开关元件SW62被带入断开状态。那么，然后，当阳极电位Vp是Vp＝Vp1时，如图40(B)中的C-V特性所示，光电变换器PD62的栅极电压Vg由于在栅极和阳极之间的耦合电容而减少，并且在耦合电容增加的操作点(Vg＝Vg21)停止。也就是说，光电变换器PD62中的栅极电压Vg1在Vg21和Vg22之间交替地改变(参考图40(A)中的箭头P622；Vg22＜Vg21)。因此，例如，如图40(A)所示，打开操作区域α和关闭操作区域β2的电压范围在Vp＝Vp1的情况和Vp＝Vp2的情况之间彼此不同(参考打开操作区域α1和α2以及关闭操作区域β21和β22)。因此，当主动地使用这种光电转换效率的改变时，如在图40(A)和图40(B)中的操作点P62on和P62off所示，可通过信号线φ2的电位V(φ2)和开关元件SW62的操作任意地设置光电变换器PD62的开/关状态。
在修改实例的光接收部件33F中，例如，如图41(A)到图41(G)和图42(A)到图42(C)所示，通过复位信号电压V(Reset1)和V(Reset2)、读信号电压V(Read)、信号线φ1和φ2的电位V(φ1)和V(φ2)、复位电源Vrst等，在图中的定时执行图像拾取操作。
更具体地说，例如，如图43(A)所示，通过将光电变换器PD61和PD62分别带入打开状态和关闭状态，在图中通过电流路径I61在电容器C1中累积在光电变换器PD61中产生的充电电荷(根据作为反射光Lon和外部光L0的总和的总光量)。此外，例如，如图43(B)所示，通过将光电变换器PD61和PD62分别带入关闭状态和打开状态，在图中通过电流路径I62从电容器C1释放在光电变换器PD62中产生的放电电荷(根据外部光L0的光量)。另外，当光电变换器PD61和PD62处于关闭状态时流动的电流不是0，这样确切地说，通过在处于打开状态的光电变换器和处于关闭状态的光电变换器之间的电流差别执行充电或放电。
因此，也在修改实例中，通过上述图像拾取操作，不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。
[修改实例6]
图44图解根据修改实例6的在显示区(显示区(传感器区域)21C)中的光接收部件(光接收部件33A1和33A2)的电路配置。在显示区21C中，图像拾取像素(光接收部件)包括图像拾取像素(光接收部件)33A1(其包括用于从反射光Lon和环境光L0阻挡光电变换器PD21和PD22的光阻挡部件341和342)，和不包括这种光阻挡部件的图像拾取像素(光接收部件)33A2。另外，除了光接收部件33A1和33A2中的光阻挡部件之外的任意电路配置与上述在修改实例1中描述的光接收部件33A的相同，并且将不另外描述。
另外，也在这些光接收部件(图像拾取像素)33A1和33A2中，在显示区(传感器区域)21C中，例如，如图45所示，彼此分开地布置图像拾取像素33A1和33A2以及用于驱动这些图像拾取像素33A1和33A2以拾取图像的配线部件32。
在修改实例中，基于在从图像拾取像素33A1获得的图像拾取信号(从读出线411读出的图像拾取信号)和从图像拾取像素33A2获得的图像拾取信号(从读出线412读出的图像拾取信号)之间的差别信号获得对象信息。
因此，也在修改实例中，通过与在上述实施例的情况下相同的图像拾取操作执行相同的指尖提取处理。由此，也在修改实例中，不管使用条件如何，都可以稳定地检测对象，同时减少制造成本。
此外，图像拾取像素(光接收部件)包括图像拾取像素(光接收部件)33A1(其包括光阻挡部件341和342)和不包括这种光阻挡部件的图像拾取像素(光接收部件)33A2，并且基于在从图像拾取像素33A1获得的图像拾取信号和从图像拾取像素33A2获得的图像拾取信号之间的差别信号获得对象信息，所以允许除去在I/O显示面板20中产生的电压梯度(voltage gradient)等、在显示系统的驱动中产生的噪音分量等的影响，并允许信噪比的改善。
另外，在修改实例中，描述了两个种光接收部件33A1和33A2中的每一个都基于根据修改实例1的光接收部件33A的电路配置的情况，但是这两种光接收部件可以基于根据上述实施例的光接收部件33和根据修改实例2到5的光接收部件33B到33F的任意一个的电路配置。
(应用程序的执行实例)
接下来，参考图46到图49，以下将描述通过使用通过上述指尖提取处理检测的对象位置信息等的应用程序执行部件11的应用程序的某些执行实例。
首先，图46(A)所示的实例是这样的实例：其中当指尖61接触I/O显示面板20的表面时，在屏幕上显示指尖61接触的点的痕迹作为图中的线611。
此外，图46(B)所示的实例是使用手的形状的手势识别。更具体地说，识别接触I/O显示面板20(或在I/O显示面板20邻近)的手62的形状，显示所识别的手的形状作为图像，并且通过所显示的对象的移动621关于图像执行某些处理。
另外，图47所示的实例在于：通过从关闭状态的手63A改变为打开状态的手63B，在两种状态下接触或靠近的手由I/O显示面板20以图像识别(image-recongnized)，以基于这些图像识别执行处理。当基于这些识别执行处理时，例如，执行诸如放大的指令。此外，例如，当执行这种指令时，I/O显示面板20连接到个人计算机，并且以更自然的方式通过这些图像识别输入关于计算机等的切换命令的操作。
此外，例如，如图48所示，当准备了多个I/O显示面板20，并且多个I/O显示面板20通过某些传输装置彼此连接时，操作I/O显示面板20的用户可以通过将通过检测接触或靠近一个I/O显示面板20的对象获得的图像发送到另一I/O显示面板20并显示在该另一I/O显示面板20上来彼此通信。也就是说，如图48所示，准备了两个I/O显示面板20，由此允许执行诸如将在一个面板中已经图像识别的手65的形状发送到另一面板，以便在另一面板上显示手的形状642的处理，或将通过由手64接触一个面板而显示的轨迹641发送到另一面板并显示在在另一面板上的处理。因此，发送绘图状态作为移动图像、并且将手写字符、符号等发送到其他I/O显示面板20的I/O显示面板20可以是潜在的新的通信工具。作为这种实例，例如，期望将I/O显示面板20应用于蜂窝电话等的显示面板。
此外，例如，如图49所示，使用毛笔66，并且毛笔66接触I/O显示面板20的表面从而绘制字符，并且将毛笔66接触的点作为图像661显示在I/O显示面板20上，由此允许通过毛笔的手写输入。在该情况下，允许识别和显示毛笔的精细接触。在现有技术中的手写识别中，例如，在某些数字转换器(digitizers)中，通过检测电场反映特定笔的倾斜；但是，在实例中，检测真实毛笔接触的表面，由此以更真实的感觉执行信息输入。
(模块和应用实例)
接下来，将参考图50到图54描述在上述实施例和修改实例中描述的显示与图像拾取器件的应用实例。上述实施例等的显示与图像拾取器件可应用于在任意领域中的显示从外面输入的画面信号或在内部产生的画面信号作为图像或画面的电子设备，诸如电视、数字照相机、笔记本个人计算机、诸如蜂窝电话的便携式终端元件和摄像机。
(应用实例1)
图50图解应用了上述实施例等的显示与图像拾取器件的电视的外观。电视具有，例如，包括前面板511和滤光玻璃512的画面显示屏部件510，并且画面显示屏部件510配置有根据上述实施例等的显示与图像拾取器件。
(应用实例2)
图51图解应用了上述实施例等的显示与图像拾取器件的数字照相机的外观。数字照相机具有，例如，用于闪光的发光部件521、显示部件522、菜单开关523、和快门按钮524，并且显示部件522配置有根据本实施例等的显示与图像拾取器件。
(应用实例3)
图52图解应用了上述实施例等的显示与图像拾取器件的笔记本个人计算机的外观。笔记本个人计算机具有，例如，主体531、用于输入字符等的操作的键盘532和用于显示图像的显示部件533，并且显示部件533配置有根据上述实施例等的显示与图像拾取器件。
(应用实例4)
图53图解应用了上述实施例等的显示与图像拾取器件的摄像机的外观。摄像机具有，例如，主体541、用于拍摄布置在主体541的前表面上的对象的透镜542、拍摄开始/停止开关543和显示部件544，并且显示部件544配置有根据上述实施例等的显示与图像拾取器件。
(应用实例5)
图54图解应用了上述实施例等的显示与图像拾取器件的蜂窝电话的外观。通过经由连接部件(铰链部件)730彼此连接(例如)上侧外壳710和下侧外壳720来形成蜂窝电话，并且蜂窝电话具有显示器740、副显示器750、画面灯760和照相机770。显示器740或副显示器750配置有根据上述实施例等的显示与图像拾取器件。
虽然参考实施例描述了本发明，但是本发明不限于此，并且可以进行各种修改。
例如，在上述实施例等中，描述了配置有包括背光15的液晶面板的I/O显示面板的情况；但是，用于显示的背光还可以用作用于检测的发光器件、或可以仅布置用于检测的发光器件。此外，在布置用于检测的发光器件的情况下，更优选地使用除了可见光区域之外的波长范围中的光(例如，红外光)。
此外，在上述实施例等中，例如，如图7所示，描述这样的情况：在背光15的一个打开时间段或一个关闭时间段中、在一行上、在光接收部件(图像拾取像素)上执行复位操作或读出操作(其中执行高频背光的闪烁(blinking)操作的情况)；但是，本发明不限于该情况。也就是说，例如，可以在背光15的一个打开时间段或一个关闭时间段中、在多行上、在光接收部件(图像拾取像素)上执行复位操作或读出操作(可以执行低频背光的闪烁操作)。
另外，在上述实施例等中，描述这样的情况：其中在I/O显示面板20中，显示元件是液晶元件，并且分开地布置光接收元件；但是，例如，像有机EL(场致发光)元件那样的、能够以时分方式执行光发射操作和光接收操作的光发射/接收元件(显示与图像拾取元件)可以构成I/O显示面板。另外，在该情况下不发射显示光的时间段是不执行显示与图像拾取元件的发光操作的时间段。
此外，在上述实施例等中，描述包括显示与图像拾取面板(I/O显示面板20)(其包括多个显示元件和多个图像传感器)的显示与图像拾取器件；但是，本发明可应用于包括图像拾取面板(其包括多个图像传感器而不包括显示元件)的图像拾取器件。

Claims (26)

1.一种图像拾取器件，包括：
图像拾取面板，包括多个图像拾取像素，并且具有用于邻近对象的照明光源；
图像拾取驱动装置，用于通过关于每一所述图像拾取像素执行图像拾取驱动来从每一所述图像拾取像素获得图像拾取信号；和
图像处理装置，用于通过利用基于从每一所述图像拾取像素获得的所述图像拾取信号的拾取图像，获得包括所述邻近对象的位置、形状和尺寸中的一个或多个的对象信息，
其中，所述图像拾取驱动装置执行图像拾取驱动，以便当从所述照明光源发射照明光时，根据作为来源于所述照明光的反射光和环境光的总和的总光量而在每一所述图像拾取像素中累积充电电荷，而当未从所述照明光源发射所述照明光时，根据所述环境光的光量从每一所述图像拾取像素释放放电电荷，由此从每一所述图像拾取像素获得所述图像拾取信号。
2.如权利要求1所述的图像拾取器件，其中
每一所述图像拾取像素包括：
光电变换器，根据所接收的光的光量产生电荷，
电容器，
充电电路，允许在所述电容器中累积所述充电电荷，和
放电电路，允许从所述电容器释放所述放电电荷，和
所述图像拾取驱动装置关于所述充电电路和所述放电电路执行所述图像拾取驱动，由此从每一所述图像拾取像素获得图像拾取信号。
3.如权利要求2所述的图像拾取器件，其中
所述光电变换器产生所述充电电荷和所述放电电荷两者，
所述充电电路包括用于充电的开关元件，并且所述放电电路包括用于放电的开关元件，和
所述图像拾取驱动装置关于所述用于充电的开关元件和所述用于放电的开关元件执行所述图像拾取驱动，以便通过所述用于充电的开关元件在所述电容器中累积在所述光电变换器中产生的所述充电电荷，并且通过所述用于放电的开关元件从所述电容器释放在所述光电变换器中产生的所述放电电荷。
4.如权利要求3所述的图像拾取器件，其中
所述图像拾取驱动装置执行图像拾取驱动，以便所述用于充电的开关元件的导通状态时间段和所述用于放电的开关元件的导通状态时间段不彼此重叠。
5.如权利要求2所述的图像拾取器件，其中
所述光电变换器配置有产生所述充电电荷的第一光电变换器和产生所述放电电荷的第二光电变换器，
所述充电电路包括用于充电的开关元件，并且所述放电电路包括用于放电的开关元件，和
所述图像拾取驱动装置关于所述用于充电的开关元件和所述用于放电的开关元件执行所述图像拾取驱动，以便通过所述用于充电的开关元件在电容元件中累积在所述第一光电变换器中产生的所述充电电荷，并且通过所述用于放电的开关元件从所述电容器释放在所述第二光电变换器中产生的所述放电电荷。
6.如权利要求5所述的图像拾取器件，其中
所述图像拾取驱动装置关于所述用于充电的开关元件和所述用于放电的开关元件执行所述图像拾取驱动，以便所述电容器的一端在累积所述充电电荷的时间段和释放所述放电电荷的时间段之间交替地切换以连接到电源和地。
7.如权利要求6所述的图像拾取器件，其中
所述图像拾取驱动装置执行所述图像拾取驱动，以便所述用于充电的开关元件的导通状态时间段和所述用于放电的开关元件的导通状态时间段不彼此重叠。
8.如权利要求2所述的图像拾取器件，其中
所述光电变换器配置有产生所述充电电荷的第一光电变换器和产生所述放电电荷的第二光电变换器，
第一和第二光电变换器中的每一个配置有包括阳极电极、阴极电极和栅极电极的PIN光电二极管，并且
所述图像拾取驱动装置执行：
通过分开地改变在所述第一光电变换器中的所述阴极电极和所述栅极电极之间的电位关系和在所述第二光电变换器中的所述阳极电极和所述栅极电极之间的电位关系来将所述第一和第二光电变换器中的每一个设置为打开状态或关闭状态，和
驱动所述第一和第二光电变换器以进行图像拾取，以便通过分别将所述第一光电变换器和所述第二光电变换器带入打开状态和关闭状态来在所述电容器中累积在所述第一光电变换器中产生的所述充电电荷，并且使得通过分别将所述第一光电变换器和所述第二光电变换器带入关闭状态和打开状态来从所述电容器释放在所述第二光电变换器中产生的所述放电电荷。
9.如权利要求8所述的图像拾取器件，其中
所述图像拾取驱动装置分开地固定在所述第一光电变换器中的所述阴极电极的电位和在所述第二光电变换器中的所述阳极电极的电位，并通过分开地改变在所述第一和第二光电变换器中的所述栅极电极的电位而将所述第一和第二光电变换器分开地设置到打开状态或关闭状态。
10.如权利要求8所述的图像拾取器件，其中
所述图像拾取驱动装置通过分开地改变在所述第一光电变换器中的所述阴极电极的电位和在所述第二光电变换器中的所述阳极电极的电位，来将所述第一和第二光电变换器分开地设置为打开状态或关闭状态。
11.如权利要求10所述的图像拾取器件，其中
所述图像拾取驱动装置分别分开地固定所述第一和第二光电变换器中所述栅极电极的电位。
12.如权利要求10所述的图像拾取器件，其中
所述图像拾取驱动装置在累积所述充电电荷的时间段和释放所述放电电荷的时间段两者中，将在所述第一和第二光电变换器中所述栅极电极的电位分开地设置为高阻抗状态。
13.如权利要求1所述的图像拾取器件，其中
所述图像拾取像素包括第一图像拾取像素和第二图像拾取像素，所述第一图像拾取像素包括阻挡所述反射光和所述环境光两者的光阻挡部件，而所述第二图像拾取像素不包括所述光阻挡部件，和
所述图像处理装置基于在从所述第一图像拾取像素获得的图像拾取信号和从所述第二图像拾取像素获得的图像拾取信号之间的差别信号获得所述对象信息。
14.如权利要求1所述的图像拾取器件，其中
所述图像处理装置基于在累积所述充电电荷的操作和释放所述放电电荷的操作之间的多次切换之后获得的图像拾取信号来获得所述对象信息。
15.如权利要求1所述的图像拾取器件，其中
初始化电压，允许释放在每一所述图像拾取像素中累积的全部电荷，所述初始化电压是在电源电压和地电压之间的任意电压。
16.如权利要求1所述的图像拾取器件，其中
在所述图像拾取面板中以矩阵形式布置在所述图像拾取面板中的所述图像拾取像素，和
所述图像拾取驱动装置以行顺序方式关于所述图像拾取像素执行所述图像拾取驱动。
17.如权利要求1所述的图像拾取器件，其中
在所述图像拾取面板中，彼此分开地布置所述图像拾取像素和用于驱动所述图像拾取像素以进行图像拾取的配线。
18.如权利要求1所述的图像拾取器件，其中
所述图像拾取驱动装置执行图像拾取驱动，以便当邻近对象在所述图像拾取面板上移动时，累积所述充电电荷和释放所述放电电荷，由此所述图像拾取驱动装置从每一所述图像拾取像素获得图像拾取信号。
19.如权利要求1所述的图像拾取器件，其中
所述图像处理装置一次性获得关于位于所述图像拾取面板上的多个邻近对象的对象信息。
20.一种显示与图像拾取器件，包括：
显示与图像拾取面板，包括多个显示像素和多个图像拾取像素；
显示驱动装置，用于通过关于每一所述显示像素执行显示驱动来显示图像；
图像拾取驱动装置，用于通过关于每一所述图像拾取像素执行图像拾取驱动来从每一所述图像拾取像素获得图像拾取信号；和
图像处理装置，用于利用基于从每一所述图像拾取像素获得的所述图像拾取信号的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息，
其中，所述图像拾取驱动装置执行图像拾取驱动，以便当从显示与图像拾取面板向邻近对象发射照明光时，根据作为来源于所述照明光的反射光和环境光的总和的总光量而在每一所述图像拾取像素中累积充电电荷，并且当未从所述显示与图像拾取面板发射所述照明光时，根据环境光的光量从每一所述图像拾取像素释放放电电荷，由此从每一所述图像拾取像素获得所述图像拾取信号。
21.如权利要求20所述的显示与图像拾取器件，其中
累积所述充电电荷的操作和释放所述放电电荷的操作中的每一个都与在所述显示驱动期间的水平时间段同步。
22.如权利要求21所述的显示与图像拾取器件，其中
所述图像处理装置基于在累积所述充电电荷的操作和释放所述放电电荷的操作之间的多次切换之后获得的图像拾取信号来获得所述对象信息。
23.如权利要求20所述的显示与图像拾取器件，其中
所述显示驱动装置基于由所述图像处理装置获得的对象信息执行显示驱动，由此在所述显示与图像拾取面板上显示所述对象信息。
24.如权利要求20所述的显示与图像拾取器件，其中
所述显示像素和所述图像拾取像素被配置以包括多个显示与图像拾取元件，允许每个显示与图像拾取元件以时分方式执行光发射操作和光接收操作。
25.一种包括具有图像显示功能和图像拾取功能的显示与图像拾取器件的电子设备，所述显示与图像拾取器件包括：
显示与图像拾取面板，包括多个显示像素和多个图像拾取像素；
显示驱动装置，用于通过关于每一所述显示像素执行显示驱动来显示图像；
图像拾取驱动装置，用于通过关于每一所述图像拾取像素执行图像拾取驱动来从每一所述图像拾取像素获得图像拾取信号；和
图像处理装置，用于通过利用基于从每一所述图像拾取像素获得的所述图像拾取信号的拾取图像，获得包括邻近对象的位置、形状和尺寸中的一个或多个的对象信息，
其中，所述图像拾取驱动装置执行图像拾取驱动，以便当从所述显示与图像拾取面板向所述邻近对象发射照明光时，根据作为来源于所述照明光的反射光和环境光的总和的总光量而在每一所述图像拾取像素中累积充电电荷，并且当未从所述显示与图像拾取面板发射所述照明光时，根据环境光的光量从每一所述图像拾取像素释放放电电荷，由此从每一所述图像拾取像素获得所述图像拾取信号。
26.一种检测对象的方法，包括步骤：
关于多个图像拾取像素中的每一个执行图像拾取驱动，以便当包括所述多个图像拾取像素的图像拾取面板向邻近对象发射照明光时，根据作为来源于所述照明光的反射光和环境光的总和的总光量而在每一所述图像拾取像素中累积充电电荷，而当未发射所述照明光时，根据环境光的光量从每一所述图像拾取像素释放放电电荷，由此从每一所述图像拾取像素获得图像拾取信号；和
利用基于从每一所述图像拾取像素获得的所述图像拾取信号的拾取图像，获得包括所述邻近对象的位置、形状和尺寸中的一个或多个的对象信息。
CN2009800004743A 2008-03-24 2009-03-18 成像设备、显示与成像设备、检测对象的电子设备和方法 Expired - Fee Related CN101689083B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008076281 2008-03-24
JP076281/2008 2008-03-24
PCT/JP2009/055328 WO2009119417A1 (ja) 2008-03-24 2009-03-18 撮像装置、表示撮像装置、電子機器および物体の検出方法

Publications (2)

Publication Number Publication Date
CN101689083A CN101689083A (zh) 2010-03-31
CN101689083B true CN101689083B (zh) 2013-01-02

Family

ID=41113614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009800004743A Expired - Fee Related CN101689083B (zh) 2008-03-24 2009-03-18 成像设备、显示与成像设备、检测对象的电子设备和方法

Country Status (7)

Country Link
US (2) US9063613B2 (zh)
EP (1) EP2151740B1 (zh)
JP (1) JP5291090B2 (zh)
KR (1) KR101547703B1 (zh)
CN (1) CN101689083B (zh)
TW (1) TWI423086B (zh)
WO (1) WO2009119417A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101547703B1 (ko) * 2008-03-24 2015-08-26 가부시키가이샤 재팬 디스프레이 촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법
KR101319346B1 (ko) * 2009-09-15 2013-10-16 엘지디스플레이 주식회사 광센싱 방식의 터치 패널 내장형 액정 표시 장치 및 이의 구동 방법
US9335854B2 (en) 2009-09-30 2016-05-10 Sharp Kabushiki Kaisha Display device
RU2501067C1 (ru) * 2009-09-30 2013-12-10 Шарп Кабусики Кайся Дисплейное устройство
JP5510998B2 (ja) 2009-11-13 2014-06-04 株式会社ジャパンディスプレイ センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
JP5464583B2 (ja) * 2009-11-27 2014-04-09 株式会社ジャパンディスプレイ センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
JP5721994B2 (ja) * 2009-11-27 2015-05-20 株式会社ジャパンディスプレイ 放射線撮像装置
WO2011111549A1 (en) 2010-03-08 2011-09-15 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and manufacturing method thereof
US9064460B2 (en) * 2010-05-20 2015-06-23 Sharp Kabushiki Kaisha Display device with touch sensor including photosensor
JP5749975B2 (ja) * 2010-05-28 2015-07-15 株式会社半導体エネルギー研究所 光検出装置、及び、タッチパネル
JP5516145B2 (ja) * 2010-06-30 2014-06-11 セイコーエプソン株式会社 光学式検出装置、表示装置及び電子機器
US8605059B2 (en) * 2010-07-02 2013-12-10 Semiconductor Energy Laboratory Co., Ltd. Input/output device and driving method thereof
WO2012014864A1 (ja) * 2010-07-27 2012-02-02 シャープ株式会社 表示装置
US20130113768A1 (en) * 2010-07-27 2013-05-09 Sharp Kabushiki Kaisha Display device and drive method for same
TWI416387B (zh) 2010-08-24 2013-11-21 Au Optronics Corp 觸控面板
US20150022754A1 (en) * 2013-07-19 2015-01-22 Google Inc. Configurations for tileable display apparatus with multiple pixel arrays
JP6247530B2 (ja) * 2013-12-27 2017-12-13 キヤノン株式会社 撮像装置
US10990148B2 (en) * 2015-01-05 2021-04-27 Synaptics Incorporated Central receiver for performing capacitive sensing
TWI660165B (zh) * 2018-05-14 2019-05-21 和碩聯合科技股份有限公司 檢測系統及檢測方法
CN114187870B (zh) * 2020-09-14 2023-05-09 京东方科技集团股份有限公司 光电检测电路及其驱动方法、显示装置及其制作方法
TWI753634B (zh) * 2020-10-30 2022-01-21 胡厚飛 毛筆分類之測定方法
CN112530375B (zh) * 2020-12-02 2022-01-11 福州京东方光电科技有限公司 一种显示装置的驱动方法、显示装置及存储介质
JP2022190312A (ja) * 2021-06-14 2022-12-26 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
CN115394244B (zh) * 2022-10-28 2023-01-24 惠科股份有限公司 显示驱动电路、显示驱动方法和显示装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1473428A (zh) * 2001-08-20 2004-02-04 ���ṫ˾ 静态图像拾取装置及其拾取方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275579B2 (ja) * 1994-10-24 2002-04-15 日産自動車株式会社 イメージセンサ
JP3521187B2 (ja) 1996-10-18 2004-04-19 株式会社東芝 固体撮像装置
JP3471201B2 (ja) * 1997-09-05 2003-12-02 株式会社東芝 撮像モジュール、および撮像装置
US6798446B2 (en) * 2001-07-09 2004-09-28 Logitech Europe S.A. Method and system for custom closed-loop calibration of a digital camera
US7053967B2 (en) 2002-05-23 2006-05-30 Planar Systems, Inc. Light sensitive display
JP4200435B2 (ja) * 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7233354B2 (en) * 2002-10-11 2007-06-19 Hewlett-Packard Development Company, L.P. Digital camera that adjusts resolution for low light conditions
JP4323772B2 (ja) * 2002-10-31 2009-09-02 キヤノン株式会社 固体撮像装置、カメラ及びカメラ制御システム
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP2005303081A (ja) * 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd 光センサーおよび固体撮像装置
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
JP4072732B2 (ja) * 2004-10-29 2008-04-09 ソニー株式会社 入出力装置および方法、記録媒体、並びにプログラム
JP2006276223A (ja) * 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
JP2007011228A (ja) 2005-07-04 2007-01-18 Toshiba Matsushita Display Technology Co Ltd 平面表示装置
JP4618026B2 (ja) * 2005-07-12 2011-01-26 ソニー株式会社 表示装置及び表示および受光を行う表示装置を用いた検出方法
JP4810936B2 (ja) * 2005-09-01 2011-11-09 ソニー株式会社 表示装置及び表示方法
TW200720829A (en) * 2005-11-25 2007-06-01 Altek Corp Photographic apparatus of sensible environment parameters
JP2007206192A (ja) 2006-01-31 2007-08-16 Toshiba Matsushita Display Technology Co Ltd 表示装置
TWI280409B (en) * 2006-04-14 2007-05-01 Asustek Comp Inc Reflective photo device, an electronic apparatus with a built-in camera using the device for providing colorimeter and ambient light sensor functions and its method
US8610670B2 (en) * 2006-08-31 2013-12-17 Japan Display West Inc. Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
US8674949B2 (en) * 2007-02-20 2014-03-18 Japan Displays Inc. Liquid crystal display apparatus
KR101547703B1 (ko) * 2008-03-24 2015-08-26 가부시키가이샤 재팬 디스프레이 촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법
WO2012014864A1 (ja) * 2010-07-27 2012-02-02 シャープ株式会社 表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1473428A (zh) * 2001-08-20 2004-02-04 ���ṫ˾ 静态图像拾取装置及其拾取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2007-11228A 2007.01.18
JP特开2007-65508A 2007.03.15

Also Published As

Publication number Publication date
TWI423086B (zh) 2014-01-11
CN101689083A (zh) 2010-03-31
JPWO2009119417A1 (ja) 2011-07-21
KR101547703B1 (ko) 2015-08-26
US20150301689A1 (en) 2015-10-22
JP5291090B2 (ja) 2013-09-18
TW201007527A (en) 2010-02-16
US9063613B2 (en) 2015-06-23
EP2151740A4 (en) 2015-05-06
WO2009119417A1 (ja) 2009-10-01
US9405406B2 (en) 2016-08-02
KR20110001853A (ko) 2011-01-06
EP2151740B1 (en) 2017-05-10
US20100128004A1 (en) 2010-05-27
EP2151740A1 (en) 2010-02-10

Similar Documents

Publication Publication Date Title
CN101689083B (zh) 成像设备、显示与成像设备、检测对象的电子设备和方法
US10909916B2 (en) OLED array substrate, OLED display panel, pixel circuit, driving method and method for fingerprint recognition using OLED display panel
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
CN101995995B (zh) 触摸传感器的方法和设备
TWI275057B (en) Photo detection circuit, method of controlling the same, electro-optical panel, electro-optical device, and electronic apparatus
CN101903853B (zh) 图像拾取装置、显示及图像拾取装置和电子装置
CN103413521B (zh) 有机发光二极管像素电路及其驱动方法、显示装置
TWI439904B (zh) 感測器裝置、驅動感測器元件之方法、具有輸入功能之顯示裝置及電子單元
US20110063243A1 (en) Photo-sensing type touch panel embedded liquid crystal display device and method for driving the same
CN101533323A (zh) 显示装置与位置检测方法
CN104217679A (zh) 像素电路及其驱动方法、显示装置
TWI437472B (zh) 感測器裝置，驅動感測器元件之方法，具有輸入功能之顯示裝置及電子單元
CN103413524A (zh) 有机发光二极管像素电路及其驱动方法、显示装置
CN101583990A (zh) 显示装置、显示控制方法以及电子设备
CN203520345U (zh) 有机发光二极管像素电路和显示装置
US20240160318A1 (en) Touch Display Device and Touch Sensing Method
CN115410503A (zh) 显示面板和显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: JAPAN DISPLAY WEST INC.

Free format text: FORMER OWNER: SONY CORPORATION

Effective date: 20121114

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20121114

Address after: Aichi Prefecture, Japan

Applicant after: Japan display West Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Sony Corp.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130102

CF01 Termination of patent right due to non-payment of annual fee