CN101510134A - 显示装置和摄像装置 - Google Patents

显示装置和摄像装置 Download PDF

Info

Publication number
CN101510134A
CN101510134A CNA2009100053417A CN200910005341A CN101510134A CN 101510134 A CN101510134 A CN 101510134A CN A2009100053417 A CNA2009100053417 A CN A2009100053417A CN 200910005341 A CN200910005341 A CN 200910005341A CN 101510134 A CN101510134 A CN 101510134A
Authority
CN
China
Prior art keywords
image
pixel
detect
light
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009100053417A
Other languages
English (en)
Other versions
CN101510134B (zh
Inventor
津崎亮一
原田勉
山口和范
建内满
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Display West Inc
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101510134A publication Critical patent/CN101510134A/zh
Application granted granted Critical
Publication of CN101510134B publication Critical patent/CN101510134B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开一种显示装置和摄像装置。高通滤波器从捕获的图像消除不被检测的对象的图像，由此获得高通滤波图像。二值化单元对高通滤波图像进行二值化处理，由此产生二值化图像。尖峰检测器利用二值化图像作为掩膜从捕获的图像提取与掩膜的开口对应的区域的图像。从该图像检测峰值和尖峰像素的位置。判定单元根据差和阈值之间的关系判定要检测的对象是否接触显示表面。位置导出单元利用判定单元的判定结果和检测结果导出接触显示表面的要检测的对象在显示表面上的位置。

Description

显示装置和摄像装置
相关申请的交叉引用
本发明涉及2008年2月14日在日本专利局提交的日本专利申请JP2008-033261的主题，其全部内容在此通过引用并入。
技术领域
本发明涉及一种显示装置和摄像装置，具有检测例如手指或者笔的要检测的对象的接触位置的功能。
背景技术
目前，已有用于检测例如手指或者笔的要检测的对象与显示装置的显示表面接触的位置的技术。其中，典型的和普遍使用的技术是具有触摸面板的显示装置。存在多种类型的触摸面板，其中普遍使用的一种是电阻型。在这种类型中，面板表面具有叠层(stack)结构，其中很小的间隔片夹在彼此相对的玻璃和薄膜之间，并且在玻璃和薄膜的每一个相对的表面设置透明电极格栅。当用手指或者笔接触薄膜的表面时，薄膜发生形变，薄膜表面上的透明电极和玻璃表面上的透明电极彼此接触，因此电流流通。通过测量玻璃表面和薄膜表面上的透明电极的电阻的分压比检测手指或者笔的位置。因此，使用这种触摸面板，用户能够直观地操作。
然而，在这种类型的触摸面板中，必须通过手指或者笔用力按压面板以检测位置信息。因此，存在一些缺陷，例如如果按压力较弱则不能正确地检测位置信息。
为了解决以上缺陷，最近提出了不需要在显示表面上设置这种触摸面板就能够检测要检测的对象的位置的各种技术。例如，日本未审专利公开No.2004-318819(专利文件1)提出了一种液晶显示器，其中光接收元件布置得与显示像素相邻，在显示(光发射)停止的时段内，光接收元件进行光接收。当使用这种显示装置时，可以根据捕获的图像检测要检测的对象的位置。因此，可以用简单的配置检测要检测的对象的位置，而不需在显示表面上设置例如触摸面板的部件。
发明内容
然而，当在这种显示装置中捕获要检测的视频图像等时，接收的光的强度受到周围环境(亮度)的影响。具体地，在例如便携式电子装置的周围环境容易改变的显示装置具有检测要检测的对象的位置的功能的情况下，在环境很暗的状态下的光接收条件和在环境很亮的状态下的光接收条件大不相同。很难以统一的光接收条件检测要检测的对象的位置。
例如，专利文件1提出一种方法，检测当要检测的对象接近或者接触液晶显示器的显示表面时捕获的数据的黑和白随时间的变化，并考虑周围亮度确定要检测的对象的位置。专利文件1还提出其它方法。在使得例如笔的具有精细尖端的对象接近或者接触显示表面的情况下，考虑到捕获的数据的黑和白随时间变化不大，因此笔的尖端是用软材料制成。当笔接触显示表面时，笔的尖端发生形变并且接触面积改变。
然而，在专利文件1的方法中，在通过用例如笔的具有精细尖端的对象触碰显示表面来写入字符或者图片时，必须使用上述特殊的笔，因此其缺点是破坏了简单性。
因此希望提供一种显示装置，使得用户能够通过用例如笔的具有精细尖端的对象触碰显示表面写入字符或者图片而不破坏简单性。
根据本发明的实施例，提供了作为本发明的实施例的第一显示装置，所述显示装置是一种用于同时或者交替地进行图像显示和光接收的显示装置，并且包括面板单元，所述面板单元具有发光以在显示表面上显示图像的多个光发射小室以及用于接收从显示表面侧进入的光的多个光接收小室。所述显示装置还包括：尖峰检测器，从所述多个光接收小室捕获的图像的像素数据或者从通过对所述捕获的图像进行预定处理获得的图像的像素数据检测峰值，以及检测具有所述峰值的尖峰像素的位置；判定单元，当所述尖峰像素的像素数据和尖峰像素的周围像素的像素数据之间的差或者通过尖峰像素的像素数据除以所述差获得的值大于第一阈值时判定要检测的对象接触所述显示表面，而当所述差等于或者小于第一阈值时判定要检测的对象未接触显示表面；以及位置导出单元，利用判定单元的结果(检测结果和判定结果)导出接触显示表面的要检测的对象在显示表面上的位置。
根据本发明的实施例，提供了作为本发明的实施例的第一摄像装置，包括第一面板单元，具有用于接收从接触表面侧进入的光的多个光接收小室。所述摄像装置还包括：尖峰检测器，从所述多个光接收小室捕获的图像的像素数据或者从通过对所述捕获的图像进行预定处理获得的图像的像素数据检测峰值，以及检测具有所述峰值的尖峰像素的位置；判定单元，当所述尖峰像素的像素数据和尖峰像素的周围像素的像素数据之间的差或者通过尖峰像素的像素数据除以所述差获得的值大于第一阈值时判定要检测的对象接触所述接触表面，而当所述差等于或者小于第一阈值时判定要检测的对象未接触所述接触表面；以及位置导出单元，利用判定单元的结果(检测结果和判定结果)导出接触所述接触表面的要检测的对象在接触表面上的位置。
在本发明的实施例的第一显示装置和第一摄像装置中，在判定单元，当尖峰像素的像素数据和所述尖峰像素的周围像素的像素数据之间的差或者通过尖峰像素的像素数据除以所述差获得的值大于第一阈值时判定要检测的对象接触所述显示表面(接触表面)。当所述差等于或者小于第一阈值时，判定要检测的对象未接触显示表面(接触表面)。所述差的幅度与尖峰像素和周围像素之间的像素数据的倾斜(尖峰周围倾斜)的幅度成正比。尖峰周围倾斜的幅度与接触显示表面(接触表面)的要检测的图像(当要检测的对象接触显示表面(接触表面)时获得的捕获的图像中出现的要检测的对象的图像)的大小成反比。结果，当接触显示表面(接触表面)的要检测的对象的图像很大时，所述差很小。当接触显示表面(接触表面)的要检测的对象的图像很小时，所述差很大。因此，通过根据期望是要检测的对象的图像的大小适当地设定第一阈值，能够从所述差和第一阈值之间的关系或者通过尖峰像素的像素数据除以所述差获得的值和第一阈值之间的关系判定要检测的对象是否接触显示表面(接触表面)。
根据本发明的实施例，提供了作为本发明的实施例的第二显示装置，所述显示装置是一种用于同时或者交替地进行图像显示和光接收的显示装置，并且包括面板单元，所述面板单元具有用于发光以在显示表面上显示图像的多个光发射小室以及用于接收从显示表面侧进入的光的多个光接收小室。所述多个光接收小室被布置得使每个期望是要检测的对象的图像的大小中所包括的小室的数量至少是4。所述显示装置还包括：尖峰检测器，从所述多个光接收小室捕获的图像的像素数据或者从通过对所述捕获的图像进行预定处理获得的图像的像素数据检测峰值，以及检测具有所述峰值的尖峰像素的位置；判定单元，当包括尖峰像素和尖峰像素的周围像素的像素区域中像素数据值超出第一阈值的像素的数量(超出数量)等于或者大于期望是每个要检测的对象的图像的大小中包括的光接收小室的(期望)数量时判定要检测的对象接触显示表面，而当像素数据值超出第一阈值的像素的数量小于每个期望是要检测的对象的图像的大小中包括的光接收小室的数量时判定要检测的对象未接触显示表面；以及位置导出单元，利用判定单元的结果(检测结果和判定结果)导出接触显示表面的要检测的对象在显示表面上的位置。
根据本发明的实施例，提供了作为本发明的实施例的第二摄像装置，包括第一面板单元，第一面板单元具有用于接收从接触表面侧进入的光的多个光接收小室。所述多个光接收小室被布置得使每个期望是要检测的对象的图像的大小中所包括的小室的数量至少是4。所述摄像装置还包括：尖峰检测器，从所述多个光接收小室捕获的图像的像素数据或者从通过对所述捕获的图像进行预定处理获得的图像的像素数据检测峰值，以及检测具有所述峰值的尖峰像素的位置；判定单元，当包括尖峰像素和尖峰像素的周围像素的像素区域中像素数据值超出第一阈值的像素的数量等于或者大于每个期望是要检测的图像的大小中包括的光接收小室的(期望)数量时判定要检测的对象接触所述接触表面，而在像素数据值超出第一阈值的像素的数量(超出数量)小于每个期望是要检测的图像的大小中包括的光接收小室的数量的情况下判定要检测的对象未接触接触表面；以及位置导出单元，利用判定单元的结果(检测结果和判定结果)导出接触所述接触表面的要检测的对象在所述接触表面上的位置。
在本发明的实施例的第二显示装置和第二摄像装置中，当超出数量等于或者大于预期数量时，判定要检测的对象接触所述接触表面。当超出数量小于预期数量时，判定要检测的对象未接触所述接触表面。预期数量与接触显示表面(接触表面)的要检测的对象的图像(当要检测的对象接触显示表面(接触表面)时获得的捕获的图像中出现的要检测的对象的图像)的大小成正比。当接触显示表面(接触表面)的要检测的对象的图像很大时，预期数量也很大。当接触显示表面(接触表面)的要检测的对象的图像很小时，预期数量也很小。因此，通过根据期望是要检测的对象的图像的大小适当地设定预期数量和第一阈值，能够从所述差和第一阈值之间的关系或者超出数量和预期数量之间的关系判定要检测的对象是否接触显示表面(接触表面)。
根据本发明的实施例的第一显示装置和第一摄像装置，从所述差和第一阈值之间的关系或者从通过尖峰像素的像素数据除以所述差获得的值和第一阈值之间的关系判定要检测的对象是否接触显示表面(接触表面)。结果，甚至当要检测的对象是例如笔的具有精细尖端的对象时，能够容易地检测要检测的对象接触时在显示表面(接触表面)上的位置。结果，不需要使用特殊的笔，其中当这种特殊的笔接触显示表面时其尖端发生形变并且接触面积改变。因此，不破坏简单性，能够通过用例如笔的具有精细尖端的对象触碰显示表面(接触表面)写入字符或者图片。
根据本发明的实施例的第二显示装置和第二摄像装置，从超出数量和预期数量之间的关系判定要检测的对象是否接触显示表面(接触表面)。结果，甚至当要检测的对象是例如笔的具有精细尖端的对象时，能够容易地检测要检测的对象接触时在显示表面(接触表面)上的位置。结果，不需要使用特殊的笔，当这种特殊的笔接触显示表面时其尖端发生形变并且接触面积改变。因此，不破坏简单性，能够通过用例如笔的具有精细尖端的对象触碰显示表面(接触表面)写入字符或者图片。
本发明的其它目标、特征和优点将从随后的描述中更完整地体现。
附图说明
图1是根据本发明的第一实施例的显示装置的整体配置的框图。
图2是示意地示出图1中的光发射小室和光接收小室的配置的示例的平面图。
图3是示意地示出图1中的光发射小室的配置的示例的截面图。
图4是示意地示出图1中的每个像素的配置的示例的电路图。
图5是示出用线顺序操作检测要检测的对象的处理的示例的时序图。
图6是示出用线顺序操作检测要检测的对象的处理的另一个示例的时序图。
图7是示意地示出图1中的位置检测器的配置的示例的框图。
图8是示意图，其中示意地示出由尖峰检测器从捕获的图像中提取的图像的像素数据布置在xy平面内的阵列中的状态。
图9是立体地示出由尖峰检测器从捕获的图像中提取的图像的像素数据的轮廓的示例的分布图。
图10是用于说明对捕获的图像中包括的全部像素数据以每一些相邻的像素取平均的示意图。
图11是示意地示出周围像素的示例的示意图。
图12是示意地示出周围像素的另一示例的示意图。
图13是示意地示出周围像素的再一示例的示意图。
图14是示意地示出周围像素的又一示例的示意图。
图15A和15B是示出图9中所示的轮廓的y＝3处的轮廓的示例的分布图。
图16是示意地示出在检测重心位置时使用的像素区域的示意图。
图17是示意地示出图1的位置检测器的配置的另一示例的框图。
图18是示出对图1的显示装置的修改的框图。
图19是示意地示出根据本发明的第二实施例的显示装置中的位置检测器的配置的示例的框图。
图20是示意地示出由尖峰检测器从捕获的图像提取的图像的像素数据的轮廓的示例和阈值之间的关系的示意图。
图21是示意地示出图19中的位置检测器的配置的另一示例的框图。
具体实施方式
以下将结合附图详细描述用于实施本发明的最佳实施方式(以下将简称为实施例)。
第一实施例
图1示出根据本发明第一实施例的显示装置的总体配置。显示装置具有显示单元1、控制器20、显示信号产生单元21、显示信号保持控制单元22、显示信号驱动器23(光发射小室驱动单元)、用于光发射的扫描器24、用于光接收的扫描器31、光接收信号接收器32、光接收信号保持单元33、以及位置检测器34。显示装置能够同时或者交替地进行图像显示和光接收。显示装置根据显示数据20A在显示单元1上显示图像(以下将描述)并检测接触或者接近显示单元1的对象(要检测的对象)的位置。
显示单元1通过LCD(液晶显示器，Liquid Crystal Display)配置，其中多个像素11以阵列布置在显示单元1的整个表面上。显示单元1通过进行以下描述的线顺序操作显示例如预定的图片或者字符的图像。
图2是示出每个像素11的配置的示例的平面图。每个像素11由用于发射可见光的光发射小室12和用于接收从显示表面10(参照图3)侧进入的光的光接收小室13构成。光发射小室12具有用于发射红光的红光发射小室12R、用于发射绿光的绿光发射小室12G、以及用于发射蓝光的蓝光发射小室12B。红光发射小室12R具有用作发射红光的部件的红光发射元件14R和用于驱动红光发射元件14R的TFT(薄膜晶体管，Thin FilmTransistor)电路部分15R。类似地，绿光发射小室12G具有用作发射绿光的部件的绿光发射元件14G和用于驱动绿光发射元件14G的TFT电路部分15G。蓝光发射小室12B具有用作发射蓝光的部件的蓝光发射元件14B和用于驱动绿光发射元件14B的TFT电路部分15B。在另一方面，光接收小室13具有用作接收可见光或者非可见光的部件的光接收元件16和用于驱动光接收元件16的光接收元件电路部分17。光接收元件16包括例如光电二极管等。以下将描述红光发射元件14R、绿光发射元件14G、蓝光发射元件14B、以及TFT电路部分15之间的连接关系和TFT电路部分15、显示信号驱动器23、用于光发射的扫描器24、用于光接收的扫描器31、以及光接收信号接收器32之间的连接关系的细节(图4)。
图3是沿着图2的A-A线截取的截面图，其中示出显示单元1的截面配置的示例。显示单元1具有位于光源100上方的面板单元110，面板单元110具有构成光发射元件(红光发射元件14R、绿光发射元件14G、以及蓝光发射元件14B)的堆叠结构。面板单元110是所谓的液晶显示面板，具体地从光源100侧开始包括偏振板101A、透明基板102A、电路部分103、绝缘层104、透明像素电极105A、液晶层106、透明电极105B、滤色器107、黑矩阵108、透明基板102B、以及偏振板101B。具体地，光发射元件(红光发射元件14R、绿光发射元件14G、以及蓝光发射元件14B)设置在具有位于彼此相对的透明基板102A和102B之间的液晶层106的液晶显示面板中。
光源100具有用于向液晶元件发射位于可见光区域内的光的背光。在光接收元件16主要接收非可见光的情况下，光源100不仅具有用于发射可见光区域内的光的背光还具有用于发射非可见光区域内的光的背光。透明基板102A和102B是由例如玻璃材料制成。替代地，透明基板102A和102B可以是由代替玻璃材料的透明塑料材料制成。
电路部分103是与图2所示的TFT电路部分15和光接收元件电路部分17对应的部件，并且电连接到透明像素电极105A。透明像素电极105A布置在每个光发射元件中，由例如ITO(铟锡氧化物，Indium Tin Oxide)的透明材料制成。在另一方面，透明电极105B是面向透明电极105A的共用电极，由例如ITO的透明材料以与透明电极105A类似的方式制成。绝缘层104形成在电路部分103之间。用这种配置，对应于显示数据的电压施加在透明电极105A和105B上，来自光源100的背光Lo透过液晶层106或者被阻挡。
滤色器107布置在对应于光发射小室12(红光发射小室12R、绿光发射小室12G、以及蓝光发射小室12B)的区域。滤色器107选择性地透射透过液晶层106的背光Lo中对应于其光发射颜色的波长区域内的光。黑矩阵108布置在滤色器107之间并阻挡来自光源100的背光Lo使得背光Lo不进入显示表面10侧。
图4示出每个像素11中的电路配置的示例。如上所述，每个像素11具有由红光发射小室12R、绿光发射小室12G、以及蓝光发射小室12B、构成的光发射小室12，以及光接收小室13。对光发射小室12，连接了连接到显示信号驱动器23的显示数据提供线DW和连接到用于光发射的扫描器24的光发射栅极线GW。具体地，显示数据提供线DWr和光发射栅极线GW连接到红光发射小室12R。显示数据提供线DWg和光发射栅极线GW连接到绿光发射小室12G。显示数据提供线DWb和光发射栅极线GW连接到蓝光发射小室12B。在另一方面，对光接收小室13，连接了连接到用于光接收的扫描器31的光接收栅极线GR和光接收复位线RR和连接到光接收信号接收器32的数据读取线DR。
红光发射小室12R具有红光发射元件14R和包括用于驱动红光发射元件14R的光发射元件选择开关SW1R的TFT电路部分15R。光发射元件选择开关SW1R的一端连接到显示数据提供线DWr，另一端连接到红光发射元件14R的一端(具体地，透明像素电极105A)。另外，红光发射元件14R的另一端(具体地，透明电极105B)接地。类似地，绿光发射小室12G具有绿光发射元件14G和包括用于驱动绿光发射元件14G的光发射元件选择开关SW1G的TFT电路部分15G。光发射元件选择开关SW1G的一端连接到显示数据提供线DWg，另一端连接到绿光发射元件14G的一端。另外，绿光发射元件14G的另一端接地。蓝光发射小室12B具有蓝光发射元件14B和包括用于驱动蓝光发射元件14B的光发射元件选择开关SW1B的TFT电路部分15B。光发射元件选择开关SW1B的一端连接到显示数据提供线DWb，另一端连接到蓝光发射元件14B的一端。另外，蓝光发射元件14B的另一端接地。光发射元件选择开关SW1R、SW1G以及SW1B的开/关操作受光发射栅极线GW控制。光发射元件选择开关SW1R、SW1G以及SW1B的每一个是例如TFT的开关元件。
光接收小室13具有光接收元件16(在图4的示例中为光电二极管)，设置在光接收元件电路部分17中的光接收元件选择开关SW2和SW3，缓冲放大器AMP，以及电容器C。光接收元件16的一端连接到电源线VDD，另一端连接到缓冲放大器AMP的输入端。缓冲放大器AMP的输出端连接到光接收元件选择开关SW2的一端，光接收元件选择开关SW2的另一端连接到数据读取线DR。另外，缓冲放大器AMP的输入端连接到光接收元件选择开关SW3的一端和电容器C的一端。光接收元件选择开关SW3的另一端和电容器C的另一端接地。光接收元件选择开关SW2的开/关操作受光接收栅极线GR控制。光接收元件选择开关SW3的开/关操作受用于光接收的复位线RR控制。光接收元件选择开关SW2和SW3的每一个是例如TFT的开关元件。
接着，描述显示装置中除显示单元1之外的配置(控制器20、显示信号产生单元21、显示信号保持控制单元22、显示信号驱动器23、用于光发射的扫描器24、用于光接收的扫描器31、光接收信号接收器32、光接收信号保持单元33、以及位置检测器34)。
控制器20根据位置检测器34的检测结果根据预定的应用程序软件(未示出)执行处理，并且产生例如包括要检测的对象的位置坐标(位置信息)的显示数据20A。产生的显示数据20A输出到显示信号产生单元21。
显示信号产生单元21根据从控制器20提供的显示数据20A以例如每个画面(每一个场)产生要在显示单元1上显示的显示信号21A。产生的显示信号21A输出到显示信号保持控制单元22。
显示信号保持控制单元22在由SRAM(静态随机存取存储器，StaticRandom Access Memory)等构成的场存储器中以每一个画面(每一个场)存储并保持从显示信号产生单元21输出的显示信号21A。显示信号保持控制单元22起到的作用是控制以使得用于驱动光发射小室12的显示信号驱动器23和光发射扫描器24、用于驱动光发射小室13的用于光接收的扫描器31、以及显示单元1的光源100(以后将要描述)相互联动地运行。具体地，光发射时序控制信号22A输出到用于光发射的扫描器24。光接收时序控制信号22B输出到用于光接收的扫描器31。根据场存储器中保持的一个画面的显示信号的、一个水平线的显示信号22C输出到显示信号驱动器23。更具体地，如图5和图6所示，在以每帧显示图像时(运动图像或者静止图像)，显示信号保持控制单元22将每个帧时段T分成两半。在帧时段T的前半时段T1或者后半时段T2中，在光源100开启的状态下，输出光发射时序控制信号22A和显示信号22C以在例如箭头X方向上以每个水平线同步地驱动光发射小室12(参照图1)(线顺序驱动)。在前半时段或者后半时段中的与上述时段(显示时段)不同的时段(非显示时段)中，在光源100开启的状态下，输出光接收时序控制信号22B以在例如箭头X方向上以每个水平线驱动光接收小室13(线顺序驱动)。不需要以每个帧连续地驱动光接收小室13。根据需要，光接收小室13可以被以每多个帧间歇地驱动。
显示信号驱动器23根据从显示信号保持控制单元22输出的一个水平线的显示信号22C向要驱动的光发射小室12提供显示数据20A。具体地，对应于显示数据20A的电压23A经由连接到显示单元1的像素11的数据提供线DW提供到由用于光发射的扫描器24选择的像素11的光发射小室12。
用于光发射的扫描器24根据从显示信号保持控制单元22输出的光发射时序控制信号22B选择要驱动的光发射小室12。具体地，用于光发射的扫描器24经由连接到显示单元1的像素11的用于光发射的栅极线GW向要驱动的可见光束光发射小室12提供用于光发射的选择信号24A，以控制光发射元件选择开关SW1R、SW1G、以及SW1B。当用于使特定像素11的光发射元件选择开关SW1R、SW1G以及SW1B导通的电压通过用于光发射的选择信号24A施加到光发射元件选择开关SW1R、SW1G以及SW1B时，所述像素产生具有与从显示信号驱动器23提供的电压23A对应的亮度的光。由此，用于光发射的扫描器24和显示信号驱动器23相互联动地进行线顺序操作，由此在显示单元1上显示对应于任意显示数据的图像。
用于光接收的扫描器31根据从显示信号保持控制单元22输出的光接收时序控制信号22B选择要驱动的光接收小室13。具体地，用于光接收的扫描器31经由连接到显示单元1的像素11的光接收栅极线GR向要驱动的光接收小室13提供光接收选择信号31A，以控制光接收元件选择开关SW2，并且经由连接到显示单元1的光接收复位线RR向要驱动的光接收小室13提供复位信号31B，以控制光接收元件选择开关SW3。即，当用于导通特定像素11中的光接收元件选择开关SW3的电压通过复位信号31B施加到光接收元件选择开关SW3时，像素中的电容器C中积累的电荷被复位。当用于导通特定像素11中的光接收元件选择开关SW2的电压通过光接收选择信号31A施加到光接收元件选择开关SW2时，根据像素11中的光接收元件16的光接收量在电容器C中积累的电荷作为光接收信号1A经由缓冲放大器AMP和数据读取线DR向光接收信号接收器32输出。由此，可见光被光接收小室13接收。
用于光接收的扫描器31向光接收信号接收器32和光接收信号保持单元33输出光接收块控制信号31C，另外起到控制用于光接收操作的部件的操作的作用。
根据从用于光接收的扫描器31输出的光接收块控制信号31C，光接收信号接收器32获得从光接收小室13输出的一个水平线的光接收信号1A。由此获得的一个水平线的光接收信号1A输出到光接收信号保持单元33。
根据从用于光接收的扫描器31输出的光接收块控制信号31C，光接收信号保持单元33将从光接收信号接收器32输出的光接收信号32A重构为每个画面的捕获的图像33A(一个场的每个显示)，并在例如SRAM的场存储器(未示出)中存储捕获的图像33A。由此，将存储在场存储器中的捕获的图像33A输出到位置检测器34。光接收信号保持单元33可以具有不同于存储器的存储器元件，并且可以例如以模拟数据保持捕获的图像33A。
位置检测器34通过对来自光接收信号保持单元33的捕获的图像33A进行预定的信号处理，确定接触或者接近显示表面10的对象(要检测的对象)的位置。在光接收信号保持单元33以模拟数据保持捕获的图像33A的情况下，位置检测器34可以在进行模-数转换(A/D转换)之后执行信号处理。
图7示出位置检测器34的功能模块。如图7所示，位置检测器34具有HPF(高通滤波器，High Pass Filter)41、二值化单元42、尖峰检测器43、判定单元44、以及位置导出单元45。
当例如笔的对象(要检测的对象)接近或者接触显示表面10时，HPF41从捕获的图像消除接近或者接触显示表面10的手掌(不被检测的对象)的图像(在要检测的对象接触显示表面10时获得的捕获的图像33A中出现的手掌(不被检测的对象)的图像)。通过使捕获的图像经过HPF 41，获得通过从捕获的图像消除手掌(不被检测的对象)的图像获得的HPF图像41A。这使得能够防止在判定单元44中对手掌(不被检测的对象)的错误的检测。以上述方式将获得的HPF图像41A输出到二值化单元42。
二值化单元42产生用于提取捕获的图像33A中预定区域的掩膜。通过例如对HPF图像41A的像素数据中超出预定阈值的像素分配“1”，而对值等于或者小于预定阈值的像素分配“0”，二值化单元42对HPF图像41A进行二值化处理，因此产生二值化图像42A。结果，尖峰检测器43能够有效地(在短时间内)检测尖峰。二值化单元42可以根据需要消除通过二值化处理获得的二值化图像42A中的噪声。噪声消除以以下方式进行。例如，当二值化图像42A中被像素“0”包围的孤立区域中的像素“1”的数量比每个期望是要检测的图像(当要检测的对象接触显示表面10时获得的捕获的图像33A中出现的要检测的图像)的大小中包括的像素的数量少得多时，该孤立区域包括的像素被分配“0”。这使得能够防止在尖峰检测器43中错误地检测不被检测的对象的尖峰。以上述方式将产生的二值化图像42A输出到尖峰检测器43。
图8和图9示意地示出尖峰检测器43从捕获的图像33A提取的图像33-1的像素数据P11到P55的示例。图8示出图像33-1的像素数据P11到P55布置在xy平面内的阵列中的状态。图9是示出图像33-1的像素数据P11到P55的轮廓的立体图。图8和图9的每一个示出其中最接近xy坐标原点的像素33e的坐标是(i，j)的区域的图像。
尖峰检测器43从捕获的图像33A的像素数据检测峰值Pm(强度的最大值)并检测具有峰值Pm的尖峰像素33m的位置。具体地，尖峰检测器43利用二值化图像42A作为掩膜从捕获的图像33A提取与掩膜的开口对应的区域(例如被“0”包围的“1”的区域)的图像33-1，从提取的图像33-1的像素数据(图8和图9中为P11到P55)中检测峰值Pm(在图8和图9中Pm＝P33)，并且检测具有峰值Pm的尖峰像素33m的位置(图8和图9中尖峰像素33m的xy坐标(x，y)＝(i+2，j+2))。将产生的尖峰像素33m的位置作为尖峰位置信息43A向判定单元44输出。
可以如上所述对捕获的图像33A每个像素检测像素33m的峰值Pm和位置。替代地，例如，如图10所示，能够对捕获的图像33A中彼此相邻的每一些像素包括的全部像素数据取平均，从通过取平均获得的数据提取对应于开口的区域(例如，被“0”包围的“1”的区域)的图像33-1，从提取的图像33-1的像素数据(图10中的A11到A33)检测峰值Pm，以及检测具有峰值Pm的尖峰像素33m的位置。
当位置检测器34假设要检测的多个对象接触显示表面10并且掩膜中存在多个开口的情况时，尖峰检测器43以对应于每个开口的区域的每个图像33-1检测尖峰像素33m的峰值Pm和位置。
判定单元44判定要检测的对象是否接触显示表面10。例如，如公式1所示，当捕获的图像33A中与尖峰位置信息43A对应的像素(尖峰像素33m)的像素数据(在图8和图9中为Pm＝P33)和捕获的图像33A中与尖峰位置信息43A对应的像素(尖峰像素33m)的周围像素33c(随后将进行描述)的像素数据之间的差Δp(随后将进行描述)大于预定阈值TH1(第一阈值)时，判定单元44判定要检测的对象接触显示表面10。当差Δp等于或者小于阈值TH1时，判定单元44判定要检测的对象未接触显示表面10。当判定单元44判定要检测的对象接触显示表面10时，该时刻的尖峰位置信息43A作为尖峰位置信息44A向位置导出单元45输出。当判定单元44判定要检测的对象未接触显示表面10时，指示要检测的对象未接触显示表面10的信息作为尖峰位置信息44A向位置导出单元45输出。
Δp>TH1                              公式1
例如，在周围像素33c是如图11加阴影的与对应于尖峰位置信息43A的像素(尖峰像素33m)相邻的全部像素的情况下，如公式2所示，差Δp是通过从对应于尖峰位置信息43A的像素(尖峰像素33m)的像素数据Pm(＝P33)减去与对应于尖峰位置信息43A的像素(尖峰像素33m)相邻的全部像素的像素数据Pc(＝P22，P23，P24，P32，P34，P42，P43，和P44)的平均值获得的。
Δp＝P33-(P22+P23+P24+P32+P34+P42+P43+P44)/8       公式2
例如，在周围像素33c是如图12加阴影的与对应于尖峰位置信息43A的像素(尖峰像素33m)相邻的全部像素的情况下，如公式3所示，差Δp是通过从对应于尖峰位置信息43A的像素(尖峰像素33m)的像素数据Pm(＝P33)减去与对应于尖峰位置信息43A的像素(尖峰像素33m)相邻的全部像素的像素数据Pc(＝P11，P12，P13，P14，P15，P21，P25，P31，P35，P41，P45，P51，P52，P53，P54，P55)的平均值获得的。
ΔP＝P33-(P11+P12+P13+P14+P15+P21+P25+P31+P35+P41+P45+
P51+P52+P53+P54+P55)/16               公式3
例如，在周围像素33c是如图13的阴影所示与对应于尖峰位置信息43A的像素(尖峰像素33m)相邻的一些像素时，如公式4所示，差ΔP是通过从像素(尖峰像素33m)的像素数据Pm(＝P33)减去与对应于尖峰位置信息43A的像素(尖峰像素33m)相邻的一些像素(例如位于4个角的像素)的像素数据Pc(＝P22，P24，P42，和P44)的平均值获得。
Δp＝P33-(P22+P24+P42+P44)/4           公式4
例如，如图10所示，在从平均值(A11到A33)检测峰值Pm和具有峰值Pm的尖峰像素33m的位置的情况下，如图14的阴影所示，当周围像素33c是与对应于尖峰位置信息43A的像素(尖峰像素33m)相邻的全部像素时，如公式5所示，差ΔP是通过从对应于尖峰位置信息43A的像素(尖峰像素33m)的像素数据Pm(＝A22)减去与对应于尖峰位置信息43A的像素(尖峰像素33m)相邻的全部像素的像素数据Pc(＝A11，A12，A13，A21，A23，A31，A32，和A33)的平均值获得的。
Δp＝A22-(A11+A12+A13+A21+A23+A31+A32+A33)/8       公式5
例如，如图15A和15B所示，差Δp的幅度与对应于尖峰位置信息43A的像素(尖峰像素33m)和对应于尖峰位置信息43A的像素(尖峰像素33m)的周围像素33c之间的像素数据的倾斜(尖峰周围倾斜33s)的幅度成正比。尖峰周围倾斜33s的幅度与接触显示表面10的要检测的图像(当要检测的对象接触显示表面10时在捕获的图像33A中出现的要检测的图像)的大小成反比。结果，当接触显示表面10的要检测的对象的图像很大时，差Δp很小。当接触显示表面10的要检测的对象的图像很小时，差Δp很大。因此，根据期望作为要检测的对象的图像的大小适当地设定阈值TH1，从差Δp和阈值TH1之间的关系判定要检测的对象是否接触显示表面10。
如公式6所示，当差Δp大于预定阈值TH2(>TH1)时，判定单元44可以检测出要检测的对象未接触显示表面10。
TH1<Δp<TH2                          公式6
通过适当地设定TH2，在二值化单元42中不进行噪声消除处理的情况下，或者在尽管进行了噪声消除处理但噪声仍保留在二值化图像42A的情况下，能够防止由于噪声的影响造成对不被检测的对象是否接触显示表面10的错误判定。
例如，如公式7所示，当通过用对应于尖峰位置信息43A的像素(尖峰像素33m)的像素数据Pm和对应于尖峰位置信息43A的像素(尖峰像素33m)的周围像素33c的像素数据Pc之间的差Δp的倒数(1/Δp)乘以对应于尖峰位置像素43A的像素(尖峰像素33m)的像素数据Pm获得的值(Pm/Δp)大于预定阈值TH3(第一阈值)时，判定单元44可以判定要检测的对象接触显示表面10。当值Pm/Δp等于或者小于阈值TH3时，判定单元44可以判定要检测的对象未接触显示表面10。
Pm/Δp>TH3                              公式7
同样在此情况下，图11到图14所示的像素可以选择作为周围像素33c。如公式8所示，在Pm/Δp大于比阈值TH3大的预定阈值TH4的情况下，可以判定要检测的对象未接触显示表面10。
TH3<Pm/Δp<TH4                          公式8
位置导出单元45利用判定单元44的判定结果和检测结果导出接触显示表面10的要检测的对象在显示表面10上的位置。例如，如图16示出和公式9和公式10所示，当判定单元44判定要检测的对象接触显示表面10时，位置导出单元45检测包括捕获的图像33A中对应于尖峰位置信息44A的像素(尖峰像素33m)和捕获的图像33A中对应于尖峰位置信息44A的像素(尖峰像素33m)的周围像素33d的像素区域α的重心位置(Xg，Yg)，并且导出接触显示表面10的要检测的对象在显示表面10上的位置。以此方式导出的位置信息作为位置信息34A输出到控制器20。
Xg = &Sigma; y = y 1 y = y 2 &Sigma; x = x 1 x = x 2 X &CenterDot; P xy &Sigma; y = y 1 y = y 2 &Sigma; x = x 1 x = x 2 P xy                公式9
Yg = &Sigma; y = y 1 y = y 2 &Sigma; x = x 1 x = x 2 Y &CenterDot; P xy &Sigma; y = y 1 y = y 2 &Sigma; x = x 1 x = x 2 P xy                   公式10
Pxy代表捕获的图像33A的坐标(x，y)处的像素数据(亮度值)。X1代表像素区域α的x坐标的最小值，X2代表像素区域α的x坐标的最大值。Y1代表像素区域α的y坐标的最小值，Y2代表像素区域α的y坐标的最大值。
下面，将详细描述实施例的显示装置的操作的示例。
在显示装置中，根据从控制器20提供的显示数据20A从显示信号驱动器23和用于光发射的扫描器24产生用于显示的驱动信号(电压23A和光发射选择信号24A)。用驱动信号，在显示单元1中进行线顺序显示驱动，图像被显示。从用于光接收的扫描器31产生用于光接收的驱动信号(光接收选择信号31A)，用驱动信号，在显示单元1中进行线顺序光接收驱动，图像被捕获。
具体地，例如，如图5所示，在以每帧显示图像时，每一个帧时段被分为两半。在前半时段T1，用于开启光源100的信号作为光源控制信号22D输出以开启整个光源100。在光源开启时段(显示时段)，输出用于显示的驱动信号(电压23A和光发射选择信号24A)。例如在箭头X方向上(参照图1)以每个水平线同步地驱动光发射小室12和光接收小室13(线顺序驱动)，并且显示帧时段中的图像。另外，在每个帧时段的后半时段T2，用于开启光源100的信号作为光源控制信号22D输出以开启整个光源100。在光源开启时段(光接收时段)，输出用于光接收的驱动信号(光接收选择信号31A)。光接收小室13被驱动(线顺序驱动)，例如在箭头X方向上，因此在后半时段T2获得捕获的图像33A。在光接收小室13以每多个像素被间歇地驱动的情况下，仅仅在光接收小室13被驱动的帧时段中获得捕获的图像33A。
在位置检测器34，根据从光接收信号保持单元33捕获的图像33A进行信号处理，并且确定接触或者接近显示表面10的对象(要检测的对象)的位置。
具体地，首先，HPF 41从捕获的图像33A消除手掌(不被检测的对象)的图像，因此产生HPF图像41A。随后，二值化单元42对HPF图像41A进行二值化处理，因此产生二值化图像42A。另外，根据需要，消除二值化图像42A中的噪声。接着，利用二值化图像42A作为掩膜，从捕获的图像33A中提取与掩膜的开口对应的区域的图像33-1。从提取的图像33-1的像素数据检测峰值Pm，以及检测具有峰值Pm的尖峰像素33m的位置。判定单元44判定要检测的对象是否接触显示表面10。例如，如公式1所示，当差Δp大于阈值TH1时，判定单元44判定要检测的对象接触显示表面10。当差Δp等于或者小于阈值TH1时，判定单元44判定要检测的对象未接触显示表面10。例如，如公式7所示，当Pm/Δp大于阈值TH3时，判定单元44判定要检测的对象接触显示表面10。当值Pm/Δp等于或者小于阈值TH3时，判定单元44判定要检测的对象未接触显示表面10。另外，根据需要，当如公式6所示差Δp大于预定阈值TH2时，判定单元44判定要检测的对象未接触显示表面10。例如，在如公式8所示Pm/Δp大于阈值TH4的情况下，判定要检测的对象未接触显示表面10。利用判定单元44的判定结果和检测结果，位置导出单元45导出接触显示表面10的要检测的对象在显示表面10上的位置。例如，位置导出单元45检测如图16所示和公式9和10所示的像素区域中的重心位置(Xg，Yg)，并且从该重心位置(Xg，Yg)导出接触显示表面10的要检测的对象在显示表面10上的位置。控制器20产生包括由位置导出单元45导出的在显示表面10上的位置信息34A的显示数据20A。显示信号驱动器23向由用于光发射的扫描器24选择的像素11的光发射小室12提供对应于显示数据20A的电压23A。结果，在显示表面10上以实时方式显示例如笔的要检测的对象触碰显示表面的线。以此方式，在本实施例中，通过用例如笔的要检测的对象滑过显示表面，能够在显示表面10上写入字符、图片等。
如上所述，在本实施例中，当顺序地在一个帧时段中进行图像的显示和光接收时，在光接收时段捕获图像，并从捕获的图像33A获得差Δp。根据差Δp和阈值TH1之间的关系或者Pm/Δp和阈值TH3之间的关系，判定要检测的对象是否接触显示表面10。甚至当要检测的对象是例如笔的具有精细尖端的对象时，能够容易地检测要检测的对象在显示表面10上的位置。结果，不需要使用特殊的笔，这种笔在接触显示表面10时其尖端发生形变并且其接触面积改变。因此，不破坏简单性，能够通过用例如笔的具有精细尖端的对象触碰显示表面10来写入字符或者图片。
在本实施例中，在从重心位置(Xg，Yg)导出接触显示表面10的要检测的对象在显示表面10上的位置的情况，与从对应于尖峰位置信息44A的像素(尖峰像素33m)导出接触显示表面10的要检测的对象在显示表面10上的位置的情况相比，能够更精确地获得接触显示表面10的要检测的对象在显示表面10上的位置。
在本实施例中，在利用捕获的图像33A的像素数据的一部分(像素区域α)导出接触显示表面10的要检测的对象在显示表面10上的位置的情况，与利用捕获的图像33A的全部像素数据的情况相比，能够增加处理速度。
在本实施例中，为了检测对象(要检测的对象)的位置等，不需要单独地提供例如触摸面板的部件。因此，能够简化显示装置的配置。
在本实施例中，在以每多个帧间歇地驱动光接收小室13的情况下，能够抑制检测对象(要检测的对象)的位置等需要的功率消耗。第一实施例的修改
在上述实施例中，尖峰检测器43从捕获的图像33A的像素数据检测峰值Pm并检测具有峰值Pm的尖峰像素33m的位置。如图17所示，尖峰检测器43可以获得代替捕获的图像33A的HPF图像41A，并从获得的HPF图像41A的像素数据检测峰值Pm和尖峰像素33m的位置。在此情况下，还能够以彼此相邻的每一些像素对HPF图像41A中包括的全部像素数据取平均，从通过取平均获得的数据提取与掩膜中的开口对应的区域(例如被“0”包围的“1”的区域)的图像33-1，从提取的图像33-1的像素数据(图10中的A11到A33)检测峰值Pm，以及检测具有峰值Pm的尖峰像素33m的位置。
在本实施例中，描述了判定单元44根据捕获的图像33A中的差Δp和阈值TH1之间的关系判定要检测的对象是否接触显示表面10的情况。如图17所示，还能够获得代替捕获的图像33A的HPF图像41A并且根据获得的HPF图像41A中的差Δp和阈值TH1之间的关系判定要检测的对象是否接触显示表面10。
在本实施例中，当判定单元44判定要检测的对象接触显示表面10时，位置导出单元45检测包括捕获的图像33A中对应于尖峰位置信息44A的像素(尖峰像素33m)和捕获的图像33A中对应于尖峰位置信息44A的像素(尖峰像素33m)的周围像素33d的像素区域α的重心位置(Xg，Yg)。代替地，如图17所示，当判定单元44判定要检测的对象接触显示表面10时，位置导出单元45可以检测包括HPF图像41A中对应于尖峰位置信息44A的像素(尖峰像素33m)和HPF图像41A中对应于尖峰位置信息44A的像素(尖峰像素33m)的周围像素33d的像素区域α的重心位置(Xg，Yg)。
在上述实施例中，显示单元1在每个像素11中具有由红光发射小室12R、绿光发射小室12G、以及蓝光发射小室12B构成的光发射小室12。显示单元1还可以包括用于发射其它颜色的光的小室，或者可以不具有光发射小室，如图18所示。在显示单元1在每个像素11中不具有光发射小室的情况下，例如，如图18所示，与显示单元1分离地提供具有在每个像素11中包括光发射小室12的面板单元120(第二面板单元)的显示单元2，用于光接收的扫描器31的输出(光接收选择信号31A和复位信号31B)输入到显示单元2，另外，显示单元2的输出(光接收信号1A)输入到光接收信号接收器32。
第二实施例
根据本发明的第二实施例的显示装置除了提供代替判定单元44的判定单元46之外，类似于以上描述的实施例的显示装置。下面将主要描述与上述实施例的不同点，将不重复与以上描述的实施例的相同点。
判定单元46判定要检测的对象是否接触显示表面10。当在包括捕获的图像33A中对应于尖峰位置信息43A的像素(尖峰像素33m)和捕获的图像33A中对应于尖峰位置信息43A的像素(尖峰像素33m)的周围像素33c的像素区域中像素数据值超出预定阈值TH5(第一阈值)的像素的数量(超出数量N1，图20中N1＝9)等于或者大于期望是要检测的对象的图像的每单位大小包括的光接收小室13的数量(预期数量N2)时，如图20和公式11所示，判定单元46判定要检测的对象接触显示表面10。当超出数量N1小于预期数量N2时判定单元46判定要检测的对象未接触显示表面10。当判定要检测的对象接触显示表面10时，尖峰位置信息43A作为尖峰位置信息44A输出到位置导出单元45。当判定要检测的对象未接触显示表面10时，指示要检测的对象未接触显示表面10的信息作为尖峰位置信息44A输出到位置导出单元45。周围像素33c可以以类似于图11到图14的方式选择。
N1≥N2                                 公式11
预期数量N2是与接触显示表面10的要检测的图像(当要检测的对象接触显示表面10时获得的捕获的图像中出现的要检测的图像)的大小成正比。当接触显示表面10的要检测的对象的图像很大时，预期数量N2很大。当接触显示表面10的要检测的对象的图像很小时，预期数量N2也很小。因此，通过根据要检测的对象的图像的期望大小适当地设定预期数量N2和阈值TH5，能够从超出数量N1和预期数量N2之间的关系判定要检测的对象是否接触显示表面10。
在显示装置中，判定单元46判定要检测的对象是否接触显示表面10。例如，如公式11所示，当超出数量N1等于或者大于预期数量N2时，判定单元46判定要检测的对象接触显示表面10。当超出数量N1小于预期数量N2时，判定单元46判定要检测的对象未接触显示表面10。结果，甚至当要检测的对象是例如笔的具有精细尖端的对象时，也能够容易地检测接触的要检测的对象在显示表面10上的位置。这使得不需要使用特殊的笔，这种笔在接触显示表面10时其尖端发生形变并且其接触面积改变。因此，不破坏简单性，能够通过用例如笔的具有精细尖端的对象触碰显示表面10来写入字符或者图片。
第二实施例的修改
在第二实施例中，描述了判定单元46根据捕获的图像33A中的超出数量N1和预期数量N2之间的关系判定要检测的对象是否接触显示表面10的情况。如图21所示，还能够获得代替捕获的图像33A的HPF图像41A，并且根据所获得的HPF图像41A中的超出数量N1和预期数量N2之间的关系判定要检测的对象是否接触显示表面10。
第二实施例还可以根据与第一实施例的修改类似的方式进行修改。
本发明已经通过实施例及其修改进行了描述。然而，本发明不限于这些实施例，而是可以进行各种修改。
例如，在上述实施例中，每个像素11具有由红光发射小室12R、绿光发射小室12G、以及蓝光发射小室12B构成的光发射小室12。但是，每个像素11可以具有其它颜色的小室。每个像素11可以具有至少一种光发射小室。
在实施例中，描述了显示单元1具有位于光源100上的液晶显示面板(面板单元110)的情况。但是，显示单元1也可以具有光发射面板，其中显示元件自身构成发射光的像素，例如具有位于相对的透明基板之间的有机层的有机EL面板。在此情况下，在光接收时段从显示表面10侧进入的光仅是外部光。因此，优选地使用通过翻转在位置检测器34中捕获的图像33A的亮和暗而获得的图像。
明显地，鉴于以上教导，许多修改和变化是可能的。因此，可以理解的是，除非特别说明，本发明可以在所附的权利要求的范围内加以实施。

Claims (11)

1、一种同时或者交替地进行图像显示和光接收的显示装置，包括：
面板单元，具有发光以在显示表面上显示图像的多个光发射小室、以及接收从所述显示表面侧进入的光的多个光接收小室；
尖峰检测器，从所述多个光接收小室捕获的图像的像素数据或者从通过对捕获的图像进行预定处理获得的图像的像素数据检测峰值，并检测具有所述峰值的尖峰像素的位置；
判定单元，当所述尖峰像素的像素数据和所述尖峰像素的周围像素的像素数据之间的差或者通过将所述尖峰像素的像素数据除以所述差获得的值大于第一阈值时，判定要检测的对象接触所述显示表面，而当所述差等于或者小于第一阈值时，判定要检测的对象未接触所述显示表面；以及
位置导出单元，利用判定单元的判定结果和检测结果导出接触所述显示表面的要检测的对象在显示表面上的位置。
2、根据权利要求1所述的显示装置，其中所述尖峰检测器通过对捕获的图像经过高通滤波器产生的高通滤波图像进行二值化处理产生二值化图像，利用所述二值化图像作为掩膜从捕获的图像或者高通滤波图像提取预定区域的图像，并从提取的图像的像素数据检测峰值。
3、根据权利要求1所述的显示装置，其中所述尖峰检测器对多个光接收小室捕获的图像中或者通过对捕获的图像进行预定处理获得的图像中所包括的全部像素数据以每一些相邻的像素取平均，从取平均获得的数据检测峰值，并且检测对应于所述峰值的像素位置。
4、根据权利要求1所述的显示装置，其中所述判定单元利用捕获的图像或者利用使捕获的图像经过高通滤波器而获得的高通滤波图像导出尖峰像素的像素数据和尖峰像素的周围像素的像素数据之间的差。
5、根据权利要求1所述的显示装置，其中当所述判定单元判定要检测的对象接触显示表面时，所述位置导出单元检测包括尖峰像素和尖峰像素的周围像素的像素区域的重心位置，并从所述重心位置导出接触显示表面的要检测的对象在显示表面上的位置。
6、根据权利要求1所述的显示装置，还包括光发射小室驱动单元，用于向所述光发射小室施加与包括由所述位置导出单元导出的在所述接触表面上的位置信息的显示数据对应的电压。
7、一种同时或者交替地进行图像显示和光接收的显示装置，包括：
面板单元，具有发光以在显示表面上显示图像的多个光发射小室以及多个光接收小室，所述多个光接收小室被布置得使每个期望是要检测的对象的图像的大小中所包括的小室的数量至少是4并且接收从显示表面侧进入的光；
尖峰检测器，从所述多个光接收小室捕获的图像的像素数据或者从通过对所述捕获的图像进行预定处理获得的图像的像素数据检测峰值，并检测具有所述峰值的尖峰像素的位置；
判定单元，当包括尖峰像素和尖峰像素的周围像素的像素区域中像素数据值超出第一阈值的像素的数量等于或者大于每个期望是要检测的对象的图像的大小中包括的光接收小室的数量时，判定要检测的对象接触显示表面，而当像素数据值超出第一阈值的像素的数量小于每个期望是要检测的对象的图像的大小中包括的光接收小室的数量时，判定要检测的对象未接触显示表面；以及
位置导出单元，利用判定单元的判定结果和检测结果导出接触显示表面的要检测的对象在显示表面上的位置。
8、一种摄像装置，包括：
第一面板单元，具有接收从接触表面侧进入的光的多个光接收小室；
尖峰检测器，从所述多个光接收小室捕获的图像的像素数据或者从通过对所述捕获的图像进行预定处理获得的图像的像素数据检测峰值，并检测具有所述峰值的尖峰像素的位置；
判定单元，当所述尖峰像素的像素数据和尖峰像素的周围像素的像素数据之间的差或者通过将尖峰像素的像素数据除以所述差获得的值大于第一阈值时判定要检测的对象接触所述接触表面，而当所述差等于或者小于第一阈值时判定要检测的对象未接触所述接触表面；以及
位置导出单元，利用判定单元的判定结果和检测结果导出接触所述接触表面的要检测的对象在所述接触表面上的位置。
9、根据权利要求8所述的摄像装置，还包括：
第二面板单元，具有发光以在显示表面上显示图像的多个光发射小室；以及
光发射小室驱动单元，用于向所述光发射小室施加与包括由所述位置导出单元导出的在所述接触表面上的位置信息的显示数据对应的电压。
10、一种摄像装置，包括：
第一面板单元，具有多个光接收小室，被布置得使每个期望是要检测的对象的图像的大小中所包括的小室的数量至少是4并接收从接触表面侧进入的光；
尖峰检测器，从所述多个光接收小室捕获的图像的像素数据或者从通过对所述捕获的图像进行预定处理获得的图像的像素数据检测峰值，并检测具有所述峰值的尖峰像素的位置；
判定单元，当包括尖峰像素和尖峰像素的周围像素的像素区域中像素数据值超出第一阈值的像素的数量等于或者大于每个期望是要检测的图像的大小中包括的光接收小室的数量时，判定要检测的对象接触所述接触表面，而在所述像素数据值超出第一阈值的像素的数量小于每个期望是要检测的图像的大小中包括的光接收小室的数量的情况下，判定要检测的对象未接触所述接触表面；以及
位置导出单元，利用判定单元的判定结果和检测结果导出接触所述接触表面的要检测的对象在所述接触表面上的位置。
11、根据权利要求10所述的摄像装置，还包括：
第二面板单元，具有发光以在显示表面上显示图像的多个光发射小室；以及
光发射小室驱动单元，用于向所述光发射小室施加与包括由所述位置导出单元导出的在所述接触表面上的位置信息的显示数据对应的电压。
CN2009100053417A 2008-02-14 2009-02-12 显示装置和摄像装置 Expired - Fee Related CN101510134B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008033261 2008-02-14
JP2008033261A JP4626658B2 (ja) 2008-02-14 2008-02-14 表示装置、撮像装置および位置検出装置
JP2008-033261 2008-02-14

Publications (2)

Publication Number Publication Date
CN101510134A true CN101510134A (zh) 2009-08-19
CN101510134B CN101510134B (zh) 2011-11-30

Family

ID=40954690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100053417A Expired - Fee Related CN101510134B (zh) 2008-02-14 2009-02-12 显示装置和摄像装置

Country Status (5)

Country Link
US (1) US8797275B2 (zh)
JP (1) JP4626658B2 (zh)
KR (1) KR20090088317A (zh)
CN (1) CN101510134B (zh)
TW (1) TW200939096A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043516A (zh) * 2009-10-13 2011-05-04 索尼公司 信息输入设备和方法、信息输入/输出设备和电子单元
CN102200855A (zh) * 2010-03-24 2011-09-28 三星电子株式会社 物体感测装置
CN102419652A (zh) * 2010-09-27 2012-04-18 索尼公司 触摸检测器、显示单元、触摸位置检测方法和电子设备
CN102736789A (zh) * 2011-04-13 2012-10-17 索尼公司 显示面板、驱动其的方法、驱动电路及电子单元
CN104850255A (zh) * 2014-02-18 2015-08-19 日本电产理德股份有限公司 触控面板的触摸位置探测方法、触控面板检测方法及触控面板检测装置
CN109492706A (zh) * 2018-11-27 2019-03-19 微医云(杭州)控股有限公司 一种基于循环神经网络的染色体分类预测装置
CN110580690A (zh) * 2019-09-02 2019-12-17 杭州雄迈集成电路技术有限公司 一种识别峰值变换非线性曲线的图像增强方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451237B2 (en) * 2009-07-06 2013-05-28 Atmel Corporation Sensitivity control as a function of touch shape
CN102053757B (zh) * 2009-11-05 2012-12-19 上海精研电子科技有限公司 一种红外触摸屏装置及其多点定位方法
WO2011161673A2 (en) * 2010-06-21 2011-12-29 N-Trig Ltd. System and method for finger resolution in touch screens
WO2012023521A1 (ja) * 2010-08-19 2012-02-23 シャープ株式会社 入力表示装置、入力位置認識方法
US9213481B2 (en) * 2010-10-07 2015-12-15 Lg Display Co., Ltd. Method for judging number of touches
TWI421749B (zh) * 2010-12-30 2014-01-01 Au Optronics Corp 顯示面板及其操作方法
US9058078B2 (en) * 2012-01-09 2015-06-16 Broadcom Corporation High-accuracy touch positioning for touch panels
JP5886139B2 (ja) * 2012-05-30 2016-03-16 シャープ株式会社 タッチセンサシステム
US9213052B2 (en) * 2012-08-01 2015-12-15 Parade Technologies, Ltd. Peak detection schemes for touch position detection
CN103839032B (zh) * 2012-11-20 2018-03-23 联想(北京)有限公司 一种识别方法及电子设备
WO2015087621A1 (ja) * 2013-12-11 2015-06-18 シャープ株式会社 タッチセンサ制御装置
US10037101B2 (en) * 2014-04-30 2018-07-31 Rakuten, Inc. Touch panel having a filter unit for filtering unintended touches and method thereof
KR102626033B1 (ko) * 2015-06-23 2024-01-18 이덱스 바이오메트릭스 아사 양면 지문 센서

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5847690A (en) * 1995-10-24 1998-12-08 Lucent Technologies Inc. Integrated liquid crystal display and digitizer having a black matrix layer adapted for sensing screen touch location
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
JP4697916B2 (ja) * 2000-07-07 2011-06-08 キヤノン株式会社 座標入力装置及びその制御方法、プログラム
JP2004265264A (ja) * 2003-03-04 2004-09-24 Matsushita Electric Ind Co Ltd 画像処理装置
JP4257221B2 (ja) 2003-03-31 2009-04-22 東芝松下ディスプレイテクノロジー株式会社 表示装置および情報端末装置
JP4429124B2 (ja) * 2004-09-13 2010-03-10 富士通コンポーネント株式会社 タッチ入力機能付き表示装置
JP2007011152A (ja) * 2005-07-01 2007-01-18 Toshiba Matsushita Display Technology Co Ltd 平面表示装置
US7583758B2 (en) * 2005-07-20 2009-09-01 Broadcom Corporation Carrier detection applicable for SISO, MIMO, MISO, and SIMO communications
JP2007128497A (ja) * 2005-10-05 2007-05-24 Sony Corp 表示装置および表示方法
JP2007183706A (ja) * 2006-01-04 2007-07-19 Epson Imaging Devices Corp タッチセンサシステム
JP5100076B2 (ja) * 2006-10-04 2012-12-19 株式会社ジャパンディスプレイウェスト 表示装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043516A (zh) * 2009-10-13 2011-05-04 索尼公司 信息输入设备和方法、信息输入/输出设备和电子单元
CN102200855A (zh) * 2010-03-24 2011-09-28 三星电子株式会社 物体感测装置
US9019238B2 (en) 2010-03-24 2015-04-28 Samsung Display Co., Ltd. Object-sensing device
CN102200855B (zh) * 2010-03-24 2016-07-06 三星显示有限公司 物体感测装置
CN102419652A (zh) * 2010-09-27 2012-04-18 索尼公司 触摸检测器、显示单元、触摸位置检测方法和电子设备
CN102736789A (zh) * 2011-04-13 2012-10-17 索尼公司 显示面板、驱动其的方法、驱动电路及电子单元
CN102736789B (zh) * 2011-04-13 2017-03-01 株式会社日本显示器 显示面板、驱动其的方法、驱动电路及电子单元
CN104850255A (zh) * 2014-02-18 2015-08-19 日本电产理德股份有限公司 触控面板的触摸位置探测方法、触控面板检测方法及触控面板检测装置
CN109492706A (zh) * 2018-11-27 2019-03-19 微医云(杭州)控股有限公司 一种基于循环神经网络的染色体分类预测装置
CN110580690A (zh) * 2019-09-02 2019-12-17 杭州雄迈集成电路技术有限公司 一种识别峰值变换非线性曲线的图像增强方法

Also Published As

Publication number Publication date
US20090207145A1 (en) 2009-08-20
KR20090088317A (ko) 2009-08-19
TW200939096A (en) 2009-09-16
CN101510134B (zh) 2011-11-30
JP4626658B2 (ja) 2011-02-09
US8797275B2 (en) 2014-08-05
JP2009193329A (ja) 2009-08-27

Similar Documents

Publication Publication Date Title
CN101510134B (zh) 显示装置和摄像装置
CN108596124B (zh) 指纹识别面板、指纹识别方法及显示装置
CN108664895B (zh) 显示装置及其指纹识别方法
US20200279527A1 (en) Oled array substrate, oled display panel, pixel circuit, driving method and method for fingerprint recognition using oled display panel
US20180323243A1 (en) Array substrate, image collection method and display device
CN1333328C (zh) 具有光学输入功能的显示设备
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
CN109635537B (zh) 电子装置以及指纹感测方法
CN106326855B (zh) 指纹采集方法及模块、彩膜基板、显示装置
CN102445668B (zh) 圆片级发光二极管芯片检测方法、检测装置及透明探针卡
CN101688998B (zh) 显示设备
TWI475445B (zh) 用於使用陰影及反射模式的觸碰感應之方法及觸控面板系統
CN101903853B (zh) 图像拾取装置、显示及图像拾取装置和电子装置
CN206757648U (zh) 生物识别装置和电子装置
CN102081481B (zh) 传感器装置、驱动方法、显示装置、电子单元及摄像装置
TWI395170B (zh) 液晶顯示裝置
CN101135949B (zh) 成像和显示设备、信息输入设备、物体检测方法
CN109389025A (zh) 显示装置、电子装置及生物特征侦测方法
CN109119356B (zh) 阵列基板的检测设备及检测方法
CN107958185B (zh) 显示模组的生物特征信息感测方法
JP5111327B2 (ja) 表示撮像装置および電子機器
CN106022292A (zh) 显示装置及其指纹识别方法
CN101533323A (zh) 显示装置与位置检测方法
WO2018201693A1 (zh) 阵列基板、图像采集方法及显示装置
CN112418125A (zh) 显示面板、显示装置及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NIPPON DISPLAY CO., LTD.

Free format text: FORMER OWNER: SONY CORPORATION

Effective date: 20121122

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20121122

Address after: Aichi

Patentee after: Japan display West Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Sony Corporation

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111130

Termination date: 20190212

CF01 Termination of patent right due to non-payment of annual fee