CN101241411B - 包括通过光线从屏幕输入信息的功能的显示器 - Google Patents

Abstract

本发明提供一种包括通过光线从屏幕输入信息的功能的显示器。为了提高关于物体是否已接触屏幕的判定的准确度和提高物体的坐标位置的计算准确度，通过边缘检测电路76检测成像的图象的边缘，且通过使用边缘，由接触判定电路77判定物体是否已接触屏幕。另外，为了通过校准电路93与外部光相应地合适地控制光学传感器的灵敏度，根据与外部光相对应地变化的光学传感器的输出值改变光学传感器的驱动条件。

Description

包括通过光线从屏幕输入信息的功能的显示器

本申请是申请日为2006年1月27日的、申请号为“200610004646.2”的、发明名称为“包括通过光线从屏幕输入信息的功能的显示器”的发明专利申请的分案申请。

(1)技术领域

本发明涉及能用光线从屏幕输入信息的显示器。

(2)背景技术

近年来，液晶显示器被广泛地用于诸如蜂窝式电话和笔记本电脑之类的各种设备。液晶显示器包括：显示单元，该显示单元在多条相互交叉地布线的多条扫描线和多条信号线的各交叉点处具有像素；驱动扫描线的驱动电路和驱动信号线的驱动电路。各像素包括：薄膜晶体管、液晶电容器和辅助电容器。通常，在由玻璃制成的阵列基片上形成显示单元。由于近年来电路集成技术的发展，在阵列基片上也形成部分驱动电路变为可能，实现了整个液晶显示器的重量减少且最小化。

另外，如在日本专利公开号：2004-318819中所公开的，开发了一种将光学传感器设置在象素中，因此使得可以通过光从屏幕输入信息的显示器。

在此种显示器中，例如，将光电二极管用作光学传感器，并且在各像素中将电容器与光电二极管相连。然后，响应于在各光电二极管中接收到的光量的变化改变各电容器的充电量，检测电容器两端之间的电压，并因此产生成像的图像的数据。

随着如上所述的显示器的应用，提出了一种具有触摸屏功能和数字化仪功能的显示装置。触摸屏功能是通过检测诸如伸出在屏幕上的手指之类的物体所造成的阴影来输入信息。数字化仪功能是通过检测从诸如光笔之类的发光物体照射的光来输入信息。

然而，传统的包括光输入功能的显示器具有难以判定诸如手指和光笔之类物体是否已接触屏幕，并准确地计算物体的坐标位置。

尤其是在利用物体所造成的阴影的技术中，当周围环境暗时，不能准确地识别靠近屏幕的物体所造成的阴影，因而信息输入的准确度下降。另外，当周围环境太亮时，信息输入的准确度也下降。

另外，通过输入光所获取的成像的图像是二元单色灰度的图像，因此，在以二元方式判定从物体反射在屏幕上的光和其它光的情况下同使判定准确度有限。

本发明的一个目的在于提高判定物体是否已接触屏幕的准确度。

本发明的另一个目的在于提高计算物体在屏幕上的位置的准确度。

本发明的又一目的在于准确地以二元方式判定从物体反射到屏幕上的光和其它光。

(3)发明内容

根据本发明的第一方面的显示器包括：显示单元，配置成在屏幕上显示图像，并通过使用光学传感器对已靠近屏幕的物体成像；和传感器驱动单元，配置成根据光学传感器的输出值的统计量改变光学传感器的驱动条件，显示单元配置成在屏幕上显示一个使物体靠近的第一区域，且传感器驱动单元根据设置在屏幕上的第二区域中的光学传感器的输出值的统计量改变驱动条件，第二区域不同于使物体靠近的第一区域。

在本发明的此方面中，根据随外部光而变化的光学传感器的输出值改变光学传感器的驱动条件，从而使得可以合适地控制光学传感器的灵敏度。

根据本发明的第二方面的显示器包括：包括多个象素的象素区；为各象素设置的光学传感器元件；和配置成将要判定的值、基于各象素的多灰度级数据的值和阈值的大小相互比较的预定单元，所述多灰度级数据对应于由光学传感器元件所接收到的光强。

在本发明的此方面，将与由光学传感器元件接收到的光强相对应的各象素的多灰度级数据用于从物体反射到屏幕上的光和其它光的二元判定，从而使得可以设定一个用于执行准确判定的阈值。这样，可以提高判定准确度。

(4)附图说明

图1为示出第一实施例中的显示器的结构的平面图。

图2为示出显示器的显示单元的结构的横截面图。

图3为示出设置在显示单元中的象素的结构的电路图。

图4为示出象素中的光学传感器系统的结构的电路图。

图5为示出显示器的操作的时间图。

图6为示出显示器中的检测IC的结构的电路框图。

图7为示出检测IC中的数据处理单元的电路框图。

图8A示出当手指未接触屏幕时在曝光期间时间t1-t3时手指和屏幕之间的位置关系，图8B示出调制/二元化之后成像的图像，图8C示出边缘图像，而图8D示出边缘的坐标。

图9A示出当手指已接触屏幕时在曝光期间时间t1-t3时手指和屏幕之间的位置关系，图9B示出调制/二元化之后成像的图像，图9C示出边缘图像，而图9D示出边缘的坐标。

图10为示出第二实施例中的检测IC的结构的电路框图。

图11示出图10的检测IC中的调制电路中的处理的一个例子。

图12示出图10的检测IC中的帧间差值处理电路中的处理的一个例子。

图13示出图10的检测IC中的边缘检测电路中的处理的一个例子。

图14示出手指接触屏幕前一刻的多灰度级图像。

图15示出当手指接触屏幕的一刻的多灰度级图像。

图16为示出图14的图像的灰度值的三维图形。

图17为示出图15的图像的灰度值的三维图形。

图18示出通过将图14的图像二元化所形成的图像。

图19示出通过将图15的图像二元化所形成的图像。

图20示出图14的图像和图15的图像之间的差值图像。

图21为示出图20的图像的灰度值的三维图形。

图22示出通过将图20的图像二元化所形成的图像。

图23示出在亮的环境下手指接触屏幕前一刻的多灰度级图像。

图24示出在亮的环境下当手指接触屏幕的一刻的多灰度级图像。

图25为示出图23的图像的灰度值的三维图形。

图26为示出图24的图像的灰度值的三维图形。

图27示出通过将图23的图像二元化所形成的图像。

图28示出通过将图24的图像二元化所形成的图像。

图29示出通过检测图23的图像的边缘所形成的图像。

图30示出通过检测图24的图像的边缘所形成的图像。

图31为示出图29的边缘图像中的边缘亮度的三维图形。

图32为示出图30的边缘图像中的边缘亮度的三维图形。

图33示出通过将图29的图像二元化所形成的图像。

图34示出通过将图30的图像二元化所形成的图像。

图35示出通过第三实施例的显示器在屏幕上显示的像图模式。

图36为示出第三实施例的显示器中的检测IC的结构的电路框图。

图37为示出白象素和曝光时间的比之间的关系的图。

图38为对各开关总结白象素数的随时间变化的特征的图。

图39示出用于通过使用差值图像和边缘图像由接触判定电路和坐标计算电路计算接触标记和坐标数据的结构和算术处理的流程的配置。

图40为示出差值区域校正电路中的输入和输出之间的关系的图。

图41为示出当环境光为暗时的边缘图像的图。

图42为示出当环境光为亮时的边缘图像的图。

图43是示出接触判定状态机器状态、其转换路径和转换条件的图。

图44为示出在黑背景上显示白开关的屏幕的图。

图45为示出对于图44的屏幕S/N比和照度之间的关系的图。

图46为示出在白背景上显示黑开关的屏幕的图。

图47为对于图46的屏幕S/N比和照度之间的关系的图。

图48示出在图44的白开关的内部提供黑色区域的屏幕。

图49为示出对于图48的屏幕S/N比和照度之间的关系的图。

图50示出图44的屏幕的另一修改例子。

图51示出图44的屏幕的又一修改例子。

图52示出图44的屏幕的再一修改例子。

图53示出接触判定的处理的流程。

图54为示出当外部光的照度为200lx时靠近程度和时间之间的关系的图。

图55为示出当外部光的照度为1000lx时靠近程度和时间之间的关系的图。

图56为示出当外部光的照度为200lx时边缘亮度和时间之间的关系的图。

图57为示出边缘亮度和当外部光的照度为1000lx时的时间之间的关系的图。

图58A示意地示出其中设有显示器的机壳的侧视图，图58B示意地示出机壳的平面图，而图5C示意地示出显示器的平面图。

图59为用于说明从灰度信息计算校正量的技术的示意图。

图60为示出坐标X和平均灰度值G(X)之间的关系的图。

图61示出在根据整个屏幕的光学传感器的输出值输出平均值的情况中的屏幕。

图62示出在使用整个屏幕的光学传感器的情况下的灰度直方图。

图63示出根据在屏幕的上部分上开关以外的区域光学传感器的输出值输出平均值的情况中的屏幕。

图64示出在将光学传感器用于屏幕的上部分中的开关以外的区域中的情况中的灰度直方图。

图65示出在手指靠近之前和之后灰度平均值随时间的变化。

图66示出在设置用于屏幕的上部分的左边区域中的校准的区域的情况中的屏幕。

图67示出在设置用于屏幕的上部分的右边区域中的校准的区域的情况中的屏幕。

图68为用于说明调制电路中的象素疏化处理的图。

图69示出手指靠近前灰度直方图中的平均值和中值。

图70示出手指靠近后灰度直方图中的平均值和中值。

图71示出其中设定了预充电电压、曝光时间、中值的最小值及中值的最大值的表格。

图72为其中将图71的表格图形化的图。

图73为示出预充电电压和曝光时间之间的关系的图。

图74为示出用于通过线性搜索方法设置曝光时间和预充电电压的处理的流程的流程图。

图75是示出用于通过二元搜索方法设置曝光时间和预充电电压的处理的流程的流程图。

图76是示出光学传感器的结构的电路图。

图77是示出判定比较器的可变参考电压值的算术电路的所设置的位置的平面图。

图78是示出第十一实施例中的显示器的示意结构的方框图。

图79是图78中所示的显示器的横截面图。

图80示出图78中所示的显示器的屏幕的部分放大的区域中的光学传感器元件的敏感度。

图81示出当图78中所示的显示器获取图像时第一成像条件的例子。

图82是示出图81中所示的成像条件的例子中成像的一幅图像。

图83是示出通过多灰度级数据示出图82的图象的图。

图84示出当图78中所示的显示器获取图像时第二成像条件的例子。

图85是第十四实施例中的显示器的横截面图。

图86是通过多灰度级数据所显示的由图85的显示器成像的成像结果的图。

(5)具体实施方式

图1是示出本实施例中的显示器的结构的平面图。本附图中的显示器包括：在由玻璃制成的阵列基片1上所形成的显示单元2、柔性基片3、在柔性基片3上形成的检测集成电路(IC)4和显示IC5、检测IC 4的接口(I/F)6和显示IC的接口7。

在显示单元2中，布线多条信号线和多条扫描线使它们相交，并在各交点上设置象素。显示单元2包括根据通过显示接口7和显示IC5从主机方CPU发送的视频信号显示图像的显示功能、成像靠近屏幕的外部物体的图像的光输入功能、和通过检测IC 4和检测接口6将成像的图像发送至主机的功能。检测IC 4执行用于成像图像的处理，并通过检测接口6将处理的结果发送至主机方CPU。显示IC 5控制显示处理。

图2为示出显示单元2的结构的横截面图。在阵列基片1中，在象素中形成光学传感器8等，并形成绝缘层9以覆盖光学传感器8等。液晶层11在由玻璃制成的阵列基片1和与其相对而设的反基片12之间的间隙中形成。背光灯13设置在反基片12的外部。没有被诸如手指之类的物体20遮住的外部光和在物体20上所反射的光入射到光学传感器8上。

图3为示出象素的结构的电路图。在显示单元2中，有规则地设置了红(R)、蓝(B)和绿(G)的象素。作为显示系统31，各象素包括：开关元件33、液晶电容器LC和辅助电容器CS。在此附图中，标号Gate(m)表示扫描线，标号Sig(n)表示信号线，而标号CS(m)表示辅助电容器线。开关元件33属于MOS型，其栅极与扫描线连接，其源极与信号线连接，而其漏极与辅助电容器CS和液晶电容器LC连接。辅助电容器CS的另一端与辅助电容器线CS(m)连接。

当传送至扫描线的扫描信号接通开关元件33时，将通过信号线从主机方CPU传送的视频信号通过开关元件33给予辅助电容器CS和液晶电容器LC，并用于显示。

显示单元2包括用于每一组三象素R、G和B的光学传感器系统32。光学传感器系统32包括：光学传感器8、传感器电容器37、输出控制开关34、源输出放大器35和预充电控制开关38。这里，PIN型光电二极管用作光学传感器8的一个例子。

光学传感器8和传感器电容器37并联连接。这些光学传感器8和传感器电容器37通过源输出放大器35和输出控制开关34连接至用于红色的信号线Sig(n)，并通过预充电控制开关38连接至用于蓝色的信号线Sig(n+2)。

输出控制开关34的通-断由控制线OPT(m)上的信号控制，而预充电控制开关38的通-断由控制线CRT(m)上的信号控制。

接着，说明光学传感器8的工作。例如，通过预充电控制开关38从用于蓝色的信号线将4V的电压预充至传感器电容器37。当在预定曝光时间期间响应于入射到光学传感器上的光量在光学传感器8中产生漏电流时，传感器电容器37的电位改变。当漏电流小时传感器电容器37将其电位维持在大约4V，而当漏电流大时将其电位降到大约0V。同时，将用于红色的信号线预充电至5V后，输出控制开关34接通，且源输出放大器35接通至用于红色的信号线。传感器电容器37被连接至源输出放大器35的栅极。因此，当传感器电容器37的剩余电压保持在例如4V时，源输出放大器35接通，且用于红色的信号线的电位从5V向0V变化。当传感器电容器37的剩余电压为0V时，源输出放大器35关断，且用于红色的信号线的电位保持在5V很难改变。

如图4的电路图中所示，比较器41将用于红色的信号线的电位与参考电源40的参考电压相互比较。当信号线的电位大于参考电压时，比较器41输出一个高电平信号，而当信号线的电位小于参考电压时，比较器41输出一个低电平信号。

以此方式，比较器41在光学传感器8检测到比预定值更亮的光时输出高电平信号，而在光学传感器8检测到比预定值暗的光时输出低电平信号。比较器41的输出被传送至检测IC4。

图5为示出显示器的工作的时间图。在此附图中，对于各行(各扫描线)，在上部显示出显示器系统的时间图，并在下部显示出成像系统的时间图。如本附图中所示，在显示器系统中完成视频信号写入象素后经过固定空白周期以后显示器在固定曝光时间将物体成像在屏幕上。曝光时间是可变的。在空白周期内，传感器电容器37预充电。

图6为示出检测IC的结构的电路框图。本附图中的检测IC包括：调节信号的电压用于与显示单元2交换信号的电平移动器61、处理来自比较器41的输出信号的数据处理单元62、临时存储数据的随机存取存储器(RAM)63、在对信号线预充电的情况下输出预充电电压的数字模拟转换器(DAC)64。

图7为示出数据处理单元62结构的电路框图。数据处理单元62包括：行存储器71、定时发生电路72、缺陷校正电路73、调制电路74、二元化电路75、边缘检测电路76、接触判定电路77、坐标计算电路78、输出寄存器79和阈值寄存器80。

行存储器71临时存储通过电平移动器61从上述比较器41作为成像数据发送的用于多行的二元信号。

缺陷校正电路73包括根据其相邻的象素的值校正各象素的值的滤波器。例如，将中值滤波器用作该滤波器。缺陷校正电路73根据由定时发生电路72所产生的定时进行操作。可以省略该缺陷校正电路73。

调制电路74通过取各象素的相邻象素的平均值来计算多灰度级的灰度值，从而取得一个多灰度级图像。这里，相邻定义成所关注象素周围1.5mm²-6mm²的区域。当该区域的大小太小时，噪声增加，而当该区域的大小太大时，读取的图像过于平滑化，使得以后很难执行边缘检测。注意此处理还包括缺陷校正的影响。另外，虽然可以对所有象素的每一个计算区域灰度，但不可保存所有灰度值，不过可以保存以预定间隔疏化的灰度值。具体来说，当原始二元图像的大小为240×320×1位时，灰度图像被制成没有240×320×8位，而可以被疏化成15×20×8位。疏化比取决于诸如手指之类的指示元件的厚度和传感器间距。在手指为约1cm宽的成人手指且象素间距为0.15mm的例子中，灰度图像的大小可约为15×20×8位(等于横向地和水平地疏化成1/16)。

二元化电路75通过使用主机方CPU所给予的阈值将多灰度图像二元化。对于该阈值，使用预存在阈值寄存器80的一个。

边缘检测电路76从成像图像检测多个边缘。例如将拉普拉斯(Laplacian)滤波器用于边缘检测(详见第二实施例)。

当物体已接触屏幕时，成像的图像中的接触部分和非接触部分的空间变化变得明显。相应地，接触判定电路77通过使用检测到的边缘判定该物体是否已接触屏幕。具体来说，调查各边缘的移动方向，并且结果，当存在在相反方向上移动的边缘时，判定该物体已接触屏幕。在此情况下，当在反方向上的各移动量大于或等于预定阈值时判定该物体已接触屏幕，从而使得可以提高判定的准确度。

当接触判定电路77判定物体已接触屏幕时，坐标计算电路78通过使用由边缘检测电路76所检测到的边缘计算物体的坐标位置。例如获取边缘的重心以具体地计算坐标位置。

输出寄存器79包括：存储根据重心的计算结果所获取的物体的坐标位置的寄存器、和存储接触判定电路77的判定结果的寄存器。然后，输出寄存器79根据来自主机方CPU的请求或在预定定时将坐标位置和预定结果输出至主机方CPU。

阈值寄存器80存储用于二元化电路75中的阈值和用于接触判定电路77中的阈值。存储从主机方CPU发送的阈值作为这些阈值。

接着，通过使用图8和图9说明边缘检测和接触判定的例子。图8示出在手指未接触屏幕的情况下在曝光期间时间t1-t3时的状态。图8A示出手指和屏幕之间的位置关系。图8B示出调制/二元化之后成像的图像。图8C示出边缘的图像。图8D示出边缘的坐标。图8D示出图8C在时间t1所显示的轮廓线P相交的两个边缘的坐标随时间的变化。同时，图9示出在手指以与图8类似的方式接触屏幕的情况下的状态。然而，在图9中，手指在时间t2与屏幕接触。

如图8D中所示，当手指不接触屏幕时，很难改变两个边缘的坐标之间的距离。与此相反，如图9D中所示，当手指已接触屏幕时，手指纵向和横向地膨胀，因此，该两个边缘沿相反的方向上移动。因此，在接触判定电路77中，当检测到边缘沿相反的方向上移动时，判定手指已接触屏幕。

如上所述，根据此实施例，当物体已接触屏幕时，成像的图像中的接触部分和非接触部分的空间变化变得明显。相应地，通过使用成像的图像检测边缘识别出接触部分和非接触部分之间的边界。然后，通过将该边界用于接触判定，实现接触判定的准确度的提高。具体来说，由边缘检测电路76检测成像的图像的边缘，并当存沿相反方向上的移动的边缘时，由接触判定电路77判定该物体已接触屏幕。除非物体接触屏幕，边缘不沿相反的方向上移动，并因此，可以提高接触判定的准确度。

根据本实施例，当判定物体已接触屏幕时，通过使用检测到的边缘由坐标计算电路78计算物体的位置坐标。因此，当物体不接触屏幕时，不计算坐标位置。因此，可以提高位置坐标的计算准确度。在计算坐标位置的情况下，计算边缘的重心作为坐标位置，从而使得可以精确地计算坐标位置。

本实施例中的接触判定的技术可以单独使用或与其它判定技术结合使用。例如，当如图9B的时间t2所示，当手指已接触屏幕时，在物体的重心部分中白色象素增加。相应地对白色象素数量计数，并当该数量达到预定阈值时，可以进一步判定手指已接触屏幕。以此方式，可以进一步提高接触判定的准确度。

另外，当物体正接触屏幕时，如图9D的时间t2所示，边缘的坐标变成常数，而重心的坐标也变成常数。因此，当边缘的坐标和重心的坐标中至少一个变成常数时，可以进一步判定物体已接触屏幕。同样在此情况下，可以进一步提高接触判定的准确度。

第二实施例

在此实施例中，只有检测IC的结构与第一实施例中的不同，而显示器的基本结构与第一实施例中的相似。因此，这里只对检测IC进行说明。省略与第一实施例中相似的其它部分的重复说明。

图10为示出本实施例中的检测IC中的数据处理单元的结构的电路框图。此图中的数据处理单元包括：调制电路81、帧间差值处理电路82、存储器83、边缘检测电路84、接触判定电路85和坐标计算电路86。注意，第二实施例与第一实施例的相似之处在于检测IC包括电平移动器61和DAC 64以及数据处理单元。

调制电路81将从使用图4所述的比较器41传送的二元图像转换成多灰度级图像。相对于该转换技术，例如如图11所示，为其周围的12×12象素的正方区域中的各象素取由0和1组成的二元数据的和，并获取范围从0-144的多灰度级值。另选地，可以在16×16象素的正方区域中获取范围从0-256的多灰度级值。建议考虑在检测IC的内部所提供的存储区域决定一个合适的多灰度级的值。

另外，在显示单元2中，可以通过模拟信号输出成像的图像的数据，并且可以通过调制电路81中的A/D转换将该模拟信号转换成多灰度级的数字信号。注意，即使使用象第一实施例中那样疏化的灰度图像，其在下面的处理中的影响也小。建议考虑在检测IC内部提供的存储区的设置效率决定一个合适的疏化值。

帧间差值处理电路82计算当前帧中的多灰度级图像和存储在存储器83中的过去帧的多灰度级图像之间的差值，并输出差值的图像。

在获取例如图12中所示的差值图像的情况下，在任意时间t1从多灰度级图像的灰度值减去前一帧的多灰度级图像的灰度值。注意，在此图中，将时间t时坐标(x，y)处的灰度值表示成F(x，y，t)。除此之外，当为每一帧改变象素的驱动电压的极性时，为了消除其影响，可以取一帧的多灰度级图像和前两帧的多灰度级图像之间的灰度值的差值。这样，每两帧从传感器输出数据，并减少了输出的次数。相应地，可以减少功耗，并可以使电池用得更久。另外，在取偶数帧中的多灰度级图像中的平均值和奇数帧中的多灰度级图像中的平均值后，可以取所述平均值之间的差值。

边缘检测电路84从各帧的多灰度级图像检测边缘(灰度的空间变化大的部分)，并输出该边缘的图像。

在如图13中所示的检测边缘的情况下，使用拉普拉斯滤波器，它将从通过将所关注象素的灰度值乘四后减去与所关注象素垂直和水平相邻的四个象素的灰度值所获得的结果用作任意象素的灰度值。除此以外，可以使用诸如Sobel滤波器和Roberts滤波器之类的熟知的滤波器。

另外，要经受算术运算的象素不限于与任意象素垂直和水平相邻的象素，也可以是与其沿对角线相邻的象素。另外，为了防止对噪声的敏感反应，可以使用从任意象素垂直地、水平地和对角地离开几个象素的象素。建议用于滤波器处理中的象素的范围超过诸如手指之类的指示元件的阴影。当指示元件的阴影的宽度为W时，建议用于滤波器处理中的象素离开所关注象素W/2或以上。象素不必离开所关注象素W或以上。例如，在使用成人手指(具有约1cm的宽度)用于输入的情况下，建议象素的范围为离所关注象素5mm或以上。不必将该范围增加至1cm以上。

另外，在边缘检测电路84中，在边缘检测的情况下，可以使用由调制电路81输出的多灰度级图像或由帧间差值处理电路82取差值后的多灰度级图像。可以通过使用疏化后的灰度级图像来进行该处理。

接触判定电路85通过使用以上述方式所获得的差值图像和边缘图像及原始的多灰度级图像中的至少一个来判定物体是否已接触屏幕。当物体已接触屏幕时，在成像的图像上显示物体的区域加宽，并且，相应地，接触判定电路85通过利用这种加宽现象进行判定。例如，在使用差值图像的情况下，通过预定阈值将差值图像二元化提取显示物体的区域，并当该区域的面积达到预定阈值或以上时，接触判定电路85判定该物体已接触屏幕。同时，在使用边缘图像的情况下，通过预定阈值二元化边缘图像来提取显示物体的区域，并当该区域的面积已达到预定阈值或以上时，接触判定电路85判定该物体已接触屏幕。

当判定该物体已接触屏幕时，坐标计算电路86通过使用差值图像、边缘图像和原始多灰度级图像中至少一个来计算物体的坐标位置。例如，在使用差值图像或边缘图像的情况下，坐标计算电路86计算通过上述处理所获得的面积已达到预定阈值或以上的区域的重心作为物体的位置坐标。

上述调制电路81、帧间差值处理电路82、存储器83、边缘检测电路84、接触判定电路85和坐标计算电路86可以通过使用ASIC和DSP实现，另外，还可以与显示IC 5集成在一起。

下面，在与对比例子分别比较的同时说明帧间差值处理电路82和边缘检测电路84的处理结果。

图14和图15示出在几百勒克斯照度的暗环境下当用手指接触屏幕中心附近时作为调制电路81的输出所获取的多灰度级图像的两个例子。图14示出当手指接触屏幕一刻前的两帧的图像，而图15示出当手指接触屏幕一刻的图像。图16和图17显示图14和图15的各个图像中的灰度值在三维图形上的分布。

从图17可以理解，当灰度值在手指接触的一点上变成最小时，图像的灰度值改变并且由于光学传感器的属性变化而给出面内梯度，环境光本身的照度分布的梯度。

图18和图19单独示出当通过预定阈值二元化图14和图15的图像时的图像。在图18中，虽然手指没有接触有关区域却错误地检测到接触区域。在图19中，错误地将手指没有接触的区域检测为接触区域。这些显示出有必要严格设置阈值。然而，当周围环境变暗时，变得更难设置阈值。

与此相反，图20示出其中在由帧间差值处理电路82在帧之间取差值的差值图像，而图21在三维图形中显示图20的灰度值。存在一个当手指接触屏幕时的一刻阴影迅速变暗的特征。因此，在此刻的差值变成最小。图22示出通过预定阈值将图20的图像二元化所获取的图像。通过取差值来补偿灰度值的变化和梯度。因此，手指的接触部分和非接触部分明显相互区别，可看到准确地提取到接触区。

图23和图24示出在具有几百勒克斯照度的环境下当手指尖接触屏幕中心时作为调制电路81的输出的而获得的多灰度级图像的例子。图23示出当手指接触屏幕前的一刻两帧的图像。图24示出当手指接触屏幕的一刻的图像。图25和图26分别示出图23和图24中的灰度值在三维图形上的分布。

图27和图28分别示出当通过预定阈值将图23和图24的图像二元化时所形成的图像。在图27中，虽然手指不接触有关区域而错误地检测到接触区域。在图28中，虽然指尖仅仅接触到屏幕的中心，却将手指根方向的扩展的区域错误地检测为接触区域。这些也显示出有必要严格地设置阈值。然而，当周围环境变亮时，变得很难设置阈值，因为阴影图像是黑的并且由于光学传感器的窄动态范围而趋向于形状的压缩。

与此相反，图29和图30分别示出通过边缘检测电路从图23和图24的图像检测边缘所形成的图像。这里，使用拉普拉斯滤波器。图31和图32分别示出图29和图30的各图像中的边缘亮度的三维图形。存在一个当手指接触屏幕时阴影和环境光之间的边界变得明显而当手指不接触屏幕时由于光的衍射边缘变得模糊的特征。因此，在图32中，观察到比图31更大的峰值。就检测手指的接触区域而言这一点是有利的。图33和图34分别示出通过预定阈值将图29和图30的图像二元化所形成的图像。见图34的二元化图像，可看到准确地提取到指尖所接触的部分。

如上所述，根据本实施例，当物体已接触屏幕时接触部分增加。因此，通过边缘检测电路84检测边缘，通过接触判定电路85从边缘图像提取显示物体的区域，并当有关区域的面积已达到预定阈值或以上时判定物体已接触屏幕，从而使得可以提高接触判定的准确度。

根据本实施例，当检测到物体的接触时，计算该面积已达到预定阈值或以上的边缘图像中的区域的重心作为物体的位置坐标，从而使得可以提高坐标位置的计算精度。

根据本实施例，当物体已接触屏幕时成像的图像中出现临时变化。因此，通过帧间差值处理电路82获取当前帧的多灰度级图像和过去的帧的多灰度级图像之间的差值图像，从而根据成像的图像的临时变化识别接触部分和非接触部分之间的边界，且该边界用于接触判定，从而使得可以提高接触判定的准确度。

根据本实施例，当物体已接触屏幕时接触部分的面积增加。因此，通过使用差值图像由坐标计算电路86提取显示物体的区域，并当该区域的面积已达到或超过预定阈值时，判定该物体已接触屏幕，从而可以提高接触判定的准确度。

根据本实施例，当检测到物体接触时，由坐标计算电路86计算面积已达到预定或超过阈值的差值图像中的区域的重心作为物体的位置坐标，从而使得可以提高坐标位置的计算精度。

根据本实施例，可以通过帧间差值处理提高在暗环境下的接触判定和坐标计算的准确度，并通过边缘检测处理提高在亮的环境下的接触判定和坐标计算的准确度。

另外，可以从由调制电路81输出的多灰度级图像掌握环境光的亮度，并相应地，一直监视多灰度级图像，并且可以通过接触判定电路85在环境光为暗的情况下和环境光为亮的情况下根据多灰度级图像的灰度值自动在帧间差值处理和边缘检测处理之间切换。可以将与以上类似的处理应用于此情况下的坐标位置的计算。

例如，将通过差值图像进行的接触判定的结果和的坐标计算的结果定义成更可能在暗环境下发生，并将通过边缘图像进行的接触判定的结果和的坐标计算的结果定义成更可能在亮环境下发生。

第三实施例

同样在本实施例中，只有检测IC与第一实施例的不同，而显示器的基本结构与第一实施例中的相似。因此，这里只对检测IC进行说明。省略与第一实施例中相似的其它部分的重复说明。

在本实施例的显示器中，如图35中所示，假设第一至第十二开关显示在屏幕上并判定手指20已接触了哪个开关。

图36为示出本实施例的检测IC 90的结构的电路框图。此图中的检测IC 90包括：电平移动器91、调制电路92、校准电路93、数字模拟转换器(DAC)94、计数电路95、帧间差值处理电路96、边缘检测电路97、接触概率计算电路98和随机存取存储器(RAM)99。

电平移动器91基本与使用图6所述的电平移动器61相似。

调制电路92将从通过用图4描述的比较器41传送的二元图像转换成多灰度级图像。此转换的技术与图10的调制电路81中的相似。

校准电路93将成像的图像中的白色象素计数，并输出一个控制信号使所有象素中的30-70％可以是白色的。接收到该控制信号的DAC 94和电平移动器91调节曝光时间和预充电时间。具体来说，当输出的白象素的数量增加至70％时，缩短曝光时间或升高预充电电压，从而将白象素的数量返回至约50％。同时，当输出的白象素的数量降低至30％时，加长曝光时间或下降预充电电压，从而将白象素的数量返回至约50％。如上所述，将白象素的数量设置成所有象素的30-70％，从而中可以使光学传感器的响应更灵敏，如图37所示。

计数电路95对屏幕上所显示的各象素的白象素的数量计数，并为各开关保存一个计数值。另外，计数电路95计算并保存当前第n帧中的计数值和过去第n-1帧中的计数值之间的差值。当在相应的开关中的差值中的最大值达到预定阈值时，计数电路95输出一个指示手指已接触有关开关的结果的信号作为概率计算的候选。如图38中所示，当手指已接触特定开关(本图中为第5开关)时，虽然在其它开关中以联锁的方式也出现经受差值计算的图像之间的灰度变化，灰度变化在由手指实际接触的开关中变得最为激烈。因此，设置上述最大差值，以经受判定，从而提高判定的准确度。计数电路95的输出信号被发送至概率计算电路98。

帧间差值处理电路96通过取当前帧的多灰度级图像和存储在RAM 99中的上一帧中的多灰度级图像之间的差值，将差值图像二元化以提取显示物体的区域，计算区域的重心和输出指示手指已接触位于重心的开关的结果的信号作为概率计算的候选来获取差值图像。获取差值图像的技术与第二实施例相似。

边缘检测电路97计算各帧的多灰度级图像的边缘的强度(灰度的空间变化的大小)，计算灰度值等于或超过预定阈值的边缘的重心，并输出一个指示手指已接触位于有关重心的开关的结果的信号作为概率计算的候选。计算边缘的技术与第二实施例的相似。另外，将校准完成时的多灰度级图像预先存储在存储器中，并从通过从最新的多灰度级图像减去预先存储的多灰度级图像所新获得的多灰度级图像检测边缘也有效。这是因为以该方法可以抵消传感器的属性变化所引起的成像不均匀，并能只裁剪出真正由手指形成的边缘。

接触概率计算电路98根据分别从计数电路95、帧间差值处理电路96和边缘检测电路97输出的信号计算各开关的接触概率。例如，将10分给予由各电路95、96和97判定为手指接触的各开关，并将给予其它开关的分数设置为0。例如，当接触概率计算电路98从电路95、96和97中的每一个接收一个手指很有可能接触第5开关的结果的信号时，第5开关共获取30点，且其它开关获取0分。因此，将第5开关的接触概率计算为30/30×100(％)＝100％，并将其它开关的接触概率计算成1/30×100(％)＝0％。作为另一例子，当接触概率计算电路98从电路95、96中的每一个接收一个手指已接触第5开关的结果的信号且接触概率计算电路98从电路97接收到一个手指已接触第6开关的结果的信号时，第5开关共获取20点，第6开关获取10点，而其它开关获取0点。因此，接触概率计算为：第5开关67％；第6开关33％；其它开关0％。

然后，当进行设置使接收接触概率计算电路98的输出的主机方CPU能只有接触概率为100％时判定手指已接触屏幕，可以实现接触判定的准确度非常高的系统。同时，当进行设置使主机方CPU能即使在接触概率为67％时判定手指已接触屏幕时，能实现具有好的响应度的系统。前者可以应用于要求可靠度的银行ATM的应用。后者可以应用于可靠度的要求不是非常高的游戏等的应用。

如上所述，根据本实施例，通过相互不同的技术从计数电路95、帧间差值电路96和边缘检测电路97输出指示物体已接触开关的信号，并且接触概率计算电路98根据该信号为各开关计算接触概率，从而使得可以为各开关提供高可靠度的接触概率。因此，使得可以进行与系统所要求的可靠度相应的精确和灵活的接触判定和坐标计算。

根据本实施例，校准电路93输出控制光学传感器的操作的控制信号，使得白象素的数量可以是所有象素的30-70％。以此方式，可以使光学传感器的响应很灵敏，从而有助于精确的接触判定和坐标计算。校准电路93可以相似的方式应用于第一实施例和第二实施例。

注意，在上述各实施例中，通过以人的手指已接触屏幕为例进行了说明；然而，本发明不限于此。具有附加于其的诸如LED之类的光源的光笔也可以用作接触屏幕的物体，或可以使用白色吉祥物。另外还可以使用具有金属镜面的金属件或笔套。

第四实施例

本实施例中的显示器的基本结构与第一实施例的相似，另外检测IC的基本结构与第二实施例中使用图10所述的相似；然而，接触判定电路85和坐标计算电路86的内部结构及其执行的处理与第二实施例的不同。因此，这里只说明这些点，并省略与第一和第二实施例相似的其它部分的说明。

图39示出用于通过使用差值图像和边缘图像由接触判定电路85和坐标计算电路86计算接触标记和坐标数据的结构和算术处理的流程。接触标记和坐标数据的算术运算可以通过专用的ASIC并行地执行，或者可以通过使用CPU、DSP等依次执行。

在本实施例中，接触判定电路85配置成包括差值面积计算电路101、差值面积校正电路102、差值面积存储电路103、差值坐标计算电路104、差值坐标存储电路105、边缘强度计算电路106、边缘强度存储电路107、接近/分离度计算电路111、坐标间距离计算电路112、边缘强度变化计算电路113、边缘坐标变化计算电路114、比较器115a-115e和接触判定状态机器116。

坐标计算电路86配置成包括阈值校正计算电路108、边缘坐标计算电路109、边缘坐标存储电路110。寄存器100a-100j用于存储各种阈值和参考值。

差值面积计算电路101对差值图像的灰度值大于或小于预定阈值的象素总数计数，并输出其结果作为差值面积。此对应于当由于手指、光笔等的动作在成像的图像中出现改变时，获得其区域的面积。例如，在手指的例子中，当手指靠近面板时，手指切断周围环境光，相应地与其相应的部分变暗，且差值图像常具有负值。因此，通过合适地设置用于差值面积计算电路101中的阈值，可以计算手指靠近的部分的面积。

注意，也可以用根据其中差值图像的灰度值大于或小于预定阈值的各象素的灰度值和阈值计算加权系数并累加该加权系数的电路来代替差值面积计算电路101。例如，最好将与灰度值和阈值的差值成正比的数用作加权系数。当然，可以使用灰度值和阈值的差值本身。在此情况下，输出的累加值变成取决于移动部分的大小和运动速度的量。然而，这里采用差值面积计算电路101。

例如，当在显示器从室内到户外时的一刻周围环境光迅速改变时，差值面积计算电路101输出一个大的差值面积值。因此，为了从要识别的物体(例如手指)的运动区分上述差值面积值，必需校正差值面积。

差值面积校正电路102是用于上述目的电路，它预置一个要识别的物体的面积的参考值，并当差值面积超过参考值时，将差值面积校正成小于其原始值的值。作为一种校正的技术，例如如图40中所示，当输入的差值面积超过参考值时，差值面积校正电路102执行算术运算以与差值面积和参考值之间的差值成正比地减少校正后的差值面积，并输出该算术运算的结果。

将因此而获得的若干帧校正后的差值面积值预先存储在差值面积存储电路103中，并用于判定下述有关物体的靠近/分离。对于例如差值面积存储电路103，使用移位寄存器。

差值坐标计算电路104计算其中差值图像的灰度值大于或小于预定阈值时象素的位置坐标的平均值，并输出差值坐标作为平均值计算的结果。差值坐标具有表示图像的差值的中心的坐标的值，例如，当由于手指的靠近而出现有关差值时若干帧的。多个差值坐标存储在本图中的差值坐标存储电路中，并用于下述的接触判定。

另外，在差值坐标计算电路104中，除了上述技术以外，还可以通过对差值图像的灰度值大于或小于预定阈值的象素使用取决于灰度值和预定阈值之间的差值的加权系数进行重心计算来取得位置坐标。这与通过沿扫描线和信号线的位置坐标的加权系数的加权平均计算相对应。在此情况下，加权系数最好与灰度值和阈值之间的差值成正比。

边缘强度检测电路106是对差值图像的灰度值大于或小于预定阈值的象素累加灰度值和阈值之间的差值的电路。边缘强度电路106输出累加的值作为边缘强度。当诸如手指之类的物体靠近面板时，被物体切断周围环境光的部分及其周期之间的灰度差值增加。具体来说，边缘图像的灰度值的绝缘值增加。另外，当手指接触面板时，根据手指按到面板的方式手指所接触的部分的面积不同，相应地，边缘图像的灰度值的绝对值增加的面积也改变。因此，边缘强度用作指示诸如手指之类的物体和面板或物体的接触区域的尺寸和面板之间的距离的指标。若干帧的多个边缘强度存储在边缘强度存储电路107中，并用于下述接触判定。

在边缘强度计算电路106中，当它们是用于超过阈值的象素时累加灰度值和阈值之间的差值；然而，也可以累加由灰度值和阈值之间的差值所决定的加权系数。使用例如与灰度值和阈值之间的差值成正比的数作为加权系数。另外，对其中灰度值大于或小于预定阈值的象素的总数计数，并输出其结果作为边缘强度。然而，这里，按原样累加灰度值和阈值之间的差值。

边缘坐标计算电路109通过使用取决于灰度值和阈值之间的差值的加权系数对其中灰度值大于或小于预定阈值的象素计算坐标的重心，并输出其结果作为边缘坐标。边缘坐标表示被诸如手指之类的例如要识别的物体的接触的区域的中心坐标。若干帧的多个边缘坐标存储在边缘坐标存储电路110中，并用于下述接触判定，另外，最终还作为位置坐标输出。

最好将与灰度值和阈值之间的差值成正比的值用作用于计算重心的加权系数。另外还可以使用灰度值和阈值之间的差值本身，或可以不管灰度值和阈值之间的差多少都将加权系数设置为1。然而，这里将灰度值和阈值之间的差值本身用作加权系数。

另外，边缘坐标计算电路109可以计算其中灰度值大于或小于预定阈值的象素的位置坐标的平均值，并可以将其结果作为边缘坐标输出，来代替上述技术。

为了进一步提高位置坐标的准确度，阈值校正计算电路108根据边缘图像的灰度值的分布动态地改变边缘图像的阈值的处理是有效的。这是因为环境光暗的情况与环境光亮的情况之间的灰度差值大。图41示出如在室内当环境光暗的情况中的边缘图像，而图42示出当环境光亮的情况中的边缘图像。在这些附图中，标识R表示灰度值为88-69的象素，标号G表示灰度值为68-49的象素，而标号B表示灰度值小于等于48的象素。如图41中所示，当环境光暗时，图中遮挡环境光的部分和不遮挡环境光的部分之间的灰度差值不太大。然而，如图42中所示，当环境光和晴天时的户外一样非常亮时，灰度差值增加至非常大的程度。如上所述，边缘图像的灰度大小随着周围环境光而变化。因此，当阈值固定时，存在边缘坐标远离物体实际接触的部分的可能性。因此，例如，通过扫描边缘图像一次预先取得灰度值的频率分布中的最大值或最小值，并执行校正使得可以取最大值或最小值与预置阈值之间的平均值作为新的阈值。通过此校正，可以计算与接触部分相对应的准确的位置坐标。

靠近/分离程度计算电路111通过使用为过去的多个帧保存的在差值面积值和边缘强度值计算指示诸如手指之类的要识别的物体的靠近程度/分离程度的称为靠近/分离程度的值。具体来说，靠近/分离程度被定义成通过将下列两个值相乘所获得的值：第一个值通过从某帧的当前边缘强度减去前一预定帧的边缘强度取得；而第二个值是当前差值面积。例如，将从当前帧中的边缘强度减去前两帧的边缘强度所取得的值乘以当前帧中的差值面积，并将因此而获得的值定义成靠近/分离程度。另外，例如，将通过从当前帧中的边缘强度减去前一帧的边缘强度所取得的值乘以当前帧中的差值面积，并将因此而获得的乘积定义成靠近/分离程度。虽然最好将校正后的值作为差值面积，但也可以应用未经校正的差值面积。

在手指等靠近面板的一刻，边缘强度以及差值面积的值增加，相应地，靠近/分离程度具有正的峰值。同时，在手指等从面板离开的一刻，边缘强度以及差值面积增加，靠近/分离程度具有负的峰值。因此，通过相互比较合适地设置的正阈值和靠近/分离程度，可以掌握诸如手指之类的要识别的物体靠近面板时的时间。以相似的方式，通过比较合适地设置的负阈值和靠近/分离程度，可以掌握诸如手指之类的要识别的物体从面板离开时的时间。如图39中所示，这些比较算术运算的结果被输入至接触判定状态机器116，并能用于下述一系列的接触判定。

边缘强度变化计算电路113计算用作关于边缘强度在先前几帧的变化程度的指标的边缘强度变化值。边缘强度变化被定义成多帧中边缘强度值的最大值和最小值之间的差值。例如，从先前三帧中的边缘强度值，获取其最大值和最小值，并将通过从最大值减去最小值所取得的值定义成边缘强度变化。关于帧数，可以响应于成像的帧频和假设的手指等的接触时间来选择诸如4帧和5帧之类在先前的其它更合适的值。另外，可以不将边缘强度变化定义成最大值和最小值之间差值而定义成边缘强度的累加值本身或通过使用标准偏差值。

在手指等判定与面板接触并停住的时间段期间，边缘图像变得稳定，相应地，边缘强度变化变成小值。因此，通过将边缘强度变化与合适地设置的阈值相比较，可以判定诸如手指之类要识别的物体与面板接触并停住。如图39中所示，该比较算术运算的结果被输入接触判定状态机器116，并能用于下述一系列接触判定。

另外，边缘强度值本身变成如上所述的诸如手指之类的物体和面板或物体的接触区域的尺寸和面板之间的距离的指标。因此，通过将当前帧的边缘强度值与合适的阈值相比较，可以判定手指等的接触/非接触。上述比较算术运算的结果被输入接触判定状态机器116，并能用于下述一序列接触判定。

边缘坐标变化计算电路114计算边缘坐标变化值，作为过去几帧边缘坐标的变化程度的指标。具体来说，若干帧表示成边缘坐标的位置坐标被存储在边缘坐标存储电路110中，且边缘坐标变化计算电路114执行多个位置坐标的最大值和最小值与预定的阈值之间的差值的比较算术运算。例如，从过去四帧的边缘坐标分别为单个扫描线方向坐标和信号线方向坐标取得最大值和最小值，并从最大值减去最小值。关于帧数，可以响应于成像的帧频和假设的手指等的接触时间，选择先前其它更适合的值，例如三帧和五帧。另外，可以不将边缘坐标变化定义成最大值和最小值之间的差值，而通过使用标准偏差等。在手指等判定与面板接触并停住的时间段期间，边缘坐标变得稳定，相应地，边缘坐标变化变成小值。因此，通过将边缘坐标变化与合适地设置的阈值相比较，可以判定诸如手指之类要识别的物体与面板接触并停住。该比较算术运算的结果被输入接触判定状态机器116，并能用于下述一系列接触判定。

坐标间距离计算电路112计算差值坐标计算电路104使用差值图像所获取的位置坐标和边缘坐标计算电路109通过使用边缘图像所获取的位置坐标之间的距离(坐标间距离)。例如，坐标间距离计算电路112将处于三个定时的坐标(即诸如手指之类的物体靠近面板的时刻的差值坐标、当物体接触面板并停住的时刻的边缘坐标和当物体从面板分离的时刻的差值坐标)相比较，以计算坐标间距离，例如，物体靠近的位置和手指离开的位置之间的距离，和物体接触的位置(物体在该位置停住)和物体分开的位置之间的距离。可以通过上述对靠近/分离程度、边缘强度变化等的比较算术运算的结果掌握所述三个定时。因此，如果临时存储在这些时间的差值坐标和边缘坐标，就可以计算坐标间距离。例如，通过将预定阈值与手指靠近的位置和手指离开的位置之间的坐标间距离相比较，可以将坐标间距离用于区分手指的操作是手指按下的位置和手指离开的位置相同的“点击”操作，还是按下的位置和手指离开的位置相互不同的“拖放操作”。比较算术运算的结果被输入接触判定状态机器116，并能用于下述一序列接触判定。注意，在图39中，省略将各比较算术运算的结果输入内部距离计算电路112所通过的线以避免附图复杂。

接触判定状态机器116接收以下作为输入：至少一个靠近/分离程度的比较算术运算的结果、边缘强度变化的比较算术运算的结果、边缘坐标变化的比较算术运算的结果和坐标间距离的比较算术运算的结果；以及帧的当前状态，出现在当前状态中的帧数；和预置以对应于上述各状态的超时帧数。然后，接触判定状态机器116决定下一帧的状态。另外，接触判定状态机器116根据当前帧状态输出要识别的物体(例如手指)是否已接触面板的接触标记。注意，在图39中，因为附图变得复杂，指示当前状态的输入、经过的帧数、超时帧数等的线被省略。

图43示出状态机器116中的多个过渡状态、其间的过渡途径和过渡条件的一个例子。然而，为了防止复杂，图43不描述所有的过渡途径和条件。另外，还省略了通过超时的过渡。在图43的例子中，判定诸如手指之类的要识别的物体已接触面板用于“单击”操作，其中在接触面板上的某个位置一次并停住后，物体在同一位置从面板分离。状态机器116通过各状态(靠近状态、接触状态、分离状态和完成状态)显示接触判定的结果。

空闲状态是等待手指靠近的待机状态。当上述靠近/分离程度大于预置正阈值且边缘强度大于阈值时，判定手指已靠近面板，且过渡状态变成靠近状态。靠近状态是等待手指等接触面板的待机状态，后续的是其稳定化。

当边缘强度保持大于阈值，且边缘强度变化和边缘坐标变化变得小于分别设置的阈值时，判定手指等已肯定接触面板并已稳定，且将过渡状态变成接触状态。在接触状态中，等待手指等的离开的开始。

当边缘强度变得小于阈值时，判定手指等开始从面板离开，并将过渡状态变成分离状态。分离状态是等待手指完成分开的待机状态。当靠近/分离程度小于负阈值，且为手指靠近时的坐标与手指离开时的坐标之间的距离的坐标间距离小于阈值时，判定“单击”建立，并将过渡状态变成完成状态。在完成状态中，接触判定标记接通，并将执行“单击”的事实及其位置坐标发送至主机方CPU等。响应于超时帧数的设置，过渡状态从完成状态自动返回至空闲状态。

注意，除了上述状态机器116之外，还可以使用识别“双击”的状态机器、识别“拖放”操作、面板的“拓印”操作等的状态机器。

第五实施例

在本实施例中，对以软件方式显示图35所述的屏幕输入时开关的显示照度进行说明。注意，因为其它结构与上述各实施例相似，这里省略重复的说明。

图44示出在黑背景上显示12个白开关并在单个开关上显示数字的状态。图45中示出如图38所述当按下和不按下各开关时的信噪比。一个坐标轴表示信噪比，横坐标轴表示外部光的照度。虽然当外部光的照度高时没有出现问题，但存在信噪比在100勒克斯附近变小的问题。其原因如下。具体来说，当以手指遮挡外部光的方式将阴影(信号)投影在属于各有关开关的光学传感器上时，由开关的显示光在手指上反射所形成的反射光的成分相对于阴影(信号)变得比较显著，且变成减少阴影(信号)的噪声。注意，虽然信噪比在100勒克斯附近变小，信噪比向0勒克斯上升。这是因为外部光变得足够小，由开关的显示光在手指上反射所形成的反射光的成分变成一个信号，外部光变成该信号的噪声，且当外部光变得足够小时信噪比变好。

因此，如图46中所示，将开关制成黑色并将背景制成白色。以此方式，可以抑制上述作为外部光附近的噪声的显示光被反射在手指上和入射至传感器的阴影减少的现象。如图47中所示，100勒克斯附近的S/N比被改善。这在只需要在约100勒克斯的照度下操作的应用中有效。

图48示出进一步加至开关的显示的设计的例子。在此屏幕中，在图44的开关内部设置黑色区域。与图44的情况相比，黑色部分的比率大，相应地，加宽了由外部光引起的阴影的读取范围。同时，也合适地提供了白色部分，因此即使在暗的地方也能确保信噪比。

根据一个实验，即使不将白色部分制得很大，也可以在具有约0勒克斯的照度的暗的地方读取信息。建议开关中的黑色(低亮度)面积占开关的50％或以上。通过减少白色(高亮度)部分，限制了手指接触的部分，并为用户带来防止错误输入的效果。为了上述原因，使白色(高亮度)部分小于黑色(低亮度)部分特别有效。

第六实施例

在本实施例中，对决定上述各实施例中的各阈值的方法进行说明。注意，因为其它结构与上述各实施例的相似，这里省略重复说明。

在执行图53所示的接触判定的情况中，必须分别决定靠近程度、分离程度、边缘稳定性和坐标稳定性的阈值。然而，由于外部光和温度之类的环境相述程度的最佳值被改变，因此，很难将这些程度决定在特定值。当将程度决定在特定值时，存在相反出现故障的可能性。

因此，在本实施例中，预先测量在特定定时的信号的噪声，并根据该噪声计算阈值。具体来说，预先测量前一刻状态(空闲状态)中各信号的噪声电平。自动设置阈值，使得对于稳定性，信号的振幅可以等于或小于空闲状态的60％，而对于靠近/分离程度，信号的振幅可以是空闲状态中的噪声振幅的5-20倍。

用图54-图57说明特定的例子。在各图中，空闲时间的靠近程度的噪声振幅由标号S表示，而空闲时边缘强度的噪声振幅由标号E表示。当手指靠近时，指示靠近强度的信号逐渐增加，且当信号达到S×10时，认为该动作是靠近。具体来说，将S×10设置成靠近强度的阈值。同样的也可以应用于分离信号。同时，对于边缘强度，当手指接触屏幕时，手指过得去地固定于LCD的表面。因此，感觉到边缘强度变得稳定。具体来说，边缘强度的振幅变小。当边缘强度的振幅变得等于或小于空闲时的边缘强度的噪声振幅的约0.5倍时，认为该边缘强度稳定化了。具体来说，将边缘稳定度的阈值设置在E×0.5。同样的也可以应用于坐标稳定性。

以此方式，可以在各种环境下合适地判定阈值，可以大大地减少错误输入和故障。

第七实施例

图58A示意地示出其中具有本实施例中的显示器的机壳的侧视图，图58B示意地示出机壳的平面图，而图5C示意地示出显示器的平面图。

显示器134包括光学传感器单元134a。机壳133包括显示器134、透明部分133a和阴影部分133b。例如，显示器134是其中集成了光学传感器的液晶显示器等。例如，机壳133是蜂窝电话的机壳。透明部分133a设置在显示单元和显示器134的光学传感器单元134a上，且透明部分133的外围变成不允许光通过的阴影部分133b。

在该结构中，当手指132已接触透明部分133a时，手指132遮挡周围环境光131，从而在屏幕上形成阴影137。光学传感器134a检测出该阴影，从而使得可以计算手指所接触的位置的坐标139。

然而，为了保护屏幕，通常机壳133和透明部分133a和显示器134相互隔开一些。因此，当如图58A所示环境光131从对角线方向入射到显示器134上时，手指实际接触的透明部分上的位置136和计算出的坐标139相互位移，这是一个问题。

同时，当环境光131对角地入射时，机壳133的阴影部分133b也在屏幕上形成阴影138。因为可以预先掌握机壳133和显示器134的相对位置，可以根据通过光学传感器单元134a感知机壳133的阴影138所获取的灰度信息计算用于掌握正确的接触位置的校正量140。

因此，在本实施例中，通过阴影部分133b投射到屏幕上的阴影由光学传感器单元134a感知，从而检测到从其周围入射到屏幕上的光的入射方向，且根据入射方向，校正输入的坐标的坐标值。

图59示出从灰度信息计算校正量的方法的特定例子。如本图的虚线所示，光学传感器单元中的象素，例如从光学传感器单元的四个边中的每一边数起的8个象素或以下，被专门用于计算校正量。图60示出当使环境光从右侧入射时对于从X轴的较大点数的8个象素，X轴和沿Y轴方向取的平均灰度值G(X)之间的关系。因为右侧机壳的阴影形成，当X增加时平均灰度减小。将平均灰度值变得小于阈值G0的象素的象素数定义成X轴的校正量。例如，在图60中，X轴的校正量定义成+4。

同样，在平均灰度值变成小于从X轴的较小点数的8个象素中的阈值的情况中，有关象素的数量被定义成X轴的校正量。然而，在此情况下，对负的一侧校正。Y坐标中的校正量也可以用完全相同的方法获取。

第八实施例

本实施例的显示器的基本结构与图1-图5所述的相似。另外，同样在本实施例中，如图35所示，作为使物体靠近的区域，假设第一至第十二开关被显示在屏幕上，并假设判定了手指接触哪一个开关。

本实施例的显示器中的检测IC 4的基本结构与第三实施例中用图36所述的相似。具体来说，校准电路93根据外部光的变化改变操作点。

然而，如果手指/手的靠近经常改变操作点，则不能执行其准确的读取。具体来说，当希望通过差值图像检测手指动作时，如果由于光学传感器的驱动条件的变化检测到整个读取的图像中的差值则出现过度噪声。

因此，根据整个屏幕的光学传感器的输出值不输出平均值，但根据设置在屏幕上的区域以外的区域上的光学传感器的输出值驱动条件改变。例如，分配即使手指靠近那也不被遮挡的屏幕的上部分作为有关区域。

图61示出在根据整个屏幕的光学传感器的输出值输出平均值的情况中的屏幕。图62示出在此情况下的灰度直方图。虚线示出手指靠近前的直方图，而实线示出手指靠近时的直方图。

与此相反，图63示出根据在开关的区域以外的屏幕的上部分上的光学传感器的输出值输出平均值的情况中的屏幕，而图64示出此情况中的灰度直方图。这里，使用设置在图63的虚线所示的区域上的光学传感器的输出值。图64中的实线和虚线之间的关系与图62的相似。

如从图62和图64中看出的，当手指靠近时，与手指的阴影相对应的具有低灰度值的面积增加，且直方图位移至低灰度值一方。

当将图62和图64相互比较时，在使用整个屏幕的光学传感器的情况下，手指靠近前的直方图的平均值1移至手指靠近时其平均值2，且灰度平均值大幅下降。与此相反，在只使用屏幕的上部分上的光学传感器的情况下，灰度直方图的采样区域限于图63的虚线。这样，在手指靠近前后阴影较少投影在采样区域上，因此，采样区域中的灰度平均值的位移减小。因此，可以避免对手指和手的靠近的过敏反应，并可以准确地只读取外部光的变化。

图65示出在手指靠近之前和之后灰度平均值随时间的变化。此图的虚线示出在使用整个屏幕的光学传感器的情况下平均值随时间的变化，其中平均值通过手指的靠近被大大地改变。与此相反，此图的实线示出屏幕的上部分上的采样区域中的平均值随时间的变化，其中在手指靠近前后该平均值没有太大改变。同时，当外部光的照度大大改变时，虚线所示的采样区域的灰度平均值与外部光连锁地位移，因此校准有效地起作用。

考虑到在检测IC的内部执行校准，在从整个屏幕计算平均值的情况下必须等待来自整个屏幕的光学传感器的输出值。与此相反，如果只从屏幕的上部分上的特定区域计算平均值，则存在不必等待来自整个屏幕的光学传感器的输出值的优点。

注意，虽然在本实施例中通过观察“平均值”判定是否执行校准，要观察的目标不限于“平均值”。为了判定光学传感器的驱动条件是否合适，只需使用基于来自图像的输出值的某些统计量。例如，可以使用灰度直方图的中心值(中间值)。然而，用于获取“平均值”的电路尺寸较小，具有能减少检测IC的成本的优点。

最好使采样区域在手指的阴影没有投影的范围内稍大。因此，如图66和图67所示，在用户的输入手是右手的情况和有关的手是左手的情况之间使采样的区域相对于屏幕的中心不对称是有效的。当用户购买终端时可以进行此设置。例如，构思如下。如图66所示假设更常用右手输入，则阴影投影在屏幕的右方的概率稍高，而阴影投影在屏幕的左方的概率销低。因此，如此图的虚线所示，在屏幕的左上方定义用于校准的采样区域就足够了。与此相反，如图67中所示假设更常用左手输入，因此，如此图的虚线所示，在屏幕的右上方定义用于校准的采样区域就足够了。

如上所述，根据本实施例，根据设置在物体靠近的区域以外的区域上的光学传感器的输出值改变光学传感器的驱动条件，从而使得校准很难被物体靠近屏幕时的阴影的影响所影响。因此，可以准确地掌握由于外部光的照度变化引起的光学传感器的输出的变化。

第九实施例

在本实施例中，只有校准电路93的功能与第三实施例不同，其它基本结构与第三实施例的相似。因此，这里，只说明校准电路93而省略对与第三实施例相似的部分的重复说明。

在本实施例中，实时执行校准。这是因为在某些情况下，如果只在运送显示器或打开电源时执行校准是不够的。例如，这是因为在使用终端时外部光的照度会不时改变，或即使外部光的照度不变，面板表面的照度有时由于手持屏幕的角度变化而大大地改变。

对本实施例的校准电路93，如图68中所示，依次输入通过对成像的图像的16X16象素中的每一个进行面积调制处理而形成的15×20×8位的灰度数据。如上所述执行疏化处理，从而实现校准电路93中的实时处理的负载的减少。

同时，当手指靠近/接触面板表面时最好敏感地出现通过校准的操作点的变化。因此，校准电路93产生灰度直方图，并输出控制信号从而可以将包括灰度直方图中的中心的上方值设置在预定范围内。已接收到控制信号的DAC 94和电平移动器91调节曝光时间和预充电时间中的一个。

接着说明集中在灰度直方图的上方值的校准比集中在平均值上的校准的稳定性更好。

图69示出手指靠近前的灰度直方图，而图70示出手指靠近后的灰度直方图。在每一幅图中，显示出平均值和中心值(中间值)。注意，在图70中，虚线表示与图69中相同的直方图，且虚线箭头表示其平均值。

如这些图中所示，当假设在外部光下按下屏幕中心附近的开关的情况时，入射到光学传感器上的光量随着手指和手掌靠近屏幕而逐渐减少，且灰度平均值向其减少的方向变化。如果光学传感器的操作条件敏感地响应于上述靠近，在差值处理的情况下，伴随手指动作分量以外的操作点的变化的整个灰度变化作为噪声被加至差值图像。

与此相反，从直方图的中心的上方灰度值较少受到上述噪声的影响。原因如下。因为手指的阴影具有低灰度值，手指的阴影大大地影响了直方图的下部分；然而，较少影响包括灰度直方图的中心在内的上部分。如图70中所示，虽然平均值位移至较低灰度，中间值较少向其位移。因此，可以说中间值的稳定性好。

当然，可以通过使用例如在从灰度直方图的上部分1/3的位置处的灰度值和在从灰度直方图的上部分1/4的位置处的灰度值代替该中间值来执行类似的处理。通过使用上方灰度值，即使依据光源和手的重叠方式在整个屏幕上形成手指靠近其的情况中手指的阴影，也不必执行校准，从而可以提高操作稳定性。

只有在外部光显著变化时，灰度直方图的上方灰度值才改变。使用上方灰度值的程度取决于当手指靠近那里时屏幕被遮挡的程度。例如，当屏幕的大小充分地大于诸如手指和手之类的物体时，中间值足够，而当屏幕的大小约等于手指或手时，从上部分数起约1/5的灰度值较好。如上所述，在校准电路93中，最好将上方灰度值设置成可以根据屏幕和物体的大小而改变。

另外，如果连续改变诸如预充电电压和曝光时间之类的传感器驱动条件的参数，则控制其要花费时间。因此，最好预先准备一个以分立的方式显示灰度值的预定范围与光学传感器的曝光时间和预充电电压中至少一个之间的关系的表格。此情况中表格中的参数应具有与相邻参数的重叠的部分。这是因为，不这样会出现当将校准应用于其边界部分时处理落入无限循环的情况。另外，以一种方式制作表格使得曝光时间在允许的范围内最大化且使预充电电压改变。作为满足上述条件的表格，例如确定图71的表格，其中改变预充电电压和曝光时间的方法符合上述条件。

此表格设置预充电电压Vprc、曝光时间和最小值及最小值(两者均表示中间值的范围)之间的关系。图72是将图71的表格图形化的图。

预充电电压和曝光时间都不以相同的间距逐渐变化，但对间距进行设置使将预充电电压和曝光时间移至合适的条件可以花较短的时间。另外，在允许的范围内将曝光时间最大化并优先改变预充电时间的原因是因为曝光时间越长，如图73所示信噪比越高。

接着说明通过使用上述表格实时地控制曝光时间和预充电时间的处理。

图74为示出用于通过线性搜索方法设置曝光时间和预充电电压的处理的流程的流程图。这里，如图71中所示，预先将按降序为诸如充电电压、曝光时间、中间值的最小值和最大值之类的各参数之间的各关系分配逐渐增加的数字N。另外，预先进行下列设置，其中当数字N增加时将由中间值的最小值和最大值定义的中间值的预定范围变成更高的灰度值，并且在中间值改变后改变预充电电压和曝光时间。

图74的线性搜索处理包括初始值的设置处理(步骤S1和S2)、测量的中间值在预定范围内时的正常成像循环(步骤S3-S5)和测量的中间值不在预定范围内时的线性搜索循环(步骤S6-S9)。

在步骤S1中，将N的最大值Nmax的1/2设置在初始值N。

在步骤S2中，从表格中读取与第N栏相应的预充电电压Vprc和曝光时间，这些值由校准电路93设置，并输出基于这些值的控制信号。

在步骤S3中，图像由显示单元2通过使用光学传感器8成像，成像的图像的输出值由调制电路92调制，而灰度直方图的中间值由校准电路93测量。

在步骤S4中，校准电路93读出与表格第N栏相对应的最大值Dn，并将最大值Dn与测量到的中间值比较。当测量到的中间值小于最大值时，过程进入步骤S5，而当测量到的中间值较大时，过程进入步骤S6。

在步骤S5中，校准电路93读出与表格第N栏相对应的最小值Cn，并将最小值Cn与测量到的中间值比较。当测量到的中间值大于最小值时，过程进入步骤S3，而当测量到的中间值较小时，过程进入步骤S8。

在步骤S6和S7中，为了使测量到的中间值能处在小于最大值的范围内，N增加1，然后过程返回至步骤S2。当N不能增加时，过程返回步骤S3而不改变N。

在步骤S8和S9中，为了使测量到的中间值能处在大于最小值的范围内，N减小1，然后过程返回至步骤S2。当N不能增加时，过程返回步骤S3而不改变N。

通过上述线性搜索处理，使得可以实时地设置合适的预充电电压和曝光时间。在此技术中，当状态突然从暗变亮时，或相反，当状态突然从亮变暗时，N帧的时间要求最长直至进行了合适的设置。

接着说明作为另一技术的对分搜索方法。图75是示出用于通过对分搜索方法设置曝光时间和预充电电压的处理的流程的流程图。这里也使用上述表格。

此图中的对分搜索处理包括初始值的设置处理(步骤S21和S22)、测量到的中间值处在预定范围内时的正常成像循环(步骤S24-S26)、死锁判定处理(步骤S27和S28及步骤S32和S33)和测量到的中间值不在预定范围内时的对分搜索循环(步骤S29-S31和步骤S34-S36)。

在步骤S21中，将N的最大值Nmax的1/2设置在初始值N。

在步骤S22中，从表格读取与第N栏相应的预充电电压Vprc和曝光时间，这些值由校准电路93设置，并输出基于这些值的控制信号。

在步骤S24中，图像由显示单元2通过使用光学传感器8成像，成像的图像的输出值由调制电路92调制，而灰度直方图的中间值由校准电路93测量。

在步骤S25中，校准电路93读出与表格第N栏相对应的最大值Dn，并将最大值Dn与测量到的中间值比较。当测量到的中间值小于最大值时，过程进入步骤S26，而当测量到的中间值较大时，过程进入步骤S27。

在步骤S26中，校准电路93读出与表格第N栏相对应的最小值Cn，并将最小值Cn与测量到的中间值比较。当测量到的中间值大于最小值时，过程进入步骤S24，而当测量到的中间值较小时，过程进入步骤S32。

在步骤S27中，将N的当前值替换成变量L，并且Nmax的值替换成变量R。

在步骤S28中，判定L和R是否相等。这是对于N是否达到表格的结尾的判定。当L和R相等时，N不能改变，因此，过程返回步骤S24而不做任何事情。同时，在L和R不相同时，过程进入步骤S29。

在步骤S29中，校准电路93取(L+R)/2的值作为N的新值，读取并设置与有关的第N栏相对应的预充电电压和曝光时间，并输出基于这些值的控制信号。

在步骤S30中，图像由显示单元2通过使用光学传感器8成像，成像的图像的输出值由调制电路92调制，灰度直方图的中间值由校准电路93测量。

在步骤S31中，判定测量到的中间值是否在由与有关的数字N一栏相对应的最小值和最大值定义的范围内。当测量到的值大于最大值时，取L和N相等，且过程返回步骤S28。当测量到的值小于最小值时，取R和N相等，且过程返回步骤S28。当测量到的值在由最小值和最大值所定义的范围内时，测量值在正常范围内，且相应地，过程返回正常循环中的步骤S24。

同时，在步骤S32中，将N的当前值替换成变量R，并将Nmin的值替换成变量L。

在步骤S33中，判定L和R是否相等。这是判定N是否已达到表格的结尾。当L和R相等时，N不能改变，因此，过程返回至步骤S24而不做任何事情。同时，当L和R不相同时，过程进入步骤S34。

在步骤S34中，校准电路93取(L+R)/2的值作为N的新值，读取并设置与有关的第N栏相对应的预充电电压和曝光时间，并输出基于这些值的控制信号。

在步骤S35中，图像由显示单元2通过使用光学传感器8成像，成像的图像的输出值由调制电路92调制，灰度直方图的中间值由校准电路93测量。

在步骤S36中，判定测量到的中间值是否在由与有关的数字N一栏相对应的最小值和最大值定义的范围内。当测量到的值大于最大值时，取L和N相等，且过程返回步骤S33。当测量到的值小于最小值时，取R和N相等，且过程返回步骤S33。当测量到的值在由最小值和最大值所定义的范围内时，测量值在正常范围内，且相应地，过程返回正常循环中的步骤S24。

通过对分搜索处理，使得可以实时地设置合适的预充电电压和曝光时间。在此技术中，在进行了合适的设置之前仅要求log₂N帧的时间最长，并且使得可以进行比上述线性搜索处理更快的处理。

如上所述，根据本实施例，控制光学传感器的驱动条件使得可以将包括灰度直方图中的中心的上方值设置在预定范围内。这样，校准就变得很难被在物体靠近时出现的阴影中所引起的低灰度值的变化的影响所影响。因此，可以准确地掌握由外部光的照度变化引起的光学传感器的输出的变化。

根据本实施例，通过使用以分立的方式显示曝光时间、预充电电压和光学传感器的预定范围之间的关系的表格来进行控制，从而使得可以比连续改变曝光时间和预充电时间节省用于控制的时间。

根据本实施例，将上灰度值设置成与屏幕和物体的大小相对应地可变，从而使得可以使用与屏幕和物体的大小相对应的合适灰度值进行控制。

根据本实施例，改变预充电电压，并在允许的范围内最大化曝光时间，从而使得可以提高信噪比。

根据本实施例，通过使用线性搜索方法，可以快速而准确地获取曝光时间和预充电电压，从而灰度值能处于预定范围内。

根据本实施例，通过使用对分搜索方法，可以以比线性搜索方法更高的速度获取曝光时间和预充电电压。

根据本实施例，通过使用其中象素经过对各固定区域的疏化处理的灰度值，可以减少用于改变光学传感器的驱动条件的处理工作量。

另外，在本实施例中，如图63、图66和图67所示，限制用于计算中值等的光学传感器的区域也是有效的。通常，开关显示部分之外的屏幕的上部分难以被手指或手的阴影遮挡。因此，想到很少有由于手指的靠近而引起的灰度直方图的变化，且只有在外部光的照度真地大幅改变，才出现灰度直方图变化，且中值等也改变。

另外，虽然在本实施例中已显示了在中值等变化之后立即改变诸如预充电电压之类的驱动条件的例子，也可以提供预定待机时间。在中值变化的开始，仍不明显该变化是由外部光的变化引起的还是由于手指的靠近操作而引起的。当变化是由外部光的变化引起的时候，应改变驱动条件。当变化是由手指的靠近而引起的时候，不必改变驱动条件，因为中值等过一会儿就返回初始值。当中值等返回其初始值到了不必在预定待机时间(例如1秒)后改变驱动条件的程度时，不改变驱动条件。当连续地改变中值到了必须在预定待机时间后改变驱动条件的程度时，改变驱动条件。这样，可以大大减少手指暂时靠近的情况中的过分校准。

检测IC中的变化点中的预定时间是手指的接触判定所需的时间。例如，预定时间被定义成比图38中手指靠近时的第一峰值和手指离开时的第二峰值之间的时间稍长的时间。这是判定了上限的时间，例如，“在0.5秒内”。然后，将在此预定时间段内的中值等预先存储在存储器和检测IC中的寄存器中。

注意，虽然在上述各实施例中以手指已接触屏幕的情况作为例子进行说明，作为接触屏幕的物体，也可以使用附加了诸如LED、白色吉祥物(mascot)之类的光源的光笔。另选地，可以使用具有金属镜面的金属件、笔套等。

第十实施例

虽然在第一实施例中在比较器41中将信号线的电位和固定参考电压相比较，但在本实施例中使用响应于比较器的输出而改变的可变参考电压而不是固定参考电压。本实施例中的显示器的基本结构与第一实施例的相似，因此这里只对比较器和参考电压进行说明，并省略与第一实施例相似的部分的重复说明。

在将如第一实施例中的比较器41的参考电压固定的情况下，不能输出与周围环境光的照度变化相适应的比较结果。另外，如果为了提供固定参考电压而为各比较器41提供参考电源40，则电路尺寸变得庞大。

因此，在本实施例中，如图76中所示，由并/串转换器42对为各象素提供的各比较器41的输出值进行并/串转换，然后输出，并与有关的输出值相应地改变比较器41的参考电压。该可变参考电压是由图77中所示的算术运算电路51决定的。

如图77中所示，本实施例的显示器包括阵列基片1上的显示单元2、算术运算电路51、LCD栅极驱动器电路52、显示电路53和光输入栅极驱动器电路54。

根据一帧中的比较器41的输出值，算术运算电路51改变下一帧中比较器的参考电压，从而使比较器41可以输出与外部光的照度相应的合适的比较结果。例如，在包括诸如识别由手指或笔引起的阴影的光输入功能的显示器中，当亮的状态由“1”表示而暗的状态由“0”表示时，如果因为环境很亮各比较器41的所有输出值为1，则调节参考电压值使得在比较器的输出中产生“0”。相反，当因为环境很暗各比较器的许多输出值为“0”时，调节参考电压值使得在比较器的输出中的“1”增加。在参考电压值达到可以识别固定区域中亮和暗之间的区别的值之前继续此调节。

LCD栅极驱动器电路52对用于将各象素的视频信号输出至象素电极的开关执行ON/OFF控制。显示电路53将视频信号输出至显示单元2。光学输出栅极驱动器电路54对用于控制各象素的光学传感器的输出的开关执行ON/OFF控制。

如上所述，根据本实施例，与比较器41的输出值相对应地改变各比较器41的参考电压，因此比较器41能输出与周围环境光的照度相应的合适的比较结果。另外，可以几乎不增加布线而实现本实施例。

第十一实施例

图78是示出本实施例中的显示器的示意结构的方框图。本图的显示器包括象素区1和微型计算机3，还包括信号线驱动电路4、扫描线驱动电路5和串行信号输出电路6。

在象素区1中，多条扫描线和多条信号线被布线成相互交叉，且象素设置在各交点上。微型计算机3比较要根据各象素的多灰度数据判定的值和阈值的大小。多灰度数据与由光学传感器元件2所接收到的光强度相对应。然后，微型计算机3对要判定的值执行二元判定。信号线驱动电路4驱动信号线，而扫描线驱动电路5驱动扫描线。串行信号输出电路6连续将从对应的光学传感器元件2成像的图像中获取的具有两个灰度级的成像数据输出至微型计算机3。这里，对于微型计算机3，使用了通过总线与玻璃制成的阵列基片7上的电路连接的外部IC；然而，也可以将微型计算机3安装在阵列基片7上。

象素区1中的各象素包括用于将电压施加至液晶层的象素电极、开关元件和光学传感器元件2。开关元件根据提供给扫描线的扫描信号的指令通断，从而在合适的定时将提供给扫描线的视频信号施加至象素电极。将例如薄膜晶体管用于开关元件。光学传感器元件2从外部接收光，并将光转换成电流。将例如包括p区、I区和n区的栅极控制型二极管用于光学传感器元件。

当光学传感器元件2是栅极控制型二极管时，可以通过改变栅极的电压或通过改变光学传感器元件2的宽度和长度中至少一个来调节光学传感器元件2的灵敏度。

微型计算机3包括为执行二元判定设置阈值的寄存器，将该阈值与要判定的值相比较。然后，从由各光学传感器元件2成像的图像获取的各象素的具有两个灰度级的数据计算多灰度级数据，并根据多灰度级数据将要判定的值与阈值相互比大小。以此方式执行二元判定。

如图79的横截面图中所示，本实施例的显示器包括在玻璃制成的阵列基片7和设置在其对面的反基片8之间的间隙中具有液晶层9的液晶元件10，其中背光灯11设置在反基片8的外部。另外，在阵列基片7的外部，设置了用于保护屏幕不受机械压力经过表面处理的防护板12。

由背光灯11输出的光通过反基片8、液晶层9、阵列基片7和防护板12输出到显示器的外部。一部分光在液晶显示元件10和防护板12之间的界面上被反射。注意在界面上反射的光被称为杂散光。

当作为物体的人的手指13靠近防护板12的外表面时，由液晶元件10上的阵列基片7上的各光学传感器元件2接收在手指上反射的反射光以及杂散光和从外部发射的外部光。光学传感器元件2输出与接收到的光量相对应的电流。通过数字信号处理，微型计算机3从在各光学传感器元件2检测到的二元数据计算多灰度级数据，从而获取一个可识别手指13在屏幕上所处的区域的成像的图像。

接着，具体说明用于从该2-灰度级数据获取多灰度级数据的结构和数字信号处理。图80示出显示器的屏幕的部分放大的区域中的光学传感器元件的敏感度。这里，将灵敏度不同的9种光学传感器元件2设置成各3×3象素的幻方。此图中的数字表示光学传感器元件2的灵敏度。相对于固定光流过光学传感器元件2的光电流的值与这些数字成正比地增加。

微型计算机3以下列方式对由光学传感器元件2读取的二元信号执行数字处理。首先，将由包括所关注象素本身在内的周围9个象素读取的2-灰度级数据(每个都是0或1)的平均值定义成有关的所关注象素的灰度值。然后，通过对所有象素执行此数字处理，获取新的多灰度级数据。

下面根据实验结果描述本实施例的显示器的工作。在捕捉到图像的情况下，显示器分别在如图81中的成像条件的第一例中所示设置在象素区1上的三个区域A、B和C上显示方格式的特殊图案。在这里，人的手指13作为物体置于区域B并随后成像然后，相对于由光学传感器2读取的二元数据，由微型计算机3对所有象素计算由包括所关注象素本身在内的周围9象素读取的2-灰度级数据(每个都是0或1)的平均值，并从通过上述计算获取的多灰度级数据获取图82中所示的成像的图像。在成像的图像中，在上面放着手指13的区域B中，检测到一个特定的图案作为从手指13反射的光。另外，同样在没有放手指13的区域A和C中，由于在液晶元件表面和防护板表面之间的界面上反射的杂散光和由于外部光检测到特定的图案。

图83是示出通过具有256灰度级的多灰度级数据在图82中所获取的成像的图像。一个坐标轴表示灰度值，横坐标轴表示沿图82的成像的图像中的虚线方向的Y坐标。如此图中所示，在从物体反射的光和其它光之间存在大的灰度值差值。因此，在微型计算机3中的寄存器中预置一个合适的阈值，从而使得可以从物体反射的光和其它光准确地执行二元判定。

通过使用图84中的成像条件的第二个例子专门说明此判定的技术。首先，在捕捉到图像的情况下，显示器将预计输入的要判定的区域a、b和c上的方格式的特殊图案显示在本图中所示的象素区1上。然后，当手指13靠近要判定的区域b时，在显示器中，光学传感器元件2将入射到要判定的各区域a-c上的光转换成与接收到的光量相对应的电流。接着，通过微型计算机3中的数字信号处理，从在各光学传感器元件2中检测到的二元数据计算多灰度级数据作为要判定的值，将要在判定的各区域中判定的值和在寄存器中预置的阈值的大小相互比较，并执行关于入射到要判定的各区域上的光是从手指13反射的光还是其它光的二元判定。以此方式，显示器可以识别手指13已靠近要判定的区域b。

因此，根据本实施例，在微型计算机3中，从由各象素的光学传感器元件2成像的2一灰度级数据计算多灰度级数据，比较根据多灰度级数据判定的值和寄存器中预置的阈值的大小，从而使得可以对从物体在屏幕上反射的光和其它光准确地执行二元判定。

第十二实施例

本实施例的显示器的基本结构与使用图81说明的第十一实施例的相似。与第十一实施例的不同点在于微型计算机3中预置的阈值被设置成检测到在物体上反射的反射光的区域中的象素的灰度值的平均值和检测到反射光以外的光的区域中的象素的灰度值的平均值之间的值。

以图83的图为例说明上述阈值。在图83中成像的结果中，检测到在物体上反射的反射光的区域B中的象素的灰度值的平均值是55。另外，检测到反射光以外的光的区域A和C中的象素的灰度值的平均值为190。从上述内容，将位于55和190之间的125设置成灰度值的平均值的阈值。

如第十一实施例中，在获取要在要判定的各区域中的值后，微型计算机3比较要判定的值和在寄存器中预置的阈值125的大小，从而执行关于入射到各要判定的区域上的光是从手指反射的光还是其它光的二元判定。

因此，根据本实施例，在微型计算机3中，将位于已检测到在物体上反射的反射光的区域中的象素的灰度值的平均值和检测到杂散光的区域中的象素的灰度值的平均值之间的值设置为用于二元判定的阈值，从而使得可以提高用于在要在象素区中判定的区域中判定从来自物体的反射光和的其它光的二元判定的判定准确度。

注意，虽然本实施例中的阈值通过外部光的照度和显示器的表面亮度改变，从正常使用条件下进行的实验结果判定将灰度值的平均值设置成大于或等于100和小于或等于150是合适的。

第十三实施例

本实施例的显示器的基本结构与使用图78描述的第十一实施例相似。下面是与第十一实施例的一个不同点。在微型计算机3中，将要在象素区域1上判定的区域中的象素的反差值用于要通过二元判定所判定的值。另外，将用于二元判定的阈值设置成位于检测到在物体上反射的反射光的区域中的象素的反差值和检测到反射光以外的光的区域中的象素的反差值之间的值。反差值是通过将象素的灰度值的最大值除以其最小值所取得的值。

以图83的图为例说明阈值。在图83的成像结果中，通过将检测到在物体上反射的反射光的区域B中的象素的灰度值的最大值除以其最小值所取得的反差值约为1.3。另外，通过将检测到反射光以外的光的区域A和C中的象素的灰度值的最大值除以其最小值所取得的反差值约为3。根据以上，将位于1.3和3之间的2设置成反差值的阈值。

作为一种判定技术，在如第十一实施例中获取要判定的各区域中的象素的多灰度级数据后，微型计算机3取得通过将灰度值的最大值除以最小值所获取的反差值作为要判定的值。然后，微型计算机3将要判定的值和在寄存器中预置的阈值的大小相互比较，从而执行关于入射到要判定的各区域上的光是从手指13反射的光还是其它光的二元判定。

因此，根据本实施例，在微型计算机3中，将位于检测到在物体上反射的反射光的区域中的象素的灰度值的最大值除以其最小值所取得的反差值和检测到杂散光的象素的灰度值的最大值除以其最小值所取得的反差值之间的值设置成二元判定的阈值。以此方式，可以提高在象素区中要确定的区域中对从物体反射的光的二元判定的判定准确度。

注意，虽然本实施例中的阈值通过外部光的照度和显示器的表面亮度改变，从正常使用条件下进行的实验结果可以肯定将反差值设置成大于或等于1.5和小于或等于3.0是合适的。

第十四实施例

本实施例的显示器的基本结构与使用图78描述的第十一实施例相似。下面是与第十一实施例的一个不同点。当物体没有呈现在防护板的表面上时，将与在防护板上反射的反射光相应的各象素的多灰度级数据读成白色。同时，进行设置使得可以将呈现物体的防护板的表面上的部分上的多灰度级数据读成黑色。

在防护板的界面上反射的反射光不是很强；然而，例如，通过调节传感器的操作条件，例如传感器的曝光时间和预充电电压，可以容易地将防护板的反射光识别成白色。例如，当作为读取某曝光时间的图像的结果获得某个暗的灰度图像时，在加长传感器的曝光时间的同时重新读取图像。以此方式，将灰度图像位移至亮的一边，并且变得易于将防护板上的反射光识别成白色。

通过该结构，如图85的横截面图所示，在显示器中捕捉到图像的情况下，当手指13靠近防护板12的表面时，使杂散光和外部光入射到手指没有呈现的区域中的液晶元件10上，相应地，图像变成白色。同时，在手指13呈现在防护板12的表面上的区域中，手指13吸收从背光灯11射向防护板12的界面的光，且相应地，图像变成黑色。因此，通过检测到此情况中的图像的黑色部分，可以读取手指的坐标。

图86是通过具有256灰度级的多灰度级数据在图85的显示器中执行成像的结果的图。在防护板12的表面上没有呈现手指13的区域中，已接收到在防护板12的表面上反射的杂散光和外部光的区域被成像成白色。因此，灰度值增加。同时，在手指13呈现的区域中，手指13吸收从背光灯11射向防护板12的界面的光，反射光减少。相应地，有关的区域被成像成黑色，且灰度值降低。因此，很容易将阈值设置在手指没有呈现的区域中的高灰度值和手指呈现的区域中的低灰度值之间的值。因此，可以通过阈值对反射光被物体吸收的区域和反射光没有被吸收的区域进行二元判定。

作为一种判定的技术，在获取象第十一实施例那样被判定的各区域中的象素的多灰度级数据作为要被判定的值后，微型计算机3将要判定的值与预置在寄存器中的阈值相互比较大小，并将该区域划分成比阈值暗的低灰度部分和比阈值亮的高灰度区域。以此方式，可以增加执行的关于入射到要判定的各区域的光是从手指13反射的光还是其它光的二元判定的准确度。

这里，寄存器中预置的阈值可以通过使用第十二实施例中所示的各区域的灰度值的平均值设置，或可以通过使用通过将第十三实施例中所示的区域的灰度值的最大值除以其最小值所取得的反差值来设置。

因此，根据本实施例，当防护板被设置在象素区上，且物体没有呈现在防护板表面上时，将与在防护板上反射的反射光相对应的多灰度级数据设置成白色。这样，不论外部光是强还是弱，防护板的界面上反射的反射光将防护板表面上物体没有呈现的区域成像成白色，且灰度值增加。同时，在上面呈现物体的区域中，物体吸收从背光灯向防护板的界面传来的光，且反射光减少。因此，该区域被成像成黑色，且灰度值减小。因此，很容易将阈值设置在物体没有呈现的区域中的高灰度值和物体呈现的区域中的低灰度值之间，并且可以通过反射光被物体吸收的区域和反射光没有被吸收的区域的阈值准确地执行二元判定。

注意，在此实施例中，假设一种显示屏在没有将驱动电压施加至显示器的液晶层的状态下进行高亮度显示的正常白色模式；然而，本发明不限于此。例如，即使在正常黑色模式中，在捕捉到图像的情况下从阵列基片7上的信号线驱动电路提供至所有信号线的预充电电压被设置成稍高，从而使得可以通过防护板的界面上反射的反射光预先将显示屏设置为白色。

可以将具有高折射率的丙烯酸板用于防护板。这样，增加了在防护板的界面上反射的反射光，因此使得可以将显示屏设置成白色。

在上述各实施例中，在显示器的象素区中用灵敏度相互不同9种光学传感器元件为每一个3×3象素形成幻方；然而，本发明不限于此。只要使结构能将由光学传感器元件检测到的二元数据扩展成多灰度级，就可以通过为如此获取的多灰度级数据设置阈值对从屏幕上来自物体的反射光准确地执行二元判定。

Claims (11)

1.一种显示器，包括：

显示单元，配置成在屏幕上显示图像，并通过使用光学传感器对已靠近屏幕的物体成像；和

传感器驱动单元，配置成根据光学传感器的输出值的统计量改变光学传感器的驱动条件，

所述显示单元配置成在屏幕上显示一个使物体靠近的第一区域，且

所述传感器驱动单元根据设置在屏幕上的第二区域中的光学传感器的输出值的统计量改变驱动条件，所述第二区域不同于使物体靠近的第一区域。

2.如权利要求1所述的显示器，其特征在于，

所述驱动条件是光学传感器的曝光时间和预充电时间中至少一个。

3.如权利要求1所述的显示器，其特征在于，

所述传感器驱动单元输出控制驱动条件的控制信号使得可以将包含通过调制输出值所取得的灰度值的直方图中的中心的上部灰度值设置在预定范围内。

4.如权利要求3所述的显示器，其特征在于，

所述传感器驱动单元能与屏幕和物体的大小相应地改变上部灰度值。

5.如权利要求3所述的显示器，其特征在于，

所述传感器驱动单元通过使用显示光学传感器的曝光时间及其预充电电压和预定范围之间的关系的表格来决定控制信号。

6.如权利要求5所述的显示器，其特征在于，

所述表格是曝光时间在可允许的范围内最大化且预充电电压改变的表格。

7.如权利要求5所述的显示器，其特征在于，

所述传感器驱动单元使用所述表格通过线性搜索方法决定控制信号。

8.如权利要求5所述的显示器，其特征在于，

所述传感器驱动单元使用所述表格通过对分搜索方法决定控制信号。

9.如权利要求3所述的显示器，其特征在于，

所述传感器驱动单元使用经过对通过在固定范围内划分屏幕所获取的多个区域中的每一个执行疏化处理的象素的灰度值。

10.如权利要求1所述的显示器，其特征在于，

所述传感器驱动单元提供在当光学传感器的输出值变到光学传感器的驱动条件要被改变的程度时的时间点和当光学传感器的驱动条件实际改变时的时间点之间的预定待机时间段。

11.如权利要求10所述的显示器，其特征在于，还包括：配置成保存预定待机时间段期间的统计量的保存单元。

Images