CN101135949A - 成像和显示设备、信息输入设备、物体检测介质及方法 - Google Patents

Abstract

一种成像和显示设备包括以下元件。成像和显示面板具有图像显示功能和成像功能。生成单元生成代表基于显示光的图像和阴影图像之间的差异的差异图像，成像和显示面板通过使用来自成像和显示面板的显示光对接近成像和显示面板的物体成像而获得基于显示光的图像，成像和显示面板通过对所述物体的阴影成像而获得阴影图像。图像处理单元考虑阴影图像和差异图像而获得关于物体的位置、形状和大小中的至少一个的信息。

Description

成像和显示设备、信息输入设备、物体检测介质及方法

对相关申请的交叉引用

本申请包括关于2006年8月31日在日本知识产权局提出的日本专利申请JP 2006-235106和2006年8月31日在日本知识产权局提出的日本专利申请JP 2006-235107的主题，通过引用在此合并其全部内容。

技术领域

本发明涉及成像和显示设备、以及用于获得例如接触或接近显示面板的物体的位置的信息的信息输入设备、以及用于获得该信息的物体检测介质和方法。

背景技术

在现有技术中，已经知道了用于检测接触或接近显示设备的显示表面的物体的位置等的技术。一项典型的公知技术是具有触摸板的显示设备。

存在各种类型的触摸板，并且，一种公知类型的触摸板是检测静电电容的类型。设计此类型的触摸板，以便检测通过例如手指的物体触摸该触摸板所引起的触摸板表面的电荷变化，以确定该物体的位置等。用户可使用该触摸板执行直观的操作。

例如，在日本未审查的专利申请出版物第2004-127272中，本发明的受让人已经提出的包括显示单元(即，成像和显示面板)的显示设备，该显示设备具有用于显示图像的显示功能和用于成像(或检测)物体的成像功能(或检测功能)。

发明内容

在日本未审查的专利申请出版物第2004-127272中公开的显示设备允许基于所捕获的图像，使用从物体发出的显示光，来检测接触或接近成像和显示面板的物体(例如手指)的位置等。因此，通过使用该显示设备，可通过简单的结构来检测物体的位置等，而不使用例如在成像和显示面板上的触摸板的任何附加组件。

在上述结构中使用了从物体反射的显示光，但是，存在涉及显示光的亮度的问题。具体地，显示光的亮度影响接收光的亮度，并且显示光的亮度根据图像数据而变化。因此，例如，当提供黑色显示时、或者当持续关闭在半透射(transflective)型液晶显示设备中的背光时(例如当在室外使用液晶显示设备时)，难以基于捕获的图像来检测物体的位置等。

因此，在相关技术中，难以在不考虑例如显示光的亮度的当前使用条件的情况下、准确地检测接触或接近显示面板的物体。

因此，期望可在不考虑使用条件的情况下检测物体的图像显示设备和物体检测方法。

根据本发明的实施例，提供了一种包括以下部件的成像和显示设备。成像和显示面板具有图像显示功能和成像功能。生成部件生成代表基于显示光的图像和阴影图像之间的差异的差异图像，成像和显示面板通过使用来自成像和显示面板的显示光而对接近成像和显示面板的物体成像，来获得基于显示光的图像，成像和显示面板通过对所述物体的阴影成像，来获得阴影图像。图像处理部件考虑阴影图像和差异图像而获得关于物体的位置、形状和大小中的至少一个的信息。术语“接近成像和显示面板的物体”表示包括接近成像和显示面板的物体、以及触摸成像和显示面板的物体的物体。术语“阴影图像”表示通过使用外部光对阴影成像而获得的图像，即，不使用显示光而获得的图像。

根据本发明的另一实施例，提供了一种物体检测介质，其允许计算机执行：第一成像步骤，通过具有图像显示功能和成像功能的成像和显示面板，对接近所述成像和显示面板的物体的阴影成像；第二成像步骤，通过成像和显示面板，使用来自成像和显示面板的显示光对物体成像；图像生成步骤，生成代表在第二成像步骤中获得的基于显示光的图像和在第一成像步骤中获得的阴影图像之间的差异的差异图像；以及检测步骤，考虑阴影图像和差异图像而检测关于物体的位置、形状和大小中的至少一个的信息。

根据本发明的又一实施例，提供了一种物体检测方法，包括以下步骤：通过具有图像显示功能和成像功能的成像和显示面板，对接近所述成像和显示面板的物体的阴影成像；通过成像和显示面板，使用来自成像和显示面板的显示光对物体成像；生成代表通过使用显示光对物体成像所获得的基于显示光的图像和通过将所述物体的阴影成像而获得的阴影图像之间的差异的差异图像；以及考虑阴影图像和差异图像而检测关于物体的位置、形状和大小中的至少一个的信息。

因此，在根据本发明实施例的成像和显示设备、物体检测介质和物体检测方法中，成像和显示面板通过对接近成像和显示面板的物体的阴影成像，而获得阴影图像。成像和显示面板通过使用从成像和显示面板发出的显示光，而获得基于显示光的图像。生成代表基于显示光的图像和阴影图像之间的差异的差异图像，并且考虑差异图像和阴影图像而检测关于物体的位置、形状和大小中的至少一个的信息。

根据本发明实施例的成像和显示设备、物体检测介质或物体检测方法，生成代表成像和显示面板通过使用来自成像和显示面板的显示光对接近成像和显示面板的物体成像而获得的基于显示光的图像、以及成像和显示面板通过对所述物体的阴影成像而获得的阴影图像之间的差异的差异图像，并且，考虑阴影图像和差异图像而检测关于物体的位置、形状和大小中的至少一个的信息。因此，可在不考虑环境状况或当前使用状况(例如，显示光的亮度)的情况下检测物体。

根据本发明的另一实施例，提供了一种成像和显示设备，包括：成像和显示面板，具有图像显示功能和成像功能；以及图像处理部件，用于基于成像和显示面板通过对接近成像和显示面板的物体的阴影成像而获得的阴影图像，来获得关于该物体的位置、形状和大小中的至少一个的信息。接近成像和显示面板的物体是包括接近成像和显示面板的物体和触摸成像和显示面板的物体的物体。阴影图像是通过使用外部光对阴影成像所获得的图像，即，不使用来自成像和显示面板的显示光所获得的图像。

根据本发明的又一实施例，提供了一种物体检测介质，其允许计算机执行：成像步骤，通过具有图像显示功能和成像功能的成像和显示面板，对接近所述成像和显示面板的物体的阴影成像；以及检测步骤，基于在成像步骤中所获得的阴影图像，而检测关于物体的位置、形状和大小中的至少一个的信息。

根据本发明的又一实施例，提供了一种物体检测方法，包括以下步骤：通过具有图像显示功能和成像功能的成像和显示面板，对接近所述成像和显示面板的物体的阴影成像；以及基于通过对物体的阴影成像所获得的阴影图像，而检测关于物体的位置、形状和大小中的至少一个的信息。

因此，在根据本发明实施例的成像和显示设备、物体检测介质和物体检测方法中，成像和显示面板通过对接近成像和显示面板的物体的阴影成像，而获得阴影图像。基于阴影图像，而检测关于物体的位置、形状和大小中的至少一个的信息。

根据本发明的另一实施例，提供了一种信息输入设备，包括：成像面板，具有成像功能；以及图像处理部件，用于基于成像面板通过对接近成像面板的物体的阴影成像而获得的阴影图像，来获得关于该物体的位置、形状和大小中的至少一个的信息。

因此，在根据本发明的实施例的信息输入设备中，成像面板通过对接近成像面板的物体的阴影成像，而获得阴影图像。基于阴影图像，而检测关于物体的位置、形状和大小中的至少一个的信息。

根据本发明的实施例的成像和显示设备、信息输入设备、物体检测介质或物体检测方法，基于对接近成像和显示面板的物体的阴影成像而获得的阴影图像，而检测关于该物体的位置、形状和大小中的至少一个的信息。因此，可不考虑例如显示光的亮度的当前使用条件而检测物体。

附图说明

图1是示出根据本发明的第一实施例的成像和显示设备的结构的框图；

图2是示出图1中所示的成像和显示设备中的I/O显示面板的示例性结构的框图；

图3是示出每个像素的示例结构的电路图；

图4是示出在像素和传感器-读取H驱动器之间的连接关系的电路图；

图5是示出背光的开关状态和显示状态之间的关系的时序图；

图6是示出根据第一实施例的指尖提取处理的流程图；

图7是示出图6中所示的提取处理的时序图；

图8是示出图7中所示的差异图像指尖提取处理的细节的流程图；

图9是示出差异图像指尖提取处理的照相图(photographic diagram)；

图10A和10B是示出当外部光的光强为高时的差异图像指尖提取处理的图；

图11A和11B是示出当外部光的光强为低时的差异图像指尖提取处理的图；

图12A和12B是示出在差异图像指尖提取处理中亮度接收信号的动态范围的图；

图13A至13D是示出当要检测的多个指尖共存时，差异图像指尖提取处理的照相图；

图14是示出图7中示出的阴影图像指尖提取处理的细节的流程图；

图15是示出阴影图像提取处理的细节的透视图；

图16是示出在阴影图像提取处理中获得的所捕获的图像的示例的示意图；

图17是示出阴影图像指尖提取处理的照相图；

图18是示出阴影图像指尖提取处理中的光接收信号的图；

图19A和19B是示出用于生成移动平均图像的处理的图；

图20是示出用于生成移动平均图像的处理的图；

图21是示出用于生成移动平均图像的处理的图；

图22是示出差异图像指尖提取处理和阴影图像提取处理之间的比较的图；

图23A和图23B是示出使用指尖提取处理的结果的示例应用的图；

图24是示出使用指尖提取处理的结果的示例应用的图；

图25是示出使用指尖提取处理的结果的示例应用的图；

图26是示出使用指尖提取处理的结果的示例应用的图；

图27是示出根据本发明的第二实施例的指尖提取处理的流程图；

图28是示出根据本发明的第三实施例的指尖提取处理的流程图；

图29是示出在图28中示出的图像合成处理的照相图；

图30A和30B是示出根据本发明的第四实施例的背光的开关状态及成像和显示设备的显示状态之间的关系的时序图；

图31是示出根据本第四实施例的、通过成像和显示设备的图像处理单元来执行的阴影图像指尖提取处理的流程图；

图32是示出阴影图像提取处理的概念的透视图；

图33是在阴影图像提取处理中获得的所捕获的图像的示例的示意图；

图34是示出阴影图像指尖提取处理的照相图；

图35是示出阴影图像指尖提取处理中的光接收信号的图；

图36A和36B是示出根据本发明的修改的、用于生成移动平均图像的处理的图；

图37A和37B是示出根据本发明的修改的、用于生成移动平均图像的处理的图；

图38是根据本发明的修改的成像和显示设备的框图；以及

图39是示出在图38中示出的成像和显示设备中的每个像素的示例结构的电路图。

具体实施方式

以下将参考附图来详细描述本发明的实施例。

第一实施例

图1示出了根据本发明的第一实施例的成像和显示设备的总体结构。成像和显示设备包括输入/输出(I/O)显示面板20、背光(backlight)15、显示器驱动电路12、光接收驱动电路13、图像处理单元14及应用程序执行单元11。

I/O显示面板20由具有在其整个表面上以矩阵排列的多个像素的液晶显示(LCD)面板。如下所述，I/O显示面板20具有用于在执行逐行操作的同时基于例如图形数据或文本的显示数据而显示预定图像的功能(显示功能)、以及用于对接触或接近I/O显示面板20的物体成像的功能(成像功能)。背光15是I/O显示面板20的光源，例如，其包括多个光电二极管。如下所述，背光15以与I/O显示面板20的操作定时同步的预定间隔，迅速地开启或关闭。

显示器驱动电路12驱动I/O显示面板20(即，逐行驱动)，以基于显示数据来显示图像(即，执行显示操作)。

光接收驱动电路13驱动I/O显示面板20(即，逐行驱动)，以获得进入的光数据(即，对物体成像)。例如，基于逐帧将从像素接收到的光数据存储在帧存储器13A中，并且，将光数据作为所捕获的图像输出到图像处理单元14。

图像处理单元14基于从光接收驱动电路13输出的所捕获的图像而执行预定的图像处理(计算)操作，以检测并获得关于接触或接近I/O显示面板20的物体的信息(例如，位置坐标数据、关于物体的形状或大小的数据等)。以下详细地描述检测处理。

应用程序执行单元11基于图像处理单元14的检测结果，根据预定的应用软件来执行处理。例如，所检测的物体的位置坐标被包括在显示数据中，并且，在I/O显示面板20上显示基于显示数据的图像。将由应用程序执行单元11生成的显示数据提供到显示器驱动电路12。

现在将参考图2来详细描述I/O显示面板20的示例结构。I/O显示面板20包括显示区(传感器区)21、显示H驱动器22、显示V驱动器23、传感器-读取H驱动器(sensor-read H driver)25、以及传感器V驱动器(sensorV driver)24。

显示区(传感器区)21是这样的区域，其用于对来自背光15的光进行调制，以发出显示光，并对接触或接近显示区21的物体成像。在显示区21中，以矩阵方式排列以下描述的用作光发射元件的液晶元件(显示元件)和光接收元件(成像元件)。

显示H驱动器22和显示V驱动器23基于用于驱动显示器的显示信号和从显示器驱动电路12提供的控制时钟，来逐行地驱动显示区21中像素的液晶元件。

传感器-读取H驱动器25和传感器V驱动器24逐行驱动传感器区域21中像素的光接收元件，并且获得进入的光信号。

现在将参考图3来详细地描述显示区21中的每个像素的示例结构。参考图3，像素31包括用作显示元件的液晶元件、以及光接收元件。

具体地，在显示元件中，将由薄膜(thin-film)晶体管等形成的开关元件31a排列在以水平方向延伸的栅极31h和以垂直方向延伸的漏极31i的交点，而将包括液晶的像素31b排列在开关元件31a和反电极之间。根据经由栅极31h提供的驱动信号来导通或关断开关元件31a。当导通开关元件31a时，根据经由漏极31i提供的显示信号而将像素电压施加到像素电极31b。

邻近显示元件的光接收元件包括由例如光电二极管等形成的光接收传感器，并且将电源电压VDD提供到光接收传感器31c。光接收传感器31c连接到重置开关31d和电容器31e，以便通过重置开关31d重置光接收传感器31c，并且将对应于所接收的光量的电荷存储在电容器31e中。当导通读取开关31g时，经由缓冲放大器31f将存储的电荷提供到信号输出电极31j，并将其输出到外部。通过从重置电极31k提供的信号来控制重置开关31d的通断操作，并且，通过从读取控制电极31m提供的信号来控制读取开关31g的通断操作。

现在将参考图4来描述在显示区21中的像素和传感器-读取H驱动器25中的像素之间的连接关系。在显示区21中，并排排列红色(R)像素31、绿色(G)像素32和蓝色(B)像素33。

分别通过缓冲放大器31f、32f和33f来放大存储在连接到像素31、32和33的光接收传感器31c、32c和33c的电容器中的电荷，并且，当读取开关31g、32g和33g导通时，经由信号输出电极分别将电荷提供到传感器-读取H驱动器25。信号输出电极连接到恒定电流源41a、41b和41c，并且传感器-读取H驱动器25以高灵敏度检测对应于所接收的光量的信号。

现在，将详细地描述第一实施例的成像和显示设备的操作。

首先，将描述成像和显示设备的基本操作，即，用于显示图像的操作和用于成像物体的操作。

在成像和显示设备中，基于从应用程序执行单元11提供的显示数据、通过显示器驱动电路12生成用于显示的驱动信号，并且，通过驱动信号来驱动I/O显示面板20，以执行用于显示图像的逐行显示操作。还通过显示器驱动电路12来驱动背光15，以与I/O显示面板20的操作同步地开启或关断。

现在，将参考图5来描述背光15的开关状态和I/O显示面板20的显示状态之间的关系。

例如，在1/60秒的帧周期中显示图像。在此情况下，背光15在每个帧周期的前半周期(1/120秒)中不照明(或关闭)，并且不显示图像。另一方面，在每个帧周期的后半周期中，背光15照明(或开启)，并且将显示信号提供到每个像素，以在相应的帧周期中显示图像。

因此，每个帧周期的前半周期是其间不从I/O显示面板20发出显示光的非光发射周期，而每个帧周期的后半周期是其间从I/O显示面板20发出显示光的光发射周期。

当物体(例如，指尖)接触或接近I/O显示面板20时，光接收驱动电路13执行逐行光接收驱动，以使用在I/O显示面板20中的像素的光接收元件来对该物体成像，并且，将从光接收元件接收的光信号提供到光接收驱动电路13。在光接收驱动电路13中，存储从一帧的像素所接收的光信号，并且将该光信号作为所捕获的图像输出到图像处理单元14。

如下所述，图像处理单元14基于捕获的图像来执行预定的图像处理(计算)操作，以检测关于接触或接近I/O显示面板20的物体的信息(例如，位置坐标数据、关于物体的形状或大小的数据等)。

接下来，将参考图6到22来详细地描述通过图像处理单元14执行的接触或接近I/O显示面板20的例如指尖的物体(在下文中也称为“接近物体”)的提取处理(指尖提取处理)，此为本发明的第一实施例的特征。图6是示出通过图像处理单元14执行的指尖提取处理的流程图，而图7是示出指尖提取处理的部分的时序图。

首先，在其间背光15关闭的一个显示帧周期的前半周期(非光发射周期)中，I/O显示面板20对接近物体成像，并且获得图像A(阴影图像)(图6中所示的步骤S11)(也见图7)。

然后，在其间背光15开启的一个显示帧周期的后半周期(光发射周期)中，I/O显示面板20对接近物体成像，并且获得图像B(基于显示光的图像)(也见图7)。然后，图像处理单元14基于代表图像B和图像A之间的差异的差异图像C来执行指尖提取处理(差异图像指尖提取处理)(步骤S12)。

与此差异图像指尖提取处理并行地，通过图像处理单元14来执行基于图像A(阴影)的指尖提取处理(阴影图像指尖提取处理)(步骤S13)(也见图7)。

然后，图像处理单元14确定是否已经通过步骤S12的差异图像指尖提取处理成功地提取了指尖(即，是否已经获得了例如指尖的接近物体的位置、形状或大小的信息)(步骤S14)。如果确定已经成功提取了指尖(步骤S14中的“是”)，则图像处理单元14确定采用差异图像指尖提取处理的提取结果(步骤S15)，并且，将最终结果输出到应用程序执行单元11(步骤S17)。

如果确定未成功提取指尖(步骤S14中的“否”)，则图像处理单元14确定采用阴影图像指尖提取处理的提取结果(步骤S16)，并且，将最终结果输出到应用程序执行单元11(步骤S17)。

因此，差异图像指尖提取处理用作主要处理，而阴影图像指尖提取处理用作次要处理，并且，通过考虑所述两个处理而最终选择任一提取处理的提取结果。

将详细地描述差异图像指尖提取处理和阴影图像指尖提取处理。

首先，将参考图8到13来详细地描述差异图像指尖提取处理。图8是示出差异图像指尖提取处理的细节的流程图。

如上所述，首先，在其间背光15开启的一个显示帧周期的后半周期(光发射周期)中，I/O显示面板20对接近物体成像，并且获得图像B(基于图像的显示光)(图8中所示的步骤S121)(也见图7)。

然后，图像处理单元14生成代表通过在其间背光15关闭的周期(非光发射周期)中执行的成像操作而获得的图像B和图像A(阴影图像)之间的差异的差异图像C(步骤S122)。

然后，图像处理单元14执行计算操作，以确定生成的差异图像的质心(centroid)(步骤S123)，并且指定差异图像的接触(或接近)的中心(步骤S124)。

因此，在差异图像指尖提取处理中，基于代表通过使用显示光而获得的图像B和使用外部光而不使用显示光所获得的图像A之间的差异的差异图像C，来执行指尖提取处理。如在图9中的所示的差异图像C的照相图像的示例中那样，减少或消除了外部光的光强的影响，并且，不受任何外部光的光强的影响而检测接近物体。

具体地，如在图10A的截面图所示，例如，当入射(incident)外部光的光强高时，如图10B所示，在背光15的照明期间，在除了手指接触部分以外的非接触部分中的光接收输出电压Von1具有电压值Va，而在手指接触部分中的光接收输出电压Von1具有低电平电压Vb。电压值Va对应于外部光的光强，而电压Vb对应于这样的反射，通过该反射，从触摸物体(例如，手指)的表面反射来自背光15的光。另一方面，在背光15的非照明期间，在除了手指接触部分以外的非接触部分中的光接收输出电压Voff1也具有电压值Va，其对应于外部光的光强，而由于阻挡了外部光，所以在手指接触部分中的光接收输出电压Voff1具有低电平电压值Vc。

如在图11A的截面图所示，当入射的外部光的光强低(基本上为0)时，如图11B所示，在背光15的照明期间，因为无外部光进入，所以在除了手指接触部分以外的非接触部分中的光接收输出电压Von2具有低电平电压值Vc，并且，在手指接触部分中的光接收输出电压Von2具有较高电平电压值Vb。电压值Vb对应于这样的反射，通过该反射，从触摸物体(例如，手指)的表面反射来自背光15的光。另一方面，在背光15的非照明期间，在手指接触部分和其余部分中的光接收输出电压Voff2保持在低电平电压值Vc。

如可从图10A和11A之间以及图10B和11B之间的比较看出的，在I/O显示面板20的显示区21的非接触部分中的光接收输出电压在外部光状况和非外部光状况之间的差别很大。但是，在手指接触部分中，无论是否存在外部光，在背光15的照明期间获得的电压值Vb和在背光15的非照明期间获得的电压值Vc均为低电平。

因此，检测在背光15的照明期间获得的电压值和在背光15的非照明期间获得的电压值之间的差异，并且，将所述电压值之间的差不小于预定值(例如，电压值Vc和Vb之间的差)的部分确定为物体接触或接近的部分。因此，可不考虑入射在I/O显示面板20上的外部光的光强是高还是0，而高精确性地一致地检测接触或接近。

如图12A和12B所示，如下确定检测光接收输出电压的动态范围。图12A示出了触摸I/O显示面板20的显示区21的物体。在图12A中，手指f触摸面板表面，并且，将具有基本上为100％的反射率的圆形物体m放置在显示区21上。在此情况下，在对于手指f和物体m两者扫描的线上获得的光接收输出电压展示出图12B所示的特性。在图12B中，电压Von3是在背光15的照明期间的光接收输出电压，而电压Voff3是在背光15的非照明期间的光接收输出电压。

如在图12B中所示，在放置了具有基本上为100％的反射率的物体m的部分中，对于观察来说，不需要高于在背光15照明期间检测出的电压Vd的电压电平Vy，并且，不高于电平Vy的范围Vx是检测所需的动态范围。因此，可理解，具有观察所不需要的电压电平Vy的信号溢出，并且将其视为具有相同的光强。

如从图13A到13D所示的图像中可看出的，在差异图像指尖提取处理中，还可获得关于在I/O显示面板20的显示区21上显示的多个接触或接近的物体的信息，例如那些物体的位置、形状或大小。图13A、13B、13C和13D分别示出了图像A、B、C、以及图像C的二元(binary)图像。

接下来，将参考图14到21来详细地描述阴影图像指尖提取处理。图14是示出阴影图像指尖提取处理的细节的流程图，而图15是示出阴影图像提取处理的细节的透视图。

首先，图像处理单元14生成获得的图像A的相反图像(-A)(阴影图像)(步骤S131)。图像处理单元14还生成原始图像A的移动平均图像MA(步骤S132)。

具体地，通过以下步骤来生成移动平均图像MA：例如，在图19A和19B中所示的图像A的像素区域30(在此示例中，(2a+1)像素×(2a+1)像素的像素区域)中执行像素数据的求平均计算(averaging calculation)，其中像素区域30包括目标像素30A和围绕目标像素30A的像素；以及例如，如图20所示，在将在包括目标像素30A的像素区域中执行的求平均计算的结果反映到要在包括下一目标像素的像素区域执行的求平均计算中的同时，顺序地从目标像素30A转移到下一目标像素，以便在所捕获的图像的整个像素区域50上执行求平均计算。优选地，在求平均计算中使用的像素区域50的大小(在此示例中，(2a+1)像素×(2a+1)像素)基于要检测的物体的预测大小(目标大小a)(例如，将像素区域50的大小设置为与目标大小a相同)。通过以此方式设置像素区域50的大小，例如如图16示出的图像20A中可见(其对应于以下描述的图像D或E)，如以下详细描述的，可防止随着作为接近物体的指尖部分的检测一起的拳头部分的检测(图16中，部分60A)。例如，如图21中所示，可通过直接复制和使用像素区域50的外围的像素数据来产生求平均计算所需要的实际所捕获的图像的像素区域50以外的区域51的像素数据。

然后，图像处理单元14根据移动平均图像MA来确定在下一步骤(步骤S136)中使用的预定阈值TH(步骤S133)。具体地，基于在移动平均图像MA中的最亮的像素的像素数据(即最大像素值)和在原始图像A中的最暗的像素的像素数据(即最小像素值)来确定阈值TH(例如，通过计算所述像素值的平均值)。由于通常不将接近物体放置在显示区21的4个角，所以，在4个角的像素的像素平均值可用作最亮像素的像素数据(即，最大像素值)。

然后，图像处理单元14生成所生成的移动平均图像MA的相反图像(-MA)(步骤S134)，并且生成代表原始图像A的相反图像(-A)和移动平均图像MA的相反图像(-MA)之间的差异的差异图像，即，差异图像D＝(-A)-(-MA)＝MA-A，其代表移动平均图像MA和原始图像A之间的差异(步骤S135)。然后，图像处理单元14通过从图像D的各个数据项中减去在步骤S133中确定的阈值TH，来生成图像E＝D-TH(步骤S136)。

如从图17中所示的图像D和E中以及图18中所示的图像D和E的示例光接收输出电压波形Gd和Ge可见，只检测基本上具有与目标大小a相同大小的指尖部分，而不检测大于指尖部分的拳头部分。在图18中，示例光接收输出电压波形Ga、G(-a)、Gma和G(-ma)分别对应于原始图像A、其相反图像(-A)、移动平均图像MA以及其相反图像(-MA)。

然后，图像处理单元14计算图像E的质心(步骤S137)，并且以与上述差异图像指尖提取处理的方式相似的方式来指定图像E的接触(或接近)的中心(步骤S138)。

因此，在阴影图像指尖提取处理中，基于使用外部光所捕获的图像A的移动平均图像MA和原始图像A之间的差异图像D来执行指尖部分的提取。因此，如上所述，只检测基本上具有与目标大小相同大小的物体。因此，在不发出显示光的情况下(例如，当持续关闭背光时，比如在室外使用包括用作显示元件的半透射液晶元件的成像和显示设备时，当在I/O显示面板20上显示黑色图像时等)，可检测接近物体。

如在差异图像指尖提取处理中那样，在阴影图像指尖提取处理中，可获得关于同时位于I/O显示面板20的显示区21上的多个接触或接近物体的信息，例如那些物体的位置、形状或大小。

因此，在第一实施例的成像和显示设备中，考虑上述差异图像指尖提取处理和差异图像指尖提取处理，并且，将使用任意提取处理所获得的接近物体的检测结果作为最终结果而从图像处理单元14输出到应用成像执行单元11。

图22示出了所述两个指尖提取处理，即差异图像指尖提取处理和阴影图像提取处理的特征之间的比较。在图22中，圆形指示在相应的条件下“好”的指尖提取，三角形指示在基于该情况的相应条件下或“好”或“差”的指尖提取，而叉指示在相应条件下基本上“差”的指尖提取。如从图22中可见，在明亮的环境中，差异图像指尖提取处理更合适，并且可以优选采用差异图像指尖提取处理的提取结果。另一方面，当背光15不照明、并且不发出显示光时，或当提供黑色显示时，差异图像指尖提取处理可能不能被成功执行，并且，可以优选采用阴影图像指尖提取处理的提取结果。

接下来，将参考图23A到26来描述由应用程序执行单元11使用通过以上所述的指尖提取处理所检测的信息(例如，物体的位置)、而执行应用程序的一些示例。

图23A示出了指尖61接触I/O显示面板20的表面并且在屏幕上画出一条线611以便跟随指尖61的接触点的轨迹的示例。

图23B示出了使用手模型的姿势识别的示例。具体地，识别接触或(接近)I/O显示面板20的手62的形状，并且将识别的手62的形状显示为图像。显示物体的移动(手掌工具(palm tool))621用于执行一些适当的处理。

在图24示出的例子中，手从攥紧状态63A改变到张开状态63B，并且使用图像识别，通过I/O显示面板20来识别攥紧状态63A和张开状态63B的每个中手的接触或接近，并且执行基于图像识别的处理。可执行这样的基于识别的处理，以执行例如“放大”指令的指令。因此，例如，将I/O显示面板20连接到个人计算机设备，并且，用户可以更自然的方式输入用来在使用图像识别的计算机设备上切换命令的指令。

此外，例如，如图25中所示，可使用并通过传输介质连接多个I/O显示面板20。在此情况下，可将接触或接近I/O显示面板20之一的物体的检测图像发送到另一个I/O显示面板，以显示图像，使得操作两个I/O显示面板的用户可互相通信。具体地，如图25所示，提供了两个I/O显示面板20-1和20-2。将由使用图像识别的I/O显示面板20-1识别的手65的手印发送到I/O显示面板20-2，以在I/O显示面板20-2上显示手印642。此外，将与I/O显示面板20-2接触而移动的手64的轨迹641发送到I/O显示面板20-1，以在I/O显示面板20-1上显示轨迹。这样，可发送所画的物体，并将其显示为运动图像。此外，可将手写字符、图片等从一方发送到另一方，从而提供新颖的通信工具。例如，I/O显示面板20可用作移动电话终端的显示面板。

例如，在图26中所示，用户使用毛笔66在I/O显示面板20的表面写日文字符，并且将毛笔66的接触点的集合作为图像661显示在I/O显示面板20上，从而提供毛笔手写输入。在此情况下，可识别并显示毛笔66的精细的笔划(stroke)。例如，在相关技术的手写识别技术中，一些数字转换器通过检测电场来确定特殊笔的倾斜(tilt)。相反，在第一实施例中，检测毛笔的接触，从而提供更实际的信息输入。

因此，在第一实施例中，生成代表通过使用显示光对接近物体成像所获得的图像B(基于显示光的图像)、以及通过对接近物体的阴影成像所获得的图像A(阴影图像)之间的差异的差异图像C，并且，考虑到图像A(阴影图像)和差异图像C而检测关于接近物体的位置、形状和大小中的至少一个的信息。因此，可在不考虑环境条件、或例如显示光的亮度的当前使用条件的情况下，来检测物体。

此外，基于图像A生成移动平均图像MA。使用移动平均图像MA和原始图像A之间的差异图像D来检测物体，并且通过从差异图像D的各个像素数据项中减去阈值TH而获得图像E。此外，将求平均计算处理中使用的像素区域50的大小设置为与要检测的物体的预测大小(目标大小)相同。因此，只有基本上具有与目标大小相同大小的指尖部分可被检测，而不检测大于指尖部分的拳头部分，这产生更可靠的物体检测。

此外，在一个操作循环(一个显示帧周期)中，在获得图像B(基于显示光的图像)之前，获得图像A(阴影图像)。如图7所示，这确保在执行差异图像指尖提取处理之前，花费较长时间的、用于计算移动平均图像MA的充分的时间，并且，总体处理时间可比当在获得图像A之前获得图像B时的总体处理时间短。

在第一实施例中，差异图像指尖提取处理用作主要处理，而阴影图像指尖提取处理用作次要处理。但是，相反地，可将差异图像指尖提取处理用作次要处理，而将阴影图像指尖提取处理用作主要处理。

第二实施例

现在将描述根据本发明的第二实施例的成像和显示设备。在第二实施例的成像和显示设备中，基于预定指标(index)来选择差异图像指尖提取处理和阴影图像指尖提取处理中的一个，并且执行所选择的指尖提取处理。其余结构和操作与第一实施例中的那些类似，并且因此省略对其的描述。

图27是示出根据本发明的第二实施例的指尖提取处理的流程图。如从图27中可见，当以与第一实施例中的方式类似的方式获得图像A(阴影图像)时(步骤S21)，图像处理单元14选择性地执行适合情况的更可靠的指尖提取处理，也可根据图22中示出的比较表来确定所述更可靠的指尖提取处理(步骤S22到S26)。

具体地，当持续地关闭背光15时(在步骤S22中的“是”)、当显示黑色图像时(在步骤S23中的“是”)、或当环境不为暗时(在步骤S24中的“否”)，选择性地执行阴影图像指尖提取处理(步骤S26)，并且输出最终结果(步骤S27)。基于图像A(阴影图像)中的像素数据的幅度来执行关于环境是否为暗的确定。即，如果像素数据的值小时，确定环境为暗。

相反地，当并非持续地关闭背光15时(在步骤S22中的“否”)、当不显示黑色图像时(在步骤S23中的“否”)、并且当环境为暗时(在步骤S24中的“是”)，选择性地执行差异图像指尖提取处理(步骤S25)，并且输出最终结果(步骤S27)。

因此，在第二实施例中，基于预定指标来选择差异图像指尖提取处理和阴影图像指尖提取处理中的一个，并且执行所选择的指尖提取处理。因此，可使用更适合的指尖提取处理，从而根据更多的使用条件而确保可靠的提取处理。

第三实施例

现在将描述根据本发明的第三实施例的成像和显示设备。在第三实施例的成像和显示设备中，在任何情况下均执行差异图像指尖提取处理和阴影图像指尖提取处理两者，并且，使用通过组合图像A(阴影图像)和差异图像C而生成的复合图像，来执行指尖提取处理。其余的结构和操作与第一实施例中的那些类似，并且因此省略对其的描述。

图28是示出根据本发明的第三实施例的指尖提取处理的流程图。如从图28中可见，当以与第一实施例中的方式类似的方式获得图像A(阴影图像)时(步骤S31)，执行除了质心计算和接触(接近)中心指定以外的上述差异图像指尖提取处理和阴影图像指尖提取处理(步骤S32和S33)。

然后，例如，如图29所示，通过组合在差异图像指尖提取处理中生成的差异图像C和在阴影图像指尖提取处理中生成的图像E，而生成复合图像F＝α×C+E(步骤S34)，其中α指示预定的加权因子。

然后，以与第一实施例中的方式类似的方式执行质心计算(步骤S35)、指定接触(接近)中心(步骤S36)、以及输出最终结果(步骤S37)。

因此，在第三实施例中，在任何情况下均执行差异图像指尖提取处理和阴影图像指尖提取处理，并且，通过组合在差异图像指尖提取处理中生成的差异图像C和在阴影图像指尖提取处理中生成的图像E，而生成复合图像F＝α×C+E。对复合图像F执行指尖提取处理。因此，例如，可以图29中所示的方式更清楚地检测例如指尖的图像，并且可实现更可靠的提取处理。

第四实施例

现在，将描述根据本发明的第四实施例的成像和显示设备。根据第四实施例的成像和显示设备的结构与图1中所示的结构类似，并且因此省略对其的描述。

将描述第四实施例的成像和显示设备的基本操作，即，用于显示图像的操作和用于对物体成像的操作。

在成像和显示设备中，基于从应用程序执行单元11提供的显示数据、通过显示器驱动电路12生成用于显示的驱动信号，并且通过驱动信号来驱动I/O显示面板20，以执行用于显示图像的逐行显示操作。还通过显示器驱动电路12驱动背光15，以与I/O显示面板20的操作同步地开启或关闭。

现在，将参考图30A和30B来描述背光15的开关状态和I/O显示面板20的显示状态之间的关系。

首先，在图30A所示的例子中，例如，在1/60秒的帧周期中显示图像时，背光15在每个帧周期的前半周期(1/120秒)中照明(或开启)，并且，将显示信号提供到像素，以在相应的帧周期中显示图像。在每个帧周期的后半周期中，背光15不照明(或关闭)，并且，不执行显示。

在图30B所示的例子中，相反地，背光15在每个帧周期的前半周期中不照明(或关闭)，并且，不显示图像。在每个帧周期的后半周期中，背光15照明(或开启)，并且将显示信号提供到像素，以在相应的帧周期中显示图像。

因此，每个帧周期的前半和后半周期中的一个是其间从I/O显示面板20发出显示光的光发射周期，而每个帧周期的另一半周期是其间不从I/O显示面板20发出显示光的非光发射周期。

当物体(例如指尖)接触或接近I/O显示面板20时，光接收驱动电路13执行逐行光接收驱动，以使用在I/O显示面板20中的像素的光接收元件来对物体成像，并且将从光接收元件接收的光信号提供到光接收驱动电路13。在光接收驱动电路13中，存储从一帧的像素所接收的光信号，并且将该光信号作为捕获的图像输出到图像处理单元14。

如下所述，图像处理单元14基于捕获的图像来执行预定的图像处理(计算)操作，以检测关于接触或接近I/O显示面板20的物体的信息(例如，位置坐标数据、关于物体的形状或大小的数据等)。

接下来，将参考图31到35来详细地描述通过图像处理单元14执行的接触或接近I/O显示面板20的例如指尖的物体(接近物体)的提取处理(阴影图像指尖提取处理)，此为本发明的第四实施例的特征。图31是示出通过图像处理单元14执行的阴影图像指尖提取处理的流程图。

首先，在其间背光15关闭的一个显示帧周期的周期(非光发射周期)中，例如，如图32所示，I/O显示面板20使用外部光而对接近物体60的阴影成像，并且获得图像A(阴影图像)(图31中所示的步骤S101)。

然后，图像处理单元14生成获得的图像A的相反图像(-A)(阴影图像)(步骤S102)。然后，图像处理单元14生成原始图像A的移动平均图像MA(步骤S103)。

具体地，如以上参考图19A到20描述的，通过以下步骤来生成移动平均图像MA：例如，在图像A的像素区域30(在此示例中，(2a+1)像素×(2a+1)像素的像素区域)中执行像素数据的求平均计算，其中像素区域30包括目标像素30A和围绕目标像素30A的像素；以及在将在包括目标像素30A的像素区域中执行的求平均计算的结果反映到在包括下一目标像素的像素区域中执行的求平均计算中的同时，顺序地从目标像素30A转移到下一目标像素，使得在所捕获的图像的整个像素区域50上执行求平均计算。优选地，在求平均计算中使用的像素区域50的大小(在此示例中，(2a+1)像素×(2a+1)像素)基于要检测的物体的预测大小(目标大小a)(例如，将像素区域50的大小设置为与目标大小a相同)。通过以此方式设置像素区域50的大小，例如，如从图33示出的图像20A＇中可见(其对应于以下描述的图像D、E或G)，如以下详细描述的，可防止连同指尖部分的检测一起的拳头部分的检测(图33中，部分60A＇)。例如，如上面参照图21中所描述的那样，可通过直接复制和使用像素区域50的外围的像素数据，来产生求平均计算所需要的实际所捕获的图像的像素区域50以外的区域51的像素数据。

然后，图像处理单元14根据移动平均图像MA来确定在下一步骤(步骤S107)中使用的预定的阈值TH(步骤S104)。具体地，基于在移动平均图像MA中的最亮的像素的像素数据(即最大像素值)和在原始图像A中的最暗的像素的像素数据(即最小像素值)，来确定阈值TH(例如，通过计算所述像素值的平均值)。由于通常不将接近物体放置在显示区21的4个角，所以，在4个角的像素的像素平均值可用作最亮像素的像素数据(即，最大像素值)。

然后，图像处理单元14生成所生成的移动平均图像MA的相反图像(-MA)(步骤S105)，并且，生成代表原始图像A的相反图像(-A)和移动平均图像MA的相反图像(-MA)之间的差异的差异图像，即，差异图像D＝(-A)-(-MA)＝MA-A，其代表移动平均图像MA和原始图像A之间的差异(步骤S106)。然后，图像处理单元14通过从图像D的各个数据项中减去在步骤S104中确定的阈值TH来生成图像E＝D-TH(步骤S107)。除了在步骤S107中生成图像E之外，例如，还可将图像D的各个像素数据项二元化，以生成如图34所示的二元图像G和图35中所示的图像G的光接收输出电压波形Gf，并且，可基于二元图像G执行后续处理(步骤S108和S109)。

如从图34中所示的图像D、E和F、以及图35中所示的图像D、E和F的示例光接收输出电压波形Gd、Ge和Gf可见，只检测基本上具有与目标大小a相同大小的指尖部分，而不检测大于指尖部分的拳头部分。在图35中，示例光接收输出电压波形Ga、G(-a)、Gma和G(-ma)分别对应于原始图像A、其相反图像(-A)、移动平均图像MA以及其相反图像(-MA)。

然后，图像处理单元14执行计算操作，以确定图像E(或F)的质心(步骤S108)，并且指定图像E(或F)的接触(或接近)中心(步骤S109)。

因此，在根据第四实施例的阴影图像指尖提取处理中，基于使用外部光所捕获的图像A(阴影图像)来检测关于接触或接近I/O显示面板20的物体的信息(例如，位置坐标数据、关于物体的形状或大小的数据等)。

此外，基于移动平均图像MA和原始图像A之间的差异图像D来执行指尖部分的提取。因此，如上所述，只有基本上具有与目标大小相同大小的指尖部分可被检测。此外，在不发出显示光的情况下(例如，当持续关闭背光时，比如在室外使用包括用作显示元件的半透射液晶元件的成像和显示设备时、当在I/O显示面板20上显示黑色图像时等)，可检测接近物体。

此外，在阴影图像指尖提取处理中，还可获得关于同时位于I/O显示面板20的显示区21上的多个接触或接近物体的信息，例如那些物体的位置、形状或大小。

应用程序执行单元11使用通过根据第四实施例的阴影图像指尖提取处理所检测的信息(例如，物体的位置)而执行应用程序的例子与在图23A到26中所示的那些例子类似，并且因此省略对其的描述。

因此，在第四实施例中，通过对接触或接近I/O显示面板20的物体的阴影成像所获得的图像A(阴影图像)用于检测关于接近物体的位置、形状和大小中的至少一个的信息。因此，可不考虑环境条件、或例如显示光的亮度的当前使用条件来检测物体。

此外，基于图像A生成移动平均图像MA。使用移动平均图像MA和原始图像A之间的差异图像D来检测物体，并且通过从差异图像D或差异图像D的二元图像G的各个像素数据项中减去阈值TH而获得图像E。此外，将求平均计算处理中使用的像素区域50的大小设置为与要检测的物体的预测大小(目标大小)相同。因此，例如，只有基本上具有与目标大小相同大小的指尖部分可被检测，而不检测大于指尖部分的拳头部分，这产生更可靠的物体检测。

其它实施例

虽然已经描述了本发明的一些实施例，但是本发明不限于那些实施例，并且可作出各种修改。

例如，在根据本发明的实施例生成移动平均图像的处理中，在执行求平均图像处理时，可通过使目标像素稀疏化来执行计算，以减少处理负担。例如，如图36A和36B中所示，可以在第一像素方向上顺序地平移目标像素，以仅对在第一像素方向上的像素执行求平均计算，然后，可以在第二像素方向上持续地平移目标像素，以仅对在第二像素方向上的像素执行求平均计算。可替换地，例如在图37A和图37B中所示，计算电路70、70A、72和73可用于执行在预定方向上的点加法(dot addition)。

在上述实施例中，根据图像A生成移动平均图像MA。此外，基于要检测的物体的预测大小(目标大小a)来确定在移动平均计算处理中使用的像素区域50的大小，从而移除在移动平均图像MA中大于像素区域50的部分，即，具有高于像素区域50的空间频率的部分(在此情况下，为拳头图像)。然后，确定在移动平均图像MA和原始图像A之间的差异，以移除具有低于像素区域50的空间频率的部分(在此情况下，为阴影图像)，并且最终只提取具有高空间频率的部分(在此情况下，为指尖图像)。因此，在上述实施例中，确定在移动平均图像MA和原始图像A之间的差异的方法用作基于这样的高通滤波器的最容易、最快的示例方法。本发明不限于在上述实施例中描述的方法，并且，可替换地，可使用高通滤波器以同时执行低通滤波操作和减法操作两者。

此外，在上述实施例中，配置I/O显示面板20，以便分立地提供通过液晶元件和光接收元件实现的显示元件。例如，如图38和图39所示，成像和显示设备可包括由光发射光接收元件(成像和显示元件)所形成的I/O显示面板(I/O显示面板80)(如有机电荧光(electroluminescent)(EL)元件)，其能够以时分方式执行光发射操作和光接收操作。此结构还能获得与上述实施例的那些结构类似的优点。在此结构中，其间不发出显示光的周期是其间成像和显示元件不执行光发射操作的周期。

虽然已经在包括具有显示功能和成像功能的I/O显示面板(成像和显示面板)的成像和显示设备的设备的上下文中描述了上述实施例，但是包括只具有成像功能的显示面板(成像面板)的信息输入设备也落入本发明的范围内。使用成像面板通过对接近物体的阴影成像而获得的阴影图像可用于检测关于接近物体的位置、形状和大小中的至少一个的信息。

本领域的技术人员应当理解，根据设计需求和其它因素，可发生如在所附权利要求或其等价物的范围内的各种修改、组合、子组合和变化。

Claims (40)

1.一种成像和显示设备，包括：

成像和显示面板，具有图像显示功能和成像功能；

生成部件，用于生成代表基于显示光的图像和阴影图像之间的差异的差异图像，成像和显示面板通过使用来自成像和显示面板的显示光对接近成像和显示面板的物体成像，而获得基于显示光的图像，成像和显示面板通过对所述物体的阴影成像，而获得阴影图像；以及

图像处理部件，用于考虑阴影图像和差异图像而获得关于物体的位置、形状和大小中的至少一个的信息。

2.如权利要求1所述的成像和显示设备，其中，在一个操作循环中，在获得基于显示光的图像之前，获得阴影图像。

3.如权利要求1所述的成像和显示设备，其中，当所述图像处理部件未能基于差异图像而获得关于物体的位置、形状和大小中的至少一个的信息时，所述图像处理部件基于阴影图像而获得关于物体的位置、形状和大小中的至少一个的信息。

4.如权利要求1所述的成像和显示设备，其中，所述图像处理部件根据预定的指标，来选择阴影图像和差异图像中的一个，并且，基于所选图像，获得关于物体的位置、形状和大小中的至少一个的信息。

5.如权利要求4所述的成像和显示设备，其中，当在所述成像和显示面板上显示黑色显示图像时，所述图像处理部件基于阴影图像，而获得关于物体的位置、形状和大小中的至少一个的信息。

6.如权利要求4所述的成像和显示设备，其中，当基于阴影图像而确定所述成像和显示设备处于黑暗环境中时，所述图像处理部件基于差异图像，而获得关于物体的位置、形状和大小中的至少一个的信息。

7.如权利要求1所述的成像和显示设备，其中，所述图像处理部件使用通过组合阴影图像和差异图像而生成的复合图像，来获得关于物体的位置、形状和大小中的至少一个的信息。

8.如权利要求1所述的成像和显示设备，其中，所述图像处理部件生成所述阴影图像的移动平均图像，并使用所述移动平均图像来获得关于物体的位置、形状和大小中的至少一个的信息。

9.如权利要求8所述的成像和显示设备，其中，所述阴影图像包括多个像素数据项，并且

所述图像处理部件通过以下步骤、来基于阴影图像生成移动平均图像：在阴影图像的像素区域中执行像素数据项的求平均计算，该像素区域包括目标像素和围绕目标像素的像素；以及在将在该像素区域中执行的求平均计算的结果反映到要在包括下一目标像素的像素区域中执行的求平均计算中的同时，顺序地从目标像素转移到下一目标像素，使得在整个阴影图像上执行求平均计算。

10.如权利要求9所述的成像和显示设备，其中，所述图像处理部件基于物体的大小，来确定用于求平均计算的像素区域的大小。

11.如权利要求9所述的成像和显示设备，其中，所述图像处理部件通过将要被执行求平均计算的像素稀疏化，来执行求平均计算。

12.如权利要求8所述的成像和显示设备，其中，所述图像处理部件使用代表移动平均图像和阴影图像之间的差异的差异图像，而获得关于物体的位置、形状和大小中的至少一个的信息。

13.如权利要求1所述的成像和显示设备，其中，所述图像处理部件获得关于同时位于成像和显示面板上的多个接近成像和显示面板的物体中的每个的位置、形状和大小中的至少一个的信息。

14.如权利要求1所述的成像和显示设备，其中，通过所述成像和显示面板显示关于物体的位置、形状和大小中的至少一个的信息。

15.如权利要求1所述的成像和显示设备，其中，所述成像和显示面板包括多个液晶元件和多个成像元件，

所述成像和显示设备还包括将光发出到多个液晶元件的光源，并且

所述阴影图像包括：在不从光源发光的期间或在显示黑色图像的期间、通过对物体成像所获得的图像。

16.如权利要求15所述的成像和显示设备，其中，当不从光源持续发光时、或当显示黑色图像时，所述图像处理部件基于阴影图像而获得关于物体的位置、形状和大小中的至少一个的信息。

17.如权利要求1所述的成像和显示设备，其中，所述成像和显示面板包括能够以时分方式执行光发射操作和光接收操作的多个成像和显示元件，并且

阴影图像包括：在成像和显示元件不执行光发射操作的期间、通过对物体成像而获得的图像。

18.如权利要求17所述的成像和显示设备，其中，每个成像和显示元件包括有机电荧光元件。

19.一种物体检测介质，其允许计算机执行：

第一成像步骤，通过具有图像显示功能和成像功能的成像和显示面板，对接近所述成像和显示面板的物体的阴影成像；

第二成像步骤，通过成像和显示面板，使用来自成像和显示面板的显示光对物体成像；

图像生成步骤，生成代表在第二成像步骤中获得的基于显示光的图像和在第一成像步骤中获得的阴影图像之间的差异的差异图像；以及

检测步骤，考虑阴影图像和差异图像，而检测关于物体的位置、形状和大小中的至少一个的信息。

20.一种物体检测方法，包括以下步骤：

通过具有图像显示功能和成像功能的成像和显示面板，对接近所述成像和显示面板的物体的阴影成像；

通过成像和显示面板，使用来自成像和显示面板的显示光对物体成像；

生成代表通过使用显示光对物体成像所获得的基于显示光的图像和通过将所述物体的阴影成像而获得的阴影图像之间的差异的差异图像；以及

考虑阴影图像和差异图像，而检测关于物体的位置、形状和大小中的至少一个的信息。

21.一种成像和显示设备，包括：

成像和显示面板，具有图像显示功能和成像功能；以及

图像处理部件，用于基于成像和显示面板通过对接近成像和显示面板的物体的阴影成像而获得的阴影图像，来获得关于该物体的位置、形状和大小中的至少一个的信息。

22.如权利要求21所述的成像和显示设备，其中，所述图像处理部件生成所述阴影图像的移动平均图像，并基于所述移动平均图像获得关于物体的位置、形状和大小中的至少一个的信息。

23.如权利要求22所述的成像和显示设备，其中，所述阴影图像包括多个像素数据项，并且

所述图像处理部件通过以下步骤、来基于阴影图像生成移动平均图像：在阴影图像的像素区域中执行像素数据项的求平均计算，该像素区域包括目标像素和围绕目标像素的像素；以及在将在该像素区域中执行的求平均计算的结果反映到要在包括下一目标像素的像素区域中执行的求平均计算中的同时，顺序地从目标像素转移到下一目标像素，使得在整个阴影图像上执行求平均计算。

24.如权利要求23所述的成像和显示设备，其中，所述图像处理部件基于物体的大小来确定用于求平均计算的像素区域的大小。

25.如权利要求23所述的成像和显示设备，其中，所述图像处理部件通过稀疏要被执行求平均计算的像素来执行求平均计算。

26.如权利要求22所述的成像和显示设备，其中，所述图像处理部件基于代表移动平均图像和阴影图像之间的差异的差异图像，而获得关于物体的位置、形状和大小中的至少一个的信息。

27.如权利要求26所述的成像和显示设备，其中，所述图像处理部件从差异图像的像素数据项之中削减不高于预定阈值的像素数据项，以生成削减图像，并且基于所生成的削减图像而获得关于物体的位置、形状和大小中的至少一个的信息。

28.如权利要求27所述的成像和显示设备，其中，所述图像处理部件基于在阴影图像中具有最大值的像素数据项和具有最小值的像素数据项，而生成该阈值。

29.如权利要求26所述的成像和显示设备，其中，所述图像处理部件二元化差异图像，以生成二元图像，并且基于生成的二元图像而获得关于物体的位置、形状和大小中的至少一个的信息。

30.如权利要求21所述的成像和显示设备，其中，所述图像处理部件获得关于同时放置在成像和显示面板上的多个接近成像和显示面板的物体中每个的位置、形状和大小中的至少一个的信息。

31.如权利要求21所述的成像和显示设备，其中，通过所述成像和显示面板显示关于物体的位置、形状和大小中的至少一个的信息。

32.如权利要求21所述的成像和显示设备，其中，所述成像和显示面板包括多个液晶元件和多个成像元件，

所述成像和显示设备还包括将光发出到多个液晶元件的光源，并且

所述阴影图像包括：在不从光源发光的期间或在显示黑色图像的期间、通过对物体成像所获得的图像。

33.如权利要求21所述的成像和显示设备，其中，所述成像和显示面板包括能够以时分方式执行光发射操作和光接收操作的多个成像和显示元件，并且

阴影图像包括：在成像和显示元件不执行光发射操作的期间、通过对物体成像而获得的图像。

34.如权利要求33所述的成像和显示设备，其中，每个成像和显示元件包括有机电荧光元件。

35.一种信息输入设备，包括：

成像面板，具有成像功能；以及

图像处理部件，用于基于成像面板通过对接近成像面板的物体的阴影成像而获得的阴影图像，来获得关于该物体的位置、形状和大小中的至少一个的信息。

36.一种物体检测介质，其允许计算机执行：

成像步骤，通过具有图像显示功能和成像功能的成像和显示面板，对接近所述成像和显示面板的物体的阴影成像；以及

检测步骤，基于在成像步骤中所获得的阴影图像，而检测关于物体的位置、形状和大小中的至少一个的信息。

37.一种物体检测方法，包括以下步骤：

通过具有图像显示功能和成像功能的成像和显示面板，对接近所述成像和显示面板的物体的阴影成像；以及

基于通过对物体的阴影成像所获得的阴影图像，而检测关于物体的位置、形状和大小中的至少一个的信息。

38.一种成像和显示设备，包括：

成像和显示面板，具有图像显示功能和成像功能；

生成单元，生成代表基于显示光的图像和阴影图像之间的差异的差异图像，成像和显示面板通过使用来自成像和显示面板的显示光对接近成像和显示面板的物体成像，而获得基于显示光的图像，成像和显示面板通过对所述物体的阴影成像，而获得阴影图像；以及

图像处理单元，用于考虑阴影图像和差异图像，而获得关于物体的位置、形状和大小中的至少一个的信息。

39.一种成像和显示设备，包括：

成像和显示面板，具有图像显示功能和成像功能；以及

图像处理单元，用于基于成像和显示面板通过对接近成像和显示面板的物体的阴影成像而获得的阴影图像，来获得关于该物体的位置、形状和大小中的至少一个的信息。

40.一种信息输入设备，包括：

成像面板，具有成像功能；以及

图像处理部件，用于基于成像面板通过对接近成像面板的物体的阴影成像而获得的阴影图像，来获得关于该物体的位置、形状和大小中的至少一个的信息。

Images